CN116193268A - 一种拍摄视频的方法及相关设备 - Google Patents
一种拍摄视频的方法及相关设备 Download PDFInfo
- Publication number
- CN116193268A CN116193268A CN202210243501.7A CN202210243501A CN116193268A CN 116193268 A CN116193268 A CN 116193268A CN 202210243501 A CN202210243501 A CN 202210243501A CN 116193268 A CN116193268 A CN 116193268A
- Authority
- CN
- China
- Prior art keywords
- image
- mode
- exposure
- electronic device
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
本申请提供了一种拍摄视频的方法及相关设备。本申请的拍摄视频的方法,在亮光场景下,电子设备的相机的图像传感器可以从双感光模式/高感光模式,切换到低感光模式。这样,在亮光场景下,通过图像传感器在低感光模式下采集图像,由于低感光模式下的感光度比较低,在同样的环境光亮度下,相比于高感光模式或双感光模式,如果要获得同样亮度的图像,低感光模式下需要的曝光时间更长,也就是说,在亮光场景下,将电子设备的图像传感器从高感光模式或双感光模式,切换到低感光模式,可以延长曝光时间,拍摄得到的图像具有自然的运动模糊,在拍摄视频的过程中,预览画面比较流畅,最终得到的视频帧在播放时比较流畅。
Description
技术领域
本申请涉及拍摄领域,尤其涉及一种拍摄视频的方法及相关设备。
背景技术
Frames per second简称fps,是每秒帧数的意思。视频是由一幅幅图像构成的连续画面,而这每一幅图像就是视频的每一帧,拍摄视频时每秒拍摄的帧数或者视频播放时每秒播放的帧数即fps。人眼每秒可处理10-12个静止图像,也就是说,在12fps以下,人的大脑能快速区分出连续播放的图像中的每一帧都是静止的。一旦帧速率(每秒帧数)达到16fps以上时,大脑就会认为这些图像组成的画面是一个连续移动的场景。
物体在快速运动时,当影像消失后,人眼仍能继续保留影像0.1-0.4秒左右的图像,这种现象被称为视觉暂留现象。对于运动物体,视觉暂留带来运动模糊的现象,人眼看东西有运动模糊更能体现出真实感。在胶片时代,电影行业帧率规格为24fps,快门速度为1/48s,也就是曝光时间为1/48s,拍摄运动物体时会产生自然的运动模糊现象,播放时产生顺滑的观感。
发明内容
本申请提供一种拍摄视频的方法及相关设备,在亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。
第一方面,本申请提供一种拍摄视频的方法,应用于电子设备,该方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在显示屏上显示第一界面,第一界面包括第一控件和第一预览框,第一预览框用于显示电子设备通过摄像头实时采集的图像;
接收针对第一控件的第一操作;
响应于第一操作,电子设备通过摄像头连续捕获多帧图像,得到第一视频;其中,第一视频包括第一图像和第二图像,第一图像的采集时间早于第二图像的采集时间;
第一图像为:在第一环境光亮度下,电子设备采用第一曝光时间进行曝光捕获的图像,第一曝光时间为电子设备根据第一环境光亮度确定的;
第二图像为:在第二环境光亮度下,电子设备采用第二曝光时间进行曝光捕获的图像,第二曝光时间为电子设备根据第二环境光亮度确定的;
其中,第二环境光亮度大于或等于第一环境光亮度,第二曝光时间大于第一曝光时间。
通过本申请实施例的拍摄视频的方法,在亮光场景(第二环境光亮度)下,可以延长曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。由于拍摄得到的视频的图像产生了自然的运动模糊,播放时更加流畅。
在一种可能的实现方式中,第一视频还包括第三图像,第三图像的采集时间早于第一图像的采集时间,第三图像为:在第三环境光亮度下,电子设备采用第三曝光时间进行曝光捕获的图像,第三曝光时间为电子设备根据第三环境光亮度确定的;其中,第三环境光亮度小于第一环境光亮度,第三曝光时间大于第一曝光时间。在环境亮度较低的情况下,采用更长的曝光时间可以使得拍摄得到的图像的亮度更加稳定。
在一种可能的实现方式中,摄像头包括图像传感器,响应于所述第一操作,电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取第一图像时,电子设备的图像传感器为第一感光模式;在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的图像进行处理得到第一图像;
在获取第二图像时,电子设备的图像传感器为第二感光模式;在第二感光模式下,电子设备控制图像传感器采用第二增益对采集的图像进行处理得到第二图像;其中,第一增益大于第二增益。
在一种可能的实现方式中,摄像头包括图像传感器,
响应于所述第一操作,电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取第一图像和第三图像时,电子设备的图像传感器为第一感光模式;在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的图像进行处理得到第一图像或第三图像;
在获取第二图像时,电子设备的图像传感器为第二感光模式;在第二感光模式下,电子设备控制图像传感器采用第二增益对采集的图像进行处理得到第二图像;其中,第一增益大于第二增益。
具有双增益能力的电子设备可以在双感光模式、高感光模式和低感光模式之间切换。根据该方法,亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。而在暗光场景下,电子设备可以按照双感光模式或者高感光模式来进行曝光来获得更好的图像细节。
在一种可能的实现方式中,在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的图像进行处理得到第一图像或第三图像,包括:
在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的第四图像进行处理得到第一子图像,采用第二增益对采集的第五图像进行处理得到第二子图像;
电子设备对第一子图像和第二子图像进行处理,得到第一图像或第三图像。
在一种可能的实现方式中,第四图像和第五图像为相同时间采集的同一帧图像。
在一种可能的实现方式中,第四图像和第五图像为不同时间采集的图像。
在一种可能的实现方式中,该方法还包括:响应于第一操作,电子设备显示第二界面;第二界面包括第二预览框,第二预览框用于实时预览电子设备拍摄的所述第一视频的图像帧,所述第一视频的图像帧包括:第一图像、第二图像和第三图像。在拍摄第一视频的过程中可以实时预览第一视频,也就是在拍摄过程中,预览的图像帧包括所述第一图像、所述第二图像和所述第三图像。也就是说,本申请实施例的方法也可以应用于拍摄视频的过程中预览的图像帧,使得实时预览的拍摄场景更流畅。
在一种可能的实现方式中,第二界面包括第二控件;第二控件包括第一状态和第二状态,第一状态表示高动态范围HDR功能打开,第二状态表示HDR功能关闭;在第二界面上显示第一图像时,第二控件为第二状态;在第二界面上显示第二图像或第三图像时,第二控件为第一状态。
根据本实施例的方法,在拍摄过程中通过实时提醒用户拍摄模式的变化,使用户获得更好的拍摄体验。
在一种可能的实现方式中,在电子设备采集第一图像后,该方法还包括:
电子设备根据第一图像和采集第一图像时的第一曝光参数,计算第四环境光亮度;其中,第一曝光参数包括第一曝光时间和采集第一图像时的第一感光度ISO;电子设备判断第四环境光亮度大于第一预设亮度阈值时,电子设备控制图像传感器切换到第二感光模式。
在本申请的实施例中,根据捕获的图像以及曝光参数估算当前的环境光亮度,获得更准确的环境光亮度,使得曝光模式调节的时机更准确,拍摄得到的视频效果更好。
在一种可能的实现方式中,在电子设备采集第一图像之前,该方法还包括:
电子设备采用摄像头中的测光系统实时测光得到第一环境光亮度;
在电子设备的图像传感器工作在第一感光模式下时,电子设备根据第一环境光亮度查找第一配置文件,得到第一曝光参数;其中,第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在控制所述图像传感器切换到所述第二感光模式后,该方法还包括:电子设备采用摄像头中的测光系统实时测光得到第二环境光亮度;在电子设备的图像传感器工作在第二感光模式下时,电子设备根据第二环境光亮度查找第二配置文件,得到第二曝光参数;第二曝光参数包括第二曝光时间和第二ISO;其中,第二配置文件记录了:在第二感光模式下,环境光亮度和对应的曝光参数之间的关系。
通过配置文件配置不同模式下的曝光参数,尤其是在亮光场景下添加低感光模式下的曝光参数,使得电子设备在切换到第二感光模式后,可以快速查找获取对应的曝光参数并根据曝光参数曝光得到满足要求的图像。
在一种可能的实现方式中,在电子设备采集第三图像后,方法还包括:
电子设备根据第三图像和采集第三图像时的第三曝光参数,计算第五环境光亮度;其中,第三曝光参数包括第三曝光时间和采集第三图像时的第三ISO;
电子设备判断第五环境光亮度小于第二预设亮度阈值时,电子设备控制图像传感器切换到第一感光模式;
其中,第二预设亮度阈值小于或者等于第一预设亮度阈值。
在一种可能的实现方式中,拍摄视频的功能为以下多种功能中的一种:电影模式,录像模式,延时摄影模式;其中,在所述电影模式下,所述电子设备在拍摄视频时采集图像的帧率为24fps。
在一种可能的实现方式中,第一界面为开始拍摄视频之后的预览界面,第一界面上包括时间信息,时间信息用于记录拍摄的视频的时间长度。也就是说,本申请实施例的方法也可以应用于拍摄视频的过程中预览的图像帧,使得实时预览的拍摄场景更流畅。
在一种可能的实现方式中,电子设备判断第四环境光亮度大于第一预设亮度阈值时,电子设备控制所述图像传感器切换到所述第二感光模式,包括:
电子设备判断第四环境光亮度大于第一预设亮度阈值、且电子设备满足预设的拍摄场景时,电子设备控制图像传感器切换到第二感光模式;
其中,预设的拍摄场景包括电子设备处于移动状态的场景或者摄像头捕获的图像中包括运动物体。
在一种可能的实现方式中,第一视频不包括第二图像,第一视频包括第四图像,第四图像为:在第二环境光亮度下、且电子设备不满足预设的拍摄场景时,电子设备根据第四曝光时间进行曝光捕获的图像,第四曝光时间小于或等于所述第一曝光时间。
根据本申请上述实施例的曝光模式切换方法,电子设备判断是否满足预设的拍摄场景,比如说,电子设备本身处于运动状态,或者电子设备拍摄的物体处于运动状态,可以统称为运动场景。
在电视设备判断满足运动场景、并且环境光亮度比较亮时,电子设备将摄像头切换到低感光模式,可以按照低感光模式的曝光模式进行曝光,曝光时间长,对于运动场景可以产生自然的运动模糊。
如果电子设备拍摄时不处于上述运动场景中,为了获得更大的动态范围,在环境光亮度比较亮的场景下,也可以控制摄像头继续工作在双感光模式,采用相同或者更短的曝光时间拍摄得到上述第四图像。
第二方面,本申请提供一种拍摄视频的方法,应用于电子设备,该方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在显示屏上显示第一界面,第一界面包括第一控件和第一预览框,第一预览框用于显示电子设备通过摄像头实时采集的图像;
接收针对第一控件的第一操作;
响应于第一操作,电子设备通过摄像头连续捕获多帧图像,得到第一视频;
其中,第一视频包括第一图像、第二图像和第三图像,第二图像位于第一图像和第三图像之间;
第一图像为:电子设备在第一环境光亮度下捕获的图像,第二图像为:电子设备在第二环境光亮度下捕获的图像,第三图像为:电子设备在第三环境光亮度下捕获的图像;
其中,第三环境光亮度大于或等于第二环境光亮度,第二环境光亮度大于第一环境光亮度,第一图像的信噪比小于第二图像的信噪比,第二图像的信噪比大于第三图像的信噪比。
由于信噪比与增益成线性关系,第三环境光亮度下信噪比的突然降低,是由于在本申请的实施例中,增益的变化有关,在亮光环境下,减小增益,相当于降低摄像头捕捉图像时,图像处理器的感光度,感光度降低后,若需要获取同样亮度的图像,需要延长曝光时间,因此,在本申请上述实施例的拍摄视频的方法,在亮光场景下,可以延长曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。由于拍摄得到的视频的图像产生了自然的运动模糊,播放时更加流畅。
在一种可能的实现方式中,第一图像的采集时间早于第二图像的采集时间,第二图像的采集时间早于第三图像的采集时间。
在一种可能的实现方式中,第一图像的采集时间晚于第二图像的采集时间,第二图像的采集时间晚于第三图像的采集时间。
在一种可能的实现方式中,摄像头包括图像传感器,响应于第一操作,电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取第一图像和第二图像时,电子设备的图像传感器为第一感光模式;在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的图像进行处理得到第一图像或第二图像;
在获取第三图像时,电子设备的图像传感器为第二感光模式;在第二感光模式下,电子设备控制图像传感器采用第二增益对采集的图像进行处理得到第三图像;
其中,第一增益大于第二增益。
在一种可能的实现方式中,在第一感光模式下,电子设备控制图像传感器采用第一增益对采集的图像进行处理得到第一图像或所述第二图像,包括:
在第一感光模式下,电子设备控制所述图像传感器采用第一增益对采集的第四图像进行处理得到第一子图像,采用第二增益对采集的第五图像进行处理得到第二子图像;
电子设备对第一子图像和第二子图像进行处理,得到第一图像或第二图像。
具有双增益能力的电子设备可以在双感光模式、高感光模式和低感光模式之间切换。根据该方法,亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。而在暗光场景下,电子设备可以按照双感光模式或者高感光模式来进行曝光来获得更好的图像细节。
在一种可能的实现方式中,在电子设备采集所述第二图像后,该方法还包括:
电子设备根据第二图像和采集第二图像时的第一曝光参数,计算第四环境光亮度;其中,第一曝光参数包括第一曝光时间和采集第二图像时的第一感光度ISO;
电子设备判断第四环境光亮度大于第一预设亮度阈值时,电子设备控制图像传感器切换到第二感光模式。
在一种可能的实现方式中,在电子设备采集所述第二图像之前,该方法还包括:
电子设备根据第四图像和采集第四图像时的第二曝光参数,计算第五环境光亮度;其中,第四图像为所述第一视频中位于第二图像之前的图像帧;
在电子设备的图像传感器工作在第一感光模式下时,电子设备根据第五环境光亮度查找第一配置文件,得到第一曝光参数;其中,第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在控制图像传感器切换到第二感光模式后,该方法还包括:
在电子设备的图像传感器工作在第二感光模式下时,电子设备根据第四环境光亮度查找第二配置文件,得到第三曝光参数;其中,第三曝光参数包括第三曝光时间和第三ISO,第二配置文件记录了:在第二感光模式下,环境光亮度和对应的曝光参数之间的关系;
电子设备根据第三曝光参数进行曝光捕获第三图像。
本实施例的曝光模式切换方法,在预设亮度阈值附近不会出现曝光时间突然缩短,拍摄得到锐利图像的情况,而是在环境光亮度从暗变亮的过程中,可以随着曝光模式的切换,迅速的调整曝光参数,从双感光模式切换到低感光模式时,曝光时间保持在1/48s附近,拍摄运动场景时每一帧都能得到自然的运动模糊,播放时更加顺畅。
第三方面,本申请提供一种拍摄视频的方法,所述方法应用于电子设备,所述电子设备包括显示屏和摄像头,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括预览框,所述预览框用于显示所述电子设备通过所述摄像头实时采集的图像;
所述电子设备确定第一环境光亮度,根据所述第一环境光亮度确定第一曝光时间,根据所述第一曝光时间进行曝光获取第一图像,将所述第一图像显示在所述预览框;
所述电子设备确定第二环境光亮度,根据所述第二环境光亮度确定第二曝光时间,根据所述第二曝光时间进行曝光获取第二图像,将所述第二图像显示在所述预览框;
其中,所述第二环境光亮度大于或等于所述第一环境光亮度,所述第二曝光时间大于所述第一曝光时间。
通过本申请实施例的拍摄视频的方法,在亮光场景(第二环境光亮度)下,可以延长曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。由于拍摄得到的视频的图像产生了自然的运动模糊,拍摄视频的过程中预览时更加流畅。
在一种可能的实现方式中,在所述电子设备打开相机应用的拍摄视频的功能后,获取所述第一图像之前,所述方法还包括:
所述电子设备确定第三环境光亮度,根据所述第三环境光亮度确定第三曝光时间,根据所述第三曝光时间进行曝光获取第三图像,将所述第三图像显示在所述预览框;
其中,所述第三环境光亮度小于所述第一环境光亮度,所述第三曝光时间大于所述第一曝光时间。在环境亮度较低的情况下,采用更长的曝光时间可以使得拍摄得到的图像的亮度更加稳定。
在一种可能的实现方式中,所述摄像头包括图像传感器,
在获取所述第一图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
在一种可能的实现方式中,所述摄像头包括图像传感器,
在获取所述第一图像和所述第三图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
具有双增益能力的电子设备可以在双感光模式、高感光模式和低感光模式之间切换。根据该方法,亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄运动场景时获得运动模糊的需求。而在暗光场景下,电子设备可以按照双感光模式或者高感光模式来进行曝光来获得更好的图像细节。
在一种可能的实现方式中,在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像,包括:
在所述第一感光模式下,所述电子设备控制所述图像传感器采用所述第一增益对采集的第四图像进行处理得到第一子图像,采用所述第二增益对采集的第五图像进行处理得到第二子图像;
所述电子设备对所述第一子图像和所述第二子图像进行处理,得到所述第一图像或所述第三图像。
在一种可能的实现方式中,所述第四图像和所述第五图像为相同时间采集的同一帧图像。
在一种可能的实现方式中,所述第四图像和所述第五图像为不同时间采集的图像。
在第一感光模式下,采用双增益能力对捕获的图像进行处理并融合,可以得到合成后的图像,亮部细节丰富且暗部噪点少。
在一种可能的实现方式中,所述电子设备确定第二环境光亮度,根据所述第二环境光亮度确定第二曝光时间,根据所述第二曝光时间进行曝光获取第二图像,将所述第二图像显示在所述预览框,包括:
所述电子设备确定满足预设的拍摄场景,其中,所述预设的拍摄场景包括所述电子设备处于移动状态的场景或者所述摄像头捕获的图像中包括运动物体;
所述电子设备确定第二环境光亮度,所述电子设备根据所述第二环境光亮度查找第二配置文件,得到所述第二曝光时间;其中,所述第二配置文件记录了在第二感光模式下:环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,所述方法还包括:
所述电子设备确定不满足预设的拍摄场景;
所述电子设备确定第二环境光亮度,根据所述第二环境光亮度查找第一配置文件,得到第四曝光时间;其中,所述第一配置文件记录了在第一感光模式下:环境光亮度和对应的曝光参数之间的关系;
所述电子设备的根据第四曝光时间进行曝光获取第二图像,第四曝光时间小于或等于所述第一曝光时间。
根据本申请上述实施例的曝光模式切换方法,电子设备判断是否满足预设的拍摄场景,比如说,电子设备本身处于运动状态,或者电子设备拍摄的物体处于运动状态,可以统称为运动场景。在电视设备判断满足运动场景、并且环境光亮度比较亮时,电子设备将摄像头切换到低感光模式,可以按照低感光模式的曝光模式进行曝光,曝光时间长,对于运动场景可以产生自然的运动模糊。如果电子设备拍摄时不处于上述运动场景中,为了获得更大的动态范围,在环境光亮度比较亮的场景下,也可以控制摄像头继续工作在双感光模式,提高拍摄的图像的质量。
在一种可能的实现方式中,在所述电子设备采集所述第一图像后,所述方法还包括:
所述电子设备根据所述第一图像和采集所述第一图像时的第一曝光参数,计算第四环境光亮度;其中,所述第一曝光参数包括所述第一曝光时间和采集所述第一图像时的第一感光度ISO;
所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式。
在一种可能的实现方式中,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第一环境光亮度;
在所述电子设备的图像传感器工作在所述第一感光模式下时,所述电子设备根据所述第一环境光亮度查找第一配置文件,得到所述第一曝光参数;其中,所述第一配置文件记录了在第一感光模式下:环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在控制所述图像传感器切换到所述第二感光模式后,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第二环境光亮度;
在所述电子设备的图像传感器工作在所述第二感光模式下时,所述电子设备根据所述第二环境光亮度查找第二配置文件,得到第二曝光参数;所述第二曝光参数包括所述第二曝光时间和第二ISO;
其中,所述第二配置文件记录了在所述第二感光模式下时,环境光亮度和对应的曝光参数之间的关系。
通过配置文件配置不同模式下的曝光参数,尤其是在亮光场景下添加低感光模式下的曝光参数,使得电子设备在切换到第二感光模式后,可以快速查找获取对应的曝光参数并根据曝光参数曝光得到满足要求的图像。
在一种可能的实现方式中,在所述电子设备采集所述第三图像后,所述方法还包括:
所述电子设备根据所述第三图像和采集所述第三图像时的第三曝光参数,计算第五环境光亮度;其中,所述第三曝光参数包括所述第三曝光时间和采集所述第三图像时的第三ISO;
所述电子设备判断所述第五环境光亮度小于第二预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第一感光模式;
其中,所述第二预设亮度阈值小于或者等于所述第一预设亮度阈值。
在一种可能的实现方式中,所述第一界面为开始拍摄视频之前的预览界面,所述第一界面包括第一控件,所述第一控件包括第一状态和第二状态,所述第一状态表示高动态范围HDR功能打开,所述第二状态表示所述HDR功能关闭;
在所述第一界面上显示所述第一图像时,所述第一控件为所述第二状态;
在所述第一界面上显示所述第二图像或所述第三图像时,所述第一控件为所述第一状态。
根据本实施例的方法,在拍摄过程中通过实时提醒用户拍摄模式的变化,使用户获得更好的拍摄体验。
在一种可能的实现方式中,所述第一界面为开始拍摄视频之后的预览界面,所述第一界面上包括时间信息,所述时间信息用于记录拍摄的视频的时间长度。也就是说,本申请实施例的方法也可以应用于拍摄视频的过程中预览的图像帧,使得实时预览的拍摄场景更流畅。
第四方面,本申请提供一种电子设备,所述电子设备包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现如上所述的方法。
第五方面,本申请提供一种计算机可读存储介质,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的方法。
附图说明
图1为本申请实施例提供的一种电子设备100的硬件结构示意图。
图2为本申请实施例提供的一种电子设备100的软件结构框图。
图3A示出根据本申请一实施例的应用场景的示意图。
图3B示出在不同的帧率下采集得到视频中相邻两帧的关系。
图3C示出在相同帧率下采集视频时,不同的曝光时间和运动模糊的关系。
图4示出根据本申请一实施例的软硬件协作实现曝光模式切换的示意图。
图5示出根据本申请一实施例的应用场景的示意图。
图6A示出根据本申请一实施例的具有双转换增益能力的图像传感器的模块示意图。
图6B示出根据本申请以实施例的具有双原生ISO的图像传感器的模块示意图。
图7A示出根据本申请一实施例的曝光模式切换方法的流程图。
图7B示出根据本申请一实施例的曝光模式切换方法的流程图。
图7C示出根据本申请一实施例的曝光模式切换方法的流程图。
图8A示出根据本申请一些实施例的应用场景的示意图。
图8B-图8D示出根据示例1的曝光模式切换过程中电子设备界面的示意图。
图8E示出根据示例2的曝光模式切换过程中电子设备界面的示意图。
图9A示出根据本申请一实施例的曝光模式切换方法的流程图。
图9B示出根据本申请一实施例的曝光模式切换方法的流程图。
图10示出根据本申请一实施例的应用场景的示意图。
图11A和图11B分别示出根据本申请一实施例的曝光模式切换方法的应用场景示意图。
图12示出根据本申请一实施例的曝光模式切换方法的流程图。
图13示出根据本申请一实施例的应用场景的示意图。
图14A和图14B示出根据本申请另一实施方式的曝光模式切换方法的流程图。
图14C示出根据本申请一实施例的拍摄视频的过程的示意图。
图15A示出根据本申请一实施例的图像的信噪比SNR与曝光模式和ISO的关系的示意图。
图15B-图15D分别示出根据本申请一实施例的拍摄的到的图像的信噪比随着环境光亮度的变化曲线的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
可理解,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口。用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图1为本申请实施例提供的一种电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,摄像头193,显示屏194,以及用户标识模块(Subscriber IdentificationModule,SIM)卡接口195等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。
在本申请的实施例中,内部存储器121可以存储自动曝光控制(AutomaticExposureControl,AEC)以及曝光模式切换方法相关的代码。处理器通过运行AEC相关的代码可以实现自动曝光控制的过程,通过运行曝光模式切换方法相关的代码可以实现摄像头中图像传感器的曝光模式的切换。
在本申请的一些实施例中,AEC模块可以包括AEC算法模块和AEC统计模块。其中,AEC统计模块用于统计分析所采集图像中的参数情况,比如说,图像亮度等,AEC算法模块可以根据统计结果自动调整摄像头的曝光参数,AEC算法模块还可以根据统计结果估计环境光亮度。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。传感器模块180可以包括压力传感器,陀螺仪传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,触摸传感器,环境光传感器等。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100通过GPU、显示屏194以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取图像的功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。
在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光系数的图像,进而,在视频后处理中,电子设备100可以根据多个曝光系数的图像,通过高动态范围(HighDynamic Range,HDR)技术合成HDR图像。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图2为本申请实施例提供的一种电子设备100的软件结构框图。在图2中还示出了本申请一实施例的曝光模式控制切换方法的实现方式。
在一些实施例中,分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在本申请的实施例中,具体地,本申请实施例的系统从上至下可以包括应用程序层,硬件抽象层以及内核层。其中,应用程序层和硬件抽象层之间还可以包括应用程序框架层,系统库,运行时等。
其中,应用程序层可以包括一系列应用程序包。如图2所示,应用程序包可以包括相机,图库,音乐,视频,通话等应用程序(也可以称为应用)。
硬件抽象层屏蔽了不同硬件设备的差异,为系统提供标准接口,如图2所示,硬件抽象层通过标准的HAL接口向内核层传输数据,并接收内核层上传的数据。硬件抽象层可以包含多个库模块,其中,每个库模块都为特定类型的硬件组件实现一组接口,比如WIFI/蓝牙模块,相机模块。当应用程序框架层应用程序接口请求访问设备硬件时,系统将为该硬件加载相应的库模块。
在本申请的实施例中,硬件抽象层的相机模块可以包括如上所述的AEC模块,AEC模块用于实现自动曝光控制,具体地,AEC模块可以从系统配置文件中获取曝光参数,并将曝光参数配置给图像传感器。图像传感器根据曝光参数采集图像。AEC模块中的AEC统计模块可以统计分析所采集图像中的参数情况,比如说,图像亮度等,AEC算法模块还可以根据采集图像时采用的上述曝光参数以及图像亮度估计环境光亮度。
在本申请的实施例中,相机模块还可以包括曝光模式控制模块,曝光模式控制模块用于根据估计的环境光亮度控制摄像头的图像传感器的曝光模式。具体地,在亮光场景下,可以控制图像传感器工作在低感光模式下,从而延长曝光时间,使得曝光时间满足拍摄电影的曝光时间的需求。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,传感器驱动等。其中,上述曝光模式控制模块可以通过摄像头驱动控制摄像头的图像传感器的曝光模式,AEC模块可以通过摄像头驱动向摄像头配置曝光参数。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是单击操作,该单击操作所作用的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获图像,显示屏194显示相机的预览界面,预览界面中显示捕获的图像。
应用场景及问题
图3A示出根据本申请一实施例的应用场景的示意图。如图3A中的a所示的用户界面50为手机的主界面中的一页,当前的主界面中展示了多个应用,其中停靠(dock)栏中包括相机应用的图标501。当触摸传感器接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是单击操作,该单击操作所作用的控件为图3A的a中相机应用图标501为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获图像,显示屏194显示相机的预览界面,预览界面中显示捕获的图像,如图3A中的b所示,相机的用户界面中展示了相机的预览界面51。
在预览界面51中包括相机的多种模式的导航条511,用户可以通过手指滑动或点击的方式在相机不同的模式之间切换,比如说,相机的模式可以包括大光圈、夜景、人像、拍照、录像、电影、专业等模式。
打开相机后,默认显示的是拍照功能的预览界面,如果用户点击“电影”控件,打开相机的电影模式,电子设备显示如图3A中的c所示的界面52。如图3A中的c所示,在界面52中还包括导航条521,用户可以通过导航条521切换相机的不同功能。界面52中还包括第一控件522,电子设备响应于用户对第一控件522的操作,可以开始拍摄视频。
用手机的电影模式拍摄视频时,设置的帧率规格为24fps或者30fps。但是,手机上相机的感光元件尺寸比较小,因此,像素比较小,在室外亮光场景下,光线较强,感光元件中的光电二极管被激发产生的电子较多,势阱容易达到满阱容量,曝光时间较短,远低于1/48s。曝光时间越短,越能够捕捉运动物体瞬间的状态,因此,室外亮光场景下拍摄得到的图像都很锐利,运动模糊较小,并且,由于拍摄时曝光时间短导致拍摄得到的帧与帧之间的间隔时间长,捕捉到的运动过程更加不连续。以上两方面原因会导致播放时产生卡顿感。
下面介绍帧率、曝光时间、运动模糊和播放顺滑感的关系,以及本申请要解决的技术问题形成的原因。
图3B示出在不同的帧率下采集得到视频中相邻两帧的关系。如图3B中的(1)所示,如果采用相同的曝光时间,帧率越小,采集得到的相邻两帧之间间隔的时间更长,在运动场景下,比如说,在采集运动物体时,帧率越小,采集得到的相邻两帧图像中,运动物体间隔的距离越大。在帧率为24fps和60fps时,曝光时间相同的情况下,帧率为24fps时相邻两帧图像中的运动物体在运动轨迹中的距离较远。
举例来说,如图3B中的(2)所示,假设拍摄的是足球下落的过程。上图在采用帧率24fps采集的三帧图像帧301~303,下图为采用帧率60fps采集的三帧图像帧304~306。其中,假设图像帧302中采集到的足球相比于图像帧301中足球下落的距离为d1,图像帧304中采集到的足球相比于帧305中足球下落的距离为d2,从图中可以看出,d1>d2。同样的,帧303相比于帧302中的足球下落的距离d3大于帧306相比于帧306中的足球下落的距离d4。这样会导致,播放采用24fps帧率采集到的视频相比于播放采用60fps帧率采集到的视频时卡顿感比较明显。
根据图3B可以得到,采集视频时采用的帧率越大,播放时越不容易出现卡顿感,相反的,采集视频时采用的帧率越小,播放时越容易出现卡顿感。
如图3C示出在相同帧率下采集视频时,不同的曝光时间和运动模糊的关系。视觉暂留带来运动模糊,相机拍摄每一帧图像时,曝光时间会影响拍摄得到的图像的模糊效果。
如图3C所示,假设采用24fps的帧率采集视频。如图3C中的示例a所示,曝光时间短,拍摄得到的图像中,运动物体运动模糊很小,人眼看到的运动物体缺乏真实运动物体的运动模糊,并且连续两帧之间间隔时间较长,也就是说拍摄的两帧图像中的运动物体在运动轨迹中的距离较远,导致两帧画面中的运动物体的运动过程不连贯,播放时会产生卡顿感。
在图3C中的示例b中,相比于示例a,曝光时间更长,拍摄得到的图像中,运动物体有自然的运动模糊,人眼看到的运动物体更接近真实运动物体的运动模糊,并且连续两帧之间间隔时间相比于示例a更短,如图3C中所示,图像帧310~312有曝光时间长,产生自然的拖影,在播放图像帧310~312时,相比于图像帧307~309,相邻两帧图像中运动物体“衔接”的更好,两帧画面中的运动物体的运动过程比较连贯,播放时比较顺滑。
拍摄电影时采用的帧率为24fps,如果曝光时间太短,会导致拍摄得到的每张图片中都是清晰的瞬间,并且两帧之间的时间间隔比较大,会导致播放的时候产生卡顿感。
为了解决上述技术问题,本申请提供了一种曝光模式切换方法,图4示出根据本申请一实施例的软硬件协作实现曝光模式切换的示意图。
曝光是拍摄中一个非常重要的环节,它决定了获取图像时感光元件能获取多少光线。也就是说,曝光决定图像的亮度(明暗)。曝光过程中,曝光时间(快门速度)、光圈大小以及感光度ISO会具体影响图像的亮度。可以将这三个影响曝光的因素称为曝光参数。
曝光时间,也被称为快门速度,可以用秒(s)表示。曝光时间越短,图像越暗。曝光时间越长,图像越亮。光圈是镜头中控制光线进入相机的孔径大小的装置,用F表示。其中,F后面的数值与光圈大小成反比。光圈越大,通光孔径就会越大,从而进光量会增加,所以画面亮度增加。相反,光圈越小,进光量减少,所以画面亮度降低。
可理解,手机等电子设备中的光圈大小通常是固定的。因此,电子设备可以通过调节曝光时间和ISO,来改变曝光所得的图像的亮度。
如图4所示,摄像头通过曝光采集图像帧,当被拍摄对象的反射光通过透镜后,汇聚在图像传感器上。图像传感器可以将光信号转换成模拟电信号。该模拟电信号从传感器前端(sensorfront-end,SFE,图中未示出)旁路输出,再经过数模转换器输出。可理解,数模传感器输出的为摄像头采集的原始数字图像,即RAW图像。
图像信号处理器ISP用于将来自摄像头的RAW图像进行相关处理并生成待显示的图像,再发送给显示屏进行显示或者进行存储。ISP可以包括图像处理器前端、图像处理器后端、I/O控制接口等。
其中,图像处理器前端包括全局色调映射(globaltonemapping,GTM)模块。图像处理器后端包括局部色调映射(localtonemapping,LTM)模块。GTM模块和LTM模块用于对图像暗部进行提亮,只不过前者作用在全局,后者作用在局部。
结合图2和图4所示,本申请实施例的系统框架的硬件抽象层可以包括AEC模块和曝光模式控制模块。其中,AEC模块用于调整曝光参数,曝光参数可以包括上述的曝光时间和ISO。在本申请的一些实施例中,技术人员提前对电子设备100进行了曝光标定,得到标定信息,并将标定信息预先存储在电子设备中。具体地,在进行标定时,技术人员可以记录电子设备100处于不同环境光亮度时,曝光正常的曝光时间和ISO作为标定信息,并将标定信息存储到电子设备100中。
示例性的,在本申请的实施例中,技术人员在电子设备100出厂前对其进行标定:环境亮度为L1 lux时,电子设备100可以正常曝光的曝光参数为1/50s(曝光时间)、ISO 100(感光度);环境亮度为L2 lux时,电子设备100可以正常曝光的曝光参数为1/50s(曝光时间)、ISO 200。其中,L1 lux和L2 lux可以是亮度值或者亮度范围,电子设备100可以记录标定时的环境光亮度以及相应的曝光参数。
在本申请的一些实施例中,电子设备100可以通过测光系统测量进光量。测光系统与图像传感器的工作原理类似,即将光信号转换为电子信号,再传递到芯片处理器进行运算。
在本申请的一些实施例中,电子设备100可以设置有测光系统。测光系统可以用于测定被摄物体反射的光亮度,即反射式测光。测光系统可以包括测光元件,电子设备100可以通过测光元件自动测量进光量,从而得到环境光亮度。然后,查找标定信息选取环境光亮度对应的曝光参数,并根据曝光参数进行曝光。
曝光模式控制模块用于根据当前的环境光亮度切换曝光模式。其中,曝光模式可以包括:双感光模式、高感光模式和低感光模式,其中,低感光模式比高感光模式对光线的敏感程度低,具体的,低感光模式比高感光模式感光度低,想要获得相同亮度的图像,低感光模式比高感光模式需要的曝光时间更长。双感光模式是指同时通过两种感光模式采集图像的方法,为了保证采集的图像的质量,双感光模式下通常采用与高感光模式相同的曝光策略,也就是说,在双感光模式下确定曝光时间和ISO等参数的策略和高感光模式相同。
下面详细介绍本申请实施例的曝光模式切换方法的具体实现:
如图4所示,主要包括:1、测光得到环境光亮度,2、根据环境光亮度查表,得到曝光参数,3、根据曝光参数进行曝光采集图像帧,4、输出采集的图像帧到AEC模块,5、AEC模块根据采集得到的图像帧和曝光参数估算环境光亮度,输出估算的环境光亮度到曝光模式控制模块,6、曝光模式控制模块根据估算的环境光亮度以及切换条件,切换图像传感器的曝光模式。然后,可以继续执行步骤1~6的过程,直到拍摄结束。
本申请实施例的曝光模式切换方法可以应用于开始拍摄视频前的预览过程中和拍摄视频的过程中。在以上两个过程中的任意一个过程中,电子设备在启动摄像头时,可以进行自动曝光。具体地,电子设备可以根据进光量确定环境光亮度(测光),根据环境光亮度和标定信息选取曝光参数(查表),根据曝光参数捕获图像并将捕获的图像帧显示在预览框内,如果是在拍摄视频的过程中,电子设备还可以保存捕获的图像帧。
在本申请的实施例中,电子设备100可以存储不同环境亮度下的双感光模式和低感光模式分别对应的曝光时间和ISO,表1和表2为本申请实施例提供的一个示例。表1为双感光模式的曝光表,表2为低感光模式的曝光表,其中,双感光模式采用的曝光策略和高感光模式相同。表1和表2中的Lum、ET和ISO分别表示的是环境光亮度、曝光时间和感光度。其中,环境光亮度的单位为勒克斯(Lux,法定符号lx)。Lum的单位为Lux。ET的单位为s。ISO所表示的感光度采用的标准为ISO标准。
表1
表2
需要说明的是,不同环境亮度下的双感光模式和低感光模式分别对应的曝光时间和ISO可以由技术人员进行曝光标定所得。在本申请的一些实施例中,技术人员可以对处于双感光模式下的电子设备100进行标定,然后根据双感光模式和低感光模式的感光属性的关系,来设置低感光模式下的不同环境亮度所对应的曝光时间和ISO。类似的,技术人员也可以对处于低感光模式下的电子设备100进行标定,然后根据双感光模式和低感光模式的感光属性的关系,来设置双感光模式下的不同环境亮度所对应的曝光时间和ISO。当然,技术人员可以对处于双感光模式和低感光模式下电子设备100进行标定。
可理解,这里所提及的双感光模式和低感光模式的感光属性的关系指的是电子设备100双感光模式下的感光能力为低感光模式下的感光能力的四倍,这里的感光能力可以是指两种模式下的增益大小,举例来说,对于双感光模式下,电子设备的图像传感器的转换增益(一般指的是模拟增益ConversionGain,CG)为低感光模式下的CG的4倍。在本申请的一些实施例中,相同环境亮度下,电子设备100的低感光模式下的曝光时间可以为双感光模式所对应的曝光时间的四倍,并且两种模式下的ISO相同,可以获得相同亮度的图像。
需要说明的是,不同环境亮度下的双感光模式和低感光模式分别对应的曝光时间和ISO可以存储在配置文件中。该配置文件可以被调用。
在采集图像后,摄像头可以将采集到的RAW图像发送至ISP中的图像处理器前端,图像处理器前端中的GTM模块可以对RAW图像的暗部进行提亮,并将处理后的图像发送到AEC模块,通过AEC统计模块和AEC算法模块来确定(估算)当前的环境光亮度,并将当前的环境光亮度发送给曝光模式控制模块。曝光模式控制模块可以基于环境光亮度、预设亮度阈值(或者第一亮度阈值和第二亮度阈值)以及摄像头当前的曝光模式来判断是否切换曝光模式,曝光模式控制模块可以根据判断结果向图像传感器发送切换指令切换曝光模式,并向AEC模块同步摄像头的曝光模式。
之后,AEC模块可以根据摄像头的曝光模式和摄像头的测光系统测得的环境光亮度从配置文件中查找对应的曝光参数,AEC模块根据查找到的曝光参数配置摄像头的曝光参数。举例来说,假设AEC模块前一次估算的环境光亮度为290Lux,曝光模式控制模块控制图像传感器工作在双感光模式,假设当前的环境光亮度提高到310Lux,摄像头的测光系统测量进光量得到环境光亮度,根据测得的环境光亮度查找表1得到曝光参数:曝光时间1/100s,ISO为100。摄像头根据曝光参数进行曝光采集图像,并将采集的图像经ISP处理输出给AEC模块,AEC模块估计到环境光亮度为310Lux,大于预设的环境光亮度阈值300Lux,曝光模式控制模块可以控制图像传感器切换到低感光模式。下一次,假设环境光亮度维持在高于300Lux,摄像头的测光系统测量进光量得到环境光亮度,根据测得的环境光亮度查找表2,得到曝光时间1/50s、ISO 200,摄像头根据曝光参数进行曝光采集图像,这样,在环境光亮度较强的时候,可以切换到低感光模式,延长曝光时间,拍摄运动场景式,可以得到自然的运动模糊,播放拍摄得到的视频是更加流畅。
需要说明的是,RAW图像在图像处理器前端中经过处理之后,还可以在图像处理器后端进行处理。例如,图像处理器后端中的LTM模块可以对图像进行局部暗部提亮。再例如,图像处理器后端中的伽马(gamma)校正模块可以对图像的亮度进行处理,从而补偿由于显示器造成的亮度下降。如图4所示,图像处理后端可以包括两个模块,一个用于处理图像处理前端输出的图像得到预览流,一个用于处理图像处理前端输出的图像得到视频流,ISP可以将处理得到的预览流经I/O控制接口输出到显示屏进行显示,使得用户可以实时预览。如果是在视频拍摄的过程中,ISP还可以将处理得到的视频流经I/O控制接口输出之后保存在存储设备中。
本申请实施例的电子设备的图像传感器可以具有多种增益,不同的增益对应的不同的感光模式,并且电子设备在拍摄视频时,可以控制图像传感器在不同的感光模式之间切换。具体的切换方法可以包括:在亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄电影的曝光时间的需求。而暗光场景下,电子设备可以按照双感光模式或者高感光模式来进行曝光。
图5示出根据本申请一实施例的应用场景的示意图。如图5所示为开始拍摄视频之前电影模式的预览界面,如图5的示例a所示,在暗光场景下,为了获得高质量图像,相机的图像传感器可以工作在双感光模式或者高感光模式,如果电子设备所处的环境由暗光场景变化为亮光场景,如图5的示例b所示,如果相机的图像传感器继续工作在双感光模式或者高感光模式,由于环境光亮度较高时,对于感光度较高的高感光模式,采集图像时的曝光时间会缩短,拍摄得到的图像不会产生自然的运动模糊,如图5所示的示例b中的界面54所示,预览界面中采集得到的图像中足球比较清晰。
在本申请的实施例中,在亮光场景下,电子设备的相机的图像传感器可以从双感光模式/高感光模式,切换到低感光模式。这样,在亮光场景下,通过图像传感器在低感光模式下采集图像,由于低感光模式下的感光度比较低,在同样的环境光亮度下,相比于高感光模式或双感光模式,如果要获得同样亮度的图像,低感光模式下需要的曝光时间更长,也就是说,在亮光场景下,将电子设备的图像传感器从高感光模式或双感光模式,切换到低感光模式,可以延长曝光时间,拍摄得到的图像具有自然的运动模糊,如图5的示例b中界面55所示。
需要说明的是,图5的示例示出的为预览的场景,本申请的实施例也可以应用于拍摄视频的过程中,在拍摄视频的过程中,预览画面和最终得到的视频帧在播放时的效果和图5所示的示例相同。
为了便于理解本申请提供的方法,对拍摄领域的一些术语进行介绍。
1、ISO、满阱容量(Full-Well Capacity,FWC)
在胶片时代,ISO(International Standards Organization)感光度是衡量传统相机所用的胶片感光速度标准的国际统一指标,感光度是由所购买的胶片决定的,数值是固定的,是胶片本身的一种属性。而数码相机、手机相机是通过电子的图像传感器CCD或者COMS感应入射光线的强弱,为了与传统相机所使用的胶片统一计量单位,引入了ISO感光度的概念,因此数码相机的ISO同样反映了其感光速度。ISO数字越大,代表对光线越敏感,ISO数字越小,代表对光线越不敏感。
以CMOS为例,CMOS的工作原理包括如下步骤:(1)光子进入光电二极管,光电二极管吸收光子的能量被激发产生电子;(2)电子输出到势阱;(3)势阱两端产生模拟的电压信号;(4)对模拟的电压信号进行模拟放大得到放大后的电压信号;(5)对放大后的电压信号进行模数转换得到数字信号。
其中,第(4)步骤中对模拟的电压信号进行放大的放大倍数为增益(ConversionGain,CG),第(5)步中进行模数转换时的放大倍数可以理解为数字增益,ISO一般调整的就是CG和数字增益。通常,像素中允许的电压摆幅(voltage swing)的大小和Gain在进行传感器设计时确定,之后电压摆幅和Gain是固定不变的,这时,调整ISO就是调整的数字增益。
满阱容量指的是单个像素点的势阱所能容纳的电子总数,达到满阱容量时会产生过曝的图像。满阱容量越大,单个像素的势阱所能容纳的电子总数越多,也就越不易过曝。
根据上文可知,传感器设计好之后,电压摆幅和Gain是固定的,因此,ISO可以对传感器的满阱容量产生明显的影响。具体地,假设像素允许的电压摆幅为Vmax,Vmax=G*ISO*V,其中,V表示势阱两端产生的电压。在Vmax和G固定的情况下,ISO越大,允许势阱两端产生的模拟电压V越小,也就是说,势阱所能容纳的电子数Q=C*V就越小,满阱容量就越小。其中,C表示势阱的电容,通常情况下,C是不变的。
也就是说,满阱容量会受ISO的影响,ISO越小,满阱容量越大,ISO越大,满阱容量越小。
2、动态范围(dynamic range,DR)
动态范围定义为满阱容量与本底噪声之间的比值,其中,本底噪声是指读出电路产生的噪声,以CMOS为例,本底噪声由像素内部的放大器决定,放大器可以是如上所述的步骤(4)中的放大器。本底噪声可以根据不同的读出电路进行不同的估计,可以根据热噪声公式进行估计,也可以根据1/f噪声公式进行估计,其中1/f表示低频噪声,噪声功率与信号波动频率成反比。输出电路的任何接触面都会出现电导率波动,比如,导体-导体、导体-半导体、半导体-半导体等接触面都会出现电导率波动,放大电路中的接触面电导率波动就导致了1/f噪声,低频时1/f噪声为本底噪声的主要成分,而高频时1/f噪声会降低到比热噪声小,从而热噪声成为本底噪声主要成分。热噪声属于白噪声,是随机噪声的一种。
所以,对于相同的CMOS图像传感器,本底噪声与读出电路有关,由于设计好的图像传感器中读出电路是固定的,动态范围与满阱容量有关,满阱容量越大,动态范围也就越大。
3、增益(gain)
在实际拍照时,动态范围越大,拍摄得到的图像可以包含的最亮和最暗的范围越大。
实际拍照时,拍摄场景的环境光经常变化,图像传感器可能需要捕获非常明亮的场景和非常黑暗的场景。为了捕获明亮场景的图像,图像传感器的满阱容量越大越好,并且,为了更好的捕获暗部场景的细节,期望图像传感器具有更高的感光度。也就是,通常期望图像传感器具有更大的满阱容量和更高的感光度。但是根据以上分析可知,感光度越高,满阱容量越小,动态范围越低。
举例来说,在亮光场景,图像传感器需要更大的满阱容量。这是因为满阱容量越大,传感器能容纳的电子数量越大,调整增益时不会因为乘积过大数字溢出,导致信息损失。表现在宏观上,就是拍摄时不容易过曝。但满阱容量大对应的感光度会变低,暗光场景下,拍摄得到的图像无法得到暗部的细节。而在弱光场景,图像传感器需要更高的感光度,即更强的感光能力。然而,更高的感光度会限制满阱容量。也就是说,若感光度增大,满阱容量会减小,亮光下容易过曝。另外,由于动态范围=满阱容量/本底噪声,所以若满阱容量减小,动态范围也会减小。
相关技术中,通过引入不同的增益,解决了上述问题,也就是图像传感器具有双增益(DG,DualGain)。CMOS图像传感器有两种设计双增益的方法,一种将双增益设计在像素里,一种设计在电路中。其中,第一种也叫双转换增益,第二种也叫双电路增益或双原生ISO技术。
图6A示出根据本申请一实施例的具有双转换增益能力的图像传感器的模块示意图。具有双转换增益(Dual Conversion Gain,DCG)能力的图像传感器,一个像素有两个电荷电压放大器,对应不同的满阱容量以及不同的转换增益(Conversion Gain,CG):大满阱容量对应低转换增益(LowConversion Gain,LCG)、低感光度,小满阱容量对应高转换增益(HighConversion Gain,HCG)、高感光度,这里的感光度的高低可以是指增益的大小。这样,传感器可以在同一场景下使用两种增益,通过至少两次曝光获取高感光模式下的图像和低感光模式下的图像,也就是双感光模式下采集图像。再由电子设备将获取的图像合成一张图像,也就是高动态范围成像(High Dynamic Range Imaging,HDR)技术。其中,高感光模式下的图像是指通过感光度高、满阱容量小的势阱获得的图像,低感光模式下的图像是指通过感光度低、满阱容量大的势阱获得的图像。
图6B示出根据本申请以实施例的具有双原生ISO的图像传感器的模块示意图。双电路增益或双原生ISO技术具备一个势阱,但读出电路具有两种增益,如图6B所示的第一增益单元12和第二增益单元22。其中两种增益分别为:LCG和HCG,LCG对应满阱容量大,HCG对应满阱容量小,双电路增益一次曝光可以同时获取两个不同增益对应的图像,也就是一次曝光可以获取高感光模式下的图像和低感光模式下的图像。
然而,图像传感器一般只按照一种感光模式进行曝光。为了更好的获得图像的暗部细节,通常来说,图像传感器一般按照高感光模式进行曝光,高感光模式下势阱的满阱容量比较小,在相同光源环境下,为了保证采集的图像的亮度稳定,高感光模式比低感光模式的快门速度会更快,即高感光模式下的曝光时间会更短。
发明人发现,在使用手机设置的电影模式下进行拍摄时,由于电影模式设置的帧率规格为24fps或者30fps,高感光模式下,若拍摄场景为亮光场景,曝光时间很可能比1/48s短。拍摄得到的图像都很锐利,运动模糊较小。播放时会产生卡顿感,获得的视频缺少电影的观感。
为了解决上述技术问题,本申请提出了一种曝光模式切换方法及相关设备。本申请的曝光模式切换方法可以应用于具有双增益(Dual Gain,DG)能力或者双电路增益的电子设备。
在拍摄视频的过程中或者拍摄之前的预览过程中,具有双增益(Dual Gain,DG)能力的电子设备可以在双感光模式、高感光模式和低感光模式之间切换。根据该方法,亮光场景下,可以使用低感光模式进行曝光,低感光模式下,图像传感器的感光度低,获得与高感光模式同等亮度的图像需要更长的曝光时间,使得曝光时间满足拍摄电影的曝光时间的需求。而在暗光场景下,电子设备可以按照双感光模式或者高感光模式来进行曝光。
由于是应用于具有DG能力的电子设备,下面先对支持DG能力的电子设备的相机工作的双感光模式进行介绍。
图6A示出一示例的图像传感器的一个像素点内模块的示意图,如图6A所述,一个像素点内具有两个电荷电压放大器。其中一个电荷电压放大器1与势阱和读出电路连接,对应较高的增益(HCG)、满阱容量小,这种模式对应高感光模式。若势阱输出的电荷经两个电荷电压放大器输出到读出电路,对应较低的增益(LCG)、满阱容量大,这种模式对应低感光模式。而双感光模式需要在高感光模式和低感光模式下分别读出一次图像,对读出的图像进行融合可以得到双感光模式下的图像。
因此,在图6A的示例中,曝光模式控制模块根据估计的环境光亮度确定对应的目标曝光模式,根据目标曝光模式向图像传感器发送切换指令切换曝光模式,并向AEC模块同步曝光模式。AEC模块可以根据曝光模式和测光系统测得的环境光亮度从配置文件中查找对应的曝光参数,根据查找到的曝光参数配置摄像头的曝光参数。
图6B示出根据本申请一实施例的图像传感器的一个像素点内模块的示意图。图6B可以示意双电路增益的图像传感器的像素内模块之间的关系,其中,第一增益单元12对应的增益值和第二增益单元22对应的增益值不同,第一增益单元12的增益小于第二增益单元22的增益。通过控制两条路径的通断或者控制读出的方式,可以控制该像素点工作的曝光模式在双感光模式、高感光模式和低感光模式之间切换。需要说明的是,图6A和图6B示出的仅仅是支持DG能力的感光元件的像素结构的示意图,本申请不限于此。
以上是对本申请实施例的曝光模式切换方法中,对图像传感器进行控制实现曝光模式切换的不同示例,本申请不限于此。
为了更清楚的说明本申请实施例的曝光模式切换方法的切换逻辑,下面分场景进一步介绍本申请实施例的曝光模式切换方法。也就是对曝光模式切换模块根据AEC模块输入的环境光亮度判断是否切换、以及切换的曝光模式进行详细说明。在下面的场景中,以双感光模式和低感光模式之间的切换为例进行介绍,但本申请不限于此,电子设备还可以控制图像传感器在高感光模式和低感光模式之间切换,或者在高感光模式和双感光模式之间切换。
场景1
图7A示出根据本申请一实施例的曝光模式切换方法的流程图。本申请实施例的曝光模式切换方法可以应用在视频拍摄的过程中,也可以应用在开始拍摄视频之前预览的过程中。
如图7A所示,本申请实施例的曝光模式切换方法包括以下步骤:
步骤S501,电子设备接收到开启相机应用的指令,启动摄像头并打开相机应用,电子设备响应于用户的操作将相机切换到拍摄视频的功能。
电子设备响应于用户的操作将相机切换到拍摄视频的功能后,摄像头中的图像传感器默认工作在双感光模式,摄像头在双感光模式下捕获图像,在相机应用的预览框中显示摄像头捕获的图像。
电子设备响应于用户的操作将相机切换到拍摄视频的功能的具体示例,可以参见上文中图5部分的介绍,不再赘述。
步骤S502,电子设备对摄像头捕获的图像进行AEC统计得到统计结果,根据统计结果确定当前的环境光亮度。
在步骤S502之前,如前文关于图4部分的说明,电子设备可以通过测光、查表、曝光等步骤采集图像,并将采集的图像输出到AEC模块。之后,AEC模块根据图像得到统计结果,根据统计结果确定当前的环境光亮度。
其中,当前的环境光亮度可以是指电子设备捕获所述图像时环境光的亮度。
在本申请的实施例中,通过测光系统得到环境光亮度可以作为一种获取环境光亮度的示例。测光系统测量得到的环境光亮度通常为被摄物体反射的光亮度,与实际的环境光亮度可能存在偏差。因此,在本申请的实施例中,还可以根据捕获的图像以及曝光参数估算当前的环境光亮度。
具体地,电子设备可以对捕获的图像进行AEC统计得到统计结果,根据统计结果确定当前的环境光亮度。其中,统计结果可以为捕获的图像的平均亮度。AEC统计可以采用相关技术中的统计方法,比如说,电子设备通过AEC模块中的AEC统计模块计算捕获的图像的亮度,具体可以通过平均亮度法、权重均值法等方式计算图像的亮度,其中,平均亮度法可以是指计算整张图像的平均亮度,权重均值法可以是指计算图像的亮度时,整张图像从中心区域到边缘区域所占的比重越来越小度。
电子设备可以通过以下公示公式(1)来估算当前的环境光亮度:
其中,lv表示估算的当前的环境光亮度,A表示光圈值,avg Luma表示图像的平均亮度,也就是上述捕获的图像的平均亮度;Exposure Time表示曝光时间,单位为秒(s);ISO表示感光度;C是一个常数,具体值为100/46。曝光时间和ISO可以是指根据图4中的步骤1和2得到的曝光参数,也就是拍摄上述图像时采用的曝光参数。
步骤S503,电子设备根据当前的环境光亮度以及预设亮度阈值的关系,切换所述摄像头的曝光模式,并调整曝光参数。其中,曝光参数包括曝光时间和感光度。
其中,预设亮度阈值可以为一个固定值,也可以包括两个亮度阈值:第一亮度阈值和第二亮度阈值。
以预设亮度阈值为一个固定值为例,对本申请的实施例进行介绍。图7B示出根据本申请一实施例的曝光模式切换方法的流程图。具体地,在一种可能的实现方式中,步骤S503可以包括:
S5031,电子设备判断当前的环境光亮度是否大于或等于预设亮度阈值。
如果当前的环境光亮度大于或者等于预设亮度阈值,电子设备可以执行步骤S5033-S5034。如果当前的环境光亮度不大于预设亮度阈值,电子设备可以执行步骤S5032。其中,预设亮度阈值可以为300Lux。预设亮度阈值可以是根据标定的环境光亮度与曝光时间之间的关系确定的,比如说,如表1所示,如果标定的结果显示,环境光亮度大于300Lux时,曝光时间为1/100s,远小于电影模式要求的1/48s,也就是说,环境光亮度大于300Lux时,需要调整曝光时间,可以将预设亮度阈值设置为300Lux。当然,不同的感光元件所对应的环境光亮度和曝光参数的关系可能不同,因此,预设亮度阈值的大小可能也不相同。本申请实施例的300Lux仅仅是一个示例。
步骤S5032,电子设备控制摄像头继续工作在双感光模式。
举例来说,电子设备根据曝光参数确定当前的环境光亮度小于预设亮度阈值,假设电子设备确定的当前的环境光亮度为200Lux,电子设备工作在双感光模式下,如表1所示,采用的曝光参数为:曝光时间1/50s,ISO 200。曝光时间接近1/48s,预览框中的运动物体可以产生自然的运动模糊。
步骤S5033,电子设备将摄像头的曝光模式由双感光模式切换为低感光模式。
具体地,电子设备的处理器可以向摄像头发送模式切换的切换信号,摄像头接收到切换信号后,可以切换到低感光模式。具体的切换方式可以参见图6A和图6B所示的示例。
步骤S5034,电子设备根据当前的环境光亮度调整曝光参数。
电子设备可以根据当前的环境光亮度,查找配置文件中记录的环境光亮度和曝光参数的关系,确定当前的环境光亮度在低感光模式下对应的曝光参数。如表1所示,假设当前的环境光亮度为500Lux,低感光模式下对应的曝光参数为:曝光时间1/50s,ISO100。电子设备在从配置文件中获取到当前环境光亮度对应的曝光参数后,可以调整摄像头的曝光时间以及感光度。调整之后,摄像头工作在低感光模式下,采用1/50s的快门速度进行曝光。
图7C示出根据本申请一实施例的曝光模式切换方法的流程图。如图7C所示,在一种可能的实现方式中,在图7B所示的步骤S5034之后,电子设备可以继续执行步骤S502对摄像头捕获的图像进行AEC统计得到统计结果,根据统计结果确定当前的环境光亮度。电子设备可以继续执行步骤S5031,将当前的环境光亮度和预设亮度阈值进行比较,判断当前的环境光亮度是否大于或者等于预设亮度阈值:如果当前的环境光亮度大于或者等于预设亮度阈值,电子设备可以执行步骤S5035,控制摄像头继续工作在低感光模式,如果当前的环境光亮度小于预设亮度阈值,电子设备可以执行步骤S5036、S5037,电子设备可以将摄像头的曝光模式由低感光模式切换到双感光模式,并根据当前的环境光亮度调整曝光参数。
根据以上图7A-图7C的示例中的曝光模式切换方法可知,本申请实施例的曝光模式切换方法可以包括以下步骤:
在开启相机应用的拍摄视频的功能后,电子设备通过摄像头捕获图像,对图像进行AEC统计得到图像的亮度,根据图像的亮度确定当前的环境光亮度;
电子设备可以根据当前的环境光亮度和预设亮度阈值的关系,确定摄像头在当前的环境光亮度下的目标曝光模式,具体地:电子设备确定当前的环境光亮度大于或等于预设亮度阈值,确定摄像头在当前的环境光亮度下的曝光模式为低感光模式;电子设备确定当前的环境光亮度小于预设亮度阈值,确定摄像头在当前的环境光亮度下的曝光模式为双感光模式;
电子设备可以根据摄像头当前的曝光模式和目标曝光模式,确定是否切换摄像头的曝光模式,具体地:电子设备确定摄像头当前的曝光模式和目标曝光模式相同,电子设备可以控制摄像头继续工作在当前的曝光模式;电子设备确定摄像头当前的曝光模式和目标曝光模式不同,电子设备可以将摄像头的曝光模式从当前的曝光模式切换到目标曝光模式。
图8A示出根据本申请一些实施例的应用场景的示意图。
图8A示出根据本申请一实施例的应用场景的示意图。如图8A所示,图中坐标轴的横坐标可以表示时间,纵坐标可以表示环境光亮度随着时间的变化,两条曲线分别表示开启相机应用的拍摄视频的功能后,环境光亮度变化的两个示例;图中下半部分可以表示两个示例中摄像头的曝光模式切换的过程,下半部分中,实线1对应的示例为上面曲线1对应的切换过程,虚线2对应的示例为上面曲线2对应的切换过程。
示例1
在示例1中,如图8A所示,在t1之前,电子设备可以确定当前的环境光亮度小于预设亮度阈值,电子设备的目标曝光模式为双感光模式,电子设备在开启相机应用并切换到拍摄视频的功能后,摄像头中的图像传感器默认工作在双感光模式,因此,在t1之前,电子设备控制摄像头的图像传感器工作在双感光模式。由于t1之前环境光亮度小于预设亮度阈值,曝光时间比较长,接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景,两帧画面中的运动物体的运动过程比较连贯,播放时比较顺滑。
在t1时,电子设备根据捕获的图像可以确定当前的环境光亮度等于预设亮度阈值,电子设备的目标曝光模式为低感光模式。在t1之前,电子设备的摄像头的图像传感器工作在双感光模式,也就是说,摄像头的图像传感器当前的曝光模式与目标曝光模式不同,如果不切换曝光模式,电子设备捕获的图像运动模糊小,比较锐利。
由于摄像头的图像传感器当前的曝光模式与目标曝光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的双感光模式切换到低感光模式。如图8A中的实线1所示,在t1之后,电子设备的摄像头的图像传感器切换到了低感光模式,如上文所述,电子设备还可以查表确定当前的环境光亮度确定曝光参数,调整摄像头的曝光参数。以当前的环境光亮度为400Lux,低感光模式下对应的曝光参数为:曝光时间1/50s,ISO 100。电子设备在从配置文件中获取到当前环境光亮度对应的曝光参数后,可以调整摄像头的曝光时间以及感光度。调整之后,摄像头工作在低感光模式下,采用1/50s的快门速度进行曝光。接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。
在t2之后时,电子设备根据捕获的图像可以确定当前的环境光亮度小于预设亮度阈值,电子设备的目标曝光模式为双感光模式,在环境亮度较低的情况下,如果图像传感器工作在低感光模式下,捕获的图像中暗部细节缺失,无法获得质量较高的图像,因此,环境光亮度小于预设亮度阈值时,目标曝光模式为双感光模式。在t2之前,电子设备的摄像头的图像传感器的曝光模式为低感光模式,也就是说,当前的曝光模式与目标感光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的低感光模式切换到双感光模式,并查找配置文件获取曝光参数,调整摄像头的曝光时间以及感光度。如图8A的实线1中,在t2之后,电子设备的摄像头的图像传感器切换到了双感光模式,摄像头工作在双感光模式下,采用1/50s的快门速度进行曝光,接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。
图8B-图8D示出根据示例1的曝光模式切换过程中电子设备界面的示意图。本申请实施例的曝光模式切换方法可以应用于开始拍摄视频前的预览过程中,还可以应用于拍摄视频的过程中,图8B-图8D以拍摄视频过程中的曝光模式切换方法作为示例进行介绍。
电子设备可以响应于用户的操作打开相机的电影模式,或者,也可以是打开相机的录像、延时摄影等拍摄视频的功能。开启相机应用后,如图8B的a所示,图8B中的a可以是对图3A中的示例c向左旋转90度横握电子设备时的示例,电子设备的摄像头工作在双感光模式。
电子设备接收到用户针对第一控件522的点击操作,可以显示图8B中的b所示的界面。如图8B中的b所示,当前的环境光亮度为200Lux,假设预设亮度阈值为300Lux,电子设备可以确定当前的环境光亮度小于预设亮度阈值,电子设备的摄像头的图像传感器工作在双感光模式。
如图8B中的c所示,电子设备的摄像头的图像传感器工作在双感光模式,当前的环境光亮度为300Lux,为亮光的场景,电子设备通过测光、查表1得到曝光参数为:曝光时间1/100s,ISO为100,根据曝光参数曝光采集得到的图像如图8B中的示例c所示。如果不切换曝光模式,电子设备捕获的图像运动模糊小,比较锐利。
图8B中的d示出了双电路增益在双感光模式下的示意图,示例a、b和c中电子设备的图像传感器工作在双感光模式下时,电子设备可以从图像传感器的读出电路同时读出高感光模式和低感光模式下的两张图像,将两张图像融合为一张图像显示在预览框中并保存。
电子设备估算得到当前的环境光亮度为300Lux,等于预设亮度阈值,电子设备的摄像头的图像传感器从双感光模式切换到低感光模式,如图8C中的示例c到示例d,以双电路增益的图像传感器为例,示意了切换前后,图像传感器工作模式的变化,切换后,由于采用低感光模式,电子设备的图像传感器采用1/50s的快门速度进行曝光,接近1/48s,从一条通路中读取低感光模式下的图像显示在预览框中,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景,如图8C中的示例a到示例b所示。
如果环境光亮度变暗,小于300Lux,电子设备根据捕获的图像可以确定当前的环境光亮度小于预设亮度阈值,电子设备的目标曝光模式为双感光模式,在环境亮度较低的情况下,如果图像传感器工作在低感光模式下,捕获的图像中暗部细节缺失,无法获得质量较高的图像,因此,环境光亮度小于预设亮度阈值时,目标曝光模式为双感光模式,如图8D中的b所示,电子设备可以从图像传感器的读出电路同时读出高感光模式和低感光模式下的两张图像,将两张图像融合为一张图像显示在预览框中并保存,如图8D中的a所示。
需要说明的是,图8B-图8D中虽然示出的是预览界面。根据本申请图4所示的实施例,电子设备可以同时对采集的图像帧进行保存得到视频,保存的视频中包括图8B-图8D所示的示例中的视频帧。
示例2
在示例2中,如图8A中的虚线所示,在开启相机应用后,电子设备通过摄像头捕获图像,对图像进行AEC统计得到曝光参数,根据曝光参数确定当前的环境光亮度。在t3时,假设电子设备可以确定当前的环境光亮度为550Lux,大于预设亮度阈值300Lux,电子设备可以确定目标曝光模式为低感光模式。图像传感器的当前的曝光模式为双感光模式,当前的环境光亮度大于预设亮度阈值,如表1所示,当前的曝光时间为1/200s,远小于1/48s,曝光时间较短,电子设备捕获的图像运动模糊小,比较锐利。
由于图像传感器当前的曝光模式与目标曝光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的双感光模式切换到低感光模式。如图8A中的虚线2所示,在t3之后的一定时间内,电子设备摄像头的图像传感器切换到了低感光模式,如上文所述,电子设备还可以查表确定当前的环境光亮度确定曝光参数,调整摄像头的曝光参数。以当前的环境光亮度为550Lux,低感光模式下对应的曝光参数为:曝光时间1/50s,ISO 100。电子设备在从配置文件中获取到当前环境光亮度对应的曝光参数后,可以调整摄像头的曝光时间以及感光度。调整之后,摄像头工作在低感光模式下,采用1/50s的快门速度进行曝光。调整之后的曝光时间接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。
在t4之后时,电子设备根据捕获的图像可以确定当前的环境光亮度小于预设亮度阈值300Lux,电子设备的目标曝光模式为双感光模式,在环境亮度较低的情况下,如果图像传感器工作在低感光模式下,捕获的图像中暗部细节缺失,无法获得质量较高的图像,因此,环境光亮度小于预设亮度阈值时,目标曝光模式为双感光模式。在t4之前,电子设备的摄像头的图像传感器的曝光模式为低感光模式,也就是说,当前的曝光模式与目标感光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的低感光模式切换到双感光模式,并查找配置文件获取曝光参数,调整摄像头的曝光时间以及感光度。如图8A的虚线2中,在t4之后,电子设备的摄像头的图像传感器切换到了双感光模式,摄像头工作在双感光模式下,采用1/50s的快门速度进行曝光,接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。
在t5时,电子设备根据捕获的图像可以确定当前的环境光亮度等于预设亮度阈值,电子设备的目标曝光模式为低感光模式。在t5之前,电子设备的摄像头的图像传感器工作在双感光模式,也就是说,摄像头的图像传感器当前的曝光模式与目标曝光模式不同,如果不切换曝光模式,电子设备捕获的图像运动模糊小,比较锐利。
由于摄像头的图像传感器当前的曝光模式与目标曝光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的双感光模式切换到低感光模式。如图8A中的虚线2所示,在t5之后,电子设备的摄像头的图像传感器切换到了低感光模式,如上文所述,电子设备还可以查表确定当前的环境光亮度确定曝光参数,调整摄像头的曝光参数。摄像头工作在低感光模式下,采用1/50s的快门速度进行曝光,接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。
需要说明的是,电子设备可以持续的执行步骤S502和S503的过程,对摄像头捕获的图像进行AEC统计得到图像的亮度,根据图像的亮度确定当前的环境光亮度,并将当前环境光亮度和预设亮度阈值进行比较,根据比较结果,在双感光模式和低感光模式之间切换,并根据当前的环境光亮度调整曝光参数,直到拍摄结束、或者检测到用户关闭相机的操作、或者检测到用户将相机切换到拍照、人像等录制视频以外的模式。
图8E示出根据示例2的曝光模式切换过程中电子设备界面的示意图。本申请实施例的曝光模式切换方法可以应用于开始拍摄视频前的预览过程中,还可以应用于拍摄视频的过程中,图8E以拍摄视频过程中的曝光模式切换方法作为示例进行介绍。
在图8E的示例中,假设预设亮度阈值为300Lux。
电子设备响应于用户的操作打开相机的电影模式,或者,也可以是打开相机的录像、延时摄影等拍摄视频的功能。开启相机应用后,如图8E的a所示,电子设备的摄像头工作在双感光模式。
电子设备接收到用户针对第一控件522的点击操作,可以显示图8E中的b所示的界面。如图8E中的b所示,当前的环境光亮度为550Lux,大于预设亮度阈值300Lux,电子设备可以确定目标曝光模式为低感光模式。图像传感器的当前的曝光模式为双感光模式,当前的环境光亮度大于预设亮度阈值,如表1所示,当前的曝光时间为1/200s,远小于1/48s,曝光时间较短,电子设备捕获的图像运动模糊小,比较锐利。
由于图像传感器当前的曝光模式与目标曝光模式不同,电子设备可以将摄像头的图像传感器的曝光模式由当前的双感光模式切换到低感光模式,如图8E中的c所示。电子设备还可以查表确定当前的环境光亮度确定曝光参数,调整摄像头的曝光参数。以当前的环境光亮度为550Lux,低感光模式下对应的曝光参数为:曝光时间1/50s,ISO 100。电子设备在从配置文件中获取到当前环境光亮度对应的曝光参数后,可以调整摄像头的曝光时间以及感光度。调整之后,摄像头工作在低感光模式下,采用1/50s的快门速度进行曝光。调整之后的曝光时间接近1/48s,运动物体可以产生自然的运动模糊,如图8C中的c所示,在预览框中呈现的效果接近真实的运动场景。
如图8E中的d所示,电子设备根据捕获的图像可以确定当前的环境光亮度小于预设亮度阈值300Lux,电子设备的目标曝光模式为双感光模式,因此,切换到了双感光模式。
如图8E中的e所示,当前的环境光亮度为300Lux。电子设备的摄像头的图像传感器工作在双感光模式,如果不切换曝光模式,电子设备捕获的图像运动模糊小,比较锐利。
如图8E中的f所示,当前的环境光亮度大于或等于预设亮度阈值,电子设备的摄像头的图像传感器已经从双感光模式切换到了低感光模式,采用1/50s的快门速度进行曝光。接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景。上述预设亮度阈值为300Lux,示例1和示例2中的环境光亮度值以及时间仅仅是本申请实施例的一些示例,不以任何方式限制本申请的范围。
为了防止在双感光模式和低感光模式之间的乒乓切换,在一种可能的实现方式中,本申请实施例的预设亮度阈值也可以包括第一亮度阈值和第二亮度阈值,其中,第一亮度阈值大于第二亮度阈值。在一种可能的实现方式中,第一亮度阈值可以为350Lux,第二亮度阈值可以为250Lux。
图9A示出根据本申请一实施例的曝光模式切换方法的流程图。如图9A所示,本申请实施例的曝光模式切换方法可以包括以下步骤:
S701,电子设备接收到开启相机应用的指令,启动摄像头并打开相机应用,电子设备响应于用户的操作将相机切换到拍摄视频的功能。
电子设备响应于用户的操作将相机切换到拍摄视频的功能后,摄像头默认工作在双感光模式。
摄像头在双感光模式下捕获图像,在相机应用的预览框中显示摄像头捕获的图像。
步骤S702,电子设备对摄像头捕获的图像进行AEC统计得到统计结果,根据统计结果确定当前的环境光亮度。
步骤S701和S702的具体过程可以参见步骤S501和S502的相关介绍,不再赘述。
步骤S703,电子设备根据当前的环境光亮度与第一亮度阈值、第二亮度阈值的关系,以及摄像头当前的曝光模式,确定是否切换所述摄像头的曝光模式。如果不需要切换所述摄像头的曝光模式,则返回步骤S702。如果需要切换所述摄像头的曝光模式,则执行步骤S704。
步骤S704,电子设备切换所述摄像头的曝光模式,并根据所述当前的环境光亮度调整所述摄像头的曝光参数。返回步骤S702。
图9B示出根据本申请一实施例的曝光模式切换方法的流程图。
如图9B所示,电子设备在确定当前的环境光亮度后,可以执行步骤S7031。
S7031,判断当前的环境光亮度是否大于第二亮度阈值、且小于第一亮度阈值。
如果是,电子设备可以执行步骤S7032,如果不是,电子设备可以执行步骤S7033。
S7032,电子设备控制摄像头继续工作在当前的曝光模式。
也就是说,通过设置两个环境光亮度的阈值,在当前的环境光亮度位于两个阈值之间时,不切换摄像头的曝光模式。当大于等于第一亮度阈值或者小于等于第二亮度阈值时,才根据当前的曝光模式以及当前的环境光亮度确定是否切换摄像头的曝光模式。这样,当环境光亮度在第一亮度阈值到第二亮度阈值的区间内变化时,可以防止频繁切换曝光模式。
比如说,在上文的示例中,设置了一个预设亮度阈值,假设预设亮度阈值为300Lux,如果环境光亮度在300Lux附近变化,可能会发生频繁切换曝光模式的情况。在本实施例中,通过设置两个亮度阈值,在第一亮度阈值到第二亮度阈值的区间内变化时,可以防止频繁切换曝光模式。
S7033,电子设备可以判断当前的环境光亮度是否大于或者等于第一亮度阈值。
由于根据步骤S7031已经确定当前的环境光亮度不是位于第二亮度阈值和第一亮度阈值之间,因此,在一种可能的实现方式中,步骤S7033中,电子设备可以判断当前的环境光亮度是否大于或者等于第一亮度阈值。如果是,电子设备可以执行步骤S7034,如果不是(也就是说,电子设备可以确定当前的环境光亮度小于或者等于第二亮度阈值),电子设备可以执行步骤S7037。
S7034,电子设备可以判断摄像头当前的曝光模式是否为低感光模式。
由于当前的环境光亮度大于或等于第一亮度阈值,双感光模式按照高感光模式曝光,曝光时间短,不易产生自然的运动模式,需要控制摄像头的曝光模式为低感光模式。电子设备可以先判断摄像头当前的曝光模式是否为低感光模式,如果摄像头当前的曝光模式为低感光模式,则电子设备可以不用切换摄像头的曝光模式,也就是执行步骤S7035,控制摄像头继续工作在当前的低感光模式即可。如果摄像头当前的曝光模式不是低感光模式,电子设备可以执行步骤S7036和S704。
S7036,电子设备可以将摄像头的曝光模式由双感光模式切换到低感光模式。
具体切换的方式可以参见上文的描述,在切换到低感光模式后,电子设备在环境光亮度大于或等于第一亮度阈值时,可以按照低感光模式的曝光模式进行曝光,曝光时间长,对于运动场景可以产生自然的运动模糊。
S7037,电子设备可以判断摄像头当前的曝光模式是否为双感光模式。
在步骤S7033中,电子设备判断当前的环境光亮度不是大于或者等于第一亮度阈值,在步骤S7031中,电子设备判断当前的环境光亮度也不是大于第二亮度阈值且小于第一亮度阈值。因此,电子设备可以确定当前的环境光亮度是小于或者等于第二亮度阈值的。
这种情况下,电子设备可以判断摄像头当前的曝光模式是否为双感光模式,如果摄像头当前的曝光模式是双感光模式,则电子设备可以执行步骤S7038。
S7038,电子设备继续控制摄像头工作在当前的曝光模式。
如果摄像头当前的曝光模式不是双感光模式,电子设备可以执行步骤S7039。
S7039,电子设备将摄像头的曝光模式由低感光模式切换到双感光模式。
在另一种可能的实现方式中,步骤S7033中,电子设备也可以判断当前的环境光亮度是否小于或者等于第二亮度阈值。
如果当前的环境光亮度小于或者等于第二亮度阈值:在步骤S7034中,电子设备可以继续判断摄像头当前的曝光模式是否为双感光模式,如果是,电子设备执行步骤S7035,如果不是,在步骤S7036中,电子设备可以将摄像头的曝光模式由低感光模式切换到双感光模式。当然,在步骤S7034中也可以继续判断摄像头当前的曝光模式是否为低感光模式,只不过判断为是之后,电子设备执行步骤S7036将摄像头的曝光模式由低感光模式切换到双感光模式,判断为否之后,电子设备执行步骤S7035。
如果当前的环境光亮度不是小于或者等于第二亮度阈值,根据之前的判断条件可知,当前的环境光亮度大于或者等于第一亮度阈值,在步骤S7037中,电子设备可以判断摄像头当前的曝光模式是否为低感光模式,如果是低感光模式,电子设备可以执行步骤S7038控制摄像头继续工作在当前的曝光模式,如果不是低感光模式,电子设备可以执行步骤S7039,在步骤S7039中,电子设备可以将摄像头的曝光模式由双感光模式切换到低感光模式。当然,在步骤S7037中,电子设备也可以判断摄像头当前的曝光模式是否为双感光模式,具体过程不再赘述。
如图9B所示,在执行完步骤S7036或者S7039后,电子设备可以执行步骤S7041,电子设备根据当前的环境光亮度调整摄像头的曝光参数,具体为,电子设备根据当前的环境光亮度以及切换后的曝光模式查找配置文件,确定当前的环境光亮度以及切换后的曝光模式对应的曝光参数,并根据查找到的曝光参数调整摄像头的曝光参数。
需要说明的是,步骤S7041和步骤S703中的S7032、S7035以及S7038之后,电子设备可以继续执行步骤S702,直到拍摄结束、或者检测到用户关闭相机的操作、或者检测到用户将相机切换到拍照、人像等录制视频以外的模式。
图10示出根据本申请一实施例的应用场景的示意图。如图10所示,图中坐标轴的横坐标可以表示时间,纵坐标可以表示环境光亮度随着时间的变化,三条曲线分别表示开启相机应用的拍摄视频的功能后,环境光亮度变化的示例;图中下半部分可以表示三个示例中摄像头的图像传感器的曝光模式切换的过程,下半部分中,实线3对应的示例为上面曲线3对应的切换过程,虚线4对应的示例为上面曲线4对应的切换过程,虚线5对应的示例为上面曲线5对应的切换过程。
下面结合图9A、图9B、图10以及具体的应用场景对本申请实施例的曝光模式切换方法进行介绍。
示例3
如图10中的曲线3所示,电子设备打开相机应用的录像或电影等拍摄视频的功能时,摄像头默认工作在双感光模式,当前环境光亮度比较小,约150Lux,小于第二亮度阈值,电子设备不切换摄像头的曝光模式。当环境光亮度接近250Lux(第二亮度阈值)时,电子设备不切换摄像头的曝光模式,直到t1,环境光亮度接近350Lux(第一亮度阈值)时,电子设备将摄像头的曝光模式由双感光模式切换到低感光模式。
在t1后,环境光亮度继续变化,大于第一亮度阈值,在t2之前,环境光亮度接近第一亮度阈值时,电子设备没有切换摄像头的曝光模式,摄像头的图像传感器继续工作在低感光模式。直到t2时,环境光亮度继续降低到接近第二亮度阈值,当环境光亮度小于第二亮度阈值时,电子设备将摄像头的曝光模式由低感光模式切换到双感光模式。
示例4
如图10中的曲线4所示,电子设备打开相机应用的录像或电影等拍摄视频的功能时,摄像头默认工作在双感光模式,t3时,当前环境光亮度比较大,约500Lux,大于第一亮度阈值,电子设备将摄像头的曝光模式由双感光模式切换到低感光模式。当环境光亮度接近350Lux(第一亮度阈值)时,电子设备不切换摄像头的曝光模式,直到t4时,环境光亮度接近250Lux(第二亮度阈值)时,电子设备将摄像头的曝光模式由低感光模式切换到双感光模式。
在t7之后,当曲线4的环境光亮度再次接近250Lux(第二亮度阈值)时,电子设备切换摄像头的曝光模式,直到t5时,环境光亮度接近350Lux(第一亮度阈值)时,电子设备将摄像头的曝光模式由双感光模式切换到低感光模式。
示例5
如图10中的曲线5,电子设备打开相机应用的录像或电影等拍摄视频的功能时,摄像头默认工作在双感光模式。在t6之前,曲线5的环境光亮度接近250Lux(第二亮度阈值)时,电子设备不切换摄像头的曝光模式。直到t6时,曲线5的环境光亮度接近350Lux(第一亮度阈值)时,电子设备将摄像头的曝光模式由双感光模式切换到低感光模式。在t7时,曲线5的环境光亮度接近350Lux(第一亮度阈值)时,之后小于350Lux(第一亮度阈值),电子设备不切换摄像头的曝光模式。直到t8时,曲线5的环境光亮度接近350Lux(第一亮度阈值)时,之后大于350Lux(第一亮度阈值),电子设备将摄像头的曝光模式由低感光模式切换到双感光模式。
按照图7A-图7C的实施例,只设置预设亮度阈值的方式,如图10中在第一亮度阈值和第二亮度阈值之间的虚线6。曲线5在虚线6附近变化,3次穿过虚线6,根据图7A-图7C的实施例,电子设备可以控制摄像头的图像传感器进行三次曝光模式切换。而在示例5中,通过设置两个亮度阈值,电子设备可以控制摄像头的图像传感器进行两次曝光模式切换,因此,图9A和图9B所示的实施例中的曝光模式切换方法可以减少切换的次数,防止频繁切换曝光模式。需要说明的是,在图10所示的实施例中,电子设备可以根据环境光亮度查表确定对应的曝光参数,并根据查找到的曝光参数调整摄像头的曝光时间和ISO值。
在双感光模式下,电子设备通过HDR技术得到图像,在低感光模式下,电子设备通过低转换增益LCG图像传感器捕获图像。
如上文所述,在开始拍摄视频之前的预览过程或者拍摄视频的过程中,电子设备都可以实时的进行曝光模式的切换。在进行曝光模式切换时,电子设备的显示界面还可以实时提示用户当前图像传感器的曝光模式。比如说,在电子设备切换到双感光模式时,电子设备的界面上可以显示HDR的标识。
图11A和图11B分别示出根据本申请一实施例的曝光模式切换方法的应用场景示意图。以开始拍摄视频之前的预览过程为例对本申请实施例的曝光模式切换方法进行说明。
如图11A所示,电子设备响应于用户的操作将相机切换到拍摄视频的功能后,摄像头中的图像传感器默认工作在双感光模式,假设此时,环境光亮度为200Lux,小于预设亮度阈值,电子设备不切换摄像头的曝光模式,也可以获得具有自然的运动模糊的图像,且图11A所示的界面中,控件91表示HDR功能开启,电子设备可以获得具有高动态范围的图像(视频)。
如图11B所示,如果环境光亮度发生变化,假设环境光亮度变化到400Lux,电子设备控制摄像头的图像传感器切换到低感光模式,切换后电子设备可以获得具有自然的运动模糊的图像。电子设备将摄像头的图像传感器切换到低感光模式后,如图11B所示的界面中,控件91表示HDR功能关闭。
也就是说,在开始拍摄视频之前的预览过程,电子设备的显示界面的预览框中的第一控件的状态可以随着曝光模式的变化而变化。
同样的,在拍摄视频的过程中,电子设备的显示界面的预览框中也可以显示第一控件,第一控件的状态可以随着曝光模式的变化而变化。如图8B中的示例,“HDR”的状态随着曝光模式的变化而变化。
在本申请的一些实施例中,电子设备100可以利用自抗扰控制(activedisturbancerejectioncontrol,ADRC)技术来调整动态范围,也就是上述的GTM模块和LTM模块可以利用ADRC对RAW图像进行处理,使得曝光模式切换前后的动态范围尽量接近。
需要说明的是,在双感光模式和低感光模式下的数据吞吐速率相同,且数据的字节深度格式相同,从而使得ISP无需重新启停流的就可以完成切换。也就是说,配置文件中保存的双感光模式和低感光模式下的数据吞吐速率相同、数据的字节深度格式相同,这样,ISP在控制摄像头在两种模式之间切换时,可以保证配置的数据吞吐速率相同、数据的字节深度相同,从而不需要停止原来的数据流、启动新的数据流,从显示情况来看,在两种模式切换时,可以保证画面流畅不卡顿。
本申请还提供了另一实施例的曝光模式切换方法,在本实施例中,在判断当前的环境光亮度大于或等于预设阈值时,电子设备还可以进一步判断是否满足预设的拍摄场景,预设的拍摄场景可以包括电子设备处于运动状态的场景或者摄像头捕捉的图像中包括运动物体。如果电子设备判断满足预设的拍摄场景,可以控制摄像头的图像传感器工作在低感光模式。如果不满足预设的拍摄场景,电子设备可以控制摄像头的图像传感器继续保持在双感光模式。
在一种可能的实现方式中,电子设备可以利用运动传感器检测电子设备本身是否处于运动状态,运动传感器可以是如上文所述的陀螺仪传感器、加速度传感器等能够检测物体运动状态的传感器。
在一种可能的实现方式中,本申请实施例的电子设备中还可以包括运动检测模块,运动检测模块可以为软件程序模块,可以设置在如上文所述的硬件抽象层,比如,可以是相机模块中的子模块。运动检测模块可以根据摄像头捕捉的图像,检测被摄物体的运动状态,比如说,电子设备可以根据摄像头连续捕获的多帧图像检测被摄物体的运动状态。
图12示出根据本申请一实施例的曝光模式切换方法的流程图。如图12所示,本申请实施例的曝光模式切换方法可以包括以下步骤:
步骤S110,电子设备对摄像头捕获的图像进行AEC统计得到统计结果,根据统计结果确定当前的环境光亮度。
步骤S111,电子设备判断当前的环境光亮度是否大于或等于预设亮度阈值。电子设备判断当前的环境光亮度小于预设亮度阈值,电子设备可以执行步骤S112。电子设备判断当前的环境光亮度大于或者等于预设亮度阈值,电子设备可以执行步骤S113。
步骤S112,电子设备控制摄像头的图像传感器工作在双感光模式。具体地,电子设备可以判断摄像头当前的曝光模式是否为双感光模式,电子设备判断摄像头当前的曝光模式不是双感光模式,电子设备将图像传感器从低感光模式切换到双感光模式,并执行步骤S115,调整摄像头的曝光参数,具体调整的过程可以参见上文的描述。电子设备判断摄像头当前的曝光模式是双感光模式,控制摄像头继续工作在双感光模式。
步骤S113,电子设备判断电子设备是否满足预设的拍摄场景。
如上所述,电子设备可以检测电子设备本身是否处于运动状态或者电子设备拍摄的物体是否处于运动状态。满足电子设备本身处于运动状态或者拍摄的物体(被摄物体)处于运动状态中的任意一种拍摄场景,电子设备可以执行步骤S114。如果不满足预设的拍摄场景,也就是说,电子设备本身处于稳定状态、并且被摄物体也处于稳定状态,电子设备可以执行步骤S112。
步骤S114,电子设备控制摄像头工作在低感光模式。
具体地,可以判断摄像头当前的曝光模式是否为低感光模式,电子设备判断摄像头当前的曝光模式不是低感光模式,电子设备将图像传感器从双感光模式切换到低感光模式,并执行步骤S115,调整摄像头的曝光参数,具体调整的过程可以参见上文的描述。电子设备判断摄像头当前的曝光模式是低感光模式,控制摄像头继续工作在低感光模式。
步骤S115,电子设备调整摄像头的曝光参数。具体过程可以参见上文的描述。
图13示出根据本申请一实施例的应用场景的示意图,如图13中的a所示,当前的环境光亮度为200Lux,小于预设亮度阈值,电子设备的图像传感器为双感光模式。图13中b所示当前的环境光亮度为350Lux,大于预设亮度阈值,电子设备的图像传感器判断电子设备不满足预设的拍摄场景,比如说,电子设备根据运动传感器判断电子设备当前处于基本静止的状态,电子设备对图像中的物体进行运动检测,确定被摄物体处于静止状态,不符合预设的拍摄场景,电子设备控制图像传感器继续工作在双感光模式,不需要进行模式切换。
与图8C所示的示例比较,可见,根据本申请上述实施例的曝光模式切换方法,电子设备判断是否满足预设的拍摄场景,比如说,电子设备本身处于运动状态,或者电子设备拍摄的物体处于运动状态,可以统称为运动场景。在电视设备判断满足运动场景、并且环境光亮度比较亮时,电子设备将摄像头切换到低感光模式,可以按照低感光模式的曝光模式进行曝光,曝光时间长,对于运动场景可以产生自然的运动模糊。如果电子设备拍摄时不处于上述运动场景中,为了获得更大的动态范围,在环境光亮度比较亮的场景下,也可以控制摄像头继续工作在双感光模式,提高拍摄的图像的质量。
图14A和图14B示出根据本申请另一实施方式的曝光模式切换方法的流程图。本实施例的方法仍然可以应用于拍摄视频的过程中和拍摄视频之前预览的过程中。如图所示,本申请实施例的曝光模式切换方法可以包括以下过程:1、测光得到环境光亮度,2、根据环境光亮度查表,得到曝光参数,3、根据曝光参数进行曝光采集图像帧,4、输出采集的图像帧到AEC模块,5、AEC模块根据采集得到的图像帧和曝光参数估算环境光亮度,输出估算的环境光亮度到曝光模式控制模块,6、曝光模式控制模块根据估算的环境光亮度以及切换条件,切换图像传感器的曝光模式。图14A和图14B中“测光”的步骤用虚线标出,在本实施例中,测光可以在方法开始时执行一次,之后可以不执行测光的步骤,而是采用步骤5中输出的环境光亮度作为查表的依据,通过查表获得曝光参数,进行下一轮的曝光和采集图像的过程。也就是说,在下一轮的拍摄过程中,电子设备可以采用步骤5输出的环境光亮度执行步骤2查表获得曝光参数,然后执行步骤3-6的过程。之后,可以继续执行步骤1~6的过程,直到拍摄结束,之后的过程中,步骤1采用步骤5得到环境光亮度。
采用上述实施例的曝光模式切换方法,可以进一步减小亮光环境对拍摄运动场景的影响。
图14C示出根据本申请一实施例的拍摄视频的过程的示意图。如图14C所示,图14C中的a可以是对图3A中的示例c向左旋转90度横握电子设备时的示例,电子设备的摄像头工作在双感光模式。
电子设备接收到用户针对第一控件522的点击操作,可以显示图14C中的b所示的界面。如图14C中的b所示,当前的环境光亮度为200Lux,假设预设亮度阈值为300Lux,电子设备可以确定当前的环境光亮度小于预设亮度阈值,电子设备的摄像头的图像传感器工作在双感光模式。
如图14C中的c所示,电子设备的摄像头的图像传感器工作在双感光模式,当前的环境光亮度为299Lux,电子设备通过查表1得到曝光参数为:曝光时间1/50s,ISO为100,根据曝光参数曝光采集下一帧图像。
根据下一帧图像,电子设备估算得到当前的环境光亮度为300Lux,如图14C中的d所示,估算的环境光亮度等于预设亮度阈值,电子设备的摄像头的图像传感器从双感光模式切换到低感光模式,切换后,由于采用低感光模式,电子设备查找表2得到曝光参数为:曝光时间1/50s,ISO为200。电子设备的图像传感器采用1/50s的快门速度进行曝光采集下一帧图像,曝光时间接近1/48s,运动物体可以产生自然的运动模糊,在预览框中呈现的效果接近真实的运动场景,如图14C中的e所示。
与图8B-图8D所示的示例比较可知,本实施例的曝光模式切换方法,在预设亮度阈值附近不会出现曝光时间突然缩短,拍摄得到锐利图像的情况,而是在环境光亮度从暗变亮的过程中,可以随着曝光模式的切换,迅速的调整曝光参数,从双感光模式切换到低感光模式时,曝光时间保持在1/48s附近,拍摄运动场景时每一帧都能得到自然的运动模糊,播放时更加顺畅。
在本申请的实施例中拍摄得到的图像的信噪比与曝光模式和ISO成线性关系。图15A示出根据本申请一实施例的图像的信噪比SNR与曝光模式和ISO的关系的示意图。图15A中,横坐标表示ISO,纵坐标表示信噪比SNR,实线为DCG模式下信噪比随着ISO的变化曲线,虚线为LCG模式下信噪比随着ISO的变化曲线。
图15B和图15C分别示出根据本申请一实施例的拍摄的到的图像的信噪比随着环境光亮度的变化曲线的示意图。
如图15B所示的曲线1502,按照箭头指示的方向,在暗光下打开相机应用,切换到拍摄视频的模式,在环境光亮度小于300Lux时,图像传感器处于双感光模式,随着环境光亮度由暗到亮,结合表1和图15A所示DCG模式下ISO和信噪比关系的曲线,ISO逐渐减小,SNR逐渐升高。当环境光亮度到达300Lux时,图像传感器切换到低感光模式,结合表1、表2和图15A所示的LCG模式下ISO和信噪比关系的曲线,SNR突然下降,如图15B中的椭圆形虚线框圈出的位置,在双感光模式下,环境光亮度为300Lux时对应的ISO为100,如图15A所示,DCG曲线中ISO100对应的信噪比为70,当切换到低感光模式时,环境光亮度为300Lux时对应的ISO为200,如图15A所示,LCG曲线中ISO200对应的信噪比为64,在切换模式时,信噪比突然下降。在环境光亮度为预设亮度阈值附近,在环境由暗变亮时,拍摄得到的图像帧存在SNR突然下降。如图15B中的曲线1501,如果不进行曝光模式切换,根据表1可知,环境光亮度大于300Lux以后,ISO不再变化,采集得到的图像的SNR也不再变化。
在另一种可能的实现方式中,如图15C所示的曲线1504,按照箭头指示的方向,在亮光下打开相机应用,切换到拍摄视频的模式,图像传感器默认工作为双感光模式或高感光模式,环境光亮度大于300Lux,假设为400Lux,结合表1和图15A所示,在双感光模式下环境光亮度为400Lux时,ISO为100,如图15A所示,DCG曲线中ISO100对应的信噪比为70,刚开始为双感光模式下,采集得到的图像的SNR较高,随后,图像传感器切换到低感光模式,根据表2,低感光模式下400Lux对应的ISO为200,因此,如图15A所示的LCG曲线中,ISO为200时,拍摄得到的图像的SNR为64,随后,随着环境光亮度下降到300Lux以下,图像传感器切换到双感光模式,300Lux对应的ISO为100,根据图15A可知,采集得到的图像的SNR为70。根据以上分析过程,可以得到图15C所示的曲线图,也就是说,这种场景下,在环境光亮度从亮变暗的过程中,拍摄得到的图像的SNR也存在突然变化(上升)的场景。如图15C中的曲线1503,如果不进行曝光模式切换,根据表1可知,环境光亮度大于300Lux,ISO不变化,采集得到的图像的SNR也不变化,直到环境光亮度小于300Lux,ISO开始增大,随之,采集得到的图像的SNR开始减小。
如图15D所示的曲线1505,打开相机的拍摄视频的功能后,图像传感器也可以默认工作为低感光模式,这种情况下,低感光模式下400Lux对应的ISO为200,因此,如图15A所示的LCG曲线中,ISO为200时,拍摄得到的图像的SNR为64,随后,随着环境光亮度下降到300Lux以下,图像传感器切换到双感光模式或高感光模式,300Lux对应的ISO为100,根据图15A可知,采集得到的图像的SNR为70。也就是说,这种场景下,在环境光亮度从亮变暗的过程中,拍摄得到的图像的SNR也存在突然变化(上升)的场景。如图15D中的曲线1503,如果不进行曝光模式切换,根据表1可知,环境光亮度大于300Lux,ISO不变化,采集得到的图像的SNR也不变,直到环境光亮度小于300Lux,ISO开始增大,随之,采集得到的图像的SNR开始减小。
基于上述实施例,本申请还提供了一种拍摄视频的方法,所述方法应用于电子设备,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括第一控件和第一预览框,所述第一预览框用于显示所述电子设备通过摄像头实时采集的图像;
接收针对所述第一控件的第一操作;
响应于所述第一操作,所述电子设备通过所述摄像头连续捕获多帧图像,得到第一视频;其中,所述第一视频包括第一图像和第二图像,所述第一图像的采集时间早于所述第二图像的采集时间;
所述第一图像为:在第一环境光亮度下,所述电子设备采用第一曝光时间进行曝光捕获的图像,所述第一曝光时间为所述电子设备根据所述第一环境光亮度确定的;
所述第二图像为:在第二环境光亮度下,所述电子设备采用第二曝光时间进行曝光捕获的图像,所述第二曝光时间为所述电子设备根据所述第二环境光亮度确定的;
其中,所述第二环境光亮度大于或等于所述第一环境光亮度,所述第二曝光时间大于所述第一曝光时间。
具体地,如图8B-图8D的过程拍摄可以得到上述第一视频,第二环境光亮度可以为300Lux或者大于300Lux得到亮度,第一环境光亮度可以是小于300Lux的亮度,比如200Lux。在从第一环境光亮度变化为第二环境光亮度之后,电子设备在第二环境光亮度下采用时间更长的第二曝光时间进行曝光,亮光环境下,延长曝光时间,从而使得电子设备在拍摄运动场景时,在第二环境光亮度下仍然可以获得自然的运动模糊,使得拍摄得到的视频播放时比较流畅。
具体地,在从第一环境光亮度变化为第二环境光亮度之后,电子设备控制图像传感器切换了曝光模式,第二环境光亮度下切换为低感光模式,低感光模式下,图像传感器对光的敏感度降低,也就是说,可以延长曝光的时间获得自然的运动模糊,使得拍摄得到的视频播放时比较流畅。
在一种可能的实现方式中,所述第一视频还包括第三图像,所述第三图像的采集时间早于所述第一图像的采集时间,所述第三图像为:在第三环境光亮度下,所述电子设备采用第三曝光时间进行曝光捕获的图像,所述第三曝光时间为所述电子设备根据所述第三环境光亮度确定的;其中,所述第三环境光亮度小于所述第一环境光亮度,所述第三曝光时间大于所述第一曝光时间。
如图8B和表1所示,第三环境光亮度可以为100Lux或者50Lux,第三曝光时间可以小于或者等于第一曝光时间,比如说,第三曝光时间可以为1/50s或者1/33s。
在一种可能的实现方式中,所述摄像头包括图像传感器,所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
其中,第一感光模式可以为双感光模式或高感光模式,第二感光模式可以为低感光模式。
在一种可能的实现方式中,所述摄像头包括图像传感器,所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像和所述第三图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
具体地,如图8B和图8C的实施例,在从第一环境光亮度变化为第二环境光亮度之后,电子设备控制图像传感器切换了曝光模式,第二环境光亮度下切换为低感光模式,低感光模式下,图像传感器对光的敏感度降低,也就是说,可以延长曝光的时间获得自然的运动模糊,使得拍摄得到的视频播放时比较流畅。
在一种可能的实现方式中,在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像,包括:
在所述第一感光模式下,所述电子设备控制所述图像传感器采用所述第一增益对采集的第四图像进行处理得到第一子图像,采用所述第二增益对采集的第五图像进行处理得到第二子图像;
所述电子设备对所述第一子图像和所述第二子图像进行处理,得到所述第一图像或所述第三图像。
如图6A和图6B所示的实施例,在双感光模式下,分别读出高感光模式和低感光模式的图像,对读出的图像进行融合可以得到双感光模式下的图像。
在一种可能的实现方式中,所述第四图像和所述第五图像为相同时间采集的同一帧图像。如图6B所示的双电路增益,可以一次曝光得到第四图像和第五图像,然后对第四图像和第五图像进行处理得到第一子图像和第二子图像,再对第一子图像和第二子图像进行处理,得到第一图像或第三图像。
在一种可能的实现方式中,所述第四图像和所述第五图像为不同时间采集的图像。如图6A所示的双转换增益,可以通过两次曝光分别得到第四图像和第五图像,然后对第四图像和第五图像进行处理得到第一子图像和第二子图像,再对第一子图像和第二子图像进行处理,得到第一图像或第三图像。
在一种可能的实现方式中,所述方法还包括:响应于所述第一操作,所述电子设备显示第二界面;所述第二界面包括第二预览框,所述第二预览框用于实时预览所述电子设备拍摄的所述第一视频的图像帧,所述第一视频的图像帧包括:所述第一图像、所述第二图像和所述第三图像。
如图8B-图8D所示的实施例,在拍摄第一视频的过程中可以实时预览第一视频,也就是在拍摄过程中,预览的图像帧包括所述第一图像、所述第二图像和所述第三图像。也就是说,本申请实施例的方法也可以应用于拍摄视频的过程中预览的图像帧。
在一种可能的实现方式中,所述第二界面包括第二控件;所述第二控件包括第一状态和第二状态,所述第一状态表示高动态范围HDR功能打开,所述第二状态表示所述HDR功能关闭;在所述第二界面上显示所述第一图像时,所述第二控件为所述第二状态;在所述第二界面上显示所述第二图像或所述第三图像时,所述第二控件为所述第一状态。
具体可以参见图8B-图8D中的“HDR”控件的状态。
在一种可能的实现方式中,在所述电子设备采集所述第一图像后,所述方法还包括:
所述电子设备根据所述第一图像和采集所述第一图像时的第一曝光参数,计算第四环境光亮度;其中,所述第一曝光参数包括所述第一曝光时间和采集所述第一图像时的第一感光度ISO;所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式。
在一种可能的实现方式中,在所述电子设备采集所述第一图像之前,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第一环境光亮度;
在所述电子设备的图像传感器工作在所述第一感光模式下时,所述电子设备根据所述第一环境光亮度查找第一配置文件,得到所述第一曝光参数;其中,所述第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在控制所述图像传感器切换到所述第二感光模式后,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第二环境光亮度;
在所述电子设备的图像传感器工作在所述第二感光模式下时,所述电子设备根据所述第二环境光亮度查找第二配置文件,得到第二曝光参数;所述第二曝光参数包括所述第二曝光时间和第二ISO;其中,所述第二配置文件记录了:在所述第二感光模式下,环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在所述电子设备采集所述第三图像后,所述方法还包括:
所述电子设备根据所述第三图像和采集所述第三图像时的第三曝光参数,计算第五环境光亮度;其中,所述第三曝光参数包括所述第三曝光时间和采集所述第三图像时的第三ISO;
所述电子设备判断所述第五环境光亮度小于第二预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第一感光模式;
其中,所述第二预设亮度阈值小于或者等于所述第一预设亮度阈值。
以上如图4所示的实施例,不再赘述。
在一种可能的实现方式中,所述拍摄视频的功能为以下多种功能中的一种:电影模式,录像模式,延时摄影模式;其中,在所述电影模式下,所述电子设备在拍摄视频时采集图像的帧率为24fps。
在一种可能的实现方式中,所述第一界面为开始拍摄视频之后的预览界面,所述第一界面上包括时间信息,所述时间信息用于记录拍摄的视频的时间长度。
在一种可能的实现方式中,所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式,包括:
所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值、且所述电子设备满足预设的拍摄场景时,所述电子设备控制所述图像传感器切换到所述第二感光模式;其中,所述预设的拍摄场景包括所述电子设备处于移动状态的场景或者所述摄像头捕获的图像中包括运动物体。
在一种可能的实现方式中,所述第一视频不包括所述第二图像,所述第一视频包括第四图像,所述第四图像为:在所述第二环境光亮度下、且所述电子设备不满足预设的拍摄场景时,所述电子设备根据第四曝光时间进行曝光捕获的图像,第四曝光时间小于或等于所述第一曝光时间。具体可以参见图13所示的实施例,不再赘述。
本申请还提供了一种拍摄视频的方法,所述方法应用于电子设备,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括第一控件和第一预览框,所述第一预览框用于显示所述电子设备通过摄像头实时采集的图像;
接收针对所述第一控件的第一操作;
响应于所述第一操作,所述电子设备通过所述摄像头连续捕获多帧图像,得到第一视频;
其中,所述第一视频包括第一图像、第二图像和第三图像,所述第二图像位于所述第一图像和所述第三图像之间;
所述第一图像为:所述电子设备在第一环境光亮度下捕获的图像,所述第二图像为:所述电子设备在第二环境光亮度下捕获的图像,所述第三图像为:所述电子设备在第三环境光亮度下捕获的图像;
其中,所述第三环境光亮度大于或等于所述第二环境光亮度,所述第二环境光亮度大于所述第一环境光亮度,所述第一图像的信噪比小于所述第二图像的信噪比,所述第二图像的信噪比大于所述第三图像的信噪比。
具体如图15B和图15C所示的实施例,不再赘述。
在一种可能的实现方式中,所述第一图像的采集时间早于所述第二图像的采集时间,所述第二图像的采集时间早于所述第三图像的采集时间。如图15B所示。
在一种可能的实现方式中,所述第一图像的采集时间晚于所述第二图像的采集时间,所述第二图像的采集时间晚于所述第三图像的采集时间。如图15C所示。
在一种可能的实现方式中,所述摄像头包括图像传感器,所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像和所述第二图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第二图像;
在获取所述第三图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第三图像;
其中,所述第一增益大于所述第二增益。
在一种可能的实现方式中,在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第二图像,包括:
在所述第一感光模式下,所述电子设备控制所述图像传感器采用所述第一增益对采集的第四图像进行处理得到第一子图像,采用所述第二增益对采集的第五图像进行处理得到第二子图像;
所述电子设备对所述第一子图像和所述第二子图像进行处理,得到所述第一图像或所述第二图像。
如图14A和图14B所示的实施例,在一种可能的实现方式中,在所述电子设备采集所述第二图像后,所述方法还包括:所述电子设备根据所述第二图像和采集所述第二图像时的第一曝光参数,计算第四环境光亮度;其中,所述第一曝光参数包括第一曝光时间和采集所述第二图像时的第一感光度ISO;所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式。
在一种可能的实现方式中,在所述电子设备采集所述第二图像之前,所述方法还包括:所述电子设备根据所述第四图像和采集所述第四图像时的第二曝光参数,计算第五环境光亮度;其中,所述第四图像为所述第一视频中位于所述第二图像之前的图像帧;在所述电子设备的图像传感器工作在所述第一感光模式下时,所述电子设备根据所述第五环境光亮度查找第一配置文件,得到所述第一曝光参数;其中,所述第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
在一种可能的实现方式中,在控制所述图像传感器切换到所述第二感光模式后,所述方法还包括:在所述电子设备的图像传感器工作在所述第二感光模式下时,所述电子设备根据所述第四环境光亮度查找第二配置文件,得到第三曝光参数;其中,所述第三曝光参数包括所述第三曝光时间和第三ISO,所述第二配置文件记录了:在所述第二感光模式下,环境光亮度和对应的曝光参数之间的关系;所述电子设备根据所述第三曝光参数进行曝光捕获所述第三图像。
本申请实施例提供了一种电子设备,所述电子设备包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现上所述的方法。
本申请实施例提供了一种计算机可读存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的方法。
本申请实施例提供了一种拍摄视频的方法,所述方法应用于电子设备,所述电子设备包括显示屏和摄像头,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括预览框,所述预览框用于显示所述电子设备通过所述摄像头实时采集的图像;
所述电子设备确定第一环境光亮度,根据所述第一环境光亮度确定第一曝光时间,根据所述第一曝光时间进行曝光获取第一图像,将所述第一图像显示在所述预览框;
所述电子设备确定第二环境光亮度,根据所述第二环境光亮度确定第二曝光时间,根据所述第二曝光时间进行曝光获取第二图像,将所述第二图像显示在所述预览框;
其中,所述第二环境光亮度大于或等于所述第一环境光亮度,所述第二曝光时间大于所述第一曝光时间。
具体地,如图8B-图8D的过程拍摄可以得到上述第一视频,第二环境光亮度可以为300Lux或者大于300Lux得到亮度,第一环境光亮度可以是小于300Lux的亮度,比如200Lux。在从第一环境光亮度变化为第二环境光亮度之后,电子设备在第二环境光亮度下采用时间更长的第二曝光时间进行曝光,亮光环境下,延长曝光时间,从而使得电子设备在拍摄运动场景时,在第二环境光亮度下仍然可以获得自然的运动模糊,使得拍摄得到的视频播放时比较流畅。
在一种可能的实现方式中,在所述电子设备打开相机应用的拍摄视频的功能后,获取所述第一图像之前,所述方法还包括:所述电子设备确定第三环境光亮度,根据所述第三环境光亮度确定第三曝光时间,根据所述第三曝光时间进行曝光获取第三图像,将所述第三图像显示在所述预览框;其中,所述第三环境光亮度小于所述第一环境光亮度,所述第三曝光时间大于或等于所述第一曝光时间。如图8B和表1所示,第三环境光亮度可以为100Lux或者50Lux,第三曝光时间可以小于或者等于第一曝光时间,比如说,第三曝光时间可以为1/50s或者1/33s。
在一种可能的实现方式中,所述摄像头包括图像传感器,在获取所述第一图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像;在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;其中,所述第一增益大于所述第二增益。
在一种可能的实现方式中,所述摄像头包括图像传感器,在获取所述第一图像和所述第三图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像;在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;其中,所述第一增益大于所述第二增益。
具体地,如图8B和图8C的实施例,在从第一环境光亮度变化为第二环境光亮度之后,电子设备控制图像传感器切换了曝光模式,第二环境光亮度下切换为低感光模式,低感光模式下,图像传感器对光的敏感度降低,也就是说,可以延长曝光的时间获得自然的运动模糊,使得拍摄得到的视频播放时比较流畅。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (29)
1.一种拍摄视频的方法,其特征在于,所述方法应用于电子设备,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括第一控件和第一预览框,所述第一预览框用于显示所述电子设备通过摄像头实时采集的图像;
接收针对所述第一控件的第一操作;
响应于所述第一操作,所述电子设备通过所述摄像头连续捕获多帧图像,得到第一视频;其中,所述第一视频包括第一图像和第二图像,所述第一图像的采集时间早于所述第二图像的采集时间;
所述第一图像为:在第一环境光亮度下,所述电子设备采用第一曝光时间进行曝光捕获的图像,所述第一曝光时间为所述电子设备根据所述第一环境光亮度确定的;
所述第二图像为:在第二环境光亮度下,所述电子设备采用第二曝光时间进行曝光捕获的图像,所述第二曝光时间为所述电子设备根据所述第二环境光亮度确定的;
其中,所述第二环境光亮度大于或等于所述第一环境光亮度,所述第二曝光时间大于所述第一曝光时间。
2.根据权利要求1所述的方法,其特征在于,所述第一视频还包括第三图像,所述第三图像的采集时间早于所述第一图像的采集时间,
所述第三图像为:在第三环境光亮度下,所述电子设备采用第三曝光时间进行曝光捕获的图像,所述第三曝光时间为所述电子设备根据所述第三环境光亮度确定的;
其中,所述第三环境光亮度小于所述第一环境光亮度,所述第三曝光时间大于所述第一曝光时间。
3.根据权利要求1或2所述的方法,其特征在于,所述摄像头包括图像传感器,
所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
4.根据权利要求2所述的方法,其特征在于,所述摄像头包括图像传感器,
所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像和所述第三图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像;
在获取所述第二图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第二图像;
其中,所述第一增益大于所述第二增益。
5.根据权利要求3或4所述的方法,其特征在于,在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第三图像,包括:
在所述第一感光模式下,所述电子设备控制所述图像传感器采用所述第一增益对采集的第四图像进行处理得到第一子图像,采用所述第二增益对采集的第五图像进行处理得到第二子图像;
所述电子设备对所述第一子图像和所述第二子图像进行处理,得到所述第一图像或所述第三图像。
6.根据权利要求5所述的方法,其特征在于,所述第四图像和所述第五图像为相同时间采集的同一帧图像。
7.根据权利要求5所述的方法,其特征在于,所述第四图像和所述第五图像为不同时间采集的图像。
8.根据权利要求2所述的方法,其特征在于,所述方法还包括:
响应于所述第一操作,所述电子设备显示第二界面;所述第二界面包括第二预览框,所述第二预览框用于实时预览所述电子设备拍摄的所述第一视频的图像帧,所述第一视频的图像帧包括:所述第一图像、所述第二图像和所述第三图像。
9.根据权利要求8所述的方法,其特征在于,所述第二界面包括第二控件;所述第二控件包括第一状态和第二状态,所述第一状态表示高动态范围HDR功能打开,所述第二状态表示所述HDR功能关闭;
在所述第二界面上显示所述第一图像时,所述第二控件为所述第二状态;
在所述第二界面上显示所述第二图像或所述第三图像时,所述第二控件为所述第一状态。
10.根据权利要求3所述的方法,其特征在于,在所述电子设备采集所述第一图像后,所述方法还包括:
所述电子设备根据所述第一图像和采集所述第一图像时的第一曝光参数,计算第四环境光亮度;其中,所述第一曝光参数包括所述第一曝光时间和采集所述第一图像时的第一感光度ISO;
所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式。
11.根据权利要求10所述的方法,其特征在于,在所述电子设备采集所述第一图像之前,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第一环境光亮度;
在所述电子设备的图像传感器工作在所述第一感光模式下时,所述电子设备根据所述第一环境光亮度查找第一配置文件,得到所述第一曝光参数;其中,所述第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
12.根据权利要求10所述的方法,其特征在于,在控制所述图像传感器切换到所述第二感光模式后,所述方法还包括:
所述电子设备采用所述摄像头中的测光系统实时测光得到所述第二环境光亮度;
在所述电子设备的图像传感器工作在所述第二感光模式下时,所述电子设备根据所述第二环境光亮度查找第二配置文件,得到第二曝光参数;所述第二曝光参数包括所述第二曝光时间和第二ISO;
其中,所述第二配置文件记录了:在所述第二感光模式下,环境光亮度和对应的曝光参数之间的关系。
13.根据权利要求10所述的方法,其特征在于,在所述电子设备采集所述第三图像后,所述方法还包括:
所述电子设备根据所述第三图像和采集所述第三图像时的第三曝光参数,计算第五环境光亮度;其中,所述第三曝光参数包括所述第三曝光时间和采集所述第三图像时的第三ISO;
所述电子设备判断所述第五环境光亮度小于第二预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第一感光模式;
其中,所述第二预设亮度阈值小于或者等于所述第一预设亮度阈值。
14.据权利要求1-13任意一项所述的方法,其特征在于,所述拍摄视频的功能为以下多种功能中的一种:电影模式,录像模式,延时摄影模式;
其中,在所述电影模式下,所述电子设备在拍摄视频时采集图像的帧率为24fps。
15.据权利要求1-13任意一项所述的方法,其特征在于,所述第一界面为开始拍摄视频之后的预览界面,所述第一界面上包括时间信息,所述时间信息用于记录拍摄的视频的时间长度。
16.根据权利要求11所述的方法,其特征在于,所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式,包括:
所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值、且所述电子设备满足预设的拍摄场景时,所述电子设备控制所述图像传感器切换到所述第二感光模式;
其中,所述预设的拍摄场景包括所述电子设备处于移动状态的场景或者所述摄像头捕获的图像中包括运动物体。
17.根据权利要求16所述的方法,其特征在于,所述第一视频不包括所述第二图像,所述第一视频包括第四图像,所述第四图像为:在所述第二环境光亮度下、且所述电子设备不满足预设的拍摄场景时,所述电子设备根据第四曝光时间进行曝光捕获的图像,第四曝光时间小于或等于所述第一曝光时间。
18.一种拍摄视频的方法,其特征在于,所述方法应用于电子设备,所述方法包括:
电子设备响应于用户的操作,打开相机应用的拍摄视频的功能,在所述显示屏上显示第一界面,所述第一界面包括第一控件和第一预览框,所述第一预览框用于显示所述电子设备通过摄像头实时采集的图像;
接收针对所述第一控件的第一操作;
响应于所述第一操作,所述电子设备通过所述摄像头连续捕获多帧图像,得到第一视频;
其中,所述第一视频包括第一图像、第二图像和第三图像,所述第二图像位于所述第一图像和所述第三图像之间;
所述第一图像为:所述电子设备在第一环境光亮度下捕获的图像,所述第二图像为:所述电子设备在第二环境光亮度下捕获的图像,所述第三图像为:所述电子设备在第三环境光亮度下捕获的图像;
其中,所述第三环境光亮度大于或等于所述第二环境光亮度,所述第二环境光亮度大于所述第一环境光亮度,所述第一图像的信噪比小于所述第二图像的信噪比,所述第二图像的信噪比大于所述第三图像的信噪比。
19.根据权利要求18所述的方法,其特征在于,所述第一图像的采集时间早于所述第二图像的采集时间,所述第二图像的采集时间早于所述第三图像的采集时间。
20.根据权利要求18所述的方法,其特征在于,所述第一图像的采集时间晚于所述第二图像的采集时间,所述第二图像的采集时间晚于所述第三图像的采集时间。
21.根据权利要求1所述的方法,其特征在于,所述摄像头包括图像传感器,
所述响应于所述第一操作,所述电子设备通过摄像头连续捕获多帧图像,得到第一视频,包括:
在获取所述第一图像和所述第二图像时,所述电子设备的图像传感器为第一感光模式;在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第二图像;
在获取所述第三图像时,所述电子设备的图像传感器为第二感光模式;在所述第二感光模式下,所述电子设备控制所述图像传感器采用第二增益对采集的图像进行处理得到所述第三图像;
其中,所述第一增益大于所述第二增益。
22.根据权利要求21所述的方法,其特征在于,在所述第一感光模式下,所述电子设备控制所述图像传感器采用第一增益对采集的图像进行处理得到所述第一图像或所述第二图像,包括:
在所述第一感光模式下,所述电子设备控制所述图像传感器采用所述第一增益对采集的第四图像进行处理得到第一子图像,采用所述第二增益对采集的第五图像进行处理得到第二子图像;
所述电子设备对所述第一子图像和所述第二子图像进行处理,得到所述第一图像或所述第二图像。
23.根据权利要求19所述的方法,其特征在于,在所述电子设备采集所述第二图像后,所述方法还包括:
所述电子设备根据所述第二图像和采集所述第二图像时的第一曝光参数,计算第四环境光亮度;其中,所述第一曝光参数包括第一曝光时间和采集所述第二图像时的第一感光度ISO;
所述电子设备判断所述第四环境光亮度大于第一预设亮度阈值时,所述电子设备控制所述图像传感器切换到所述第二感光模式。
24.根据权利要求23所述的方法,其特征在于,在所述电子设备采集所述第二图像之前,所述方法还包括:
所述电子设备根据所述第四图像和采集所述第四图像时的第二曝光参数,计算第五环境光亮度;其中,所述第四图像为所述第一视频中位于所述第二图像之前的图像帧;
在所述电子设备的图像传感器工作在所述第一感光模式下时,所述电子设备根据所述第五环境光亮度查找第一配置文件,得到所述第一曝光参数;其中,所述第一配置文件记录了:在第一感光模式下,环境光亮度和对应的曝光参数之间的关系。
25.根据权利要求23所述的方法,其特征在于,在控制所述图像传感器切换到所述第二感光模式后,所述方法还包括:
在所述电子设备的图像传感器工作在所述第二感光模式下时,所述电子设备根据所述第四环境光亮度查找第二配置文件,得到第三曝光参数;其中,所述第三曝光参数包括所述第三曝光时间和第三ISO,所述第二配置文件记录了:在所述第二感光模式下,环境光亮度和对应的曝光参数之间的关系;
所述电子设备根据所述第三曝光参数进行曝光捕获所述第三图像。
26.一种电子设备,其特征在于,所述电子设备包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求1至17任一项所述的方法。
27.一种计算机可读存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-17任意一项所述的方法。
28.一种电子设备,其特征在于,所述电子设备包括:处理器,用于存储所述处理器可执行指令的存储器,所述处理器被配置为执行所述指令时,使得所述电子设备实现如权利要求18至25任一项所述的方法。
29.一种计算机可读存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求18-25任意一项所述的方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111422787 | 2021-11-26 | ||
CN2021114227877 | 2021-11-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116193268A true CN116193268A (zh) | 2023-05-30 |
Family
ID=86438936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210243501.7A Pending CN116193268A (zh) | 2021-11-26 | 2022-03-11 | 一种拍摄视频的方法及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116193268A (zh) |
-
2022
- 2022-03-11 CN CN202210243501.7A patent/CN116193268A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021052232A1 (zh) | 一种延时摄影的拍摄方法及设备 | |
CN109040609B (zh) | 曝光控制方法、装置、电子设备和计算机可读存储介质 | |
CN113810600B (zh) | 终端的图像处理方法、装置和终端设备 | |
US20230188861A1 (en) | Light Compensation Method for Photographing and Related Apparatus | |
CN113810601B (zh) | 终端的图像处理方法、装置和终端设备 | |
CN112532892B (zh) | 图像处理方法及电子装置 | |
WO2023015991A1 (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
CN116055890B (zh) | 生成高动态范围视频的方法和电子设备 | |
CN115526787B (zh) | 视频处理方法和装置 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
WO2024093432A1 (zh) | 拍摄帧率控制方法、电子设备、芯片系统及可读存储介质 | |
CN116095476B (zh) | 摄像头的切换方法、装置、电子设备及存储介质 | |
WO2022267608A1 (zh) | 一种曝光强度调节方法及相关装置 | |
CN113572948B (zh) | 视频处理方法和视频处理装置 | |
CN112785537A (zh) | 图像处理方法、装置以及存储介质 | |
WO2024174625A1 (zh) | 图像处理方法和电子设备 | |
WO2024032033A1 (zh) | 视频处理的方法及电子设备 | |
CN116389885B (zh) | 拍摄方法、电子设备及存储介质 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
EP4246955A1 (en) | Image processing method and electronic device | |
CN116193269A (zh) | 一种曝光模式切换方法及相关设备 | |
CN116193268A (zh) | 一种拍摄视频的方法及相关设备 | |
CN116055855B (zh) | 图像处理方法及其相关设备 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |