CN117692799A - 一种拍摄方法及相关设备 - Google Patents

一种拍摄方法及相关设备 Download PDF

Info

Publication number
CN117692799A
CN117692799A CN202311085394.0A CN202311085394A CN117692799A CN 117692799 A CN117692799 A CN 117692799A CN 202311085394 A CN202311085394 A CN 202311085394A CN 117692799 A CN117692799 A CN 117692799A
Authority
CN
China
Prior art keywords
image
mode
current
electronic device
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311085394.0A
Other languages
English (en)
Inventor
崔瀚涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202311085394.0A priority Critical patent/CN117692799A/zh
Publication of CN117692799A publication Critical patent/CN117692799A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Studio Devices (AREA)

Abstract

本申请提供了一种拍摄方法及相关设备。根据该拍摄方法,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制。具体地,针对第一焦段和高动态高亮场景,电子设备可以采用第一出图模式。第一出图模式以第二出图模式为基础。在第一出图模式下,电子设备可以经过一次曝光获取的M帧曝光时长不同的原始图像,并基于第二出图模式分别对第一图像传感器获取的M帧原始图像进行处理后输出M帧图像。M为大于1的整数。该M帧图像为第一出图模式下输出的图像。电子设备可以合成该M帧图像,并显示合成后的图像。该方法可以兼顾在视频录制过程中获取的视频帧的清晰度、感光度和动态范围。

Description

一种拍摄方法及相关设备
技术领域
本申请涉及终端技术领域,尤其涉及一种拍摄方法及相关设备。
背景技术
手机、平板电脑等电子设备中的图像传感器的动态范围是受限的,在拍摄视频场景的动态范围大于图像传感器的动态范围时,就会产生高动态范围(High Dynamic Range,HDR)问题,即不能识别视频帧的阴影区域和明亮区域的内容。这种情况下,需要提升图像传感器的动态范围。
发明内容
本申请提供了一种拍摄方法及相关设备。根据该拍摄方法,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制,以兼顾在视频录制过程中获取的视频帧的清晰度、感光度和动态范围。
第一方面,本申请提供一种拍摄方法。该拍摄方法可以应用于电子设备,该电子设备包括第一摄像头,第一摄像头包括第一图像传感器。该拍摄方法可以包括:电子设备显示拍摄界面,该拍摄界面可以用于显示通过第一摄像头采集的图像;在当前变焦倍数属于第一焦段,且当前动态范围大于第一动态范围阈值,且当前环境亮度大于第一预设环境亮度的情况下,电子设备可以通过第一图像传感器在第一出图模式下输出M帧图像,并将该M帧图像合成第一图像,在拍摄界面显示第一图像。其中,M为大于1的整数。M帧图像包括基于第二出图模式分别对第一图像传感器获取的M帧原始图像进行处理后得到的图像,M帧原始图像为经过一次曝光获取的M帧曝光时长不同的原始图像。
在本申请提供的方案中,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制。具体地,针对第一焦段,电子设备可以在高动态高亮场景下采取第一出图模式来输出图像,并对输出的图像进行合成后再显示。其中,第一出图模式是以第二出图模式为基础的一种出图模式。在第一出图模式下,电子设备可以经过一次曝光得到曝光时长不同的M帧原始图像,然后再将该M帧原始图像基于第二出图模式进行处理后得到M帧图像,再输出该M帧图像。通过这种方式,针对第一焦段下的高动态高亮场景,电子设备可以基于多帧曝光时间不同的图像获取更多图像细节,避免输出的图像过曝或欠曝,并且针对该多帧曝光时间不同的图像在第二出图模式下进行处理,可以在提升分辨率的情况下提升动态范围,最终使得获取的图像质量得以提高。
在本申请的一些实施例中,第一摄像头可以为电子设备中的主摄像头。
在一种可能的实现方式中,第一摄像头可以为tele摄像头。在这种情况下,第一图像传感器可以为图像传感器_2。在又一种可能的实现方式中,第一摄像头还可以为wide摄像头。在这种情况下,第二图像传感器可以为图像传感器_1。
在本申请的一些实施例中,第一焦段可以为后文所提及的焦段_2。在一种可能的实现方式中,第一焦段可以具体为2x-2.69x。当然,第一焦段还可以为其他焦段(例如,2x-3x),本申请对此不作限制。
在本申请的一些实施例中,第一动态范围阈值可以为后文所提及的动态范围阈值_5。第一预设环境亮度可以为后文所提及的预设环境亮度_4。
可理解,第一出图模式是以第二出图模式为基础对图像进行处理的出图模式。在本申请的一些实施例中,第一出图模式是基于SHDR得到原始图像,并基于第二出图模式对原始图像进行处理的出图模式。
可理解,第二出图模式是以第一原始出图方式为基础对图像进行处理的出图模式。在本申请的一些实施例中,第二出图模式是以第一原始出图方式对原始图像进行处理,再对处理后的图像进行裁剪处理的出图模式。其中,第一原始出图方式为将图像传感器的原始像素排列方式变成经典的bayer排布方式的处理方式。第一原始出图方式可以包括但不限于后文所提及的remosaic模式。
在本申请的一些实施例中,第一出图模式可以为后文所提及的SHDR(Long_I+Short_I)模式。第二出图模式可以为后文所提及的传感器内变焦模式。
在本申请的一些实施例中,M可以为2。M帧原始图像可以为如图1F所示的短曝光图像和长曝光图像。M帧图像可以为Short_I图像和Long_I图像。
结合第一方面,在一种可能的实现方式中,电子设备显示拍摄界面后,该方法还可以包括:在当前变焦倍数属于所述第一焦段,且当前动态范围大于所述第一动态范围阈值,且当前环境亮度小于第二预设环境亮度的情况下,电子设备可以通过第一图像传感器在第三出图模式下输出第二图像和第三图像,并将第二图像和第三图像合成第四图像,在拍摄界面显示第四图像。其中,第二预设环境亮度小于第一预设环境亮度;第二图像为基于第四出图模式按照第一感光度对第一图像传感器获取的第一原始图像进行处理后得到的图像,第三图像为基于第四出图模式按照第二感光度对第一原始图像进行处理后得到的图像,第一原始图像为第一图像传感器基于第一曝光时长获取的原始图像;第一感光度基于第二转换增益、第一模拟增益和第一数字增益确定,第二感光度基于第二转换增益、第二模拟增益和第二数字增益确定,第一模拟增益小于第二模拟增益。
在本申请提供的方案中,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制。具体地,针对第一焦段,电子设备可以在高动态低亮场景下采取第三出图模式来输出图像,并对输出的图像进行合成后再显示。其中,第三出图模式是以第四出图模式为基础的一种出图模式。在第三出图模式下,电子设备可以经过一次曝光得到一帧原始图像,然后再采用第四出图模式按照两种感光度(对应两种模拟增益)对该一帧原始图像进行处理后得到2帧图像,再输出该2帧图像。通过这种方式,针对第一焦段下的高动态低亮场景,电子设备可以采用不同感光度(具体为不同模拟增益)针对原始图像在第四出图模式下进行处理,可以提升感光度和动态范围,最终使得获取的图像质量得以提高。
在本申请的一些实施例中,第二预设环境亮度可以为后文所提及的预设环境亮度_1。
可理解,第四出图模式可以为第二原始出图方式。第三出图模式是以第二原始出图方式为基础对图像进行处理的出图模式。在本申请的一些实施例中,第三出图模式是以第二原始出图方式对原始图像进行处理,再采用不同模拟增益对该处理后的图像分别进行处理的出图模式。其中,第二原始出图方式为将图像传感器的原始相邻像素加在一起读出的处理方式。第二原始出图方式可以包括但不限于后文所提及的binning模式。
在本申请的一些实施例中,第三出图模式可以为后文所提及的DAG模式。第四出图模式可以为后文所提及的binning模式。
在本申请的一些实施例中,第一原始图像可以为如图1C所示的经过binning处理后所得的2×2图像。
在本申请的一些实施例中,电子设备将第一原始图像经过LAG通路进行处理,得到第二图像。在这种情况下,第二图像可以为如图1C所示的LAG图像。类似的,电子设备将第一原始图像经过HAG通路进行处理,得到第二图像。在这种情况下,第二图像可以为如图1C所示的HAG图像。可理解,第一模拟增益可以为LAG通路对应的模拟增益。例如,HCG*AG*DG。第二模拟增益可以为HAG通路对应的模拟增益。例如,HCG*(m*AG)*DG。LAG通路对应的模拟增益小于HAG通路对应的模拟增益。
在本申请的一些实施例中,第一曝光时长可以为t1。
可理解,本申请中所涉及的曝光时长和曝光时间的具体含义相同。
结合第一方面,在一种可能的实现方式中,电子设备还可以包括第二摄像头,第二摄像头可以包括第二图像传感器。拍摄界面还可以用于显示通过第二摄像头采集的图像。电子设备显示拍摄界面后,该方法还可以包括:
在当前变焦倍数属于第二焦段,且当前动态范围大于第二动态范围阈值,且当前物体距离大于第一物体距离的情况下,电子设备通过第二图像传感器在第五出图模式下输出第五图像和第六图像,并通过第二图像传感器将第五图像和第六图像合成第七图像,并在拍摄界面显示第七图像。其中,第五图像为基于第四出图模式按照第三感光度对第二原始图像进行处理后得到的图像,第六图像为基于第四出图模式按照第四感光度对第二原始图像进行处理后得到的图像,第二原始图像为第二图像传感器获取的原始图像。第三感光度基于第三转换增益、第三模拟增益和第三数字增益确定,第四感光度基于第四转换增益、第四模拟增益和第四数字增益确定,第三转换增益小于第四转换增益。
在本申请提供的方案中,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制。具体地,针对第二焦段,电子设备可以在高动态远距离场景下采取第五出图模式来输出图像,并通过第二图像传感器对输出的图像进行合成后再显示。其中,第五出图模式是以第四出图模式为基础的一种出图模式。在第五出图模式下,电子设备可以经过一次曝光得到一帧原始图像,然后再采用第四出图模式按照两种感光度(对应两种转换增益)对该一帧原始图像进行处理后得到2帧图像,再对该2帧图像进行合并,最终输出合并后的图像。通过这种方式,针对第二焦段下的高动态远距离场景,电子设备可以采用对应的摄像头获取图像,以及采用不同感光度(具体为不同转换增益)针对原始图像在第五出图模式下进行处理,可以提升感光度和动态范围,最终使得获取的图像质量得以提高。
在本申请的一些实施例中,第二摄像头可以为电子设备中的副摄像头。
在一种可能的实现方式中,第二摄像头可以为tele摄像头。在这种情况下,第二图像传感器可以为图像传感器_2。
在本申请的一些实施例中,第一摄像头和第二摄像头可以为相同摄像头。在本申请的又一些实施例中,第一摄像头和第二摄像头可以为不同摄像头。
在本申请的一些实施例中,第二焦段可以为后文所提及的焦段_3。在一种可能的实现方式中,第二焦段可以具体为2.7x-5.39x。当然,第一焦段还可以为其他焦段(例如,3x-5.5x),本申请对此不作限制。
在本申请的一些实施例中,第二动态范围阈值可以为后文所提及的动态范围阈值_6。第一物体距离可以为后文所提及的预设物体距离_1。
在本申请的一些实施例中,第五出图模式可以为后文所提及的IDCG模式。
在本申请的一些实施例中,第二原始图像可以为如图1B所示的经过binning处理后所得的2×2图像。
在本申请的一些实施例中,电子设备将第二原始图像经过LCG通路进行处理,得到第二图像。在这种情况下,第二图像可以为如图1B所示的LCG图像。类似的,电子设备将第二原始图像经过HCG通路进行处理,得到第二图像。在这种情况下,第二图像可以为如图1B所示的HCG图像。可理解,第一模拟增益可以为LCG通路对应的模拟增益。例如,LCG*AG*DG。第二模拟增益可以为HCG通路对应的模拟增益。例如,HCG*AG*DG。LCG通路对应的转换增益小于HCG通路对应的转换增益。
需要说明的是,在第五出图模式下,第二图像传感器可以对LCG图像和HCG图像进行融合处理,并输出融合后的一帧图像。
结合第一方面,在一种可能的实现方式中,M可以为2。当前变焦倍数属于第一焦段,且当前动态范围大于第一动态范围阈值,且当前环境亮度大于第一预设环境亮度的情况下,若当前环境亮度从不大于第一预设环境亮度变为大于第一预设环境亮度,M帧图像包括第八图像和第九图像。第八图像为基于第二出图模式按照第五感光度对第三原始图像进行处理后得到的图像,第九图像为基于第二出图模式按照第五感光度对第四原始图像进行处理后得到的图像。第三原始图像和第四原始图像为第一图像传感器在一次曝光过程中分别基于第二曝光时长和第三曝光时长所获取的原始图像。第二曝光时长和第三曝光时长的比值,与第一感光度和第二感光度的比值相等。第二曝光时长小于第三曝光时长,且第二曝光时长小于第一曝光时长。
在本申请提供的方案中,在当前变焦倍数属于第一焦段,且当前动态范围大于第一动态范围阈值,且当前环境亮度大于第一预设环境亮度的情况下,若当前环境亮度从不大于第一预设环境亮度变为大于第一预设环境亮度,电子设备确定达到由第三出图模式切换至第一出图模式的切换条件。在这种情况下,电子设备可以将第一图像传感器的出图模式切换至第一出图模式,并基于之前在第三出图模式下采用的感光比,以及之前在第三出图模式下采用的HAG通路对应的曝光时间和感光度,来确定切换至第一出图模式后采用的曝光时间和感光度。这种方式可以在保证模式切换前后感光度不变的情况下逐渐调节曝光时间和感光度,可以避免因两条通路对应的曝光时间和感光度调整幅度太大而导致的信噪比跳变,从而避免因信噪比跳变而导致的切换前后画面显示效果不一致。
在本申请的一些实施例中,第五感光度可以为HCG*(m*AG)*DG。第一曝光时长可以为t1,第二曝光时长可以为第三曝光时长可以为t1。第一感光度和第二感光度的比值可以为1/m(即1:m),第二曝光时长和第三曝光时长的比值可以为1/m(即1:m)。
结合第一方面,在一种可能的实现方式中,当前环境亮度从不大于第一预设环境亮度变为大于第一预设环境亮度之后,该方法还可以包括:电子设备逐步增大第一图像传感器在第一出图模式下输出图像时所依据的曝光时长,以及逐步减小第一图像传感器在第一出图模式下输出图像时所依据的感光度。其中,在上述逐步增大第一图像传感器在第一出图模式下输出图像时所依据的曝光时长,以及逐步减小第一图像传感器在所述第一出图模式下输出图像时所依据的感光度的过程中,电子设备每一次通过第一图像传感器在第一出图模式下输出两帧图像所依据的曝光时长的比值,与第一感光度和第二感光度的比值相等,并且电子设备每一次通过第一图像传感器在第一出图模式下输出两帧图像所依据的感光度相同。
在本申请提供的方案中,电子设备将图像传感器的出图模式由第三出图模式切换至第一出图模式后,比如由DAG模式切换至SHDR(Long_I+Short_I)模式后,可以逐渐增大两条通路对应的曝光时间,并减少两条通路对应的感光度,这样可以避免因两条通路对应的曝光时间和感光度调整幅度太大而导致的信噪比跳变,从而避免因信噪比跳变而导致的切换前后画面显示效果不一致。并且,在这个过程中,电子设备可以保持两条通路的感光比不变,从而保证动态范围不变,从而避免因动态范围波动而导致画面亮暗发生明显变化,进而提升用户拍摄体验。
结合第一方面,在一种可能的实现方式中,电子设备逐步增大第一图像传感器在第一出图模式下输出图像时所依据的曝光时长,具体可以包括:电子设备逐步增大第一图像传感器在第一出图模式下输出图像时所依据的曝光时长,直到输出图像时所依据的曝光时长中的最小值等于第二曝光时长。
在本申请提供的方案中,电子设备将图像传感器的出图模式由第三出图模式切换至第一出图模式后,比如由DAG模式切换至SHDR(Long_I+Short_I)模式后,可以逐渐增大两条通路对应的曝光时长,直到输出图像时所依据的曝光时长中的最小值等于第二曝光时长,而不必另外设置一个阈值来控制曝光时长的增长,简化了流程。
结合第一方面,在一种可能的实现方式中,第五感光度可以等于第二感光度,第三曝光时长可以等于第一曝光时长。
在本申请提供的方案中,电子设备可以基于在第三出图模式下的曝光时长和感光度,来确定切换至第一出图模式后采用的初始曝光时长和感光度,而不必重新设置曝光时长和感光度,简化了流程。
结合第一方面,在一种可能的实现方式中,拍摄界面还可以包括录像结束控件。录像结束按钮用于触发所述电子设备停止对拍摄界面显示的图像进行录制。该方法还可以包括:电子设备检测到针对录像结束控件的操作,响应于针对录像结束控件的操作,电子设备保存第一视频,第一视频包括拍摄界面显示的图像。
在本申请提供的方案中,拍摄界面可以为录像界面。录像界面可以包括录像结束控件。该录像结束控件可以用于停止录像。停止录像后,电子设备可以保存相应的录制视频。
结合第一方面,在一种可能的实现方式中,拍摄界面包括录像开始按钮。录像开始按钮用于触发电子设备对拍摄界面显示的图像进行录制。
在本申请提供的方案中,拍摄界面可以为录像预览界面(例如,用户界面400、用户界面500和用户界面600等)。
第二方面,本申请提供一种拍摄方法。该拍摄方法可以应用于电子设备,该电子设备包括第一摄像头,第一摄像头包括第一图像传感器。该拍摄方法可以包括:在当前变焦倍数属于所述第一焦段,且当前动态范围大于所述第一动态范围阈值,且当前环境亮度小于第二预设环境亮度的情况下,电子设备可以通过第一图像传感器在第三出图模式下输出第二图像和第三图像,并将第二图像和第三图像合成第四图像,在拍摄界面显示第四图像。其中,第二预设环境亮度小于第一预设环境亮度;第二图像为基于第四出图模式按照第一感光度对第一图像传感器获取的第一原始图像进行处理后得到的图像,第三图像为基于第四出图模式按照第二感光度对第一原始图像进行处理后得到的图像,第一原始图像为第一图像传感器基于第一曝光时长获取的原始图像;第一感光度基于第二转换增益、第一模拟增益和第一数字增益确定,第二感光度基于第二转换增益、第二模拟增益和第二数字增益确定,第一模拟增益小于第二模拟增益。
第三方面,本申请提供了一种电子设备,该电子设备包括:一个或多个处理器,以及一个或多个存储器;该一个或多个存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。
第四方面,本申请提供了一种电子设备,该电子设备包括:一个或多个处理器,以及一个或多个存储器;该一个或多个存储器与该一个或多个处理器耦合,该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令,该一个或多个处理器调用该计算机指令以使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。
第五方面,本申请提供一种计算机存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。
第六方面,本申请提供一种计算机存储介质,包括计算机指令,当该计算机指令在电子设备上运行时,使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。
第七方面,本申请实施例提供一种芯片,该芯片可以应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。
第八方面,本申请实施例提供一种芯片,该芯片可以应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法。
第九方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种实现方式所描述的方法。
第十方面,本申请实施例提供一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如第二方面或第二方面的任意一种实现方式所描述的方法
可理解,上述第三方面提供的电子设备、第五方面提供的计算机存储介质、第七方面提供的芯片,以及第九方面提供的计算机程序产品均用于执行如第一方面或第一方面的任意一种实现方式所描述的方法。因此,其所能达到的有益效果可参考上述第一方面中任一种可能的实现方式的有益效果,此处不再赘述。上述第四方面提供的电子设备、第六方面提供的计算机存储介质、第八方面提供的芯片,以及第十方面提供的计算机程序产品均用于执行如第二方面或第二方面的任意一种实现方式所描述的方法。因此,其所能达到的有益效果可参考上述第二方面中任一种可能的实现方式的有益效果,此处不再赘述。
附图说明
图1A-图1G为本申请实施例提供的一组图像传感器在不同出图模式下输出图像的示意图;
图2为本申请实施例提供的一种图像传感器在不同出图模式之间切换的示意图;
图3为本申请实施例提供的一种图像传感器在焦段_2内切换出图模式的示意图;
图4为本申请实施例提供的一种图像传感器在切换出图模式过程中的感光度和曝光时间的变化示意图;
图5为本申请实施例提供的一种电子设备的硬件结构示意图;
图6为本申请实施例提供的一种电子设备的软件结构示意图;
图7为本申请实施例提供的一种软硬件交互示意图;
图8A-图8D为本申请实施例提供的一组拍摄方法的流程图;
图9A-图9F为本申请实施例提供的一组用户界面示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
应当理解,本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
在实际使用电子设备进行拍摄的过程中,为了得到包含更多图像细节的图像,电子设备可以基于相应机制来提升动态范围。然而,由于读出时间限制,部分binning输出模式下支持的提升动态范围的机制(例如,DCG、DAG)无法用于remosaic输出模式。可理解,不同的出图模式具有不同的优点和缺点。例如,基于binning模式来读出图像,可以在视野面积和比例不变的前提下提高帧数,同时也可以提高暗处对光感应的灵敏度,但是这种出图模式会降低输出分辨率。再例如,基于remosaic模式来读出图像,可以得到像素点多、清晰度高的图像,但是这种出图模式会导致像素点小、感光度低。
若电子设备为了保证图像清晰度而采用remosaic模式来读出图像,电子设备无法保证动态范围,甚至很可能出现动态范围衰减的问题。
基于上述内容,本申请提供了一种拍摄方法及相关设备。根据该拍摄方法,电子设备可以在视频录制的过程中,针对不同焦段采用不同出图模式和动态范围提升机制,以兼顾在视频录制过程中获取的视频帧的清晰度、感光度和动态范围。
首先,对本申请中所涉及的术语进行解释说明,以便于本领域技术人员理解。
1、环境亮度和亮度场景
环境亮度可以指拍摄物体在接受光线的照射后,其反射光被图像传感器捕捉到的光照强度(或者被称为照度)。在本申请的一些实施例中,基于光照强度的差异,电子设备可以将环境亮度划分为不同的亮度场景。
在本申请的一些实施例中,亮度场景可以包括但不仅限于高亮场景、中高亮场景和低亮场景。可理解,不同的亮度场景可以对应于不同的亮度范围。在一种可能的实现方式中,若环境亮度不大于亮度_1,则亮度场景为低亮场景,若环境亮度大于亮度_2,且小于亮度_3,则亮度场景为中高亮场景,若环境亮度不小于亮度_4,则亮度场景为高亮场景。
可理解,亮度_1、亮度_2、亮度_3和亮度_4可以根据实际需要进行设置,本申请对此不作限制。需要说明的是,亮度_2不小于亮度_1,亮度_3大于亮度_2,亮度_4不小于亮度_3。在本申请的一些实施例中,亮度_1可以等于亮度_2,亮度_3可以等于亮度_4。
在本申请的一些实施例中,亮度_1、亮度_2、亮度_3和亮度_4可以为基于自动曝光控制(Automatic Exposure Control,AEC)标定值和实际环境亮度设置的逻辑亮度值。例如,在AEC标定曝光时间为1毫秒,且ISO为1的情况下,逻辑亮度值为90,在AEC标定曝光时间为2毫秒,且ISO为1的情况下,逻辑亮度值为80,在AEC标定曝光时间为5毫秒,且ISO为1的情况下,逻辑亮度值为70。类似的,还可以采取其他AEC标定值来设置相应的逻辑亮度值。电子设备可以按照逻辑亮度值来划分亮度场景。示例性的,亮度_1和亮度_2可以等于80,亮度_3和亮度_4可以等于115。在这种情况下,高亮场景对应的亮度范围可以为不小于115,中高亮场景对应的亮度范围可以为80-115(不包括80和115),低亮场景对应的亮度范围可以为不大于80。
在本申请的一些实施例中,亮度_1、亮度_2、亮度_3和亮度_4可以为计算得到的环境亮度,单位为勒克斯(lux)。示例性的,亮度_1和亮度_2可以等于200lux,亮度_3和亮度_4可以等于2000lux。在这种情况下,高亮场景对应的亮度范围可以为大于2000lux,中高亮场景对应的亮度范围可以为200lux-2000lux,低亮场景对应的亮度范围可以为0lux-200ux。
可以理解的是,本申请实施例中描述的亮度场景可以不限于上述三种。并且,上面给出的上述三种亮度场景分别对应的亮度范围仅作为一种示例,不同亮度场景下所对应的亮度范围的取值也可以为其他数值,本申请实施例中对此不做限定。
可理解,本申请中所提及的图像传感器可以是半导体芯片,包括但不限于电荷耦合器件(ChargeCoupleDevice,CCD)和互补金属氧化物(Complementary Metal-Oxide-Semiconductor,CMOS)等。
2、ISO
在胶片时代,ISO感光度是衡量传统相机所用的胶片感光速度标准的国际统一指标,感光度是由所购买的胶片决定的,数值是固定的,是胶片本身的一种属性。而数码相机、手机相机是通过电子的图像传感器CCD或者CMOS感应入射光线的强弱,为了与传统相机所使用的胶片统一计量单位,引入了ISO感光度的概念,因此数码相机的ISO同样反映了其感光速度。ISO数字越大,代表对光线越敏感,ISO数字越小,代表对光线越不敏感。
以CMOS为例,CMOS的工作原理为:(1)光子进入光电二极管,光电二极管吸收光子的能量被激发产生电子;(2)电子输出到势阱;(3)势阱两端产生模拟的电压信号;(4)使用程控增益放大器对模拟的电压信号进行模拟放大得到放大后的电压信号;(5)将放大后的电压信号输入模拟电路,基于模拟电路中的模拟增益(Analog Gain,AG)对放大后的电压信号进一步放大;(6)对进一步放大后的电压信号进行模数转换;(7)将数字信号输入数字电路,基于数字电路中的数字增益(Digital Gain,DG)对数字信号进行放大。
其中,第(4)步骤中对模拟的电压信号进行放大的放大倍数为转换增益(ConversionGain,CG)。第(4)步骤中的CG、第(5)步中的AG和第(7)步骤中的DG会影响ISO。在本申请的一些实施例中,CG*AG*DG=ISO。在本申请的一些实施例中,CG可以为固定值。这样,电子设备可以通过调节AG和/或DG改变ISO的大小。
3、动态范围(Dynamic Range,DR)和动态场景
图像传感器具有动态范围,图像传感器的动态范围可以指图像传感器感知拍摄场景中最暗照度值与最亮照度值的能力,即能够体现图像亮度值的能力。在大多数场景下,图像传感器的动态范围越大,图像传感器可感知的光照强度的范围就越广,那么拍摄得到的图像中的图像细节就更丰富。图像传感器能够感知的动态范围是有限的,一般由满阱容量(FullWell Capacity,FWC)决定。
满阱容量指的是单个像素点的势阱所能容纳的电子总数。光子照射在图像传感器表面,被吸收的光子会转换为电子,这些电荷存储在像素的势阱中。势阱可以容纳电荷的最大容量就是满阱容量,满阱容量也可以被称为最大阱容。达到满阱容量时会产生过曝的图像。图像传感器的满阱容量越大,单个像素的势阱所能容纳的电子总数越多,也就越不易过曝。
传感器设计好之后,电压摆幅是固定的,ISO可以对传感器的满阱容量产生明显的影响。具体地,假设像素允许的电压摆幅为Vmax,Vmax=CG*ISO*V,其中,V表示势阱两端产生的电压。在Vmax和CG固定的情况下,ISO越大,允许势阱两端产生的模拟电压V越小,也就是说,势阱所能容纳的电子数Q=C*V就越小,满阱容量就越小。其中,C表示势阱的电容,通常情况下,C是不变的。
也就是说,满阱容量会受ISO的影响,ISO越小,满阱容量越大,ISO越大,满阱容量越小,可以通过调节ISO的大小,来调节单个像素的满阱容量大小。
在一些实施例中,动态范围可以基于图像传感器感知到的拍摄场景中的最暗照度值与最亮照度值得到。
示例性的,动态范围的表达式可以是:DR=20log10(bright/dark)。其中,DR是指动态范围,bright可以指图像传感器感知的最亮的照度值,dark可以指图像传感器感知的最暗的照度值。通过该表达式可以建立起环境的动态范围与环境的光照强度的对应关系。
在本申请的一些实施例中,电子设备可以按照拍摄场景的动态范围(后文也称为环境动态范围)划分动态场景。拍摄场景的动态范围是测量阴影到高光的亮度范围。在一种可能的实现方式中,动态场景可以包括但不限于低动态场景、高动态场景和超高动态场景。
在本申请的一些实施例中,电子设备可以通过获取的图像的直方图来确定动态场景。
在一种可能的实现方式中,电子设备可以通过获取的图像的直方图确定的当前动态范围,并根据动态范围和动态场景的对应关系来确定当前动态场景。可理解,电子设备通过图像的直方图所确定的当前动态范围可以为逻辑值,在这种情况下,电子设备可以将该逻辑值对应的动态场景确定为当前动态场景。
例如,若当前动态范围的逻辑值小于动态范围阈值_1,则当前动态场景为低动态场景;若原动态场景为低动态场景,且当前动态范围的逻辑值大于动态范围阈值_2,则当前动态场景为高动态场景;若原动态场景为超高动态场景,且当前动态范围的逻辑值小于动态范围阈值_3,则当前动态场景为高动态场景;若当前动态范围的逻辑值大于动态范围阈值_4,则当前动态场景为超高动态场景。
可理解,动态范围阈值_1小于动态范围阈值_2,动态范围阈值_2小于动态范围阈值_3,动态范围阈值_3小于动态范围阈值_4。动态范围阈值_1、动态范围阈值_2、动态范围阈值_3和动态范围阈值_4的具体值可以根据实际需要进行设置,本申请对此不作限制。例如,动态范围阈值_1可以为4,动态范围阈值_2可以为6,动态范围阈值_3可以为12,动态范围阈值_4可以为18。
在一种可能的实现方式中,若直方图中阴影部分面积与整个直方图面积的比值不大于比值_1,则动态场景为低动态场景,若直方图中阴影部分面积与整个直方图面积的比值大于比值_2,且小于比值_3,则动态场景为高动态场景,若直方图中阴影部分面积与整个直方图面积的比值不小于比值_4,则动态场景为超高动态场景。
可理解,比值_1、比值_2、比值_3和比值_4可以根据实际需要进行设置,本申请对此不作限制。需要说明的是,比值_2不小于比值_1,比值_3大于比值_2,比值_4不小于比值_3。在本申请的一些实施例中,比值_1可以等于比值_2,比值_3可以等于比值_4。
可理解,直方图是图像中曝光的像素的图表形式,图的左侧代表黑色色阶和阴影,右侧代表高光和白色色阶,中间部分是中间色调(18%灰)。各个区域产生的峰值越高,代表该区域特定色调的像素就越多。
4、信噪比(Signal Noise Ratio,SNR)
SNR是信号与噪声的比值,是检验图像质量的一个指标,可以理解为衡量图像好坏的重要标准。SNR越大,图像质量越好。
5、图像读出模式
图像读出模式,即出图模式,指的是图像传感器中的感光元件采集电荷,并以像素的形式读出以及输出图像数据的模式。
下面对本申请涉及的出图模式进行介绍:
(1)、binning
binning(合并)是一种图像读出模式(即出图模式),指的是将相邻像元(相同颜色)感应的电荷加在一起,以一个像素的模式读出。binning分为水平方向binning和垂直方向binning,水平方向binning是将相邻的行的电荷加在一起读出,而垂binning直方向binning是将相邻的列的电荷加在一起读出。binning这一技术的优点是能将几个像素联合起来作为一个像素使用,在维持视场角不变的同时,可以增加感光面积,提高暗处对光感应的灵敏度,降低分辨率。
具体地,电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素。在binning模式下,图像传感器可以将采集到的相邻的像元中感应的电荷加在一起,以一个像素的模式读出,并对像素信息执行binning操作。具体地,binning模式下,图像传感器可以将采集到若干像素中的n×n合并为一个像素。其中,n为正整数。例如,binning模式下,图像传感器可以将相邻的2×2个像素合成为一个像素。也就是说,相邻2×2个像素的像素信息以一个像素的形式呈现。示例性的,如图1A所示,电子设备通过图像传感器获取的图像的原始像素分布情况可以为4×4,可以将相邻的相同颜色的2×2个像素合成为一个像素,比如将相邻2×2个红色像素(如图1A所示的R)合并为1个红色像素,使得4×4的图像合并为2×2的图像,并将该2×2的图像作为图像传感器输出的binning图像。该binning图像是一帧图像。可理解,电子设备通过binning模式输出图像,可以增加像素的感光面积,以提升暗区对光感应的灵敏度,还可以提升图像读出速度。
(2)、双转换增益(Dual Conversion Gain,DCG)和场景内双转换增益(Intra-scene Dual Convert Gain)
针对具有DCG能力的图像传感器,一个像素有两个势阱,两个势阱对应不同的满阱容量以及不同的转换增益,大满阱容量对应低转换增益(Low Conversion Gain,LCG)、低感光度,小满阱容量对应高转换增益(High Conversion Gain,HCG)、高感光度。这样,图像传感器可以在同一场景下使用两个势阱(两种感光度)和两种转换增益,从而实现通过一次曝光获取两张感光度不同的图像。这两张图像为高感光模式下的图像和低感光模式下的图像。其中,高感光模式下的图像可以称为HCG图像,低感光模式下的图像可以称为LCG图像。可理解,HCG图像和LCG图像的采集时刻相同,HCG图像和LCG图像的曝光时间也相同。电子设备通过图像传感器得到HCG图像和LCG图像后,可以将HCG图像和LCG图像合成一张图像,得到DCG图像。其中,HCG图像旨在恢复暗区细节,LCG图像旨在压制过曝区域,恢复亮区内容。这样,电子设备可以通过HCG降低图像传感器可感知的最小动态范围值,通过LCG提高图像传感器可感知的最大动态范围值,从而提高了图像传感器的动态范围。
DCG模式是基于binning模式的一种出图模式。在图像传感器支持DCG能力的情况下,图像传感器可以通过DCG模式输出图像,以提升图像的动态范围,提高图像的成像效果。
具体地,图像传感器在将n×n个像素合成一个像素之后,在基于合成的像素输出图像之前,图像传感器可以进一步的使用两种转换增益。图像传感器可以分别基于HCG通路以及LCG通路得到两种转换增益下的出图数据,也就是说,图像传感器可以将合成后的像素输入LCG通路合成低感光模式下的图像(即LCG图像),以及将合成后的像素输入HCG通路合成高感光模式下的图像(即HCG图像)。如图1B所示,电子设备通过图像传感器获取的图像的原始像素分布情况可以为4×4,图像传感器可以将相邻的相同颜色的2×2个像素合成为一个像素,并将合成的像素经过LCG电路、模拟电路和模数转换模块后输出LCG图像,以及将合成的像素经过HCG电路、模拟电路和模数转换模块后输出HCG图像。可理解,模拟电路可以产生模拟增益(AG),从而实现对电压信号的进一步放大。
可理解,在DCG模式下,图像传感器可以输出两帧图像,即LCG图像和HCG图像。电子设备可以通过传感器前端对图像传感器输出的LCG图像和HCG图像进行融合,得到融合后的图像,即DCG图像。
可理解,低转换增益通路(即LCG通路)对应的感光度为LCG*AG*DG,高转换增益通路(即HCG通路)对应的感光度为HCG*AG*DG。可理解,LCG通路和HCG通路的感光度的比值是固定的,该比值为LCG:HCG。示例性的,LCG=100,HCG=400,则LCG通路的感光度:HCG通路的感光度=1:4。需要说明的是,LCG通路和HCG通路中的ISO不同,对应的LCG图像和HCG图像的动态范围不同。
可理解,图像传感器在IDCG模式下的处理与在DCG模式下的处理相同,相区别的是,在IDCG模式下,图像传感器可以实现对LCG图像和HCG图像的融合,并输出融合后的一帧图像,而在DCG模式下,图像传感器输出的是两帧图像,该两帧图像的融合是由其他模块(例如,传感器前端)实现的。
(3)、双模拟增益(Dual Analog Gain,DAG)
具有DAG能力的图像传感器中包括两条对应不同模拟增益的通路。图像传感器可以在同一场景下使用两种模拟增益,从而实现通过一次曝光获取两张经过不同模拟增益输出的图像。其中,经过高模拟增益(High Analog Gain,HAG)输出的图像可以称为HAG图像,经过低模拟增益(Low Analog Gain,LAG)输出的图像可以称为LAG图像。可理解,HAG图像和LAG图像的采集时刻相同,HAG图像和LAG图像的曝光时间也相同。电子设备通过图像传感器得到HAG图像和LAG图像后,可以将HAG图像和LAG图像合成一张图像,得到DAG图像。可理解,HAG图像具有改进的阴影噪声特性,可以用于恢复暗区细节,LAG图像保留有高光信息,可以用于处理高光区域。这样,电子设备可以通过HAG降低图像传感器可感知的最小动态范围值,通过LAG提高图像传感器可感知的最大动态范围值,从而提高了图像传感器的动态范围。
DAG模式是基于binning模式的一种出图模式。在图像传感器支持DAG能力的情况下,图像传感器可以通过DAG模式输出图像,以提升图像的动态范围,提高图像的成像效果。
具体地,图像传感器在将n×n个像素合成一个像素之后,在基于合成的像素输出图像之前,图像传感器可以进一步的使用两种模拟增益。图像传感器可以分别基于两条通路得到两种模拟增益下的出图数据,也就是说,图像传感器可以将合成后的像素输入到高模拟增益通路和低模拟增益通路中,得到HAG图像和LAG图像。如图1C所示,电子设备通过图像传感器获取的图像的原始像素分布情况可以为4×4,图像传感器可以将相邻的相同颜色的2×2个像素合成为一个像素,并将合成的像素经过HCG电路、模拟电路和模数转换模块后输出LAG图像,以及将合成的像素经过HCG电路、模拟电路和模数转换模块后输出HAG图像。也就是说,图像传感器可以输出LAG图像和HAG图像。在本申请的一些实施例中,电子设备可以通过传感器前端对图像传感器输出的LAG图像和HAG图像进行融合,得到融合后的图像,即DAG图像。
可理解,低模拟增益通路(即LAG通路)的感光度为HCG*AG*DG,高模拟增益通路(即HCG通路)的增益为HCG*(m*AG)*DG。其中,AG为LAG通路的模拟增益,而m*AG为HAG通路的模拟增益。其中,m大于1。可理解,AG小于m*AG。示例性的,m=4。这种情况下,LAG通路的感光度:HAG通路的感光度=1:4。
根据上文,LAG通路和HAG通路的模拟增益不同,LAG通路和HAG通路中的模拟电路可能不同。
(4)、remosaic
remosaic是一种出图模式,指的是将4像元图像传感器(4-cell sensor)的原始像素排布方式转换成拜耳(bayer)排布方式,再读出图像。也就是说,remosaic就是把raw图像变成经典的bayer模式,这样图像处理器就可以按照标准的bayer格式进行图像处理。
具体地,电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素。在remosaic模式下,图像传感器可以通过像素互换,实现对不同颜色像素的重新排列组合,使得每四个像素分别重新排列组成RGGB的结构,此时整幅图像就是一个拜耳阵列。具体地,remosaic模式下,图像传感器可以将采集到的若干像素进行互换,使得互换后的像素中每相邻2×2个像素都为RGGB的结构。示例性的,如图1D所示,电子设备通过图像传感器获取的图像的原始像素分布情况可以为4×4,图像传感器可以将该4×4个像素中每相邻2×2个像素重新排列为RGGB的结构,并将该重新排列后的图像作为图像传感器得到的remosaic图像。该remosaic图像是一帧图像。可理解,电子设备通过remosaic模式输出图像,可以提升图像的分辨率。
(5)、传感器内变焦
传感器内变焦是一种基于remosaic模式的出图模式。传感器内变焦指的是通过remosaic模式读出图像,并对读出的图像进行裁剪处理。可理解,裁剪处理的具体尺寸与传感器结构相关。例如,若电子设备采用2×2的Quadra Sensor,裁剪处理的具体尺寸为原始尺寸的长的1/2,以及原始尺寸的宽的1/2。
具体地,电子设备在拍摄图像的过程中,目标对象反射的光线被摄像头采集,以使得该反射的光线传输至图像传感器。图像传感器上包括多个感光元件,每个感光元件采集到的电荷为一个像素。在传感器内变焦模式下,图像传感器可以通过像素互换,实现对不同颜色像素的重新排列组合,使得每四个像素分别重新排列组成RGGB的结构,此时整幅图像就是一个拜耳阵列,图像传感器再对该图像进行裁剪处理,并将裁剪所得的图像作为图像传感器输出的图像。示例性的,如图1E所示,电子设备通过图像传感器获取的图像的原始像素分布情况可以为4×4,图像传感器可以将该4×4个像素中每相邻2×2个像素重新排列为RGGB的结构,对该重新排列后的图像进行裁剪处理,仅保留2×2个像素,并将裁剪所得的包含2×2个像素的图像作为图像传感器输出的图像。图像传感器输出的该图像是一帧图像。可理解,电子设备通过传感器内变焦模式输出图像,可以提升图像的分辨率。
(6)、交错高动态范围(StaggerHigh Dynamic Range,SHDR)
具有Stagger HDR能力的图像传感器可以提高帧率,从而实现在一个采集周期内采集不同曝光亮度的多帧图像。例如,Stagger HDR可以在一个采集周期内采集长曝光图像和短曝光图像。再例如,Stagger HDR可以在一个采集周期内采集长曝光图像、中曝光图像和短曝光图像。Stagger HDR可以用来增加视频或预览画面的HDR效果。
相比较而言,在Stagger HDR的场景下,由于要采集多种曝光参数的图像,因此两帧图像之间的帧间隔相比于非Stagger HDR的场景下的帧间隔会更短。由于Stagger HDR的帧间隔短,因此可以很好的改善视频和预览过程中出现鬼影的情况。
本申请涉及的SHDR模式包括基于传感器内变焦模式的SHDR模式和基于IDCG和HCG的SHDR模式。其中,基于传感器内变焦模式的SHDR模式指的是图像传感器基于传感器内变焦模式来输出长曝光图像和短曝光图像。也就是说,在图像传感器采用基于传感器内变焦模式的SHDR模式的情况下,图像传感器可以采集长曝光图像和短曝光图像,并基于传感器内变焦模式分别输出长曝光图像和短曝光图像。而基于IDCG和HCG的SHDR模式指的是图像传感器基于IDCG模式来输出长曝光图像,而基于HCG通路来输出短曝光图像。也就是说,在图像传感器采用基于IDCG和HCG的SHDR模式的情况下,图像传感器可以采集长曝光图像和短曝光图像,并基于IDCG模式输出长曝光图像,以及基于HCG通路输出短曝光图像。
为了便于描述,本申请中将基于传感器内变焦模式的SHDR模式记为SHDR(Long_I+Short_I)模式,而将基于IDCG和HCG的SHDR模式记为SHDR(Long IDCG+Short HCG)模式。
SHDR(Long_I+Short_I)模式是基于传感器内变焦模式的一种出图模式。如图1F所示,SHDR(Long_I+Short_I)模式下,图像传感器可以采集长曝光图像和短曝光图像,并采用上述传感器内变焦模式来对采集到的长曝光图像和短曝光图像进行处理,分别得到Long_I图像和Short_I图像。其中,Long_I图像是图像传感器针对长曝光图像进行上述传感器内变焦模式下的处理后所得的图像,而Short_I图像是图像传感器针对短曝光图像进行上述传感器内变焦模式下的处理后所得的图像。
可理解,SHDR(Long_I+Short_I)模式下,输出短曝光图像的通路的感光度为CG_S*AG*DG,而输出长曝光图像的通路的感光度为CG_L*AG*DG。其中,CG_S是输出短曝光图像的通路的转换增益,CG_L是输出长曝光图像的通路的转换增益,CG_S和CG_L相等。
SHDR(Long IDCG+Short HCG)模式是基于binning模式的一种出图模式。如图1G所示,SHDR(Long IDCG+Short HCG)模式下,图像传感器可以采集长曝光图像和短曝光图像,采用上述IDCG模式来对采集到的长曝光图像进行处理,得到Long IDCG图像,以及将采集到的短曝光图像通过HCG通路输出,得到Short HCG图像。
6、变焦倍数
本申请中所提及的变焦倍数可以表征摄像头焦距的变化程度,相应的,变焦倍数也可以表征视场角的变化程度以及被摄体在画面(即电子设备显示屏所显示的图像)中的大小变化。其中,被摄体指的是摄像头拍摄的对象物体。
可理解,在被摄体与摄像头距离相同的情况下,与使用短焦距摄像头所采集的图像相比,使用长焦距摄像头所采集的图像中的被摄体所占的比例会更大一些。具体地,在焦距变化至原焦距的n倍的情况下,被摄体在画面中的大小也变化至原大小的n倍。例如,若摄像头的焦距增大至原焦距的2倍,被摄体在画面中的大小也增大至原来大小的2倍。
另外,在焦距发生变化的情况下,视场角也会相应变化。一般情况下,焦距越短,视场角越大。例如,焦距为15毫米(mm)时,视场角为8度左右;焦距为10mm时,视场角为12度左右;焦距为7.5mm时,视场角为14度左右;焦距为5mm时,视场角为23度左右;焦距为2.5mm时,视场角为45度左右。
变焦倍数可以表示为nx。其含义是焦距变化为原焦距的n倍。其中,n为正数。根据上文,n越大,焦距越长,视场角越小,摄像头采集的图像中的被摄体越大。可理解,本申请对n的具体数值不作限制。例如,n可以为1,还可以为2,还可以为10。
在本申请的一些实施例中,原焦距指的是主摄像头的焦距。简单来说,主摄像头指的是主要负责拍摄的摄像头。一般情况下,电子设备可以包括主摄像头和副摄像头。其中,主摄像头一般用来捕捉被摄体(即拍摄主体),主摄像头的适用范围较广,其可以用在绝大部分的拍摄场景中,而副摄像头一般用来辅助拍摄,副摄像头可以用来补充图像亮度和细节,以及远距离拍摄、广角拍摄等特殊拍摄场景中。在本申请的又一些实施例中,原焦距指的是标准摄像头的焦距。标准摄像头指的是视场角一般在35度~50度范围内的摄像头,其焦距长度和所采集图像的对角线长度大致相等。
示例性的,电子设备采用主摄像头进行拍摄时,变焦倍数为1x。电子设备可以检测到作用在变焦倍数控件上的用户操作,响应于该用户操作,电子设备可以改变变焦倍数。比如,电子设备可以将变焦倍数调整为2x,还可以将变焦倍数调整为0.6x。
下面介绍本申请实施例提供的一种拍摄方法。
该拍摄方法可以包括但不限于以下步骤:
S101:电子设备显示拍摄界面。拍摄界面用于显示摄像头采集的图像。摄像头包括图像传感器。
用户可以触发电子设备显示拍摄界面。在本申请的一些实施例中,拍摄界面可以为录像预览界面。可理解,录像预览界面指的是电子设备进入录像模式但还未开始录像时所显示的界面。例如,录像预览界面可以包括电子设备检测到作用于录像模式选项202上的用户操作后所显示的用户界面300。再例如,录像预览界面还可以包括用户界面400、用户界面500和用户界面600等。在本申请的又一些实施例中,拍摄界面可以为录像界面。可理解,录像界面指的是电子设备开始录像后所显示的界面,例如,录像界面可以包括电子设备检测到作用于录像开始控件301上的用户操作后所显示的用户界面。
可理解,本申请所提及的摄像头指的是摄像头模组。摄像头模组可以包括镜头和图像传感器。在本申请的一些实施例中,电子设备可以包括一个或多个摄像头模组。
在本申请的一些实施例中,电子设备可以在其拍摄界面上显示电子设备的当前变焦倍数(如图9C-图9F所示)。
S102:电子设备检测当前变焦倍数。
可理解,电子设备可以检测当前变焦倍数,即当前获取图像时所使用的变焦倍数。
在本申请的一些实施例中,电子设备每获取一帧图像就检测一次当前变焦倍数。例如,若电子设备进行每秒30帧(即30fps)的录像,则电子设备可以每秒检测30次当前变焦倍数。
在本申请的一些实施例中,电子设备可以间隔一帧或多帧图像检测一次当前变焦倍数。
在本申请的一些实施例中,一旦电子设备检测到的当前变焦倍数不同于上一次检测到的变焦倍数,则电子设备可以执行后续步骤(如步骤S103-步骤S106)。
在本申请的一些实施例中,若电子设备检测到的当前变焦倍数不同于上一次检测到的变焦倍数,可以继续检测当前变焦倍数,在连续检测的s次当前变焦倍数一致的情况下,电子设备可以执行后续步骤(如步骤S103-步骤S106)。可理解,s可以为正整数。例如,s可以为3。
S103:在当前变焦倍数所属的焦段为焦段_1或焦段_2的情况下,电子设备基于摄像头采集的图像确定当前亮度场景和当前动态场景,并确定与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式,若该与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式不同于当前出图模式,则电子设备将图像传感器的出图模式切换为该与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式,并通过图像传感器基于切换后的出图模式读出图像。
在本申请的一些实施例中,焦段_1可以为1x-1.99x(包括1x和1.99x),焦段_2可以为2x-2.69x(包括2x和2.69x)。
可理解,电子设备可以根据获取的图像(即摄像头采集的图像)确定当前环境亮度,并确定当前环境亮度所属的亮度范围对应的亮度场景为当前亮度场景,具体实现方式可以参考上文和下文,在此不展开说明。电子设备可以根据获取的图像的直方图确定当前动态场景,具体实现方式可以参考上文和下文,在此不展开说明。
可理解,焦段、亮度场景、动态场景和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
在本申请的一些实施例中,不同焦段适用的亮度场景的划分方式可能相同,也可能不同。类似的,不同焦段适用的动态场景的划分方式可能相同,也可能不同。
在本申请的一些实施例中,焦段_1适用的亮度场景可以包括低亮场景、中高亮场景和高亮场景,而焦段_2适用的亮度场景也可以包括低亮场景、中高亮场景和高亮场景。
在一种可能的实现方式中,针对焦段_1,若当前环境亮度小于预设环境亮度_1,则电子设备确定当前亮度场景为低亮场景;在原亮度场景为低亮场景的情况下,若当前环境亮度大于预设环境亮度_2,则电子设备确定当前亮度场景为中高亮场景,在原亮度场景为高亮场景的情况下,若当前环境亮度小于预设环境亮度_3,则电子设备确定当前亮度场景为中高亮场景;若当前环境亮度大于预设环境亮度_4,则电子设备确定当前亮度场景为高亮场景。类似的,针对焦段_2,若当前环境亮度小于预设环境亮度_1,则电子设备确定当前亮度场景为低亮场景;在原亮度场景为低亮场景的情况下,若当前环境亮度大于预设环境亮度_2,则电子设备确定当前亮度场景为中高亮场景,在原亮度场景为高亮场景的情况下,若当前环境亮度小于预设环境亮度_3,则电子设备确定当前亮度场景为中高亮场景;若当前环境亮度大于预设环境亮度_4,则电子设备确定当前亮度场景为高亮场景。
可理解,预设环境亮度_1小于预设环境亮度_2,预设环境亮度_2小于预设环境亮度_3,预设环境亮度_3小于预设环境亮度_4。预设环境亮度_1、预设环境亮度_2、预设环境亮度_3和预设环境亮度_4可以根据实际需要进行设置,本申请对其具体数值不作限制。例如,预设环境亮度_1可以为70,预设环境亮度_2可以为90,预设环境亮度_3可以为110,预设环境亮度_4可以为120。
在一种可能的实现方式中,针对焦段_1,根据上文,若当前环境亮度不大于亮度_1,则当前亮度场景为低亮场景,若当前环境亮度大于亮度_2,且小于亮度_3,则当前亮度场景为中高亮场景,若当前环境亮度不小于亮度_4,则当前亮度场景为高亮场景。类似的,针对焦段_2,若当前环境亮度不大于亮度_1,则当前亮度场景为低亮场景,若当前环境亮度大于亮度_2,且小于亮度_3,则当前亮度场景为中高亮场景,若当前环境亮度不小于亮度_4,则当前亮度场景为高亮场景。可理解,亮度_1可以等于亮度_2,亮度_3可以等于亮度_4。亮度_1、亮度_2、亮度_3和亮度_4的相关描述可以参考上文,在此不再赘述。在一种可能的实现方式中,亮度_1可以大于预设环境亮度_1,且小于预设环境亮度_2,亮度_3可以大于预设环境亮度_3,且小于预设环境亮度_4。例如,环境亮度_1可以为70,预设环境亮度_2可以为90,预设环境亮度_3可以为110,预设环境亮度_4可以为120,亮度_1可以为80,亮度_3可以为115。在一种可能的实现方式中,亮度_1可以等于预设环境亮度_1。
也就是说,亮度场景可以根据亮度_1、亮度_2、亮度_3和亮度_4这四个阈值来划分。针对焦段_1和焦段_2,电子设备在具体确定亮度场景时,可以根据当前环境亮度与上述四个阈值之间的关系来确定当前亮度场景,也可以在采用上述四个阈值划分亮度场景的基础上采用另一套阈值(即预设环境亮度_1、预设环境亮度_2、预设环境亮度_3和预设环境亮度_4)来具体确定当前亮度场景。这样,可以保证亮度稳定在某一亮度场景下电子设备再基于该亮度场景来切换出图模式,避免因亮度不稳定时频繁切换出图模式。示例性的,低亮度场景对应的亮度范围为0-80(不包括80),若原亮度场景不为低亮度场景,则在当前环境亮度小于70时,电子设备可以确定当前场景为低亮度场景。
需要说明的是,在本申请的一些实施例中,焦段_1和焦段_2适用的亮度场景类别可以相同(例如,均包括低亮场景、中高亮场景和高亮场景),但亮度场景对应的具体划分阈值可能不同。示例性的,针对焦段_1,当前环境亮度不大于80,则当前亮度场景为低亮场景,但是在原亮度场景不为低亮场景的情况下,若当前环境亮度小于70,则电子设备可以确定当前亮度场景为低亮场景。针对焦段_2,当前环境亮度不大于80,则当前亮度场景为低亮场景,但是在原亮度场景不为低亮场景的情况下,若当前环境亮度小于75,则电子设备可以确定当前亮度场景为低亮场景。
在一种可能的实现方式中,焦段_1和焦段_2适用的动态场景的划分方式不同,焦段_1适用的动态场景可以包括低动态场景_1、高动态场景_1和超高动态场景,而焦段_2适用的动态场景可以包括低动态场景_2和高动态场景_2。
可理解,低动态场景_1对应的动态范围和低动态场景_2对应的动态范围可能相同,也可能不同。高动态场景_1对应的动态范围和高动态场景_2对应的动态范围可能相同,也可能不同。高动态场景_2对应的动态范围可以包括超高动态场景对应的动态范围。在本申请的一些实施例中,高动态场景_2对应的动态范围可以包括高动态场景_1对应的动态范围和超高动态场景对应的动态范围。可理解,动态范围和动态场景的具体划分方式可以参考上文和下文。
在一种可能的实现方式中,针对焦段_1适用的动态场景的划分方式可以包括:若当前动态范围的逻辑值小于动态范围阈值_1,则当前动态场景为低动态场景_1;若原动态场景为低动态场景_1,且当前动态范围的逻辑值大于动态范围阈值_2,则当前动态场景为高动态场景_1;若原动态场景为超高动态场景,且当前动态范围的逻辑值小于动态范围阈值_3,则当前动态场景为高动态场景_1;若当前动态范围的逻辑值大于动态范围阈值_4,则当前动态场景为超高动态场景。
在一种可能的实现方式中,针对焦段_2适用的动态场景的划分方式可以包括:若当前动态范围的逻辑值小于动态范围阈值_5,则当前动态场景为低动态场景_2;若当前动态范围的逻辑值不小于动态范围阈值_5,则当前动态场景为高动态场景_2。
在一种可能的实现方式中,针对焦段_2适用的动态场景的划分方式可以包括:若当前动态范围的逻辑值不大于动态范围阈值_5,则当前动态场景为低动态场景_2;若当前动态范围的逻辑值大于动态范围阈值_5,则当前动态场景为高动态场景_2。
可理解,根据上文,动态范围阈值_1小于动态范围阈值_2,动态范围阈值_2小于动态范围阈值_3,动态范围阈值_3小于动态范围阈值_4。动态范围阈值_1、动态范围阈值_2、动态范围阈值_3和动态范围阈值_4的具体值可以根据实际需要进行设置,本申请对此不作限制。
可理解,动态范围阈值_5可以根据实际需要进行设置,本申请对此不作限制。在本申请的一些实施例中,动态范围阈值_5可以等于动态范围阈值_2。
例如,动态范围阈值_1可以为4,动态范围阈值_2可以为6,动态范围阈值_3可以为12,动态范围阈值_4可以为18,动态范围阈值_5可以为6。
示例性的,如表1所示,针对焦段_1,低动态场景_1对应的出图模式可以为binning模式,低亮场景和高动态场景_1对应的出图模式可以为DAG模式,中高亮场景和高动态场景_1对应的出图模式可以为DCG模式,高亮场景和超高动态场景对应的出图模式可以为SHDR(Long IDCG+Short HCG)模式。针对焦段_2,低亮场景和低动态场景_2对应的出图模式可以为binning模式,中高亮场景和低动态场景_2对应的出图模式可以为传感器内变焦模式,低亮场景和高动态场景_2对应的出图模式可以为DAG模式,高亮场景和高动态场景_2对应的出图模式可以为SHDR(Long_I+Short_I)模式。
表1
需要说明的是,在当前变焦倍数所属的焦段为焦段_1或焦段_2的情况下,若电子设备查找不到与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式,电子设备可以保持当前出图模式。例如,电子设备的当前出图模式为DAG模式,若电子设备的当前变焦倍数为1.5x,且1.5x属于焦段_1,并且检测到当前亮度场景为高亮场景,当前动态场景为高动态场景_1,根据表1,电子设备查找不到与焦段_1、高亮场景和高动态场景_1对应的出图模式,则电子设备可以继续采用DAG模式。例如,电子设备的当前出图模式为传感器内变焦模式,若电子设备的当前变焦倍数为2.5x,且2.5x属于焦段_2,并且检测到当前亮度场景为高亮场景,当前动态场景为低动态场景_2,根据表1,电子设备查找不到与焦段_2、高亮场景和低动态场景_2对应的出图模式,则电子设备可以继续采用传感器内变焦模式。例如,电子设备的当前出图模式为DAG模式,若电子设备的当前变焦倍数为2.5x,且2.5x属于焦段_2,并且检测到当前亮度场景为中高亮场景,当前动态场景为高动态场景_2,根据表1,电子设备查找不到与焦段_2、中高亮场景和高动态场景_2对应的出图模式,则电子设备可以继续采用DAG模式。
根据上文,在本申请的一些实施例中,焦段_1和焦段_2可以采用同样的亮度场景划分方式(例如,基于亮度_1、亮度_2、亮度_3和亮度_4这四个阈值来划分低亮场景、中高亮场景和高亮场景),但是针对焦段_2,电子设备可以在该亮度场景划分方式的基础上采用另一套阈值(即预设环境亮度_1、预设环境亮度_2、预设环境亮度_3和预设环境亮度_4)来具体确定当前亮度场景。在上述情况下,电子设备确定与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式,具体可以包括:在当前变焦倍数所属的焦段为焦段_1的情况下,电子设备确定与当前亮度场景和当前动态场景对应的出图模式。在上述情况下,电子设备确定与当前变焦倍数所属的焦段、当前亮度场景和当前动态场景对应的出图模式,具体还可以包括:在当前变焦倍数所属的焦段为焦段_2的情况下,电子设备基于摄像头采集的图像确定当前环境亮度,以及确定与当前环境亮度、当前亮度场景和当前动态场景对应的出图模式。
可理解,针对焦段_1设置的亮度场景、动态场景和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
示例性的,针对焦段_1设置的亮度场景、动态场景和出图模式之间的对应关系可以如表1所示。具体地,低动态场景_1对应的出图模式可以为binning模式,中高亮场景和高动态场景_1对应的出图模式可以为DCG模式,低亮场景和高动态场景_1对应的出图模式可以为DAG模式,高亮场景和超高动态场景对应的出图模式可以为SHDR(Long IDCG+ShortHCG)模式。
可理解,针对焦段_2设置的环境亮度、亮度场景、动态场景和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
示例性的,针对焦段_2设置的环境亮度、亮度场景、动态场景和出图模式之间的对应关系可以如表2所示。具体地,在环境亮度小于预设环境亮度_1,且当前动态场景为低动态场景_2的情况下,对应的出图模式可以为binning模式;在环境亮度大于预设环境亮度_2,且当前动态场景为低动态场景_2的情况下,对应的出图模式可以为传感器内变焦模式;在环境亮度小于预设环境亮度_1,且当前亮度场景为低亮场景,且当前动态场景为第二高动态场景的情况下,对应的出图模式可以为DAG模式;在环境亮度大于预设环境亮度_4,且当前亮度场景为高亮场景,且当前动态场景为高动态场景_2的情况下,对应的出图模式可以为SHDR(Long_I+Short_I)模式。
表2
需要说明的是,在当前变焦倍数所属的焦段为焦段_2的情况下,若电子设备查找不到与当前环境亮度、当前亮度场景和当前动态场景对应的出图模式,电子设备可以保持当前出图模式。例如,电子设备当前出图模式为binning模式,若电子设备的当前变焦倍数为2.5x,且2.5x属于焦段_2,并且检测到当前环境亮度大于预设环境亮度_1但不大于预设环境亮度_2,且当前动态场景为低动态场景_2,则电子设备查找不到对应的出图模式(如表2所示),可以保持当前出图模式,即电子设备可以继续采用binning模式。
S104:在当前变焦倍数所属的焦段为焦段_3,且当前物体距离大于预设物体距离_1的情况下,电子设备基于摄像头采集的图像确定当前动态场景,并确定与当前动态场景对应的出图模式,若该与当前动态场景对应的出图模式不同于当前出图模式,则电子设备将出图模式切换为该与当前动态场景对应的出图模式,并基于切换后的出图模式读出图像。
电子设备可以确定当前变焦倍数所属的焦段,以及当前物体距离。在当前变焦倍数所属的焦段为焦段_3,且当前物体距离大于预设物体距离_1的情况下,电子设备可以基于摄像头采集的图像确定当前动态场景,并确定与当前动态场景对应的出图模式,若该与当前动态场景对应的出图模式不同于当前出图模式,则电子设备可以将摄像头中的图像传感器的出图模式切换为该与当前动态场景对应的出图模式,并通过图像传感器来基于切换后的出图模式读出图像。
可理解,预设物体距离_1可以根据实际需要进行设置,本申请对此不作限制。例如,预设物体距离_1可以为5米。
在本申请的一些实施例中,电子设备可以基于对焦马达的code(编码)值来确定物体距离。在本申请的一些实施例中,电子设备还可以通过一些激光器件来确定物体距离。在本申请的一些实施例中,电子设备还可以通过距离传感器(如图5所示)来确定物体距离。可理解,电子设备还可以通过其他器件(例如,其他类型的传感器)来确定物体距离,本申请对此不作限制。
可理解,焦段_3适用的动态场景可以包括低动态场景_3和高动态场景_3。可理解,低动态场景_3对应的动态范围和低动态场景_2对应的动态范围可能相同,也可能不同,类似的,高动态场景_3对应的动态范围和高动态场景_2对应的动态范围可能相同,也可能不同。
在一种可能的实现方式中,针对焦段_3适用的动态场景的划分方式可以包括:若当前动态范围的逻辑值小于动态范围阈值_6,则当前动态场景为低动态场景_3;若当前动态范围的逻辑值不小于动态范围阈值_6,则当前动态场景为高动态场景_3。
在一种可能的实现方式中,针对焦段_3适用的动态场景的划分方式可以包括:若当前动态范围的逻辑值不大于动态范围阈值_6,则当前动态场景为低动态场景_3;若当前动态范围的逻辑值小于动态范围阈值_6,则当前动态场景为高动态场景_3。
可理解,动态范围阈值_6可以根据实际需要进行设置,本申请对此不作限制。在本申请的一些实施例中,动态范围阈值_6可以等于动态范围阈值_5。在这种情况下,低动态场景_3对应的动态范围和低动态场景_2对应的动态范围相同,高动态场景_3对应的动态范围和高动态场景_2对应的动态范围相同。
可理解,针对焦段_3设置的动态场景和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
示例性的,在电子设备的当前变焦倍数所属的焦段为焦段_3,且当前物体距离大于预设物体距离_1的情况下,电子设备可以基于表3所示的对应关系来确定出图模式。具体地,如表3所示,低动态场景_3对应的出图模式可以为binning模式,高动态场景_3对应的出图模式可以为IDCG模式。
表3
动态场景 出图模式(sensor mode)
低动态场景_3 binning模式
高动态场景_3 IDCG模式
还需要说明的是,在当前变焦倍数所属的焦段为焦段_3,且当前物体距离大于预设物体距离_1的情况下,电子设备可以使用tele摄像头。以表3所示的动态场景和出图模式之间的对应关系为例,在当前变焦倍数所属的焦段为焦段_3,且当前物体距离大于预设物体距离_1的情况下,若当前动态场景为低动态场景_3,则电子设备可以确定需切换的出图模式为tele摄像头的binning模式,若当前动态场景为高动态场景_3,则电子设备可以确定需切换的出图模式为tele摄像头的IDCG模式。
可理解,tele摄像头通常表示长焦镜头,指的是视场角较小的镜头。使用tele摄像头拍摄可以让被摄体看起来更远和放大。在本申请的一些实施例中,电子设备可以包括两个摄像头。其中一个摄像头是wide摄像头,用于日常拍摄,可以理解为俗称的主摄像头(即主摄),另一个摄像头是tele摄像头,用于提供光学变焦功能。可理解,wide摄像头通常表示广角镜头,指的是视场角较大的镜头。使用wide摄像头拍摄可以捕捉到宽广的画面。
需要说明的是,本申请中所提及的不涉及变化摄像头的出图模式的切换可以均为电子设备所采用的主摄像头中的图像传感器的出图模式的切换。在本申请的一些实施例中,电子设备可以使用wide摄像头中的图像传感器来进行焦段_1和焦段_2下的出图模式的切换,并输出图像。
在本申请的一些实施例中,焦段_3可以为2.7x-5.39x(包括2.7x和5.39x)。
S105:在当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,电子设备基于摄像头采集的图像确定当前环境亮度,并确定与当前环境亮度对应的出图模式,若该与当前环境亮度对应的出图模式不同于当前出图模式,则电子设备将图像传感器的出图模式切换为该与当前环境亮度对应的出图模式,并通过图像传感器基于切换后的出图模式读出图像。
电子设备可以确定当前变焦倍数所属的焦段,以及当前物体距离。在当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,电子设备可以基于摄像头采集的图像确定当前环境亮度,并确定与当前环境亮度对应的出图模式,若该与当前环境亮度对应的出图模式不同于当前出图模式,则电子设备可以将图像传感器的出图模式切换为该与当前环境亮度对应的出图模式,并通过图像传感器基于切换后的出图模式读出图像。
可理解,预设物体距离_2小于预设物体距离_1。预设物体距离_2可以根据实际需要进行设置,本申请对此不作限制。例如,预设物体距离_2可以为1米。
可理解,电子设备确定当前环境亮度的具体方式可以参考上文,在此不再赘述。
可理解,环境亮度和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
示例性的,在电子设备的当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,电子设备可以基于表4所示的对应关系来确定出图模式。具体地,如表4所示,环境亮度小于预设环境亮度_1的情况下,对应的出图模式可以为binning模式,环境亮度大于预设环境亮度_2的情况下,对应的出图模式可以为传感器内变焦模式。
表4
环境亮度 出图模式(sensor mode)
小于预设环境亮度_1 binning模式
大于预设环境亮度_2 传感器内变焦模式
需要说明的是,在电子设备的当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,若电子设备查找不到与当前环境亮度对应的出图模式,电子设备可以保持当前出图模式。例如,在当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,电子设备当前出图模式为binning模式,若电子设备检测到当前环境亮度不小于预设环境亮度_1但不大于预设环境亮度_2,则电子设备查找不到对应的出图模式(如表4所示),可以保持当前出图模式,即电子设备可以仍采用binning模式。
还需要说明的是,在当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,电子设备可以使用wide摄像头。以表4所示的环境亮度和出图模式之间的对应关系为例,在当前变焦倍数所属的焦段为焦段_3,且当前物体距离小于预设物体距离_2的情况下,若当前环境亮度小于预设环境亮度_1,则电子设备可以确定需切换的出图模式为wide摄像头的binning模式,若当前环境亮度大于预设环境亮度_2,则电子设备可以确定需切换的出图模式为wide摄像头的传感器内变焦模式。
可理解,预设环境亮度_1和预设环境亮度_2的相关描述可以参考上文,本申请在此不再赘述。
S106:在当前变焦倍数所属的焦段为焦段_4的情况下,电子设备基于摄像头采集的图像确定当前环境亮度,以及确定当前物体距离,并确定与当前环境亮度和当前物体距离对应的出图模式,若该与当前环境亮度和当前物体距离对应的出图模式不同于当前出图模式,电子设备将图像传感器的出图模式切换为该与当前环境亮度和当前物体距离对应的出图模式,并通过图像传感器基于切换后的出图模式读出图像。
电子设备可以确定当前变焦倍数所属的焦段。在当前变焦倍数所属的焦段为焦段_4的情况下,电子设备可以确定当前物体距离,以及基于摄像头采集的图像确定当前环境亮度,并确定与当前环境亮度和当前物体距离对应的出图模式,若该与当前环境亮度和当前物体距离对应的出图模式不同于当前出图模式,电子设备可以将摄像头中的图像传感器的出图模式切换为该与当前环境亮度和当前物体距离对应的出图模式,并通过图像传感器基于切换后的出图模式读出图像。
可理解,电子设备确定当前环境亮度和物体距离的具体方式可以参考上文,在此不再赘述。
可理解,环境亮度、物体距离和出图模式之间的对应关系可以根据实际需要进行设置,本申请对此不作具体限制。
示例性的,在当前变焦倍数所属的焦段为焦段_4的情况下,电子设备可以基于表5所示的对应关系来确定出图模式。具体地,在当前变焦倍数所属的焦段为焦段_4的情况下,如表5所示,若当前物体距离大于预设物体距离_1,且环境亮度小于预设环境亮度_1,对应的出图模式可以为tele摄像头的binning模式,若当前物体距离大于预设物体距离_1,且环境亮度大于预设环境亮度_2,对应的出图模式可以为tele摄像头的传感器内变焦模式,若当前物体距离小于预设物体距离_2,且环境亮度小于预设环境亮度_1,对应的出图模式可以为wide摄像头的binning模式,若当前物体距离小于预设物体距离_2,且环境亮度大于预设环境亮度_2,对应的出图模式可以为wide摄像头的传感器内变焦模式。
表5
可理解,预设物体距离_1、预设物体距离_2、预设环境亮度_1和预设环境亮度_2的相关描述可以参考上文,本申请在此不再赘述。
需要说明的是,在当前变焦倍数所属的焦段为焦段_4的情况下,若电子设备查找不到与当前环境亮度和当前物体距离对应的出图模式,电子设备可以保持当前出图模式。例如,在当前变焦倍数所属的焦段为焦段_4的情况下,电子设备当前出图模式为tele摄像头的binning模式,若电子设备检测到当前环境亮度大于预设环境亮度_1但不大于预设环境亮度_2,且当前物体距离大于预设物体距离_1,则电子设备查找不到对应的出图模式(如表5所示),可以保持当前出图模式,即电子设备可以仍采用tele摄像头的binning模式。
在本申请的一些实施例中,焦段_4可以为5.4x-10x(包括5.4x和10x)。
在本申请的一些实施例中,在当前变焦倍数所属的焦段为焦段_3的情况下,若当前物体距离由大于预设物体距离_1变为小于预设物体距离_2,则电子设备由原先使用的tele摄像头切换至wide摄像头来采集图像。在这种情况下,若电子设备可以查找到与当前环境亮度对应的出图模式,则电子设备可以将wide摄像头中的图像传感器的出图模式切换至该与当前环境亮度对应的出图模式,并基于该出图模式来采集图像,然而,若电子设备查找不到与当前环境亮度对应的出图模式,则电子设备可以将wide摄像头中的图像传感器的出图模式切换至该wide摄像头的默认出图模式(例如,binning模式)。
示例性的,在当前变焦倍数所属的焦段为焦段_3的情况下,若当前物体距离由大于预设物体距离_1变为小于预设物体距离_2,则电子设备可以确定当前环境亮度。在当前环境亮度为80,且预设环境亮度_1为70,且预设环境亮度_2为90的情况下,电子设备根据表4可以确定没有与当前环境亮度对应的出图模式,在这种情况下,电子设备可以切换至wide摄像头来采集图像,并将wide摄像头中的图像传感器的出图模式切换至默认出图模式,即binning模式,这样,电子设备可以基于wide摄像头的binning模式来采集图像。
在本申请的一些实施例中,在当前变焦倍数所属的焦段为焦段_4的情况下,若当前物体距离由大于预设物体距离_1变为小于预设物体距离_2,则电子设备由原先使用的tele摄像头切换至wide摄像头来采集图像。在这种情况下,若电子设备可以查找到与当前环境亮度对应的出图模式,则电子设备可以将wide摄像头中的图像传感器的出图模式切换至该与当前环境亮度对应的出图模式,并基于该出图模式来采集图像,然而,若电子设备查找不到与当前环境亮度对应的出图模式,则电子设备可以将wide摄像头中的图像传感器的出图模式切换至该wide摄像头的默认出图模式(例如,binning模式)。类似的,在当前变焦倍数所属的焦段为焦段_4的情况下,若当前物体距离由小于预设物体距离_2变为大于预设物体距离_1,则电子设备由原先使用的wide摄像头切换至tele摄像头来采集图像。在这种情况下,若电子设备可以查找到与当前环境亮度对应的出图模式,则电子设备可以将tele摄像头中的图像传感器的出图模式切换至该与当前环境亮度对应的出图模式,并基于该出图模式来采集图像,然而,若电子设备查找不到与当前环境亮度对应的出图模式,则电子设备可以将tele摄像头中的图像传感器的出图模式切换至该tele摄像头的默认出图模式(例如,binning模式)。
示例性的,在当前变焦倍数所属的焦段为焦段_4的情况下,若当前物体距离由大于预设物体距离_1变为小于预设物体距离_2,则电子设备可以确定当前环境亮度。在当前环境亮度为80,且预设环境亮度_1为70,且预设环境亮度_2为90的情况下,电子设备根据表5可以确定没有与当前环境亮度对应的出图模式,在这种情况下,电子设备可以切换至wide摄像头来采集图像,并将wide摄像头中的图像传感器的出图模式切换至默认出图模式,即binning模式,这样,电子设备可以基于wide摄像头的binning模式来采集图像。
示例性的,在当前变焦倍数所属的焦段为焦段_4的情况下,若当前物体距离由小于预设物体距离_2变为大于预设物体距离_1,则电子设备可以确定当前环境亮度。在当前环境亮度为80,且预设环境亮度_1为70,且预设环境亮度_2为90的情况下,电子设备根据表5可以确定没有与当前环境亮度对应的出图模式,在这种情况下,电子设备可以切换至tele摄像头来采集图像,并将tele摄像头中的图像传感器的出图模式切换至默认出图模式,即binning模式,这样,电子设备可以基于tele摄像头的binning模式来采集图像。
需要说明的是,在本申请的一些实施例中,binning模式为默认出图模式。电子设备从一个焦段切换至另一个焦段,首先会将出图模式切换至默认出图模式,即binning模式,然后再基于切换后的焦段所对应的出图模式切换规则(如步骤S103-步骤S106)来确定是否需要切换出图模式。
在本申请的一些实施例中,电子设备检测到触发改变变焦倍数的用户操作(例如,点击录像界面上的变焦倍数控件),响应于该用户操作,电子设备可以确定切换后的变焦倍数所属的焦段是否为原焦段,若切换后的变焦倍数所属的焦段不为原焦段,电子设备将出图模式切换至binning模式,并在切换至binning模式之后基于切换后的变焦倍数所属的焦段所对应的出图模式切换规则,来确定是否需要切换至其他出图模式。可理解,原焦段指的是电子设备检测到触发改变变焦倍数的用户操作之前所使用的变焦倍数所属的焦段。
上述实施例中涉及出图模式的切换方法,为了更好地理解本申请实施例,下面介绍上述实施例涉及的出图模式切换方法的一种具体实现方式。
首先介绍拍摄场景与出图模式之间的对应关系。
可理解,电子设备中可以存储拍摄场景和出图模式之间的对应关系。拍摄场景可以与环境亮度、动态范围和焦段相关。在本申请的一些实施例中,拍摄场景可以仅包括亮度场景和动态场景。在本申请的一些实施例中,拍摄场景可以仅包括动态场景。在本申请的一些实施例中,拍摄场景可以仅包括动态场景和焦段。
在本申请的一些实施例中,电子设备可以根据拍摄场景对应的编号来查找该拍摄场景对应的出图模式。
示例性的,如表6所示,表6示出了拍摄场景和出图模式之间的对应关系,以及相应的AECHDR状态枚举编号。具体地,低动态场景对应的AECHDR状态枚举编号为0(后面可简写为AECHDR=0),该编号对应的出图模式为binning模式或传感器内变焦模式,焦段_3下的高动态场景对应的AECHDR状态枚举编号为1(后面可简写为AECHDR=1),该编号对应的出图模式为IDCG模式,中高亮高动态场景对应的AECHDR状态枚举编号为2(后面可简写为AECHDR=2),该编号对应的出图模式为DCG模式,低亮高动态场景对应的AECHDR状态枚举编号为3(后面可简写为AECHDR=3),该编号对应的出图模式为DAG模式,焦段_2下的高动态场景对应的AECHDR状态枚举编号为4(后面可简写为AECHDR=4),该编号对应的出图模式为SHDR(Long_I+Short_I)模式,高亮超高动态场景对应的AECHDR状态枚举编号为5(后面可简写为AECHDR=5),该编号对应的出图模式为SHDR(Long IDCG+Short HCG)模式。
表6
在本申请的一些实施例中,焦段_3下的高动态场景可以为高动态场景_3,焦段_2下的高动态场景可以为高动态场景_2。
需要说明的是,在AECHDR状态枚举编号为0的情况下,电子设备可以结合当前变焦倍数所属的焦段来确定对应的出图模式为binning模式还是传感器内变焦模式。具体地,在AECHDR状态枚举编号为0的情况下,若当前变焦倍数所属的焦段为焦段_1,则电子设备可以确定对应的出图模式为binning模式,若当前变焦倍数所属的焦段为焦段_2,则电子设备可以确定对应的出图模式为传感器内变焦模式,若当前变焦倍数所属的焦段为焦段_3,则电子设备可以确定对应的出图模式为binning模式,具体为tele摄像头的binning模式。
需要说明的是,在本申请的一些实施例中,不同焦段下适用的AECHDR枚举编号可能存在差异。例如,在焦段_1下(即当前变焦倍数所属的焦段为焦段_1),适用的AECHDR枚举编号可以包括0、2、3和5;在焦段_2下(即当前变焦倍数所属的焦段为焦段_2),适用的AECHDR枚举编号可以包括0、3和4;在焦段_3下(即当前变焦倍数所属的焦段为焦段_3),适用的AECHDR枚举编号可以包括0和1;在焦段_4下(即当前变焦倍数所属的焦段为焦段_4),没有适用的AECHDR枚举编号。也就是说,针对焦段_1,在当前拍摄场景为0、2、3和5这四个AECHDR枚举编号所对应的拍摄场景(即低动态场景、中高亮高动态场景、低亮高动态场景和高亮超高动态场景)中的一个拍摄场景的情况下,电子设备可以将图像传感器的出图模式切换至当前拍摄场景对应的AECHDR枚举编号所对应的出图模式;针对焦段_2,在当前拍摄场景为0、3和4这三个AECHDR枚举编号所对应的拍摄场景(即低动态场景、低亮高动态场景和焦段_2下的高动态场景)中的一个拍摄场景的情况下,电子设备可以将图像传感器的出图模式切换至当前拍摄场景对应的AECHDR枚举编号所对应的出图模式;针对焦段_3,在当前拍摄场景为0和1这两个AECHDR枚举编号所对应的拍摄场景(即低动态场景和焦段_3下的高动态场景)中的一个拍摄场景的情况下,电子设备可以将图像传感器的出图模式切换至当前拍摄场景对应的AECHDR枚举编号所对应的出图模式。
值得注意的是,在本申请的一些实施例中,由于不同焦段下适用的AECHDR枚举编号存在差异,所以在不同焦段下确定拍摄场景的具体方式可能存在差异。例如,焦段_1、焦段_2和焦段_3适用的AECHDR枚举编号均包括0。AECHDR=0对应的拍摄场景为低动态场景。在一种可能的实现方式中,在当前变焦倍数所属的焦段为焦段_1的情况下,若拍摄场景为低动态场景_1,则电子设备可以确定AECHDR=0,而在当前变焦倍数所属的焦段为焦段_2的情况下,若拍摄场景为低动态场景_2,则电子设备可以确定AECHDR=0,在当前变焦倍数所属的焦段为焦段_3的情况下,若拍摄场景为低动态场景_3,则电子设备可以确定AECHDR=0。其中,低动态场景_1、低动态场景_2和低动态场景_3可以相同,也可以不同。再例如,焦段_1和焦段_2适用的AECHDR枚举编号均包括3。AECHDR=3对应的拍摄场景为低亮高动态场景。在一种可能的实现方式中,在当前变焦倍数所属的焦段为焦段_1的情况下,若拍摄场景为低亮场景和高动态场景_1,则电子设备可以确定AECHDR=3,而在当前变焦倍数所属的焦段为焦段_2的情况下,若拍摄场景为低亮场景和高动态场景_2,则电子设备可以确定AECHDR=3。其中,高动态场景_1和高动态场景_2可以相同,也可以不同。再例如,在当前变焦倍数所属的焦段为焦段_1的情况下,若拍摄场景为中高亮场景和高动态场景_1,则电子设备可以确定AECHDR=2,若拍摄场景为高亮场景和超高动态场景,则电子设备可以确定AECHDR=5。再例如,在当前变焦倍数所属的焦段为焦段_2的情况下,若拍摄场景为高动态场景_2,则电子设备可以确定AECHDR=4。再例如,在当前变焦倍数所属的焦段为焦段_3的情况下,若拍摄场景为高动态场景_3,则电子设备可以确定AECHDR=1。
可理解,电子设备的默认出图模式可以为binning模式。在这种情况下,在电子设备变焦至另一焦段后,电子设备可以首先将出图模式切换至binning模式,然后再根据变焦后的焦段和拍摄场景来确定是否需要切换至其他出图模式。
下面结合表6和图2具体介绍一种切换出图模式的方法。
在电子设备的当前变焦倍数所属的焦段为焦段_1的情况下,电子设备可以确定当前拍摄场景,并确定当前拍摄场景对应的AECHDR枚举编号,电子设备可以确定该AECHDR枚举编号对应的出图模式为目标出图模式,并在目标出图模式不同于当前出图模式的情况下将图像传感器的出图模式切换至目标出图模式。
需要说明的是,在电子设备的当前变焦倍数所属的焦段为焦段_1的情况下,若当前拍摄场景对应的AECHDR枚举编号对应有多种出图模式,则电子设备可以基于当前变焦倍数所属的焦段确定该多种出图模式中的一种出图模式为目标出图模式。
示例性的,根据上文,在本申请的一些实施例中,焦段_1可以为1x-1.99x。结合表6和图2可得,焦段_1下,电子设备可以切换的出图模式有4种,即binning模式、DCG模式、DAG模式和SHDR(Long IDCG+Short HCG)。可理解,针对焦段_1,电子设备可以在不同切换条件下切换至该4种出图模式。具体地,在电子设备的当前变焦倍数所属的焦段为焦段_1的情况下,若当前拍摄场景为低动态场景,则电子设备可以确定AECHDR=0,根据表6,该编号对应的出图模式为binning模式或传感器内变焦模式,由于当前变焦倍数所属的焦段为1x-1.99x,即焦段_1,则电子设备可以确定目标出图模式为binning模式;若当前拍摄场景为中高亮高动态场景,则电子设备可以确定AECHDR=2,根据表6,该编号对应的出图模式为DCG模式,则电子设备可以确定目标出图模式为DCG模式;若当前拍摄场景为低亮高动态场景,则电子设备可以确定AECHDR=3,根据表6,该编号对应的出图模式为DAG模式,则电子设备可以确定目标出图模式为DAG模式;若当前拍摄场景为高亮超高动态场景,则电子设备可以确定AECHDR=5,根据表6,该编号对应的出图模式为SHDR(Long IDCG+Short HCG)模式,则电子设备可以确定目标出图模式为SHDR(Long IDCG+Short HCG)模式。
在电子设备的当前变焦倍数所属的焦段为焦段_2的情况下,电子设备可以确定当前拍摄场景,并确定当前拍摄场景对应的AECHDR枚举编号,还可以确定当前环境亮度,再结合当前环境亮度和当前拍摄场景对应的AECHDR枚举编号对应的出图模式确定目标出图模式,并在目标出图模式不同于当前出图模式的情况下将图像传感器的出图模式切换至目标出图模式。
示例性的,根据上文,在本申请的一些实施例中,焦段_2可以为2x-2.69x。结合表6和图2可得,焦段_2下,电子设备可以切换的出图模式有4种,即binning模式、传感器内变焦模式、SHDR(Long_I+Short_I)模式和DAG模式。可理解,针对焦段_2,电子设备可以在不同切换条件下切换至该4种出图模式。具体地,在电子设备的当前变焦倍数所属的焦段为焦段_2的情况下,若当前拍摄场景为低动态场景,则电子设备可以确定AECHDR=0,根据表6,该编号对应的出图模式为binning模式或传感器内变焦模式,这种情况下,若当前环境亮度小于预设环境亮度_1,电子设备可以确定目标出图模式为binning模式,若当前环境亮度大于预设环境亮度_2,电子设备可以确定目标出图模式为传感器内变焦模式;若当前拍摄场景为焦段_2下的高动态场景,则电子设备可以确定AECHDR=4,根据表6,该编号对应的出图模式为SHDR(Long_I+Short_I)模式,这种情况下,若当前环境亮度大于预设环境亮度_4,则电子设备可以确定目标出图模式为SHDR(Long_I+Short_I)模式;若当前拍摄场景为低亮高动态场景,则电子设备可以确定AECHDR=3,根据表6,该编号对应的出图模式为DAG模式,这种情况下,若当前环境亮度小于预设环境亮度_1,则电子设备可以确定目标出图模式为DAG模式。
在电子设备的当前变焦倍数所属的焦段为焦段_3的情况下,电子设备可以确定当前物体距离,可以确定当前环境亮度,还可以确定当前拍摄场景,并确定当前拍摄场景对应的AECHDR枚举编号。在当前物体距离大于预设物体距离_1的情况下,电子设备可以基于当前拍摄场景对应的AECHDR枚举编号对应的出图模式确定目标出图模式,并在目标出图模式不同于当前出图模式的情况下将图像传感器的出图模式切换至目标出图模式。而在当前物体距离小于预设物体距离_2的情况下,电子设备可以基于当前环境亮度确定目标出图模式,并在目标出图模式不同于当前出图模式的情况下将图像传感器的出图模式切换至目标出图模式。
示例性的,根据上文,在本申请的一些实施例中,焦段_3可以为2.7x-5.39x。结合表6和图2可得,焦段_3下,电子设备可以切换的出图模式有4种,即binning模式(tele)、传感器内变焦模式(wide)、binning模式(wide)和IDCG模式(tele)。其中,binning模式(tele)和binning模式(wide)是不同摄像头中的图像传感器所采用的binning模式,本申请中可以将其理解为不同的出图模式。可理解,针对焦段_3,电子设备可以在不同切换条件下切换至该4种出图模式。在电子设备的当前变焦倍数所属的焦段为焦段_3的情况下,若当前物体距离大于预设物体距离_1,电子设备可以采用tele摄像头,若当前物体距离小于预设物体距离_2,电子设备可以采用wide摄像头。具体地,在电子设备的当前变焦倍数所属的焦段为焦段_3的情况下,若当前物体距离大于预设物体距离_1,电子设备可以确定当前拍摄场景。若当前拍摄场景为低动态场景,则电子设备可以确定AECHDR=0,根据表6,该编号对应的出图模式为binning模式或传感器内变焦模式,但是当前变焦倍数所属的焦段为2.7x-5.39x,即焦段_3,这种情况下,电子设备可以确定目标出图模式为tele摄像头下的binning模式,即binning模式(tele)。若当前拍摄场景为焦段_3下的高动态场景,则电子设备可以确定AECHDR=1,根据表6,该编号对应的出图模式为IDCG模式,则电子设备可以确定的该目标出图模式为tele摄像头下的IDCG模式,即IDCG模式(tele)。然而,在电子设备的当前变焦倍数所属的焦段为焦段_3的情况下,若当前物体距离小于预设物体距离_2,电子设备可以确定当前环境亮度。若当前环境亮度大于预设环境亮度_2,则电子设备可以确定目标出图模式为wide摄像头下的传感器内变焦模式,即传感器内变焦模式(wide)。若当前环境亮度小于预设环境亮度_1,则电子设备可以确定目标出图模式为wide摄像头下的binning模式,即binning模式(wide)。
在电子设备的当前变焦倍数所属的焦段为焦段_4的情况下,电子设备可以确定当前物体距离和当前环境亮度,并根据当前物体距离和当前环境亮度确定目标出图模式,在目标出图模式不同于当前出图模式的情况下将图像传感器的出图模式切换至目标出图模式。
示例性的,根据上文,在本申请的一些实施例中,焦段_4可以为5.4x-10x。结合表6和图2可得,焦段_4下,电子设备可以切换的出图模式有4种,即binning模式(tele)、传感器内变焦模式(wide)、binning模式(wide)和传感器内变焦模式(tele)。其中,传感器内变焦模式(tele)和传感器内变焦模式(wide)是在不同镜头下的传感器内变焦模式,本申请中可以将其理解为不同的出图模式。可理解,针对焦段_4,电子设备可以在不同切换条件下切换至该4种出图模式。在电子设备的当前变焦倍数所属的焦段为焦段_4的情况下,若当前物体距离大于预设物体距离_1,电子设备可以采用tele摄像头,若当前物体距离小于预设物体距离_2,电子设备可以采用wide摄像头。具体地,若当前物体距离大于预设物体距离_1且当前环境亮度小于预设环境亮度_1,则电子设备可以确定目标出图模式为tele摄像头下的binning模式,若当前物体距离大于预设物体距离_1且当前环境亮度大于预设环境亮度_2,则电子设备可以确定目标出图模式为tele摄像头下的传感器内变焦模式,当前物体距离小于预设物体距离_2且当前环境亮度小于预设环境亮度_1,则电子设备可以确定目标出图模式为wide摄像头下的binning模式,若当前物体距离小于预设物体距离_2且当前环境亮度大于预设环境亮度_2,则电子设备可以确定目标出图模式为wide摄像头下的传感器内变焦模式。
根据上文,在本申请的一些实施例中,binning模式为默认出图模式。在这种情况下,电子设备从一个焦段切换至另一个焦段,首先会将出图模式切换至默认出图模式,即binning模式,然后再基于上述表6和图2的相关内容来确定是否需要切换出图模式。
下面结合图3具体介绍上述实施例中提及的焦段_2下的出图模式的切换。
在电子设备的当前变焦倍数所属的焦段为焦段_2的情况下,电子设备可以根据亮度场景和动态场景来切换图像传感器的出图模式。如图3所示,若当前亮度场景为低亮场景,且当前动态场景为低动态场景,即当前拍摄场景为低亮低动态场景,则电子设备可以确定目标出图模式为binning模式,并在当前出图模式不为binning模式的情况下将图像传感器的出图模式切换为binning模式。若当前亮度场景为中高亮场景,且当前动态场景为低动态场景,即当前拍摄场景为中高亮低动态场景,则电子设备可以确定目标出图模式为传感器内变焦模式,并在当前出图模式不为传感器内变焦模式的情况下将图像传感器的出图模式切换为传感器内变焦模式。若当前亮度场景为低亮场景,且当前动态场景为高动态场景,即当前拍摄场景为低亮高动态场景,则电子设备可以确定目标出图模式为DAG模式,并在当前出图模式不为DAG模式的情况下将图像传感器的出图模式切换为DAG模式。若当前亮度场景为高亮场景,且当前动态场景为高动态场景,即当前拍摄场景为高亮高动态场景,则电子设备可以确定目标出图模式为SHDR(Long_I+Short_I)模式,并在当前出图模式不为SHDR(Long_I+Short_I)模式的情况下将图像传感器的出图模式切换为SHDR(Long_I+Short_I)模式。
在本申请的一些实施例中,如图3所示,电子设备从其他焦段进入焦段_2后默认使用binning模式来输出图像。在这种情况下,电子设备可以确定当前亮度场景和当前动态场景,并根据当前亮度场景和当前动态场景确定目标出图模式。具体地,如图3所示,若当前亮度场景为中高亮场景,且当前动态场景为低动态场景,则电子设备可以确定目标出图模式为传感器内变焦模式,并将图像传感器的出图模式由原先的默认出图模式binning模式切换为传感器内变焦模式。若当前亮度场景为低亮场景,且当前动态场景为高动态场景,则电子设备可以确定目标出图模式为DAG模式,并将图像传感器的出图模式由原先的默认出图模式binning模式切换为DAG模式。若当前亮度场景为高亮场景,且当前动态场景为高动态场景,则电子设备可以确定目标出图模式为SHDR(Long_I+Short_I)模式,并将图像传感器的出图模式由原先的默认出图模式binning模式切换为SHDR(Long_I+Short_I)模式。
在本申请的一些实施例中,电子设备将图像传感器的出图模式由原先的默认出图模式binning模式切换为SHDR(Long_I+Short_I)模式,具体可以包括:电子设备直接将图像传感器的出图模式由原先的默认出图模式binning模式切换为SHDR(Long_I+Short_I)模式。
在本申请的一些实施例中,电子设备将图像传感器的出图模式由原先的默认出图模式binning模式切换为SHDR(Long_I+Short_I)模式,具体可以包括:电子设备首先将图像传感器的出图模式由原先的默认出图模式binning模式切换为DAG模式,然后再将图像传感器的出图模式由DAG模式切换为SHDR(Long_I+Short_I)模式。
在本申请的一些实施例中,电子设备将图像传感器的出图模式由原先的默认出图模式binning模式切换为SHDR(Long_I+Short_I)模式,具体可以包括:电子设备首先将图像传感器的出图模式由原先的默认出图模式binning模式切换为传感器内变焦模式,然后再将图像传感器的出图模式由传感器内变焦模式切换为SHDR(Long_I+Short_I)模式。
根据上文,在本申请的一些实施例中,若当前环境亮度小于预设环境亮度_1,且AECHDR=0,则当前拍摄场景为低亮低动态场景。在本申请的一些实施例中,若当前环境亮度大于预设环境亮度_2,且AECHDR=0,则当前拍摄场景为中高亮低动态场景。在本申请的一些实施例中,若当前环境亮度小于预设环境亮度_1,且AECHDR=3,则当前拍摄场景为低亮高动态场景。在本申请的一些实施例中,若当前环境亮度大于预设环境亮度_4,且AECHDR=4,则当前拍摄场景为高亮高动态场景。
在本申请的一些实施例中,图3所示的低亮低动态场景可以为低亮场景和低动态场景_2,低亮高动态场景可以为低亮场景和高动态场景_2,中高亮低动态场景可以为中高亮场景和低动态场景_2,高亮高动态场景可以为高亮场景和高动态场景_2。
下面具体说明焦段_2下的DAG模式与SHDR(Long_I+Short_I)模式之间的切换过程。
根据上文,DAG模式和SHDR(Long_I+Short_I)模式下,电子设备均可以输出两帧图像,并在将该两帧图像合成为一帧图像后再由图像传感器输出该合成后的一帧图像。
可理解,感光度(或称ISO)、曝光时间和光圈大小可以决定获取图像的曝光值(Exposure Value,EV),即影响获取的图像的明暗(亮度)。在一些实施例中,手机等电子设备的光圈大小是固定的,所以可以通过调节曝光时间和感光度来调节曝光值,从而使得获取的图像的亮度发生变化。为了便于理解,本申请中使用曝光时间与感光度的乘积来表示曝光值。即通过(曝光时间*感光度)来表示曝光值。可理解,图像传感器的动态范围可以指图像传感器感知拍摄场景中最暗照度值与最亮照度值的能力,即能够体现图像亮度的能力。这也就意味着,图像传感器的动态范围与曝光值存在联系。
可理解,本申请可以通过控制图像传感器在上述两种模式下通过两条通路获取两帧图像时所采用的曝光值的比来控制图像传感器的动态范围。为了便于描述,本申请将通过两条通路获取两帧图像时所采用的曝光值的比(即通过两条通路获取图像时所采用的曝光时间与感光度的乘积之间的比)记为两条通路的感光比。本申请中,两条通路的感光比不变,则图像传感器的动态范围不变。
在焦段_2下的DAG模式与SHDR(Long_I+Short_I)模式之间的切换过程中,电子设备可以通过保持通过两条通路获取两帧图像时所采用的曝光值的比来保持图像传感器的动态范围,从而避免因动态范围波动而导致画面亮暗发生明显变化,进而提升用户拍摄体验。即可以影响图像传感器的动态范围。
根据上文,如图1C所示,在DAG模式下,存在两条输出图像的通路。其中一条通路输出LAG图像,其感光度为HCG*AG*DG,另一条通路输出HAG图像,其感光度为HCG*(m*AG)*DG。其中,m大于1。
由于上述两条通路对应的曝光时间相同,则DAG模式下的两条通路的感光比为其对应的感光度的比,即1:m。可理解,m的具体值可以根据实际需要进行设置,本申请对此不作具体限制。在本申请的一些实施例中,m为4。
根据上文,如图1F所示,在SHDR(Long_I+Short_I)模式下,存在两条输出图像的通路。其中一条通路输出短曝光图像,其感光度为CG_S*AG*DG,另一条通路输出长曝光图像,其感光度为CG_L*AG*DG。其中,CG_S=CG_L。
由于上述两条通路对应的感光度相同,则SHDR(Long_I+Short_I)模式下的两条通路的感光比为其对应的曝光时间的比。
需要说明的是,DAG模式下的感光度和SHDR(Long_I+Short_I)模式下的感光度存在差异,且DAG模式的感光度更高。由于感光度与增益相关(比如感光度=CG*AG*DG),为了便于描述,本申请中将这两个模式下的感光度之间的差异表示成HCG、CG_S和CG_L之间的比值。具体的,HCG=a*CG_S=a*CG_L。可理解,a大于1,a的具体值可以根据实际需要进行设置,本申请对此不作具体限制,在本申请的一些实施例中,a为1.05。
根据上文,低亮高动态场景对应的出图模式为DAG模式,而高亮高动态场景对应的出图模式为SHDR(Long_I+Short_I)模式。可理解,DAG模式和SHDR(Long_I+Short_I)模式之间的切换条件涉及环境亮度的变化,具体地,若环境亮度由低亮变为高亮(或称亮度场景由低亮场景变为高亮场景),则电子设备将图像传感器的出图模式由DAG模式切换至SHDR(Long_I+Short_I)模式,若环境亮度由高亮变为低亮(或称亮度场景由高亮场景变为低亮场景),则电子设备将图像传感器的出图模式由SHDR(Long_I+Short_I)模式切换至DAG模式。
如图4所示,DAG模式和SHDR(Long_I+Short_I)模式下,图像传感器经由通路一和通路二输出两帧图像,合并该两帧图像,得到一帧图像,并将这一帧图像输出给其他模块进行处理。
具体地,在DAG模式下,通路一为LAG通路,用于输出LAG图像,通路二为HAG通路,用于输出HAG图像。其中,LAG通路对应的感光度和曝光时间分别为HCG*AG*DG和t1,HAG通路对应的感光度和曝光时间分别为HCG*(m*AG)*DG和t1。可理解,DAG模式下,通路一和通路二的感光比为1:m。在环境亮度逐渐增加并达到切换至SHDR(Long_I+Short_I)模式的条件(即当前亮度场景变为高亮场景)的情况下,电子设备可以将图像传感器的出图模式由DAG模式切换至SHDR(Long_I+Short_I)模式。为了保证切换前后图像传感器的动态范围不变,需要维持通路一和通路二的感光比不变,即电子设备需要维持通路一和通路二的感光比为1:m。根据上文,SHDR(Long_I+Short_I)模式下,通路一和通路二对应的感光度相同,其对应的曝光时间不同。在切换模式后,电子设备可以不改变通路二对应的感光度和曝光时间,并由该通路输出长曝光图像,而改变通路一对应的感光度和曝光时间,并由该通路输出短曝光图像。具体地,电子设备可以将通路一对应的感光度设置得与通路二对应的感光度相同,并根据两条通路的感光比为1:m来设置通路一对应的曝光时间。也就是说,通路二的感光度仍为HCG*(m*AG)*DG,即(a*CG_L)*(m*AG)*DG,通路二对应的曝光时间仍为t1,通路一的感光度由HCG*AG*DG变为HCG*(m*AG)*DG,即(a*CG_S)*(m*AG)*DG,通路一对应的曝光时间由t1变为从而维持两条通路的感光比为1:m。也就是说,如图4所示,图像传感器的出图模式由DAG模式切换至SHDR(Long_I+Short_I)模式后,通路一采用的初始感光度和初始曝光时间分别为HCG*(m*AG)*DG和/>(即t1/m),通路二采用的初始感光度和初始曝光时间分别为HCG*(m*AG)*DG和t1。
可理解,t1可以根据实际需要进行设置,本申请对此不作具体限制。在本申请的一些实施例中,t1为1毫秒(ms)。在本申请的又一些实施例中,t1可以为4ms。
电子设备将图像传感器的出图模式由DAG模式切换至SHDR(Long_I+Short_I)模式后,可以逐渐增大两条通路对应的曝光时间,并减少两条通路对应的感光度,这样可以避免因两条通路对应的曝光时间和感光度调整幅度太大而导致的信噪比跳变,从而避免因信噪比跳变而导致的切换前后画面显示效果不一致。
可理解,在逐渐增大两条通路对应的曝光时间,以及减少两条通路对应的感光度的过程中,电子设备需要维持两条通路的感光比不变,即维持两条通路的感光比为1:m。在本申请的一些实施例中,电子设备每一次减少的感光度不大于感光度阈值_1,电子设备每一次增大的曝光时间不大于时间阈值_1。可理解,感光度阈值_1和时间阈值_1可以根据实际需要进行设置,本申请对此不作具体限制。例如,感光度阈值_1可以为0.1AG,时间阈值_1可以为0.5ms。
在本申请的一些实施例中,如图4所示,最终通路一对应的曝光时间和感光度分别稳定在t1和(a*CG_S)*AG*DG,且通路二对应的曝光时间和感光度分别稳定在t1*m和(a*CG_L)*AG*DG。在本申请的又一些实施例中,最终通路一对应的曝光时间和感光度分别稳定在t1和CG_S*AG*DG,且通路二对应的曝光时间和感光度分别稳定在t1*m和CG_L*AG*DG。
需要说明的是,在本申请的一些实施例中,在满足切换至SHDR(Long_I+Short_I)模式的条件的情况下,若电子设备检测到交流电频闪,电子设备不会将图像传感器的出图模式切换至SHDR(Long_I+Short_I)模式。这样,可以避免切换至SHDR(Long_I+Short_I)模式后采集短曝光图像时采用的曝光时间小于人工光源的闪烁周期(例如,10毫秒)而造成频闪。
下面介绍本申请涉及的电子设备的软硬件结构。
请参阅图5,图5为本申请实施例提供的一种电子设备的硬件结构示意图。
电子设备可以包括:处理器,外部存储器接口,内部存储器,通用串行总线(Universal Serial Bus,USB)接口,充电管理模块,电源管理模块,电池,天线1,天线2,移动通信模块,无线通信模块,传感器模块,按键,马达,指示器,摄像头,显示屏,以及用户识别模块(Subscriber Identity Module,SIM)卡卡槽等。其中音频模块可以包括扬声器,受话器,麦克风,耳机接口等,传感器模块可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。可理解,图示的部件可以以硬件,软件或软件和硬件的组合实现。在本申请的一些实施例中,电子设备可以包括比图示更多的部件。示例性的,电子设备可以包括其他类型的传感器。在本申请的又一些实施例中,电子设备可以包括比图示更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备的结构限定。
处理器可以包括一个或多个处理单元,例如:处理器可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。处理器中还可以设置存储器,用于存储指令和数据。
电子设备通过GPU,显示屏,以及应用处理器等实现显示功能。
GPU为图像处理的微处理器,连接显示屏和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。显示屏用于显示图像,视频等。在一些实施例中,电子设备可以包括一个或多个显示屏。
摄像头用于捕获静态图像或视频。ISP用于处理摄像头反馈的数据。光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。电子设备可以包括一个或多个摄像头。在本申请的一些实施例中,电子设备可以包括wide摄像头和tele摄像头。可理解,wide摄像头和tele摄像头可以包括不同的镜头和图像传感器。为了便于描述,本申请将wide摄像头中的镜头和图像传感器分别记为镜头_1和图像传感器_1,将tele摄像头中的镜头和图像传感器分别记为镜头_2和图像传感器_2。
内部存储器可以包括一个或多个RAM和一个或多个非易失性存储器(non-volatile memory,NVM)。随机存取存储器可以由处理器直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如,机器指令),还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器直接进行读写。
在本申请实施例中,实现本申请实施例所述的方法的代码可存储在非易失性存储器上。在运行相机应用时,电子设备可将非易失性存储器中存储的可执行代码加载到随机存取存储器。
外部存储器接口可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。
电子设备可以通过音频模块,扬声器,受话器,麦克风,耳机接口,以及应用处理器等实现音频功能。
音频模块用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。扬声器,也称“喇叭”,用于将音频电信号转换为声音信号。受话器,也称“听筒”,用于将音频电信号转换成声音信号。麦克风,也称“话筒”,“传声器”,用于将声音信号转换为电信号。耳机接口用于连接有线耳机。
触摸传感器,也称“触控器件”。触摸传感器可以设置于显示屏,由触摸传感器与显示屏组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器也可以设置于电子设备的表面,与显示屏所处的位置不同。
在本申请的一些实施例中,电子设备中的马达可以具体包括对焦马达。电子设备可以通过对焦马达的code值来确定物体距离,从而实现快速对焦。
距离传感器,可以用于测量物体距离。电子设备可以通过红外或激光测量距离。在本申请的一些实施例中,拍摄场景,电子设备可以利用距离传感器测距以实现快速对焦。
需要说明的是,电子设备还可以包括测光传感器。测光传感器可以用于确定环境亮度和环境动态范围。在本申请的一些实施例中,测光传感器可以设置在电子设备的摄像头中。可理解,测光传感器可以用于测定被摄对象反射的光亮度。即反射式测光。测光传感器可以包括测光元件。入射光线通过电子设备的镜头以及反光板折射,进入内置的测光传感器,测光传感器可以获取到环境亮度以及环境动态范围。
请参阅图6,图6为本申请实施例提供的一种电子设备的软件结构示意图。
在本申请实施例中,电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
如图6所示,该电子设备可包括:应用程序层、应用程序框架、硬件抽象层(hardware abstraction layer,HAL)及内核层(kernel)。其中:
应用程序层可以包括一系列应用程序包。如图6所示,应用程序包可以包括相机,图库,日历,地图,音乐,短信息,通话等应用程序。应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图6所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
硬件抽象层(HAL)是位于操作系统内核与上层软件之间的接口层,其目的在于将硬件抽象化。硬件抽象层是设备内核驱动的抽象接口,用于实现向更高级别的Java API框架提供访问底层设备的应用编程接口。HAL可以提供标准界面,向更高级别的Java API框架显示设备硬件功能。HAL包含多个库模块,例如感知模块和AEC模块等。其中每个库模块都为特定类型的硬件组件实现一个界面。为当系统框架层API要求访问便携设备的硬件时,操作系统将为该硬件组件加载库模块。在本申请的一些实施例中,感知模块和AEC模块为相机HAL中的子模块。相机HAL位于相机驱动程序和更高级别的Android框架之间,可以定义相关实现的接口,以便相机应用可以正确地操作相机硬件。
其中,感知模块可以用于基于摄像头采集的图像,确定出环境动态范围(即拍摄场景的动态范围)和环境亮度。AEC模块可以用于基于环境动态范围、环境亮度和/或物体距离确定出图像传感器的目标出图模式,并控制图像传感器切换至该目标出图模式,从而实现动态切换图像传感器的出图模式。例如,感知模块基于图像传感器采集的连续m帧图像确定的目标出图模式均相同,且该目标出图模式不同于图像传感器当前使用的出图模式,则感知模块可以控制图像传感器切换至该目标出图模式。
可理解,相机HAL还可以包括对摄像头采集的图像进行前处理和后处理的相关模块,从而得到相应的处理后的图像。例如,录像模式下的预览视频帧和录制视频帧。
在本申请的一些实施例中,硬件抽象层还可以包括ISP控制模块。ISP控制模块为ISP对应的软件处理模块。ISP控制模块可以用于将ISP处理得到的图像传输给其他软件模块(例如,感知模块,相机应用等),以便该其他软件模块进行后续处理。
内核层是硬件和软件之间的层。内核层是Android操作系统的基础。内核层负责硬件的驱动程序、网络、电源、系统安全以及内存管理等功能。内核层是硬件与软件之间的一个中间层,其作用是将应用程序的请求传递给硬件。内核层可以包含显示驱动,摄像头驱动,音频驱动等。其中,摄像头驱动用于当接收到位于应用程序层的相机应用发送的触发命令时,触发摄像头开启。
硬件层主要包括显示屏和相机模组中的组件,例如摄像头等,摄像头可以包括镜头、镜片和图像传感器等。上述组件用于在内核层中相应驱动的控制下,开启工作。例如,摄像头可以在摄像头驱动的控制下,开启并采集图像。摄像头中的图像传感器也可以在内核层中摄像头驱动的控制下,切换摄像头中图像传感器的工作模式。
基于图5和图6所示的电子设备的软硬件结构,下面从软硬件交互的角度介绍本申请实施例提供的一种拍摄方法。
请参阅图7,图7为本申请实施例提供的一种软硬件交互示意图。如图7所示,摄像头用于采集图像,当被拍摄对象的反射光通过镜头,在镜片上折射后,汇聚在图像传感器上。图像传感器可以将光信号转换成模拟电信号。该模拟电信号从图像传感器输出,再经过数模转换器输出。可理解,数模传感器输出的为摄像头采集的原始数字图像,即RAW图像。例如,RAW视频帧。
在本申请的一些实施例中,电子设备可以包括多个摄像头。电子设备每次可以通过一个摄像头来采集图像。在本申请的一些实施例中,电子设备可以包括wide摄像头和tele摄像头。电子设备可以采用wide摄像头,并基于wide摄像头中的镜头_1和图像传感器_1来采集图像。电子设备还可以切换至tele摄像头,并基于tele摄像头中的镜头_2和图像传感器_2来采集图像。可理解,图像传感器_1和图像传感器_2均可以采用多种出图模式。例如,binning模式、传感器内变焦模式、DCG模式、IDCG模式、DAG模式、SHDR(Long IDCG+ShortHCG)模式和SHDR(Long_I+Short_I)模式等。
可理解,在一部分出图模式下,图像传感器可以生成两帧图像。在一种可能的实现方式中,图像传感器可以将生成的两帧图像合成为一帧图像。在又一种可能的实现方式中,图像传感器可以将生成的两帧图像发送至传感器前端,传感器前端可以将这两帧图像合成为一帧图像。
示例性的,在DCG模式、IDCG模式、DAG模式、SHDR(Long IDCG+Short HCG)模式和SHDR(Long_I+Short_I)模式下,图像传感器可以生成两帧图像。其中,在IDCG模式下,图像传感器可以将生成的两帧图像合成为一帧图像。在DCG模式、DAG模式、SHDR(Long IDCG+Short HCG)模式和SHDR(Long_I+Short_I)模式下,图像传感器可以将生成的两帧图像发送至传感器前端,传感器前端可以将这两帧图像合成为一帧图像。
在本申请的一些实施例中,在SHDR(Long IDCG+Short HCG)模式和SHDR(Long_I+Short_I)模式下,图像传感器可以生成三帧图像。其中两帧是长曝光图像,一帧是短曝光图像。在一种可能的实现方式中,图像传感器将这两帧长曝光图像合成为一帧图像,图像传感器再将合成的这一帧图像发送至传感器前端,传感器前端再将合成的这一帧图像和短曝光图像合成为一帧图像。在又一种可能的实现方式中,图像传感器可以将这两帧长曝光图像和短曝光图像发送至传感器前端,传感器前端再将两帧长曝光图像和短曝光图像合成为一帧图像。
图像信号处理器ISP用于将来自摄像头的RAW图像进行相关处理并生成待显示的图像,并将该待显示的图像发送给显示屏进行显示。在视频录制场景下,待显示的图像可以是YUV(或理解为亮度和色度)格式的视频帧。在这种情况下,图像信号处理器可以将YUV格式的视频帧发送给显示屏进行显示。
ISP可以包括传感器前端、图像处理器后端(ImageProcessing Engine,IPE)、图像处理器前端(ImageFront-endEngine,IFE)、I/O控制接口等。
根据上文,传感器前端可以用于合成图像传感器和数模转换器经一次曝光输出的多帧图像,并将合成后的图像发送给IFE进行处理。
IFE用于对视频帧进行处理的过程可以包括下述一种或多种,例如:去坏点校正处理、RAW域降噪处理、黑电平校正处理、光学阴影校正处理、自动白平衡处理、颜色插值处理、色彩校正处理、全局色调映射处理、或图像转换处理等,本申请实施例中对视频帧前处理过程不做限定。
IFE再将前处理后的视频帧发送至IPE,IPE可以对前处理后的视频帧进行后处理,一方面,IPE可以将后处理后的视频帧序列作为预览视频流或者录制视频流。预览视频流或者录制视频流可以通过I/O控制接口显示在显示屏上。另一方面,IPE可以将后处理后的视频帧序列发送至感知模块,使得感知模块可以基于后处理后的视频帧序列获取到环境动态范围和环境亮度。感知模块再将环境动态范围和环境亮度发送至AEC模块,AEC模块可以基于当前变焦倍数所属的焦段、环境动态范围和/或环境亮度和/或物体距离确定图像传感器的目标出图模式,并控制图像传感器切换至该目标出图模式。
可选的,摄像头还可以包括测光传感器,测光传感器可以监测环境亮度和环境动态范围。
该视频帧后处理可以包括下述一种或多种,例如:图像矫正及调整处理、局部色调映射处理、以及伽马(Gamma)校正处理等步骤。在图像矫正及调整处理中,IPE可以对当前视频帧进行防抖处理。在局部色调映射处理中,IPE可以实现对视频帧的整体亮度进行调整,使得亮度调整后的画面可以更接近于真实世界中呈现的亮度。在Gamma校正处理中,IPE可以对视频帧进行亮度调整,使其可以保留更多的亮部和暗部细节,压缩对比度,保留更多的色彩信息。
在本申请的一些实施例中,若用户触发结束录制,在电子设备可以将录制的视频帧以视频的形式保存在图库中。
在本申请的一些实施例中,用户可以在录制视频的过程中触发保存视频帧。在这种情况下,电子设备可以将用户触发保存的视频帧保存在图库中。
可理解,ISP控制模块可以控制ISP将处理后的图像传输给感知模块。在本申请的一些实施例中,感知模块可以基于该处理后的图像确定环境亮度,并将该环境亮度传输给AEC模块,以便AEC模块确定目标出图模式。在本申请的一些实施例中,感知模块可以基于该处理后的图像确定环境亮度和环境动态范围,并将该环境亮度和该环境动态范围传输给AEC模块,以便AEC模块确定目标出图模式。
下面结合图8A-图8D介绍上述实施例的一种具体实现方式。
下面以进入录像模式后的预览状态下,图像传感器如何切换出图模式为例进行说明,开始录像后图像传感器切换出图模式的过程也可以参考以下描述,本申请中不再另外展开说明。
1、进入录像模式,图像传感器在焦段_1下切换出图模式(如图8A所示)
用户可以触发电子设备启动相机应用,并触发进入录像模式。电子设备进入录像模式后,可以开始显示录像预览画面。在本申请的一些实施例中,焦段_1为电子设备进入录像模式后的默认变焦倍数所属的焦段。在这种情况下,电子设备进入录像模式后,若用户不触发切换至焦段_1外的其他焦段(即不调整变焦倍数或在焦段_1内调整变焦倍数),则电子设备中的图像传感器可以根据环境亮度和环境动态范围切换出图模式。
S201:电子设备接收触发启动相机应用的操作。
用户可以通过点击相机应用图标(例如,相机应用图标101)等方式来触发电子设备启动相机应用。相应的,电子设备可以接收该触发启动相机应用的操作。
S202:电子设备启动相机应用。
响应于电子设备接收的接收启动相机应用的操作,电子设备可以启动相机应用。可理解,电子设备接收触发启动相机应用的操作之后,不仅可以启动相机应用,还可以启动摄像头。摄像头启动后,开始通过其中的镜头和图像传感器来采集图像。
示例性的,如图9A所示,电子设备可以显示用户界面100。用户界面100显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,相机应用图标101,设置应用图标,日历应用图标等)。可理解,相机应用图标101为相机应用程序(可简称为相机应用)的图标。电子设备可以检测到作用于相机应用图标101上的用户操作,响应于该用户操作,电子设备可以启动相机应用,并显示如图9B所示的用户界面200。用户界面200可以包括预览区域201、相机模式选项区域、相册快捷控件、快门控件、摄像头翻转控件和变焦倍数控件203。相机模式选项区域可以显示有一个或多个拍摄模式选项。拍摄模式选项可以包括:夜景模式选项、人像模式选项、拍照模式选项、录像模式选项202和更多选项。可理解,本申请对拍摄模式选项在界面上的表现形式不作限制。变焦倍数控件203可以表明当前电子设备采用的变焦倍数为1x。
可理解,本申请中所提及的用户操作可以包括但不限于触摸(例如,点击等)、声控、手势等操作,本申请对此不作限制。
在本申请的一些实施例中,启动相机应用后,相机应用中的CameraUI模块可以显示相机应用的相关界面(例如,用户界面200)。CameraUI模块可负责相机应用的人机交互,例如控制拍摄界面及其中的界面元素的显示,监听及响应拍摄界面中发生的用户操作。
S203:相机应用中的CameraUI模块接收触发进入录像模式的操作。
用户可以通过点击录像模式选项等方式来触发电子设备进入录像模式。
示例性的,触发进入录像模式的操作可以为针对录像模式选项202的用户操作。
S204:CameraUI模块显示录像预览界面_1。
CameraUI模块接收到触发进入录像模式的操作之后,响应于该操作,CameraUI模块可以显示录像预览界面_1。
示例性的,电子设备可以检测到作用于录像模式选项202的用户操作,响应于该用户操作,电子设备进入录像模式,并显示如图9C所示的用户界面300。用户界面300为录像模式下的预览界面,即录像预览界面。用户界面300包括的控件与用户界面200包括的控件基本相同,相区别的是,用户界面300可以包括录像开始控件301、HDR控件302。用户界面300中的HDR控件302处于开启状态。需要说明的是,HDR控件302处于开启状态的情况下,电子设备可以在检测到处于不同动态场景的情况下结合环境亮度来切换图像传感器的出图模式。如图9C所示,用户界面300也可以包括变焦倍数控件303。
根据上述示例,录像预览界面_1可以为用户界面300。
在本申请的一些实施例中,录像预览界面_1显示有默认变焦倍数。默认变焦倍数为进入录像模式后采用的初始变焦倍数。默认变焦倍数所属的焦段为焦段_1。
在本申请的一些实施例中,默认变焦倍数可以为1x。
S205:响应于触发进入录像模式的操作,图像传感器基于默认出图模式输出预览视频帧。
CameraUI模块接收到触发进入录像模式的操作之后,响应于该触发进入录像模式的操作,相机应用可以控制图像传感器基于默认出图模式输出预览视频帧。
在本申请的一些实施例中,电子设备切换拍摄模式之后,相机应用可以控制图像传感器切换至默认出图模式。示例性的,在拍照模式下,图像传感器基于DCG模式来输出图像,若在这种情况下用户触发电子设备切换至录像模式,则电子设备进入录像模式后,相机应用可以控制图像传感器切换至默认出图模式,并基于默认出图模式来输出预览视频帧。
在本申请的一些实施例中,相机应用中的CameraUI模块接收到触发进入录像模式的操作之后,可以通知AEC模块用户已触发电子设备进入录像模式,AEC模块可以控制图像传感器基于默认出图模式输出预览视频帧。
根据上文,在本申请的一些实施例中,默认出图模式为binning模式。
S206:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
图像传感器基于默认出图模式输出预览视频帧之后,可以向ISP发送预览视频帧。ISP可以对预览视频帧进行处理,并在对预览视频帧进行处理后再将其发送给ISP控制模块。也就是说,ISP控制模块向感知模块和CameraUI模块发送的预览视频帧与ISP控制模块接收的预览视频帧可能不同。
S207:ISP控制模块向CameraUI模块发送预览视频帧。
ISP控制模块接收ISP发送的预览视频帧之后,可以向CameraUI模块发送该预览视频帧。
相应的,CameraUI模块可以接收ISP控制模块发送的图像传感器基于默认出图模式输出的预览视频帧。
S208:ISP控制模块向感知模块发送预览视频帧。
ISP控制模块接收ISP发送的预览视频帧之后,可以向感知模块发送该预览视频帧。
相应的,感知模块可以接收ISP控制模块发送的图像传感器基于默认出图模式输出的预览视频帧。
S209:CameraUI模块在预览窗中显示基于默认出图模式输出的预览视频帧。
CameraUI模块接收ISP控制模块发送的预览视频帧之后,可以在预览窗(例如,用户界面300中的预览区域304)中显示基于默认出图模式输出的预览视频帧。
S210:感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度。
感知模块接收ISP控制模块发送的基于默认出图模式输出的预览视频帧之后,可以基于该预览视频帧确定当前环境动态范围和当前环境亮度。可理解,电子设备基于图像确定动态范围和环境亮度的具体实现方式可以参考上文。
在本申请的一些实施例中,感知模块可以基于预览视频帧确定当前环境动态范围和当前环境亮度,并将当前环境动态范围和当前环境亮度发送给AEC模块。在一种可能的实现方式中,感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度之后,可以分别基于当前环境动态范围和当前环境亮度确定当前动态场景和当前亮度场景。
可选的,感知模块可以基于预览视频帧的平均亮度值,确定出环境亮度。具体地,感知模块可以分别统计预览视频帧中的像素点的平均亮度值,并基于平均亮度值,确定出环境亮度。在一种可能的实现方式中,感知模块可以根据预览视频帧的平均亮度值,并基于该平均亮度值来确定该预览视频帧是否过曝或者欠曝,若该预览视频帧并未过曝或者欠曝,那么感知模块可以基于获取该预览视频帧时的曝光值(即获取该预览视频帧时的感光度和曝光时间的),以及AEC标定值(包括AEC标定曝光时间和标定时的ISO)来确定当前环境亮度,从而确定当前亮度场景。在一种可能的实现方式中,预览视频帧中的像素点的平均亮度值即为当前的环境亮度。在一种可能的实现方式中,感知模块可以基于环境亮度确定亮度场景。例如,感知模块确定出预览视频帧中的像素点的平均亮度值不大于亮度_1,那么感知模块可以确定出当前拍摄场景为低亮场景。
在本申请的一些实施例中,感知模块可以基于预览视频帧直接确定当前亮度场景和当前动态场景,并将当前亮度场景和当前动态场景发送给AEC模块。根据上文,可以基于环境亮度的照度值划分为不同的亮度场景。例如低亮场景、中高亮场景和高亮场景。不同亮度场景的亮度范围不同。
可选的,感知模块可以基于预览视频帧的灰度直方图与亮度场景预置的灰度直方图的相似度,确定出亮度场景。
具体地,电子设备内存储有不同亮度场景对应的灰度直方图,灰度直方图用于表示图像中像素点的亮度分布情况,该亮度可以理解为图像为YUV格式时的亮度。每一种亮度场景下可以包括一个或多个灰度直方图。感知模块可以基于预览视频帧得到预览视频帧的灰度直方图。并分别计算该预览视频帧的灰度直方图和不同亮度场景对应的灰度直方图的相似度,在相似度大于相似度阈值_1的情况下,感知模块可以确定出当前的亮度场景。例如,若感知模块计算该预览视频帧的灰度直方图和低亮场景下预置的灰度直方图的相似度大于相似度阈值_1,则感知模块可以确定出当前亮度场景为低亮场景,并确定当前的环境亮度。可理解,相似度阈值_1可以根据实际需要进行设置,本申请对此不作限制。
可理解,感知模块确定出环境亮度的方式不仅限于以上内容,本申请对此不做限定。
S211:感知模块向AEC模块发送当前环境动态范围和当前环境亮度。
感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度,并将该当前环境动态范围和当前环境亮度发送给AEC模块。
相应的,AEC模块可以接收感知模块发送的当前环境动态范围和当前环境亮度。
S208、S210和S211也可以是实时性/周期性/不定时执行的,使得图像传感器可以基于环境动态范围和环境亮度动态切换不同的出图模式。
可选的,电子设备也可以不执行S208、S210和S211。在这种情况下,电子设备可以通过另外的测光传感器确定环境亮度和环境动态范围。测光传感器的相关描述可以参考上文,在此不再赘述。
S212:AEC模块基于当前环境动态范围和当前环境亮度确定目标出图模式。
可理解,AEC模块接收感知模块发送的当前环境动态范围和当前环境亮度之后,可以确定当前动态场景和当前亮度场景,并确定在焦段_1下,该当前动态场景和当前亮度场景对应的出图模式,即目标出图模式。可理解,基于焦段_1、当前动态场景和当前亮度场景确定目标出图模式的具体方式可以参考上文,在此不再赘述。
在本申请的一些实施例中,AEC模块接收感知模块发送的当前动态场景和当前亮度场景,可以基于该当前动态场景和当前亮度场景确定目标出图模式。
S213:AEC模块确定目标出图模式是否与默认出图模式一致。
AEC模块确定目标出图模式之后,可以确定目标出图模式是否与当前出图模式一致,即确定目标出图模式是否与默认出图模式一致。若目标出图模式与默认出图模式一致,则图像传感器继续基于默认出图模式输出预览视频帧,而若目标出图模式与默认出图模式不一致,则电子设备可以执行步骤S214,即电子设备中的AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
S214:AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
在目标出图模式与默认出图模式不一致,则AEC模块可以指示(或称控制)图像传感器由默认出图模式切换至目标出图模式。
S215:图像传感器基于目标出图模式输出预览视频帧。
图像传感器将出图模式切换为目标出图模式之后,可以基于目标出图模式输出预览视频帧。
S216:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
图像传感器基于默认出图模式输出预览视频帧之后,可以向ISP发送预览视频帧。ISP可以对预览视频帧进行处理,并在对预览视频帧进行处理后再将其发送给ISP控制模块。
S217:ISP控制模块向CameraUI模块发送预览视频帧。
ISP控制模块接收ISP发送的图像传感器基于目标出图模式输出的预览视频帧之后,可以向CameraUI模块发送该预览视频帧。
相应的,CameraUI模块可以接收ISP控制模块发送的图像传感器基于目标出图模式输出的预览视频帧。
S218:ISP控制模块向感知模块发送预览视频帧。
ISP控制模块接收ISP发送的图像传感器基于目标出图模式输出的预览视频帧之后,可以向感知模块发送该预览视频帧。
相应的,感知模块可以接收ISP控制模块发送的图像传感器基于目标出图模式输出的预览视频帧。
S219:CameraUI模块在预览窗中显示基于目标出图模式输出的预览视频帧。
CameraUI模块接收ISP控制模块发送的预览视频帧之后,可以在预览窗(例如,用户界面300中的预览区域304)中显示基于目标出图模式输出的预览视频帧。
2、切换至焦段_2中的变焦倍数,图像传感器在焦段_2下切换出图模式(如图8B所示)
用户可以触发调整电子设备在录像模式下的变焦倍数。在本申请的一些实施例中,用户可以触发电子设备将变焦倍数调整为焦段_2中的变焦倍数。在这种情况下,若用户不触发切换至焦段_2外的其他焦段(即不调整变焦倍数或在焦段_2内调整变焦倍数),则电子设备中的图像传感器可以根据环境亮度和环境动态范围切换出图模式。
在本申请的一些实施例中,电子设备可以从焦段_1或焦段_3或焦段_4中的变焦倍数变焦至焦段_2中的变焦倍数。
S301:CameraUI模块接收触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作。
具体地,用户可以通过点击变焦倍数控件等方式来触发调整电子设备从其他焦段变焦至焦段_2中的变焦倍数(例如,变焦倍数_1)。相应的,CameraUI模块可以接收该触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作。可理解,变焦倍数_1可以为焦段_2中的任意一个变焦倍数。
示例性的,触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作可以为针对变焦倍数控件303的用户操作。
S302:CameraUI模块显示录像预览界面_2。
响应于触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数(例如,变焦倍数_1)的操作,CameraUI模块显示录像预览界面_2。在本申请的一些实施例中,录像预览界面_2显示有变化后的变焦倍数(例如,变焦倍数_1)。
示例性的,电子设备可以检测到作用于如图9C所示的变焦倍数控件303上的向上滑动并停顿的操作,响应于该操作,电子设备可以将变焦倍数从1x调整为2x,并显示如图9D所示的用户界面400。用户界面400可以包括HDR控件302、变焦倍数控件401和预览区域402。其中,用户界面400中的HDR控件302处于开启状态。变焦倍数控件401可以表明当前电子设备采用的变焦倍数为2x。
根据上述示例,录像预览界面_2可以为用户界面400,变焦倍数_1可以为2x。
S303:响应于触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作,图像传感器切换至默认出图模式,并基于默认出图模式输出预览视频帧。
在本申请的一些实施例中,电子设备从一个焦段中的变焦倍数切换至另一个焦段中的变焦倍数后,电子设备可以将图像传感器的出图模式切换至默认出图模式。
CameraUI模块接收到触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作之后,响应于该操作,相机应用可以控制图像传感器基于默认出图模式输出预览视频帧。
在本申请的一些实施例中,相机应用中的CameraUI模块接收到触发从其他焦段中的变焦倍数变焦至焦段_2中的变焦倍数的操作之后,可以通知AEC模块用户触发变焦至另一焦段,AEC模块可以控制图像传感器基于默认出图模式输出预览视频帧。
S304:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S305:ISP控制模块向CameraUI模块发送预览视频帧。
S306:图像传感器向感知模块发送预览视频帧。
可理解,步骤S304-步骤S306的具体实现方式可以参考步骤S206-步骤S208,以及步骤S216-步骤S218的相关描述。
S307:CameraUI模块在预览窗中显示基于默认出图模式输出的预览视频帧。
CameraUI模块接收ISP控制模块发送的预览视频帧之后,可以在预览窗(例如,用户界面400中的预览区域402)中显示基于默认出图模式输出的预览视频帧。
S308:感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度。
感知模块接收ISP控制模块发送的基于默认出图模式输出的预览视频帧之后,可以基于该预览视频帧确定当前环境动态范围和当前环境亮度。可理解,电子设备基于图像确定动态范围和环境亮度的具体实现方式可以参考上文(如步骤S210),在此不再赘述。
S309:感知模块向AEC模块发送当前环境动态范围和当前环境亮度。
感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度,并将该当前环境动态范围和当前环境亮度发送给AEC模块。
相应的,AEC模块可以接收感知模块发送的当前环境动态范围和当前环境亮度。
S310:AEC模块基于当前环境动态范围和当前环境亮度确定目标出图模式。
可理解,AEC模块接收感知模块发送的当前环境动态范围和当前环境亮度之后,可以确定当前动态场景和当前亮度场景,并确定在焦段_2下,该当前动态场景和当前亮度场景对应的出图模式,即目标出图模式。可理解,基于焦段_2、当前动态场景和当前亮度场景确定目标出图模式的具体方式可以参考上文,在此不再赘述。
在本申请的一些实施例中,AEC模块接收感知模块发送的当前动态场景和当前亮度场景,可以基于该当前动态场景和当前亮度场景确定目标出图模式。
S311:AEC模块确定目标出图模式是否与默认出图模式一致。
AEC模块确定目标出图模式之后,可以确定目标出图模式是否与当前出图模式一致,即确定目标出图模式是否与默认出图模式一致。若目标出图模式与默认出图模式一致,则图像传感器继续基于默认出图模式输出预览视频帧,而若目标出图模式与默认出图模式不一致,则电子设备可以执行步骤S312,即电子设备中的AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
S312:AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
S313:图像传感器基于目标出图模式输出预览视频帧。
S314:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S315:ISP控制模块向CameraUI模块发送预览视频帧。
S316:ISP控制模块向感知模块发送预览视频帧。
S317:CameraUI模块在预览窗中显示基于目标出图模式输出的预览视频帧。
可理解,步骤S312-步骤S317的具体实现方式可以参考步骤S206-步骤S208,以及步骤S216-步骤S218的相关描述。
3、切换至焦段_3中的变焦倍数,图像传感器在焦段_3下切换出图模式(如图8C所示)
用户可以触发调整电子设备在录像模式下的变焦倍数。在本申请的一些实施例中,用户可以触发电子设备将变焦倍数调整为焦段_3中的变焦倍数。在这种情况下,若用户不触发切换至焦段_3外的其他焦段(即不调整变焦倍数或在焦段_3内调整变焦倍数),则电子设备中的图像传感器可以根据环境亮度、环境动态范围和物体距离切换出图模式。
在本申请的一些实施例中,电子设备可以从焦段_1或焦段_2或焦段_4中的变焦倍数变焦至焦段_3中的变焦倍数。
S401:CameraUI模块接收触发从其他焦段中的变焦倍数变焦至焦段_3中的变焦倍数的操作。
具体地,用户可以通过点击变焦倍数控件等方式来触发调整电子设备从其他焦段变焦至焦段_3中的变焦倍数(例如,变焦倍数_2)。相应的,CameraUI模块可以接收该触发从其他焦段中的变焦倍数变焦至焦段_3中的变焦倍数的操作。可理解,变焦倍数_2可以为焦段_3中的任意一个变焦倍数。
示例性的,触发从其他焦段中的变焦倍数变焦至焦段_3中的变焦倍数的操作可以为针对变焦倍数控件401的用户操作。
S402:CameraUI模块显示录像预览界面_3。
响应于触发从其他焦段中的变焦倍数变焦至焦段_3中的变焦倍数的操作,CameraUI模块显示录像预览界面_3。在本申请的一些实施例中,录像预览界面_3显示有变化后的变焦倍数(例如,变焦倍数_2)。
示例性的,电子设备可以检测到作用于如图9D所示的变焦倍数控件401上的向上滑动并停顿的操作,响应于该操作,电子设备可以将变焦倍数从2x调整为3x,并显示如图9E所示的用户界面500。用户界面500可以包括HDR控件302、变焦倍数控件501和预览区域502。其中,用户界面500中的HDR控件302处于开启状态。变焦倍数控件501可以表明当前电子设备采用的变焦倍数为3x。
根据上述示例,录像预览界面_3可以为用户界面500,变焦倍数_2可以为3x。
S403:响应于触发从其他焦段中的变焦倍数变焦至焦段_3中的变焦倍数的操作,图像传感器切换至默认出图模式,并基于默认出图模式输出预览视频帧。
S404:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S405:ISP控制模块向CameraUI模块发送预览视频帧。
S406:图像传感器向感知模块发送预览视频帧。
S407:CameraUI模块在预览窗中显示基于默认出图模式输出的预览视频帧。
可理解,步骤S403-步骤S408的具体实现方式可以参考步骤S303-步骤S307的相关描述。
S408:感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度。
可理解,感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度的具体方式可以参考上文,在此不再赘述。
在本申请的一些实施例中,感知模块可以基于预览视频帧确定当前环境动态范围和当前环境亮度,并将当前环境动态范围和当前环境亮度发送给AEC模块。
在本申请的又一些实施例中,感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度之后,可以确定当前动态场景和当前亮度场景,并将当前动态场景和当前亮度场景发送给AEC模块。
S409:感知模块向AEC模块发送当前环境动态范围和当前环境亮度。
感知模块基于预览视频帧确定当前环境动态范围和当前环境亮度后,可以向AEC模块发送当前环境动态范围和当前环境亮度。相应的,AEC模块可以接收感知模块发送的当前环境动态范围和当前环境亮度。
在本申请的一些实施例中,感知模块可以基于当前环境动态范围确定当前动态场景。在这种场景下,感知模块可以将该当前动态场景发送给AEC模块。
类似的,在本申请的一些实施例中,感知模块可以基于当前环境亮度确定当前亮度场景。在这种场景下,感知模块可以将该当前亮度场景发送给AEC模块。
S410:距离传感器确定当前物体距离。
可理解,距离传感器可以发射红外或激光来测量电子设备与被摄体之间的距离,从而得到当前物体距离,具体实现可以参考上文或相关技术文档。
S411:距离传感器向AEC模块发送当前物体距离。
可理解,距离传感器确定当前物体距离之后,可以向AEC模块发送当前物体距离。相应的,AEC模块可以接收距离传感器发送的当前物体距离。
S412:AEC模块基于当前环境动态范围、当前环境亮度和当前物体距离确定目标出图模式。
可理解,AEC模块接收当前环境动态范围、当前环境亮度和当前物体距离之后,可以确定当前物体距离是否大于预设物体距离_1,以及是否小于预设物体距离_2。若当前物体距离大于预设物体距离_1,则AEC模块可以基于当前环境动态范围确定当前动态场景,并确定在焦段_3下当前动态场景对应的出图模式,该出图模式即为目标出图模式。若当前物体距离小于预设物体距离_2,则AEC模块可以基于当前环境亮度确定当前亮度场景,并确定在焦段_3下当前亮度场景对应的出图模式,该出图模式即为目标出图模式。
可理解,基于焦段_3、当前物体距离,以及当前动态场景/当前亮度场景确定目标出图模式的具体方式可以参考上文,在此不再赘述。
S413:AEC模块确定目标出图模式是否与默认出图模式一致。
AEC模块确定目标出图模式之后,可以确定目标出图模式是否与当前出图模式一致,即确定目标出图模式是否与默认出图模式一致。若目标出图模式与默认出图模式一致,则图像传感器继续基于默认出图模式输出预览视频帧,而若目标出图模式与默认出图模式不一致,则电子设备可以执行步骤S414,即电子设备中的AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
S414:AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
需要说明的是,电子设备可以包括多个摄像头。在本申请的一些实施例中,AEC模块可以指示原本使用的摄像头中的图像传感器进行出图模式的切换,并采用该图像传感器输出图像。例如,默认出图模式为tele摄像头下的binning模式,目标出图模式为tele摄像头下的IDCG模式,则AEC模块可以指示tele摄像头中的图像传感器(即图像传感器_2)切换至IDCG模式,并使用图像传感器_2输出图像。在本申请的一些实施例中,AEC模块可以指示其他摄像头中的图像传感器进行出图模式的切换,并采用该图像传感器输出图像。例如,默认出图模式为tele摄像头下的binning模式,目标出图模式为wide摄像头下的传感器内变焦模式,则AEC模块可以指示wide摄像头中的图像传感器(即图像传感器_1)切换至传感器内变焦模式,并使用图像传感器_1输出图像。
可理解,关于在焦段_3下切换目标出图模式时涉及的切换摄像头的相关描述可以参考上文,在此不再赘述。
S415:图像传感器基于目标出图模式输出预览视频帧。
S416:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S417:ISP控制模块向CameraUI模块发送预览视频帧。
S418:ISP控制模块向感知模块发送预览视频帧。
S419:CameraUI模块在预览窗中显示基于目标出图模式输出的预览视频帧。
可理解,步骤S415-步骤S419的具体实现方式可以参考步骤S215-步骤S219的相关描述。
4、切换至焦段_4中的变焦倍数,图像传感器在焦段_4下切换出图模式(如图8D所示)
用户可以触发调整电子设备在录像模式下的变焦倍数。在本申请的一些实施例中,用户可以触发电子设备将变焦倍数调整为焦段_4中的变焦倍数。在这种情况下,若用户不触发切换至焦段_4外的其他焦段(即不调整变焦倍数或在焦段_4内调整变焦倍数),则电子设备中的图像传感器可以根据环境亮度、环境动态范围和物体距离切换出图模式。
在本申请的一些实施例中,电子设备可以从焦段_1或焦段_2或焦段_3中的变焦倍数变焦至焦段_4中的变焦倍数。
S501:CameraUI模块接收触发从其他焦段中的变焦倍数变焦至焦段_4中的变焦倍数_3的操作。
具体地,用户可以通过点击变焦倍数控件等方式来触发调整电子设备从其他焦段变焦至焦段_4中的变焦倍数(例如,变焦倍数_2)。相应的,CameraUI模块可以接收该触发从其他焦段中的变焦倍数变焦至焦段_4中的变焦倍数的操作。可理解,变焦倍数_3可以为焦段_4中的任意一个变焦倍数。
示例性的,触发从其他焦段中的变焦倍数变焦至焦段_4中的变焦倍数的操作可以为针对变焦倍数控件501的用户操作。
S502:CameraUI模块显示录像预览界面_4。
响应于触发从其他焦段中的变焦倍数变焦至焦段_4中的变焦倍数的操作,CameraUI模块显示录像预览界面_4。在本申请的一些实施例中,录像预览界面_4显示有变化后的变焦倍数(例如,变焦倍数_3)。
示例性的,电子设备可以检测到作用于如图9E所示的变焦倍数控件501上的向上滑动并停顿的操作,响应于该操作,电子设备可以将变焦倍数从3x调整为6x,并显示如图9F所示的用户界面600。用户界面600可以包括HDR控件302、变焦倍数控件601和预览区域602。其中,用户界面600中的HDR控件302处于关闭状态。变焦倍数控件601可以表明当前电子设备采用的变焦倍数为6x。
根据上述示例,录像预览界面_4可以为用户界面600,变焦倍数_3可以为6x。
S503:响应于触发从其他焦段中的变焦倍数变焦至焦段_4中的变焦倍数的操作,图像传感器切换至默认出图模式,并基于默认出图模式输出预览视频帧。
S504:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S505:ISP控制模块向CameraUI模块发送预览视频帧。
S506:ISP控制模块向感知模块发送预览视频帧。
S507:CameraUI模块在预览窗中显示基于默认出图模式输出的预览视频帧。
可理解,步骤S503-步骤S507的具体实现方式可以参考步骤S303-步骤S307的相关描述。
S508:感知模块基于预览视频帧确定当前环境亮度。
可理解,感知模块确定当前环境亮度的相关描述可以参考上文,在此不再赘述。
在本申请的一些实施例中,感知模块基于预览视频帧确定当前环境亮度之后,可以将当前环境亮度发送给AEC模块。
在本申请的又一些实施例中,感知模块基于预览视频帧确定当前环境亮度之后,可以基于当前环境亮度确定当前亮度场景,并将当前亮度场景发送给AEC模块。
S509:感知模块向AEC模块发送当前环境亮度。
相应的,AEC模块可以接收感知模块发送的当前环境亮度。
S510:距离传感器确定当前物体距离。
可理解,距离传感器可以确定当前物体距离,具体可以参考上文和相关技术文档,在此不再赘述。
S511:距离传感器向AEC模块发送当前物体距离。
相应的,AEC模块可以接收距离传感器发送的当前物体距离。
S512:AEC模块基于当前环境亮度和当前物体距离确定目标出图模式。
AEC模块接收感知模块发送的当前环境亮度和当前物体距离之后,可以基于当前环境亮度确定当前亮度场景,并确定当前亮度场景和当前物体距离对应的出图模式,该出图模式即为目标出图模式。
在本申请的一些实施例中,AEC模块可以接收感知模块发送的当前亮度场景。在这种情况下,AEC模块可以直接确定当前亮度场景和当前物体距离对应的出图模式为目标出图模式。可理解,亮度场景、物体距离和出图模式之间的对应关系可以参考上文,在此不再赘述。
S513:AEC模块确定目标出图模式是否与默认出图模式一致。
AEC模块确定目标出图模式之后,可以确定目标出图模式是否与当前出图模式一致,即确定目标出图模式是否与默认出图模式一致。若目标出图模式与默认出图模式一致,则图像传感器继续基于默认出图模式输出预览视频帧,而若目标出图模式与默认出图模式不一致,则电子设备可以执行步骤S514,即电子设备中的AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
S514:AEC模块指示图像传感器由默认出图模式切换至目标出图模式。
与步骤S414类似,电子设备在切换至目标出图模式时可以切换摄像头,使用其他摄像头中的图像传感器来输出图像,具体方式可以参考上文,在此不再赘述。
S515:图像传感器基于目标出图模式输出预览视频帧。
S516:图像传感器向ISP发送预览视频帧,再由ISP发送给ISP控制模块。
S517:ISP控制模块向CameraUI模块发送预览视频帧。
S518:ISP控制模块向感知模块发送预览视频帧。
S519:CameraUI模块在预览窗中显示基于目标出图模式输出的预览视频帧。
可理解,步骤S515-步骤S519的具体实现方式可以参考步骤S215-步骤S219的相关描述。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种拍摄方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头,所述第一摄像头包括第一图像传感器;所述方法包括:
所述电子设备显示拍摄界面;所述拍摄界面用于显示通过所述第一摄像头采集的图像;
在当前变焦倍数属于第一焦段,且当前动态范围大于第一动态范围阈值,且当前环境亮度大于第一预设环境亮度的情况下,所述电子设备通过所述第一图像传感器在第一出图模式下输出M帧图像;所述M为大于1的整数;所述M帧图像包括基于第二出图模式分别对所述第一图像传感器获取的M帧原始图像进行处理后得到的图像,所述M帧原始图像为经过一次曝光获取的M帧曝光时长不同的原始图像;
所述电子设备将所述M帧图像合成第一图像,在所述拍摄界面显示所述第一图像。
2.如权利要求1所述的方法,其特征在于,所述电子设备显示拍摄界面后,所述方法还包括:
在当前变焦倍数属于所述第一焦段,且当前动态范围大于所述第一动态范围阈值,且当前环境亮度小于第二预设环境亮度的情况下,所述电子设备通过所述第一图像传感器在第三出图模式下输出第二图像和第三图像;
所述电子设备将所述第二图像和所述第三图像合成第四图像,在所述拍摄界面显示所述第四图像;
其中,所述第二预设环境亮度小于所述第一预设环境亮度;所述第二图像为基于第四出图模式按照第一感光度对所述第一图像传感器获取的第一原始图像进行处理后得到的图像,所述第三图像为基于所述第四出图模式按照第二感光度对所述第一原始图像进行处理后得到的图像,所述第一原始图像为所述第一图像传感器基于第一曝光时长获取的原始图像;所述第一感光度基于第二转换增益、第一模拟增益和第一数字增益确定,所述第二感光度基于第二转换增益、第二模拟增益和第二数字增益确定,所述第一模拟增益小于所述第二模拟增益。
3.如权利要求1或2所述的方法,其特征在于,所述电子设备还包括第二摄像头,所述第二摄像头包括第二图像传感器;所述拍摄界面还用于显示通过所述第二摄像头采集的图像;所述电子设备显示拍摄界面后,所述方法还包括:
在当前变焦倍数属于第二焦段,且当前动态范围大于第二动态范围阈值,且当前物体距离大于第一物体距离的情况下,所述电子设备通过所述第二图像传感器在第五出图模式下输出第五图像和第六图像;
所述电子设备通过所述第二图像传感器将所述第五图像和所述第六图像合成第七图像,并在所述拍摄界面显示所述第七图像;
其中,所述第五图像为基于第四出图模式按照第三感光度对第二原始图像进行处理后得到的图像,所述第六图像为基于所述第四出图模式按照第四感光度对所述第二原始图像进行处理后得到的图像,所述第二原始图像为所述第二图像传感器获取的原始图像;所述第三感光度基于第三转换增益、第三模拟增益和第三数字增益确定,所述第四感光度基于第四转换增益、第四模拟增益和第四数字增益确定,所述第三转换增益小于所述第四转换增益。
4.如权利要求2所述的方法,其特征在于,所述M为2;在所述当前变焦倍数属于第一焦段,且当前动态范围大于第一动态范围阈值,且当前环境亮度大于第一预设环境亮度的情况下,若当前环境亮度从不大于所述第一预设环境亮度变为大于所述第一预设环境亮度,所述M帧图像包括第八图像和第九图像;所述第八图像为基于所述第二出图模式按照第五感光度对第三原始图像进行处理后得到的图像,所述第九图像为基于所述第二出图模式按照所述第五感光度对第四原始图像进行处理后得到的图像,所述第三原始图像和所述第四原始图像为所述第一图像传感器在一次曝光过程中分别基于第二曝光时长和第三曝光时长所获取的原始图像;所述第二曝光时长和所述第三曝光时长的比值,与所述第一感光度和所述第二感光度的比值相等;所述第二曝光时长小于所述第三曝光时长,且所述第二曝光时长小于所述第一曝光时长。
5.如权利要求4所述的方法,其特征在于,所述当前环境亮度从不大于所述第一预设环境亮度变为大于所述第一预设环境亮度之后,所述方法还包括:
所述电子设备逐步增大所述第一图像传感器在所述第一出图模式下输出图像时所依据的曝光时长,以及逐步减小所述第一图像传感器在所述第一出图模式下输出图像时所依据的感光度;
其中,在所述逐步增大所述第一图像传感器在所述第一出图模式下输出图像时所依据的曝光时长,以及逐步减小所述第一图像传感器在所述第一出图模式下输出图像时所依据的感光度的过程中,所述电子设备每一次通过所述第一图像传感器在所述第一出图模式下输出两帧图像所依据的曝光时长的比值,与所述第一感光度和所述第二感光度的比值相等,并且所述电子设备每一次通过所述第一图像传感器在所述第一出图模式下输出所述两帧图像所依据的感光度相同。
6.如权利要求5所述的方法,其特征在于,所述电子设备逐步增大所述第一图像传感器在所述第一出图模式下输出图像时所依据的曝光时长,具体包括:
所述电子设备逐步增大所述第一图像传感器在所述第一出图模式下输出图像时所依据的曝光时长,直到输出图像时所依据的曝光时长中的最小值等于所述第二曝光时长。
7.如权利要求4-6中任一项所述的方法,其特征在于,所述第五感光度等于所述第二感光度;所述第三曝光时长等于所述第一曝光时长。
8.如权利要求1-7中任一项所述的方法,其特征在于,所述拍摄界面还包括录像结束控件;所述录像结束按钮用于触发所述电子设备停止对所述拍摄界面显示的图像进行录制;所述方法还包括:
所述电子设备检测到针对所述录像结束控件的操作;
响应于所述针对所述录像结束控件的操作,所述电子设备保存第一视频,所述第一视频包括所述拍摄界面显示的图像。
9.如权利要求1-7中任一项所述的方法,其特征在于,所述拍摄界面包括录像开始按钮;所述录像开始按钮用于触发所述电子设备对所述拍摄界面显示的图像进行录制。
10.一种拍摄方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头,所述第一摄像头包括第一图像传感器;所述方法包括:
所述电子设备显示拍摄界面;所述拍摄界面用于显示通过所述第一摄像头采集的图像;
在当前变焦倍数属于所述第一焦段,且当前动态范围大于所述第一动态范围阈值,且当前环境亮度小于第二预设环境亮度的情况下,所述电子设备通过所述第一图像传感器在第三出图模式下输出第二图像和第三图像;
所述电子设备将所述第二图像和所述第三图像合成第四图像,在所述拍摄界面显示所述第四图像;
其中,所述第二预设环境亮度小于第一预设环境亮度;所述第二图像为基于第四出图模式按照第一感光度对所述第一图像传感器获取的第一原始图像进行处理后得到的图像,所述第三图像为基于所述第四出图模式按照第二感光度对所述第一原始图像进行处理后得到的图像,所述第一原始图像为所述第一图像传感器基于第一曝光时长获取的原始图像;所述第一感光度基于第二转换增益、第一模拟增益和第一数字增益确定,所述第二感光度基于第二转换增益、第二模拟增益和第二数字增益确定,所述第一模拟增益小于所述第二模拟增益。
11.一种电子设备,其特征在于,所述电子设备包括摄像头、处理器和存储器;所述摄像头与所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述处理器调用所述计算机指令以执行上述权利要求1-9中任一项所述的方法或者权利要求10所述的方法。
12.一种计算机可读存储介质,其特征在于,用于存储计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行上述权利要求1-9中的任一项所述的方法或者权利要求10所述的方法。
CN202311085394.0A 2023-08-26 2023-08-26 一种拍摄方法及相关设备 Pending CN117692799A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311085394.0A CN117692799A (zh) 2023-08-26 2023-08-26 一种拍摄方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311085394.0A CN117692799A (zh) 2023-08-26 2023-08-26 一种拍摄方法及相关设备

Publications (1)

Publication Number Publication Date
CN117692799A true CN117692799A (zh) 2024-03-12

Family

ID=90137830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311085394.0A Pending CN117692799A (zh) 2023-08-26 2023-08-26 一种拍摄方法及相关设备

Country Status (1)

Country Link
CN (1) CN117692799A (zh)

Similar Documents

Publication Publication Date Title
KR101361331B1 (ko) Hdr 캡처 능력을 갖는 이미지 센서
CN110381263B (zh) 图像处理方法、装置、存储介质及电子设备
CN110198418B (zh) 图像处理方法、装置、存储介质及电子设备
KR20150099302A (ko) 전자 장치와, 그의 제어 방법
JP2010028596A (ja) 撮像装置
JP2012222540A (ja) 撮像装置
CN110290325B (zh) 图像处理方法、装置、存储介质及电子设备
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
CN115526787B (zh) 视频处理方法和装置
CN116055897B (zh) 拍照方法及其相关设备
CN116055890A (zh) 生成高动态范围视频的方法和电子设备
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
US20090002544A1 (en) Methods of adding additional parameters during automatic exposure for a digital camera and related electronic devices and computer program products
JP2011254340A (ja) 撮像装置
WO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2015033064A (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
WO2024032033A1 (zh) 视频处理的方法及电子设备
US11503223B2 (en) Method for image-processing and electronic device
CN110266967B (zh) 图像处理方法、装置、存储介质及电子设备
CN110581957B (zh) 图像处理方法、装置、存储介质及电子设备
CN115633252B (zh) 拍摄方法及其相关设备
CN117692799A (zh) 一种拍摄方法及相关设备
CN110049254B (zh) 图像处理方法、装置、存储介质及电子设备
CN116723417B (zh) 一种图像处理方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination