CN117135470A - 拍摄方法、电子设备及存储介质 - Google Patents

拍摄方法、电子设备及存储介质 Download PDF

Info

Publication number
CN117135470A
CN117135470A CN202310199035.1A CN202310199035A CN117135470A CN 117135470 A CN117135470 A CN 117135470A CN 202310199035 A CN202310199035 A CN 202310199035A CN 117135470 A CN117135470 A CN 117135470A
Authority
CN
China
Prior art keywords
camera
value
image
exposure
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310199035.1A
Other languages
English (en)
Inventor
邵涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202310199035.1A priority Critical patent/CN117135470A/zh
Publication of CN117135470A publication Critical patent/CN117135470A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了一种拍摄方法、电子设备及存储介质。在该方法中,在目标应用的图像预览场景下,电子设备通过第一摄像头采集预览图像帧,以及通过第二摄像头采集相同场景的一帧图像,这帧图像可以用于生成曝光程度不同的多个图像帧;电子设备根据曝光程度不同的这多个图像帧计算与预览图像帧对应的目标曝光值,进而电子设备响应于用户操作执行拍摄操作时,可以基于预览图像帧的曝光量以及目标曝光值辅助进行自动曝光。这样,电子设备根据同场景且曝光程度不同的多个图像帧,能够确定较为合理的目标曝光值,实现对拍摄图像较为准确地自动曝光补偿。

Description

拍摄方法、电子设备及存储介质
技术领域
本申请涉及智能终端技术领域,尤其涉及一种拍摄方法、电子设备及存储介质。
背景技术
随着电子设备功能的日益完善,人们对电子设备拍照效果的需求也不断地提高。
当用户打开电子设备的拍照功能时,电子设备的显示屏上会显示预览图像。在预览图像为用户心仪画面时,用户可以点击拍照控件进行拍照。为了提高拍照图像的画面效果,电子设备通常会基于预览图像进行自动曝光补偿。然而,由于电子设备无法准确估计拍照场景的动态范围(Dynamic Range,DR),则基于动态范围进行自动曝光补偿而得到的拍照图像可能会出现过曝光或欠曝光的情形,导致拍照图像效果不佳。
发明内容
为了解决上述技术问题,本申请实施例提供一种拍摄方法、电子设备及存储介质。在该方法中,电子设备新增与第一摄像头拍摄同场景的第二摄像头,且第二摄像头中添加中性密度值不同的中性密度镜,电子设备将通过第二摄像头采集的图像拆分为同场景曝光效果不同的多个图像帧,以根据这多个图像帧确定较为合理的目标曝光值,实现对拍摄图像较为准确地自动曝光补偿。
第一方面,本申请实施例提供一种拍摄方法。该方法应用于电子设备中,电子设备包括第一摄像头和第二摄像头,第一摄像头和第二摄像头用于拍摄同一场景,第二摄像头不同像素点对应的滤光级别不尽相同。
其中,该方法包括:在目标应用的图像预览场景下,电子设备通过第一摄像头采集用于预览送显的第一图像帧,以及通过第二摄像头采集第二图像帧;电子设备根据第二图像帧以及第二摄像头涉及的多种滤光级别,生成曝光程度不同的多个目标图像帧;电子设备根据多个目标图像帧,计算与第一图像帧对应的目标曝光值;目标曝光值用于辅助自动曝光;响应于目标操作,电子设备通过第一摄像头采集拍摄图像帧;其中,拍摄图像帧的曝光量是根据第一图像帧的曝光量以及目标曝光值确定的。
示例性的,目标应用为系统相机应用,或具有相机功能的第三方应用。
示例性的,目标操作可以为点击目标应用的拍摄控件的操作。
其中,电子设备通过第一摄像头采集到的第一图像帧,以及通过第二摄像头采集到第二图像帧是对应的,具体可以是针对于同一个预览图像帧采集请求而通过第一摄像头及第二摄像头采集的。第一图像帧用于送显预览,第二图像帧用于计算目标曝光值以辅助自动曝光。
需要指出的是,电子设备对第二图像帧进行拆分以得到曝光程度不同的多个目标图像帧,目标图像帧的数量以及曝光值与第二摄像头中设置的滤光级别有关。关于第二图像帧的拆分方式,与第二摄像头中滤光级别的设置方式有关。
示例性的,第一摄像头和第二摄像头同为后置摄像头,或者第一摄像头和第二摄像头同为前置摄像头。
这样,电子设备新增与第一摄像头拍摄同场景且不同像素点对应的滤光级别不尽相同的第二摄像头,通过第二摄像头采集的一帧图像可以拆分为曝光程度不同的多个图像帧,以使电子设备可以根据这多个图像帧确定较为合理的目标曝光值,实现对拍摄图像较为准确地自动曝光补偿,避免拍摄图像出现过曝或过暗的问题,提升拍摄图像的画面质量。
根据第一方面,电子设备根据多个目标图像帧,计算与第一图像帧对应的目标曝光值,可以包括:电子设备计算与每个目标图像帧分别对应的灰度直方图;电子设备根据每个灰度直方图中数量非零的像素最大灰度值,以及每个目标图像帧的曝光值,确定与第一图像帧对应的目标曝光值。
这样,电子设备可以通过分析每个目标图像帧的灰度直方图,以及各个目标图像帧的曝光值,确定相对合理的曝光值范围,以确定与第一图像帧对应的相对合理的目标曝光值,辅助进行自动曝光。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据每个灰度直方图中数量非零的像素最大灰度值,以及每个目标图像帧的曝光值,确定与第一图像帧对应的目标曝光值,可以包括:
电子设备按照目标图像帧的曝光值由大到小的顺序,将对应的各个灰度直方图进行排序;电子设备依次选取一个灰度直方图作为当前灰度直方图,并确定当前灰度直方图中数量非零的像素最大灰度值;
如果像素最大灰度值小于255,则将电子设备当前灰度直方图对应的目标图像帧的曝光值作为参考曝光值,并根据像素最大灰度值计算修正曝光值,将参考曝光值和修正曝光值的和值作为目标曝光值;
如果像素最大灰度值等于255,则在当前灰度直方图非排序在末位的灰度直方图时,电子设备继续依次选取一个灰度直方图作为当前灰度直方图;
如果像素最大灰度值等于255,则在当前灰度直方图为排序在末位的灰度直方图时,电子设备将当前灰度直方图对应的目标图像帧的曝光值作为目标曝光值。
其中,电子设备确定与第一图像帧对应的目标曝光值的流程可以参照下文图10a和图10b所示的流程。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据像素最大灰度值计算修正曝光值,可以包括:电子设备根据公式EV-del=log2(255/δ)计算修正曝光值;其中,EV-del为修正曝光值,δ为像素最大灰度值。
根据第一方面,或者以上第一方面的任意一种实现方式,在电子设备计算与每个目标图像帧分别对应的灰度直方图之后,还包括:电子设备对每个灰度直方图进行修正。
这样,电子设备基于目标图像帧修正后的灰度直方图来确定与第一图像帧对应的目标曝光值,能够进一步提高目标曝光值的准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备对每个灰度直方图进行修正,包括:电子设备减少每个灰度直方图中过曝像素点的数量。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备减少每个灰度直方图中过曝像素点的数量,包括:电子设备确定图像中允许存在的过曝像素点的数量n1;
如果灰度直方图中过曝像素点的总数量n2大于等于数量n1,则电子设备将灰度直方图中过曝像素点的数量调整为(n2-n1);
如果灰度直方图中过曝像素点的总数量n2小于数量n1,则电子设备将灰度直方图中过曝像素点的数量调整为0。
根据第一方面,或者以上第一方面的任意一种实现方式,图像中允许存在的过曝像素点的数量n1为图像像素总数量与预设比例的乘积。
根据第一方面,或者以上第一方面的任意一种实现方式,第二摄像头的微透镜上添加有中性密度值不同的中性密度镜。
根据第一方面,或者以上第一方面的任意一种实现方式,第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层。
根据第一方面,或者以上第一方面的任意一种实现方式,中性密度镜的中性密度值为预先修正后的中性密度值。
考虑到镀膜工艺问题,可能会导致ND镜或滤光涂层的实际中性密度值与预期中性密度值存在偏差,预先对各中性密度值进行修正,也即可以预先对各ND值所对应的图像曝光值进行修正,能够进一步保证目标曝光值的准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,第二摄像头的彩色滤波片的彩色滤光涂层彩色密度值不尽相同。
根据第一方面,或者以上第一方面的任意一种实现方式,彩色密度值为预先修正后的彩色密度值。
考虑到镀膜工艺问题,可能会导致彩色滤波片的彩色滤光涂层实际彩色密度值与预期彩色密度值存在偏差,预先对各彩色密度值进行修正,也即可以预先对各彩色密度值所对应的图像曝光值进行修正,能够进一步保证目标曝光值的准确性。
根据第一方面,或者以上第一方面的任意一种实现方式,在第二摄像头的微透镜上添加有中性密度值不同的中性密度镜的情况下,如果微透镜上添加有中性密度值不同的n2种中性密度镜,则在微透镜的每组n*n像素中,不同像素上添加不同中性密度值的中性密度镜。
其中,此实现方式可以参照下文图4a所示的相关内容。
根据第一方面,或者以上第一方面的任意一种实现方式,在第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层的情况下,如果微透镜上镀膜有中性密度值不同的n2种滤光涂层,则在微透镜的每组n*n像素中,不同像素上镀膜不同中性密度值不同的滤光涂层。
其中,此实现方式也可以参照下文图4a所示的相关内容。
根据第一方面,或者以上第一方面的任意一种实现方式,彩色滤波片为单色滤光片;如果每个单色滤光片的彩色滤光涂层彩色密度值有n2种,则在每个单色滤光片的每组n*n像素中,不同像素的彩色滤光涂层彩色密度值不同。
其中,此实现方式可以参照下文图4b中(1)所示的相关内容。
根据第一方面,或者以上第一方面的任意一种实现方式,彩色滤波片为非单色滤光片,每个颜色通道的彩色滤光涂层彩色密度值均包括不同的各种彩色密度值。
其中,此实现方式可以参照下文图4b中(2)所示的相关内容。
根据第一方面,或者以上第一方面的任意一种实现方式,第二摄像头的分辨率低于第一摄像头的分辨率。
根据第一方面,或者以上第一方面的任意一种实现方式,第二摄像头的图像采集帧率低于第一摄像头的图像采集帧率。
其中,在第一摄像头启动后,第二摄像头在后台始终处于开启状态。由于第二摄像头的分辨率低于第一摄像头的分辨率,和/或,第二摄像头的图像采集帧率低于第一摄像头的图像采集帧率,新增第二摄像头能够避免给电子设备带来过多的功耗。
根据第一方面,或者以上第一方面的任意一种实现方式,拍摄图像帧的曝光量根据第一图像帧的曝光量以及目标曝光值确定的,包括:
电子设备根据公式E’=E*2-x计算拍摄图像帧的曝光量;其中,E’为拍摄图像帧的曝光量,E为第一图像帧的曝光量,-x为目标曝光值。
根据第一方面,或者以上第一方面的任意一种实现方式,在电子设备计算与第一图像帧对应的目标曝光值之后,还包括:电子设备根据目标曝光值确定当前场景的动态范围。
这样,在电子设备计算得到相对合理的目标曝光值之后,还可以根据该目标曝光值确定与当前场景对应的更加准确的动态范围。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第二图像帧以及第二摄像头涉及的多种滤光级别,生成曝光程度不同的多个目标图像帧,可以包括:
电子设备根据第二摄像头中的滤光级别设置,将第二图像帧拆分为分别与不同滤光级别对应的多个目标图像帧;其中,每个目标图像帧的曝光值由目标图像帧所对应的滤光级别确定。
在第二摄像头中添加有中性密度值不同的N种中性密度镜的情况下,不同中性密度值可以用于指示不同的滤光级别。
在第二摄像头中镀膜有中性密度值不同的N种滤光涂层的情况下,不同中性密度值也可以用于指示不同的滤光级别。
在第二摄像头中彩色滤光片的彩色滤光涂层彩色密度值包括N种的情况下,不同彩色密度值也可以用于指示不同的滤光级别。
这样,电子设备可以将第二图像帧拆分为分别与每个中性密度值或与每个彩色密度值对应的N个目标图像帧。其中,每个目标图像帧的曝光值可以根据与其对应的中性密度值,以及中性密度值和相应图像的曝光值之间的映射关系确定,或者每个目标图像帧的曝光值可以根据与其对应的彩色密度值,以及彩色密度值和相应图像的曝光值之间的映射关系确定。
第二方面,本申请实施例提供一种电子设备。该电子设备包括:一个或多个处理器;存储器;第一摄像头和第二摄像头,第一摄像头和第二摄像头用于拍摄同一场景,第二摄像头不同像素点对应的滤光级别不尽相同;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行第一方面以及第一方面中任意一项的拍摄方法。
根据第二方面,第二摄像头的微透镜上添加有中性密度值不同的中性密度镜。
根据第二方面,或者以上第一方面的任意一种实现方式,第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层。
根据第二方面,或者以上第一方面的任意一种实现方式,第二摄像头的彩色滤波片的彩色滤光涂层彩色密度值不尽相同。
根据第二方面,或者以上第二方面的任意一种实现方式,在第二摄像头的微透镜上添加有中性密度值不同的中性密度镜的情况下,如果微透镜上添加有中性密度值不同的n2种中性密度镜,则在微透镜的每组n*n像素中,不同像素上添加不同中性密度值的中性密度镜。
其中,此实现方式可以参照下文图4a所示的相关内容。
根据第二方面,或者以上第二方面的任意一种实现方式,在第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层的情况下,如果微透镜上镀膜有中性密度值不同的n2种滤光涂层,则在微透镜的每组n*n像素中,不同像素上镀膜不同中性密度值不同的滤光涂层。
其中,此实现方式也可以参照下文图4a所示的相关内容。
根据第二方面,或者以上第二方面的任意一种实现方式,彩色滤波片为单色滤光片;如果每个单色滤光片的彩色滤光涂层彩色密度值有n2种,则在每个单色滤光片的每组n*n像素中,不同像素的彩色滤光涂层彩色密度值不同。
其中,此实现方式可以参照下文图4b中(1)所示的相关内容。
根据第二方面,或者以上第二方面的任意一种实现方式,彩色滤波片为非单色滤光片,每个颜色通道的彩色滤光涂层彩色密度值均包括不同的各种彩色密度值。
其中,此实现方式可以参照下文图4b中(2)所示的相关内容。
根据第二方面,或者以上第二方面的任意一种实现方式,第二摄像头的分辨率低于第一摄像头的分辨率;和/或,第二摄像头的图像采集帧率低于第一摄像头的图像采集帧率。
第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面以及第一方面中任意一项的拍摄方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面中任意一项的拍摄方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚和该处理电路通过内部连接通路互相通信,该处理电路执行如第一方面或第一方面中任意一项的拍摄方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1a为示例性示出的一种图像亮度直方图;
图1b为示例性示出的一种动态范围与曝光值的映射关系;
图2为示例性示出的多个拍摄图像;
图3a为示例性示出的电子设备的硬件结构示意图;
图3b为示例性示出的电子设备的硬件结构示意图;
图3c为示例性示出的第二摄像头的镜头结构示意图;
图4a为示例性示出的摄像头微透镜上增加中性密度镜或滤光涂层的示意图;
图4b为示例性示出的摄像头彩色滤光片上涂层彩色密度值的示意图;
图5为示例性示出的电子设备的软件结构示意图;
图6a-图6b为示例性示出的一种应用场景;
图7a-图7b为示例性示出的辅助自动曝光示意图;
图8a为示例性示出的与同一场景对应的曝光效果不同的多个图像帧;
图8b为示例性示出的图像帧的修正后的灰度直方图;
图9为示例性示出的模块交互示意图;
图10a-图10b为示例性示出的目标曝光值的计算流程示意图;
图11为示例性示出的一种拍摄方法的流程示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
曝光是一切光化学成像方法的基本过程与主要特征。通过曝光可以获得可见图像。曝光模式即计算机采用自然光源的模式,通常分为多种,如手动曝光、自动曝光等模式。照片的好坏与曝光有关,也就是说应该通过多少的光线才能使感光元件得到清晰的图像。其中,曝光量由曝光时间、光圈大小、感光度(International Organization forStandardization,ISO)决定。感光度用于衡量底片对于光的灵敏程度。
曝光是拍摄中一个非常重要的环节,它决定了获取图像时感光元件能获取多少光线。也就是说,曝光可以决定图像的亮度(即明暗)。其中,曝光量可以反映曝光了多少,是具体表征感光元件获取多少光线的一个参数。根据曝光量的定义可知:曝光量由曝光时间、通光面积以及环境光强度决定。其中,快门速度决定曝光时间,光圈大小决定通光面积。一般来说,在自然光下进行拍摄时,几乎无法改变环境光,但是ISO可以影响感光元件对光线的敏感度,所以可以认为ISO影响感光元件获取光线时的环境光强度。
由此,曝光量受曝光时间(快门速度)、光圈大小以及ISO三个因素影响,可以将这三个影响曝光的因素称为曝光参数。其中,EV(Exposure Value,曝光值)是由快门速度值和光圈值组合表示摄影镜头通光能力的一个相对量数值。通常,0EV(或称EV0)对应于曝光时间为1秒而光圈为f/2.0的组合或其等效组合。可以理解为,0EV对应于基准曝光。
在大多电子设备中,相机功能都允许设置曝光补偿。在手动曝光时,用户可以通过EV选项来调节曝光补偿。如果增加EV,拍照所得的图像就会变得更加明亮,如果减小EV,拍照所得的图像就会变得更加阴暗。一旦EV设置不当,会使得拍照所得图像出现过曝或过暗的问题,影响拍照图像的画面效果。类似的,在自动曝光时,电子设备可以基于预览图像的曝光量来自动调节EV,以实现对拍照图像的曝光补偿。示例性的,+1EV的曝光补偿意味着2倍曝光量,+2EV的曝光补偿意味着4倍曝光量,+3EV的曝光补偿意味着8倍曝光量,以此类推,+nEV的曝光补偿意味着2n倍曝光量。又示例性的,-1EV的曝光补偿意味着1/2倍曝光量,-2EV的曝光补偿意味着1/4倍曝光量,-3EV的曝光补偿意味着1/8倍曝光量,以此类推,-nEV的曝光补偿意味着1/2n倍曝光量。
目前,在图像预览场景下,预览图像存储于ZSL(Zero Shutter Lag,零秒延迟)队列中。当用户点击拍照控件时,电子设备驱动图像传感器采集拍照图像。为了提高图像质量,拍照图像通常为基于预览图像改变曝光参数后得到的变曝光图像。其中,与预览图像对应的曝光量可以对应于0EV。电子设备根据预览图像估计当前场景的动态范围,并根据该动态范围确定EV以实现对拍照图像的自动曝光补偿。
“动态范围”是一个用于定义相机可以在多大范围内捕捉图像的影调细节的术语,通常指由最低值到最高溢出值之间的范围。简单地说,它描述的是相机在单帧内可以记录的最亮和最暗影调之间的比率。电子设备通常是根据图像中过曝区域面积来估计当前场景的动态范围,进而可以基于当前场景的动态范围确定EV以实现对拍照图像的自动曝光补偿。
图1a示例性的示出了一种图像的亮度直方图。其中,亮度直方图也称灰度直方图,是关于灰度级的分布函数,是图像灰度级分布的统计。简单地说,灰度直方图就是将图像中所有的像素点,按照灰度值的大小,统计其出现的频率。因此,灰度直方图是灰度级的函数,它表示了图像中具有某种灰度级(亮度)的像素个数,反映了图像中某种灰度级(亮度)出现的频率。
在亮度直方图中,高光区域为直方图靠右侧区域,表述画面中偏亮偏白的像素数量;阴影区域为直方图靠左侧区域,表述画面中偏暗偏黑的像素数量。其中,图像场景的DR=S1/S2;S1为亮度直方图中高光区域的像素数量,S2为亮度直方图中阴影区域的像素数量。
电子设备在统计得到的预览图像的亮度直方图之后,即可根据预览图像的亮度直方图计算得到预览图像的DR值,进而可以基于DR值与EV的映射关系,确定出与该预览图像对应的EV以实现对拍照图像的自动曝光补偿。
图1b示例性的示出了一种图像动态范围与曝光值的映射关系。如图1b所示,图像的DR值越大时,相应的EV就越小(也即-EV或EV-的绝对值越大)。也就是说,在图像的DR值较大时,需要降低图像曝光率,以使图像高亮区域的图像细节可以被恢复出来。
然而,由于电子设备无法区分图像中过曝区域是光源导致的,还是光源反射或散射导致的,故电子设备估计所得的场景动态范围可能并不准确。进而,电子设备在基于预览图像的场景动态范围确定EV以实现对拍照图像的自动曝光补偿时,拍照图像可能会出现过曝或过暗的情形,使得拍照图像质量不佳,影响用户使用体验。
图2示例性的示出了几种拍照图像(或称照片)。其中,拍照图像以灰度图的形式示出。在如图2中(1)所示的拍照图像中,由于曝光量不够(或称曝光时间过短),区域101出现过暗的情形,使得区域101内夕阳呈暗红色;在如图2中(2)所示的拍照图像中,由于曝光量过大(或称曝光时间过长),区域102出现过亮(或称过曝)的情形,使得区域102中显示屏上图像细节丢失;在如图2中(3)所示的拍照图像中,由于曝光量不够,区域103出现过暗的情形,使得区域103内文字颜色发生变化,如由原本的白色变成了蓝色。
为了解决上述技术问题,本申请实施例提供了一种拍摄方法。在该拍摄方法中,电子设备引入新的器件(即摄像头),该摄像头上不同像素点对应的滤光级别不尽相同。这样,电子设备通过该摄像头采集的一帧图像后,根据该帧图像可以得到与不同滤光级别对应的多张图像。其中,滤光级别不同,可以理解为减光的程度不同,反应到图像上则可以表现为曝光效果(或称曝光程度)不同。进而,电子设备可以根据这多张图像,确定与当前场景对应的相对合理的曝光值(EV),以实现对拍照图像的自动曝光补偿。
这样,电子设备能够提高拍照图像的图像质量,避免出现拍照图像过曝或过暗的问题。需要指出的是,电子设备确定的曝光值,相对于预览图像的曝光量而言的。
本申请实施例提供的拍摄方法,可以应用于电子设备。可选的,本申请实施例中的电子设备可以是具有拍照功能的手机、运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
如图3a所示为电子设备100的结构示意图。可选地,电子设备100可以为终端,也可以称为终端设备,终端可以为蜂窝电话(cellular phone)(如手机)或平板电脑(pad)等具有摄像头的设备,本申请不做限定。
应该理解的是,图3a所示的电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图3a中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,第一摄像头193,第二摄像头196,显示屏194,以及用户标识模块(subscriber identificationmodule,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,加速度传感器,温度传感器,运动传感器,气压传感器,磁传感器,距离传感器,接近光传感器,指纹传感器,触摸传感器,环境光传感器,骨传导传感器等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,第一摄像头193,第二摄像头196和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,第一摄像头193,第二摄像头196,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理第一摄像头193、第二摄像头196反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头(第一摄像头193或第二摄像头196)感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在第一摄像头193和/或第二摄像头196中。
第一摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个第一摄像头193,N为大于1的正整数。其中,第一摄像头193可以是前置摄像头,也可以是后置摄像头。
第二摄像头196用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是CCD或CMOS光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。
在本申请实施例中,第二摄像头196上添加有ND值不同的多个ND镜,其采集的一帧图像可以用于生成ND值不同的多张图像,以在第一摄像头193采集图像时辅助进行自动曝光补偿。其中,第二摄像头196的位置及数量可以根据实际需要进行设置,本申请实施例不对第二摄像头196的位置及数量进行限定。
以手机为例,图3b示例性的示出了一种手机结构示意图。
如图3b中(1)所示,在手机背面可以设置有第一摄像头193以及与其匹配的第二摄像头196。其中,手机背面设置的第一摄像头193的数量可以为一个或多个。示例性的,第一摄像头193的数量为三个,可以包括主摄像头、广角摄像头和长焦摄像头。主摄像头可以用于在第一焦段(如zoom倍率为1.0-3.x)进行图像采集,广角摄像头可以用于在第二焦段(如zoom倍率为0.x-1.0)进行图像采集,长焦摄像头可以用于在第三焦段(如zoom倍率为3.x以上)进行图像采集。
如图3b中(2)所示,在手机正面也可以设置有第一摄像头193以及与其匹配的第二摄像头196。其中,手机正面设置的第一摄像头193的数量可以为一个或多个。当电子设备基于第一摄像头193(前置摄像头或后置摄像头)进行图像采集时,与其匹配的第二摄像头196(对应为前置摄像头或后置摄像头)可以采集与同一场景对应的一帧图像,该帧图像可以用于生成ND值不同的多张图像以辅助进行自动曝光补偿。
其中,当第一摄像头193开启时,与其匹配的第二摄像头196在后台始终处于开启状态。本申请实施例中,第二摄像头196的分辨率低于第一摄像头193的分辨率,例如第二摄像头196的分辨率为2M;第二摄像头196的帧率低于第一摄像头193的帧率,例如第二摄像头196的帧率为5FPS(Frame Per Second,每秒传输帧数)。这样,电子设备100中新增第二摄像头196也不会给电子设备100带来过多的功耗。
图3c中(1)示例性的示出了一种第二摄像头的镜头结构示意图。在一种示例中,如图3c中(1)所示,在第二摄像头196的微透镜(microlens)302上增加中性密度镜(NeutralDensity Filter,ND镜)303改变微透镜302的透光率。
中性密度镜,也称中性灰度镜,其作用为过滤光线。其中,ND镜对各种不同波长的光线的减少能力是同等的、均匀的,只起到减弱光线的作用,而对原物体的颜色不会产生任何影响,因此可以真实再现景物的减光反差。
在本申请实施例中,摄像头196的不同微透镜302上增加的ND镜的ND(NeutralDensity,中性密度)值不尽相同(也即透光倍数或减光程度不同)以实现不同的滤光级别。这样,在不同微透镜302上增加不同ND值的ND镜,使得电子设备通过第二摄像头采集到的一帧图像可以生成与同一场景对应的多张图像(不同图像对应的ND值不同),也即可以生成与同一场景对应的曝光效果不同的多张图像。
图3c中(2)示例性的示出了另一种第二摄像头的镜头结构示意图。在另一种示例中,如图3c中(2)所示,在第二摄像头196的微透镜302上通过镀膜增加滤光涂层304改变微透镜302的透光率。其中,不同密度涂层的ND值不尽相同(也即透光倍数或减光程度不同)以实现不同的滤光级别。
这样,在不同微透镜302上通过镀膜增加不同的滤光涂层,使得电子设备通过第二摄像头采集到的一帧图像可以生成与同一场景对应的多张图像(不同图像对应的ND值不同),也即可以生成与同一场景对应的曝光效果不同的多张图像。
图3c中(3)示例性的示出了又一种第二摄像头的镜头结构示意图。在又一中示例中,调整彩色滤光片(Color filter)的彩色密度(Color Density,CD)值,来实现不同程序的滤光级别。如图3c中(3)所示,在第二摄像头196中,彩色滤光片(Color filter)301的涂层CD值不尽相同,使得彩色滤光片能够实现不同程度的滤光级别。其中,图3c中(3)以R像素为例示出CD值不同的示例。
这样,电子设备通过第二摄像头可以采集到的一帧图像可以生成与同一场景对应的多张图像(不同图像对应的CD值不同),也即可以生成与同一场景对应的曝光效果不同的多张图像。
需要指出的是,图3c中(1)、图3c中(2)未示出第二摄像头除微透镜和彩色滤光片之外的结构,关于第二摄像头的其余结构可以参照已有技术,在此不再赘述。
在一种可选的实施方式中,若在第二摄像头196的微透镜上增加N种ND镜,则电子设备通过第二摄像头可以采集的一帧图像可以生成与同一场景对应的曝光效果不同的N张图像(不同图像对应的ND值不同)。其中,这N种ND镜的ND值互不相同。示例性的,在这N种ND值中,其中一种ND镜的ND值为1。其中,ND值为1的透光效果与未添加ND镜的透光效果是相同的,可以理解为未添加ND镜的情形。
需要指出的是,ND镜的ND值与相应图像的曝光值的映射关系为:ND值为2n时,相应图像的曝光值EV为-n,n为自然数。其中,ND值为1时,相应图像的曝光值EV为0;ND值为2时,相应图像的曝光值EV为-1;ND值为4时,相应图像的曝光值EV为-2;ND值为8时,相应图像的曝光值EV为-3。
示例性的,若在第二摄像头196的微透镜上增加第一ND镜、第二ND镜、第三ND镜、第四ND镜,则电子设备通过第二摄像头采集的一帧图像可以用于生成与同一场景对应的曝光效果不同的4张图像。其中,第一ND镜、第二ND镜、第三ND镜、第四ND镜的ND值不同,这4张图像分别对应于这4个不同的ND值。
例如,第一ND镜对应的ND值为20(也可以不增加第一ND镜,相当于未增加ND镜的情形),第二ND镜对应的ND值为21,第三ND镜对应的ND值为22,第四ND镜对应的ND值为23。这样,电子设备通过第二摄像头采集到的一帧图像可以用于生成曝光效果不同的4张图像,其中,与ND值为1对应的第一张图像(未减光)的曝光效果对应于0EV,与ND值为2对应的第二张图像的曝光效果对应于-1EV,与ND值为4对应的第三张图像的曝光效果对应于-2EV,与ND值为8对应的第四张图像的曝光效果对应于-3EV。
再例如,第一ND镜对应的ND值为20(也可以不增加第一ND镜,相当于未增加ND镜的情形),第二ND镜对应的ND值为22,第三ND镜对应的ND值为24,第四ND镜对应的ND值为28。这样,电子设备通过第二摄像头采集到的一帧图像可以用于生成曝光效果不同的4张图像,其中,与ND值为1对应的第一张图像(未减光)的曝光效果对应于0EV,与ND值为4对应的第二张图像的曝光效果对应于-2EV,与ND值为16对应的第三张图像的曝光效果对应于-4EV,与ND值为256对应的第四张图像的曝光量对应于-8EV。
又示例性的,若在第二摄像头196的微透镜上增加9种ND值不同的ND镜,则电子设备通过第二摄像头采集到的一帧图像可以用于生成与同一场景对应的曝光效果不同的9张图像。
例如,第一ND镜对应的ND值为20(也可以不增加第一ND镜,相当于未增加ND镜的情形),其余8种ND镜对应的ND值分别为21、22、23、24、25、26、27、28。这样,电子设备通过第二摄像头采集到的一帧图像可以生成与同一场景对应的曝光效果不同的9张图像,其中,与ND值为1对应的第一张图像(未减光)的曝光效果对应于0EV,则其他八张图像的曝光效果分别对应于-1EV、-2EV、-3EV、-4EV、-5EV、-6EV、-7EV、-8EV。
在此种实施方式中,若在微透镜上增加ND值不同的ND镜,则可以将微透镜像素作为处理单元进行ND镜添加设置。示例性的,若在微透镜上增加ND值不同的n2种ND镜,则可以将微透镜中每n*n个像素作为一组,在每组像素中分别在各个像素上添加ND值不同的ND镜。
例如,若在微透镜上增加ND值不同的32种ND镜,如图4a所示,针对每组像素(3*3像素),可以在各个像素点(图4a所示的每个小正方形代表一个像素点)上添加不同ND值的ND镜。其中,图中NDn表示ND值为n。在如图4a所示的示例中,每组像素(3*3像素)中,各个像素上添加的ND镜所对应的ND值分别为1、2、4、8、16、32、64、128、256。这样,通过第二摄像头采集到的一帧图像可以用于生成曝光效果分别对应于0EV、-1EV、-2EV、-3EV、-4EV、-5EV、-6EV、-7EV、-8EV的九张图像。
在另一种可选的实施方式中,若在第二摄像头196的微透镜上通过镀膜增加ND值互不相同的N种滤光涂层,则电子设备通过第二摄像头可以采集的一帧图像可以生成与同一场景对应的曝光效果不同的N张图像(不同图像对应的ND值不同)。示例性的,在这N种ND值中,其中一种滤光涂层的ND值为1。其中,ND值为1的透光效果与未镀膜滤光涂层的透光效果是相同的,可以理解为镀膜滤光涂层的情形。
与ND镜相同,滤光涂层的ND值与相应图像的曝光值的映射关系为:ND值为2n时,相应图像的曝光值EV为-n,n为自然数。其中,ND值为1时,相应图像的曝光值EV为0;ND值为2时,相应图像的曝光值EV为-1;ND值为4时,相应图像的曝光值EV为-2;ND值为8时,相应图像的曝光值EV为-3。
示例性的,若在第二摄像头196的微透镜上镀膜第一滤光涂层、第二滤光涂层、第三滤光涂层、第四滤光涂层,则电子设备通过第二摄像头采集的一帧图像可以用于生成与同一场景对应的曝光效果不同的4张图像。其中,第一滤光涂层、第二滤光涂层、第三滤光涂层、第四滤光涂层的ND值不同,这4张图像分别对应于这4个不同的ND值。
在此种实施方式中,若在微透镜上镀膜ND值不同的滤光涂层,则可以将微透镜像素作为处理单元进行滤光涂层镀膜。示例性的,若在微透镜上镀膜ND值不同的n2种滤光涂层,则可以将微透镜中每n*n个像素作为一组,在每组像素中分别在各个像素上添加ND值不同的滤光涂层。
例如,若在微透镜上增加ND值不同的32种滤光涂层,也可以参照图4a所示,针对每组像素(3*3像素),可以在各个像素点(图4a所示的每个小正方形代表一个像素点)上添加不同ND值的滤光涂层。其中,图中NDn表示ND值为n。在如图4a所示的示例中,每组像素(3*3像素)中,各个像素上添加的滤光涂层所对应的ND值分别为1、2、4、8、16、32、64、128、256。这样,通过第二摄像头采集到的一帧图像可以用于生成曝光效果分别对应于0EV、-1EV、-2EV、-3EV、-4EV、-5EV、-6EV、-7EV、-8EV的九张图像。
关于在微透镜上通过镀膜增加ND值互不相同的N种滤光涂层的情形,与在微透镜上增加ND值互不相同的N种ND镜的情形是类似的,在此不再过多赘述。
在又一种可选的实施方式中,若调整彩色滤光片的涂层CD值,使得彩色滤光片的彩色滤光涂层涉及N种CD值,则电子设备通过第二摄像头可以采集的一帧图像可以生成与同一场景对应的曝光效果不同的N张图像(不同图像对应的CD值不同)。其中,这N种涂层CD值互不相同。示例性的,在这N种涂层CD值中,其中一种涂层CD值为1。其中,涂层CD值为1的透光效果与未调整CD值的像素透光效果是相同的,可以理解为未调整CD值的情形。
需要指出的是,彩色滤光片的彩色滤光涂层的CD值与相应图像的曝光值的映射关系为:CD值为2n时,相应图像的曝光值EV为-n,n为自然数。其中,CD值为1时,相应图像的曝光值EV为0;CD值为2时,相应图像的曝光值EV为-1;CD值为4时,相应图像的曝光值EV为-2;CD值为8时,相应图像的曝光值EV为-3。
示例性的,若在第二摄像头196中彩色滤光片对应于4种互不相等的CD值,则电子设备通过第二摄像头采集的一帧图像可以用于生成与同一场景对应的曝光效果不同的4张图像,这4张图像分别对应于这4个不同的CD值。
例如,第一涂层CD值为20(相当于未调整CD值的情形),调整后的第二涂层CD值为21,调整后的第三涂层CD值为22,调整后的第四涂层CD值为23。这样,电子设备通过第二摄像头采集到的一帧图像可以用于生成曝光效果不同的4张图像,其中,与涂层CD值为1对应的第一张图像(未减光)的曝光效果对应于0EV,与涂层CD值为2对应的第二张图像的曝光效果对应于-1EV,与涂层CD值为4对应的第三张图像的曝光效果对应于-2EV,与涂层CD值为8对应的第四张图像的曝光效果对应于-3EV。
在此种实施方式中,若调整彩色滤光片的涂层CD值,使得彩色滤光片的彩色滤光涂层涉及多种CD值,也可以将彩色滤光片上像素作为处理单元进行涂层CD值的调整。
在一种情形下,第二摄像头196的彩色滤光片采用多个单色滤光片,如红色(Red,R)滤光片、绿色(Green,G)滤光片和蓝色(Blue,B)滤光片等。在此情形下,若在每个单色滤光片上调整涂层CD值使得涂层涉及n2种不同的CD值,则可以将每个单色滤光片中每n*n个像素作为一组,在每组像素中分别将各个像素的涂层CD值调整为互不相同的值(每个值均为n2种CD值之一)。
例如,若在每个单色滤光片(R-单色滤光片、G-单色滤光片和B-单色滤光片)上调整涂层CD值使得涂层涉及22种不同的CD值,则可以针对每个单色滤光片的每组像素(2*2像素),如图4b中(1)所示,将各个像素点(图4b中(1)所示的每个小正方形代表一个像素点)的涂层CD值调整为互不相同的值。在如图4b中(1)所示的示例中,在每组像素(2*2像素)中,各个像素点上的涂层CD值分别为1、4、16、256。其中,图中CDn表示CD值为n。这样,通过第二摄像头采集到的一帧图像可以用于生成曝光效果分别对应于0EV、-2EV、-4EV、-8EV的四张图像。
在另一种情形下,第二摄像头196的彩色滤光片采用非单色滤光片,例如为RGGB彩色滤光片、RYYB(Red Yellow Yellow Blue,红黄黄蓝)彩色滤光片、RGBCMY(Red GreenBlue Cyan Magenta Yellow,红绿蓝青洋红黄)。在此情形下,每个颜色通道上的彩色滤光涂层均涉及多种CD值。
示例性的,若使彩色滤光片的彩色滤光涂层涉及n2种不同的CD值,则可以将每n*n组像素作为一个处理单元,并将每个处理单元的各组像素的涂层CD值调整为互不相同的值(每个值均为n2种CD值之一)。其中,本情形下提及的一组像素中的像素数量与颜色通道数量相等,一组像素中包括与各个颜色通道分别对应的像素,同一组像素的涂层CD值相同。以RGGB彩色滤光片为例,一组像素中包括一个R通道像素、一个G通道像素、一个G通道像素和一个B通道像素。
例如,若使RGGB彩色滤光片的彩色滤光涂层涉及22种不同的CD值,针对每个处理单元(包括2*2组像素,每组像素点包括R通道像素点、G通道像素点、G通道像素点和B通道像素点),如图4b中(2)所示,将各组像素点的涂层CD值调整为互不相同的值(每个值均为22种CD值之一)。在如图4b中(2)所示的实力中,不同组像素点的涂层CD值分别为1、4、16、256。这样,通过第二摄像头采集到的一帧图像可以用于生成曝光效果分别对应于0EV、-2EV、-4EV、-8EV的四张图像。示例性的,参照图4b中(2)所示,左上角的一组像素点(每个小正方形代表一个像素点,分别为R通道像素点、G通道像素点、G通道像素点和B通道像素点)上的涂层CD值为1,相应的图像曝光值对应于0EV,右上角的一组像素点上的涂层CD值为4,相应的图像曝光值对应于-2EV,左下角的一组像素点上的涂层CD值为16,相应的图像曝光值对应于-4EV,右下角的一组像素点上的涂层CD值为256,相应的图像曝光值对应于-8EV。
关于在第二摄像头196的微透镜上增加的ND镜所对应的ND值(如2x),以及不同ND值的ND镜的组合(包括不同ND值的ND镜的数量以及各ND镜的ND值),均为示例性的说明,本实施例对此不做限定。其中,在ND镜对应的ND值为2x时,x可以为整数,也可以为非整数。
类似的,关于在第二摄像头196的微透镜上增加的滤光涂层所对应的ND值(如2x),以及不同ND值的滤光涂层的组合(包括不同ND值的滤光涂层的数量以及各滤光涂层的ND值),均为示例性的说明,本实施例对此不做限定。其中,在滤光涂层对应的ND值为2x时,x可以为整数,也可以为非整数。
类似的,关于在第二摄像头196的彩色滤光片的彩色滤光涂层涉及的CD值(如2x),以及不同涂层CD值的组合(包括不同涂层CD值的数量以及各涂层CD值),均为示例性的说明,本实施例对此不做限定。其中,在涂层CD值为2x时,x可以为整数,也可以为非整数。
需要指出的是,在微透镜或彩色滤波片的边缘处,可能出现少于n*n像素的分组。针对此情形,在相应的像素处可以根据实际情形设置相应ND值的ND镜,或者镀膜相应ND值的滤光涂层,或者调整涂层CD值,本实施例对此不做限定。
考虑到镀膜工艺问题,可能会导致ND镜的实际ND值与预期ND值存在偏差,或者导致滤光涂层的实际ND值与预期ND值存在偏差,或者导致彩色滤光涂层的实际CD值与预期CD值存在偏差,此时还可以预先对各ND镜的ND值进行修正(或称标定),对各滤光涂层的ND值进行修正,对彩色滤光涂层的CD值进行修正。
以修正ND镜的ND值为例,在本申请实施中,可以预先对各ND镜的ND值所对应的图像EV进行修正,以实现对ND镜的ND值的修正。
根据设计,假设第一ND镜的ND值所对应的EV为EV0(相当于未镀膜的情形),第二ND镜的ND值所对应的EV为EV-n1,第三ND镜的ND值所对应的EV为EV-n2,…,第n+1ND镜的ND值所对应的EV为EV-nn。将第一ND镜、第二ND镜、第三ND镜、…、第n+1ND镜分别放置在均匀光照灯箱内,采集灰度测试卡的测试值(如密度或反射率等)以得到与各ND镜分别对应的响应值。
例如,与第一ND镜对应的响应值为Value1,与第二ND镜对应的响应值为Value2,与第三ND镜对应的响应值为Value3,…,与第n+1ND镜对应的响应值为Value(n+1)。其中,与ND镜对应的响应值可以采用累计平均响应值,以确保较好的精度。
在对各ND镜的ND值对应的EV进行修正时,依旧将第一ND镜的ND值所对应的EV记为EV0,其他ND镜的ND值所对应的修正EV分别为:
第二ND镜的ND值所对应的修正EV=log2(Value2/Value1),记为EV-n1’;第三ND镜的ND值所对应的修正EV=log2(Value3/Value1),记为EV-n2’;…;第n+1ND镜的ND值所对应的修正EV=log2(Value(n+1)/Value1),记为EV-nn’。
这样,第一ND镜的ND值所对应的EV依旧为EV0,第二ND镜的ND值所对应的EV由EV-n1修正为EV-n1’,第三ND镜的ND值所对应的EV由EV-n2修正为EV-n2’,…,第n+1ND镜的ND值所对应的EV由EV-nn修正为EV-nn’。
相应的,根据ND镜的ND值和图像EV值之间的映射关系,即:ND值为2n时,相应的图像曝光值EV为-n,n为自然数,以及修正后的图像曝光值,即可得到ND镜的修正ND值。
若将第一ND镜、第二ND镜、第三ND镜、…、第n+1ND镜添加在第二摄像头的微透镜上,则由电子设备通过第二摄像头采集到的图像生成的多张图像的EV梯度可以由“EV0、EV-n1、EV-n2、…、EV-nn”调整为“EV0、EV-n1’、EV-n2’、…、EV-nn’”,以提升由电子设备通过第二摄像头采集的一帧图像生成的与同一场景对应的多张图像的EV准确性,进而能够提升电子设备基于第二摄像头采集的一帧图像辅助进行自动曝光的准确性。
关于修正滤光涂层的ND值的情形,可以参照修正ND镜的ND值的示例,也可以预先对各涂层ND值所对应的图像EV进行修正,以实现对滤光涂层的ND值的修正,在此不再赘述。
关于修正彩色滤光涂层的CD值的情形,与修正ND镜的ND值的情形也是类似的,也可以预先对各涂层CD值所对应的图像EV进行修正,以实现对彩色滤光涂层的CD值的修正。
根据设计,假设第一涂层CD值所对应的EV为EV0(相当于未镀膜的情形),第二涂层CD值所对应的EV为EV-n1,第三涂层CD值所对应的EV为EV-n2,…,第n+1涂层CD值所对应的EV为EV-nn。将涂层CD值调整为第一涂层CD值、第二涂层CD值、第三涂层CD值、…、第n+1涂层CD值后的彩色滤光片分别放置在均匀光照灯箱内,采集灰度测试卡的测试值(如密度或反射率等)以得到与各涂层CD值分别对应的响应值。例如,与第一涂层CD值对应的响应值为Value1’,与第二涂层CD值对应的响应值为Value2’,与第三涂层CD值对应的响应值为Value3’,…,与第n+1涂层CD值对应的响应值为Value(n+1)’。其中,与涂层CD值对应的响应值可以采用累计平均响应值,以确保较好的精度。
在对各涂层CD值对应的EV进行修正时,依旧将第一涂层CD值所对应的EV记为EV0,其他涂层CD值所对应的修正EV分别为:
第二涂层CD值所对应的修正EV=log2(Value2’/Value1’),记为EV-n1”;第三涂层CD值所对应的修正EV=log2(Value3’/Value1’),记为EV-n2”;…;第n+1涂层CD值所对应的修正EV=log2(Value(n+1)’/Value1’),记为EV-nn”。
这样,第一涂层CD值所对应的EV依旧为EV0,第二涂层CD值所对应的EV由EV-n1修正为EV-n1”,第三涂层CD值所对应的EV由EV-n2修正为EV-n2”,…,第n+1涂层CD值所对应的EV由EV-nn修正为EV-nn”。
相应的,根据涂层CD值和图像EV值之间的映射关系,即:涂层CD值为2n时,相应的图像曝光值EV为-n,n为自然数,以及修正后的图像曝光值,即可得到涂层修正CD值。
若第二摄像头的彩色滤光片的彩色滤光涂层的CD值包括将第一涂层CD值、第二涂层CD值、第三涂层CD值、…、第n+1涂层CD值,则由电子设备通过第二摄像头采集到的图像生成的多张图像的EV梯度可以由“EV0、EV-n1、EV-n2、…、EV-nn”调整为“EV0、EV-n1”、EV-n2”、…、EV-nn””,以提升由电子设备通过第二摄像头采集的一帧图像生成的与同一场景对应的多张图像的EV准确性,进而能够提升电子设备基于第二摄像头采集的一帧图像辅助进行自动曝光的准确性。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理,例如使得电子设备100实现本申请实施例中的拍摄方法。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。在一些实施例中,电子设备100可以设置多个扬声器170A。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。
陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。
加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时加速度传感器可检测出重力的大小及方向。加速度传感器还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
按键190包括开机键(或称电源键),音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。需要说明的是,本申请实施例中,电子设备的操作系统可以包括但不限于塞班(Symbian)、安卓(Android)、Windows、苹果(iOS)、黑莓(Blackberry)、鸿蒙(Harmony)等操作系统,本申请不限定。
本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图5是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android Runtime)和系统库,硬件抽象层(hardware abstraction layer,HAL),以及内核层。
应用程序层可以包括一系列应用程序包。
如图5所示,应用程序包可以包括相机、图库以及具有相机功能的第三方应用等。示例性的,应用程序包还可以包括通话、日历、地图、导航、音乐、视频、短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器,相机服务(Camera Service)等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知信息被用于告知下载完成,消息提醒等。通知信息还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。通知信息例如为在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
相机服务用于响应于应用的请求,调用摄像头(包括前置摄像头和/或后置摄像头)。具体到本实施例中,相机服务可以响应于应用下发的图像预览请求以及图像拍摄请求,进而根据相应的请求调用摄像头进行图像采集,得到相应的图像帧。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
HAL为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于:相机HAL模块,音频HAL模块。其中,相机HAL模块用于对图像流进行处理,音频HAL模块用于对音频流进行处理(例如,对音频流进行降噪、定向增强等处理)。
在本申请实施例中,相机HAL模块还可以用于根据第二摄像头采集的多张曝光量不同的图像计算与拍照图像对应的EV,以实现对拍照图像的自动曝光补偿。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,音频驱动,图像传感器驱动模块,图像信号处理模块等。硬件至少包括处理器、显示屏、摄像头、ISP等。其中,图像信号处理模块用于根据相机HAL模块的指令处理图像预览请求和拍照请求,以使图像传感器驱动模块根据相应的请求采集图像。图像信号处理模块还可以用于对摄像头采集的原始图像进行处理,例如图像去噪、图像优化等。
可以理解的是,图5示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
可以理解的是,电子设备为了实现本申请实施例中的拍摄方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
下面介绍本申请实施例提供的一种拍照的场景。在本场景中,以电子设备为手机为例进行解释说明。
可以理解的,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic UserInterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图6a示例性示出了手机上的用于展示应用程序的示例性用户界面300。用户界面300显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,时钟应用图标、日历应用图标、图库应用图标、备忘录应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如,相机应用图标310、联系人应用图标、电话应用图标、信息应用图标)。托盘图标在页面切换时保持显示。本申请实施例对用户界面300上显示的内容不作限定。
可以理解的,手机可以检测到用户作用于相机应用图标310的用户操作(比如触摸/点击操作),响应于该操作,手机可以显示图6b所示的拍摄界面400。拍摄界面400可以是相机应用程序的默认拍照模式的用户界面,用户可以在该界面上完成拍照。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。也就是说,用户可以通过点击相机应用图标310来打开相机应用程序的拍摄界面400。可以理解的,默认拍照模式下的默认摄像头不限于为后置摄像头,手机也可以将前置摄像头设置为默认摄像头。也就是说,在开启相机应用程序之后,手机可以在预览区域420中显示前置摄像头采集的图像,可用于用户通过默认前置摄像头进行拍照。
图6b示例性示出了手机中相机应用程序的一个用户界面400。如图6b所示,拍摄界面400可包括参数调节区域410、预览区域420、相机模式选项区域430、图库快捷控件441、快门控件442、摄像头翻转控件443。其中,参数调节区域410中的各个控件用于相应的拍摄参数调整,包括但不限于:闪光灯设置控件、AI识别开关设置控件、色彩标准设置控件、以及更加详细的相机设置控件。
预览区域420可用于显示预览图像,该预览图像为手机通过第一摄像头实时采集的图像。手机可以实时刷新预览区域420中的显示内容,以便于用户预览第一摄像头当前采集的图像。
相机模式选项430中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:光圈模式选项431、夜景模式选项432、人像模式选项433、拍照模式选项434、录像模式选项435、专业选项模式436和更多选项437。可以理解的,这一个或多个拍摄模式选项在界面上可以表现为文字信息,例如“光圈”、“夜景”、“人像”、“拍照”、“录像”、“专业”、“更多”,还可以表现为图标或者其他形式的交互元素(interactive element,IE),本申请对此不作限制。
当检测到作用于拍摄模式选项上的用户操作,手机可以开启用户选择的拍摄模式。特别的,当检测到作用于更多选项437的用户操作,手机可以进一步显示更多的其他拍摄模式选项,如延时摄影模式选项、连拍模式选项等等,可以向用户展示更丰富的摄像功能。可以理解的,相机模式选项430中还可以包含更多或更少的拍摄模式选项,图6b所示的相机模式选项仅为本申请的一种实现方式,不应视为对本申请的限制。
图库快捷控件441可用于开启图库应用程序。响应于作用在图库快捷控件441上的用户操作,例如触摸操作,手机可以开启图库应用程序。
快门控件442可用于监听触发拍照的用户操作。手机可以检测到作用于快门控件442的用户操作,响应于该操作,手机获取到相应的拍照图像帧,并合成最终输出的图像保存为图库应用程序中的图片。另外,手机还可以在图库快捷控件441中显示所保存的图像的缩略图。也就是说,用户可以通过作用于快门控件442的操作来触发拍照。可以理解的,快门控件442可以是按钮或者其他形式的控件,本申请对此不作限制。
摄像头翻转控件443可用于监听触发翻转摄像头的用户操作。手机可以检测到作用于摄像头翻转控件443的用户操作,例如触摸操作,响应于该操作,手机可以切换用于拍摄的摄像头,例如将后置摄像头切换为前置摄像头,或者将前置摄像头切换为后置摄像头。
拍摄界面400中还可以包含更多或更少的控件,本申请实施例对此不作限定。
继续参照图6b,用户点击快门控件442,响应于用户操作,相机应用向内核层(kernel)下发拍照请求后,内核层(kernel)收到拍照请求后将图像传感器后续输出的连续多帧图像数据上报至相机HAL模块,相机HAL模块会回调(callback)一张拍照帧和缩略图给相机应用,相机应用可以根据收到拍照帧或缩略图确认此次拍照完成,然后恢复快门控件442为使能状态,用户才能够进行下一次拍照。
目前,通常将电子设备采集预览图像帧的曝光量作为基准曝光量(或称正常曝光量,对应于曝光值EV0)。当用户点击快门控件触发电子设备采集拍照图像帧时,电子设备采集拍照图像帧时的曝光参数会参考基于预览图像帧(即与EV0对应的图像)计算得到的DR值,确定与拍照图像帧对应的EV值,以调整图像曝光量达到提高拍照图像质量的效果。然而,基于预览图像帧(即与EV0对应的图像)计算得到的DR值,通常是根据图像过曝面积进行估计的,无法准确估计当前场景的动态范围,可能导致与拍照图像帧对应的EV值并不合理,使拍照图像出现过曝或过暗的问题。
在本申请实施例中,电子设备引入新的器件,如上文提及的第二摄像头,通过该器件电子设备可以采集一帧图像,电子设备通过这帧图像可以生成与同一场景对应的ND值不同的多张图像,也即曝光效果不同(EV不同)的多张图像。
这样,电子设备在计算当前场景的动态范围时,可以同步获取到与当前场景对应的曝光效果不同的多个图像帧,进而可以根据曝光效果不同的这多张图像,确定与当前场景对应的相对合理的曝光值(EV),并准确估计当前场景的动态范围,实现对拍照图像较为准确地自动曝光补偿。
如图7a所示,在手机响应于用户作用于相机应用图标310的用户操作,显示图6b所示的拍摄界面400时,手机通过第一摄像头(如前置摄像头或后置摄像头)采集预览图像帧并将预览图像显示于相机应用预览区域420中。与此同时,手机通过与第一摄像头对应的第二摄像头(对应于前置第二摄像头或后置第二摄像头)采集与当前场景对应的一帧图像,这帧图像可以用于生成曝光效果不同的多个图像帧,例如图像帧1、图像帧2、…、图像帧n,图像帧1、图像帧2、…、图像帧n。
在第二摄像头中微透镜上添加ND镜或者镀膜滤光涂层以使第二摄像头不同像素点对应的滤光级别不尽相同时,图像帧1、图像帧2、…、图像帧n,图像帧1、图像帧2、…、图像帧n所对应的ND值分别为2-n1、2-n2、…、2-nn
在第二摄像头的彩色滤光片的彩色涂层密度被调整以使第二摄像头不同像素点对应的滤光级别不尽相同时,图像帧1、图像帧2、…、图像帧n,图像帧1、图像帧2、…、图像帧n所对应的涂层CD值分别为2-n1、2-n2、…、2-nn
这样,手机通过第一摄像头采集的预览图像帧的曝光量为基准曝光量(即EV=0);相对于预览图像帧的曝光量,图像帧1、图像帧2、…、图像帧n的曝光值分别为EV=n1、EV=n2、…、EV=nn。
手机通过分析图像帧1、图像帧2、…、图像帧n,可以相对准确地估计当前场景的动态范围,确定与当前场景对应的相对合理的曝光值,如EV=m。在此情形下,若用户点击快门控件442,响应于用户操作,相机应用向内核层(kernel)下发拍照请求后。其中,相对于预览图像帧的基准曝光量,与该拍照请求对应的自动曝光值EV=m。进而,手机可以通过第一摄像头以相应的曝光量采集拍照图像帧,以此实现对拍照图像帧的自动曝光。
继续参照图7b,当手机通过第二摄像头采集到一个图像帧之后,手机可以根据第二摄像头的滤光设置(如微透镜上ND镜的ND值设置,或者微透镜上的滤光涂层ND值设置,或者彩色滤光片的彩色涂层CD值设置)将这个图像帧拆分为与当前场景对应的多个图像帧,统计与拆分后的每个图像帧分别对应的灰度直方图,如图像帧1的灰度直方图为灰度直方图1,图像帧2的灰度直方图为灰度直方图2,…,图像帧n的灰度直方图为灰度直方图n。此时,手机可以通过这n个灰度直方图准确估计当前场景的动态范围所对应的EV,如EV=m。
在一种可选的实施方式中,在手机统计得到与拆分后的每个图像帧分别对应的灰度直方图之后,手机还可以对每个灰度直方图进行修正,得到与每个图像帧分别对应的修正后的灰度直方图。
其中,在对某个灰度直方图进行修正时,手机可以在该灰度直方图中减掉图像中允许出现的过曝像素点(如灰度值为255的像素点,或灰度值接近255的像素点),以得到修正后的灰度直方图。
示例性的,图像中允许出现的过曝像素点的数量为图像总像素数量的γ%。例如γ=0.01,即图像中允许出现的过曝像素点的数量为图像总像素数量的万分之一。例如,过曝像素点为灰度值为255的像素点,经过计算,图像中允许出现的过曝像素点的数量为n1。若初始的灰度直方图中过曝像素点的数量为n2,则在修正灰度直方图时,将灰度直方图中过曝像素点的数量由n2调整为(n2-n1)。
需要注意的是,若初始的灰度直方图中过曝像素点的数量n2少于图像中允许出现的过曝像素点的数量n1,则在修正灰度直方图时可以直接将灰度直方图中过曝像素点的数量调整为0。在此情形下,手机可以通过修正后的这n个灰度直方图准确估计当前场景的动态范围所对应的EV,如EV=m’。
下述通过一个具体示例,对手机如何基于多个灰度直方图估计当前场景动态范围所对应的EV进行解释说明。其中,灰度直方图可以是未修正的灰度直方图,也可以是修正后的灰度直方图,本实施例对此不做限定。
下述以修正后的灰度直方图为例进行解释说明,若手机基于未修复的灰度直方图进行估计亦是如此,不再赘述。
图8a示例性的示出了一种应用场景。其中,图8a中(1)、(2)、(3)为由手机通过第二摄像头采集到的一个图像帧拆分而得到的与同一场景对应的三个图像帧。
一种示例中,在第二摄像头中微透镜上添加的ND镜的ND值分别为1、8、64,则图8a中(1)、(2)、(3)所示的三帧图像所对应的ND值分别为ND=1、ND=8、ND=64。
又一种示例中,在第二摄像头中微透镜上镀膜的滤光涂层的ND值分别为1、8、64,则图8a中(1)、(2)、(3)所示的三帧图像所对应的ND值分别为ND=1、ND=8、ND=64。
再一种示例中,第二摄像头中彩色滤光片的彩色滤光涂层的CD值包括1、8、64,则图8a中(1)、(2)、(3)所示的三帧图像所对应的涂层CD值分别为CD=1、CD=8、CD=64。
相对于手机通过第一摄像头采集到的预览图像帧,图8a中(1)所示的图像帧曝光的效果相当于EV1=0(即0EV),图8a中(2)所示的图像帧的曝光效果相当于EV2=-3(即-3EV),图8a中(3)所示的图像帧的曝光效果相当于EV3=-6(即-6EV)。
针对如图8a中(1)、(2)、(3)所示的图像帧,分别统计相应的灰度直方图,并对每个灰度直方图进行修正,去除图像中允许出现的过曝像素点,得到与这三个图像帧分别对应的修正后的灰度直方图。
如图8b所示,图8b中(1)为与图8a中(1)所示的图像帧所对应的修正后的灰度直方图,图8b中(2)为与图8a中(2)所示的图像帧所对应的修正后的灰度直方图,图8b中(3)为与图8a中(3)所示的图像帧所对应的修正后的灰度直方图。
针对图8b中(1)所示的灰度直方图,确定数量非0的像素最大灰度值δ1。若δ1=255,则表明图8a中(1)所示的图像帧中存在过曝像素点,曝光值设置为0EV是偏高的。
针对图8b中(2)所示的灰度直方图,确定数量非0的像素最大灰度值δ2。若δ2=255,则表明图8a中(2)所示的图像帧中存在过曝像素点,曝光值设置为-3EV是偏高的。
针对图8b中(3)所示的灰度直方图,确定数量非0的像素最大灰度值δ3。
在一种情况下,若δ3<255,例如δ3=233,则表明图8a中(3)所示的图像帧中不存在过曝像素点,曝光值设置为-6EV是偏低的,-6EV可以作为参考曝光值EV-ref。此时,EV-ref=-6。
由此可知,相对合理的曝光值位于-3EV到-6EV之间,需要进一步确认曝光值的目标值。此时,根据RAW图像的线性关系,可以计算得到用于修正参考曝光值EV-ref的修正曝光值EV-del为:EV-del=log2(255/δ3)=log2(255/233)=0.13。进而,与该场景对应的目标EV可以设置为:EV-target=EV-ref+EV-del=-6+0.13=-5.87。
在另一种情况下,若δ3=255,则表明图8a中(3)所示的图像帧中也存在过曝像素点。但是,由于当前不存在更低曝光值的图像帧,则与该场景对应的目标EV可以设置为EV3,即EV-target=-6。
如图9所示为各模块的交互示意图。参照图5,本申请实施例提供的拍摄方法的流程,具体包括:
S101,响应于用户打开相机应用的操作,相机应用向相机服务发送图像预览请求。
其中,图像预览请求用于请求预览图像流。
示例性的,响应于用户点击相机应用的图标,相机应用启动,向相机服务发送图像预览请求。例如,图像预览请求中可以包括但不限于请求类型、曝光参数(如EV值、ISO值等)、分辨率、抖动量等。
S102,相机服务接收到图像预览请求之后,向相机HAL模块发送预览图像帧采集请求。
相机服务接收到图像预览请求,执行与该图像预览请求对应的相关处理,例如创建相应的服务实例等,并向相机HAL模块发送预览图像帧采集请求。
示例性的,相机服务中预设有缓存队列(先进先出队列),用于存储预览图像帧采集请求。在一种实现方式中,缓存队列可以存储8个预览图像帧采集请求。相机服务接收到图像预览请求之后,生成8个预览图像帧采集请求存储于缓存队列中。每次相机服务将缓存队列中的一个预览图像帧采集请求向相机HAL模块发送之后,再生成一个预览图像帧采集请求存储于该缓存队列中。关于相机服务的其他相关处理,可以参照已有技术,在此不再赘述。
S103,相机HAL模块向ISP模块发送预览图像帧采集请求。
示例性的,相机HAL模块接收到预览图像帧采集请求之后,将预览图像帧采集请求存入请求队列中,该请求队列为先进先出队列。相机HAL模块在请求队列中读取预览图像帧采集请求,向ISP模块发送指令以及相应的预览图像帧采集请求,以通过ISP模块执行相应的操作。
其中,相机HAL模块接收相机服务发送的预览图像帧采集请求并存入请求队列,与相机HAL模块在请求队列中读取预览图像帧采集请求下发至ISP模块,是异步的流程。本实施例对S102和S103的执行顺序不做限定。
S104,ISP模块接收到预览图像帧采集请求,将预览图像帧采集请求发送至图像传感器驱动模块。
在本申请实施例中,预览图像帧采集请求可以用于指示图像传感器驱动模块驱动第一摄像头采集图像数据,也可以用于指示图像传感器驱动模块驱动第二摄像头采集图像数据。
其中,第一摄像头和第二摄像头用于拍摄同一场景,也即用于采集与同一场景对应的图像数据。
相对于第一摄像头采集的图像数据,第二摄像头采集到的图像数据(即一个图像帧)可以根据微透镜上ND镜的ND值设置,或者可以根据微透镜上的滤光涂层ND值设置,或者可以根据彩色滤光片的彩色涂层CD值设置被拆分为多组图像数据,以得到多个图像帧。
S105,图像传感器驱动模块驱动第一摄像头采集第一图像数据,并将第一图像数据发送至ISP模块。
其中,第一图像数据为通过第一摄像头采集的图像数据,用于生成预览图像帧。示例性的,第一图像数据可以为RAW域数据。
S106,图像传感器驱动模块驱动第二摄像头采集第二图像数据,并将第二图像数据发送至ISP模块。
其中,第二图像数据为通过第二摄像头采集的一个图像帧的图像数据,用于生成多个图像帧。
关于生成的图像帧的数量以及减光程度,与第二摄像头的硬件构造有关,具体与第二摄像头上滤光设置有关,如与微透镜上ND镜的ND值设置有关,或者与微透镜上的滤光涂层ND值设置有关,或者与彩色滤光片的彩色涂层CD值设置有关。
示例性的,第二图像数据可以为RAW域数据。
本实施例对S105和S106的执行顺序不做限定。
S107,ISP模块根据第一图像数据生成预览图像帧,并将预览图像帧发送至相机HAL模块。
示例性的,ISP模块对第一图像数据的处理流程可以包括但不限于对图像噪点、图像亮度、图像色温、场景曝光等进行优化处理。关于ISP模块的处理流程可以参见已有技术,在此不再赘述。
S108,ISP模块根据第二图像数据生成多个图像帧,并将这多个图像帧发送至相机HAL模块。
示例性的,ISP模块对第二图像数据的处理流程可以包括但不限于对图像噪点、图像亮度、图像色温、场景曝光等进行优化处理,以及数据拆分处理。关于ISP模块的处理流程可以参见已有技术,在此不再赘述。
其中,ISP模块对第二图像数据进行数据拆分以生成曝光效果不同的多个图像帧时,可以首先根据第二摄像头的滤光级别设置,确定拆分后的图像帧数量,具体可以根据第二摄像头中微透镜上ND镜的ND值设置,或者可以根据微透镜上的滤光涂层ND值设置,或者可以根据彩色滤光片的彩色涂层CD值设置,确定拆分后的图像帧数量。
若第二摄像头的微透镜上在增加N种ND镜,不同ND镜对应的ND值不同,则ISP模块可以将第二图像数据拆分成的图像帧数量为N,每个图像帧对应于一个ND值。
若第二摄像头的微透镜上在镀膜N种滤光涂层,不同滤光涂层对应的ND值不同,则ISP模块可以将第二图像数据拆分成的图像帧数量为N,每个图像帧对应于一个ND值。
若第二摄像头的彩色滤光片的彩色涂层CD值有N种,则ISP模块可以将第二图像数据拆分成的图像帧数量为N,每个图像帧对应于一个涂层CD值。
示例性的,如图4a所示的微透镜上ND镜设置或滤光涂层设置,ISP模块确定第二图像数据可以拆分成的图像帧数量N=9。
又示例性的,如图4b中(1)或图4b中(2)如所示的彩色滤光片的彩色涂层CD值设置,ISP模块确定第二图像数据可以拆分成的图像帧数量N=4。
然后,ISP模块可以对第二图像数据进行拆分,可以得到与不同ND值或不同涂层CD值分别对应的图像数据,进而可以得到与不同ND值或不同涂层CD值分别对应的图像帧,也即得到与不同曝光效果对应的N个图像帧。
如图4a所示,ISP模块对第二图像数据进行拆分,可以得到分别与ND=1、ND=2、ND=4、ND=8、ND=16、ND=32、ND=64、ND=128、ND=256对应的9组图像数据,进而可以得到分别与ND=1、ND=2、ND=4、ND=8、ND=16、ND=32、ND=64、ND=128、ND=256对应的9个图像帧。根据ND值和EV值之间的映射关系,这9个图像帧的曝光效果分别对应于EV=0、EV=-1、EV=-2、EV=-3、EV=-4、EV=-5、EV=-6、EV=-7、EV=-8。
如图4b中(1)或图4b中(2)如所示,ISP模块对第二图像数据进行拆分,可以得到分别与CD=1、CD=4、CD=16、CD=256对应的4组图像数据,进而可以得到分别与CD=1、CD=4、CD=16、CD=256对应的4个图像帧。根据CD值和EV值之间的关系,这4个图像帧的曝光效果分别对应于EV=0、EV=-2、EV=-4、EV=-8。
需要指出是,ISP模块对第二图像数据进行拆分的规则与微透镜上ND镜的ND值设置规则匹配,或者与微透镜上的滤光涂层ND值设置匹配,或者与彩色滤光片的彩色涂层CD值设置匹配。ISP模块对第二图像数据进行拆分的规则,可以依据第二摄像头中微透镜上ND镜的ND值设置方式进行预置,或者依据与微透镜上的滤光涂层ND值设置方式进行预置,或者依据与彩色滤光片的彩色涂层CD值设置方式进行预置。
S109,相机HAL模块接收到预览图像帧,将预览图像帧发送至相机服务,并根据生成的多个图像帧,计算与预览图像帧对应的目标曝光值。
针对同一个预览图像帧采集请求,手机通过第一摄像头采集预览图像帧,手机通过第二摄像头采集同一场景对应的图像帧,该图像帧可以用于生成曝光效果不同的多个图像帧。也即,针对相机HAL模块下发的同一个预览图像帧采集请求,第一摄像头采集到预览图像帧,第二摄像头采集到的一帧图像可以拆分为与该预览图像帧对应的曝光效果不同的多个图像帧,预览帧图像以及曝光效果不同的这多个图像帧被反馈至相机HAL模块。
此时,相机HAL模块可以将预览图像帧发送至相机服务,以及可以根据与该预览图像帧对应的曝光效果不同的多个图像帧计算与该与预览图像帧对应的目标曝光值(EV-target)。
如图10a所示,相机HAL模块根据曝光效果不同的多个图像帧计算与预览图像帧对应的目标曝光值的流程,可以包括:
S1091,相机HAL模块计算每个图像帧的灰度直方图并修正。
针对每个图像帧,相机HAL模块分别统计图像帧的灰度直方图,并对图像帧的灰度直方图进行修正。其中,相机HAL模块对灰度直方图进行修正的方式可以是:减少灰度直方图中过曝像素点的数量。过曝像素点指的是曝光过高的像素点,例如可以是灰度值为255的像素点,或者是灰度值接近于255的像素点(如灰度值为254、255的像素点)。
在一种实现方式中,相机HAL模块在对灰度直方图进行修正时,将灰度直方图中过曝像素点的数量减少n1。其中,n1为图像中允许存在的过曝像素点的数量。
示例性的,n1=N*γ%,N为图像的像素点总数量,γ%为图像中允许存在的曝光像素点的数量比例。
需要指出的是,若灰度直方图中过曝像素点的数量小于n1,则相机HAL模块在对灰度直方图进行修正时,可以将灰度直方图中过曝像素点的数量直接设置为0。
需要注意的是,若过曝像素点为灰度值接近于255的像素点,则在将灰度直方图中过曝像素点的数量减少时,可以按照过曝像素点灰度值由大到小的顺序来共同减少n1个过曝像素点。
例如,若过曝像素点为灰度值254和255的像素点,且在初始的灰度直方图中,灰度值为255的像素点数量为m1,灰度值为254的像素点数量为m2。如果m1大于等于n1,则在修正灰度直方图时,将灰度值为255的像素点数量调整为(m1-n1),灰度值为254的像素点数量不变。如果m1小于n1,且m1+m2大于等于n1,则在修正灰度直方图时,将灰度值为255的像素点数量调整为0,灰度值为254的像素点数量调整为(m2-(n1-m1))。如果m1+m2小于n1,则在修正灰度直方图时,将灰度值为255的像素点数量调整为0,灰度值为254的像素点数量也调整为0。
S1092,相机HAL模块按照图像帧的减光程度由低到高的顺序,对各个灰度直方图进行排序。
图像帧的减光程度由低到高的顺序,是根据图像帧的曝光效果确定的,也即指的是图像帧的EV值由大到小的顺序。
例如,第一图像帧的曝光效果相当于EV值为0,第二图像帧的曝光效果相当于EV值为-2,第三图像帧的曝光效果相当于EV值为-4,第四图像帧的曝光效果相当于EV值为-8,则这四个图像帧的灰度直方图的排序为:第一图像帧的灰度直方图、第二图像帧的灰度直方图、第三图像帧的灰度直方图、第四图像帧的灰度直方图。
S1093,相机HAL模块按顺序依次获取一个灰度直方图作为当前灰度直方图。
S1094,相机HAL模块计算当前灰度直方图中数量非0的像素最大灰度值δ。
例如,若灰度值为255的像素点数量非0,则像素最大灰度值δ=255。
再例如,若灰度值为255的像素点数量为0,灰度值为254的像素点数量非0,则像素最大灰度值δ=254。
S1095,相机HAL模块判断δ是否小于255,若是,则执行S1096,若否,则执行S1098。
S1096,相机HAL模块将当前灰度直方图所对应的图像帧的曝光值作为参考曝光值,并计算修正曝光值。
相机HAL模块按顺序依次对每个灰度直方图进行判断时,若其中一个灰度直方图中数量非0的像素最大灰度值δ小于255,则相机HAL模块将这个灰度直方图所对应的图像帧的曝光值作为参考曝光值EV-ref。
与此同时,相机HAL模块可以根据这个灰度直方图中数量非0的像素最大灰度值δ来计算修正曝光值EV-del。在一种实现方式中,EV-del=log2(255/δ)。
S1097,相机HAL模块根据参考曝光值EV-ref和修正曝光值EV-del计算目标曝光值EV-target。
其中,目标曝光值EV-target为参考曝光值EV-ref与修正曝光值EV-del之和。
S1098,相机HAL模块是否判断完所有灰度直方图,若是,则执行S1099,若否,则执行S1093。
S1099,相机HAL模块将当前灰度直方图所对应的图像帧的曝光值作为目标曝光值EV-target。
相机HAL模块按顺序依次对每个灰度直方图进行判断时,如果各个灰度直方图中数量非0的像素最大灰度值δ均为255,则可以将最后一个灰度直方图所对应的图像帧的曝光值作为目标曝光值EV-target。
在一种具体的实现方式中,相机HAL模块按照图像帧的减光程度由低到高的顺序,对各个灰度直方图进行排序,各个灰度直方图的序号依次为1~N。如图10b所示,从n=1开始,相机HAL模块统计第n个灰度直方图中数量非0的像素最大灰度值δ,并判断δ是否小于255,是则将第n个灰度直方图所对应的图像帧的曝光值作为参考曝光值EV-ref,并根据第n个灰度直方图中数量非0的像素最大灰度值δ计算修正曝光值EV-del,进而可以将参考曝光值EV-ref与修正曝光值EV-del的和值作为目标曝光值EV-target。如果第n个灰度直方图中数量非0的像素最大灰度值δ不小于255(即等于255),则判断n是否等于N,是则将第n个灰度直方图所对应的图像帧的曝光值作为目标曝光值EV-target,否则n值递增,以使相机HAL模块基于下一个灰度直方图进行判断以确定目标曝光值EV-target。
需要指出的是,针对每个预览图像帧(通过第一摄像头采集到的),相机HAL模块都可以根据与其对应的曝光效果不同的多个图像帧(由通过第二摄像头采集到的图像数据拆分而成)计算与这个预览图像帧对应的目标曝光值EV-target。
在计算得到与预览图像帧对应的目标曝光值之后,手机可以根据目标曝光值以及曝光值与动态范围之间的映射关系,更加准确地计算当前场景的动态范围,以辅助进行自动曝光处理。关于计算得到的动态范围的其他相关使用,可以参照已有技术,在此不再赘述。
S110,相机服务将预览图像帧发送至相机应用进行显示。
S111,响应于用户点击拍照控件的操作,相机应用向相机服务发送图像拍摄请求。
图像拍摄请求,用于请求拍摄图像。
S112,相机服务接收到图像拍摄请求之后,向相机HAL模块发送拍摄图像帧采集请求。
相机服务接收到图像拍摄请求,执行与该图像拍摄请求对应的相关处理,例如创建相应的服务实例等,并向相机HAL模块发送与该图像拍摄请求对应的拍摄图像帧采集请求。关于相机服务的相关处理流程,可以参见已有技术,在此不再赘述。
S113,相机HAL模块根据预览图像帧的曝光量以及目标曝光值,计算与拍摄图像帧采集请求对应的曝光量,并将拍摄图像帧采集请求以及对应的曝光量发送至ISP模块。
假设预览图像帧的曝光量为E,目标曝光值EV-target=-x,则拍摄图像帧采集请求对应的曝光量E’=E*(1/2x),也即E’=E*2(-x)
相机HAL模块根据预览图像帧的曝光量以及目标曝光值,计算与拍摄图像帧采集请求对应的曝光量之后,即可将拍摄图像帧采集请求以及与该拍摄图像帧采集请求对应的曝光量发送至ISP模块。其中,曝光量可以携带于拍摄图像帧采集请求中一同向ISP模块发送,也可以与拍摄图像帧采集请求一同向ISP模块发送,本实施例对此不做限定。
需要指出的是,相机HAL模块也可以依据已有技术对拍摄图像帧采集请求进行相关处理,本实施例对此不做限定。
S114,ISP模块向图像传感器驱动模块发送拍摄图像帧采集请求以及对应的曝光量。
在本申请实施例中,拍摄图像帧采集请求用于指示图像传感器驱动模块驱动第一摄像头采集图像数据。其中,第一摄像头采集图像数据时的曝光量为与该拍摄图像帧采集请求对应的曝光量。
S115,图像传感器驱动模块根据与拍摄图像帧采集请求对应的曝光量,驱动第一摄像头采集第三图像数据,并将第三图像数据发送至ISP模块。
其中,第三图像数据为通过第一摄像头采集的图像数据,且相应的曝光量为与拍摄图像帧采集请求对应的曝光量。示例性的,第三图像数据可以为RAW域数据。
S116,ISP模块根据第三图像数据生成拍摄图像帧,并将拍摄图像帧发送至相机HAL模块。
示例性的,ISP模块对第三图像数据的处理流程可以包括但不限于对图像噪点、图像亮度、图像色温、场景曝光等进行优化处理。关于ISP模块的处理流程可以参见已有技术,在此不再赘述。
S117,相机HAL模块将拍摄图像帧对应的拍摄图像以及匹配的缩略图发送至相机服务。
S118,相机服务将拍摄图像及匹配的缩略图发送至相机应用。
相机应用接收到拍摄图像以及匹配的缩略图之后,可以将拍摄图像以及匹配的缩略图进行刷新显示。与此同时,相机服务还可以将拍摄图像发送至图库应用,图库应用将接收到的拍摄图像进行存储。
在上述流程中,当相机应用展示预览窗口时,预览图像也会实时刷新。关于预览图像的刷新流程以及缩略图的刷新流程可以参照已有技术,在此不再赘述。
需要指出是,在上述实施例中以相机应用为例进行解释说明的,其它具有相机功能的第三方应用亦是如此,在此不再赘述。
图11示例性的示出的一种拍摄方法的流程示意图。如图11所示,该拍摄方法的流程具体包括:
S201,在目标应用的图像预览场景下,电子设备通过第一摄像头采集用于预览送显第一图像帧,以及通过第二摄像头采集第二图像帧。
S202,电子设备根据第二图像帧以及第二摄像头第二摄像头涉及的多种滤光级别,生成曝光程度不同的多个目标图像帧。
电子设备根据第二摄像头中的滤光级别设置,将第二图像帧拆分为分别与不同滤光级别对应的多个目标图像帧;其中,每个目标图像帧的曝光值由目标图像帧所对应的滤光级别确定。
在第二摄像头中添加有中性密度值不同的N种中性密度镜的情况下,不同中性密度值可以用于指示不同的滤光级别。
在第二摄像头中镀膜有中性密度值不同的N种滤光涂层的情况下,不同中性密度值也可以用于指示不同的滤光级别。
在第二摄像头中彩色滤光片的彩色滤光涂层彩色密度值包括N种的情况下,不同彩色密度值也可以用于指示不同的滤光级别。
这样,电子设备可以将第二图像帧拆分为分别与每个中性密度值或与每个彩色密度值对应的N个目标图像帧。
其中,每个目标图像帧的曝光值可以根据与其对应的中性密度值,以及中性密度镜的中性密度值和相应图像的曝光值之间的映射关系确定,或者每个目标图像帧的曝光值可以根据与其对应的彩色密度值,以及彩色密度值和相应图像的曝光值之间的映射关系确定。
S203,电子设备根据多个目标图像帧,计算与第一图像帧对应的用于辅助自动曝光的目标曝光值。
其中,电子设备计算与每个目标图像帧分别对应的灰度直方图,并根据每个灰度直方图中数量非零的像素最大灰度值,以及每个目标图像帧的曝光值,确定与第一图像帧对应的目标曝光值。
可选的,电子设备按照目标图像帧的曝光值由大到小的顺序,将对应的各个灰度直方图进行排序,依次选取一个灰度直方图作为当前灰度直方图,并确定当前灰度直方图中数量非零的像素最大灰度值。如果像素最大灰度值小于255,则电子设备将当前灰度直方图对应的目标图像帧的曝光值作为参考曝光值,并根据像素最大灰度值计算修正曝光值,将参考曝光值和修正曝光值的和值作为所述目标曝光值;如果像素最大灰度值等于255,则电子设备在当前灰度直方图非排序在末位的灰度直方图时,继续依次选取一个灰度直方图作为当前灰度直方图;如果像素最大灰度值等于255,则电子设备在当前灰度直方图为排序在末位的灰度直方图时,将当前灰度直方图对应的目标图像帧的曝光值作为目标曝光值。
其中,电子设备可以根据公式EV-del=log2(255/δ)计算修正曝光值;其中,EV-del为修正曝光值,δ为像素最大灰度值。
另外,电子设备还可以对与每个目标图像帧分别对应的灰度直方图进行修正。其中,电子设备可以通过减少灰度直方图中过曝像素点的数据,以实现对灰度直方图的修正。
电子设备确定图像中允许存在的过曝像素点的数量n1。其中,图像中允许存在的过曝像素点的数量n1为图像像素总数量与预设比例的乘积。
如果灰度直方图中过曝像素点的总数量n2大于等于数量n1,则电子设备可以将灰度直方图中过曝像素点的数量调整为(n2-n1);如果灰度直方图中过曝像素点的总数量n2小于数量n1,则电子设备可以将灰度直方图中过曝像素点的数量调整为0。
S204,响应于目标操作,电子设备通过第一摄像头采集拍摄图像帧;其中,拍摄图像帧的曝光量是根据第一图像帧的曝光量以及目标曝光值确定的。
其中,拍摄图像帧的曝光量E’=E*2-x;E’为拍摄图像帧的曝光量,E为第一图像帧的曝光量,-x为目标曝光值。
本申请实施例中,电子设备中增加与第一摄像头拍摄同一场景的第二摄像头。第二摄像头不同像素点对应的滤光级别不尽相同,其采集的一帧图像可以被拆分为与同一场景对应的曝光效果不同的多个图像帧。
这样,在电子设备通过第一摄像头拍摄图像的场景下,由第二摄像头采集的图像数据拆分得到的曝光效果不同的多个图像帧可以用于辅助自动曝光。其中,电子设备通过第一摄像头采集的预览图像帧的曝光量可以作为基准曝光量,由第二摄像头采集的图像数据拆分得到的曝光效果不同的多个图像帧可以用于确定与基准曝光量对应的目标曝光值,以使拍摄图像的曝光量更加合理,避免拍摄图像出现过曝或过暗的问题。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的拍摄方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的拍摄方法。
其中,本实施例提供的电子设备(如手机等)、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (21)

1.一种拍摄方法,其特征在于,应用于电子设备中,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头和所述第二摄像头用于拍摄同一场景,所述第二摄像头不同像素点对应的滤光级别不尽相同;所述方法包括:
在目标应用的图像预览场景下,通过所述第一摄像头采集第一图像帧,以及通过所述第二摄像头采集第二图像帧;其中,所述第一图像帧用于预览送显;
根据所述第二图像帧以及所述第二摄像头涉及的多种滤光级别,生成曝光程度不同的多个目标图像帧;
根据多个所述目标图像帧,计算与所述第一图像帧对应的目标曝光值;其中,所述目标曝光值用于辅助自动曝光;
响应于目标操作,通过所述第一摄像头采集拍摄图像帧;其中,所述拍摄图像帧的曝光量是根据所述第一图像帧的曝光量以及所述目标曝光值确定的。
2.根据权利要求1所述的方法,其特征在于,根据多个所述目标图像帧,计算与所述第一图像帧对应的目标曝光值,包括:
计算与每个所述目标图像帧分别对应的灰度直方图;
根据每个所述灰度直方图中数量非零的像素最大灰度值,以及每个所述目标图像帧的曝光值,确定与所述第一图像帧对应的目标曝光值。
3.根据权利要求2所述的方法,其特征在于,根据每个所述灰度直方图中数量非零的像素最大灰度值,以及每个所述目标图像帧的曝光值,确定与所述第一图像帧对应的目标曝光值,包括:
按照所述目标图像帧的曝光值由大到小的顺序,将对应的各个所述灰度直方图进行排序;
依次选取一个所述灰度直方图作为当前灰度直方图,并确定所述当前灰度直方图中数量非零的像素最大灰度值;
如果所述像素最大灰度值小于255,则将所述当前灰度直方图对应的目标图像帧的曝光值作为参考曝光值,并根据所述像素最大灰度值计算修正曝光值,将所述参考曝光值和所述修正曝光值的和值作为所述目标曝光值;
如果所述像素最大灰度值等于255,则在所述当前灰度直方图非排序在末位的灰度直方图时,继续依次选取一个所述灰度直方图作为当前灰度直方图;
如果所述像素最大灰度值等于255,则在所述当前灰度直方图为排序在末位的灰度直方图时,将所述当前灰度直方图对应的目标图像帧的曝光值作为所述目标曝光值。
4.根据权利要求3所述的方法,其特征在于,根据所述像素最大灰度值计算修正曝光值,包括:
根据公式EV-del=log2(255/δ)计算修正曝光值;其中,EV-del为所述修正曝光值,δ为所述像素最大灰度值。
5.根据权利要求2所述的方法,其特征在于,在计算与每个所述图像帧分别对应的灰度直方图之后,还包括:对每个所述灰度直方图进行修正。
6.根据权利要求5所述的方法,其特征在于,对每个所述灰度直方图进行修正,包括:
减少每个所述灰度直方图中过曝像素点的数量。
7.根据权利要求6所述的方法,其特征在于,减少每个所述灰度直方图中过曝像素点的数量,包括:
确定图像中允许存在的过曝像素点的数量n1;
如果所述灰度直方图中过曝像素点的总数量n2大于等于所述数量n1,则将所述灰度直方图中过曝像素点的数量调整为(n2-n1);
如果所述灰度直方图中过曝像素点的总数量n2小于所述数量n1,则将所述灰度直方图中过曝像素点的数量调整为0。
8.根据权利要求7所述的方法,其特征在于,所述图像中允许存在的过曝像素点的数量n1为图像像素总数量与预设比例的乘积。
9.根据权利要求1所述的方法,其特征在于,所述第二摄像头的微透镜上添加有中性密度值不同的中性密度镜;
或者,所述第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层。
10.根据权利要求1所述的方法,其特征在于,所述第二摄像头的彩色滤波片的彩色滤光涂层彩色密度值不尽相同。
11.根据权利要求9所述的方法,其特征在于,所述中性密度值为预先修正后的中性密度值。
12.根据权利要求10所述的方法,其特征在于,所述彩色密度值为预先修正后的彩色密度值。
13.根据权利要求9所述的方法,其特征在于,在所述第二摄像头的微透镜上添加有中性密度值不同的中性密度镜的情况下,如果所述微透镜上添加有中性密度值不同的n2种中性密度镜,则在所述微透镜的每组n*n像素中,不同像素上添加不同中性密度值不同的中性密度镜;
在所述第二摄像头的微透镜上镀膜有中性密度值不同的滤光涂层的情况下,如果所述微透镜上镀膜有中性密度值不同的n2种滤光涂层,则在所述微透镜的每组n*n像素中,不同像素上镀膜不同中性密度值不同的滤光涂层。
14.根据权利要求10所述的方法,其特征在于,所述彩色滤波片为单色滤光片;
如果每个所述单色滤光片的彩色滤光涂层彩色密度值有n2种,则在每个所述单色滤光片的每组n*n像素中,不同像素的彩色滤光涂层彩色密度值不同。
15.根据权利要求10所述的方法,其特征在于,所述彩色滤波片为非单色滤光片,每个颜色通道的彩色滤光涂层彩色密度值均包括不同的各种彩色密度值。
16.根据权利要求1所述的方法,其特征在于,所述第二摄像头的分辨率低于所述第一摄像头的分辨率;和/或,所述第二摄像头的图像采集帧率低于所述第一摄像头的图像采集帧率。
17.根据权利要求1所述的方法,其特征在于,所述拍摄图像帧的曝光量根据所述第一图像帧的曝光量以及所述目标曝光值确定的,包括:
根据公式E’=E*2-x计算拍摄图像帧的曝光量;其中,E’为拍摄图像帧的曝光量,E为所述第一图像帧的曝光量,-x为所述目标曝光值。
18.根据权利要求1所述的方法,其特征在于,在计算与所述第一图像帧对应的目标曝光值之后,还包括:
根据所述目标曝光值确定当前场景的动态范围。
19.根据权利要求1所述的方法,其特征在于,根据所述第二图像帧以及所述第二摄像头涉及的多种滤光级别,生成曝光程度不同的多个目标图像帧,包括:
根据所述第二摄像头中的滤光级别设置,将所述第二图像帧拆分为分别与不同滤光级别对应的多个目标图像帧;其中,每个所述目标图像帧的曝光值由所述目标图像帧所对应的滤光级别确定。
20.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
第一摄像头和第二摄像头;所述第一摄像头和所述第二摄像头用于拍摄同一场景;所述第二摄像头不同像素点对应的滤光级别不尽相同;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-19中任一项所述的拍摄方法。
21.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-19中任一项所述的拍摄方法。
CN202310199035.1A 2023-02-23 2023-02-23 拍摄方法、电子设备及存储介质 Pending CN117135470A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310199035.1A CN117135470A (zh) 2023-02-23 2023-02-23 拍摄方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310199035.1A CN117135470A (zh) 2023-02-23 2023-02-23 拍摄方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN117135470A true CN117135470A (zh) 2023-11-28

Family

ID=88853362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310199035.1A Pending CN117135470A (zh) 2023-02-23 2023-02-23 拍摄方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN117135470A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714890A (zh) * 2024-02-18 2024-03-15 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质
CN117714890B (zh) * 2024-02-18 2024-05-31 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208139A1 (en) * 2012-02-13 2013-08-15 Htc Corporation Exposure Value Adjustment Apparatus, Method, and Non-Transitory Tangible Machine-Readable Medium Thereof
JP2014222851A (ja) * 2013-05-14 2014-11-27 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
CN104935796A (zh) * 2015-06-23 2015-09-23 浙江一舟电子科技股份有限公司 一种摄像机一次拍摄获取多种曝光的结构
CN105611186A (zh) * 2015-12-22 2016-05-25 北京奇虎科技有限公司 基于双摄像头的曝光控制方法及系统
KR20160088466A (ko) * 2015-01-15 2016-07-26 주식회사 에코테마파크 선명한 상의 촬영이 가능한 감시 카메라
CN108769635A (zh) * 2018-05-30 2018-11-06 Oppo(重庆)智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN109218627A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109474791A (zh) * 2018-11-20 2019-03-15 深圳市趣创科技有限公司 相机拍摄图像控制曝光方法、装置、终端及存储介质
CN111314594A (zh) * 2020-03-19 2020-06-19 闻泰通讯股份有限公司 摄像头模组、控制方法、装置、电子设备和存储介质
CN112738411A (zh) * 2020-12-29 2021-04-30 重庆紫光华山智安科技有限公司 曝光调节方法、装置、电子设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130208139A1 (en) * 2012-02-13 2013-08-15 Htc Corporation Exposure Value Adjustment Apparatus, Method, and Non-Transitory Tangible Machine-Readable Medium Thereof
JP2014222851A (ja) * 2013-05-14 2014-11-27 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
KR20160088466A (ko) * 2015-01-15 2016-07-26 주식회사 에코테마파크 선명한 상의 촬영이 가능한 감시 카메라
CN104935796A (zh) * 2015-06-23 2015-09-23 浙江一舟电子科技股份有限公司 一种摄像机一次拍摄获取多种曝光的结构
CN105611186A (zh) * 2015-12-22 2016-05-25 北京奇虎科技有限公司 基于双摄像头的曝光控制方法及系统
CN108769635A (zh) * 2018-05-30 2018-11-06 Oppo(重庆)智能科技有限公司 拍摄装置、电子设备及图像获取方法
CN109218627A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109474791A (zh) * 2018-11-20 2019-03-15 深圳市趣创科技有限公司 相机拍摄图像控制曝光方法、装置、终端及存储介质
CN111314594A (zh) * 2020-03-19 2020-06-19 闻泰通讯股份有限公司 摄像头模组、控制方法、装置、电子设备和存储介质
CN112738411A (zh) * 2020-12-29 2021-04-30 重庆紫光华山智安科技有限公司 曝光调节方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱良销: ""高动态范围成像系统的研究"", 中国优秀硕士学位论文全文数据库, 15 November 2011 (2011-11-15) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714890A (zh) * 2024-02-18 2024-03-15 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质
CN117714890B (zh) * 2024-02-18 2024-05-31 荣耀终端有限公司 一种曝光补偿方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
WO2020168956A1 (zh) 一种拍摄月亮的方法和电子设备
US11800221B2 (en) Time-lapse shooting method and device
CN113132620B (zh) 一种图像拍摄方法及相关装置
US20220210308A1 (en) Image processing method and electronic apparatus
KR20150077646A (ko) 이미지 처리 장치 및 방법
CN114092364A (zh) 图像处理方法及其相关设备
CN113452898B (zh) 一种拍照方法及装置
US20240119566A1 (en) Image processing method and apparatus, and electronic device
US20240137659A1 (en) Point light source image detection method and electronic device
CN110138999B (zh) 一种用于移动终端的证件扫描方法及装置
CN116416122B (zh) 图像处理方法及其相关设备
US20210409588A1 (en) Method for Shooting Long-Exposure Image and Electronic Device
CN116055857B (zh) 拍照方法及电子设备
CN113630558B (zh) 一种摄像曝光方法及电子设备
CN113452969B (zh) 图像处理方法和装置
US20230014272A1 (en) Image processing method and apparatus
CN115359105B (zh) 景深扩展图像生成方法、设备及存储介质
CN113891008B (zh) 一种曝光强度调节方法及相关设备
CN115631250B (zh) 图像处理方法与电子设备
CN117135470A (zh) 拍摄方法、电子设备及存储介质
CN115150542A (zh) 一种视频防抖方法及相关设备
CN116048323B (zh) 图像处理方法及电子设备
CN115705663B (zh) 图像处理方法与电子设备
CN116055855B (zh) 图像处理方法及其相关设备
CN116051368B (zh) 图像处理方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination