CN117278864A - 图像拍摄方法、电子设备及存储介质 - Google Patents
图像拍摄方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117278864A CN117278864A CN202311522353.3A CN202311522353A CN117278864A CN 117278864 A CN117278864 A CN 117278864A CN 202311522353 A CN202311522353 A CN 202311522353A CN 117278864 A CN117278864 A CN 117278864A
- Authority
- CN
- China
- Prior art keywords
- exposure
- rate
- exposure frame
- image
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 230000006835 compression Effects 0.000 claims abstract description 111
- 238000007906 compression Methods 0.000 claims abstract description 111
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000005273 aeration Methods 0.000 claims description 34
- 230000000295 complement effect Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 9
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 230000000994 depressogenic effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 47
- 238000004364 calculation method Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 34
- 239000010410 layer Substances 0.000 description 29
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 238000004891 communication Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 8
- 238000007726 management method Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 108700041286 delta Proteins 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Abstract
本申请实施例提供了一种图像拍摄方法、电子设备及存储介质。在该方法中,电子设备根据正常曝光帧的过曝率采集与正常曝光帧对应的短曝光帧和超短曝光帧,并计算短曝光帧相对正常曝光帧的第一压曝率,和超短曝光帧相对正常曝光帧的第二压曝率,以根据第一压曝率、第二压曝率采集与目标压曝率对应的目标短曝光帧,从而将正常曝光帧和目标短曝光帧进行图像融合得到高动态融合图像。这样,电子设备能够得到灵活适应多种压曝需求的、压曝效果较好的目标短曝光帧,从而使得由目标短曝光帧和正常曝光帧融合得到的高动态范围图像,在极高动态范围下仍然能够保证过曝区的噪声以及细节表现,进而提高了高动态范围图像的图像效果。
Description
技术领域
本申请涉及智能终端技术领域,尤其涉及一种图像拍摄方法、电子设备及存储介质。
背景技术
当前,诸如手机等电子设备在进行图像拍摄时,通常是根据图像中过曝区域面积来估计当前场景的动态范围,但是通过电子设备拍摄得到的图像通常只有有限的动态范围。
为了提高图像的动态范围,电子设备通常是通过多重曝光图像融合得到高动态范围图像。然而,由于电子设备无法准确估计多重曝光图像的曝光参数,使得基于多重曝光图像融合得到的高动态范围图像可能会出现图像噪声大、压曝效果差以及涂抹等问题,导致拍摄得到的高动态范围图像效果不佳。
发明内容
为了解决上述技术问题,本申请实施例提供一种图像拍摄方法、电子设备及存储介质。在该方法中,电子设备能够得到灵活适应多种压曝需求的、压曝效果较好的目标短曝光帧,从而使得由第一图像帧和目标短曝光帧融合得到的目标图像,在极高动态范围下仍然能够保证过曝区的噪声以及细节表现,进而提高了目标图像的图像效果。
第一方面,本申请实施例提供一种图像拍摄方法。在低亮度的拍摄场景下,该方法包括:响应于拍摄操作,电子设备采集第一图像帧;电子设备根据第一图像帧的过曝率,采集与第一图像帧对应的第一短曝光帧和第二短曝光帧;电子设备计算第一短曝光帧相对第一图像帧的第一压曝率,以及第二短曝光帧相对第一图像帧的第二压曝率;压曝率用于指示曝光被压低的程度;电子设备获取至少一个目标压曝率,根据第一压曝率、第二压曝率,分别采集与每个目标压曝率对应的目标短曝光帧;电子设备将第一图像帧和目标短曝光帧进行图像融合,得到与拍摄操作对应的目标图像。
其中,目标短曝光帧的曝光时长短于第一图像帧的曝光时长。示例性的,第一图像帧可以是正常曝光帧。
这样,电子设备能够得到灵活适应多种压曝需求的、压曝效果较好的目标短曝光帧,从而使得由第一图像帧和目标短曝光帧融合得到的目标图像,在极高动态范围下仍然能够保证过曝区的噪声以及细节表现,进而提高了目标图像的图像效果。
在电子设备获取一个目标压曝率的情况下,电子设备可以采集得到一个与其对应的目标短曝光帧,从而将该一个目标短曝光帧与第一图像帧进行图像融合得到目标图像。
在电子设备获取多个目标压曝率的情况下,电子设备可以分别采集与每个目标压曝率对应的目标短曝光帧,也即电子设备可以采集得到多个目标短曝光帧,从而将多个目标短曝光帧与第一图像帧进行图像融合得到一个目标图像。
根据第一方面,第一短曝光帧的相对亮度大于第二短曝光帧的相对亮度;电子设备根据第一压曝率、第二压曝率,分别采集与目标压曝率对应的目标短曝光帧,可以包括:电子设备在目标压曝率小于第一压曝率的情况下,根据第一短曝光帧的相对亮度,确定第一目标相对亮度;在目标压曝率大于第二压曝率的情况下,根据第二短曝光帧的相对亮度,确定第一目标相对亮度;电子设备根据第一目标相对亮度计算第一目标曝光参数,并根据第一目标曝光参数采集与目标压曝率对应的目标短曝光帧。
这样,电子设备可以在目标压曝率小于第一压曝率,以及目标压曝率大于第二压曝率的两种情形下,实现目标短曝光帧的采集,使得目标短曝光帧能够适应上述两种情形的压曝需求,提高了目标短曝光帧在上述两种情形下的压曝效果。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一短曝光帧的相对亮度,确定第一目标相对亮度,可以包括:电子设备将第一短曝光帧的相对亮度的1/2确定为第一目标相对亮度;
电子设备根据第二短曝光帧的相对亮度,确定第一目标相对亮度,可以包括:电子设备将第二短曝光帧的相对亮度的2倍确定为第一目标相对亮度。
这样,电子设备可以在目标压曝率小于第一压曝率,以及目标压曝率大于第二压曝率的两种情形下,实现第一目标相对亮度的确定,以提高目标短曝光帧在上述两种情形下,对压曝需求的灵活适应度。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一压曝率、第二压曝率,分别采集与目标压曝率对应的目标短曝光帧,还可以包括:电子设备在目标压曝率大于第一压曝率,且小于第二压曝率的情况下,通过二分法在第一短曝光帧的相对亮度和第二短曝光帧的相对亮度之间,确定第二目标相对亮度;电子设备根据第二目标相对亮度,计算第二目标曝光参数,并根据第二目标曝光参数采集第三短曝光帧;电子设备计算第三短曝光帧相对第一图像帧的第三压曝率,并计算第三压曝率和目标压曝率之间的压曝率差值;电子设备在压曝率差值小于第一误差阈值的情况下,将第三短曝光帧确定为目标短曝光帧。
这样,电子设备可以在目标压曝率大于第一压曝率,且目标压曝率小于第二压曝率的情形下,实现目标短曝光帧的确定,使得目标短曝光帧能够适应该情形的压曝需求,提高了目标短曝光帧在该情形下的压曝效果。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备还可以在压曝率差值大于第一误差阈值的情况下,根据第二目标相对亮度,更新第一短曝光帧的相对亮度,或第二短曝光帧的相对亮度;电子设备返回执行通过二分法在第一短曝光帧的相对亮度和第二短曝光帧的相对亮度之间,确定第二目标相对亮度的操作,直至压曝率差值小于第一误差阈值。
这样,电子设备能够通过迭代计算得到满足误差条件的目标短曝光帧,以提高目标压曝率大于第一压曝率,且目标压曝率小于第二压曝率的情形下,目标短曝光帧对压曝需求的灵活适应度,从而提高目标短曝光帧的压曝效果。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一图像帧的过曝率,采集与第一图像帧对应的第一短曝光帧和第二短曝光帧,可以包括:电子设备根据第一图像帧的过曝率,在变曝光表中查找第一短曝光帧的相对亮度,以及第二短曝光帧的相对亮度;电子设备根据第一短曝光帧的相对亮度计算第一短曝光帧的曝光参数,并根据第一短曝光帧的曝光参数采集第一短曝光帧;电子设备根据第二短曝光帧的相对亮度计算第二短曝光帧的曝光参数,并根据第二短曝光帧的曝光参数采集第二短曝光帧。
其中,变曝光表包括第一图像帧的过曝率,与第一短曝光帧的相对亮度之间的对应关系,以及第一图像帧的过曝率,与第二短曝光帧的相对亮度之间的对应关系。
这样,电子设备通过查找变曝光表的方式确定第一短曝光帧的相对亮度以及第二短曝光帧的相对亮度,能够更灵活的确定第一短曝光帧和第二短曝光帧的曝光参数。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备计算第一短曝光帧相对第一图像帧的第一压曝率,以及第二短曝光帧相对第一图像帧的第二压曝率,可以包括:电子设备计算第一短曝光帧的过曝率,以及第二短曝光帧的过曝率;电子设备根据第一短曝光帧的过曝率,以及第一图像帧的过曝率,计算第一压曝率;电子设备根据第二短曝光帧的过曝率,以及第一图像帧的过曝率,计算第二压曝率。
这样,电子设备通过计算短曝光帧相对第一图像帧的压曝率,能够确定短曝光帧相对于正常曝光帧的压低曝光的程度。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备根据第一短曝光帧的过曝率,以及第一图像帧的过曝率,计算第一压曝率,可以包括:电子设备根据公式QS1=1-PS1/PN计算第一压曝率;其中,QS1为第一压曝率,PS1为第一短曝光帧的过曝率,PN为第一图像帧的过曝率;
电子设备根据第二短曝光帧的过曝率,以及第一图像帧的过曝率,计算第二压曝率,可以包括:电子设备根据公式QS2=1-PS2/PN计算第二压曝率;其中,QS2为第二压曝率,PS2为第二短曝光帧的过曝率。
第二方面,本申请实施例提供一种图像拍摄方法。在高亮度的拍摄场景下,该方法包括:响应于拍摄操作,电子设备采集第二图像帧;电子设备根据第二图像帧的欠曝率,采集与第二图像帧对应的第一长曝光帧和第二长曝光帧;电子设备计算第一长曝光帧相对第二图像帧的第一补曝率,以及第二长曝光帧相对第二图像帧的第二补曝率;其中,补曝率用于指示曝光被补偿的程度;电子设备获取至少一个目标补曝率,根据第一补曝率、第二补曝率,分别采集与每个目标补曝率对应的目标长曝光帧;电子设备将第二图像帧和目标长曝光帧进行图像融合,得到与拍摄操作对应的目标图像。
其中,目标长曝光帧的曝光时长长于第二图像帧的曝光时长。示例性的,第二图像帧可以是正常曝光帧。
这样,电子设备能够得到灵活适应多种补曝需求的、补曝效果较好的目标长曝光帧,从而使得由第二图像帧和目标长曝光帧融合得到的目标图像,在极高动态范围下仍然能够保证欠曝区的噪声以及细节表现,进而提高了目标图像的图像效果。
根据第二方面,第一长曝光帧的相对亮度小于第二长曝光帧的相对亮度;电子设备根据第一补曝率、第二补曝率,分别采集与目标补曝率对应的目标长曝光帧,可以包括:电子设备在目标补曝率小于第一补曝率的情况下,根据第一长曝光帧的相对亮度,确定第三目标相对亮度;在目标补曝率大于第二补曝率的情况下,根据第二长曝光帧的相对亮度,确定第三目标相对亮度;电子设备根据第三目标相对亮度计算第三目标曝光参数,并根据第三目标曝光参数采集与目标补曝率对应的目标长曝光帧。
这样,电子设备可以在目标补曝率小于第一补曝率,以及目标补曝率大于第二补曝率的两种情形下,实现目标长曝光帧的采集,使得目标长曝光帧能够适应上述两种情形的补曝需求,提高了目标长曝光帧在上述两种情形下的补曝效果。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备根据第一长曝光帧的相对亮度,确定第三目标相对亮度,可以包括:电子设备将第一长曝光帧的相对亮度的1/2确定为第三目标相对亮度;
电子设备根据第二长曝光帧的相对亮度,确定第三目标相对亮度,可以包括:电子设备将第二长曝光帧的相对亮度的2倍确定为第三目标相对亮度。
这样,电子设备可以在目标补曝率小于第一补曝率,以及目标补曝率大于第二补曝率的两种情形下,实现第三目标相对亮度的确定,以提高目标长曝光帧在上述两种情形下,对补曝需求的灵活适应度。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备根据第一补曝率、第二补曝率,分别采集与目标补曝率对应的目标长曝光帧,还可以包括:电子设备在目标补曝率大于第一补曝率,且小于第二补曝率的情况下,通过二分法在第一长曝光帧的相对亮度和第二长曝光帧的相对亮度之间,确定第四目标相对亮度;电子设备根据第四目标相对亮度计算第四目标曝光参数,并根据第四目标曝光参数采集第三长曝光帧;电子设备计算第三长曝光帧相对第二图像帧的第三补曝率,并计算第三补曝率和目标补曝率之间的补曝率差值;电子设备在补曝率差值小于第二误差阈值的情况下,将第三补曝光帧确定为目标长曝光帧。
这样,电子设备可以在目标补曝率大于第一补曝率,且目标补曝率小于第二补曝率的情形下,实现目标长曝光帧的确定,使得目标长曝光帧能够适应该情形的补曝需求,提高了目标长曝光帧在该情形下的补曝效果。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备还可以在补曝率差值大于第二误差阈值的情况下,根据第四目标相对亮度,更新第一长曝光帧的相对亮度,或第二长曝光帧的相对亮度;电子设备返回执行通过二分法在第一长曝光帧的相对亮度和第二长曝光帧的相对亮度之间,确定第四目标相对亮度的操作,直至补曝率差值小于第二误差阈值。
这样,电子设备能够通过迭代计算得到满足误差条件的目标长曝光帧,以提高目标补曝率大于第一补曝率,且目标补曝率小于第二补曝率的情形下,目标长曝光帧对补曝需求的灵活适应度,从而提高目标长曝光帧的补曝效果。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备根据第二图像帧的欠曝率,采集与第二图像帧对应的第一长曝光帧和第二长曝光帧,可以包括:电子设备根据第二图像帧的欠曝率,在变曝光表中查找第一长曝光帧的相对亮度,以及第二长曝光帧的相对亮度;电子设备根据第一长曝光帧的相对亮度计算第一长曝光帧的曝光参数,并根据第一长曝光帧的曝光参数采集第一长曝光帧;电子设备根据第二长曝光帧的相对亮度计算第二长曝光帧的曝光参数,并根据第二长曝光帧的曝光参数采集第二长曝光帧。
其中,变曝光表包括第二图像帧的欠曝率,与第一长曝光帧的相对亮度之间的对应关系,以及第二图像帧的欠曝率,与第二长曝光帧的相对亮度之间的对应关系。
这样,电子设备通过查找变曝光表的方式确定第一长曝光帧的相对亮度以及第二长曝光帧的相对亮度,能够更灵活的确定第一长曝光帧和第二长曝光帧的曝光参数。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备计算第一长曝光帧相对第二图像帧的第一补曝率,以及第二长曝光帧相对第二图像帧的第二补曝率,可以包括:电子设备计算第一长曝光帧的欠曝率,以及第二长曝光帧的欠曝率;电子设备根据第一长曝光帧的欠曝率,以及第二图像帧的欠曝率,计算第一补曝率;电子设备根据第二长曝光帧的欠曝率,以及第二图像帧的欠曝率,计算第二补曝率。
这样,电子设备通过计算长曝光帧相对第一图像帧的补曝率,能够确定长曝光帧相对于正常曝光帧的补偿曝光的程度。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备根据第一长曝光帧的欠曝率,以及第二图像帧的欠曝率,计算第一补曝率,可以包括:电子设备根据公式RL1=1-GL1/GN计算第一补曝率;其中,RL1为第一补曝率,GL1为第一长曝光帧的欠曝率,GN为第二图像帧的欠曝率;
电子设备根据第二长曝光帧的欠曝率,以及第二图像帧的欠曝率,计算第二补曝率,可以包括:电子设备根据公式RL2=1-GL2/GN计算第二补曝率;其中,RL2为第二补曝率,GL2为第二长曝光帧的欠曝率。
第三方面,本申请实施例提供一种电子设备。该电子设备包括:一个或多个处理器;存储器;以及一个或多个计算机程序,其中一个或多个计算机程序存储在存储器上,当计算机程序被一个或多个处理器执行时,使得电子设备执行第一方面以及第一方面中任意一项的图像拍摄方法,或者执行第二方面以及第二方面中任意一项的图像拍摄方法。
第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式,或者与第二方面以及第二方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,或者参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行第一方面以及第一方面中任意一项的图像拍摄方法,或者执行第二方面以及第二方面中任意一项的图像拍摄方法。
第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应,或者与第二方面以及第二方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,或者参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机程序,当计算机程序被运行时,使得计算机执行如第一方面或第一方面中任意一项的图像拍摄方法,或者执行第二方面或第二方面中任意一项的图像拍摄方法。
第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应,或者与第二方面以及第二方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,或者参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第六方面,本申请提供了一种芯片,该芯片包括处理电路、收发管脚。其中,该收发管脚和该处理电路通过内部连接通路互相通信,该处理电路执行如第一方面或第一方面中任意一项的图像拍摄方法,或者执行如第二方面或第二方面中任意一项的图像拍摄方法,以控制接收管脚接收信号,以控制发送管脚发送信号。
第六方面以及第六方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应,或者与第二方面以及第二方面的任意一种实现方式相对应。第六方面以及第六方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,或者参见上述第二方面以及第二方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出的电子设备的硬件结构示意图;
图2为示例性示出的电子设备的软件结构示意图;
图3为示例性示出的一种应用场景;
图4a-图4b为示例性示出的不同拍摄场景下的拍摄图像;
图5a-图5b为示例性示出的图像拍摄方法的模块交互示意图;
图6为示例性示出的一种图像拍摄方法的模块交互示意图;
图7为示例性示出的一种图像拍摄方法的流程示意图;
图8为示例性示出的一种图像拍摄方法的模块交互示意图;
图9为示例性示出的迭代过程中确定短曝光帧相对亮度的示意图;
图10为示例性示出的一种图像拍摄方法的模块交互示意图;
图11为示例性示出的一种图像拍摄方法的流程示意图;
图12为示例性示出的一种图像拍摄方法的模块交互示意图;
图13为示例性示出的迭代过程中确定长曝光帧相对亮度的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
“动态范围”是一个用于定义相机可以在多大范围内捕捉图像的影调细节的术语,通常指由最低值到最高溢出值之间的范围。简单地说,它描述的是相机在单帧内可以记录的最亮和最暗影调之间的比率。
实际上,无论拍摄场景为高亮度场景还是低亮度场景,电子设备拍摄得到的图像的动态范围都只是典型自然场景的动态范围的很小一部分。此外,电子设备中图像传感器本身也只有有限的动态范围,这是由图像传感器本身的物理特性决定的。因此,图像场景的对比度与真实场景的对比度差异较大。
若想使图像能够尽可能的还原真实场景,则需要电子设备在图像拍摄时捕捉更大的动态范围,也即高动态范围。通常情况下,当用户使用电子设备进行拍摄时,电子设备会进行多次曝光,采集曝光度不同的多个图像,并将这多个图像进行融合以得到高动态范围图像。这样,电子设备拍摄得到的图像能够尽可能的还原真实场景,降低图像场景和真实场景的对比度差异。
曝光度也即曝光值(Exposure Value,EV),曝光值是由快门速度值和光圈值组合表示摄影镜头通光能力的一个相对量数值。通常,0EV(或称EV0)对应于曝光时间为1秒而光圈为f/2.0的组合或其等效组合。可以理解为,0EV对应于基准曝光。
不同曝光度对应的多张图像,可以是正常曝光帧图像、短曝光帧图像或长曝光帧图像等。其中,正常曝光帧图像可以是电子设备基于默认的曝光参数进行曝光得到的图像,通常将正常曝光帧图像的曝光量作为基准曝光量(或称正常曝光量,对应于曝光值EV0)。短曝光帧图像和长曝光帧图像可以是通过对正常曝光帧图像进行曝光补偿之后,再次采集得到的图像。应当理解的是,相同曝光度对应的图像的数量可以是一个,也可以是多个,本申请不做限定。
对正常曝光帧图像进行曝光补偿,是指增加或减少正常曝光帧图像的曝光量。由此,短曝光帧图像可以是减少正常曝光帧图像的曝光量后,采集得到的图像。例如,短曝光帧图像对应的曝光值可以是-1EV、-2EV、-3EV等。长曝光帧图像可以是增加正常曝光帧图像的曝光量后,采集得到的图像。例如,长曝光帧图像对应的曝光值可以是+1EV、+2EV、+3EV等。示例性的,-1EV的曝光补偿意味着1/2倍曝光量,-2EV的曝光补偿意味着1/4倍曝光量,-3EV的曝光补偿意味着1/8倍曝光量,以此类推,-nEV的曝光补偿意味着1/2n倍曝光量。又示例性的,+1EV的曝光补偿意味着2倍曝光量,+2EV的曝光补偿意味着4倍曝光量,+3EV的曝光补偿意味着8倍曝光量,以此类推,+nEV的曝光补偿意味着2n倍曝光量。
可以理解的是,一张曝光正常的图像(也即正常曝光帧图像)的曝光值,通常处于中间,既不过曝也不欠曝。然而,短曝光帧图像中可能会出现过曝区域。过曝也即过度曝光,过曝会导致画面亮度过高,高光部分的内容细节丢失,无法分辨画面中的内容。在图像过曝时,需要对图像进行压曝处理。其中,压曝是指将过曝区域的曝光压下来,也即压低曝光。
相应的,长曝光帧图像中可能会出现欠曝区域。欠曝也即欠缺曝光,欠曝会导致画面亮度不足,阴影部分的内容细节同样也被丢失,无法分辨画面中的内容。在图像欠曝时,需要对图像进行补曝处理。其中,补曝是指将欠曝区域的曝光补上去,也即补偿曝光。
在本申请实施例的应用场景为低亮度拍摄场景时,电子设备在采集正常曝光帧图像之后,可以根据正常曝光帧图像的曝光参数进行试曝光,得到短曝光帧图像的曝光参数,以采集到能够灵活适应多种压曝需求的、压曝效果较好的短曝光帧图像,从而使获得的短曝光帧图像在极高动态范围下仍然能够保证过曝区的噪声以及细节表现,进而提高了高动态范围图像的图像效果。
在本申请实施例的应用场景为高亮度拍摄场景时,电子设备在采集正常曝光帧图像之后,可以根据正常曝光帧图像的曝光参数进行试曝光,得到长曝光帧图像的曝光参数,从而可以采集到能够灵活适应多种补曝需求的、补曝效果较好的长曝光帧图像,从而使获得的长曝光帧图像在极高动态范围下仍然能够保证欠曝区的噪声以及细节表现,进而提高了高动态范围图像的图像效果。
本申请实施例提供的图像拍摄方法,可以应用于电子设备。可选的,本申请实施例中的电子设备可以是具有拍照功能的手机、运动相机(GoPro)、数码相机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digitalassistant,PDA)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备等,本申请实施例对该电子设备的具体形态不作特殊限制。
如图1所示为电子设备100的结构示意图。可选地,电子设备100可以为终端,也可以称为终端设备,终端可以为蜂窝电话(cellular phone)或平板电脑(pad)等具有摄像头的设备,本申请不做限定。
应该理解的是,图1所示的电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器,陀螺仪传感器,加速度传感器,温度传感器,运动传感器,气压传感器,磁传感器,距离传感器,接近光传感器,指纹传感器,触摸传感器,环境光传感器,骨传导传感器等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理,例如使得电子设备100实现本申请实施例中的图像拍摄方法。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
压力传感器用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。
触摸传感器,也称“触控面板”。触摸传感器可以设置于显示屏194,由触摸传感器与显示屏194组成触摸屏,也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为五层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android Runtime)和系统库,硬件抽象层(hardware abstraction layer,HAL)和内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机、图库以及具有相机功能的第三方应用等。示例性的,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架,包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可包括窗口管理器,内容提供器,视图系统,资源管理器,通知管理器,相机服务(Camera Service)等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
相机服务用于响应于应用的请求,调用摄像头(包括前置摄像头和/或后置摄像头)。具体到本实施例中,相机服务可以响应于应用下发的图像拍摄请求,进而根据该图像拍摄请求进行图像采集得到图像。
Android Runtime包括核心库和虚拟机。Android Runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
HAL层为位于操作系统内核与硬件电路之间的接口层。HAL层包括但不限于:相机HAL模块,音频HAL模块。其中,相机HAL模块用于对图像流进行处理,音频HAL模块用于对音频流进行处理(例如,对音频流进行降噪、定向增强等处理)。
在本申请实施例中,相机HAL模块还可以包括参数计算模块、图像试曝模块和图像融合模块。参数计算模块用于统计图像中的像素数量,以计算图像的过曝率和压曝率等。图像试曝模块用于确定短曝光帧图像(或长曝光帧图像)的相对亮度。图像融合模块用于将正常曝光帧图像和短曝光帧图像(或长曝光帧图像)进行图像融合。可以理解的是,在进行图像融合时,短曝光帧图像(或长曝光帧图像)的数量可以是一个,也可以是多个,本申请不做限定。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,音频驱动,图像传感器驱动模块,图像信号处理模块等。硬件至少包括处理器、显示屏、摄像头、ISP等。其中,图像信号处理模块用于根据相机HAL模块的指令处理图像预览请求和拍照请求,以使图像传感器驱动模块根据相应的请求采集图像。图像信号处理模块还可以用于对摄像头采集的原始图像进行处理,例如图像去噪、图像优化等。
可以理解的是,图2示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
可以理解的是,电子设备为了实现本申请实施例中的图像拍摄方法,其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
下面介绍本申请实施例提供的一种拍照的场景。拍照场景是手机等电子设备常见的应用场景之一。随着用户对手机拍照的体验要求越来越高,手机的拍照功能也越来越完善。在本场景中,以电子设备为手机为例进行解释说明。
可以理解的,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(Graphic UserInterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
图3中的(1)示例性示出了手机上的用于展示应用程序的示例性用户界面200。用户界面200显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,时钟应用图标、日历应用图标、图库应用图标220、备忘录应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如,相机应用图标210、联系人应用图标、电话应用图标、信息应用图标)。托盘图标在页面切换时保持显示。本申请实施例对用户界面200上显示的内容不作限定。
可以理解的,手机可以检测到用户作用于相机应用图标210的用户操作(比如触摸/点击操作),响应于该操作,手机可以显示图3中的(2)所示的拍摄界面300。拍摄界面300可以是相机应用程序的默认拍照模式的用户界面,用户可以在该界面上完成拍照。进而,拍照得到的图像可以存储在图库应用程序中(用户触摸或点击图库应用图标220即可查看拍照得到的图像)。相机应用程序是智能手机、平板电脑等电子设备上的一款图像拍摄的应用程序,本申请对该应用程序的名称不做限制。图库应用程序是智能手机、平板电脑等电子设备上的一款图像存储的应用程序,本申请对该应用程序的名称不做限制。也就是说,用户可以通过点击相机应用图标210来打开相机应用程序的拍摄界面300。可以理解的,默认拍照模式下的默认摄像头不限于为后置摄像头,手机也可以将前置摄像头设置为默认摄像头。
图3中的(2)示例性示出了手机中相机应用程序的一个用户界面300。如图3中的(2)所示,拍摄界面300可包括相机模式选项区域310、图库快捷控件320、快门控件330。其中,相机模式选项310中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:光圈模式选项、夜景模式选项、人像模式选项、拍照模式选项、录像模式选项、专业选项模式和更多选项。可以理解的,这一个或多个拍摄模式选项在界面上可以表现为文字信息,例如“光圈”、“夜景”、“人像”、“拍照”、“录像”、“专业”、“更多”,还可以表现为图标或者其他形式的交互元素(interactive element,IE),本申请对此不作限制。
当检测到作用于拍摄模式选项上的用户操作,手机可以开启用户选择的拍摄模式。特别的,当检测到作用于更多选项的用户操作,手机可以进一步显示更多的其他拍摄模式选项,如延时摄影模式选项、连拍模式选项等等,可以向用户展示更丰富的摄像功能。可以理解的,相机模式选项310中还可以包含更多或更少的拍摄模式选项,图3中的(2)所示的相机模式选项仅为本申请的一种实现方式,不应视为对本申请的限制。
图库快捷控件320可用于开启图库应用程序。响应于作用在图库快捷控件320上的用户操作,例如触摸操作,手机可以开启图库应用程序。
快门控件330可用于监听触发拍照的用户操作。手机可以检测到作用于快门控件330的用户操作,响应于该操作,手机获取到相应的拍照图像帧,并合成最终输出的图像保存为图库应用程序中的图片。另外,手机还可以在图库快捷控件320中显示所保存的图像的缩略图。也就是说,用户可以通过作用于快门控件330的操作来触发拍照。可以理解的,快门控件330可以是按钮或者其他形式的控件,本申请对此不作限制。
拍摄界面300中还可以包含更多或更少的控件,本申请实施例对此不作限定。
继续参照图3中的(2),用户点击快门控件330,响应于用户操作,相机应用向内核层(kernel)下发拍照请求后,内核层(kernel)收到拍照请求后将图像传感器后续输出的连续多帧图像数据上报至相机HAL模块,相机HAL模块会回调(callback)一张拍照帧和缩略图给相机应用,相机应用可以根据收到拍照帧或缩略图确认此次拍照完成,然后恢复快门控件330为使能状态,用户才能够进行下一次拍照。
下述通过一个具体示例,对手机如何得到高动态范围图像进行解释说明。
图4a和图4b示例性的示出了不同拍摄场景下的拍摄图像(或称照片)。其中,拍摄图像以灰度图的形式示出。如图4a所示,在低亮度的拍摄场景下,电子设备将正常曝光帧图像401和短曝光帧图像402进行图像融合,得到高动态范围图像403。其中,短曝光帧图像402的数量可以是一个,也可以是多个,本申请不做限定。如图4b所示,在高亮度的拍摄场景下,电子设备将正常曝光帧图像401和长曝光帧图像404进行图像融合,得到高动态范围图像405。其中,长曝光帧图像404的数量可以是一个,也可以是多个,本申请不做限定。
下述以现有技术中,在低亮度的拍摄场景下,电子设备将正常曝光帧图像401和短曝光帧图像402进行图像融合,得到高动态范围图像403的具体处理流程为例进行解释说明。若在高亮度的拍摄场景下,电子设备将正常曝光帧图像401和长曝光帧图像404进行图像融合,得到高动态范围图像405的具体处理流程亦是如此,不再赘述。
图5a示例性的示出了已有的低亮度拍摄场景下图像拍摄方法的各模块的交互示意图。如图5a所示,现有技术中的图像拍摄方法的流程,具体可以包括:
S511、ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像。
可以理解的,用户点击拍照控件之后,相机应用响应于用户的点击操作,并向相机服务发送图像拍摄请求。其中,图像拍摄请求,用于请求拍摄图像。相机服务在接收到图像拍摄请求之后,根据图像拍摄请求得到拍摄图像帧采集请求,并将拍摄图像帧采集请求,经过相机HAL模块发送至ISP模块,最终由ISP模块,将拍摄图像帧采集请求发送至相机驱动模块。相机驱动模块根据拍摄图像帧采集请求,驱动摄像头采集正常曝光帧图像数据,从而通过相机驱动模块,将正常曝光帧图像数据发送至ISP模块。进而,ISP模块可以根据正常曝光帧图像数据,生成正常曝光帧图像。
S512、ISP模块根据短曝光帧图像的相对亮度和正常曝光帧图像的曝光参数,计算短曝光帧图像的曝光参数。
在ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像之后,可以进一步通过相机HAL模块,确定短曝光帧图像的相对亮度,并将短曝光帧图像的相对亮度发送至ISP模块。其中,短曝光帧图像的相对亮度EV,可以是预先设定的固定EV,例如可以是EV-2、EV-4或EV-6等。可以理解的,正常曝光帧图像的相对亮度EV可以是基准值(或称EV0)。也即,短曝光帧图像的相对亮度,可以是短曝光帧图像相对于正常曝光帧图像的亮度。
其中,曝光参数可以包括曝光时间和ISO(International Organization forStandardization,感光度)。
示例性的,ISP模块可以通过传统的AE(Auto Exposure,自动曝光)方法,根据短曝光帧图像的相对亮度和正常曝光帧图像的曝光参数,计算短曝光帧图像的曝光参数。需要说明的是,关于通过传统的AE方法计算曝光参数的相关处理流程,可以参见已有技术,在此不再赘述。
S513、ISP模块根据短曝光帧图像数据,生成短曝光帧图像。
具体的,ISP模块在计算短曝光帧图像的曝光参数之后,向相机驱动模块发送拍摄短曝光帧采集请求,由相机驱动模块驱动摄像头采集短曝光帧图像数据。进而,可以通过相机驱动模块将短曝光帧图像数据发送至ISP模块,由ISP模块根据短曝光帧图像数据,生成短曝光帧图像。可以理解的,拍摄短曝光帧采集请求中可以包括短曝光帧图像的曝光参数。
S514、相机HAL模块将正常曝光帧图像和短曝光帧图像进行图像融合,得到高动态范围图像。
在ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像之后,可以进一步将正常曝光帧图像发送至相机HAL模块。相应的,在ISP模块根据短曝光帧图像数据,生成短曝光帧图像之后,可以进一步将短曝光帧图像发送至相机HAL模块。
由此,相机HAL模块可以将正常曝光帧图像和短曝光帧图像进行图像融合,得到高动态范围图像。示例性的,图像融合可以是高动态融合。需要说明的是,关于图像融合的相关处理流程,可以参见已有技术,在此不再赘述。
S515、相机HAL模块,经相机服务将高动态范围图像发送至相机应用。
相机HAL模块将正常曝光帧图像和短曝光帧图像进行图像融合,得到高动态范围图像之后,可以将高动态范围图像,经相机服务发送至相机应用中。进而,即可将高动态范围图像存储在图3中的(1)示出的图库应用程序220中。
图5b示例性的示出了已有的低亮度拍摄场景下另一图像拍摄方法的各模块的交互示意图。如图5b所示,现有技术中的图像拍摄方法的流程,具体可以包括:
S521、ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像。
S522、相机HAL模块根据正常曝光帧图像的过曝率,在变曝光表中查找短曝光帧图像的相对亮度。
其中,过曝率PN可以根据正常曝光帧图像中像素值大于过曝阈值的像素数量Noverexpo,以及正常曝光帧图像中的像素总数量N计算得到的,具体可以根据下述公式确定:PN=Noverexpo/N。过曝阈值可以是预先设定的经验值,也可以是计算得到的预估值等,本实施例对此不做限定。
其中,变曝光表可以是与短曝光帧图像对应的表,表中可以包括过曝率与短曝光帧图像的相对亮度的对应关系。
在ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像之后,可以通过ISP模块将正常曝光帧图像发送至相机HAL模块。进一步,相机HAL模块可以计算正常曝光帧图像的过曝率PN,并根据过曝率PN查询变曝光表,从而将变曝光表中过曝率PN对应的相对亮度,确定为短曝光帧图像的相对亮度。
S523、ISP模块根据短曝光帧图像的相对亮度和正常曝光帧图像的曝光参数,计算短曝光帧图像的曝光参数。
通过相机HAL模块,将短曝光帧图像的相对亮度发送至ISP模块之后,通过ISP模块根据短曝光帧图像的相对亮度和正常曝光帧图像的曝光参数,计算短曝光帧图像的曝光参数。
S524、ISP模块根据短曝光帧图像数据,生成短曝光帧图像。
S525、相机HAL模块将正常曝光帧图像和短曝光帧图像进行图像融合,得到高动态范围图像。
S526、相机HAL模块,经相机服务将高动态范围图像发送至相机应用。
需要说明的是,图5b中未描述的部分与图5a中的描述相同或相似,此处不再赘述。
在极高动态范围场景下,通过图5a中的步骤S512-S513,或者图5b中的步骤S522-S524得到的短曝光帧图像(如图4a中的图像402)的EV值较低、亮度较暗。然而,短曝光帧图像的EV值较低、亮度较暗时,噪声会较大,该短曝光帧图像需要和正常曝光帧图像进行图像融合以得到的高动态范围图像(如图4a中的图像403),可能会使得高动态范围图像的部分区域(如动态范围不是很高的区域)存在高噪声(如图4a中的区域410所示)或涂抹现象(如图4a中的区域420所示)。此外,在小面积过曝但高动态场景下,通过图5a中的步骤S512-S513得到的短曝光帧图像(如图4a中的图像402)的EV值较高,导致由该短曝光帧图像和正常曝光帧图像进行图像融合所得到的高动态范围图像(如图4a中的图像403)的压曝效果差,如图4a中的区域430所示。
因此,电子设备在低亮场景下拍摄时,短曝光帧图像的图像质量不佳,可能会导致由短曝光帧图像和正常曝光帧图像进行图像融合得到的高动态范围图像存在高噪声、涂抹现象或压曝效果差的问题,从而使得高动态范围图像的图像效果较差,影响用户使用体验。
为了解决上述技术问题,本申请实施例提供了一种图像拍摄方法。在该方法中,当电子设备在低亮度场景下进行拍摄时,电子设备在采集正常曝光帧图像之后,可以根据正常曝光帧图像的曝光情形进行试曝光,以采集得到能够灵活适应多种压曝需求的、压曝效果较好的短曝光帧图像,从而通过该短曝光帧图像和正常曝光帧图像进行图像融合得到的高动态范围图像,在极高动态范围下仍然能够保证过曝区的噪声以及细节表现,进而提高了高动态范围图像的图像效果。
相应的,在该方法中,当电子设备在高亮度场景下拍摄时,电子设备在采集正常曝光帧图像之后,可以根据正常曝光帧图像的曝光情形进行试曝光,以采集得到能够灵活适应多种补曝需求的、补曝效果较好的长曝光帧图像,从而通过该长曝光帧图像和正常曝光帧图像进行图像融合得到的高动态范围图像,在极高动态范围下仍然能够保证欠曝区的噪声以及细节表现,进而提高了高动态范围图像的图像效果。
下述以拍摄场景为低亮度场景为例进行具体说明。如图6所示为各模块的交互示意图。参照图6,本申请实施例提供的低亮度场景下图像拍摄方法的流程,具体包括:
S601、响应于用户点击拍照控件的操作,相机应用向相机服务发送图像拍摄请求。
S602、相机服务接收到图像拍摄请求之后,经相机HAL模块中的参数计算模块,将拍摄图像帧采集请求发送至ISP模块。
相机服务接收到图像拍摄请求,执行与该图像拍摄请求对应的相关处理,例如创建相应的服务实例等,并向相机HAL模块中的参数计算模块发送与该图像拍摄请求对应的拍摄图像帧采集请求。关于相机服务的相关处理流程,可以参见已有技术,在此不再赘述。
S603、ISP模块将拍摄图像帧采集请求,发送至相机驱动模块,并通过相机驱动模块驱动摄像头,采集正常曝光帧图像数据,再由相机驱动模块将正常曝光帧图像数据发送至ISP模块。
S604、ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像N,并将正常曝光帧图像N,发送至相机HAL模块中的参数计算模块和图像融合模块。
示例性的,ISP模块对正常曝光帧图像数据的处理流程可以包括但不限于对图像噪点、图像亮度、图像色温、场景曝光等进行优化处理。关于ISP模块的处理流程可以参见已有技术,在此不再赘述。
可以理解的,ISP模块将正常曝光帧图像N发送至相机HAL模块中的图像融合模块,以执行步骤S617中的高动态融合。
S605、相机HAL模块中的参数计算模块,计算正常曝光帧图像N的过曝率PN,并将正常曝光帧图像N的过曝率PN,发送至相机HAL模块中的图像试曝模块。
S606、相机HAL模块中的图像试曝模块,根据正常曝光帧图像N的过曝率PN,查找短曝光帧图像S的相对亮度EVS,并将短曝光帧图像S的相对亮度EVS,发送至ISP模块。
示例性的,根据正常曝光帧图像N的过曝率PN,在短曝光帧图像S的变曝光表中,查找与正常曝光帧图像N的过曝率PN对应的相对亮度,并将该相对亮度确定为短曝光帧图像S的相对亮度EVS。可以理解的,短曝光帧图像S的变曝光表中,可以存储与过曝率对应的短曝光帧图像S的相对亮度。
S607、相机HAL模块中的图像试曝模块,根据正常曝光帧图像N的过曝率PN,查找超短曝光帧图像ES的相对亮度EVES,并将超短曝光帧图像ES的相对亮度EVES,发送至ISP模块。
示例性的,根据正常曝光帧图像N的过曝率PN,在超短曝光帧图像ES的变曝光表中,查找与正常曝光帧图像N的过曝率PN对应的相对亮度,并将该相对亮度确定为超短曝光帧图像ES的相对亮度EVES。可以理解的,超短曝光帧图像ES的变曝光表中,可以存储与过曝率对应的超短曝光帧图像ES的相对亮度。
需要说明的是,短曝光帧图像S的变曝光表,与超短曝光帧图像ES的变曝光表,并不相同。也即,相同的过曝率在不同的变曝光表中,对应的相对亮度不同。
本实施例对步骤S606和步骤S607的执行顺序不做限定。
S608、ISP模块根据短曝光帧图像S的相对亮度EVS、以及正常曝光帧图像N的曝光参数,计算短曝光帧图像S的曝光参数,并通过相机驱动模块驱动采集短曝光帧S图像数据。
S609、相机驱动模块向ISP模块发送短曝光帧S图像数据,ISP模块根据短曝光帧S图像数据,生成短曝光帧图像S,并将短曝光帧图像S,发送至相机HAL模块中的参数计算模块。
S610、相机HAL模块中的参数计算模块,计算短曝光帧图像S的压曝率QS,并将短曝光帧图像S的压曝率QS,发送至相机HAL模块中的图像试曝模块。
一个短曝光帧的压曝率是指,该短曝光帧相对于正常曝光帧的压低曝光的程度。其中,短曝光帧图像S的压曝率可以是短曝光帧图像S相对于正常曝光帧图像N的压低曝光的程度。
一个短曝光帧的压曝率越高,该短曝光帧的压曝效果越好;一个短曝光帧的压曝率越低,该短曝光帧的压曝效果越差。可以理解的,短曝光帧图像S中的过曝区域小于正常曝光帧图像N中的过曝区域,说明短曝光帧图像S相对于正常曝光帧图像N的压曝效果较好,则短曝光帧图像S的压曝率较高。同理,短曝光帧图像S中的过曝区域大于正常曝光帧图像N中的过曝区域,说明短曝光帧图像S相对于正常曝光帧图像N的压曝效果较差,则短曝光帧图像S的压曝率较低。
在相机HAL模块中的参数计算模块接收到短曝光帧图像S之后,可以进一步确定短曝光帧图像S中像素值大于过曝阈值的像素数量Soverexpo,以及短曝光帧图像S中的像素总数量S,并计算短曝光帧图像S的过曝率PS=Soverexpo/S。
进而,参数计算模块可以根据短曝光帧图像S的过曝率PS,以及正常曝光帧图像N的过曝率PN计算短曝光帧图像S压曝率QS。
在本申请实施例中,QS=1-PS/PN。
示例性的,当短曝光帧图像S的压曝率QS=100%时,说明短曝光帧图像S中不存在过曝区域,也即短曝光帧图像S的过曝率PS=0。
S611、ISP模块根据超短曝光帧图像ES的相对亮度EVES、以及正常曝光帧图像N的曝光参数,计算超短曝光帧图像ES的曝光参数,并通过相机驱动模块驱动采集超短曝光帧ES图像数据。
S612、相机驱动模块向ISP模块发送超短曝光帧ES图像数据,ISP模块根据超短曝光帧ES图像数据,生成超短曝光帧图像ES,并将超短曝光帧图像ES,发送至相机HAL模块中的参数计算模块。
S613、相机HAL模块中的参数计算模块,计算超短曝光帧图像ES的压曝率QES,并将超短曝光帧图像ES的压曝率QES,发送至相机HAL模块中的图像试曝模块。
在相机HAL模块中的参数计算模块接收到超短曝光帧图像ES之后,可以进一步确定超短曝光帧图像ES中像素值大于过曝阈值的像素数量ESoverexpo,以及超短曝光帧图像ES中的像素总数量ES,并计算超短曝光帧图像ES的过曝率PES=ESoverexpo/ES。
进而,参数计算模块可以根据超短曝光帧图像ES的过曝率PES,以及正常曝光帧图像N的过曝率PN计算超短曝光帧图像S压曝率QES。
在本申请实施例中,QES=1-PES/PN。
本实施例对步骤S608-S610和步骤S611-S613的执行顺序不做限定。
S614、相机HAL模块中的图像试曝模块,在短曝光帧图像S的压曝率QS大于目标压曝率QT,或超短曝光帧图像ES的压曝率QES小于目标压曝率QT时,根据短曝光帧图像S的相对亮度或超短曝光帧图像ES的相对亮度,确定短曝光帧图像S’的相对亮度EVS’,并将短曝光帧图像S’的相对亮度EVS’发送至ISP模块。
在本申请实施例中,在短曝光帧图像S的压曝率QS大于目标压曝率QT时,可以根据短曝光帧图像S的相对亮度确定短曝光帧图像S’的相对亮度EVS’。在超短曝光帧图像ES的压曝率QES小于目标压曝率QT时,可以根据超短曝光帧图像ES的相对亮度确定短曝光帧图像S’的相对亮度EVS’。
通过相机HAL模块中的图像试曝模块,可以预先确定目标压曝率QT。其中,目标压曝率QT可以是预先设定的经验值,也可以是计算得到的预估值等,本实施例对此不做限定。示例性的,QT可以是0.25、0.5、0.75或1等。可以理解的,目标压曝率QT的数量可以是一个,也可以是多个,本申请不做限定。
在目标压曝率QT的数量为多个时,图像试曝模块可以根据短曝光帧图像S的压曝率QS、超短曝光帧图像ES的压曝率QES以及每个目标压曝率QT,分别确定与每个目标压曝率QT对应的短曝光帧图像S’的相对亮度EVS’。也即,在目标压曝率QT的数量为多个时,图像试曝模块可以确定多个短曝光帧图像S’的相对亮度EVS’,并将多个短曝光帧图像S’的相对亮度EVS’发送至ISP模块。也即,短曝光帧图像S’的相对亮度EVS’的数量,与目标压曝率QT的数量一致。
图7示例性的示出的一种图像拍摄方法的流程示意图,如图7所示,在手机响应于用户作用于快门控件330的用户操作时,手机通过摄像头采集正常曝光帧图像N,并通过调整正常曝光帧图像N的曝光参数,得到短曝光帧图像S和超短曝光帧图像ES。
在本实施例中,通过调整正常曝光帧图像N的曝光参数,得到短曝光帧图像S,可以是通过查变曝光表的方式调整正常曝光帧图像N的曝光参数。也即,根据正常曝光帧图像N的过曝率,查询变曝光表,得到短曝光帧图像S的相对亮度,并计算得到短曝光帧图像S的曝光参数,从而通过摄像头根据短曝光帧图像S的曝光参数,采集与当前场景对应的短曝光帧图像S。
在一种可选的实施方式中,通过调整正常曝光帧图像N的曝光参数,得到短曝光帧图像S,还可以是通过固定EV的方式调整正常曝光帧图像N的曝光参数。也即,根据预先确定的短曝光帧图像S的固定EV(也即相对于正常曝光帧图像N的亮度)、以及正常曝光帧图像N的相对亮度和曝光参数,计算得到短曝光帧图像S的曝光参数,从而通过摄像头根据短曝光帧图像S的曝光参数,采集与当前场景对应的短曝光帧图像S。
相应的,通过调整正常曝光帧图像N的曝光参数,得到超短曝光帧图像ES的具体处理流程,与通过调整正常曝光帧图像N的曝光参数,得到短曝光帧图像S的处理流程相同或相似,在此不再赘述。
在另一种可选的实施方式中,在手机通过摄像头采集正常曝光帧图像N之后,可以首先通过查变曝光表的方式调整正常曝光帧图像N的曝光参数,得到第一数量的短曝光帧图像1。再通过固定EV的方式调整正常曝光帧图像N的曝光参数,得到第二数量的短曝光帧图像2。其中,短曝光帧图像1可以是不同亮度对应的多个短曝光帧图像。相应的,短曝光帧图像2也可以是不同亮度对应的多个短曝光帧图像。可以理解的,任意一个短曝光帧图像1的亮度,和任意一个短曝光帧图像2的亮度均不相同。
继续参照图7,在得到短曝光帧图像S和超短曝光帧图像ES之后,分别计算短曝光帧图像S的压曝率QS和超短曝光帧图像ES的压曝率QES。进而,将QS、QES和目标压曝率QT进行数值大小比较。其中,计算短曝光帧图像S的压曝率QS和超短曝光帧图像ES的压曝率QES的具体处理流程可以参见前述,在此不再赘述。
在目标压曝率QT小于短曝光帧图像S的压曝率QS时,可以将短曝光帧图像S的相对亮度的一半,确定为短曝光帧图像S’的相对亮度,也即EVS’=EVS/2。
在目标压曝率QT大于超短曝光帧图像ES的压曝率QES时,可以将超短曝光帧图像ES的相对亮度的2倍,确定为短曝光帧图像S’的相对亮度,也即EVS’=2EVES。
继续参照图7,在目标压曝率QT小于短曝光帧图像S的压曝率QS,或目标压曝率QT大于超短曝光帧图像ES的压曝率QES时,确定短曝光帧图像S’的相对亮度之后,可以进一步计算短曝光帧图像S’的曝光参数,以根据曝光参数曝光得到短曝光帧图像S’,从而将短曝光帧图像S’和正常曝光帧图像N进行高动态融合,得到高动态范围图像。
需要指出的是,图7仅示例性的示出了一个目标压曝率的应用场景。若在多个目标压曝率的应用场景下,则可以针对每个目标压曝率,分别执行操作“将QS、QES和目标压曝率QT进行数值大小比较”,从而可以曝光得到多个短曝光帧图像S’,进而将多个短曝光帧图像S’和正常曝光帧图像N进行高动态融合,得到一个高动态范围图像。“将QS、QES和目标压曝率QT进行数值大小比较”的处理流程以及后续处理流程,与上述流程相同,在此不再赘述。
S615、ISP模块根据短曝光帧图像S’的相对亮度EVS’,计算短曝光帧图像S’的曝光参数,并通过相机驱动模块驱动采集短曝光帧S’图像数据。
S616、相机驱动模块向ISP模块发送短曝光帧图像S’图像数据后,ISP模块根据短曝光帧图像S’图像数据,生成短曝光帧图像S’。
可以理解的,如果步骤S614将多个短曝光帧图像S’的相对亮度EVS’发送至ISP模块,则ISP模块可以生成多个短曝光帧图像S’。
S617、ISP模块将短曝光帧图像S’,发送至相机HAL模块中的图像融合模块,图像融合模块将正常曝光帧图像N和短曝光帧图像S’进行高动态融合,得到高动态范围图像。
可以理解的,ISP模块可以将多个短曝光帧图像S’,发送至相机HAL模块中的图像融合模块,图像融合模块将正常曝光帧图像N,和多个短曝光帧图像S’进行高动态融合,得到一个高动态范围图像。
S618、相机HAL模块中的图像融合模块,经相机服务将高动态范围图像,发送至相机应用。
在上述流程中,ISP模块计算图像的曝光参数的流程,可以参照已有技术,在此不再赘述。
需要指出是,在上述实施例中以相机应用为例进行解释说明的,其它具有相机功能的第三方应用亦是如此,在此不再赘述。
上述解释了短曝光帧图像S的压曝率QS大于目标压曝率QT,以及超短曝光帧图像ES的压曝率QES小于目标压曝率QT的两种情形,下面针对目标压曝率QT大于短曝光帧图像S的压曝率QS,且目标压曝率QT小于超短曝光帧图像ES的压曝率QES的情形进行解释说明。
图8示例性的示出的目标压曝率QT大于短曝光帧图像S的压曝率QS,且目标压曝率QT小于超短曝光帧图像ES的压曝率QES的情形下各模块的交互示意图,如图8所示,步骤S801-S813与步骤S601-S613相同,在此不再赘述。
S814、相机HAL模块中的图像试曝模块,在目标压曝率QT大于短曝光帧图像S的压曝率QS,且目标压曝率QT小于超短曝光帧图像ES的压曝率QES时,根据短曝光帧图像S的相对亮度EVS,以及超短曝光帧图像ES的相对亮度EVES,确定短曝光帧图像S’的相对亮度EVS’,并将短曝光帧图像S’的相对亮度EVS’发送至ISP模块。
短曝光帧图像S’的相对亮度EVS’可以是,短曝光帧图像S的相对亮度EVS到超短曝光帧图像ES的相对亮度EVES之间的一个相对亮度。在本实施例中,图像试曝模块可以基于二分法根据短曝光帧图像S的相对亮度EVS,以及超短曝光帧图像ES的相对亮度EVES,确定短曝光帧图像S’的相对亮度EVS’。
继续参照图7,在将QS、QES和目标压曝率QT进行数值大小比较之后,在目标压曝率QT大于短曝光帧图像S的压曝率QS,且目标压曝率QT小于超短曝光帧图像ES的压曝率QES时,可以基于二分法进行试曝处理得到短曝光帧图像S’,以将短曝光帧图像S’和正常曝光帧图像N进行高动态融合,得到高动态范围图像。
图9示例性的示出的确定短曝光帧图像的相对亮度的示意图,如图9所示,在第一次迭代(也即第一次确定短曝光帧图像S’的相对亮度EVS’)时,短曝光帧图像S’的相对亮度EVS’为短曝光帧图像S的相对亮度EVS,和超短曝光帧图像ES的相对亮度EVES的中间值,也即EVS’=(EVES+EVS)/2。
在第一次迭代结束之后,根据第一次迭代得到的短曝光帧图像S’的相对亮度EVS’,更新短曝光帧图像S的相对亮度EVS。
则在第二次迭代(也即第二次确定短曝光帧图像S’的相对亮度EVS’)时,短曝光帧图像S的相对亮度EVS更新为第一次迭代得到的短曝光帧图像S’的相对亮度EVS’。也即在第二次迭代时,短曝光帧图像S’的相对亮度EVS’为,第一次迭代得到的短曝光帧图像S’的相对亮度EVS’,和超短曝光帧图像ES的相对亮度EVES的中间值。
在第二次迭代结束之后,根据第二次迭代得到的短曝光帧图像S’的相对亮度EVS’,更新短曝光帧图像S的相对亮度EVS。
则在第三次迭代(也即第三次确定短曝光帧图像S’的相对亮度EVS’)时,短曝光帧图像S的相对亮度EVS更新为第二次迭代得到的短曝光帧图像S’的相对亮度EVS’。也即在第三次迭代时,短曝光帧图像S’的相对亮度EVS’为,第二次迭代得到的短曝光帧图像S’的相对亮度EVS’,和超短曝光帧图像ES的相对亮度EVES的中间值。
在一种可选的实施方式中,在第一次迭代结束之后,也可以根据第一次迭代得到的短曝光帧图像S’的相对亮度EVS’,更新超短曝光帧图像ES的相对亮度EVES。则在第二次迭代时,超短曝光帧图像ES的相对亮度EVES更新为第一次迭代得到的短曝光帧图像S’的相对亮度EVS’。也即在第二次迭代时,短曝光帧图像S’的相对亮度EVS’为,短曝光帧图像S的相对亮度EVS,和第一次迭代得到的短曝光帧图像S’的相对亮度EVS’的中间值。
在另一种可选的实施方式中,在第二次迭代结束之后,也可以根据第二次迭代得到的短曝光帧图像S’的相对亮度EVS’,更新超短曝光帧图像ES的相对亮度EVES。则在第三次迭代时,超短曝光帧图像ES的相对亮度EVES更新为第二次迭代得到的短曝光帧图像S’的相对亮度EVS’。也即在第三次迭代时,短曝光帧图像S’的相对亮度EVS’为,短曝光帧图像S的相对亮度EVS,和第二次迭代得到的短曝光帧图像S’的相对亮度EVS’的中间值。
在一种可选的实施方式中,图像试曝模块还可以根据短曝光帧图像S的相对亮度EVS,以及超短曝光帧图像ES的相对亮度EVES,通过顺序查找法迭代确定短曝光帧图像S’的相对亮度EVS’。也即,将EVS和EVES之间的相对亮度按顺序,确定为短曝光帧图像S’的相对亮度EVS’。
可以理解的,图像试曝模块还可以通过其他查找方法迭代确定短曝光帧图像S’的相对亮度,本实施例对此不做限定。
S815、ISP模块根据短曝光帧图像S’的相对亮度EVS’,计算短曝光帧图像S’的曝光参数,并将短曝光帧图像S’采集请求发送至相机驱动模块。
S816、相机驱动模块驱动摄像头采集短曝光帧S’图像数据,并发送至ISP模块,ISP模块根据短曝光帧S’图像数据,生成短曝光帧图像S’。
S817、ISP模块将短曝光帧图像S’发送至相机HAL模块的参数计算模块,参数计算模块计算短曝光帧图像S’的压曝率QS’。
参数计算模块在接收到短曝光帧图像S’之后,可以进一步确定短曝光帧图像S’中像素值大于过曝阈值的像素数量S’overexpo,以及短曝光帧图像S’中的像素总数量S’,并计算短曝光帧图像S’的过曝率PS’=S’overexpo/S’。
进而,参数计算模块可以根据短曝光帧图像S’的过曝率PS’,以及正常曝光帧图像N的过曝率PN计算短曝光帧图像S’压曝率QS’。
在本申请实施例中,QS’=1-PS’/PN。
S818、相机HAL模块的参数计算模块,计算短曝光帧图像S’的压曝率QS’与目标压曝率QT的差值,并判断该差值是否小于压曝率误差阈值;若否,执行S819;若是,参数计算模块将短曝光帧图像S’发送至图像融合模块,并执行S820。
其中,压曝率误差阈值可以是预先设定的压曝率之间的误差阈值,例如可以是预先设定的经验值,也可以是计算得到的预估值等,本实施例对此不做限定。示例性的,压曝率误差阈值可以是5%。
在本实施例中,当短曝光帧图像S’的压曝率QS’与目标压曝率QT的差值,大于压曝率误差阈值时,也即|QS’-QT|>Δ1,其中Δ1为压曝率误差阈值时,说明短曝光帧图像S’的压曝率不满足压曝需求,则需要进行迭代计算,再次确定短曝光帧图像S’的相对亮度EVS’。直至短曝光帧图像S’的压曝率QS’与目标压曝率QT的差值,小于压曝率误差阈值时,也即|QS’-QT|<Δ1时,将短曝光帧图像S’发送至图像融合模块。
S819、图像试曝模块根据短曝光帧图像S’的相对亮度,更新短曝光帧图像S的相对亮度EVS或超短曝光帧图像ES的相对亮度EVES,并返回执行S814、图像试曝模块根据短曝光帧图像S的相对亮度EVS,以及超短曝光帧图像ES的相对亮度EVES,确定短曝光帧图像S’的相对亮度EVS’的操作。
当短曝光帧图像S’的压曝率QS’与目标压曝率QT的差值,大于压曝率误差阈值时,可以根据短曝光帧图像S’的相对亮度更新短曝光帧图像S的相对亮度EVS,以使图像试曝模块在执行S814时,能够根据更新后的短曝光帧图像S的相对亮度EVS以及超短曝光帧图像ES的相对亮度EVES,确定短曝光帧图像S’的相对亮度EVS’。
或者,还可以根据短曝光帧图像S’的相对亮度更新超短曝光帧图像ES的相对亮度EVES,以使图像试曝模块在执行S814时,能够根据短曝光帧图像S的相对亮度EVS以及更新后的超短曝光帧图像ES的相对亮度EVES,确定短曝光帧图像S’的相对亮度EVS’。
也即,在一次迭代过程结束后,可以根据短曝光帧图像S’的相对亮度更新短曝光帧图像S的相对亮度EVS,也可以根据短曝光帧图像S’的相对亮度更新超短曝光帧图像ES的相对亮度EVES,本申请不做限定。
S820、图像融合模块将短曝光帧图像S’和正常曝光帧图像N进行图像融合,得到高动态范围图像。
在一种可选的实施方式中,在参数计算模块计算得到短曝光帧图像S’的压曝率QS’之后,也可以确定预先设定的当前迭代次数,并判断当前迭代次数是否满足最大迭代次数。在当前迭代次数未满足最大迭代次数时,根据当前迭代得到的短曝光帧图像S’的相对亮度,更新短曝光帧图像S的相对亮度EVS或超短曝光帧图像ES的相对亮度EVES,并返回执行步骤S814再次进行迭代,直至当前迭代次数满足最大迭代次数时停止迭代。在当前迭代次数满足最大迭代次数时,停止迭代,参数计算模块将最后一次迭代得到的短曝光帧图像S’发送至图像融合模块,以通过图像融合模块将最后一次迭代得到的短曝光帧图像S’和正常曝光帧图像N进行高动态融合得到高动态范围图像。
S821、相机HAL模块中的图像融合模块,经相机服务将高动态范围图像,发送至相机应用。
下述以拍摄场景为高亮度场景为例进行具体说明。如图10所示为各模块的交互示意图。参照图10,本申请实施例提供的高亮度场景下图像拍摄方法的流程,具体包括:
S1001、响应于用户点击拍照控件的操作,相机应用向相机服务发送图像拍摄请求。
S1002、相机服务接收到图像拍摄请求之后,经相机HAL模块中的参数计算模块,将拍摄图像帧采集请求发送至ISP模块。
S1003、ISP模块将拍摄图像帧采集请求,发送至相机驱动模块,并通过相机驱动模块驱动摄像头,采集正常曝光帧图像数据,再由相机驱动模块将正常曝光帧图像数据发送至ISP模块。
S1004、ISP模块根据正常曝光帧图像数据,生成正常曝光帧图像N,并将正常曝光帧图像N,发送至相机HAL模块中的参数计算模块和图像融合模块。
S1005、相机HAL模块中的参数计算模块,计算正常曝光帧图像N的欠曝率GN,并将正常曝光帧图像N的欠曝率GN,发送至相机HAL模块中的图像试曝模块。
S1006、相机HAL模块中的图像试曝模块,根据正常曝光帧图像N的欠曝率GN,查找长曝光帧图像L的相对亮度EVL,并将长曝光帧图像L的相对亮度EVL,发送至ISP模块。
示例性的,根据正常曝光帧图像N的欠曝率GN,在长曝光帧图像L的变曝光表中,查找与正常曝光帧图像N的欠曝率GN对应的相对亮度,并将该相对亮度确定为长曝光帧图像L的相对亮度EVL。可以理解的,长曝光帧图像L的变曝光表中,可以存储与欠曝率对应的长曝光帧图像L的相对亮度。
S1007、相机HAL模块中的图像试曝模块,根据正常曝光帧图像N的欠曝率GN,查找超长曝光帧图像LL的相对亮度EVLL,并将超长曝光帧图像LL的相对亮度EVLL,发送至ISP模块。
示例性的,根据正常曝光帧图像N的欠曝率GN,在超长曝光帧图像LL的变曝光表中,查找与正常曝光帧图像N的欠曝率GN对应的相对亮度,并将该相对亮度确定为超长曝光帧图像LL的相对亮度EVLL。可以理解的,超长曝光帧图像LL的变曝光表中,可以存储与欠曝率对应的超长曝光帧图像LL的相对亮度。
需要说明的是,长曝光帧图像L的变曝光表,与超长曝光帧图像LL的变曝光表,并不相同。也即,相同的欠曝率在不同的变曝光表中,对应的相对亮度不同。
本实施例对步骤S1006和步骤S1007的执行顺序不做限定。
S1008、ISP模块根据长曝光帧图像L的相对亮度EVL、以及正常曝光帧图像N的曝光参数,计算长曝光帧图像L的曝光参数,并通过相机驱动模块驱动采集长曝光帧L图像数据。
S1009、相机驱动模块向ISP模块发送长曝光帧L图像数据,ISP模块根据长曝光帧L图像数据,生成长曝光帧图像L,并将长曝光帧图像L,发送至相机HAL模块中的参数计算模块。
S1010、相机HAL模块中的参数计算模块,计算长曝光帧图像L的补曝率RL,并将长曝光帧图像L的补曝率RL,发送至相机HAL模块中的图像试曝模块。
一个长曝光帧的补曝率是指,该长曝光帧相对于正常曝光帧的补偿曝光的程度。其中,长曝光帧图像L的补曝率可以是长曝光帧图像L相对于正常曝光帧图像N的补偿曝光的程度。
一个长曝光帧的补曝率越高,该长曝光帧的补曝效果越好;一个长曝光帧的补曝率越低,该长曝光帧的补曝效果越差。可以理解的,长曝光帧图像L中的欠曝区域小于正常曝光帧图像N中的欠曝区域,说明长曝光帧图像L相对于正常曝光帧图像N的补曝效果较好,则长曝光帧图像L的补曝率较高。同理,长曝光帧图像L中的欠曝区域大于正常曝光帧图像N中的欠曝区域,说明长曝光帧图像L相对于正常曝光帧图像N的补曝效果较差,则长曝光帧图像L的补曝率较低。
在相机HAL模块中的参数计算模块接收到长曝光帧图像L之后,可以进一步确定长曝光帧图像L中像素值小于欠曝阈值的像素数量Loverexpo,以及长曝光帧图像L中的像素总数量L,并计算长曝光帧图像L的欠曝率GL=Loverexpo/L。
进而,参数计算模块可以根据长曝光帧图像L的欠曝率GL,以及正常曝光帧图像N的欠曝率GN计算长曝光帧图像L补曝率RL。
在本申请实施例中,RL=1-GL/GN。
示例性的,当长曝光帧图像L的补曝率RL=100%时,说明长曝光帧图像L中不存在欠曝区域,也即长曝光帧图像L的欠曝率GL=0。
S1011、ISP模块根据超长曝光帧图像LL的相对亮度EVLL、以及正常曝光帧图像N的曝光参数,计算超长曝光帧图像LL的曝光参数,并通过相机驱动模块驱动采集超长曝光帧LL图像数据。
S1012、相机驱动模块向ISP模块发送超长曝光帧LL图像数据,ISP模块根据超长曝光帧LL图像数据,生成超长曝光帧图像LL,并将超长曝光帧图像LL,发送至相机HAL模块中的参数计算模块。
S1013、相机HAL模块中的参数计算模块,计算超长曝光帧图像LL的补曝率RLL,并将超长曝光帧图像LL的补曝率RLL,发送至相机HAL模块中的图像试曝模块。
在相机HAL模块中的参数计算模块接收到超长曝光帧图像LL之后,可以进一步确定超长曝光帧图像LL中像素值小于欠曝阈值的像素数量LLoverexpo,以及超长曝光帧图像LL中的像素总数量LL,并计算超长曝光帧图像LL的欠曝率GLL=LLoverexpo/LL。
进而,参数计算模块可以根据超长曝光帧图像LL的欠曝率GLL,以及正常曝光帧图像N的欠曝率GN计算超长曝光帧图像L补曝率RLL。
在本申请实施例中,RLL=1-GLL/GN。
本实施例对步骤S1008-S1010和步骤S1011-S1013的执行顺序不做限定。
S1014、相机HAL模块中的图像试曝模块,在长曝光帧图像L的补曝率RL大于目标补曝率RT,或超长曝光帧图像LL的补曝率RLL小于目标补曝率RT时,根据长曝光帧图像L的相对亮度或超长曝光帧图像LL的相对亮度,确定长曝光帧图像L’的相对亮度EVL’,并将长曝光帧图像L’的相对亮度EVL’发送至ISP模块。
在本申请实施例中,在长曝光帧图像L的补曝率RL大于目标补曝率RT时,可以根据长曝光帧图像L的相对亮度确定长曝光帧图像L’的相对亮度EVL’。在超长曝光帧图像LL的补曝率RLL小于目标补曝率RT时,可以根据超长曝光帧图像LL的相对亮度确定长曝光帧图像L’的相对亮度EVL’。
通过相机HAL模块中的图像试曝模块,可以预先确定目标补曝率RT。其中,目标补曝率RT可以是预先设定的经验值,也可以是计算得到的预估值等,本实施例对此不做限定。示例性的,RT可以是0.25、0.5、0.75或1等。可以理解的,目标补曝率RT的数量可以是一个,也可以是多个,本申请不做限定。
在目标补曝率RT的数量为多个时,图像试曝模块可以根据长曝光帧图像L的补曝率RL、超长曝光帧图像LL的补曝率RLL以及每个目标补曝率RT,分别确定与每个目标补曝率RT对应的长曝光帧图像L’的相对亮度EVL’。也即,在目标补曝率RT的数量为多个时,图像试曝模块可以确定多个长曝光帧图像L’的相对亮度EVL’,并将多个长曝光帧图像L’的相对亮度EVL’发送至ISP模块。也即,长曝光帧图像L’的相对亮度EVL’的数量,与目标补曝率RT的数量一致。
图11示例性的示出的一种图像拍摄方法的流程示意图,如图11所示,在手机响应于用户作用于快门控件330的用户操作时,手机通过摄像头采集正常曝光帧图像N,并通过调整正常曝光帧图像N的曝光参数,得到长曝光帧图像L和超长曝光帧图像LL。
在本实施例中,通过调整正常曝光帧图像N的曝光参数,得到长曝光帧图像L,可以是通过查变曝光表的方式调整正常曝光帧图像N的曝光参数。也即,根据正常曝光帧图像N的欠曝率,查询变曝光表,得到长曝光帧图像L的相对亮度,并计算得到长曝光帧图像L的曝光参数,从而通过摄像头根据长曝光帧图像L的曝光参数,采集与当前场景对应的长曝光帧图像L。
在一种可选的实施方式中,通过调整正常曝光帧图像N的曝光参数,得到长曝光帧图像L,还可以是通过固定EV的方式调整正常曝光帧图像N的曝光参数。也即,根据预先确定的长曝光帧图像L的固定EV(也即相对于正常曝光帧图像N的亮度)、以及正常曝光帧图像N的相对亮度和曝光参数,计算得到长曝光帧图像L的曝光参数,从而通过摄像头根据长曝光帧图像L的曝光参数,采集与当前场景对应的长曝光帧图像L。
相应的,通过调整正常曝光帧图像N的曝光参数,得到超长曝光帧图像LL的具体处理流程,与通过调整正常曝光帧图像N的曝光参数,得到长曝光帧图像L的处理流程相同或相似,在此不再赘述。
在另一种可选的实施方式中,在手机通过摄像头采集正常曝光帧图像N之后,可以首先通过查变曝光表的方式调整正常曝光帧图像N的曝光参数,得到第一数量的长曝光帧图像1。再通过固定EV的方式调整正常曝光帧图像N的曝光参数,得到第二数量的长曝光帧图像2。其中,长曝光帧图像1可以是不同亮度对应的多个长曝光帧图像。相应的,长曝光帧图像2也可以是不同亮度对应的多个长曝光帧图像。可以理解的,任意一个长曝光帧图像1的亮度,和任意一个长曝光帧图像2的亮度均不相同。
继续参照图11,在得到长曝光帧图像L和超长曝光帧图像LL之后,分别计算长曝光帧图像L的补曝率RL和超长曝光帧图像LL的补曝率RLL。进而,将RL、RLL和目标补曝率RT进行数值大小比较。其中,计算长曝光帧图像L的补曝率RL和超长曝光帧图像LL的补曝率RLL的具体处理流程可以参见前述,在此不再赘述。
在目标补曝率RT小于长曝光帧图像L的补曝率RL时,可以将长曝光帧图像L的相对亮度的一半,确定为长曝光帧图像L’的相对亮度,也即EVL’=EVL/2。
在目标补曝率RT大于超长曝光帧图像LL的补曝率RLL时,可以将超长曝光帧图像LL的相对亮度的2倍,确定为长曝光帧图像L’的相对亮度,也即EVL’=2EVLL。
继续参照图11,在目标补曝率RT小于长曝光帧图像L的补曝率RL,或目标补曝率RT大于超长曝光帧图像LL的补曝率RLL时,确定长曝光帧图像L’的相对亮度之后,可以进一步计算长曝光帧图像L’的曝光参数,以根据曝光参数曝光得到长曝光帧图像L’,从而将长曝光帧图像L’和正常曝光帧图像N进行高动态融合,得到高动态范围图像。
需要指出的是,图11仅示例性的示出了一个目标补曝率的应用场景。若在多个目标补曝率的应用场景下,则可以针对每个目标补曝率,分别执行操作“将RL、RLL和目标补曝率RT进行数值大小比较”,从而可以曝光得到多个长曝光帧图像L’,进而将多个长曝光帧图像L’和正常曝光帧图像N进行高动态融合,得到一个高动态范围图像。“将RL、RLL和目标补曝率RT进行数值大小比较”的处理流程以及后续处理流程,与上述流程相同,在此不再赘述。
S1015、ISP模块根据长曝光帧图像L’的相对亮度EVL’,计算长曝光帧图像L’的曝光参数,并通过相机驱动模块驱动采集长曝光帧L’图像数据。
S1016、相机驱动模块向ISP模块发送长曝光帧图像L’图像数据后,ISP模块根据长曝光帧图像L’图像数据,生成长曝光帧图像L’。
可以理解的,如果步骤S1014将多个长曝光帧图像L’的相对亮度EVL’发送至ISP模块,则ISP模块可以生成多个长曝光帧图像L’。
S1017、ISP模块将长曝光帧图像L’,发送至相机HAL模块中的图像融合模块,图像融合模块将正常曝光帧图像N和长曝光帧图像L’进行高动态融合,得到高动态范围图像。
可以理解的,ISP模块可以将多个长曝光帧图像L’,发送至相机HAL模块中的图像融合模块,图像融合模块将正常曝光帧图像N,和多个长曝光帧图像L’进行高动态融合,得到一个高动态范围图像。
S1018、相机HAL模块中的图像融合模块,经相机服务将高动态范围图像,发送至相机应用。
在上述流程中,ISP模块计算图像的曝光参数的流程,可以参照已有技术,在此不再赘述。
需要指出是,在上述实施例中以相机应用为例进行解释说明的,其它具有相机功能的第三方应用亦是如此,在此不再赘述。
上述解释了长曝光帧图像L的补曝率RL大于目标补曝率RT,以及超长曝光帧图像LL的补曝率RLL小于目标补曝率RT的两种情形,下面针对目标补曝率RT大于长曝光帧图像L的补曝率RL,且目标补曝率RT小于超长曝光帧图像LL的补曝率RLL的情形进行解释说明。
图12示例性的示出的目标补曝率RT大于长曝光帧图像L的补曝率RL,且目标补曝率RT小于超长曝光帧图像LL的补曝率RLL的情形下各模块的交互示意图,如图12所示,步骤S1201-S1213与步骤S1001-S1013相同,在此不再赘述。
S1214、相机HAL模块中的图像试曝模块,在目标补曝率RT大于长曝光帧图像L的补曝率RL,且目标补曝率RT小于超长曝光帧图像LL的补曝率RLL时,根据长曝光帧图像L的相对亮度EVL,以及超长曝光帧图像LL的相对亮度EVLL,确定长曝光帧图像L’的相对亮度EVL’,并将长曝光帧图像L’的相对亮度EVL’发送至ISP模块。
长曝光帧图像L’的相对亮度EVL’可以是,长曝光帧图像L的相对亮度EVL到超长曝光帧图像LL的相对亮度EVLL之间的一个相对亮度。在本实施例中,图像试曝模块可以基于二分法根据长曝光帧图像L的相对亮度EVL,以及超长曝光帧图像LL的相对亮度EVLL,确定长曝光帧图像L’的相对亮度EVL’。
继续参照图11,在将RL、RLL和目标补曝率RT进行数值大小比较之后,在目标补曝率RT大于长曝光帧图像L的补曝率RL,且目标补曝率RT小于超长曝光帧图像LL的补曝率RLL时,可以基于二分法进行试曝处理得到长曝光帧图像L’,以将长曝光帧图像L’和正常曝光帧图像N进行高动态融合,得到高动态范围图像。
图13示例性的示出的确定长曝光帧图像的相对亮度的示意图,如图13所示,在第一次迭代(也即第一次确定长曝光帧图像L’的相对亮度EVL’)时,长曝光帧图像L’的相对亮度EVL’为长曝光帧图像L的相对亮度EVL,和超长曝光帧图像LL的相对亮度EVLL的中间值,也即EVL’=(EVLL+EVL)/2。
在第一次迭代结束之后,根据第一次迭代得到的长曝光帧图像L’的相对亮度EVL’,更新长曝光帧图像L的相对亮度EVL。
则在第二次迭代(也即第二次确定长曝光帧图像L’的相对亮度EVL’)时,长曝光帧图像L的相对亮度EVL更新为第一次迭代得到的长曝光帧图像L’的相对亮度EVL’。也即在第二次迭代时,长曝光帧图像L’的相对亮度EVL’为,第一次迭代得到的长曝光帧图像L’的相对亮度EVL’,和超长曝光帧图像LL的相对亮度EVLL的中间值。
在第二次迭代结束之后,根据第二次迭代得到的长曝光帧图像L’的相对亮度EVL’,更新长曝光帧图像L的相对亮度EVL。
则在第三次迭代(也即第三次确定长曝光帧图像L’的相对亮度EVL’)时,长曝光帧图像L的相对亮度EVL更新为第二次迭代得到的长曝光帧图像L’的相对亮度EVL’。也即在第三次迭代时,长曝光帧图像L’的相对亮度EVL’为,第二次迭代得到的长曝光帧图像L’的相对亮度EVL’,和超长曝光帧图像LL的相对亮度EVLL的中间值。
在一种可选的实施方式中,在第一次迭代结束之后,也可以根据第一次迭代得到的长曝光帧图像L’的相对亮度EVL’,更新超长曝光帧图像LL的相对亮度EVLL。则在第二次迭代时,超长曝光帧图像LL的相对亮度EVLL更新为第一次迭代得到的长曝光帧图像L’的相对亮度EVL’。也即在第二次迭代时,长曝光帧图像L’的相对亮度EVL’为,长曝光帧图像L的相对亮度EVL,和第一次迭代得到的长曝光帧图像L’的相对亮度EVL’的中间值。
在另一种可选的实施方式中,在第二次迭代结束之后,也可以根据第二次迭代得到的长曝光帧图像L’的相对亮度EVL’,更新超长曝光帧图像LL的相对亮度EVLL。则在第三次迭代时,超长曝光帧图像LL的相对亮度EVLL更新为第二次迭代得到的长曝光帧图像L’的相对亮度EVL’。也即在第三次迭代时,长曝光帧图像L’的相对亮度EVL’为,长曝光帧图像L的相对亮度EVL,和第二次迭代得到的长曝光帧图像L’的相对亮度EVL’的中间值。
在一种可选的实施方式中,图像试曝模块还可以根据长曝光帧图像L的相对亮度EVL,以及超长曝光帧图像LL的相对亮度EVLL,通过顺序查找法迭代确定长曝光帧图像L’的相对亮度EVL’。也即,将EVL和EVLL之间的相对亮度按顺序,确定为长曝光帧图像L’的相对亮度EVL’。
可以理解的,图像试曝模块还可以通过其他查找方法迭代确定长曝光帧图像L’的相对亮度,本实施例对此不做限定。
S1215、ISP模块根据长曝光帧图像L’的相对亮度EVL’,计算长曝光帧图像L’的曝光参数,并将长曝光帧图像L’采集请求发送至相机驱动模块。
S1216、相机驱动模块驱动摄像头采集长曝光帧L’图像数据,并发送至ISP模块,ISP模块根据长曝光帧L’图像数据,生成长曝光帧图像L’。
S1217、ISP模块将长曝光帧图像L’发送至相机HAL模块的参数计算模块,参数计算模块计算长曝光帧图像L’的补曝率RL’。
参数计算模块在接收到长曝光帧图像L’之后,可以进一步确定长曝光帧图像L’中像素值大于欠曝阈值的像素数量L’overexpo,以及长曝光帧图像L’中的像素总数量L’,并计算长曝光帧图像L’的欠曝率GL’=L’overexpo/L’。
进而,参数计算模块可以根据长曝光帧图像L’的欠曝率GL’,以及正常曝光帧图像N的欠曝率GN计算长曝光帧图像L’补曝率RL’。
在本申请实施例中,RL’=1-GL’/GN。
S1218、相机HAL模块的参数计算模块,计算长曝光帧图像L’的补曝率RL’与目标补曝率RT的差值,并判断该差值是否小于补曝率误差阈值;若否,执行S1219;若是,参数计算模块将长曝光帧图像L’发送至图像融合模块,并执行S1220。
其中,补曝率误差阈值可以是预先设定的补曝率之间的误差阈值,例如可以是预先设定的经验值,也可以是计算得到的预估值等,本实施例对此不做限定。示例性的,补曝率误差阈值可以是5%。
在本实施例中,当长曝光帧图像L’的补曝率RL’与目标补曝率RT的差值,大于补曝率误差阈值时,也即|RL’-RT|>Δ2,其中Δ2为补曝率误差阈值时,说明长曝光帧图像L’的补曝率不满足补曝需求,则需要进行迭代计算,再次确定长曝光帧图像L’的相对亮度EVL’。直至长曝光帧图像L’的补曝率RL’与目标补曝率RT的差值,小于补曝率误差阈值时,也即|RL’-RT|<Δ2时,将长曝光帧图像L’发送至图像融合模块。
S1219、图像试曝模块根据长曝光帧图像L’的相对亮度,更新长曝光帧图像L的相对亮度EVL或超长曝光帧图像LL的相对亮度EVLL,并返回执行S1214、图像试曝模块根据长曝光帧图像L的相对亮度EVL,以及超长曝光帧图像LL的相对亮度EVLL,确定长曝光帧图像L’的相对亮度EVL’的操作。
当长曝光帧图像L’的补曝率RL’与目标补曝率RT的差值,大于补曝率误差阈值时,可以根据长曝光帧图像L’的相对亮度更新长曝光帧图像L的相对亮度EVL,以使图像试曝模块在执行S1214时,能够根据更新后的长曝光帧图像L的相对亮度EVL以及超长曝光帧图像LL的相对亮度EVLL,确定长曝光帧图像L’的相对亮度EVL’。
或者,还可以根据长曝光帧图像L’的相对亮度更新超长曝光帧图像LL的相对亮度EVLL,以使图像试曝模块在执行S1214时,能够根据长曝光帧图像L的相对亮度EVL以及更新后的超长曝光帧图像LL的相对亮度EVLL,确定长曝光帧图像L’的相对亮度EVL’。
也即,在一次迭代过程结束后,可以根据长曝光帧图像L’的相对亮度更新长曝光帧图像L的相对亮度EVL,也可以根据长曝光帧图像L’的相对亮度更新超长曝光帧图像LL的相对亮度EVLL,本申请不做限定。
S1220、图像融合模块将长曝光帧图像L’和正常曝光帧图像N进行图像融合,得到高动态范围图像。
在一种可选的实施方式中,在参数计算模块计算得到长曝光帧图像L’的补曝率RL’之后,也可以确定预先设定的当前迭代次数,并判断当前迭代次数是否满足最大迭代次数。在当前迭代次数未满足最大迭代次数时,根据当前迭代得到的长曝光帧图像L’的相对亮度,更新长曝光帧图像L的相对亮度EVL或超长曝光帧图像LL的相对亮度EVLL,并返回执行步骤S1214再次进行迭代,直至当前迭代次数满足最大迭代次数时停止迭代。在当前迭代次数满足最大迭代次数时,停止迭代,参数计算模块将最后一次迭代得到的长曝光帧图像L’发送至图像融合模块,以通过图像融合模块将最后一次迭代得到的长曝光帧图像L’和正常曝光帧图像N进行高动态融合得到高动态范围图像。
S1221、相机HAL模块中的图像融合模块,经相机服务将高动态范围图像,发送至相机应用。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的图像拍摄方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图像拍摄方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的图像拍摄方法。
其中,本实施例提供的电子设备(如手机等)、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (18)
1.一种图像拍摄方法,其特征在于,所述方法包括:
响应于拍摄操作,采集第一图像帧;
根据所述第一图像帧的过曝率,采集与所述第一图像帧对应的第一短曝光帧和第二短曝光帧;
计算所述第一短曝光帧相对所述第一图像帧的第一压曝率,以及所述第二短曝光帧相对所述第一图像帧的第二压曝率;其中,所述压曝率用于指示曝光被压低的程度;
获取至少一个目标压曝率,根据所述第一压曝率、所述第二压曝率,分别采集与每个所述目标压曝率对应的目标短曝光帧;
将所述第一图像帧和所述目标短曝光帧进行图像融合,得到与所述拍摄操作对应的目标图像。
2.根据权利要求1所述的方法,其特征在于,所述第一短曝光帧的相对亮度,大于所述第二短曝光帧的相对亮度;
根据所述第一压曝率、所述第二压曝率,分别采集与所述目标压曝率对应的目标短曝光帧,包括:
在所述目标压曝率小于所述第一压曝率的情况下,根据所述第一短曝光帧的相对亮度,确定第一目标相对亮度;
在所述目标压曝率大于所述第二压曝率的情况下,根据所述第二短曝光帧的相对亮度,确定所述第一目标相对亮度;
根据所述第一目标相对亮度计算第一目标曝光参数,并根据所述第一目标曝光参数采集所述与所述目标压曝率对应的目标短曝光帧。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第一短曝光帧的相对亮度,确定第一目标相对亮度,包括:
将所述第一短曝光帧的相对亮度的1/2确定为所述第一目标相对亮度;
所述根据所述第二短曝光帧的相对亮度,确定所述第一目标相对亮度,包括:
将所述第二短曝光帧的相对亮度的2倍确定为所述第一目标相对亮度。
4.根据权利要求2所述的方法,其特征在于,根据所述第一压曝率、所述第二压曝率,分别采集与所述目标压曝率对应的目标短曝光帧,还包括:
在所述目标压曝率大于所述第一压曝率,且小于所述第二压曝率的情况下,通过二分法在所述第一短曝光帧的相对亮度和所述第二短曝光帧的相对亮度之间,确定第二目标相对亮度;
根据所述第二目标相对亮度,计算第二目标曝光参数,并根据所述第二目标曝光参数采集第三短曝光帧;
计算所述第三短曝光帧相对所述第一图像帧的第三压曝率,并计算所述第三压曝率和所述目标压曝率之间的压曝率差值;
在所述压曝率差值小于第一误差阈值的情况下,将所述第三短曝光帧确定为所述目标短曝光帧。
5.根据权利要求4所述的方法,其特征在于,所述方法,还包括:
在所述压曝率差值大于所述第一误差阈值的情况下,根据所述第二目标相对亮度,更新所述第一短曝光帧的相对亮度,或所述第二短曝光帧的相对亮度;
返回执行通过二分法在所述第一短曝光帧的相对亮度和所述第二短曝光帧的相对亮度之间,确定第二目标相对亮度的操作,直至所述压曝率差值小于所述第一误差阈值。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像帧的过曝率,采集与所述第一图像帧对应的第一短曝光帧和第二短曝光帧,包括:
根据所述第一图像帧的过曝率,在变曝光表中查找所述第一短曝光帧的相对亮度,以及所述第二短曝光帧的相对亮度;
根据所述第一短曝光帧的相对亮度计算所述第一短曝光帧的曝光参数,并根据所述第一短曝光帧的曝光参数采集所述第一短曝光帧;
根据所述第二短曝光帧的相对亮度计算所述第二短曝光帧的曝光参数,并根据所述第二短曝光帧的曝光参数采集所述第二短曝光帧;
其中,所述变曝光表包括所述第一图像帧的过曝率,与所述第一短曝光帧的相对亮度之间的对应关系,以及所述第一图像帧的过曝率,与所述第二短曝光帧的相对亮度之间的对应关系。
7.根据权利要求1所述的方法,其特征在于,所述计算所述第一短曝光帧相对所述第一图像帧的第一压曝率,以及所述第二短曝光帧相对所述第一图像帧的第二压曝率,包括:
计算所述第一短曝光帧的过曝率,以及所述第二短曝光帧的过曝率;
根据所述第一短曝光帧的过曝率,以及所述第一图像帧的过曝率,计算所述第一压曝率;
根据所述第二短曝光帧的过曝率,以及所述第一图像帧的过曝率,计算所述第二压曝率。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一短曝光帧的过曝率,以及所述第一图像帧的过曝率,计算所述第一压曝率,包括:
根据公式QS1=1-PS1/PN计算所述第一压曝率;其中,QS1为所述第一压曝率,PS1为所述第一短曝光帧的过曝率,PN为所述第一图像帧的过曝率;
所述根据所述第二短曝光帧的过曝率,以及所述第一图像帧的过曝率,计算所述第二压曝率,包括:
根据公式QS2=1-PS2/PN计算所述第二压曝率;其中,QS2为所述第二压曝率,PS2为所述第二短曝光帧的过曝率。
9.一种图像拍摄方法,其特征在于,所述方法包括:
响应于拍摄操作,采集第二图像帧;
根据所述第二图像帧的欠曝率,采集与所述第二图像帧对应的第一长曝光帧和第二长曝光帧;
计算所述第一长曝光帧相对所述第二图像帧的第一补曝率,以及所述第二长曝光帧相对所述第二图像帧的第二补曝率;其中,所述补曝率用于指示曝光被补偿的程度;
获取至少一个目标补曝率,根据所述第一补曝率、所述第二补曝率,分别采集与每个所述目标补曝率对应的目标长曝光帧;
将所述第二图像帧和所述目标长曝光帧进行图像融合,得到与所述拍摄操作对应的目标图像。
10.根据权利要求9所述的方法,其特征在于,所述第一长曝光帧的相对亮度,小于所述第二长曝光帧的相对亮度;
根据所述第一补曝率、所述第二补曝率,分别采集与所述目标补曝率对应的目标长曝光帧,包括:
在所述目标补曝率小于所述第一补曝率的情况下,根据所述第一长曝光帧的相对亮度,确定第三目标相对亮度;
在所述目标补曝率大于所述第二补曝率的情况下,根据所述第二长曝光帧的相对亮度,确定所述第三目标相对亮度;
根据所述第三目标相对亮度计算第三目标曝光参数,并根据所述第三目标曝光参数采集所述与所述目标补曝率对应的目标长曝光帧。
11.根据权利要求10所述的方法,其特征在于,所述根据所述第一长曝光帧的相对亮度,确定第三目标相对亮度,包括:
将所述第一长曝光帧的相对亮度的1/2确定为所述第三目标相对亮度;
所述根据所述第二长曝光帧的相对亮度,确定所述第三目标相对亮度,包括:
将所述第二长曝光帧的相对亮度的2倍确定为所述第三目标相对亮度。
12.根据权利要求10所述的方法,其特征在于,根据所述第一补曝率、所述第二补曝率,分别采集与所述目标补曝率对应的目标长曝光帧,还包括:
在所述目标补曝率大于所述第一补曝率,且小于所述第二补曝率的情况下,通过二分法在所述第一长曝光帧的相对亮度和所述第二长曝光帧的相对亮度之间,确定第四目标相对亮度;
根据所述第四目标相对亮度计算第四目标曝光参数,并根据所述第四目标曝光参数采集第三长曝光帧;
计算所述第三长曝光帧相对所述第二图像帧的第三补曝率,并计算所述第三补曝率和所述目标补曝率之间的补曝率差值;
在所述补曝率差值小于第二误差阈值的情况下,将所述第三补曝光帧确定为所述目标长曝光帧。
13.根据权利要求12所述的方法,其特征在于,所述方法,还包括:
在所述补曝率差值大于所述第二误差阈值的情况下,根据所述第四目标相对亮度,更新所述第一长曝光帧的相对亮度,或所述第二长曝光帧的相对亮度;
返回执行通过二分法在所述第一长曝光帧的相对亮度和所述第二长曝光帧的相对亮度之间,确定第四目标相对亮度的操作,直至所述补曝率差值小于所述第二误差阈值。
14.根据权利要求9所述的方法,其特征在于,所述根据所述第二图像帧的欠曝率,采集与所述第二图像帧对应的第一长曝光帧和第二长曝光帧,包括:
根据所述第二图像帧的欠曝率,在变曝光表中查找所述第一长曝光帧的相对亮度,以及所述第二长曝光帧的相对亮度;
根据所述第一长曝光帧的相对亮度计算所述第一长曝光帧的曝光参数,并根据所述第一长曝光帧的曝光参数采集所述第一长曝光帧;
根据所述第二长曝光帧的相对亮度计算所述第二长曝光帧的曝光参数,并根据所述第二长曝光帧的曝光参数采集所述第二长曝光帧;
其中,所述变曝光表包括所述第二图像帧的欠曝率,与所述第一长曝光帧的相对亮度之间的对应关系,以及所述第二图像帧的欠曝率,与所述第二长曝光帧的相对亮度之间的对应关系。
15.根据权利要求9所述的方法,其特征在于,所述计算所述第一长曝光帧相对所述第二图像帧的第一补曝率,以及所述第二长曝光帧相对所述第二图像帧的第二补曝率,包括:
计算所述第一长曝光帧的欠曝率,以及所述第二长曝光帧的欠曝率;
根据所述第一长曝光帧的欠曝率,以及所述第二图像帧的欠曝率,计算所述第一补曝率;
根据所述第二长曝光帧的欠曝率,以及所述第二图像帧的欠曝率,计算所述第二补曝率。
16.根据权利要求15所述的方法,其特征在于,所述根据所述第一长曝光帧的欠曝率,以及所述第二图像帧的欠曝率,计算所述第一补曝率,包括:
根据公式RL1=1-GL1/GN计算所述第一补曝率;其中,RL1为所述第一补曝率,GL1为所述第一长曝光帧的欠曝率,GN为所述第二图像帧的欠曝率;
所述根据所述第二长曝光帧的欠曝率,以及所述第二图像帧的欠曝率,计算所述第二补曝率,包括:
根据公式RL2=1-GL2/GN计算所述第二补曝率;其中,RL2为所述第二补曝率,GL2为所述第二长曝光帧的欠曝率。
17.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行如权利要求1-8中任一项所述的图像拍摄方法,或者执行如权利要求9-16中任一项所述的图像拍摄方法。
18.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-8中任一项所述的图像拍摄方法,或者执行如权利要求9-16中任一项所述的图像拍摄方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311522353.3A CN117278864B (zh) | 2023-11-15 | 2023-11-15 | 图像拍摄方法、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311522353.3A CN117278864B (zh) | 2023-11-15 | 2023-11-15 | 图像拍摄方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117278864A true CN117278864A (zh) | 2023-12-22 |
CN117278864B CN117278864B (zh) | 2024-04-05 |
Family
ID=89202811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311522353.3A Active CN117278864B (zh) | 2023-11-15 | 2023-11-15 | 图像拍摄方法、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117278864B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109005342A (zh) * | 2018-08-06 | 2018-12-14 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置和成像设备 |
US20190138259A1 (en) * | 2017-11-03 | 2019-05-09 | Qualcomm Incorporated | Systems and methods for high-dynamic range imaging |
CN109788207A (zh) * | 2019-01-30 | 2019-05-21 | Oppo广东移动通信有限公司 | 图像合成方法、装置、电子设备及可读存储介质 |
CN111418201A (zh) * | 2018-03-27 | 2020-07-14 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN111447371A (zh) * | 2020-03-12 | 2020-07-24 | 努比亚技术有限公司 | 一种自动曝光控制方法、终端及计算机可读存储介质 |
US20210133986A1 (en) * | 2019-11-01 | 2021-05-06 | Samsung Electronics Co., Ltd. | Image devices including image sensors and image signal processors, and operation methods of image sensors |
CN113824873A (zh) * | 2021-08-04 | 2021-12-21 | 荣耀终端有限公司 | 一种图像处理的方法及相关电子设备 |
-
2023
- 2023-11-15 CN CN202311522353.3A patent/CN117278864B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190138259A1 (en) * | 2017-11-03 | 2019-05-09 | Qualcomm Incorporated | Systems and methods for high-dynamic range imaging |
CN111418201A (zh) * | 2018-03-27 | 2020-07-14 | 华为技术有限公司 | 一种拍摄方法及设备 |
CN109005342A (zh) * | 2018-08-06 | 2018-12-14 | Oppo广东移动通信有限公司 | 全景拍摄方法、装置和成像设备 |
CN109788207A (zh) * | 2019-01-30 | 2019-05-21 | Oppo广东移动通信有限公司 | 图像合成方法、装置、电子设备及可读存储介质 |
US20210133986A1 (en) * | 2019-11-01 | 2021-05-06 | Samsung Electronics Co., Ltd. | Image devices including image sensors and image signal processors, and operation methods of image sensors |
CN111447371A (zh) * | 2020-03-12 | 2020-07-24 | 努比亚技术有限公司 | 一种自动曝光控制方法、终端及计算机可读存储介质 |
CN113824873A (zh) * | 2021-08-04 | 2021-12-21 | 荣耀终端有限公司 | 一种图像处理的方法及相关电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN117278864B (zh) | 2024-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020168956A1 (zh) | 一种拍摄月亮的方法和电子设备 | |
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
CN115473957B (zh) | 一种图像处理方法和电子设备 | |
CN112532892B (zh) | 图像处理方法及电子装置 | |
CN112262563A (zh) | 图像处理方法及电子设备 | |
CN113810604B (zh) | 文档拍摄方法、电子设备和存储介质 | |
WO2023015990A1 (zh) | 点光源图像检测方法和电子设备 | |
WO2020113534A1 (zh) | 一种拍摄长曝光图像的方法和电子设备 | |
CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
CN116996762B (zh) | 一种自动曝光方法、电子设备及计算机可读存储介质 | |
CN115359105B (zh) | 景深扩展图像生成方法、设备及存储介质 | |
CN117278864B (zh) | 图像拍摄方法、电子设备及存储介质 | |
CN117135470A (zh) | 拍摄方法、电子设备及存储介质 | |
CN115550556B (zh) | 一种曝光强度调节方法及相关装置 | |
CN114979459B (zh) | 拍摄素材的管理方法、电子设备及系统 | |
CN116048323B (zh) | 图像处理方法及电子设备 | |
CN116723383B (zh) | 一种拍摄方法及相关设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN117082295B (zh) | 图像流处理方法、设备及存储介质 | |
CN115802144B (zh) | 视频拍摄方法及相关设备 | |
CN116757963B (zh) | 图像处理方法、电子设备、芯片系统及可读存储介质 | |
CN116193275B (zh) | 视频处理方法及相关设备 | |
CN116723410B (zh) | 调节帧间隔的方法和装置 | |
CN113452895A (zh) | 一种拍摄方法及设备 | |
CN117082340A (zh) | 一种高动态范围模式的选择方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |