CN117135467A - 图像处理方法及电子设备 - Google Patents
图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN117135467A CN117135467A CN202310206843.6A CN202310206843A CN117135467A CN 117135467 A CN117135467 A CN 117135467A CN 202310206843 A CN202310206843 A CN 202310206843A CN 117135467 A CN117135467 A CN 117135467A
- Authority
- CN
- China
- Prior art keywords
- image
- exposure time
- target
- processed
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims description 57
- 230000000694 effects Effects 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 20
- 230000006870 function Effects 0.000 description 23
- 238000007726 management method Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 239000002699 waste material Substances 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000003321 amplification Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000003199 nucleic acid amplification method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例应用于图像处理技术领域,提供了一种图像处理方法及电子设备。在拍摄环境存在人造光源的情况下,电子设备在拍摄图像后,可以确定待处理图像的目标亮度值,并确定待处理图像对应的光源幅值和光源频率。之后,该电子设备可以根据光源频率判断该图像是否存在频闪问题。如果存在,该电子设备可以利用光源幅值和目标亮度值确定该图像的目标曝光时间,最后将待处理图像的曝光时间调节至目标曝光时间,得到无频闪问题的目标图像,从而实现通过调节图像的曝光时间消除图像中的频闪问题,提高了拍摄图像的清晰度,进而保证了图像质量,提升了用户的拍摄体验。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
随着电子设备(如手机)技术的发展,手机的拍摄功能也得到了快速发展,越来越多的用户喜欢使用手机拍摄图像(如照片或视频)。
由于交流电的能量会随着时间产生周期性变化,当光源在交流电下工作时,光源会出现灯光频闪问题。手机在交流电光源环境中拍摄图像时,由于光源的灯光频闪问题,拍摄得到的图像会出现频闪(flicker)现象,也即拍摄得到的图像会出现亮暗条纹,降低了图像质量,影响用户的拍摄体验。
发明内容
本申请实施例提供一种图像处理方法及电子设备,用于提高图像质量。
第一方面,提供了一种图像处理方法。该方法中,电子设备可以获取该电子设备中摄像头所拍摄的待处理图像,并确定待处理图像的目标亮度值,其中,目标亮度值表示待处理图像所应达到的亮度。然后,电子设备获取待处理图像对应的拍摄信息,并基于待处理图像对应的拍摄信息,结合目标亮度值,确定待处理图像的目标曝光时间。其中,拍摄信息包括拍摄环境的光源信息;光源信息包括光源幅值,光源幅值用于确定待处理图像的曝光时间的调整程度。最后,电子设备可以将待处理图像的曝光时间调节至目标曝光时间,得到目标图像。
本申请中,通过待处理图像对应的拍摄信息调整的曝光时间,能够消除待处理图像中的频闪问题,以使得目标图像为无频闪问题的图像,既提高了拍摄图像的清晰度,又提升了用户的视觉体验。
此外,如果用户启动相机应用,电子设备响应于该相机应用的启动操作,可以直接显示该相机应用的可操作界面,并在电子设备的拍摄控件被触发后,电子设备可以采集到无明暗条纹的拍摄图像,解决了后续拍摄图像时图像中的频闪问题。
在第一方面的一种可能的实现方式中,确定待处理图像的目标亮度值的过程,具体可以包括:电子设备对待处理图像进行特征统计,得到待处理图像的统计结果,其中,该统计结果可以包括AE统计结果。然后,电子设备基于AE统计结果,确定待处理图像的初始亮度值以及目标亮度值。
本申请中,通过对待处理图像进行特征统计的方式,确定待处理图像的目标亮度值,可以为后续曝光时间的调节以及图像亮度适配提供了基础,进而保证了图像的画面质量。
在第一方面的一种可能的实现方式中,电子设备获取待处理图像对应的拍摄信息之前,该方法还包括:电子设备将待处理图像的初始亮度值调整至目标亮度值,得到第一图像。
本申请中,在调整曝光时间前,调整待处理图像的图像亮度,可以避免出现待处理图像过亮或过暗的问题。之后,手机可以通过调整该第一图像的曝光时间的方式,消除该第一图像的频闪问题,并且由于该第一图像的亮度是合适的,可以避免由于图像过暗导致图像的曝光时间调整过大,从而造成图像过曝的情况发生,提升调节图像的曝光时间的准确度,保证图像质量。
在第一方面的一种可能的实现方式中,光源信息还包括光源频率,电子设备基于待处理图像对应的拍摄信息,结合目标亮度值,确定待处理图像的目标曝光时间,具体可以包括:电子设备确定光源频率是否为零。然后,在光源频率为零的情况下,电子设备将第一图像作为目标图像;或者,在光源频率不为零的情况下,电子设备基于光源幅值,结合目标亮度值,确定目标曝光时间。
本申请中,在调整待处理图像的曝光时间前,需要判断光源频率是否为零,只有在光源频率不为零的情况下,才调节曝光时间,如此,可以避免对图像进行不必要的曝光时间调节,减少了资源浪费的情况发生。
在第一方面的一种可能的实现方式中,拍摄信息还包括光源能量周期,电子设备基于待处理图像对应的拍摄信息,结合目标亮度值,确定待处理图像的目标曝光时间,具体可以包括:电子设备将目标亮度值输入至自动曝光算法中,得到待处理图像的原始曝光总量。之后,电子设备根据该原始曝光总量,结合预设曝光表,确定待处理图像的原始曝光时间。然后,电子设备确定待处理图像的原始曝光时间是否小于光源能量周期。最后,在待处理图像的原始曝光时间小于光源能量周期的情况下,电子设备基于光源幅值和原始曝光时间,确定待处理图像的目标曝光时间。
本申请中,针对原始曝光时间以及手机摄像头的光源能量周期之间的关系,确定不同的调整策略,若原始曝光时间小于光源能量周期,则需要根据光源幅值,调节原始曝光时间,以确定目标曝光时间,如此,可以有针对性的调节曝光时间,提升了目标曝光时间确定的准确度,进而精准、快速的消除图像中的频闪问题。
在第一方面的一种可能的实现方式中,电子设备根据该原始曝光总量,结合预设曝光表,确定待处理图像的原始曝光时间,具体可以包括:电子设备根据原始曝光总量,从该预设曝光表中确定目标曝光总量范围,其中,原始曝光总量位于目标曝光总量范围中。然后,电子设备确定该原始曝光总量是否小于预设曝光总量,其中,预设曝光总量为目标曝光总量范围对应的曝光时间与最小增益值之间的乘积。最后,在该原始曝光总量小于预设曝光总量的情况下,电子设备计算该原始曝光总量与最小增益值之间的比值,得到待处理图像的原始曝光时间。
本申请中,若原始曝光总量小于目标曝光总量范围对应的曝光时间,则说明该原始曝光总量对应的原始曝光时间小于光源能量周期,且原始增益值最小值只能为1,因此,通过将该原始曝光总量与最小增益值相除的方式,可以确定原始曝光时间,如此,可以提升原始曝光时间确定的准确度。
在第一方面的另一种可能的实现方式中,上述方法还包括:在原始曝光总量大于或等于预设曝光总量的情况下,电子设备将该目标曝光总量范围所对应的曝光时间确定为待处理图像的原始曝光时间。
本申请中,若原始曝光总量大于或等于目标曝光总量范围对应的曝光时间,则说明该原始曝光总量对应的原始曝光时间大于光源能量周期,因此,可以通过调整图像的原始增益值的方式,使原始曝光时间为光源能量周期的整数倍,从而消除图像中的频闪现象,提升图像质量。
在第一方面的一种可能的实现方式中,电子设备根据原始曝光总量,从该预设曝光表中确定目标曝光总量范围,具体可以包括:电子设备从预设曝光表中查找该原始曝光总量所属的曝光总量范围,并将查找的曝光总量范围作为候选曝光总量范围。之后,在该候选曝光总量范围的数量等于1的情况下,电子设备可以直接将该候选曝光总量范围确定为目标曝光总量范围。
本申请中,电子设备在查找到该原始曝光总量所属的曝光总量范围后,需要判断候选曝光总量范围的数量,若该候选曝光总量范围的数量等于1,则可以直接将该候选曝光总量范围确定为目标曝光总量范围,如此,可以精准的确定目标曝光总量范围,为后续确定原始曝光时间提供了基础。
在第一方面的另一种可能的实现方式中,上述方法还包括:在该候选曝光总量范围的数量大于1的情况下,电子设备分别从预设曝光表中确定与该候选曝光总量范围对应的曝光时间。之后,电子设备可以将最小曝光时间对应的候选曝光总量范围作为目标曝光总量范围。
本申请中,若该候选曝光总量范围的数量大于1,则需要根据候选曝光总量范围对应的曝光时间,选择目标曝光总量范围,也就是将最小曝光时间对应的候选曝光总量范围作为目标曝光总量范围,如此,可以减少图像过曝的情况发生,提升图像质量。
在第一方面的一种可能的实现方式中,电子设备基于光源幅值和原始曝光时间,确定待处理图像的目标曝光时间,具体可以包括:电子设备利用光源幅值,确定待处理图像的标准曝光时间,其中,标准曝光时间为待处理图像不存在频闪时所对应的临界曝光时间。然后,电子设备根据标准曝光时间和原始曝光时间,确定待处理图像的目标曝光时间。
本申请中,由于标准曝光时间是根据光源幅值确定的,且标准曝光时间为待处理图像不存在频闪所对应的临界曝光时间,因此,通过标准曝光时间与原始曝光时间进行比较的方式,确定目标曝光时间,可以在不浪费资源的同时,提升了目标曝光时间确定的准确度,进而消除了图像中的频闪问题。
在一实施例中,待处理图像不存在频闪表示待处理图像的频闪程度低于预设程度。其中,待处理图像的频闪程度低于预设程度的一种表现形式为待处理图像实际不存在频闪,也就是说,待处理图像实际不存在黑白条纹;另一种表现形式为待处理图像虽然存在频闪,但用户无法看到待处理图像上的黑白条纹,也就是说,待处理图像上的黑白条纹不被用户发现;另一种表现形式为待处理图像上虽然存在频闪,但对待处理图像内容不造成影响,也就是说,待处理图像上的黑白条纹在用户的承受范围之内,不影响用户观看该待处理图像。
在另一实施例中,待处理图像不存在频闪表示待处理图像的质量高于或等于标准图像的质量。该标准图像表示不存在频闪的预设图像。不存在频闪的预设图像的解释可参数上述不存在频闪的图像的解释。
在第一方面的一种可能的实现方式中,电子设备根据标准曝光时间和原始曝光时间,确定待处理图像的目标曝光时间,具体可以包括:在原始曝光时间小于标准曝光时间的情况下,将待处理图像的目标曝光时间确定为标准曝光时间;或者,在原始曝光时间大于或等于标准曝光时间的情况下,将待处理图像的目标曝光时间确定为原始曝光时间。
本申请中,若原始曝光时间小于标准曝光时间,则说明待处理图像中存在频闪问题,因此,需要将曝光时间调整至标准曝光时间,以消除图像中的频闪问题;若原始曝光时间大于或等于标准曝光时间,则说明待处理图像中不存在频闪问题,因此,为了避免出现图像过曝的问题,无需调整待处理图像的曝光时间,可以直接将原始曝光时间确定为目标曝光时间,从而避免不必要的资源浪费。
在第一方面的另一种可能的实现方式中,电子设备根据标准曝光时间和原始曝光时间,确定待处理图像的目标曝光时间,具体可以包括:电子设备基于光源能量周期以及原始曝光时间,确定原始曝光时间的放大倍数;其中,放大倍数表示能够消除所述待处理图像的频闪所对应的曝光时间的最小提升倍数。然后,电子设备基于放大倍数与原始曝光时间之间的乘积,确定待处理图像的预期曝光时间;其中,预期曝光时间是指预计能够使待处理图像不出现频闪问题所对应的曝光时间。最后,电子设备从预期曝光时间、标准曝光时间和原始曝光时间中确定待处理图像的目标曝光时间。
本申请中,首先根据光源能量周期以及原始曝光时间,确定原始曝光时间的放大倍数,然后将放大倍数与原始曝光时间之间的乘积确定为待处理图像的预期曝光时间,最后通过将预期曝光时间、标准曝光时间与原始曝光时间进行比较的方式,确定目标曝光时间,如此,不仅可以提升目标曝光时间确定的准确度,消除图像中的频闪问题,而且可以避免调节后的图像出现过曝问题,提升图像质量。
在第一方面的一种可能的实现方式中,电子设备基于光源能量周期以及原始曝光时间,确定原始曝光时间的放大倍数,具体可以包括:电子设备基于待处理图像对应的拍摄模式,确定原始曝光时间的最大调节倍数。然后,电子设备基于光源能量周期、原始曝光时间以及最大调节倍数,确定原始曝光时间的放大倍数。
在第一方面的一种可能的实现方式中,电子设备基于光源能量周期、原始曝光时间以及最大调节倍数,确定原始曝光时间的放大倍数,具体可以包括:电子设备计算光源能量周期与原始曝光时间之间的比值,得到初始倍数。然后,电子设备将初始倍数与最大调节倍数中最小值作为原始曝光时间的放大倍数。
本申请中,由于原始曝光时间的最大调节倍数是根据待处理图像对应的拍摄模式确定的,且拍摄模式包括拍照模式以及录像模式,因此,通过从初始倍数和最大调节倍数中选择最小倍数的方式确定放大倍数,可以提升放大倍数确定的准确度,为后续确定预期曝光时间提供了基础。
在第一方面的一种可能的实现方式中,电子设备从预期曝光时间、标准曝光时间和原始曝光时间中确定待处理图像的目标曝光时间,具体可以包括:电子设备将预期曝光时间以及标准曝光时间中的最小值作为第一曝光时间。然后,电子设备将第一曝光时间以及原始曝光时间中的最大值作为待处理图像的目标曝光时间。
本申请中,首先从预期曝光时间以及标准曝光时间中选择数值较小的第一曝光时间,并将第一曝光时间与原始曝光时间进行比较,以从中选择数值较大的曝光时间作为目标曝光时间,如此,不仅可以消除图像中的频闪问题,而且还可以减少图像过曝的情况发生,从而减少不必要的资源浪费。
在第一方面的另一种可能的实现方式中,上述方法还包括:在待处理图像的原始曝光时间大于或等于光源能量周期的情况下,电子设备将待处理图像的原始曝光时间确定为目标曝光时间。
本申请中,若原始曝光时间大于或等于光源能量周期,则说明待处理图像为无频闪问题的图像,因此,电子设备无需进行图像频闪处理,也就是无需确定待处理图像的目标曝光时间,电子设备可以直接将原始曝光时间确定为目标曝光时间,如此,可以避免对图像进行不必要的曝光时间调节,减少了资源浪费的情况发生。
在第一方面的一种可能的实现方式中,电子设备将待处理图像的曝光时间调节至目标曝光时间,得到目标图像,具体可以包括:电子设备将第一图像的曝光时间调节至目标曝光时间,得到第二图像。然后,电子设备计算目标曝光时间与原始曝光时间之间的比值,得到摄像头的目标增益值。最后,电子设备基于摄像头的目标增益值,对第二图像进行亮度还原,得到目标图像,其中,目标图像的亮度值为目标亮度值。
本申请中,电子设备在根据目标曝光时间调节图像后,需要将图像亮度进行还原处理,以保证目标图像的亮度值为目标亮度值,如此,可以避免调节后的图像出现过曝或欠曝的问题,提升了图像质量。
第二方面,本申请提供一种电子设备,所述电子设备包括显示屏、存储器和一个或多个处理器;所述显示屏、所述存储器和所述处理器耦合;所述显示屏用于显示所述处理器生成的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如上所述的方法。
第三方面,本申请提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如上所述的方法。
第四方面,本申请提供一种计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行如上所述的方法。
第五方面,提供一种芯片,包括:输入接口、输出接口、处理器和存储器,所述输入接口、输出接口、所述处理器以及所述存储器之间通过内部连接通路相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,所述处理器用于执行如上所述的方法。
可以理解地,上述提供的第二方面所述的电子设备,第三方面所述的计算机可读存储介质,第四方面所述的计算机程序产品,第五方面所述的芯片所能达到的有益效果,可参考第一方面及其任一种可能的设计方式中的有益效果,此处不再赘述。
附图说明
图1A为本申请实施例提供的一种拍照场景的示意图;
图1B为本申请实施例提供的一种拍摄图像时的界面示意图;
图1C为本申请实施例提供的一种拍摄视频时的界面示意图;
图2为本申请实施例提供的一种展示所拍摄的图像的界面示意图;
图3A为本申请实施例提供的一种电子设备的硬件结构示意图;
图3B为本申请实施例提供的一种展示手机前置摄像头的示意图;
图3C为本申请实施例提供的一种展示手机后置摄像头的示意图;
图4为本申请实施例提供的一种电子设备的软件结构示意图;
图5A为本申请实施例提供的一种图像处理方法的流程示意图;
图5B为本申请实施例提供的另一种图像处理方法的流程示意图;
图6为本申请实施例提供的一种第一光源幅值与第一标准曝光时间之间的关系示意图;
图7为本申请实施例提供的一种调节图像亮度的关系示意图;
图8为本申请实施例提供的一种图像处理方法的时序图。
具体实施方式
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
当人造光源(或简称为光源)在交流电的驱动下工作时,由于光源的能量不是随时间变化均匀分布的,而是和交流电呈相同周期进行变化,导致光源出现灯光频闪问题,也就是说光源的光通量,照度或亮度会发生周期性变化。示例性的,室内场所经常会存在光源(如照明设备、(light-emitting diode,led)广告牌等)。以光源为日光灯为例,日光灯的工作原理是在高压电流的作用下,灯管内的惰性气体放电,放电产生的电子到达日光灯的灯管使得日光灯发光。假设日光灯在50Hz交流电的驱动下工作,50Hz的交流电使得日光灯在1s中频闪100次。也就是说,日光灯频闪一次的时间为0.01s。
电子设备在交流电光源的环境下拍摄图像时,如果电子设备的曝光时间设置不当,拍摄得到的图像可能会出现频闪现象(或描述为banding现象),也就是说,图像可能会出现亮暗交替的条纹,图像的质量大大降低,影响用户的视觉感受,降低用户的拍摄体验。其中,这里的图像可以是指照片或视频中的图像。
举例来说,如图1A所示,目标对象100在某一室内场所用餐,该室内场所包括照明设备,照明设备200位于目标对象100的上方。当用户使用电子设备拍摄包括目标对象100的照片时,用户可以点击如图1B所示的第一拍摄界面上的第一控件110。响应于用户对第一控件110的点击操作,电子设备可以生成相应的照片。或者,当用户使用电子设备拍摄包括目标对象100的视频时,用户可以点击如图1C所示的第二拍摄界面上的第二控件120。响应于用户对第二控件120的点击操作,该电子设备可以生成相应的视频。
当上述照明设备200是在交流电下工作时,上述电子设备所处的拍摄环境存在交流电光源,由于照明设备200可能会出现灯光频闪现象,导致电子设备生成的照片或视频中的图像可能会出现亮暗交替的条纹(如图2所示),从而影响用户的视觉感受。
可以理解的是,电子设备在交流电光源环境下拍摄视频时,拍摄得到的视频中的不同图像上的亮暗条纹可能会出现在相同位置,也可能会出现在不同位置。
需要说明的是,上述图1A所示的照明设备的位置仅为一种示例,也就是图1A所示的交流电光源的位置仅为电子设备所处的拍摄环境存在交流电光源的一种示例。当电子设备拍摄的内容存在交流电光源时,电子设备所处的拍摄环境也存在交流电光源。例如,电子设备拍摄的内容存在led广告牌(如点菜灯箱)时,拍摄得到的图像可能也会出现频闪问题。
针对上述问题,本申请实施例提供了一种图像处理方法。首先,获取电子设备中摄像头拍摄的待处理图像,并确定待处理图像的目标亮度值,然后确定待处理图像对应的拍摄信息,并根据拍摄信息以及目标亮度值确定待处理图像的目标曝光时间,最后将待处理图像的曝光时间调节至目标曝光时间,得到目标图像。也即,通过待处理图像对应的拍摄信息调整的曝光时间,能够消除待处理图像中的频闪问题,以使得目标图像为无频闪问题的图像。
之后,如果用户启动相机应用,电子设备响应于该相机应用的启动操作,可以直接显示该相机应用的可操作界面,并在电子设备的拍摄控件被触发后,电子设备可以采集到无明暗条纹的拍摄图像,解决了图像中的频闪问题,既提高了拍摄图像的清晰度,又提升了用户的视觉体验。
需要说明的是,本申请实施例中的电子设备可以是手机、平板电脑、智能手表、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等包含摄像头的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
示例性的,参见图3A所示,为本申请实施例所提供的一种电子设备300的硬件结构示意图,如图3A所示,电子设备300可以包括处理器310,外部存储器接口320,内部存储器321,通用串行总线(universal serial bus,USB)接口330,充电管理模块340,电源管理模块341,电池342,天线1,天线2,移动通信模块350,无线通信模块360,音频模块370,传感器模块380,按键390,马达391,指示器392,摄像头393、显示屏394以及用户标识模块(subscriber identification module,SIM)卡接口395等。其中,传感器模块380可以包括压力传感器,陀螺仪传感器,气压传感器,磁传感器,加速度传感器,距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器,骨传导传感器等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备300的具体限定。在本申请另一些实施例中,电子设备300可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器310可以包括一个或多个处理单元,例如:处理器310可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备300的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器310中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器310中的存储器为高速缓冲存储器。该存储器可以保存处理器310刚用过或循环使用的指令或数据。如果处理器310需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器310的等待时间,因而提高了系统的效率。
在一些实施例中,处理器310可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备300的结构限定。在本申请另一些实施例中,电子设备300也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块340用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块340可以通过USB接口330接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块340可以通过电子设备300的无线充电线圈接收无线充电输入。充电管理模块340为电池342充电的同时,还可以通过电源管理模块341为电子设备300供电。
电源管理模块341用于连接电池342,充电管理模块340与处理器310。电源管理模块341接收电池342和/或充电管理模块340的输入,为处理器310,内部存储器321,外部存储器,显示屏394,摄像头393等供电。电源管理模块341还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块341也可以设置于处理器310中。在另一些实施例中,电源管理模块341和充电管理模块340也可以设置于同一个器件中。
电子设备300的无线通信功能可以通过天线1,天线2,移动通信模块350,无线通信模块360,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。移动通信模块350可以提供应用在电子设备300上的包括2G/3G/4G/5G等无线通信的解决方案。调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器,受话器等)输出声音信号,或通过显示屏394显示图像或视频。
无线通信模块360可以提供应用在电子设备300上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块360经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器310。无线通信模块360还可以从处理器310接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备300通过GPU,显示屏394,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏394和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器310可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏394用于显示图像,视频等。显示屏394包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备300可以包括1个或N个显示屏394,N为大于1的正整数。
电子设备300可以通过ISP,摄像头393,视频编解码器,GPU,显示屏394以及应用处理器等实现拍摄功能。
ISP用于处理摄像头393反馈的数据。例如,电子设备拍照时,打开快门,光线通过镜头被传递到摄像头感光元件(或称为图像传感器)上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头393中。在一些实施例中,摄像头393包括快门。快门是摄像头中用来控制光线照射感光元件时间的器件。
摄像头393用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备300可以包括1个或N个摄像头393,N为大于1的正整数。
在一些实施例中,摄像头393可以包括镜头,该镜头是用于生成影像的光学部件。
示例性的,上述N个摄像头393可以包括:一个或多个前置摄像头和一个或多个后置摄像头。例如,以上述电子设备300是手机为例。图3B所示的手机包括一个前置摄像头,如前置摄像头10。图3C所示的手机包括三个后置摄像头,如后置摄像头11、12和13。当然,上述手机中摄像头的数量包括但不限于上述实例中所述的数量。
其中,上述N个摄像头393可以包括以下一种或多种摄像头:主摄像头、长焦摄像头、广角摄像头、超广角摄像头、微距摄像头、鱼眼摄像头、红外摄像头、深度摄像头和黑白摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备300在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
外部存储器接口320可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备300的存储能力。外部存储卡通过外部存储器接口320与处理器310通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器321可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器310通过运行存储在内部存储器321的指令,从而执行电子设备300的各种功能应用以及数据处理。内部存储器321可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备300使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器321可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
按键390包括开机键,音量键等。按键390可以是机械按键。也可以是触摸式按键。电子设备300可以接收按键输入,产生与电子设备300的用户设置以及功能控制有关的键信号输入。
马达391可以产生振动提示。马达391可以用于来电振动提示,也可以用于触摸振动反馈。
指示器392可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口395用于连接SIM卡。SIM卡可以通过插入SIM卡接口395,或从SIM卡接口395拔出,实现和电子设备300的接触和分离。电子设备300可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口395可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口395可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口395也可以兼容不同类型的SIM卡。SIM卡接口395也可以兼容外部存储卡。电子设备300通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备300采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备300中,不能和电子设备300分离。
示例性的,上述电子设备300的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备300的软件结构。
图4是本申请实施例的电子设备300的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层(简称应用层),应用程序框架层(简称框架层),安卓运行时(Android runtime)和系统库,以及内核(Kernel)层(或称为驱动层)。
其中,应用程序层可以包括一系列应用程序包。该应用程序层可以包括多个应用程序包。如图4所示,该应用程序包可以为图库,地图,电话,视频,日历,短信息,相机等应用程序。可以理解,相机应用程序可以用于触发电子设备使用摄像头拍摄照片或录制视频。
在拍照模式下,在拍摄图像的取景界面展示底层上报的图像,或者,在录制视频模式下,在录制视频的取景界面展示底层上报的视频流。其中,电子设备200可以包括一个或多个摄像头,每个摄像头都可以用于采集图像,摄像头采集的连续多帧图像可组成视频流。也就是说,上述每个摄像头都可以用于采集视频流。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图4所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备300的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。其中,媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。如图4所示,内核层包括亮度调节模块、自动曝光(automatic exposure,AE)模块、3A统计模块以及频闪检测模块。
其中,亮度调节模块用于对图像进行亮度处理,以在图像过曝时降低图像的亮度,或者,在图像欠爆时提升图像的亮度,最终达到图像亮度的优化调整。可以理解,亮度调节模块是在图像信号处理器ISP的基础上进行运算的。
自动曝光模块用于调节图像的曝光时间,以解决图像中的频闪问题。在一些实施例中,AE模块可以为硬件模块。3A统计模块用于对图像中的特征信息进行统计。示例性的,该特征信息可以包括图像中每个像素点的亮度值。其中,3A指示自动曝光、自动白平衡(automatic white balance,AWB)以及自动对焦(automatic focus,AF)。自动曝光能够自动调节图像的明暗度,以保证所拍摄的图像质量。自动白平衡能够自动调节和还原不同光照下的图像色彩,以保证所拍摄的图像颜色与物体真实的颜色一致。自动聚焦能够自动调节图像的焦距,以保证所拍摄的图像的清晰度。
可以理解,3A统计模块是在处理器310的基础上进行特征统计的。频闪检测模块用于检测拍摄环境的光源信息,该光源信息可以包括光源幅值以及光源频率。
在一些实施例中,电子设备可以通过内核层中的自动曝光模块实现对手机拍摄图像的曝光时间的调节,以去除图像的频闪。如上述图4所示,响应于用户对该电子设备中的相机应用程序的操作,电子设备(或替换描述为相应应用程序)可以执行步骤a,触发摄像头采集图像。并且,可以执行步骤b、触发内核层(如内核层中的频闪检测模块)对拍摄环境进行光源检测,以得到光源信息。示例性的,该光源信息可以包括光源幅值和/或光源频率。用户对该电子设备中的相机应用程序的操作用于触发电子设备拍摄图像,如对上述第一控件110或第二控件120的点击操作。
之后,摄像头可以执行步骤c,向内核层发送拍摄的图像,以使内核层的相关模块可以确定该图像的目标曝光时间,从而将该图像的曝光时间调节至目标曝光时间,避免图像中存在的频闪问题。
本申请实施例的图像处理方法可以用于电子设备拍摄图像的场景中。如电子设备通过电子设备的前置摄像头或后置摄像头拍摄照片或者视频。以下实施例中以该电子设备是手机为例,对本申请实施例的方法进行说明。
本申请实施例提供一种图像处理方法。手机拍摄图像后,手机可以利用该图像对应的拍摄环境的光源情况,确定该图像对应的目标曝光时间。之后,该手机可以将该图像的曝光时间调节至该目标曝光时间,以消除该图像的频闪问题,提高图像质量。示例性的,如图5A所示,该图像处理的方法可以包括步骤S501~S505:
S501,手机获取手机摄像头拍摄的待处理图像。
一种情况下,上述待处理图像可以是手机在拍照模式下拍摄得到的图像。另一种情况下,上述待处理图像可以是手机在视频模式下拍摄的图像。具体的,该视频模式下拍摄的图像可以是在视频拍摄完成后所得到的视频文件中的图像。该视频模式下拍摄的图像也可以是在视频拍摄过程中手机摄像头所采集的图像,使得手机显示的预览图像是不具有亮暗条纹的图像,从而在视频拍摄完成后所得到的视频文件中的图像不存在亮暗条纹。
示例性的,上述摄像头可以是手机的前置摄像头,或后置摄像头。手机拍摄图像所使用的摄像头的数量可以是一个或多个。
示例性的,用户可以使用手机摄像头拍摄不同场景。以拍摄场景为饭店进行举例,拍摄场景可以是包含就餐人员用餐的场景,也可以是包含就餐人员取餐的场景,还可以是无就餐人员的空白场景;以拍摄场景为体育馆进行举例,拍摄场景可以是运动员休息的场景,也可以是运动员打球的场景,还可以是无运动员的空白场景。
S502、手机确定待处理图像的初始亮度值以及目标亮度值。
示例性的,手机可以计算待处理图像中的所有像素点的亮度值的平均值,得到该待处理图像的初始亮度值。
示例性的,在得到待处理图像后,手机可以对待处理图像进行特征统计,得到待处理图像的统计结果。其中,该统计结果可以包括AE统计结果。该AE统计结果可以包括亮度直方图(brightness histogram)和/或亮度区域统计值。
示例性的,亮度直方图,又称为灰度直方图(gray histogram),其是图像灰度级分布的统计,代表着图像的亮度情况。简单地说,灰度直方图就是将图像中所有像素点,按照灰度值的大小,统计其出现的频率。因此,灰度直方图是灰度级的函数,它表示了图像中具有某种灰度级(或描述为亮度)的像素点的个数,也就是反映了图像中某种亮度出现的频率。其中,灰度级表明图像中不同灰度的最大数量。灰度级越大,图像的亮度范围越大。灰度值指的是单个像素点的亮度。灰度值越大表示对应的像素点越亮。
亮度区域统计值表示图像中的各个区域的亮度值。图像被划分成一个或多个区域。其中,一个区域可以包括一个或多个像素点,每个区域对应一个亮度值。可以理解,每个区域所对应的亮度值是指该区域内的所有像素点的亮度平均值。比如,该区域为2*2区域,则可以将该区域的四个像素点之和除以四,得到该区域的亮度值。
之后,手机可以根据AE统计结果,确定待处理图像的初始亮度值以及目标亮度值。具体的,手机可以利用亮度区域统计值,计算待处理图像中每个区域的亮度值的平均值,得到待处理图像的初始亮度值。手机可以根据亮度直方图,确定待处理图像的目标亮度值。如此,可以为后续图像曝光时间的调节以及图像亮度的适配提供了基础,进而保证了图像的画面质量。
其中,上述初始亮度值是待处理图像的当前亮度值。上述待处理图像的目标亮度值为待处理图像所应达到的亮度值。需要说明的,待处理图像的目标亮度值与待处理图像初始亮度值可以是一致的,也可以是不一致的,具体不做限定。
在一示例中,目标亮度值可以是目标亮度区间中的任一亮度值,目标亮度区间是根据实际情况预先确定的,比如,目标亮度区间的最小值可以是极暗环境(如光线强度小于第一设定值)下的亮度值,目标亮度区间的最大值可以是强光环境(如光线强度大于第二设定值)下的亮度值。若初始亮度值处于目标亮度区间内,则说明待处理图像的亮度较合适,因此,该初始亮度值可以为目标亮度值,也就是说待处理图像的亮度无需调整。
若初始亮度值低于目标亮度区间的最小值,则说明待处理图像的亮度较暗,需要提高图像亮度,因此,手机可以从目标亮度区间中选取一个数值,并将其作为目标亮度值,该目标亮度值高于待处理图像的初始亮度值,以提升图像质量。
若初始亮度值高于目标亮度区间的最大值,则说明待处理图像的亮度较亮,需要降低图像亮度,因此,手机可以从目标亮度区间中选取一个数值,并将其作为目标亮度值,该目标亮度值低于待处理图像的初始亮度值,以提升图像质量。
在另一示例中,上述目标亮度值可以是根据拍摄环境的环境亮度以及目标亮度区间确定的。其中,目标亮度区间包括不同环境亮度等级对应的目标亮度值,比如,A等级为强光环境,E等级为极暗环境,可以理解,A等级到E等级为环境亮度逐渐下降所对应的等级顺序。若待处理图像所处的拍摄环境对应的环境亮度为A等级,则手机可以将目标亮度区间中A等级对应的目标亮度确定为目标亮度值。可以理解,拍摄环境的环境亮度可以根据待处理图像中每个像素点对应的像素值进行统计得到的,也就是拍摄环境的环境亮度是根据亮度直方图得到的。
在一些实施例中,上述统计结果还可以包括自动白平衡的统计结果以及自动对焦的统计结果。该自动白平衡的统计结果可用于调节图像的颜色。该自动对焦的统计结果可用于调节图像焦距,以保证图像的清晰度。
S503,手机将待处理图像的初始亮度值调整至目标亮度值,得到第一图像。
具体地,在确定待处理图像的初始亮度值以及目标亮度值后,需要将待处理图像的亮度值由初始亮度值调整至目标亮度值,得到亮度值为目标亮度值的第一图像,避免待处理图像出现过亮或过暗的问题。之后,手机可以调整该第一图像的曝光时间,消除该第一图像的频闪问题,并且由于该第一图像的亮度是合适的,可以避免由于图像过暗导致图像的曝光时间调整过大,从而造成图像过曝的情况发生,提升调节图像的曝光时间的准确度,保证图像质量。
S504,手机获取待处理图像对应的拍摄环境的光源信息。其中,光源信息包括光源幅值。
其中,上述待处理图像对应的拍摄环境表示手机拍摄该待处理图像时所处的环境。该待处理图像对应的拍摄环境的光源信息可以表示手机拍摄该待处理图像时所处的环境中的人造光源情况。
在一些实施例中,手机可以通过手机的摄像头检测拍摄环境的光源情况,得到拍摄环境的光源信息。例如,一般来说,用户启动相机应用程序后,便会拍摄照片或视频。响应于用户对相机应用程序的启动操作,手机可以通过摄像头对手机所处的拍摄环境进行光源检测,得到拍摄环境的光源信息。之后,手机可以响应于用户的第一操作,得到上述待处理图像,该拍摄环境的光源信息便可以为该待处理图像对应的拍摄环境的光源信息。该第一操作用于触发该手机拍摄图像。比如,该第一操作可以为用户对上述第一控件110或第二控件120的点击操作。
又例如,手机的摄像头在拍摄上述待处理图像的过程中,对拍摄环境进行光源检测。如响应于用户的第一操作,手机拍摄待处理图像,并对拍摄环境进行光源检测,得到该待处理图像对应的拍摄环境的光源信息。
示例性的,手机可以获取拍摄环境中的光源能量,并对该光源能量进行采样,以得到采样数据,通过快速傅里叶变换(fast Fourier transform,FFT)对采集数据进行信号转换,也即,将时域信号转换为频谱信号,并对转换后的采样信号(或称为频谱信号)进行信号提取,以得到拍摄环境的光源信息。
其中,上述光源信息可以包括光源幅值。该光源幅值是指在一个周期内,光源瞬时出现的最大绝对值,也即,同一周期内光源的发光强度的最大值。该周期是指该光源使用的交流电的频率所对应的周期,例如交流电的频率为50hz,其对应的周期为0.02s。需要说明的是,图像对应的拍摄环境中的光源所对应的光源幅值决定了该图像的频闪问题的严重程度,如光源幅值越大,图像的频闪问题越严重,也就是说图像中的黑白条纹越明显。
在一些实施例中,上述光源信息还可以包括光源频率。其中,光源频率是指光源每秒发生周期波动的次数,例如,光源频率为50hz。拍摄环境中光源所对应的光源频率可以反映拍摄环境是否存在交流电光源,也就是可以反映在该拍摄环境下拍摄的图像是否存在频闪问题。若拍摄环境的光源频率为零,表明拍摄环境不存在交流电光源,换言之,拍摄环境不存在灯光频闪问题。相应的,在该拍摄环境下拍摄得到的图像也就不会存在频闪问题。如果拍摄环境的光源频率不为零,表明该拍摄环境存在交流电光源,换言之,该拍摄环境可能存在灯光频闪问题。相应的,在该拍摄环境下拍摄得到的图像可能存在频闪问题。
因此,为了避免对图像进行不必要的曝光时间调节,以消除图像的频闪问题,手机可以先利用光源频率确定第一图像是否需要进行曝光时间的调节,如果需要,才确定第一图像的目标曝光时间。如果不需要,可以直接将该第一图像作为目标图像。示例性的,此过程可以包括如图5B所示的S10-S20。
S10、手机判断光源频率是否为零。
本申请实施例中,如果光源频率为零,表明拍摄环境可能不存在交流电光源,或表明在该拍摄环境下拍摄得到的待处理图像不存在频闪问题,因此,手机无需调整该第一图像的曝光时间,该手机可以执行S20。如果光源频率不为零,该待处理图像可能存在频闪问题,因此,手机需要确定该第一图像的目标曝光时间,以供手机利用该目标曝光时间,消除该第一图像的频闪,该手机可以继续执行下文所述的S505。
S20、手机将上述第一图像作为目标图像。
应理解,上述图5A所示的步骤的编号不代表步骤执行的先后顺序。例如,上述S504可以是在S502之前进行的,该S504可以是在S503之前进行的,当然S504也可以是在S503之后进行的,或者是同时进行的,本申请不对其限制。
在一些实施例中,手机可以不对待处理图像的亮度进行调节,如手机不执行上述S503,相应的,手机可以直接对待处理图像的曝光时间进行调节,或者在光源频率为零的情况下,手机可以直接将该第一图像作为目标图像。
S505,手机基于光源幅值以及目标亮度值,确定第一图像的目标曝光时间。
示例性的,S505的过程可以包括,首先,手机可以将目标亮度值输入至自动曝光算法中,该自动曝光算法输出该目标亮度值对应的曝光总量(或称为原始曝光总量,又或称为第一图像的曝光总量)。
可以理解,原始曝光总量是根据原始曝光时间以及原始增益值确定的。具体地,原始曝光总量为原始曝光时间与原始增益值之间的乘积,也就是说,原始曝光时间是基于原始曝光总量确定的。
其中,曝光时间表示将光投射到照相感光材料的感光面上,摄像头的快门所需打开的时间。相应的,该原始曝光时间可以表示手机得到亮度为目标亮度值的图像时,快门所需打开的时间。曝光时间的长短可以决定图像的亮度,曝光时间越长,摄像头拍摄得到的图像越亮,也就是说图像亮度值越大。曝光时间越短,摄像头拍摄得到的图像越暗,也就是说图像亮度值越小。
具体地,手机可以根据原始曝光总量以及预设曝光表,确定原始曝光时间。示例性的,手机根据原始曝光总量,从该预设曝光表中确定目标曝光总量范围。其中,该预设曝光表中的曝光时间是光源能量周期的整数倍。原始曝光总量处于该目标曝光总量范围中。
示例性的,手机可以从预设曝光表中查找该原始曝光总量所属的曝光总量范围,并将查找的曝光总量范围作为候选曝光总量范围。在该候选曝光总量范围的数量等于1的情况下,手机可以直接将该候选曝光总量范围确定为目标曝光总量范围;在该候选曝光总量范围的数量大于1的情况下,手机可以根据候选曝光总量范围对应的曝光时间,确定目标曝光总量范围。其中,目标曝光总量范围为最小曝光时间所对应的候选曝光总量范围。
具体的,手机在确定目标曝光总量范围后,手机可以判断该原始曝光总量是否小于预设曝光总量,其中,预设曝光总量为目标曝光总量范围对应的曝光时间与最小增益值之间的乘积。
在该原始曝光总量小于预设曝光总量的情况下,计算该原始曝光总量与最小增益值之间的比值,得到该目标亮度值对应的曝光时间(或称为原始曝光时间);在该原始曝光总量大于或等于预设曝光总量的情况下,将该目标曝光总量范围所对应的曝光时间确定为原始曝光时间。
其中,该预设曝光表中包括至少一个曝光时间、该至少一个曝光时间中的各个曝光时间对应的增益值以及对应的曝光总量范围,该各个曝光时间为光源能量周期的整数倍,比如,若光源能量周期为10ms,则曝光时间可以为10ms、20ms、30ms等。示例性的,如表1所示,曝光时间10ms对应的增益值为1,相应的,与该曝光时间10ms和该增益值1对应的曝光总量范围可以是0-10;曝光时间10ms对应的增益值为4,相应的,与该曝光时间10ms和该增益值4对应的曝光总量范围可以是10-40;曝光时间20ms对应的增益值为8,相应的,与该曝光时间20ms和该增益值8对应的曝光总量范围可以是20-160;曝光时间30ms对应的增益值为16,相应的,与该曝光时间30ms和该增益值16对应的曝光总量范围可以是30-480。也就是说,该表1对应的曝光总量范围可以包括0-10、10-40、20-160和30-480。可以理解,曝光总量越大,图像越亮;曝光总量越小,图像越暗。
需要说明的是,本实施方式中,最小增益值为1,也就是说,通过曝光时间与该曝光时间对应的增益值的乘积,得到的最小曝光总量一定为该曝光时间与增益值为1时的乘积,因此,可以确定该曝光时间10ms和该增益值4对应的最小曝光总量为10;该曝光时间20ms和该增益值8对应的最小曝光总量为20;该曝光时间30ms和该增益值8对应的最小曝光总量为30。另外,由于曝光总量可能出现小于10的情况,因此,可以将与该曝光时间10ms和该增益值1对应的最小曝光总量确定为0,以便于后续确定原始曝光时间。
表1
曝光时间 | 增益值 | 曝光总量范围 |
10ms | 1 | 0-10 |
10ms | 4 | 10-40 |
20ms | 8 | 20-160 |
30ms | 16 | 30-480 |
在一示例中,以原始曝光总量为8为例,根据上述表1可知,原始曝光总量8对应的候选曝光总量范围为0-10,也就是说,候选曝光总量范围的数量为1,则可以确定该候选曝光总量范围0-10为目标曝光总量范围。由于原始曝光总量8小于该目标曝光总量范围对应的曝光时间10ms,因此,需要确定原始曝光总量8与该目标曝光总量范围对应的增益值1之间的比值(8/1),得到原始曝光时间为8ms。可以理解,由于增益值最小可以取1,也就是说,若原始曝光总量小于曝光时间10ms与最小增益值1之间的乘积(10),则该图像的原始增益值为1,因此,该图像的原始曝光时间只能为8ms。
在一示例中,以原始曝光总量为45为例,根据上述表1可知,原始曝光总量45对应的候选曝光总量范围为20-160,也就是说,候选曝光总量范围的数量为1,则可以确定该候选曝光总量范围20-160为目标曝光总量范围。由于原始曝光总量45大于该目标曝光总量范围对应的曝光时间20ms,因此,可以将该目标曝光总量范围对应的曝光时间20ms确定为原始曝光时间,也就是说,原始曝光时间为20ms。
在另一示例中,以原始曝光总量为30为例,根据上述表1可知,原始曝光总量30对应的候选曝光总量范围为10-40和20-160,也就是说,候选曝光总量范围的数量为2,则需要确定候选曝光总量范围10-40对应的曝光时间为10ms,以及候选曝光总量范围20-160对应的曝光时间为20ms,因此,可以将上述候选曝光总量范围对应的曝光时间10ms作为原始曝光时间。如此,可以减少图像过曝的情况发生,提升图像质量。
需要说明的是,光源能量周期相当于光源频闪一次所需要的时间,如果图像的曝光时间小于光源频闪一次所需要的时间,就会导致图像的亮度不同,也即,图像会出现亮暗条纹的波动。而若图像的曝光时间为光源能量周期的整数倍,也就说明图像的曝光时间与光源频闪时间是整数倍的关系,这样,通过手机进行拍摄得到的图像的亮度是相同的,也即,该图像不会出现频闪问题。
具体的,在原始曝光时间大于或等于上述光源能量周期的情况下,上述第一图像中就不会存在频闪现象;在原始曝光时间小于上述光源能量周期的情况下,上述第一图像中存在频闪现象,则可以根据上述拍摄环境的光源幅值,调整原始曝光时间,以消除图像中的频闪现象,提升图像质量。
具体如何调整原始曝光时间将在下文进行详细说明。
因此,在得到上述第一图像对应的原始曝光时间后,手机可以确定原始曝光时间是否小于手机摄像头的光源能量周期。其中,光源能量周期为手机摄像头的光源的交流电周期的0.5倍。可以理解,交流电周期是根据交流电频率确定的。交流电频率是指交流电在单位时间内周期性变化的次数。示例性的,比如,若交流电频率为50Hz,交流电周期为20ms,则该光源能量周期为10ms。
示例性的,上述手机摄像头的光源能量周期T可以根据如下公式计算:T=1/(h*2),其中,h为手机摄像头的光源的交流电频率。例如,交流电频率为50Hz,光源能量周期T=1/(50*2)秒=1/100秒。又例如,交流电频率为60Hz,光源能量周期T=1/(60*2)秒=1/120秒。
在第一图像的原始曝光时间小于光源能量周期的情况下,手机可以先利用上述拍摄环境的光源幅值,确定第一图像的标准曝光时间,以供利用标准曝光时间确定目标曝光时间。其中,标准曝光时间为第一图像不存在频闪所对应的临界曝光时间,也就是说,基于标准曝光时间得到的图像不存在频闪问题。
在一些实施例中,上述第一图像的标准曝光时间可以通过第一标准曝光时间与第一光源幅值之间的映射关系确定。也就是说,手机可以基于第一标准曝光时间与第一光源幅值之间的映射关系,查找上述拍摄环境的光源幅值所对应的第一标准曝光时间,并将该拍摄环境的光源幅值所对应的第一标准曝光时间作为该第一图像的标准曝光时间。示例性的,结合图6所示,若第一光源幅值为1,则标准曝光时间为4ms,也就是说,如果拍摄环境对应的光源幅值为1,那么该第一图像的标准曝光时间可以为4ms。若第一光源幅值为6,则标准曝光时间为8ms,也就是说,如果拍摄环境对应的光源幅值为6,那么该第一图像的标准曝光时间可以为8ms。
可以理解,图6所示的折线上的点所对应的曝光时间为标准曝光时间,由于曝光时间越长,图像越亮,在图像的曝光时间为标准曝光时间时,该图像的频闪会被消除,那么当图像的曝光时间大于该标准曝光时间时,该图像更不会出现频闪问题。当图像的曝光时间小于该标准曝光时间时,该图像的频闪可能依旧存在。也就是说,位于折线上方的点所对应的曝光时间,会消除图像频闪现象,而位于折线下方的点所对应的曝光时间,仍会导致图像出现频闪现象。
需要说明的是,上述图6所示的第一标准曝光时间与第一光源幅值之间的映射关系是以拍摄环境对应的光源频率为50Hz进行绘制说明的,其仅为一种示例,当光源频率为其它数值时,第一光源幅值与第一标准曝光时间之间的映射关系可能会发生变化,本申请不对其进行限制。
之后,在确定标准曝光时间后,手机可以利用标准曝光时间以及原始曝光时间,确定第一图像的目标曝光时间。示例性的,若原始曝光时间小于标准曝光时间,表明第一图像存在频闪现象,也就是说,上述待处理图像存在频闪现象,手机可以将第一图像的曝光时间由原始曝光时间调整至标准曝光时间,这里该标准曝光时间便为上述目标曝光时间,从而在图像出现频闪问题时通过及时调整图像的曝光时间,以解决图像的频闪问题,提升图像的画面质量,进而提升了用户的视觉体验。
若原始曝光时间大于或等于标准曝光时间,表明上述待处理图像第一图像不存在频闪问题,也就是说上述待处理图像不存在频闪问题,因此,手机无需调节第一图像的曝光时间,该第一图像的原始曝光时间为第一图像的目标曝光时间,从而避免进行不必要的曝光时间的调节,减少资源的浪费。
在一些实施例中,在原始曝光时间小于标准曝光时间的情况下,如果手机直接将标准曝光时间作为目标曝光时间,也就是手机将第一图像的曝光时间由原始曝光时间调节至标准曝光时间,可能会使调节后的图像出现过曝问题。因此,为了保证图像质量,手机可以先确定原始曝光时间的放大倍数,以供利用该放大倍数确定目标曝光时间,从而在基于目标曝光时间调节图像时,可以避免调节后的图像出现过曝问题。
示例性的,图像的放大倍数表示能够消除待处理图像的频闪所对应的曝光时间的最小提升倍数。手机可以基于手机摄像头的光源能量周期以及图像(如上述第一图像)的原始曝光时间,确定该原始曝光时间的放大倍数。下面将以第一图像为例,介绍两种基于手机摄像头的光源能量周期以及图像原始曝光时间确定放大倍数的可能的实现方式。
在一种实现方式中,手机可以将光源能量周期与原始曝光时间相除,得到初始倍数,并将初始倍数直接确定为放大倍数。
在另一种实现方式中,手机可以基于待处理图像对应的拍摄模式,确定原始曝光时间的最大调节倍数,进而根据光源能量周期、原始曝光时间以及最大调节倍数,确定原始曝光时间的放大倍数。
具体地,首先,手机确定上述第一图像对应的拍摄模式,也就是上述待处理图像对应的拍摄模式。其中,待处理图像拍摄模式包括拍照模式以及录像模式(或描述为拍摄视频模式)。例如,该待处理图像是手机响应于用户的第二操作拍摄得到的,该第二操作用于触发手机拍照。该第二操作可以为用户对上述第一控件110的点击操作。那么该待处理图像对应的拍摄模式可以是拍照模式。又例如,该待处理图像是手机响应于用户的第三操作拍摄得到的,该第三操作用于触发手机拍摄视频。该第三操作可以为用户对上述第二控件120的点击操作。那么该待处理图像对应的拍摄模式可以是录像模式。
之后,手机可以确定与待处理图像对应的拍摄模式所对应的预设曝光时间的最大调节量,得到上述第一图像的原始曝光时间的最大调节倍数。其中,预设曝光时间的最大调节量是根据图像的待处理图像拍摄模式预先设置好的。比如,待处理图像录像模式对应的曝光时间的最大调节量为1.5EV;待处理图像拍摄模式对应的曝光时间的最大调节量为1EV。
可以理解,由于视频是由多帧图像组成的,视频的频闪问题相比于单帧图像会更明显,因此,录像模式对应的图像的曝光时间的最大调节量高于拍照模式对应的图像的曝光时间的最大调节量。
然后,在确定原始曝光时间的最大调节量后,手机可以根据该最大调节量,确定原始曝光时间的最大调节倍数。其中,最大调节倍数是指图像的曝光时间能够调节的最大倍数。可以理解,通过最大调节倍数可以限制曝光时间的调节值(或描述为调节程度),如果图像的曝光时间的调节程度过大(如从10ms调整至30ms),图像过曝情况发生的概率会提高。
如果曝光时间的调节程度过小(如从10ms调整至12ms),图像的频闪问题可能仍无法消除。因此,为了消除图像中存在的频闪问题,手机需要多次调节曝光时间,曝光时间调节效率较低,浪费调整时间以及调整成本,进而引发了不必要的资源浪费。因此,通过确定最大调节倍数,可以在节约资源的同时保证图像质量。
在一种可能的实施方式中,上述原始曝光时间的最大调节倍数的计算公式如下公式二所示:
maxRatio=2ev 公式二
其中,maxRatio为原始曝光时间的最大调节倍数;ev为原始曝光时间的最大调节量。示例性的,若原始曝光时间的最大调节量为1,则可以确定原始曝光时间的最大调节倍数为2。
最后,手机在确定最大调节倍数后,可以根据上述拍摄环境的光源能量周期、原始曝光时间以及最大调节倍数,确定原始曝光时间的放大倍数。示例性的,手机可以计算光源能量周期与原始曝光时间之间的比值,得到初始倍数。在确定初始倍数后,手机可以将初始倍数以及最大倍数中的最小值作为原始曝光时间的放大倍数。如此,可以提升放大倍数确定的准确度,不仅可以减少因曝光时间调节过大而造成图像文件过曝的情况发生,还可以减少因曝光时间调节过小而造成资源浪费的情况发生,提升了图像文件的画面质量。
示例性的,上述放大倍数可以通过如下所示的公式一计算:
ratio=min(光源能量周期/initialExpo,maxRatio)公式一
其中,ratio为放大倍数;min()为最小值函数;initialExpo为原始曝光时间;maxRatio为原始曝光时间的最大调节倍数。示例性的,以光源能量周期为10ms、原始曝光时间为4ms,且待处理图像对应的拍摄模式为拍照模式,且拍照模式对应的最大调节量为1为例,手机根据光源能量周期以及原始曝光时间,可以确定初始倍数为10/4=2.5。结合上述公式二,最大调节量为1的情况下,最大调节倍数为2。手机通过将该初始倍数(即2.5)以及最大调节倍数(即2)进行比较,可以确定最大调节倍数小于初始倍数,因此,可以确定放大倍数为2。
上面介绍了手机确定原始曝光时间的放大倍数的确定过程,下面将继续介绍利用该原始曝光时间的放大倍数确定上述第一图像的目标曝光时间的过程。
在得到第一图像的原始曝光时间的放大倍数后,手机可以基于放大倍数以及原始曝光时间,确定第一图像的预期曝光时间。示例性的,手机可以计算放大倍数与原始曝光时间之间的乘积,得到第一图像的预期曝光时间。其中,预期曝光时间是指预计能够使该图像不出现频闪问题所对应的曝光时间。
在一种可能的实施方式中,上述预期曝光时间的计算公式如下公式三所示:
preExpo=initialExpo*ratio公式三
其中,preExpo为预期曝光时间;initialExpo为原始曝光时间;ratio为放大倍数。示例性的,若原始曝光时间为5ms,且放大倍数为2,则可以确定预期曝光时间为10ms。
之后,手机可以从上述第一图像的预期曝光时间、标准曝光时间以及原始曝光时间中确定第一图像的目标曝光时间。示例性的,手机可以将预期曝光时间以及该标准曝光时间中的最小值作为第一曝光时间。应理解,无论是将第一图像的曝光时间调节至标准曝光时间还是预期曝光时间,调节后的图像均不存在频闪问题。
之后,手机可以将第一曝光时间以及原始曝光时间中的最大值作为目标曝光时间。
在一种可能的实施方式中,目标曝光时间的计算公式如下公式四所示:
finalExpo=max(min(preExpo,minExpoLimit),initialExpo)公式四
其中,finalExpo为目标曝光时间;max()为最大值函数;min()为最小值函数;preExpo为预期曝光时间;minExpoLimit为标准曝光时间;initialExpo为原始曝光时间。
在一示例中,若预期曝光时间为10ms、标准曝光时间为4ms,且原始曝光时间为5ms,则根据预期曝光时间以及标准曝光时间,手机可以确定第一曝光时间为4ms。之后,手机可以根据第一曝光时间以及原始曝光时间,确定目标曝光时间为5ms。也即,在标准曝光时间为4ms时,图像已经不会出现频闪问题,由于曝光时间越长,图像越亮,图像可能出现过曝的情况,因此图像在曝光时间为4ms时不存在频闪问题的情况下,当图像的原始曝光时间为5ms时,图像同样不存在频闪问题,因此,手机无需对图像的原始曝光时间进行调节。如此,可以减少不必要的资源浪费。
在另一示例中,若预期曝光时间为10ms、标准曝光时间为6ms,且原始曝光时间为5ms,则根据预期曝光时间以及标准曝光时间,手机可以确定第一曝光时间为6ms。之后,手机可以根据第一曝光时间以及原始曝光时间,确定目标曝光时间为6ms。也即,在标准曝光时间为6ms时,图像已经不会出现频闪问题,由于图像的原始曝光时间5ms比标准曝光时间6ms低,说明待处理图像存在频闪问题,因此,确定标准曝光时间为目标曝光时间,也即,目标曝光时间为6ms。如此,可以解决图像中存在的频闪问题。
可以理解,在第一图像的原始曝光时间大于或等于光源能量周期的情况下,说明该第一图像不存在频闪问题,也就是待处理图像中不存在频闪问题,因此,无需手机对原始曝光时间进行调节,也就是无需进行上述确定第一图像的目标曝光时间的过程,如无需执行上述S505以及下文所述的S506。
S506,手机将上述第一图像的曝光时间由原始曝光时间调节至目标曝光时间,得到目标图像。
在一种可能的实施方式中,随着曝光时间的增加,图像的亮度也会增加。因此,在将第一图像的原始曝光时间调节至目标曝光时间后,调节后的第一图像(或称为第二图像)的亮度值可能不再为目标亮度值,其可能会大于目标亮度值。例如,在原始曝光时间小于目标曝光时间的情况下,在将第一图像的曝光时间由原始曝光时间调节至目标曝光时间后,增加了第一图像的曝光时间,调节后的第一图像的亮度可能会大于目标亮度值,因此,为了避免调节后的第一图像过亮,也就是为了避免调节后的图像出现过曝,手机可以对第二图像的亮度值进行调节,将其调节至目标亮度值。
示例性的,上述对第二图像的亮度值进行调节的过程可以包括:首先,手机可以将目标曝光时间与原始曝光时间相除,得到目标倍数。其中,目标倍数用于指示目标曝光时间相比于原始曝光时间的调整程度。
在一种可能的实施方式中,目标倍数的计算公式如下公式五所示:
finalRatio=finalExpo/initialExpo公式五
其中,finalRatio为目标倍数,finalExpo为目标曝光时间;initialExpo为原始曝光时间。例如,若目标曝光时间为10ms,且原始曝光时间为5ms,则可以确定目标倍数为2。
之后,手机可以根据目标倍数,确定摄像头的目标增益值。目标增益值可用于调整图像的亮度,以使图像达到某个亮度。
在一种可能的实施方式中,目标增益值的计算公式如下公式六所示:
gain=1.0/finalRatio公式六
其中,gain为目标增益值;finalRatio为目标倍数。示例性的,若目标倍数为1,则可以确定目标增益值为1;若目标倍数为2,则可以确定增益值为0.5。
相应的,在确定摄像头的目标增益值后,手机可以根据摄像头的目标增益值,将第二图像进行亮度还原,以得到目标图像。其中,目标图像的亮度值为目标亮度值。
具体的,如图7所示的关系示意图用于表征输入亮度与输出亮度之间的关系。其中,输入亮度是指调节后的第一图像的亮度(即第二图像的亮度),输出亮度是指目标图像的亮度。可以理解,增益值为图7所示的直线或曲线的斜率。如此,通过增益值调节图像亮度,可以在解决频闪问题的同时,减少了目标图像的过曝情况发生的概率。
需要说明的是,图像亮度的调整过程和图像的目标曝光时间的确定过程可以是并行进行的。也就是说,手机在拍摄得到图像后,可以同时执行两个任务。一个任务是对图像的亮度进行调整。另一个任务是确定图像的目标曝光时间。在图像亮度调整完成后,手机可以将该调整后的图像(如上述第一图像)的曝光时间调节至目标曝光时间,从而实现图像的快速处理。
在一些实施例中,手机在确定待处理图像的目标亮度值后,可以直接根据获取到的待处理图像对应的拍摄信息以及该目标亮度值,确定待处理图像的目标曝光时间。之后,手机可以将待处理图像的曝光时间调节至目标曝光时间。
其中,手机确定待处理图像的目标曝光图像与上述手机确定第一图像的目标曝光时间的过程类似,此处不再对其赘述。
在该实施例中,可选的,手机在待处理图像的曝光时间调节至目标曝光时间后,可以继续对调节后的待处理图像进行亮度调节,也就是将调节后的待处理图像的亮度调节至目标亮度值。
在一些实施例中,手机在将上述第一图像的曝光时间由原始曝光时间调节至目标曝光时间后,可以直接将调节后的第一图像确定为目标图像,也就是不对调节后的第一图像进行亮度调节。
下面将结合上述图4所示的结构,介绍手机中的相关模块如何调整手机摄像头拍摄的图像的曝光时间以消除该图像中的频闪现象的过程。如图8所示,该过程如下:
首先,在需要拍摄图像时,摄像头(或称为图像传感器)可以执行S801、响应于用户的第一操作,拍摄待处理图像。以及频闪检测模块可以执行S802、响应于用户的第一操作,对拍摄环境的光源进行检测,以得到拍摄环境的光源信息。其中,光源信息可以包括光源幅值。
在得到拍摄环境的光源信息后,上述频闪检测模块还可以执行S803、将上述拍摄环境的光源信息发送至AE模块。同时,上述摄像头可以执行S804、将待处理图像发送至亮度调节模块以及3A统计模块。
之后,该3A统计模块可以执行S805、对待处理图像进行特征统计,得到AE统计结果。之后,该3A统计模块还可以执行S806、将AE统计结果发送至AE模块。之后,AE模块可以执行S807、根据AE统计结果,确定待处理图像的初始亮度值以及目标亮度值。之后,AE模块还可以执行S808、将待处理图像的初始亮度值以及目标亮度值发送至亮度调节模块。然后,亮度调节模块可以执行S809、将待处理图像的初始亮度值调整至目标亮度值,得到第一图像。
在得到目标亮度值后,上述AE模块还可以执行S810、将目标亮度值输入至AE算法中,得到第一图像的曝光总量。之后,该AE模块可以执行S811、根据该第一图像的曝光总量,结合预设曝光表,确定原始曝光时间。之后,该AE模块可以执行S812、根据上述拍摄环境的光源信息以及原始曝光时间,得到第一图像的目标曝光时间。也就是得到待处理图像的目标曝光时间。
在得到第一图像的目标曝光时间后,AE模块可以执行S813、将第一图像的曝光时间调节至目标曝光时间,得到第二图像(该图像是无频闪问题的),但该图像的亮度可能发生改变,也即,可能出现过曝或者欠曝问题,因此,AE模块可以执行S814、将第二图像发送至亮度调节模块。之后,亮度调节模块可以执行S815、将第二图像进行亮度还原,得到目标图像。如此,该目标图像既不存在频闪问题,又可以使该目标图像的亮度为目标亮度值,从而不会导致目标图像出现过曝或者欠曝问题。
在一些实施例中,考虑到用户在一个拍摄环境中,可能会进行多次拍摄。手机还可以通过调节摄像头的曝光时间,使得调节后的摄像头在相同的拍摄环境下采集的图像不会出现频闪问题。示例性的,该AE模块可以执行S816、将上述目标曝光时间发送至摄像头。之后,摄像头可以执行S817、将摄像头的曝光时间调节至目标曝光时间,从而在上述待处理图像对应的拍摄环境中继续拍摄图像时,摄像头采集的图像(如预览图像或拍摄得到的图像)不会出现频闪问题。
在一些实施例中,通过调节拍摄环境中光源的光源亮度以及光源频率举例说明在该拍摄环境下拍摄得到的图像是否采用了本申请所公开的方法。首先,用户可以将光源频率调节至0Hz,然后不断调节光源的亮度并进行拍摄,得到不同亮度的图像。该不同亮度的图像所对应的曝光时间位于4ms~6ms之间,且原始增益值为1。可以理解是,曝光时间在4ms~6ms之间所对应的图像亮度较为合适,不会出现较暗或者较亮的情况。之后将光源频率调节至50Hz(光源能量周期为100Hz),拍照并查看当前图像的曝光时间,确定当前图像的曝光时间是否发生改变,以及图像是否变亮。可以理解,若曝光时间变大,且图像亮度未发生改变,则可以说明该方案既解决了图像中的频闪现象,也减少了图像过曝或者欠曝情况发生的概率。
本申请实施例还提供一种计算机可读存储介质,该计算机存储介质包括计算机指令,当计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中的各个功能或者步骤。
本申请实施例还提供一种计算机程序产品,包括计算机程序,当计算机程序在电子设备上运行时,使得电子设备执行上述方法实施例中的各个功能或者步骤。
本申请实施例提供一种芯片,所述芯片用于执行指令,当所述芯片运行时,执行上述实施例中的技术方案。其实现原理和技术效果类似,此处不再赘述。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD))、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
应理解,说明书通篇中提到的“实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各个实施例未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
还应理解,在本申请中,“当…时”、“若”以及“如果”均指在某种客观情况下UE或者基站会做出相应的处理,并非是限定时间,且也不要求UE或基站实现时一定要有判断的动作,也不意味着存在其它限定。
本领域普通技术人员可以理解:本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分,并不用来限制本申请实施例的范围,也表示先后顺序。
本申请中对于使用单数表示的元素旨在用于表示“一个或多个”,而并非表示“一个且仅一个”,除非有特别说明。本申请中,在没有特别说明的情况下,“至少一个”旨在用于表示“一个或者多个”,“多个”旨在用于表示“两个或两个以上”。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A可以是单数或者复数,B可以是单数或者复数。
本文中术语“……中的至少一个”或“……中的至少一种”,表示所列出的各项的全部或任意组合,例如,“A、B和C中的至少一种”,可以表示:单独存在A,单独存在B,单独存在C,同时存在A和B,同时存在B和C,同时存在A、B和C这六种情况,其中A可以是单数或者复数,B可以是单数或者复数,C可以是单数或者复数。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请中各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中,如果没有特殊说明以及逻辑冲突,不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用,不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以上所述的本申请实施方式并不构成对本申请保护范围的限定。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
电子设备获取所述电子设备中摄像头拍摄的待处理图像以及所述待处理图像的目标亮度值;其中,所述目标亮度值表示所述待处理图像所应达到的亮度;
所述电子设备基于所述待处理图像对应的拍摄信息,结合所述目标亮度值,确定所述待处理图像的目标曝光时间;其中,所述拍摄信息包括拍摄环境的光源信息;所述光源信息包括光源幅值,所述光源幅值用于确定所述待处理图像的曝光时间的调整程度;
所述电子设备将所述待处理图像的曝光时间调节至所述目标曝光时间,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述光源信息还包括光源频率,所述基于所述待处理图像对应的拍摄信息,结合所述目标亮度值,确定所述待处理图像的目标曝光时间,包括:
在所述光源频率不为零的情况下,基于所述光源幅值,结合所述目标亮度值,确定所述待处理图像的目标曝光时间。
3.根据权利要求1或2所述的方法,其特征在于,所述拍摄信息还包括所述拍摄环境的光源能量周期;所述基于所述待处理图像对应的拍摄信息,结合所述目标亮度值,确定所述待处理图像的目标曝光时间,包括:
所述电子设备利用原始曝光总量,结合预设曝光表,确定所述待处理图像的原始曝光时间;所述原始曝光总量是将目标亮度值输入至自动曝光算法中得到的,所述待处理图像的原始曝光时间表示在待处理图像的亮度值为所述目标亮度值时,所述待处理图像的曝光时间;
在所述原始曝光时间小于所述光源能量周期的情况下,所述电子设备基于所述光源幅值和所述原始曝光时间,确定所述待处理图像的目标曝光时间。
4.根据权利要求3所述的方法,其特征在于,所述基于所述光源幅值和所述原始曝光时间,确定所述待处理图像的目标曝光时间,包括:
所述电子设备利用所述光源幅值,确定所述待处理图像的标准曝光时间,其中,所述标准曝光时间为所述待处理图像不存在频闪所对应的临界曝光时间;
所述电子设备根据所述标准曝光时间和所述原始曝光时间,确定所述待处理图像的目标曝光时间。
5.根据权利要求4所述的方法,其特征在于,所述电子设备根据所述标准曝光时间和所述原始曝光时间,确定所述待处理图像的目标曝光时间,包括:
在所述原始曝光时间小于所述标准曝光时间的情况下,所述目标曝光时间为所述光源幅值对应的标准曝光时间;
在所述原始曝光时间大于或者等于所述标准曝光时间的情况下,所述目标曝光时间为所述原始曝光时间。
6.根据权利要求4所述的方法,其特征在于,所述电子设备根据所述标准曝光时间和所述原始曝光时间,确定所述待处理图像的目标曝光时间,包括:
所述电子设备基于所述光源能量周期以及所述原始曝光时间,确定所述原始曝光时间的放大倍数;其中,所述放大倍数表示能够消除所述待处理图像的频闪所对应的曝光时间的最小提升倍数;
所述电子设备将所述放大倍数与所述原始曝光时间之间的乘积作为所述待处理图像的预期曝光时间;
所述电子设备从所述预期曝光时间、所述标准曝光时间和所述原始曝光时间中确定所述待处理图像的目标曝光时间。
7.根据权利要求6所述的方法,其特征在于,所述原始曝光时间的放大倍数通过如下公式一确定:
ratio=min(光源能量周期/initialExpo,maxRatio),公式一;
其中,所述ratio为所述原始曝光时间的放大倍数,所述initialExpo为所述原始曝光时间,所述maxRatio为所述原始曝光时间的最大调节倍数,所述最大调节倍数是指所述待处理图像的曝光时间能够增大的最大倍数;
所述maxRatio可以通过公式二确定:
maxRatio=2ev,公式二;
其中,所述ev为所述原始曝光时间的最大调节量,所述最大调节量是基于所述待处理图像对应的拍摄模式确定的,所述拍摄模式包括拍照模式以及录像模式。
8.根据权利要求6所述的方法,其特征在于,所述电子设备从所述预期曝光时间、所述标准曝光时间和所述原始曝光时间中确定所述待处理图像的目标曝光时间,包括:
所述电子设备将所述预期曝光时间以及所述标准曝光时间中的最小值作为第一曝光时间;
将所述第一曝光时间以及所述原始曝光时间中的最大值作为所述待处理图像的目标曝光时间。
9.根据权利要求1至8中任一项所述的方法,其特征在于,所述将所述待处理图像的曝光时间调节至所述目标曝光时间,得到目标图像,包括:
所述电子设备将所述待处理图像对应的第一图像的曝光时间调节至所述目标曝光时间,得到第二图像;所述第一图像是将所述待处理图像的亮度值调节至所述目标亮度值得到的图像;
所述电子设备计算所述目标曝光时间与所述原始曝光时间之间的比值,得到所述摄像头的目标增益值;
基于所述摄像头的目标增益值,对所述第二图像进行亮度还原,得到所述目标图像,所述目标图像的亮度值为所述目标亮度值。
10.一种电子设备,其特征在于,所述电子设备包括显示屏、摄像头、存储器和一个或多个处理器;所述显示屏、所述摄像头、所述存储器和所述处理器耦合;所述摄像头用于采集图像,所述显示屏用于显示所述处理器生成的图像以及所述摄像头采集的图像,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1至9中任一项所述的方法。
11.一种计算机可读存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310206843.6A CN117135467A (zh) | 2023-02-23 | 2023-02-23 | 图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310206843.6A CN117135467A (zh) | 2023-02-23 | 2023-02-23 | 图像处理方法及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117135467A true CN117135467A (zh) | 2023-11-28 |
Family
ID=88849699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310206843.6A Pending CN117135467A (zh) | 2023-02-23 | 2023-02-23 | 图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117135467A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459711A (zh) * | 2023-12-21 | 2024-01-26 | 苏州镁伽科技有限公司 | 一种曝光时间校准方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060152598A1 (en) * | 2005-01-13 | 2006-07-13 | Masahiro Kawarada | Electronic still camera, image capturing method, program, and storage medium |
CN108702459A (zh) * | 2017-05-18 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种用于相机的自动曝光方法和装置 |
CN112565636A (zh) * | 2020-12-01 | 2021-03-26 | 影石创新科技股份有限公司 | 图像处理方法、装置、设备和存储介质 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
CN113596345A (zh) * | 2021-08-09 | 2021-11-02 | 荣耀终端有限公司 | 参数的调整方法、显示的控制方法、电子设备及介质 |
-
2023
- 2023-02-23 CN CN202310206843.6A patent/CN117135467A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060152598A1 (en) * | 2005-01-13 | 2006-07-13 | Masahiro Kawarada | Electronic still camera, image capturing method, program, and storage medium |
CN108702459A (zh) * | 2017-05-18 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 一种用于相机的自动曝光方法和装置 |
CN112565636A (zh) * | 2020-12-01 | 2021-03-26 | 影石创新科技股份有限公司 | 图像处理方法、装置、设备和存储介质 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
CN113596345A (zh) * | 2021-08-09 | 2021-11-02 | 荣耀终端有限公司 | 参数的调整方法、显示的控制方法、电子设备及介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459711A (zh) * | 2023-12-21 | 2024-01-26 | 苏州镁伽科技有限公司 | 一种曝光时间校准方法、装置、设备及存储介质 |
CN117459711B (zh) * | 2023-12-21 | 2024-03-19 | 苏州镁伽科技有限公司 | 一种曝光时间校准方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114679537B (zh) | 一种拍摄方法及终端 | |
JP5730439B2 (ja) | 画像表示装置、撮影装置、画像表示システム及び方法 | |
CN114095666B (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
CN116055897B (zh) | 拍照方法及其相关设备 | |
CN115604572B (zh) | 图像的获取方法、电子设备及计算机可读存储介质 | |
CN116996762B (zh) | 一种自动曝光方法、电子设备及计算机可读存储介质 | |
US20230388658A1 (en) | Photographing method from plurality of artificial light sources and related apparatus | |
CN117135467A (zh) | 图像处理方法及电子设备 | |
CN117079596B (zh) | 屏幕亮度调节方法、终端设备及存储介质 | |
CN117061861B (zh) | 一种拍摄方法、芯片系统和电子设备 | |
CN115442517B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
CN117135257A (zh) | 一种图像显示方法及电子设备 | |
US20230412929A1 (en) | Photographing Method and Related Apparatus | |
CN116709018B (zh) | 一种变焦条分割方法及电子设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116055855B (zh) | 图像处理方法及其相关设备 | |
CN117135468B (zh) | 图像处理方法及电子设备 | |
CN116055872B (zh) | 图像获取方法、电子设备和计算机可读存储介质 | |
CN116074624B (zh) | 一种对焦方法和装置 | |
CN116017138B (zh) | 测光控件显示方法、计算机设备和存储介质 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |