CN117750190B - 一种图像处理方法及电子设备 - Google Patents
一种图像处理方法及电子设备 Download PDFInfo
- Publication number
- CN117750190B CN117750190B CN202410189346.4A CN202410189346A CN117750190B CN 117750190 B CN117750190 B CN 117750190B CN 202410189346 A CN202410189346 A CN 202410189346A CN 117750190 B CN117750190 B CN 117750190B
- Authority
- CN
- China
- Prior art keywords
- image
- electronic device
- frame
- gain
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000005286 illumination Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 70
- 230000009467 reduction Effects 0.000 claims description 66
- 230000033001 locomotion Effects 0.000 claims description 59
- 230000008569 process Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 20
- 238000005516 engineering process Methods 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 28
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000001149 cognitive effect Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 30
- 230000006854 communication Effects 0.000 description 30
- 238000007726 management method Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 13
- 238000010295 mobile communication Methods 0.000 description 12
- 230000007613 environmental effect Effects 0.000 description 9
- 230000000737 periodic effect Effects 0.000 description 6
- 230000016776 visual perception Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011261 inert gas Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请提供一种图像处理方法及电子设备。在相机应用的界面中的预览区域中显示的预览图像是根据第一图像以及第二图像合成的HDR图像,第一图像的曝光量大于第二图像的曝光量,使得预览图像具有HDR效果,不存在过曝光和欠曝光的情况,以使预览图像可以呈现丰富的色彩细节和明暗层次,能够更好的匹配人眼对现实世界场景的认知特性,其次,由于第一图像以及第二图像均是以频闪光照的频闪周期的整数倍的曝光时长采集的,因此,第一图像以及第二图像中均没有亮暗条纹,进而根据第一图像和第二图像合成的HDR图像中也没有亮暗条纹,如此,通过本申请,可以提高预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及电子设备。
背景技术
目前,拍摄功能已成为手机的必备功能,相应地,手机的拍摄功能也得到了飞速发展,越来越多的用户喜欢使用手机拍摄图像。
手机中具有相机应用,用户可以使用相机应用拍摄图像,例如,在手机上启动相机应用,并将手机的摄像头对准被拍摄对象。
在相机应用处于拍摄模式时,相机应用的界面中具有预览区域,相机应用可以通过手机的图像传感器采集被拍摄对象的图像,并将采集的图像作为预览图像显示在相机应用的预览区域上,以供用户查看。
之后,若用户需要拍摄图像,则用户可以在手机中输入对相机应用中的拍摄按钮的单击操作,相应地,在手机接收到用户输入的对拍摄按钮的单击操作的情况下,可以拍摄被拍摄对象的图像,并在手机中存储被拍摄对象的图像。
然而,有时候被拍摄对象处于运动状态,例如,被拍摄对象的位置不断变化或者被拍摄对象的肢体不断变化等。在被拍摄对象处于运动状态的情况下,手机可以拍摄到被拍摄对象运动瞬间的图像。手机拍摄被拍摄对象运动瞬间的图像的原理包括:手机采用高速快门缩短曝光时长,使得手机可以拍摄到被拍摄对象的运动瞬间的清晰的图像。
然而,由于缩短了曝光时长,则需要手机处于光线充足的环境中,以便手机可以拍摄到被拍摄对象的运动瞬间的清晰的图像。
在手机的拍摄环境为光线充足的户外场景的情况下,户外场景中的自然光可以满足图像传感器对曝光量的需求。然而,在手机的拍摄环境为室内场所的情况下,室内环境的光照无法满足图像传感器对曝光量的需求,因此,往往需要在室内场景中设置照明设备提供额外的光照,以使室内场所具有充足的光照,进而使得室内环境的光照能够满足图像传感器对曝光量的需求。
但是,照明设备一般是在交流电的驱动下工作的,交流电的能量会随着时间产生周期性变化,因此,受到交流电的影响,照明设备存在频闪(flicker)现象,例如,照明设备的亮度受到交流电的影响,会随着交流电的幅值的周期性变化而变化。
例如,照明设备在频率为50赫兹(Hz)交流电的驱动下工作,则每1秒钟照明设备频闪100次。在高速快门的控制下摄像头的曝光时长很短,例如,2ms(毫秒)或3ms等,因此,照明设备的频闪现象会影响图像传感器的曝光,进而影响图像传感器采集到的图像的曝光量,使得在相机应用的界面中的预览区域中的预览图像存在亮暗交替的条纹,也即,存在带状条纹(banding)现象,从而导致预览图像的质量大大降低,影响用户在预览上的视觉感受,降低用户的预览体验。
发明内容
本申请提供一种图像处理方法及电子设备。以预设时长的整数倍的曝光时长采集的曝光量不同的两帧图像,并使用HDR技术将两帧图像融合,得到HDR图像,然后在预览区域中显示HDR图像,可以提高预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验。
第一方面,本申请提供了一种图像处理方法,应用于电子设备,所述电子设备所在的拍摄场景中具有频闪光源,所述频闪光源提供频闪光照,所述频闪光照的频闪周期为预设时长,所述电子设备的屏幕上显示有相机应用的界面,所述相机应用的界面中具有预览区域,所述预览区域用于显示所述电子设备通过图像传感器采集的预览图像;所述方法包括:
以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,第一图像的曝光量大于第二图像的曝光量;第一曝光时长为所述预设时长的整数倍;
使用高动态光照渲染HDR技术将第一图像与第二图像融合,得到HDR图像;
在所述预览区域中显示HDR图像。
在本申请中,由于在相机应用的界面中的预览区域中显示的预览图像是HDR图像,HDR图像是根据第一图像以及第二图像合成的,第一图像的曝光量大于第二图像的曝光量,如此使得在相机应用的界面中的预览区域中显示的预览图像具有HDR效果,不存在过曝光和欠曝光的情况,以使在相机应用的界面中的预览区域中显示的预览图像可以呈现出丰富的色彩细节和明暗层次,能够更好的匹配人眼对现实世界场景的认知特性,其次,由于第一图像以及第二图像均是以频闪光照的频闪周期的整数倍的第一曝光时长采集的,因此,第一图像以及第二图像中均没有亮暗条纹,也即,第一图像以及第二图像中均不存在banding现象,进而根据第一图像和第二图像合成的HDR图像中也没有亮暗条纹,即也不存在banding现象。如此,通过本申请,可以提高预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验。
在一个可选的实现方式中,所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;
所述方法还包括:
在接收到对所述相机应用输入的拍摄操作的情况下,以第二曝光时长采集第三图像;第二曝光时长小于第一曝光时长,第三图像的曝光量与第二图像的曝光量相同;第三图像中存在亮暗条纹;第三图像中具有被拍摄对象;
对第三图像进行去条纹debanding处理,得到去条纹图像;
显示和/或保存去条纹图像。
通过本方式,在用户在相机应用的预览区域中查看具有HDR效果且不具有亮暗条纹的预览图像场景中,支持用户拍摄与预览图像内容相同、清晰的(不具有鬼影)且不具有亮暗条纹的图像。
在一个可选的实现方式中,所述对第三图像进行去条纹debanding处理,得到去条纹图像,包括:
在采集到第三图像之前的历史过程中,若所述电子设备还以第二曝光时长采集到至少一帧历史图像,则根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,所述至少一帧历史图像的曝光量与第三图像的曝光量相同;所述至少一帧历史图像中存在亮暗条纹;
对降噪后的第三图像进行去条纹debanding处理,得到去条纹图像。
通过本方式,通过对第三图像先进行降噪处理再进行去条纹debanding处理,使得最终得到的去条纹图像的噪声更少,质量更高。
在一个可选的实现方式中,所述根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,包括:
获取所述电子设备所在的拍摄场景的环境亮度;
根据所述环境亮度在至少一帧历史图像中选择历史图像;
根据选择的历史图像对第三图像进行降噪处理,得到降噪后的第三图像。
在一个可选的实现方式中,所述根据所述环境亮度在至少一帧历史图像中选择历史图像,包括:
根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量;
在所述至少一帧历史图像中选择所述数量帧历史图像。
其中,电子设备所在的拍摄场景的环境亮度越高,则采集的第三图像的噪声越少,采集的第三图像的质量越高,或者,电子设备所在的拍摄场景的环境亮度越低,则采集的第三图像的噪声越多,采集的第三图像的质量越低。
另外,对第三图像进行降噪处理时使用的历史图像的数量越多,则对第三图像进行降噪处理的效果越好,但是,降噪处理的过程中耗费的系统资源越多以及耗费的时间越多。然而,对第三图像进行降噪处理时使用的历史图像的数量越少,则对第三图像进行降噪处理的效果越一般,但是,降噪处理的过程中耗费的系统资源越少以及耗费的时间越少。
如此,可以是在环境亮度越高时,获取更少的历史图像,以节省降噪处理的过程耗费的系统资源以及时间,或者,在环境亮度越低时,获取更多的历史图像,以提高降噪处理的效果。
在一个可选的实现方式中,所述根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量,包括:
在事先设置的对应关系中,查找与所述环境亮度相对应的数量,所述对应关系包括环境亮度与用于对在环境亮度下拍摄的图像进行降噪处理时所需使用的历史图像的数量之间的对应关系,所述对应关系中,越高的环境亮度对应的数量越小,越低的环境亮度对应的数量越大。
通过本方式,通过查找对应关系可以减少根据环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量的过程耗费的时间,可以提高效率。
在一个可选的实现方式中,所述至少一帧历史图像为多帧历史图像;
所述在所述至少一帧历史图像中选择所述数量帧历史图像,包括:
获取多帧历史图像中的各帧历史图像分别被所述电子设备采集到时的采集时刻;
按照采集时刻由晚至早的顺序,在多帧历史图像中选择所述数量帧历史图像。
其中,采集时刻距离第三图像的采集时刻越近的历史图像与第三图像的内容之间越接近或相同,采集时刻距离第三图像的采集时刻越远的历史图像与第三图像之间越不远离,使用与第三图像之间越接近或相同的历史图像对第三图像进行降噪处理的效果更好。
如此,可以按照采集时刻由晚至早的顺序,在多帧历史图像中选择该数量帧历史图像,这样,后续根据按照采集时刻由晚至早的顺序选择的该数量帧历史图像对第三图像进行降噪处理,可以提高对第三图像进行降噪处理的效果。
在一个可选的实现方式中,所述对第三图像进行去条纹debanding处理,得到去条纹图像,包括:
基于第二图像对第三图像进行去条纹debanding处理,得到去条纹图像;
或者,
基于HDR图像对第三图像进行去条纹debanding处理,得到去条纹图像。
在一个可选的实现方式中,所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;
所述以第二曝光时长采集第三图像,包括:
获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,所述最低安全曝光时长小于所述第一预设时长;
以所述最低安全曝光时长采集第三图像。
通过本方式,可以使得拍摄到的第三图像可以是清晰的图像。
在一个可选的实现方式中,所述获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,包括:
获取所述被拍摄对象的运动速度;
获取适用于所述运动速度的最低安全曝光时长。
通过本方式,可以尽可能的避免需要的增益超过电子设备的图像传感器支持的增益的范围内的最高的增益,进而可以尽可能地避免降低采集的图像的质量。
在一个可选的实现方式中,所述获取适用于所述运动速度的最低安全曝光时长,包括:
在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中, 查找与所述被拍摄对象的运动速度相对应的最低安全曝光时长。
通过本方式,通过查找对应关系可以减少获取适用于被拍摄对象的运动速度的最低安全曝光时长的过程耗费的时间,提高效率。
在一个可选的实现方式中,所述以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,包括:
通过所述电子设备的图像传感器以第一曝光时长采集原始像素阵列;
根据所述原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像。
通过本方式,高增益HCG以及低增益LCG是图像传感器中的两个通路,通过图像传感器中的两个通路来分别输出高增益HCG的第一图像以及低增益LCG的第二图像,可以提高输出高增益HCG的第一图像以及低增益LCG的第二图像的效率以及质量。
在一个可选的实现方式中,所述根据所述原始像素阵列输出HCG的第一图像以及LCG的第二图像,包括:
获取所述电子设备所在的拍摄场景的光照强度的动态范围;
根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,所述第一增益大于所述第二增益;
根据所述原始像素阵列以所述第一增益输出第一图像,以及,根据所述原始像素阵列以所述第二增益输出第二图像。
通过本方式,通过电子设备所在的拍摄场景的光照强度的动态范围来控制第一图像对应的第一增益以及第二图像对应的第二增益,以使得采集到的第一图像以及第二图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,进而使得根据第一图像和第二图像合成的HDR图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,以提高HDR图像的质量,进而提高用户在相机应用的预览界面上查看HDR图像的体验。
在一个可选的实现方式中,所述根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,包括:
在所述图像传感器支持双模拟增益DAG的情况下,获取所述图像传感器中的高增益HCG与低增益LCG之间的第一比值;
根据所述动态范围以及所述第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
在本申请中,在电子设备的图像传感器支持双模拟增益DAG的情况下,采集图像的曝光量除了受曝光时长影响之外,还受图像传感器中的高增益HCG与低增益LCG之间的第一比值以及采集图像时的增益影响,如此,通过本实施例,通过结合图像传感器中的高增益HCG与低增益LCG之间的第一比值来确定第一图像对应的第一增益以及第二图像对应的第二增益,可以使得采集到的第一图像以及第二图像能够精准覆盖电子设备所在的拍摄场景的光照强度的动态范围,且不会超过电子设备所在的拍摄场景的光照强度的动态范围,进而使得根据第一图像和第二图像合成的HDR图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,且不会超过电子设备所在的拍摄场景的光照强度的动态范围。
在一个可选的实现方式中,所述根据所述动态范围以及所述第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益,包括:
计算所述动态范围与所述第一比值之间的第二比值;其中,动态范围也可以为比值,例如,16:1等,第一比值假设为4:1,则动态范围与第一比值之间的第二比值也为4:1,
根据所述第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益。例如,设置第一图像对应的第一增益为4,以及,设置第二图像对应的第二增益为1,或者,设置第一图像对应的第一增益为8,以及,设置第二图像对应的第二增益为2等。
第二方面,本申请提供了一种电子设备,所述电子设备所在的拍摄场景中具有频闪光源,所述频闪光源提供频闪光照,所述频闪光照的频闪周期为预设时长,所述电子设备的屏幕上显示有相机应用的界面,所述相机应用的界面中具有预览区域,所述预览区域用于显示所述电子设备通过图像传感器采集的预览图像;所述电子设备包括:
一个或多个处理器、存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行以下步骤:
以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,第一图像的曝光量大于第二图像的曝光量;第一曝光时长为所述预设时长的整数倍;
使用高动态光照渲染HDR技术将第一图像与第二图像融合,得到HDR图像;
在所述预览区域中显示HDR图像。
在一个可选的实现方式中,所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
在接收到对所述相机应用输入的拍摄操作的情况下,以第二曝光时长采集第三图像;第二曝光时长小于第一曝光时长,第三图像的曝光量与第二图像的曝光量相同;第三图像中存在亮暗条纹;第三图像中具有被拍摄对象;
对第三图像进行去条纹debanding处理,得到去条纹图像;
显示和/或保存去条纹图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
在采集到第三图像之前的历史过程中,若所述电子设备还以第二曝光时长采集到至少一帧历史图像,则根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,所述至少一帧历史图像的曝光量与第三图像的曝光量相同;所述至少一帧历史图像中存在亮暗条纹;
对降噪后的第三图像进行去条纹debanding处理,得到去条纹图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
获取所述电子设备所在的拍摄场景的环境亮度;
根据所述环境亮度在至少一帧历史图像中选择历史图像;
根据选择的历史图像对第三图像进行降噪处理,得到降噪后的第三图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量;
在所述至少一帧历史图像中选择所述数量帧历史图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
在事先设置的对应关系中,查找与所述环境亮度相对应的数量,所述对应关系包括环境亮度与用于对在环境亮度下拍摄的图像进行降噪处理时所需使用的历史图像的数量之间的对应关系,所述对应关系中,越高的环境亮度对应的数量越小,越低的环境亮度对应的数量越大。
在一个可选的实现方式中,所述至少一帧历史图像为多帧历史图像;当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
获取多帧历史图像中的各帧历史图像分别被所述电子设备采集到时的采集时刻;
按照采集时刻由晚至早的顺序,在多帧历史图像中选择所述数量帧历史图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
基于第二图像对第三图像进行去条纹debanding处理,得到去条纹图像;
或者,
基于HDR图像对第三图像进行去条纹debanding处理,得到去条纹图像。
在一个可选的实现方式中,所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,所述最低安全曝光时长小于所述第一预设时长;
以所述最低安全曝光时长采集第三图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
获取所述被拍摄对象的运动速度;
获取适用于所述运动速度的最低安全曝光时长。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中, 查找与所述被拍摄对象的运动速度相对应的最低安全曝光时长。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
通过所述电子设备的图像传感器以第一曝光时长采集原始像素阵列;
根据所述原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
获取所述电子设备所在的拍摄场景的光照强度的动态范围;
根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,所述第一增益大于所述第二增益;
根据所述原始像素阵列以所述第一增益输出第一图像,以及,根据所述原始像素阵列以所述第二增益输出第二图像。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
在所述图像传感器支持双模拟增益DAG的情况下,获取所述图像传感器中的高增益HCG与低增益LCG之间的第一比值;
根据所述动态范围以及所述第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
在一个可选的实现方式中,当所述程序指令由所述处理器执行时,使得所述电子设备执行如下步骤:
计算所述动态范围与所述第一比值之间的第二比值;
根据所述第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
第二方面以及第二方面中的任意一种实现方式分别与第一方面以及第一方面中的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第三方面,本申请提供了一种计算机存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行第一方面以及第一方面中任意一种实现方式所示的所述电子设备执行的方法。
第三方面以及第三方面中的任意一种实现方式分别与第一方面以及第一方面中的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第四方面,本申请提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面以及第一方面中任意一种实现方式所示的所述电子设备执行的方法。
第四方面以及第四方面中的任意一种实现方式分别与第一方面以及第一方面中的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
第五方面,本申请提供了一种芯片,包括一个或多个接口电路和一个或多个处理器。所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令。当所述处理器执行所述计算机指令时,使得所述电子设备执行第一方面以及第一方面中任意一种实现方式所示的所述电子设备执行的方法。
第五方面以及第五方面中的任意一种实现方式分别与第一方面以及第一方面中的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果,此处不再赘述。
附图说明
图1为示例性示出的一种拍摄场景的示意图。
图2为示例性示出的一种电子设备的界面的示意图。
图3为示例性示出的一种交流电的波形图。
图4为示例性示出的一种照明设备的光信号的波形图。
图5为示例性示出的一种逐行曝光的原理的示意图。
图6为示例性示出的一种照明设备的光信号的波形图。
图7为示例性示出的一种电子设备的硬件结构的示意图。
图8为示例性示出的一种电子设备的软件结构的示意图。
图9为示例性示出的一种图像处理方法的流程示意图。
图10为示例性示出的一种电子设备的界面的示意图。
图11为示例性示出的一种电子设备的界面的示意图。
图12为示例性示出的一种电子设备的界面的示意图。
图13为示例性示出的一种电子设备的界面的示意图。
图14为示例性示出的一种图像处理方法的示意图。
图15为示例性示出的一种图像处理方法的示意图。
图16为示例性示出的一种图像处理方法的示意图。
图17为示例性示出的一种图像处理方法的示意图。
图18为示例性示出的一种图像处理方法的示意图。
图19为示例性示出的一种图像处理方法的示意图。
图20为示例性示出的一种图像处理方法的示意图。
图21为示例性示出的一种图像处理方法的示意图。
图22为示例性示出的一种图像处理方法的示意图。
图23为示例性示出的一种装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述对象的特定顺序。例如,第一被拍摄对象和第二被拍摄对象等是用于区别不同的被拍摄对象,而不是用于描述被拍摄对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元。多个系统是指两个或两个以上的系统。
交流电光源在交流电的驱动下工作,交流电的能量会随着时间产生周期性变化,因此,交流电光源的能量不是随时间变化而均匀分布的,而是与交流电以相同的周期变化,因此,受到交流电的影响,交流电光源存在频闪(Flicker)现象,也就是说,交流电光源的光通量,照度或亮度会随着交流电的幅值的周期性变化而周期性变化。
示例性的,室内场所经常会存在交流电光源,例如,交流电光源包括照明设备等,照明设备可以包括日光灯等,或者,交流电光源还可以包括显示器或其他频率的设备等,或者,在电子设备拍摄的被拍摄对象本身为交流电光源时,则可以认为电子设备所处的拍摄环境也存在交流电光源。例如,电子设备拍摄的内容为led广告牌,led广告牌为交流电光源。
以交流电光源为照明设备为例进行举例说明,照明设备的工作原理是在高压电流的作用下,照明设备的灯管内的惰性气体放电,放电产生的电子到达照明设备的灯管使得照明设备发光。假设照明设备在50Hz交流电的驱动下工作,50Hz的交流电使得照明设备在1秒内频闪100次。也就是说,照明设备频闪一次的时间为0.01秒。
在电子设备所在的拍摄环境中具有照明设备的情况下,照明设备的频闪会影响电子设备的图像传感器采集的图像的质量。
例如,如果电子设备的图像传感器的曝光时长设置不当,则可能会使得电子设备采集的预览图像或预览图像流存在带状条纹(banding)现象,也就是说,预览图像可能会存在亮暗交替的条纹,从而导致预览图像的质量大大降低,影响用户在预览上的视觉感受,降低用户的预览体验。
例如,在电子设备启动相机应用之后,电子设备的图像传感器会采集预览图像流,并实时将预览图像流显示在相机应用的预览区域上,以供用户可以在预览区域上查看预览图像流。如果图像传感器采集图像的曝光时长与照明设备的频闪周期不同,则在图像传感器采集预览图像流的过程中,每一预览图像曝光的过程中涉及的照明设备的频闪次数不同,使得图像传感器采集到的预览图像会存在亮度不均匀的情况,进而使得在预览区域上显示的预览图像流中会存在滚动的亮暗条纹。
再例如,在用户需要拍摄图像的情况下,用户可以对相机应用输入拍摄操作,在接收到对相机应用输入的拍摄操作的情况下,电子设备可以拍摄图像,例如,电子设备的图像传感器通过逐行曝光的方式采集图像。然而,由于照明设备存在频闪现象,则在图像传感器逐行曝光图像的过程中,如果照明设备发生闪烁且图像传感器的曝光时长与照明设备的频闪周期不同,则图像传感器每次的曝光时长对应着照明设备的频闪周期内的不同阶段,进而会使得采集的图像中的各个行存在亮暗条纹,也即,电子设备拍摄的图像中存在banding现象。
例如,以一个例子进行说明,图1示出了本申请的一种拍摄场景的示意图,如图1所示,被拍摄对象001位于室内场所,室内场所中还具有照明设备002,照明设备002正在照明以提供室内的光照。
在一个示例中,照明设备002位于被拍摄对象001的上方。
需要说明的是,上述图1所示的照明设备与被拍摄对象之间的相对位置仅为一种示例,也就是说,图1所示的交流电光源的位置仅为被拍摄对象所处的拍摄环境存在交流电光源的一种示例。
在照明设备002正在照明的情况下,若用户需要使用电子设备拍摄包括被拍摄对象001的图像,则用户可以开启电子设备的拍摄功能,电子设备在开启拍摄功能后,电子设备即可进入拍摄界面,以供用户预览并拍摄包括被拍摄对象001的图像。
用户可以控制电子设备显示相机应用的界面003(即为拍摄界面)。图2示出了本申请的一种电子设备的界面的示意图,参见图2,相机应用的界面003中包括预览区域004(或称作取景框),用于实时显示电子设备的图像传感器采集的预览图像,以供用户观看预览图像。
此时电子设备的图像传感器对准被拍摄对象001,如此,电子设备的图像传感器采集的预览图像中可以包括被拍摄对象001。
在照明设备002是在交流电的驱动下工作的情况下,电子设备所处的拍摄环境存在交流电光源,由于照明设备002出现频闪现象,因此,如图2所示,会导致在相机应用的界面003上的预览区域004中显示的预览图像出现亮暗交替的带状条纹,也即,存在banding现象,从而导致预览图像的质量大大降低,影响用户在预览上的视觉感受,降低用户的预览体验。
进一步地,为了提高在拍摄场景中的预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验,发明人分析了预览图像存在banding现象的原因,并发现:
照明设备接的交流电一般是正弦波形的交流电,例如,正弦波形的交流电的频率可以为50Hz或60Hz等,例如,在一个例子中,图3示出了本申请的一种频率为50Hz的交流电的波形图。
当照明设备接交流电时,照明设备将电信号转换为光信号,由于电信号为一定频率的周期信号,所以转换得到的光信号也为一定频率的周期信号,可以理解为:照明设备发出的光信号随着时间呈现出一定频率、周期的变化,即出现频闪现象。
可理解,频闪现象是由交流电的设计和照明设备本身的特性造成的,因此,对于很多照明设备来说,其工作电流必然随着输入电压的波动而波动,直接导致光信号随着工作电流的波动而波动,进而出现频闪现象。
其次,照明设备发出的光能量没有方向性,所以光信号的波形不再是正弦波形,而是包络,例如,是频率为100Hz或120Hz的包络。当照明设备接50Hz的交流电时,照明设备转换所得的光信号的波形是频率为100Hz的周期性变化的包络。再例如,当照明设备接60Hz的交流电时,照明设备转换所得的光信号的波形是频率为120Hz的周期性变化的包络。例如,在一个例子中,图4示出了本申请的一种频率为100Hz的光信号的波形图。
如此,照明设备的闪烁频率通常是照明设备所接交流电的频率的两倍,例如,照明设备所接的交流电的频率为50Hz或60Hz等,照明设备的闪烁频率可以为100Hz或120Hz等。
其次,目前具有拍摄功能的电子设备往往采用卷帘快门(Rolling Shutter),采用卷帘快门的曝光方式为逐行曝光。
具体地,图5示出了本申请的一种逐行曝光的示意图,如图5所示,图像传感器(例如,CMOS传感器等)从一帧图像的第1行像素开始曝光,间隔一个行周期后开始曝光第2行像素, 间隔一个行周期后开始曝光第3行像素, 间隔一个行周期后开始曝光第4行像素,以此类推,在开始曝光第M-3行像素之后,间隔一个行周期后开始曝光第M-2行像素,间隔一个行周期开始曝光第M-1行像素,间隔一个行周期开始曝光第M行像素。M为图像中包括的行的数量。
也就是说,每一行像素开始曝光的时刻与该行相邻的下一行像素开始曝光的时刻之间的时长为一个行周期。因此,每一行像素开始曝光的时刻都不相同。
在本申请中,曝光时长可以理解为:电子设备曝光一帧图像的一行像素所需的时长。一般情况下,同一帧图像中的不同行的像素的曝光时长是相同的。
其中,行周期可以由图像传感器的能力确定。不同的图像传感器的行周期可能不同,所以不同的电子设备的行周期也可能不相同。本申请实施例对行周期的取值不作限定。
其中,图6示出了本申请的一种光信号的示意图,在图6中,在照明设备转换得到的光信号的示意图中,一段时间内包络与X轴围成的面积(包络对应的函数在这一段时间的定积分)为照明设备在这段时间发出的光能量,即图像传感器在这一段时间内接收的光能量。
若第S行像素从T1时开始曝光,并在T2时结束曝光,T1-T2这段时间内图像传感器接收的光能量影响最终显示的图像的第S行像素的亮度。其中,T1-T2内图像传感器接收的光能量越多,最终显示的图像的第S行像素越亮。T1-T2内图像传感器接收的光能量越少,最终显示的图像的第S行像素越暗。
下面以拍摄环境中存在接50Hz交流电的照明设备为例进行说明。
如图6所示,当照明设备接50Hz的交流电时,照明设备转换得到的光信号的波形是频率为100Hz的周期性变化的包络。将照明设备的闪烁周期记为T,则T=1/100s。此时的曝光时长为t,也即,图像传感器分别曝光一帧图像中的每一行所需的时间都为t。
由图6可知,t=T+t1。即t不为闪烁周期T的整数倍,图像传感器曝光图像的第i行像素时,第i行像素接收的光能量为:S+S1。
其中,S可以表示第i行像素在时间T内接收的光能量,S1可以表示第i行像素在时间t1内接收的光能量。
由图6可知,t4+t2+t3=t。图像传感器曝光图像的第i+1行像素时,第i+1行像素接收的光能量为:S2+S3+S4。
其中,S2表示第i+1行像素在时间t4内接收到的光能量,S3表示第i+1行像素在时间t2内接收到的光能量,S4表示第i+1行像素在时间t3内接收到的光能量。
又因为t1=t2=t3,可得:S1=S3<S4,且,S2+S3=S,可得;S+S1<S2+S3+S4。
因此,第i+1行像素接收的光能量比第i行像素接收的光能量多,也即,最终得到的图像的第i行像素的亮度与第i+1行像素的亮度是不同的。第i+1行像素比第i行像素更亮。
可理解,由于照明设备转换得到的光信号为周期信号,在任意起始时刻,当t不是T的正整数倍时,图像传感器在不同的t内接收的光能量不尽相同,最终显示的图像的不同行的亮度不尽相同。即最终显示的预览图像可能出现亮暗条纹。进一步地,由于预览图像流中的不同图像的亮暗条纹的位置可能会发生变化,因此,在相机应用的界面中的预览区域显示的预览图像流中往往会出现滚动的亮暗条纹,即banding现象。
为了消除相机应用中的预览区域中的预览图像的banding现象,在一个方式中,在电子设备使用图像传感器采集到具有亮暗条纹的图像之后,在将图像显示在相机应用的界面中的预览区域之前,可以对具有条带的图像进行去条带debanding处理,得到去条带的图像,然后将去条带的图像显示在相机应用的界面中的预览区域中,以供用户查看,以使用户在相机应用的界面中的预览区域中看到的预览图像没有亮暗条纹。
但是,由于电子设备所在的拍摄场景中具有照明设备,照明设备发出的光照会提高电子设备所在的拍摄场景的亮度,且照明设备发出的光照越高的情况下,提高电子设备所在的拍摄场景的亮度的程度越大,进而导致电子设备所在的拍摄场景的亮度具有非常高的动态范围。
然而,大多数用户使用的市面上多数具有拍摄功能的电子设备(例如相机或手机等)并非是专业的拍摄设备,如此,大多数用户使用的市面上多数具有拍摄功能的电子设备的图像传感器能够感知的动态范围很小,图像传感器能够感知的动态范围可以理解为图像传感器能够能够捕捉到的光强的范围。
从而导致:在电子设备所在的拍摄场景为高动态范围的情况下,使用电子设备的图像传感器很难在一次曝光的图像中展现所有的细节,例如,会在太亮的位置形成过曝光,在太暗的位置形成欠曝光等,进而导致在相机应用中的预览区域中显示的预览图像中存在过曝光和/或欠曝光的情况,还会导致预览图像的质量大大降低,影响用户在预览上的视觉感受,降低用户的预览体验。
为此,为了提高预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验,可以在相机应用的界面中的预览区域中显示的预览图像没有亮暗条纹的前提下,使得在相机应用的界面中的预览区域中显示的预览图像不存在过曝光和欠曝光的情况,以使在相机应用的界面中的预览区域中显示的预览图像可以呈现出丰富的色彩细节和明暗层次,能更好的匹配人眼对现实世界场景的认知特性。
例如,在本申请中,可以以预设时长的整数倍的曝光时长采集的曝光量不同的两帧图像,并使用HDR(High Dynamic Range,高动态范围)技术将两帧图像融合,得到HDR图像,然后在预览区域中显示HDR图像。
本申请的方案应用于电子设备中,本申请中的电子设备可以是手机、平板电脑、智能手表、手持计算机、相机、上网本,蜂窝电话、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer,UMPC)、个人数字助理(personaldigitalassistant,PDA)、增强现实(augmentedreality,AR)设备以及虚拟现实(virtualreality,VR)设备等包含摄像头的设备,本申请对电子设备的具体形态不作限定。
图7为示例性示出的一种电子设备的硬件结构的示意图。
应该理解的是,图7所示的电子设备100仅是本申请实施例中的电子设备的一个范例,并且电子设备100可以具有比图7中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图7中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备100可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的Wi-Fi Frameworks通信,实现Wi-Fi功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如Wi-Fi网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC ,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system ,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP 用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
在一些实施例中,摄像头193可以包括镜头,镜头是用于生成影像的光学部件。
示例性的,上述N个摄像头193可以包括:一个或多个前置摄像头和一个或多个后置摄像头。例如,以上述电子设备100是手机为例。手机可以包括一个前置摄像头,以及,可以包括二个后置摄像头或三个后置摄像头。当然,上述手机中摄像头的数量包括但不限于上述实例中所述的数量。其中,上述N个摄像头193可以包括以下一种或多种摄像头:主摄像头、长焦摄像头、广角摄像头、超广角摄像头、微距摄像头、鱼眼摄像头、红外摄像头、深度摄像头和黑白摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
上文详细描述了电子设备100的硬件系统,图7所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
其中,电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构等。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图8为示例性示出的电子设备100的软件结构的示意图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。
在一些实施例中,将Android系统从上至下分别为应用程序层,应用程序框架层,以及内核(Kernel)层(或称为驱动层)。
应用程序层可以包括一系列应用程序。例如,应用程序层可以包括相机,图库,日历,投屏,WLAN,音乐,通话,导航,视频、地图,蓝牙,音乐,视频,多屏协同,荣耀分享,短信息等应用程序。可以理解的是,相机可以用于触发电子设备使用摄像头拍摄照片或录制视频。
在拍照模式下,在拍摄图像的预览区域展示摄像头采集的预览图像,其中,电子设备100可以包括一个或多个摄像头,每个摄像头都可以用于采集图像,摄像头采集的连续多帧图像可组成图像流。也就是说,上述每个摄像头都可以用于采集图像流。
需要说明的是,图8中示出的应用程序层所包括的应用程序仅为示例性说明,本申请对此不作限定。可以理解的是,应用程序层包括的应用程序并不构成对电子设备100的具体限定。
在本申请另一些实施例中,相较于图8所示应用程序层包含的应用程序,电子设备100可以包括更多或更少的应用程序,电子设备100也可以包括完全不同的应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架,可以包括各种组件和服务来支持开发者的安卓开发。应用程序框架层包括一些预先定义的函数。
如图8所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器、通知管理器以及相机应用对应的接口等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图像的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图像的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图像,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
相机应用对应的接口可以包括管理相机的访问接口以及访问相机的接口等。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,音频驱动,传感器驱动以及相机驱动,相机驱动用于驱动拍摄功能的硬件模块,例如图像传感器等,例如,相机驱动负责与图像传感器进行数据交互,以控制图像传感器采集图像。
可以理解的是,图8示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图8所示示更多或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
图9示出了本申请的一种图像处理方法的流程示意图,该方法应用于图7所示的应用于电子设备中,电子设备所在的拍摄场景中具有频闪光源,频闪光源提供频闪光照,频闪光照的频闪周期为预设时长(拍摄场景可以参见图1所示)。
其中,电子设备的屏幕上显示有相机应用的界面,相机应用的界面中具有预览区域,预览区域用于显示电子设备通过图像传感器采集的预览图像。
在一个示例中,用户可以通过电子设备的相机应用开启电子设备的拍摄功能。
例如,如图10为示例性示出的一种电子设备的界面的示意图,以对“用户通过电子设备的相机应用开启电子设备的拍摄功能”进行举例说明。
参照图10中的(1),示例性的,电子设备的主界面201中可以包括一个或多个图标,例如,可以包括但不限于:电子设备的电量的图标、移动网络信号的图标、时间的图标以及多个应用的图标等。其中,应用的图标包括但不限于:相机应用的图标202、日历应用的图标以及图库应用的图标等,具体可以参见图10中的(1),在此不做详述。
需要说明的是,图10中的(1)中所示的应用的图标仅仅是示例性举例的应用的图标,根据实际情况,也可以包括其他应用的图标,本申请对此不加以限定。
若用户需要开启电子设备的拍摄功能,则用户可以对电子设备的主界面201中的相机应用的图标202输入单击操作,以进入相机应用的界面203。电子设备响应于用户对相机应用的图标202输入的单击操作,显示相机应用的界面203。
参照图10中的(2),示例性的,相机应用的界面203中的上侧可以包括一个或多个控件,例如,可以包括但不限于:闪光灯控件、相机设置控件以及AI控件等。
相机应用的界面203中的位于一个或多个控件的下侧可以包括预览区域204(或称作取景框),用于实时显示电子设备的图像传感器采集的预览图像,以供用户观看,在刚刚显示相机应用的界面203时,此时电子设备的图像传感器还未传回采集的图像,也即,在图10中的(2)中,预览区域204中暂无预览图像。
相机应用的界面203中的位于预览区域的下侧可以包括一个或多个拍摄模式选项,例如,可以包括但不限于:光圈选项、夜景选项、人像选项、拍照选项以及录像选项等,在图10中的(2)中,拍照选项被选定,如此,此时相机应用的拍摄模式可以为拍照模式。
相机应用的界面203中的位于一个或多个拍摄模式选项下侧还可以包括一个或多个控件,例如,可以包括但不限于:图库入口控件、拍摄控件205以及摄像头旋转/切换控件(用于切换摄像头)。
其中,参见图9,该方法包括:
步骤S301,以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,第一图像的曝光量大于第二图像的曝光量;第一曝光时长为预设时长的整数倍。
例如,假设预设时长为10ms,则第一曝光时长可以为10ms的整数倍,例如,10ms、20ms、30ms或40ms等,本申请对此不加以限定。
在一个实施例中,可以是通过电子设备的图像传感器以第一曝光时长采集原始像素阵列,然后以不同的增益分别输入两帧图像,分别作为第一图像以及第二图像,第一图像的曝光量大于第二图像的曝光量,也即,第一图像的亮度大于第二图像的亮度。
第一图像和第二图像可以是同时采集到的,也可以是一先一后采集到的,即使是一先一后采集到的,一先一后的采集时刻是非常接近的,第一图像中的内容和第二图像的内容也是可以看作无区别的。第一图像中具有被拍摄对象,第二图像中具有被拍摄对象。
步骤S302,使用HDR技术将第一图像与第二图像融合,得到HDR图像。
本申请对具体的HDR技术不做限定。HDR图像中具有被拍摄对象。
步骤S303,在预览区域中显示HDR图像。
用户在预览图像中可以看到HDR图像。
图11为示例性示出的一种电子设备的界面的示意图,在图11中,在相机应用的界面203的预览区域204中显示了预览图像,预览图像中具有被拍摄对象001。
通过本申请,由于在相机应用的界面中的预览区域中显示的预览图像是HDR图像,HDR图像是根据第一图像以及第二图像合成的,第一图像的曝光量大于第二图像的曝光量,如此使得在相机应用的界面中的预览区域中显示的预览图像具有HDR效果,不存在过曝光和欠曝光的情况,以使在相机应用的界面中的预览区域中显示的预览图像可以呈现出丰富的色彩细节和明暗层次,能够更好的匹配人眼对现实世界场景的认知特性,其次,由于第一图像以及第二图像均是以频闪光照的频闪周期的整数倍的第一曝光时长采集的,因此,第一图像以及第二图像中均没有亮暗条纹,也即,第一图像以及第二图像中均不存在banding现象,进而根据第一图像和第二图像合成的HDR图像中也没有亮暗条纹,即也不存在banding现象。如此,通过本申请,可以提高预览图像的质量,提高用户在预览上的视觉感受,提高用户的预览体验。
在本申请中,用户可以在相机应用的预览区域中查看预览图像,预览图像中具有被拍摄对象。
若用户需要拍摄被拍摄对象的图像,则用户可以对相机应用输入拍摄操作,例如,相机应用的界面中具有拍摄控件,用户可以对拍摄控件输入单击操作,以实现对相机应用输入拍摄操作。在电子设备接收到对相机应用输入的拍摄操作的情况下,可以拍摄被拍摄对象的图像。
例如,在一个实施例中,电子设备拍摄的被拍摄对象处于运动状态,如此,为了能够拍摄到被拍摄对象的清晰的图像,在接收到对相机应用输入的拍摄操作的情况下,可以以第二曝光时长采集第三图像;第二曝光时长小于第一曝光时长,第三图像的曝光量与第二图像的曝光量相同。第三图像中具有被拍摄对象。
例如,第二曝光时长可以为2ms或3ms等。
在本申请中,以第二曝光时长采集第三图像可以是清晰的图像,没有鬼影的图像。
其中,第二曝光时长不是预设时长的整数倍,如此,第三图像中存在亮暗条纹,也即,第三图像中存在banding现象,为此,需要对第三图像进行去条纹debanding处理,得到去条纹图像,然后可以显示和/或保存去条纹图像。
进一步地,图12为示例性示出的一种电子设备的界面的示意图,在图12中,若用户需要拍照,则用户可以对如图11所示的拍摄界面上的拍摄控件205输入单击操作。电子设备响应于用户对拍摄控件205的单击操作,可以生成相应的图像。
在照明设备002是在交流电的驱动下工作的情况下,电子设备所处的拍摄环境存在交流电光源照明设备002,由于照明设备002可能会出现频闪现象,因此,电子设备通过图像传感器显示的第三图像可能会出现亮暗交替的带状条纹,也即,存在banding现象,从而导致图像的质量大大降低,影响用户的视觉感受,降低用户的体验。为此,需要对第三图像进行去条纹debanding处理,得到去条纹图像,然后可以显示和/或保存去条纹图像。
在一个示例中,在得到去条纹图像之后,用户可能会进入图库应用的界面来查看拍摄的去条纹图像。
图13为示例性示出的一种电子设备的界面的示意图,图13是电子设备的图库应用中的查看图像的界面207,界面207中具有图像显示区域208,图像显示区域208用于显示拍摄的图像,此时显示的是去条纹图像,去条纹图像中具有被拍摄对象001。从图13中可见,去条纹图像中不存在亮暗交替的带状条纹。
可选地,界面207中还可以包括分享控件、收藏控件、编辑控件、删除控件以及更多控件等。当用户点击分享控件时,可以分享图像。当用户点击收藏控件时,可以收藏图像。当用户点击删除控件时,可以删除图像。当用户点击编辑控件时,可以对图像进行编辑。当用户点击更多控件时,可以查看其它更多功能。
需要说明的是,图10~图13中所示的界面仅仅是示例性举例的,例如,界面中的图标以及控件的种类和位置等仅仅是示例性举例的,根据实际情况,也可以包括其他图标以及控件等,图标以及控件的位置也可以按照其他方式分布,本申请对此不加以限定。
可以理解的是,图10~图13中示出的是在电子设备是竖屏的情况下的拍照和查看图像的界面的示意图,但本申请并不限于此。比如,用户可以在电子设备横屏的情况下进行拍照和查看图像。
本申请中的拍摄场景只是示意性的一个场景,这并不对本申请的场景构成限定。进一步地,本申请也可以应用于场景,比如录像场景、视频通话场景或视频直播场景等。
可以理解,本申请对拍摄对象不作具体限定。拍摄对象可以是人物也可以是动物、车辆、家具或机器人等。上述例子中是以拍摄对象是人物为例。
再例如,被拍摄对象在室内场所运动,可以是人在室内打羽毛球、打乒乓球或者练习瑜伽等。其中,电子设备的拍摄视角中的被拍摄对象可以是一个人物,也可以是多个人物等。
通过本实施例,在用户在相机应用的预览区域中查看具有HDR效果且不具有亮暗条纹的预览图像场景中,支持用户拍摄与预览图像内容相同、清晰的(不具有鬼影)且不具有亮暗条纹的图像。
进一步地,对第三图像进行去条纹debanding处理,得到去条纹图像之后,还可以使用HDR技术将去条纹图像与HDR图像融合,得到具有HDR效果的去条纹图像。
或者,对第三图像进行去条纹debanding处理之前,还可以使用HDR技术将第三图像与HDR图像融合,得到具有HDR效果的第三图像,然后对具有HDR效果的第三图像进行去条纹debanding处理,得到去条纹图像。
通过本实施例,在用户在相机应用的预览区域中查看具有HDR效果且不具有亮暗条纹的预览图像场景中,支持用户拍摄到与预览图像内容相同、清晰的(不具有鬼影)、不具有亮暗条纹的且具有HDR效果图像。
在本申请一个实施例中,在对第三图像进行去条纹debanding处理,得到去条纹图像时,通过通过如下方式实现,例如,在采集到第三图像之前的历史过程中,若电子设备还以第二曝光时长采集到至少一帧历史图像,则可以根据至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,其中,对图像进行降噪处理的方式可以参见当前已经存在的方式,本申请对降噪处理的方式不做限定,至少一帧历史图像中具有被拍摄对象,至少一帧历史图像的曝光量与第三图像的曝光量相同;历史图像可以是在历史过程中接收到用户对相机应用输入的拍摄操作的情况下采集的,历史图像中存在亮暗条纹。对降噪后的第三图像进行去条纹debanding处理,得到去条纹图像。
通过本实施例,通过对第三图像先进行降噪处理再进行去条纹debanding处理,使得最终得到的去条纹图像的噪声更少,质量更高。
其中,在根据至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像时,可以获取电子设备所在的拍摄场景的环境亮度;可以通过图像传感器检测电子设备所在的拍摄场景的环境亮度,也可以通过其他方式检测电子设备所在的拍摄场景的环境亮度,本申请对电子设备所在的拍摄场景的环境亮度的检测方式不做限定,然后可以根据环境亮度在至少一帧历史图像中选择历史图像;然后根据选择的历史图像对第三图像进行降噪处理,得到降噪后的第三图像。
其中,在根据环境亮度在至少一帧历史图像中选择历史图像时,可以根据环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量;在至少一帧历史图像中选择该数量帧历史图像。
其中,电子设备所在的拍摄场景的环境亮度越高,则采集的第三图像的噪声越少,采集的第三图像的质量越高,或者,电子设备所在的拍摄场景的环境亮度越低,则采集的第三图像的噪声越多,采集的第三图像的质量越低。
另外,对第三图像进行降噪处理时使用的历史图像的数量越多,则对第三图像进行降噪处理的效果越好,降噪后的第三图像的质量越高,但是,降噪处理的过程中耗费的系统资源越多以及耗费的时间越多。然而,对第三图像进行降噪处理时使用的历史图像的数量越少,则对第三图像进行降噪处理的效果越一般,降噪后的第三图像的质量越一般,但是,降噪处理的过程中耗费的系统资源越少以及耗费的时间越少。
如此,可以是在环境亮度越高时,获取更少的历史图像,以节省降噪处理的过程耗费的系统资源以及时间,或者,在环境亮度越低时,获取更多的历史图像,以提高降噪处理的效果。
在本申请一个实施例中,对于任意一个环境亮度,综合降噪处理耗费的系统资源、降噪处理耗费的时间以及降噪处理的效果之间的折中,事先可以统计适用于该环境亮度的数量,并作为对在该环境亮度下采集的图像降噪处理时,需要使用的其他图像的数量,需要使用的其他图像的数量可以理解为,使用该数量的其他图像对在该环境亮度下采集的图像降噪处理的效果能够满足大部分用户的视觉要求以及并不耗费过多的时间和系统资源,然后将该环境亮度与该数量组成对应表项,并存储在事先设置的对应关系中,对应关系包括环境亮度与用于对在环境亮度下拍摄的图像进行降噪处理时所需使用的历史图像的数量之间的对应关系,该对应关系中,越高的环境亮度对应的数量越小,越低的环境亮度对应的数量越大。对于其他每一个环境亮度,同样如此。
如此,在根据环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量时,可以在事先设置的该对应关系中,查找与该环境亮度相对应的数量。
通过本实施例,通过查找对应关系可以减少根据环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量的过程耗费的时间,可以提高效率。
在本申请一个实施例中,若至少一帧历史图像的数量小于或等于用于对第三图像进行降噪处理时所需使用的历史图像的数量,则在至少一帧历史图像中选择该数量帧历史图像时,可以选择至少一帧历史图像中的全部帧历史图像。
或者,在本申请另一个实施例中,至少一帧历史图像为多帧历史图像;若多帧历史图像的数量大于用于对第三图像进行降噪处理时所需使用的历史图像的数量,则在至少一帧历史图像中选择数量帧历史图像时,可以获取多帧历史图像中的各帧历史图像分别被电子设备采集到时的采集时刻;然后按照采集时刻由晚至早的顺序,在多帧历史图像中选择该数量帧历史图像。
其中,采集时刻距离第三图像的采集时刻越近的历史图像与第三图像的内容之间越接近或相同,采集时刻距离第三图像的采集时刻越远的历史图像与第三图像之间差异越大,使用与第三图像之间越接近或相同的历史图像对第三图像进行降噪处理的效果更好,使得降噪后的第三图像的质量更高。
如此,可以按照采集时刻由晚至早的顺序,在多帧历史图像中选择该数量帧历史图像,这样,后续根据“按照采集时刻由晚至早的顺序选择的该数量帧历史图像”对第三图像进行降噪处理,可以提高对第三图像进行降噪处理的效果,提高降噪后的第三图像的质量。
在本申请另一实施例中,对第三图像进行去条纹debanding处理,得到去条纹图像时,在一个示例中,可以基于第三图像本身对第三图像进行去条纹debanding处理,得到去条纹图像。或者,在另一个示例中,由于第二图像的亮度与第三图像的亮度相同,如此,可以基于第二图像对第三图像进行去条纹debanding处理,得到去条纹图像;或者,在一个又示例中,可以基于HDR图像对第三图像进行去条纹debanding处理,得到去条纹图像,例如,若HDR图像的亮度与第三图像的亮度不同,则可以调整HDR图像的亮度,调整后的HDR的图像的亮度与第三图像的亮度相同。
本申请对debanding处理的具体算法不做限定。
在本申请另一实施例中,电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;如此,在以第二曝光时长采集第三图像时,为了使得能够拍摄到清晰的第三图像(不具有鬼影),则可以获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,最低安全曝光时长小于第一预设时长;以最低安全曝光时长采集第三图像。以最低安全曝光时长采集的第三图像是清晰的图像,不存存在鬼影。
通过本实施例,可以使得拍摄到的第三图像可以是清晰的图像。
其中,在拍摄图像的场景中,曝光量=曝光时长*增益(Gain)。
为了保障图像的曝光量能够达到一定水平,若曝光时长过低,则需要增益很高,但是,有时候电子设备的图像传感器支持的增益的范围有限,达不到曝光时长过低时所需的增益的水平,这样,在曝光时长过低的情况下,即使以电子设备的图像传感器支持的增益的范围内的最高的增益来采集图像,也无法保障图像的曝光量能够达到一定水平,导致采集的图像的质量低。
为此,在使得能够拍摄到的清晰的第三图像的情况下,需要尽可能地使得曝光时长更长,以避免需要过高的增益,进而提高采集的图像的水平。
如此,在获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长时,获取被拍摄对象的运动速度;适用于越高的运动速度的最低安全曝光时长越短,适用于越低的运动速度的最低安全曝光时长越长。然后获取适用于被拍摄对象的运动速度的最低安全曝光时长。
通过本实施例,可以尽可能的避免需要的增益超过电子设备的图像传感器支持的增益的范围内的最高的增益,进而可以尽可能地避免降低采集的图像的质量。
在本申请一个实施例中,对于任意一个运动速度,事先可以统计适用于该运动速度的最低安全曝光时长,例如,在被拍摄对象的运动速度为该运动速度的情况下,以适用于该运动速度的最低安全曝光时长拍摄的被拍摄对象的图像是清晰的,是无鬼影的,若以大于适用于该运动速度的最低安全曝光时长拍摄的被拍摄对象的图像是不清晰的,是存在鬼影的,然后将该运动速度与适用于该运动速度的最低安全曝光时长组成对应表项,并存储在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中,对于其他每一个运动速度,同样如此。
如此,在获取适用于被拍摄对象的运动速度的最低安全曝光时长时,可以在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中, 查找与被拍摄对象的运动速度相对应的最低安全曝光时长。
通过本实施例,通过查找对应关系可以减少获取适用于被拍摄对象的运动速度的最低安全曝光时长的过程耗费的时间,提高效率。
在本申请一个实施例中,在以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像时,可以通过电子设备的图像传感器以第一曝光时长采集原始像素阵列;然后,在图像传感器支持双模拟增益DAG或双转换增益DCG的情况下,可以根据原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像,高增益HCG的第一图像的曝光量大于低增益LCG的第二图像的曝光量。
通过本实施例,高增益HCG以及低增益LCG是图像传感器中的两个通路,通过图像传感器中的两个通路来分别输出高增益HCG的第一图像以及低增益LCG的第二图像,可以提高输出高增益HCG的第一图像以及低增益LCG的第二图像的效率以及质量。
电子设备所在的拍摄场景的光照强度具有动态范围,动态范围可以为比值等,例如,16:1等,在电子设备所在的拍摄场景的光照强度的动态范围较大的情况下,在采集第一图像和第二图像时,如果使用的第一图像对应的第一增益以及第二图像对应的第二增益之间的差异较小,例如,第一图像对应的第一增益以及第二图像对应的第二增益之间的比值为2:1,则会导致采集到的第一图像和第二图像无法覆盖电子设备所在的拍摄场景的光照强度的动态范围,进而导致根据第一图像和第二图像合成的HDR图像无法覆盖电子设备所在的拍摄场景的光照强度的动态范围,导致HDR图像的质量低。
为此,在本申请一个实施例中,在根据原始像素阵列输出HCG的第一图像以及LCG的第二图像时,可以获取电子设备所在的拍摄场景的光照强度的动态范围;根据该动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,第一增益大于第二增益;根据原始像素阵列以第一增益输出第一图像,以及,根据原始像素阵列以第二增益输出第二图像。
通过本实施例,通过电子设备所在的拍摄场景的光照强度的动态范围来控制第一图像对应的第一增益以及第二图像对应的第二增益,以使得采集到的第一图像以及第二图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,进而使得根据第一图像和第二图像合成的HDR图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,以提高HDR图像的质量,进而提高用户在相机应用的预览界面上查看HDR图像的体验。
在本申请一个实施例中,在根据动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益时,在图像传感器支持双模拟增益DAG的情况下,可以获取图像传感器中的高增益HCG与低增益LCG之间的第一比值,然后可以根据动态范围以及第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
在本申请中,在电子设备的图像传感器支持双模拟增益DAG的情况下,采集图像的曝光量除了受曝光时长影响之外,还受图像传感器中的高增益HCG与低增益LCG之间的第一比值以及采集图像时的增益影响,如此,通过本实施例,通过结合图像传感器中的高增益HCG与低增益LCG之间的第一比值来确定第一图像对应的第一增益以及第二图像对应的第二增益,可以使得采集到的第一图像以及第二图像能够精准覆盖电子设备所在的拍摄场景的光照强度的动态范围,且不会超过电子设备所在的拍摄场景的光照强度的动态范围,进而使得根据第一图像和第二图像合成的HDR图像能够覆盖电子设备所在的拍摄场景的光照强度的动态范围,且不会超过电子设备所在的拍摄场景的光照强度的动态范围。
例如,在一个例子中,在根据动态范围以及第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益时,可以计算动态范围与第一比值之间的第二比值;其中,动态范围也可以为比值,例如,16:1等,第一比值假设为4:1,则动态范围与第一比值之间的第二比值也为4:1,然后可以根据第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益,例如,设置第一图像对应的第一增益为4,以及,设置第二图像对应的第二增益为1,或者,设置第一图像对应的第一增益为8,以及,设置第二图像对应的第二增益为2等。
以一个例子对本申请的方案进行举例说明,但不作为对本申请的保护范围的限制。
图14示出了本申请的一种图像处理方法的示意图。
在图14中,图像传感器采集的图像中,每两帧图像为一组,一组图像中包括两帧图像,例如上述提到的第一图像以及第二图像,采集到第一图像时的时刻等于采集到第二图像时的时刻,两帧图像都是以第一曝光时长分别采集的,一帧图像的曝光量大于另一帧图像的曝光量;第一曝光时长为预设时长的整数倍。
在图14中,图像传感器采集到的图像包括第0组、第1组、第2组……以及第x组等,x为正整数,本申请对x的具体数值不做限定。第1组位于第0组之后,第2组位于第1组之后……第x组位于第x-1组之后。
第0组中包括N0帧以及S0帧,N0帧以及S0帧都是以第一曝光时长分别采集的,N0帧的曝光量大于S0的曝光量,采集到N0帧的时刻等于采集到S0帧时的时刻。
第1组中包括N1帧以及S1帧,N1帧以及S1帧都是以第一曝光时长分别采集的,N1帧的曝光量大于S1的曝光量,采集到N1帧的时刻等于采集到S1帧时的时刻。
第2组中包括N2帧以及S2帧,N2帧以及S2帧都是以第一曝光时长分别采集的,N2帧的曝光量大于S2的曝光量,采集到N2帧的时刻等于采集到S2帧时的时刻。
第x组中包括Nx帧以及Sx帧,Nx帧以及Sx帧都是以第一曝光时长分别采集的,Nx帧的曝光量大于Sx的曝光量,采集到Nx帧的时刻等于采集到Sx帧时的时刻。
其中,可以将同一组内的两帧图像使用HDR技术融合,得到本组图像对应的HDR图像,然后将其作为预览图像显示在相机应用的预览区域上。
顺序靠后的一组HDR图像在相机应用的预览区域上显示时的显示时刻晚于顺序靠前的一组HDR图像在相机应用的预览区域上显示时的显示时刻。
例如,使用HDR技术将第0组中的N0帧与S0帧融合,得到R0帧,即为第0组对应的HDR图像,并在相机应用的预览区域上显示R0帧。
然后使用HDR技术将第1组中的N1帧与S1帧融合,得到R1帧,即为第1组对应的HDR图像,并在相机应用的预览区域上显示R1帧。
然后使用HDR技术将第2组中的N1帧与S2帧融合,得到R2帧,即为第2组对应的HDR图像,并在相机应用的预览区域上显示R2帧……以此类推,然后使用HDR技术将第x组中的Nx帧与Sx帧融合,得到Rx帧,即为第x组对应的HDR图像,并在相机应用的预览区域上显示Rx帧。
另外,图15示出了本申请的一种图像处理方法的示意图。
在图15中,图像传感器采集的图像中,每两帧图像为一组,一组图像中包括两帧图像,例如上述提到的第一图像以及第二图像,采集到第一图像时的时刻早于采集到第二图像时的时刻,两帧图像都是以第一曝光时长分别采集的,一帧图像的曝光量大于另一帧图像的曝光量;第一曝光时长为预设时长的整数倍。
在图15中,图像传感器采集到的图像包括第0组、第1组、第2组……以及第x组等,x为正整数,本申请对x的具体数值不做限定。第1组位于第0组之后,第2组位于第1组之后……第x组位于第x-1组之后。
第0组中包括N0帧以及S0帧,N0帧以及S0帧都是以第一曝光时长分别采集的,N0帧的曝光量大于S0的曝光量,采集到N0帧的时刻早于采集到S0帧时的时刻。
第1组中包括N1帧以及S1帧,N1帧以及S1帧都是以第一曝光时长分别采集的,N1帧的曝光量大于S1的曝光量,采集到N1帧的时刻早于采集到S1帧时的时刻。
第2组中包括N2帧以及S2帧,N2帧以及S2帧都是以第一曝光时长分别采集的,N2帧的曝光量大于S2的曝光量,采集到N2帧的时刻早于采集到S2帧时的时刻。
第x组中包括Nx帧以及Sx帧,Nx帧以及Sx帧都是以第一曝光时长分别采集的,Nx帧的曝光量大于Sx的曝光量,采集到Nx帧的时刻早于采集到Sx帧时的时刻。
其中,可以将同一组内的两帧图像使用HDR技术融合,得到本组图像对应的HDR图像,然后将其作为预览图像显示在相机应用的预览区域上。
顺序靠后的一组HDR图像在相机应用的预览区域上显示时的显示时刻晚于顺序靠前的一组HDR图像在相机应用的预览区域上显示时的显示时刻。
例如,使用HDR技术将第0组中的N0帧与S0帧融合,得到R0帧,即为第0组对应的HDR图像,并在相机应用的预览区域上显示R0帧。
然后使用HDR技术将第1组中的N1帧与S1帧融合,得到R1帧,即为第1组对应的HDR图像,并在相机应用的预览区域上显示R1帧。
然后使用HDR技术将第2组中的N1帧与S2帧融合,得到R2帧,即为第2组对应的HDR图像,并在相机应用的预览区域上显示R2帧……以此类推,然后使用HDR技术将第x组中的Nx帧与Sx帧融合,得到Rx帧,即为第x组对应的HDR图像,并在相机应用的预览区域上显示Rx帧。
以图15所示的例子为基础对本申请的方案继续进行举例说明(对图14所示的例子不再举例说明),但不作为对本申请的保护范围的限制。
在一个例子中,在图15所示的例子的基础上,用户在相机应用的预览区域上查看预览图像的过程中,若用户需要拍摄图像,可以在对相机应用输入拍摄操作。例如,图16示出了本申请的一种图像处理方法的示意图。参见图16,在相机应用的预览区域上显示R1帧(还未显示R2帧)时,用户对相机应用输入了拍摄操作。
在一个示例中,图17和18分别示出了本申请的一种图像处理方法的示意图。在图17或18中,在一个可能的实施例中,可以在采集N2帧之前,可以以第二曝光时长采集P1帧,在采集到P1帧之后,再采集N2帧,然后再采集S2帧,第二曝光时长小于第一曝光时长,P1帧的曝光量与S1帧的曝光量相同。
在图17中,可以以R1帧为参考,对P1帧进行去条纹debanding处理,得到去条纹图像P1’帧,然后可以显示和/或保存去条纹图像P1’帧。
在图18中,可以以S1帧为参考,对P1帧进行去条纹debanding处理,得到去条纹图像P1’帧,然后可以显示和/或保存去条纹图像P1’帧。
进一步地,基于图17所示的例子,图19示出了本申请的一种图像处理方法的示意图。参见图19,在相机应用的预览区域上显示R2帧(还未显示R3帧)时,用户对相机应用输入了拍摄操作。
在一个示例中,图20示出了本申请的一种图像处理方法的示意图。在图20中,在一个可能的实施例中,可以在采集N3帧之前,可以以第二曝光时长采集P2帧,在采集到P2帧之后,再采集N3帧,然后再采集S3帧,第二曝光时长小于第一曝光时长,P2帧的曝光量与S2帧的曝光量相同。
在图20中,由于之前采集到过第三图像P1帧,P1帧作为历史图像,可以使用P1帧对P2帧进行降噪处理,得到降噪后的P2帧,然后,可以以R2帧为参考,对降噪后的P2帧进行去条纹debanding处理,得到降噪后的去条纹图像P2’帧,然后可以显示和/或保存降噪后的去条纹图像P2’帧。
其次,基于图18所示的例子,图21示出了本申请的一种图像处理方法的示意图。参见图21,在相机应用的预览区域上显示R2帧(还未显示R3帧)时,用户对相机应用输入了拍摄操作。
在一个示例中,图22示出了本申请的一种图像处理方法的示意图。在图22中,在一个可能的实施例中,可以在采集N3帧之前,可以以第二曝光时长采集P2帧,在采集到P2帧之后,再采集N3帧,然后再采集S3帧,第二曝光时长小于第一曝光时长,P2帧的曝光量与S2帧的曝光量相同。
在图22中,由于之前采集到过第三图像P1帧,P1帧作为历史图像,可以使用P1帧对P2帧进行降噪处理,得到降噪后的P2帧,然后,可以以S2帧为参考,对降噪后的P2帧进行去条纹debanding处理,得到降噪后的去条纹图像P2’帧,然后可以显示和/或保存降噪后的去条纹图像P2’帧。
上述主要从各个网元之间交互的角度对本申请实施例提供的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
一个示例中,图23示出了本申请实施例的一种装置400的示意性框图装置400可以包括:处理器401和收发器/收发管脚402,可选地,还可以包括存储器403。
装置400的各个组件通过总线404耦合在一起,其中总线404除可以包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图中将各种总线都称为总线404。
可选地,存储器403可以用于前述方法实施例中的指令。该处理器401可用于执行存储器403中的指令,并控制接收管脚接收信号,以及控制发送管脚发送信号。
装置400可以是上述方法实施例中的电子设备或电子设备的芯片。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤,以实现上述实施例中的图像处理方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中的图像处理方法。
另外,本申请的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可以包括相连的处理器和存储器。其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述相关方法步骤,以实现上述实施例中的图像处理方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,可以包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质可以包括:U盘、移动硬盘、只读存储器(read only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(Random Access Memory,RAM)、闪存、只读存储器(Read Only Memory,ROM)、可擦除可编程只读存储器(Erasable Programmable ROM,EPROM)、电可擦可编程只读存储器(Electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于网络设备中。当然,处理器和存储介质也可以作为分立组件存在于网络设备中。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质可以包括计算机存储介质和通信介质,其中通信介质可以包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (23)
1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备所在的拍摄场景中具有频闪光源,所述频闪光源提供频闪光照,所述频闪光照的频闪周期为预设时长,所述电子设备的屏幕上显示有相机应用的界面,所述相机应用的界面中具有预览区域,所述预览区域用于显示所述电子设备通过图像传感器采集的预览图像;所述方法包括:
以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,第一图像的曝光量大于第二图像的曝光量;第一曝光时长为所述预设时长的整数倍;
使用高动态光照渲染HDR技术将第一图像与第二图像融合,得到HDR图像;
在所述预览区域中显示HDR图像;
所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;
所述方法还包括:
在接收到对所述相机应用输入的拍摄操作的情况下,以第二曝光时长采集第三图像;第二曝光时长小于第一曝光时长,第三图像的曝光量与第二图像的曝光量相同;第三图像中存在亮暗条纹;第三图像中具有被拍摄对象;
对第三图像进行去条纹debanding处理,得到去条纹图像;
显示和/或保存去条纹图像;
其中,所述对第三图像进行去条纹debanding处理,得到去条纹图像,包括:
在采集到第三图像之前的历史过程中,若所述电子设备还以第二曝光时长采集到至少一帧历史图像,则根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,所述至少一帧历史图像的曝光量与第三图像的曝光量相同;所述至少一帧历史图像中存在亮暗条纹;
对降噪后的第三图像进行去条纹debanding处理,得到去条纹图像;
其中,所述根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,包括:
获取所述电子设备所在的拍摄场景的环境亮度;
根据所述环境亮度在至少一帧历史图像中选择历史图像;
根据选择的历史图像对第三图像进行降噪处理,得到降噪后的第三图像;
其中,所述以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,包括:
通过所述电子设备的图像传感器以第一曝光时长采集原始像素阵列;
根据所述原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像;
其中,所述根据所述原始像素阵列输出HCG的第一图像以及LCG的第二图像,包括:
获取所述电子设备所在的拍摄场景的光照强度的动态范围;
根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,所述第一增益大于所述第二增益;
根据所述原始像素阵列以所述第一增益输出第一图像,以及,根据所述原始像素阵列以所述第二增益输出第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述环境亮度在至少一帧历史图像中选择历史图像,包括:
根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量;
在所述至少一帧历史图像中选择所述数量帧历史图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量,包括:
在事先设置的对应关系中,查找与所述环境亮度相对应的数量,所述对应关系包括环境亮度与用于对在环境亮度下拍摄的图像进行降噪处理时所需使用的历史图像的数量之间的对应关系,所述对应关系中,越高的环境亮度对应的数量越小,越低的环境亮度对应的数量越大。
4.根据权利要求2所述的方法,其特征在于,所述至少一帧历史图像为多帧历史图像;
所述在所述至少一帧历史图像中选择所述数量帧历史图像,包括:
获取多帧历史图像中的各帧历史图像分别被所述电子设备采集到时的采集时刻;
按照采集时刻由晚至早的顺序,在多帧历史图像中选择所述数量帧历史图像。
5.根据权利要求1所述的方法,其特征在于,所述对第三图像进行去条纹debanding处理,得到去条纹图像,可以替换为:
基于第二图像对第三图像进行去条纹debanding处理,得到去条纹图像;
或者,
基于HDR图像对第三图像进行去条纹debanding处理,得到去条纹图像。
6.根据权利要求1所述的方法,其特征在于,所述以第二曝光时长采集第三图像,包括:
获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,所述最低安全曝光时长小于所述预设时长;
以所述最低安全曝光时长采集第三图像。
7.根据权利要求6所述的方法,其特征在于,所述获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,包括:
获取所述被拍摄对象的运动速度;
获取适用于所述运动速度的最低安全曝光时长。
8.根据权利要求7所述的方法,其特征在于,所述获取适用于所述运动速度的最低安全曝光时长,包括:
在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中, 查找与所述被拍摄对象的运动速度相对应的最低安全曝光时长。
9.根据权利要求1所述的方法,其特征在于,所述根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,包括:
在所述图像传感器支持双模拟增益DAG的情况下,获取所述图像传感器中的高增益HCG与低增益LCG之间的第一比值;
根据所述动态范围以及所述第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
10.根据权利要求9所述的方法,其特征在于,所述根据所述动态范围以及所述第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益,包括:
计算所述动态范围与所述第一比值之间的第二比值;
根据所述第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
11.一种电子设备,其特征在于,所述电子设备所在的拍摄场景中具有频闪光源,所述频闪光源提供频闪光照,所述频闪光照的频闪周期为预设时长,所述电子设备的屏幕上显示有相机应用的界面,所述相机应用的界面中具有预览区域,所述预览区域用于显示所述电子设备通过图像传感器采集的预览图像;所述电子设备包括:
一个或多个处理器、存储器;
以及一个或多个计算机程序,其中所述一个或多个计算机程序存储在所述存储器上,当所述计算机程序被所述一个或多个处理器执行时,使得所述电子设备执行以下步骤:
以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,第一图像的曝光量大于第二图像的曝光量;第一曝光时长为所述预设时长的整数倍;
使用高动态光照渲染HDR技术将第一图像与第二图像融合,得到HDR图像;
在所述预览区域中显示HDR图像;
所述电子设备拍摄的被拍摄对象处于运动状态;第一图像以及第二图像中均具有被拍摄对象;当所计算机程序令由所述处理器执行时,使得所述电子设备执行如下步骤:
在接收到对所述相机应用输入的拍摄操作的情况下,以第二曝光时长采集第三图像;第二曝光时长小于第一曝光时长,第三图像的曝光量与第二图像的曝光量相同;第三图像中存在亮暗条纹;第三图像中具有被拍摄对象;
对第三图像进行去条纹debanding处理,得到去条纹图像;
显示和/或保存去条纹图像;
其中,所述对第三图像进行去条纹debanding处理,得到去条纹图像,包括:在采集到第三图像之前的历史过程中,若所述电子设备还以第二曝光时长采集到至少一帧历史图像,则根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,所述至少一帧历史图像的曝光量与第三图像的曝光量相同;所述至少一帧历史图像中存在亮暗条纹;对降噪后的第三图像进行去条纹debanding处理,得到去条纹图像;
其中,所述根据所述至少一帧历史图像对第三图像进行降噪处理,得到降噪后的第三图像,包括:获取所述电子设备所在的拍摄场景的环境亮度;根据所述环境亮度在至少一帧历史图像中选择历史图像;根据选择的历史图像对第三图像进行降噪处理,得到降噪后的第三图像;
其中,以第一曝光时长采集第一图像,以及,以第一曝光时长采集第二图像,包括:
通过所述电子设备的图像传感器以第一曝光时长采集原始像素阵列;
根据所述原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像;
其中,所述根据所述原始像素阵列输出高增益HCG的第一图像以及低增益LCG的第二图像,包括:
获取所述电子设备所在的拍摄场景的光照强度的动态范围;
根据所述动态范围确定第一图像对应的第一增益以及第二图像对应的第二增益,所述第一增益大于所述第二增益;
根据所述原始像素阵列以所述第一增益输出第一图像,以及,根据所述原始像素阵列以所述第二增益输出第二图像。
12.根据权利要求11所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
根据所述环境亮度获取用于对第三图像进行降噪处理时所需使用的历史图像的数量;
在所述至少一帧历史图像中选择所述数量帧历史图像。
13.根据权利要求12所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
在事先设置的对应关系中,查找与所述环境亮度相对应的数量,所述对应关系包括环境亮度与用于对在环境亮度下拍摄的图像进行降噪处理时所需使用的历史图像的数量之间的对应关系,所述对应关系中,越高的环境亮度对应的数量越小,越低的环境亮度对应的数量越大。
14.根据权利要求12所述的电子设备,其特征在于,所述至少一帧历史图像为多帧历史图像;当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
获取多帧历史图像中的各帧历史图像分别被所述电子设备采集到时的采集时刻;
按照采集时刻由晚至早的顺序,在多帧历史图像中选择所述数量帧历史图像。
15.根据权利要求11所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
基于第二图像对第三图像进行去条纹debanding处理,得到去条纹图像;
或者,
基于HDR图像对第三图像进行去条纹debanding处理,得到去条纹图像。
16.根据权利要求11所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
获取在被拍摄对象处于运动状态的场景中的最低安全曝光时长,所述最低安全曝光时长小于所述预设时长;
以所述最低安全曝光时长采集第三图像。
17.根据权利要求16所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
获取所述被拍摄对象的运动速度;
获取适用于所述运动速度的最低安全曝光时长。
18.根据权利要求17所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
在运动速度与适用于运动速度的最低安全曝光时长之间的对应关系中, 查找与所述被拍摄对象的运动速度相对应的最低安全曝光时长。
19.根据权利要求11所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
在所述图像传感器支持双模拟增益DAG的情况下,获取所述图像传感器中的高增益HCG与低增益LCG之间的第一比值;
根据所述动态范围以及所述第一比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
20.根据权利要求19所述的电子设备,其特征在于,当所述计算机程序由所述处理器执行时,使得所述电子设备执行如下步骤:
计算所述动态范围与所述第一比值之间的第二比值;
根据所述第二比值确定第一图像对应的第一增益以及第二图像对应的第二增益。
21.一种计算机存储介质,其特征在于,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行如权利要求1-10任一项权利要求所述的方法。
22.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1-10任一项权利要求所述的方法。
23.一种芯片,其特征在于,包括一个或多个接口电路和一个或多个处理器;所述接口电路用于从电子设备的存储器接收信号,并向所述处理器发送所述信号,所述信号包括存储器中存储的计算机指令;当所述处理器执行所述计算机指令时,使得所述电子设备执行如权利要求1-10任一项权利要求所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189346.4A CN117750190B (zh) | 2024-02-20 | 2024-02-20 | 一种图像处理方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410189346.4A CN117750190B (zh) | 2024-02-20 | 2024-02-20 | 一种图像处理方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117750190A CN117750190A (zh) | 2024-03-22 |
CN117750190B true CN117750190B (zh) | 2024-07-12 |
Family
ID=90261314
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410189346.4A Active CN117750190B (zh) | 2024-02-20 | 2024-02-20 | 一种图像处理方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117750190B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115842962A (zh) * | 2021-09-17 | 2023-03-24 | 荣耀终端有限公司 | Hdr图像处理方法及电子设备 |
CN117441341A (zh) * | 2022-05-18 | 2024-01-23 | 北京小米移动软件有限公司 | 图像处理方法、装置、移动终端及存储介质 |
CN116074634B (zh) * | 2022-05-27 | 2023-11-14 | 荣耀终端有限公司 | 一种曝光参数确定方法和装置 |
CN117651221A (zh) * | 2022-08-09 | 2024-03-05 | 荣耀终端有限公司 | 视频处理的方法及电子设备 |
CN116055890B (zh) * | 2022-08-29 | 2024-08-02 | 荣耀终端有限公司 | 生成高动态范围视频的方法和电子设备 |
CN117499779B (zh) * | 2023-12-27 | 2024-05-10 | 荣耀终端有限公司 | 一种图像预览方法、设备以及存储介质 |
-
2024
- 2024-02-20 CN CN202410189346.4A patent/CN117750190B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112738414A (zh) * | 2021-04-06 | 2021-04-30 | 荣耀终端有限公司 | 一种拍照方法、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN117750190A (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021052232A1 (zh) | 一种延时摄影的拍摄方法及设备 | |
US20130286236A1 (en) | System and method of adjusting camera image data | |
KR20150099302A (ko) | 전자 장치와, 그의 제어 방법 | |
CN114095666B (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
CN116996762B (zh) | 一种自动曝光方法、电子设备及计算机可读存储介质 | |
CN116405783A (zh) | 一种拍摄的补光方法及相关装置 | |
CN115842962A (zh) | Hdr图像处理方法及电子设备 | |
CN116320771B (zh) | 一种拍摄方法和电子设备 | |
US20240236504A9 (en) | Point light source image detection method and electronic device | |
CN116744120B (zh) | 图像处理方法和电子设备 | |
CN116055897B (zh) | 拍照方法及其相关设备 | |
CN114466134A (zh) | 生成hdr图像的方法及电子设备 | |
EP3836532A1 (en) | Control method and apparatus, electronic device, and computer readable storage medium | |
CN116074634B (zh) | 一种曝光参数确定方法和装置 | |
CN117750190B (zh) | 一种图像处理方法及电子设备 | |
EP2658245A1 (en) | System and method of adjusting camera image data | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116709042B (zh) | 一种图像处理方法和电子设备 | |
CN117651221A (zh) | 视频处理的方法及电子设备 | |
CN114070916A (zh) | 一种拍摄的补光方法及相关装置 | |
CN116055855B (zh) | 图像处理方法及其相关设备 | |
CN117395495B (zh) | 一种图像处理方法及电子设备 | |
CN117692786B (zh) | 一种拍摄方法、电子设备和存储介质 | |
CN117135468B (zh) | 图像处理方法及电子设备 | |
CN117692783B (zh) | 一种视频拍摄方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |