CN115550556A - 一种曝光强度调节方法及相关装置 - Google Patents
一种曝光强度调节方法及相关装置 Download PDFInfo
- Publication number
- CN115550556A CN115550556A CN202110713518.XA CN202110713518A CN115550556A CN 115550556 A CN115550556 A CN 115550556A CN 202110713518 A CN202110713518 A CN 202110713518A CN 115550556 A CN115550556 A CN 115550556A
- Authority
- CN
- China
- Prior art keywords
- image
- sequence
- exposure intensity
- camera
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000035945 sensitivity Effects 0.000 claims description 45
- 235000019557 luminance Nutrition 0.000 claims description 30
- 230000015654 memory Effects 0.000 claims description 25
- 206010034960 Photophobia Diseases 0.000 claims description 18
- 208000013469 light sensitivity Diseases 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims 2
- 230000003044 adaptive effect Effects 0.000 claims 1
- 230000004927 fusion Effects 0.000 abstract description 20
- 238000012545 processing Methods 0.000 description 19
- 241000023320 Luma <angiosperm> Species 0.000 description 18
- 238000004891 communication Methods 0.000 description 18
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 18
- 230000006870 function Effects 0.000 description 16
- 238000007726 management method Methods 0.000 description 15
- 230000004044 response Effects 0.000 description 8
- 238000010295 mobile communication Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- AIXMJTYHQHQJLU-UHFFFAOYSA-N chembl210858 Chemical compound O1C(CC(=O)OC)CC(C=2C=CC(O)=CC=2)=N1 AIXMJTYHQHQJLU-UHFFFAOYSA-N 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 206010033307 Overweight Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002904 solvent Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种曝光强度调节方法及相关装置。该方法包括:电子设备获取第一摄像头的曝光强度、第二摄像头的曝光强度、第一图像和第二图像;第一图像和第二图像为同时采集的图像;电子设备判断第一图像和第二图像呈现的视场角是否一致,若一致,则计算第一图像和第二图像的亮度,否则,选取呈现的视场角较大的图像中的区域,计算该区域的亮度和另一图像的亮度;基于两个相机的曝光参数、该区域的亮度和另一图像的亮度,调节第一摄像头的曝光强度。上述方法可以提高通过电子设备的第一摄像头和第二摄像头获取的图像的亮度的一致性,便于后续对图像进行融合,使得融合后图像的质量更高。
Description
技术领域
本申请涉及终端技术领域,尤其涉及一种曝光强度调节方法及相关装置。
背景技术
近几年来,越来越多具有拍摄功能的电子设备(例如,手机)采取了双摄像头(简称为双摄)的方案。采用双摄方案的电子设备一般包括一个主摄像头和一个辅助摄像头。电子设备可以分别获取这两个摄像头在同一时刻采集的两张图像,并对这两张图像进行融合,生成一张图像。若这两张图像的亮度一致性高,经融合得到的图像的质量也会更好。
因此,如何提高通过主摄像头和辅助摄像头获取的图像的亮度一致性是目前亟待解决的问题。
发明内容
本申请提供了一种曝光强度调节方法和相关装置,电子设备可以获取第一摄像头的曝光强度、第二摄像头的曝光强度、第一图像和第二图像;第一图像和第二图像为同时采集的图像。电子设备可以判断第一图像和第二图像呈现的视场角是否一致。若一致,则计算第一图像和第二图像的亮度,否则,选取呈现的视场角较大的图像中的区域,计算该区域的亮度和另一图像的亮度。电子设备可以基于两个相机的曝光参数、该区域的亮度和另一图像的亮度,调节第一摄像头的曝光强度。上述方法可以提高通过电子设备的第一摄像头和第二摄像头获取的图像的亮度的一致性,便于后续对图像进行融合,使得融合后图像的质量更高。
第一方面,本申请提供了一种曝光强度调节方法。该方法可以应用于包括第一摄像头和第二摄像头的电子设备。该方法可以包括:电子设备可以通过第一摄像头采集第一图像,并通过第二摄像头采集第二图像。第一图像和第二图像是同时采集的。电子设备可以获取第一曝光强度和第二曝光强度。第一曝光强度为第一图像被采集时的曝光强度。第二曝光强度为第二图像被采集时的曝光强度。电子设备可以基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度。电子设备可以通过第一摄像头以第一曝光强度采集第三图像,并通过第二摄像头以第三曝光强度采集第四图像。第三图像和第四图像是同时采集的。第三图像的亮度与第四图像的亮度的差值小于第一阈值。
在一些实施例中,第一图像、第二图像、第三图像和第四图像可以为Raw图。
在本申请提供的方案中,电子设备可以根据采集的图像以及相应的曝光强度,实时计算第一摄像头和第二摄像头感光能力的比值。从而调整第一摄像头采集图像时的曝光强度,使得第一摄像头采集的第三图像和第二摄像头采集的第四图像的亮度一致,便于第三图像和第四图像后续融合。也就是说,第三图像和第四图像融合后可以生成更清晰的图像,即用户可以获得质量更高的图像。
结合第一方面,在第一方面的一种可能的实现方式中,第一图像和第二图像均包括内容相同的第一区域;第三图像和第四图像均包括内容相同的第二区域。
在本申请提供的方案中,电子设备中的第一摄像头和第二摄像头可以同时采集图像,采集的图像会融合得到新的图像,该图像可以显示在电子设备的显示屏上。因此,第一摄像头和第二摄像头拍摄的场景是相同的,即这两个摄像头同时采集的图像具有相同内容的区域。
结合第一方面,在第一方面的一种可能的实现方式中,电子设备基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度之前,该方法还可以包括:电子设备可以比较第一图像呈现的第一视场角和第二图像呈现的第二视场角是否一致;若第一视场角与第二视场角不一致,且第一视场角大于第二视场角,电子设备可以从第一图像中选取第三区域。第三区域与第二图像具有相同的内容。第一亮度为第三区域的亮度。
在本申请提供的方案中,若第一图像和第二图像呈现的视场角不一致,可以对其中呈现的视场角更大的图像进行处理,比较两张图像的相同区域的亮度,再基于该亮度来调节曝光强度。这样可以避免第一图像和第二图像中不相同区域对后续亮度计算的影响,从而更准确地调节曝光强度,使得第一摄像头和第二摄像头后续获得的图像的亮度更接近,便于融合,用户可以得到更清晰的图像。
在一些实施例中,图像呈现的视场角可以体现摄像头的视场角。电子设备可以根据摄像头的视场角来对图像进行处理。例如,若第一摄像头的视场角大于第二摄像头的视场角,电子设备可以从第一图像中选取第三区域。第三区域与第二图像具有相同的内容。
在一些实施例中,第一图像的第一亮度可以为第一图像的平均亮度。第一图像的第一亮度还可以为第一图像中的部分区域的亮度。例如,第一亮度可以为第一图像中的第三区域的亮度。
结合第一方面,在第一方面的一种可能的实现方式中,电子设备基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度,具体可以包括:电子设备可以基于第一曝光强度、第二曝光强度、第一亮度和第二亮度,确定感度比例。感度比例用于表示第一摄像头的感光能力和第二摄像头的感光能力的比值。电子设备可以确定第三曝光强度为感度比例和第一曝光强度的乘积。
在本申请提供的方案中,电子设备可以实时计算第一摄像头和第二摄像头感光能力的比值。从而调整第一摄像头采集图像时的曝光强度,使得第一摄像头采集的第三图像和第二摄像头采集的第四图像的亮度一致,便于第三图像和第四图像后续融合。也就是说,第三图像和第四图像融合后可以生成更清晰的图像,即用户可以获得质量更高的图像。
结合第一方面,在第一方面的一种可能的实现方式中,第一图像与第二图像融合得到第五图像。第五图像可以显示在电子设备的显示屏上。第三图像与第四图像融合得到第六图像。第六图像可以显示在电子设备的显示屏上。
在本申请提供的方案中,第一摄像头和第二摄像头获取的图像可以融合后再显示在电子设备的显示屏上。可理解,第一摄像头和第二摄像头获取的图像的亮度是否一致,会影响后续融合。若第一摄像头和第二摄像头获取的图像的亮度一致,后续融合会更顺利,图像中更多的细节可以保留到融合后生成的图像中,使得融合后生成的图像更清晰。
结合第一方面,在第一方面的一种可能的实现方式中,电子设备可以通过第一摄像头采集第一图像序列,并通过第二摄像头采集第二图像序列。第一图像序列和第二图像序列均包括L个图像帧。第一图像序列中的第N个图像帧与第二图像序列中的第N个图像帧是同时采集的。L为大于1的整数。N为不大于L的整数。电子设备还可以获取第一曝光强度序列和第二曝光强度序列。第一曝光强度序列中的第N个曝光强度为第一图像序列中的第N个图像帧被采集时的曝光强度。第二曝光强度序列中的第N个曝光强度为第二图像序列中的第N个图像帧被采集时的曝光强度。电子设备还可以基于第一曝光强度序列、第二曝光强度序列、第一图像序列的第一亮度序列和第二图像序列的第二亮度序列,确定第三曝光强度序列。电子设备可以通过第一摄像头以第一曝光强度序列采集第三图像序列,并通过第二摄像头以第三曝光强度序列采集第四图像序列。第三图像序列中的第N个图像帧和第四图像序列中的第N个图像帧是同时采集的。第三图像序列中的第N个图像帧的亮度与第四图像序列中的第N个图像帧的亮度的差值小于第一阈值。其中,第一图像序列中的第N个图像帧与第二图像序列中的第N个图像帧融合得到第五图像序列。第五图像序列中的图像帧融合得到第七图像。第七图像可以显示在电子设备的显示屏上。第三图像序列中的第N个图像帧与第四图像序列中的第N个图像帧融合得到第六图像序列。第六图像序列中的图像帧融合得到第八图像。第八图像可以显示在电子设备的显示屏上。
在本申请提供的方案中,为了进一步提高用户获取的图像的质量,电子设备还可以通过第一摄像头和第二摄像头分别以不同的曝光强度来采集多个图像帧。例如,电子设备可以通过第一摄像头采集第一长曝光帧、第一中曝光帧和第一短曝光帧,通过第二摄像头采集第二长曝光帧、第二中曝光帧和第二短曝光帧。第一长曝光帧和第二长曝光帧是同时采集的。第一中曝光帧和第二中曝光帧是同时采集的。第一短曝光帧和第二短曝光帧是同时采集的。可理解,长曝光帧是在曝光强度较高的情况下获取的图像,短曝光帧是在曝光强度较低的情况下获取的图像,而中曝光帧是在曝光强度介于长、短曝光帧之间的情况下获取的图像。电子设备可以融合第一长曝光帧和第二长曝光帧,得到第三长曝光帧。电子设备可以融合第一中曝光帧和第二中曝光帧,得到第三中曝光帧。电子设备可以融合第一短曝光帧和第二短曝光帧,得到第三短曝光帧。可理解,第三中曝光帧中欠曝或过曝的细节可以通过第三长曝光帧和第三短曝光帧来进行补偿,使得融合得到的图像更清晰。
可理解,第一图像序列可以包括第一摄像头获取的一系列图像。例如,第一图像序列可以包括上文所述的第一长曝光帧、第一中曝光帧和第一短曝光帧。第二图像序列可以包括第二摄像头获取的一系列图像。例如,第二图像序列可以包括上文所述的第二长曝光帧、第二中曝光帧和第二短曝光帧。
可理解,第一曝光强度序列可以包括第一摄像头采集第一图像序列中的图像时所采用的曝光强度。例如,第一曝光强度序列可以包括第一摄像头采集第一长曝光帧、第一中曝光帧和第一短曝光帧时的曝光强度。第二曝光强度序列可以包括第二摄像头采集第二图像序列中的图像时所采用的曝光强度。例如,第二曝光强度序列可以包括第二摄像头采集第二长曝光帧、第二中曝光帧和第二短曝光帧时的曝光强度。
在一些实施例中,第一曝光强度序列中的第N个曝光强度和第二曝光强度序列中的第N个曝光强度可以相同。在另一些实施例中,第一曝光强度序列中的第N个曝光强度和第二曝光强度序列中的第N个曝光强度也可以不相同。
在一些实施例中,第一曝光强度序列可以包括互不相同的曝光强度,也可以包括相同的曝光强度。第二曝光强度序列可以包括互不相同的曝光强度,也可以包括相同的曝光强度。
第二方面,本申请提供了一种电子设备。该电子设备可以包括显示屏、第一摄像头、第二摄像头、一个或多个存储器、一个或多个处理器。其中,一个或多个处理器与第一摄像头、第二摄像头、一个或多个存储器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令。第一摄像头,可以用于采集第一图像。第二摄像头,可以用于采集第二图像。第一图像和第二图像是同时采集的。处理器,可以用于获取第一曝光强度和第二曝光强度。第一曝光强度为第一图像被采集时的曝光强度。第二曝光强度为第二图像被采集时的曝光强度。处理器,还可以用于基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度。第一摄像头,还可以用于采集第三图像。第二摄像头,还可以用于采集第四图像。第三图像和第四图像是同时采集的。第三图像的亮度与第四图像的亮度的差值小于第一阈值。
结合第二方面,在第二方面的一种可能的实现方式中,第一图像和第二图像均包括内容相同的第一区域;第三图像和第四图像均包括内容相同的第二区域。
结合第二方面,在第二方面的一种可能的实现方式中,处理器,在用于基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度之前,还可以用于:比较第一图像呈现的第一视场角和第二图像呈现的第二视场角是否一致。若第一视场角与第二视场角不一致,且第一视场角大于第二视场角,从第一图像中选取第三区域。第三区域与第二图像具有相同的内容。第一亮度为第三区域的亮度。
结合第二方面,在第二方面的一种可能的实现方式中,处理器,在用于基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度时,具体可以用于:基于第一曝光强度、第二曝光强度、第一亮度和第二亮度,确定感度比例。感度比例用于表示第一摄像头的感光能力和第二摄像头的感光能力的比值。确定第三曝光强度为感度比例和第一曝光强度的乘积。
结合第二方面,在第二方面的一种可能的实现方式中,处理器,还可以用于:融合第一图像和第二图像,得到第五图像。处理器,还可以融合第三图像和第四图像,得到第六图像。显示屏,可以用于显示第五图像和第六图像。
结合第二方面,在第二方面的一种可能的实现方式中,第一摄像头,还可以用于采集第一图像序列。第二摄像头,还可以用于采集第二图像序列。第一图像序列和第二图像序列均包括L个图像帧。第一图像序列中的第N个图像帧与第二图像序列中的第N个图像帧是同时采集的。L为大于1的整数。N为不大于L的整数。处理器,还可以用于获取第一曝光强度序列和第二曝光强度序列。第一曝光强度序列中的第N个曝光强度为第一图像序列中的第N个图像帧被采集时的曝光强度。第二曝光强度序列中的第N个曝光强度为第二图像序列中的第N个图像帧被采集时的曝光强度。处理器,还可以用于基于第一曝光强度序列、第二曝光强度序列、第一图像序列的第一亮度序列和第二图像序列的第二亮度序列,确定第三曝光强度序列。第一摄像头,还可以用于以第一曝光强度序列采集第三图像序列。第二摄像头,还可以用于以第二曝光强度序列采集第四图像序列。第三图像序列中的第N个图像帧和第四图像序列中的第N个图像帧是同时采集的。第三图像序列中的第N个图像帧的亮度与第四图像序列中的第N个图像帧的亮度的差值小于第一阈值。其中,第一图像序列中的第N个图像帧与第二图像序列中的第N个图像帧融合得到第五图像序列。第五图像序列中的图像帧融合得到第七图像。第七图像可以显示在电子设备的显示屏上。第三图像序列中的第N个图像帧与第四图像序列中的第N个图像帧融合得到第六图像序列。第六图像序列中的图像帧融合得到第八图像。第八图像可以显示在电子设备的显示屏上。
第三方面,本申请提供一种计算机可读存储介质,包括指令,当上述指令在电子设备上运行时,使得上述电子设备执行上述第一方面中任一种可能的实现方式。
第四方面,本申请实施例提供一种芯片,该芯片应用于电子设备,该芯片包括一个或多个处理器,该处理器用于调用计算机指令以使得该电子设备执行上述第一方面中任一种可能的实现方式。
第五方面,本申请实施例提供一种包含指令的计算机程序产品,当上述计算机程序产品在设备上运行时,使得上述电子设备执行上述第一方面中任一种可能的实现方式。
可以理解地,上述第二方面提供的电子设备、第三方面提供的计算机可读存储介质、第四方面提供的芯片、第五方面提供的计算机程序产品均用于执行本申请实施例所提供的方法。因此,其所能达到的有益效果可参考对应方法中的有益效果,此处不再赘述。
附图说明
图1为本申请实施例提供的一种电子设备100的硬件结构示意图;
图2为本申请实施例提供的一种电子设备100的软件结构示意图;
图3A-图3D为本申请实施例提供的一组用户界面示意图;
图4为本申请实施例提供的一种调节主摄像头或辅助摄像头的曝光参数方法的流程图;
图5为本申请实施例提供的一种曝光强度调节方法的流程图;
图6A为本申请实施例提供的通过主摄像头获取的一帧预览图像;
图6B为本申请实施例提供的通过辅助摄像头获取的一帧预览图像;
图7为本申请实施例提供的一种图像裁剪方法的原理示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请涉及拍摄领域,为了便于理解本申请提供的方法,下面对拍摄领域的一些术语进行介绍。
1、双摄像头
近几年来,越来越多具有拍摄功能的电子设备(例如,手机)采取了双摄像头(简称为双摄)的方案。采用双摄方案的电子设备一般包括一个主摄像头和一个辅助摄像头。
双摄方案可以包括但不限于:1)广角摄像头+长焦摄像头;2)标准摄像头+景深摄像头;3)彩色摄像头+黑白摄像头。对于第三种双摄方案来说,彩色摄像头为主摄像头,黑色摄像头为辅助摄像头。
可理解,双摄方案不限于上述内容,还可以有其他组合形式,本申请对此不作限制。
若使用采取双摄方案的电子设备进行拍摄,电子设备的两个摄像头可以在同一时刻分别成像,得到两张图像。电子设备再对得到的两张图像进行融合,最后形成一张图像。
例如,使用采取彩色摄像头+黑白摄像头方案的电子设备进行拍摄,彩色摄像头和黑白摄像头同时成像,可以得到彩色图像和黑白图像。通常,彩色图像包括颜色信息。相比于彩色图像,黑白图像包括更多的细节信息。其中,细节信息指的是图像中的高频分量,主要是对边缘和轮廓的度量。也就是说,相较于彩色图像,黑白图像保留了更多的高频分量,所以黑白图像中的边缘和轮廓更清晰。在后续处理过程中,电子设备会将彩色图像和黑色图像融合成一张图像。因此,用户最终得到的图像既包括颜色信息,又保留了细节信息,提升了图像的质量。
需要说明的是,电子设备的两个摄像头采集的两张图像的亮度一致性会影响后续融合得到的图像质量。两张图像的亮度越接近,后续融合越顺利,最终得到的图像的质量越高。
2、曝光量
可理解,曝光量反映了获取图像时感光元件获取到的光能量的多少,影响最终获取的图像的明暗(亮度)。曝光量由曝光时间、通光面积以及环境光强度这三大因素决定。其中,快门速度决定曝光时间。光圈大小决定通光面积。在胶片时代,用感光度(ISO值)来反映胶片对光线的敏感度,可以认为ISO值影响感光元件获取的环境光强度。而数码相机、手机等电子设备的感光元件在封装之后就不变了,对这些电子设备来说,ISO表示的不再是感光元件对光线的敏感度,而是电子信号放大增益值。
可理解,在进行拍摄时,电子设备的镜头可以生成被摄体的光学图像,并将该光学图像投射到传感器(例如,CCD传感器、CMOS传感器等)表面上,然后经过光电转换为电信号,即上文所述的电子信号。可理解,经过光电转换后的电信号包含像素的亮度信息和颜色信息等。
当ISO增大时,即电子信号的放大增益增大,电信号被放大。相应的,电信号中包换的像素的亮度信息被放大,最终得到的图像会更亮。可理解,ISO是国际标准化组织(International Organization for Standardization)的缩写。这个组织对感光度做了量化规定,即利用ISO值表示感光度。
综上所述,曝光时间、光圈大小和ISO这三个曝光参数是影响曝光量的三大因素。
3、曝光强度
在一些实施例中,数码相机、手机等电子设备的光圈大小是固定的,所以可以通过调节曝光时间和ISO来调节曝光量,从而使得获取的图像的亮度发生变化。为了便于理解和计算,本申请实施例用曝光强度来表征曝光量。其中,曝光强度=曝光时间*ISO。在光圈大小固定的情况下,曝光强度越大,曝光量越大,图像越亮;曝光强度越小,曝光量越小,图像越暗。
4、感光能力
感光能力可以表示电子设备接收光能量的能力。摄像头的感光能力越强,电子设备在单位时间内接收到的光能量越大。不同的电子设备可能具有不同的感光能力。对于具有不同感光能力的电子设备来说,曝光强度相同时,感光能力强的电子设备接收到的光能量越大,那么获得的图像的亮度更高。
目前,对于采取双摄方案的电子设备来说,厂商一般会标定主摄像头和辅助摄像头在特定环境下的感光能力,从而使得通过这两个摄像头获得的图像的亮度一致。其中,摄像头的感光能力也可以理解为摄像头中的传感器的感光能力。一般来说,厂商可以标定一组或多组色温下的摄像头的感光能力。
然而,这种方式难以标定所有环境下电子设备的摄像头的感光能力。即该方法适应性有限。另外,后续通过主摄像头和辅助摄像头得到的图像的亮度是否一致,取决于标定过程的准确性。也就是说,若标定过程出现问题,很可能导致通过这两个摄像头获得的图像的亮度不一致,从而影响融合得到的图像的质量。
本申请提供了一种曝光强度调节方法及相关装置。电子设备可以实时获取主摄像头和辅助摄像头采集的图像的亮度,以及主摄像头和辅助摄像头的曝光参数。根据一张图像的亮度以及摄像头采集这一张图像时的曝光参数,电子设备可以确定采集这一张图像的摄像头的感度系数。上述感度系数可用于表征摄像头的感光能力。进一步的,电子设备可以通过感度系数来调节主摄像头或辅助摄像头的曝光强度,从而使得通过电子设备的主摄像头和辅助摄像头获取的图像亮度相同。上述方法提高了通过电子设备的两个摄像头采集的图像亮度的一致性,便于后续对通过这两个摄像头采集的图像的融合,使得用户可以获得质量更好的图像。
在此先介绍感度系数的含义。
本申请实施例利用感度系数来表征摄像头的感光能力。摄像头的感光能力越大,感度系数越大。也可以将感度系数理解为用来表示曝光强度与图像亮度的参数。一般来说,感度系数=Raw图平均亮度/(曝光时间*增益)。这里所提到的增益可以理解为ISO,即电子信号放大增益值。因此,感度系数可以理解为图像亮度与曝光强度的比值。
由上述感度系数与Raw图平均亮度、曝光强度的关系式可知,在曝光强度相同的情况下,若摄像头采集图像的Raw图平均亮度越高,该摄像头的感度系数越大。而在曝光强度相同时,若摄像头的感光能力越强,摄像头采集图像的图像亮度越高(即Raw图平均亮度越高)。可理解,上述感度系数可用于表征摄像头的感光能力。其中,感度系数越大可以表示摄像头的感光能力越强。
可理解,厂商也可以标定感度系数。例如,厂商可以使用灯箱构造一个D65 500Lux的环境,在中间放一个灰卡,通过摄像头获取Raw图、曝光时间和增益,然后根据上述式子确定该摄像头的感度系数。
可理解,Raw图像也可以被称为Raw格式的图像,是数码相机、手机等电子设备采集到的最原始的图像数据信息。也可以将Raw图像理解为CMOS或者CCD等图像感应器将捕捉到的光源信号转化为数字信号的原始数据(原始图像文件)。
下面介绍本申请实施例涉及的装置。
图1为本申请实施例提供的一种电子设备100的硬件结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(Universal Serial Bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(Subscriber Identification Module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(Application Processor,AP),调制解调处理器,图形处理器(Graphics Processingunit,GPU),图像信号处理器(Image Signal Processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(Digital Signal Processor,DSP),基带处理器,和/或神经网络处理器(Neural-network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
可理解,处理器110中还可以包括AE系统。AE系统可以具体设置在ISP中。AE系统可用于实现曝光参数的自动调整。可选的,AE系统还可以集成在其它处理器芯片中。本申请实施例对此不作限定。
在本申请提供的实施例中,电子设备100可以通过处理器110执行所述曝光强度调节方法。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备100,例如AR设备等。
充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备100供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络),蓝牙(Bluetooth,BT),全球导航卫星系统(Global Navigation Satellite System,GNSS),调频(Frequency Modulation,FM),近距离无线通信技术(Near Field Communication,NFC),红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode的,AMOLED),柔性发光二极管(Flex Light-EmittingDiode,FLED),Mini LED,Micro LED,Micro-OLED,量子点发光二极管(Quantum Dot LightEmitting Diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现获取功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像或视频。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像或视频信号。ISP将数字图像或视频信号输出到DSP加工处理。DSP将数字图像或视频信号转换成标准的RGB,YUV等格式的图像或视频信号。
在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。例如,在一些实施例中,电子设备100可以利用N个摄像头193获取多个曝光强度的图像,进而,在视频后处理中,电子设备100可以根据多个曝光强度的图像,通过HDR技术合成HDR图像。
在本申请实施例中,电子设备100可以包括两个摄像头193。这两个摄像头分别为主摄像头和辅助摄像头。若用户触发拍摄,主摄像头和辅助摄像头可以同时获取图像,然后经电子设备100融合成一张图像,该图像即为显示给用户的图像。
在本申请实施例中,可以通过感度系数来表征摄像头193的感光能力。也可以理解为摄像头193中的感光元件的感光能力可以通过感度系数来表示。在曝光强度相同的情况下,感度系数越大,感光元件的感光能力越强,摄像头193获取的图像越亮。
在本申请实施例中,主摄像头和辅助摄像头可以获取Raw图,并将Raw图传递给ISP进行处理。ISP根据Raw图的亮度和上述两个摄像头的曝光强度,可以调整主摄像头或辅助摄像头的曝光强度,使得通过这两个摄像头获取的图像的亮度一致。
数字信号处理器用于处理数字信号,除了可以处理数字图像或视频信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(Neural-Network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像视频播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。电子设备100可以设置至少一个麦克风170C。
耳机接口170D用于连接有线耳机。
传感器模块180可以包括1个或多个传感器,这些传感器可以为相同类型或不同类型。可理解,图1所示的传感器模块180仅为一种示例性的划分方式,还可能有其他划分方式,本申请对此不作限制。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于获取指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
在本申请的一个实施例中,用户利用电子设备100进行延时摄影或连拍,需要获取一系列图像。在延时摄像或连拍的场景中,电子设备100可以采取AE模式。即电子设备100自动调整AE值,在预览这一系列图像的过程中,若用户有触摸操作作用于显示屏194,可能触发touchAE模式。在touchAE模式下,电子设备100可以调整用户触摸显示屏的相应位置的亮度,并进行高权重测光。使得计算画面平均亮度的时候,用户触摸区域的权重明显高于其他区域,最终计算所得的画面平均亮度更加靠近用户触摸区域的平均亮度。
骨传导传感器180M可以获取振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
图2为本申请实施例提供的一种电子设备100的软件结构示意图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将系统分为四层,从上至下分别为应用程序层,应用程序框架层,运行时(Runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(ApplicationProgramming Interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
运行时(Runtime)包括核心库和虚拟机。Runtime负责系统的调度和管理。
核心库包含两部分:一部分是编程语言(例如,java语言)需要调用的功能函数,另一部分是系统的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的编程文件(例如,java文件)执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(Surface Manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维(2-Dimensional,2D)和三维(3-Dimensional,3D)图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现3D图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,虚拟卡驱动。
下面结合捕获拍照场景,示例性说明电子设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作,相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作是触摸单击操作,该单击操作所对应的控件为相机应用图标的控件为例,相机应用调用应用框架层的接口,启动相机应用,进而通过调用内核层启动摄像头驱动,通过摄像头193捕获静态图像或视频。
下面介绍本申请提供的一些提高亮度一致性的场景。
可理解,本申请的说明书和权利要求书及附图中的术语“用户界面”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面常用的表现形式是图形用户界面(graphic userinterface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
1、开启拍摄(图3A~图3B)
图3A示例性示出了电子设备100上的用于展示电子设备100安装的应用程序的示例性用户界面300。
用户界面300显示了一个放置有应用图标的页面,该页面可包括多个应用图标(例如,天气应用图标、日历应用图标、相册应用图标、便签应用图标、电子邮件应用图标、应用商店应用图标、设置应用图标等等)。上述多个应用图标下方还可显示有页面指示符,以表明当前显示的页面与其他页面的位置关系。页面指示符的下方有多个托盘图标(例如,相机应用图标310、浏览器应用图标、信息应用图标、拨号应用图标)。托盘图标在页面切换时保持显示。本申请实施例对用户界面300上显示的内容不作限定。
可理解,电子设备100可以检测到用户作用于相机应用图标310的用户操作(比如触摸/点击操作),响应于该操作,电子设备100可以显示图3B所示的拍摄界面400。拍摄界面400可以是相机应用程序的默认拍照模式的用户界面,用户可以在该界面上完成拍照。
图3B示例性示出了智能手机等电子设备上的相机应用程序的一个拍摄界面400。如图3B所示,拍摄界面400可包括参数调节区域410、预览区域420、相机模式选项430、相册快捷控件441、快门控件442和摄像头翻转控件443。
预览区域420可用于显示预览图像。该预览图像为电子设备100通过摄像头实时采集的图像。电子设备可以实时刷新预览区域420中的显示内容,以便于用户预览摄像头当前采集的图像。
相机模式选项430中可以显示有一个或多个拍摄模式选项。这一个或多个拍摄模式选项可以包括:夜景模式选项431、智能人像模式选项432、拍照模式选项433、录像模式选项434和更多选项435。
可理解,当检测到作用于拍摄模式选项上的用户操作,电子设备100可以开启用户选择的拍摄模式。相册快捷控件441可用于开启相册应用程序。响应于作用在相册快捷控件441上的用户操作,例如触摸操作,电子设备100可以开启相册应用程序。
快门控件442可用于监听触发拍照的用户操作。电子设备100可以检测到作用于快门控件442的用户操作,响应于该操作,电子设备100可以将预览区域420中的预览图像保存为相册应用程序中的图片。另外,电子设备100还可以在相册快捷控件441中显示所保存的图像的缩略图。也就是说,用户可以通过作用于快门控件442的操作来触发拍照。可理解,快门控件442可以是按钮或者其他形式的控件,本申请对此不作限制。
摄像头翻转控件443可用于监听触发翻转摄像头的用户操作。电子设备100可以检测到作用于摄像头翻转控件443的用户操作,例如触摸操作,响应于该操作,电子设备100可以翻转用于拍摄的摄像头,例如将后置摄像头切换为前置摄像头,或者将前置摄像头切换为后置摄像头。
拍摄界面400中还可以包含更多或更少的控件,本申请实施例对此不作限定。
2、调节主摄像头或辅助摄像头的曝光强度,使得通过主摄像头和辅助摄像头获得的图像的亮度一致,有利于融合成质量更好的图像
在一种可能的实现方式中,电子设备100可以以主摄像头拍摄得到的图像的亮度为标准,调节辅助摄像头拍摄图像时的曝光强度,使得辅助摄像头拍摄得到的图像的亮度与主摄像头拍摄得到的图像的亮度一致。
在又一种可能的实现方式中,电子设备100可以以辅助摄像头拍摄得到的图像的亮度为标准,调节主摄像头拍摄图像时的曝光强度,使得主摄像头拍摄得到的图像的亮度与辅助摄像头拍摄得到的图像的亮度一致。
需要说明的是,在本申请的一个实施例中,若两张图像的亮度的差值小于预设阈值,则这两张图像的亮度一致。可理解,这里所说的图像的亮度可以为图像的平均亮度。
用户触发相机应用程序后,电子设备100可以显示如图3B所示的拍摄界面400,拍摄界面400中的预览区域420可用于显示预览图像。可理解,电子设备100的主摄像头和辅助摄像头可以分别获取图像,然后将获取的图像进行融合,最终将融合后的图像显示到显示屏上。也就是说,预览区域420显示的预览图像为通过主摄像头和辅助摄像头获取的图像融合后的图像。
电子设备100的主摄像头和辅助摄像头分别获取图像后,可以根据获取的图像以及两个摄像头的曝光参数来调节主摄像头或辅助摄像头的曝光强度,使得通过两个摄像头采集的图像的亮度一致,便于后续融合,有利于融合成质量更好的图像。
需要说明的是,根据获取的图像以及两个摄像头的曝光参数来调节主摄像头或辅助摄像头的曝光参数的方法,可以参考下面的实施例,在此不展开说明。
电子设备100可以检测到作用于快门控件442的用户操作,响应于该用户操作,电子设备100获取并保存图像。电子设备100可以检测到作用于相册快捷控件441的用户操作,响应于该操作,电子设备100可以开启相册应用程序以显示用户触发快门后保存的图像。
如图3C所示,图3C为电子设备100显示的图像浏览界面500。图像浏览界面500中的图像1为调节主摄像头或辅助摄像头的曝光强度后获取并融合的图像,相较于未调节曝光强度就获取并融合的图像(如图3D中的图像2),图像1更清晰,即图像1具有更多细节。
下面结合图4具体介绍本申请提供的一种调节主摄像头或辅助摄像头的曝光强度的方法。
S401:电子设备100获取主摄像头和辅助摄像头的曝光参数以及图像A和图像B。其中,图像A为电子设备100通过主摄像头在时刻A获取的图像,图像B为电子设备100通过辅助摄像头在时刻A获取的图像。
电子设备100可以获得分别由主摄像头和辅助摄像头在同一时刻(时刻A)采集的图像。其中,将由主摄像头在时刻A采集的图像记为图像A,将由辅助摄像头在时刻A采集的图像记为图像B。另外,电子设备还可以获取主摄像头和辅助摄像头在采集图像A和图像B时所采取的曝光参数。
需要说明的是,电子设备100获取的图像A和图像B可以为原始图像数据,即为Raw图。但是Raw图可能包含很多像素。若直接对Raw图进行处理非常消耗计算资源,电子设备100难以支持。所以,通常情况下,电子设备100可以将Raw图划分为若干个区域,分别计算各个区域的平均亮度。由这若干个区域的平均亮度组成像素数更少的图像。也就是说,图像A和图像B也可以为将Raw图进行处理后所得的图像。
示例性的,将电子设备100获取的Raw图划分为32*32个区域,分别计算这些区域中的像素的平均亮度,并将得到的平均亮度分别记为这些区域的亮度。每个区域用一个像素表示,该像素的亮度即为相应区域的亮度。可理解,电子设备100可以获取一个32px*32px的图像,可以将该图像作为电子设备100获取的图像以便执行后续方法。
另外,曝光时间和ISO等曝光参数可以直接在传感器(例如,CMOS图像传感器等)内读取,或者,当电子设备100采取自动曝光(Automatic Exposure,AE)模式时,可以将这些参数存储在指定内存地址中,电子设备100通过访问该指定内存地址获取这些参数。
为了便于描述,将主摄像头的曝光时间和ISO分别记为ET1和ISO1;将辅助摄像头的曝光时间和ISO分别记为ET2和ISO2。将主摄像头和辅助摄像头的曝光强度分别记为Expo1和Expo2。根据曝光强度、曝光时间和ISO三者间的关系(曝光强度=曝光时间*ISO),可得Expo1=ET1×ISO1,Expo2=ET2×ISO2。
在一些实施例中,电子设备100检测到作用于相机应用图标310的用户操作,响应于该操作,电子设备可以显示拍摄界面400(如图3B所示)。在电子设备100显示用户界面400到用户触发快门控件442的这段时间内,电子设备100可以获取主摄像头的曝光参数,还可以获取通过主摄像头采集的图像。类似的,电子设备100也可以获取辅助摄像头的曝光参数,还可以获取通过辅助摄像头采集的图像。也就是说,获取图像A和图像B的时刻(时刻A)并不一定为用户触发快门控件442的时刻。另外,图像A和图像B融合所得的图像可以显示在预览区域420,但不一定由电子设备100保存到相册应用程序中。
在本申请的一个实施例中,主摄像头为彩色摄像头,辅助摄像头为黑白摄像头。当然,主摄像头和辅助摄像头还可以存在其他组合形式,本申请对此不作限制。
S402:电子设备100确定获取的图像A和图像B的亮度。
具体地,电子设备100可以计算图像A和图像B的图像亮度。可理解,电子设备100计算图像亮度的方法有很多种。一般来说,电子设备100可以采取同一种方法来分别计算图像A和图像B的亮度。为了便于描述,将电子设备100确定的图像A的亮度记为luma1,将电子设备100确定的图像B的亮度记为luma2。
在一些实施例中,图像A的亮度为图像A的平均亮度值,图像B的亮度为图像B的平均亮度值。
下面简单介绍计算图像A和图像B亮度的方法。
1、将图像A和图像B从RGB颜色空间转换为XYZ颜色空间,在RGB颜色空间下,一般用红(Red,R)、绿(Green,G)、蓝(Blue,B)三个分量来表示彩色图像,而在XYZ颜色空间下,X(红原色刺激量)、Y(绿原色刺激量)和Z(蓝原色刺激量)三个分量匹配等能光谱中的三刺激值,取转换颜色空间后图像A和图像B各个像素的Y分量的平均值为平均亮度值。
2、将图像A和图像B从RGB颜色空间转换为Yxy颜色空间,在Yxy颜色空间下,根据x(色调的主导波长)、y(饱和度)两个分量定义颜色,Y分量表示明度,取转换颜色空间后Raw图像各个像素的Y分量的平均值为平均亮度值。
3、将Raw图像从RGB颜色空间转换为YUV颜色空间,在YUV颜色空间下,Y表示明度,U和V表示色度(描述色彩及饱和度),取转换颜色空间后Raw图像各个像素的Y分量的平均值为平均亮度值。
4、不转换颜色空间,直接取Raw图像R、G、B三个分量的平均值为平均亮度值。
5、不转换颜色空间,直接取Raw图像各个像素的G分量的平均值为平均亮度值。
可理解,上述计算方法仅为本申请给出的一些示例,还存在其他计算图像A和图像B的平均亮度值的方法,本申请对此不作限制。
S403:电子设备100调节主摄像头或辅助摄像头的曝光强度,使得通过主摄像头和辅助摄像头获取的图像的亮度一致。
具体地,电子设备100可以将通过主摄像头获取的图像的亮度作为标准,调节辅助摄像头的曝光强度,使得电子设备100通过主摄像头和辅助摄像头获取的图像的亮度一致。或者,电子设备100也可以将通过辅助摄像头获取的图像的亮度作为标准,调节主摄像头的曝光强度,使得电子设备100通过主摄像头和辅助摄像头获取的图像的亮度一致。
将作为标准的摄像头记为first,将另一个需要调节曝光强度的摄像头记为second。可理解,电子设备100可以基于first的曝光参数来调节second的曝光强度,使得通过second获取的图像的亮度与通过first获取的图像的亮度一致。
为了便于描述,将first的曝光时间和ISO分别记为ETfirst和ISOfirst;将second的曝光时间和ISO分别记为ETsecond和ISOsecond。将first和second的曝光强度分别记为Expofirst和Exposecond。根据曝光强度、曝光时间和ISO三者间的关系(曝光强度=曝光时间*ISO),可得:Expofirst=ETfirst×ISOfirst,Exposecond=ETsecond×ISOsecond。
另外,将同一时刻通过first和second获取的图像的亮度分别记为lumafirst和lumasecond。
将调整后的second的曝光强度记为newExposecond,在该曝光强度下,将通过second得到的图像的亮度记为newlumasecond。
将first和second的感度系数分别记为M和N。可理解,电子设备100可以根据获取的曝光参数和图像来实时计算M和N。由于感度系数=Raw图平均亮度/(曝光时间*增益),这里所提到的增益可以理解为ISO,即电子信号放大增益值。则有ETfirst×ISOfirst×M=lumafirst,ETsecond×ISOsecond×N=lumasecond。即Expofirst×M=lumafirst,Exposecond×N=lumasecond。
可理解,在上述情况下,电子设备100通过主摄像头和辅助摄像头得到的图像的亮度一致。
综上,电子设备100可以根据感度比例AuxRatio和first的曝光强度来调节second的曝光强度。其中,所以可以根据first和second当前的曝光参数确定当前的曝光强度,然后再确定AuxRatio。
情况一:主摄像头为first,辅助摄像头为second。
具体地,若将主摄像头作为标准摄像头(first),而辅助摄像头则为需要调节曝光强度的摄像头(second),则有:ETfirst=ET1,ISOfirst=ISO1,Expofirst=Expo1,lumafirst=luma1,ETsecond=ET2,ISOsecond=ISO2,Exposecond=Expo2,lumasecond=luma2。可知,主摄像头的感度系数为M,辅助摄像头的感度系数为N。
将调整后的辅助摄像头的曝光强度记为newExpo2,在该曝光强度下,将通过辅助摄像头到的图像的亮度记为newluma2,可得:newExpo2×N=newluma2。可理解,在上述情况下,通过主摄像头和辅助摄像头得到的图像的亮度一致,即newluma2=luma2。
情况二:主摄像头为second,辅助摄像头为first。
具体地,若将辅助摄像头作为标准相机(first),而主摄像头则为需要调节曝光参数的相机(second),则有:ETfirst=ET2,ISOfirst=ISO2,Expofirst=Expo2,lumafirst=luma2,ETsecond=ET1,ISOsecond=ISO1,Exposecond=Expo1,lumasecond=luma1。可知,主摄像头的感度系数为N,辅助摄像头的感度系数为M。
将调整后的主摄像头的曝光强度记为newExpo1,在该曝光强度下,将通过主摄像头到的图像的亮度记为newluma1,可得:newExpo1×N=newluma1。可理解,在上述情况下,通过主摄像头和辅助摄像头得到的图像的亮度一致,即newluma1=luma1。
值得注意的是,经上述方法调节主摄像头或辅助摄像头的曝光参数后,电子设备100可以通过主摄像头和辅助摄像头采集亮度一致的图像,有利于后续对图像的融合,使得用户可以得到质量更高的图像。
下面根据图5所示的流程图介绍本申请实施例提供的一种曝光强度调节方法。
S501:电子设备100获取主摄像头和辅助摄像头的曝光参数、图像A和图像B。其中,图像A为电子设备100通过主摄像头在时刻A获取的图像,图像B为电子设备100通过辅助摄像头在时刻A获取的图像。
可理解,电子设备100获取主摄像头和辅助摄像头的曝光参数、图像A和图像B的方法可以参考步骤S401,在此不再赘述。
S502:电子设备100判断主摄像头和辅助摄像头的视场角是否一致。
具体地,电子设备100可以获取主摄像头的视场角和辅助摄像头的视场角,并判断主摄像头的视场角和辅助摄像头的视场角是否一致。若主摄像头的视场角和辅助摄像头的视场角不一致,电子设备100继续执行步骤S503,即需要将通过视场角更大的摄像头获取的图像进行裁剪,使得裁剪后的图像与通过视场角更小的摄像头获取的图像内容一致;若主摄像头和辅助摄像头的视场角一致,执行步骤S504,即确定图像A和图像B的亮度。
在本申请的一个实施例中,电子设备100可以获取主摄像头和辅助摄像头的焦距,并通过两个摄像头获取图像时采取的焦距来判断其中哪个摄像头的视场角更大。之所以可以通过焦距来判断视场角,是因为焦距和视场角有一定的对应关系。一般来说,焦距越短,视场角越大。可理解,电子设备100可以通过查阅焦距与对角线视场角示意图获得焦距和视场角的对应关系。例如,电子设备100中存储焦距和视场角的对应关系,可以根据焦距查找相应的视场角,也可以根据视场角查找相应的焦距。
可理解,视场角、焦距等物理参数可以存储在指定内存地址中,电子设备100可以通过访问该指定内存地址来获取这些参数。
需要说明的是,为了便于描述,可以将主摄像头的视场角记为FOV1,将辅助摄像头的视场角记为FOV2。
S503:电子设备100确定图像A和图像B中视场角更大的图像,并对视场角更大的图像进行裁剪,使得裁剪后的图像与另一图像的内容一致。
具体地,电子设备100根据步骤S502中获取的两个摄像头的视场角,确定图像A和图像B中视场角更大的图像。也就是说,若FOV1>FOV2,图像A为视场角更大的图像;若FOV1<FOV2,图像B为视场角更大的图像。确定视场角更大的图像后,电子设备100可以对其进行裁剪,根据FOV1和FOV2,在视场角更大的图像的中央划定一个区域,裁剪其他区域,仅保留划定的那个区域。
示例性的,若主摄像头采取的是标准镜头,辅助摄像头采取的是广角镜头,电子设备100可以通过标准镜头获取图像A,而通过广角镜头获取图像B。可理解,图6A为图像A,图6B为图像B。电子设备100根据焦距和视场角的对应关系,以及步骤S502中获取的两个相机的视场角,可得出辅助摄像头的焦距为主摄像头的焦距的两倍,并且可以确定图像B为视场角更大的图像。以图像B的对角线交点作为中心,划定一个区域,该区域与图像B的尺寸等比例,但该区域的面积为图像B面积的1/4。如图7所示,图像A和图像B都是长为L、宽为H的矩形,以图像B的对角线交点为中心,划定的区域也为一个等比例矩形,该区域的长为1/2L,宽为1/2H,电子设备100保留该区域,裁剪图像B的其他部分。可理解,裁剪后得到的图像与图像A的内容一致。
S504:电子设备100确定裁剪后的图像和另一图像的亮度。
可理解,电子设备100确定裁剪后的图像和另一图像的亮度的方法也可参考步骤S402,在此不再赘述。
S505:电子设备100确定图像A和图像B的亮度。
可理解,电子设备100确定图像A和图像B的亮度的方法可参考步骤S402,在此不再赘述。
S506:电子设备100调节主摄像头或辅助摄像头的曝光强度,使得通过主摄像头和辅助摄像头获取的图像的亮度一致。
可理解,调整主摄像头或辅助摄像头曝光参数的方法可参考步骤S403,在此不再赘述。
下面介绍本申请实施例提供的又一种曝光强度调节方法。
可理解,上述实施例所示的方法可以使得通过主摄像头和辅助摄像头获取的图像的亮度一致,从而使得后续融合得到的图像质量更好。在此基础上,电子设备100可以通过获取多帧图像并融合的方式进一步的提升图像质量。在本申请的一个实施例中,电子设备100可以通过主摄像头获取长曝光帧、中曝光帧和短曝光帧,以及通过辅助摄像头获取长曝光帧、中曝光帧和短曝光帧。可理解,主摄像头和辅助摄像头获取长曝光帧的时刻是同一时刻。类似的,主摄像头和辅助摄像头获取中曝光帧的时刻是同一时刻。主摄像头和辅助摄像头获取短曝光帧的时刻是同一时刻。在后续处理过程中,电子设备100会将通过主摄像头和辅助摄像头获取的长曝光帧进行融合,生成新的图像,将其记为图像M。电子设备100会将通过主摄像头和辅助摄像头获取的中曝光帧进行融合,也生成新的图像,将其记为图像N。电子设备100会将通过主摄像头和辅助摄像头获取的短曝光帧进行融合,也生成新的图像,将其记为图像O。可理解,图像M、图像N和图像O具有不同曝光强度下的细节信息。电子设备100将三张图像进行融合,可以获取细节丰富的图像。可理解,该图像可以为用户最终获取的图像。例如,电子设备100可以通过长曝光帧(图像M)和短曝光帧(图像O)来完善中曝光帧。中曝光帧(图像N)中过曝的区域可以融合短曝光帧(图像O)的相应区域,而欠曝的区域则可以融合长曝光帧(图像M)的相应区域。也就是说,中曝光帧中欠曝或过曝的细节可以通过长曝光帧和短曝光帧来进行补偿。可理解,这种方式可以应用于更多场景(例如,过曝场景或欠曝场景等)。
可理解,长曝光帧是在曝光强度较高的情况下获取的图像,短曝光帧是在曝光强度较低的情况下获取的图像,而中曝光帧是在曝光强度介于长、短曝光帧之间的情况下获取的图像。也就是说,电子设备100在通过主摄像头和辅助摄像头获取长曝光帧、中曝光帧和短曝光帧时的曝光强度是不一样的。为了顺利获取这些在不同曝光强度下的图像,电子设备100可以在获取这些图像之前改变曝光强度。
具体的,电子设备100在时刻X通过主摄像头获取图像C,在时刻X通过辅助摄像头获取图像D。电子设备100在时刻Y通过主摄像头获取图像E,在时刻Y通过辅助摄像头获取图像F。电子设备100在时刻Z通过主摄像头获取图像G,在时刻Z通过辅助摄像头获取图像H。图像C和图像D为长曝光帧。图像E和图像F为中曝光帧。图像G和图像H为短曝光帧。电子设备100可以根据图像C和图像D的亮度,以及获取图像C和图像D时的曝光强度,来调节主摄像头或辅助摄像头的曝光强度,使得后续通过主摄像头和辅助摄像头获取的长曝光帧的亮度一致。类似的,电子设备100可以根据图像E和图像F的亮度,以及获取图像E和图像F时的曝光强度,来调节主摄像头或辅助摄像头的曝光强度,使得后续通过主摄像头和辅助摄像头获取的中曝光帧的亮度一致。电子设备100还可以根据图像G和图像H的亮度,以及获取图像G和图像H时的曝光强度,来调节主摄像头或辅助摄像头的曝光强度,使得后续通过主摄像头和辅助摄像头获取的短曝光帧的亮度一致。这种方式利于后续图像的融合,使得最终获得图像的质量更好。另外,多帧融合也能提高图像质量。
可理解,由于长曝光帧、中曝光帧和短曝光帧为电子设备100短时间内获取的图像,若将这些图像均作为预览图像,可能会出现亮度变化太大的问题。例如,出现闪烁或过暗的情况。考虑到用户体验,电子设备100的显示屏上不显示长曝光帧、中曝光帧和短曝光帧,即电子设备100不将这些图像作为预览图像。也就是说,在获取这些图像时电子设备100的显示屏上显示的是更早获取的预览图像。在一些实施例中,电子设备100的显示屏上显示的是获取这些图像前的最后一帧预览图像。
需要说明的是,权利要求书中所提及的电子设备可以为本申请实施例中的电子设备100。
在一些实施例中,电子设备100可以通过第一摄像头采集第一图像,并通过第二摄像头采集第二图像。第一图像和第二图像是同时采集的。
可理解,第一摄像头可以为前述实施例中的主摄像头,第二摄像头可以为前述实施例中的辅助摄像头。或者,第一摄像头可以为前述实施例中的辅助摄像头,第二摄像头可以为前述实施例中的主摄像头。
可理解,第一图像可以为前述实施例中的图像A,第二图像可以为前述实施例中的图像B。或者,第一图像可以为前述实施例中的图像B,第二图像可以为前述实施例中的图像A。
在一些实施例中,电子设备100可以获取第一曝光强度和第二曝光强度。第一曝光强度为第一图像被采集时的曝光强度。第二曝光强度为第二图像被采集时的曝光强度。
可理解,第一曝光强度可以为前述实施例中的Expofirst,第二曝光强度可以为前述实施例中的Exposecond。
在一些实施例中,电子设备100可以基于第一曝光强度、第二曝光强度、第一图像的第一亮度和第二图像的第二亮度,确定第三曝光强度。电子设备100可以通过第一摄像头以第一曝光强度采集第三图像,并通过第二摄像头以第三曝光强度采集第四图像。第三图像和第四图像是同时采集的。第三图像的亮度与第四图像的亮度的差值小于第一阈值。
可理解,第三曝光强度可以为newExposecond。第三图像和第四图像的亮度一致。第一阈值可以为前述实施例中的预设阈值。
在一些实施例中,第一图像和第二图像均包括内容相同的第一区域;第三图像和第四图像均包括内容相同的第二区域。
在一些实施例中,电子设备100可以比较第一图像呈现的第一视场角和第二图像呈现的第二视场角是否一致;若第一视场角与第二视场角不一致,且第一视场角大于第二视场角,电子设备可以从第一图像中选取第三区域。第三区域与第二图像具有相同的内容。第一亮度为第三区域的亮度。
可理解,第一图像呈现的第一视场角可以根据第一摄像头的视场角来确定。即可以根据FOV1来确定。类似的,第二图像呈现的第二视场角可以根据第二摄像头的视场角来确定。即可以根据FOV2来确定。
在一些实施例中,第一图像与第二图像融合得到第五图像。第五图像可以显示在电子设备的显示屏上。第三图像与第四图像融合得到第六图像。第六图像可以显示在电子设备的显示屏上。
在一些实施例中,电子设备100也可以不对第一图像和第二图像进行融合,也不在显示屏上显示这两张图像。而是基于这两张图像的亮度以及获取这两张图像时的曝光强度,调节第二摄像头的曝光强度。电子设备100可以获取第一摄像头采集的第三图像与第二摄像头采集的第四图像,并将其融合得到第六图像。第六图像可以显示在电子设备的显示屏上。
在一些实施例中,第一图像序列可以包括图像C、图像E和图像G。第二图像序列可以包括图像D、图像F和图像H。
在一些实施例中,第二图像序列可以包括图像C、图像E和图像G。第一图像序列可以包括图像D、图像F和图像H。
在一些实施例中,第五图像序列可以包括图像M、图像N和图像O。
在一些实施例中,第六图像序列可以包括图像M、图像N和图像O。
以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (13)
1.一种曝光强度自适应调节方法,其特征在于,所述方法应用于包括第一摄像头和第二摄像头的电子设备,所述方法包括:
所述电子设备通过所述第一摄像头采集第一图像,并通过所述第二摄像头采集第二图像;所述第一图像和所述第二图像是同时采集的;
所述电子设备获取第一曝光强度和第二曝光强度;所述第一曝光强度为所述第一图像被采集时的曝光强度;所述第二曝光强度为所述第二图像被采集时的曝光强度;
所述电子设备基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度;
所述电子设备通过所述第一摄像头以所述第一曝光强度采集第三图像,并通过所述第二摄像头以所述第三曝光强度采集第四图像;所述第三图像和所述第四图像是同时采集的;所述第三图像的亮度与所述第四图像的亮度的差值小于第一阈值。
2.如权利要求1所述的方法,其特征在于,所述第一图像和所述第二图像均包括内容相同的第一区域;所述第三图像和所述第四图像均包括内容相同的第二区域。
3.如权利要求1或2所述的方法,其特征在于,所述电子设备基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度之前,所述方法还包括:
所述电子设备比较所述第一图像呈现的第一视场角和所述第二图像呈现的第二视场角是否一致;
若所述第一视场角与所述第二视场角不一致,且所述第一视场角大于所述第二视场角,所述电子设备从所述第一图像中选取第三区域;所述第三区域与所述第二图像具有相同的内容;所述第一亮度为所述第三区域的亮度。
4.如权利要求1-3任一项所述的方法,其特征在于,所述电子设备基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度,具体包括:
所述电子设备基于所述第一曝光强度、所述第二曝光强度、所述第一亮度和所述第二亮度,确定感度比例;所述感度比例用于表示所述第一摄像头的感光能力和所述第二摄像头的感光能力的比值;
所述电子设备确定所述第三曝光强度为所述感度比例和所述第一曝光强度的乘积。
5.如权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备融合所述第一图像和所述第二图像,得到第五图像;
所述电子设备显示所述第五图像;
所述电子设备融合所述第三图像和所述第四图像,得到第六图像;
所述电子设备显示所述第六图像。
6.如权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
所述电子设备通过所述第一摄像头采集第一图像序列,并通过所述第二摄像头采集第二图像序列;所述第一图像序列和所述第二图像序列均包括L个图像帧;所述第一图像序列中的第N个图像帧与所述第二图像序列中的第N个图像帧是同时采集的;所述L为大于1的整数;所述N为不大于所述L的整数;
所述电子设备获取第一曝光强度序列和第二曝光强度序列;所述第一曝光强度序列中的第N个曝光强度为所述第一图像序列中的第N个图像帧被采集时的曝光强度;所述第二曝光强度序列中的第N个曝光强度为所述第二图像序列中的第N个图像帧被采集时的曝光强度;
所述电子设备基于所述第一曝光强度序列、所述第二曝光强度序列、所述第一图像序列的第一亮度序列和所述第二图像序列的第二亮度序列,确定第三曝光强度序列;
所述电子设备通过所述第一摄像头以所述第一曝光强度序列采集第三图像序列,并通过所述第二摄像头以所述第三曝光强度序列采集第四图像序列;所述第三图像序列中的第N个图像帧和所述第四图像序列中的第N个图像帧是同时采集的;所述第三图像序列中的第N个图像帧的亮度与所述第四图像序列中的第N个图像帧的亮度的差值小于所述第一阈值;
其中,所述第一图像序列中的第N个图像帧与所述第二图像序列中的第N个图像帧融合得到第五图像序列;所述第五图像序列中的图像帧融合得到第七图像;所述第七图像显示在所述电子设备的显示屏上;所述第三图像序列中的第N个图像帧与所述第四图像序列中的第N个图像帧融合得到第六图像序列;所述第六图像序列中的图像帧融合得到第八图像;所述第八图像显示在所述电子设备的所述显示屏上。
7.一种电子设备,包括显示屏、第一摄像头、第二摄像头、一个或多个存储器、一个或多个处理器,其特征在于,所述一个或多个处理器与所述第一摄像头、所述第二摄像头、所述一个或多个存储器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令;
所述第一摄像头,用于采集第一图像;
所述第二摄像头,用于采集第二图像;所述第一图像和所述第二图像是同时采集的;
所述处理器,用于获取第一曝光强度和第二曝光强度;所述第一曝光强度为所述第一图像被采集时的曝光强度;所述第二曝光强度为所述第二图像被采集时的曝光强度;
所述处理器,还用于基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度;
所述第一摄像头,还用于采集第三图像;
所述第二摄像头,还用于采集第四图像;所述第三图像和所述第四图像是同时采集的;所述第三图像的亮度与所述第四图像的亮度的差值小于第一阈值。
8.如权利要求7所述的电子设备,其特征在于,所述第一图像和所述第二图像均包括内容相同的第一区域;所述第三图像和所述第四图像均包括内容相同的第二区域。
9.如权利要求7或8所述的电子设备,其特征在于,所述处理器,在用于基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度之前,还用于:
比较所述第一图像呈现的第一视场角和所述第二图像呈现的第二视场角是否一致;
若所述第一视场角与所述第二视场角不一致,且所述第一视场角大于所述第二视场角,从所述第一图像中选取第三区域;所述第三区域与所述第二图像具有相同的内容;所述第一亮度为所述第三区域的亮度。
10.如权利要求7-9任一项所述的电子设备,其特征在于,所述处理器,在用于基于所述第一曝光强度、所述第二曝光强度、所述第一图像的第一亮度和所述第二图像的第二亮度,确定第三曝光强度时,具体用于:
基于所述第一曝光强度、所述第二曝光强度、所述第一亮度和所述第二亮度,确定感度比例;所述感度比例用于表示所述第一摄像头的感光能力和所述第二摄像头的感光能力的比值;
确定所述第三曝光强度为所述感度比例和所述第一曝光强度的乘积。
11.如权利要求7-10任一项所述的电子设备,其特征在于,所述处理器,还用于:
融合所述第一图像和所述第二图像,得到第五图像;融合所述第三图像和所述第四图像,得到第六图像;
所述显示屏,用于显示所述第五图像和所述第六图像。
12.如权利要求7-11任一项所述的电子设备,其特征在于,所述第一摄像头,还用于采集第一图像序列;
所述第二摄像头,还用于采集第二图像序列;所述第一图像序列和所述第二图像序列均包括L个图像帧;所述第一图像序列中的第N个图像帧与所述第二图像序列中的第N个图像帧是同时采集的;所述L为大于1的整数;所述N为不大于所述L的整数;
所述处理器,还用于获取第一曝光强度序列和第二曝光强度序列;所述第一曝光强度序列中的第N个曝光强度为所述第一图像序列中的第N个图像帧被采集时的曝光强度;所述第二曝光强度序列中的第N个曝光强度为所述第二图像序列中的第N个图像帧被采集时的曝光强度;
所述处理器,还用于基于所述第一曝光强度序列、所述第二曝光强度序列、所述第一图像序列的第一亮度序列和所述第二图像序列的第二亮度序列,确定第三曝光强度序列;
所述第一摄像头,还用于以所述第一曝光强度序列采集第三图像序列;
所述第二摄像头,还用于以所述第二曝光强度序列采集第四图像序列;所述第三图像序列中的第N个图像帧和所述第四图像序列中的第N个图像帧是同时采集的;所述第三图像序列中的第N个图像帧的亮度与所述第四图像序列中的第N个图像帧的亮度的差值小于所述第一阈值;
其中,所述第一图像序列中的第N个图像帧与所述第二图像序列中的第N个图像帧融合得到第五图像序列;所述第五图像序列中的图像帧融合得到第七图像;所述第七图像显示在所述电子设备的所述显示屏上;所述第三图像序列中的第N个图像帧与所述第四图像序列中的第N个图像帧融合得到第六图像序列;所述第六图像序列中的图像帧融合得到第八图像;所述第八图像显示在所述电子设备的所述显示屏上。
13.一种计算机可读存储介质,其特征在于,包括:计算机指令;当所述计算机指令在电子设备上运行时,使得所述电子设备执行权利要求1-6中任一项所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713518.XA CN115550556B (zh) | 2021-06-25 | 2021-06-25 | 一种曝光强度调节方法及相关装置 |
PCT/CN2022/084866 WO2022267608A1 (zh) | 2021-06-25 | 2022-04-01 | 一种曝光强度调节方法及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110713518.XA CN115550556B (zh) | 2021-06-25 | 2021-06-25 | 一种曝光强度调节方法及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115550556A true CN115550556A (zh) | 2022-12-30 |
CN115550556B CN115550556B (zh) | 2023-10-24 |
Family
ID=84545199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110713518.XA Active CN115550556B (zh) | 2021-06-25 | 2021-06-25 | 一种曝光强度调节方法及相关装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN115550556B (zh) |
WO (1) | WO2022267608A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116033275A (zh) * | 2023-03-29 | 2023-04-28 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117939307B (zh) * | 2024-03-19 | 2024-06-04 | 四川辰宇微视科技有限公司 | 一种适用于融合相机的自适应亮度调节方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120177352A1 (en) * | 2011-01-10 | 2012-07-12 | Bruce Harold Pillman | Combined ambient and flash exposure for improved image quality |
US20140362282A1 (en) * | 2012-02-27 | 2014-12-11 | Apical Ltd | Exposure controller |
CN105827990A (zh) * | 2016-01-22 | 2016-08-03 | 维沃移动通信有限公司 | 一种自动曝光方法及移动终端 |
CN106851122A (zh) * | 2017-02-27 | 2017-06-13 | 上海兴芯微电子科技有限公司 | 基于双摄像头系统的自动曝光参数的标定方法和装置 |
CN106878625A (zh) * | 2017-04-19 | 2017-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 双摄像头同步曝光方法及系统 |
CN109379534A (zh) * | 2018-11-13 | 2019-02-22 | Oppo(重庆)智能科技有限公司 | 处理图像的方法、装置、终端及存储介质 |
CN112004029A (zh) * | 2019-05-27 | 2020-11-27 | Oppo广东移动通信有限公司 | 曝光处理方法、装置、电子设备、计算机可读存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4603306B2 (ja) * | 2004-07-26 | 2010-12-22 | オリンパス株式会社 | 撮像装置及び撮像方法 |
CN106534814B (zh) * | 2016-10-12 | 2019-01-18 | 成都西纬科技有限公司 | 一种双摄像头图像质量同步的方法和设备 |
CN109417604A (zh) * | 2017-11-30 | 2019-03-01 | 深圳市大疆创新科技有限公司 | 差异校准方法、双目视觉系统和计算机可读存储介质 |
CN110177269B (zh) * | 2019-05-31 | 2021-04-06 | 北京迈格威科技有限公司 | 双摄模组曝光同步校正方法及装置 |
-
2021
- 2021-06-25 CN CN202110713518.XA patent/CN115550556B/zh active Active
-
2022
- 2022-04-01 WO PCT/CN2022/084866 patent/WO2022267608A1/zh active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120177352A1 (en) * | 2011-01-10 | 2012-07-12 | Bruce Harold Pillman | Combined ambient and flash exposure for improved image quality |
US20140362282A1 (en) * | 2012-02-27 | 2014-12-11 | Apical Ltd | Exposure controller |
CN105827990A (zh) * | 2016-01-22 | 2016-08-03 | 维沃移动通信有限公司 | 一种自动曝光方法及移动终端 |
CN106851122A (zh) * | 2017-02-27 | 2017-06-13 | 上海兴芯微电子科技有限公司 | 基于双摄像头系统的自动曝光参数的标定方法和装置 |
CN106878625A (zh) * | 2017-04-19 | 2017-06-20 | 宇龙计算机通信科技(深圳)有限公司 | 双摄像头同步曝光方法及系统 |
CN109379534A (zh) * | 2018-11-13 | 2019-02-22 | Oppo(重庆)智能科技有限公司 | 处理图像的方法、装置、终端及存储介质 |
CN112004029A (zh) * | 2019-05-27 | 2020-11-27 | Oppo广东移动通信有限公司 | 曝光处理方法、装置、电子设备、计算机可读存储介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116033275A (zh) * | 2023-03-29 | 2023-04-28 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
CN116033275B (zh) * | 2023-03-29 | 2023-08-15 | 荣耀终端有限公司 | 一种自动曝光方法、电子设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2022267608A1 (zh) | 2022-12-29 |
CN115550556B (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102577396B1 (ko) | 녹화 프레임 레이트 제어 방법 및 관련 장치 | |
WO2023015991A1 (zh) | 拍照方法、电子设备和计算机可读存储介质 | |
CN112532892B (zh) | 图像处理方法及电子装置 | |
CN113630558B (zh) | 一种摄像曝光方法及电子设备 | |
CN113891009B (zh) | 曝光调整方法及相关设备 | |
CN113810603B (zh) | 点光源图像检测方法和电子设备 | |
WO2022267608A1 (zh) | 一种曝光强度调节方法及相关装置 | |
US20240031675A1 (en) | Image processing method and related device | |
CN114466134A (zh) | 生成hdr图像的方法及电子设备 | |
US11816494B2 (en) | Foreground element display method and electronic device | |
US20230388658A1 (en) | Photographing method from plurality of artificial light sources and related apparatus | |
WO2023015985A1 (zh) | 图像处理方法与电子设备 | |
WO2024078275A1 (zh) | 一种图像处理的方法、装置、电子设备及存储介质 | |
CN113891008B (zh) | 一种曝光强度调节方法及相关设备 | |
US20230412929A1 (en) | Photographing Method and Related Apparatus | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116048323B (zh) | 图像处理方法及电子设备 | |
CN115705663B (zh) | 图像处理方法与电子设备 | |
CN113923372B (zh) | 曝光调整方法及相关设备 | |
CN116193269A (zh) | 一种曝光模式切换方法及相关设备 | |
WO2023160224A9 (zh) | 一种拍摄方法及相关设备 | |
WO2024153043A1 (zh) | 一种投屏方法 | |
CN115526786B (zh) | 图像处理方法及其相关设备 | |
RU2782255C1 (ru) | Способ управления частотой кадров записи и соответствующее устройство | |
CN114245011A (zh) | 图像处理方法、用户界面及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |