CN116723409B - 自动曝光方法与电子设备 - Google Patents
自动曝光方法与电子设备 Download PDFInfo
- Publication number
- CN116723409B CN116723409B CN202210193699.2A CN202210193699A CN116723409B CN 116723409 B CN116723409 B CN 116723409B CN 202210193699 A CN202210193699 A CN 202210193699A CN 116723409 B CN116723409 B CN 116723409B
- Authority
- CN
- China
- Prior art keywords
- image
- sensor
- brightness
- color temperature
- target brightness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 103
- 238000012937 correction Methods 0.000 claims abstract description 130
- 230000004044 response Effects 0.000 claims description 166
- 238000013507 mapping Methods 0.000 claims description 40
- 230000015654 memory Effects 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 13
- 230000035945 sensitivity Effects 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 26
- 230000000875 corresponding effect Effects 0.000 description 87
- 238000004422 calculation algorithm Methods 0.000 description 31
- 230000002596 correlated effect Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 13
- 230000003595 spectral effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000005375 photometry Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000007935 neutral effect Effects 0.000 description 11
- 230000002829 reductive effect Effects 0.000 description 11
- 238000001228 spectrum Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 238000011156 evaluation Methods 0.000 description 6
- 230000036961 partial effect Effects 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000004907 flux Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002329 infrared spectrum Methods 0.000 description 3
- 229910044991 metal oxide Inorganic materials 0.000 description 3
- 150000004706 metal oxides Chemical class 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
Abstract
本申请涉及图像处理领域,提供了一种自动曝光方法与电子设备,该电子设备包括第一传感器与第二传感器,第一传感器为图像传感器,第二传感器为多光谱传感器,该自动曝光方法包括:开启电子设备中的相机应用程序;获取第一图像与第一数据;基于第一图像,得到拍摄场景的第一目标亮度;基于第一数据,得到目标亮度矫正量;基于目标亮度矫正量对第一目标亮度进行调整,得到第二目标亮度;获取第二图像;显示或者保存第二图像。基于本申请的技术方案,能够解决图像传感器采集的图像的亮度准确性较低的问题,提高图像传感器采集的图像的亮度准确性。
Description
技术领域
本申请涉及终端设备领域,具体地,涉及一种自动曝光方法与电子设备。
背景技术
随着多媒体技术和网络技术的飞速发展和广泛应用,人们在日常生活和生产活动中大量的使用图像信息。目前,对于不同的拍摄场景,例如,光线强度较弱、昏暗的拍摄场景;或者,光线强度较强、特别明亮的拍摄场景,电子设备中的相机可以通过自动曝光(Automatic Exposure,AE)技术,根据拍摄场景的光线强弱自动调整相机的曝光时间、增益等,使得相机拍摄的图像不会太暗也不会太亮。但是,对于一些拍摄场景,比如近距离拍摄纯色物体的场景,现有的自动曝光技术可能会使得采集的图像的亮度准确性降低,比如,拍摄黑色物体或者白色物体时采集的图像颜色发灰。
因此,如何调整相机模组的曝光参数,提高图像的亮度准确性成为一个亟需解决的问题。
发明内容
本申请提供了一种自动曝光方法与电子设备,能够提高图像传感器采集的图像的亮度准确性。
第一方面,提供了一种自动曝光方法,应用于电子设备,电子设备包括第一传感器与第二传感器,所述第一传感器为图像传感器,所述第二传感器为多光谱传感器,所述自动曝光方法包括:
开启所述电子设备中的相机应用程序;
获取第一图像与第一数据,所述第一图像为所述第一传感器基于初始曝光参数所采集的图像,所述初始曝光参数对应于所述电子设备的拍摄对象所处的拍摄场景,所述第一数据为所述第二传感器的一个或者多个通道的响应值;
基于所述第一图像,得到所述拍摄场景的第一目标亮度;
基于所述第一数据,得到目标亮度矫正量;
基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度;
获取第二图像,所述第二图像为所述第一传感器基于目标曝光参数所采集的图像,所述目标曝光参数是基于所述第二目标亮度得到的;
显示或者保存所述第二图像。
应理解,图像传感器也可以称为影像传感器,是指用于成像的传感器。
还应理解,光谱传感器可以接收的光谱波段包括几个及十几个以上数量的波段;多光谱传感器通常比图像传感器接收的光谱响应范围更宽。
结合第一方面,在第一方面的某些实现方式中,所述第二图像的图像质量优于所述第一图像的图像质量。
还应理解,第二图像的图像质量优于第一图像的图像质量可以是指第二图像对拍摄场景的亮度还原性更高;或者,第二图像的图像质量优于第一图像的图像质量是指第二图像的亮度准确性更高,或者,通过图像亮度的评估算法第二图像与第一图像进行评估,得到的评估结果为第二图像的图像质量优于第一图像的图像质量等。
在一种可能的实现方式中,用户可以通过单击电子设备中的“相机”应用程序的图标,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序。
例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序。
应理解,各个通道的响应值可以是指对拍摄场景中各个通道的光通量的响应值;或者,各个通道的响应值可以是指各个通道的对能量的响应值。
在一种可能的实现方式中,若相机应用程序处于预览状态,则可以显示第二图像。
在一种可能的实现方式中,若相机应用程序处于拍照状态或者录制视频状态,则可以保存第二图像。
在本申请的实施例中,由于图像传感器通过是按照目标亮度为中性灰进行测光;对于某些情况下,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,导致图像传感器采集到的图像的亮度准确性较低;例如,基于中性灰进行测光,图像传感器无法准确的区分拍摄场景中偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度;对于多光谱传感器而言,由于多光谱传感器曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广,能够准确地获取各个波段的光线;因此,多光谱传感器能够得到拍摄场景中不同拍摄对象的亮度,即具备“黑即暗,白即亮”的特性。因此,在本申请的实施例中,基于多光谱传感器在拍摄场景中采集的各个通道的响应值,可以得到全通通道的响应值;基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的第一目标亮度进行矫正;例如,可以对亮度矫正量与第一目标亮度进行求和,得到拍摄场景的第二目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在第一目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,使得电子设备获取的拍摄场景的第二目标亮度更准确;当拍摄场景的第二目标亮度的准确性提升,基于第二目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度准确性也得到提升。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一数据,得到目标亮度矫正量,包括:
基于第一通道的响应值与映射关系得到所述目标亮度矫正量,所述第一通道是指所述拍摄场景对应的全通通道,所述映射关系用于表示亮度矫正量与全通通道的响应值之间的关联关系。
在本申请的实施例中,通过多光谱传感器能够在拍摄场景中采集各个通道的响应值;根据全通通道的响应值与映射关系可以获取目标亮度矫正量,基于目标亮度矫正量对基于初始曝光参数得到的拍摄场景的第一目标亮度进行调整,得到第二目标亮度,例如,可以对亮度矫正量与第一目标亮度进行求和,得到拍摄场景的第二目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,使得电子设备获取的拍摄场景的第二目标亮度更准确;当拍摄场景的第二目标亮度的准确性提升,基于第二目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度的准确性也得到提升。
在一种可能的实现方式中,射关系可以是指亮度矫正量与全通通道的响应值之间的函数关系。
在一种可能的实现方式中,映射关系也可以是指亮度矫正量与全通通道的响应值之间的映射列表。
结合第一方面,在第一方面的某些实现方式中,所述第一数据包括所述第一通道的响应值。
结合第一方面,在第一方面的某些实现方式中,所述第一通道的响应值是通过叠加所述各个通道的响应值得到的。
在本申请的实施例中,若多光谱传感器采集的第一数据中不包括第一通道的响应值,则可以对各个通道的响应值进行叠加得到第一通道的响应值。
结合第一方面,在第一方面的某些实现方式中,在所述基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度之前,所述自动曝光方法还包括:
确定所述拍摄场景不变。
在本申请的实施例中,由于对于同一拍摄场景中,图像传感器无法准确的区分拍摄场景中的偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度值,导致采集的图像的亮度值准确性较低;即在拍摄场景未发生变化时,需要对拍摄场景的第一目标亮度进行调整,得到亮度准确性更高的第二目标亮度;若拍摄场景发生变化,则自动曝光算法会重新计算拍摄场景的目标亮度;因此,在进行第一目标亮度的调整前需要判断当前的拍摄场景是否变化。
结合第一方面,在第一方面的某些实现方式中,所述第一数据为第N帧数据,所述确定所述拍摄场景保持不变,包括:
获取N帧数据对应的平均色温与所述第N帧数据对应的色温;
基于所述N帧数据对应的平均色温与所述第N帧数据对应的色温,得到色温差值,所述色温差值是指所述N帧数据对应的平均色温与所述第N帧数据对应的色温之间的差值;
在所述色温差值小于或者等于预设阈值的情况下,确定所述拍摄场景保持不变。
在本申请的实施例中,可以通过色温差值判断拍摄场景是否发生变化;若拍摄场景发生变化,则色温的变化较大,即色温差值较大;若拍摄场景未发生变化,则色温变化较小,即色温差值较小。
应理解,多光谱传感器采集的一帧数据可以对应图像传感器采集的一帧图像;例如,图像传感器采集第一帧数据,则多光谱传感器可以在拍摄场景中采集一帧数据。
结合第一方面,在第一方面的某些实现方式中,所述获取N帧数据对应的平均色温与所述第N帧数据对应的色温,包括:
基于所述第N帧数据与标定色温数据,得到所述第N帧数据对应的色温,所述标定色温数据是指通过标定得到的各个色温区间对应的不同通道的响应值。
在一种可能的实现方式中,可以通过标定与匹配的方式输出色温;例如,可以标定不同色温对应的各个波段的响应值;假设,将色温500K~6500K平均分为10组色温,每组色温可以对应一组波段的响应值,得到10个向量;根据多光谱传感器采集的第N帧数据可以与10组色温标定值进行拟合,得到第N帧数据对应的色温。
结合第一方面,在第一方面的某些实现方式中,所述目标曝光参数包括曝光时间、感光度和/或曝光量。
结合第一方面,在第一方面的某些实现方式中,所述基于所述第一图像,得到所述拍摄场景的第一目标亮度,包括:
基于所述第一图像的统计信息,得到所述第一目标亮度,所述第一图像的统计信息包括所述第一图像的直方图,或者,所述第一图像的各个区域的亮度均值。
结合第一方面,在第一方面的某些实现方式中,所述多个通道的响应值为所述第二传感器的各个通道的响应值。第二方面,提供了一种电子设备,所述电子设备包括一个或多个处理器、存储器、第一传感器与第二传感器,所述第一传感器为图像传感器,所述第二传感器为多光谱传感器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
开启所述电子设备中的相机应用程序;
获取第一图像与第一数据,所述第一图像为所述第一传感器基于初始曝光参数所采集的图像,所述初始曝光参数对应于所述电子设备的拍摄对象所处的拍摄场景,所述第一数据为所述第二传感器的一个或多个通道的响应值;
基于所述第一图像,得到所述拍摄场景的第一目标亮度;
基于所述第一数据,得到目标亮度矫正量;
基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度;
获取第二图像,所述第二图像为所述第一传感器基于目标曝光参数所采集的图像,所述目标曝光参数是基于所述第二目标亮度得到的;
显示或者保存所述第二图像。
应理解,在本申请中电子设备包括图像传感器与多光谱传感器;图像传感器也可以称为影像传感器,是指用于成像的传感器。
还应理解,光谱传感器可以接收的光谱波段包括几个及十几个以上数量的波段;多光谱传感器通常比图像传感器接收的光谱响应范围更宽。
结合第二方面,在第二方面的某些实现方式中,所述第二图像的图像质量优于所述第一图像的图像质量。
应理解,第二图像的图像质量优于第一图像的图像质量是指第二图像对拍摄场景的亮度还原性更高;或者,第二图像的图像质量优于第一图像的图像质量是指第二图像的亮度准确性更高,或者,通过图像亮度的评估算法第二图像与第一图像进行评估,得到的评估结果为第二图像的图像质量优于第一图像的图像质量等。
在一种可能的实现方式中,用户可以通过单击电子设备中的“相机”应用程序的图标,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用。
在一种可能的实现方式中,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序。
例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序。
应理解,各个通道的响应值可以是指对拍摄场景中各个通道的光通量的响应值;或者,各个通道的响应值可以是指各个通道的对能量的响应值。
在一种可能的实现方式中,若相机应用程序处于预览状态,则可以显示第二图像。
在一种可能的实现方式中,若相机应用程序处于拍照状态或者录制视频状态,则可以保存第二图像。在本申请的实施例中,由于图像传感器通过是按照目标亮度为中性灰进行测光;对于某些情况下,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,导致图像传感器采集到的图像的亮度准确性较低;例如,基于中性灰进行测光,图像传感器无法准确的区分拍摄场景中偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度;对于多光谱传感器而言,由于多光谱传感器曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广,能够准确地获取各个波段的光线;因此,多光谱传感器能够得到拍摄场景中不同拍摄对象的亮度,即具备“黑即暗,白即亮”的特性。因此,在本申请的实施例中,基于多光谱传感器在拍摄场景中采集的各个通道的响应值,可以得到全通通道的响应值;基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的第一目标亮度进行矫正;例如,可以对亮度矫正量与第一目标亮度进行求和,得到拍摄场景的第二目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在第一目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,使得电子设备获取的拍摄场景的第二目标亮度更准确;当拍摄场景的第二目标亮度的准确性提升,基于第二目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度准确性也得到提升。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
基于第一通道的响应值与映射关系得到所述目标亮度矫正量,所述第一通道是指所述拍摄场景对应的全通通道,所述映射关系用于表示亮度矫正量与全通通道的响应值之间的关联关系。
在本申请的实施例中,通过多光谱传感器能够在拍摄场景中采集各个通道的响应值;根据全通通道的响应值与映射关系可以获取目标亮度矫正量,基于目标亮度矫正量对基于初始曝光参数得到的拍摄场景的第一目标亮度进行调整,得到第二目标亮度,例如,可以对亮度矫正量与第一目标亮度进行求和,得到拍摄场景的第二目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,使得电子设备获取的拍摄场景的第二目标亮度更准确;当拍摄场景的第二目标亮度的准确性提升,基于第二目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度的准确性也得到提升。
在一种可能的实现方式中,射关系可以是指亮度矫正量与全通通道的响应值之间的函数关系。
在一种可能的实现方式中,映射关系也可以是指亮度矫正量与全通通道的响应值之间的映射列表。
结合第二方面,在第二方面的某些实现方式中,所述第一数据包括所述第一通道的响应值。
结合第二方面,在第二方面的某些实现方式中,所述第一通道的响应值是通过叠加所述各个通道的响应值得到的。
在本申请的实施例中,若多光谱传感器采集的第一数据中不包括第一通道的响应值,则可以对各个通道的响应值进行叠加得到第一通道的响应值。
结合第二方面,在第二方面的某些实现方式中,在所述基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度之前,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
确定所述拍摄场景不变。
在本申请的实施例中,由于对于同一拍摄场景中,图像传感器无法准确的区分拍摄场景中的偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度值,导致采集的图像的亮度值准确性较低;即在拍摄场景未发生变化时,需要对拍摄场景的第一目标亮度进行调整,得到亮度准确性更高的第二目标亮度;若拍摄场景发生变化,则自动曝光算法会重新计算拍摄场景的目标亮度;因此,在进行第一目标亮度的调整前需要判断当前的拍摄场景是否变化。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
获取N帧数据对应的平均色温与所述第N帧数据对应的色温;
基于所述N帧数据对应的平均色温与所述第N帧数据对应的色温,得到色温差值,所述色温差值是指所述N帧数据对应的平均色温与所述第N帧数据对应的色温之间的差值;
在所述色温差值小于或者等于预设阈值的情况下,确定所述拍摄场景保持不变。
在本申请的实施例中,可以通过色温差值判断拍摄场景是否发生变化;若拍摄场景发生变化,则色温的变化较大,即色温差值较大;若拍摄场景未发生变化,则色温变化较小,即色温差值较小。
应理解,多光谱传感器采集的一帧数据可以对应图像传感器采集的一帧图像;例如,图像传感器采集第一帧数据,则多光谱传感器可以在拍摄场景中采集一帧数据。
结合第二方面,在第二方面的某些实现方式中,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行:
基于所述第N帧数据与标定色温数据,得到所述第N帧数据对应的色温,所述标定色温数据是指通过标定得到的各个色温区间对应的不同通道的响应值。
在一种可能的实现方式中,可以通过标定与匹配的方式输出色温;例如,可以标定不同色温对应的各个波段的响应值;假设,将色温500K~6500K平均分为10组色温,每组色温可以对应一组波段的响应值,得到10个向量;根据多光谱传感器采集的第N帧数据可以与10组色温标定值进行拟合,得到第N帧数据对应的色温。
结合第二方面,在第二方面的某些实现方式中,所述目标曝光参数包括曝光时间,感光度,和/或曝光量。
结合第二方面,在第二方面的某些实现方式中,所述基于所述第一图像,得到所述拍摄场景的第一目标亮度,包括:
基于所述第一图像的统计信息,得到所述第一目标亮度,所述第一图像的统计信息包括所述第一图像的直方图,或者,所述第一图像的各个区域的亮度均值。
结合第二方面,在第二方面的某些实现方式中,所述多个通道的响应值为所述第二传感器的各个通道的响应值。
第三方面,提供了一种电子设备,包括用于执行第一方面或者第一方面中任一种自动曝光方法的模块/单元。
第四方面,提供一种电子设备,所述电子设备包括一个或多个处理器、存储器;所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任一种方法。
第五方面,提供了一种芯片系统,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种方法。
第六方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或第一方面中的任一种方法。
第七方面,提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码被电子设备运行时,使得该电子设备执行第一方面或第一面中的任一种方法。
在本申请的实施例中,由于图像传感器通过是按照目标亮度为中性灰进行测光;对于某些情况下,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,导致图像传感器采集到的图像的亮度准确性较低;例如,基于中性灰进行测光,图像传感器无法准确的区分拍摄场景中偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度;对于多光谱传感器而言,由于多光谱传感器曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广,能够准确地获取各个波段的光线;因此,多光谱传感器能够得到拍摄场景中不同拍摄对象的亮度,即具备“黑即暗,白即亮”的特性。因此,在本申请的实施例中,基于多光谱传感器在拍摄场景中采集的各个通道的响应值,可以得到全通通道的响应值;基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的第一目标亮度进行矫正;例如,可以对亮度矫正量与第一目标亮度进行求和,得到拍摄场景的第二目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在第一目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,使得电子设备获取的拍摄场景的第二目标亮度更准确;当拍摄场景的第二目标亮度的准确性提升,基于第二目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度准确性也得到提升。
附图说明
图1是一种适用于本申请的电子设备的硬件系统的示意图;
图2是一种适用于本申请的电子设备的软件系统的示意图;
图3是一种适用于本申请实施例的应用场景的示意图;
图4是一种适用于本申请的自动曝光的方法的系统架构的示意图;
图5是本申请实施例提供的一种自动曝光方法的示意性流程图;
图6是本申请实施例提供的一种自动曝光方法的示意性流程图;
图7是本申请实施例提供的一种多光谱传感器的频谱响应曲线;
图8是本申请实施例提供的一种亮度矫正量与全通通道的响应值之间的关联关系的示意图;
图9是本申请实施例提供的基于本申请的自动曝光方法的效果示意图;
图10是本申请实施例提供的基于本申请的自动曝光方法的效果示意图;
图11是一种适用于本申请实施例的图形用户界面的示意图;
图12是本申请实施例提供的一种电子设备的结构示意图;
图13是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
在本申请的实施例中,以下术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
为了便于对本申请实施例的理解,首先对本申请实施例中涉及的相关概念进行简要说明。
1、图像传感器
图像传感器也可以称为影像传感器,是指用于成像的传感器;根据元件的不同,可分为电荷耦合元件(Charge Coupled Device,CCD)传感器和金属氧化物半导体元件(Complementary Metal-Oxide Semiconductor,CMOS)传感器两大类;目前,移动终端和数码相机通常采用CMOS传感器。
2、多光谱传感器
多光谱传感器可以接收的光谱波段包括几个及十几个以上数量的波段;多光谱传感器通常比图像传感器接收的光谱响应范围更宽;比如,包括可见光光谱波段,近红外光谱波段,中波红外光谱波段和长波红外光谱波段。
3、自动曝光(Automatic Exposure,AE)
自动曝光的目的是在不同的照明条件和场景中实现欣赏亮度级别或所谓的目标亮度级别,从而捕获的视频或图像既不太暗也不太亮。为了达到这个目的,要调整镜头孔径,传感器曝光时间,传感器模拟增益和传感器/ISP数字增益等,这个过程称为自动曝光。
应理解,曝光可以通过光线强度乘以光线所作用的时间进行表示;其中,“光线强度”是指传感器受光线照射的强度,即照度;“光线所作用的时间”,是指感光胶片受光线照射的时间,即曝光时间。曝光量以E表示,计算单位就是勒克斯·秒。若要取得一定量的曝光量,则光强度越大,曝光时间越短;光强度越小,曝光时间越长。
4、曝光时间
曝光时间是指相机从开启快门到关闭快门的时间间隔。
5、快门(shutter)
快门是摄像器材中用来控制光线照射感光元件时间的装置;是相机的一个重要组成部分。
6、曝光量
曝光量是指物体表面某一面元接收的光照度Ev在时间t内的积分。
7、全通通道的响应值
全通通道的响应值可以用于表示全通通道的亮度值;全通通道是指多光谱传感器覆盖的所有通道;例如,多光谱传感器覆盖的光谱波段包括可见光、红外光或者近红外光等。
8、感光度(international standardization organization,ISO)
感光度是通过相机的感光器件电荷耦合元件(charge-coupled device,CCD)或者CMOS以及相关的电子线路感应入射光线的强弱。
9、亮度值(Lighting Value,LV)
亮度值用于估计环境亮度,其具体计算公式如下:
其中,Exposure表示曝光时间;Aperture表示光圈大小;Iso表示感光度;Luma表示图像在XYZ空间中,Y的平均值。
10、动态范围(dynamicrange,DR)值
DR值用于表示通过主摄像头模组获取的预览图像中过曝区域所占整个图像的比例信息。
11、色温(color temperature,CT)
通过比较一个光源的光色和某一温度下的黑体辐射的光色,相一致时便把此时黑体的温度称为光源的色温(color temperature),色温的单位为K。
12、相关色温(correlated color temperature,CCT)
部分非黑体光源可以用与它们在视觉上最相似的黑体的色温来描述;这称为它们的相关色温;相关色温的符号为Tcp;相关色温的单位为K。
应理解,相关色温又可以称为色温估计,或者色温估计值。
下面将结合附图,对本申请实施例中的自动曝光方法与电子设备进行描述。
图1示出了一种适用于本申请的电子设备的硬件系统。
电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、投影仪等等,本申请实施例对电子设备100的具体类型不作任何限制。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
需要说明的是,图1所示的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图1所示的部件更多或更少的部件,或者,电子设备100可以包括图1所示的部件中某些部件的组合,或者,电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元。例如,处理器110可以包括以下处理单元中的至少一个:应用处理器(application processor,AP)、调制解调处理器、图形处理器(graphics processing unit,GPU)、图像信号处理器(image signal processor,ISP)、控制器、视频编解码器、数字信号处理器(digital signal processor,DSP)、基带处理器、神经网络处理器(neural-network processing unit,NPU)。其中,不同的处理单元可以是独立的器件,也可以是集成的器件。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
示例性地,处理器110可以用于执行本申请实施例的自动曝光方法;例如,开启电子设备中的相机应用程序;获取第一图像与第一数据,第一图像为第一传感器基于初始曝光参数所采集的图像,初始曝光参数对应于电子设备的拍摄对象所处的拍摄场景,第一数据为第二传感器的一个或者多个通道的响应值;基于第一图像,得到拍摄场景的第一目标亮度;基于第一数据,得到目标亮度矫正量;基于目标亮度矫正量对第一目标亮度进行调整,得到第二目标亮度;获取第二图像,第二图像为第一传感器基于目标曝光参数所采集的图像,目标曝光参数是基于所述第二目标亮度得到的;显示或者保存第二图像。
图1所示的各模块间的连接关系只是示意性说明,并不构成对电子设备100的各模块间的连接关系的限定。可选地,电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
电子设备100可以通过GPU、显示屏194以及应用处理器实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194可以用于显示图像或视频。
电子设备100可以通过ISP、摄像头193、视频编解码器、GPU、显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP可以对图像的噪点、亮度和色彩进行算法优化,ISP还可以优化拍摄场景的曝光和色温等参数。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的红绿蓝(red green blue,RGB),YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1、MPEG2、MPEG3和MPEG4。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x轴、y轴和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。例如,当快门被按下时,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航和体感游戏等场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180E还可以用于识别电子设备100的姿态,作为横竖屏切换和计步器等应用程序的输入参数。
距离传感器180F用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,例如在拍摄场景中,电子设备100可以利用距离传感器180F测距以实现快速对焦。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
触摸传感器180K,也称为触控器件。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,触摸屏也称为触控屏。触摸传感器180K用于检测作用于其上或其附近的触摸操作。触摸传感器180K可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,并且与显示屏194设置于不同的位置。
上文详细描述了电子设备100的硬件系统,下面介绍电子设备100的软件系统。
图2是本申请实施例提供的电子设备的软件系统的示意图。
如图2所示,系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
应用层210可以包括相机应用程序、图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序。
应用框架层220为应用层的应用程序提供应用程序编程接口(applicationprogramming interface,API)和编程框架;应用框架层可以包括一些预定义的函数。
例如,应用框架层220可以包括相机访问接口;相机访问接口中可以包括相机管理与相机设备。其中,相机管理可以用于提供管理相机的访问接口;相机设备可以用于提供访问相机的接口。
硬件抽象层230用于将硬件抽象化。比如,硬件抽象层可以包相机抽象层以及其他硬件设备抽象层;相机硬件抽象层可以调用相机算法。
例如,硬件抽象层230中包括相机硬件抽象层2301与相机算法2302;相机算法2302中可以包括用于图像处理的软件算法。
示例性地,相机算法2302中的算法可以是指不依赖特定硬件实现;比如,通常可以在CPU中运行的代码等。
驱动层240用于为不同硬件设备提供驱动。例如,驱动层可以包括相机设备驱动。
硬件层250可以包括相机设备2501以及其他硬件设备。
目前,图像传感器通过是按照目标亮度为中性灰进行测光;即相机模组的测光是按照18度灰的反射率来计算的;但是,对于某些单一场景(例如,近距离拍摄的纯色场景),若按照18度灰进行测光,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,即采用现有的自动曝光算法得到的拍摄场景的目标亮度的准确性较低。例如,拍黑色物体时,采集的图像中黑色物体发灰;拍较亮白色的物体,采集的图像中白色物体发灰。
有鉴于此,本申请的实施例提供了一种自动曝光方法,在相机曝光过程中通过多光谱传感器在拍摄场景中采集各个通道的响应值;根据各个通道的响应值可以获取目标亮度矫正量,基于目标亮度矫正量对基于初始曝光参数得到的拍摄场景的第一目标亮度进行调整,得到第二目标亮度,使得电子设备获取的拍摄场景的目标亮度更准确;当拍摄场景的目标亮度的准确性提升,基于目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度的准确性也得到提升。
下面结合图3至图10对本申请实施例提供的自动曝光方法进行详细的描述。
示例性地,本申请实施例中的自动曝光方法可以应用于拍照领域(例如,单目拍照、双目拍照等)、录制视频领域(例如,单景录制、双景录制)、视频通话领域或者其他图像处理领域;通过本申请实施例中的自动曝光方法对相机的曝光参见进行调整,能够提高图像的亮度准确性。
在一个示例中,如图3所示,在雪景场景下拍照时,现有的自动曝光方法即采用中间灰度进出测光的方法,导致采集的图像中存在明显的亮度失真;采用现有的自动曝光方法得到拍摄对象260(例如,雪人)的预览图像如图3中的(a)所示;通过本申请实施例提供的自动曝光方法得到拍摄对象260的预览图像如图3中的(b)所示;图3中的(b)所示的预览图像与图3中的(a)所示的预览图像相比,图3中的(b)所示的预览图像中亮度的准确性更高;因此,通过本申请实施例的自动曝光方法,能够提高图像的亮度准确性。
图4是一种适用于本申请的自动曝光方法的系统架构的示意图。
如图4所示,系统架构300中可以包括图像传感器310、图像信号处理器320、自动曝光算法模块330、多光谱传感器340与亮度矫正量计算模块350。
其中,图像传感器310用于采集Raw图像;图像传感器310接收的光谱范围可以为可见光波段的光谱,或者也可以是包括可见光与其他波段的光谱。
应理解,Raw图像可以是指在Raw颜色空间的图像。
示例性地,图像信号处理器320中可以包括曝光统计模块与图像处理模块(例如,ISP pipeline);曝光统计模块可以用于Raw图像的统计信息,统计信息可以包括Raw图像的直方图或者Raw图像中各个区域的亮度均值;自动曝光算法模块330可以根据Raw图像的统计信息得到拍摄场景的LV值与DR值;基于LV值与DR值进行查表可以得到拍摄场景的原始目标亮度;根据原始目标亮度可以得到图像传感器的原始曝光参数,并将原始曝光参数发送至图像传感器控制其实现曝光;图像处理模块用于对图像传感器310采集的Raw图像进行图像处理。
示例性地,多光谱传感器340用于在拍摄场景采集各个通道的数据;例如,采集各个通道的响应值;曝光参数矫正量计算模块350用于根据全通通道的响应值得到亮度矫正量;自动曝光算法模块330可以基于亮度矫正量对拍摄场景的原始目标亮度进行调整,得到矫正后的目标亮度;根据矫正后的目标亮度可以得到矫正后的曝光参数(例如,曝光量);例如,若矫正后的目标亮度越亮,则相机的曝光量越大;若矫正后的目标亮度越暗,则相机的曝光量越小;图像传感器310可以基于矫正后的曝光参数采集Raw图像。
应理解,全通通道可以是指多光谱传感器覆盖的所有通道;例如,多光谱传感器覆盖的光谱波段可以包括可见光、红外光或者近红外光等。
应理解,各个通道的响应值可以是指对拍摄场景中各个通道的光通量的响应值;或者,各个通道的响应值可以是指各个通道的对能量的响应值。
在本申请的实施例中,可以通过多光谱传感器获取全通通道的响应值;对于多光谱传感器而言,由于曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广;因此,基于全通通道能够准确地获取拍摄场景中各个波段的光线,反应拍摄场景真实的亮度信息;因此,基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的目标亮度进行调整,使得电子设备获取的拍摄场景的目标亮度更准确;从而能够提升图像传感器采集的图像的亮度准确性。
图5是本申请实施例提供的一种自动曝光方法的示意性流程图。该自动曝光方法400包括可以由图1所示的电子设备执行;该自动曝光方法包括步骤S410至步骤S470,下面分别对步骤S410至步骤S470进行详细的描述。
应理解,图5所示的自动曝光方法适应于包括第一传感器与第二传感器的电子设备;例如,第一传感器为图像传感器;图像传感器又可以称为影像传感器;第二传感器为多光谱传感器,多光谱传感器是指可以接收的光谱波段包括几个及十几个以上数量的波段;多光谱传感器通常比图像传感器接收的光谱响应范围更宽。
步骤S410、开启电子设备中的相机应用程序。
示例性地,用户可以通过单击电子设备中的“相机”应用程序的图标,指示电子设备运行相机应用;或者,电子设备处于锁屏状态时,用户可以通过在电子设备的显示屏上向右滑动的手势,指示电子设备运行相机应用;又或者,电子设备处于锁屏状态,锁屏界面上包括相机应用程序的图标,用户通过点击相机应用程序的图标,指示电子设备开启相机应用;又或者,电子设备在运行其他应用时,该应用具有调用相机应用程序的权限;用户通过点击相应的控件可以指示电子设备开启相机应用程序。例如,电子设备正在运行即时通信类应用程序时,用户可以通过选择相机功能的控件,指示电子设备开启相机应用程序。
步骤S420、获取第一图像与第一数据。
其中,第一图像为在拍摄场景中通过第一传感器基于初始曝光参数所采集的图像,初始曝光参数对应于电子设备的拍摄对象所处的拍摄场景;例如,第一图像为图像传感器采集的Raw图像;第一数据为多光谱感器在拍摄场景中采集的一个或者多个通道的响应值。
应理解,初始曝光参数可以是基于预设的自动曝光算法配置的初始化的曝光参数,曝光参数可以包括曝光时间、感光度和/或曝光量;拍摄场景可以与电子设备拍摄时所在环境的光源、电子设备摄像头的视场角中的景物以及拍摄目标对象相关;若光源、视场角中的景物或者拍摄目标对象中的任意一个改变,则可以认为拍摄场景发生变化。
还应理解,各个通道的响应值可以是指对拍摄场景中各个通道的光通量的响应值;或者,各个通道的响应值可以是指各个通道的对能量的响应值。
示例性地,第一传感器与第二传感器可以是同时分别采集第一图像与第一数据;或者,第一传感器与第二传感器可以是一先一后的采集第一图像与第一数据;本申请对获取第一图像与第一数据的先后顺序不作限定。
在本申请的实施例中,由于图像传感器通过是按照目标亮度为中性灰进行测光;对于某些情况下,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,导致图像传感器采集到的图像的亮度准确性较低;例如,基于中性灰进行测光,图像传感器无法准确的区分拍摄场景中偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度;对于多光谱传感器而言,由于多光谱传感器曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广,能够准确地获取各个波段的光线;因此,多光谱传感器能够得到拍摄场景中不同拍摄对象的亮度,即具备“黑即暗,白即亮”的特性。
因此,在本申请的实施例中,基于多光谱传感器在拍摄场景中采集的各个通道的响应值,可以得到全通通道的响应值;基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的原始目标亮度(例如,第一目标亮度)进行调整,例如,可以对亮度矫正量与原始目标亮度进行求和,得到拍摄场景的目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的原始目标亮度较暗,在原始目标亮度的基础上增加亮度得到目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的原始目标亮度较亮,在原始目标亮度的基础上减少亮度得到目标亮度,使得电子设备获取的拍摄场景的目标亮度更准确;当拍摄场景的目标亮度的准确性提升,基于目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度准确性也得到提升。
步骤S430、基于第一图像,得到拍摄场景的第一目标亮度。
示例性地,基于第一图像的统计信息,可以得到拍摄场景的第一目标亮度;其中,统计信息可以包括:第一图像的直方图,或者第一图像中的各个区域的亮度均值等。
进一步,根据第一图像的统计信息可以计算得到LV值与DR值;通过LV值与DR值进行查表得到拍摄场景的第一目标亮度;其中,表可以是指预先得到的LV值与DR值和目标亮度之间的映射表。
示例性地,如图4所示,自动曝光算法模块330可以获取图像的统计信息;基于统计信息可以计算得到LV值与DR值;基于LV值与DR值可以得到拍摄场景的第一目标亮度。
应理解,第一目标亮度用于表示基于预设的自动曝光算法得到的某一个拍摄场景的原始目标;对应不同的拍摄场景,原始目标亮度可以不同。
步骤S440、基于第一数据,得到目标亮度矫正量。
在一个示例中,多光谱传感器采集的第一数据中包括第一通道的响应值,则可以直接获取第一通道的响应值;根据第一通道的响应值与映射关系可以得到目标亮度矫正量,其中,第一通道是指拍摄场景对应的全通通道,映射关系用于表示亮度矫正量与全通通道的响应值之间的关联关系。
应理解,全通通道可以是指各个波段的光线均可以反射的通道;全通通道可以包括可见光、红外光与近红外光等;例如,如图7所示,全通通道可以表示波段从350nm~1050nm对应的光通道;图7所示的频谱响应曲线中可以包括紫色波段、蓝色波段、绿色波段、红色波段、近红外波段以及全通波段分别对应的响应曲线;由于全通通道对各个波段的光谱均有响应,对于拍摄场景中的黑色区域采集的图像的亮度较暗;对于拍摄场景中的白色区域采集的图像的亮度较亮;因此,具有“黑即暗,白即亮”的特性,通过全通通道可以准确地获取各个波段的响应。
示例性地,在多光谱传感器采集的数据中包括全通通道的响应值的情况下,可以直接基于全通通道的响应值在映射关系中进行查找,得到亮度矫正量;例如,亮度矫正量可以是指增加部分曝光量“+X EV”,或者减少部分曝光量“-X EV”。
在一个示例中,多光谱传感器采集的第一数据中不包括第一通道的响应值,则可以对各个通道的响应值进行叠加得到第一通道的响应值。
示例性地,在多光谱传感器采集的第一数据中不包括全通通道的响应值的情况下,可以通过对各个通道的响应值进行叠加,得到全通通道的响应值;基于全通通道的响应值在映射关系中进行查找,得到目标亮度矫正量。
例如,可以将各个通道的响应值直接进行求和,得到全通通道的响应值。
示例性地,映射关系可以是指亮度矫正量与全通通道的响应值之间的函数关系;比如,映射关系可以是指曝光矫正量(ΔEV)与全通通道的响应值之间可以为单调函数,如图8所示。
示例性地,映射关系也可以是指亮度矫正量与全通通道的响应值之间的映射列表。
应理解,上述是以函数关系与映射列表对映射关系进行举例说明,映射关系也可以表现为其他形式,本申请对此不作任何限定。
步骤S450、基于目标亮度矫正量对第一目标亮度进行调整,得到第二目标亮度。
示例性地,目标亮度矫正量可以是指曝光矫正量,则可以根据曝光矫正量确定增加曝光量或者减少曝光量,得到第二目标亮度。
应理解,第一目标亮度是指基于预设的自动曝光算法配置的初始参数得到拍摄场景的目标亮度;第二目标亮度是指通过目标亮度矫正量对第一目标亮度进行调整后得到的拍摄场景的目标亮度。
可选地,基于目标亮度矫正量对第一目标亮度进行调整之前,可以确定拍摄场景保持不变。
应理解,拍摄场景可以与电子设备拍摄时所在环境的光源、电子设备摄像头的视场角中的景物以及拍摄目标对象相关;若光源、视场角中的景物或者拍摄目标对象中的任意一个改变,则可以认为拍摄场景发生变化。
应理解,由于对于同一拍摄场景中,图像传感器无法准确的区分拍摄场景中的偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度值,导致采集的图像的亮度值准确性较低;即在拍摄场景未发生变化时,需要对拍摄场景的第一目标亮度进行调整,得到亮度准确性更高的第二目标亮度;若拍摄场景发生变化,则自动曝光算法会重新计算拍摄场景的目标亮度;在本申请的实施例中,可以通过多光谱传感器采集的各个通道的数据判断当前的拍摄场景是否变化。
示例性地,可以通过色温差值判断拍摄场景是否发生变化;若拍摄场景发生变化,则色温的变化较大,即色温差值较大;若拍摄场景未发生变化,则色温变化较小,即色温差值较小。
例如,多光谱传感器采集的第一数据可以表示第N帧数据,可以获取N帧数据对应的平均色温与第N帧数据对应的色温;基于N帧数据对应的平均色温与第N帧数据对应的色温,得到色温差值,色温差值是指N帧数据对应的平均色温与第N帧数据对应的色温之间的差值;在色温差值小于或者等于预设阈值的情况下,确定拍摄场景保持不变。
应理解,在本申请的实施例中,“色温”均是指相关色温;例如,第N帧数据对应的色温是指第N帧数据对应的相关色温;平均色温可以是指相关色温的平均值;其中,相关色温为部分非黑体光源可以用与它们在视觉上最相似的黑体的色温来描述,这称为它们的相关色温;相关色温的符号为Tcp;相关色温的单位为K。应理解,多光谱传感器采集的一帧数据可以对应图像传感器采集的一帧图像;例如,图像传感器采集第一帧数据,则多光谱传感器可以在拍摄场景中采集一帧数据;假设,多光谱采集的第一数据中包括10个通道的响应值,则一帧数据可以是指1×10的一维向量,用于表示10个通道的响应值,一个数值对应于一个通道的响应值。
例如,KN=(KN-1+TN)/2;其中,KN表示N帧数据对应的平均色温,KN-1表示N-1帧数据对应的平均色温,TN表示第N帧数据对应的色温。
示例性地,可以根据第N帧数据与标定色温数据,得到第N帧数据对应的色温,标定色温数据是指通过标定得到的各个色温区间对应的不同通道的响应值。
示例性地,对于多光谱传感器而言,可以通过标定与匹配的方式输出色温;例如,可以标定不同色温对应的各个波段的响应值;假设,将色温500K~6500K平均分为10组色温,每组色温可以对应一组波段的响应值,得到10个向量;根据多光谱传感器实际采集的一帧数据,即采集的各个通道的响应值可以与10组色温标定值进行拟合,得到实际采集的一帧数据对应的色温。
例如,当N=2时,通过标定与匹配的方式可以得到第一帧数据对应的色温与第二帧数据对应的色温,即K2=(K1+T2)/2;其中,K2表示2帧数据对应的平均色温,K1表示1帧数据对应的平均色温,即第一帧数据对应的色温,T2表示第2帧数据的色温;换而言之,前两帧数据的平均色温可以是指第一帧数据对应的色温与第二帧数据对应的色温的平均值。
可选地,电子设备检测到开启相机应用程序时,可以触发多光谱传感器开始采集N帧数据中的第一帧数据,其中,开启相机应用程序的具体操作可以参见步骤S410的相关描述,此处不再赘述;或者,电子设备检测到指示录制视频时,可以触发多光谱传感器开始采集N帧数据中的第一帧数据。
示例性地,通过目标亮度矫正量对第一目标亮度进行调整,例如,可以对亮度矫正量与第一目标亮度(例如,原始目标亮度)进行求和,得到拍摄场景的目标亮度(例如,第二目标亮度);例如,若亮度矫正量为正值,则可以表示拍摄场景的第一目标亮度较暗,在第一目标亮度的基础上增加亮度得到第二目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的第一目标亮度较亮,在第一目标亮度的基础上减少亮度得到第二目标亮度,可以实现“白加黑减”的策略;例如,对于拍摄场景中整体偏亮(例如,白色)的区域可以增加曝光量,使得白色的物体呈现出正确的亮度;对于拍摄场景中整体偏暗(黑)的区域可以减曝光量,使得黑色的物体呈现出正确的亮度。
步骤S460、获取第二图像。
其中,第二图像为第一传感器基于目标曝光参数所采集的图像,目标曝光参数是基于第二目标亮度得到的。
示例性地,基于第二目标亮度可以得到图像传感器的目标曝光参数;图像传感器可以基于目标曝光参数在拍摄场景中采集Raw图像,即第二图像;其中,目标曝光参数包括曝光时间,感光度,和/或曝光量;例如,若第二目标亮度越亮,则相机的曝光量越大;若第二目标亮度越暗,则相机的曝光量越小。可选的,预置有目标亮度和曝光参数的对应关系、映射关系、函数关系或者查表可以得到;也可以根据目标亮度矫正量是正值或者负值调整曝光参数的大小;也可以根据目标亮度变大或者变小,定量或非定量地调整该曝光参数。
示例性地,第二图像的图像质量优于第一图像的图像质量。
应理解,第二图像的图像质量优于第一图像的图像质量可以是指第二图像对拍摄场景的亮度还原性更高;或者,第二图像的图像质量优于第一图像的图像质量是指第二图像的亮度准确性更高,或者,通过图像亮度的评估算法第二图像与第一图像进行评估,得到的评估结果为第二图像的图像质量优于第一图像的图像质量等,本申请对此不作任何限定。
步骤S470、显示或者保存第二图像。
示例性地,若相机应用程序处于预览状态,则可以显示第二图像。
示例性地,若相机应用程序处于拍照状态或者录制视频状态,则可以保存第二图像。
在本申请的实施例中,通过多光谱传感器能够在拍摄场景中采集各个通道的响应值;根据全通通道的响应值可以获取目标亮度矫正量,基于目标亮度矫正量对基于初始曝光参数得到的拍摄场景的第一目标亮度进行调整,得到第二目标亮度,使得电子设备获取的拍摄场景的目标亮度更准确;当拍摄场景的目标亮度的准确性提升,基于目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度的准确性也得到提升。
图6是本申请实施例提供的一种自动曝光方法的示意性流程图。该自动曝光方法500可以由图1所示的电子设备执行;该自动曝光方法包括步骤S501至步骤S515,下面分别对步骤S501至步骤S515进行详细的描述。
步骤S501、图像传感器采集Raw图像(第一图像的一个示例)。
示例性地,图像传感器可以根据预设的自动曝光算法得到初始曝光参数;通过图像传感器基于初始曝光参数得到Raw图像。
应理解,预设的自动曝光算法可以是指任意现有的自动曝光算法,本申请对此不作任何限定。
步骤S502、基于Raw图像的统计信息得到原始目标亮度(第一目标亮度的一个示例)与当前亮度。
应理解,原始目标亮度可以用于表示电子设备所处的拍摄场景的环境的光源亮度;当前亮度可以用于表示一帧Raw图像对应的亮度。
还应理解,此处的原始目标亮度用于表示基于预设的自动曝光算法得到的某一个拍摄场景的目标亮度值;对应不同的拍摄场景,原始目标亮度可以不同。
示例性地,可以基于Raw图像的统计信息计算可以得到LV值与DR值;通过LV值与DR值进行查表可以得到拍摄场景的原始目标亮度;其中,表可以是指预先得到的LV值与DR值和目标亮度之间的映射表。
示例性地,可以基于Raw图像的统计信息得到当前亮度。
例如,统计信息可以包括:Raw图像的直方图,或者Raw图像的各个区域的亮度均值等。
步骤S503、多光谱传感器采集数据(第一数据的一个示例)。
示例性地,多光谱传感器采集的数据可以是指在拍摄场景中采集的各个通道的响应值;各个通道的响应值可以用于表示各个通道的亮度值。
应理解,各个通道的响应值可以是指对拍摄场景中各个通道的光通量的响应值;或者,各个通道的响应值可以是指各个通道的对能量的响应值。
可选地,上述步骤S501与步骤S503可以是同步执行的;或者,步骤S501与步骤S503也可以是一先一后分别执行的;本申请对步骤S501与步骤S503执行的先后顺序不作任何限定。
步骤S504、根据多光谱传感器采集的数据计算平均色温T1与当前色温T2。
应理解,由于对于同一拍摄场景中,图像传感器无法准确的区分拍摄场景中的偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度值,导致采集的图像的亮度值准确性较低;即在拍摄场景未发生变化时,需要对拍摄场景的原始目标亮度进行调整,得到亮度准确性更高的目标亮度;若拍摄场景发生变化,则自动曝光算法会重新计算拍摄场景的原始目标亮度;在本申请的实施例中,可以通过多光谱传感器采集的各个通道的数据判断当前的拍摄场景是否变化。
例如,多光谱传感器采集的数据可以表示第N帧数据,可以获取N帧数据对应的平均色温与第N帧数据对应的色温;基于N帧数据对应的平均色温与第N帧数据对应的色温,得到色温差值,色温差值是指N帧数据对应的平均色温与第N帧数据对应的色温之间的差值;在色温差值小于或者等于预设阈值的情况下,确定拍摄场景保持不变。
应理解,在本申请的实施例中,“色温”均是指相关色温;例如,平均色温可以是指相关色温的平均值;当前色温可以是指相关色温;其中,相关色温为部分非黑体光源可以用与它们在视觉上最相似的黑体的色温来描述,这称为它们的相关色温;相关色温的符号为Tcp;相关色温的单位为K。
示例性地,对于多光谱传感器而言,可以通过标定与匹配的方式输出色温;例如,可以标定不同色温对应的各个波段的响应值;假设,将色温500K~6500K平均分为10组色温,每组色温可以对应一组波段的响应值,得到10个向量;根据多光谱传感器实际采集的一帧数据,即采集的各个通道的响应值可以与10组色温标定值进行拟合,得到实际采集的一帧数据对应的色温。
例如,KN=(KN-1+TN)/2;其中,KN表示N帧数据对应的平均色温,KN-1表示N-1帧数据对应的平均色温,TN表示第N帧数据对应的色温。
例如,当N=2时,通过标定与匹配的方式可以得到第一帧数据对应的色温与第二帧数据对应的色温,即K2=(K1+T2)/2;其中,K2表示2帧数据对应的平均色温,K1表示1帧数据对应的平均色温,即第一帧数据对应的色温,T2表示第2帧数据的色温;换而言之,前两帧数据的平均色温可以是指第一帧数据对应的色温与第二帧数据对应的色温的平均值。
可选地,步骤S504适用于图5所示的步骤S450中关于色温的相关描述,此处步骤赘述。
步骤S505、判断平均色温T1与当前色温T2之间的色温差值是否小于或者等于预设阈值T3,即判断是否│T1-T2│≤T3;若是,则执行步骤S506至步骤S512;若否,则执行步骤S513至步骤S515。
在本申请的实施例中,引入色温差值是为了判断拍摄场景是否发生变化;由于对于同一拍摄场景中,图像传感器无法准确地区分拍摄场景中的偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度值,导致采集的图像的亮度值准确性较低;因此,通过多光谱传感器采集的各个通道的数据进行色温估计,即计算平均色温T1与当前色温T2之间的色温差值,通过色温差值可以判断当前的拍摄场景是否变化;在拍摄场景未发生变化时,可以通过多光谱传感器采集的数据得到亮度矫正量;基于亮度矫正量可以拍摄场景的原始目标亮度进行调整,得到矫正后的目标亮度;例如,可以对亮度矫正量与原始目标亮度进行求和,得到矫正后的目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的原始目标亮度较暗,在原始目标亮度的基础上增加亮度得到矫正后的目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的原始目标亮度较亮,在原始目标亮度的基础上减少亮度得到矫正后的目标亮度;基于矫正后的目标亮度可以对图像传感器的曝光参数(例如,曝光量)进行调整,从而提升图像传感器采集的图像的亮度准确性。
应理解,拍摄场景可以与电子设备拍摄时所在环境的光源、电子设备摄像头的视场角中的景物以及拍摄目标对象相关;若光源、视场角中的景物或者拍摄目标对象中的任意一个改变,则可以认为拍摄场景发生变化。
步骤S506、获取全通通道(第一通道的一个示例)的响应值。
应理解,全通通道可以是指各个波段的光线均可以反射的通道;全通通道可以包括可见光、红外光与近红外光等;例如,如图7所示,全通通道可以表示波段从350nm~1050nm对应的光通道;图7所示的频谱响应曲线中可以包括紫色波段、蓝色波段、绿色波段、红色波段、近红外波段以及全通波段分别对应的响应曲线;由于全通通道对各个波段的光谱均有响应,对于拍摄场景中的黑色区域采集的图像的亮度较暗;对于拍摄场景中的白色区域采集的图像的亮度较亮;因此,具有“黑即暗,白即亮”的特性,通过全通通道可以准确地获取各个波段的响应。
在一个示例中,多光谱传感器采集的各个通道的数据包括全通通道的响应值,则可以直接获取全通通道的响应值。
在一个示例中,多光谱传感器采集的各个通道的数据中不包括全通通道的响应值,则可以对各个通道的响应值进行叠加得到全通通道的响应值。
可选地,步骤S506可以在步骤S505之后执行;或者,步骤S506也可以与步骤S504同时执行。
步骤S507、基于全通通道的响应值得到亮度矫正量(目标亮度矫正量的一个示例)。
可选地,可以根据全通通道的响应值与映射关系,得到亮度矫正量;例如,可以通过全通通道的响应值在映射关系中查到该响应值对应的亮度矫正量;其中,映射关系可以是指通过标定得到的亮度矫正量与全通通道的响应值的关联关系。
示例性地,映射关系可以是指曝光矫正量与全通通道的响应值之间的函数关系,比如,映射关系可以是指曝光矫正量(ΔEV)与全通通道的响应值之间可以为单调函数;如图8所示。
在一个示例中,在多光谱传感器采集的数据中包括全通通道的响应值的情况下,可以直接基于全通通道的响应值在映射关系中进行查找,得到亮度矫正量;例如,亮度矫正量可以是指增加部分曝光量“+X EV”,或者减少部分曝光量“-X EV”。
在一个示例中,在多光谱传感器采集的数据中包括全通通道的响应值的情况下,可以对各个通道的响应值进行叠加得到全通通道的响应值;基于全通通道的响应值在映射关系中进行查找,得到亮度矫正量;例如,亮度矫正量可以是指增加部分曝光量“+X EV”,或者减少部分曝光量“-X EV”。
示例性地,映射关系也可以是指亮度矫正量与全通通道的响应值之间的映射列表。
应理解,上述是以函数关系与映射列表对映射关系进行举例说明,映射关系也可以表现为其他形式,本申请对此不作任何限定。
步骤S508、基于亮度矫正量对原始目标亮度进行调整,得到矫正后的目标亮度(例如,第二目标亮度的一个示例)。
应理解,在平均色温T1与当前色温T2之间的色温差值小于或者等于预设阈值T3时,则表示电子设备的拍摄场景未发生变化;此时,由于图像传感器获取的拍摄场景的原始目标亮度与拍摄场景的实际亮度之间存在差异,因此需要对步骤S502得到的原始目标亮度进行调整,得到矫正后的目标亮度。
示例性地,可以根据多光谱传感器获取的全通通道的响应值得到亮度矫正量;基于亮度矫正量可以对原始目标亮度进行调整,得到矫正后的目标亮度;其中,获取亮度矫正量的具体过程参见步骤S507,此处不再赘述。
步骤S509、确定目标亮度为矫正后的目标亮度(例如,第二目标亮度的一个示例)。
步骤S510、判断目标亮度与当前亮度的差值是否小于或者等于阈值;若是,则执行步骤S511;若否,则返回执行步骤S501。
步骤S511、根据目标亮度调整曝光参数。
示例性地,曝光参数可以包括曝光时间、感光度,和/或曝光量。
例如,若目标亮度越亮,则相机的曝光量越大;若目标亮度越暗,则相机的曝光量越小。
例如,如图4所示,曝光参数矫正量计算模块320可以根据多光谱传感器采集的各个通道的数据得到亮度矫正量;自动曝光算法模块330可以根据亮度矫正量对原始目标亮度进行调整,得到矫正后的目标亮度;基于矫正后的目标亮度可以得到矫正后的曝光参数;图像传感器310可以根据矫正后的曝光参数采集Raw图像。
可选地,在基于矫正后的目标亮度得到矫正后的曝光参数后,可以将矫正后的曝光参数发送至图像传感器,图像传感器基于矫正后的曝光参数采集Raw图像(第二图像的一个示例);对于图像传感器基于矫正后的曝光参数采集Raw图像,能够提升Raw图像的亮度准确性。
步骤S512、自动曝光结束。
步骤S513、确定目标亮度为原始目标亮度。
示例性地,在│T1-T2│>T3的情况下,确定目标亮度为原始目标亮度。
可选地,在目标亮度为原始目标亮度时,无需对曝光参数进行调整。
应理解,在平均色温T1与当前色温T2之间的色温差值大于预设阈值T3时,则表示电子设备的拍摄场景发生变化;例如,电子设备的拍摄场景可以从室内拍摄场景移动至室外拍摄场景;在电子设备的拍摄场景发生变化的情况下,可以采用预设的自动曝光算法得到拍摄场景对应的原始目标亮度;基于原始目标亮度对图像传感器的曝光参数进行调整,其中,预设的自动曝光算法可以是任意现有的自动曝光算法。
例如,如图4所示,图像信号处理器320中可以包括曝光统计模块与图像处理模块(例如,ISP pipeline);曝光统计模块可以用于Raw图像的统计信息,统计信息可以包括Raw图像的直方图或者Raw图像中各个区域的亮度均值;自动曝光算法模块330可以根据Raw图像的统计信息得到拍摄场景的LV值与DR值;基于LV值与DR值进行查表可以得到拍摄场景的原始目标亮度。
步骤S514、判断目标亮度与当前亮度的差值是否小于或者等于阈值;若是,则执行步骤S515;若否,则返回执行步骤S501。
步骤S515、自动曝光结束。
在本申请的实施例中,由于图像传感器通过是按照目标亮度为中性灰进行测光;对于某些情况下,得到拍摄场景的目标亮度与拍摄场景的实际亮度之间的差别较大,导致图像传感器采集到的图像的亮度准确性较低;例如,基于中性灰进行测光,图像传感器无法准确的区分拍摄场景中偏亮区域(例如,白色区域)与偏暗区域(例如,黑色区域)的亮度;对于多光谱传感器而言,由于多光谱传感器曝光时间为固定时长,并且多光谱传感器中的全通通道覆盖的波段范围较广,能够准确地获取各个波段的光线;因此,多光谱传感器能够得到拍摄场景中不同拍摄对象的亮度,即具备“黑即暗,白即亮”的特性。因此,在本申请的实施例中,基于多光谱传感器在拍摄场景中采集的各个通道的响应值,可以得到全通通道的响应值;基于全通通道的响应值可以得到亮度矫正量;根据亮度矫正量可以对拍摄场景的目标亮度进行矫正;例如,可以对亮度矫正量与原始目标亮度进行求和,得到拍摄场景的目标亮度;例如,若亮度矫正量为正值,则可以表示拍摄场景的原始目标亮度较暗,在原始目标亮度的基础上增加亮度得到目标亮度;若亮度矫正量为负值,则可以表示拍摄场景的原始目标亮度较亮,在原始目标亮度的基础上减少亮度得到目标亮度,使得电子设备获取的拍摄场景的目标亮度更准确;当拍摄场景的目标亮度的准确性提升,基于目标亮度得到的目标曝光参数的准确性也得到提升;因此,图像传感器基于目标曝光参数采集的图像的亮度准确性也得到提升。
图9根据是本申请实施例提供的自动曝光方法的效果示意图。
如图9所示,图9中的(a)是通过现有技术中的自动曝光方法得到的预览图像;图9中的(b)是通过本申请实施例提供的自动曝光方法得到的预览图像;如图9中的(a)所示的预览图像可以看出白纸的预览图像的出现了亮度严重失真;与图9中的(a)所示的预览图像相比,图9中的(b)所示的预览图像的亮度准确性较高,即通过本申请实施例提供的自动曝光方法对相机进行曝光,能够提升采集图像的亮度准确性。
图10根据是本申请实施例提供的自动曝光方法的效果示意图。
如图10所示,图10中的(a)是通过现有技术中的自动曝光方法得到的黑色物体的预览图像;图10中的(b)是通过本申请实施例提供的自动曝光方法得到的黑色物体的预览图像;如图10中的(a)所示的预览图像可以看出黑色物体的预览图像的出现了亮度严重失真;与图10中的(a)所示的预览图像相比,图10中的(b)所示的预览图像的亮度准确性较高,即通过本申请实施例提供的自动曝光方法对相机进行曝光,能够提升采集图像的亮度准确性。
在一个示例中,可以在电子设备的设置中开启亮度矫正模式,则在电子设备可以通过本申请实施例提供的自动曝光方法可以得到矫正后的曝光参数,并根据矫正后的曝光参数对相机进行曝光,从而输出相机采集的图像或者视频。
图11示出了电子设备的一种图形用户界面(graphical user interface,GUI)。
图11中的(a)所示的GUI为电子设备的桌面610;当电子设备检测到用户点击桌面610上的设置的图标620的操作后,可以显示如图11中的(b)所示的另一GUI;图11中的(b)所示的GUI可以是设置的显示界面,在设置的显示界面中可以包括无线网络、蓝牙或者相机等选项;点击相机选项,进入相机的设置界面,显示如图11中的(c)所示的相机设置界面;在相机设置界面中可以包括亮度矫正的控件630;检测到用户点击亮度矫正的控件630的操作后,电子设备可以开启亮度矫正模式;即可以通过本申请实施例提供的自动曝光方法可以得到矫正后的目标亮度;基于矫正后的目标亮度得到矫正后的曝光参数,并根据矫正后的曝光参数对相机进行曝光,从而输出相机采集的图像或者视频。
应理解,上述举例说明是为了帮助本领域技术人员理解本申请实施例,而非要将本申请实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明,显然可以进行各种等价的修改或变化,这样的修改或变化也落入本申请实施例的范围内。
上文结合图1至图11详细描述了本申请实施例提供的自动曝光方法;下面将结合图12至图13详细描述本申请的装置实施例。应理解,本申请实施例中的装置可以执行前述本申请实施例的各种方法,即以下各种产品的具体工作过程,可以参考前述方法实施例中的对应过程。
图12是本申请实施例提供的一种电子设备的结构示意图。该电子设备700包括处理模块710与获取模块720,第一传感器与第二传感器;第一传感器为图像传感器,第二传感器为多光谱传感器。其中,处理模块710用于开启相机应用程序;获取模块720用于获取第一图像与第一数据,所述第一图像为所述第一传感器基于初始曝光参数所采集的图像,所述初始曝光参数对应于所述电子设备的拍摄对象所处的拍摄场景,所述第一数据为所述第二传感器的一个或者多个通道的响应值;处理模块710用于基于所述第一图像,得到所述拍摄场景的第一目标亮度;基于所述第一数据,得到目标亮度矫正量;基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度;获取模块720用于获取第二图像,所述第二图像为所述第一传感器基于目标曝光参数所采集的图像,所述目标曝光参数是基于所述第二目标亮度得到的。
可选地,作为一个实施例,所述处理模块710具体用于:
基于第一通道的响应值与映射关系得到所述目标亮度矫正量,所述第一通道是指所述拍摄场景对应的全通通道,所述映射关系用于表示亮度矫正量与全通通道的响应值之间的关联关系。
可选地,作为一个实施例,所述第一数据包括所述第一通道的响应值。
可选地,作为一个实施例,所述第一通道的响应值是通过叠加所述各个通道的响应值得到的。
可选地,作为一个实施例,在所述基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度之前,所述处理模块710还用于:
确定所述拍摄场景不变。
可选地,作为一个实施例,所述处理模块710具体用于:
获取N帧数据对应的平均色温与所述第N帧数据对应的色温;
基于所述N帧数据对应的平均色温与所述第N帧数据对应的色温,得到色温差值,所述色温差值是指所述N帧数据对应的平均色温与所述第N帧数据对应的色温之间的差值;
在所述色温差值小于或者等于预设阈值的情况下,确定所述拍摄场景保持不变。
可选地,作为一个实施例,所述处理模块710具体用于:
基于所述第N帧数据与标定色温数据,得到所述第N帧数据对应的色温,所述标定色温数据是指通过标定得到的各个色温区间对应的不同通道的响应值。
可选地,作为一个实施例,所述目标曝光参数包括曝光时间、感光度和/或曝光量。
可选地,作为一个实施例,所述处理模块710具体用于:
基于所述第一图像的统计信息,得到所述第一目标亮度,所述第一图像的统计信息包括所述第一图像的直方图,或者,所述第一图像的各个区域的亮度均值。
可选地,作为一个实施例,所述第二图像的图像质量优于所述第一图像的图像质量。
可选地,作为一个实施例,所述多个通道的响应值为所述第二传感器的各个通道的响应值。
需要说明的是,上述电子设备700以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的单元,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
图13示出了本申请提供的一种电子设备的结构示意图。图13中的虚线表示该单元或该模块为可选的;电子设备800可以用于实现上述方法实施例中描述的方法。
电子设备800包括一个或多个处理器801,该一个或多个处理器801可支持电子设备800实现方法实施例中的自动曝光方法。处理器801可以是通用处理器或者专用处理器。例如,处理器801可以是中央处理器(central processing unit,CPU)、数字信号处理器(digital signal processor,DSP)、专用集成电路(application specific integratedcircuit,ASIC)、现场可编程门阵列(field programmable gate array,FPGA)或者其它可编程逻辑器件,如分立门、晶体管逻辑器件或分立硬件组件。
处理器801可以用于对电子设备800进行控制,执行软件程序,处理软件程序的数据。电子设备800还可以包括通信单元805,用以实现信号的输入(接收)和输出(发送)。
例如,电子设备800可以是芯片,通信单元805可以是该芯片的输入和/或输出电路,或者,通信单元805可以是该芯片的通信接口,该芯片可以作为终端设备或其它电子设备的组成部分。
又例如,电子设备800可以是终端设备,通信单元805可以是该终端设备的收发器,或者,通信单元805可以是该终端设备的收发电路。
电子设备800中可以包括一个或多个存储器802,其上存有程序804,程序804可被处理器801运行,生成指令803,使得处理器801根据指令803执行上述方法实施例中描述的自动曝光方法。
可选地,存储器802中还可以存储有数据。
可选地,处理器801还可以读取存储器802中存储的数据,该数据可以与程序804存储在相同的存储地址,该数据也可以与程序804存储在不同的存储地址。
处理器801和存储器802可以单独设置,也可以集成在一起,例如,集成在终端设备的系统级芯片(system on chip,SOC)上。
示例性地,存储器802可以用于存储本申请实施例中提供的自动曝光方法的相关程序804,处理器801可以用于在执行自动曝光处理时调用存储器802中存储的自动曝光方法的相关程序804,执行本申请实施例的自动曝光方法;例如,开启电子设备中的相机应用程序;获取第一图像与第一数据,第一图像为第一传感器基于初始曝光参数所采集的图像,初始曝光参数对应于电子设备的拍摄对象所处的拍摄场景,第一数据为第二传感器的一个或者多个通道的响应值;基于第一图像,得到拍摄场景的第一目标亮度;基于第一数据,得到目标亮度矫正量;基于目标亮度矫正量对第一目标亮度进行调整,得到第二目标亮度;获取第二图像,第二图像为第一传感器基于目标曝光参数所采集的图像,目标曝光参数是基于所述第二目标亮度得到的;显示或者保存第二图像。
本申请还提供了一种计算机程序产品,该计算机程序产品被处理器801执行时实现本申请中任一方法实施例的自动曝光方法。
该计算机程序产品可以存储在存储器802中,例如是程序804,程序804经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器801执行的可执行目标文件。
本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时实现本申请中任一方法实施例所述的自动曝光方法。该计算机程序可以是高级语言程序,也可以是可执行目标程序。
该计算机可读存储介质例如是存储器802。存储器802可以是易失性存储器或非易失性存储器,或者,存储器802可以同时包括易失性存储器和非易失性存储器。其中,非易失性存储器可以是只读存储器(read-only memory,ROM)、可编程只读存储器(programmableROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(randomaccess memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(dynamicRAM,DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的电子设备的实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
应理解,在本申请的各种实施例中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请的实施例的实施过程构成任何限定。
另外,本文中的术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准总之,以上所述仅为本申请技术方案的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种自动曝光方法,其特征在于,应用于电子设备,所述电子设备包括第一传感器与第二传感器,所述第一传感器为图像传感器,所述第二传感器为多光谱传感器,所述自动曝光方法包括:
开启所述电子设备中的相机应用程序;
获取第一图像与第一数据,所述第一图像为所述第一传感器基于初始曝光参数所采集的图像,所述初始曝光参数对应于所述电子设备的拍摄对象所处的拍摄场景,所述第一数据为所述第二传感器的全通通道的响应值;
基于所述第一图像,得到所述拍摄场景的第一目标亮度;
基于第一通道的响应值与映射关系得到目标亮度矫正量,所述第一通道是指所述拍摄场景对应的全通通道,所述映射关系用于表示亮度矫正量与全通通道的响应值之间的关联关系,所述第一通道的响应值是基于所述第一数据获得;
基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度;
获取第二图像,所述第二图像为所述第一传感器基于目标曝光参数所采集的图像,所述目标曝光参数是基于所述第二目标亮度得到的;
显示或者保存所述第二图像。
2.如权利要求1所述的自动曝光方法,其特征在于,所述第一数据包括所述第一通道的响应值。
3.如权利要求1所述的自动曝光方法,其特征在于,所述第一通道的响应值是通过叠加所述各个通道的响应值得到的。
4.如权利要求1至3中任一项所述的自动曝光方法,其特征在于,在所述基于所述目标亮度矫正量对所述第一目标亮度进行调整,得到第二目标亮度之前,所述自动曝光方法还包括:
确定所述拍摄场景不变。
5.如权利要求4所述的自动曝光方法,其特征在于,所述第一数据为第N帧数据,所述确定所述拍摄场景保持不变,包括:
获取N帧数据对应的平均色温与所述第N帧数据对应的色温;
基于所述N帧数据对应的平均色温与所述第N帧数据对应的色温,得到色温差值,所述色温差值是指所述N帧数据对应的平均色温与所述第N帧数据对应的色温之间的差值;
在所述色温差值小于或者等于预设阈值的情况下,确定所述拍摄场景保持不变。
6.如权利要求5所述的自动曝光方法,其特征在于,所述获取N帧数据对应的平均色温与所述第N帧数据对应的色温,包括:
基于所述第N帧数据与标定色温数据,得到所述第N帧数据对应的色温,所述标定色温数据是指通过标定得到的各个色温区间对应的不同通道的响应值。
7.如权利要求1至3中任一项所述的自动曝光方法,其特征在于,所述目标曝光参数包括曝光时间、感光度和/或曝光量。
8.如权利要求1至3中任一项所述的自动曝光方法,其特征在于,所述基于所述第一图像,得到所述拍摄场景的第一目标亮度,包括:
基于所述第一图像的统计信息,得到所述第一目标亮度,所述第一图像的统计信息包括所述第一图像的直方图,或者,所述第一图像的各个区域的亮度均值。
9.如权利要求1至3中任一项所述自动曝光方法,其特征在于,所述第二图像的图像质量优于所述第一图像的图像质量。
10.如权利要求1至3中任一项所述自动曝光方法,其特征在于,所述多个通道的响应值为所述第二传感器的各个通道的响应值。
11.一种电子设备,其特征在于,包括:
一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至10中任一项所述的自动曝光方法。
12.一种芯片系统,其特征在于,所述芯片系统应用于电子设备,所述芯片系统包括一个或多个处理器,所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至10中任一项所述的自动曝光方法。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储了计算机程序,当所述计算机程序被处理器执行时,使得处理器执行权利要求1至10中任一项所述的自动曝光方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210193699.2A CN116723409B (zh) | 2022-02-28 | 2022-02-28 | 自动曝光方法与电子设备 |
EP22905505.8A EP4258676A4 (en) | 2022-02-28 | 2022-12-21 | AUTOMATIC EXPOSURE METHOD AND ELECTRONIC DEVICE |
PCT/CN2022/140809 WO2023160190A1 (zh) | 2022-02-28 | 2022-12-21 | 自动曝光方法与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210193699.2A CN116723409B (zh) | 2022-02-28 | 2022-02-28 | 自动曝光方法与电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116723409A CN116723409A (zh) | 2023-09-08 |
CN116723409B true CN116723409B (zh) | 2024-05-24 |
Family
ID=87517178
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210193699.2A Active CN116723409B (zh) | 2022-02-28 | 2022-02-28 | 自动曝光方法与电子设备 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP4258676A4 (zh) |
CN (1) | CN116723409B (zh) |
WO (1) | WO2023160190A1 (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109738068A (zh) * | 2018-12-25 | 2019-05-10 | 浙江农林大学暨阳学院 | 一种校正多光谱相机响应值非线性的方法 |
WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
WO2020057199A1 (zh) * | 2018-09-20 | 2020-03-26 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
CN111814564A (zh) * | 2020-06-09 | 2020-10-23 | 广州视源电子科技股份有限公司 | 基于多光谱图像的活体检测方法、装置、设备和存储介质 |
CN112672069A (zh) * | 2020-12-24 | 2021-04-16 | 维沃移动通信有限公司 | 曝光方法和装置 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
CN113271414A (zh) * | 2020-02-14 | 2021-08-17 | 上海海思技术有限公司 | 图像获取方法和装置 |
CN113324491A (zh) * | 2021-03-22 | 2021-08-31 | 中国地质大学(北京) | 一种基于多光谱相机的变形场测量方法及装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9294662B2 (en) * | 2013-10-16 | 2016-03-22 | Broadcom Corporation | Depth map generation and post-capture focusing |
CN105208360B (zh) * | 2015-09-23 | 2017-07-25 | 青岛海信移动通信技术股份有限公司 | 一种智能终端的图像预览方法、装置及终端 |
CN108419061B (zh) * | 2017-02-10 | 2020-10-02 | 杭州海康威视数字技术股份有限公司 | 基于多光谱的图像融合设备、方法及图像传感器 |
CN107635102B (zh) * | 2017-10-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法和装置 |
CN109951633B (zh) * | 2019-02-18 | 2022-01-11 | 华为技术有限公司 | 一种拍摄月亮的方法和电子设备 |
US11418719B2 (en) * | 2020-09-04 | 2022-08-16 | Altek Semiconductor Corp. | Dual sensor imaging system and calibration method which includes a color sensor and an infrared ray sensor to perform image alignment and brightness matching |
CN113727085B (zh) * | 2021-05-31 | 2022-09-16 | 荣耀终端有限公司 | 一种白平衡处理方法、电子设备、芯片系统和存储介质 |
CN113676628B (zh) * | 2021-08-09 | 2023-05-02 | Oppo广东移动通信有限公司 | 成像装置和图像处理方法 |
-
2022
- 2022-02-28 CN CN202210193699.2A patent/CN116723409B/zh active Active
- 2022-12-21 WO PCT/CN2022/140809 patent/WO2023160190A1/zh active Application Filing
- 2022-12-21 EP EP22905505.8A patent/EP4258676A4/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019183813A1 (zh) * | 2018-03-27 | 2019-10-03 | 华为技术有限公司 | 一种拍摄方法及设备 |
WO2020057199A1 (zh) * | 2018-09-20 | 2020-03-26 | Oppo广东移动通信有限公司 | 成像方法、装置和电子设备 |
CN109738068A (zh) * | 2018-12-25 | 2019-05-10 | 浙江农林大学暨阳学院 | 一种校正多光谱相机响应值非线性的方法 |
CN113271414A (zh) * | 2020-02-14 | 2021-08-17 | 上海海思技术有限公司 | 图像获取方法和装置 |
CN111814564A (zh) * | 2020-06-09 | 2020-10-23 | 广州视源电子科技股份有限公司 | 基于多光谱图像的活体检测方法、装置、设备和存储介质 |
CN112672069A (zh) * | 2020-12-24 | 2021-04-16 | 维沃移动通信有限公司 | 曝光方法和装置 |
CN113324491A (zh) * | 2021-03-22 | 2021-08-31 | 中国地质大学(北京) | 一种基于多光谱相机的变形场测量方法及装置 |
CN113163128A (zh) * | 2021-05-08 | 2021-07-23 | 维沃移动通信(杭州)有限公司 | 图像曝光方法和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2023160190A1 (zh) | 2023-08-31 |
EP4258676A1 (en) | 2023-10-11 |
CN116723409A (zh) | 2023-09-08 |
EP4258676A4 (en) | 2024-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11532076B2 (en) | Image processing method, electronic device and storage medium | |
KR20210024053A (ko) | 야경 촬영 방법, 장치, 전자설비, 및 저장 매체 | |
EP4033750B1 (en) | Method and device for processing image, and storage medium | |
CN115550570B (zh) | 图像处理方法与电子设备 | |
CN116416122B (zh) | 图像处理方法及其相关设备 | |
CN115802183B (zh) | 图像处理方法及其相关设备 | |
CN115988311A (zh) | 图像处理方法与电子设备 | |
CN115835034A (zh) | 白平衡处理方法与电子设备 | |
CN116668862B (zh) | 图像处理方法与电子设备 | |
CN117135293B (zh) | 图像处理方法和电子设备 | |
CN117425091B (zh) | 图像处理方法与电子设备 | |
CN116437198B (zh) | 图像处理方法与电子设备 | |
EP4231621A1 (en) | Image processing method and electronic device | |
CN116723409B (zh) | 自动曝光方法与电子设备 | |
CN116668838A (zh) | 图像处理方法与电子设备 | |
CN116029914B (zh) | 图像处理方法与电子设备 | |
CN115426458B (zh) | 光源检测方法及其相关设备 | |
CN116051368B (zh) | 图像处理方法及其相关设备 | |
CN109447925A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN116452437B (zh) | 高动态范围图像处理方法及电子设备 | |
CN116723417B (zh) | 一种图像处理方法和电子设备 | |
WO2023216089A1 (en) | Camera transition for image capture devices with variable aperture capability | |
CN118870197A (zh) | 一种图像处理方法及相关装置 | |
CN117710265A (zh) | 图像处理方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |