CN111586312B - 自动曝光的控制方法及装置、终端、存储介质 - Google Patents
自动曝光的控制方法及装置、终端、存储介质 Download PDFInfo
- Publication number
- CN111586312B CN111586312B CN202010409151.8A CN202010409151A CN111586312B CN 111586312 B CN111586312 B CN 111586312B CN 202010409151 A CN202010409151 A CN 202010409151A CN 111586312 B CN111586312 B CN 111586312B
- Authority
- CN
- China
- Prior art keywords
- image
- exposure
- camera module
- module
- terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000012545 processing Methods 0.000 claims abstract description 38
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011982 device technology Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种自动曝光的控制方法,包括:通过轻量级的图像接口获取摄像模组采集的当前帧图像;对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。本申请实施例还同时提供了一种自动曝光的控制装置、终端及存储介质。
Description
技术领域
本申请涉及电子设备技术领域,涉及但不限定于自动曝光的控制方法及装置、终端、存储介质。
背景技术
相关技术中对于摄像头自动曝光的控制方法有以下几种方案:一种是先采用相机图像信号处理器(Image Signal Processor,ISP)中的统计信息模块做亮度信息统计,然后调用相机ISP的自动曝光(Auto Exposure,AE)算法来控制摄像头的曝光。该方案的缺点在于,需要启动ISP的相关硬件模块,导致终端的功耗会很高。另外一种是将AE算法集成在摄像头中,该方案的缺点在于,由于在摄像头里面计算AE,AE算法的速度性能相应下降,同时摄像头的成本必然会升高。
发明内容
本申请实施例提供一种自动曝光的控制方法及装置、终端、存储介质。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供一种自动曝光的控制方法,所述方法包括:
通过轻量级的图像接口获取摄像模组采集的当前帧图像;
对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;
按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。
第二方面,本申请实施例提供一种自动曝光的控制装置,包括获取模块、处理模块和控制模块,其中:
所述获取模块,用于通过轻量级的图像接口获取摄像模组采集的当前帧图像;
所述处理模块,用于对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;
所述控制模块,用于按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。
第三方面,本申请实施例提供一种终端,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述自动曝光的控制方法中的步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述自动曝光的控制方法中的步骤。
本申请实施例提供的技术方案带来的有益效果至少包括:
在本申请实施例中,首先,通过轻量级的图像接口获取摄像模组采集的当前帧图像;然后,对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;最后,按照所述目标曝光参数,控制所述摄像模组采集下一帧图像;如此,终端的处理器能够通过轻量级图像接口直接获取摄像模组输出的原始图像,然后终端的处理器进行AE计算和控制曝光,这样实现的摄像头的自动曝光控制不再依赖相机成像系统中ISP的AE统计信息和相关硬件模块,可以减少终端的功耗和降低摄像头成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图,其中:
图1A为相关技术中提供的图像成像过程的原理框图;
图1B为相关技术中提供的自动曝光的控制过程的架构框图;
图2为本申请实施例提供的一种自动曝光的控制方法的流程示意图;
图3为本申请实施例提供的另一种自动曝光的控制方法的流程示意图;
图4为本申请实施例提供的又一种自动曝光的控制方法的流程示意图;
图5A为本申请实施例提供的自动曝光的控制过程的架构框图;
图5B为本申请实施例提供的自动曝光的控制方法的逻辑流程图;
图5C为本申请实施例提供的自动曝光的控制方法的数据流程图;
图6A为本申请实施例提供的一种自动曝光的控制装置的组成结构示意图;
图6B为本申请实施例提供的另一种自动曝光的控制装置的组成结构示意图;
图7为本申请实施例提供的一种终端的硬件实体示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。以下实施例用于说明本申请,但不用来限制本申请的范围。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
需要指出,本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本申请实施例所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域普通技术人员可以理解,本申请实施例所涉及的名词的含义至少包括:
图像成像过程:如图1A所示,景物11通过摄像头12中的透镜121(Lens)生成的光学图像投射到摄像头12中的图像传感器122表面上,经过光电转换为模拟电信号,消噪声后经过模拟/数字(Analog/Digital,A/D)转换后变为数字图像信号,再送到数字信号处理器13(Digital Signal Processing,DSP)中加工处理。最后经DSP 13处理过的图像信号需要通过ISP 14中的各种图像处理算法模块141和中央处理器142(Central Processing Unit,CPU)转换并进行一定的美学改造,输出更适合视觉感官的图像15。
图像传感器(sensor):作为摄像头的核心,负责将通过Lens的光信号转换为电信号,再经过内部模拟数字转换器(Analog to digital converter,ADC)转换为数字信号。每个像素点(pixel)只能感受红色光(R)、绿色光(G)、蓝色光(B)中的一种,因此每个像素点中存放的数据是单色光,所以通常所说的30万像素或者130万像素,表示的就是有30万或130万个感光点,每个感光点只能感应一种光,这些最原始的感光数据称为未加工的(RAW)数据。
图像传感器是一种半导体芯片,其表面包含有几十万到几百万的光电二极管。光电二极管受到光照射时,就会产生电荷。目前的sensor类型有两种:1)电荷耦合器件(Charge Couple Device,CCD),它是目前高像素类sensor中比较成熟的成像器件,是以一行为单位的电流信号;2)互补金属氧化物半导体(Complementary Metal OxideSemiconductor,CMOS)。CMOS的信号是以点为单位的电荷信号,更为敏感,速度也更快,更为省电。
RAW图像:就是CMOS或者CCD图像传感器将捕捉到的光源信号转化为数字信号的原始数据。RAW图像是一种记录了数码相机传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据如感光度的设置、快门速度、光圈值、白平衡等的文件。RAW格式是未经处理、也未经压缩的格式,可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。
ISP:用于处理图像信号传感器输出的图像信号。在相机成像的整个环节中,ISP负责接收图像传感器的原始信号数据,可以理解为整个相机拍照、录像的第一步处理流程,对图像质量起着非常重要的作用。
ISP在相机系统中占有核心主导的地位,是构成相机的重要设备。ISP内部包含CPU、各种图像算法处理模块、图像传输接口等设备,事实上,可以认为ISP是一个片上系统(System on Chip,SOC),可以运行各种算法程序,实时处理图像信号。
ISP内部包含多个图像算法处理模块,能够实现跟图像效果相关的多个功能,其中比较有代表性的是:扣暗电流模块,用于去掉底电流噪声;线性化模块,用于解决数据非线性问题;镜头暗影校正模块,用于解决镜头带来的亮度衰减与颜色变化;去坏点模块,用于去掉图像传感器中的坏点数据;去噪模块,用于去除噪声;反马赛克模块,用于将RAW数据转为红绿蓝(Red-Green-Blue,RGB)数据;3A算法模块,用于实现自动白平衡、自动对焦和自动曝光;gamma校正模块,用于完成亮度映射曲线,优化局部与整体对比度;旋转模块用于完成像素点角度变化;锐化模块用于调整图像锐度;缩放模块用于放大或缩小图像;色彩空间转换模块,用于转换到不同色彩空间进处理;颜色增强模块(可选)用于调整颜色;肤色增强模块(可选)用于优化肤色表现等。
AE算法:用于根据环境的照度自动调节图像的亮度。目前比较常见的AE算法有平均亮度法、权重均值法、亮度直方图等。平均亮度法就是对图像所有像素亮度求平均值,通过不断调整曝光参数最终达到目标亮度,应用最普遍。而权重均值法是对图像不同区域设置不同权重来计算图像亮度,例如相机中的各种测光模式的选择就是改变不同区域的权重。亮度直方图法是通过为直方图中峰值分配不同权重来计算图像亮度。
图像质量的好坏直接影响着整个产品的质量和用户的第一体验感受。图像质量涉及到的知识点比较多,有时候甚至不同功能点的调试的先后顺序都会影响图像效果,好的产品,好的图像质量不仅可以清晰的还原所拍摄的画面,甚至还可以对一些事件的分析等带来重要参考依据,而相机拍摄的图像质量的关键在于曝光控制,通过AE算法来控制摄像头传感器和ISP,可以快速得到合适的曝光系数,自动的得到合理的图像亮度,从而尽快稳定图像质量、获取更有效的图像信息、节省带宽的消耗等等。
常打开式摄像头(Always on Sensor,AON Sensor)的应用场景广泛,通常需要全天候24小时工作,尤其适用于暗态环境,如夜晚或者光线不足的室内等环境下环境光不够亮的情形。比如晚上用户躺着使用终端时,AON Sensor可以保证终端的屏幕不会产生旋转。这样的话,为了输出曝光合理的图像数据,对AON Sensor采集图像的质量要求比较高。
目前中对于AON Sensor的AE控制主要有以下几种:
一种是通过相机中ISP对图像进行整体的曝光控制,如图1B所示,AON Sensor11输出的RAW数据先采输入到ISP 12中的AE统计模块121做亮度信息统计,然后输入到AE算法控制模块122进行AE计算,得到的曝光参数再次输入到AON Sensor11,以实现控制AONsensor11。这种方案的优势是精度很高,问题在于功耗高,因为需要启动相机ISP的相关硬件模块。
另外一种是将AE算法集成在AON sensor中,使其能快速实现输出曝光合理的图像数据。这种由于在AON sensor里面计算AE,AON sensor的速度性能必须下降;同时由于AE算法是集成在AON sensor里面,厂家会把这种算法的成本加到AON sensor里面,AON sensor的成本必然会升高。
本申请实施例提供一种自动曝光的控制方法,应用于终端。所述终端包括但不限于手机、笔记本电脑、平板电脑和掌上上网设备、多媒体设备、流媒体设备、移动互联网设备、可穿戴设备或其他类型的终端设备。该方法所实现的功能可以通过终端中的处理器调用程序代码来实现,当然程序代码可以保存在计算机存储介质中,可见,该终端至少包括处理器和存储介质。
图2为本申请实施例提供的一种自动曝光的控制方法的流程示意图,如图2所示,所述方法至少包括以下步骤:
步骤S210,通过轻量级的图像接口获取摄像模组采集的当前帧图像。
这里,所述轻量级(lightweight)是软件架构术语,轻量级与重量级相对应,是一种对于组件的评判标准,它用来衡量组件对其环境的依赖程度。如果这个依赖越小,就越轻量;反之就越重量。
这里,所述摄像模组可以包括镜头、图像传感器、摄像头等组件。其中,图像传感器用于感应可见光;镜头用于可见光进入以形成图像;图像传感器为CCD或CMOS;摄像头的个数可以为一个或多个,可以为普通摄像头,也可以为常开摄像头。应理解,该摄像模组应包括实际图像采集过程中能够用到的所有组件,本申请实施例对此不作限定。
可以理解的是,轻量级的图像接口输出的图像为原始图像数据格式,表明没有对图像数据进行后端处理。本申请实施例通过轻量级的图像接口将摄像模组采集的当前帧图像,直接输入到后台程序中进行处理。
步骤S220,对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数。
这里,所述当前帧图像为图像传感器输出的未经加工的RAW图像,即CMOS或者CCD图像传感器将捕捉到的光源信号转化为数字信号的原始数据。
这里,对所述当前帧图像的处理过程为终端的处理器执行的,包括亮度信息统计和AE计算等流程,以获取当前帧图像的AE统计信息,进而得到相应地目标曝光参数。
在一些实施例中,通过终端的处理器对摄像模组采集的当前帧图像进行亮度信息统计,即得到当前帧图像中各像素点的亮度信息;然后根据AE统计信息计算出维持一定图像亮度所需要的曝光参数。
在一些实施例中,通过终端的处理器对当前帧图像中各像素点的亮度进行加权平均处理,计算得到目标亮度,再根据图像的当前亮度与目标亮度的差值来控制摄像模组的曝光参数,实现自动曝光。
这里,所述目标曝光参数为摄像头拍摄得到的图像达到目标亮度时的曝光参数,可以包括光圈值、图像传感器的曝光时间和图像传感器的曝光增益等,通常对于终端来说,由于采用固定光圈镜头,所以采用固定的光圈值。
步骤S230,按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。
这里,在确定目标曝光参数后,可以根据目标曝光参数在图像传感器采集图像时进行自动曝光。
这里,所述下一帧图像为按照目标曝光参数获取的满足预期亮度的图像,可以送入其他模块进行识别或检测得到更好的效果。
在本申请实施例中,首先,通过轻量级的图像接口获取摄像模组采集的当前帧图像;然后,对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;最后,按照所述目标曝光参数,控制所述摄像模组采集下一帧图像;如此,终端的处理器能够通过轻量级图像接口直接获取摄像模组输出的原始图像,然后终端的处理器进行AE计算和控制曝光,这样实现的摄像头的自动曝光控制不再依赖相机成像系统中ISP的AE统计信息和相关硬件模块,可以减少终端的功耗和降低摄像头成本。
图3为本申请实施例提供的另一种自动曝光的控制方法的流程示意图,所述摄像模组包括常开摄像头,应用于全天候场景,所述如图3所述,所述方法至少包括以下步骤:
步骤S310,通过轻量级的图像接口获取摄像模组采集的当前帧图像。
步骤S320,对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数。
步骤S330,按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。
上述步骤S310至步骤S330的过程分别与上述步骤S210和步骤S230的过程类似,为避免描述重复,在此不作赘述。
步骤S340,根据当前的环境亮度值,实时调整所述摄像模组的目标曝光参数。
这里,所述当前的环境亮度值可以通过光源传感器(Ambient Light Sensor,ALS)来获取。
示例的,可以在图像传感器所在的成像设备中配置光源传感器,从而在启动图像传感器时也启动光源传感器来获取当前环境亮度值,以及在图像传感器采集图像的过程中,光源传感器实时或周期性的获取当前环境亮度值。
这里,基于所述目标曝光参数和当前环境亮度值实现曝光收敛。也就是同时根据光线环境以及自身的需求来控制曝光效果。
步骤S350,对按照目标曝光参数采集的帧图像进行图像识别,得到目标图像数据。
这里,所述按照目标曝光参数采集的帧图像能够达到预期的质量要求,可以直接送入识别算法中以获得目标图像数据。
在本申请实施例中,直接获取图像传感器输出的原始图像进行AE计算和控制曝光,不再依赖ISP的AE统计信息和相关硬件模块,减少功耗和摄像头成本。本申请实施例按照目标曝光参数采集的帧图像能够达到预期的质量要求,可以获得更好的识别结果;同时还根据环境亮度值,实时调整所述摄像模组的目标曝光参数,进一步优化曝光效果。
图4为本申请实施例提供的又一种自动曝光的控制方法的流程示意图,如图4所述,上述步骤S220或步骤S320可以通过以下步骤实现:
步骤S410,对所述当前帧图像的亮度信息进行统计,得到参照亮度值。
这里,所述参照亮度值为亮度平均值,一种可能的实现方式是:按照特定的规则,将所述当前帧图像分割为至少一个区域图像;分别计算所述至少一个区域图像中每个区域图像的亮度统计信息;根据所述每个区域图像的亮度统计信息,确定所述参照亮度值。例如,将图像分成M×N个小块,分别统计每个小块的各颜色通道的平均值,然后将分块亮度加权平均值作为参照亮度值。
可以理解的是,所述特定的规则可以为根据当前帧图像中目标主体所在的位置分割当前帧图像,或者,根据当前帧图像中的弱爆程度将当前帧帧图像分割为弱光区域和强光区域等,或者,根据设定的亮度阈值将当前帧帧图像分割为若干个子区域图像等。
值得注意的是,图像分割的目标是根据图像中的物体将图像的像素分类,对主体区域进行重点曝光。实际处理过程中,图像分割的方式可以为相关技术中任何可能的分割方式。本申请实施例对此不作限定。
步骤S420,根据所述参照亮度值,确定所述摄像模组的曝光值。
这里,所述曝光值(Exposure Value,EV)反映的是拍摄参数的组合,代表能够给出同样曝光的所有相机光圈和快门组合,由光圈值、曝光时间、曝光增益共同决定。曝光值是一个以2为底的对数刻度系统。
步骤S430,根据所述曝光值,确定所述摄像模组的目标曝光参数。
这里,当计算出一个曝光值,对应的目标曝光参数即光圈值、曝光时间、曝光增益有很多种组合方式。一般情况下有曝光曲线,每个曝光值对应一组曝光参数。
需要说明的是,尽管所有曝光值相同的不同组曝光参数都会给出相同的曝光量,但是并不一定能拍出完全相同的照片。其中曝光时间(即快门速度)决定了运动模糊的程度,光圈值则决定了景深。
在本申请实施例中,通过对当前帧图像进行亮度统计,根据当前图像亮度确定摄像模组的曝光值,进而确定目标曝光参数。从而通过软件方法自主实现了自动曝光的过程。
下面结合一个具体实施例对上述自动曝光的控制方法进行说明,然而值得注意的是,该具体实施例仅是为了更好地说明本申请,并不构成对本申请的不当限定。
本申请实施例提供一种基于AON sensor和轻量级图像前端接口(IFE-lite)的架构方案,对AON sensor进行软件AE计算和控制曝光。如图5A所示,AON sensor 51通过IFE-lite 52与处理器53交互。其中,
AON sensor 51用于采集图像,输出RAW数据;IFE-lite52,用于将RAW数据输入到处理器53中。
处理器53可以为后台服务,集成了软件AE算法模块531、AON识别算法模块532和其他应用程序模块533。处理器53将接收到的RAW数据分两路,一路送入软件AE算法模块531,进行AE计算,得到AE收敛时的曝光参数,将该曝光参数再次输入到AON sensor 51中,以控制AON sensor 51的曝光;另一路送入AON识别算法模块532,对AON sensor 51输出的下一帧RAW数据进行处理,计算需要的结果,最后将计算结果送入其他应用程序模块533进行处理。
图5B为本申请实施例提供的自动曝光的控制方法的逻辑流程图,如图5B所示,本申请实施例实施过程至少包括以下步骤:
步骤S501,AON sensor采集当前帧图像,得到原始RAW数据。
步骤S502,AON sensor通过图像前端接口将原始RAW数据送入后台服务。
这里,图像前端接口为轻量级的图像接口(IFE-lite),不经过后端处理,直接输出AON sensor 51的原始RAW数据到后台服务。
这里,后台服务集成了软件AE算法模块和AON识别算法模块。
步骤S503,后台服务对当前帧图像进行AE计算,得到曝光参数。
这里,后台服务通过软件AE算法模块进行AE计算,得到达到AE收敛的曝光参数,如图像传感器的曝光增益和曝光时间。从而采用软件的方式来实现AE的计算,可以自主管控AE的调试和精度的调整,而不需要依赖相机ISP及相关硬件模块。
步骤S504,AON sensor利用曝光参数采集下一帧图像。
这里,按照步骤S504计算得到的曝光参数控制AON sensor的曝光。
步骤S505,后台程序对下一帧图像进行识别,得到识别结果。
这里,后台程序通过AON识别算法模块对下一帧图像进行识别计算,得到正常曝光的图像数据。
步骤S506,后台程序将识别结果送到其他应用程序。
对于上述步骤S502,硬件抽象层(Hardware Abstraction Layer,HAL)采用如图5C所示流程进行RAW数据的输出,不需要依赖于相机的ISP,只需要将AON Sensor 51输出的RAW数据,输入到IFE-lite 52,然后再直接送入后台服务中。
如图5C所示,RAW数据由图像传感器数组5001(Sensor[0])和图像传感器实例数组5002(SensorInstanceName[0]),经过图像传感器输出接口5003(SensorOutputport0[0])和图像前端输入接口5004(IFEInputPortSensor[2]),到达图像前端数组5005(IFE[65536])和图像前端实例数组5006(IFEInstance-Name[0]);然后,又经过图像前端输出接口5007(IFEOutputportRDI0[0])和目标缓存原始数据数组5008(TARGET_BUFFER_RAW[0]),最后,将RAW数据保存在接收器缓存数组5009(SinkBuffer[2])和接收器实例数组5010(SinkInstanceName0[0])中。
本申请实施例提供的自动曝光的控制方法,由于AON Sensor采用IFE-lite的架构方案,并且在后台服务中集成软件AE算法,故ISP不需要提供AE统计信息及相关硬件模块,就能达到正常曝光的图像数据。同时采用软件的方式实现AE计算,有利于自主管控AE的调试和精度的调整。
基于前述的实施例,本申请实施例再提供一种自动曝光的控制装置,所述控制装置包括所包括的各模块、以及各模块所包括的各单元,可以通过终端中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CentralProcessing Unit,CPU)、微处理器(Micro Processing Unit,MPU)、数字信号处理器(Digital Signal Processor,DSP)或现场可编程门阵列(Field Programmable GateArray,FPGA)等。
图6A为本申请实施例提供的一种自动曝光的控制装置的组成结构示意图,如图6A所示,所述控制装置600包括获取模块610、处理模块620和控制模块630,其中:
所述获取模块610,用于通过轻量级的图像接口获取摄像模组采集的当前帧图像;
所述处理模块620,用于对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;
所述控制模块630,用于按照所述目标曝光参数,控制所述摄像模组采集下一帧图像。
在一些实施例中,所述摄像模组包括常开摄像头,或所述摄像模组的曝光参数至少包括以下之一:光圈值、图像传感器的曝光时间和图像传感器的曝光增益。
在一些实施例中,所述处理模块620包括统计子模块、第一确定子模块和第二确定子模块,其中:所述统计子模块,用于对所述当前帧图像的亮度信息进行统计,得到参照亮度值;所述第一确定子模块,用于根据所述参照亮度值,确定所述摄像模组的曝光值;所述第二确定子模块,用于根据所述曝光值,确定所述摄像模组的目标曝光参数。
在一些实施例中,如图6B所示,所述控制装置600还包括调整模块640,用于根据当前的环境亮度值,实时调整所述摄像模组的目标曝光参数。
在一些实施例中,所述统计子模块包括分割单元、计算单元和确定单元,其中:所述分割单元,用于按照特定的规则,将所述当前帧图像分割为至少一个区域图像;所述计算单元,用于分别计算所述至少一个区域图像中每个区域图像的亮度统计信息;所述确定单元,用于根据所述每个区域图像的亮度统计信息,确定所述参照亮度值。
在一些实施例中,所述轻量级的图像接口输出的图像为原始图像数据格式。
在一些实施例中,如图6B所示,所述控制装置600还包括识别模块650,用于对按照目标曝光参数采集的帧图像进行图像识别,得到目标图像数据。
这里需要指出的是:以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述自动曝光的控制方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得终端(可以是具有摄像头的智能手机、平板电脑等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read OnlyMemory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中任一所述自动曝光的控制方法中的步骤。
对应地,本申请实施例中,还提供了一种芯片,所述芯片包括可编程逻辑电路和/或程序指令,当所述芯片运行时,用于实现上述实施例中任一所述自动曝光的控制方法中的步骤。
对应地,本申请实施例中,还提供了一种计算机程序产品,当该计算机程序产品被终端的处理器执行时,其用于实现上述实施例中任一所述自动曝光的控制方法中的步骤。
基于同一技术构思,本申请实施例提供一种终端,用于实施上述方法实施例记载的自动曝光的控制方法。图7为本申请实施例提供的一种终端的硬件实体示意图,如图7所示,所述终端700包括存储器710和处理器720,所述存储器710存储有可在处理器720上运行的计算机程序,所述处理器720执行所述程序时实现本申请实施例任一所述自动曝光的控制方法中的步骤。
存储器710配置为存储由处理器720可执行的指令和应用,还可以缓存待处理器720以及终端中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器720执行程序时实现上述任一项的会话检测方法的步骤。处理器720通常控制终端700的总体操作。
上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种自动曝光的控制方法,其特征在于,所述方法包括:
终端的处理器通过轻量级的图像接口获取所述终端上的摄像模组采集的当前帧图像;所述轻量级的图像接口输出的图像为原始图像数据格式;
对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;
按照所述目标曝光参数,控制所述摄像模组采集下一帧图像;
终端的处理器通过所述轻量级的图像接口获取所述下一帧图像;
对所述下一帧图像进行图像识别,得到目标图像数据;
将所述目标图像数据传输到所述终端上的应用程序进行处理。
2.如权利要求1所述的方法,其特征在于,所述摄像模组包括常开摄像头,所述摄像模组的曝光参数至少包括以下之一:光圈值、图像传感器的曝光时间和图像传感器的曝光增益。
3.如权利要求1或2所述的方法,其特征在于,所述对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数,包括:
对所述当前帧图像的亮度信息进行统计,得到参照亮度值;
根据所述参照亮度值,确定所述摄像模组的曝光值;
根据所述曝光值,确定所述摄像模组的目标曝光参数。
4.如权利要求3所述的方法,其特征在于,所述对所述当前帧图像的亮度信息进行统计,得到参照亮度值,包括:
按照特定的规则,将所述当前帧图像分割为至少一个区域图像;
分别计算所述至少一个区域图像中每个区域图像的亮度统计信息;
根据所述每个区域图像的亮度统计信息,确定所述参照亮度值。
5.如权利要求3所述的方法,其特征在于,所述方法还包括:
根据当前的环境亮度值,实时调整所述摄像模组的目标曝光参数。
6.一种自动曝光的控制装置,其特征在于,所述控制装置包括获取模块、处理模块和控制模块,其中:
所述获取模块,用于终端的处理器通过轻量级的图像接口获取所述终端上的摄像模组采集的当前帧图像;所述轻量级的图像接口输出的图像为原始图像数据格式;
所述处理模块,用于对所述当前帧图像进行处理,得到所述摄像模组的目标曝光参数;
所述控制模块,用于按照所述目标曝光参数,控制所述摄像模组采集下一帧图像;终端的处理器通过所述轻量级的图像接口获取所述下一帧图像;对所述下一帧图像进行图像识别,得到目标图像数据;将所述目标图像数据传输到所述终端上的应用程序进行处理。
7.一种终端,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至5任一项所述方法中的步骤。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010409151.8A CN111586312B (zh) | 2020-05-14 | 2020-05-14 | 自动曝光的控制方法及装置、终端、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010409151.8A CN111586312B (zh) | 2020-05-14 | 2020-05-14 | 自动曝光的控制方法及装置、终端、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111586312A CN111586312A (zh) | 2020-08-25 |
CN111586312B true CN111586312B (zh) | 2022-03-04 |
Family
ID=72126610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010409151.8A Active CN111586312B (zh) | 2020-05-14 | 2020-05-14 | 自动曝光的控制方法及装置、终端、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111586312B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022120827A1 (zh) * | 2020-12-11 | 2022-06-16 | 深圳市大疆创新科技有限公司 | 曝光调节方法、拍摄装置、可移动平台及存储介质 |
CN112616028A (zh) * | 2020-12-15 | 2021-04-06 | 深兰人工智能(深圳)有限公司 | 车载相机参数调整方法、装置、电子设备及存储介质 |
CN115118886A (zh) * | 2021-03-22 | 2022-09-27 | Oppo广东移动通信有限公司 | 图像处理芯片、应用处理芯片、电子设备及图像处理方法 |
CN115460343B (zh) * | 2022-07-31 | 2023-06-13 | 荣耀终端有限公司 | 图像处理方法、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101247480A (zh) * | 2008-03-26 | 2008-08-20 | 北京中星微电子有限公司 | 一种基于图像中目标区域的自动曝光方法 |
CN102495511A (zh) * | 2011-12-09 | 2012-06-13 | 北京英泰智软件技术发展有限公司 | 一种摄像机自动曝光调节方法 |
CN108769522A (zh) * | 2018-06-06 | 2018-11-06 | 中科创达软件科技(深圳)有限公司 | 图像处理终端及图像处理方法 |
CN108833797A (zh) * | 2018-06-06 | 2018-11-16 | 深圳京龙睿信科技有限公司 | 一种提高车载双目视觉系统性能的装置及其使用方法 |
CN109361866A (zh) * | 2018-11-21 | 2019-02-19 | 豪威科技(上海)有限公司 | 一种自动曝光控制方法及系统 |
CN110505412A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种感兴趣区域亮度值的计算方法及装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013128240A (ja) * | 2011-12-19 | 2013-06-27 | Sanyo Electric Co Ltd | 電子カメラ |
WO2019037088A1 (zh) * | 2017-08-25 | 2019-02-28 | 深圳市大疆创新科技有限公司 | 一种曝光的控制方法、装置以及无人机 |
CN108769542B (zh) * | 2018-05-30 | 2021-06-01 | 北京图森智途科技有限公司 | 一种曝光参数确定方法、装置和可读介质 |
CN109165487B (zh) * | 2018-06-28 | 2020-12-29 | 努比亚技术有限公司 | 一种人脸解锁的方法、移动终端及计算机可读存储介质 |
CN109089053B (zh) * | 2018-10-23 | 2021-03-05 | Oppo广东移动通信有限公司 | 图像传输方法、装置、电子设备和存储介质 |
CN109413336A (zh) * | 2018-12-27 | 2019-03-01 | 北京旷视科技有限公司 | 拍摄方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-05-14 CN CN202010409151.8A patent/CN111586312B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101247480A (zh) * | 2008-03-26 | 2008-08-20 | 北京中星微电子有限公司 | 一种基于图像中目标区域的自动曝光方法 |
CN102495511A (zh) * | 2011-12-09 | 2012-06-13 | 北京英泰智软件技术发展有限公司 | 一种摄像机自动曝光调节方法 |
CN110505412A (zh) * | 2018-05-18 | 2019-11-26 | 杭州海康威视数字技术股份有限公司 | 一种感兴趣区域亮度值的计算方法及装置 |
CN108769522A (zh) * | 2018-06-06 | 2018-11-06 | 中科创达软件科技(深圳)有限公司 | 图像处理终端及图像处理方法 |
CN108833797A (zh) * | 2018-06-06 | 2018-11-16 | 深圳京龙睿信科技有限公司 | 一种提高车载双目视觉系统性能的装置及其使用方法 |
CN109361866A (zh) * | 2018-11-21 | 2019-02-19 | 豪威科技(上海)有限公司 | 一种自动曝光控制方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111586312A (zh) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111586312B (zh) | 自动曝光的控制方法及装置、终端、存储介质 | |
AU2019326496B2 (en) | Method for capturing images at night, apparatus, electronic device, and storage medium | |
CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
JP5744437B2 (ja) | 追尾装置、追尾方法及びプログラム | |
TWI432019B (zh) | An image processing apparatus, an image pickup apparatus, an image processing method, and an image processing program | |
KR101537182B1 (ko) | 높은 다이나믹 레인지 이미지들을 이용한 화이트 밸런스 최적화 | |
RU2542928C2 (ru) | Система и способ для обработки данных изображения с использованием процессора сигнала изображения, имеющего логику окончательной обработки | |
CN104349066B (zh) | 一种生成高动态范围图像的方法、装置 | |
CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111684788A (zh) | 一种图像处理的方法和装置 | |
JP5512550B2 (ja) | デジタルカメラデバイスのホワイトバランス較正 | |
CN110166707B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
US20110149111A1 (en) | Creating an image using still and preview | |
CN110264420B (zh) | 基于多帧图像的图像处理方法和装置 | |
CN110166706B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN107948520A (zh) | 图像处理方法和装置 | |
CN102740082A (zh) | 图像处理装置及控制方法 | |
US11258956B2 (en) | Image capturing apparatus, image capturing method, and program | |
CN105611185A (zh) | 图像生成方法、装置及终端设备 | |
CN103888667B (zh) | 摄像设备及其控制方法 | |
WO2016011872A1 (zh) | 图像拍摄方法、装置和计算机存储介质 | |
CN110430370B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110290325B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110740266B (zh) | 图像选帧方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |