CN110798626B - 一种自动曝光调节方法、系统及设备 - Google Patents

一种自动曝光调节方法、系统及设备 Download PDF

Info

Publication number
CN110798626B
CN110798626B CN201911211503.2A CN201911211503A CN110798626B CN 110798626 B CN110798626 B CN 110798626B CN 201911211503 A CN201911211503 A CN 201911211503A CN 110798626 B CN110798626 B CN 110798626B
Authority
CN
China
Prior art keywords
exposure
exposure adjustment
adjustment
smooth
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911211503.2A
Other languages
English (en)
Other versions
CN110798626A (zh
Inventor
陈玉麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Unisinsight Technology Co Ltd
Original Assignee
Chongqing Unisinsight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Unisinsight Technology Co Ltd filed Critical Chongqing Unisinsight Technology Co Ltd
Priority to CN201911211503.2A priority Critical patent/CN110798626B/zh
Publication of CN110798626A publication Critical patent/CN110798626A/zh
Application granted granted Critical
Publication of CN110798626B publication Critical patent/CN110798626B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种自动曝光调节方法、系统及设备,包括有获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量。本发明能够保证曝光快速、平滑;不仅对突变场景的亮度变化响应快,而且也不会在画面中出现欠曝、过曝以及曝光调节过冲等现象。

Description

一种自动曝光调节方法、系统及设备
技术领域
本发明涉及图像处理技术领域,特别是涉及一种自动曝光调节方法、系统及设备。
背景技术
目前,随着人工智能在视频监控领域的兴起,越来越多的智能相机被广泛应用于机场、道路、地铁等监控领域。在复杂多变的监控场景下,传统的自动曝光算法对突变场景的亮度变化响应慢,很可能会出现一段时间内画面出现欠曝或过曝状态,甚至出现曝光调节过冲现象。而亮度突变大部分是由人、车等运动物体造成,若曝光调节不及时或调节过冲,会大大降低相机对人、车及运动物体的智能识别率,甚至无法识别。而目前现有技术是基于当前画面亮度及当前画面亮度对应的历史曝光参数,获得上一次输出的曝光参数设置生效后的预估亮度,然后根据设定的目标亮度值与预估亮度值的比值确定新的曝光参数。虽然现有技术可以快速将曝光调节至稳定状态,但由于不同传感器的增益线性度不一样,仅依据历史曝光参数来预估亮度可能不准确,会导致预估后需要调节的曝光参数不准确。
发明内容
鉴于以上所述现有技术的缺点,本发明的目的在于提供一种自动曝光调节方法、系统及设备,用于解决现有技术中存在的技术问题。
为实现上述目的及其他相关目的,本发明提供一种自动曝光调节方法,包括以下步骤:
获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;
获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量;
若进行的曝光调节为第一次曝光调节,则进行平滑曝光调节;进行平滑曝光调节时,还包括计算平滑曝光调节比例,以及根据所述平滑曝光调节比例计算曝光调节策略阈值;
计算平滑曝光调节比例Ratiox,包括有:
Figure GDA0002509216860000011
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值;
根据所述平滑曝光调节比例计算曝光调节策略阈值,包括有:
Figure GDA0002509216860000021
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
可选地,还包括根据所述当前帧图像的亮度数据计算当前帧图像的画面平均亮度值和曝光目标值;
获取画面平均亮度值与所述曝光目标值的差值的绝对值,将所述差值的绝对值作为亮度差;若所述亮度差小于预设阈值,则曝光稳定;若亮度差大于等于预设阈值,曝光不稳定,进行曝光调节。
可选地,若曝光不稳定,则进行曝光调节,包括有:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断所述亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
可选地,若进行缓冲曝光调节,还包括判断通过缓冲曝光调节能否直接完成曝光调节,并根据判断结果计算缓冲曝光调节比例。
可选地,获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例或缓冲曝光调节比例、以及预设值调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
可选地,获取当前帧图像的亮度数据,根据所述亮度数据计算当前帧图像的画面平均亮度值,具体有:
将当前帧图像的图像画面分解为M×N块图像画面;
根据分解后的图像画面计算当前帧的画面平均亮度值,有:
Figure GDA0002509216860000022
其中,Luma为当前帧的画面平均亮度值;weighti为第i块图像对应位置的权重值;lumai为第i块图像画面对应的块平均亮度值;M、N、i为正整数。
可选地,还包括获取相邻两次平滑曝光调节的间隔时间,所述相邻两次平滑曝光调节的间隔时间小于曝光参数生效的延迟时间;
和/或,获取相邻两次缓冲曝光调节的间隔时间,所述相邻两次缓冲曝光调节的间隔时间小于曝光参数生效的延迟时间。
可选地,若进行缓冲曝光调节,则包括有:
根据相邻两次缓冲曝光调节的间隔时间,预先标定不同亮度差对应的预测调节比例Ratioperdict;根据当前亮度差得到相对应的预测调节比例Ratioperdict
判断通过缓冲曝光调节能否直接完成曝光调节;若Luma>(Target+a×Ratioperdict),则通过缓冲曝光调节能直接完成曝光调节;若Luma≤(Target+a×Ratioperdict),则通过缓冲曝光调节不能直接完成曝光调节;
根据判断结果计算缓冲曝光调节比例,有:
Figure GDA0002509216860000031
式中,Ratioy为缓冲曝光调节比例;a为缓冲曝光调节权重系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。
本发明还提供一种自动曝光调节系统,包括有:
图像获取模块,用于获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;
曝光稳定模块,用于获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;
曝光调节模块,用于根据曝光稳定模块的输出结果进行曝光调节;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量;
若进行的曝光调节为第一次曝光调节,则进行平滑曝光调节;进行平滑曝光调节时,还包括计算平滑曝光调节比例,以及根据所述平滑曝光调节比例计算曝光调节策略阈值;
计算平滑曝光调节比例Ratiox,包括有:
Figure GDA0002509216860000032
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值;
根据所述平滑曝光调节比例计算曝光调节策略阈值,包括有:
Figure GDA0002509216860000041
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
可选地,所述曝光稳定模块具体用于获取当前帧图像的亮度数据,根据当前帧图像的亮度数据计算当前帧图像的画面平均亮度值和曝光目标值,并计算画面平均亮度值与所述曝光目标值的差值,将所述差值的绝对值作为亮度差;根据亮度差与预设阈值的大小判断曝光是否稳定。
可选地,若所述曝光稳定模块的输出结果为亮度差大于等于预设阈值,则曝光调节模块进行曝光调节;所述曝光调节模块具体用于:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
可选地,所述曝光调节模块还具体用于获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例或缓冲曝光调节比例、以及预设值调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
本发明还提供一种自动曝光调节设备,包括:
一个或多个处理器;和
存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行所述指令时,使得所述设备执行上述中任意一项所述的方法。
如上所述,本发明提供一种自动曝光调节方法、系统及设备,具有以下有益效果:通过获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;再获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量。本发明能够保证曝光快速、平滑;不仅对突变场景的亮度变化响应快,而且也不会在画面中出现欠曝、过曝以及曝光调节过冲等现象。
附图说明
图1为一实施例提供的自动曝光调节方法流程示意图。
图2为另一实施例提供的自动曝光调节方法流程示意图。
图3为现有技术的曝光调节方法效果示意图。
图4为与现有技术对比的曝光调节方法效果示意图。
图5为一实施例提供的自动曝光调节系统连接示意图。
图6为一实施例提供的终端设备的硬件结构示意图。
图7为另一实施例提供的终端设备的硬件结构示意图。
元件标号说明
M10 图像获取模块
M20 曝光稳定模块
M30 曝光调节模块
1100 输入设备
1101 第一处理器
1102 输出设备
1103 第一存储器
1104 通信总线
1200 处理组件
1201 第二处理器
1202 第二存储器
1203 通信组件
1204 电源组件
1205 多媒体组件
1206 语音组件
1207 输入/输出接口
1208 传感器组件
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1至图7。需要说明的是,本实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。本说明书所附图式所绘示的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,故不具技术上的实质意义,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
请参阅图1,本实施例提供一种自动曝光调节方法,其特征在于,包括以下步骤:
获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像。其中,连续帧图像为通过相机在机场、道路、地铁等监控领域实时采集的包括有人、车及运动物体的视频。
获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;
若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节;获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量。
在一示例性实施例中,根据当前帧图像的亮度数据判断曝光是否稳定,具体包括有:
获取当前帧图像的亮度数据,根据所述亮度数据计算当前帧图像的整体画面平均亮度值和曝光目标值;
再计算画面平均亮度值与所述曝光目标值的差值的绝对值,将所述差值的绝对值作为亮度差;比较亮度差与预设阈值之间的大小,根据比较结果判断曝光是否稳定。若所述亮度差小于预设阈值,则曝光稳定;若亮度差大于等于预设阈值,曝光不稳定,进行曝光调节。
其中,根据所述亮度数据计算当前帧图像的整体画面平均亮度值,具体有:
通过相机实时采集图像,并实时获取当前每一帧的亮度数据,该亮度数据是将当前帧图像的整体图像画面分解为M×N块图像画面。根据中央权重表和分块统计数据计算整体图像画面的平均亮度值;其中,在当前帧图像的图像画面分解为M×N块后,以分解后的中心点为基准,环绕中心点将占当前帧图像整体图像画面百分之二十三的区域设置为中心区域,将中心区域的数值设定为2,其余区域的数值设定为1的表设置为中央权重表。分块统计数据包括M×N块中每一块的权重值和每一块的块平均亮度值。
当前帧图像整体画面平均亮度值的具体计算公式如下:
Figure GDA0002509216860000071
其中,Luma为当前帧的画面平均亮度值;weighti为第i块图像对应位置的权重值;lumai为第i块图像画面对应的块平均亮度值;M、N、i为正整数。
其中,曝光目标值的计算包括有:首先标定不同ISO值(或感光度值)下对应的图像最佳曝光目标值;然后根据当前帧的ISO值,线性插值计算得到当前帧的曝光目标值Target。其中,ISO值与最佳曝光目标值的标定可以自行定义;例如,本申请实施例中的ISO值分别设置为100,200,400,800,…;对应的曝光目标值为58,56,54,52,…;以此类推。其中,ISO值是根据总增益计算得到,总增益等于相机传感器增益(或sensor增益)和图像信号处理增益(或isp增益)之和。
Figure GDA0002509216860000072
式中,Gain为总增益。
对曝光稳定判断包括有:依据上述得到的画面平均亮度值Luma和曝光目标值Target,计算二者差值的绝对值,将所述差值的绝对值作为亮度差,即亮度差Lumadiff=|Luma-Target|。若亮度差Lumadiff小于预设阈值T时,则表示曝光已经调节稳定。反之,若亮度差Lumadiff大于等于预设阈值T时,则表示曝光不稳定,需要继续调节曝光,直到满足曝光稳定。
曝光调节策略的选择:目前安防领域摄像机大部分硬件结构采用“处理器+传感器”的形式进行图像采集及曝光控制。处理器上进行图像采集,通过实时分析采集图像的亮度统计数据,计算需要调整的曝光参数,并通知传感器更新及生效曝光参数,整体流程需要延迟2~4帧或更长时间才能使上一次设置的曝光参数完全生效,因此上一帧计算的曝光参数无法在下一帧统计数据获取之前及时生效,这就导致获取的每一帧亮度统计数据均存在延迟现象,这种延迟增加了对曝光精确控制的难度。本发明为保证曝光调节既快速又平滑,将曝光调节过程分为两个阶段:平滑曝光策略阶段和缓冲曝光策略阶段。平滑曝光策略阶段在短时间内进行多次、大幅度地逐次递进的平滑曝光调节,同时为保证此阶段曝光调节平滑均匀、不抖动,相邻两次平滑曝光调节之间的间隔时间应小于或等于曝光参数生效的延迟时间;缓冲曝光策略阶段则进行多次、小幅度的缓冲曝光调节,该阶段既需要计算下一次曝光调节比例大小,同时需要保证平滑曝光策略阶段的最后一次或几次的曝光参数在缓冲曝光策略阶段完全生效后不会出现过冲现象。
平滑曝光策略和缓冲曝光策略的选择根据亮度差Lumadiff和曝光调节策略阈值Tdiff的大小比较结果而作出的自适应选择。若Lumadiff>Tdiff,则进行平滑曝光,反之则进行缓冲曝光。本发明中的曝光调节策略阈值Tdiff是在平滑曝光调节过程中,根据画面平均亮度值、曝光目标值及平滑曝光策略中计算的平滑曝光调节比例计算得到。
如图2所示,在一些示例性实施例中,若曝光不稳定,则进行曝光调节,包括有:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断所述画面平均亮度值与所述曝光目标值的亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
根据上述示例性实施例可知,若进行平滑曝光调节;还包括计算平滑曝光调节比例,根据所述平滑曝光调节比例计算曝光调节策略阈值;
若进行缓冲曝光调节,还包括判断通过缓冲曝光调节能否直接完成曝光调节,并根据判断结果计算缓冲曝光调节比例。
在一些示例性实施例中,获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例或缓冲曝光调节比例、以及预设值来调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
具体地,在曝光调节过程中,根据平滑曝光策略或缓冲曝光策略计算得到各自的曝光调节比例,将其直接作为当前帧图像曝光量调节的权重,从而用于调节下一帧图像的曝光量。即,若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy大于预设值,则增大下一帧图像的曝光量;若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy小于预设值,则减小下一帧图像的曝光量;若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy等于预设值,则不调节下一帧图像的曝光量。例如,本申请实施例中的预设值设置为1,则有:若Ratiox>1或Ratioy>1时;曝光进行正向调节,即增大下一帧图像的曝光量来提升画面亮度,曝光调节比例的值越大,曝光量提升幅度越大;例如曝光调节比例为1.5的曝光量提升幅度大于曝光调节比例为1.1的曝光量提升幅度。若Ratiox<1或Ratioy<1时;曝光进行反向调节,即减小下一帧图像的曝光量来降低画面亮度,曝光调节比例的值越小,曝光量减小的幅度越大;例如曝光调节比例为0.1的曝光量减小幅度大于曝光调节比例为0.5的曝光量减小幅度。若Ratiox=1或Ratioy=1时;曝光处于稳定状态,不需要调节下一帧图像的曝光量。其中,预设值可以根据实际情况进行灵活设定,本申请不作限制。
本申请中的曝光量是根据快门时间、传感器增益倍数与图像信号处理增益倍数三者相乘计算得到的值。在本申请实施例中,若优先保证相机拍摄的图像效果达到最优,可以优先分配快门,将快门调到最大;再优先分配传感器增益倍数,将传感器增益倍数调到最大;最后再分配图像信号处理增益倍数。若优先保证相机拍摄运动物体时无拖影,可以优先分配快门,将快门调到一数值(该数值比较小,不会引起运动物体拖影),再优先分配传感器增益倍数,将传感器增益倍数调到最大;再继续分配快门,将快门调到最大;最后分配图像信号处理增益倍数。其中,曝光量的分配方法包含但不限于上述方法,曝光量如何分配生效可根据图像效果和/或用户需求任意分配。
当当前帧图像的曝光量分配完成后,再获取连续帧图像中的下一帧图像,并将下一帧图像作为当前帧图像;判断当前帧图像的曝光是否稳定,若满足曝光稳定条件则曝光调节结束,否则循环进行曝光调节,直至曝光稳定。整个曝光调节过程为反馈调节过程,只要曝光不稳定则循环进行曝光调节,直到曝光稳定才结束曝光调节。
根据上述示例性实施例,当曝光不稳定,需要进行曝光调节时,具体流程包括:
若当前曝光不稳定时,默认第一次曝光调节直接进入平滑曝光策略阶段,即进行平滑曝光调节,以提升曝光调节速度。平滑曝光策略阶段下,要做到曝光调节速度既快又平滑,需满足以下要求:第一,亮度差Lumadiff越大,平滑调节比例Ratiox越大;亮度差Lumadiff越小,平滑调节比例Ratiox越小。同时每次计算的平滑调节比例Ratiox必须满足逐次递进的大小关系,否则平滑曝光调节过程中可能会出现曝光闪烁现象。当当前帧图像的整体画面平均亮度值小于曝光目标值,即Luma<Target,平滑调节比例Ratiox满足逐次递减的关系;反之,平滑调节比例Ratiox满足逐次递增的关系。第二,曝光从不稳定到曝光稳定的整个过程中,相邻两次平滑曝光调节的间隔时间FastExptime应比较短,且相邻两次平滑曝光调节的间隔时间小于曝光参数生效的延迟时间Delaytime。如曝光参数生效的延迟时间Delaytime为4帧,则应满足FastExptime<Delaytime,否则当亮度差Lumadiff较大时,曝光调节过程中可能会出现多次曝光调节抖动现象。
如上所述,平滑调节比例Ratiox的计算满足一定的大小关系,而在众多数学函数中指数函数具有单调性且收敛平滑,因此本文采用指数函数形式来计算平滑调节比例Ratiox,具体计算公式如下:
Figure GDA0002509216860000101
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。
平滑曝光调节比例Ratiox计算得到后,然后依据平滑曝光调节比例Ratiox来计算曝光调节策略阈值Tdiff,具体计算公式如下:
Figure GDA0002509216860000102
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
若当前曝光不稳定时,且不为第一次曝光调节,则判断亮度差Lumadiff与曝光调节策略阈值Tdiff的大小。若亮度差Lumadiff大于所述曝光调节策略阈值Tdiff,即Lumadiff>Tdiff,则进行平滑曝光调节;若亮度差Lumadiff小于等于所述曝光调节策略阈值Tdiff,即Lumadiff≤Tdiff,则进行缓冲曝光调节。
在缓冲曝光策略阶段刚开始进行缓冲调节时,可能存在平滑曝光策略阶段中最后一次或几次的平滑曝光调节还没有完全生效。若平滑曝光策略阶段最后一次或几次计算的平滑曝光调节比例Ratiox较大(例如:接近2倍),易导致后面进行平滑曝光调节时出现过冲现象,因此缓冲曝光策略阶段需要进行小幅度的缓冲曝光调节,保证平滑曝光调节平滑稳定且不会过冲。具体过程如下:
计算缓冲曝光策略阶段下相邻两次缓冲曝光调节的间隔时间PredictExptime,且相邻两次缓冲曝光调节的间隔时间小于曝光参数生效的延迟时间Delaytime,即PredictExptime<Delaytime。本申请实施例中,PredictExptime值的选取只要满足上述条件内的任一值均可,本申请实施例中选取相邻两次缓冲曝光调节的间隔时间为:
Figure GDA0002509216860000103
其中,floor表示向下取整数。
依据上述缓冲曝光调节的间隔时间,标定不同的亮度差下对应的缓冲曝光调节比例Ratioperdict,实时根据当前的亮度差Lumadiff查表或插值计算得到相应的缓冲曝光调节比例Ratioperdict。其中,缓冲曝光调节的不同间隔时间,对应的标定参数可能存在不同。
依据计算得到的缓冲曝光调节比例Ratioperdict判断缓冲曝光调节能否一次调节完成;若Luma>(Target+a×Ratioperdict),则表示当前缓冲曝光调节能够一次调节完成。
根据判断结果计算缓冲曝光调节比例Ratioy,因Luma>Target和Luma<Target两种情况的计算策略一致,本申请实施例以Luma>Target为例说明,具体计算公式如下:
Figure GDA0002509216860000111
式中,Ratioy为缓冲曝光调节比例;a为缓冲曝光调节权重系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。若计算过程中出现Luma=0的情况,则直接将其转化为1进行处理。
根据计算出的平滑曝光调节比例、缓冲曝光调节比例和由当前帧图像计算的曝光量,调节下一帧图像的曝光量。然后按照上述描述的曝光量分配方法计算不同曝光参数的大小,通过处理器和传感器更新及生效曝光参数。曝光参数包括以下至少之一:快门、传感器增益、图像信号处理增益。总增益包括传感器增益和图像信号处理增益。再获取连续帧图像中的下一帧图像,并将下一帧图像作为当前帧图像;判断当前帧图像的曝光是否稳定,若满足曝光稳定条件则曝光调节结束,否则循环进行曝光调节,直至曝光稳定。整个曝光调节过程为反馈调节过程,只要曝光不稳定则循环进行曝光调节,直到曝光稳定才结束曝光调节。
例如,在一具体实施过程中,设置初始曝光目标值为20,曝光稳定时的曝光目标值为100,对比现有技术与本申请的曝光调节。如图3所示,图3是根据现有技术中的曝光调节方法得到的曝光效果示意图。可以发现本申请的曝光调节速度可在14帧左右将曝光调节至稳定状态,且整个曝光调节过程收敛速度均匀平滑呈线性变化,不会出现曝光调节过冲现象。如图4所示,图4是本发明的曝光调节方法得到的曝光效果示意图。可以发现采用现有技术中的常规曝光方法则需要60帧左右才能使曝光调节稳定,且曝光调节过程中不够平滑呈非线性变化。本发明提出了一种快速平滑的自动曝光调节方法,该方法将整个曝光调节过程分为两个阶段:平滑曝光策略阶段和缓冲曝光策略阶段。本方法先采用平滑曝光对曝光调节进行快速平滑加速,然后再使用缓冲曝光对其进行缓冲及预测曝光。平滑曝光策略阶段下,采用指数函数形式对曝光进行逐次单调递进收敛,保证平滑曝光调节的平滑性,而指数函数的权重又可对计算的平滑曝光调节比例进行适当加速。缓冲曝光策略阶段下,通过计算得到的预测调节比例判断当前曝光是否能够一次调节完成,从而进行小幅度缓冲曝光调节,保证平滑曝光调节不会出现过冲现象。同时整个曝光调节过程中,相邻两次曝光调节的间隔时间小于曝光参数生效的延迟时间,可进一步提升曝光收敛的平滑程度。本方法不仅对突变场景的亮度变化响应快,而且在曝光调节中不会出现欠曝状态、过曝状态、调节过冲现象;大大提升了对人、车技运动物体的智能识别率;且本发明对所有增益段与画面亮度的线性关系要求并不苛刻,即使某一增益段线性度较差也不会造成后面需要调节的曝光参数不准确。
如图5所示,本发明还提供一种自动曝光调节系统,包括有:
图像获取模块M10,用于获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;其中,连续帧图像为通过相机在机场、道路、地铁等监控领域实时采集的包括有人、车及运动物体的视频。
曝光稳定模块M20,用于获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;
曝光调节模块M30,用于根据曝光稳定模块M20的输出结果进行曝光调节;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量。
在一示例性实施例中,所述曝光稳定模块M20具体用于获取当前帧图像的亮度数据,根据所述亮度数据计算当前帧图像的整体画面平均亮度值和曝光目标值;再计算画面平均亮度值与所述曝光目标值的差值的绝对值,将所述差值的绝对值作为亮度差;比较亮度差与预设阈值之间的大小,根据比较结果判断曝光是否稳定。若所述亮度差小于预设阈值,则曝光稳定;若亮度差大于等于预设阈值,曝光不稳定,进行曝光调节。
当前帧图像整体画面平均亮度值的具体计算公式如下:
Figure GDA0002509216860000121
其中,Luma为当前帧的画面平均亮度值;weighti为第i块图像对应位置的权重值;luma为第i块图像画面对应的块平均亮度值;M、N、i为正整数。
其中,曝光目标值的计算包括有:首先标定不同ISO值(或感光度值)下对应的图像最佳曝光目标值;然后根据当前帧的ISO值,线性插值计算得到当前帧的曝光目标值Target。其中,ISO值与最佳曝光目标值的标定可以自行定义;例如,本申请实施例中的ISO值分别设置为100,200,400,800,…;对应的曝光目标值为58,56,54,52,…;以此类推。其中,ISO值是根据总增益计算得到,总增益等于相机传感器增益(或sensor增益)和图像信号处理增益(或isp增益)之和。
Figure GDA0002509216860000131
式中,Gain为总增益。
对曝光稳定判断包括有:依据上述得到的画面平均亮度值Luma和曝光目标值Target,计算二者差值的绝对值,将所述绝对值作为亮度差,即亮度差Lumadiff=|Luma-Target|。若亮度差Lumadiff小于预设阈值T时,则表示曝光已经调节稳定。反之,若亮度差Lumadiff大于等于预设阈值T时,则表示曝光不稳定,需要继续调节曝光,直到满足曝光稳定。
在一示例性实施例中,若所述曝光稳定模块M20的输出结果为亮度差大于等于预设阈值,则曝光调节模块M30进行曝光调节;所述曝光调节模块M30具体用于:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断所述画面平均亮度值与所述曝光目标值的亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
根据上述示例性实施例可知,若进行平滑曝光调节;还包括计算平滑曝光调节比例,根据所述平滑曝光调节比例计算曝光调节策略阈值;
若进行缓冲曝光调节,还包括判断通过缓冲曝光调节能否直接完成曝光调节,并根据判断结果计算缓冲曝光调节比例。
在一示例性实施例中,所述曝光调节模块M30还具体用于获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例和缓冲曝光调节比例、以及预设值来调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
具体地,在曝光调节过程中,根据平滑曝光策略或缓冲曝光策略计算得到各自的曝光调节比例,将其直接作为当前帧图像曝光量调节的权重,从而用于调节下一帧图像的曝光量。即,若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy大于预设值,则增大下一帧图像的曝光量;若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy小于预设值,则减小下一帧图像的曝光量;若平滑曝光调节比例Ratiox或缓冲曝光调节比例Ratioy等于预设值,则不调节下一帧图像的曝光量。例如,本申请实施例中的预设值设置为1,则有:若Ratiox>1或Ratioy>1时;曝光进行正向调节,即增大下一帧图像的曝光量来提升画面亮度,曝光调节比例的值越大,曝光量提升幅度越大;例如曝光调节比例为1.5的曝光量提升幅度大于曝光调节比例为1.1的曝光量提升幅度。若Ratiox<1或Ratioy<1时;曝光进行反向调节,即减小下一帧图像的曝光量来降低画面亮度,曝光调节比例的值越小,曝光量减小的幅度越大;例如曝光调节比例为0.1的曝光量减小幅度大于曝光调节比例为0.5的曝光量减小幅度。若Ratiox=1或Ratioy=1时;曝光处于稳定状态,不需要调节下一帧图像的曝光量。其中,预设值可以根据实际情况进行灵活设定,本申请不作限制。
本申请中的曝光量是根据快门时间、传感器增益倍数与图像信号处理增益倍数三者相乘计算得到的值。在本申请实施例中,若优先保证相机拍摄的图像效果达到最优,可以优先分配快门,将快门调到最大;再优先分配传感器增益倍数,将传感器增益倍数调到最大;最后再分配图像信号处理增益倍数。若优先保证相机拍摄运动物体时无拖影,可以优先分配快门,将快门调到一数值(该数值比较小,不会引起运动物体拖影),再优先分配传感器增益倍数,将传感器增益倍数调到最大;再继续分配快门,将快门调到最大;最后分配图像信号处理增益倍数。其中,曝光量的分配方法包含但不限于上述方法,曝光量如何分配生效可根据图像效果和/或用户需求任意分配。
当当前帧图像的曝光量分配完成后,再获取连续帧图像中的下一帧图像,并将下一帧图像作为当前帧图像;判断当前帧图像的曝光是否稳定,若满足曝光稳定条件则曝光调节结束,否则循环进行曝光调节,直至曝光稳定。整个曝光调节过程为反馈调节过程,只要曝光不稳定则循环进行曝光调节,直到曝光稳定才结束曝光调节。
根据上述示例性实施例,当曝光不稳定,需要进行曝光调节时,具体流程包括:
若当前曝光不稳定时,默认第一次曝光调节直接进入平滑曝光策略,即进行平滑曝光调节,以提升曝光调节速度。平滑曝光策略阶段下,要做到曝光调节速度既快又平滑,需满足以下要求:第一,亮度差Lumadiff越大,平滑调节比例Ratiox越大;亮度差Lumadiff越小,平滑调节比例Ratiox越小。同时每次计算的平滑调节比例Ratiox必须满足逐次递进的大小关系,否则平滑曝光调节过程中可能会出现曝光闪烁现象。当当前帧图像的整体画面平均亮度值小于曝光目标值,即Luma<Target,平滑调节比例Ratiox满足逐次递减的关系;反之,平滑调节比例Ratiox满足逐次递增的关系。第二,曝光从不稳定到曝光稳定的整个过程中,相邻两次平滑曝光调节的间隔时间FastExptime应比较短,且相邻两次平滑曝光调节的间隔时间小于曝光参数生效的延迟时间Delaytime。如曝光参数生效的延迟时间Delaytime为4帧,则应满足FastExptime<Delaytime,否则当亮度差Lumadiff较大时,曝光调节过程中可能会出现多次曝光调节抖动现象。
如上所述,平滑调节比例Ratiox的计算满足一定的大小关系,而在众多数学函数中指数函数具有单调性且收敛平滑,因此本文采用指数函数形式来计算平滑调节比例Ratiox,具体计算公式如下:
Figure GDA0002509216860000151
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。
平滑曝光调节比例Ratiox计算得到后,然后依据平滑曝光调节比例Ratiox来计算曝光调节策略阈值Tdiff,具体计算公式如下:
Figure GDA0002509216860000152
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
若当前曝光不稳定时,且不为第一次曝光调节,则判断亮度差Lumadiff与曝光调节策略阈值Tdiff的大小。若亮度差Lumadiff大于所述曝光调节策略阈值Tdiff,即Lumadiff>Tdiff,则进行平滑曝光调节;若亮度差Lumadiff小于等于所述曝光调节策略阈值Tdiff,即Lumadiff≤Tdiff,则进行缓冲曝光调节。
在缓冲曝光策略阶段刚开始进行缓冲调节时,可能存在平滑曝光策略阶段中最后一次或几次的平滑曝光调节还没有完全生效。若平滑曝光策略阶段最后一次或几次计算的平滑曝光调节比例Ratiox较大(例如:接近2倍),易导致后面进行平滑曝光调节时出现过冲现象,因此缓冲曝光策略阶段需要进行小幅度的缓冲曝光调节,保证平滑曝光调节平滑稳定且不会过冲。具体过程如下:
计算缓冲曝光策略阶段下相邻两次缓冲曝光调节的间隔时间PredictExptime,且相邻两次缓冲曝光调节的间隔时间小于曝光参数生效的延迟时间Delaytime,即PredictExptime<Delaytime。本申请实施例中,PredictExptime值的选取只要满足上述条件内的任一值均可,本申请实施例中选取相邻两次缓冲曝光调节的间隔时间为:
Figure GDA0002509216860000153
其中,floor表示向下取整数。
依据上述缓冲曝光调节的间隔时间,标定不同的亮度差下对应的缓冲曝光调节比例Ratioperdict,实时根据当前的亮度差Lumadiff查表或插值计算得到相应的缓冲曝光调节比例Ratioperdict。其中,缓冲曝光调节的不同间隔时间,对应的标定参数可能存在不同。
依据计算得到的缓冲曝光调节比例Ratioperdict判断缓冲曝光调节能否一次调节完成;若Luma>(Target+a×Ratioperdict),则表示当前缓冲曝光调节能够一次调节完成。
根据判断结果计算缓冲曝光调节比例Ratioy,因Luma>Target和Luma<Target两种情况的计算策略一致,本申请实施例以Luma>Target为例说明,具体计算公式如下:
Figure GDA0002509216860000161
式中,Ratiot为缓冲曝光调节比例;a为缓冲曝光调节权重系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。若计算过程中出现Luma=0的情况,则直接将其转化为1进行处理。
根据计算出的平滑曝光调节比例、缓冲曝光调节比例和由当前帧图像计算的曝光量,调节下一帧图像的曝光量。然后按照上述描述的曝光量分配方法计算不同曝光参数的大小,通过处理器和传感器更新及生效曝光参数。曝光参数包括以下至少之一:快门、传感器增益、图像信号处理增益。总增益包括传感器增益和图像信号处理增益。再获取连续帧图像中的下一帧图像,并将下一帧图像作为当前帧图像;判断当前帧图像的曝光是否稳定,若满足曝光稳定条件则曝光调节结束,否则循环进行曝光调节,直至曝光稳定。整个曝光调节过程为反馈调节过程,只要曝光不稳定则循环进行曝光调节,直到曝光稳定才结束曝光调节。
例如,在一具体实施过程中,设置初始曝光目标值为20,曝光稳定时的曝光目标值为100,对比现有技术与本申请的曝光调节。如图3所示,图3是根据现有技术中的曝光调节方法得到的曝光效果示意图。可以发现本申请的曝光调节速度可在14帧左右将曝光调节至稳定状态,且整个曝光调节过程收敛速度均匀平滑呈线性变化,不会出现曝光调节过冲现象。如图4所示,图4是本发明的曝光调节方法得到的曝光效果示意图。可以发现采用现有技术中的常规曝光方法则需要60帧左右才能使曝光调节稳定,且曝光调节过程中不够平滑呈非线性变化。本发明提出了一种快速平滑的自动曝光调节系统,该系统将整个曝光调节过程分为两个阶段:平滑曝光策略阶段和缓冲曝光策略阶段。本发明先采用平滑曝光对曝光调节进行快速平滑加速,然后再使用缓冲曝光对其进行缓冲及预测曝光。平滑曝光策略阶段下,采用指数函数形式对曝光进行逐次单调递进收敛,保证平滑曝光调节的平滑性,而指数函数的权重又可对计算的平滑曝光调节比例进行适当加速。缓冲曝光策略阶段下,通过计算得到的预测调节比例判断当前曝光是否能够一次调节完成,从而进行小幅度缓冲曝光调节,保证平滑曝光调节不会出现过冲现象。同时整个曝光调节过程中,相邻两次曝光调节的间隔时间小于曝光参数生效的延迟时间,可进一步提升曝光收敛的平滑程度。本系统不仅对突变场景的亮度变化响应快,而且在曝光调节中不会出现欠曝状态、过曝状态、调节过冲现象;大大提升了对人、车技运动物体的智能识别率;且本发明对所有增益段与画面亮度的线性关系要求并不苛刻,即使某一增益段线性度较差也不会造成后面需要调节的曝光参数不准确。
综上所述,本发明提出了一种快速平滑的自动曝光调节方法及系统,将整个曝光调节过程分为两个阶段:平滑曝光策略阶段和缓冲曝光策略阶段。本发明先采用平滑曝光对曝光调节进行快速平滑加速,然后再使用缓冲曝光对其进行缓冲及预测曝光。平滑曝光策略阶段下,采用指数函数形式对曝光进行逐次单调递进收敛,保证平滑曝光调节的平滑性,而指数函数的权重又可对计算的平滑曝光调节比例进行适当加速。缓冲曝光策略阶段下,通过计算得到的预测调节比例判断当前曝光是否能够一次调节完成,从而进行小幅度缓冲曝光调节,保证平滑曝光调节不会出现过冲现象。同时整个曝光调节过程中,相邻两次曝光调节的间隔时间小于曝光参数生效的延迟时间,可进一步提升曝光收敛的平滑程度。本发明不仅对突变场景的亮度变化响应快,而且在曝光调节中不会出现欠曝状态、过曝状态、调节过冲现象;大大提升了对人、车技运动物体的智能识别率;且本发明对所有增益段与画面亮度的线性关系要求并不苛刻,即使某一增益段线性度较差也不会造成后面需要调节的曝光参数不准确。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
本申请实施例还提供了一种设备,该设备可以包括:一个或多个处理器;和其上存储有指令的一个或多个机器可读介质,当由所述一个或多个处理器执行时,使得所述设备执行图1和图2所述的方法。在实际应用中,该设备可以作为终端设备,也可以作为服务器,终端设备的例子可以包括:智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3,Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4,Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等,本申请实施例对于具体的设备不加以限制。
本申请实施例还提供了一种非易失性可读存储介质,该存储介质中存储有一个或多个模块(programs),该一个或多个模块被应用在设备时,可以使得该设备执行本申请实施例的图1和图2中所述方法中所包含步骤的指令(instructions)。
图6为本申请一实施例提供的终端设备的硬件结构示意图。如图所示,该终端设备可以包括:输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,第一存储器1103中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit,简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。
可选的,上述输入设备1100可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;输出设备1102可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中语音识别装置各模块的功能,具体功能和技术效果参照上述实施例即可,此处不再赘述。
图7为本申请的一个实施例提供的终端设备的硬件结构示意图。图7是对图6在实现过程中的一个具体的实施例。如图6所示,本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。
第二处理器1201执行第二存储器1202所存放的计算机程序代码,实现上述实施例中图1所述方法。
第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。第二存储器1202可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,第二处理器1201设置在处理组件1200中。该终端设备还可以包括:通信组件1203,电源组件1204,多媒体组件1205,语音组件1206,输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令,以完成上述数据处理方法中的全部或部分步骤。此外,处理组件1200可以包括一个或多个模块,便于处理组件1200和其他组件之间的交互。例如,处理组件1200可以包括多媒体模块,以方便多媒体组件1205和处理组件1200之间的交互。
电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
语音组件1206被配置为输出和/或输入语音信号。例如,语音组件1206包括一个麦克风(MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中,语音组件1206还包括一个扬声器,用于输出语音信号。
输入/输出接口1207为处理组件1200和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件1208包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件1208可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件1208还可以包括摄像头等。
通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务器建立通信。
由上可知,在图7实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图6实施例中的输入设备的实现方式。
上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

Claims (13)

1.一种自动曝光调节方法,其特征在于,包括以下步骤:
获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;
获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量;
若进行的曝光调节为第一次曝光调节,则进行平滑曝光调节;进行平滑曝光调节时,还包括计算平滑曝光调节比例,以及根据所述平滑曝光调节比例计算曝光调节策略阈值;
计算平滑曝光调节比例Ratiox,包括有:
Figure FDA0002509216850000011
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值;
根据所述平滑曝光调节比例计算曝光调节策略阈值,包括有:
Figure FDA0002509216850000012
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
2.根据权利要求1所述的自动曝光调节方法,其特征在于:还包括根据所述当前帧图像的亮度数据计算当前帧图像的画面平均亮度值和曝光目标值;
获取画面平均亮度值与所述曝光目标值的差值的绝对值,将所述差值的绝对值作为亮度差;若所述亮度差小于预设阈值,则曝光稳定;若亮度差大于等于预设阈值,曝光不稳定,进行曝光调节。
3.根据权利要求2所述的自动曝光调节方法,其特征在于:若曝光不稳定,则进行曝光调节,包括有:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断所述亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
4.根据权利要求3所述的自动曝光调节方法,其特征在于:
若进行缓冲曝光调节,还包括判断通过缓冲曝光调节能否直接完成曝光调节,并根据判断结果计算缓冲曝光调节比例。
5.根据权利要求4所述的自动曝光调节方法,其特征在于:获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例或缓冲曝光调节比例、以及预设值调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
6.根据权利要求2所述的自动曝光调节方法,其特征在于:获取当前帧图像的亮度数据,根据所述亮度数据计算当前帧图像的画面平均亮度值,具体有:
将当前帧图像的图像画面分解为M×N块图像画面;
根据分解后的图像画面计算当前帧的画面平均亮度值,有:
Figure FDA0002509216850000021
其中,Luma为当前帧的画面平均亮度值;weighti为第i块图像对应位置的权重值;lumai为第i块图像画面对应的块平均亮度值;M、N、i为正整数。
7.根据权利要求4所述的自动曝光调节方法,其特征在于:还包括获取相邻两次平滑曝光调节的间隔时间,所述相邻两次平滑曝光调节的间隔时间小于曝光参数生效的延迟时间;
和/或,获取相邻两次缓冲曝光调节的间隔时间,所述相邻两次缓冲曝光调节的间隔时间小于曝光参数生效的延迟时间。
8.根据权利要求4所述的自动曝光调节方法,其特征在于:若进行缓冲曝光调节,则包括有:
根据相邻两次缓冲曝光调节的间隔时间,预先标定不同亮度差对应的预测调节比例Ratioperdict;根据当前亮度差得到相对应的预测调节比例Ratioperdict
判断通过缓冲曝光调节能否直接完成曝光调节;若Luma>(Target+a×Ratioperdict),则通过缓冲曝光调节能直接完成曝光调节;若Luma≤(Target+a×Ratioperdict),则通过缓冲曝光调节不能直接完成曝光调节;
根据判断结果计算缓冲曝光调节比例,有:
Figure FDA0002509216850000031
式中,Ratioy为缓冲曝光调节比例;a为缓冲曝光调节权重系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值。
9.一种自动曝光调节系统,其特征在于,包括有:
图像获取模块,用于获取拍摄的连续帧图像中某一帧图像,将该帧图像作为当前帧图像;
曝光稳定模块,用于获取当前帧图像的亮度数据,根据当前帧图像的亮度数据判断曝光是否稳定;
曝光调节模块,用于根据曝光稳定模块的输出结果进行曝光调节;若曝光稳定,则结束曝光调节;若曝光不稳定,则进行曝光调节,并获取曝光调节比例,根据所述曝光调节比例调节下一帧图像的曝光量;
若进行的曝光调节为第一次曝光调节,则进行平滑曝光调节;进行平滑曝光调节时,还包括计算平滑曝光调节比例,以及根据所述平滑曝光调节比例计算曝光调节策略阈值;
计算平滑曝光调节比例Ratiox,包括有:
Figure FDA0002509216850000032
式中,Ratiox为平滑曝光调节比例;k为平滑曝光调节权重系数;m、n为指数幂系数;Luma为当前帧的画面平均亮度值;Target为曝光目标值;
根据所述平滑曝光调节比例计算曝光调节策略阈值,包括有:
Figure FDA0002509216850000033
式中,Tdiff为曝光调节策略阈值;k1、k2为曝光调节策略阈值权重系数;ceil表示向上取整数;a1、a2为加速权重系数;n1、n2为指数幂系数。
10.根据权利要求9所述的自动曝光调节系统,其特征在于:所述曝光稳定模块具体用于获取当前帧图像的亮度数据,根据当前帧图像的亮度数据计算当前帧图像的画面平均亮度值和曝光目标值,并计算画面平均亮度值与所述曝光目标值的差值,将所述差值的绝对值作为亮度差;根据亮度差与预设阈值的大小判断曝光是否稳定。
11.根据权利要求10所述的自动曝光调节系统,其特征在于:若所述曝光稳定模块的输出结果为亮度差大于等于预设阈值,则曝光调节模块进行曝光调节;所述曝光调节模块具体用于:
判断要进行的曝光调节是否为第一次曝光调节;
若为第一次曝光调节,则进行平滑曝光调节;
若不为第一次曝光调节,判断亮度差是否大于曝光调节策略阈值;若所述亮度差大于所述曝光调节策略阈值,则进行平滑曝光调节;若所述亮度差小于等于所述曝光调节策略阈值,则进行缓冲曝光调节。
12.根据权利要求9至11任一所述的自动曝光调节系统,其特征在于:所述曝光调节模块还具体用于获取平滑曝光调节比例或缓冲曝光调节比例,根据平滑曝光调节比例或缓冲曝光调节比例、以及预设值调节下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例大于预设值,则增大下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例小于预设值,则减小下一帧图像的曝光量;
若平滑曝光调节比例或缓冲曝光调节比例等于预设值,则不调节下一帧图像的曝光量。
13.一种自动曝光调节设备,其特征在于,包括:
一个或多个处理器;和
存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行所述指令时,使得所述设备执行如权利要求1-8任意一项所述的方法。
CN201911211503.2A 2019-12-02 2019-12-02 一种自动曝光调节方法、系统及设备 Active CN110798626B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911211503.2A CN110798626B (zh) 2019-12-02 2019-12-02 一种自动曝光调节方法、系统及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911211503.2A CN110798626B (zh) 2019-12-02 2019-12-02 一种自动曝光调节方法、系统及设备

Publications (2)

Publication Number Publication Date
CN110798626A CN110798626A (zh) 2020-02-14
CN110798626B true CN110798626B (zh) 2020-07-28

Family

ID=69447062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911211503.2A Active CN110798626B (zh) 2019-12-02 2019-12-02 一种自动曝光调节方法、系统及设备

Country Status (1)

Country Link
CN (1) CN110798626B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021237575A1 (zh) * 2020-05-28 2021-12-02 深圳市大疆创新科技有限公司 曝光控制方法、装置、设备、可移动平台和存储介质
CN111614909B (zh) * 2020-06-24 2021-12-14 成都国科微电子有限公司 一种自动曝光控制方法、设备及存储介质
WO2022120827A1 (zh) * 2020-12-11 2022-06-16 深圳市大疆创新科技有限公司 曝光调节方法、拍摄装置、可移动平台及存储介质
WO2022198396A1 (zh) * 2021-03-22 2022-09-29 深圳市大疆创新科技有限公司 曝光控制方法及装置
CN113286094B (zh) * 2021-05-27 2022-06-24 重庆紫光华山智安科技有限公司 图像自动曝光方法、装置、设备及介质
CN114125312B (zh) * 2021-10-12 2023-12-15 广州安凯微电子股份有限公司 一种isp快速ae收敛方法、装置、设备及存储介质
CN114125317A (zh) * 2021-12-01 2022-03-01 展讯通信(上海)有限公司 一种曝光控制方法、装置、设备及存储介质
CN114449175A (zh) * 2022-01-13 2022-05-06 瑞芯微电子股份有限公司 自动曝光调节方法、装置、图像采集方法、介质及设备
CN116708954B (zh) * 2022-12-30 2024-06-11 荣耀终端有限公司 一种拍照方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262567A (zh) * 2008-04-07 2008-09-10 北京中星微电子有限公司 自动曝光方法与装置
JP2018007210A (ja) * 2016-07-08 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びに撮像装置
CN108769542A (zh) * 2018-05-30 2018-11-06 北京图森未来科技有限公司 一种曝光参数确定方法、装置和可读介质
CN109474790A (zh) * 2018-11-05 2019-03-15 浙江大华技术股份有限公司 曝光调整方法、装置和摄像机及计算机存储介质
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262567A (zh) * 2008-04-07 2008-09-10 北京中星微电子有限公司 自动曝光方法与装置
JP2018007210A (ja) * 2016-07-08 2018-01-11 ソニーセミコンダクタソリューションズ株式会社 信号処理装置および方法、並びに撮像装置
CN108769542A (zh) * 2018-05-30 2018-11-06 北京图森未来科技有限公司 一种曝光参数确定方法、装置和可读介质
CN109474790A (zh) * 2018-11-05 2019-03-15 浙江大华技术股份有限公司 曝光调整方法、装置和摄像机及计算机存储介质
CN110248112A (zh) * 2019-07-12 2019-09-17 成都微光集电科技有限公司 一种图像传感器的曝光控制方法

Also Published As

Publication number Publication date
CN110798626A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110798626B (zh) 一种自动曝光调节方法、系统及设备
CN111418201B (zh) 一种拍摄方法及设备
JP5942301B2 (ja) 自動露出制御のコンピュータ実装方法、自動露出制御を用いた画像処理のためのシステム、コンピュータ可読媒体を持つ物品、コンピュータ実装方法を実行させる複数の命令を含むプログラム、およびコンピュータ実装方法を実行する手段を備える装置
US20220103740A1 (en) Systems and methods for automatic exposure control
CN105578068B (zh) 一种高动态范围图像的生成方法、装置及移动终端
KR101225058B1 (ko) 콘트라스트 조절 방법 및 장치
TWI501638B (zh) 電子裝置及其調整方法
CN102291538A (zh) 摄像机的自动曝光方法及控制装置
CN104917973B (zh) 动态曝光调整方法及其电子装置
US9606636B2 (en) Optical processing apparatus, light source luminance adjustment method, and non-transitory computer readable medium thereof
CN111583886A (zh) 一种屏幕刷新率的调整方法、装置、设备及介质
WO2017084255A1 (zh) 实时视频增强方法、终端和非易失性计算机可读存储介质
CN110751608A (zh) 一种夜景高动态范围图像融合方法、装置和电子设备
CN113141468A (zh) 对焦方法、装置和电子设备
US9787909B1 (en) Controlling signal-to-noise ratio in high dynamic range automatic exposure control imaging
CN115268616A (zh) 存储器的频率控制方法、控制装置、电子设备和存储介质
CN108540827B (zh) 数据处理方法及装置
CN117528228A (zh) 相机功耗控制方法、装置、电子设备及计算机存储介质
CN109639929A (zh) 图像降噪方法、计算机装置及计算机可读存储介质
CN112929668A (zh) 一种视频编码的方法、装置、设备和存储介质
CN101217615A (zh) 一种压缩图像比特率控制的方法及装置
KR20200004319A (ko) 입력 오디오 신호를 처리하는 장치 및 방법
CN114223015A (zh) 利用模型模板的高效的用户定义sdr到hdr转换
CN114125317A (zh) 一种曝光控制方法、装置、设备及存储介质
US9041864B2 (en) Method and apparatus for temporal stabilization of streaming frames

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant