CN109510949B - 基于图像特征点有效亮度的相机自动曝光方法 - Google Patents

Abstract

本发明公开了一种基于图像特征点有效亮度的相机自动曝光方法。该方法包括：通过对相机进行光度响应标定，得到相机光度响应函数的拟合结果；对相机采集的图像进行特征点提取；在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；对于掩膜所覆盖图像区域像素剔除过曝点后求平均亮度；根据掩膜内像素平均亮度与相机光度响应函数估计平均环境光强；根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间；本发明可应用于可见光相机的自动曝光调整问题，充分考虑图像特征点丰富区域曝光质量，可快速迭代到合理曝光时间。

Description

基于图像特征点有效亮度的相机自动曝光方法

技术领域

本发明涉及相机自动曝光技术，尤其涉及一种基于图像特征点有效亮度的相机自动曝光方法。

背景技术

随着计算机视觉与图像处理技术在物体检测、识别、跟踪等领域的进步，极大促进了视觉系统在各式各样的无人系统上的应用。相机传感器所采集的图像作为后续算法的直接输入，图像中物体特征，细节等信息将对算法精度造成很大影响。然而，高质量的图像采集的常常受传感器和算法的限制，在一些复杂高动态环境下，容易造成图像过曝或过暗，从而导致信息丢失。

相机自动曝光的目的是通过调节相关控制参数，使得相机能够采集到细节丰富的高质量图像。现有的相机曝光控制方式主要有3种：调节镜头光圈，调节放大增益，控制曝光时间。第1种方式涉及到相关硬件操作，实时性不足；第2种方式容易导致成像不稳定，且造成噪声增大；因此现有方法常常使用第3种方式进行曝光控制。传统算法通过评估整幅图像的平均亮度或统计亮度直方图进行曝光调整，这种方法对于简单、低对比度的场景较为有效，但无法应对高动态范围的场景；有算法通过图像所包含的信息进行图像成像质量评估进而进行曝光调整。常用的有图像信息评估有图像的梯度，熵等。但是图像梯度在纯色环境下或图像大范围过曝或过暗时会严重缺失；图像熵涉及到概率模型，在高动态环境下曝光调整不够直观，参数调整需依赖较多人工经验；也有算法将图像平均划分为若干个区域并确定其中某几个为感兴趣区域，随后对感兴趣区域进行平均亮度统计，该方法能够更好地保证图像目标区域的合理曝光，不过其感兴趣区域选取过于粗糙并不适用于场景变化较大情景。

发明内容

本发明针对可见光相机的自动曝光调整问题中现有根据图像亮度进行曝光调整技术的不足，提出一种基于图像特征点有效亮度的相机自动曝光方法，充分考虑图像特征点丰富区域曝光质量，可快速迭代到合理曝光时间。

本发明的目的是通过以下技术方案来实现的：一种基于特征点有效亮度的相机自动曝光方法，包含以下步骤：

(1)通过光度响应标定，得到相机光度响应函数的拟合结果g；

(2)对相机采集的图像进行特征点提取；

(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；

(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度I_m；

(5)判断平均亮度I_m是否达到目标平均亮度I₀：计算平均亮度I_m与目标平均亮度I₀的差值ΔI＝|I_m-I₀|，当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测；否则，执行步骤(6)；

(6)根据平均亮度I_m与相机光度响应函数估计平均环境光强E_m；

(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测。

进一步地，所述步骤(1)中，对相机进行光度响应标定，光度响应函数f描述了环境光强E与相机曝光时间Δt到图像像素亮度I之间的映射关系，f可逆，定义其逆函数g为：

g(I)＝lnf^-1＝ln(E)+ln(Δt)

其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据，可对g进行拟合。

进一步地，所述步骤(2)中进行特征点提取，并进行非极大值抑制，防止特征点过于集中。

进一步地，所述步骤(3)中，建立的掩膜形式如下：

其中，M_i为像素点i处掩膜值，d_i为像素点i距离最近特征点的距离，Thresh表示局部窗口阈值大小。

进一步地，所述步骤(4)中，平均亮度I_m的公式如下：

其中，u_i表示像素点i的值，M_i为像素点i处掩膜值，λ为抑制过曝参数，用于剔除过曝点，N为掩膜所覆盖像素点数量。

进一步地，所述步骤(6)中，平均环境光强E_m的公式如下：

ln(E_m)＝g(I_m)-ln(Δt_n)

其中，Δt_n为当前图像对应的曝光时间。

进一步地，所述步骤(7)中，目标曝光时间Δt_T的公式如下：

最终曝光时间，即下一帧图像对应的曝光时间Δt_n+1的公式如下：

Δt_n+1＝αΔt_T+(1-α)Δt_n

其中，Δt_n为当前图像对应的曝光时间，α为平滑系数，用于平滑曝光时间调整的步长，防止曝光时间出现剧烈变化的情况。

本发明的有益效果是：相比于传统基于全图或固定划分感兴趣区域的方法，本发明所采用的基于特征点周围局部窗口作为感兴趣区域进行分析，能够更加精确与高效地确定图像信息量丰富区域。此外，本方法还利用相机光度响应函数进行曝光时间调整指导，能够快速迭代到合理曝光时间。

附图说明

图1是本发明基于图像特征点有效亮度的相机自动曝光方法的流程图；

图2是本发明的相机光度响应标定示意图，其中，(a)不同曝光下采集的同一场景图像，(b)光度响应函数逆函数拟合结果；

图3是本发明的图像感兴趣区域选取，其中，(a)未进行非极大值抑制的特征点提取效果，(b)进行非极大值抑制的特征点提取效果，(c)根据特征点分布建立的掩膜；

图4是三种方法在复杂高动态范围场景下调整的最终曝光时间所采集的图像，其中，(a)基于全图亮度的曝光方法，(b)相机固有曝光方法，(c)本发明的基于图像特征点有效亮度曝光方法；

图5是三种方法对于环境光强突然变化时的曝光调整过程记录；

图6是相机固有曝光方法与本发明曝光方法对于ORB-SLAM2位姿跟踪精度影响对比测试，其中，(a)相机固有曝光方法，(b)本发明曝光方法。

具体实施方式

下面结合附图对本发明具体实施方式做进一步说明。

如图1所示，本发明提供的一种基于图像特征点有效亮度的相机自动曝光方法，具体实施方式如下：

(1)通过光度响应标定，得到相机光度响应函数的拟合结果g。环境光强与相机曝光时间到图像像素亮度之间的映射关系为：

I＝f(X)＝f(EΔt)

其中，对于图像上每一个像素点，E表示单位时间内照射到该像素点的辐照度，即环境光强，X表示该像素点在曝光时间Δt内接收到的总能量，光度响应函数f表示了从X到像素点亮度I的非线性映射。f可逆，定义其逆函数为：

g(I)＝lnf^-1＝ln(E)+ln(Δt)

其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据(如图2中的(a)所示)，可对g进行拟合，拟合结果如图2中的(b)所示。

(2)对相机实时采集的图像进行特征点提取，如图3所示，图3中(a)、(b)分别为进行非极大值抑制前后的特征点分布，可见通过非极大值抑制，特征点过于集中的现象得到很大缓解。

(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜：

其中，M_i为像素点i处掩膜取值，d_i为像素点i距离最近特征点的距离，Thresh表示局部窗口阈值大小，本实施例设置Thresh＝15。

(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度I_m：

其中，u_i表示像素点i的值，M_i为像素点i处掩膜值，λ为抑制过曝参数，用于剔除过曝点，N为掩膜所覆盖像素点数量。

(5)判断平均亮度I_m是否达到目标平均亮度I₀：计算平均亮度I_m与目标平均亮度I₀的差值ΔI：

ΔI＝|I_m-I₀|

当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测，本实施例设置阈值δ＝15，一般取10～20均可；否则，执行步骤(6)；

(6)根据平均亮度I_m与相机光度响应函数估计平均环境光强E_m：

ln(E_m)＝g(I_m)-ln(Δt_n)

其中，Δt_n为当前图像对应的曝光时间。

(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测；目标曝光时间Δt_T的公式如下：

本实施例取I₀＝125；

最终曝光时间，即下一帧图像对应的曝光时间Δt_n+1的公式如下：

Δt_n-1＝αΔt_T+(1-α)Δt_n

其中，α为平滑系数，其作用在于平滑曝光时间调整的步长，防止曝光时间出现剧烈变化的情况，一般取(0,1]，本实施例取α＝0.5。

实施例1

本实施例主要对比基于全图亮度的曝光方法，相机固有自动曝光方法，与本发明中的基于图像特征点有效亮度的相机自动曝光方法的性能指标，下文三种方法分别简称为全图曝光方法，相机固有曝光方法，与特征点曝光方法。本实施例对比三种方法在复杂高动态范围场景下调整的最终曝光时间所采集的图像，分别为图4的(a)，(b)，(c)。拍摄位置为室内窗口处，拍摄场景为室外，相机与远景之间由于楼房外墙装修隔有一层安全防护网。

可以发现(a)中远处楼房等景物大范围过曝，信息严重丢失；(b)相对于(a)有很大改善，很大程度上保留了远处楼房的细节；(c)为本发明方法拍摄，本发明方法所拍摄图像不仅很大程度上保留了远处楼房的细节，甚至连安全防护网的大部分细节也有保留。

实施例2

本实例对比三种方法对于环境光强急剧变化的响应速度。本实例选用室内桌面场景，通过开关台灯形成环境光强变化。最初台灯处于关闭状态，随后启动算法直至相机曝光时间稳定后，打开台灯，三种方法分别调节曝光时间以适应环境光强变化，直至曝光时间再次稳定。

调整过程如图5所示，从上至下三行图像依次为相机固有曝光方法，全图曝光方法与本发明的曝光方法所采集的一系列图像。图像左上角标注该图像为第几帧采集；第一列与第五列图像右上角标注该图像采集时相机曝光时间；第五列右下角标注曝光调整完毕所花费时间。可以发现，对于台灯打开导致光强突然变化的情况，全图曝光方法在0.54秒内需22帧调整完毕，由于其调整速度较慢，期间出现过多帧过曝图像；相机固有曝光在0.38秒内通过23帧调整完毕；本发明方法在0.22秒内通过9帧即可调整完毕，且期间并未出现严重过曝图像，在速度上优于全图曝光方法与相机固有曝光方法。

实施例3

本实例对比三种方法所采集图像对于后续视觉算法精度的影响，本实例中采用ORB-SLAM2进行定位精度测试。由于全图曝光在高动态环境下容易出现过曝过暗情况，从而导致ORB-SLAM2位姿跟踪失败，因此本实例仅对比相机固有曝光与本发明方法曝光两种方法。

实例中将两个相同相机并排安装，分别运行相机固有曝光方法与本发明方法进行曝光时间调节，所采集图像分别用进行ORB-SLAM2位姿跟踪。测试路径为树丛中小路行走一圈，总长度约150m。起点与终点为同一地点，观察路径起点与终点的偏移距离。图6为测试结果，其中，(a)为相机固有曝光方法下相机采集的图像进行ORB-SLAM2位姿跟踪结果，(b)为本发明方法下相机采集的图像进行ORB-SLAM2位姿跟踪结果。可以发现，相比于相机固有曝光方法，由于本发明方法对于曝光时间调整速度更快，且所调整曝光下对于图像细节信息保存的更加完善，使得ORB-SLAM2的定位精度更加准确，路径的起点与终点偏移较小。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的优选实施例子，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像特征点有效亮度的相机自动曝光方法，其特征在于，包含以下步骤：

(1)通过光度响应标定，得到相机光度响应函数的拟合结果g；

(2)对相机采集的图像进行特征点提取；

(3)在所有特征点周围建立局部窗口，根据像素是否处于特征点局部窗口内建立掩膜；

(4)对于掩膜所覆盖的图像区域内像素剔除过曝点后求平均亮度I_m；

(5)判断平均亮度I_m是否达到目标平均亮度I₀：计算平均亮度I_m与目标平均亮度I₀的差值ΔI＝|I_m-I₀|，当ΔI小于设定阈值δ时，认为已调整到合适曝光时间，返回步骤(2)继续监测；否则，执行步骤(6)；

(6)根据平均亮度I_m与相机光度响应函数估计平均环境光强E_m；

(7)根据相机光度响应函数与平均环境光强计算目标曝光时间，并利用滑动平均确定最终曝光时间，设置曝光时间并执行步骤(2)继续监测。

2.根据权利要求1所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：所述步骤(1)中，对相机进行光度响应标定，光度响应函数f描述了环境光强E与相机曝光时间Δt到图像像素亮度I之间的映射关系，f可逆，定义其逆函数g为：

g(I)＝ln f^-1＝ln(E)+ln(Δt)

其中，通过相机在一系列不同曝光下对某一固定场景采集的图像数据，可对g进行拟合。

3.根据权利要求1所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：所述步骤(2)中进行特征点提取，并进行非极大值抑制，防止特征点过于集中。

4.根据权利要求1所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：所述步骤(3)中，建立的掩膜形式如下：

其中，M_i为像素点i处掩膜值，d_i为像素点i距离最近特征点的距离，Thresh表示局部窗口阈值大小。

5.根据权利要求1所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：所述步骤(4)中，平均亮度I_m的公式如下：

其中，u_i表示像素点i的值，M_i为像素点i处掩膜值，λ为抑制过曝参数，用于剔除过曝点，N为掩膜所覆盖像素点数量。

6.根据权利要求2所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：步骤(6)中，平均环境光强E_m的公式如下：

l_n(E_m)＝g(I_m)-ln(Δt_n)

其中，Δt_n为当前图像对应的曝光时间。

7.根据权利要求2所述的基于图像特征点有效亮度的相机自动曝光方法，其特征在于：步骤(7)中，目标曝光时间Δt_T的公式如下：

最终曝光时间，即下一帧图像对应的曝光时间￠t_n+1的公式如下：

Δt_n+1＝αΔt_T+(1-α)Δt_n

其中，Δt_n为当前图像对应的曝光时间，α为平滑系数，用于平滑曝光时间调整的步长，防止曝光时间出现剧烈变化的情况。

Images