CN106981065B

CN106981065B - 一种基于曝光补偿的图像绝对中心矩改进算法

Info

Publication number: CN106981065B
Application number: CN201710192708.5A
Authority: CN
Inventors: 董明利; 焦阿敏; 孙鹏; 王君; 燕必希; 娄小平; 祝连庆
Original assignee: Beijing Information Science and Technology University
Current assignee: Beijing Information Science and Technology University
Priority date: 2016-11-02
Filing date: 2017-03-28
Publication date: 2019-10-01
Anticipated expiration: 2037-03-28
Also published as: CN106981065A

Abstract

一种基于曝光补偿的图像绝对中心矩改进算法，包括步骤：a)获取不同曝光时间的图像；b)获取对应数目的采样曲线；c)获取灰度值：d)判断上述灰度值是否大于255；e)将不同曝光时间的图像相互转换，获取图像复原图像；f)通过对比灰度直方图判断上述两幅图像是否存在局部细节方面损失；g)获取图像绝对中心矩算法；h)获取ACM评价函数；i)灰度i_B对应的分布概率为；j)获取与曝光值C无关的图像绝对中心矩改进算法ECACM：l)由步骤k获取ECACM的评价指数。

Description

一种基于曝光补偿的图像绝对中心矩改进算法

技术领域

本发明涉及一种基于曝光补偿的图像清晰度评价算法，属于计算机信息处理中的图像分析和识别领域。

背景技术

视觉测量是精密测量领域的一个研究热点，其测量精度和视觉效果均依赖于图像的成像质量，因为图像的质量与其信息的可用性密切相关。因此，在结构光测量、摄影测量和数字散斑测量等多种应用领域，一致的图像清晰度评价是共同的需求。

通过数字图像处理，我们可以得到图像中灰度梯度、高低频率以及相位等更多有效信息。同时，借助计算机接口和算法的灵活性，基于数字图像处理的对焦方法大大简化了传统方法中复杂的硬件结构，具有明显优势。在图像处理学科中，图像清晰度评价在自动对焦方面有着广泛的应用。其中，图像包含的信息量、边缘梯度和灰度值统计等特征均可作为判断图像是否清晰的指标。目前，这些指标对应的清晰度评价方法主要有：表征信息量的熵函数法，表征边缘信息的基于sobel等算子的评价方法，表征图像灰度变化剧烈程度的灰度梯度法，以及表征图像灰度值统计特征的直方图法、图像绝对中心矩法等等。通常，以上清晰度评价函数都是单峰函数，具有相对清晰度评价的能力。

一般地，满足以上条件的清晰度评价函数是针对同一场景，在相机曝光参数不变的条件下进行的连续采集，不考虑曝光量对评价函数的影响，多用于自动对焦。而不理想的曝光参数则会引起曝光不足或曝光过度。在欠曝光的情况下，图像灰度值基本集中在小范围的区域，即使相机对焦成功，其评价函数的值与曝光量适中的图像相比要相差很多。但是这种欠曝光的图像能够通过图像处理的方法进行补光，通过修复能够得到清晰的图像。相反，在强曝光的情况下，物体表面较亮区域的成像

灰度产生过饱和，会导致图像有效信息丢失，但是，这种丢失不能通过图像处理的方式复原。针对以上问题，本专利对图像绝对中心矩算法(ACM)做出了改进，改进算法(ECACM)在非过曝光范围内消除了曝光对ACM评价指数的影响，同时，在过曝光的情况下，改进算法对图像中有效信息丢失程度的体现更加明显。

发明内容

本发明提出了一种基于曝光补偿的图像绝对中心矩改进算法，包括步骤：

a)确定待采集对象，固定相机增益值，以相同步长增加曝光时间，获取不同曝光时间的图像；

b)选择待采集对象上的若干个亮度相差较大的采样点，进行灰度跟踪，获取对应数目的采样曲线，每条曲线代表不同的采样点在不同曝光时间下的成像灰度；

c)由上述成像灰度获取灰度值：

G＝kC

式中，G为图像成像点的灰度值，k为成像点的敏感系数，C为曝光强度。k与物体反光能力有关，物体表面反光能力越强，则k越大；

d)判断上述灰度值是否大于255，相机曝光大于过曝光状态的临界值Ch会造成图像灰度过饱和，比较亮的区域都变成了白色，图像的有效信息损失严重；

e)假设对焦状态不变，分别以两个不同曝光时间对同一场景进行采集，得到两幅图像，将不同曝光时间的图像相互转换，获取图像复原图像；

f)通过对比灰度直方图判断上述两幅图像是否存在局部细节方面损失，方法为灰度值的分布被强行拉伸，变得不再连续，中间缺失了一些灰度级的分布；

g)对于一个确定的对焦窗口，图像绝对中心矩算法的计算如下：

ACM＝∑|i-u|×p(i)

n为窗口中像素点的总数，i为窗口中的任意一点的灰度值，u为当前窗口中灰度值的平均值，p(i)为灰度值i在窗口中出现的概率，Ni为成像灰度值为i的像素个数；

h)根据以上所述线性关系，ACM评价函数可以写成：

ACM＝∑|k_iC-u|·p(i) (1)

由(1)式和(2)式可得：

由(3)式可知，ACM算法的评价指数与物体成像点的敏感系数ki、像素总量n、所成图像灰度级的分布概率p(i)和成像时的曝光值C四个因素密切相关。

i)假设在两个曝光值C_x、C_y下对同一场景进行采集，所成图像分别为图像A、B，C_x∈[Cl,Ch]，C_y∈[Cl,Ch]。A中共存在j个灰度级，第k个灰度i_A对应的分布概率为p_Ak(i_A)；B中共存在r个灰度级，第k个灰度i_B对应的分布概率为p_Bk(i_B)，j、r∈[1,256]，k∈[1,j]；

j)根据前面所述线性关系，可得：

p_Bk(i)＝p_Ak(i) (5)

由(4)式和(5)式可得,同一个物点在介于区间[C_l,C_h]的不同曝光下成像灰度值不同，成像灰度级i_A和i_B对应，对于两幅图像中的第k个灰度级，二者的灰度级分布概率p_Ak(i)、p_Bk(i)相同，与曝光值C无关，即当成像时的曝光发生变化，两幅图像上对应点的灰度级分布概率不变；

k)获取与曝光值C无关的图像绝对中心矩改进算法ECACM：

l)由步骤k获取ECACM的评价指数：

应当理解，前述大体的描述和后续详尽的描述均为示例性说明和解释，并不应当用作对本发明所要求保护内容的限制。

附图说明

参考随附的附图，本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明，其中：

图1示出了根据本发明的改进算法的实验采集图像；

图2示出了根据本发明的改进算法的曝光对不同采样点成像灰度的影响；

图3示出了根据本发明的改进算法的图像复原对比；

图4示出了根据本发明的改进算法的灰度直方图对比；

图5示出了根据本发明的改进算法的相同曝光不同对焦状态下的图像序列；

图6示出了根据本发明的改进算法的相同曝光不同焦距下的图像清晰度评价曲线；

图7示出了根据本发明的改进算法的相同对焦状态不同曝光下的图像序列；

图8示出了根据本发明的改进算法的相同对焦状态不同曝光下的图像清晰度评价曲线。

具体实施方式

通过参考示范性实施例，本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而，本发明并不受限于以下所公开的示范性实施例；可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。

在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。

本专利公开了一种基于曝光补偿的图像绝对中心矩算法，利用图像传感器在非过曝光强度范围内的成像灰度值随曝光值线性增加的特性，对ACM图像清晰度评价算法做出了改进。改进之后的ECACM评价算法有效解决了ACM算法受曝光因素影响较大的不足，为不同曝光强度下图像的清晰度评价提供了解决方案。实验表明，ECACM评价算法不仅在非过曝范围内消除了图像清晰度评价受曝光强度的影响，而且能够在过曝光时体现出图像有效信息的丢失程度。

物体表面越亮，相机的成像灰度值就越大；曝光越强，成像灰度值也越大。物体表面亮度、系统曝光和成像灰度值之间存在着某种联系。根据曝光量的计算公式，系统曝光由快门速度、光圈值和感光度三个参数共同决定。光圈值和感光度不变时，则可通过改变相机曝光时间调节曝光量。采用以上方式，在结构光三维视觉测量数据采集平台进行实验。

实验的仪器和设备为：分辨率为1628pixel×1236pixel，像元尺寸为4.4um的CCD摄像机；16mm的定焦镜头；角点定位精度为0.0015mm的漫反射陶瓷平面靶标。以数字电源箱操作面板为采集对象，相机增益固定为150，以50ms为一个步长，将曝光时间从100ms等间隔增加到1700ms，分别进行图像采集，共得到33幅不同曝光下的图像，如图1所示，为其中6幅。

选择物体上亮度相差较大的10个采样点，进行灰度跟踪，得到了10条采样曲线，如图2所示，每条曲线分别代表不同的采样点在33个曝光下的成像灰度。

从图2中可看出，相机曝光对不同亮度采样点的影响呈近似线性的增长规律，因此可写作：

G＝kC

式中，G为图像成像点的灰度值，k为成像点的敏感系数，C为曝光强度。k与物体反光能力有关，物体表面反光能力越强，则k越大。该模型未考虑亮度饱和的问题，即成像过程中由于过曝光导致的灰度值大于255的情况，会引起图像有效信息的丢失。

不同的曝光强度对相机成像质量有着不同的影响。曝光太弱，图像传感器得到的光信号较少，会降低信号的信噪比。与CMOS图像传感器相比，CCD图像传感器结构上的物理原理决定了它具有较高的灵敏度和信噪比。信噪比作为评价图像质量的重要指标，与曝光时间的选择息息相关。然而，无论是CCD相机还是CMOS相机，其曝光值都会有两个临界值，即信噪比在可接受范围内的最小曝光值Cl和进入过曝光状态的临界值Ch。相机曝光小于Cl会使信噪比大大降低，同时图像出现的随机噪声增多；相机曝光大于Ch会造成图像灰度过饱和，比较亮的区域都变成了白色，图像的有效信息损失严重。

假设对焦状态不变，分别以曝光值C1和C2对同一场景进行采集，C1和C2位于区间[Cl,Ch]，得到两幅图像，则图像1中任意一点G1的灰度值为：

g₁＝k₁C₁

图像2中，G1的对应点G2的灰度值：

g₁＝k₁C₁

则G1、G2两点的成像灰度值可以相互转换：

经过上述转换，曝光时间为100ms时的图像可以转换为曝光时间为250ms时的图像效果。如图3所示，为处理前后图像的对比图。可以看出，图3(c)和3(d)的成像基本相同，图像复原得比较理想。

虽然经过调整后两幅图像的视觉效果基本相同，但是，由于图像是数字存储，复原图3(c)在局部细节方面有所损失，通过比较图4中(a)和(b)的灰度直方图即可得知。图4(a)中，灰度值的分布被强行拉伸，变得不再连续，中间缺失了一些灰度级的分布。然而，在很多场合中这些微小的细节损失在可以接受的范围内。

现有的图像清晰度评价函数多用于自动对焦领域，是对同一曝光下采集的一系列图像做出的评价。若要实现不同曝光下图像清晰度的评价，必须要消除曝光的影响，获得通用的评价能力。图像绝对中心矩算法(ACM)具有较好地计算效率和量化特性，本专利在此基础上对其评价指数受曝光影响的规律进行了探索，提出了基于曝光补偿的图像绝对中心矩改进算法(ECACM)。对于一个确定的对焦窗口，图像绝对中心矩算法的计算如下：

ACM＝∑|i-u|×p(i)

n为窗口中像素点的总数，i为窗口中的任意一点的灰度值，u为当前窗口中灰度值的平均值，p(i)为灰度值i在窗口中出现的概率，Ni为成像灰度值为i的像素个数。

根据以上所述线性关系，ACM评价函数可以写成：

ACM＝∑|k_iC-u|·p(i) (1)

由(1)式和(2)式可得：

假设在两个曝光值Cx、Cy下对同一场景进行采集，所成图像分别为图像A、B，Cx∈[Cl,Ch]，Cy∈[Cl,Ch]。A中共存在j个灰度级，第k个灰度iA对应的分布概率为pAk(iA)；B中共存在r个灰度级，第k个灰度iB对应的分布概率为pBk(iB)，j、r∈[1,256]，k∈[1,j]。根据前面所述线性关系，可得：

p_Bk(i)＝p_Ak(i) (5)

由(4)式和(5)式可得,同一个物点在介于区间[Cl,Ch]的不同曝光下成像灰度值不同，成像灰度级iA和iB对应，对于两幅图像中的第k个灰度级，二者的灰度级分布概率pAk(i)、pBk(i)相同，与曝光值C无关，即当成像时的曝光发生变化，两幅图像上对应点的灰度级分布概率不变。对于相同的采集相机，CCD尺寸大小相同，成像的像素总量n不变，同时，像素对应点的敏感系数ki相同。综上，成像时的曝光值C独立于ki、n、p(i)三个因素，当曝光变化时，ACM算法评价指数的计算公式中只有曝光值C这一项发生改变，于是(2)、(3)两式可写作：

因此，若要消除曝光这一因素对ACM算法评价指数的影响，只需消掉(7)式中的系数C，通过在(7)式的基础上除以曝光值C即可实现。而在实际采集中，一幅图片的曝光值不是关注的重点，所以往往是未知的。于是，我们通过式(6)来间接实现对曝光因素C的消除，得到和曝光C无关的图像绝对中心矩改进算法ECACM，如下所示：

以上(8)式给出了消除曝光影响的解决方案，可以看出，改进之后ECACM算法的评价指数只与成像目标本身的亮度特征、CCD成像尺寸有关。根据所成图像上的灰度分布信息，采用ACM算法和u的定义式，即可求解ECACM的评价指数时，如下所示：

根据以上分析，例举本发明的具体实现方案之一：

首先，作为图像清晰度评价函数，ECACM依然要满足评价函数的基本要求，即具有对相同曝光不同对焦状态的成像清晰度进行评价的能力。选取系统成像时的曝光时间为400ms，单方向调节相机的对焦状态，得到以下一组离焦、对焦、再离焦的图像序列，如图5所示。

对以上图像序列进行处理，得到ACM和ECACM两种算法的评价指数曲线，如图6(a)、图6(b)所示。理想的图像清晰度评价函数要求评价函数具有单峰性、能反映离焦的极性、对噪声敏感度低、无偏性等特点。实验结果表明，算法改进前后均满足清晰度评价函数单峰性，在峰值左右呈单调增减的趋势，相比之下，在峰值两侧ECACM算法的评价指数比ACM算法的评价指数更加对称，具有更好的无偏性。

其次，作为改进后的图像清晰度评价函数，ECACM能够在不同的曝光下，对图像本身的质量做出评估，即在一定范围内不受曝光的影响。曝光范围[Cl,Ch]随系统和场景变化而不同。选取固定的对焦状态、曝光时间以50ms为一个步长，等间距从200ms增加至900ms进行图像采集，得到以下一组非过曝光、曝光适中、过曝光的图像序列，如图7所示。图8(a)、图8(b)为改进前后两种算法对相同对焦状态不同曝光下所成图像清晰度的评价指数曲线。

通过图8中评价曲线(a)可以看出，当曝光时间小于400ms时，ACM算法的评价指数随着曝光时间的增加而增加；当曝光时间大于400ms时，ACM评价函数呈现缓慢的下降趋势。分析可知，当曝光时间大于400ms时，由于部分较亮区域的成像已经达到了极限灰度值255，继续增加曝光，则会造成过曝光，较亮的区域细节丢失，且在过曝光范围内曝光值越大，图像上的信息丢失越严重。

通过图8中评价曲线(b)可以看出，当曝光时间小于400ms时，ECACM评价函数的评价指数基本趋于稳定，较好地消除ACM算法的评价指数随曝光值线性增长的关系；同时，当曝光时间大于400ms，ECACM算法的评价指数曲线(b)能更加明显地体现出由于过曝光造成图像信息丢失的程度，解决了曝光变化条件下图像清晰度的评价问题。此外，ECACM算法可以对实际采集过程中曝光值的设置和调节给予有效的指导，避免参数设置不当造成的图像过曝。

本发明公开了一种基于曝光补偿的图像绝对中心矩算法，利用图像传感器在非过曝光强度范围内的成像灰度值随曝光值线性增加的特性，对ACM图像清晰度评价算法做出了改进。改进之后的ECACM评价算法有效解决了ACM算法受曝光因素影响较大的不足，为不同曝光强度下图像的清晰度评价提供了解决方案。实验表明，ECACM评价算法不仅在非过曝范围内消除了图像清晰度评价受曝光强度的影响，而且能够在过曝光时体现出图像有效信息的丢失程度。

结合这里披露的本发明的说明和实践，本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的，本发明的真正范围和主旨均由权利要求所限定。

Claims

1.一种基于曝光补偿的图像绝对中心矩改进算法，包括步骤：

c)由上述成像灰度获取灰度值：

G＝k_iC

式中，G为图像成像点的灰度值，k_i为物体成像点的敏感系数，C为曝光值，k_i与物体反光能力有关，物体表面反光能力越强，则k_i越大；

f)通过对比灰度直方图判断上述两幅图像是否存在局部细节方面损失，方法为：灰度值的分布被强行拉伸，变得不再连续，中间缺失了一些灰度级的分布；

ACM＝∑|i-u|×p(i)

n为窗口中像素点的总数，i为窗口中的任意一点的灰度值，u为当前窗口中灰度值的平均值，p(i)为灰度值i在窗口中出现的概率，N_i为成像灰度值为i的像素个数；

h)根据线性关系，ACM评价函数可以写成：

ACM＝∑|k_iC-u|·p(i) (1)

由(1)式和(2)式可得：

由(3)式可知，ACM算法的评价指数与物体成像点的敏感系数k_i、窗口中像素点的总数n、灰度值i在窗口中出现的概率p(i)和成像时的曝光值C四个因素密切相关；

i)假设在两个曝光值C_x、C_y下对同一场景进行采集，所成图像分别为图像A和图像B，C_x∈[C_l,C_h]，C_y∈[C_l,C_h]，A中共存在j个灰度级，第k个灰度级i_A对应的分布概率为p_Ak(i_A)；B中共存在r个灰度级，第k个灰度级i_B对应的分布概率为p_Bk(i_B)，j、r∈[1,256]，k∈[1,j]；

j)根据前面所述线性关系，可得：

p_Bk(i)＝p_Ak(i) (5)

由(4)式和(5)式可得,同一场景在介于区间[C_l,C_h]的不同曝光下成像灰度值不同，成像灰度级i_A和i_B对应，对于两幅图像中的第k个灰度级，二者的灰度级分布概率p_Ak(i_A)、p_Bk(i_B)相同，与曝光值C无关，即当成像时的曝光发生变化，两幅图像上对应点的灰度级分布概率不变；

k)获取与曝光值C无关的图像绝对中心矩改进算法ECACM：

l)由步骤k获取ECACM的评价指数：