CN115082334A - 结合逆光区域分割与自适应曝光校正的图像增强方法 - Google Patents

Abstract

本发明公开了一种结合逆光区域分割与自适应曝光校正的图像增强方法，首先输入原始逆光图像，计算其形态学梯度图，并进行多尺度形态学梯度重建，获得保留物体有效轮廓信息的梯度重建图；然后进行基于分水岭的超像素分割方法，生成具有精确边界的超像素图像，将其直方图谷点作为阈值进行逆光区域分类；对逆光图像使用不同的伽马参数进行校正，获取欠曝光图像和过度曝光图像，对源图像、两幅曝光图像分别进行边缘检测，获取其边缘图；最后进行交并运算，得到最终的增强图像。本发明解决了现有技术中存在的算法复杂度高、运行耗时过长、局部增强过度、恢复的逆光区域与正常背景之间亮度不协调等问题。

Description

结合逆光区域分割与自适应曝光校正的图像增强方法

技术领域

本发明属于逆光图像增强技术领域，具体涉及一种结合逆光区域分割与自适应曝光校正的图像增强方法。

背景技术

生活中由于光照环境、光照角度或恶劣天气的影响，经常会拍摄出质量不佳的图像，本文主要研究逆光条件下所获图像的增强方法。逆光图像往往主体亮度低，与周围环境形成巨大的反差，导致图像中的重要区域不易被人的视觉感官所接受，更不能被机器快速识别。目前，针对逆光图像的研究甚少，有许多问题亟待进一步剖析和解决，如现有增强算法存在未充分考虑光照正常区域与曝光不足区域的亮度差异问题，易导致局部区域曝光过度或增强不足；基于区域分割的逆光图像算法依赖于阈值计算的准确性或分类、分割的精确度，往往过程复杂且运行耗时过长。因此，如何快速检测和判别出逆光区域并对其进行与背景亮度相协调的自适应增强具有重要的研究意义。

目前，专门针对逆光图像的增强算法大致从两个角度出发：基于特征融合的增强方法和基于区域分割的增强方法。特征融合方法可以通过不同的色调映射函数将多尺度特征融合为单一特征，以恢复图像的亮度、对比度、细节轮廓和颜色等信息。这些输入通常提高了逆光图像的对比度，细节信息，轮廓信息等，再引入权值映射来增强图像的可见性。但针对不同损失程度和角度的逆光图像直接使用该类方法，仍会出现局部区域增强不足、色彩或对比度失真等问题。从分割角度出发的算法，通常是对对逆光图像中的逆光前景和其他背景进行划分，然后分别用不同的色调映射函数增强后再组合。虽然这类方法考虑到了不同区域的亮度差异，但依赖于阈值计算的准确性或分类、分割的精确度，不仅过程复杂、耗时长，还具有一定的局限性。

发明内容

本发明的目的是提供一种结合逆光区域分割与自适应曝光校正的图像增强方法，解决了现有技术中存在的算法复杂度高、运行耗时过长、局部增强过度、恢复的逆光区域与正常背景之间亮度不协调等问题。

本发明所采用的技术方案是，结合逆光区域分割与自适应曝光校正的图像增强方法，具体按照以下步骤实施：

步骤1、输入原始逆光图像，计算其形态学梯度图，并进行多尺度形态学梯度重建，获得保留物体有效轮廓信息的梯度重建图；

步骤2、利用步骤1所得梯度图进行基于分水岭的超像素分割方法，生成具有精确边界的超像素图像，将其直方图谷点作为阈值进行逆光区域分类；

步骤3、对逆光图像使用不同的伽马参数进行校正，获取欠曝光图像和过度曝光图像，对源图像、两幅曝光图像分别进行边缘检测，获取其边缘图；

步骤4、将步骤3得到的三幅边缘图按一定规则进行交并运算，计算出细节可恢复度作为曝光调节的参数，对步骤2判别出的逆光区域进行自适应校正，得到最终的增强图像。

本发明的特点还在于，

步骤1具体如下：

输入原始逆光图像I，从图像的膨胀结果中减去腐蚀结果，产生形态学梯度，对于一副图像f(x，y)，梯度图g(x，y)用公式(1)表示：

其中，s(x，y)为圆盘状结构元素，

和

分别表示膨胀运算和腐蚀运算；

形态学开闭重建的定义分别用公式(2)和公式(3)表示：

C_S(g)＝R_f[(g·S)] (3)

式中，O表示形态学开重建结果，C表示形态学闭重建结果，S为圆盘状结构元素，f和g分别表示原始图像和梯度图像，R表示重建运算，

和·分别表示形态学开运算和形态学闭运算。O与C都能够去除梯度图像中的区域最小值来避免过分割，两者结合的混合运算可更好地平滑图像并去除噪声，用公式(4)表示：

CO_s(g)＝C_S[O_S(g)] (4)

多尺度形态学梯度重建算法MMGR，用公式(5)表示：

式中，

表示对图像f进行多尺度形态学梯度重建的结果，

表示图像f的混合重建结果，r1、r2分别表示圆盘状结构元S的最小半径和最大半径，用来控制最小和最大区域的大小，r1≤r≤r2，r1，r2∈N+。g≤f，∨表示计算出这些混合重建结果的点态最大值，以此获取输入图像的多尺度形态学梯度重建图R。

步骤2具体如下：

步骤2.1、利用所述步骤1得到的重建梯度图R进行基于分水岭的分割算法：通过检测R的局部极小值，并搜索出与极小值的灰度相近的邻域像素，当相邻的两个极小值对应的邻域像素相遇时，就可以确定局部区域的轮廓水线，由此可以较为准确分割出不同的区域，生成具有精确边界的超像素图像P；

步骤2.2、首先对超像素图像P中的每个区域分别计算平均亮度，然后利用其灰度直方图的波谷作为阈值对各区域进行分类：平均灰度值小于阈值的区域可被归类为逆光区I_B，其它则归类为曝光正常区域I_O；

步骤3具体如下：

步骤3.1、将输入的逆光图像I转换为灰度图G，对其分别做γ＝2.2和γ＝0.455的伽马变换，得到欠曝光图像G^L和过曝光图像G^H；

步骤3.2、对步骤3.1得到的原灰度图G与两幅不同程度曝光图像G^L、G^H分别使用Canny边缘检测：首先，使用高斯滤波平滑图像，同时增大边缘宽度；其次，计算梯度值和方向；然后，抑制非极大值，需要进行边缘细化以保留梯度变化中的锐利部分；最后，使用双阈值检测边缘，去除可能的非边缘点。使用Canny检测算子后得到原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像E^γ-1。

步骤4具体如下：

利用所述步骤3得到的原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像E^γ-1分别计算暗区边缘像素图像E^L和亮区的边缘像素图像E^H，分别表示为：

E^L＝E^γ-1-E^γ∩E^γ-1 (6)

E^H＝E^γ-E^γ∩E^γ-1 (7)

暗区的细节可视度ξ_L和亮区的细节可视度ξ_H分别表示为：

ξ_L＝|E^L|/|E^all|，ξ_H＝|E^H|/|E^all| (8)

其中|·|表示像素数量，E^all为E、E^γ、

的并集；

对步骤2所得阈值分类图像其中的逆光区I_B进行曝光校正，校正后逆光区域的定义如下：

表示增强后的逆光区域，而曝光正常区域I_O保持不变，由此获取最终的增强图像。

本发明的有益效果是，一种结合逆光区域分割与自适应曝光校正的图像增强方法，通过对逆光图像进行多尺度形态学梯度重建，最大程度上保留物体的有效轮廓信息，提高分割的精确度；其次利用超像素图像的直方图峰谷作为阈值进行逆光区域分类，大大提升了算法效率；最后对不同曝光程度的图像进行边缘检测并计算细节可恢复度，提出新的曝光调节参数对逆光区域进行自适应校正。不仅避免了对比度失真、颜色信息丢失、边缘伪影和增强不足等问题，图像中的信息也恢复地较为完整，提高了图像质量。

附图说明

图1(a)是本发明结合逆光区域分割与自适应曝光校正的图像增强方法的流程图；

图1(b)是本发明结合逆光区域分割与自适应曝光校正的图像增强方法的算法框架图；

图2是本发明实施例中输入的原始逆光图像；

图3是本发明实施例原始逆光图像对应的形态学梯度图；

图4是本发明实施例中的多尺度梯度重建图；

图5是本发明实施例中的基于分水岭的超像素分割图像；

图6是本发明实施例中超像素图像的直方图及阈值设置图；

图7是本发明实施例中利用γ＝2.2值对逆光图像进行伽马变换后获取的欠曝光图像；

图8是本发明实施例中利用γ＝0.455值对逆光图像进行伽马变换后获取的过曝光图像；

图9是本发明实施例中对输入逆光图像进行Canny边缘检测的结果示意图；

图10是本发明实施例中对欠曝光图进行Canny边缘检测的结果示意图；

图11是本发明实施例中对过曝光图进行Canny边缘检测的结果示意图；

图12是本发明实施例中的暗区边缘像素图像；

图13是本发明实施例中的亮区边缘像素图像；

图14是本发明实施例使用细节可恢复度计算出的校正参数对逆光区域进行增强的结果示意图。

图15是使用对比度受限的自适应直方图均衡化增强算法对逆光图像进行增强的结果示意图；

图16是使用带色彩恢复的多尺度Retinex算法对逆光图像进行增强的结果示意图。

图17是使用同时估计反射率和照度的加权变分模型对逆光图像进行增强的结果示意图。

图18是使用基于学习的逆光图像恢复算法对逆光图像进行增强的结果示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明结合逆光区域分割与自适应曝光校正的图像增强方法，流程图如图1(a)所示，图1(b)为本发明的算法框架图，第一部分是用重建的梯度图辅助分水岭方法进行图像分割，获取具有精确边界的超像素图像，再用其直方图的谷点作为阈值输入图像分为逆光区域和其他区域；第二部分是使用不同的伽马值进行灰度变换获取欠曝光图像和过曝光图像，用Canny检测算子对图像进行边缘检测，获取逆光区与背景区的细节可恢复度，并进一步计算曝光调节的参数，对逆光区域进行自适应校正，使恢复图像的整体视觉效果更加自然；

本发明结合逆光区域分割与自适应曝光校正的图像增强方法，具体按照以下步骤实施：

步骤1、输入原始逆光图像，如图2所示，计算其形态学梯度图，并进行多尺度形态学梯度重建，获得保留物体有效轮廓信息的梯度重建图；

步骤1具体如下：

输入原始逆光图像I，从图像的膨胀结果中减去腐蚀结果，产生形态学梯度，如图3所示。形态学梯度的运算具有非线性，能在增强图像对比度的同时保持图像中较平滑的区域，对于一副图像f(x，y)，梯度图g(x，y)用公式(1)表示：

其中，s(x，y)为圆盘状结构元素，

和

分别表示膨胀运算和腐蚀运算；

但形态学梯度图像中依然存在噪声细节，因此采用形态学开闭运算进行梯度重建来更好地进行图像去噪与特征提取。开闭运算可将图像中的峰值(过亮点)或谷值(过暗点)消除，如果用一个结构元素对图像使用开操作(先腐蚀后膨胀)，就能将图像中小于该结构元素的类似噪声(过亮点)去除且保持主要的亮区特征不变。同理使用闭操作(先膨胀后腐蚀)可去除过暗结构，图中细小缺口被填充。形态学开重建是先做开运算再进行重建，以去除图中目标的多余噪声再恢复其形状；形态学闭重建则是先做闭运算再进行重建，以补充目标的缺失细节，再腐蚀多余点。形态学开闭重建的定义分别用公式(2)和公式(3)表示：

C_S(g)＝R_f[(g·S)] (3)

式中，O表示形态学开重建结果，C表示形态学闭重建结果，S为圆盘状结构元素，f和g分别表示原始图像和梯度图像，R表示重建运算，

和·分别表示形态学开运算和形态学闭运算。O与C都能够去除梯度图像中的区域最小值来避免过分割，两者结合的混合运算可更好地平滑图像并去除噪声，用公式(4)表示：

CO_s(g)＝C_S[O_s(g)] (4)

形态学开闭重建运算能在图像平滑处理中完全去除或保留那些比当前尺度小的区域细节。较小的结构元素半径能更精确的定位区域轮廓，结构元素变大后图像中局部极值会消失，且不产生新极值，由此避免过分割。但由于平滑程度依赖于结构元素的大小，因此当S较大时易导致分割过度，而S值过小又会导致分割不足。因此，直接使用形态学梯度重建算法很难获得区域较少而轮廓准确的超像素图像。为了平衡图像区域数量与轮廓精度这一问题，使用不同的结构元素重建梯度图像并将这些梯度图像进行融合，以去除不同大小的结构元素导致的分割结果对梯度图像的依赖性。这种方法就叫多尺度形态学梯度重建算法MMGR，用公式(5)表示：

式中，

表示对图像f进行多尺度形态学梯度重建的结果，

表示图像f的混合重建结果，r1、r2分别表示圆盘状结构元S的最小半径和最大半径，用来控制最小和最大区域的大小，r1≤r≤r2，r1，r2∈N+，g≤f，∨表示计算出这些混合重建结果的点态最大值，以此获取输入图像的多尺度形态学梯度重建图R，如图4所示。

步骤2、利用步骤1所得梯度图进行基于分水岭的超像素分割方法，生成具有精确边界的超像素图像，将其直方图谷点作为阈值进行逆光区域分类；

步骤2具体如下：

步骤2.1、利用所述步骤1得到的重建梯度图R进行基于分水岭的分割算法。分水岭算法是一种多阈值分割算法，当存在两个相邻低谷(局部极小值)时，两个盆地的水平面高度即为一个阈值，阈值升高意味着水位上升，当阈值升高到分水岭处，则两个积水盆地的水会融为一体。简单来说，就是通过检测R的局部极小值，并搜索出与极小值的灰度相近的邻域像素，当相邻的两个极小值对应的邻域像素相遇时，就可以确定局部区域的轮廓水线，由此可以较为准确分割出不同的区域，生成具有精确边界的超像素图像P，如图5所示；

步骤2.2、由于逆光图像I的灰度范围较广，且大部分像素都集中在暗区和亮区，因此可以对其进行区域检测并分为两类。而步骤2.1获取的超像素图像P中区域数量较少，大幅降低了图像中存在灰度值差异的像素数量，因此可以进一步加快区域分类的速度。首先对超像素图像P中的每个区域分别计算平均亮度，然后利用其灰度直方图的波谷作为阈值对各区域进行分类：平均灰度值小于阈值的区域可被归类为逆光区I_B，其它则归类为曝光正常区域I_O。如图6所示。

步骤3、对逆光图像使用不同的伽马参数进行校正，获取欠曝光图像和过度曝光图像，对源图像、两幅曝光图像分别进行边缘检测，获取其边缘图；

步骤3具体如下：

步骤3.1、将输入的逆光图像I转换为灰度图G，对其分别做γ＝2.2和γ＝0.455的伽马变换，得到欠曝光图像G^L和过曝光图像G^H，如图7和图8所示。由于图像的边缘信息通常集中在高频部分，因此边缘检测实质上就是高频率波；

步骤3.2、对步骤3.1得到的原灰度图G与两幅不同程度曝光图像G^L、G^H分别使用Canny边缘检测：首先，使用高斯滤波平滑图像，同时增大边缘宽度；其次，计算梯度值和方向；然后，抑制非极大值，由于所得梯度边缘较宽，因此需要进行边缘细化以保留梯度变化中的锐利部分；最后，使用双阈值检测边缘，去除可能的非边缘点。使用Canny检测算子后得到原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像E^γ-1，如图9-图11所示。

步骤4、将步骤3得到的三幅边缘图按一定规则进行交并运算，计算出细节可恢复度作为曝光调节的参数，对步骤2判别出的逆光区域进行自适应校正，得到最终的增强图像。

步骤4具体如下：

利用所述步骤3得到的原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像E^γ-1分别计算暗区边缘像素图像E^L和亮区的边缘像素图像E^H，分别表示为：

E^L＝E^γ-1-E^γ∩E^γ-1 (6)

E^H＝E^γ-E^γ∩E^γ-1 (7)

图12和图13分别展示了上述两幅边缘像素图像。暗区的细节可视度ξ_L和亮区的细节可视度ξ_H分别表示为：

ξ_L＝|E^L|/|E^all|，ξ_H＝|E^H|/|E^all| (8)

其中|·|表示像素数量，E^all为E、E^γ、

的并集；

对步骤2所得阈值分类图像其中的逆光区I_B进行曝光校正，校正后逆光区域的定义如下：

表示增强后的逆光区域，而曝光正常区域I_O保持不变，由此获取最终的增强图像。

将本文方法的结果与现有的一些图像增强方法进行比较。通常对比度受限的自适应直方图均衡化(CLAHE)方法会使输出图像的对比度失真，在背景区域出现彩色光晕，如图15所示。而MSRCR方法在多尺度Retinex中加入了色彩恢复因子以避免图像的色彩失真，但仍无法完全保留图像中的颜色信息，增强图像整体偏灰白色，如图16所示。SRIE方法能在一定程度上抑制噪声并有效保留图像细节，但应用于逆光图像时往往无法对图像中的暗区进行有效增强，如图17所示。LBR方法受到分割精度的影响易导致区域连接边界失真，如图18所示。

与图15-18相比，本发明的处理结果如图14所示。不仅有效分割的逆光区域，同时也通过提升亮度使图像的细节和颜色信息得到了有效恢复，还避免了边缘伪影的现象，图像整体的视觉效果更加自然。

通过上述方式，本发明结合逆光区域分割与自适应曝光校正的图像增强方法，对逆光图像使用了基于形态学梯度重建的超像素分割，进行了快速阈值分类，并计算出自适应曝光调节参数对逆光区域进行增强。与现有的逆光图像增强方法相比，避免了对比度失真、颜色信息丢失、边缘伪影和增强不足等问题，且有效恢复了图像的细节信息，提高图像质量。

Claims (5)

1.结合逆光区域分割与自适应曝光校正的图像增强方法，其特征在于，具体按照以下步骤实施：

步骤1、输入原始逆光图像，计算其形态学梯度图，并进行多尺度形态学梯度重建，获得保留物体有效轮廓信息的梯度重建图；

步骤2、利用步骤1所得梯度图进行基于分水岭的超像素分割方法，生成具有精确边界的超像素图像，将其直方图谷点作为阈值进行逆光区域分类；

步骤3、对逆光图像使用不同的伽马参数进行校正，获取欠曝光图像和过度曝光图像，对源图像、两幅曝光图像分别进行边缘检测，获取其边缘图；

步骤4、将步骤3得到的三幅边缘图按一定规则进行交并运算，计算出细节可恢复度作为曝光调节的参数，对步骤2判别出的逆光区域进行自适应校正，得到最终的增强图像。

2.根据权利要求1所述的结合逆光区域分割与自适应曝光校正的图像增强方法，其特征在于，所述步骤1具体如下：

输入原始逆光图像I，从图像的膨胀结果中减去腐蚀结果，产生形态学梯度，对于一副图像f(x，y)，梯度图g(x，y)用公式(1)表示：

其中，s(x,y)为圆盘状结构元素，

和

分别表示膨胀运算和腐蚀运算；

形态学开闭重建的定义分别用公式(2)和公式(3)表示：

C_S(g)＝R_f[(g·S)] (3)

式中，O表示形态学开重建结果，C表示形态学闭重建结果，S为圆盘状结构元素，f和g分别表示原始图像和梯度图像，R表示重建运算，

和·分别表示形态学开运算和形态学闭运算，O与C都能够去除梯度图像中的区域最小值来避免过分割，两者结合的混合运算可更好地平滑图像并去除噪声，用公式(4)表示：

CO_S(g)＝C_S[O_S(g)] (4)

多尺度形态学梯度重建算法MMGR，用公式(5)表示：

式中，

表示对图像f进行多尺度形态学梯度重建的结果，

表示图像f的混合重建结果，r1、r2分别表示圆盘状结构元S的最小半径和最大半径，用来控制最小和最大区域的大小，r1≤r≤r2，r1，r2∈N+，g≤f，∨表示计算出这些混合重建结果的点态最大值，以此获取输入图像的多尺度形态学梯度重建图R。

3.根据权利要求2所述的结合逆光区域分割与自适应曝光校正的图像增强方法，其特征在于，所述步骤2具体如下：

步骤2.1、利用所述步骤1得到的重建梯度图R进行基于分水岭的分割算法：通过检测R的局部极小值，并搜索出与极小值的灰度相近的邻域像素，当相邻的两个极小值对应的邻域像素相遇时，就可以确定局部区域的轮廓水线，由此可以较为准确分割出不同的区域，生成具有精确边界的超像素图像P；

步骤2.2、首先对超像素图像P中的每个区域分别计算平均亮度，然后利用其灰度直方图的波谷作为阈值对各区域进行分类：平均灰度值小于阈值的区域可被归类为逆光区I_B，其它则归类为曝光正常区域I_O。

4.根据权利要求3所述的结合逆光区域分割与自适应曝光校正的图像增强方法，其特征在于，所述步骤3具体如下：

步骤3.1、将输入的逆光图像I转换为灰度图G，对其分别做γ＝2.2和γ＝0.455的伽马变换，得到欠曝光图像G^L和过曝光图像G^H；

步骤3.2、对步骤3.1得到的原灰度图G与两幅不同程度曝光图像G^L、G^H分别使用Canny边缘检测：首先，使用高斯滤波平滑图像，同时增大边缘宽度；其次，计算梯度值和方向；然后，抑制非极大值，需要进行边缘细化以保留梯度变化中的锐利部分；最后，使用双阈值检测边缘，去除可能的非边缘点，使用Canny检测算子后得到原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像

5.根据权利要求4所述的结合逆光区域分割与自适应曝光校正的图像增强方法，其特征在于，所述步骤4具体如下：

利用所述步骤3得到的原始边缘图像E、欠曝光图的边缘图像E^γ和过曝光图的边缘图像

分别计算暗区边缘像素图像E^L和亮区的边缘像素图像E^H，分别表示为：

暗区的细节可视度ξ_L和亮区的细节可视度ξ_H分别表示为：

ξ_L＝|E^L|/|E^all|,ξ_H＝|E^H|/|E^all| (8)

其中|·|表示像素数量，E^all为E、E^γ

的并集；

对步骤2所得阈值分类图像其中的逆光区I_B进行曝光校正，校正后逆光区域的定义如下：

表示增强后的逆光区域，而曝光正常区域I_O保持不变，由此获取最终的增强图像。

Images