CN110570360B - 一种基于Retinex的鲁棒和全面的低质量光照图像增强方法 - Google Patents

Abstract

本发明涉及一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，属于图像处理技术领域。首先，引入亮通道对Retinex模型中的亮度图像进行初步估计；其次，通过两个形态学闭算子来修改全局的光照强度分布；然后，使用导向滤波器修正人造边缘，得到估计的照明图像；最后，使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像。相比于其他基于Retinex的增强方法，本发明的方法增强效果更好、亮度增强后更均匀，不会产生伪影，不会在边缘处产生过度锐利的效果。

Description

一种基于Retinex的鲁棒和全面的低质量光照图像增强方法

技术领域

本发明涉及一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，属于图像处理技术领域。

背景技术

外界光照环境会影响图像采集设备的最终成像效果。例如在白天光照充足且均匀分布的条件下，图像采集设备能够得到很好的成像效果。但是，在光照不均匀或光照较差的环境下，例如阴影，有光源的较暗区域，或夜晚或者低光照的室内，例如在白天成像中含有光照区域和非光照区域的图像、晚上成像中含有灯光区域和无灯光区域、夜景等情况。在成像环境中，亮度较低或亮度分布不均匀的情况将导致成像结果出现较暗部分细节不清晰、易受噪声影响、特征不明显或受光照影响出现伪物体特征，给后期的识别、分割、检测、跟踪等操作造成困难，同时，不均匀的光照图像，也会给大大的降低主观的视觉效果。因此对于亮度不均匀图像以及低亮度图像的前期增强必要且刻不容缓。目前存在的各种低照度增强方法大部分用的是直方图均衡化以及其后期的各种优化，例如带限制的自适应直方图均衡化等。还有少部分采用的是Retinex算法以及在上面的改进，其中包括改进入射光的估计方式和增强后的优化，改进的入射光的估计方式目前最前沿的属于通过优化理论，保持整体框架不变的前提下模糊掉细节区域，但是它自身存在一些问题，自然界中入射光是绝对大于或等于反射光的，它的模糊方式与光的传播与反射方式不符，存在大面积的像素点估计的入射光小于反射光的情况，导致增强后图像过度曝光，降低图像质量。后期的优化主要包括后期增强后提高分辨率和对比度，主要有直方图均衡化以及提取细节后与增强后图像融合的方式提升对比度等。在后期的处理中，图像对比度在提高的同事也放大了噪声，降低了图像质量。同时，若RGB三个通道进行不同尺度的拉伸，会导致图像的色彩发生不同程度的偏移现象，如果严重，甚至会导致色彩失真。

发明内容

本发明要解决的技术问题是提供一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，用以解决临床医学、机器视觉、图像识别、公共交通与安全等领域在较暗的低质量的光照条件下分析难、识别难、图像信息含量低的问题。

本发明的技术方案是：一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，首先，引入亮通道对Retinex模型中的亮度图像进行初步估计；其次，通过两个形态学闭算子来修改全局的光照强度分布；然后，使用导向滤波器修正人造边缘，得到估计的照明图像；最后，使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像。

具体步骤为：

Step1：引入亮通道对Retinex模型中的亮度图像进行初步估计，它不仅和真实的光照图像更加的接近，同时也保持了在增强过程中色彩的恒常性；

输入一幅低照度图像，通过亮通道取R、G、B三个通道最大值作为初步估计的入射光图像，估计出一副亮度图像，相关公式表示为：

式中，a表示像素点位置，X、Y分别表示图像横纵向像素点最大值，Ω(a)表示a点的R、G、B三个通道的值，max表示取最大值，L_light表示像素点RGB三个通道的最大值；

Step2：通过两个形态学闭算子来修改全局的光照强度分布；通过双尺度闭操作融合的办法来修改亮通道估计的光照图像。使入射光的估计更加的精确且估计的光照图像与真实场景下的光照在亮度边缘部分一致。有效的降低了梯度反转的现象；最后，为了校正前面估计的亮度图像中丢失的边缘信息和人造的边缘信息。

闭算子的实现流程为：首先通过卷积获取局部区域内最大值，然后对得到的最大值图像再次卷积获取窗口内最小值，公式表示为：

式中，L_max表示取像素点周围区域最大值，L_close表示取像素点周围区域最小值，α表示以像素点a为中心的方形窗口区域的像素点；因此，闭操作可以表示为：

L_close＝L_erode(L_dilate(L_light)),a∈(X,Y) (4)

在这一节中，使用两个不同窗口的闭算子对亮通道图像修改，得到两幅亮度图像，分别将其作为背景和细节进行融合，得到一幅估计的亮度图像，其亮度分布与真实光照分布一致。融合公式可以表示为：

L_fusion＝(L_close1+L_close2)/2 (5)

其中，下标close1和close2分别表示不同的闭操作窗口；

Step3：使用导向滤波器修正人造边缘，得到估计的照明图像；校正了前面估计的亮度图像中丢失的边缘信息和人造的边缘信息，使估计的亮度图像保留了图像边缘整体结构的同时，平滑掉了纹理的细节。

采用导向滤波器修正Step2中得到的光照图像，其中引导图像为亮通道图像，即L_light，使结果在修正人造边缘的前提下，既保留图像整体结构，又平滑了纹理细节。在导向滤波中，通过输出图像与引导图像的梯度存在线性关系的先验来达到矫正边缘的目的，导向滤波表述为：

其中i,j均表示像素点的位置，滤波核W_ij是引导图像I的函数，表示引导图像确定卷积过程中各像素点权值，与p无关，引导图像和输出图像线性相关用公式表示为：

式中，ω_k是半径为r的卷积核，(a_k,b_k)是ω_k的线性系数常量，以上函数确保了当且仅当I存在边缘的情况下，输出结果q才存在边缘，因为

通过最小优化函数和岭回归求出a_k和b_k的值为：

其中，μ_k，

分别表示的是均值和方差，|ω|表示的是ω_k像素的数量，

表示的是p在ω_k的均值，表示为

不同窗口计算出来的p_i估计值不同。

最终得到像素点i的值为：

Step4：使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像；估计的入射光对增强的结果具有非常好的效果，包括增强暗区域亮度、增加视觉特征、保持色彩的自然和恒常、避免了伪影和过度增强并消除了不正确的光线偏移。

Retinex算法为：

S(x,y)＝R(x,y)·L(x,y) (11)

其中，S(x,y)为输入图像，L(x,y)是估计的光照图像，R(x,y)为增强后的图像；

其中，L(x,y)估计数学表达形式相关演化公式为：

最终，增强后的图像R(x,y)为：

其中，eps表示所能读取到的大于零的最小值。

本发明的有益效果是：相比于其他基于Retinex的增强方法，本发明的方法增强效果更好、亮度增强后更均匀，不会产生伪影，不会在边缘处产生过度锐利的效果。

附图说明

图1是本发明的方法流程图；

图2是本发明实施例中物体反射不同颜色光的能力对比图像；

图3是本发明实施例中亮通道入射光估计实验展示图像；

图4是本发明实施例中亮通道估计存在的问题示意图；

图5是本发明实施例中形态学闭操作矫正光照边缘图像；

图6是本发明实施例中用于估计光照图像的多尺度闭操作实验图像；

图7是本发明实施例中实现流程图中的每个步骤图像；

图8是本发明实施例中提出方法的实验图像；

图9是本发明实施例中结果图像与其他现有增强方法图像的比较图；

图10是本发明实施例中图9中的细节图；

图11是本发明实施例中本申请与现有增强方法结果的灰度直方图；

图12是本发明实施例中原始图像及其用本申请后的增强图像。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步说明。

一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，首先，引入亮通道对Retinex模型中的亮度图像进行初步估计，不仅使本发明中的算法估计的亮度图像与真实的光照图像更加的接近，同时，因为对三个通道等比例增强，最终增强后图像的色彩信息会与原始图像一致。其次，为了使入射光的估计更加的精确且矫正亮通道步骤中产生的光照边缘向低光照部分偏移的现象，通过两个形态学闭算子来修改全局的光照强度分布；此外，为了避免估计的亮度图像中出现人造边缘和增强后的图像中出现噪声方法和边缘过度平滑的视觉特征，在上面的闭操作环节本发明采用双尺度的闭操作融合的方式来估计入射光，得到的入射光既有效的降低了人造边缘过于尖锐性质，同时，保持了增强后的结果与输入图像的整体亮度梯度的一致性，有效的降低了梯度反转的现象；最后，为了校正前面估计的亮度图像中丢失的边缘信息和人造的边缘信息，采用引导图像为初始亮通道的导向滤波处理前面估计的结果，最终估计出来的入射光保留了图像边缘整体结构的同时，平滑掉了纹理的细节。最终，以Retinex算法对输入图像进行增强，入射光图像用前面估计的亮度图像。估计的入射光对增强的结果具有非常好的效果，包括增强暗区域亮度、增加视觉特征、保持色彩的自然和恒常、避免了伪影和过度增强并消除了不正确的光线偏移。

具体步骤为：

Step1：引入亮通道对Retinex模型中的亮度图像进行初步估计，它不仅和真实的光照图像更加的接近，同时也保持了在增强过程中色彩的恒常性；

输入一幅低照度图像，通过亮通道取R、G、B三个通道最大值作为初步估计的入射光图像，估计出一副亮度图像，相关公式表示为：

式中，a表示像素点位置，X、Y分别表示图像横纵向像素点最大值，Ω(a)表示a点的R、G、B三个通道的值，max表示取最大值，L_light表示像素点RGB三个通道的最大值；

引入亮通道在Retinex中对光照图像进行初步估计有着不可忽视的优点。第一，在亮通道中采用RGB三个通道估计出同一个亮度图像，在Retinex增强中，RGB三个通道值等比例变化，保持色彩恒常；第二，在入射光估计的准确性更高，得出的结果能够很好的抑制过度曝光现象，且得到的图像更加的自然，原因是因为一个物体对不同光照的反射能力不同，但是像素点最接近真实光照的是在RGB三个通道中对光照的反射能力最强的通道。

Step2：通过两个形态学闭算子来修改全局的光照强度分布；通过双尺度闭操作融合的办法来修改亮通道估计的光照图像。使入射光的估计更加的精确且估计的光照图像与真实场景下的光照在亮度边缘部分一致。有效的降低了梯度反转的现象；最后，为了校正前面估计的亮度图像中丢失的边缘信息和人造的边缘信息。

由于单纯的亮通道估计入射光会存在光线偏移的现象，在增强后的结果中会表现为在边缘处，较暗的一面会存在一条黑线，黑线的宽与偏离真实边缘的距离有关，因此，需要用到形态学的闭操作对估计的光照图像的边缘进行一个初步的校正。闭算子的实现流程为：首先通过卷积获取局部区域内最大值，然后对得到的最大值图像再次卷积获取窗口内最小值，公式表示为：

式中，L_max表示取像素点周围区域最大值，L_close表示取像素点周围区域最小值，α表示以像素点a为中心的方形窗口区域的像素点；因此，闭操作可以表示为：

L_close＝L_erode(L_dilate(L_light)),a∈(X,Y) (4)

在这一节中，使用两个不同窗口的闭算子对亮通道图像修改，得到两幅亮度图像，分别将其作为背景和细节进行融合，得到一幅估计的亮度图像，其亮度分布与真实光照分布一致。融合公式可以表示为：

L_fusion＝(L_close1+L_close2)/2 (5)

其中，下标close1和close2分别表示不同的闭操作窗口；

由于单尺度闭操作在卷积窗口较小时存在一个亮度图像估计不够准确的问题，会存在区域性过度曝光和梯度反转的现象。因此，本专利在闭操作部分引入了融合的双尺度闭操作的方法。在该部分将一个较小窗口闭操作得到的结果和一个较大窗口闭操作得到的结果融合，较小的窗口保留了大部分光照边缘信息，较大的窗口反映可整体的光照趋势，融合后的入射光图像在整体上和输入图像光照变化趋势一致，在局部也能较好的保留一些光照细节。最终得到的增强后图像几乎不存在过度曝光现象，同时该步骤对噪声有明显的抑制作用，且梯度变化与输入图像几乎一致，几乎不存在梯度反转的现象。

Step3：使用导向滤波器修正人造边缘，得到估计的照明图像；校正了前面估计的亮度图像中丢失的边缘信息和人造的边缘信息，使估计的亮度图像保留了图像边缘整体结构的同时，平滑掉了纹理的细节。

采用导向滤波器修正Step2中得到的光照图像，其中引导图像为亮通道图像，即L_light，使结果在修正人造边缘的前提下，既保留图像整体结构，又平滑了纹理细节。在导向滤波中，通过输出图像与引导图像的梯度存在线性关系的先验来达到矫正边缘的目的，导向滤波表述为：

其中i,j均表示像素点的位置，滤波核W_ij是引导图像I的函数，表示引导图像确定卷积过程中各像素点权值，与p无关，引导图像和输出图像线性相关用公式表示为：

式中，ω_k是半径为r的卷积核，(a_k,b_k)是ω_k的线性系数常量，以上函数确保了当且仅当I存在边缘的情况下，输出结果q才存在边缘，因为

通过最小优化函数和岭回归求出a_k和b_k的值为：

其中，μ_k，

分别表示的是均值和方差，|ω|表示的是ω_k像素的数量，

表示的是p在ω_k的均值，表示为

不同窗口计算出来的p_i估计值不同。

最终得到像素点i的值为：

Step4：使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像；估计的入射光对增强的结果具有非常好的效果，包括增强暗区域亮度、增加视觉特征、保持色彩的自然和恒常、避免了伪影和过度增强并消除了不正确的光线偏移。

Retinex算法为：

S(x,y)＝R(x,y)·L(x,y) (11)

其中，S(x,y)为输入图像，L(x,y)是估计的光照图像，R(x,y)为增强后的图像；

其中，L(x,y)可表述为：

可演化公式为：

公式(14)存在一个缺点，即在L(x,y)中像素点的值为0时，会导致结果无穷大，产生盐白噪声，影响实验结果。为了避免这种情况，最终，增强后的图像R(x,y)为：

其中，eps表示所能读取到的大于零的最小值。在不影响数据结果的情况下避免了分母为零的情况。通过公式(15)计算出来的结果即为增强后的图像。

所述低质量光照图像分为极低亮度、点光源、背光、阴影等低质量光照环境下捕获到的低质量图像。

具体的说：

如图1所示，大致步骤为通过方法估计出入射光，然后通过Retinex算法对输入图像进行增强。在入射光的估计中，首先引入亮通道思想对入射光进行初步估计；其次，通过双尺度融合的闭操作对估计的入射光进行边缘矫正，并平滑过程中出现的人造边缘的梯度；最后，通过导向滤波矫正图像边缘和模糊纹理，得到一副整体框架不变且细小纹理模糊的光照图像。其中估计的亮度图像对RGB三个通道分别进行处理。在图7中，能够清晰的看到实验中的每个步骤所得到的结果。图7是实验中每个步骤的结果图像。第一行表示原始图像和RGB三个通道的灰度图；第二行分别表示导向滤波后的图像、双尺度闭操作融合后图像、小核闭操作估计的光照图像和大核闭操作估计的亮度图像；第三行表示的是增强后的结果图像和结果图像的RGB三个通道的灰度图。

图2表示的是物体反射不同颜色光的反射能力，其中A表示的是物体，B表示的是三束强度相同、颜色不同的光照，C表示的是B照射在A上得到的图像，从图中可以很明显的看到，不同物体对不同颜色光照的反射能力不同，而最亮的那一束反射图像与真实光照图像更加的接近。它证明了在无色彩偏移的光照的输入图像中，RGB三个通道中最大值的那个与真实入射光更加的接近，这从侧面说明了亮通道的可行性。图3是亮通道的入射光估计实验，它从正面证明了亮通道估计入射光的可行性。

图4展示的是亮通道估计存在的问题。因为在亮通道的估计中，取像素点周围最大值作为该点的入射光存在一个问题，那就是在光照边缘部分，取像素点周围区域的最大值的操作会导致估计的入射光图像的光照边缘会向较暗区域偏移。

图5表示的是形态学闭操作矫正光照边缘。其中，第一列表示的是模拟的光照图像和物体图像，第二列表示的是亮通道估计的亮度图像和增强后的结果，第三列表示的是使用形态学闭操作后估计的光照图像和得到的结果。从图中可以看出，采用形态学闭操作后，得到的结果在边界处的黑色线条消失，闭操作矫正了在亮通道过程中产生的亮度边缘偏移的问题，证明了形态学闭操作在实验过程中的可行性。

图6表示的是但尺度小核和大核估计的亮度图像及其得到的结果以及融合后估计的亮度图像和得到的结果。第一列表示小核闭操作估计的入射光和得到的结果，第二列为大核闭操作估计的入射光和得到的结果，第三列为融合估计的入射光和得到的结果，其中，a为原始图像。从结果中可以看到，融合后估计的亮度图像及其结果看着最为自然，最符合人类视觉系统。

图8表示使用导向滤波的优势以及融合滤波在实际场景中的优势。如图，a为原始图像，b、c、d、e分别为单尺度的闭操作估计的光照图像，双边滤波对b估计的光照图像，导向滤波对b估计的入射光图像，以及融合闭操作后使用导向滤波估计的入射光图像。它们下方的图像均是以它们作为估计的光照图像进行Retinex增强后得到的结果，从图中可以很明显的看到，在f和g中存在明显的人造边缘，在h和i中消失，且在天空中的云彩部分，可以看到i相比较于h更加的柔和。表示在其他条件不变的情况下，融合的闭操作相比于单尺度的闭操作估计的入射光在保持整体框架不变的情况下更加的准确，也就是保留的光照边缘更多。

图8-12均是从主观的角度证明本专利的方法在实际应用中从整体效果到细节效果均有着卓越的优势。

针对人眼对低照度图像和照度分布不均匀图像中较暗部分的信息获取能力低、机器在该区域的识别率较低、医学图像在该区域无法准确判断真实的身体状况、公共交通领域在该区域无法清晰的看到实时的场景等情况，提出了一种增强暗区域亮度、增加视觉特征、保持色彩的自然和恒常，且避免了实验过程中的伪影和过度增强并消除了不正确的光线偏移的一种增强方法。相比于其他基于Retinex的增强方法，本方法请的方法增强效果更好、亮度增强后更均匀，不会产生伪影，不会在边缘处产生过度锐利的效果。任意输入一副低质图像，利用亮通道、形态学、图像融合和导向滤波算法来实现入射光的估计，提高了入射光估计的精准度。传统的入射光估计中使用高斯滤波器对R、G、B三个通道分别进行入射光估计，这样估计出来的结果与真实滤波器出入较大，而且在估计的过程中，使用高斯滤波器，在均衡光照平滑区域的同时也会将照度边界平滑，因此增强后的结果中，在边界区域，会出现较为明显的光晕伪影现象，而且由于平滑特征与光的传播与反射特征不符，因此在增强后结果中会出现梯度反转现象，即同一物体在光照不均匀部分原本暗的区域亮度比原本亮的区域要高，同时，由于估计的亮度图像与输入图像中像素点强度很接近，因此在增强后的结果中会出现像素点的值堆叠在1附近的情况，产生的结果是图像对比度降低；因为传统的Retinex算法是三个通道分开估计，因此增强后的图像会梯度混淆，所有三个通道像素点堆叠在1附近，导致图像色调信息丢失，色彩饱和度降低。例如，整体光照环境为白光，但是增强后的结果却出现整体类似于红光环境下的效果。而本方法引入亮通道思想、使用双尺度融合的形态学闭运算和带有保边特性的导向滤波器，使得估计入射光与真实入射光梯度一致，结果不会出现光晕伪影现象，同时，本方法对三个通道进行统一的入射光估计，增强后结果在整体亮度提高的同时不会发生色彩偏移，很好的保留了色彩信息。相比较于其它算法，本方法中的算法对低光照质量的图像具有非常好的增强效果，包括增强暗区域亮度、增加视觉特征、保持色彩的自然和恒常、避免了伪影和过度增强并消除了不正确的光线偏移。

以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (1)

1.一种基于Retinex的鲁棒和全面的低质量光照图像增强方法，其特征在于：首先，引入亮通道对Retinex模型中的亮度图像进行初步估计；其次，通过两个形态学闭算子来修改全局的光照强度分布；然后，使用导向滤波器修正人造边缘，得到估计的照明图像；最后，使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像；

具体步骤为：

Step1：引入亮通道对Retinex模型中的亮度图像进行初步估计；

输入一幅低照度图像，通过亮通道取R、G、B三个通道最大值作为初步估计的入射光图像，估计出一副亮度图像，相关公式表示为：

式中，a表示像素点位置，X、Y分别表示图像横纵向像素点最大值，Ω(a)表示a点的R、G、B三个通道的值，max表示取最大值，L_light表示像素点RGB三个通道的最大值；

Step2：通过两个形态学闭算子来修改全局的光照强度分布；

闭算子的实现流程为：首先通过卷积获取局部区域内最大值，然后对得到的最大值图像再次卷积获取窗口内最小值，公式表示为：

式中，L_max表示取像素点周围区域最大值，L_close表示取像素点周围区域最小值，α表示以像素点a为中心的方形窗口区域的像素点；因此，闭操作可以表示为：

L_close＝L_erode(L_dilate(L_light)),a∈(X,Y) (4)

在这一节中，使用两个不同窗口的闭算子对亮通道图像修改，得到两幅亮度图像，分别将其作为背景和细节进行融合，得到一幅估计的亮度图像，其亮度分布与真实光照分布一致；融合公式可以表示为：

L_fusion＝(L_close1+L_close2)/2 (5)

其中，下标close1和close2分别表示不同的闭操作窗口；

Step3：使用导向滤波器修正人造边缘，得到估计的照明图像；

采用导向滤波器修正Step2中得到的光照图像，其中引导图像为亮通道图像，即L_light，在导向滤波中，通过输出图像与引导图像的梯度存在线性关系的先验来达到矫正边缘的目的，导向滤波表述为：

其中i,j均表示像素点的位置，滤波核W_ij是引导图像I的函数，表示引导图像确定卷积过程中各像素点权值，与p无关，引导图像和输出图像线性相关用公式表示为：

式中，ω_k是半径为r的卷积核，(a_k,b_k)是ω_k的线性系数常量，当且仅当I存在边缘的情况下，输出结果q才存在边缘，因为

通过最小优化函数和岭回归求出a_k和b_k的值为：

其中，μ_k，

分别表示的是均值和方差，|ω|表示的是ω_k像素的数量，

表示的是p在ω_k的均值，表示为

最终得到像素点i的值为：

Step4：使用Retinex算法，分离原图像中的照明图像，得到高质量光照图像；

Retinex算法为：

S(x,y)＝R(x,y)·L(x,y) (11)

其中，S(x,y)为输入图像，L(x,y)是估计的光照图像，R(x,y)为增强后的图像；

其中，L(x,y)可表述为：

最终，增强后的图像R(x,y)为：

其中，eps表示所能读取到的大于零的最小值。

Images