CN108389175B - 融合变差函数和颜色衰减先验的图像去雾方法 - Google Patents

Abstract

本发明公开了融合变差函数和颜色衰减先验的图像去雾方法，首先获取雾霾天气下交通图像；然后将得到的RGB颜色空间的雾化降质图像转换到HSV颜色空间，求取颜色衰减先验下的天空区域，并用变差函数判断出图像的天空区域；接着根据两者所判断出的天空区域求取图像大气环境光值及场景透射率；最后根据大气散射模型对图像进行处理，再使用自动色阶法对图像色彩进行矫正后，输出处理后的雾化降质图像。本发明在选取图像大气环境光值及场景透射率相比于传统方法有很大的优势，复原后图像失真较小，对图像的进一步处理以及准确获取图像信息有着重要的意义。

Description

融合变差函数和颜色衰减先验的图像去雾方法

技术领域

本发明属于图像处理技术领域，具体涉及一种融合变差函数和颜色衰减先验的图像去雾方法。

背景技术

近年来，随着图像处理领域的不断发展，利用图像获取信息已成为一种重要手段。所有室外计算机视觉系统，包括自动监控、智能车辆和室外目标识别等，都需要高品质的图像，然而，在恶劣的天气条件下拍摄的图像通常会受到大气中大量的悬浮颗粒的散射，造成捕获的图像对比度下降、颜色失真等问题，计算机视觉系统由于这些大量噪声的存在，很难依据这种低质量图像获取准确信息。

近几年，基于单幅图像且无其他附加信息的去雾算法有了很大的进步。目前，主流的去雾算法一般可分为三类:对比度拉伸算法、基于Retinex模型的图像增强算法和基于大气散射模型的去雾算法。.通常情况下，后者的去雾效果优于前两者，这是由于前两者未曾考虑有雾图像的降质退化机理，而后者基于降质模型，利用先验知识进行逆向还原，对于大多数图像都能够较好地去除雾气，但这三类算法均存在自身的局限性，鲁棒性不强。如Tan最大化其邻域的对比度来计算出每个像素的最佳透射率组合，且在该组合内利用马尔科夫随机场决策出最优透射率，其本质上仍是对比度拉伸算法，恢复图像的色彩过于鲜艳；Nishino等利用贝叶斯后验概率模型，通过充分挖掘图像中潜在的统计特征进行去雾处理，该方法能够较好地处理浓雾，但处理薄雾时，其色彩也过于鲜艳，缺乏真实感；Fattal假设邻域内的色度与透射率是不相关的，依据颜色的统计特性去雾，故处理特征不明显的区域效果较差；Tarel等利用中值滤波器估计消散函数，而中值滤波器不具备边缘保持特性，致使恢复图像在深度突变处会残留少量雾气；He等首次提出黑色通道先验知识，利用此先验知识可取得不错的去雾效果，但由于其抠图处理具有极高的时空复杂度，因而该算法不具备实时性.近年来，诸多研究者对He算法提出相应的改进策略，虽然在去雾效率上得到了实质性的提升，但均是以牺牲去雾质量为代价的。几乎所有基于散射模型去雾算法在处理天空区域时或多或少都会存在过增强现象，致使恢复图像的主观视觉质量较差。

发明内容

本发明的目的在于提供一种融合变差函数和颜色衰减先验的图像去雾方法，以克服上述现有技术存在的缺陷，本发明可以对天空部分进行较好的识别，以获取较为适合的场景透射率，从而又有效地恢复了图像的整体质量，对后续的图像处理及信息提取尤为重要。

为达到上述目的，本发明采用如下技术方案：

融合变差函数和颜色衰减先验的图像去雾方法，包括以下步骤：

步骤1：获取雾霾天气下雾化降质图像；

步骤2：将步骤1得到的雾化降质图像分别进行区域最小值滤波及最小值滤波处理获取其暗通道图像及最小值图像，分别记为I_dark与I_min，并对暗通道图像进行引导滤波预处理，得到处理后的暗通道图像I′_dark；

I′_dark＝GF(I_dark,I_darkr_dark,ε_dark)

其中，r_dark为预处理引导滤波的局部窗口半径，ε_dark为正则化参数；

步骤3：将步骤1得到的RGB颜色空间的雾化降质图像转换到HSV颜色空间；

步骤4：通过对明度与饱和度作差来区分图像中的白色物体与雾气光，并定义其差值为颜色衰减率，对步骤3得到的HSV颜色空间的雾化降质图像进行如下变换：

D(m,n)＝I^v(i,j)-I^s(i,j)

式中，D(m,n)为颜色衰减率图像内的点，I^v(i,j)为明度图层内的像素点，而I^s(i,j)为饱和度图层内的像素点，该明度与饱和度图层取自步骤3得到的HSV颜色空间的雾化降质图像，(i,j)为步骤3得到的HSV颜色空间的雾化降质图像的像素点坐标值，(m,n)为颜色衰减率图像内点的坐标值；

步骤5：将步骤4处理后的颜色衰减率图像内的值按降序进行排序，取前10％中的最小值所对应的颜色衰减率作为颜色衰减先验变换的亮暗部分界阈值，根据该阈值得到原雾化降质图像的暗部，记为I_{HSV_dark}；

步骤6：定义一幅图像的变差函数S_VAM的公式为：

式中，I_i是图像中的一个像素，θ是一个像素的平均灰度值，

为RGB图像中像素点的三个通道值，λ_VAM为引入的比例系数；

针对步骤2得到的暗通道图像I′_dark，根据变差函数判断图像中的像素点是否来自高亮区域，定义Δ为选定有效区域的阈值，若S_VAM＜Δ，认为该像素点来自于高亮区域并丢弃该数据，若S_VAM≥Δ，则将该值作为一个有效的全局环境光值依据，由其对应的坐标组成集合，得到基于变差函数的暗部，记为I_{VAM_dark}；

步骤7：由步骤5得到的图像暗部I_{HSV_dark}及步骤6得到的图像暗部I_{VAM_dark}进行并运算，得到用于估计暗区域大气环境光值A_dark的暗部图像I_{mark_dark}，对I_{mark_dark}进行递减排序，选取像素值排在前0.1％的像素点所对应雾化降质图像像素点集合的平均值作为A_dark的值；

步骤8：对于步骤2得到的最小值图像I_min，采用相对总变差去纹理方法对最小值图像进行滤波，表达式如下：

W_filter＝RTV(I_min(x),λ_RTV,σ,ε)

RTV的模型为：

其中：

I代表输入图像，λ_RTV是一个控制图像光滑程度的权重，p代表图像像素索引，S代表输出结构图像，ε是一个小的正值以避免分母出现0的情况，q为以p点为中心的一个正方形区域内所有的像素点的索引，R(p)代表以p为中心的矩形区域，

与

代表两个方向的偏微分，g为高斯核函数：

式中，x_p、y_p、x_q及y_q是以p、q为索引的坐标值，σ的作用是控制窗口的空间尺寸；

对最小值图像I_min进行滤波后，得到粗估计图W_filter，由下式即得原始场景透射率图像t_estimate中坐标为(i,j)的像素值：

其中，ω为去雾系数，A_dark为步骤7中得到的大气环境光值，t_estimate(i,j)为原始场景透射率图像中坐标为(i,j)的像素值，W_filter(i,j)为粗估计图像中坐标为(i,j)的像素值；

步骤9：根据步骤7中所得暗部图像I_{mark_dark}区域对步骤8中所得透射率函数进行调整，弱化亮部图像的去雾，增强暗部图像的去雾，调整函数为：

其中，Δ为步骤6中所定义的阈值，I为输入图像，A_dark为步骤7中得到的大气环境光值；

步骤10：对步骤9中获取的修正场景透射率t_modify进行引导滤波，以得到最终场景透射率t_filter：

t_filter＝GF(I_min,t_modify,r,ε_GF)

其中，r为局部窗口半径，ε_GF为正则化参数，引导滤波GF模型如下：

式中，v_i是输出图像，I_i是输入图像，i和k是像素索引，a_k和b_k是当窗口中心位于k时该线性函数的系数，为使拟合函数的输出值与真实值u之间的差距最小，通过最小二乘法，得到：

μ_k是I_i在窗口ω_k中的平均值，

是I在窗口ω_k中的方差，|ω|是窗口ω_k中像素的数量，

是待滤波图像u在窗口ω_k中的均值；

步骤11：由步骤10得到的最终场景透射率t_filter恢复雾化降质图像J，即：

其中，I(x,y)为原雾化降质图像像素值，A_dark为步骤7中得到的大气环境光值。

进一步地，步骤3中将RGB颜色空间的雾霾天气下的图像转换到HSV颜色空间，图像由R、G、B颜色分量转变为H、S、V三个分量，其中H表示图像的色调，S表示图像的饱和度，V表示图像的明度。

进一步地，对于步骤2中暗通道预处理的引导滤波，使用自身图像作为引导图，滤波半径r_dark取16。

进一步地，对于RTV，λ_RTV取0.03，ε取0.02，滤波模板σ取3。

进一步地，对于步骤10中细化透射率处理的引导滤波，使用图像最小通道图作为引导图，滤波半径r取6，ε_GF取0.04。

进一步地，步骤6中引入的比例系数λ的值设置为18。

进一步地，步骤6中阈值Δ＝42。

与现有技术相比，本发明具有以下有益的技术效果：

本发明采用变差函数与颜色衰减先验融合的方法。单纯使用变差函数时，由于变差函数本身存在的缺陷性，容易对图像中固有的黑色、白色或者灰色等RGB值相近的像素点产生误判，误认为该处为天空高亮区域，因此引入颜色衰减先验。对于雾气重的区域，其明度与饱和度的差值大于雾气较轻的近景区域，故将RGB图像转换为HSV图像，并将HSV图像中的明度图层与饱和度图层作差获得到该雾化降质图像的颜色衰减率，从而获得到由颜色衰减先验获取的非天空区域，用以弥补变差函数产生的误判，从而获得较为准确的全局环境光值及场景透射率，可由此得到复原效果较为良好图像，对后续的图像处理及信息提取尤为重要。

附图说明

图1是本发明的流程示意图；

图2与图3是本发明与其它图像去雾方法对雾霾天气下雾化降质图像去噪效果对比，其中，(a)原始含噪声图像，(b)暗通道去雾方法处理后图像，(c)使用变差函数和形态学滤波的图像去雾算法处理后图像，(d)本发明的变差函数与颜色衰减先验融合暗通道去雾处理后图像。

具体实施方式

下面结合附图对本发明作进一步详细描述：

参见图1，融合变差函数和颜色衰减先验的图像去雾方法，包括以下步骤：

步骤1：获取雾霾天气下雾化降质图像。

利用图像采集设备，获取雾霾天气下降质的图像。

步骤2：将步骤1得到的雾化降质图像进行处理并获取其暗通道图像及最小值图像，并对暗通道图像进行引导滤波，分别记为I′_dark与I_min。

步骤3：将步骤1得到的RGB颜色空间的雾化降质图像转换到HSV颜色空间，图像由R、G、B颜色分量转变为H、S、V三个分量，其中H表示图像的色调，S表示图像的饱和度，V表示图像的明度。

步骤4：由颜色衰减先验可知，对于图像中固有的白色物体和雾气光，其明度值都比较高，但不同的是雾气光由于空气中雾霾微粒的影响，导致饱和度降低，而固有白色物体饱和度相对较高，通过对明度与饱和度作差可区分白色物体与雾气光，并定义其差值为颜色衰减率，由此判断图像中白色区域是否属于高亮部分。

对步骤3得到的HSV颜色空间的雾化降质图像进行如下变换：

D(m,n)＝I^v(i,j)-I^s(i,j)

式中，D(m,n)为颜色衰减率图像内的点，I^v(i,j)为明度图层内的像素点，而I^s(i,j)为饱和度图层内的像素点，该明度与饱和度图层取自步骤2得到的HSV颜色空间的雾化降质图像，(i,j)为步骤2得到的HSV颜色空间的雾化降质图像的像素点坐标值，(m,n)为颜色衰减率图像内点的坐标值。将颜色衰减率图像内的值按降序进行排序，取前10％中的最小值所对应的颜色衰减率作为颜色衰减先验变换的亮暗部分界阈值，根据该阈值获得到原雾化降质图像的暗部，记为I_{HSV_dark}，此处求得的图像即为由颜色衰减先验得到的非天空区域。

步骤5：定义一幅图像的变差函数为：

式中，I_i是图像中的一个像素，θ是一个像素的平均灰度值，λ为引入的比例系数，经过大量的实验，确定λ_VAM的值为18。

由步骤2得到的暗通道图像，根据变差函数判断图像中的像素点是否来自高亮区域，用Δ作为选定的阈值，实验中设置阈值Δ＝42。若S_VAM＜Δ，认为该像素点来自于高亮区域并丢弃该数据，若S_VAM≥Δ，则将该值最为一个有效的全局环境光值依据，并由此得到基于变差函数的暗部，记为I_{VAM_dark}，此处求得的图像即为由变差函数得到的非天空区域。

步骤6：为了弥补变差函数出现天空区的域误判，由步骤4及步骤5得到的图像暗部进行并运算，得到用于估计大气环境光值A的暗部图像I_{win_dark}，对I_{win_dark}进行递减排序，选取像素值排在前0.1％的像素点所对应雾化降质图像像素点集合的平均值作为大气环境光值A。

步骤7：对于步骤2得到的最小值图像I_min，采用相对总变差(RTV)去纹理方法对最小值通道图进行滤波，表达式如下：

W_filter＝RTV(I_min(x),λ_RTV,σ,ε)

其中，RTV的模型为：

对最小值图像I_min进行滤波后，得到粗估计图W_filter，由下式可得原始场景透射率图像t_estimate中坐标为(i,j)的像素值：

其中，ω为去雾系数，在本发明中取值为0.95。

步骤8：根据步骤6中所得暗部图像I_{win_dark}对步骤7中所得透射率函数进行调整，弱化天空及高亮区域的去雾，调整函数为：

从而得到校正场景透射率t_modify。

步骤9：对步骤8中获取的修正场景透射率进行引导滤波：

t_filter＝GF(I_min,t_modify,r,ε_GF)

其中，r为局部窗口半径，ε_GF为正则化参数，引导滤波GF模型如下：

式中，v是输出像素的值，I是输入图像的值，i和k是像素索引，a_k和b_k是当窗口中心位于k时该线性函数的系数，为希望拟合函数的输出值与真实值u之间的差距最小，通过最小二乘法，可得到：

其中，μ_k是I在窗口ω_k中的平均值，

是I在窗口ω_k中的方差，|ω|是窗口ω_k中像素的数量，

是待滤波图像u在窗口ω_k中的均值。

得到最终场景透射率t_filter；

步骤11：由步骤10得到的最终场景透射率t_filter恢复雾化降质图像J，即：

将所得图像使用对数拟合调整，输出处理后的雾化降质图像。

由图2可以看到处理后效果，图2(a)为原始带噪声图像，可见图像中带有大量噪声；图2(b)为单纯使用暗通道算法处理图像，由于未考虑图像中存在的高亮度区域及天空区域，导致选取的大气环境光值偏高，致使场景透射率发生偏移，复原效果较差，图像整体颜色偏移；图2(c)为使用变差函数和形态学滤波的图像去雾算法处理后图像，可见虽然由变差函数排除了图像中天空高亮区域的干扰，但由于变差函数本身局限性产生的高亮区误判，导致图片中局部区域处理失真；采用本发明的去雾方法效果如图2(d)，处理效果相较于传统方法，在选取大气环境光值及场景透射率有大幅提升，而且对天空高亮区的处理效果也较好，比较符合在晴朗条件下拍摄的场景。

表1第一组实验(即图2)对比

本表通过对比模糊系数、平均梯度及灰度图像对比度来比较处理后图像效果。由本表可知，原图像的平均梯度与灰度图像对比度都较低，经暗通道、变差函数与本方法处理后，图像参数明显上升，但相较而言本方法在灰度图像对比度方面显著好于前两种方法，从而达到人视觉上的舒适。

由图3可以更直观的看到处理效果，图3(a)为原始图像，可见图片整体被雾气严重降质；图3(b)为单纯使用暗通道算法处理图像，由于图像中存在大片海域，导致选取的大气环境光值偏高，致使场景透射率发生偏移，复原效果较差，图像整体颜色偏移；图3(c)为使用变差函数和形态学滤波的图像去雾算法处理后图像，可见虽然由变差函数排除了图像中海域的干扰，但图片中海岛局部区域处理失真；采用本发明的去雾方法效果如图3(d)，处理效果相较于传统方法，对海域及陆地复原效果较为真切，比较符合在晴朗条件下拍摄的场景。

表2第二组实验(即图3)对比

由本表可知，原图像的平均梯度与灰度图像对比度都较低，经暗通道、变差函数与本方法处理后，图像参数明显上升。

综上所述，本方法对雾化降质图像的场景透射率选取较为准确，去噪效果理想，对图像的进一步处理以及准确获取图像信息有着重要的意义。

Claims (7)

1.融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，包括以下步骤：

步骤1：获取雾霾天气下雾化降质图像；

步骤2：将步骤1得到的雾化降质图像分别进行区域最小值滤波及最小值滤波处理获取其暗通道图像及最小值图像，分别记为I_dark与I_min，并对暗通道图像进行引导滤波预处理，得到处理后的暗通道图像I′_dark；

I′_dark＝GF(I_dark,I_darkr_dark,ε_dark)

其中，r_dark为预处理引导滤波的局部窗口半径，ε_dark为正则化参数；

步骤3：将步骤1得到的RGB颜色空间的雾化降质图像转换到HSV颜色空间；

步骤4：通过对明度与饱和度作差来区分图像中的白色物体与雾气光，并定义其差值为颜色衰减率，对步骤3得到的HSV颜色空间的雾化降质图像进行如下变换：

D(m,n)＝I^v(i,j)-I^s(i,j)

式中，D(m,n)为颜色衰减率图像内的点，I^v(i,j)为明度图层内的像素点，而I^s(i,j)为饱和度图层内的像素点，该明度与饱和度图层取自步骤3得到的HSV颜色空间的雾化降质图像，(i,j)为步骤3得到的HSV颜色空间的雾化降质图像的像素点坐标值，(m,n)为颜色衰减率图像内点的坐标值；

步骤5：将步骤4处理后的颜色衰减率图像内的值按降序进行排序，取前10％中的最小值所对应的颜色衰减率作为颜色衰减先验变换的亮暗部分界阈值，根据该阈值得到原雾化降质图像的暗部，记为I_{HSV_dark}；

步骤6：定义一幅图像的变差函数S_VAM的公式为：

式中，I_i是图像中的一个像素，θ是一个像素的平均灰度值，

为RGB图像中像素点的三个通道值，λ_VAM为引入的比例系数；

针对步骤2得到的暗通道图像I′_dark，根据变差函数判断图像中的像素点是否来自高亮区域，定义Δ为选定有效区域的阈值，若S_VAM＜Δ，认为该像素点来自于高亮区域并丢弃该数据，若S_VAM≥Δ，则将该值作为一个有效的全局环境光值依据，由其对应的坐标组成集合，得到基于变差函数的暗部，记为I_{VAM_dark}；

步骤7：由步骤5得到的图像暗部I_{HSV_dark}及步骤6得到的图像暗部I_{VAM_dark}进行并运算，得到用于估计暗区域大气环境光值A_dark的暗部图像I_{mark_dark}，对I_{mark_dark}进行递减排序，选取像素值排在前0.1％的像素点所对应雾化降质图像像素点集合的平均值作为A_dark的值；

步骤8：对于步骤2得到的最小值图像I_min，采用相对总变差去纹理方法对最小值图像进行滤波，表达式如下：

W_filter＝RTV(I_min(x),λ_RTV,σ,ε)

RTV的模型为：

其中：

I代表输入图像，λ_RTV是一个控制图像光滑程度的权重，p代表图像像素索引，S代表输出结构图像，ε是一个小的正值以避免分母出现0的情况，q为以p点为中心的一个正方形区域内所有的像素点的索引，R(p)代表以p为中心的矩形区域，

与

代表两个方向的偏微分，g为高斯核函数：

式中，x_p、y_p、x_q及y_q是以p、q为索引的坐标值，σ的作用是控制窗口的空间尺寸；

对最小值图像I_min进行滤波后，得到粗估计图W_filter，由下式即得原始场景透射率图像t_estimate中坐标为(i,j)的像素值：

其中，ω为去雾系数，A_dark为步骤7中得到的大气环境光值，t_estimate(i,j)为原始场景透射率图像中坐标为(i,j)的像素值，W_filter(i,j)为粗估计图像中坐标为(i,j)的像素值；

步骤9：根据步骤7中所得暗部图像I_{mark_dark}区域对步骤8中所得透射率函数进行调整，弱化亮部图像的去雾，增强暗部图像的去雾，调整函数为：

其中，Δ为步骤6中所定义的阈值，I为输入图像，A_dark为步骤7中得到的大气环境光值；

步骤10：对步骤9中获取的修正场景透射率t_modify进行引导滤波，以得到最终场景透射率t_filter：

t_filter＝GF(I_min,t_modify,r,ε_GF)

其中，r为局部窗口半径，ε_GF为正则化参数，引导滤波GF模型如下：

式中，v_i是输出图像，I_i是输入图像，i和k是像素索引，a_k和b_k是当窗口中心位于k时该线性函数的系数，为使拟合函数的输出值与真实值u之间的差距最小，通过最小二乘法，得到：

μ_k是I_i在窗口ω_k中的平均值，

是I在窗口ω_k中的方差，|ω|是窗口ω_k中像素的数量，

是待滤波图像u在窗口ω_k中的均值；

步骤11：由步骤10得到的最终场景透射率t_filter恢复雾化降质图像J，即：

其中，I(x,y)为原雾化降质图像像素值，A_dark为步骤7中得到的大气环境光值。

2.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，步骤3中将RGB颜色空间的雾霾天气下的图像转换到HSV颜色空间，图像由R、G、B颜色分量转变为H、S、V三个分量，其中H表示图像的色调，S表示图像的饱和度，V表示图像的明度。

3.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，对于步骤2中暗通道预处理的引导滤波，使用自身图像作为引导图，滤波半径r_dark取16。

4.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，对于RTV，λ_RTV取0.03，ε取0.02，滤波模板σ取3。

5.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，对于步骤10中细化透射率处理的引导滤波，使用图像最小通道图作为引导图，滤波半径r取6，ε_GF取0.04。

6.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，步骤6中引入的比例系数λ的值设置为18。

7.根据权利要求1所述的融合变差函数和颜色衰减先验的图像去雾方法，其特征在于，步骤6中阈值Δ＝42。

Images