CN109118440B - 基于透射率融合与自适应大气光估计的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于透射率融合和自适应大气光估计的单幅图像去雾方法，首先，基于暗通道原理求出含有块效应的透射率图，同时利用中值滤波方法求出点透射图，然后在频率域利用高斯滤波方法将二者融合得到不含块效应的透射率。为避免白色物体对大气光值估计的影响，利用决策图像对可应用于大气光值计算的像素点进行阈值选取，为使其适用于广泛图像，本发明利用自适应阈值公式求出更为精确的决策图像阈值，进而得到具有自适应性的大气光值，实验结果表明所提方法处理结果可有效抑制光晕伪影现象，恢复图像边缘清晰，纹理丰富，颜色鲜明。

Description

基于透射率融合与自适应大气光估计的单幅图像去雾方法

技术领域

本发明属计算机图像处理领域，尤其涉及一种图像去雾的方法。

背景技术

室外拍摄的图像经常受雾、霾等恶劣的天气影响导致质量下降，严重影响户外视觉系统发挥效用。因此，研究如何提高雾天图像质量、降低雾霾天气对户外成像系统的不利影响具有重要的现实意义。

基于物理模型考虑图像退化原因，成为目前较为流行的去雾算法。He等^[1]利用暗通道先验在局部区域内估计透射率，但是得到的透射率图存在严重的块效应，导致恢复的图像含有严重晕轮效应，需要后处理滤波^[2]过程，增加算法复杂度。另外，He等^[1]将暗通道前0.1％的值所对应的像素点用于大气光值估计，但是当景物中存在大面积白色物体时，暗通道原理失效会造成大气光值求取不准确。

[参考文献]

[1]He K,Sun J,Tang X.Single image haze removal using dark channelprior[C].ComputerVision and Pattern Recognition,IEEE,2009:1956-1963.

[2]He,Kaiming,J.Sun,and X.Tang.Guided Image Filtering[C].EuropeanConference on Computer Vision Springer,Berlin,Heidelberg,2010:1-14.

[3]Wang J,Lu K,Xue J,et al.Single Image Dehazing Based on thePhysical Model and MSRCR Algorithm[J].IEEE Transactions on Circuits&Systemsfor Video Technology,2017,(99):1-1.

[4]Wang Z,Feng Y.Fast single haze image enhancement[J].Computers&Electrical Engineering,2014,40(3):785-795.

[5]Tarel J P,Hautière N,Cord A,et al.Improved visibility of roadscene images under heterogeneous fog[C].Intelligent Vehicles Symposium.IEEE,2013:478-485.

[6]Meng G,Wang Y,Duan J,et al.Efficient Image Dehazing with BoundaryConstraint and Contextual Regularization[C].IEEE International Conference onComputer Vision.IEEE,2014:617-624.

[7]Hautière N,Tarel J P,Aubert D,et al.Blind Contrast EnhancementAssessment by Gradient Ratioing at Visible Edges[J].Image Analysis&Stereology,2008,27(2):87-95.

[8]李大鹏，禹晶，肖创柏；图像去雾的无参考客观质量评测方法[C]，全国图象图形学学术会议，2010:1753-1757。

发明内容

针对上述问题，本发明提出一种基于透射率融合和自适应大气光估计的单幅图像去雾方法。首先，基于暗通道原理求出含有块效应的透射率图，同时利用中值滤波方法求出点透射图，然后在频率域利用高斯滤波方法将二者融合得到不含块效应的透射率。为避免白色物体对大气光值估计的影响，利用文献[3]提出的决策图像对可应用于大气光值计算的像素点进行阈值选取，为使其适用于广泛图像，本发明利用自适应阈值公式求出更为精确的决策图像阈值，进而得到具有自适应性的大气光值，实验结果表明所提方法处理结果可有效抑制光晕伪影现象，恢复图像边缘清晰，纹理丰富，颜色鲜明。

为了克服现有技术问题，本发明提出的一种基于透射率融合与自适应大气光估计的单幅图像去雾方法，包括以下步骤：

步骤1、输入有雾图像I(x)，基于暗通道原理求得含有块效应的透射率图，并对该含有块效应的透射率图进行低通滤波操作得到具有低频信息的透射率图t_L(x)：

式(1)中：α＝0.95，Ω＝15×15，Ω为以x为中心的局部区域，G_L为高斯低通滤波算子，c分别代表图像的R，G，B颜色通道，A为大气光值，fft为傅里叶变换；

步骤2、利用中值滤波方法(即为文献^[5]提出的大气耗散函数估计方法)求得大气耗散函数V(x)，利用公式(2)求得点透射率图t_P(x)：

t_P(x)＝1-V(x)/A (2)

式(2)中：V(x)为大气耗散函数，A为大气光值，t_P(x)为点透射率值；

步骤3、对点透射率图t_P(x)提取高频信息，得到

t_H(x)＝G_H(fft(t_P(x))) (3)

式(3)中：G_H为高斯高通滤波算子，t_H(x)为具有高频信息的透射率图；

步骤4、将具有低频信息的透射率图t_L(x)和具有高频信息的透射率图t_H(x)在频域相加，然后由傅里叶反变换得到融合后的透射率图t(x)：

t(x)＝ifft(t_L+t_H) (4)

步骤5、利用阈值公式(5)对暗通道前0.1％像素点的决策值进行自适应阈值更新，

式(5)中：D_max为有雾图暗通道前0.1％像素点的最大决策值，D_min为有雾图暗通道前0.1％像素点的最小决策值，d_max为整体图像最大决策值，d_min整体图像最小决策值，Δ_ori值设为6，Δ_new为更新后的暗通道前0.1％像素点的决策值阈值；

步骤6、求出有雾图像暗通道前0.1％所对应像素点的决策值，利用更新后的阈值Δ_new对暗通道前0.1％的像素点进行筛选，将筛选后的像素点中最大值作为全局的大气光值A；

步骤7、利用步骤6得到的大气光值A和步骤4得到的透射率图t(x)对有雾图像I(x)进行复原，得到清晰图像J(x)；

式(6)中t₀＝0.1。

与现有技术相比，本发明的有益效果是：

本发明基于频域滤波思想去除暗通道算法所得透射率中含有的块效应，所得结果不含有明显的晕轮效应，利用自适应阈值选取法获得更加精确的大气光值，恢复结果色彩自然，不含有色彩失真及退化现象。

附图说明

图1是有雾图像的决策图像结构图，其中R,G,B代表图像颜色通道，h代表空间像素点与对角线[1,1,1]的距离，称为决策值，决策图像由决策值h构成，实心黑点代表距离[1,1,1]较近的像素点，可能是与大气光值相近的白色物体表面的像素点，空心点代表距离[1,1,1]较远的点；

图2是本发明的基于频域滤波的高低频透射率融合过程；

图3至图7是本发明和基于边界约束的透射率估计方法[6]，基于中值滤波的大气耗散函数估计方法[5]以及基于暗通道理论的去雾算法[1]实验结果对比图，其中：

图3(a)、图4(a)、图5(a)、图6(a)和图7(a)不同场景下的有雾图像，包括村庄、稻田、果实、城市以及火车站；

图3(b)、图4(b)、图5(b)、图6(b)和图7(b)为利用基于边界约束的透射率估计方法[6]对图3(a)、图4(a)、图5(a)、图6(a)和图7(a)分别进行去雾处理得到的清晰图像；

图3(c)、图4(c)、图5(c)、图6(c)和图7(c)为利用基于中值滤波的大气耗散函数估计方法[5]对图3(a)、图4(a)、图5(a)、图6(a)和图7(a)分别进行去雾处理得到的清晰图像；

图3(d)、图4(d)、图5(d)、图6(d)和图7(d)为利用基于暗通道理论的去雾算法[1]对图3(a)、图4(a)、图5(a)、图6(a)和图7(a)分别进行去雾处理得到的清晰图像；

图3(e)、图4(e)、图5(e)、图6(e)和图7(e)为利用本发明方法对图3(a)、图4(a)、图5(a)、图6(a)和图7(a)分别进行去雾处理得到的清晰图像。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

目前，对有雾图像进行去雾处理的基本原理主要包括雾天图像退化模型和决策图像的定义模型，具体内容如下：

(1)雾天图像退化模型可表示为：

I(x)＝J(x)t(x)+A(1-t(x))

其中，x为像素点坐标，I(x)为观测到的雾天图像，A代表全局大气光，t(x)为传输函数，其中第一项J(x)t(x)称为直接衰减项，随着光传播的距离增大而呈指数衰减。第二项A(1-t(x))代表环境光模型，随着光传播距离的增大而逐渐增加。

根据暗通道先验理论^[1]，可得雾天图像的透射率：

式中，α＝0.95用来减小去雾程度，Ω＝15×15，Ω为以x为中心的局部区域，c为图像的三通道之一，大气光A的值为暗通道前0.1％值所对应的原图像素点中的最大值。

进而得到去雾图像：

(2)文献[3]提出利用决策图像对暗通道前0.1％的像素点进行阈值选取，决策图像定义为：

其中i，j为有雾图像的像素点坐标，r、g、b为(i,j)点的三通道像素值，h_i,j代表RGB空间的点与对角线[1,1,1]之间的距离，称为决策图像的决策值，决策图像由(i,j)点的决策值h_i,j构成，如图1所示。对大量有雾图像的决策图统计可发现，有雾图像中像素点的决策值都集中在10以下，因此，可选取合理的阈值Δ_ori∈(0,10)对暗通道中前0.1％的像素点进行分割：若d(h)≤Δ_ori，则认为该像素点接近[1,1,1]，属于白色物体表面点，并丢弃这个点；如果d(h)＞Δ_ori，则认为该像素点可用于求解大气光，保留这个点。

本发明基于透射率融合与自适应大气光估计的单幅图像去雾方法的设计思路是，基于暗通道先验估计透射率时，假设透射率在局部块内恒定不变，所用块尺寸越大越容易满足暗通道先验条件，但同时易带来严重的块效应。块效应表现为高频信息，与真实高频相混合，导致估计得到的透射率包含较多的虚假细节，此时复原得到的图像易出现晕轮伪影。为了滤除透射率图中包含的虚假高频，本发明对基于块暗原色得到的透射率进行傅里叶变换，并对其进行低通滤波得到具有低频信息的透射率图t_L(x)。为了补偿上述结果中丢失的图像真正高频信息，可利用高通滤波器提取点透射率的高频信息t_H(x)与其融合。文献^[4]提出一种点透射率图计算方法，但其纹理过于丰富,由其复原得到图像易产生色彩失真和去雾不彻底等现象，因此为了避免透射率中含有过于丰富的纹理信息，本发明利用Trale等^[5]提出的大气耗散函数V(x)求解点透射率t_P(x)：将t_L(x)和t_H(x)在频域相加，以补偿丢失的真正高频，然后由傅里叶反变换得到融合后的透射率值，具体过程如图2所示。

针对传统大气光估计方法对含有白色物体的图像失效的问题，本发明利用文献^[3]提出的决策图像对暗通道前0.1％的像素点进行阈值选取，为使其具有更广的适用性，本发明提出自适应阈值选取公式，得到具有自适应性的大气光值。

本发明提出的基于透射率融合和自适应大气光估计的单幅图像去雾方法具体步骤如下：

步骤1、输入有雾图像I(x)，基于暗通道原理求得含有块效应的透射率图，并对该含有块效应的透射率图进行低通滤波操作得到具有低频信息的透射率图t_L(x)：

式(1)中：α＝0.95，Ω＝15×15，Ω为以x为中心的局部区域，G_L为高斯低通滤波算子，c分别代表图像的R，G，B颜色通道，A为大气光值，fft为傅里叶变换；

步骤2、为了补偿t_L(x)丢失的图像真正高频信息，可利用高通滤波器提取点透射率的高频信息。为了避免透射率中含有过于丰富的纹理信息，利用中值滤波方法求得大气耗散函数V(x)，利用公式(2)求得点透射率图t_P(x)：

t_P(x)＝1-V(x)/A (2)

式(2)中：V(x)为大气耗散函数，A为大气光值，t_P(x)为点透射率值；

步骤3、在此基础上，对t_P(x)提取高频信息，得到

t_H(x)＝G_H(fft(t_P(x))) (3)

式(3)中：G_H为高斯高通滤波算子，t_H(x)为具有高频信息的透射率图；

步骤4、将具有低频信息的透射率图t_L(x)和具有高频信息的透射率图t_H(x)在频域相加，以补偿丢失的真正高频，然后由傅里叶反变换得到融合后的透射率t(x)：

t(x)＝ifft(t_L+t_H) (4)

步骤5、对大量图片进行分析，发现对于具有较低决策值的图像，文献[3]提出的阈值并不适用，因此利用阈值公式(5)对暗通道前0.1％像素点的决策值进行自适应阈值更新，

式(5)中：D_max为有雾图暗通道前0.1％像素点的最大决策值，D_min为有雾图暗通道前0.1％像素点的最小决策值，d_max为整体图像最大决策值，d_min整体图像最小决策值，Δ_ori值设为6，Δ_new为更新后的暗通道前0.1％像素点的决策值阈值；

步骤6、求出有雾图像暗通道前0.1％所对应像素点的决策值，利用更新后的阈值Δ_new对暗通道前0.1％的像素点进行筛选，将筛选后的像素点中最大值作为大气光值A；

步骤7、利用步骤6得到的大气光A和步骤4得到的透射率t(x)对有雾图像I(x)进行复原，得到清晰图像J(x)。

式(6)中t₀＝0.1。

为了证明本发明方法结果与目前较为流行方法相比具有较好效果，将本发明方法的结果与目前较为流行的方法进行对比，分别为基于边界约束的透射率估计方法^[6]，基于中值滤波的大气耗散函数估计方法^[5]以及基于暗通道理论的去雾算法^[1]，。对比结果如图3至图7所示。

由图3(b)、图4(b)以及图5(b)可以看出，基于边界约束的透射率估计方法在一些图像上处理效果有色彩失真现象，由图3(c)、4(c)以及图5(c)可以看出，基于中值滤波的大气耗散函数估计方法的得到的清晰图像仍然含有少部分雾气，去雾不彻底。由图3(d)、图4(d)以及图5(d)可以看出基于暗通道理论的去雾算法得到清晰图像同样含有部分雾气，且远处景物不清晰。本发明的处理结果如图3(e)、图4(e)以及图5(e)所示，可见本发明可以较好的恢复出景物的色彩以及结构信息，且饱和度适中，去雾彻底，视觉效果较为清晰，不含有晕轮效应。

如图6和图7中的圆圈标注部分所示，上述三种方法得到的图像远处景物轮廓模糊，仍有雾气存在，而本发明结果中的远处景物轮廓清晰，结构完整，色彩自然。

为客观评价本发明方法优势，计算去雾后图像的新增可见边之比e^[7]、可见边的规范化均值r^[7]、色彩饱和度^[8]以及细节恢复程度^[8]。由表1中e和r数据显示，本发明方法可有效提高图像的可见度和饱和度,可恢复出更多的边缘信息；由表2结果可看出，本发明方法增强后的图像可包含更多的细节信息，色彩饱和度更高。

实验结果表明，本发明提出的图像去雾方法可针对基于暗原色先验原理的缺陷，有效去除块暗原色带来的晕轮伪影，保留更多的图像细节，同时避免白色物体对大气光值估计的影响，结果中图像色彩真实，具有更好的视觉性。

表1客观指标比较结果

表2客观指标比较结果

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于透射率融合与自适应大气光估计的单幅图像去雾方法，其特征在于：包括以下步骤：

步骤1、输入有雾图像I(x)，基于暗通道原理求得含有块效应的透射率图，并对该含有块效应的透射率图进行低通滤波操作得到具有低频信息的透射率图t_L(x)：

式(1)中：α＝0.95，Ω＝15×15，Ω为以x为中心的局部区域，G_L为高斯低通滤波算子，c分别代表图像的R，G，B颜色通道，A为大气光值，fft为傅里叶变换；

步骤2、利用中值滤波方法求得大气耗散函数V(x)，利用公式(2)求得点透射率图t_P(x)：

t_P(x)＝1-V(x)/A (2)

式(2)中：V(x)为大气耗散函数，A为大气光值，t_P(x)为点透射率值；

步骤3、对点透射率图t_P(x)提取高频信息，得到

t_H(x)＝G_H(fft(t_P(x))) (3)

式(3)中：G_H为高斯高通滤波算子，t_H(x)为具有高频信息的透射率图；

步骤4、将具有低频信息的透射率图t_L(x)和具有高频信息的透射率图t_H(x)在频域相加，然后由傅里叶反变换得到融合后的透射率图t(x)：

t(x)＝ifft(t_L+t_H) (4)

步骤5、利用阈值公式(5)对暗通道前0.1％像素点的决策值进行自适应阈值更新，

式(5)中：D_max为有雾图暗通道前0.1％像素点的最大决策值，D_min为有雾图暗通道前0.1％像素点的最小决策值，d_max为整体图像最大决策值，d_min整体图像最小决策值，Δ_ori值设为6，Δ_new为更新后的暗通道前0.1％像素点的决策值阈值；

步骤6、求出有雾图像暗通道前0.1％所对应像素点的决策值，利用更新后的阈值Δ_new对暗通道前0.1％的像素点进行筛选，将筛选后的像素点中最大值作为大气光值A；

步骤7、利用步骤6得到的大气光值A和步骤4得到的透射率图t(x)对有雾图像I(x)进行复原，得到清晰图像J(x)；

式(6)中t₀＝0.1。

Images