CN103489166A - 一种基于双边滤波的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于双边滤波的单幅图像去雾方法，对受雾霾天气影响的降质图像进行合理恢复。本发明的方法包括如下步骤：求取原始雾化图像的暗通道图，由此求得大气光强；利用两次双边滤波估算大气耗散函数；利用大气耗散函数数学表达式得到介质传播函数；弱化局部明亮区域，利用大气散射模型恢复出清晰图像。本发明既能够清晰自然地还原雾化图像的景物信息，改善图像的视觉效果，又具有简单的复杂度与较快的运行速度，从而为实时性监控系统提供很好的应用价值。

Description

一种基于双边滤波的单幅图像去雾方法

技术领域

本发明属于图像信息处理的技术领域，本发明是一种基于双边滤波的单幅图像去雾方法，适用于恢复雾霾天气下拍摄的退化图像。

背景技术

计算机应用的众多户外监控系统都要求能准确地提取图像的特征，而在雾、霾等天气状况下，往往由于大气中微小粒子散射作用的影响，导致获取的图像严重降质，不仅影响了图像的视觉效果，而且干扰了图像特征的提取，使户外监控系统无法正常运行，从而带来了严重的安全隐患。因此，利用有效且快速的去雾方法使雾化图像清晰化，具有重要的现实意义。

现有的图像去雾方法主要分为两大类：一是基于图像增强的处理方法，二是基于物理模型的场景复原方法。

基于图像增强的算法不考虑图像质量下降原因，通过对图像进行整体或局部的拉伸，提高图像亮度、对比度及突出细节，从而改善视觉效果。但此类方法易改变原有的色彩比例，在拉伸的同时也会损失部分信息。目前，基于图像增强的主流方法是Retinex算法。该方法是基于人视觉的色彩恒常性，通过滤波器滤除图像的入射分量，得到反射分量作为图像增强结果。但该方法常由于滤波器的相关参数选取不当，导致图像或过度增强或模糊黯淡。

基于物理模型的场景复原方法是研究雾天图像形成的物理过程，建立雾天图像退化模型，通过反演退化过程，补偿退化过程造成的失真，以获得未经干扰退化的无雾图像或无雾图像的最优估计值。此类方法从图像退化的本质出发，得到的结果通常较为自然。目前，众多学者利用McCartney提出的大气散射模型恢复场景反照率。但大气散射模型是一个欠定方程，无法通过解方程求出场景的反照率，需要利用雾化图像本身构造约束条件，对大气散射模型中的参数进行估算，进而还原场景的反照率。

论文名：Visibility in bad weather from a single image，会议：Computer Vision andPattern Recognition(CVPR)，年份：2009年。He Kaiming等人提出了一种基于暗通道先验的去雾方法，该算法利用最小值滤波估算出介质传播函数，然后利用软抠图原理对估算的介质传播函数进行优化，达到了较好的去雾效果。但由于软抠图算法运算量庞大，耗时长，导致该算法很难应用到实际的场合。

论文名：Fast visibility restoration from a single color or gray level image，会议：Computer Vision and Pattern Recognition(CVPR)，年份：2009年。Tarel等人利用均值滤波的方法对大气耗散函数进行估计，然后应用色调映射得到去雾图像，该算法恢复的图像清晰逼真。但由于均值滤波并非好的保持边缘的滤波器，常由于参数设置不当引起伪光晕效应。

针对上述背景内容，研究一种清晰自然的快速去雾方法，对实时性系统应用具有重要意义。

发明内容

本发明的目的是为了克服现有去雾算法的不足，提供一种基于双边滤波的单幅图像去雾方法，既能够清晰自然地还原降质的雾化图像的景物信息，改善图像的视觉效果，又具有简单的复杂度与较快的运行速度，从而为实时性监控系统提供很好的应用价值。

本发明提供的技术方案包括如下步骤：

A、求取原始雾化图像的暗通道图，并由此估算大气光强；

B、利用两次双边滤波估算出大气耗散函数；

C、利用大气耗散函数的数学表达式获得介质传播函数；

D、弱化局部明亮区域，利用大气散射模型恢复出清晰图像；

所述步骤A为：

A1、求取雾化图像的暗通道图像，即对雾化图像的R,G,B三个通道分别进行最小值滤波，再选取滤波后的三幅图像中对应像素点的最小值作为暗通道图的像素值。此步骤的具体表达式如下：

$J^{\mathrm{dark}}\left(x\right)=\underset{c\∈(r,g,b)}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)\right)---\left(1\right)$

其中，I表示原雾化图像；I^c表示I的某一个颜色通道；Ω(x)是以像素点x为中心的一个滤波模板区域；J^dark称为I的暗通道图。

A2、选取暗通道图中前0.1%最大的像素点，并选取这些点在原始雾化图像中对应位置的最大值作为整幅图像的大气光强A估计值；

所述步骤B为：

B1、求取雾化图像的最小颜色分量图，即取雾化图像每个像素点的R,G,B通道的最小值作为最小颜色分量图的像素值。此步骤的具体表达式为：

$W\left(x\right)=\underset{c\∈(r,g,b)}{\min }\left(I^c\left(x\right)\right)---\left(2\right)$

式中，I表示原雾化图像；I^c表示I的某一个颜色通道；W(x)为I最小颜色分量图。

B2、为了滤除最小颜色分量W(x)的纹理，同时保留景深突变的边缘特性，对最小颜色分量进行双边滤波处理，并将滤波后的结果作为大气耗散函数的初始估计：

A(x)＝Bil(W(x))     (3)

式中，A(x)为初始大气耗散函数估计；Bil()表示双边滤波，其具体表达式为：

$I^B\left(x\right)=\frac{{\mathrm{\Σ}}_{y\∈S}{\mathrm{\Σ}}_{\mathrm{\α}\∈R}\left(f_s(x,y)f_r(I\left(x\right),\mathrm{\α})\mathrm{\δ}(\mathrm{\α}-I\left(y\right))I\left(y\right)\right)}{{\mathrm{\Σ}}_{y\∈S}{\mathrm{\Σ}}_{\mathrm{\α}\∈R}\left(f_s(x,y)f_r(I\left(x\right),\mathrm{\α})\mathrm{\δ}(\mathrm{\α}-I\left(y\right))\right)}---\left(4\right)$

式中，f_s为空间高斯函数，用于表征空间邻近度；f_r为值域高斯函数，用于表征灰度相似度；δ为方差；S为空域模板大小；R为值域模板大小。此外，采用Pairs等人在论文《A fast approximation if the bilateral filter using a signal processingapproach》(载于期刊International Journal of Computer Vision,2009,81(1)：24-52.)中提出的算法对双边滤波进行加速，即在信号处理理论的基础上将双边滤波表示为高维空间线性不变的卷积，再利用线性插值得最终结果。

B3、求取图像的局部对比度，从而粗略地判断图中场景与成像设备的相对距离。局部对比度δ(x)计算公式如下：

$\begin{array}{c}A\left(x\right)=\mathrm{Bil}\left(W\left(x\right)\right)\\ \mathrm{\δ}\left(x\right)=\mathrm{Bil}\left(\right|W\left(x\right)-A\left(x\right)\left|\right)\end{array}---\left(5\right)$

当δ(x)越小，场景对比度小，表示离成像设备越远，大气耗散函数的值越大；当δ(x)越大，场景对比度大，表示离成像设备越近，大气耗散函数的值越小。若场景到成像设备的距离一定时，即δ(x)一定时，像素点x自身灰度值越大，表示被错误判断为距离较远的场景的可能性越大，大气耗散函数的初始估计A(x)应降值幅度越大，灰度值越小，A(x)应降值幅度越小。

B4、大气耗散函数的再次估计，其表达式为：

$B\left(x\right)=A\left(x\right)-k\frac{A\left(x\right)}{A}\mathrm{\δ}\left(x\right)---\left(6\right)$

式中，A为大气光强,

来衡量像素点的相对亮度值；k为可调系数，用来辅助控制A(x)的降值程度。

B5、修正大气耗散函数，其表达式为：

V(x)＝max(min(p·B(x),W(x)),0)     (7)

式中，参数p(0＜p＜1)为调整因子，目的是为了保留少量的雾，增加图像的真实感。

所述步骤C为：

根据大气耗散函数的数学表达式，由步骤A求出的大气光强A和步骤B求出的大气耗散函数，求取介质传播函数。此步骤的具体表达式为：

$t\left(x\right)=1-\mathrm{\ω}\frac{V\left(x\right)}{A}---\left(8\right)$

式中，t(x)为介质传播函数；ω(0＜ω＜1)为一个调整因子，用以保留少量的雾，增加图像的真实感。

所述步骤D为：

D1、计算原图像中像素值与大气光强的接近程度，其数学表达式为：

$R\left(x\right)=\underset{c\∈(R,G,B)}{\mathrm{\Σ}}|I^c-A|---\left(9\right)$

式中，R(x)表示图像I在位置x的像素值与大气光强A的接近程度。

D2、设定阈值R₀，对于R(x)小于R₀的区域，标定为明亮区域，应适当扩大其介质传播函数t(x)的值；而对于R(x)大于R₀的区域，则认为非明亮区域，保持原有t(x)不变；

D3、根据步骤D2，求取明亮区域中介质传播函数t(x)的弱化因子D(x)，其表达式为：

$D\left(x\right)=\left\{\begin{array}{cc}\mathrm{\&alpha;}\frac{R_0-R\left(x\right)}{R_0}& R\left(x\right)<=R_0\\ 0& R\left(x\right)>R_0\end{array}\right.---\left(10\right)$

式中，

为弱化因子，用于避免明亮区域的t(x)过小而引起颜色失真；α为可调系数，用于辅助控制弱化的力度。

D4、根据大气耗散模型，复原清晰的无雾图像J(x)，其表达式为：

$J\left(x\right)=\frac{I\left(x\right)-A}{\max ((t\left(x\right)+D\left(x\right)),t_0)}+A---\left(11\right)$

式中，t(x)+D(x)为含有明亮区域弱化因子的介质传输函数；t₀为一个下限阈值，为了防止因t(x)趋近于0时，造成结果中的噪声被过度放大。

本发明的有益效果：

(1)利用双边滤波的良好的保持边缘特性，对大气耗散函数进行合理准确的估算，从而使恢复的图像清晰自然，尤其在细节与景深突变的边缘处的表现突出，无伪光晕现象，与Tarel的去雾效果相比，本发明具有明显的提升效果；

(2)提出了弱化局部明亮区域去雾的方法，该方法不仅简单而且非常有效，使经过弱化后的去雾图像的明亮区域显得更加真实自然；

(3)本发明的复杂度仅为图像像素大小的线性函数，在同等实验条件下，运行速度远优于He Kaiming的算法，在实时性系统中具有很好的实际应用价值。

附图说明

图1为一种基于双边滤波的单幅图像去雾流程示意图。

图2为获取大气耗散函数的流程示意图。

图3为明亮区域弱化去雾的流程示意图。

图4为两幅雾化图像及三种去雾方法的处理结果：

其中，(a)为原始雾化图像；(b)为(a)的最小颜色分量图；(c)为(a)的初始大气耗散函数；(d)为(a)的修正的大气耗散函数；(e)为(a)的介质传播函数;(f)为本发明对(a)的去雾结果；(g)为He Kaiming的方法对(a)的去雾效果，(h)为Tarel的方法对(a)的去雾效果。

具体实施方式

下面结合具体实施例和附图详细阐述本发明。

A、求出雾化图像(见附图4(a)所示)的暗通道图，并估算大气光强：

A1、对雾化图像的R,G,B三个颜色通道，分别进行模板大小为15×15的最小值滤波，并把滤波后每个像素点在三个通道上的最小值作为暗通道图的像素值，具体操作见公式(1)。

A2、选取暗通道图像中最大的0.1%的像素点，并选取这些点在原始有雾图像中对应的最大值作为整幅图像的大气光强A估计。由此求得的图5(a)的大气光值为246。

B、利用两次双边滤波估算出大气耗散函数，方法的流程示意图见附图2所示：

B1、按照公式(2)求取雾化图像I(x)的最小颜色分量图W(x)，结果如附图4(b)所示；

B2、按照公式(3)与公式(4)，对最小颜色分量W(x)进行双边滤波处理，并将滤波后的结果作为大气耗散函数的初始估计A(x)。在实施过程中，双边滤波的参数设置为：空域模板S取值0.02×min(h,w)，其中h,w分别为图像的高和宽。值域模板大小R取值15。此外，在具体实施中，为了对算法加速，将双边滤波表示为高维空间线性不变的卷积，再利用线性插值得最终结果。由此，得到的初始大气耗散函数如附图4(c)所示；

B3、按照公式(5)计算图像的局部对比度δ(x)。其中，双边滤波的参数设置与具体实现如上述步骤B2中所述；

B4、由步骤A2求得的大气光强A、步骤B2求得的初始大气耗散函数A(x)以及步骤B3求得的局部对比度δ(x)，按照公式(6)进行大气耗散函数的再次估算。在具体实施中，用来辅助控制A(x)的降值程度的可调系数k取值为3。

B5、按照公式(7)进行大气耗散函数的修正。在具体实施中，调整因子p取值为0.9，得到的修正后的大气耗散函数V(x)如附图4(d)所示；

C、利用大气耗散函数数学表达式得到介质传播函数：

根据步骤A2求出的大气光强A和步骤(6)求出的大气耗散函数V(x)，按照公式(8)求取介质传播函数t(x)。在具体实施中，调整因子ω取值为0.95，得到的介质传播函数如附图4(e)所示；

D、弱化局部明亮区域的去雾，恢复出清晰图像。其中，明亮区域弱化去雾的流程示意图如附图3所示：

D1、按照公式(9)，求出雾化图像4(a)的像素值与大气光强A接近程度，并与设定的阈值R₀进行比较。若接近程度低于阈值，则该区域被标识为明亮区域，否则，为非明亮区域。在具体实施中，由大量实验经验值选取R₀为80；

D2、按照公式(10)求取明亮区域的弱化因子D(x)，其中用于辅助控制弱化的力度的可调系数α取值为0.2。

D3、由步骤A2所得大气光强A、步骤C所得介质传播函数t(x)、步骤D2所得弱化因子D(x)以及原始雾化图像I(x)，按照公式(11)复原出清晰的无雾图像J(x)。在具体实施中，为了防止因t(x)过小而使复原图像噪声过大、出现失真等现象，设定下限阈值t₀为0.1。

经过上述步骤，图4(f)为本发明对雾化图像4(a)的去雾结果。

上述实施例的实施平台为Windows XP操作系统、处理器主频为2.53GHz、系统内存1G的PC上，Microsoft Visual C++2008软件。图4(g)和图4(h)分别HeKaiming与Tarel的两种方法对图4(a)的去雾结果。

对于图像大小为556×451的图4(a)，本发明的处理时间为0.619s，而He与Tarel的处理时间分别为26.17s和0.906s。

本发明若移植于FPGA硬件平台，采取并行运算，则可进一步加速。

Claims (2)

1.一种基于双边滤波的单幅图像去雾方法，其特征在于以下步骤：

A、求取原雾化图像的暗通道图，选取其前0.1%最大的像素点；在雾化图像中找到这些点的对应位置，取其中的最大像素值作为整幅图像的大气光强A；

B、利用双边滤波的保持边缘特性，估算大气耗散函数

(1)求取雾化图像的最小颜色分量图，即取雾化图像每个像素点的R,G,B通道的最小值作为最小颜色分量图的像素值，其表达式为：

式中，I表示原雾化图像；I^c表示I的某一个颜色通道；W(x)为I的最小颜色分量图；

(2)对最小颜色分量进行双边滤波处理，并将滤波后的结果作为大气耗散函数的初始估计：A(x)＝Bil(W(x))；式中，A(x)为初始大气耗散函数估计；Bil()表示双边滤波，其表达式为： $I^B\left(x\right)=\frac{{\mathrm{\&Sigma;}}_{y\&Element;S}{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}\&Element;R}\left(f_s(x,y)f_r(I\left(x\right),\mathrm{\&alpha;})\mathrm{\&delta;}(\mathrm{\&alpha;}-I\left(y\right))I\left(y\right)\right)}{{\mathrm{\&Sigma;}}_{y\&Element;S}{\mathrm{\&Sigma;}}_{\mathrm{\&alpha;}\&Element;R}\left(f_s(x,y)f_r(I\left(x\right),\mathrm{\&alpha;})\mathrm{\&delta;}(\mathrm{\&alpha;}-I\left(y\right))\right)};$ 式中，f_s为空间高斯函数，用于表征空间邻近度；f_r为值域高斯函数，用于表征灰度相似度；δ为方差；S为空域模板大小；R为值域模板大小；

对双边滤波进行加速，即在信号处理理论的基础上将双边滤波表示为高维空间线性不变的卷积，再利用线性插值得最终结果；

(3)求取图像的局部对比度，判断图中场景与成像设备的相对距离；局部对比度δ(x)计算公式如下： $\begin{array}{c}A\left(x\right)=\mathrm{Bil}\left(W\left(x\right)\right)\\ \mathrm{\&delta;}\left(x\right)=\mathrm{Bil}\left(\right|W\left(x\right)-A\left(x\right)\left|\right)\end{array};$

当δ(x)越小，场景对比度小，表示离成像设备越远，大气耗散函数的值越大；当δ(x)越大，场景对比度大，表示离成像设备越近，大气耗散函数的值越小；若场景到成像设备的距离固定时，即δ(x)固定时，像素点x自身灰度值越大，表示被错误判断为距离远的场景的可能性越大，大气耗散函数的初始估计A(x)应降值幅度越大，灰度值越小，A(x)应降值幅度越小；

(4)大气耗散函数的再次估计，其表达式为：

式中，A为大气光强,

来衡量像素点的相对亮度值；k为可调系数，用来辅助控制A(x)的降值程度；

(5)修正大气耗散函数，其表达式为：V(x)＝max(min(p·B(x),W(x)),0)；式中，参数p(0＜p＜1)为调整因子；

C、利用大气耗散函数数学表达式得到介质传播函数，其表达式为：

式中，t(x)为介质传播函数；ω(0＜ω＜1)为一个调整因子；

D、弱化局部区域的去雾，恢复出清晰图像。

2.根据权利要求1所述的单幅图像去雾方法，其特征在于步骤D具体如下：

(1)计算原图像中像素值与大气光强的接近程度，其表达式为：

式中，R(x)表示图像I在位置x的像素值与大气光强A的接近程度；

(2)设定阈值R₀，对于R(x)小于R₀的区域，标定为明亮区域，扩大其介质传播函数t(x)的值；对于R(x)大于R₀的区域，则认为非明亮区域，保持原有t(x)不变；

(3)根据步骤(2)，求取明亮区域中介质传播函数t(x)的弱化因子D(x)，其表达式为： $D\left(x\right)=\left\{\begin{array}{cc}\mathrm{\&alpha;}\frac{R_0-R\left(x\right)}{R_0}& R\left(x\right)<=R_0\\ 0& R\left(x\right)>R_0\end{array}\right.;$ 式中，

为弱化因子，用于避免明亮区域的t(x)过小而引起颜色失真；α为可调系数；

(4)根据大气耗散模型，复原清晰的无雾图像J(x)，其表达式为：

式中，t(x)+D(x)为含有明亮区域弱化因子的介质传输函数；t₀为下限阈值。

Images