CN103914813A - 彩色雾霾图像去雾与光照补偿的复原方法 - Google Patents

Abstract

本发明公开一种彩色雾霾图像去雾与光照补偿的复原方法，主要解决现有技术存在复原结果颜色失真、光晕伪影和偏暗的问题。其实现步骤是：用雾霾图像I(x,y)的暗通道图像D(x,y)初步估计大气幕图像；对暗通道图像作灰度开运算，得到大气幕图像粗估计图像D′(x,y)；以暗通道图像为引导图像，对大气幕图像粗估计图像进行引导滤波，得到大气幕图像V(x,y)；将雾霾图像与大气幕图像做差，得到残差图像E(x,y)；对残差图像的亮通道图像B(x,y)进行灰度闭运算，得到光照分量图像粗估计图像B′(x,y)；以亮通道图像为引导图像，对光照分量图像粗估计图像进行引导滤波，得到光照分量图像L(x,y)；将光照分量图像代入光照-反射成像模型中，求解得到复原结果。本发明无需计算环境光、透射率，可稳定复原出清晰图像。

Description

彩色雾霾图像去雾与光照补偿的复原方法

技术领域

本发明属于图像处理领域，特别涉及图像的复原方法，可广泛用于图像目标检测、识别、跟踪的预处理。

背景技术

在雾霾天气条件下，大气中气溶胶等微粒的散射作用，导致采集到的图像对比度降低，颜色失真；同时，在雾霾条件下，光源变化、物体阴影覆盖、曝光不足等因素会使场景光照不足，进一步导致采集到的图像整体或局部偏暗，视见度下降，细节模糊。总之，严重降质的雾霾图像干扰了图像信息的辨识及后续的图像分析。近年来，雾霾图像的复原问题受到学术界的广泛关注。

在雾霾图像复原方法研究方面，Tan(Tan K,Oakley P J.Physics-based approach to colorimage enhancement in poor visibility conditions[J].Optical Society of America,2001,18(10):2460-2467.)对雾霾图像的局部对比度进行最大化，但其复原结果存在颜色失真与光晕伪影。Fattal(Fattal R.Single image dehazing[J].ACM Transactions on Graphics,2008,27(3):1-9.)采用ICA方法和MRF模型来复原图像，该方法无法处理灰度图像与雾霾严重的图像。何恺明(HeKaiMing,Sun Jian,Tang Xiaoou.Single image haze removal using dark channel prior[C].In:Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Miami.USA:IEEE,2009.1956-1963.)通过暗影通道估计场景物体的深度信息，但在场景存在大面积白色区域或没有颜色鲜艳物体的情况下，该方法就会失效。Tarel(Tarel J P,Hautiere N.Fast visibilityrestoration from a single color or gray level image[C].In:Proceedings of the12th IEEEInternational Conference on Computer Vision Kyoto.Japan:IEEE,2009.2201-2208.)方法将最小值滤波与中值滤波相结合，对颜色鲜艳的图像有较好复原效果，但不恰当的参数易引起光晕伪影，同时伴有颜色的失真。Jobson等人(Jobson,Daniel J.,Zia-ur Rahman,and Glenn A.Woodell."A multiscale retinex for bridging the gap between color images and the humanobservation of scenes."Image Processing,IEEE Transactions on6.7(1997):965-976.Rahman,Zia-ur,Daniel J.Jobson,and Glenn A.Woodell."Retinex processing for automatic imageenhancement."Journal of Electronic Imaging13.1(2004):100-110.)提出单尺度、多尺度和多尺度颜色恢复三种基于Retinex理论的方法。单尺度Retinex(SSR,Single Scale Retinex)方法的效果易受尺度常数大小影响，颜色易失真；多尺度Retinex(MSR,Multi-Scale Retinex)方法可能会导致光晕伪影且运算量大；多尺度Retinex颜色恢复方法(MSRCR,Multi Scale Retinexwith Color Rendetion)方法对违反灰度世界假设的图像进行了颜色恢复，但颜色修正效果并不明显。Kimmel(Kimmel,Ron,et al."A variational framework for retinex."International Journalof Computer Vision52.1(2003):7-23.)将已有的多种Retinex方法规范成统一的变分形式，虽然运算复杂度减小，但易使阴影边界模糊，产生光晕伪影。

以上雾霾图像复原方法虽然对雾霾降质图像有一定的复原效果，但普遍存在颜色失真、光晕伪影、图像偏暗等缺点，导致后续的目标检测、识别、跟踪等处理无法正常进行。

发明内容

本发明的目的在于针对上述已有技术的不足，对雾霾图像的复原原理深入剖析，并严格推导出光学模型中各个参量的求解方法，提出一种彩色雾霾图像去雾与光照补偿的复原方法，以减小颜色失真，避免光晕伪影，提高雾霾图像的清晰度。

实现本发明目的的技术思路是：基于大气散射物理模型和光照-反射成像模型等光学模型，无需求解环境光与透射率，通过简单的方法有效地获取大气幕、光照分量等信息，进一步求解场景物体的反射分量，去除雾霾和光照对成像过程的影响。其具体步骤包括如下：

(1)从雾霾图像库或通过数字成像设备拍摄获得由大气散射所形成的单幅雾霾图像I(x,y)：I(x,y)=I₀(x,y)t(x,y)+A(1-t(x,y))，其中(x,y)是雾霾图像中任一像素的坐标，I₀(x,y)是无雾霾的图像，t(x,y)是透射率图像，A是环境光，I₀(x,y)t(x,y)为残差图像，用E(x,y)表示，它代表场景中物体被动成像的特性，A(1-t(x,y))为大气幕图像，用V(x,y)表示，它代表环境光对场景物体被动成像的影响；

(2)求取雾霾图像I(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D(x,y)，并将暗通道图像作为大气幕图像的初步估计图像；

(3)对暗通道图像D(x,y)进行灰度开运算，得到大气幕图像的粗估计图像D′(x,y)；

(4)用暗通道图像D(x,y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D′(x,y)进行保边平滑滤波，得到大气幕图像V(x,y)；

(5)将雾霾图像I(x,y)与大气幕图像V(x,y)相减，去除环境光对场景中物体被动成像的干扰，得到残差图像E(x,y)；

(6)根据残差图像E(x,y)表示场景中物体被动成像的特性，将其用光照-反射成像模型表示：E(x,y)=L(x,y)R(x,y)，其中L(x,y)是光照分量图像，R(x,y)是反射分量图像；

(7)求取残差图像E(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最大值，获得亮通道图像B(x,y)，并将亮通道图像作为光照分量图像L(x,y)的初步估计图像；

(8)对亮通道图像B(x,y)进行灰度闭运算，得到光照分量图像L(x,y)的粗估计图像B′(x,y)；

(9)用亮通道图像B(x,y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B′(x,y)进行保边平滑滤波，得到光照分量图像L(x,y)；

(10)将光照分量图像L(x,y)代入光照-反射成像模型，求解残差图像E(x,y)在红绿蓝RGB颜色空间中RGB各通道的反射分量图像R^c(x,y)，将反射分量图像R^c(x,y)中每一个像素的灰度值扩展至区间[0,255]，得到的彩色图像即最终复原结果，其中c∈{R,G,B}。

本发明具有如下优点：

1.由于本发明将光照-反射成像模型与大气散射模型相结合，将雾霾去除与光照补偿统一至一个框架内，所以更加全面地描述了雾霾图像的物理成因；

2.由于本发明不需要求解环境光，避免了不准确的环境光对复原结果的影响，能够稳定地再现雾霾图像的色彩与细节；

3.由于本发明利用引导滤波器准确地对大气幕图像与光照分量图像等模型参量进行求解，故有效避免现有方法中的光晕伪影；

4.由于本发明求解的残差图像去除了环境光对场景物体被动成像的干扰，并且通过计算残差图像的反射分量来获得清晰的场景图像，即在去雾的同时也对场景光照进行了补偿，所以复原结果的颜色自然真实。

附图说明

图1是本发明的实现流程图；

图2是现有大气散射模型示意图；

图3是现有光照-反射成像模型示意图；

图4是用本发明对train图像进行复原过程中的相关结果图像；

图5是用本发明和现有的Jobson、何恺明、Fattal方法对grass和fireworks雾霾图像的复原结果对比图；

图6是用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对y16雾霾图像的复原结果对比图；

图7是用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对y01雾霾图像的复原结果对比图；

图8是用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对ny17雾霾图像的复原结果对比图。

具体实施方式

以下参照附图对本发明做进一步地详细描述。

参照图1，本发明的实现步骤如下：

步骤一，获得单幅雾霾图像I(x,y)。

从雾霾图像库或通过数字成像设备拍摄获得一幅如图4(a)所示的雾霾图像I(x,y)，利用大气散射模型将该雾霾图像I(x,y)表示为：

I(x,y)=I₀(x,y)t(x,y)+A(1-t(x,y))  <1>

其中(x,y)是雾霾图像I(x,y)中任一像素的坐标；I₀(x,y)是无雾霾的图像；t(x,y)是透射率图像，且0<t(x,y)<1；A是环境光，其包括阳光、地面反射光和天空漫反射光；I₀(x,y)t(x,y)为残差图像，用E(x,y)表示，它代表场景中物体被动成像的特性；A(1-t(x,y))为大气幕图像，用V(x,y)表示，它代表环境光对场景物体被动成像的影响；大气散射模型的示意图，

如图2所示。

雾霾图像I(x,y)具有对比度低、颜色失真、细节模糊不清、光照不足等特点。

步骤二，求取雾霾图像I(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D(x,y)，并将其作为大气幕图像V(x,y)的初步估计图像。

2.1）遍历雾霾图像I(x,y)的每一个像素，对其在红绿蓝RGB颜色空间下的RGB三通道灰度值做最小值运算，最终结果用表示，其中，I^c(x,y)是雾霾图像I(x,y)在RGB颜色空间下任一颜色通道的灰度图像；

2.2）定义图像中任一像素的红绿蓝RGB三个颜色通道中灰度值最小的通道为暗通道，且由暗通道组成的灰度图像即为暗通道图像。因此所述的就是雾霾图像I(x,y)的暗通道图像，用D(x,y)表示。

2.3）根据现有的暗通道先验规律及对大气散射模型的推导变形，用暗通道图像D(x,y)作为大气幕图像V(x,y)的初步估计图像：

在大气散射模型式<1>的等式两边同时对红绿蓝RGB三个颜色通道灰度值做最小值运算，用如下公式表示：

$\underset{c\&Element;\{R,G,B\}}{\min }\left\{I^c(x,y)\right\}=\underset{c\&Element;\{R,G,B\}}{\min }\left\{{I_0}^c(x,y)t(x,t)\right\}+\underset{c\&Element;\{R,G,B\}}{\min }\left\{V^c(x,y)\right\}---<2>$

其中，c∈{R,G,B}；I^c(x,y)是雾霾图像I(x,y)的RGB三个颜色通道中任一通道的灰度图像；I₀ ^c(x,y)是无雾霾图像I(x,y)的RGB三个颜色通道中任一通道的灰度图像；t(x,y)是透射率图像；V^c(x,y)是大气幕图像V(x,y)的RGB颜色通道中任一颜色通道的灰度图像；

由于透射率图像t(x,y)与大气幕图像V(x,y)的RGB三个颜色通道灰度值相同，所以式<2>可进一步变形为：

$\underset{c\&Element;\{R,G,B\}}{\min }\left\{I^c(x,y)\right\}=t(x,y)\underset{c\&Element;\{R,G,B\}}{\min }\left\{{I_0}^c(x,y)\right\}+V(x,y)---<3>$

根据暗通道图像的定义，式中就是雾霾图像I(x,y)的暗通道图像D(x,y)；而则是无雾霾图像I₀(x,y)的暗通道图像；

根据暗通道先验规律： $\underset{c\&Element;\{R,G,B\}}{\min }\left\{{I_0}^c(x,y)\right\}\&RightArrow;0,$ 可得到 $\underset{c\&Element;\{R,G,B\}}{\min }\left\{I^c(x,y)\right\}\&RightArrow;V(x,y),$ 即雾霾图像I(x,y)的暗通道图像D(x,y)近似于大气幕图像V(x,y)，据此可将雾霾图像I(x,y)的暗通道图像D(x,y)作为大气幕图像V(x,y)的初步估计图像。

步骤三，对暗通道图像D(x,y)进行灰度开运算，获得大气幕图像V(x,y)的粗估计图像D′(x,y)。

由于场景中可能存在颜色偏白的物体，所以雾霾图像I(x,y)中并非每个像素都有灰度值很小的颜色通道，因此获得的暗通道图像D(x,y)中并非每个像素的灰度值都很小。为了去除部分颜色偏白的物体对求解大气幕图像的干扰，本发明引入现有的灰度开运算对暗通道图像D(x,y)进一步滤波。

灰度开运算，是教科书中已有的一种对图像的运算过程，即指先进行灰度腐蚀，再进行灰度膨胀的灰度形态学运算，其能够削弱图像中偏亮的独立小区域，保持大面积的暗区域相对不受影响。通过灰度开运算求得的大气幕图像的粗估计图像D′(x,y)如图4(c)所示，从图4(c)可见，该粗估计图像D′(x,y)符合大气幕图像在场景大部分区域平缓变化的特点。

步骤四，用暗通道图像D(x,y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D′(x,y)进行保边平滑滤波。

大气幕图像中景深不同的像素的灰度值存在差异，即大气幕图像应该具有景深的变化信息，同时，大气幕图像整体上应当平滑缓慢地变化。大气幕图像的粗估计图像D′(x,y)已具有整体平滑的特点，但由于其丢失了景深突变的高频信息，所以需要对D′(x,y)进行保边平滑滤波。本发明利用引导滤波器对大气幕图像的粗估计图像D′(x,y)进行滤波，引导滤波器是一个线性移可变的滤波器，它通过一幅引导图像对输入图像进行滤波，输出的图像在保留输入图像整体特征的同时，能充分获得引导图像的变化细节。

本步骤将暗通道图像D(x,y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D′(x,y)进行滤波，其实现过程如下：

4.1）选取半径固定的方形掩膜，使该掩膜的中心分别在暗通道图像D(x,y)与大气幕图像的粗估计图像D′(x,y)内逐像素滑动，每滑动一次掩膜，分别计算暗通道图像D(x,y)与掩膜重合的局部区域的平均值m_k和方差v_k，大气幕图像的粗估计图像D′(x,y)与掩膜重合的局部区域的平均值m′_k，以及暗通道图像D(x,y)与大气幕图像的粗估计图像D′(x,y)序号相同的局部区域的协方差c_k：

$m_k=\frac{1}{n}{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}D(x,y),$

$v_k=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{\left(D(x,y)\right)}^2-{\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}D(x,y)\right)}^2}{n},$

$m_k^{\&prime;}=\frac{1}{n}{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{D}^{\&prime;}(x,y),$

$c_k=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}\left(D(x,y)D^{\&prime;}(x,y)\right)-\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}D(x,y)\right)\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{D}^{\&prime;}(x,y)\right)}{n},$

其中，ω_k是序号为k的局部区域，n是局部区域内像素数量，(x,y)是像素坐标，方形掩膜半径选20个像素；

4.2）依次将暗通道图像D(x,y)的每个局部区域的平均值m_k、方差v_k与大气幕粗估计图像D′(x,y)中有相同序号的局部区域的平均值m′_k、协方差c_k代入如下公式，求解大气幕图像的粗估计图像D′(x,y)中每个局部区域的两个线性系数，即第一线性系数a_k和第二线性系数b_k：

a_k=c_k/(v_k+ε)

b_k=m′_k-a_km_k

式中，ε是调节参数，其值越大，图像越平滑，边缘细节越模糊，经试验，当ε取值为0.01时效果理想；

4.3）遍历大气幕图像的粗估计图像D′(x,y)的每一个像素，分别计算D′(x,y)中所有包含该像素的局部区域的所述两个线性系数a_k和b_k的平均值和

$\stackrel{\&OverBar;}{a}(x,y)=\frac{1}{n}{\mathrm{\&Sigma;}}_{k\&Element;{\mathrm{\&omega;}}_{(x,y)}}{a}_k,$

$\stackrel{\&OverBar;}{b}(x,y)=\frac{1}{n}{\mathrm{\&Sigma;}}_{k\&Element;{\mathrm{\&omega;}}_{(x,y)}}{b}_k,$

其中，ω_(x,y)是以坐标为(x,y)的像素为中心的局部区域，n是局部区域ω_k内的像素数量；

4.4）将所述的两个线性系数平均值与作为引导滤波器的线性系数，对暗通道图像D(x,y)中的每个像素的灰度值进行如下线性变换：

$V(x,y)=\stackrel{\&OverBar;}{a}(x,y)D(x,y)+\stackrel{\&OverBar;}{b}(x,y)$

式中的V(x,y)就是引导滤波器的输出结果，即为保边平滑滤波后的大气幕图像，将图4(d)所示的大气幕图像V(x,y)与图4(c)所示的大气幕图像的粗估计图像D(x,y)相比可知，大气幕图像V(x,y)在整体平滑的同时具有精确的景深突变信息。

步骤五，将雾霾图像I(x,y)与大气幕图像V(x,y)相减，得到残差图像E(x,y)。

根据残差图像的定义，用雾霾图像I(x,y)减去大气幕图像V(x,y)，就去除了环境光对场景中物体被动成像的干扰，即得到残差图像E(x,y)。

步骤六，将残差图像E(x,y)用光照-反射成像模型表示。

由于残差图像E(x,y)表示场景中物体被动成像的特性，而如图3所示的光照-反射成像模型表征物体被动成像的过程，因此残差图像E(x,y)可用光照-反射成像模型表示为：

E(x,y)=L(x,y)R(x,y)  <4>

其中L(x,y)是光照分量图像，表示场景中物体接收到的光照强度；R(x,y)是反射分量图像，表示物体的反射率，是物体的固有特性。

步骤七，求残差图像E(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最大值，获得亮通道图像B(x,y)，并将其作为光照分量图像L(x,y)的初步估计图像。

7.1）遍历残差图像E(x,y)的每一个像素，对其在红绿蓝RGB颜色空间下的RGB三通道灰度值做最大值运算，最终结果用表示，其中，E^c(x,y)是残差图像E(x,y)在RGB颜色空间下任一颜色通道的灰度图像；

7.2）定义图像中任一像素的红绿蓝RGB三个颜色通道中灰度值最大的通道为亮通道，且由亮通道组成的灰度图像即为亮通道图像，因此所述的就是残差图像E(x,y)的亮通道图像，用B(x,y)表示；

7.3）由于图像中任一像素的亮通道在RGB三个颜色通道中灰度值最大，因此其反射率在RGB三个颜色通道中相对最大，所以亮通道的灰度值相对更接近于该像素的光照强度，据此可将残差图像的亮通道图像B(x,y)作为光照分量图像L(x,y)的初步估计图像。

步骤八，对亮通道图像B(x,y)进行灰度闭运算，获得光照分量图像L(x,y)的粗估计图像B′(x,y)。

由于场景中可能存在部分偏黑色物体，所以残差图像E(x,y)中并不是每个像素都存在反射分量较大的颜色通道，即亮通道图像B(x,y)中并非每个像素的灰度值都接近于该像素的光照强度，因此亮通道图像B(x,y)并不能准确估计光照分量图像L(x,y)。为了去除部分偏黑色物体对估计光照分量图像造成的干扰，本发明使用灰度闭运算对亮通道图像B(x,y)进一步滤波。

灰度闭运算，是教科书中已有的一种对图像的运算过程，即指先进行灰度膨胀，再进行灰度腐蚀的灰度形态学组合运算，其能够削弱图像中的偏暗小区域，保持偏亮区域相对不受影响。通过灰度闭运算求得的光照分量图像的粗估计图像B′(x,y)如图4(g)所示，从图4(g)中可见，B′(x,y)整体较为平滑。

步骤九，用亮通道图像B(x,y)作为引导图像，通过引导滤波器对光照分量图像L(x,y)的粗估计图像B′(x,y)进行保边平滑滤波。

现实中，光照在场景物体的边缘处存在有突变，而经灰度闭运算处理后的光照分量图像L(x,y)的粗估计图像B′(x,y)中物体边缘的光照突变非常模糊，为了得到精确的光照分量图像L(x,y)，需要对B′(x,y)进行保边平滑滤波，本发明使用引导滤波器完成该操作，即将亮通道图像B(x,y)作为引导图像，通过引导滤波器对光照分量图像的粗估计图像B′(x,y)进行滤波，其实现过程如下：

9.1）选取半径固定的方形掩膜，使该掩膜的中心分别在亮通道图像B(x,y)与光照分量粗估计图像B′(x,y)内逐像素滑动，每滑动一次掩膜，分别计算亮通道图像B(x,y)与掩膜重合的局部区域的平均值μ_k和方差σ_k，光照分量粗估计图像B′(x,y)与掩膜重合的局部区域的平均值μ′_k，以及亮通道图像B(x,y)与光照分量粗估计图像B′(x,y)序号相同的局部区域的协方差η_k：

${\mathrm{\&mu;}}_k=\frac{1}{n}{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}B(x,y),$

${\mathrm{\&sigma;}}_k=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{\left(B(x,y)\right)}^2-{\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}B(x,y)\right)}^2}{n},$

${\mathrm{\&mu;}}_k^{\&prime;}=\frac{1}{n}{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{B}^{\&prime;}(x,y),$

${\mathrm{\&eta;}}_k=\frac{{\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}\left(B(x,y)B^{\&prime;}(x,y)\right)-\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}B(x,y)\right)\left({\mathrm{\&Sigma;}}_{(x,y)\&Element;{\mathrm{\&omega;}}_k}{B}^{\&prime;}(x,y)\right)}{n},$

其中，ω_k是序号为k的局部区域，n是局部区域内像素数量，(x,y)是像素坐标，方形掩膜半径选20个像素；

9.2）依次将亮通道图像B(x,y)的每个局部区域的平均值μ_k、方差σ_k与光照分量图像的粗估计图像B′(x,y)中有相同序号的局部区域的平均值μ′_k、协方差η_k代入如下公式，求解光照分量图像的粗估计图像中每个局部区域的两个线性系数，即第1线性系数α_k和第2线性系数β_k：

α_k=η_k/(σ_k+δ)

β_k=μ′_k-α_kμ_k，

式中，δ是调节参数，取值为0.01有良好效果；

9.3）遍历光照分量图像的粗估计图像B′(x,y)的每一个像素，分别计算B′(x,y)中所有包含该像素的局部区域的所述两个线性系数α_k和β_k的平均值和

$\stackrel{\&OverBar;}{\mathrm{\&alpha;}}(x,y)=\frac{1}{n}{\mathrm{\&Sigma;}}_{k\&Element;{\mathrm{\&omega;}}_{(x,y)}}{\mathrm{\&alpha;}}_k,$

$\stackrel{\&OverBar;}{\mathrm{\&beta;}}(x,y)=\frac{1}{n}{\mathrm{\&Sigma;}}_{k\&Element;{\mathrm{\&omega;}}_{(x,y)}}{\mathrm{\&beta;}}_k,$

其中，ω_(x,y)是以坐标为(x,y)的像素为中心的局部区域，n是局部区域ω_k内的像素数量；

9.4）将所述的两个线性系数平均值与作为引导滤波器的线性系数，对亮通道图像B(x,y)中的每个像素的灰度值进行如下线性变换：

$L(x,y)=\stackrel{\&OverBar;}{\mathrm{\&alpha;}}(x,y)B(x,y)+\stackrel{\&OverBar;}{\mathrm{\&beta;}}(x,y),$

式中的L(x,y)就是引导滤波器的输出结果，也就是光照分量图像，如图4(h)所示，从图4(h)中可见，光照分量图像L(x,y)变化平缓且具有物体边缘处的突变信息。

步骤十，将光照分量图像L(x,y)代入光照-反射成像模型中，求解反射分量图像R(x,y)，获得复原结果图像。

10.1）将光照分量图像L(x,y)代入光照-反射成像模型式<6>，求解残差图像E(x,y)在RGB颜色空间中各颜色通道的反射分量图像R^c(x,y)，得到：

其中，c∈{R,G,B}，E^c(x,y)为残差图像E(x,y)中红绿蓝RGB任一颜色通道的灰度图像，为了避免光照分量图像L(x,y)中某像素灰度值过小造成的计算误差，本发明对光照分量图像中所有像素灰度值设定下限值经试验，取值为0.1效果良好；

10.2）将RGB三个颜色通道的反射分量图像R^c(x,y)中每个像素的值乘以255，取整并截断至区间[0,255]，得到的彩色图像即为最终复原的结果，其如图4(i)所示。

本发明的效果可通过以下仿真实验进一步说明：

本发明的实验条件为：Intel(R)Pentium(R)D CPU2.8GHz2.79GHz，1.5GB内存，matlab7.12.0。

实验一：

分别通过本发明和现有的Jobson、何恺明、Fattal方法对一幅雾霾图像进行复原对比，结果如图5，其中：

图5(a)是fireworks雾霾图像，

图5(b)是用Jobson方法对图5(a)复原后的结果，

图5(c)是用何恺明方法对图5(a)复原后的结果，

图5(d)是用Fattal方法对图5(a)复原后的结果，

图5(e)是用本发明对图5(a)复原后的结果。

从图5中可以看出，本发明和现有方法对fireworks雾霾图像均有一定的去雾效果，但现有方法存在明显的缺陷。Jobson方法复原出的图像中虽然有诸多细节，但颜色饱和度过低；

何恺明方法复原出的图像虽然对比度提高，但光照不足，图中某些区域偏暗；Fattal方法复原出的图像中整体光照不足，且丢失了原图像中的部分细节；本发明复原出的图像对比度明显提高，场景色彩得以再现，细节清晰可见。

实验二：

分别用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对y01雾霾图像进行复原处理并对比，结果如图6，其中：

图6(a)是y01雾霾图像，

图6(b)是用Fattal方法对图6(a)复原后的结果，

图6(c)是用Tan方法对图6(a)复原后的结果，

图6(d)是用Keof方法对图6(a)复原后的结果，

图6(e)是用Tarel方法对图6(a)复原后的结果，

图6(f)是用何恺明方法对图6(a)复原后的结果，

图6(g)是用A.K.方法对图6(a)复原后的结果，

图6(h)是用本发明对图6(a)复原后的结果。

从图6可以看出，几种方法均可有效复原雾霾图像，但现有方法存在明显的缺陷：Fattal方法复原出的图像虽然颜色自然，但图中的森林细节较为模糊；Tan方法复原出的图像中虽然诸如森林这样的细节较为清晰，但颜色过饱且存在光晕伪影；Koef方法复原出的图像虽然整体颜色再现良好，但细节不清晰，颜色过饱和；Tarel方法复原出的图像但去雾效果不明显，存在明显光晕伪影；何恺明方法复原出的图像颜色整体偏暗，森林细节无法辨别；A.K.方法复原出的图像虽然天空颜色自然，但存在轻微的光晕伪影，森林区域光照不足，颜色过暗且细节模糊；本发明复原出的图像对比度明显提高，图中的山脉、森林等景物的细节清晰可辨，且有效避免了光晕伪影。

实验三：

分别用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对y16雾霾图像进行复原处理并对比，结果如图7，其中：

图7(a)是y16雾霾图像，

图7(b)是用Fattal方法对图7(a)复原后的结果，

图7(c)是用Tan方法对图7(a)复原后的结果，

图7(d)是用Keof方法对图7(a)复原后的结果，

图7(e)是用Tarel方法对图7(a)复原后的结果，

图7(f)是用何恺明方法对图7(a)复原后的结果，

图7(g)是用A.K.方法对图7(a)复原后的结果，

图7(h)是用本发明对图7(a)复原后的结果。

从图7可以看出，几种方法均取得了明显的去雾效果，但现有方法存在明显的缺陷：Fattal方法复原出的图像虽然整体自然，但图中的山脉较为模糊；Tan方法复原出的图像颜色过饱和，图中人物身边明显存在光晕伪影；Koef方法复原出的图像颜色整体偏亮，不够自然真实；Tarel方法复原出的图像去雾效果不明显，颜色失真，存在光晕伪影；何恺明方法复原出的图像中局部区域存在颜色失真，例如图中人物所在的山顶颜色偏黄；A.K.方法复原出的图像虽然天空颜色自然，但存在光晕伪影且山脉的颜色过暗；本发明复原出的图像对比度提升明显，场景颜色得以再现，且由于进行了光照补偿，所以细节突出。

实验四：

分别用本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对ny17雾霾图像进行复原处理并对比，结果如图8，其中：

图8(a)是ny17雾霾图像，

图8(b)是用Fattal方法对图8(a)复原后的结果，

图8(c)是用Tan方法对图8(a)复原后的结果，

图8(d)是用Keof方法对图8(a)复原后的结果，

图8(e)是用Tarel方法对图8(a)复原后的结果，

图8(f)是用何恺明方法对图8(a)复原后的结果，

图8(g)是用A.K.方法对图8(a)复原后的结果，

图8(h)是用本发明对图8(a)复原后的结果。

从图8可以看出，几种方法均对雾霾图像有效复原，但现有方法存在明显的缺陷：Fattal方法复原出的图像虽然颜色真实，但城市楼宇等细节较为模糊；Tan方法复原出的图像中虽然楼宇等细节较为清晰，但颜色严重饱和，存在轻微光晕伪影；Koef方法复原出的图像颜色偏亮，远处海平面附近的细节并未被复原；Tarel方法复原出的图像中存在明显光晕伪影；何恺明方法复原出的图像光照不足，图像整体偏暗；A.K.方法复原出的图像虽然天空颜色自然，但存在轻微的光晕伪影且细节模糊；本发明复原出的图像去雾效果明显，光照得以补偿，颜色自然，有效地避免了光晕伪影。

实验五：

将本发明和现有的Fattal、Tan、Koef、Tarel、何恺明、A.K方法对图6(a)、图7(a)、图8(a)的复原结果的可见边集合数目比e、平均梯度比饱和像素比例Σ及对比度增益C_gain等客观评价指标进行比较，结果如表1所示。

表1中，其可见边集合数目比e和平均梯度比r用来衡量处理前后细节的恢复程度；饱和像素比例Σ用来衡量处理前后颜色的再现效果；对比度增益C_gain用来衡量处理前后对比度的提升程度。

表1本发明与现有方法复原结果的客观评价指标对比

从表1可以看出：

本发明复原结果的可见边集合数目比和平均梯度比普遍高于现有方法，说明相比于现有的方法，本发明对雾霾图像的细节复原效果更好，图像整体视见度提高；

本发明复原结果饱和像素比例普遍低于大多数现有方法，表明本发明再现的场景颜色饱和度适中，更加真实自然；

本发明复原结果的对比度增益与现有方法基本接近，说明本发明与现有方法在对比度提高方面都有较理想的效果。

Claims (5)

1.一种彩色雾霾图像去雾与光照补偿的复原方法，包括如下步骤：

(1)从雾霾图像库或通过数字成像设备拍摄获得由大气散射所形成的单幅雾霾图像I(x,y)：I(x,y)=I₀(x,y)t(x,y)+A(1-t(x,y))，其中(x,y)是雾霾图像中任一像素的坐标，I₀(x,y)是无雾霾的图像，t(x,y)是透射率图像，A是环境光，I₀(x,y)t(x,y)为残差图像，用E(x,y)表示，它代表场景中物体被动成像的特性，A(1-t(x,y))为大气幕图像，用V(x,y)表示，它代表环境光对场景物体被动成像的影响；

(2)求取雾霾图像I(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最小值，获得暗通道图像D(x,y)，并将暗通道图像作为大气幕图像的初步估计图像；

(3)对暗通道图像D(x,y)进行灰度开运算，得到大气幕图像的粗估计图像D′(x,y)；

(4)用暗通道图像D(x,y)作为引导滤波器的引导图像，通过引导滤波器对大气幕图像的粗估计图像D′(x,y)进行保边平滑滤波，得到大气幕图像V(x,y)；

(5)将雾霾图像I(x,y)与大气幕图像V(x,y)相减，去除环境光对场景中物体被动成像的干扰，得到残差图像E(x,y)；

(6)根据残差图像E(x,y)表示场景中物体被动成像的特性，将其用光照-反射成像模型表示：E(x,y)=L(x,y)R(x,y)，其中L(x,y)是光照分量图像，R(x,y)是反射分量图像；

(7)求取残差图像E(x,y)每个像素在红绿蓝RGB颜色空间下的RGB三通道灰度最大值，获得亮通道图像B(x,y)，并将亮通道图像作为光照分量图像L(x,y)的初步估计图像；

(8)对亮通道图像B(x,y)进行灰度闭运算，得到光照分量图像L(x,y)的粗估计图像B′(x,y)；

(9)用亮通道图像B(x,y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B′(x,y)进行保边平滑滤波，得到光照分量图像L(x,y)；

(10)将光照分量图像L(x,y)代入光照-反射成像模型，求解残差图像E(x,y)在红绿蓝RGB颜色空间中RGB各通道的反射分量图像R^c(x,y)，将反射分量图像R^c(x,y)中每一个像素的灰度值扩展至区间[0,255]，得到的彩色图像即最终复原结果，其中c∈{R,G,B}。

2.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中步骤(4)所述的将暗通道图像D(x,y)作为引导滤波器的引导图像，通过引导滤波器对大气幕的粗估计图像D′(x,y)进行保边平滑滤波，得到大气幕图像V(x,y)，按如下步骤进行：

2a）选取半径固定的方形掩膜，使该掩膜的中心分别在暗通道图像D(x,y)与大气幕粗估计图像D′(x,y)内逐像素滑动，每滑动一次掩膜，分别计算暗通道图像D(x,y)与掩膜重合的局部区域的平均值m_k和方差v_k，大气幕粗估计图像D′(x,y)与掩膜重合的局部区域的平均值m′_k，以及暗通道图像D(x,y)与大气幕粗估计图像D′(x,y)序号相同的局部区域的协方差c_k，其中，k是局部区域的序号，方形掩膜半径选20个像素；

2b）依次将暗通道图像B(x,y)的每个局部区域的平均值m_k、方差v_k与大气幕图像V(x,y)的粗估计图像B′(x,y)中有相同序号的局部区域的平均值m′_k、协方差c_k代入如下公式，求解大气幕图像的粗估计图像中每个局部区域的两个线性系数，即第一线性系数a_k和第二线性系数b_k：

a_k=c_k/(v_k+ε)

b_k=m′_k-a_km_k

式中，ε是调节参数，取值为0.01；

2c）遍历大气幕图像的粗估计图像D′(x,y)的每一个像素，分别计算D′(x,y)中所有包含该像素的局部区域的所述两个线性系数a_k和b_k的平均值和其中(x,y)是像素坐标；

2d）将所述的两个线性系数平均值与作为引导滤波器的线性系数，对暗通道图像D(x,y)中的每个像素的灰度值进行如下线性变换：

$V(x,y)=\stackrel{\&OverBar;}{a}(x,y)D(x,y)+\stackrel{\&OverBar;}{b}(x,y)$

式中的V(x,y)就是引导滤波器的输出结果，即保边平滑后的大气幕图像。

3.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其特征在于：步骤(8)所述的将亮通道图像B(x,y)作为引导滤波器的引导图像，通过引导滤波器对光照分量图像的粗估计图像B′(x,y)进行保边平滑滤波，得到光照分量图像L(x,y)，按如下步骤进行：

3a）选取半径固定的方形掩膜，使该掩膜的中心分别在亮通道图像B(x,y)与光照分量粗估计图像B′(x,y)内逐像素滑动，每滑动一次掩膜，分别计算亮通道图像B(x,y)与掩膜重合的局部区域平均值μ_k和局部区域方差σ_k，光照分量粗估计图像B′(x,y)与掩膜重合的局部区域平均值μ′_k，以及亮通道图像B(x,y)与光照分量粗估计图像B′(x,y)在相同局部区域内的协方差η_k，其中，k是局部区域的序号，方形掩膜半径取20个像素；

3b）依次将亮通道图像的每个局部区域的平均值μ_k、方差σ_k与光照分量图像L(x,y)的粗估计图像B′(x,y)中有相同序号的局部区域的平均值μ′_k、协方差η_k等代入如下公式，求解光照分量图像的粗估计图像中每个局部区域的两个线性系数，即第1线性系数α_k和第2线性系数β_k：

α_k=η_k/(σ_k+δ)

β_k=μ′_k-α_kμ_k

式中，δ是调节参数，取值为0.01有良好效果；

3c）遍历光照分量图像的粗估计图像B′(x,y)的每一个像素，分别计算B′(x,y)中所有包含该像素的局部区域的所述两个线性系数α_k和β_k的平均值和其中(x,y)是像素坐标；

3d）将所述的两个线性系数平均值与作为引导滤波器的线性系数，对亮通道图像B(x,y)中的每个像素的灰度值进行如下线性变换：

$L(x,y)=\stackrel{\&OverBar;}{\mathrm{\&alpha;}}(x,y)B(x,y)+\stackrel{\&OverBar;}{\mathrm{\&beta;}}(x,y)$

式中的L(x,y)就是引导滤波器的输出结果，即保边平滑后的光照分量图像。

4.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中所述步骤(10)中求解残差图像E(x,y)在红绿蓝RGB颜色空间中各通道的反射分量图像R^c(x,y)，通过以下公式计算：

其中，c∈{R,G,B}，E^c(x,y)为残差图像E(x,y)中红绿蓝RGB颜色通道中任一通道的灰度图像，L(x,y)为光照分量图像，是为了避免光照分量图像L(x,y)中某像素灰度值过小造成的计算误差而设定的下限值，取值为0.1效果良好。

5.根据权利要求1所述的彩色雾霾图像去雾与光照补偿的复原方法，其中所述步骤(10)中将R^c(x,y)中每一个像素的灰度值扩展至区间[0,255]，得到最终复原结果，是将红绿蓝RGB颜色空间中各通道的反射分量图像R^c(x,y)中每个像素的灰度值乘以255，取整并截断至区间[0,255]，得到的彩色图像即为最终复原结果。