CN104281999A - 基于结构信息的单幅图像去雾方法 - Google Patents

Abstract

本发明涉及一种基于结构信息的单幅图像去雾方法，属于数字图像处理领域。给定一幅有雾图像，建立图像雾天退化物理模型，估计大气光，计算初始环境光，提取有雾图像结构信息，修正环境光，复原真实图像。本发明提出的方法对近景，中-远景，远景拍摄的图像具有更好的复原能力，特别地，本发明可以扩展到视频去雾。

Description

基于结构信息的单幅图像去雾方法

技术领域

本发明属于数字图像处理领域。

背景技术

由于雾天环境下大气散射现象，拍摄出来的景物能见度和对比度降低，色彩降质。而在许多应用领域中，如军事国防、目标识别、交通导航、遥感、卫星成像等，需要的是清晰的、高质量的图像或视频。因此，通过有效去除雾的影响来提高视觉系统的可靠性具有重要的研究意义。

一般来说，现有的图像去雾方法分为两类，基于多幅图像和单幅图像的去雾方法。基于多幅图像去雾的方法通过在不同天气条件下，或者通过旋转照相机上的振动滤波器，或者使用多个先验获得同一场景的多幅图像来估计景深信息，这类方法可以得到更多的先验信息，但是在实际应用中很难捕捉到多幅图像或者获得额外的先验信息。因此，单幅图像去雾受到越来越多的关注。现有的多数去雾方法都是基于大气退化物理模型，并通过一些条件约束求解物理模型中的参数来获得去雾图像。这些方法关键是如何获得较真实的景深信息和大气光。

最近，单幅图像去雾已成为研究的热点。Tan提出了一种基于最大化对比度的去雾方法来提高图像可见性，同时保证局部环境光的平滑性。但是这种方法会导致过补偿现象使得颜色严重失真。Fattal采用独立成分分析方法估计场景反射率，并利用高斯马尔科夫随机场优化透射率，但这种方法只能够去除局部的雾。Tarel等人提出了一种基于中值滤波的快速去雾方法，但由于此方法使用两次中值滤波使得景深信息不能很好的保持。何凯明等人提出了一种基于先验暗原色的单幅图像去雾方法，并取得很好的去雾效果，但是采用软抠图方法对透射率进行细化十分费时。最近，Nishino等人提出基于贝叶斯概率的方法联合估计场景反射率和景深，对比实验结果表明此方法能够取得更好的效果，但此方法需要定义多个统计先验，去雾后的图像色彩也略显不自然。肖春霞等人采用引导的联合双边滤波方法对Tarel方法求得的环境光进行了细化，但是此方法得到的去雾图像细节结构信息保持的不是很好。

发明内容

本发明提供一种基于结构信息的单幅图像去雾方法，以解决存在的颜色严重失真、只能够去除局部的雾、去雾图像细节结构信息保持的不是很好的问题。

本发明采取的技术方案包括以下步骤：

（1）、给定一幅有雾图像I；

（2）、建立图像雾天退化物理模型；

I(x)=J(x)t(x)+L_∞(1-t(x))，                 (1)

其中，I为观察到的有雾图像，J为要复原的真实图像，L_∞为大气光，t(x)=e^-d(x)为透射率,d(x)为景深，A=L_∞(1-t(x))称为环境光；

（3）、估计大气光L_∞；

首先采用四叉树分解的方法将图像分为四个子图像，计算每个子图像的均值和标准差，并用二者相减作为每个子图像的得分，然后，迭代地将得分最大的图像块继续分解下去，直到分解的子图像大小小于一个阈值停止，将最后分解的子图中得分最大的均值作为估计的大气光值L_∞；

（4）、计算初始环境光A₀；

采用Tarel的方法计算初始环境光：

I_m(x)=min_c∈{R,G,B}I^c(x)

B(x)=median_Ω(I_m(x))，                   (5)

C(x)=B(x)-median_Ω(|I_m-B|)(x)

A₀(x)=max(min(pC(x),I_m(x)),0)

其中，Ω代表一个滤波窗口，p∈[0,1]为尺度因子；

（5）、提取有雾图像结构信息；

给定一个像素x，Ω_x是它的一个空间邻域，它的结构信息由下式求得：

$I_m^s\left(x\right)={\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}W(x,y)I_m\left(x\right),---\left(6\right)$

其中，W(x,y)=c·W_d(x,y)·W_i(x,y)·W_s(x,y)，c为归一化常量；

W_d(x,y),W_i(x,y)和W_s(x,y)分别为空间距离因子，强度因子和结构因子，定义如下：

$W_d(x,y)=\exp (-||x-y{\left|\right|}^2/{\mathrm{\σ}}_d^2),---\left(7\right)$

W_i(x,y)=exp(-||I(x)-I(y)||²/σ_i ²),          (8)

$W_s(x,y)=\exp \{-{(x-y)}^T{D}_x^{-1}(x-y)/{\mathrm{\σ}}_s^2\},---\left(9\right)$

其中，σ_d,σ_i和σ_s分别为对应的标准差，D_x为局部邻域N的矩阵：

$D_x=\frac{1}{\left|N\right|}\underset{x^{\′}\∈A}{\mathrm{\Σ}}\▿I\left(x^{\′}\right)\▿I{\left(x^{\′}\right)}^T.---\left(10\right)$

其中，N代表x的邻域像素集合，|N|代表N中的元素个数；

（6）、修正环境光；

将结构信息作为双边滤波的参考图，计算如下：

$R_s\left(x\right)=\frac{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))\·I_m^s\left(x\right)}{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))},---\left(11\right)$

其中，f和g分别为空间和值域高斯核函数；

然后，R_s(x)作为引导的联合双边滤波器的参考图像按下式修正初始环境光：

$A\left(x\right)=\frac{1}{k}{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(R_s\left(x\right)-R_s\left(y\right))\·h(A_0\left(y\right)-R_s\left(y\right)\·A_0\left(y\right),---\left(14\right)$

其中，k为归一化因子，h为高斯核函数；

（7）、复原真实图像J(x)；

首先，根据环境光计算透射率t(x)：

t(x)=1-ωA(x)/L_∞,        (15)

其中，ω∈(0,1)是为了使得复原的图像看起来更自然；

然后，真实图像由下式得到：

$J\left(x\right)=\frac{I\left(x\right)-L_{\∞}}{\max (t\left(x\right),t_0)}+L_{\∞},---\left(16\right)$

其中，t₀是常量，用来调节复原图像的色调。

本发明按下式分别计算步骤（3）中每个子图像的均值和标准差：

$M_k=\frac{1}{N}\underset{x}{\mathrm{\Σ}}{I}_k\left(x\right),---\left(2\right)$

${\mathrm{\σ}}_k=\sqrt{\frac{1}{N}\underset{x}{\mathrm{\Σ}}{(I_k\left(x\right)-M_k)}^2},k=\mathrm{1,2,3,4},---\left(3\right)$

其中，N为每个子图像的像素个数。

然后，按下式计算每个子图像的得分：

S_k=M_k-σ_k.                (4)

本发明步骤（6）中f和g定义如下：

$f(x-y)=\exp (-{\left|\right|x-y\left|\right|}^2/2{\mathrm{\σ}}_f^2),---\left(12\right)$

$g(I_m^s\left(x\right)-I_m^s\left(y\right))=\exp (-{\left|\right|I_m^s\left(x\right)-I_m^s\left(y\right)\left|\right|}^2/{2\mathrm{\σ}}_g^2),---\left(13\right)$

其中，σ_f和σ_g为高斯函数标准差。

本发明提出了一种基于结构的单幅图像去雾方法，为了有效的复原有雾图像，提出的方法适用于军事国防、目标识别、交通导航、遥感、卫星成像等。

本发明针对3幅图像进行了实验，并与现有的有代表性的6种方法进行了对比，实验结果表明，本发明提出的方法对近景，中-远景，远景拍摄的图像具有更好的复原能力。特别地，本发明可以扩展到视频去雾。

本发明具有下述有益效果：

（1）本发明是针对有雾降质图像的去雾方法；

（2）采用四叉树分解方法可以准确的估计大气光，并且不受噪声的影响；

（3）用结构信息修正后的环境光能够很好的反映景深信息；

（4）本发明能够很好的保持色彩，纹理，结构信息等信息，复原的真实图像不但具有较高的对比度和清晰度，而且更真实，更自然；

（5）本发明可以扩展到视频去雾，用于智能交通和户外监控等领域。

附图说明

图1是本发明中使用的一幅有雾图像’House’；

图2是提取的结构信息图像；

图3是环境光图像；

图4是透射率；

图5是本发明的’House’去雾结果；

图6是Tarel等人方法的’House’去雾结果；

图7是Fattal方法的’House’去雾结果；

图8是Nishino等人方法的’House’去雾结果；

图9是肖春霞等人方法的’House’去雾结果；

图10是本发明中使用的有雾图像’Cones’；

图11是Tarel等人方法的’Cones’去雾结果；

图12是Fattal方法的’Cones’去雾结果；

图13是何凯明等人方法的’Cones’去雾结果；

图14是Nishino等人方法的’Cones’去雾结果；

图15是本发明的’Cones’去雾结果；

图16是发明中使用的有雾图像’Cannon3’；

图17是直方图均衡化方法的’Cannon3’去雾结果；

图18是何凯明等人方法的’Cannon3’去雾结果；

图19是本发明的’Cannon3’去雾结果。

具体实施方式

包括下列步骤

1、给出一幅有雾图像，如图1所示，该图像的分辨率为450×441；

2、建立图像雾天退化物理模型；

有雾图像的退化模型由两部分组成，第一部分是直接衰减项，描述了场景目标反射光在介质中衰减的结果。第二部分是环境光，反映了多种光源的综合作用。

I(x)=J(x)t(x)+L_∞(1-t(x))，         (1)

其中，I为观察到的有雾图像，J为要复原的真实图像，L_∞为大气光，t(x)=e^-d(x)为透射率，并且t(x)∈(0,1),d(x)为景深，可见，透射率和景深有着直接关系。

A=L_∞(1-t(x))这一项称为环境光；

3、估计大气光L_∞；

首先采用四叉树分解的方法将有雾图像分为四个子图像(I₁,I₂,I₃,I₄)，按下式分别计算每个子图像的均值和标准差，

$M_k=\frac{1}{N}\underset{x}{\mathrm{\Σ}}{I}_k\left(x\right),---\left(2\right)$

${\mathrm{\σ}}_k=\sqrt{\frac{1}{N}\underset{x}{\mathrm{\Σ}}{(I_k\left(x\right)-M_k)}^2},k=\mathrm{1,2,3,4},---\left(3\right)$

其中，N为每个子图像的像素个数。

然后，按下式计算每个子图像的得分：

S_k=M_k-σ_k.                    (4)

我们可以看出，此得分同时考虑了亮度和纹理信息，即子图像越亮，纹理越少，得分就越高。

最后，迭代地将得分最大的图像块继续分解下去，直到分解的子图像大小小于一个阈值停止，将最终分解的子图中得分最大的均值作为估计的大气光值L_∞。采用均值作为大气光值的估计可以有效的避免噪声的影响，具有良好的稳定性。

4、计算初始环境光A₀；

通过观察，Teral等人提出了基于中值滤波的快速求解环境光的方法。此方法首先采用中值滤波器过滤有雾图像的最小通道，然后计算局部均值与标准差之间差异。最后通过最大-最小操作求得环境光。鉴于此方法的简单性和有效性，所以我们采用此方法计算初始环境光：

I_m(x)=min_c∈{R,G,B}I^c(x)

B(x)=median_Ω(I_m(x))，                    (5)

C(x)=B(x)-median_Ω(|I_m-B)(x)

A₀(x)=max(min(pC(x),I_m(x)),0)

其中，Ω代表一个滤波窗口，p∈[0,1]为尺度因子。由于两次使用中值滤波，导致得到的初始环境光的景深信息不能够很好的保持，需要进一步修正。

5、提取有雾图像结构信息；

给定一个像素x，Ω_x代表它的一个空间邻域，y为x的一个邻居，若x和y空间位置接近，亮度相似，并且位于同样的图像结构上，则它们具有相似的结构信息。

所以，一个像素x的结构信息由三部分平均加权得到：

$I_m^s\left(x\right)={\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}W(x,y)I_m\left(x\right),---\left(6\right)$

其中，W(x,y)=c·W_d(x,y)·W_i(x,y)·W_s(x,y)，c为归一化常量。

W_d(x,y),W_i(x,y)和W_s(x,y)分别为空间距离因子，强度因子和结构因子，定义如下：

$W_d(x,y)=\exp (-||x-y{\left|\right|}^2/{\mathrm{\σ}}_d^2),---\left(7\right)$

W_i(x,y)=exp(-||I(x)-I(y)||²/σ_i ²),            (8)

$W_s(x,y)=\exp \{-{(x-y)}^T{D}_x^{-1}(x-y)/{\mathrm{\σ}}_s^2\},---\left(9\right)$

其中，σ_d，σ_i和σ_s分别为对应的标准差。

D_x是以x为中心的局部结构矩阵：

$D_x=\frac{1}{\left|N\right|}\underset{x^{\′}\∈A}{\mathrm{\Σ}}\▿I\left(x^{\′}\right)\▿I{\left(x^{\′}\right)}^T,---\left(10\right)$

其中，N代表x的邻域像素集合，|N|代表N中的元素个数。

从公式（6）可以看出，结构信息提取同时考虑了图像的空间距离，亮度和结构，如图2所示，为求得准确的透射率提供了良好的参考作用。

6、修正环境光；

由于结构信息充分地反映了图像的边缘和细节纹理信息，而边缘信息恰好能够准确的反映景深信息，所以，我们采用有雾图像的结构信息用来修正初始环境光。

具体做法是首先将结构信息作为双边滤波的参考图，计算如下：

$R_s\left(x\right)=\frac{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))\·I_m^s\left(x\right)}{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))},---\left(11\right)$

f和g分别为空间和值域高斯核函数，定义如下：

$f(x-y)=\exp (-{\left|\right|x-y\left|\right|}^2/2{\mathrm{\σ}}_f^2),---\left(12\right)$

$g(I_m^s\left(x\right)-I_m^s\left(y\right))=\exp (-{\left|\right|I_m^s\left(x\right)-I_m^s\left(y\right)\left|\right|}^2/{2\mathrm{\σ}}_g^2),---\left(13\right)$

其中，σ_f和σ_g为高斯函数标准差。

然后，R_s(x)作为引导的联合双边滤波器的参考图像按下式修正初始环境光：

$A\left(x\right)=\frac{1}{k}{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(R_s\left(x\right)-R_s\left(y\right))\·h(A_0\left(y\right)-R_s\left(y\right)\·A_0\left(y\right),---\left(14\right)$

其中，k为归一化因子，h为高斯核函数。这样，g(R_s(x)-R_s(y)保留了结构信息，而h(V(y)-R_s(y))去掉了一些冗余的纹理信息。

修正后的环境光A如图3所示，修正后的环境光保留了反映景深的边缘信息，同时去掉了冗余的纹理信息，尤其是红墙区域的纹理明显减少，为复原真实图像奠定了良好的基础。

7、复原真实图像J(x)；

当我们获得了修正后的环境光A之后，可根据环境光定义计算透射率t(x)：

t(x)=1-ωA(x)/L_∞         (15)

其中，ω∈(0,1]是为了使得复原的图像看起来更自然。一般地，ω=0.95，求得的透射率如图4所示。

然后，复原的真实图像由下式得到：

$J\left(x\right)=\frac{I\left(x\right)-L_{\∞}}{\max (t\left(x\right),t_0)}+L_{\∞},---\left(16\right)$

其中，t₀是常量，用来调节复原图像的色调。一般地，t₀=0.1。

本实施例中去雾后的图像如图5所示，我们可以看出去雾后的图像具有真实的景深信息，清晰的结构信息和自然的色彩信息。

下边通过实验结果分析与对比来进一步说明本发明的效果。

为了验证本发明提出去雾方法的有效性，本发明针对3幅有雾图像进行了复原。这三幅图像分别为近景图像’House’，中-远景图像’Cones’，远景图像’Cannon3’。为了说明本发明的优越性，与6种有代表性的单一图像去雾方法进行了对比，包括Tarel等人的方法，Fattal的方法，何凯明等人的方法，Nishino等人的方法，肖春霞等人的方法和直方图均衡化方法。为了公平对比，对比方法的结果图像均为来自发表论文及个人网站。图5-9为不同方法对有雾图像’House’的去雾结果对比。我们可以看出，Tarel等人提出方法的去雾结果景深信息保持的不是很好，Fattal等人提出的方法多处区域雾没有去除干净，Nishino等人方法的去雾结果颜色信息失真，看起来不自然。肖春霞等人提出的方法取得的效果较好，但是本发明的结果保留了更好的细节结构信息。图11-15为不同方法对有雾图像’Cones’的去雾结果对比。从图13可以看出何凯明等人提出方法的去雾结果图像中看起来还有一层薄雾存在，即雾去除的不彻底。而本发明提出方法的去雾结果在远景处颜色信息复原的更为真实。图17-19不同方法对有雾图像’Cannon3’的去雾结果对比，可以看出直方图均衡化的结果不能很好的保持局部对比度。综合从色彩，纹理，结构，对比度，清晰度等五个角度来看，本发明得到的去雾结果更真实，更自然。

以上所述仅为本发明的部分实施方案而已，利用本发明的设计思想所作的各种改进，仍应包含于本案专利之内。在不脱离本发明的前提下进行的若干改进和润饰也应视为本发明的保护范围。

Claims (3)

1.一种基于结构信息的单幅图像去雾方法，其特征在于包括以下步骤：

（1）、给定一幅有雾图像I；

（2）、建立图像雾天退化物理模型；

I(x)=J(x)t(x)+L_∞(1-t(x))，            (1)

其中，I为观察到的有雾图像，J为要复原的真实图像，L_∞为大气光，t(x)=e^-d(x)为透射率,d(x)为景深，A=L_∞(1-t(x))称为环境光；

（3）、估计大气光L_∞；

首先采用四叉树分解的方法将图像分为四个子图像，计算每个子图像的均值和标准差，并用二者相减作为每个子图像的得分，然后，迭代地将得分最大的图像块继续分解下去，直到分解的子图像大小小于一个阈值停止，将最后分解的子图中得分最大的均值作为估计的大气光值L_∞；

（4）、计算初始环境光A₀；

采用Tarel的方法计算初始环境光：

I_m(x)=min_c∈{R,G,B}I^c(x)

B(x)=median_Ω(I_m(x))，                   (5)

C(x)=B(x)-medianΩ(|I_m-B|)(x)

A₀(x)=max(min(pC(x),I_m(x)),0)

其中，Ω代表一个滤波窗口，p∈[0,1]为尺度因子；

（5）、提取有雾图像结构信息；

给定一个像素x，Ω_x是它的一个空间邻域，它的结构信息由下式求得：

$I_m^s\left(x\right)={\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}W(x,y)I_m\left(x\right),---\left(6\right)$

其中，W(x,y)=c·W_d(x,y)·W_i(x,y)·W_s(x,y)，c为归一化常量；

W_d(x,y),W_i(x,y)和W_s(x,y)分别为空间距离因子，强度因子和结构因子，定义如下：

$W_d(x,y)=\exp (-||x-y{\left|\right|}^2/{\mathrm{\σ}}_d^2),---\left(7\right)$

W_i(x，y)＝exp(-||I(x)-I(y)||²/σ_i ²)，        (8)

$W_s(x,y)=\exp \{-{(x-y)}^T{D}_x^{-1}(x-y)/{\mathrm{\σ}}_s^2\},---\left(9\right)$

其中，σ_d,σ_i和σ_s分别为对应的标准差，D_x为局部邻域N的矩阵：

$D_x=\frac{1}{\left|N\right|}\underset{x^{\′}\∈A}{\mathrm{\Σ}}\▿I\left(x^{\′}\right)\▿I{\left(x^{\′}\right)}^T.---\left(10\right)$

其中，N代表x的邻域像素集合，|N|代表N中的元素个数；

（6）、修正环境光；

将结构信息作为双边滤波的参考图，计算如下：

$R_s\left(x\right)=\frac{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))\·I_m^s\left(x\right)}{{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(I_m^s\left(x\right)-I_m^s\left(y\right))},---\left(11\right)$

其中，f和g分别为空间和值域高斯核函数；

然后，R_s(x)作为引导的联合双边滤波器的参考图像按下式修正初始环境光：

$A\left(x\right)=\frac{1}{k}{\mathrm{\Σ}}_{y\∈\mathrm{\Ω}\left(x\right)}f(x-y)\·g(R_s\left(x\right)-R_s\left(y\right))\·h(A_0\left(y\right)-R_s\left(y\right)\·A_0\left(y\right),---\left(14\right)$

其中，k为归一化因子，h为高斯核函数；

（7）、复原真实图像J(x)；

首先，根据环境光计算透射率t(x)：

t(x)=1-ωA(x)/L_∞,          (15)

其中，ω∈(0,1)是为了使得复原的图像看起来更自然；

然后，真实图像由下式得到：

$J\left(x\right)=\frac{I\left(x\right)-L_{\∞}}{\max (t\left(x\right),t_0)}+L_{\∞},---\left(16\right)$

其中，t₀是常量，用来调节复原图像的色调。

2.根据权利要求1所述的基于结构信息的单幅图像去雾方法，其特征在于，按下式分别计算步骤（3）中每个子图像的均值和标准差：

$M_k=\frac{1}{N}\underset{x}{\mathrm{\Σ}}{I}_k\left(x\right),---\left(2\right)$

${\mathrm{\σ}}_k=\sqrt{\frac{1}{N}\underset{x}{\mathrm{\Σ}}{(I_k\left(x\right)-M_k)}^2},k=\mathrm{1,2,3,4},---\left(3\right)$

其中，N为每个子图像的像素个数。

然后，按下式计算每个子图像的得分：

S_k=M_k-σ_k.            (4)。

3.根据权利要求1所述的基于结构信息的单幅图像去雾方法，其特征在于，步骤（6）中f和g定义如下：

$f(x-y)=\exp (-{\left|\right|x-y\left|\right|}^2/2{\mathrm{\σ}}_f^2),---\left(12\right)$

$g(I_m^s\left(x\right)-I_m^s\left(y\right))=\exp (-{\left|\right|I_m^s\left(x\right)-I_m^s\left(y\right)\left|\right|}^2/{2\mathrm{\σ}}_g^2),---\left(13\right)$

其中，σ_f和σ_g为高斯函数标准差。