CN102254313B - 基于雾天图像复原和图像融合的图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于雾天图像复原和图像融合的图像去雾方法，其实施步骤如下：1)输入有雾的可见光图像，获取可见光图像的大气光值；2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；3)根据雾图形成模型，利用大气光值和优化后的透射率恢复可见光图像，得到初步去雾图像；4)输入同一场景的近红外图像，将近红外图像和所述初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取经融合的图像亮度信息；5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。本发明具有提高图像的对比度和清晰度、增加图像细节的优点。

Description

基于雾天图像复原和图像融合的图像去雾方法

技术领域

本发明涉及图像处理领域，尤其涉及一种基于可见光图像和近红外图像，结合暗原色先验和加权最小二乘滤波器的去雾方法。

背景技术

在雾天情况下，由于景物的能见度降低，以致在相机获取的图像中，目标对比度和颜色特征被大大地衰减，因此需要消除雾气的影响。随着计算机技术的不断发展，对有雾条件下的景物影像进行去雾处理已经成为可能。事实上，图像去雾一直是计算机视觉领域研究的重要内容，其主要应用在目标探测、视频监控、地形勘测和自动驾驶等领域。目前图像去雾的方法主要有两类，即雾天图像增强和雾天图像复原。

雾天图像的增强方法不考虑图像退化的原因，单从图像处理的角度出发，增强图像的对比度，改善图像的视觉效果，突出图像的细节，但对于突出部分的信息可能会造成一定损失；雾天图像复原是研究雾天图像退化的物理过程，建立退化模型，反演退化过程，补偿由于雾气存在所造成的图像失真，从而改善雾天图像的质量。这种方法针对性强，得到的去雾效果自然，一般不会有信息损失，处理的关键点是模型中参数的估计。

图像融合是指将不同波段采集到的同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各波段图像中的有效信息，最后融合成高质量的图像，从而提高图像信息的利用率，增强图像中信息透明度和目标的对比度，以形成对目标信息描述的清晰性、完整性和准确性。图像融合在医学、遥感、计算机视觉、气象预报及军事目标识别等方面的应用潜力得到充分认识、尤其在计算机视觉方面，图像融合被认为是克服目前某些难点的技术方向；在航天、航空多种运载平台上，各种遥感器所获得的大量光谱遥感图像的融合，为信息的高效提取提供了良好的处理手段，取得明显效益。但是，目前还没有提出结合雾天图像复原和图像融合的图像去雾方法，传统的雾天图像去雾方法的效果均不够理想。

发明内容

本发明的目的是提供一种去雾后图像清晰、对比度和清晰度高、细节丰富的基于雾天图像复原和图像融合的图像去雾方法。

为解决上述技术问题，本发明采用的技术方案为：一种基于雾天图像复原和图像融合的图像去雾方法，其实施步骤如下：

1)输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；

2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；

3)根据雾图形成模型，利用所述大气光值和所述优化后的透射率恢复有雾的可见光图像，得到初步去雾图像；

4)输入与所述可见光图像同一场景的近红外图像，将近红外图像和所述初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取融合图像亮度信息；

5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。

作为上述技术方案的进一步改进：

所述步骤1)中获取可见光图像的暗原色具体是指：根据获取可见光图像的暗原色I^dark，其中c表示r通道、g通道或者b通道；I^c表示图I的c通道的分量，I为输入的可见光图像，Ω(x)表示以像素点x为中心的正方形区域。

所述步骤1)中获取可见光图像的大气光值具体是指：首先从可见光图像的暗原色的所有点中提取部分最亮点，然后在所述部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。

所述步骤2)中根据暗原色先验获取可见光图像的透射率初始值具体是指：根据

获取可见光图像的透射率初始值t′，其中c为r通道、g通道或者b通道；I^c为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点x为中心的正方形区域，A^c为大气光值的c通道的分量，ω为常数系数。

所述步骤2)中根据软抠图方法对透射率初始值进行优化具体是指：根据t＝λt′/(L+λU)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U为和L相同大小的单位矩阵。

所述步骤3)中恢复可见光图像具体是指：根据

获取初步去雾图像J，其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，t₀为常数。

所述步骤4)进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息具体是指：将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果，获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像；将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息。

所述步骤4)中进行加权最小二乘滤波时，加权最小二乘滤波的表达式为

其中

为第k次滤波的输入参数，Z表示输入的初步去雾图像的亮度信息或近红外图像，

为第k次滤波的输出参数以及第k+1次滤波的输入参数，

为加权最小二乘滤波器。

所述加权最小二乘滤波器

的表达式为

其中λ₀c^k为第k次滤波结果的粗糙度，λ₀为进行第一次滤波时输入参数的粗糙度，c为常数系数，k为滤波序号，L_g为拉普拉斯矩阵，U为和L_g相同大小的单位矩阵。

本发明具有下述优点：本发明提出了一种结合暗原色先验和加权最小二乘滤波器的图像去雾算法，利用基于暗原色先验的单幅雾天图像去雾方法，以及基于加权最小二乘滤波器的可见光图像和近红外图像的融合技术，得到清晰的去雾图像，该算法能有效地提高雾天图像的对比度和清晰度，增加图像细节信息，能显著改善由雾气造成的图像对比度下降、景物颜色失真以及亮度减弱等图像质量退化的情况，得到高质量的去雾图像，具有去雾图像清晰、对比度和清晰度高、细节丰富的优点。

附图说明

图1为本发明实施例的实施流程示意图；

图2为输入的有雾场景的可见光图像；

图3为图2的暗原色；

图4为根据暗原色先验由图2、图3获得的透射率初始值；

图5为根据软抠图方法得到的透射率优化值；

图6为根据雾图形成模型得到的初步去雾图像；

图7为输入的同一场景的近红外图像；

图8为根据最小二乘滤波由图6、图7得到的融合图像，即最终去雾图像。

具体实施方式

如图1所示，本发明实施例基于雾天图像复原和图像融合的图像去雾方法的实施步骤如下：

1)输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；

2)根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；

3)根据雾图形成模型，利用大气光值和优化后的透射率恢复有雾的可见光图像，得到初步去雾图像；

4)输入与可见光图像同一场景的近红外图像，将近红外图像和初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取融合图像亮度信息；

5)用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。

步骤1)中获取可见光图像的暗原色具体是指：根据

获取可见光图像的暗原色I^dark，其中c表示r通道、g通道或者b通道；I^c表示图I的c通道的分量，I为输入的可见光图像，Ω(x)表示以像素点x为中心的正方形区域。Ω(x)区域大小应以恰好能覆盖除天空区域以外的白色物体为宜，本实施例中，可见光图像(如图2所示)和近红外图像(如图7所示)的像素大小均为563*373，Ω(x)区域大小为9*9大小的区域。图2的暗原色如图3所示。

步骤1)中获取可见光图像的大气光值具体是指：首先从可见光图像的暗原色的所有点中提取部分最亮点，然后在部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。本实施例提取部分最亮点时，提取0.1％数量的最亮点作为部分最亮点。

步骤2)中根据暗原色先验获取可见光图像的透射率初始值具体是指：根据

获取可见光图像的透射率初始值t′，其中c为r通道、g通道或者b通道；I^c为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点x为中心的正方形区域，A^c为大气光值的c通道的分量，ω为常数系数。ω可取值0＜ω≤1，本实施例中ω＝0.8。

暗原色先验来自对户外无雾图像数据库的统计规律，它基于经观察得到的这么一个关键事实——绝大多数的户外无雾图像的每个局部区域都存在某些至少一个颜色通道的强度值很低的像素。利用这个先验知识分析去雾模型，我们可直接估算图像的透射率以及场景的深度信息。根据

计算可见光图像的透射率初始值t′时运用了暗原色先验，其推导过程如下：

在计算机视觉和计算机图形中，下述方程所描述的雾图形成模型被广泛使用：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I是指观测到的图像的强度，J是景物光线的强度，A是全球大气光成分，t用来描述光线通过媒介透射到照相机过程中没有被散射的部分，称为透射率。

假定在一个局部区域的透射率是恒定不变的，由雾图形成方程可以得到：

$\frac{I}{A}=\frac{J}{A}t+1-t$

对上式左右两边都进行与计算暗原色相同的操作，有

$\underset{\mathrm{\Ω}}{\min }\left(\underset{c}{\min }\frac{I^c}{A^c}\right)=\{\underset{\mathrm{\Ω}}{\min }\left(\underset{c}{\min }\frac{J^c}{A^c}\right)\}t+1-t$

根据暗原色先验min_Ω(min_cJ^c)→0，上式可以写成

$t=1-{\min }_{\mathrm{\Ω}}\left({\min }_c\frac{I^c}{A^c}\right)$

现实中，即使是很晴朗的天气，空气中总会不可避免地包含一些杂质分子。因此，引进一个常数ω(＜ω≤1)，有针对性的保留一部分覆盖遥远景物的雾，从而最终得到表达式 $t^{\′}=1-\mathrm{\ω}\underset{c}{\min }\left(\underset{\mathrm{\Ω}}{\min }\frac{I^c}{A^c}\right).$

透射率的初始值如图4所示。

步骤2)中根据软抠图方法对透射率初始值进行优化具体是指：根据t＝λt′/(L+λU)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，U为和L相同大小的单位矩阵，λ为修正参数，本实施例中λ＝10^-6。雾图形成模型方程和抠图方程在形式上是相同的，透射率的分布可以当做是阿尔法的分布。因此，优化后的透射率可以通过最小化以下代价函数来求得：

E(t)＝t^TLt+λ(t-t′)^T(t-t′)

软抠图拉普拉斯矩阵中的元素L(i，j)定义如下：

$\underset{k|(i,j)\∈}{\mathrm{\Σ}}({\mathrm{\δ}}_{\mathrm{ij}}-\frac{1}{\left|w_k\right|}(1+{(I_i-{\mathrm{\μ}}_k)}^T{({\mathrm{\Σ}}_k+\frac{\mathrm{\ϵ}}{\left|w_k\right|}{U}_3)}^{-1}(I_j-{\mathrm{\μ}}_k)))$

其中，w_k为以像素点k为中心的3*3像素大小的窗口，|w_k|为w_k窗口区域的像素个数，δ_ij为克罗内克符号，I_i是一个3*1的矩阵，三个元素分别是输入图像在i像素点处的r、g、b信息；I_j是一个3*1的矩阵，三个元素分别是输入图像在j像素点处的r、g、b信息；μ_k是窗口w_k窗口区域中元素的平均值；∑_k为w_k窗口区域中元素的方差；U₃是一个3*3的单位矩阵，ε也是一个修正参数，本实施例中ε＝10^-2。透射率的优化值如图5所示。

步骤3)中恢复可见光图像具体是指：根据

获取初步去雾图像J，其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，t₀为常数，本实施例中t₀＝0.1。初步去雾图像如图6所示。

步骤4)进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息具体是指：将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果，获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像；将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息。

步骤4)中进行加权最小二乘滤波时，加权最小二乘滤波的表达式为

其中

为第k次滤波的输入参数，Z表示输入的初步去雾图像的亮度信息或近红外图像，

为第k次滤波的输出参数以及第k+1次滤波的输入参数，

为加权最小二乘滤波器。

加权最小二乘滤波器

的表达式为

其中λ0ck为第k次滤波结果的粗糙度，λ₀为进行第一次滤波时输入参数的粗糙度，c为常数系数，k为滤波序号，L_g为拉普拉斯矩阵，U为和L_g相同大小的单位矩阵。本实施例中，λ₀＝0.1，c＝2。

拉普拉斯矩阵的表达式为

D_x和D_y为离散差分算子，A_x、A_y是对角矩阵，其元素定义为l表示输入图像的亮度信息的常数对数值，p表示像素位置，α为常数系数，本实施例中，α＝1.2，ε为一个很小的常数，本实施例中ε＝0.0001。

本实施例中经过六次滤波之后，根据下式求取每一次滤波结果的对比图像(contrastimage)：

$Z_{k+1}^d=\frac{Z_k^a-Z_{k+1}^a}{Z_{k+1}^a}$

其中k为通过的滤波器序号，取值范围从1到6；Z^a _k为第k个滤波器的输入参数，Z表示亮度信息V或近红外图像N；Z^a _k+1为第k个滤波器的输出参数；Z^d _k+1为第k个滤波器的输出结果的对比图像。将得到的每一组对比图像作比较取最大值，加1后连乘，将得到的值再乘以最后一个滤波器输出的亮度信息，即得到融合后的图像亮度信息，如下式：

$F_0=V_{n+1}^a{\mathrm{\Π}}_{k=1}^n(\max (V_{k+1}^d,N_{k+1}^d)+1)$

其中n为滤波次数(本实验中n＝6)；V^a _n+1为第n个滤波器输出的可见光图像亮度信息；V^d _k+1为第k个滤波器输出的可见光图像亮度信息的对比图像；N^d _k+1为第k个滤波器输出的近红外图像的对比图像；∏为连乘符号。最后，利用所得融合后的图像亮度信息，结合步骤(3)获得的可见光图像的初步去雾图像，即可得到最终的去雾图像，如图8所示。

以上所述仅为本发明的优选实施方式，本发明的保护范围并不仅限于上述实施方式，凡是属于本发明原理的技术方案均属于本发明的保护范围。对于本领域的技术人员而言，在不脱离本发明的原理的前提下进行的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种基于雾天图像复原和图像融合的图像去雾方法，其特征在于其实施步骤如下：

1）输入有雾的可见光图像，获取可见光图像的暗原色，并根据暗原色获取可见光图像的大气光值；

2）根据暗原色先验获取可见光图像的透射率初始值，根据软抠图方法对透射率初始值进行优化，得到优化后的透射率；

3）根据雾图形成模型，利用所述大气光值和所述优化后的透射率恢复有雾的可见光图像，得到初步去雾图像；

4）输入与所述可见光图像同一场景的近红外图像，将近红外图像和所述初步去雾图像的亮度信息分别进行多次加权最小二乘滤波，根据滤波结果获取经融合的图像亮度信息；所述的进行多次加权最小二乘滤波并根据滤波结果获取融合图像亮度信息是指：将近红外图像或者初步去雾图像的亮度信息作为输入参数进行第一次加权最小二乘滤波，然后将当前的滤波结果作为下一次滤波的输入参数进行多次加权最小二乘滤波，获取每一次滤波的输入参数与输出结果的差值，并将该差值除以当次滤波的输出结果，获得与滤波次数相对应的多组可见光图像亮度信息和近红外图像的对比图像，将所述多组对比图像中的每一组可见光图像亮度信息和近红外图像进行比较获取其中的较大值，然后将较大值加1后进行连乘运算，再将连乘运算结果乘以最后一次滤波输出的可见光图像的亮度信息，得到融合后的可见光图像的亮度信息；所述的进行加权最小二乘滤波时，加权最小二乘滤波的表达式为 

其中 

为第k次滤波的输入参数，Z表示输入的初步去雾图像的亮度信息或近红外图像， 

为第k次滤波的输出参数以及第k+1次滤波的输入参数， 

为加权最小二乘滤波器；所述的加权最小二乘滤波器 

的表达式为 

其中λ₀c^k为第k次滤波结果的粗糙度，λ₀为进行第一次滤波时输入参数的粗糙度，c为常数系数，k为滤波序号，L_g为拉普拉斯矩阵，U为和L_g相同大小的单位矩阵；

5）用融合后的图像亮度信息替代初步去雾图像的亮度信息，得到最终去雾图像。

2.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤1）中获取可见光图像的暗原色具体是指：根据 

获取可见光图像的暗原色I^dark，其中c表示r通道、g通道或者b通道；I^c表示图I的c通道的分量，I为输入的可见光图像，Ω(x)表示以像素点x为中心的正方形区域。

3.根据权利要求2所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤1）中获取可见光图像的大气光值具体是指：首先从可见光图像的暗原色的所有点中 提取部分最亮点，然后在所述部分最亮点对应可见光图像的像素中选择强度最大的像素点的值作为大气光值。

4.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤2）中根据暗原色先验获取可见光图像的透射率初始值具体是指：根据 

获取可见光图像的透射率初始值t′，其中c为r通道、g通道或者b通道；I^c为图I的c通道的分量，I为输入的可见光图像，Ω为以像素点x为中心的正方形区域，A^c为大气光值的c通道的分量，ω为常数系数。

5.根据权利要求4所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤2）中根据软抠图方法对透射率初始值进行优化具体是指：根据t=λt′/(L+λU)获取优化后的透射率t，其中L为软抠图拉普拉斯矩阵，λ为修正参数，U为和L相同大小的单位矩阵。

6.根据权利要求1所述的基于雾天图像复原和图像融合的图像去雾方法，其特征在于所述步骤3）中恢复可见光图像具体是指：根据 获取初步去雾图像J，其中I为输入的可见光图像，A为大气光值，t为优化后的透射率，t₀为常数。 

Images