CN103942758A - 基于多尺度融合的暗通道先验图像去雾方法 - Google Patents

Abstract

一种基于多尺度融合的暗通道先验图像去雾方法，其步骤为：（1）对雾天退化图像分别采用1×1、15×15邻域尺寸的颜色通道最小值滤波，得到相应的暗通道图像，以此计算点、块估计透射率图；（2）对点估计透射率图进行基于L₀梯度最小化的保边缘图像平滑；（3）对块估计透射率图采用大尺寸高斯滤波处理；（4）以归一化的梯度幅值为权重，将点、块估计透射率图像融合得到修正透射率图；（5）基于中值滤波估算透射率下界；（6）利用15×15暗通道图像估计天空亮度；（7）反解雾天退化模型，输出去雾结果。本发明具有去雾能力强、复杂度低、可提高图像去雾质量和效率等优点。

Description

基于多尺度融合的暗通道先验图像去雾方法

技术领域

本发明主要涉及到图像处理领域，特指一种适用于雾天降质图像增强处理的基于多尺度融合的暗通道先验图像去雾方法。

背景技术

在雾天影响下，图像采集设备所获取的图像往往出现对比度减弱、颜色退化、细节丢失等问题，以致图像可视性急剧下降，若直接应用到计算机视觉系统(如道路监控、船舶导航等)中，必然对系统的鲁棒性、准确性造成不利影响。在某些环境下，所能获取的数据只有单幅降质图像时，信息量不足使得去雾成为病态方程求解问题。现有的去雾增强算法往往根据一定的强先验知识、适当假设来增加有效约束，或是借助各种插值方法对真实像素值进行估计修正。除了可能导致失真、假边缘、光环效应等不良后果外，处理速度更是大幅度受到抑制。因此，更加高效、实用的去雾方法有待进一步研究。

现有技术中，单幅图像去雾增强方法主要分为两类：基于对比度增强和颜色校正的去雾方法、基于雾天退化模型的去雾方法。

基于对比度增强和颜色校正的去雾方法的实质为：不分析天气因素造成图像降质的物理成因，基于颜色恒常性理论对图像颜色进行校正，或增强全局、局部对比度，属于图像增强的范畴；该类方法主要基于图像本身进行像素或邻域处理，计算相对简单。但由于没有考虑场景的景深信息，不能充分校正景深较大区域的对比度和颜色，无法保证图像质量，增强结果中时常会出现不可预测的失真。

基于退化模型的去雾方法的实质为：利用大气退化模型或其变形形式，通过对图像数据本身做各种假设或利用先验知识增加约束以求解模型中包含的未知参数，进而求解图像退化的逆过程以恢复去雾图像。该类方法一般借助最优化方法估计模型参数，往往存在计算过程复杂、耗时的问题，计算开销常常随图像尺寸增加而变得不可接受。但由于其能在不损伤图像质量的前提下恢复不同景深场景的反照率，而受到业内的广泛关注。

有从业者通过对大量自然场景图像分析后发现，任意局部区域内均存在某些像素，其在至少一个颜色通道内的强度趋于零，亦即暗通道先验。并据此提出基于暗通道先验(DarkChannel Prior,DCP)的单幅图像去雾算法，其流程图如图1所示，其主要过程为：

(1)输入雾天退化图像，在15×15的邻域范围对其进行红、绿、蓝三通道的最小值滤波，得到分块暗通道图；

(2)对步骤(2)中得到的分块暗通道图中像素按强度从大到小排序，取前0.1%的像素，搜索其在退化图像中对应的像素，将强度最大的像素值作为天空亮度的估计值；

(3)对步骤(2)中得到的分块暗通道图，应用暗通道先验条件假设，求取15×15分块估计的透射率图像；

(4)采用Soft Matting插值算法处理步骤(3)中得到的块估计透射率图，设置透射率下界为0.1，得到修正细化的透射率图像；

(5)依据步骤(4)中得到的修正细化透射率图，代入雾天退化模型进行逆向求解，得到最终增强结果。

上述方法能够很好恢复不同深度的场景信息，但从以上过程可以看出，上述的暗通道先验去雾方法仍存在以下三方面问题：

(1)基于一定尺度的块估计进行插值细化，对于有前景干扰遮挡的小面积景深突变区域的透射率估计不准，导致去雾不彻底；

(2)Soft Matting过程当中需求解大规模稀疏线性方程组，时间复杂度、空间复杂度巨大，在景深突变边缘处也可能会出现过冲失真现象；

(3)使用Soft Matting求取的透射率图中包含大量不反映深度信息的冗余纹理细节，代入退化模型反解后会造成增强结果丢失纹理细节。

(4)透射率下界认为规定为固定值，对于不同雾化情况下的退化图像的自适应差。

为解决上述问题，另有从业者假设大气耗散函数中大气遮罩项总逼近于最大值，且局部平滑，利用中值滤波的变形形式进行估计，能够到达快速去雾，同时很好地去除有前景遮挡干扰的小面积景深突变区域的雾效。但由于中值滤波不具备良好的边缘保持性能，不恰当的参数设置极易引入Halo效应。除此之外，该方法包含多种参数，调整起来较为复杂。在此基础上，有人以快速双边滤波取代中值滤波估计大气退化函数，算法复杂度是图像像素的线性函数，但其所得透射率图像仍存在梯度反转和包含冗余纹理细节信息的问题。随后，有人提出基于导引滤波的暗通道先验去雾方法(Guided Filter Based Dark Channel Prior,GFDCP)，使用导引滤波取代Soft Matting进行透射率图修正，有效防止了使用双边滤波可能出现的梯度反转问题，在达到与经典方法相同效果的前提下，处理时间得到有效降低。但该方法需要额外的参考(导引)图像，且经典方法存在的其它问题依然没有完全解决。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种去雾能力强、复杂度低、可提高图像去雾质量和效率的基于多尺度融合的暗通道先验图像去雾方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于多尺度融合的暗通道先验图像去雾方法，其步骤为：

(1)对雾天退化图像分别采用1×1、15×15邻域尺寸的三颜色通道最小值滤波，得到相应的暗通道图像d_1×1(x)、d_15×15(x)；结合暗通道先验规律，进一步得到1×1的点估计透射率图和15×15的块估计透射率图；

(2)针对步骤(1)中所得的点估计透射率图，采用基于L₀梯度最小化的保边缘图像平滑算法进行滤波处理，在保留显著边缘的同时去除冗余的纹理细节信息；

(3)针对步骤(1)中得到的块估计透射率图，采用大尺寸的高斯滤波，去除块估计透射率图中存在的虚假块边缘信息；

(4)以归一化的梯度幅值为权重，将步骤(2)、(3)中经过滤波处理后的点估计透射率图、块估计透射率图像进行融合，得到修正估计的透射率图像；

(5)对步骤(1)中得到的d_15×15(x)中的像素，按强度从大到小进行排序，对前0.1%的像素强度值集合取中值，进而计算透射率下界；

(6)在步骤(1)中得到的d_15×15(x)中搜索强度值最大的0.1%的像素，在输入的雾化图像相对应的位置中，寻找强度最大的像素作为天空亮度的估计；

(7)将步骤(5)、(6)中所得的天空亮度值、修正估计的透射率图像以及透射率下界代入雾天退化模型中进行反解，得到去雾增强结果。

作为本发明的进一步改进：所述步骤(2)中，对点估计透射率图采用基于L₀梯度最小化的保边缘图像平滑算法处理，得到参与最后图像融合的透射率图。作为本方法的简化，可先将点估计透射率图像做降采样，然后在较小的分辨率下进行L₀梯度最小化的平滑操作，之后再由上采样得到参与最后图像融合的透射率图，由此可在不过份影响去雾效果的前提下大大减少计算量，提高算法速度。L₀梯度最小化的平滑算法的表达式为：

$\hat{S}=\underset{s}{\min }[\underset{p}{\mathrm{\Σ}}{(S_p-I_p)}^2+\mathrm{\λ}\·C\left(S_p\right)],C\left(S_p\right)=\mathrm{count}\left\{p\right|\left|{\∂}_x{S}_p\right|+\left|{\∂}_y{S}_p\right|\≠0\}$

其中，I_p为原始图像，S_p为平滑后图像，C(S_p)表示图像中幅值非零的梯度个数，λ为平滑强度控制因子，一般取在[0.001,0.1]之间，count{·}为计数操作算子。

作为本发明的进一步改进：所述步骤(4)中，以梯度幅值为权重因子，将点估计透射率图中的高频结构信息和块估计透射率图中的低频平滑分量，进行加权融合得到修正细化透射率图像，如下式表示：

t(x)=w₁t′_1×1(x)+w₂t′_15×15(x)

其中，t′_1×1(x)、t′_15×15(x)分别为滤波处理后的点、块估计透射率图，w₁、w₂为其在最终透射率图像中所占的比重，且w₁为t′_1×1(x)所在点对应的归一化梯度幅值，w₂=1-w₁。

作为本发明的进一步改进：所述步骤(6)中，利用15×15暗通道图像，引入中值滤波估算透射率下界，使得本方法能够为不同的雾天退化图像自适应确定合适的透射率下界，防止由于透射率下界过小所导致的过增强现象。计算公式如下所示：

${\hat{t}}_0=1-p\·\frac{\mathrm{med}\left\{I_d\right|I_d\∈\mathrm{\Ω}\}}{A^c}$

其中，med{·}为中值操作算子，Ω表示15×15暗通道图中前0.1%的值最大的暗通道点组成的集合，A^c为天空亮度在暗通道中所对应的颜色通道值，p为校正因子。

与现有技术相比，本发明的优点在于：

(1)本发明采用基于L₀梯度最小化的保边缘图像平滑算法处理点估计透射率图，以此提取显著边缘信息，同时去除冗余纹理细节；采用大尺寸高斯滤波获取块估计透射率图中的低频平滑信息，同时抑制假边缘；最后基于梯度进行图像融合，综合点、块估计透射率图中的优势互补信息。与现有的基于中值滤波、双边滤波和导引滤波的去雾方法相比较，本发明求取的透射率图像更加准确，既保持了显著边缘又去除了冗余纹理细节，从而更好抑制Halo效应和保持增强结果中包含的细节信息，与当前效果较好的GFDCP、Tarel方法相比，本发明方法能够达到更好的效果。

(2)本发明方法在透射率细化求取过程采用基于梯度的图像融合机制，避免了其它滤波插值方法所需的大量邻域计算或大规模稀疏线性方程组的求解，有效降低了内存占用和时间代价，相较于当前效率较高的GFDCP方法，本发明方法可缩短一半以上的时间。若采用本发明方法的简化算法，处理速度还能够进一步提升，最大加速比可达7.52。

(3)本发明构建自适应透射率下界确定方法，采用中值搜索与为防止颜色与天空、雾接近的场景物体对透射率下界估计的影响，为不同雾化程度的退化图像自适应确定透射率下界，无需人工干预辅助，使用者不需要掌握本技术领域的专门知识，自动化程度高。传统的使用单一固定的透射率下界往往会造成部分增强结果中的天空区域出现过色调失真或噪声过强化的现象。

附图说明

图1是现有技术中DCP去雾方法核心流程示意图。

图2是本发明方法的流程示意图。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

本发明为基于多尺度图像融合的暗通道先验去雾改进方法。本发明方法基于“理想的透射率图像应当整体平滑、保留显著边缘以及不含纹理细节”这一特点，将点估计透射率图采用基于L₀梯度最小化的保边缘图像平滑算法进行处理；将块估计透射率采用大尺寸高斯滤波去除高频假边缘信息；最后进行图像融合，得到最终透射率图用于去雾增强，既抑止了Halo效应出现，又能更好地凸显场景纹理细节，同时能对有前景干扰的小面积景深突变区域的雾进行有效去除；算法速度上也有可观提升。

如图2所示，本发明基于多尺度图像融合的暗通道先验去雾方法，其步骤为：

(1)对雾天退化图像分别采用1×1、15×15邻域尺寸的三颜色通道最小值滤波，得到相应的暗通道图像d_1×1(x)、d_15×15(x)；结合暗通道先验规律，进一步得到1×1的点估计透射率图和15×15的块估计透射率图；

(2)针对步骤(1)中所得的点估计透射率图，采用基于L₀梯度最小化的保边缘图像平滑算法进行滤波处理，在保留显著边缘的同时去除冗余的纹理细节信息；

(3)针对步骤(1)中得到的块估计透射率图，采用大尺寸的高斯滤波，去除块估计透射率图中存在的虚假块边缘信息；

(4)以归一化的梯度幅值为权重，将步骤(2)、(3)中经过滤波处理后的点估计透射率图、块估计透射率图像进行融合，得到修正估计的透射率图像；

(5)对步骤(1)中得到的d_15×15(x)中的像素，按强度从大到小进行排序，对前0.1%的像素强度值集合取中值，进而计算透射率下界；

(6)在步骤(1)中得到的d_15×15(x)中搜索强度值最大的0.1%的像素，在输入的雾化图像相对应的位置中，寻找强度最大的像素作为天空亮度的估计；

(7)将步骤(5)、(6)中所得的天空亮度值、修正估计的透射率图像以及透射率下界代入雾天退化模型中进行反解，得到去雾增强结果。

所述步骤(2)中，充分利用Li Xu等人提出的L₀梯度最小化的平滑算法，有效去除存在于点估计透射率图中不反映实际深度信息的冗余纹理细节，同时保留在深度突变区域的显著边缘，相应表达式为：

$\hat{S}=\underset{s}{\min }[\underset{p}{\mathrm{\Σ}}{(S_p-I_p)}^2+\mathrm{\λ}\·C\left(S_p\right)],C\left(S_p\right)=\mathrm{count}\left\{p\right|\left|{\∂}_x{S}_p\right|+\left|{\∂}_y{S}_p\right|\≠0\}---\left(1\right)$

其中，I_p为原始图像，S_p为平滑后图像，C(S_p)表示图像中幅值非零的梯度个数，λ为平滑强度控制因子，一般取在[0.001,0.1]之间，count{·}为计数操作算子。该方法求解所得的平滑图像，能够保证与原始图像的均方误差最小，且非零梯度个数为C(S_p)，实际上即为原图像中主要的显著边缘个数(亦作大幅值梯度个数)。此外，为进一步减少计算量以加快算法的处理速度，可以先将点估计透射率图像做降采样，然后在较小的分辨率下进行L₀梯度最小化的平滑操作，之后再由上采样得到参与最后图像融合的透射率图。由此大大减少了L₀梯度最小化的平滑所要处理的数据量，算法速度将得到显著增强，但也因此可能会出现一定的显著边缘模糊而损失信息，但不会过分劣化整体的视觉观测效果。

所述步骤(4)中，以梯度幅值为权重因子，将点估计透射率图中的高频结构信息和块估计透射率图中的低频平滑分量，进行加权融合得到最终整体平滑、保留显著边缘、去除冗余纹理细节的修正细化透射率图像，如下式表示：

t(x)=w₁t′_1×1(x)+w₂t′_15×15(x)   (2)

其中，t′_1×1(x)、t′_15×15(x)分别为滤波处理后的点、块估计透射率图，w₁、w₂为其在最终透射率图像中所占的比重，且w₁为t′_1×1(x)所在点对应的归一化梯度幅值，w₂=1-w₁。

所述步骤(6)中，为根据不同雾化程度的图像自适应确定透射率下界大小，确保在增强结果中避免(主要是天空区域)出现饱和失真以及噪声过增强现象，有关公式如下：

${\hat{t}}_0=1-p\·\frac{\mathrm{med}\left\{I_d\right|I_d\∈\mathrm{\Ω}\}}{A^c}---\left(3\right)$

其中，med{·}为中值操作算子，Ω表示前0.1%的值最大的暗通道点组成的集合，A^c为天空亮度在暗通道中所对应的颜色通道值，p为校正因子。

上述步骤(2)～(4)中，对于透射率图像的估计修正，本发明基于“理想透射率图像应当整体尽可能平滑、保留显著边缘信息以及去除冗余细节”这一特性假设，对边缘结构信息较完整的点估计透射率图进行基于L₀梯度最小化的平滑滤波，在有效去除冗余纹理细节的同时保持显著边缘；对准确度较高的块估计透射率图进行大尺寸的高斯滤波消除块状假边缘；由于梯度越大，在点估计透射率图像中表征的是所期望保留的显著边缘信息，在块估计透射率图像中则对应不希望得到的虚假边缘信息。因此，最后以梯度幅值作为权重将两幅图像进行加权融合，有效缩减计算量，所得修正透射率图像更加准确合理。而经典暗通道方法中使用SoftMatting方法，一方面需要求解大规模的稀疏线性方程组，时间和空间存储代价过大，所得透射率图像中常常包含不反映景深信息的冗余边缘细节；另一方面由于是仅在块估计透射率估计的基础上进行插值细化，在有前景遮挡干扰的小面积深度突变区域，其透射率将被前景透射率所取代，从而造成去雾不彻底。

上述步骤(5)中，在确定透射率下界时，本发明利用暗通道值与透射率之间的相互关系，类似经典方法中关于天空亮度的求取思想，引入如式(3)所示带中值滤波的透射率下界自适应确定过程，防止颜色与天空、雾接近的场景物体对暗通道值的影响，依据不同退化图像的实际情况确定相应的透射率下界。经典方法及其相关改进方法往往都将透射率下界设定为固定经验值，部分图像被增强后将出现色调饱和失真的现象。

以一个具体应用为例。

第一步，输入雾天退化图像“Hazy_building.bmp”，分别进行1×1、15×15尺度上的三颜色通道最小值滤波，得到点、块暗通道图像，进而由据透射率估计式(4)得到1×1点估计和15×15块估计透射率图，点估计透射率图能够保持显著边缘等结构信息，但同时也包含大量强度的纹理细节；块估计透射率图则相对平滑，但也存在由于分块估计所带来的虚假边缘；两者所含有的有利信息有待进一步处理提取。

$\tilde{t}\left(x\right)=1-\mathrm{\&omega;}\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\underset{c\&Element;\{r,g,b\}}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)(0<\mathrm{\&omega;}<1)---\left(4\right)$

其中，表示初始粗略估计的点、块透射率，Ω(x)为以像素x为中心的局部区域块，这里尺寸分别取做1×1和15×15。即为经过天空亮度正则化的暗通道图像，ω为场景深度视觉保持因子，通常取做0.9。

第二步，基于梯度幅值的加权融合修正细化透射率图；

采用基于L₀梯度最小化的平滑滤波方法处理点估计透射率图，λ取0.01，迭代控制因子取2。采用大尺度高斯滤波平滑块估计透射率图，这里取的高斯滤波器，；接着按照式(2)将经过滤波处理的点、块估计透射率图像进行加权融合，得到修正细化的透射率图像。在最终得到的细化修正的透射率图中，在保持点估计透射率图中的显著边缘的同时，冗余纹理细节得到有效抑制；在块估计透射率图中存在的虚假边缘也得到有效去除。

第三步，自适应透射率下界确定；

基于暗通道值与透射率的近似线性关系，依据式(3)自适应确定透射率下界，p取0.7～0.9为宜。

第四步，反解雾天退化模型，输出去雾增强结果。

为验证本发明的效能，在不同的图像数据集中进行了大量实验，其中选取部分实验数据，与当前效果较好的GFDCP方法以及Tarel提出的基于中值滤波的去雾方法在算法性能和算法速度上进行比较。

为比较去雾方法处理速度，这里选取不同尺寸的图像分别使用本发明方法、GFDCP方法以及Tarel方法在MATLAB环境下进行处理并统计相应的运行时间，结果如表1、表2所示，其中第一行为实例“Hazy_building.bmp”所对应的数据。运行平台为：CPU：Intel Xeon E5430，主频2.66GHz、内存：3.25G。可见，不管图像分辨率的大小，本发明方法的处理速率相较于Tarel方法以及GFDCP方法都有显著提高，对应的最大加速比可达8.37和2.51。当采用本发明方法的简化近似方法后(即在降采样条件下对点估计透射率图进行L₀梯度最小化的平滑滤波)，设定降采样的阶次为2，可使处理速度进一步得到改善，最大加速比提高到29.09和7.52。但由于为减少计算负担而在降采样的透射率图上进行基于L₀梯度最小化平滑操作，之后经过上采样后不可避免地将造成一定图像边缘信息的损失，一定程度上牺牲了增强效果，会有轻微的Halo效应出现，且就整体视觉效果来说，不会造成严重的劣化。

表1

表2

去雾增强直接改善的是图像的视见性，这一点可进一步由对比度的增加以及场景细节丰富程度的提高等作为衡量。为定量分析比较去雾前后的改善程度，这里通过计算不同方法去雾前后所得图像的有效细节强度值以及全局对比度值来衡量比较去雾效果的优劣，实验图像数据增强结果相对应的数据如表3、4所示，两表中第一行均为实例“Hazy_building.bmp”所对应的数据。可见，除表4第1行全局对比度数据中，本发明方法增强结果为0.3176，略低于Tarel方法的0.3291外，对于其他测试数据，本发明方法在有效细节强度和全局对比度上的增加幅度均高于GFDCP及Tarel方法，很好地验证了本方法的有效性。

表3

表4

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于多尺度融合的暗通道先验图像去雾方法，其特征在于，步骤为：

(1)对雾天退化图像分别采用1×1、15×15邻域尺寸的三颜色通道最小值滤波，得到相应的暗通道图像d_1×1(x)、d_15×15(x)；结合暗通道先验规律，进一步得到1×1的点估计透射率图和15×15的块估计透射率图；

(2)针对步骤(1)中所得的点估计透射率图，采用基于L₀梯度最小化的保边缘图像平滑算法进行滤波处理，在保留显著边缘的同时去除冗余的纹理细节信息；

(3)针对步骤(1)中得到的块估计透射率图，采用大尺寸的高斯滤波，去除块估计透射率图中存在的虚假块边缘信息；

(4)以归一化的梯度幅值为权重，将步骤(2)、(3)中经过滤波处理后的点估计透射率图、块估计透射率图像进行融合，得到修正估计的透射率图像；

(5)对步骤(1)中得到的d_15×15(x)中的像素，按强度从大到小进行排序，对前0.1%的像素强度值集合取中值，进而计算透射率下界；

(6)在步骤(1)中得到的d_15×15(x)中搜索强度值最大的0.1%的像素，在输入的雾化图像相对应的位置中，寻找强度最大的像素作为天空亮度的估计；

(7)将步骤(5)、(6)中所得的天空亮度值、修正估计的透射率图像以及透射率下界代入雾天退化模型中进行反解，得到去雾增强结果。

2.根据权利要求1所述的基于多尺度融合的暗通道先验图像去雾方法，其特征在于，在步骤（2）中对点估计透射率图采用基于L₀梯度最小化的保边缘图像平滑算法处理，进一步在保留显著边缘的同时去除估计偏差或错误的透射率点。

3.根据权利要求1或2所述的基于多尺度融合的暗通道先验图像去雾方法，其特征在于，所述步骤(4)中，以梯度幅值为权重因子，将点估计透射率图中的高频结构信息和块估计透射率图中的低频平滑分量，进行加权融合得到修正细化透射率图像t(x)，如下式表示：

t(x)=w₁t′_1×1(x)+w₂t′_15×15(x)

其中，t′_1×1(x)、t′_15×15(x)分别为滤波处理后的点、块估计透射率图，w₁、w₂为其在最终透射率图像中所占的比重，且w₁为t′_1×1(x)所在点对应的归一化梯度幅值，w₂=1-w₁。

4.根据权利要求1或2所述的基于多尺度融合的暗通道先验图像去雾方法，其特征在于，所述步骤(6)中，进一步利用15×15暗通道图像，引入中值滤波估算透射率下界，为不同的雾天退化图像自适应确定合适的透射率下界，计算公式如下所示：

${\hat{t}}_0=1-p\&CenterDot;\frac{\mathrm{med}\left\{I_d\right|I_d\&Element;\mathrm{\&Omega;}\}}{A^c}$

其中，med{·}为中值操作算子，Ω表示15×15暗通道图中前0.1%的值最大的暗通道点组成的集合，A^c为天空亮度在暗通道中所对应的颜色通道值，p为校正因子。