CN103279931A - 基于透射率的去雾图像去噪方法 - Google Patents

Abstract

一种基于透射率的去雾图像去噪方法，其步骤为：(1)得到去雾后的含噪声图及透射率图像；(2)粗略估计全局噪声方差；(3)根据步骤(2)中确定的噪声方差，确定、计算一些参数；(4)依据上述参数开始相似性像素的搜索，借助透射率作为基准对搜索范围内的像素进行预筛选，剔除与待去噪像素不相似的点；(5)基于透射率构造修正因子，弱化被噪声污染的像素权重；(6)计算整幅图像和搜索窗口的梯度均值差值，输入所建立的参数优化模型，对不同区域的滤噪参数进行自适应校正；(7)计算搜索范围内所有像素的相似性加权均值，替代待去噪像素；(8)对所有像素处理完后，输出去噪结果。本发明具有保细节程度高、滤噪效果好、复杂度低等优点。

Description

基于透射率的去雾图像去噪方法

技术领域

本发明主要涉及到图像信号的处理技术领域，特指一种基于透射率的去雾图像去噪方法，适用于非局部均值去噪、暗通道先验去雾、参数优化建模等方面。

背景技术

在雾、霾等天气条件下，户外场景物体的反射光线被不同程度地衰减散射，致使所采集的图像出现对比度下降、色彩偏移等严重质量退化问题，这成为威胁城市交通、海空航行安全的主要因素之一。

有从业者提出了一种基于暗通道先验的图像去雾算法，其显著改善了图像的可见度。但是却未考虑噪声问题。利用低成本相机采集的雾天图像通常存在大量噪声，进行去雾处理以后噪声会被不同程度地强化，进而严重影响到增强图像的质量，因此亟待一种有效的去噪算法予以处理。

在针对去雾后的噪声处理方面，有从业者利用目标的图像序列采取全局和局部图像对准相结合的方法，以时序上对应的带权重均值来进行处理，在噪声去除和边缘细节保持方面均取得了显著效果。但是，这种方法不适合快速运动场景视频，如车载相机图像的去噪去雾处理。另有从业者在暗通道先验去雾模型中加入了噪声项，并运用非参数迭代核回归方法，在单幅图像中将去雾和去噪处理同时进行，获得了较好的去雾去噪效果。但该算法性能依赖于迭代次数以及迭代终止阈值的合理选取，对于不同图像在局部区域内会出现过平滑现象，降低了去雾图像的可视性。

在去噪研究方面，有人提出了一种结合自然图像本身包含的冗余信息的非局部均值去噪算法，通过在整个图像中搜索与待去噪点相似的像素，以所有相似像素的带权重均值取代待去噪像素。在一定程度上，该算法能够在有效去除噪声的同时较好地保留边缘。

这种算法的流程如图1所示，其主要过程为：

(1)、设定去噪输入参数，确定搜索范围、邻域尺寸、权重衰减系数等因子；

(2)、搜索相似性像素，计算相似性权重。计算在搜索范围内的每个像素邻域与待去噪点邻域中对应像素的高斯加权欧氏距离，进而得到相应的相似性权重；

(3)、将步骤(2)中计算得到的最大权重值赋予待去噪像素，以搜索范围内所有像素的相似性加权均值替代待去噪像素；

(4)、对图像中所有像素进行完上述处理后，输出结果。

从以上过程可以看出，非局部均值去噪方法应用于雾天增强图像的去噪处理过程中仍存在以下几个方面的问题：

1.去噪参数需要人工设定；

2.在步骤(2)中需要对每个待去噪点邻域内的所有像素进行操作，算法的计算代价大，运行时间长；

3.在步骤(3)中尚未考虑所赋予的像素相似性权重的可信度以及正确性问题；

4.没有考虑去雾图像噪声主要集中在天空、浓雾等明亮区域的特点，去噪结果不能保持有效细节。

在提高经典非局部均值算法速度方面，有人设计了两种不同的滤波器，对参与相似性权重计算的像素进行预处理，分别剔除灰度均值、梯度方向与待去噪像素相差超过预定阈值的像素，以此降低算法复杂度。另有人则将相似性像素搜索范围从整幅图像限制到一个有限尺寸的搜索窗口，以邻域灰度均值和方差作为判定标准排除不相似像素。以上方法需要计算整幅图像的像素邻域统计量，然而，统计特性不能准确体现局部特性，梯度幅值和方向易受噪声影响，筛选效果不理想。另有人通过引入奇异值分解，利用不同阶次的近似计算衡量相似度；或将非局部均值与拉普拉斯金字塔相结合，在多尺度下进行滤噪处理。但随着图像尺寸的逐渐增大，进行金字塔分解以及逐层进行非局部均值滤波的开销将变得不可接受。

在非局部均值去噪参数的优化选取方面，有人利用统计的方法自适应地确定搜索窗口半径的大小，充分考虑每个像素的不同特点，很大程度上提高了去噪图像的峰值信噪比。也有人综合考虑了去噪强度与噪声方差及比较窗口之间的相互影响，将权重衰减系数h建模为h²＝2β|N_i|σ²，但仍只是确定了图像全局意义上的优化参数，在局部仍有不同程度的细节丢失；另有人基于像素块的经验标准差提出了自适应地确定h的方法，虽然较好地保护了边缘细节，但会错误去除图像中的非连续、非重复模式。还有人则对噪声图像进行两次非局部均值处理，第二次处理过程中借助第一次处理结果所计算得到的方法噪声作为依据修正、确定像素的相似性权重，从而改善去噪效果，但必须以牺牲处理时间为代价。

发明内容

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种保细节程度高、滤噪效果好、复杂度低的基于透射率的去雾图像去噪方法。

为解决上述技术问题，本发明采用以下技术方案：

一种基于透射率的去雾图像去噪方法，其步骤为：

(1)运用暗通道先验去雾方法得到去雾后的含噪声图及其相应的透射率图像；

(2)针对步骤(1)得到的图像，运用点残差均值的方法粗略估计全局噪声方差；

(3)根据步骤(2)中确定的噪声方差，确定、计算一些参数，所述参数包括搜索窗口尺寸和权重衰减系数；

(4)依据步骤(3)得到的参数开始相似性像素的搜索，借助步骤(1)中产生的中间量透射率作为基准对搜索范围内的像素进行预筛选，剔除与待去噪像素不相似的点；

(5)在步骤(4)的基础上，基于透射率构造修正因子，弱化被噪声污染的像素权重；

(6)计算整幅图像和搜索窗口的梯度均值差值，输入所建立的参数优化模型，对不同区域的滤噪参数进行自适应校正；

(7)计算搜索范围内所有像素的相似性加权均值，以此替代待去噪像素；

(8)对图像中所有像素进行完上述处理后，输出去噪结果。

作为本发明的进一步改进：

所述步骤(4)中，利用图像去雾过程中产生的中间量透射率作为相似像素预筛选的标准，把透射率与待去噪点相近的点作为相似像素的候选点，只计算这些点的相似性权重，相应表达式为：

$\left\{\begin{array}{cc}w(i,j)=\frac{1}{Z\left(i\right)}{e}^{\frac{{\left|\right|v\left(N_i\right)-v\left(N_j\right)\left|\right|}^{2,\mathrm{\α}}}{h^2}},\mathrm{if}& t_1\≤\frac{t\left(N_j\right)}{t\left(N_i\right)}\≤t_2\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，w(i，j)是相似像素的权重，表征像素间相似程度的大小，并且0≤w(i，j)≤1，N_k表示以像素k为中心的邻域窗口，v(N_i)、v(N_j)分别表示以像素i、j为中心的邻域窗口的灰度矢量，

是待比较像素邻域窗口间的高斯加权欧式距离；Z(i)为归一化参数且有h定义为权重衰减强度，t(N_i)为待去噪像素处的透射率值，t(N_j)为搜索区域内任意一点的透射率值，t₁和t₂为透射率预筛选的阈值。

所述步骤(5)中，利用透射率所反映出的像素被噪化的可能性大小，引入如下式(2)所示的基于透射率的权重修正过程：

$w^{\′}\left(i\right)=\frac{1}{N_t}w\left(i\right)\·t\·e^{-\frac{{\mathrm{\δ}}^2}{2{\mathrm{\σ}}_{\mathrm{\δ}}^2}}---\left(2\right)$

其中，w′(i)为修正后的像素相似性权重，N_t为图像全局的透射率均值，t为像素点所对应的透射率值，δ为估计得到的搜索窗口内像素邻域噪声强度，σ_δ表示调整强度衰减因子。

所述步骤(6)中，根据不同局域所包含的细节强弱来自适应控制滤噪强度大小，确保在滤除噪声的同时尽可能保留边缘细节，建立参数优化模型如下式所示：

$h^2=k^2{\widehat{\mathrm{\σ}}}^2+{(-1)}^q\mathrm{\β}{e}^{-\left|\mathrm{\Δg}\left(i\right)\right|}---\left(3\right)$

其中，

为通过像素伪残差均值所估计的初始噪声标准差、k为比例参数；β为修正控制常数，取值一般在[1.49，1.52]之间为宜；Δg(i)为全局图像边缘强度均值与相似性像素搜索窗内的边缘强度均值的差值；q为局部调整方向标志量，取值为0或1。

与现有技术相比，本发明的优点在于：

1、本发明直接利用暗通道去雾过程得到的反映各像素深度信息的透射率对参与相似性计算的像素进行预筛选，有效剔除非相似像素对去噪过程的不良影响，降低计算量和算法复杂度。本发明所采用的相似性计算物理量-透射率与经典预筛选方法所使用的均值、方差等统计特性量相比较，能够更加准确地反映邻域的局部特点，而且不需要额外计算统计量。

2、本发明采用透射率值作为像素被噪声污染的概率，构造相似性权重修正因子，对被噪声污染的像素权重进行弱化处理，提高参与去噪运算的像素可靠性，解决相似性权重计算的正确性问题。在去雾图像中，噪声主要分布于天空、浓雾等透射率很小的区域，透射率越小，像素被噪声污染的可能性越大。与现有非局部均值去噪技术均以邻域分布特性来确定中心像素的权重大小，未考虑中心像素可能是噪声的情况相比较，本发明的相似性权重计算更为准确。

3、本发明构建参数优化模型，基于全局和局部梯度均值差表征细节相对强弱，为不同区域自适应确定合适的去噪参数，保护边缘细节。只需输入待处理图像便能够自主估计确定相关参数和进行增强处理，无需人工干预辅助，使用者不需要掌握本技术领域的专门知识，自动化程度高。传统的使用全局最优的统一去噪参数往往会造成局部细节丢失，以梯度值衡量细节丰富程度进而调整不同区域的去噪参数，对噪声干扰非常敏感。

4、本发明与经典非局部均值去噪算法以及当前效果较好的BM3D、非参数迭代核回归算法相比，达到了等同或更好的效果，能够更有效、有针对性地处理去雾后存在的噪声和保留边缘细节。

附图说明

图1是现有技术中的非局部均值去噪方法核心流程示意图。

图2是本发明的流程示意图。

图3是本发明的处理结果与现有技术中去噪方法的比较示意图；其中图3(a)～图3(e)分别对应为原始噪声图像、本发明处理结果、经典非局部均值去噪方法结果、非参数迭代核回归方法结果以及BM3D方法结果的示意图，图中黑色实线、虚线框用以标识需要对比说明的图像局部区域。

具体实施方式

以下将结合说明书附图和具体实施例对本发明做进一步详细说明。

本发明基于透射率的去雾图像去噪方法，为基于透射率进行预筛选和权重修正的非局部均值去噪方法。它首先利用暗通道先验去雾过程中得到的透射率完成相似性像素预筛选，构造像素相似性权重修正因子；然后依据所提出的基于全局和局部梯度均值差的参数优化模型，为不同区域自适应确定合适的去噪参数。

如图2所示，本发明的详细步骤为：

(1)运用暗通道先验去雾方法得到去雾后的含噪声图及其相应的透射率图像；

(2)针对步骤(1)得到的图像，运用点残差均值的方法粗略估计全局噪声方差；

(3)根据步骤(2)中确定的噪声方差，确定、计算包括搜索窗口尺寸、权重衰减系数等参数；

(4)依据步骤(3)得到的参数开始相似性像素的搜索，借助步骤(1)中产生的中间量——透射率作为基准对搜索范围内的像素进行预筛选，剔除与待去噪像素不相似的点；

(5)在步骤(4)的基础上，基于透射率构造修正因子，弱化被噪声污染的像素权重；

(6)计算整幅图像和搜索窗口的梯度均值差值，输入所建立的参数优化模型，对不同区域的滤噪参数进行自适应校正；

(7)计算搜索范围内所有像素的相似性加权均值，以此替代待去噪像素；

(8)对图像中所有像素进行完上述处理后，输出去噪结果。

在上述步骤(4)中，经典的预筛选方法多使用邻域灰度均值和方差或梯度方向作为筛选标准，一方面增加了额外的计算，另一方面诸如均值、方差等统计特性量不能准确体现局部特性，梯度幅值和方向也易受噪声影响，造成筛选效果不理想。对于参与相似性权重计算的像素预筛选处理，本发明利用“图像相似模式应出现在深度相同或相近的区域并且暗通道去雾算法中透射率与场景深度存在指数关系”这一特性，直接以去雾处理的中间结果——透射率为标准，通过设定两个平台阈值，使得搜索范围内的像素筛选更加准确有效。

本发明中充分利用图像去雾过程中产生的中间量——透射率作为相似像素预筛选的标准，把透射率与待去噪点相近的点作为相似像素的候选点，只计算这些点的相似性权重，相应表达式为：

$\left\{\begin{array}{cc}w(i,j)=\frac{1}{Z\left(i\right)}{e}^{\frac{{\left|\right|v\left(N_i\right)-v\left(N_j\right)\left|\right|}^{2,\mathrm{\α}}}{h^2}},\mathrm{if}& t_1\≤\frac{t\left(N_j\right)}{t\left(N_i\right)}\≤t_2\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，w(i，j)是相似像素的权重，表征像素间相似程度的大小，并且0≤w(i，j)≤1，

N_k表示以像素k为中心的邻域窗口，v(N_i)、v(N_j)分别表示以像素i、j为中心的邻域窗口的灰度矢量，

是待比较像素邻域窗口间的高斯加权欧式距离。Z(i)为归一化参数且有

h定义为权重衰减强度，t(N_i)为待去噪像素处的透射率值，t(N_j)为搜索区域内任意一点的透射率值，t₁和t₂为透射率预筛选的阈值。

在上述步骤(5)中，计算像素的相似性权重时，经典方法往往依靠邻域的欧式距离确定中心像素的权重大小，未考虑中心像素是噪声的情况，可能导致噪声点有较大比重参与滤噪过程，对噪声去除和细节保留造成不良影响。本发明利用透射率所反映出的像素被噪化的可能性大小，引入如下式(2)所示的基于透射率的权重修正过程，削弱噪化像素的权重，提升参与滤波的像素可靠性。

本发明结合暗通道先验去雾后存在的噪声分布特点与透射率之间的联系，构造了相似性权重的修正因子如下所示：

$w^{\′}\left(i\right)=\frac{1}{N_t}w\left(i\right)\·t\·e^{-\frac{{\mathrm{\δ}}^2}{2{\mathrm{\σ}}_{\mathrm{\δ}}^2}}---\left(2\right)$

其中，w′(i)为修正后的像素相似性权重，N_i为图像全局的透射率均值，t为像素点所对应的透射率值，δ为估计得到的搜索窗口内像素邻域噪声强度，σ_δ表示调整强度衰减因子。

所述步骤(6)中，为根据不同局域所包含的细节强弱来自适应控制滤噪强度大小，确保在滤除噪声的同时尽可能保留边缘细节，建立参数优化模型如下式所示：

$h^2=k^2{\widehat{\mathrm{\σ}}}^2+{(-1)}^q\mathrm{\β}{e}^{-\left|\mathrm{\Δg}\left(i\right)\right|}---\left(3\right)$

其中，

为通过像素伪残差均值所估计的初始噪声标准差、k为比例参数；β为修正控制常数，取值一般在[1.49，1.52]之间为宜；Δg(i)为全局图像边缘强度均值与相似性像素搜索窗内的边缘强度均值的差值；q为局部调整方向标志量，取值为0或1。

如图3所示，为本发明的一个具体应用实例。

第一步，输入去雾图像及其透射率图，估计噪声方差，确定初始去噪参数；

如图3(a)所示为去雾后的含噪声图像，依据式(4)可得图像噪声标准差的初始粗略估计值为5.0273。再由表1所示的非局部均值滤波参数经验参考，可确定比较窗口半径、搜索窗口半径、初始权重衰减速度(亦即滤波强度)h依次为3、21、2.765。

$\widehat{\mathrm{\σ}}=\sqrt{\frac{1}{\left|I\right|}\underset{i\∈I}{\mathrm{\Σ}}{\mathrm{\ϵ}}_i^2}---\left(4\right)$

其中

I(i)表示图像中任意像素点i，P_i表示像素i的四邻域。

表1

第二步，基于透射率进行预筛选和权重修正；

设置透射率上、下限阈值t₁、t₂分别为0.97、1.03，在计算相似性权重计算之前，将透射率在式(1)所示范围之外的像素作为非相似点进行剔除。如表2所示，为本发明与经典非局部均值去噪算法的效率比较，其中包括图像中参与相似性计算的像素个数以及消耗的总时间。可见，加入透射率预筛选后，计算的象素点个数大大减少，总的算法耗费时间得到降低。同时，依据式(1)计算搜索区域内每个像素的相似性权重，由式(2)构造的相似性权重修正因子，衡量像素被噪声污染的可能性大小，对权重进行调整。即当透射率很小且估计的局域噪声强度较大时，像素处于浓雾区域且被噪声污染的可能性大，由此应减小其权重，反之亦然。

表2

第三步，依据局部细节强弱优化去噪参数；

基于全局梯度均值与局域梯度均值差，构造式(3)所示自适应去噪参数优化模型，β取1.51。在步骤(3)确定的去噪参数基础上，依据不同局部区域的特点对权重衰减系数h大小进行调整。计算全局图像边缘强度均值与相似性像素搜索窗内的边缘强度均值的差值Δg(i)。若Δg(i)≥0，表明局部细节相对较弱，q取1以减小滤波强度h。反之，q取值为0。

第四步，逐点进行加权均值处理，输出处理后结果如图3(b)所示。

为验证本发明的效能，进一步与当前效果较好的BM3D、非参数迭代核回归算法的处理结果进行了比较，列举如图3(b)～3(e)所示。

由图3(c)可以看到，经典非局部均值算法能够有力地去除噪声，但由于其采取了固定的全局最优参数进行滤噪，在虚线标识框内的区域便出现了过平滑，丢失了边缘细节信息。如图3(d)所示，非参数迭代核回归方法一定程度上提高了对细节的保留。但由于其依赖于迭代次数以及迭代终止域值的选取，实线标识框所示的部分区域仍会存在过平滑的现象。而通过图3(e)可见，BM3D算法能很好地改善去噪时保留纹理细节的程度，从整体上说，本发明处理效果大致与其等同；但是，对比图3(b)和3(e)中实线标识框所示区域可见，本发明在保持边缘细节方面较BM3D算法更有优势。

综上所述，本发明性能优于经典非局部均值去噪方法和非参数迭代核回归方法，可有效去除去雾图像中的噪声干扰，同时更好地防止边缘细节丢失，去噪参数也能够不依赖于人工而自适应确定。本发明中引入的透射率能反映深度信息和去雾后噪声的分布特性，以此指导、修正去噪过程，使得本发明能更具针对性地处理去雾图像中存在的噪声。

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (4)

1.一种基于透射率的去雾图像去噪方法，其特征在于，步骤为：

(1)运用暗通道先验去雾方法得到去雾后的含噪声图及其相应的透射率图像；

(2)针对步骤(1)得到的图像，运用点残差均值的方法粗略估计全局噪声方差；

(3)根据步骤(2)中确定的噪声方差，确定、计算一些参数，所述参数包括搜索窗口尺寸和权重衰减系数；

(4)依据步骤(3)得到的参数开始相似性像素的搜索，借助步骤(1)中产生的中间量透射率作为基准对搜索范围内的像素进行预筛选，剔除与待去噪像素不相似的点；

(5)在步骤(4)的基础上，基于透射率构造修正因子，弱化被噪声污染的像素权重；

(6)计算整幅图像和搜索窗口的梯度均值差值，输入所建立的参数优化模型，对不同区域的滤噪参数进行自适应校正；

(7)计算搜索范围内所有像素的相似性加权均值，以此替代待去噪像素；

(8)对图像中所有像素进行完上述处理后，输出去噪结果。

2.根据权利要求1所述的基于透射率的去雾图像去噪方法，其特征在于，所述步骤(4)中，利用图像去雾过程中产生的中间量透射率作为相似像素预筛选的标准，把透射率与待去噪点相近的点作为相似像素的候选点，只计算这些点的相似性权重，相应表达式为：

$\left\{\begin{array}{cc}w(i,j)=\frac{1}{Z\left(i\right)}{e}^{\frac{{\left|\right|v\left(N_i\right)-v\left(N_j\right)\left|\right|}^{2,\mathrm{\α}}}{h^2}},\mathrm{if}& t_1\≤\frac{t\left(N_j\right)}{t\left(N_i\right)}\≤t_2\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(1\right)$

其中，w(i，j)是相似像素的权重，表征像素间相似程度的大小，并且0≤w(i，j)≤1，

N_k表示以像素k为中心的邻域窗口，v(N_i)、v(N_j)分别表示以像素i、j为中心的邻域窗口的灰度矢量，

是待比较像素邻域窗口间的高斯加权欧式距离；Z(i)为归一化参数且有

h定义为权重衰减强度，t(N_i)为待去噪像素处的透射率值，t(N_j)为搜索区域内任意一点的透射率值，t₁和t₂为透射率预筛选的阈值。

3.根据权利要求1所述的基于透射率的去雾图像去噪方法，其特征在于，所述步骤(5)中，利用透射率所反映出的像素被噪化的可能性大小，引入如下式(2)所示的基于透射率的权重修正过程：

$w^{\′}\left(i\right)=\frac{1}{N_t}w\left(i\right)\·t\·e^{-\frac{{\mathrm{\δ}}^2}{2{\mathrm{\σ}}_{\mathrm{\δ}}^2}}---\left(2\right)$

其中，w′(i)为修正后的像素相似性权重，N_t为图像全局的透射率均值，t为像素点所对应的透射率值，δ为估计得到的搜索窗口内像素邻域噪声强度，σ_δ表示调整强度衰减因子。

4.根据权利要求1所述的基于透射率的去雾图像去噪方法，其特征在于，所述步骤(6)中，根据不同局域所包含的细节强弱来自适应控制滤噪强度大小，确保在滤除噪声的同时尽可能保留边缘细节，建立参数优化模型如下式所示：

$h^2=k^2{\widehat{\mathrm{\σ}}}^2+{(-1)}^q\mathrm{\β}{e}^{-\left|\mathrm{\Δg}\left(i\right)\right|}---\left(3\right)$

其中，

为通过像素伪残差均值所估计的初始噪声标准差、k为比例参数；β为修正控制常数，取值一般在[1.49，1.52]之间为宜；Δg(i)为全局图像边缘强度均值与相似性像素搜索窗内的边缘强度均值的差值；q为局部调整方向标志量，取值为0或1。

Images