CN107103591B - 一种基于图像雾霾浓度估计的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种基于图像雾霾浓度估计的单幅图像去雾方法，包括以下几个步骤：步骤1：输入雾霾图像；步骤2：将输入图像从RGB空间变换到HSV空间，划分SV通道图像，计算局部块特征向量；步骤3：以图像雾霾浓度最低为目标计算雾霾图像的初始最优大气传输值；步骤4：采用引导滤波器细化最优大气传输值；步骤5：将细化后的最优大气传输值、大气光照估测值以及雾霾图像中每个像素的亮度值计算得到清晰图像。通过将图像去雾转化为雾霾浓度最小化的优化问题，准确的确定大气传输值，从而实现尽可能去除雾霾，避免了在饱和区域产生严重的光晕现象与图像噪声。不仅能有效的去除雾霾，同时能抑制光晕现象与图像噪声的产生，适用于不同的复杂天气。

Description

一种基于图像雾霾浓度估计的单幅图像去雾方法

技术领域

本发明属于图像处理领域，特别涉及一种基于图像雾霾浓度估计的单幅图像去雾方法。

背景技术

雾霾天图像降质主要是因为大气中的分子，水汽及悬浮的大量颗粒组成的气溶胶对光线形成严重的吸收、散射和反射作用，造成大气能见度降低,加上大气湍流的影响，致使可见光成像系统的图像色彩将会变暗、对比度降低，严重影响了成像系统的使用。因此，分析雾霾成因，研究去雾技术，提高雾霾气象条件下的图像能见度具有重要意义。

其中，基于物理模型的去雾复原方法由于利用了景深信息，能最大限度地恢复清晰图像而得到广泛的研究。基于物理模型的去雾复原方法首先依据大气中图像退化的物理机制建立光学退化模型，然后利用退化模型通过逆过程对低质图像来恢复清晰图像，常用的Koschmieder大气模型数学表达为：

I(x)＝L(x)e^-βd(x)+A(1-e^-βd(x))

式中，I(x)表示雾霾图像，向量x为像素坐标，A表示大气光值(天空亮度)，L(x)为场景照度，d为场景景深，β为大气散射系数。常将t(x)＝e^-βd(x)称作大气传输图，其中L(x)e^-βd(x)为直接衰减项，表示物体表面反射光经大气粒子散射作用之后进入成像系统的部分，它随光线传播距离的增加成指数衰减。A(1-e^-βd(x))为环境光干扰项，它随着光线传播距离的增大而增强。求解该模型估算出参数L(x)就可以得到视觉清晰的图像。由于该模型包含3个未知参数：A，t与L，从本质上讲，这是一个多个未知数方程的病态反问题。

近年基于某些数据假设的物理模型复原方法取得了很大的进展，这些方法大多基于数据假设构造目标函数的约束方程，使用最优化方法求解模型参数，取得了良好的去雾效果。如Fattal假设图像局部区域的反照率为常向量，利用独立成分分析来估计该反照率，但当独立成分变化不显著或颜色信息不足将导致统计估计不可靠。Tan假设局部区域的环境光为常数，利用最大化复原图像的局部对比度来达到去雾的目的；但该方法的缺点在于复原后的图像颜色常常过于饱和。Tarel等人在基于大气模型基础上，将经典的场景深度估计转化为大气面纱以及天空亮度估计，避免难求的场景深度图，给出了单幅图像复原算法，但是该算法在景深大的地方边缘轮廓及景物特征都比较模糊，同时也可能导致边缘晕环效应。Kratz等人假设场景反照率和景深是统计独立的，用正则概率先验对它们建模，通过求解一个最大后验概率估计问题，联合估计出场景反照率和景深。该算法需根据特定图像选取景深先验模型，且根据经验给定先验模型中的参数。Nishino等人借助单幅雾天图像的统计结构特征，提出一种Bayesian概率方法来联合估计场景的反射率与景深。He等人假设在无雾图像上至少一个颜色通道的局部区域内场景反照率趋于0(称为暗原色先验，DCP)，使用最小值滤波对介质传播图进行粗估计，通过精细化抠图处理，能达到很好的去雾效果。朱等人则提出一种颜色衰减先验(CAP)来实现去雾。然而当存在天空、灰白色物体或浓雾等情况下，某些区域暗通道先验假设并不成立，从而导致大气透射图估计不准确，进而导致恢复的结果出现严重的光晕与噪声放大现象，并且复原后图像偏暗、色彩饱和。Cai等人训练一种端到端的深度网络(DehazeNet)来直接传输图实现雾霾的去除；Choi等人集合13个图像特征，提出了一种雾霾图像浓度的估计方法(FADE)取得了很好的结果，并进而提出一种基于图像融合的去雾算法(DEFADE)。但由于需要计算较多图像特征，计算量较大。

发明内容

本发明提出了一种基于图像雾霾浓度估计的单幅图像去雾方法，其目的在于，克服现有技术中的去雾方法适应性差，先验假设容易在天空等饱和区域失效，容易产生光晕与噪声放大现象等问题。

一种基于图像雾霾浓度估计的单幅图像去雾方法，包括以下几个步骤：

步骤1：输入雾霾图像I，并获取雾霾图像的暗通道图像I^dark，并采用暗原色先验方法获取雾霾图像的大气光照估测值A^c，c＝{R，G，B}；

暗通道图像中每个像素的暗通道值为I^dark(x)，其中，x、y分别表示图像中两个像素，Ω(x)为以像素x的坐标为中心，大小为r×r的局部区域，r为设定的局部区域半径，c为颜色通道且c∈{r,g,b}，I^c(y)为雾霾图像中像素p₂处c通道的亮度值；

步骤2：将输入的雾霾图像从RGB空间变换到HSV空间，将HSV空间中的SV通道图像分割成大小为r×r的局部块Ω，并计算每个局部块Ω与任意大气传输值关联的特征向量；

每个局部块的特征向量包括色调方差σ、韦伯对比度均值w以及饱和度均值

步骤3：利用清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的特征向量分别与输入的雾霾图像的局部块的归一化特征向量之间关系，获得与任意大气传输值关联输入的雾霾图像的雾霾浓度；

其中，μ₁和μ₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量均值，∑₁和∑₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量的方差；

步骤4：令步骤3获得的与任意大气传输值t关联输入的雾霾图像的雾霾浓度取得最小值，得到对应的初始最优大气传输值；

将图像去雾转化为雾霾浓度最小化的优化问题；

步骤5：采用引导滤波器细化最优大气传输值t(x)，得到细化后的最优大气传输值t₁(x)；

步骤6：将步骤5得到的细化后的最优大气传输值t₁(x)、大气光照估测值A^c以及雾霾图像中每个像素的亮度值I^c(x)按以下公式计算，得到清晰图像L：

I^c(x)＝L^c(x)t₁(x)+A^c(1-t₁(x))，c＝R,G,B

其中，L^c(x)为清晰图像L的c通道像素x的灰度值。

进一步地，所述与任意大气传输值关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，b表示中间向量B的所有元素之和，且

c_i表示特征调节参数，i＝1,2,3，

A(i,j)表示中间矩阵A中的元素，

L₁和L₂分别是∑₁和∑₂的分解矩阵，满足

max_f，min_f分别表示特征f较大的前0.1％个特征值的均值，以及特征值较小的0.1％特征值的均值，f包括色调方差σ、韦伯对比度均值w以及饱和度均值

k_i为特征归一化参数，i＝1,2,3；

s(x)表示局部块Ω中像素x的饱和度值；A表示雾霾图像中的大气光值，v_A表示大气光值A在HSV颜色空间的亮度通道值，v(x)表示输入雾霾图像中像素x处的亮度通道值；

Δv(x)表示局部块Ω中像素x的亮度对比度，Δv(x)＝|v(x)-v_b(x)|，v_b(x)为局部块Ω中像素x的背景亮度，由v(x)通过一个低通滤波器获得，即：v_b(x)＝LF(v(x))，LF为低通滤波器；

是局部块中Ω的所有像素的亮度通道值的平均值，N为局部块中像素数目＝r×r。

进一步地，所述与任意大气传输值关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，J₀表示雾霾图像去雾后图像的亮度期望值，

为局部块Ω中亮度对比度Δv(x)的均值。

进一步地，所述清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的构建过程如下：

首先，获取大量无雾霾的自然图像，随机从自然图像中提取大小为r×r的局部块；

其次，对提取出的局部块，利用随机生成的传输值t和大气散射模型合成雾霾图像块，构建模型数据集；

传输值t的取值范围为[0.01，1]；

接着，从模型数据集中选择传输值满足设定条件的雾霾图像块，并计算每个雾霾图像块的归一化特征向量

最后，对满足设定条件的雾霾图像块的归一化特征向量，采用多元变量的最大概率估计的方法，进行图像块的特征模型估计；

构建清晰图像MVG模型(μ₁，∑₁)时，从模型数据集中选取传输值大于0.95的雾霾图像块；

构建雾霾图像MVG模型(μ₂，∑₂)时，从模型数据集中选取传输值小于0.5的雾霾图像块。

进一步地，所述雾霾图像的大气光照c通道的估测值A^c是将暗通道图像中每个像素的暗通道值从大到小顺序排列，取暗通道值较大的前n个像素的颜色均值；

其中，n＝0.1％×M，M为雾霾图像的像素总数。

进一步地，对每个局部块的特征向量进行归一化处理是指：

σ_n＝k₁×(σ-min_σ)

w_n＝k₃×(w-min_w)。

进一步地，所述每个局部块的色调方差σ、韦伯对比度均值w、以及饱和度均值

其中，μ_rg，μ_yb，σ_rg，σ_yb分别为图像在局部块Ω中的RG色差图像与RGB色差图像的像素均值与方差；

RG色差图像为rg＝R-G，RGB色差图像为yb＝0.5(R-G)+B。

进一步地，所述局部块Ω的大小r×r的取值范围为7×7～19×19。

进一步地，所述雾霾图像去雾后图像的亮度期望值J₀的取值范围为[120,v_A]。

有益效果

本发明提出了一种基于图像雾霾浓度估计的单幅图像去雾方法，包括以下几个步骤：步骤1：输入雾霾图像，并获取雾霾图像的暗通道图像，并采用暗原色先验方法估测雾霾图像的大气光照值；步骤2：将输入图像从RGB空间变换到HSV空间，然后对每个像素，以其为中心选取局部区域，计算色调方差、韦伯对比度均值以及饱和度均值；步骤3：以图像雾霾浓度最低为目标计算雾霾图像的初始最优大气传输值；步骤4：采用引导滤波器细化，得到细化后的最优大气传输值；步骤5：将步骤4得到的细化后的最优大气传输值、大气光照估测值以及雾霾图像中每个像素的亮度值计算得到清晰图像。该方法通过采用自适应计算，得到雾霾图像中每个像素的精准的局部雾霾敏感特征构建雾霾浓度感知方法，从而将图像去雾转化为雾霾浓度最小化的优化问题，进而准确的确定大气传输值，从而实现尽可能去除雾霾，并避免了在饱和区域产生严重的光晕现象与图像噪声。该方法不仅能有效的去除雾霾，同时能抑制光晕现象与图像噪声的产生，适用于不同的复杂天气。同时具有计算速度快的优点。

附图说明

图1为本发明所述方法的流程图。

具体实施方式

下面将结合附图和实施例对本发明做进一步的说明。

如图1所示，一种基于图像雾霾浓度估计的单幅图像去雾方法，包括以下几个步骤：

步骤1：输入雾霾图像I，并获取雾霾图像的暗通道图像I^dark，并采用暗原色先验方法获取雾霾图像的大气光照估测值A^c，c＝{R，G，B}；

暗通道图像中每个像素的暗通道值为I^dark(x)，其中，x、y分别表示图像中两个像素，Ω(x)为以像素x的坐标为中心，大小为r×r的局部区域，r为设定的局部区域半径，c为颜色通道且c∈{r,g,b}，I^c(y)为雾霾图像中像素p₂处c通道的亮度值；

所述雾霾图像的大气光照c通道的估测值A^c是将暗通道图像中每个像素的暗通道值从大到小顺序排列，取暗通道值较大的前n个像素的颜色均值；

其中，n＝0.1％×M，M为雾霾图像的像素总数。

步骤2：将输入的雾霾图像从RGB空间变换到HSV空间，将HSV空间中的SV通道图像分割成大小为r×r的局部块Ω，并计算每个局部块Ω与任意大气传输值关联的特征向量；

每个局部块的特征向量包括色调方差σ、韦伯对比度均值w以及饱和度均值

所述每个局部块的色调方差σ、韦伯对比度均值w、以及饱和度均值

具体计算公式如下：

其中，μ_rg，μ_yb，σ_rg，σ_yb分别为图像在局部块Ω中的RG色差图像与RGB色差图像的像素均值与方差；

RG色差图像为rg＝R-G，RGB色差图像为yb＝0.5(R-G)+B。

给定任意传输值与输入雾霾图像特征，则去雾后图像J的特征向量具有如下关系：

所述局部块Ω的大小r×r的取值范围为7×7～19×19。

步骤3：利用清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的特征向量分别与输入的雾霾图像的局部块的归一化特征向量之间关系，获得与任意大气传输值关联输入的雾霾图像的雾霾浓度；

所述对每个局部块的特征向量进行归一化处理是指：

σ_n＝k₁×(σ-min_σ)

w_n＝k₃×(w-min_w)

其中，μ₁和μ₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量均值，∑₁和∑₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量的方差；

所述清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的构建过程如下：

首先，获取大量无雾霾的自然图像，随机从自然图像中提取大小为r×r的局部块；

其次，对提取出的局部块，利用随机生成的传输值t和大气散射模型合成雾霾图像块，构建模型数据集；

传输值t的取值范围为[0.01，1]；

接着，从模型数据集中选择传输值满足设定条件的雾霾图像块，并计算每个雾霾图像块的归一化特征向量

最后，对满足设定条件的雾霾图像块的归一化特征向量，采用多元变量的最大概率估计的方法，进行图像块的特征模型估计；

构建清晰图像MVG模型(μ₁，∑₁)时，从模型数据集中选取传输值大于0.95的雾霾图像块；

构建雾霾图像MVG模型(μ₂，∑₂)时，从模型数据集中选取传输值小于0.5的雾霾图像块。

步骤4：令步骤3获得的与任意大气传输值t关联输入的雾霾图像的雾霾浓度取得最小值，得到对应的初始最优大气传输值；

将图像去雾转化为雾霾浓度最小化的优化问题；

所述与任意大气传输值关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，b表示中间向量B的所有元素之和，且c_i表示特征调节参数，i＝1,2,3，

A(i,j)表示中间矩阵A中的元素，

L₁和L₂分别是∑₁和∑₂的分解矩阵，满足

max_f，min_f分别表示特征f较大的前0.1％个特征值的均值，以及特征值较小的0.1％特征值的均值，f包括色调方差σ、韦伯对比度均值w以及饱和度均值

k_i为特征归一化参数，i＝1,2,3；

s(x)表示局部块Ω中像素x的饱和度值；A表示雾霾图像中的大气光值，v_A表示大气光值A在HSV颜色空间的亮度通道值，v(x)表示输入雾霾图像中像素x处的亮度通道值；

Δv(x)表示局部块Ω中像素x的亮度对比度，Δv(x)＝|v(x)-v_b(x)|，v_b(x)为局部块Ω中像素x的背景亮度，由v(x)通过一个低通滤波器获得，即：v_b(x)＝LF(v(x))，LF为低通滤波器；

是局部块中Ω的所有像素的亮度通道值的平均值，N为局部块中像素数目＝r×r。

对输入的雾霾图像的雾霾浓度求导，求得输入的雾霾图像的雾霾浓度最小时对应的初始最优大气传输值。

在求解初始最优大气值时，也可采用对以下公式求导获得：

所述与任意大气传输值关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，J₀表示雾霾图像去雾后图像的亮度期望值，J₀的取值范围为[120,v_A]，

为局部块Ω中亮度对比度Δv(x)的均值。

步骤5：采用引导滤波器细化初始最优大气传输值t(x)，得到细化后的最优大气传输值t₁(x)；

步骤6：将步骤5得到的细化后的最优大气传输值t₁(x)、大气光照估测值A^c以及雾霾图像中每个像素的亮度值I^c(x)按以下公式计算，得到清晰图像L：

I^c(x)＝L^c(x)t₁(x)+A^c(1-t₁(x))，c＝R,G,B

其中，L^c(x)为清晰图像L的c通道像素x的灰度值。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于图像雾霾浓度估计的单幅图像去雾方法，其特征在于，包括以下几个步骤：

步骤1：输入雾霾图像I，并获取雾霾图像的暗通道图像I^dark，并采用暗原色先验方法获取雾霾图像的大气光照估测值A^c，c＝{R，G，B}；

步骤2：将输入的雾霾图像从RGB空间变换到HSV空间，将HSV空间中的SV通道图像分割成大小为r×r的局部块Ω，并计算每个局部块Ω与任意大气传输值关联的特征向量；

每个局部块的特征向量包括色调方差σ、韦伯对比度均值w以及饱和度均值

步骤3：利用清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的特征向量分别与输入的雾霾图像的局部块的归一化特征向量之间关系，获得与任意大气传输值t关联输入的雾霾图像的雾霾浓度；

其中，μ₁和μ₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量均值，∑₁和∑₂分别表示清晰图像MVG模型和雾霾图像MVG模型的所有局部块特征向量的方差；

步骤4：令步骤3获得的与任意大气传输值t关联输入的雾霾图像的雾霾浓度取得最小值，得到对应的初始最优大气传输值；

步骤5：采用引导滤波器细化最优大气传输值t₀(x)，得到细化后的最优大气传输值t₁(x)；

步骤6：将步骤5得到的细化后的最优大气传输值t₁(x)、大气光照估测值A^c以及雾霾图像中每个像素的亮度值I^c(x)按以下公式计算，得到清晰图像L：

I^c(x)＝L^c(x)t₁(x)+A^c(1-t₁(x))，c＝R,G,B

其中，L^c(x)为清晰图像L的c通道像素x的灰度值。

2.根据权利要求1所述的方法，其特征在于，所述与任意大气传输值t关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，b表示中间向量B的所有元素之和，且

c_i表示特征调节参数，i＝1,2,3，

A(i,j)表示中间矩阵A中的元素，

L₁和L₂分别是∑₁和∑₂的分解矩阵，满足

max_f，min_f分别表示特征f较大的前0.1％个特征值的均值，以及特征值较小的0.1％特征值的均值，f包括色调方差σ、韦伯对比度均值w以及饱和度均值

k_i为特征归一化参数，i＝1,2,3；

s(x)表示局部块Ω中像素x的饱和度值；A表示雾霾图像中的大气光值，v_A表示大气光值A在HSV颜色空间的亮度通道值，v(x)表示输入雾霾图像中像素x处的亮度通道值；

Δv(x)表示局部块Ω中像素x的亮度对比度，Δv(x)＝|v(x)-v_b(x)|，v_b(x)为局部块Ω中像素x的背景亮度，由v(x)通过一个低通滤波器获得，即：v_b(x)＝LF(v(x))，LF为低通滤波器；

是局部块Ω中所有像素的亮度通道值的平均值，N为局部块中像素数目＝r×r。

3.根据权利要求1所述的方法，其特征在于，所述与任意大气传输值关联输入的雾霾图像的雾霾浓度按照以下公式计算：

其中，J₀表示雾霾图像去雾后图像的亮度期望值；

为局部块Ω中亮度对比度Δv(x)的均值；

b表示中间向量B的所有元素之和，且

ci表示特征调节参数，i＝1,2,3，

A(i,j)表示中间矩阵A中的元素，

L₁和L₂分别是∑₁和∑₂的分解矩阵，满足

max_f，min_f分别表示特征f较大的前0.1％个特征值的均值，以及特征值较小的0.1％特征值的均值，f包括色调方差σ、韦伯对比度均值w以及饱和度均值

k_i为特征归一化参数，i＝1,2,3；

s(x)表示局部块Ω中像素x的饱和度值；A表示雾霾图像中的大气光值，v_A表示大气光值A在HSV颜色空间的亮度通道值，

v(x)表示输入雾霾图像中像素x处的亮度通道值；

Δv(x)表示局部块Ω中像素x的亮度对比度，Δv(x)＝|v(x)-v_b(x)|，v_b(x)为局部块Ω中像素x的背景亮度，由v(x)通过一个低通滤波器获得，即：v_b(x)＝LF(v(x))，LF为低通滤波器；

是局部块中Ω的所有像素的亮度通道值的平均值，N为局部块中像素数目＝r×r。

4.根据权利要求2或3所述的方法，其特征在于，所述清晰图像MVG模型(μ₁，∑₁)和雾霾图像MVG模型(μ₂，∑₂)的构建过程如下：

首先，获取大量无雾霾的自然图像，随机从自然图像中提取大小为r×r的局部块；

其次，对提取出的局部块，利用随机生成的传输值t和大气散射模型合成雾霾图像块，构建模型数据集；

传输值t的取值范围为[0.01，1]；

接着，从模型数据集中选择传输值满足设定条件的雾霾图像块，并计算每个雾霾图像块的归一化特征向量

最后，对满足设定条件的雾霾图像块的归一化特征向量，采用多元变量的最大概率估计的方法，进行图像块的特征模型估计；

构建清晰图像MVG模型(μ₁，∑₁)时，从模型数据集中选取传输值大于0.95的雾霾图像块；

构建雾霾图像MVG模型(μ₂，∑₂)时，从模型数据集中选取传输值小于0.5的雾霾图像块；

所述雾霾图像的大气光照c通道的估测值A^c是将暗通道图像中每个像素的暗通道值从大到小顺序排列，取暗通道值较大的前n个像素的颜色均值；

其中，n＝0.1％×M，M为雾霾图像的像素总数。

5.根据权利要求4所述的方法，其特征在于，对每个局部块的特征向量进行归一化处理是指：

σ_n＝k₁×(σ-min_σ)

w_n＝k₃×(w-min_w)。

6.根据权利要求5所述的方法，其特征在于，所述每个局部块的色调方差σ、韦伯对比度均值w、以及饱和度均值

其中，μ_rg，μ_yb，σ_rg，σ_yb分别为图像在局部块Ω中的RG色差图像与RGB色差图像的像素均值与方差；

RG色差图像为rg＝R-G，RGB色差图像为yb＝0.5(R-G)+B。

7.根据权利要求6所述的方法，其特征在于，所述局部块Ω的大小r×r的取值范围为7×7～19×19。

8.根据权利要求3所述的方法，其特征在于，所述雾霾图像去雾后图像的亮度期望值J₀的取值范围为[120,v_A]。

Images