CN106934770B - 一种评价雾霾图像去雾效果的方法和装置 - Google Patents

Abstract

本发明公开一种评价雾霾图像去雾效果的方法和装置，将有雾霾图像采用现有的去雾算法进行处理，处理后的图像分别进行基于暗通道先验信息的残留雾测量、对比度测量和相关饱和度测量。然后加权处理三种测量值，得到去雾图像的质量分数，以质量分数大小评价去雾效果。本发明与以往的一些直接将通用的无参考图像质量评价方法用在去雾图像上相比，是针对去雾图像设计的评价模型，对去雾图像的评价效果显著。在评价去雾图像质量上与主观质量评价更契合，比以往的无参考图像质量评价方法的直接使用更准确。因为人脑在分析和理解图像时往往会首先抽象出含有更多语义的中高层次特征，所以本发明更符合人脑对图像的分析与理解，与人的主观感受一致性更好。

Description

一种评价雾霾图像去雾效果的方法和装置

技术领域

本发明涉及图像增强、图像恢复评价技术领域，具体涉及一种评价雾霾图像去雾效果的方法和装置。

背景技术

在成像过程中，大气中的微小粒子，如霾、雾等对光线的散射作用导致场景的能见度显著降低，影响所拍摄图像的视觉效果和后期处理。很多学者对去雾的方法进行了深入研究，但对于去雾图像质量的客观测量方法却很少，在评价去雾的方法的有效性时,大多采用主观方法。但是，主观评价无论是在准备还是实施阶段都既复杂又费时，且易受观测者个人因素的影响，很难应用于实际。更重要的是，主观方法无法嵌入到应用系统中，优化系统的算法或参数设置。因此，很需要能自动、高效地分析图像质量的客观算法，并且算法的评价结果应足够符合人的主观感受。现有的客观评价方法按照对参考信息的需求程度分为无参考、全参考和半参考三大类。全参考和半参考方法均需要参考图像的参与。

随着对去雾算法的深入研究,结合去雾后图像无原始真实图像作为参考这一特点,一些无参考型图像质量指标被直接应用到去雾后的图像质量评价中。文献：HautièreN,Tarel J P,Aubert D,et al.Blind Contrast Enhancement Assessment by GradientRatioing at Visible Edges[J].Image Analysis&Stereology,27(2):87-95,2008.文章提出的基于可见边缘的盲对比度增强评价算法直接应用于去雾后图像的质量评价中。文献：Y.K Wang,and C.T Fan,“Single image defogging by multiscale depth fusion,”IEEE Transactions on Image Processing,vol.23,no.11,pp.4826-37,2014.文章直接将现存的通用无参考图像质量评价指标用于去雾后的质量评价当中，效果不好。近期，文献：L.Li,W.Shen,K.Gu,J.Wu,B.Chen and J.Zhang,“No-reference quality assessment ofenhanced images,”in China Communications,vol.13,no.9,pp.121-130,2016.文章提出了无参考增强图像的评价方法，用于针对增强的图像的通用无参考质量评价。综上所述,现有去雾后图像的质量评价算法只是将通用的图像质量评价算法直接应用，而未进行有针对性的调整，导致现有算法无法有效地评价去雾后图像的质量，难以达到主客观一致的质量评价要求。

目前，无参考去雾图像质量评价技术相对还不是很成熟，如何客观的评价去雾图像本身的质量是解决问题的关键。上述去雾图像质量评价方法在评价的准确性上有待提高。

发明内容

针对上述现有技术的不足，本发明提供一种评价雾霾图像去雾效果的方法和装置能够在没有参考图像的情况下对去雾图像的质量进行评价。

为实现上述目的，本发明采用如下技术方案：

一种评价雾霾图像去雾效果的方法，包括如下步骤：

步骤1.1：将雾霾图像采用现有去雾算法进行去雾处理；

步骤1.2：对处理后得到的去雾图像分别进行基于暗通道先验信息的残留雾测量、对比度测量和相关饱和度测量，得到基于暗通道先验信息的残留雾测量值A、对比度测量值B和相关饱和度的有效特征值C和D；

步骤1.3：将A、B、C、D进行加权处理，得到去雾图像的质量分数；

步骤1.4：以去雾图像的质量分数的大小作为评价雾霾图像去雾效果的指标。

优选的，步骤1.2中基于暗通道先验信息的残留雾的测量的具体步骤为：

步骤2.1：将去雾图像分成若干图像块；

步骤2.2：计算每个图像块的熵值，利用图像块熵值的大小判断图像块是纹理块还是平坦块：

熵值的计算公式为：

其中i表示图像块的像素的灰度值，0≤i≤255，j表示图像块的邻域灰度均值，0≤j≤255；p(i,j)表示特征二元组(i,j)出现的概率；

设定阈值为T，如果图像块熵值大于等于阈值T，则该图像块为纹理块，否则为平坦块；

步骤2.3：计算纹理块的暗通道先验，并得出纹理块的暗通道先验矩阵：

纹理块的暗通道先验计算公式为：

其中，J^c是纹理块J的颜色通道，表示纹理块的r、g、b三个颜色通道中的最小值，表示最小值滤波，f为纹理块的像素，y表示纹理块的像素点，Ω(f)表示以像素f为中心的一个窗口；

步骤2.4：生成与纹理块的暗通道先验矩阵大小相同的零矩阵；

步骤2.5：使用Hellinger距离来计算纹理块的暗通道先验矩阵和零矩阵之间的差异值，计算公式为：

其中，P和Q是离散概率分布，P＝(p₁,p₂,...,p_n)和Q＝(q₁,q₂,...,q_n)；p_k是第k个纹理块的暗通道先验矩阵的概率分布，q_k是与p_k同等大小的零矩阵的概率分布；

步骤2.6：将每个纹理块的矩阵差异值作为该纹理块的残留雾的测量值，将各个纹理块残留雾的测量值进行加权求值得到整幅去雾图像的残留雾的测量值A：

其中，L是所有纹理块的数目。

优选的，步骤1.2中，以去雾图像直方图的实际分布和理想直方图均匀分布之间的Kullback-Leibler divergence距离表示去雾图像的对比度测量值，对比度测量值B的计算公式为：

其中，x表示去雾图像的像素，P(x)表示去雾图像直方图的实际分布，U(x)表示理想图像直方图的均匀分布，D_KL(P,U)为去雾图像的对比度测量值。

优选的，步骤1.2中，所述相关饱和度的有效特征值C、D的计算公式为：

其中，x表示去雾图像的像素，且

Γ(·)为伽玛函数，表达式为：

优选的，步骤1.3中，去雾图像质量分数的计算公式为：

其中a，b，c，d分别为加权系数，加权系数采用优化函数寻优计算得到。

一种基于上述评价雾霾图像去雾效果方法的装置，其特征在于，包括图像去雾处理单元、基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元、图像质量分数单元、评价单元；所述图像去雾处理单元分别连接基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元；所述基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元分别连接图像质量分数单元；所述图像质量分数单元连接评价单元；

所述图像去雾处理单元对雾霾图像进行去雾处理，得到去雾图像；所述基于暗通道先验信息的残留雾测量单元计算去雾图像的残留雾；所述对比度测量单元计算去雾图像直方图的实际分布和理想直方图均匀分布之间的Kullback-Leibler divergence距离；所述图像相关饱和度测量单元计算去雾图像的相关饱和度的有效特征值；所述图像质量分数单元，将去雾图像的基于暗通道先验信息的残留雾测量值、对比度测量值、图像相关饱和度的有效特征值进行综合加权处理，得到去雾图像的质量分数；所述评价单元根据所述去雾图像的质量分数的大小评价去雾效果。

本发明的有益效果为：

1、本发明与以往的一些直接将通用的无参考图像质量评价方法用在去雾图像上相比，是针对去雾图像设计的评价模型，对去雾图像的评价效果显著。

2、本发明分别利用基于暗通道先验信息的残留雾测量、对比度测量和相关饱和度测量来反应去雾图像高质量的特点，此方法在评价去雾图像质量上与主观质量评价更加契合，比以往的无参考图像质量评价方法的直接使用更准确。

3、因为人脑在分析和理解图像时往往会首先抽象出含有更多语义的中高层次特征，所以本发明方法更符合人脑对图像的分析与理解，与人的主观感受一致性更好。

4、本发明能将雾霾图像经过去雾图像算法处理，然后经过评价模型择优选择，进而得到高质量的去雾图像，具有更大的实际应用价值。更重要是本算法模型可以嵌入到应用系统中，以便进行更广泛的使用。

5、本发明对去雾图像进行评价具有用时短，效率高的特点，可以达到实时评价图像的质量要求。

6、本发明设计步骤简单，技术方案合理有效，测试结果准确性高，更贴近实际。

附图说明

图1为评价雾霾图像去雾效果的方法流程图；

图2为基于暗通道先验信息的去雾图像残留雾的测量模块示意图；

图3为评价雾霾图像去雾效果的装置方框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1所示，为本发明提出的一种评价雾霾图像去雾效果的方法流程图。该方法包括：

步骤101：单幅雾霾图像输入到本发明提出的一种评价雾霾图像去雾效果的方法中；

步骤102：采用10种流行的去雾算法处理输入的单幅雾霾图像，得到10幅去雾图像；

步骤103：提出基于暗通道先验信息的去雾图像残留雾的测量，使用Hellinger距离表示纹理块和同大小零矩阵之间的差异性；具体步骤如图2所示：

步骤1031：将去雾图像分成大小为16*16的目标块；

步骤1032：计算每个图像块的熵值，利用图像块熵值的大小判断图像块是纹理块还是平坦块：

熵值的计算公式为：

其中i表示图像块的像素的灰度值，0≤i≤255，j表示图像块的邻域灰度均值，0≤j≤255；p(i,j)表示特征二元组(i,j)出现的概率；

设定阈值为T，如果图像块熵值大于等于阈值T，则该图像块为纹理块，否则为平坦块，对于近似天空的平坦块不进行处理；

步骤1033：本文提出的基于暗通道先验的残留雾检测方法，其中暗通道先验是对高保真无雾图像的统计特征进行研究，发现在无雾图像中，每一个局部区域都很有可能有至少一个颜色通道会有很低的值，甚至接近于零。对于任意一个纹理块J，它的暗通道可以定义为：

其中，J^c是纹理块J的颜色通道，表示计算纹理块的r、g、b三个颜色通道中的最小值，运算处理得到一个矩阵，表示对所得矩阵进行最小值滤波，f为纹理块的像素，y表示纹理块的像素点，Ω(f)表示以像素f为中心的一个窗口；暗通道先验的理论指出：J^dark→0。

直观来说，Dark Channel Prior认为每一个局部区域都总有一些很暗的东西。自然景物中到处都是阴影或者彩色，这些景物的图像的暗原色总是很灰暗的。

步骤1034：生成与纹理块的暗通道先验矩阵大小相同的零矩阵；

步骤1035：使用Hellinger距离来计算纹理块的暗通道先验矩阵和零矩阵之间的差异值，即度量两个概率分布相似度的指标，计算公式为：

其中，P和Q是离散概率分布，P＝(p₁,p₂,...,p_n)和Q＝(q₁,q₂,...,q_n)，p_k是第k个纹理块的暗通道先验矩阵的概率分布，q_k是与p_k同等大小的零矩阵的概率分布。

步骤1036：将每个纹理块的矩阵差异值作为该纹理块的残留雾的测量值，将各个纹理块残留雾的测量值进行加权求值得到整幅去雾图像的残留雾的测量值A：

其中，L是所有纹理块的数目。

显然，图像的残留雾越多，图像的质量的客观数值就越小。

步骤104：将去雾图像直方图的实际分布和理想均匀分布之间的KL(Kullback-Leibler divergence)距离用作测量去雾图像的对比度。对比度测量的公式为：

其中，x表示去雾图像的像素，P(x)表示去雾图像直方图的实际分布，U(x)表示理想图像直方图的均匀分布，D_KL(P,U)为去雾图像的对比度测量值。

步骤105：由于图像相关饱和度ΔS的概率直方图可以使用广义高斯分布(GGD)很好的匹配，而GGD最主要的两个参数是(α,σ²)，α表示图像分布的形状，σ²控制着变量。

广义高斯模型GGD的公式为：

其中：

Γ(·)为伽玛函数，表达式为：

上述公式中的α表示图像分布的形状，σ²控制着变量。本发明直接使用GGD(α,σ²)的两个参数参数作为反应去雾图像相关饱和度的有效特征C和D。

相关饱和度的有效特征值C、D的计算公式为：

步骤106：本发明对于三个测量指标进行综合处理，其中，图像的残留雾越少，对比度越好，相关饱和度更加符合高保真图像的特性，这样的去雾图像的客观质量评价效果最佳。

去雾图像质量分数的计算公式为：

其中a，b，c，d分别为加权系数，加权系数采用优化函数寻优计算得到。

步骤107：将上述得到的综合信息对于10幅图像进行排序。

步骤108：将10种算法处理以后的最好的图像输出，即质量分数最高的去雾图像。

如图3所示，为本发明提出的一种评价雾霾图像去雾效果的装置方框图。该装置包括：

图像去雾处理单元201，采用10种流行的去雾算法对雾霾图像进行去雾处理，由于去雾程度不同，会得到10种不同质量的图像；

基于暗通道先验信息的残留雾测量单元202，计算得到去雾图像残留雾的测量值作为评价图像质量的第一个指标；

对比度测量单元203，将去雾图像直方图的实际分布和理想均匀分布之间的KL距离用作测量去雾图像的对比度，将对比度测量值作为评价去雾图像质量的第二个指标；

图像相关饱和度测量单元204，使用相关饱和度表示图像的饱和度的空间相关性，将相关饱和度测量值作为评价去雾图像质量的第三个指标。

图像质量分数单元205，用于对所述的三种评价去雾图像质量的指标进行综合加权处理，得到去雾图像的质量分数；

评价单元206，用于根据所述去雾图像的质量分数找到去雾图像质量最好的图像。

以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种评价雾霾图像去雾效果的方法，其特征在于，包括如下步骤：

步骤1.1：将雾霾图像采用现有去雾算法进行去雾处理；

步骤1.2：对处理后得到的去雾图像分别进行基于暗通道先验信息的残留雾测量、对比度测量和相关饱和度测量，得到基于暗通道先验信息的残留雾测量值A、对比度测量值B和相关饱和度的有效特征值C和D；

步骤1.3：将A、B、C、D进行加权处理，得到去雾图像的质量分数；

步骤1.4：以去雾图像的质量分数的大小作为评价雾霾图像去雾效果的指标；

步骤1.2中基于暗通道先验信息的残留雾的测量的具体步骤为：

步骤2.1：将去雾图像分成若干图像块；

步骤2.2：计算每个图像块的熵值，利用图像块熵值的大小判断图像块是纹理块还是平坦块：

熵值的计算公式为：

其中i表示图像块的像素的灰度值，0≤i≤255，j表示图像块的邻域灰度均值，0≤j≤255；p(i,j)表示特征二元组(i,j)出现的概率；

设定阈值为T，如果图像块熵值大于等于阈值T，则该图像块为纹理块，否则为平坦块；

步骤2.3：计算纹理块的暗通道先验，得出纹理块的暗通道先验矩阵：

纹理块的暗通道先验计算公式为：

其中，J^c是纹理块J的颜色通道，表示纹理块的r、g、b三个颜色通道中的最小值，表示最小值滤波，f为纹理块的像素，y表示纹理块的像素点，Ω(f)表示以像素f为中心的一个窗口；

步骤2.4：生成与纹理块的暗通道先验矩阵大小相同的零矩阵；

步骤2.5：使用Hellinger距离来计算纹理块的暗通道先验矩阵和零矩阵之间的差异值，计算公式为：

其中，P和Q是离散概率分布，P＝(p₁,p₂,...,p_n)，Q＝(q₁,q₂,...,q_n)；p_k是第k个纹理块的暗通道先验矩阵的概率分布，q_k是与p_k同等大小的零矩阵的概率分布；

步骤2.6：将每个纹理块的矩阵差异值作为该纹理块的残留雾的测量值，将各个纹理块残留雾的测量值进行加权求值得到整幅去雾图像的残留雾的测量值A：

其中，L是所有纹理块的数目。

2.根据权利要求1所述的一种评价雾霾图像去雾效果的方法，其特征在于，步骤1.2中，以去雾图像直方图的实际分布和理想直方图的均匀分布之间的Kullback-Leiblerdivergence距离表示去雾图像的对比度测量值，对比度测量值B的计算公式为：

其中，x表示去雾图像的像素，P(x)表示去雾图像直方图的实际分布，U(x)表示理想图像直方图的均匀分布，D_KL(P,U)为去雾图像的对比度测量值。

3.根据权利要求1所述的一种评价雾霾图像去雾效果的方法，其特征在于，步骤1.2中，所述相关饱和度的有效特征值C、D的计算公式为：

其中，x表示去雾图像的像素，且

Γ(·)为伽玛函数，表达式为：

4.根据权利要求1所述的一种评价雾霾图像去雾效果的方法，其特征在于，步骤1.3中，去雾图像质量分数的计算公式为：

其中a，b，c，d分别为加权系数，加权系数采用优化函数寻优计算得到。

5.一种基于权利要求1所述评价雾霾图像去雾效果方法的装置，其特征在于，包括图像去雾处理单元、基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元、图像质量分数单元、评价单元；所述图像去雾处理单元分别连接基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元；所述基于暗通道先验信息的残留雾测量单元、对比度测量单元、图像相关饱和度测量单元分别连接图像质量分数单元；所述图像质量分数单元连接评价单元；

所述图像去雾处理单元对雾霾图像进行去雾处理，得到去雾图像；所述基于暗通道先验信息的残留雾测量单元计算去雾图像的残留雾；所述对比度测量单元计算去雾图像直方图的实际分布和理想直方图均匀分布之间的Kullback-Leibler divergence距离；所述图像相关饱和度测量单元计算去雾图像的相关饱和度的有效特征值；所述图像质量分数单元，将去雾图像的基于暗通道先验信息的残留雾测量值、对比度测量值、图像相关饱和度的有效特征值进行综合加权处理，得到去雾图像的质量分数；所述评价单元根据所述去雾图像的质量分数的大小评价去雾效果。