CN108961206B - 一种去雾效果的无参考客观评价方法 - Google Patents
一种去雾效果的无参考客观评价方法 Download PDFInfo
- Publication number
- CN108961206B CN108961206B CN201810359895.6A CN201810359895A CN108961206B CN 108961206 B CN108961206 B CN 108961206B CN 201810359895 A CN201810359895 A CN 201810359895A CN 108961206 B CN108961206 B CN 108961206B
- Authority
- CN
- China
- Prior art keywords
- image
- defogged
- color
- contrast
- fog
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 60
- 230000000694 effects Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 8
- 239000000126 substance Substances 0.000 claims description 6
- 230000004438 eyesight Effects 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 5
- 238000013441 quality evaluation Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 3
- 230000004456 color vision Effects 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims 1
- 230000000007 visual effect Effects 0.000 claims 1
- ZXQYGBMAQZUVMI-QQDHXZELSA-N [cyano-(3-phenoxyphenyl)methyl] (1r,3r)-3-[(z)-2-chloro-3,3,3-trifluoroprop-1-enyl]-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)OC(C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-QQDHXZELSA-N 0.000 description 2
- 241000764238 Isis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种去雾效果的无参考客观评价方法，具体步骤如下：步骤1：构建清晰度评价指标；包括多尺度对比度特征描述、雾残留度特征描述、及清晰度评价指标构造；步骤2：构建颜色保真度评价指标；包括色调相似度特征描述、自然度特征描述及颜色保真度指标构造；步骤3：构建综合评价指标。该方法从去雾图像特性出发，综合考虑了图像清晰度和颜色保真度两个方面，其中图像清晰度基于去雾图像的对比度增强程度和雾残留程度进行评价，颜色保真度基于去雾图像的色调偏移程度和过饱和程度进行评价。本发明提出的综合评价指标较为全面的考虑了影响去雾图像质量的各个因素，可有效用于去雾图像质量的综合评价，进而为去雾算法的性能评估提供依据。
Description
技术领域：
本发明涉及一种针对去雾图像质量的无参考客观评价方法，属于图像处理的技术领域。
背景技术：
自然场景中获取的户外图像容易受到雾天的影响，造成图像清晰度降低，从而无法满足计算机视觉应用的需求。目前，已有大量的去雾算法被研究，用于提升图像质量。然而，对去雾效果的客观评价却很少得到关注，从而导致研究者在对去雾算法进行性能评估时缺少统一的标准。大部分的研究学者采用主观评价的方式衡量去雾后图像的质量，但容易受到主观因素的影响，难以达到一致的评价结果。一些经典的图像质量评价指标也被用于去雾图像的质量评价中，但由于这些指标并不是专门针对去雾图像设计的，无法给出合理有效的评价结果。本发明针对去雾后图像的质量问题，从去雾图像的清晰度和颜色保真度两方面设计指标，提出了一种去雾效果的无参考客观评价方法，从而为去雾算法的性能评估提供了一种客观依据。
发明内容：
目的：本发明的目的在于提供一种针对去雾图像质量的无参考客观评价方法，用于衡量去雾算法对带雾图像进行去雾的效果好坏。
技术方案：本发明通过以下技术方案实现。
一个好的去雾算法对图像进行去雾后，所恢复的图像应该更清晰，并且去雾前后应该保持颜色不变。因此，本发明从去雾图像的自身特性出发，分别从去雾结果的清晰度和颜色保真度两方面设计指标，综合评价去雾图像质量。该发明的具体步骤如下：
步骤1：构建清晰度评价指标
去雾算法的主要目的是去除图像中的雾效应，恢复原始信息，提高图像清晰度。因此，需要首先构建去雾图像的清晰度评价指标。通常，一幅清晰的去雾图像具有增强的对比度和去除的雾效应，在本发明中，我们分别构造对比度特征和雾残留度特征，通过将这两种特征相结合来评价图像的清晰度水平。
1)多尺度对比度特征描述
图像对比度可以在一定程度上反映图像的清晰程度，图像对比度越高，其在视觉上就越清晰。由于去雾后图像的对比度增强通常是空间变化的，全局对比度无法反映局部对比度增强信息，因此不能得到符合人眼视觉的评价效果。局部均方根对比度可以反映图像的局部对比度信息，更适合于去雾图像的对比度描述。但是该指标对局部窗口大小敏感，无法得到稳定的评价结果。在本发明中，我们提出了一种多尺度对比度描述子，用于表征去雾图像的对比度特征。
对于一张图像，我们通过在非重叠的滑动窗口内计算局部均方根来定义它的对比度图，具体可以描述为：
其中，I表示一张图像的灰度图，k表示局部窗口的大小，u，v是窗口位置的横纵坐标，x,y为局部窗口内的位置坐标，μ为局部窗口内的均值，定义如下：
我们通过对图像I进行多次下采样来生成一系列子图像I(0)，I(1)，...，I(n)，从而得到图像金字塔。其中，I(0)表示初始图像，I(j+1)是I(j)下采样的结果。为了保证下采样图像的大小满足后续处理的需要，最后一层的图像I(n)的大小应满足以下约束：
min(h(n)，w(n))≥ξ (3)
其中，h(n)和w(n)表示图像I(n)的高和宽，在本发明中，ξ被固定为200。
对于图像金字塔中的每一张图像I(j)，根据公式(1)计算其在不同窗口下的对比度图
局部窗口大小k的取值根据下式计算：
其中，
表示图像金字塔中第j层图像的第i个对比度图的窗口大小，
表示向下取整操作，m表示生成的对比度图个数，在本发明中，m的值取为3，即金字塔中的每一张图像I(j)具有3种不同尺度的对比度图
从公式(4)可以看出，局部窗口的最大尺寸为
这保证了对比度图的最小尺寸为10×10。
由于每一张图像I(j)对应的3种对比度图具有不同的尺寸，我们采用最近邻插值法重新调整
的大小，使其与
的大小保持一致。之后，采用逐像素取最大操作对三张对比度图进行融合：
采用同样的方式可以获得金字塔中每张图像的CMap(j)，则定义图像的对比度描述子为以下形式：
其中，Nn表示CMapn中像素点的个数，T表示向量转置。
图1所示为该对比度描述子的具体计算过程。该描述子通过图像金字塔融合了多尺度信息，保证了结果的尺度不变性并具有一定的抗噪声能力。
最后，我们构造图像的多尺度对比度特征为以下形式：
其中，
和
分别表示去雾图像的对比度描述子结果和带雾图像的对比度描述子结果。该多尺度对比度特征MC描述了去雾图像的对比度增强程度，MC越大，复原后的图像对比度增强越多，图像越清晰。
2)雾残留度特征描述
去雾图像中雾的残留度也影响了图像的清晰程度。雾去除的越干净，图像越清晰。根据暗通道先验理论，在非天空区域，对于清晰的自然图像，至少有一个通道在局部区域内的最小值是接近于0的；相反，有雾图像不满足该规律，其在局部区域内的最小灰度值是大于0的。对于一幅去雾图像，越多的雾被去除，就有越多的像素点满足暗通道先验规律。因此，我们利用暗通道特征来度量去雾图像的雾残留度。
一幅图像的暗通道被定义为以下形式：
其中，c为r,g,b三个颜色通道中的一个，Ic表示去雾图像的一个颜色通道，Ω(x)表示以像素点x为中心的局部区域，本发明中区域大小为15×15，y表示局部区域Ω(x)内的像素。暗通道图像的平均值可以反映去雾图像中雾的残留程度，为了降低亮度效应的影响，我们用RGB三个通道之和对其进行归一化，则去雾图像的雾残留度特征可以描述为：
其中，S表示图像区域，ε为一个很小的值，其作用为防止分母为零，在本发明中取为10-6。该雾残留度特征用来衡量图像欠去雾的程度，DC的值越大，说明满足暗通道先验规律的像素点越少，图像中残留的雾越多。
3)清晰度评价指标构造
本发明分别从对比度增强和雾残留度两方面衡量去雾图像的清晰程度。所构造的多尺度对比度特征MC和雾残留度特征DC分别反映了去雾图像的对比度增强程度和雾残留程度。MC越大，去雾后图像的对比度增强越多；DC越小，去雾图像中残留的雾越少。我们将这两个特征相结合来反映图像的清晰程度，具体形式如下：
VI＝αMC-(1-α)DC (10)
其中，α为一个控制系数，用于调节两种特征的相对重要性。α越大，对比度特征占的比重越高；α越小，雾残留度特征占的比重越高。
通常，厚雾图像中的雾更难去除并且容易出现欠去雾现象，而雾残留度特征DC可以更有效地评价图像的欠去雾效果，因此，对厚雾图像的去雾结果进行评价时，应采用较小的α值。通过对大量带雾图像暗通道的统计，图像中厚雾像素点通常满足以下约束：
Idc(x)＞0.6 (11)
图像中厚雾面积越大，越容易出现欠去雾效果，则雾残留度特征应占有更大比重；而厚雾面积越小，越不容易出现欠去雾效应，则雾残留度特征应占有较小的比重。因此，我们定义控制系数α的取值为以下形式：
其中，r表示厚雾像素点在整张图像中所占的比例。
本发明提出的清晰度指标VI可有效评价去雾图像的清晰程度。VI值越大，去雾后图像对比度增强越多，雾残留量越少，图像越清晰。
步骤2：构建颜色保真度评价指标
去雾算法虽然可以去除图像中的雾效应，但有时也会引入额外的颜色失真，因此需要对去雾后图像的颜色保持性进行评价。常见的颜色失真包括色彩偏移和过饱和。在本发明中，我们分别构造色调相似度特征和自然度特征，用来表征去雾图像的色彩偏移程度和过饱和程度。通过将这两种特征相结合，可得到颜色保真度评价指标。
1)色调相似度特征描述
HSV颜色空间描述了颜色的直观特性，其由色调、饱和度和明度三个分量构成。其中，明度分量反映了图像的明亮程度，色调分量和饱和度分量分别表征图像颜色的色度和纯度信息，与人眼视觉对颜色的感知相符。一幅图像在去雾前后，其亮度和饱和度是变化的，而色调应该基本保持不变。从该角度出发，我们构造色调相似度特征来反映去雾后图像的色彩偏移程度。
首先，将图像从RGB颜色空间转换到HSV空间，具体计算公式如下：
V＝max(R，G，B) (13)
其中，V表示明度分量，取值范围在[0,1]之间，S表示饱和度分量，取值范围为[0,1]，H表示色调分量，取值范围为[0,360]。
然后，将色调分量H划分为100个小区间，分别统计带雾图像和去雾图像的色调直方图。由于去雾前后图像的色调信息应该保持基本不变，则二者的色调直方图的形状应该是相似的。两个直方图向量之间的距离可以反映直方图形状的相似程度。在本发明中，我们采用余弦相似度来衡量两个直方图向量之间的距离：
其中，Hh表示带雾图像的色调直方图，Hd表示去雾图像的色调直方图。由于两个直方图向量均为正值，该余弦相似度的取值范围在[0,1]之间，D越接近于1，说明距离越小，去雾前后图像的色调直方图越相似；D越接近于0，说明距离越大，去雾前后图像的色调直方图越不相似。
为了使结果更具有鲁棒性，我们采用Sigmoid函数对余弦相似度的结果进行非线性拉伸，具体为：
公式(17)即为构造的色调相似度特征，其结果的取值范围在[0,1]之间，HS越大，去雾后图像的色调保持性越好，HS越小，去雾图像的颜色偏移越严重。需要注意的是，原始图像中的厚雾区域通常无法提供有效的色调信息，其与复原后的色调不一致是正常情况。因此，需要在计算色调直方图时排除厚雾区域。通常，该区域可通过计算暗通道，并寻找满足公式(11)的像素点的方式提取。另外，当像素点的饱和度低于0.2并且明度低于0.15或大于0.95时，色调的计算结果是不精确的。因此，在计算色调直方图时只考虑明度在[0.15,0.95]并且饱和度在[0.2,1]范围内的像素点。
2)自然度特征描述
颜色失真的另一种形式是过饱和。过饱和会导致图像色彩过于鲜艳，颜色不自然，与人眼视觉愉悦感不符。通过观察可以发现，在过饱和图像中，有更多的像素点具有较高的饱和度值，其饱和度直方图集中在坐标轴的右半部分，而正常图像的饱和度直方图分布较为均匀。为了获得正常图像的饱和度分布规律，我们对1000幅清晰的自然场景图像进行饱和度统计，
图2所示为这些图像的平均饱和度图的直方图分布。可以看到，对于清晰的自然场景图像，其饱和度分布集中在[0.3,0.4]附近，我们将该直方图向量的中间值称为饱和度集中点。对于一幅去雾图像，颜色越自然，其饱和度直方图的中间值应该离集中点越近，而过饱和越严重，其饱和度直方图的中间值向右偏离集中点越远。因此，对于一幅去雾图像，我们用它的饱和度直方图中间值到集中点的距离来定义该图像的自然度特征：
ND＝1-max(0，Sd-Sa) (18)
其中，Sd表示去雾图像的饱和度直方图的中间值，Sa表示统计的平均饱和度图的直方图中间值，在本发明中，Sa为0.35，ND的取值范围为[0.35,1]。
公式(18)即为我们构造的自然度特征，ND值越接近1，说明去雾图像的自然度越高；ND值越接近0.35，说明去雾图像的过饱和越严重。
3)颜色保真度指标构造
本发明分别从色彩偏移和过饱和两方面来衡量去雾图像的颜色保真度。所构造的色调相似度特征HS和自然度特征ND分别反映了去雾图像的颜色偏移程度和过饱和程度。HS越大，色彩偏移量越小；ND越大，过饱和现象越弱。我们将这两个特征相结合来反映图像的颜色保真程度，具体形式如下：
CI＝θHS+(1-θ)ND (19)
其中，θ为一个控制系数，在本文中取为1/2。
本发明提出的颜色保真度指标CI可以有效评价去雾图像的颜色保真程度。CI值越接近1，去雾后图像颜色偏移越小，过饱和效应越弱，颜色保真度越高。
步骤3：构建综合评价指标
好的去雾结果应该具有清晰的纹理信息，并且保持颜色不变。将本发明设计的清晰度指标和颜色保真度指标相结合，去雾图像的综合质量评价指标定义如下：
DQI＝VIpCIq (20)
其中，p和q用来调节清晰度和颜色保真度在综合评价指标中的比重。在本发明中，p的值被设为1，q的值被设为2。评价指标DQI越大，去雾图像质量越高。
对一幅去雾图像的质量进行评价，只需根据公式(10)和(19)计算清晰度指标和颜色保真度指标的结果，再通过公式(20)即可得到去雾图像质量的综合评价结果。
优点及功效
本发明提出了一种针对去雾图像质量的无参考客观评价方法。该方法从去雾图像特性出发，综合考虑了图像清晰度和颜色保真度两个方面，其中图像清晰度基于去雾图像的对比度增强程度和雾残留程度进行评价，颜色保真度基于去雾图像的色调偏移程度和过饱和程度进行评价。本发明提出的综合评价指标较为全面的考虑了影响去雾图像质量的各个因素，可有效用于去雾图像质量的综合评价，进而为去雾算法的性能评估提供依据。
附图说明
图1对比度描述子生成示意图。
图2自然图像平均饱和度图的直方图分布。
图3a-1、图3a-2、图3a-3、图3a-4、图3a-5所示为不同去雾算法对有雾图像的去雾结果实例。
图3b-1、图3b-2、图3b-3、图3b-4、图3b-5所示为不同去雾算法对有雾图像的去雾结果实例。
图3c-1、图3c-2、图3c-3、图3c-4、图3c-5所示为不同去雾算法对有雾图像的去雾结果实例。
图3d-1、图3d-2、图3d-3、图3d-4、图3d-5所示为不同去雾算法对有雾图像的去雾结果实例。
图3e-1、图3e-2、图3e-3、图3e-4、图3e-5所示为不同去雾算法对有雾图像的去雾结果实例。
图3f-1、图3f-2、图3f-3、图3f-4、图3f-5所示为不同去雾算法对有雾图像的去雾结果实例。
其中，图3a-1、图3b-1、图3c-1、图3d-1、图3e-1、图3f-1是去雾前的图像，其余图像是不同算法进行去雾的结果。
具体实施方式
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述：
本发明的流程图如图1所示。计算机配置采用：Intel Core i7-4770处理器，主频3.4GHz，内存8GB，操作系统为windows 10。算法基于matlab实现。本发明是一种针对去雾图像质量的无参考客观评价方法，具体包括以下步骤：
步骤1：评价去雾图像的清晰度
图像去雾后变的更清晰，应该具有增强的对比度和去除的雾效应。为了实现去雾图像的清晰度评价，我们分别提取图像的对比度特征和雾残留度特征，具体计算方法如下。
1)计算多尺度对比度特征
对于一张去雾图像I，我们通过对图像I进行多次下采样来生成一系列子图像I(0)，I(1)，...，I(n)，从而得到图像金字塔。其中，I(0)表示初始图像，I(j+1)是I(j)下采样的结果。为了保证下采样图像的大小满足后续处理的需要，最后一层的图像I(n)的大小应满足以下约束：
min(h(n)，w(n))≥ξ
其中，h(n)和w(n)表示图像I(n)的高和宽，在本发明中，ξ被固定为200。
对于图像金字塔中的每一张图像I(j)，根据以下公式计算其在不同窗口下的对比度图
其中，I表示一张图像的灰度图，k表示局部窗口的大小，μ为局部窗口内的均值，定义如下：
窗口大小k的取值根据下式计算：
其中，
表示向下取整操作，m表示生成的对比度图个数，在本发明中，m的值取为3，即金字塔中的每一张图像I(j)具有3种不同尺度的对比度图
由于每一张图像I(j)对应的3种对比度图具有不同的尺寸，我们采用最近邻插值法重新调整
的大小，使其与
的大小保持一致。之后，采用逐像素取最大操作对三张对比度图进行整合：
采用同样的方式可以获得金字塔中每张图像的CMap(j)，根据以下公式计算图像的对比度描述子Cm：
图1所示为该对比度描述子的具体计算过程。该描述子通过图像金字塔整合了多尺度信息，保证了结果的尺度不变性并具有一定的抗噪声能力。
采用同样的方式计算有雾图像的对比度描述子的值。最后，根据以下公式计算去雾图像的多尺度对比度特征：
其中，
和
分别表示去雾图像的对比度描述子结果和带雾图像的对比度描述子结果。该多尺度对比度特征MC描述了去雾图像的对比度增强程度，MC越大，复原后的图像对比度增强越多，图像越清晰。
2)计算雾残留度特征
对于一张去雾图像，根据以下公式计算它的暗通道：
其中，I表示去雾图像，Ic表示去雾图像的一个颜色通道，Ω(x)表示以像素点x为中心的局部区域，本发明中区域大小为15×15。为了降低亮度效应的影响，我们用RGB三个通道之和对其进行归一化，则去雾图像的雾残留度特征可根据以下公式计算：
其中，S表示图像区域，ε为一个很小的值，其作用为防止分母为零，在本发明中取为10-6。该雾残留度特征可有效用于图像欠去雾程度的评价，DC的值越大，说明满足暗通道先验规律的像素点越少，图像中残留的雾越多。
3)计算清晰度评价指标
将提取的多尺度对比度特征和雾残留度特征相结合即可得到去雾图像的清晰度评价指标，具体形式如下：
VI＝αMC-(1-α)DC
其中，α为一个控制系数，用于调节两种特征的相对重要性，其取值根据以下公式确定：
其中，r表示厚雾像素点(满足约束Idc(x)＞0.6的像素点)在整张图像中所占的比例。
本发明提出的清晰度指标VI可有效评价去雾图像的清晰程度。VI值越大，去雾后图像对比度增强越多，雾残留量越少，图像越清晰。
步骤2：评价去雾图像颜色保真度
去雾算法可以去除图像中的雾效应，但有时会引入额外的颜色失真，常见的颜色失真包括色彩偏移和过饱和。为了评价去雾图像的颜色保真度，我们分别提取色调相似度特征和自然度特征，具体计算方式如下：
1)计算色调相似度特征
首先，将去雾图像和有雾图像从RGB颜色空间转换到HSV空间，具体计算公式如下：
v＝max(R,G,B)
其中，V表示明度分量，取值范围在[0,1]之间，S表示饱和度分量，取值范围为[0,1]，H表示色调分量，取值范围为[0,360]。
然后，将色调分量H划分为100个小区间，分别统计有雾图像和去雾图像的色调直方图，并计算二者之间的余弦相似度：
其中，Hh表示有雾图像的色调直方图，Hd表示去雾图像的色调直方图。为了使结果更具有鲁棒性，采用Sigmoid函数对余弦相似度的结果进行非线性拉伸，具体为：
根据以上公式可得到色调相似度特征，其结果的取值范围在[0,1]之间，HS越大，去雾后图像的色调保持性越好，HS越小，去雾图像的颜色偏移越严重。
2)计算自然度特征
对1000幅清晰的自然场景图像进行饱和度统计，这些图像的平均饱和度图的直方图如图2所示。根据图2统计结果，清晰图像的饱和度分布集中在[0.3,0.4]附近，定义该直方图向量的中间值为饱和度集中点，在本发明中取为0.35。对于一幅去雾图像，我们计算其自然度特征为它的饱和度直方图中间值到集中点间的距离，具体为：
ND＝1-max(0，Sd-Sa)
其中，Sd表示去雾图像的饱和度直方图的中间值，Sa表示统计的平均饱和度图的直方图中间值。ND值越接近1，说明去雾图像的自然度越高；ND值越接近0.35，说明去雾图像的过饱和越严重。
3)计算颜色保真度评价指标
将提取的色调相似度特征和自然度特征相结合即可得到去雾图像的颜色保真度评价指标，具体形式如下：
CI＝OHS+(1-θ)ND
其中，θ为一个控制系数，在本发明中取为1/2。
本发明提出的颜色保真度指标CI可以有效评价去雾图像的颜色保真程度。CI值越接近1，去雾后图像颜色偏移越小，过饱和效应越弱，颜色保真度越高。
步骤3：评价去雾图像的综合质量
将计算得到的清晰度指标和颜色保真度指标根据以下公式相结合，即可得到去雾图像的综合质量评价指标：
DQI＝VIpCIq
其中，p和q用来调节清晰度和颜色保真度在综合评价指标中的比重。在本发明中，p的值被设为1，q的值被设为2。设计的评价指标DQI越大，去雾图像质量越高。
图3a-1、图3a-2、图3a-3、图3a-4、图3a-5；图3b-1、图3b-2、图3b-3、图3b-4、图3b-5；图3c-1、图3c-2、图3c-3、图3c-4、图3c-5；图3d-1、图3d-2、图3d-3、图3d-4、图3d-5；图3e-1、图3e-2、图3e-3、图3e-4、图3e-5；图3f-1、图3f-2、图3f-3、图3f-4、图3f-5所示为不同去雾算法对有雾图像的去雾结果实例。
其中，图3a-1、图3b-1、图3c-1、图3d-1、图3e-1、图3f-1是去雾前的图像，其余图像是不同算法进行去雾的结果，且去雾图像按清晰度递减的顺序从左到右排列。采用本发明提出的指标对这些图像进行评价，表1是清晰度评价结果，由于图中每行图像按清晰度递减进行排列，可以看到表1中每行的清晰度指标VI也是递减排列。表2是颜色保真度评价结果，可以看到，图3a-5和图3b-2具有最大的颜色失真，而对应表2中具有最低的CI值，相同的结论也可以在其他行中得到。表3是最终的综合评价结果，可以看到在图3a-2和图3b-3具有最好的去雾效果，而对应表3中具有最高的DQI，相同的结论可以在其他行中得到。综合上述分析，可以看到，本发明的评价指标可得到与主观视觉一致的评价结果。
表1清晰度指标VI在户外去雾图像上的结果
表2颜色保真度指标CI在户外去雾图像上的结果
表3综合评价指标DQI在户外去雾图像上的结果
Claims (6)
1.一种去雾效果的无参考客观评价方法，其特征在于：具体步骤如下：
步骤1：构建清晰度评价指标
一幅清晰的去雾图像具有增强的对比度和去除的雾效应，需要构造对比度特征和雾残留度特征，通过将这两种特征相结合来评价图像的清晰度水平；
1.1 多尺度对比度特征描述
对于一张图像，通过在非重叠的滑动窗口内计算局部均方根来定义它的对比度图，具体描述为：
其中，I表示一张图像的灰度图，k表示局部窗口的大小，u，v是窗口位置的横纵坐标，x,y为局部窗口内的位置坐标，μ为局部窗口内的均值，定义如下：
通过对图像I进行多次下采样来生成一系列子图像I(0)，I(1)，...，I(n)，从而得到图像金字塔；其中，I(0)表示初始图像，I(j+1)是I(j)下采样的结果；为了保证下采样图像的大小满足后续处理的需要，最后一层的图像I(n)的大小应满足以下约束：
min(h(n)，w(n))≥ξ (3)
其中，h(n)和w(n)表示图像I(n)的高和宽；
对于图像金字塔中的每一张图像I(j)，根据公式(1)计算其在不同窗口下的对比度图
局部窗口大小k的取值根据下式计算：
其中，
表示图像金字塔中第j层图像的第i个对比度图的窗口大小，
表示向下取整操作，m表示生成的对比度图个数，m的值取为3，即金字塔中的每一张图像I(j)具有3种不同尺度的对比度图
从公式(4)看出，局部窗口的最大尺寸为
这保证了对比度图的最小尺寸为10×10；
由于每一张图像I(j)对应的3种对比度图具有不同的尺寸，采用最近邻插值法重新调整
的大小，使其与
的大小保持一致；之后，采用逐像素取最大操作对三张对比度图进行融合：
获得金字塔中每张图像的CMap(j)，则定义图像的对比度描述子为以下形式：
其中，Nn表示CMapn中像素点的个数，T表示向量转置；
最后，构造图像的多尺度对比度特征为以下形式：
其中，
和
分别表示去雾图像的对比度描述子结果和带雾图像的对比度描述子结果；该多尺度对比度特征MC描述了去雾图像的对比度增强程度，MC越大，复原后的图像对比度增强越多，图像越清晰；
1.2 雾残留度特征描述
去雾图像中雾的残留度也影响了图像的清晰程度；雾去除的越干净，图像越清晰；根据暗通道先验理论，在非天空区域，对于清晰的自然图像，至少有一个通道在局部区域内的最小值是接近于0的；相反，有雾图像不满足该规律，其在局部区域内的最小灰度值是大于0的；对于一幅去雾图像，越多的雾被去除，就有越多的像素点满足暗通道先验规律；因此，利用暗通道特征来度量去雾图像的雾残留度；
一幅图像的暗通道被定义为以下形式：
其中，c为r,g,b三个颜色通道中的一个，Ic表示去雾图像的一个颜色通道，Ω(x)表示以像素点x为中心的局部区域，区域大小为15×15，y表示局部区域Ω(x)内的像素；暗通道图像的平均值反映去雾图像中雾的残留程度，为了降低亮度效应的影响，用RGB三个通道之和对其进行归一化，则去雾图像的雾残留度特征描述为：
其中，S表示图像区域，ε为一个很小的值，其作用为防止分母为零，取为10-6；该雾残留度特征用来衡量图像欠去雾的程度，DC的值越大，说明满足暗通道先验规律的像素点越少，图像中残留的雾越多；
1.3 清晰度评价指标构造
分别从对比度增强和雾残留度两方面衡量去雾图像的清晰程度；所构造的多尺度对比度特征MC和雾残留度特征DC分别反映了去雾图像的对比度增强程度和雾残留程度；MC越大，去雾后图像的对比度增强越多；DC越小，去雾图像中残留的雾越少；将这两个特征相结合来反映图像的清晰程度，具体形式如下：
VI＝αMC-(1-α)DC (10)
其中，α为一个控制系数，用于调节两种特征的相对重要性；
厚雾图像中的雾更难去除并且容易出现欠去雾现象，而雾残留度特征DC更有效地评价图像的欠去雾效果，因此，对厚雾图像的去雾结果进行评价时，应采用小的α值；通过对大量带雾图像暗通道的统计，图像中厚雾像素点满足以下约束：
Idc(x)＞0.6 (11)
图像中厚雾面积越大，越容易出现欠去雾效果，则雾残留度特征应占有更大比重；而厚雾面积越小，越不容易出现欠去雾效应，则雾残留度特征应占有小的比重；因此，定义控制系数α的取值为以下形式：
其中，r表示厚雾像素点在整张图像中所占的比例；
步骤2：构建颜色保真度评价指标
分别构造色调相似度特征和自然度特征，用来表征去雾图像的色彩偏移程度和过饱和程度；通过将这两种特征相结合，得到颜色保真度评价指标；
2.1 色调相似度特征描述
HSV颜色空间描述了颜色的直观特性，其由色调、饱和度和明度三个分量构成；其中，明度分量反映了图像的明亮程度，色调分量和饱和度分量分别表征图像颜色的色度和纯度信息，与人眼视觉对颜色的感知相符；一幅图像在去雾前后，其亮度和饱和度是变化的，而色调应该基本保持不变；从该角度出发，构造色调相似度特征来反映去雾后图像的色彩偏移程度；
首先，将图像从RGB颜色空间转换到HSV空间，具体计算公式如下：
V＝max(R，G，B) (13)
其中，V表示明度分量，取值范围在[0,1]之间，S表示饱和度分量，取值范围为[0,1]，H表示色调分量，取值范围为[0,360]；
然后，将色调分量H划分为100个小区间，分别统计带雾图像和去雾图像的色调直方图；由于去雾前后图像的色调信息应该保持基本不变，则二者的色调直方图的形状应该是相似的；两个直方图向量之间的距离反映直方图形状的相似程度；采用余弦相似度来衡量两个直方图向量之间的距离：
其中，Hh表示带雾图像的色调直方图，Hd表示去雾图像的色调直方图；由于两个直方图向量均为正值，该余弦相似度的取值范围在[0,1]之间，D越接近于1，说明距离越小，去雾前后图像的色调直方图越相似；D越接近于0，说明距离越大，去雾前后图像的色调直方图越不相似；
为了使结果更具有鲁棒性，采用Sigmoid函数对余弦相似度的结果进行非线性拉伸，具体为：
公式(17)即为构造的色调相似度特征，其结果的取值范围在[0,1]之间，HS越大，去雾后图像的色调保持性越好，HS越小，去雾图像的颜色偏移越严重；需要注意的是，原始图像中的厚雾区域无法提供有效的色调信息，其与复原后的色调不一致是正常情况；因此，需要在计算色调直方图时排除厚雾区域；该区域通过计算暗通道，并寻找满足公式(11)的像素点的方式提取；
2.2 自然度特征描述
颜色失真的另一种形式是过饱和；过饱和会导致图像色彩过于鲜艳，颜色不自然，与人眼视觉愉悦感不符；通过观察发现，在过饱和图像中，有更多的像素点具有高的饱和度值，其饱和度直方图集中在坐标轴的右半部分，而正常图像的饱和度直方图分布均匀；为了获得正常图像的饱和度分布规律，对于一幅去雾图像，颜色越自然，其饱和度直方图的中间值应该离集中点越近，而过饱和越严重，其饱和度直方图的中间值向右偏离集中点越远；因此，对于一幅去雾图像，用它的饱和度直方图中间值到集中点的距离来定义该图像的自然度特征：
ND＝1-max(0，Sd-Sa) (18)
其中，Sd表示去雾图像的饱和度直方图的中间值，Sa表示统计的平均饱和度图的直方图中间值，Sa为0.35，ND的取值范围为[0.35,1]；
公式(18)即为构造的自然度特征，ND值越接近1，说明去雾图像的自然度越高；ND值越接近0.35，说明去雾图像的过饱和越严重；
2.3 颜色保真度指标构造
分别从色彩偏移和过饱和两方面来衡量去雾图像的颜色保真度；所构造的色调相似度特征HS和自然度特征ND分别反映了去雾图像的颜色偏移程度和过饱和程度；HS越大，色彩偏移量越小；ND越大，过饱和现象越弱；将这两个特征相结合来反映图像的颜色保真程度，具体形式如下：
CI＝θHS+(1-θ)ND (19)
其中，θ为一个控制系数，在本文中取为1/2；
颜色保真度指标CI能有效评价去雾图像的颜色保真程度；CI值越接近1，去雾后图像颜色偏移越小，过饱和效应越弱，颜色保真度越高；
步骤3：构建综合评价指标
好的去雾结果应该具有清晰的纹理信息，并且保持颜色不变；将清晰度指标和颜色保真度指标相结合，去雾图像的综合质量评价指标定义如下：
DQI＝VIpCIq (20)
其中，p和q用来调节清晰度和颜色保真度在综合评价指标中的比重；
对一幅去雾图像的质量进行评价，根据公式(10)和(19)计算清晰度指标和颜色保真度指标的结果，再通过公式(20)即得到去雾图像质量的综合评价结果。
2.根据权利要求1所述的一种去雾效果的无参考客观评价方法，其特征在于：公式(3)中，ξ被固定为200。
3.根据权利要求1所述的一种去雾效果的无参考客观评价方法，其特征在于：公式(10)中，α越大，对比度特征占的比重越高；α越小，雾残留度特征占的比重越高。
4.根据权利要求1所述的一种去雾效果的无参考客观评价方法，其特征在于：清晰度指标VI能有效评价去雾图像的清晰程度；VI值越大，去雾后图像对比度增强越多，雾残留量越少，图像越清晰。
5.根据权利要求1所述的一种去雾效果的无参考客观评价方法，其特征在于：当像素点的饱和度低于0.2并且明度低于0.15或大于0.95时，色调的计算结果是不精确的；因此，在计算色调直方图时只考虑明度在[0.15,0.95]并且饱和度在[0.2,1]范围内的像素点。
6.根据权利要求1所述的一种去雾效果的无参考客观评价方法，其特征在于：公式(20)中，p的值被设为1，q的值被设为2；评价指标DQI越大，去雾图像质量越高。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359895.6A CN108961206B (zh) | 2018-04-20 | 2018-04-20 | 一种去雾效果的无参考客观评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810359895.6A CN108961206B (zh) | 2018-04-20 | 2018-04-20 | 一种去雾效果的无参考客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108961206A CN108961206A (zh) | 2018-12-07 |
| CN108961206B true CN108961206B (zh) | 2021-05-11 |
Family
ID=64498735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810359895.6A Active CN108961206B (zh) | 2018-04-20 | 2018-04-20 | 一种去雾效果的无参考客观评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108961206B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110298800A (zh) * | 2019-06-26 | 2019-10-01 | 长安大学 | 一种交通图像去雾综合评价方法 |
| CN110751623A (zh) * | 2019-09-06 | 2020-02-04 | 深圳新视智科技术有限公司 | 基于联合特征的缺陷检测方法、装置、设备及存储介质 |
| CN110827241B (zh) * | 2019-10-21 | 2022-08-12 | 国家广播电视总局广播电视规划院 | 基于颜色失真和对比度增强的低亮度增强图片全参考方法 |
| CN111640081B (zh) * | 2020-06-09 | 2023-04-28 | 南京信息工程大学 | 一种基于优化和暗通道的水下图像恢复方法 |
| CN112532971A (zh) * | 2020-11-25 | 2021-03-19 | 深圳创维－Rgb电子有限公司 | 影像处理方法、装置、显示终端以及计算机可读存储介质 |
| CN113643262A (zh) * | 2021-08-18 | 2021-11-12 | 上海大学 | 一种无参考全景图像质量评价方法、系统、设备及介质 |
| CN116740022B8 (zh) * | 2023-06-14 | 2024-02-23 | 深邦智能科技集团(青岛)有限公司 | 基于视觉检测的桥梁性能评估系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118027A (zh) * | 2015-07-28 | 2015-12-02 | 北京航空航天大学 | 一种图像的去雾方法 |
| CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9305339B2 (en) * | 2014-07-01 | 2016-04-05 | Adobe Systems Incorporated | Multi-feature image haze removal |
-
2018
- 2018-04-20 CN CN201810359895.6A patent/CN108961206B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105118027A (zh) * | 2015-07-28 | 2015-12-02 | 北京航空航天大学 | 一种图像的去雾方法 |
| CN107767353A (zh) * | 2017-12-04 | 2018-03-06 | 河南工业大学 | 一种基于清晰度评价的自适应图像去雾方法 |
Non-Patent Citations (1)
| Title |
|---|
| Dehazing for Multispectral Remote Sensing ImagesBased on a Convolutional Neural Network With theResidual Architecture;Manjun Qin et al.;《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》;20180326;第11卷(第5期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108961206A (zh) | 2018-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108961206B (zh) | 一种去雾效果的无参考客观评价方法 | |
| CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
| WO2019223069A1 (zh) | 基于直方图的虹膜图像增强方法、装置、设备及存储介质 | |
| Kolås et al. | Spatio-temporal Retinex-inspired envelope with stochastic sampling: a framework for spatial color algorithms | |
| Lai et al. | Improved local histogram equalization with gradient-based weighting process for edge preservation | |
| CN111292257B (zh) | 一种基于Retinex的暗视觉环境下图像增强方法 | |
| CN106683080B (zh) | 一种视网膜眼底图像预处理方法 | |
| CN110189281B (zh) | 一种多曝光红外图像融合方法 | |
| CN107993189B (zh) | 一种基于局部分块的图像色调动态调节方法和装置 | |
| CN108537758B (zh) | 一种基于显示器与人眼视觉特性的图像对比度增强方法 | |
| CN107644409B (zh) | 图像增强方法、显示装置及计算机可读存储介质 | |
| CN109817170B (zh) | 像素补偿方法、装置和终端设备 | |
| CN110706172A (zh) | 基于自适应混沌粒子群优化的低照度彩色图像增强方法 | |
| WO2012015020A1 (en) | Method and device for image enhancement | |
| CN110706196B (zh) | 基于聚类感知的无参考色调映射图像质量评价算法 | |
| CN113039576A (zh) | 图像增强系统和方法 | |
| CN108510574B (zh) | 一种基于样例学习并增强视觉质量的3d图像裁剪方法 | |
| CN114187222A (zh) | 一种低照度图像的增强方法、系统及可存储介质 | |
| Yu et al. | Adaptive inverse hyperbolic tangent algorithm for dynamic contrast adjustment in displaying scenes | |
| Wang et al. | No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning | |
| CN110009574A (zh) | 一种亮度、色彩自适应与细节丰富的低动态范围图像逆向生成高动态范围图像的方法 | |
| CN114066780A (zh) | 4k内窥镜图像去雾方法、装置、电子设备及存储介质 | |
| CN109859138B (zh) | 一种基于人眼视觉特性的红外图像增强方法 | |
| CN114708157A (zh) | 图像压缩方法、电子设备和计算机可读存储介质 | |
| WO2020107308A1 (zh) | 一种基于Retinex的微光图像快速增强方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |