CN101901482B - 判断去雾增强图像质量效果的方法 - Google Patents

Abstract

一种判断去雾增强图像质量效果的方法，属于图像处理技术领域。该方法包括：步骤(1)，由输入单元将图像输入至图像去雾增强单元；步骤(2)，由所述图像去雾增强单元对所述图像进行去雾增强操作，得到去雾增强图像；步骤(3)，获取所述去雾增强图像的细节还原系数；步骤(4)，获取所述去雾增强图像的色彩还原系数；步骤(5)，根据所述细节还原系数和色彩还原系数确定所述去雾增强图像的综合还原系数。该方法能够客观有效地比较判断多种去雾增强图像质量的效果。

Description

判断去雾增强图像质量效果的方法

技术领域

本发明属于图像处理技术领域，涉及一种判断去雾增强图像质量效果的方法。

背景技术

由于雨雾等恶劣天气或采集设备自身参数的影响，采集到的图像或视频经常受到不同程度的雾化干扰，甚至严重影响图像的视觉效果和后期处理。有很多学者对图像的去雾增强进行了研究。在论证去雾增强方法的可行性和有效性时，通常是给出去雾增强前后的部分试验样本，然后简单的比较这些样本的主观视觉效果，而没有与其他去雾增强方法进行横向的性能比较。主观评价结果取决于观测者的主观感受，容易受到观测者的专业背景、心理动机等因素的影响，无法对不同的去雾增强方法进行客观公正的评价和比较。客观评价方法能独立的对图像进行评价，客观准确的比较图像特征参数之间的差别。图像质量客观评价方法主要分为：全参考、半参考和无参考等几类方法。全参考评价方法假设其中一幅图像为完美图像或参考图像，其他图像与参考图像不同的地方均为噪声。基于误差统计量的全参考算法如在1995年的《IEEE通信汇刊》“图像质量和性能评价(Image qualitymeasures and their performanee.IEEE Transactions on Communication，1995，43(12)，Page(s)：2959-2965)”中的PSNR(Peak Signal to NoiseRatio)方法和内容相关性方法等仅注重衡量图像像素间的差异，与人对图像的视觉感受具有较大的出入。基于HVS(Human Visual System)模型的全参考方法对图像的底层特性进行建模，如在2008年的《2008年国际信号图像技术及基于因特网系统会议》“最小可觉差以及其在彩色图像水印中的应用(Just noticeable distortion model and its application incolor image watermarking.2008 IEEE International Conference onSignal Image Technology and Internet Based Systems.2008，Page(s)：260-267)”中的JND(Just Noticeable Difference)方法，可以获得与主观视觉较为一致的评价结果。半参考评价方法也是以其中一幅图像为参考图像，并从多幅图像中提取出部分统计量用于比较，无需原始像素级别的信息，如在2004年的《I EEE图像处理汇刊》“图像质量评价：从偏差视觉到结构相似性(Image quality assessment：from error visibilityto structural similarity.IEEE Transactions on Image Processing.2004，13，Page(s)：600-612)”的SSIM(Structural SimilarityInformation)方法、在2003年的《数学图像和视觉期刊》“自然图像统计模型的优点(On advances in statistical modeling of natural images.Journal of Mathematical Imaging and Vision.2003)”NNS(Natural SceneStatistics)方法、在2000年《神经信息处理系统前沿》的“高斯混合尺度以及自然图像统计(Scale mixtures of Gaussians and the statisticsof natural Images.Advances in Neural Information Processing System.2000，12，Page(s)：855-861)”GSM(Gaussian Scale Mixture)方法。无参考评价方法可以分为如在2000年的《IEEE国际图像处理会议》“图像方块效应的盲目测量(Blind measurement of blocking artifacts inimages.IEEE International Conference on Image Processing.2000，3，Page(s)：981-984)”中针对失真类型的方法和在2005年《第十三届欧洲信号处理会议》“自适应滤波中的无参考方块效应(A no referenceblocking artifact measure for adaptive video processing，The 13^thEuropean Signal Processing Conference.2005)”中基于机器学习的方法。该类方法无需任何参考图像，只需提取图像自身的部分特征量与经验值进行比较。

上述客观图像质量评价方法主要应用于降质图像的质量评价。对于去雾增强等图像还原操作，处理后的图像通常具有更高的质量。图像去雾增强是个病态的问题，图像的质量改善空间是未知的，增强后图像与原图像不同的地方可能是噪声也可能是信息，无法假设其中一幅图像为完美图像。因此全参考评价方法和半参考评价方法无法应用于去雾增强图像质量客观评价和比较。去雾增强操作后至少有两幅图像可以进行比较，即原图像和增强后图像，并非没有任何参考，所以无参考评价方法也无法适用。

在雨雾天气或其他恶劣环境的影响下采集的图像通常边缘模糊，对比度较低，色彩灰暗。去雾增强后图像应该具有较高的边缘强度，体现更多的细节信息，同时有效抑制噪声干扰。增强后图像还应该具有鲜艳逼真的颜色信息，提供更好的视觉效果。

发明内容

本发明提供了一种判断去雾增强图像质量效果的方法，根据去雾增强前后图像的直观视觉差异，首先定义了细节还原系数、色彩还原系数以及综合还原系数等重要参数，给出了评价去雾增强后图像质量的总体框架；然后详细介绍了细节还原系数以及色彩还原系数的计算方法；最后根据综合还原系数对去雾增强图像的质量进行客观的评价和比较。本发明的实验部分对文中的众多参数进行了测试，并给出了不同参数取值时的评价正确率。本发明提出的去雾增强图像质量客观比较方法也可应用于多种去雾增强算法间的横向性能比较。本发明提供的判断去雾增强图像质量效果的方法包括：步骤(1)，由输入单元将图像输入至图像去雾增强单元；步骤(2)，由所述图像去雾增强单元对所述图像进行去雾增强操作得到去雾增强图像；步骤(3)，获取所述去雾增强图像的细节还原系数；步骤(4)，获取所述去雾增强图像的色彩还原系数；步骤(5)，根据所述细节还原系数和色彩还原系数获取所述去雾增强图像的综合还原系数。

优选地，步骤(3)包括：步骤31，获取所述去雾增强图像的有效边缘强度；步骤32，根据所述去雾增强图像的有效边缘强度确定所述去雾增强图像的细节还原系数。

优选地，步骤(4)包括：步骤41，获取原始雾化图像的色彩强度；步骤42，根据所述色彩强度获取所述图像的最大色彩增强倍数和最大色彩强度；步骤43，根据所述最大色彩强度获取所述图像的色彩还原系数曲线；步骤44，根据去雾增强后图像的色彩强度获取该图的色彩还原系数。

优选地，根据R＝αR_v+(1-α)R_c获取综合还原系数R，其中，R_v和R_c分别是所述细节还原系数和所述色彩还原系数，α为细节信息与色彩信息的平衡系数。

优选地，所述细节信息与色彩信息的平衡系数α的取值范围为0到1。

优选地，步骤31包括：

步骤311，获取所述去雾增强图像在各像素点处的边缘强度；

步骤312，根据所述边缘强度获取所述去雾增强图像的对比度信息；

步骤313，获取所述去雾增强图像的图像信息强度和噪声强度；

步骤314，根据所述去雾增强图像的图像信息强度和噪声强度确定所述去雾增强图像的有效边缘强度。

优选地，通过边缘检测算法获取所述边缘强度。

优选地，根据 $R_v^j=\frac{E_{\mathrm{vt}}^j}{\max (E_{\mathrm{vt}}^j,...,E_{\mathrm{vt}}^j,...,E_{\mathrm{vt}}^m)}$ 获取所述细节还原系数，其中，

为第j幅图像的细节还原系数，m表示m幅图片参与比较，为第j幅图像的有效边缘强度，

表示所有图像的有效边缘强度的最大值。

优选地，根据 $E_{\mathrm{vt}}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{E}_v(x,y)$ 获取整幅图像的有效边缘强度，其中，E_vt为整幅图像的有效边缘强度，E_v(x，y)为图像在像素点(x，y)处的有效边缘强度，H和W为图像的高度和宽度。

优选地，根据E_v(x，y)＝E_i(x，y)-βE_n(x，y)获取有效边缘强度，其中，E_v(x，y)为图像在像素点(x，y)处的有效边缘强度，E_i(x，y)为图像在像素点(x，y)处的信息强度，E_n(x，y)为图像在像素点(x，y)处的噪声强度，β为信息强度与噪声强度间的平衡系数。

优选地，根据 ${\mathrm{\ΔE}}_{94t}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{\ΔE}}_{94}(x,y)$ 获取整幅图像的色彩强度，其中，ΔE_94t为整幅图像的色彩强度，ΔE₉₄(x，y)为两幅图像在像素点(x，y)处的色彩差异，H和W为图像的高度和宽度。

优选地，根据

获取最大色彩强度，其中，S_c为最大色彩强度，

为原始雾化图像的色彩强度，M_c为最大色彩增强倍数。

优选地，根据 $M_c=\frac{a\left({\mathrm{\ΔE}}_{94t}^0\right)+b}{{\left({\mathrm{\ΔE}}_{94t}^0\right)}^2+c\left({\mathrm{\ΔE}}_{94t}^0\right)+d}$ 获取最大色彩增强倍数M_c其中，

为原始雾化图像的色彩强度，a、b、c、d为根据最小二乘拟合得到的曲线参数。

优选地，根据 $R_c^i=\left\{\begin{array}{cc}{\mathrm{\ΔE}}_{94t}^i/S_c& {\mathrm{\ΔE}}_{94t}^i\≤S_c\\ \mathrm{\ρ}/({\mathrm{\ΔE}}_{94t}^i+\mathrm{\τ})& {\mathrm{\ΔE}}_{94t}^i>S_c\end{array}\right.,$ $\left\{\begin{array}{c}\mathrm{\ρ}=S_c\×\left(g\right)/(1-g)\\ \mathrm{\τ}=S_c\×(2g-1)/(1-g)\end{array}\right.$ 获取色彩还原系数，其中，为第i幅图像的色彩还原系数，

为去雾增强后第i幅图像的色彩强度，S_c为最大色彩强度，g为图像的色彩强度是原图的最大色彩强度的两倍时的图像色彩还原系数。

本发明针对操作前后图像的视觉差异，定义有效边缘强度来表示图像的细节表现能力和基于CIELAB色彩空间的色彩强度来表示图像的色彩表现能力，并进一步提出有效边缘还原系数和色彩还原系数来对去雾增强图像的质量和处理方法与系统的性能进行综合的评价。

附图说明

图1为本发明提供的判断去雾增强图像质量效果的方法的框架图。

图2为本发明方法中像素点边缘方向的示意图。

图3a和3b为本发明实施例中最大色彩增强倍数与色彩还原系数曲线图。

图4a和4b为本发明实施例中细节评价正确率与综合评价正确率曲线图。

具体实施方式

为了能更清楚地理解本发明的技术内容，特结合附图举以下实施例进行详细说明。

1.判断去雾增强图像质量效果的方法的框架

在评价图像质量和视觉效果时，图像的清晰度和色彩鲜艳程度是两个重要的衡量指标，分别可用细节还原系数和色彩还原系数来表示。在计算图像的细节还原系数时，本发明定义了有效边缘强度来表示图像的细节表现能力，并定义了最大有效边缘强度来表示去雾增强后图像所能达到的最大细节表现能力。在计算图像的色彩还原系数时，本发明定义了色彩强度来表示图像的色彩表现能力，并定义了最大色彩强度来表示去雾增强后图像所能达到的最大色彩表现能力。最后，本发明将综合细节还原系数和色彩还原系数来计算图像的综合还原系数，从而实现判断去雾增强图像质量效果。

R＝αR_v+(1-α)R_c    (1)

上式中R是图像质量的综合还原系数，R_v和R_c分别是图像的细节还原系数和色彩还原系数。α是细节信息与色彩信息在决定图像质量综合评价指标时的平衡系数。α的取值范围为0到1，取值0时对应只有色彩还原系数参与图像质量的综合评价，取值1对应只有细节还原系数参与图像质量的综合评价。本发明的后续部分将对其他参数的定义和计算方法进行详细的介绍。

图1为判断去雾增强图像质量效果的方法的框架图。假设有两种去雾增强方法的处理结果参与比较，加上原图共3幅图像，即输入雾化图像、去雾图像1、去雾图像2。首先计算所有图像的有效边缘强度，然后结合所有图像的有效边缘强度计算出图像的最大有效边缘强度，其次计算出图像的细节还原系数。同理，在计算图像的色彩还原系数时，首先计算所有图像的色彩强度，然后根据雾化图像的色彩强度计算出最大色彩强度，其次结合去雾后图像的色彩强度和最大色彩强度计算出该图像的色彩还原系数。最后综合细节还原系数和色彩还原系数计算出图像的综合还原系数，并根据综合还原系数判断去雾增强图像质量效果。

下面详细描述本发明中构成判断去雾增强图像质量效果的方法核心参数——综合还原系数的两个部分。

2.细节还原系数R_v

2.1有效边缘强度

去雾增强后图像应该具有更高的清晰度，具体表现为图像具有更高的边缘对比度。本发明首先计算出图像的对比度信息，如下面公式所示：

$I_e(x,y)=\left\{\begin{array}{cc}I(x,y)& I(x,y)>T_e\\ 0& I(x,y)\≤T_e\end{array}\right.---\left(2\right)$

上式中I(x，y)为通过边缘检测算法(如采用Sobel算子)计算得到的图像在像素点(x，y)处的边缘强度。T_c为边缘强度的阈值，I_c(x，y)为根据阈值滤除一部分干扰像素后的图像对比度。

去雾过程中，噪声通常会随着边缘信息一起得到增强，噪声也可能导致图像具有较高的对比度。因此，图像的对比度并非越高越好，边缘信息才是我们真正需要的，其强度值可以用来客观的评价图像的细节表现能力。本发明定义对比度图像中边缘上的点为信息，非边缘上的点为噪声，并用J_e(x，y)来判断图像中像素点(x，y)为信息还是噪声，取值1对应信息，取值0对应噪声。用公式表示如下：

$J_e(x,y)=\left\{\begin{array}{cc}1& \underset{i=1}{\overset{4}{\mathrm{\Σ}}}{I}_e^{-i}(x,y)I_e(x,y)I_e^i(x,y)>0\\ 0& \underset{i=1}{\overset{4}{\mathrm{\Σ}}}{I}_e^{-i}(x,y)I_e(x,y)I_e^i(x,y)=0\end{array}\right.---\left(3\right)$

上式中

为像素点(x，y)左上方的一个像素点的对比度，

为像素点(x，y)右下方的一个像素点的对比度。i取值1到4对应四个边缘方向：水平、左上至右下、竖直和左下至右上，如图2所示。图2中四个双向箭头为四个判断方向，交叉点为当前判断的像素点(x，y)。若四个方向中至少存在一个方向的连续三个像素点具有都大于0的对比度，则该点为信息，否则该点为噪声。

图像信息强度和噪声强度分别表示图像所包含的信息和噪声的强度，其定义如下式所示：

E_i(x，y)＝J_e(x，y)I_e(x，y)     (4)

E_n(x，y)＝(1-J_e(x，y))I_e(x，y) (5)

上式中E_i(x，y)为图像在像素点(x，y)处的信息强度，E_n(x，y)表示图像在像素点(x，y)处的噪声强度。高质量的图像应该具有较高的边缘强度，同时有效抑制噪声干扰。本发明定义有效边缘强度来表示图像的细节表现能力，如下式所示：

E_v(x，y)＝E_i(x，y)-βE_n(x，y)  (6)

上式中E_v(x，y)表示图像在像素点(x，y)处的有效边缘强度，E_i(x，y)表示图像在像素点(x，y)处的信息强度，E_n(x，y)表示图像在像素点(x，y)处的噪声强度。β为信息强度与噪声强度间的平衡系数。整幅图像的有效边缘强度由图像中所有像素点的有效边缘强度的均值来表示，如下式所示：

$E_{\mathrm{vt}}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{E}_v(x,y)---\left(7\right)$

上式中E_vt为整幅图像的有效边缘强度，H和W为图像的高度和宽度。同理可计算得到整幅图像的信息强度E_it和噪声强度E_nt。

2.2细节还原系数

图像去雾增强是个病态的问题，导致很难计算得到图像质量的最大改善空间，即无法得到完美参考图像的有效边缘强度。但可假设同一幅图像的众多处理结果中有效边缘强度的最大值为参考值，并根据此参考值来计算其他图像的细节还原系数，从而实现多种方法的处理图像间的横向性能比较，为去雾增强方法的可行性和有效性提供强有力的证明。细节还原系数如下式所示：

$R_v^j=\frac{E_{\mathrm{vt}}^j}{\max (E_{\mathrm{vt}}^1,...,E_{\mathrm{vt}}^j,...,E_{\mathrm{vt}}^m)}---\left(8\right)$

上式中

为第j幅图像的细节还原系数，共m幅图片参与比较，为第j幅图像的有效边缘强度，

表示所有图像的有效边缘强度的最大值，代表了图像的最大细节表现能力。

3.色彩还原系数R_c

3.1色彩强度

常用的数字图像色彩空间是RGB色彩空间，但RGB色彩空间不具有主观视觉一致性。参见CIE 2号增刊中“均等色彩空间、色彩差异方程、心理色彩的评价(Recommendations on uniform color spaces，color differenceequations，psychometric color terms.Supplement No.2to CIEpublication No.15(E.-1.3.1)1971/(TC-1.3))”、2003年《第11届地中海自动控制会议》“均等色彩空间sRGB and CIEL*a*b*的偏差计算(Errorcomputation in the uniform color spaces sRGB and CIEL*a*b*.IEEE11th Mediterranean Conf.on Automation&Control.2003，T7-032，Page(s)：1-5)”、以及CIE(International Commission on Illumination)于1976年提出了LAB色彩空间，并证明了该色彩空间具有良好的视觉差异一致性。在1998年的《信号处理》“运用图像曲变图进行色彩图像可靠度评估(Color image fidelity metrics evaluated using image distortion maps.Signal Processing.1998，Vol.70(3)，Page s：201-214)”对基于S-CIELAB色彩空间的几种方法进行了比较，并证明S-CIELAB94具有较好的视觉一致性。本发明将采用在《国际色彩联盟临时会议》“运用幅值差异评价色彩区别(Assessing colour differences with different magnitudes.AIC 2004Color and Paints，Interim Meeting of the International ColorAssociation，Proceedings)”、以及在1998年《信号处理》“运用图像曲变图进行色彩图像可靠度评估(Color image fidelity metrics evaluatedusing image distortion maps.Signal Processing.1998，Vol.70(3)，Pages：201-214)S-CIELAB94方法来计算去雾增强图像的色彩强度和色彩还原系数。

首先将图像经过XYZ色彩空间变换到对立色彩空间(opponent colors)，然后用核函数对对立色彩空间的每个通道进行卷积，卷积核函数的模型由人眼对对立色彩空间中色彩通道的视觉敏感度决定，如下面公式所示：

$f=k\underset{i}{\mathrm{\Σ}}{w}_i{F}_i---\left(9\right)$

$F_i=k_i\exp [-(x^2+y^2)/{\mathrm{\σ}}_i^2]---\left(10\right)$

上式中k_i和k为归一化系数，使得两个表达式中所有项的和为1。由于S-CIELAB94中的空间滤波过程和基于CIELAB色彩空间的色彩差异评价过程相对独立，将图像变换到S-CIELAB空间后，可根据CIELAB色彩空间的CIE94表达式计算图像的色彩差异。如下面公式所示：

${\mathrm{\ΔE}}_{94}={[{\left(\frac{\mathrm{\ΔL}}{k_L{P}_L}\right)}^2+{\left(\frac{{\mathrm{\ΔC}}_{\mathrm{ab}}}{k_C{P}_C}\right)}^2+{\left(\frac{{\mathrm{\ΔH}}_{\mathrm{ab}}}{k_H{P}_H}\right)}^2]}^{1/2}---\left(11\right)$

${\mathrm{\ΔE}}_{94t}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{\ΔE}}_{94}(x,y)---\left(12\right)$

上式中ΔE₉₄(x，y)为两幅图像在像素点(x，y)处的色彩差异。ΔL、ΔC_ab和ΔH_ab是从LAB三个色彩通道中提取出的色彩差异的度量特征，这些特征与参数k_L、k_C、k_H、P_L、P_C以及P_H的计算方法可参考参考文献在《国际色彩联盟临时会议》“运用幅值差异评价色彩区别(Assessing colour differences withdifferent magnitudes.AIC 2004 Color and Paints，Interim Meeting ofthe International Color Association，Proceedings)”在此不再赘述。ΔE_94t表示整幅图像的色彩差异强度，由图像中所有像素点的色彩差异的均值来表示。H和W为图像的高度和宽度。根据以上公式便可计算出两幅图像间的色彩差异强度，但仍然无法得到其中一幅图像所具有的色彩强度。本发明假设灰度图像的色彩强度为0，因此对于任何彩色图像，可采用该图像与其灰度图像的色彩差异强度作为该彩色图像的色彩强度。

3.2色彩还原系数

图像去雾增强是个病态的问题，难以计算得到图像质量的最大改善空间，因此很难得到完美参考图像的色彩强度。本发明提出的色彩强度在一定范围内与图像的色彩表现成正比的关系。但图像的色彩强度并非越高越好，当原图中没有颜色鲜艳的景物时，去雾增强后较高的色彩强度通常意味着图像发生了颜色失真，将严重影响图像的质量和视觉效果。去雾增强后图像能够具有的最大色彩强度与输入雾化图像本身的色彩强度有关。当输入图像色彩强度较低时，原始色彩信息的缺乏使得去雾后色彩增强的空间非常有限。当输入图像具有较高的色彩强度时，去雾增强后图像通常具有更高的色彩强度。

为了获取不同雾化图像的最大色彩强度，本发明首先对n幅雾化图像进行k种不同去雾增强方法的处理，如采用直方图均衡化和在2004年《电子图像期刊》“自动图像增强RETIX处理(Retinex processing for automatic imageenhancement.Journal of Electronic Imaging.2004，vol.13(1)，Page(s)：100-110)”、在2007年《IEEE智能交通杂谈》“雾化图像的视觉增强(Visibility enhancement for roads with foggy or hazy scene s.IEEEIntelligent Vehicles Symposium.2007，Page(s)：19-24)”所述的方法，得到包括原图的n组共n×(K+1)张图像。计算所有图像的色彩强度，以及关于原图的色彩强度增强倍数。根据主观视觉效果对所有图像的色彩表现进行人工标定，分为无色彩失真和有色彩失真两类。

将所有图像的色彩增强倍数标记在图3(a)的坐标系中，其中横轴为原始图像的色彩强度，纵轴为去雾增强方法处理图像的色彩增强倍数。图3(a)中圆圈表示根据主观判断发生色彩失真的图像，星号表示未发生色彩失真的图像。为了改善显示效果，图3(a)中只保留了色彩强度最大的未失真图像和色彩强度最小的失真图像。由图3(a)可知，随着原始图像色彩强度的增加，图像的最大色彩增强倍数逐渐降低，使得所有图像的最大色彩强度保持在一定范围内。去雾增强后色彩失真图像和色彩未失真图像具有明显的界限，如图3(a)中曲线所示。该曲线表示不同色彩强度的输入图像在去雾操作后所能达到的最大色彩增强倍数。本发明定义图中的曲线对应的纵坐标为原始图像的最大色彩增强倍数M_c，并定义原始雾化图像的色彩强度

与对应最大色彩增强倍数的乘积为最大色彩强度S_c。本发明通过数据拟合得到不同雾化图像的最大色彩增强倍数如下式所示，其中

为去雾增强后第i幅图像的色彩强度。

$M_c=\frac{a\left({\mathrm{\ΔE}}_{94t}^0\right)+b}{{\left({\mathrm{\ΔE}}_{94t}^0\right)}^2+c\left({\mathrm{\ΔE}}_{94t}^0\right)+d}---\left(13\right)$

$S_c=M_c\×\left({\mathrm{\ΔE}}_{94t}^0\right)---\left(14\right)$

当图像的色彩强度

小于原图的最大色彩强度S_c时，本发明定义色彩还原系数为去雾增强后图像的色彩强度与最大色彩强度的比值，如图3(b)中直线所示。当色彩强度

大于最大色彩还原系数S_c时，图像的色彩视觉效果将发生快速的下降，下降的速度随着色彩强度的增强而逐步变慢，最终趋于0。本发明用指数函数来表示色彩失真图像的色彩还原系数，如图3(b)中曲线所示。图3(b)中横坐标为去雾增强后图像的色彩强度，纵坐标为去雾增强图像的色彩还原系数。图3(b)中三条曲线的峰值为三幅原始雾化图像对应的最大色彩强度，峰值的左边为增强图像的色彩还原系数曲线，右边为失真图像的色彩还原系数曲线。不同雾化图像的色彩还原系数曲线将构成图3(b)的曲线族。色彩还原系数的表达式为：

$R_c^i=\left\{\begin{array}{cc}{\mathrm{\ΔE}}_{94t}^i/S_c& {\mathrm{\ΔE}}_{94t}^i\≤S_c\\ \mathrm{\ρ}/({\mathrm{\ΔE}}_{94t}^i+\mathrm{\τ})& {\mathrm{\ΔE}}_{94t}^i>S_c\end{array}\right.---\left(15\right)$

$\left\{\begin{array}{c}\mathrm{\ρ}=S_c\×\left(g\right)/(1-g)\\ \mathrm{\τ}=S_c\×(2g-1)/(1-g)\end{array}\right.---\left(16\right)$

上式中

为第i幅图像的色彩还原系数。假设图像的色彩强度是原图的最大色彩强度的两倍时，图像的色彩还原系数为g。根据最大色彩强度S_c和参数g，可计算出失真图像色彩还原曲线的参数ρ和τ。

在计算去雾增强后图像的色彩还原系数时，首先需要计算原始雾化图像的色彩强度

然后根据

计算图像的最大色彩增强倍数M_c和最大色彩强度S_c；根据最大色彩强度计算图像的色彩还原系数曲线；最后根据去雾增强后图像的色彩强度计算该图的色彩还原系数。

4.实验

4.1实验步骤

目前没有通用的去雾增强测试样本集，本发明的测试样本基本上是发明人收集所得。

(1)对输入的m张测试图像进行k种方法的去雾增强，得到包括原图的共m×(k+1)张测试样本。

(2)对所有测试样本进行t次主观标定，每次标定由不同的人来完成。参与标定的人员可以为任意的图像增强相关领域的研究人员，他们对图像的标定结果能比较准确的表示图像的质量。标定过程主要是对每组(k+1)张图像的细节表现能力、色彩表现能力以及图像综合视觉效果进行主观比较，并根据比较结果对四张图像的这三个指标分别进行评分。

(3)分别计算每组(k+1)张图像的细节表现能力、色彩表现能力以及图像综合视觉效果的评分均值。根据评分均值分别对每组(k+1)张图像的三个特征进行排序，1对应质量最高，(k+1)对应质量最低。

(4)计算所有图像的有效边缘强度及细节还原系数，并根据细节还原系数对每组(k+1)张图像进行客观的排序，1对应还原系数最高，(k+1)对应还原系数最低。比较每组(k+1)张图像关于细节表现能力的主客观排序。以排序相同的图像个数与参加比较的图像总个数的比值作为细节还原系数评价正确率：

${\mathrm{\ρ}}_v=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_v(i,j)}{m\×(k+1)}---\left(18\right)$

其中

表示第i组第j幅图像关于细节表现的主观排序，

表示第i组第j幅图像关于细节表现的客观排序。ω_v(i，j)用于表示第i组第j幅图像关于细节表现的主客观排序是否相同。ρ_v是细节还原系数评价正确率，公式18中分子表示关于细节表现能力的主客观排序相同的图像个数，分母表示所有测试图像。

(5)计算所有图像的色彩强度及色彩还原系数，并根据色彩还原系数对每组(k+1)张图像进行客观的排序，1对应还原系数最高，(k+1)对应还原系数最低。比较每组(k+1)张图像关于色彩表现能力的主客观排序。以排序相同的图像个数与参加比较的图像总个数的比值作为色彩还原系数评价正确率：

${\mathrm{\ρ}}_c=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k+1}{\mathrm{\Σ}}}{\mathrm{\ω}}_c(i,j)}{m\×(k+1)}---\left(20\right)$

其中

表示第i组第j幅图像关于色彩表现的主观排序，

表示第i组第j幅图像关于色彩表现的客观排序。ρ_c是色彩还原系数评价正确率。

(6)结合细节还原系数和色彩还原系数计算所有图像的综合还原系数，并根据综合还原系数对每组(k+1)张图像进行客观的排序，1对应还原系数最高，(k+1)对应还原系数最低。比较每组(k+1)张图像关于综合表现能力的主客观排序。以排序相同的图像个数与参加比较的图像总个数的比值作为综合还原系数评价正确率：

$\mathrm{\ρ}=\frac{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{k+1}{\mathrm{\Σ}}}\mathrm{\ω}(i,j)}{m\×(k+1)}---\left(22\right)$

其中

表示第i组第j幅图像关于综合表现的主观排序，

表示第i组第j幅图像关于综合表现的客观排序。ω(i，j)用于表示第i组第j幅图像关于综合表现的主客观排序是否相同，ρ是综合还原系数评价正确率。

4.2实验结果分析

本发明对100张不同场景、不同雾化程度的测试样本进行了测试，采用的去雾增强方法有在参考文献“自动图像增强RETIX处理(Retinexprocessing for automatic image enhancement.Journal of ElectronicImaging.2004，vol.13(1)，Page(s)：100-110)”、“雾化图像的视觉增强(Visibility enhancement for roads with foggy or hazy scenes.IEEEIntelligent Vehicles Symposium.2007，Page(s)：19-24)”的算法和直方图均衡化，假设原图也是一种方法的处理结果，共得到100×4＝400张图像。

细节还原系数的评价正确率如表1所示。对包括原图的共四种去雾方法的处理结果进行测试，得到表1中第2行的评价正确率。其中β为信息与噪声间的平衡系数。当对不包括原图的三种去雾方法的处理结果进行测试时，得到表1中第3行的评价正确率，较第2行的评价结果有明显的提高。对在2004年《电子图像期刊》“自动图像增强RETIX处理(Retinex processingfor automatic image enhancement.Journal of Electronic Imaging.2004，vol.13(1)，Page(s)：100-110)”、在2007年《IEEE智能交通杂谈》“雾化图像的视觉增强(Visibility enhancement for roads with foggy or hazyscenes.IEEE Intelligent Vehicles Symposium.2007，Page(s)：19-24)”中算法的处理结果进行比较时，得到两种方法处理图像的评价正确率，对应表1中的第4行。根据表1的测试结果，可得到图4(a)所示的拟合曲线，更加直观的表现出有效边缘排序正确率关于平衡系数β和参与比较的方法数的变化。图4a的横坐标为平衡系数β，纵坐标为细节评价正确率，三条曲线中，实线表示两种去雾方法评价正确率，虚线表示三种去雾方法评价正确率，点画线表示四种去雾方法评价正确率。从表1和图4(a)中都可看出，当平衡系数β取值0.2时细节评价正确率最高，分别为88.58％、91.67％、93.27％，此时细节还原系数能够有效的表示图像的细节还原能力。

表1细节还原系数评价正确率

β	0.0	0.2	0.4	0.6	0.8	1.0	1.2	1.4	1.6	1.8	2.0
												四	0.8846	0.8858	0.8365	0.7837	0.7692	0.7308	0.6683	0.6442	0.6009	0.5683	0.5433
三	0.8782	0.9167	0.8526	0.8077	0.7564	0.7244	0.6923	0.6795	0.6410	0.5962	0.5705
												二	0.9135	0.9327	0.9135	0.8942	0.8173	0.7981	0.7404	0.7404	0.7212	0.7019	0.6442

表2综合评价正确率

α	0	0.1	0.2	0.3	0.4	0.5	0.6	0.7	0.8	0.9	1
												四	0.462	0.448	0.491	0.571	0.68	0.797	0.665	0.604	0.538	0.509	0.481
三	0.585	0.591	0.642	0.723	0.786	0.836	0.786	0.755	0.717	0.68	0.66
												二	0.679	0.698	0.736	0.792	0.868	0.906	0.811	0.774	0.717	0.66	0.623

本发明对不同去雾方法处理图像的色彩还原系数的评价正确率进行了测试。对四种方法处理图像的色彩还原系数进行比较时，得到色彩评价正确率80.66％。对不包括原图的三种方法处理结果的色彩还原系数进行比较时，得到色彩评价正确率86.79％。对在2004年《电子图像期刊》“自动图像增强RETIX处理(Retinex processing for automatic image enhancement.Journal of Electronic Imaging.2004，vol.13(1)，Page(s)：100-110)”、在2007年《IEEE智能交通杂谈》“雾化图像的视觉增强(Visibilityenhancement for roads with foggy or hazy scenes.IEEE IntelligentVehicles Symposium.2007，Page(s)：19-24)”中算法处理结果的色彩还原系数进行比较时，得到色彩评价正确率89.62％。实验结果证明本发明提出的色彩强度及色彩还原系数能有效表示图像的色彩表现与还原能力。

综合还原系数的评价正确率如表2所示。对包括原图的共四种方法的处理结果进行测试，得到表2中第2行的综合评价正确率。对不包括原图的三种方法的处理结果进行测试时，得到表2中第3行的综合评价正确率。对在2004年《电子图像期刊》“自动图像增强RETIX处理(Retinex processingfor automatic image enhancement.Journal of Electronic Imaging.2004，vol.13(1)，Page(s)：100-110)”、在2007年《IEEE智能交通杂谈》“雾化图像的视觉增强(Visibility enhancement for roads with foggy or hazyscenes.IEEE Intelligent Vehicles Symposium.2007，Page(s)：19-24)”中算法处理结果进行比较时，得到两种方法处理图像的综合评价正确率，对应表2中的第4行。其中α为有效边缘与色彩间的平衡系数。当α取值0时对应只有色彩还原系数参与综合评价，当α取值1时对应只有细节还原系数参与综合评价。从表2中的统计结果可看出，当α取值0.5，综合了细节还原系数和色彩还原系数时，得到最高的评价的正确率，分别为79.7％、83.6％、90.6％。对表2的统计结果进行数据拟合，得到图4(b)所示的综合评价正确率曲线，直观的体现了本发明提出的综合还原系数的有效性和正确性。图4a的横坐标为平衡系数α，纵坐标为综合评价正确率，三条曲线中，实线表示两种方法评价正确率，虚线表示三种方法评价正确率，点画线表示四种方法评价正确率。

尽管已经示出并描述了本发明的实施例，但是本领域技术人员可以理解，在不偏离本发明的精神和原理的基础上，可以对此实施例做出改变，本发明的范围由所附权利要求和它们的等同变换限定。

Claims (13)

1.一种判断去雾增强图像质量效果的方法，其特征在于，包括：

步骤(1)，由输入单元将图像输入至图像去雾增强单元；

步骤(2)，由所述图像去雾增强单元对所述图像进行去雾增强操作，得到去雾增强图像；

步骤(3)，获取所述去雾增强图像的细节还原系数；

步骤(4)，获取所述去雾增强图像的色彩还原系数；

步骤(5)，根据所述细节还原系数和色彩还原系数确定所述去雾增强图像的综合还原系数，以判断去雾增强图像质量效果，具体公式为R＝αR_v+(1-α)R_c，其中，R为综合还原系数，R_v和R_c分别是所述细节还原系数和所述色彩还原系数，α为细节信息与色彩信息的平衡系数；

其中，所述细节还原系数为去雾增强图像的清晰度衡量指标，所述色彩还原系数为去雾增强图像的色彩鲜艳程度衡量指标。

2.根据权利要求1所述的方法，其特征在于，步骤(3)包括：

步骤31，获取所述去雾增强图像的有效边缘强度；

步骤32，根据所述去雾增强图像的有效边缘强度确定所述去雾增强图像的细节还原系数。

3.根据权利要求1所述的方法，其特征在于，步骤(4)包括：

步骤41，获取原始雾化图像的色彩强度；

步骤42，根据所述色彩强度获取所述图像的最大色彩增强倍数和最大色彩强度；

步骤43，根据所述最大色彩强度获取所述图像的色彩还原系数曲线；

步骤44，根据去雾增强后图像的色彩强度获取该图的色彩还原系数。

4.根据权利要求1所述的方法，其特征在于，所述细节信息与色彩信息的平衡系数α的取值范围为0到1。

5.根据权利要求2所述的方法，其特征在于，步骤31包括：

步骤311，获取所述去雾增强图像在各像素点处的边缘强度；

步骤312，根据所述边缘强度获取所述去雾增强图像的对比度信息；

步骤313，获取所述去雾增强图像的图像信息强度和噪声强度；

步骤314，根据所述去雾增强图像的图像信息强度和噪声强度确定所述去雾增强图像的有效边缘强度。

6.根据权利要求2所述的方法，其特征在于，通过边缘检测算法获取所述边缘强度。

7.根据权利要求2所述的方法，其特征在于，根据 $R_v^j=\frac{E_{\mathrm{vt}}^j}{\max (E_{\mathrm{vt}}^1,...,E_{\mathrm{vt}}^j,...,E_{\mathrm{vt}}^m)}$ 获取所述细节还原系数，其中，为第j幅图像的细节还原系数，m表示m幅图片参与比较，

为第j幅图像的有效边缘强度，

表示所有图像的有效边缘强度的最大值。

8.根据权利要求7所述的方法，其特征在于，根据 $E_{\mathrm{vt}}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{E}_v(x,y)$ 获取整幅图像的有效边缘强度，其中，E_vt为整幅图像的有效边缘强度，E_v(x，y)为图像在像素点(x，y)处的有效边缘强度，H和W为图像的高度和宽度。

9.根据权利要求8所述的方法，其特征在于，根据E_v(x，y)＝E_i(x，y)-βE_n(x，y)获取有效边缘强度，其中，E_v(x，y)为图像在像素点(x，y)处的有效边缘强度，E_i(x，y)为图像在像素点(x，y)处的信息强度，E_n(x，y)为图像在像素点(x，y)处的噪声强度，β为信息强度与噪声强度间的平衡系数。

10.根据权利要求3所述的方法，其特征在于，根据 ${\mathrm{\ΔE}}_{94t}=\frac{1}{H\×W}\underset{x=1}{\overset{H}{\mathrm{\Σ}}}\underset{y=1}{\overset{W}{\mathrm{\Σ}}}{\mathrm{\ΔE}}_{94}(x,y)$ 获取整幅图像的色彩强度，其中，ΔE_94t为整幅图像的色彩强度，ΔE₉₄(x，y)为两幅图像在像素点(x，y)处的色彩差异，H和W为图像的高度和宽度。

11.根据权利要求10所述的方法，其特征在于，根据

获取最大色彩强度，其中，S_c为最大色彩强度，

为原始雾化图像的色彩强度，M_c为最大色彩增强倍数。

12.根据权利要求11所述的方法，其特征在于，根据 $M_c=\frac{a\left({\mathrm{\ΔE}}_{94t}^0\right)+b}{{\left({\mathrm{\ΔE}}_{94t}^0\right)}^2+c\left({\mathrm{\ΔE}}_{94t}^0\right)+d}$ 获取最大色彩增强倍数M_c其中，

为原始雾化图像的色彩强度，a、b、c、d为根据最小二乘拟合得到的曲线参数。

13.根据权利要求12所述的方法，其特征在于，根据 $R_c^i=\left\{\begin{array}{cc}{\mathrm{\ΔE}}_{94t}^i/S_c& {\mathrm{\ΔE}}_{94t}^i\≤S_c\\ \mathrm{\ρ}/({\mathrm{\ΔE}}_{94t}^i+\mathrm{\τ})& {\mathrm{\ΔE}}_{94t}^i>S_c\end{array}\right.$

$\left\{\begin{array}{c}\mathrm{\ρ}=S_c\×\left(g\right)/(1-g)\\ \mathrm{\τ}=S_c\×(2g-1)/(1-g)\end{array}\right.$ 获取色彩还原系数，

其中，

为第i幅图像的色彩还原系数，

为去雾增强后第i幅图像的色彩强度，S_c为最大色彩强度，g为图像的色彩强度是原图的最大色彩强度的两倍时的图像色彩还原系数。

Images