CN110070539A - 基于信息熵的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于信息熵的图像质量评价方法，用于解决现有的图像质量评价方法不能有效的评价多重失真以及去模糊失真类的图像。该方法构造了包含去模糊失真的图像库，然后在图像库基础上，利用支持向量机根据提取的图像库图像的二维空间熵和频谱熵特征进行分类训练得到失真概率向量模型；然后利用支持向量回归将每类图像的特征和其全参考质量评价指标VSI得分拟合，得到特定失真质量向量模型。利用这两个模型，可以对任意图像根据其信息熵特征得到质量预测分数，最后结合去模糊图像的振铃、残留模糊和噪声等失真的检测评估，得到最终的评价分数。本方法与已有技术相比具有评价更加客观、通用性好的特点。在图像复原实验中，利用本方法实现了去模糊算法的多个参数的快速优化，得到的复原图像质量明显提高。本方法可以嵌入到DaVinci系统或其他与图像质量相关的应用系统中,具有很强的实用价值。

Description

基于信息熵的图像质量评价方法

技术领域

本专利涉及一种图像质量的无参考评价方法，评价算法实现了对包含多种失真的图像质量的盲评估，包括常见失真和去模糊失真。属于图像分析领域。

背景技术

在图像评价领域，按照评价主体，图像质量评价方法可以分为两类，一类是主观质量评价，另一类是客观质量评价。主观质量评价方法首先要制定评价标准，一般采用国际上通用的图像质量主观评分标准，然后大量的观测人员按照评价标准直接给出质量分数，该方法比较直观，但是研究过程所需的成本较大且应用具有局限性。因此，目前研究的热点是开创一种客观图像评价方法，能较好的计算图像质量分数。根据参考图像信息的可用性，客观图像评价方法可以划分为：全参考、半参考和无参考。由于工程领域往往无法获得清晰的参考图像，无法使用全参考方法评价图像质量，因此多采用无参考图像质量评价方法。

就无参图像降质评价而言,国家发明专利CN 104835172A基于相位一致性和频域熵设计了无参图像质量评价方法,就单一降质而言,该方法可以较好地评价图像降质,但对于多重降质图像,其包含的降质分量在相位及嫡上有相反的表征,所以该专利方案不适用于多重降质图像。国家发明专利CN 103475898A提出了一个高效通用的基于空间熵-频谱熵的质量评估方法SSEQ，该模型利用失真图像的局部空间熵和频谱熵特征，在质量评估中采用失真分类的两级框架，使用支持向量机训练图像失真和质量预测。SSEQ虽然可以评价包含多重失真的图像，但是由于图像库的原因，对于去模糊图像无法准确评价。Liu等提出了去运动模糊图像的NR质量度量，提取一组低阶特征对包括残余模糊、振铃效应和噪声(NRRB)这三个失真进行量化，在此基础上利用逻辑回归(Logistic Regression，LR)学习质量模型，最后利用该模型得到图像质量分数，该方法也可以用于选择图像去模糊的最优算法和参数。Li等提出了一种方法测量去运动模糊图像的噪声、振铃和残余模糊。首先估计噪声级，然后结合人类视觉系统对振铃进行评估，残余模糊的评估采用了一种基于再模糊的方法，这种方法对去模糊图像进行再模糊处理后，提取两者之间的梯度、对比度和结构相似性。最后，通过对噪声、振铃和残余模糊的分数加权，得到去运动模糊图像的整体质量分数。然而这些方法确只能评价去模糊运动图像。

本专利克服了单个图像包含多重失真的情况下的图像质量评价问题，并且除了可以评价常见的失真类型，还解决了评价图像处理领域难以处理的去模糊图像质量评价问题，并且可以将算法移植在DaVinci系统上，从而实现图像质量可移动的实时评价技术。

发明内容

本专利对SSEQ进行改进，用二维空间熵取代一维空间熵，并用视觉显著性指标(VSI)的测试结果取代训练图像库中的主观评分，利用支持向量机根据图像特征对图像进行失真分类，对于去模糊失真图像，再结合振铃、残留模糊、噪声的测量实现图像质量的高精度评估。

一种基于信息熵的图像质量评价方法，包括以下步骤：

1)扩展LIVE库。LIVE数据库包含JPEG2000失真、JPEG失真、白噪声失真、高斯模糊失真和快速瑞利衰减失真等五类失真。为了增加去模糊图像类型，将图像库中的29幅参考图像用19*19的随机模糊核进行模糊处理，然后每幅图用不同的去模糊算法和参数进行复原处理，共得到145张去模糊图像，将145张去模糊图像作为新的失真类加入LIVE图像库；

2)提取图像库图像的二维信息熵和频谱熵特征，并构造特征集；

21)对新图像库中的图像通过双三次插值进行两次下采样，得到3个尺度的图像；

22)对图像分为块，每块为8*8大小，计算每一块的二维空间熵和频谱熵。

23)特征池化，对得到的两个特征集按升序排序，提取60％的中心元素，求均值和偏度，从而构成新的特征集；

3)训练失真概率向量模型和特定失真质量向量模型。首先利用支持向量机根据提取的图像特征集进行分类训练得到失真概率向量模型；然后利用支持向量回归将每类图像的特征和全参考评价指标VSI得分拟合，得到特定失真质量向量模型；

4)输入待评价图像，利用步骤2)提取待测图像的特征，根据提取的特征利用步骤3)的两个向量模型可得到改进的SSEQ得分Q_S；

5)计算待评价图像的振铃、残留模糊、噪声的加权得分Q_E；

51)计算图像振铃效应分数Q_r；

52)计算图像残留模糊分数Q_b；

53)计算图像噪声分数Q_n；

54)计算三项加权得分Q_E＝0.58·Q_r+0.36·Q_b+0.06·Q_n；

6)计算最终得分Q＝Q_S/Q_E。

进一步限定，所述步骤22)中提取的二维空间熵具体为：

特征二元组(i,j)的频率P_ij与其对数的乘积和：

特征二元组(i,j)的频率P_ij为：

其中，(i,j)为以图像的邻域灰度均值作为灰度分布的空间特征量与图像的像素灰度组成的特征二元组，i表示像素的灰度值(0≤i≤255)，j表示邻域灰度均值(0≤j≤255)，f(i,j)为特征二元组(i,j)出现的次数，N2为图像的大小；

进一步限定，所述步骤22)提取的频谱熵具体为：

其中P(i,j)为对DCT系数归一化以产生频谱概率矩阵：

进一步限定，所述步骤23)中特征池化具体为：

对步骤22)中获得的两个特征集(二维空间熵和频谱熵)进行升序排序，从而产生有序集S和F：

S＝(se₁,se₂,...,se_m)

F＝(fe₁,fe₂,...,fe_m)

公式中se_i是局部空间熵，fe_i是局部频谱熵，m是每个尺度内的局部图像块的数目。

池化的方法是百分位数池，从产生的有序集S中提取60％的中心元素，得到：

从产生的有序集F中提取60％的中心元素，得到：

选取集合S_C和F_C的平均值及S和F的偏度值作为图像质量评价的最终特征，即：

f＝(mean(Sc),skew(S),mean(Fc),skew(F))

进一步限定，所述步骤51)计算图像振铃效应分数Q_r具体为：

对于去运动模糊图像，首先通过获取输入图像的对数谱，在对数谱域中提取图像的谱残差，然后将谱残差变换到空间域，构造显著性图，并将其调整到与差分图相同的大小。然后，一个分辨率级别的振铃得分计算为：

其中D＝{D_ij}，i∈{1,2,...,M}，j∈{1,2,...,N}是差分图，W＝{W_ij}是视觉显著性图。最终，通过将所有分辨率级别的分数相加得到整体振铃分数：

进一步限定，所述步骤52)计算图像残留模糊分数Q_b具体为：

对于去运动模糊图像，首先使用高斯低通滤波器对其进行再模糊处理：

其中x和y是坐标位置，σ是高斯核的标准差。将高斯滤波器的大小设置为3*3，标准差σ设置为5。

计算去运动模糊图像及其再模糊图像之间的梯度、对比度和结构相似性，以评估去运动模糊图像中的残余模糊：

其中G_d和G_r分别表示去运动模糊图像及其再模糊图像的梯度图像；c_i,i∈{1,2,3}是确保数值稳定性的小常数。然后质量分数定义为：

式中，μ是取平均值运算。为了考虑图像分辨率和视距对图像质量的影响，还计算了对去运动模糊图像进行2倍率下采样后的质量分数Q₁。最后，残余模糊分数定义为：

Q_b＝θ₀Q₀+θ₁Q₁

其中，两个参数设置θ₀＝0.1和θ₁＝0.9用于平衡不同分辨率水平相对重要性。

进一步限定，所述步骤53)计算图像噪声分数Q_n具体为：

对于图像I，加噪声后变为I′，其峰度值可以表示为：

其中α是广义高斯分布的形状参数，k_I和k_I′分别是I和I′的峰度值，σ_I和σ_n分别是图像I和噪声n的方差，之后可以通过最小化操作来估计I′的噪声等级

其中和是由图像I′通过每个N*N大小的DCT的滤波响应得到的。

现有的噪声估计方法大多应用于彩色图像的灰度尺度上。然而彩色图像到灰度图像的转换是有损的，这可能导致不准确的噪声估计。为了准确估计噪声，本文对去运动模糊图像的RGB三个通道进行噪声估计，然后将去运动模糊图像的噪声得分定义为：

其中σ_i,{i∈R,G,B}表示去运动模糊图像的RGB通道估计的噪声标准差。

有益效果：

本发明提出的基于信息熵特征的无参考图像质量评价方法,与已有技术相比具有评价更加客观、时间复杂度小、通用性好的特点。可以嵌入到DaVinci系统或其他与图像质量相关的应用系统中,具有很强的实用价值。

在MDD2013图像库中将最终改进算法与已有的三种无参考图像质量评价指标比较。这三种指标分别是：(1)在不知道特定失真类型的情况下评价图像质量的通用无参考评价方法，包括NIQE、BIQI、DIIVINE、SSEQ。(2)针对去运动模糊图像的质量评价方法，NRRB和MMD。(3)三种最先进的多重失真图像质量度量，包括在梯度图上计算的局部二进制模式的梯度加权直方图GWHGLBP、五步盲指标FISBLIM和六步盲指标SISBLIM。得到结果如表1所示。

表1不同图像质量评价指标在MDD2013数据库上的性能比较

从表格结果来看，所提出的方法在主观一致性上优于几种现有不同类型的无参考图像质量评价方法。

本专利与SSEQ方法比较，有如下优点：

1、扩展了SSEQ训练模型时使用的LIVE图像库，增加了去模糊失真类，可以评价包含多种失真类型的图像。

2、提取局部熵特征时，不再采用SSEQ方法的一维空间熵，而是改为能较好地反映图像灰度分布的空间特征的二维空间熵，可以更好的反映图像的结构特征；

3、将图像库中的主观评分用全参考评分VSI代替，以避免主观评分在评价时人为产生的误判。

4、结合了图像的振铃效应、残留模糊和噪声(NRRB)的检测与评估，以更准确地评价去模糊类图像。

附图说明：

图1为本专利图像评价算法流程图。

图2为利用SSEQ评价算法指导Krishnan算法优化参数后，复原超声图像的结果，其中(a)为原始超声图像，(b)为利用SSEQ得到Krishnan算法最佳参数后的复原结果。

图3为利用本专利评价算法指导Krishnan算法优化参数后，复原超声图像的结果，其中(a)为原始超声图像，(b)为利用本专利方法得到Krishnan算法最佳参数后的复原结果。

具体实施方式

下面结合附图和具体实施例对本发明方法的实施方式做详细说明。

实施例1：

本方法流程如图1所示，具体实施过程为：

步骤一，扩展图像库并构造特征集。首先扩展LIVE库。LIVE数据库包含JPEG2000失真、JPEG失真、白噪声失真、高斯模糊失真和快速瑞利衰减失真等五类失真。为了增加去模糊图像类型，将145张去模糊图像作为新的失真类加入LIVE图像库。构建特征集时，首先对新图像库中的图像进行两次下采样，得到3个尺度的图像；其次，对图像分块，计算每一块的二维空间熵和频谱熵。然后，特征池化，对得到的两个特征集按升序排序，提取60％的中心元素，求均值和偏度，从而构成新的特征集。

步骤二，训练失真概率向量模型和特定失真质量向量模型。首先利用支持向量机根据提取的图像特征集进行分类训练得到失真概率向量模型；然后利用支持向量回归将每类图像的特征和VSI得分拟合，得到特定失真质量向量模型。

步骤三，得到改进的SSEQ得分。利用步骤一的方法提取待测图像的特征，利用步骤二得到的失真概率向量模型对其进行分类概率预测，并与特定失真质量向量模型相乘得到预测分数Q_S。

步骤四，计算待测图像的振铃、残留模糊、噪声的加权得分Q_E。

步骤五，计算最终得分Q＝Q_S/Q_E。

步骤六，我们利用Krishnan的图像去模糊算法优化超声图像，并用SSEQ和本文算法分别指导参数优化过程。即固定其它参数，不断改变要优化的参数的值，进行图像去模糊处理，选择处理得到的图像质量评价最高时对应的参数值作为该参数的最优值。在用Krishnan算法复原超声图像时，考虑到超声图像的成像特性，利用图像块间的模糊核迭代代替原算法的模糊核金字塔迭代，即将图像从上到下分为N个图像块，将上一块的模糊核估计结果作为下一块的模糊核初始值进行模糊核估计。这种方法不但大幅节省时间，还符合超声图像的成像特性。比较最终优化参数后的复原结果如图2和图3所示。由SSEQ和本文算法优化得到的参数如表2所示。

表2优化参数结果对比

	min_lambda	kernel_size	xk_iter
				SSEQ	1350	5	15
本文算法	800	25	21

从图2和图3可以看出，利用本文算法优化参数后得到的去模糊超声图像效果明显好于SSEQ优化参数的结果，证明本专利的算法能够有效评价去模糊图像，从而实现Krishnan算法参数的优化，得到更好的去模糊效果。

Claims (7)

1.一种基于信息熵的图像质量评价方法，具体特征在于：具体步骤如下：

1)扩展LIVE库。LIVE数据库包含JPEG2000失真、JPEG失真、白噪声失真、高斯模糊失真和快速瑞利衰减失真等五类失真。为了增加去模糊图像类型，将图像库中的29幅参考图像用19*19的随机模糊核进行模糊处理，然后每幅图用不同的去模糊算法和参数进行复原处理，共得到145张去模糊图像，将145张去模糊图像作为新的失真类加入LIVE图像库；

2)提取图像库图像的二维信息熵和频谱熵特征，并构造特征集；

21)对新图像库中的图像通过双三次插值进行两次下采样，得到3个尺度的图像；

22)对图像分为块，每块为8*8大小，计算每一块的二维空间熵和频谱熵。

23)特征池化，对得到的两个特征集按升序排序，提取60％的中心元素，求均值和偏度，从而构成新的特征集；

3)训练失真概率向量模型和特定失真质量向量模型。首先利用支持向量机根据提取的图像特征集进行分类训练得到失真概率向量模型；然后利用支持向量回归将每类图像的特征和VSI得分拟合，得到特定失真质量向量模型；

4)输入待评价图像，利用步骤2)提取待测图像的特征，根据提取的特征利用步骤3)的两个向量模型可得到改进的SSEQ得分Q_S；

5)计算待评价图像的振铃、残留模糊、噪声的加权得分Q_E；

51)计算图像振铃效应分数Q_r；

52)计算图像残留模糊分数Q_b；

53)计算图像噪声分数Q_n；

54)计算三项加权得分Q_E＝0.58·Q_r+0.36·Q_b+0.06·Q_n；

6)计算最终得分Q＝Q_S/Q_E。

2.根据权利要求1所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤22)中提取的二维空间熵具体为：

特征二元组(i,j)的频率P_ij与其对数的乘积和：

特征二元组(i,j)的频率P_ij为：

其中，(i,j)为以图像的邻域灰度均值作为灰度分布的空间特征量与图像的像素灰度组成的特征二元组，i表示像素的灰度值(0≤i≤255)，j表示邻域灰度均值(0≤j≤255)，f(i,j)为特征二元组(i,j)出现的次数，N2为图像的大小。

3.根据权利要求2所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤22)提取的频谱熵具体为：

其中P(i,j)为对DCT系数归一化以产生频谱概率矩阵：

。

4.根据权利要求3所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤23)中特征池化具体为：

对步骤22)中获得的两个特征集(二维空间熵和频谱熵)进行升序排序，从而产生有序集S和F：

S＝(se₁,se₂,...,se_m)

F＝(fe₁,fe₂,...,fe_m)

公式中se_i是局部空间熵，fe_i是局部频谱熵，m是每个尺度内的局部图像块的数目。

池化的方法是百分位数池，从产生的有序集S中提取60％的中心元素，得到：

从产生的有序集F中提取60％的中心元素，得到：

选取集合S_C和F_C的平均值及S和F的偏度值作为图像质量评价的最终特征，即：

f＝(mean(Sc),skew(S),mean(Fc),skew(F)) 。

5.根据权利要求4所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤51)计算图像振铃效应分数Q_r具体为：

对于去运动模糊图像，首先通过获取输入图像的对数谱，在对数谱域中提取图像的谱残差，然后将谱残差变换到空间域，构造显著性图，并将其调整到与差分图相同的大小。然后，一个分辨率级别的振铃得分计算为：

其中D＝{D_ij}，i∈{1,2,...,M}，j∈{1,2,...,N}是差分图，W＝{W_ij}是视觉显著性图。最终，通过将所有分辨率级别的分数相加得到整体振铃分数：

。

6.根据权利要求5所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤52)计算图像残留模糊分数Q_b具体为：

对于去运动模糊图像，首先使用高斯低通滤波器对其进行再模糊处理：

其中x和y是坐标位置，σ是高斯核的标准差。将高斯滤波器的大小设置为3*3，标准差σ设置为5。

计算去运动模糊图像及其再模糊图像之间的梯度、对比度和结构相似性，以评估去运动模糊图像中的残余模糊：

其中G_d和G_r分别表示去运动模糊图像及其再模糊图像的梯度图像；c_i,i∈{1,2,3}是确保数值稳定性的小常数。然后质量分数定义为：

式中，μ是取平均值运算。为了考虑图像分辨率和视距对图像质量的影响，还计算了对去运动模糊图像进行2倍率下采样后的质量分数Q₁。最后，残余模糊分数定义为：

Q_b＝θ₀Q₀+θ₁Q₁

其中，两个参数设置θ₀＝0.1和θ₁＝0.9用于平衡不同分辨率水平相对重要性。

7.根据权利要求6所述的基于信息熵的图像质量评价方法，其特征在于：

所述步骤53)计算图像噪声分数Q_n具体为：

对于图像I，加噪声后变为I′，其峰度值可以表示为：

其中α是广义高斯分布的形状参数，k_I和k_I′分别是I和I′的峰度值，σ_I和σ_n分别是图像I和噪声n的方差，之后可以通过最小化操作来估计I′的噪声等级

其中和是由图像I′通过每个N*N大小的DCT的滤波响应得到的。

现有的噪声估计方法大多应用于彩色图像的灰度尺度上。然而彩色图像到灰度图像的转换是有损的，这可能导致不准确的噪声估计。为了准确估计噪声，本文对去运动模糊图像的RGB三个通道进行噪声估计，然后将去运动模糊图像的噪声得分定义为：

其中σ_i,{i∈R,G,B}表示去运动模糊图像的RGB通道估计的噪声标准差。