CN104881878B - 一种基于多尺度梯度差分熵的图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于多尺度梯度差分熵的图像质量评价方法，包括如下步骤：步骤1，将原始图像和失真图像均转换成灰度图像；步骤2，基于步骤1的结果，计算不同尺度空间内的梯度差分熵，并将不同尺度空间内的梯度差分熵进行加权平均；步骤3，计算原始图像和失真图像对应的灰度图像均值的比值；步骤4，计算原始图像和失真图像对应的灰度图像方差的比值；步骤5，基于步骤2，步骤3和步骤4的结果，进行综合评价。本发明引入尺度空间的基本思想，基于人在不同距离下目标在视网膜上的形成过程，通过提取尺度空间下的轮廓特征，并通过熵来反映原始图像和失真图像在尺度空间下轮廓特征的差异，与主观评价结果具有较好的一致性。

Description

一种基于多尺度梯度差分熵的图像质量评价方法

技术领域

本发明属于图像质量评价技术领域，涉及一种全参考图像质量评价方法，具体涉及一种基于多尺度梯度差分熵的图像质量评价方法，适用于图像编码质量评价中。

背景技术

据统计，人类接收到的70％信息来自于视觉。观察图像是人类认识世界的有效途径。尤其是随着互联网技术的快速发展，图像给本发明日常生活带来了巨大的变化，并在医疗、新闻、娱乐等多个领域占据着重要地位。而在图像获取、处理及传输的过程中，图像质量不可避免的会受到影响，出现失真(模糊失真、噪声失真、编码失真等)，从而无法达到应用的要求。因此，如何评价图像质量的好坏是非常重要的。

常用的图像质量评价方法包括主观图像质量评价方法和客观图像质量评价方法。主观图像质量评价方法主要是以人的主观感受为主，具体方法是采用专门的观察人员，根据事先制定的准则对一组图像进行判断，最后对评判结果进行加权求和得出最终的评价结果。主观评价方法耗时长，成本高，容易受到人的情绪、自身条件等因素的影响，因此，目前应用较为广泛的是客观图像质量评价方法。

客观图像质量评价方法包括全参考图像质量评价方法、部分参考图像质量评价方法和无参考图像质量评价方法。全参考图像质量评价方法对原始图像和失真图像之间的差异性进行判断，可以取得较好的评价效果。常用的全参考图像质量评价方法包括峰值信噪比(Peak Signal Noise Ratio，PSNR)、结构相似度(Structural SIMilarity，SSIM)，视觉信噪比(Visual Signal-to-Noise Ratio,VSNR)、信息保真度(Visual InformationFidelity，VIF)等。不同的质量评价方法适用于不同失真类型图像的质量评价中。

客观图像质量评价方法是否有效的依据是看其客观评价值与人类主观观测意见的一致性。该一致性可以通过相关系数的大小来表示，分别是：Spearman相关系数(Spearman Rank-order Correlation Coefficient，SROCC)，Kendall相关系数(KendallRank-order Correlation Coefficient，KROCC)，Pearson相关系数(Pearson LinearCorrelation Coefficient，CC)。

客观图像质量评价方法的优点是速度快、费用低、应用广泛，不受主观因素的影响。不足之处在于其只能在某些方面有限度的模仿人眼的主观视觉特性，常常会出现与主观评价结果不一致的情况，不同的评价方法适用于不同的应用领域，难以建立适用于任何领域的评价方法。

发明内容

本发明针对现有技术的不足，提供一种基于多尺度梯度差分熵的图像质量评价方法。

本发明所采用的技术方案是：一种基于多尺度梯度差分熵的图像质量评价方法，其特征在于，包括以下步骤：

步骤1：将原始图像和失真图像均转换成灰度图像；

步骤2：基于步骤1的结果，计算不同尺度空间内的梯度差分熵，并将不同尺度空间内的梯度差分熵进行加权平均；

步骤3：计算原始图像和失真图像对应的灰度图像均值的比值；

步骤4：计算原始图像和失真图像对应的灰度图像方差的比值；

步骤5：基于步骤2、步骤3和步骤4的结果，进行综合评价。

作为优选，步骤2的具体实现包括以下子步骤：

步骤2.1：基于步骤1的结果，构建不同尺度空间；高斯卷积核是尺度变换的唯一线性核，原始图像和失真图像的尺度空间分别通过对应的灰度图像与高斯卷积核进行卷积获得，不同的尺度由δ参数来确定；

步骤2.2：对不同尺度下的原始图像和失真图像通过下采样的方式生成不同采样间隔的图像；

步骤2.3：计算不同尺度及采样间隔下的原始图像和失真图像的梯度大小，并进行差分运算；

步骤2.4：基于步骤2.3的结果，进行量化及绝对值运算；

步骤2.5：基于步骤2.4的结果，计算熵；

步骤2.6：基于步骤2.5的结果，将不同尺度不同采样间隔下的熵进行加权平均。

作为优选，步骤3的具体实现包括以下子步骤：

步骤3.1：计算原始图像对应的灰度图像均值；

步骤3.2：计算失真图像对应的灰度图像均值；

步骤3.3：基于步骤3.2和步骤3.1的结果，计算两者的比值。

作为优选，步骤4的具体实现包括以下子步骤：

步骤4.1：计算原始图像对应的方差；

步骤4.2：计算失真图像对应的方差；

步骤4.3：基于步骤4.1和步骤4.2的结果，计算两者的比值。

本专利中主要针对图像编码质量评价的应用需求，从人眼观测特性出发，引入了SIFT(Scale Invariant Feature Transform，SIFT)算法中的尺度空间的概念，通过提取尺度空间下的轮廓特征差异，建立一种与人的主观感受较为吻合的图像质量评价方法。

本发明引入尺度空间的基本思想，尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在不同距离下目标在视网膜上的形成过程，因此通过提取尺度空间下的轮廓特征，并通过熵来反映原始图像和失真图像在尺度空间下轮廓特征的差异，与主观评价结果具有较好的一致性。

附图说明

图1：是本发明实施例的流程图。

图2：是本发明实施例1的原始图像。

图3：是本发明实施例1的失真图像。

图4：是本发明实施例1的采样方法示意图。

图5：是本发明实施例1的高斯金字塔示意图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2和图3，图2是原始图像，图3是失真图像，图像空间分辨率为512*512，本实施例1提供的一种基于多尺度梯度差分熵的图像质量评价方法，包括以下步骤：

步骤1：将原始图像和失真图像均转换成灰度图像；

转换方法如下：

I(x,y)＝0.2989*R(x,y)+0.5870*G(x,y)+0.1140*B(x,y)；

I(x,y)代表了转换后的灰度图像在空间坐标(x,y)处对应的像素大小，R(x,y)、G(x,y)和B(x,y)分别代表原始图像(失真图像)在空间坐标(x,y)处对应的R、G和B分量大小。

步骤2：基于步骤1的结果，计算不同尺度空间内的梯度差分熵，并将不同尺度空间内的梯度差分熵进行加权平均；

本步骤进一步包括子步骤：

步骤2.1：基于步骤1的结果，构建不同尺度空间；高斯卷积核是尺度变换的唯一线性核，原始图像和失真图像的尺度空间可以分别通过对应的灰度图像与高斯卷积核进行卷积获得，不同的尺度由δ参数来确定。

G(x,y,δ)高斯卷积核的定义如下：

卷积方法定义如下：

L(x,y,δ)＝G(x,y,δ)*I(x,y)；

在卷积运算时，需要确定卷积运算的窗口大小，在本实施例中，窗口大小为3*3。尺度参数δ分别为1，1.5，2，2.5。调整δ，本发明可以获得4个不同的高斯卷积核，分别为：

通过上述4个高斯卷积核，可以获得4幅不同尺度空间的原始图像和4幅不同尺度空间的失真图像。

步骤2.2：下采样采用隔点采样的方式，在本实施例中，采样间隔分为设置为3、4、5、6、7、8、9、10。采样方法如下：假设采样间隔为T，也就是说在原图的水平方向和垂直方向每隔T取一个像素，将所有取得的像素按照行和列的顺序依次排列后获得下采样后的图像，采样间隔为4时的采样方法示意图如图4所示。通过步骤2.1和步骤2.2，可以构建原始图像和失真图像的高斯金字塔，其示意图如图5所示，每个高斯金字塔共包含4*8＝32幅图像。

步骤2.3：计算不同尺度及采样间隔下的原始图像和失真图像的梯度大小，并进行差分运算。

梯度大小Ga(x,y)计算公式如下：

Gax(x,y)＝Img(x+1,y)-Img(x,y)

Gay(x,y)＝Img(x,y+1)-Img(x,y)

其中，Img(x,y)代表不同尺度及采样间隔下的图像在空间坐标为(x,y)处的像素灰度大小。

差分运算的计算方法如下：

Diresult(x,y)＝GaOriginal(x,y)-GaDistortion(x,y)；

GaOriginal(x,y)代表不同尺度及采样间隔下的原始图像对应的梯度大小，GaDistortion(x,y)代表不同尺度及采样间隔下的失真图像对应的梯度大小。

步骤2.4：基于步骤2.3的结果，进行量化及绝对值运算。

考虑到人眼分辨率的有限性，本发明仅仅考虑差异达到一定数值的梯度带来的影响，因此，本发明首先对梯度大小的差异进行量化取整，在此实施例中，量化因子设为8。进一步忽略梯度差异的符号，对上述结果取其绝对值。其计算方法如下：

Diresult(x,y)＝abs(round(Diresult(x,y)/8))；

abs(·)代表绝对值运算，round(·)代表取整运算。

步骤2.5：基于步骤2.4的结果，计算熵。

熵的计算方法如下：

Entropy＝-p_ilog₂p_i；

p_i代表不同数值在Diresult中出现的概率。

步骤2.6：基于步骤2.5的结果，将不同尺度及采样间隔下的熵进行加权平均。

在本实施例中，不同尺度及采样间隔下对应的熵分别如表1所示：

表1 不同尺度及采样间隔下对应的熵

对上述结果进行加权平均后的结果为0.2393。

步骤3：计算原始图像和失真图像对应的灰度图像均值的比值；

本步骤进一步包括子步骤：

步骤3.1：计算原始图像对应的灰度图像均值；

在本实施例中，原始图像对应的灰度图像均值为131.03。

步骤3.2：计算失真图像对应的灰度图像均值；

在本实施例中，失真图像对应的灰度图像均值为131.08。

步骤3.3：基于步骤3.2和步骤3.1的结果，计算两者的比值。

在本实施例中，两者的比值为0.9996.

步骤4：计算原始图像和失真图像对应的灰度图像方差的比值；

本步骤进一步包括子步骤：

步骤4.1：计算原始图像对应的方差；

在本实施例中，原始图像对应的灰度图像方差为52.2336。

步骤4.2：计算失真图像对应的方差；

在本实施例中，失真图像对应的灰度图像方差为51.6626。

步骤4.3：基于步骤4.1和步骤4.2的结果，计算两者的比值。

在本实施例中，两者的比值为1.0111。

步骤5：基于步骤2、步骤3和步骤4的结果，进行综合评价。

综合评价方法为三者相乘取负号，其结果为-0.2393*0.9996*1.0111＝-0.2419。

本实施例2采用国际通用CSIQ图像质量评价数据(Most apparent distortion:full-reference image quality assessment and the role of strategy,Journal ofElectronic Imaging)，它由30张无失真参考图像和866张失真图像组成，图像质量采用差分平均主观分DMOS组成。这里本发明主要测量了JPEG压缩失真、JPEG2000压缩失真、加性高斯白噪声和模糊失真四种类型。采用三种评价指标来评价不同图像质量评价算法的性能：斯皮尔曼相关系数(Spearman rank order correlation coefficient，SROCC)，坎德尔相关系数(Kendall rank order correlation coefficient，KROCC)和皮尔森相关系数(Pearson correlation coefficient)。相关系数的数值越大，代表相关性越强。为了进行对比，本发明也对目前应用较为广泛的SSIM评价指标进行了实验。相关实验结果如表2和表3所示。对比表2和表3可以发现，本方法与主观评价方法的相关性在JPEG压缩失真、JPEG2000压缩失真及模糊失真时均强于SSIM评价指标。因此，本发明可以得出如下结论：本方法与主观评价方法具有较强的一致性，可以被广泛应用于各种图像质量评价系统中，尤其是视频/图像编码质量评价等应用场合。

表2 本文评价方法与主观评价方法的相关性

表3 SSIM与主观评价方法的相关性

本发明引入尺度空间的基本思想，尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在不同距离下目标在视网膜上的形成过程，因此与主观评测过程具有相似性。本发明通过提取不同尺度和不同分辨率下原始图像和失真图像梯度差分熵的信息，通过其对图像的失真程度进行评测，达到了较好的评价效果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于多尺度梯度差分熵的图像质量评价方法，其特征在于，包括以下步骤：

步骤1：将原始图像和失真图像均转换成灰度图像；

步骤2：基于步骤1的结果，计算不同尺度空间内的梯度差分熵，并将不同尺度空间内的梯度差分熵进行加权平均；

具体实现包括以下子步骤：

步骤2.1：基于步骤1的结果，构建不同尺度空间；高斯卷积核是尺度变换的唯一线性核，原始图像和失真图像的尺度空间可以分别通过对应的灰度图像与高斯卷积核进行卷积获得，不同的尺度由δ参数来确定；

G(x,y,δ)高斯卷积核的定义如下：

$G(x,y,\mathrm{\δ})=\frac{1}{2{\mathrm{\π\δ}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\δ}}^2};$

卷积方法定义如下：

L(x,y,δ)＝G(x,y,δ)*I(x,y)；

步骤2.2：对不同尺度下的原始图像和失真图像通过下采样的方式生成不同采样间隔的图像；

采样方法如下：假设采样间隔为T，也就是说在原图的水平方向和垂直方向每隔T取一个像素，将所有取得的像素按照行和列的顺序依次排列后获得下采样后的图像；

步骤2.3：计算不同尺度及采样间隔下的原始图像和失真图像的梯度大小，并进行差分运算；

梯度大小Ga(x,y)计算公式如下：

Gax(x,y)＝Img(x+1,y)-Img(x,y)

Gay(x,y)＝Img(x,y+1)-Img(x,y)

$Ga(x,y)=\sqrt{Gax{(x,y)}^2+Gay{(x,y)}^2};$

其中，Img(x,y)代表不同尺度及采样间隔下的图像在空间坐标为(x,y)处的像素灰度大小；

差分运算的计算方法如下：

Diresult(x,y)＝GaOriginal(x,y)-GaDistortion(x,y)；

GaOriginal(x,y)代表不同尺度及采样间隔下的原始图像对应的梯度大小，GaDistortion(x,y)代表不同尺度及采样间隔下的失真图像对应的梯度大小；

步骤2.4：基于步骤2.3的结果，进行量化及绝对值运算；

首先对梯度大小的差异进行量化取整，进一步忽略梯度差异的符号，对上述结果取其绝对值；其计算方法如下：

Diresult(x,y)＝abs(round(Diresult(x,y)/8))；

abs(·)代表绝对值运算，round(·)代表取整运算；

步骤2.5：基于步骤2.4的结果，计算熵；

熵的计算方法如下：

Entropy＝-p_ilog₂p_i；

p_i代表不同数值在Diresult中出现的概率；

步骤2.6：基于步骤2.5的结果，将不同尺度及采样间隔下的熵进行加权平均；

步骤3：计算原始图像和失真图像对应的灰度图像均值的比值；

步骤4：计算原始图像和失真图像对应的灰度图像方差的比值；

步骤5：基于步骤2、步骤3和步骤4的结果，进行综合评价。

2.根据权利要求1所述的基于多尺度梯度差分熵的图像质量评价方法，其特征在于：步骤3的具体实现包括以下子步骤：

步骤3.1：计算原始图像对应的灰度图像均值；

步骤3.2：计算失真图像对应的灰度图像均值；

步骤3.3：基于步骤3.2和步骤3.1的结果，计算两者的比值。

3.根据权利要求1所述的基于多尺度梯度差分熵的图像质量评价方法，其特征在于：步骤4的具体实现包括以下子步骤：

步骤4.1：计算原始图像对应的方差；

步骤4.2：计算失真图像对应的方差；

步骤4.3：基于步骤4.1和步骤4.2的结果，计算两者的比值。