CN106920232A - 基于显著性检测的梯度相似度图像质量评价方法及系统 - Google Patents

Abstract

本发明提供一种基于显著性检测的梯度相似度图像质量评价方法及系统，包括将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；其次，在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；最后，联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，获得图像质量评价结果。本发明采用显著性检测的梯度结构相似性对图像质量进行评价，与峰值信噪比和简单的结构相似性算法相比，该方法的评价效果更好，其评价结果与主观评价结果的相关性更大、误差更小，尤其在评价严重失真图像时效果更优。

Description

基于显著性检测的梯度相似度图像质量评价方法及系统

技术领域

本发明涉及一种图像质量评价技术方案，特别是涉及一种基于显著性检测的梯度相似度图像质量评价技术方案，属于图像处理领域。

背景技术

作为信息表达与交流的工具，数字图像获得了广泛的运用。然而，数字图像在采集、压缩、传输、处理、重建过程中难免引入噪声，造成图像的失真。对于图像的采集、管理、传输和处理系统来说，能够识别和量化图像质量等级就显得非常重要。首先，它可以用于监控质量控制系统的图像质量。第二，它可以用于在图像处理应用中使用的基准系统。第三，它可以嵌入到图像处理系统中以优化算法和参数设置。因此，如何准确评价图像质量成为数字图像处理领域的一个重要课题。

图像质量评价(IQA)一般可分为主观评价方法和客观评价方法^[1][2]。主观评价方法最终观测者为人，因而评价最为准确。然而该方法不仅繁琐、耗时和不可移植，且易受观测者的个人因素影响，很难用于实际的工程实践。相对主观评价方法，客观评价的研究目的是设计计算模型，使该种算法的评价分数和人类主观评价方法尽可能吻合，从而达到有效预测和感知图像质量的目的^[3][4]。评估方法应该完全遵循人类视觉系统(HVS)所做的主观判断的表现。根据所提供原始图像的有无，客观评价方法可分为：全参考方法、部分参考方法、无参考方法。

传统的全参考评价方法如均方误差(MSE)及峰值信噪比(PSNR)等，由于其容易实现，而且物理意义明确，应用比较广泛。但是因为其只考虑了像素之间的灰度差异，而没有利用图像任何的结构信息和像素之间的相关性，不能很好地反映人眼对图像的主观感知。

随着人们对人眼视觉系统(Human Visual System，HVS)认识的深入，研究者开始利用HVS的某些特性^[2]来设计图像质量评价方法。一种是针对HVS的各种特性构建视觉模型，通过自底向上(Bottom-up)的方法来模拟人的视觉，其中典型的方法有NQM^[3]和VSNR^[4]。由于人眼的视觉特性比较复杂，很难从底层对其进行模拟，人们又提出了自顶向下(Top-down)的方法，只考虑HVS的输入与输出之间的关系，对人眼视觉特性进行建模，根据HVS对图像的感知得到图像质量测度。典型的方法有Zhou Wang等人提出SSIM^[5]模型以及其改进MS-SSIM(多尺度结构相似性)^[6]和IW-SSIM^[7]，Sheikh等提出的IFC^[8]和VIF(视觉信息保真度)^[9]，Lin Zhang等提出的RFSIM^[10]和FSIM^[11]及A.Shnayderman^[12]等提出的基于SVD分解的方法，Guanhao Chen等人^[13]提出了基于边缘信息的结构相似度图像质量评价方法GSSIM。实验结果证明这些方法优于MSE和PSNR，但是同样暴露出许多问题：对于严重模糊的图像，SSIM的评价结果会出现较大偏差，主要是由于其对结构信息的建模过于简单；GSSIM模型在表现上相对于PSNR和SSIM模型有一定的改善，但是其利用的边缘信息未能充分表达图像的结构，没有考虑图像中的显著性区域等重要特征。

面对一个场景时，人类自动地对感兴趣区域进行处理而选择性地忽略不感兴趣区域，这些人们感兴趣区域被称之为显著性区域。人类视觉注意机制有两种策略，即采用自底向上策略注意机制和采用自顶向下策略注意机制。自底向上的视觉注意机制是基于刺激的、与任务无关的。自顶向下的视觉注意机制是基于任务的，受意识支配。图像显著性检测在图像处理相关领域有非常广泛的应用，例如：图像编辑、基于内容的图像缩放、自动聚焦以及图像智能压缩等，应用较为广泛。当前显著性检测的方法有很多，每种方法遵循的视觉显著性规律不同，使用的图像特征不同，对特征的处理方式也不同，所得到的显著图也都有自己的特点。显著性检测是物体检测的关键阶段，也应在IQA中考虑。

因此，将结构信息理解为梯度幅度和梯度方向的联合，同时根据视觉注意机制中的显著性检测，提出了一种基于显著性检测的梯度相似度图像质量评价方法，显得十分有意义。

相关参考文献如下：

[1]Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image qualityassessment:from error visibility to structural similarity,”IEEE Transactionson Image Processing,vol.13,no.4,pp.600-612,2004.

[2]Z.Wang and A.C.Bovik,Modern image quality assessment,San Rafael:Morgan&Claypool,2006.

[3]Hyung-ju Park,Dong-hwan Har,“Subjective image quality assessmentbased on objective image quality measurement factors”,IEEE Transactions onConsumer Electronics,vol.57,no.3,pp.1176-1184,2011.

[4]M.Cheon,J.–S.Lee,“On ambiguity of objective image qualityassessment”,Electronics Letters,vol.52,no.1,pp.34-35,2015.

[5]S.H.Bas,M.Kim,“A novel image quality assessment with globally andlocally consilient visual quality perception”,IEEE Transactions on ImageProcessing,vol.25,no.5,pp.2392-2406,2016.

[6]Y.Ding,S.Z.Wang,D.Zang,“Full-Reference image quality assessmentusing statistical local correlation”,Electronics Letters,vol.50,no.2,pp.79-81,2014.

[7]Peng Ye,David Doermann,“No-Reference image quality assessmentusing visual codebooks”,IEEE Transactions on Image Processing,vol.21,no.7,pp.3129-3138,2012.

[8]R.Fang,R.A.Bayaty,D.P.Wu,“BNB method for no-reference imagequality assessment”,IEEE Transactions on Circuits and Systems for VideoTechnology,vol.PP,no.99,pp.1,2016.

[9]A.K.Moorthy,A.C.Bovik,“Blind image quality assessment:from naturalscene statistics to perceptual quality”,IEEE Transactions on ImageProcessing,vol.20,no.12,pp.3350-3364,2011.

[10]JinJian Wu,Weisi Lin,Guangming Shi,Anmin Liu,“Reduced-Referenceimage quality assessment with visual Information fidelity”,IEEE Transactionson Multimedia,vol.15,no.7,pp.1700-1705,2013.

[11]Rushikesh Borse,Prerana Markad,“Competitive analysis of existingimage quality assessment methods”,Advances in Computing,Communications andInformatics,pp.1440-1444,New Delhim 2014.

[12]H.R.Sheikh,M.F.Sabir,A.C.Bovik,“A statistical evaluation ofrecent full reference image quality assessment algorithms”,IEEE Transactionson Image Processing,vol.15,no.11,pp.3440-3451,2006.

[13]Z.Wang，A.C.Bovik，H.R.Sheik.“A universal image quality index”,IEEESignal Processing Letters,vol.9,no.3,pp.81-84,2002.

发明内容

本发明的目的在于解决当前图像质量评价方法对严重失真图像的评价不准确问题，在根据视觉注意机制中的显著性检测的情况下，提供一种基于显著性检测的梯度相似度图像质量评价方法及系统。

为了达到上述目的，本发明提供的技术方案是：一种基于显著性检测的梯度相似度图像质量评价方法，包括将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；其次，在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；最后，联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，获得图像质量评价结果；

所述定义边缘结构信息和梯度相似度包括以下步骤，

Step1.1，针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对通过参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况；

Step1.2，针对参考图像和待测图像，分别利用Scharr算子，来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅度G，计算公式如下，

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示，这里的Image是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G；

图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，梯度幅度相似度的定义如下，

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数；

Step1.3，针对参考图像和待测图像，利用梯度方向描述图像的边缘方向得，

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度。

假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)：

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角，

建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度，C₂为预设的正常数；

所述在检测边缘的基础上由显著性检测构建显著性矩阵包括以下步骤：

Step2.1，将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)。

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)；

Step2.2，将振幅谱变换为对数谱，然后计算残余谱，残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似，

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器，是由下式定义的n×n矩阵，

Step2.3，利用残余谱和相位谱通过逆傅里叶变换得到显著图，

VS(x)＝g(x)*F^-1[exp(R(f)+iP(f))]² (12)

其中，i指的是虚数单位，g(x)为高斯平滑滤波器；

所述联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，实现方式如下，

联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)，

GMD(x,y)＝GM(x,y)GD(x,y) (13)

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)：

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，VS(x)为参考图像x的显著图，由公式(12)得到。

而且，所述联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法中还包括算法优化，从而获得快速VSGS算法，实现方式如下，

分别截取参考图像和待测图像的中间部分x′、y′用于快速傅里叶变换，并省略所述公式(12)里的高斯平滑滤波器，得到，

VS′(x′)＝F^-1[exp(R(f)+iP(f))]² (15)

最后，快速VSGS算法可以被表达为，

fVSGS(x′,y′)＝GMD(x′,y′)*VS′(x′)

＝GM(x′,y′)GD(x′,y′)*VS′(x′) (16)

其中，GM(x′,y′)由公式(3)得到，GD(x′,y′)由公式(5)得到，VS′(x′)由公式15得到。

本发明提供一种基于显著性检测的梯度相似度图像质量评价系统，包括以下模块，将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；联合梯度相似度和显著性检测进行评价，从而得到基于显著性检测的梯度相似度图像质量评价结果，

第一模块，用于定义边缘结构信息和梯度相似度，包括以下子模块，

第一子模块，用于针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对通过参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况；

第二子模块，用于针对参考图像和待测图像，分别利用Scharr算子来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅值G，计算公式如下，

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示，这里的Image就是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G，

图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，梯度幅度相似度的定义如下，

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数；

第三子模块，针对参考图像和待测图像，利用梯度方向描述图像的边缘方向得，

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度，

假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)，

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角，

建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度，C₂为预设的正常数；

第二模块，用于在检测边缘的基础上由显著性检测构建显著性矩阵，包括以下单元，

第一单元，用于将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)，

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)，

第二单元，用于将振幅谱变换为对数谱，然后计算残余谱，残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似，

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器，是由下式定义的n×n矩阵，

第三单元，用于利用残余谱和相位谱通过逆傅里叶变换得到显著图，

VS(x)＝g(x)*F^-1[exp(R(f)+iP(f))]² (12)

其中，i指的是虚数单位，g(x)为高斯平滑滤波器，

第三模块，用于联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法(VSGS)，实现方式如下，

联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)，

GMD(x,y)＝GM(x,y)GD(x,y) (13)

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)，

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，VS(x)为参考图像x的显著图，由公式(12)得到。

与现有技术相比，本发明的有益效果：

本发明在SSIM的基础上，对结构信息做出了新的定义，将其理解为梯度幅度和梯度方向的联合，同时根据视觉注意机制中的显著性检测，提出了一种基于显著性检测的梯度相似度图像质量评价方法(VSGS)。本发明采用显著性检测的梯度结构相似性对图像质量进行评价，与峰值信噪比和简单的结构相似性算法相比，该方法的评价效果更好，其评价结果与主观评价结果的相关性更大、误差更小，尤其在评价严重失真图像时效果更优。对于所有失真类型的预测效果，尤其对于图像高度失真的情况下，VSGS显著比SSIM优越。并且VSGS的效率仅次于PSNR，高于SSIM和大多数其他算法。

附图说明

图1为本发明实施例的结构图；

图2为C₁，C₂最优值的确定；

图3为LIVE数据库中不同IQA算法的评估散点图；

图4为17个IQA模型的gMAD竞争排名结果图。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步说明。

如图1，实施例所提供一种基于显著性检测的梯度相似度图像质量评价方法的实现包含以下处理过程：首先，将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；其次，在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；最后，联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法(VSGS)，获得图像质量评价结果。

所述定义边缘结构信息和梯度相似度包括以下步骤：

Step1.1，针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况。

Step1.2，针对参考图像和待测图像，由于边缘强度是边缘结构信息中一个十分重要的部分，而梯度的幅度正可以反映该点的边缘强度，因此，将参考图像和待测图像之间梯度幅度的差异作为评估图像边缘失真的一个因素。分别利用能更好的体现图像边缘梯度幅度失真程度的Scharr算子，来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅度G，计算公式如(1)、(2)所示。

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示。照片是一个个像素的集合，在视频没有经过不正确的/有损的压缩或相机镜头合适的前提下，单位面积内的像素越多代表分辨率越高，所显示的视频就会接近于真实物体。因此这里的Image就是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G。

那么，图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，即梯度幅度相似度的定义式见公式(3)：

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数，通常取一个相对较小的常数。

Step1.3，针对参考图像和待测图像，在确定每个像素点的边缘方向后，便可得到整张图像的边缘方向图，那么就可以通过比较参考图像和待测图像的边缘方向图的变化情况确定待测图像的方向失真度量。注意到图像像素点的边缘方向在所有情况下始终与其梯度方向相垂直，那么利用梯度方向描述图像的边缘方向，得：

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度。

在确定了每个像素点的边缘方向以后，就可以通过计算参考图像和待测图像在该像素点的边缘方向差确定该点的方向变化情况。假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)：

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角。显然，当Δθ_i,j＝π/2时，表明方向失真最为严重；当Δθ_i,j＝0或π时，则表明方向没有发生改变。

那么，可以根据公式(4)(5)建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，即：

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度。C₂为预设的正常数，通常取一个相对较小的常数。

从对梯度方向失真的表达式GD_i,j分析可知，方向失真的决定式满足对称性，其取值范围为(0,1]，取值越小，则表明方向失真越严重。当且仅当时，方向失真函数取得最大值1，表明待测图像相对于参考图像的方向没有发生改变，无失真。

所述在检测边缘的基础上由显著性检测构建显著性矩阵包括以下步骤：

Step2.1，将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)。

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)。

Step2.2，将振幅谱变换为对数谱，然后计算残余谱。残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似：

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器(现有技术)，是由下式定义的n×n矩阵，通常情况下n＝3：

Step2.3，利用残余谱和相位谱通过逆傅里叶变换得到显著图：

VS(x)＝g(x)*F^-1[exp(R(f)+iP(f))]² (12)

其中，i指的是虚数单位，g(x)为高斯平滑滤波器(现有技术)，可以使显著图视觉效果更好。

所述联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，实现方式如下：

Step3.1，联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)(Gradient Similarity Map，GMD)：

GMD(x,y)＝GM(x,y)GD(x,y) (13)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)：

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

Step3.2，算法优化：引入快速傅里叶变换FFT(算法时间复杂度O(N*log2N))的思想，借助MATLAB工具里的nextpow2函数，截取图像中间部分(每幅图像都是一个二维矩阵，图像的中间部分就是只取每个二维矩阵的中间部分，记为x′、y′)用于快速傅里叶变换；另外，由于真正目的是得到IQA metric，而不是视觉显著性图，所以可以省略公式(12)里的高斯平滑滤波，进一步节省算法运行时间；于是，公式(12)变为：

VS′(x′)＝F^-1[exp(R(f)+iP(f))]² (15)

最后，快速VSGS算法可以被表达为：

fVSGS(x′,y′)＝GMD(x′,y′)*VS′(x′)

＝GM(x′,y′)GD(x′,y′)*VS′(x′) (16)

其中，GM(x′,y′)由公式(3)得到，GD(x′,y′)由公式(5)得到，VS′(x′)由公式(15)得到。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明提供一种基于显著性检测的梯度相似度图像质量评价系统，包括以下模块，将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；联合梯度相似度和显著性检测进行评价，从而得到基于显著性检测的梯度相似度图像质量评价结果。

第一模块，用于定义边缘结构信息和梯度相似度，包括以下子模块：

第一子模块，用于针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况。

第二子模块，用于针对参考图像和待测图像，分别利用Scharr算子来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅值G，计算公式如(1)、(2)所示：

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示。照片是一个个像素的集合，在视频没有经过不正确的/有损的压缩或相机镜头合适的前提下，单位面积内的像素越多代表分辨率越高，所显示的视频就会接近于真实物体。因此这里的Image就是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G。

那么，图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，即梯度幅度相似度的定义式见公式(3)：

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数，通常取一个相对较小的常数。

第三子模块，针对参考图像和待测图像，利用梯度方向描述图像的边缘方向，得：

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度。

在确定了每个像素点的边缘方向以后，就可以通过计算参考图像和待测图像在该像素点的边缘方向差确定该点的方向变化情况。假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)：

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角。显然，当Δθ_i,j＝π/2时，表明方向失真最为严重；当Δθ_i,j＝0或π时，则表明方向没有发生改变。

那么，可以根据公式(4)(5)建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，即：

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度。C₂为预设的正常数，通常取一个相对较小的常数。

从对梯度方向失真的表达式GD_i,j分析可知，方向失真的决定式满足对称性，其取值范围为(0,1]，取值越小，则表明方向失真越严重。当且仅当时，方向失真函数取得最大值1，表明待测图像相对于参考图像的方向没有发生改变，无失真。

第二模块，用于在检测边缘的基础上由显著性检测构建显著性矩阵，包括以下单元：

第一单元，用于将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)。

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)。

第二单元，用于将振幅谱变换为对数谱，然后计算残余谱，残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似：

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器(现有技术)，是由下式定义的n×n矩阵，通常情况下n＝3：

第三单元，用于利用残余谱和相位谱通过逆傅里叶变换得到显著图：

VS(x)＝g(x)*F^-1[exp(R(f)+iP(f))]² (12)

其中，i指的是虚数单位，g(x)为高斯平滑滤波器(现有技术)，可以使显著图视觉效果更好。

第三模块，用于联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法(VSGS)，实现方式如下：

联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)：

GMD(x,y)＝GM(x,y)GD(x,y) (13)

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)：

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，VS(x)为参考图像x的显著图，由公式(12)得到。

各模块具体实现可参见相应步骤，本发明不予赘述。

本发明的优点可以通过以下实验具体说明：

1.实验数据库

通过使用三个图像数据库LIVE，CSIQ和CCID2014来评估所提出的算法的性能。LIVE数据库包含29个高分辨率图像和779个失真图像。并且失真类型包括JPEG2000、JPEG压缩、白噪声、高斯模糊、瑞利衰落等。在该数据库中还提供每个图像的降级平均意见分数(degradation mean opinion scores，DMOS)，并且较小的DMOS值表示较好的图像质量。CSIQ数据库包含30个参考图像，每个参考图像具有6种失真类型，并且每种失真有4-5种不同程度。CCID2014数据库包含由伽马传递、凸凹弧、立方与逻辑函数，平均移位和复合函数产生的5种类型的655个对比度失真图像。

在自然界中的图像不计其数，对这三个数据库的实验还不够。为了以更客观和公平的方式测试算法，需要在Waterloo Exploration数据库中运行一个新的机制，即gMAD(group MAximum Differentiation)竞争。Waterloo Exploration数据库包含4744张原始自然图像和94880张失真的图像。并且gMAD竞争可以自动地从数据库中选择图像对的子集，其提供最强的测试以使IQA模型彼此竞争。对所选子集的主观测试揭示了IQA模型的相对性能，并为改进它们的潜在方法提供了有用的见解。

使用参数非线性逻辑回归函数拟合数据。最后，我们使用四个相应的指数来客观地比较客观评估算法的效果：Pearson线性相关系数(PLCC)，均方根误差(RMSE)，Kendall秩序相关系数(KROCC)和Spearman秩相关系数SROCC)。

其中x是客观IQA分数，f(x)是IQA回归拟合分数，β₁，β₂，β₃，β₄和β₅是回归函数参数。

2.参数的确定

所提出的VSGS算法中的参数是相对较小的常数C₁和C₂。C₁和C₂除了规避GM和GD的定义式出现奇异现象外，也在调节低梯度区域中的对比响应中起到重要作用。为了确定C₁和C₂的最优取值，我们使用评价指数SROCC来找到不同参数的分类性能。令[C₁，C₂]＝[(K₁*L)，(K₂*L)2]，L＝255，然后我们首先假设K₁是固定的，然后当K₂不同时将VSGS应用于三个数据库。我们可以从图3中看出，当K₂＝0.01时，性能很好，所以我们设置K₂＝0.01和K₁＝0.02。当确定K₂时，对应于不同的不同数据库，VSGS对K₁值的变化不敏感。C₁，C₂最优值的确定为图2所示。

3.性能比较

表1列出了VSGS算法在LIVE、CSIQ和CCID2014三个数据库上的表现。从表1可以看出，VSGS算法的评价指标与SSIM和GSSIM相比有明显改进。

表1不同数据库中不同算法的SROCC/KROCC/PLCC/RMSE性能比较

图3示出了在LIVE数据库的实验中PSNR、SSIM、GSSIM、MS-SSIM、FSIM、IW-SSIM、VSGS和fVSGS算法的质量评价分数相对于DMOS的散点图及预测质量分数曲线。从图3可以看出，VSGS的散点图在整个坐标系中均匀分布，并且与DMOS具有很强的线性关系，表明VSGS模型与人眼的一致性更好。

图4给出了17个流行算法的gMAD竞争排名结果，除本文提出的VSGS算法外，其余16个IQA模型数据是官方对已有的流行模型测试得到的结果。由图4可见，VSGS的性能排名第一，充分证明了VSGS的良好性能。

4.算法效率

为了比较不同模型的效率，本文在CSIQ数据库中测试了10个IQA模型在每张图像上的平均运行时间，实验记录如表2所示，所有实验均在Inteli7-6700K CPU@4.0GHz/16GRAM/win10 64位操作系统/MATLAB R2016a的PC上进行。除了GSSIM，其它所有方法的源代码都是从原作者处获得。从表2可以看出，fVSGS仅比PSNR花费更长时间，说明VSGS/fVSGS是非常高效的。

表2不同IQA模型的平均运行时间(单位：毫秒)

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于显著性检测的梯度相似度图像质量评价方法，其特征在于：包括将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；其次，在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；最后，联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，获得图像质量评价结果；

所述定义边缘结构信息和梯度相似度包括以下步骤，

Step1.1，针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况；

Step1.2，针对参考图像和待测图像，分别利用Scharr算子，来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅度G，计算公式如下，

$\begin{array}{cc}{G}_h=\frac{1}{16}\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]*\mathrm{Im}age,& G_v=\frac{1}{16}\left[\begin{array}{ccc}-3& -10& -3\\ 0& 0& 0\\ 3& 10& 3\end{array}\right]*\mathrm{Im}age\end{array}---\left(1\right)$

$G=\sqrt{{G_h}^2+{G_v}^2}---\left(2\right)$

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示，这里的Image是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G；

图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，梯度幅度相似度的定义如下，

${\mathrm{GM}}_{i,j}=\frac{2G_{i,j}^x{G}_{i,j}^y+C_1}{{\left(G_{i,j}^x\right)}^2+{\left(G_{i,j}^y\right)}^2+C_1}---\left(3\right)$

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数；

Step1.3，针对参考图像和待测图像，利用梯度方向描述图像的边缘方向得，

$\mathrm{\θ}(i,j)={\tan }^{-1}\frac{G_v(i,j)}{G_h(i,j)}+\frac{\mathrm{\π}}{2}---\left(4\right)$

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度，

假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)：

${\mathrm{\Δ\θ}}_{i,j}=|{\mathrm{\θ}}_{i,j}^x-{\mathrm{\θ}}_{i,j}^y|---\left(5\right)$

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角，

建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，

$\begin{array}{c}{\mathrm{GD}}_{i,j}=\exp (-|\tan \left({\mathrm{\Δ\θ}}_{i,j}\right)\left|\right)\\ =\exp (-|\frac{G_h^x(i,j)G_v^y(i,j)-G_v^x(i,j)G_h^y(i,j)+C_2}{G_h^x(i,j)G_h^y(i,j)+G_v^x(i,j)G_v^y(i,j)+C_2}\left|\right)\end{array}---\left(6\right)$

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度，C₂为预设的正常数；

所述在检测边缘的基础上由显著性检测构建显著性矩阵包括以下步骤,

Step2.1，将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)，

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)；

Step2.2，将振幅谱变换为对数谱，然后计算残余谱，残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似，

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器，是由下式定义的n×n矩阵，

Step2.3，利用残余谱和相位谱通过逆傅里叶变换得到显著图，

其中，i指的是虚数单位，g(x)为高斯平滑滤波器；

所述联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法，实现方式如下，

联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)，

GMD(x,y)＝GM(x,y)GD(x,y) (13)

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)：

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，VS(x)为参考图像x的显著图，由公式(12)得到。

2.如权利要求1所述的一种基于显著性检测的梯度相似度图像质量评价方法，其特征在于：所述联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法中还包括算法优化，从而获得快速VSGS算法，实现方式如下，

分别截取参考图像和待测图像的中间部分x′、y′用于快速傅里叶变换，并省略所述公式(12)里的高斯平滑滤波器，得到，

VS′(x′)＝F^-1[exp(R(f)+iP(f))]² (15)

最后，快速VSGS算法可以被表达为，

fVSGS(x′,y′)＝GMD(x′,y′)*VS′(x′)

＝GM(x′,y′)GD(x′,y′)*VS′(x′) (16)

其中，GM(x′,y′)由公式(3)得到，GD(x′,y′)由公式(5)得到，VS′(x′)由公式15得到。

3.一种基于显著性检测的梯度相似度图像质量评价系统，其特征在于：包括以下模块，将边缘结构信息定义为梯度幅度和梯度方向，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；在检测边缘的基础上由显著性检测构建显著性矩阵，以对结构信息进行权重分配；联合梯度相似度和显著性检测进行评价，从而得到基于显著性检测的梯度相似度图像质量评价结果，

第一模块，用于定义边缘结构信息和梯度相似度，包括以下子模块，

第一子模块，用于针对每幅图像，将边缘结构信息定义为梯度幅度和梯度方向；针对参考图像和待测图像，将梯度相似度定义为梯度幅度相似度和梯度方向相似度；综合比较待测图像和参考图像中梯度幅度相似度和梯度方向相似度，得到图像的边缘结构失真情况；

第二子模块，用于针对参考图像和待测图像，分别利用Scharr算子来获得像素点的水平梯度G_h和垂直梯度G_v，然后计算参考图像和待测图像各像素点的梯度幅值G，计算公式如下，

$\begin{array}{cc}{G}_h=\frac{1}{16}\left[\begin{array}{ccc}-3& 0& 3\\ -10& 0& 10\\ -3& 0& 3\end{array}\right]*\mathrm{Im}age,& G_v=\frac{1}{16}\left[\begin{array}{ccc}-3& -10& -3\\ 0& 0& 0\\ 3& 10& 3\end{array}\right]*\mathrm{Im}age\end{array}---\left(1\right)$

$G=\sqrt{{G_h}^2+{G_v}^2}---\left(2\right)$

其中，Image指的是由像素点构成的图像，每个像素可有各自的颜色值，可采用三原色显示，这里的Image就是一个二维矩阵，与梯度算子卷积后可以得到像素点(i,j)处的水平梯度G_h和垂直梯度G_v，并进一步算出梯度幅度G，

图像质量评价中衡量参考图像和待测图像梯度幅度变化的因素，梯度幅度相似度的定义如下，

${\mathrm{GM}}_{i,j}=\frac{2G_{i,j}^x{G}_{i,j}^y+C_1}{{\left(G_{i,j}^x\right)}^2+{\left(G_{i,j}^y\right)}^2+C_1}---\left(3\right)$

其中，和对应代表参考图像x和待测图像y在像素点(i,j)处的梯度幅度，C₁为预设的正常数；

第三子模块，针对参考图像和待测图像，利用梯度方向描述图像的边缘方向得，

$\mathrm{\θ}(i,j)={\tan }^{-1}\frac{G_v(i,j)}{G_h(i,j)}+\frac{\mathrm{\π}}{2}---\left(4\right)$

其中，θ(i,j)代表像素点(i,j)的边缘方向与水平右方向的夹角；G_h(i,j)和G_v(i,j)同样是利用Scharr算子计算的图像在(i,j)点处的水平梯度和垂直梯度，

假设Δθ_i,j为参考图像和待测图像在(i,j)点处的边缘方向差，定义式如公式(5)，

${\mathrm{\Δ\θ}}_{i,j}=|{\mathrm{\θ}}_{i,j}^x-{\mathrm{\θ}}_{i,j}^y|---\left(5\right)$

其中，和分别为参考图像x和待测图像y在(i,j)点处边缘方向与水平右方向的夹角，

建立参考图像和待测图像在像素点(i,j)处的梯度方向相似度，

$\begin{array}{c}{\mathrm{GD}}_{i,j}=\exp (-|\tan \left({\mathrm{\Δ\θ}}_{i,j}\right)\left|\right)\\ =\exp (-|\frac{G_h^x(i,j)G_v^y(i,j)-G_v^x(i,j)G_h^y(i,j)+C_2}{G_h^x(i,j)G_h^y(i,j)+G_v^x(i,j)G_v^y(i,j)+C_2}\left|\right)\end{array}---\left(6\right)$

其中，代表参考图像在像素点(i,j)处的水平梯度和垂直梯度，和代表待测图像在像素点(i,j)处的水平梯度和垂直梯度，C₂为预设的正常数；

第二模块，用于在检测边缘的基础上由显著性检测构建显著性矩阵，包括以下单元，

第一单元，用于将参考图像通过傅里叶变换变换到频率域，计算参考图像的振幅谱A(f)和相位谱P(f)，

A(f)＝R(F[x]) (7)

其中，x指的是参考图像，F指的是傅里叶变换，f指的是频率域，R是取模值得到振幅谱A(f)，是取角度得到相位谱P(f)，

第二单元，用于将振幅谱变换为对数谱，然后计算残余谱，残余谱R(f)可以通过对数光谱L(f)和平均对数光谱之间的差来近似，

L(f)＝log(A(f)) (9)

R(f)＝L(f)-h_n(f)*L(f) (10)

其中，h_n(f)是局部平均滤波器，是由下式定义的n×n矩阵，

第三单元，用于利用残余谱和相位谱通过逆傅里叶变换得到显著图，

VS(x)＝g(x)*F^-1[exp(R(f)+iP(f))]² (12)

其中，i指的是虚数单位，g(x)为高斯平滑滤波器，

第三模块，用于联合梯度相似度和显著性检测进行评价，得到一种基于显著性检测的梯度相似度图像质量评价方法(VSGS)，实现方式如下，

联合梯度幅度相似度函数GM(x,y)和梯度方向相似度函数GD(x,y)，得到梯度相似性函数GMD(x,y)，

GMD(x,y)＝GM(x,y)GD(x,y) (13)

在GMD的基础上，引入“显著性图”，得到基于显著性检测的梯度相似度(VSGS)公式(14)，

VSGS(x,y)＝GMD(x,y)*VS(x)

＝GM(x,y)GD(x,y)*VS(x) (14)

其中，GM(x,y)为参考图像x和待测图像y的梯度幅度相似度函数，由公式(3)得到，GD(x,y)为参考图像x和待测图像y的梯度方向相似度函数，由公式(5)得到，VS(x)为参考图像x的显著图，由公式(12)得到。