CN101877127A - 基于梯度剖面的图像无参考质量评价方法及系统 - Google Patents

Abstract

本发明公开了一种基于梯度剖面的图像无参考质量评价方法及系统。该图像无参考质量评价系统包括：用于对输入图像边缘点进行检测，并依据边缘点提取梯度剖面的梯度剖面提取装置、用于依据梯度剖面，进行图像模糊效应的度量的模糊效应评价装置、用于依据梯度剖面，进行图像振铃效应的度量的振铃效应评价装置，以及用于将模糊效应度量和振铃效应度量进行融合，获取输入图像质量评价参考值的综合评价装置。基于本发明，可以对各种类型的自然图像进行质量评价，特别是针对由于离焦、运动等原因导致的部分模糊的图像，具有很好的鲁棒性。

Description

基于梯度剖面的图像无参考质量评价方法及系统

技术领域

本发明涉及图像处理领域，尤其涉及一种基于梯度剖面的图像无参考质量评价方法及系统。

背景技术

图像质量评价在图像的采集、压缩、增强等领域有着重要的应用。对于绝大多数应用而言，图像的最终观察者是人，因此符合人类观察者主观感受的客观评价方法(即感知图像质量评价)受到了工业界和学术界的广泛关注。上述图像质量的客观评价可分为三种：全参考型(FR，Full Reference)、部分参考型(RR，Reduced Reference)和无参考型(NR，No Reference)三种。在相当多的应用中(如图像增强)由于无法获得原始图像信息，无参考质量评价方法成为唯一的选择，目前主流和实用的方法是针对图像中可能的失真类型进行质量评价。图像压缩和大部分处理方法会引入块效应、模糊效应和振铃效应三种缺陷。其中随着图像压缩等技术的发展，决效应已经能够被较为彻底的消除，但同时也有更多的模糊效应和振铃效应被引入。因此，模糊效应和振铃效应的评价是当前图像质量评价领域中最为重要的技术。本发明所涉及的技术主要包括模糊效应与振铃效应度量、面向JPEG2000图像质量评价，以及图像模糊、振铃区域检测等相关领域。

现有主要的无参考质量评价方法主要有基于边界结构信息的方法，基于自然图像统计特性的方法和基于人眼视觉系统(HVS)的方法等。基于边结构的方法主要是基于人类的视觉感受对于局部的图像结构特别是边界位置是非常敏感的这个假设。例如，E.Ong提出的(E.Ong，W.Lin，Z.Lu，et al.“A no-reference quality metric ofmeasuring image blur”.Seven International Symposium on SignalProcessing and Its Applications Proceedings，2003，1：469-472)图像质量评价方法，首先检测出梯度和边界，并计算边界扩散情况，然后通过平均边界扩散域的线性变换来计算最终的图像质量。基于自然图像统计特性的方法主要基于压缩操作可能会扰乱非线性相关性这个理论，同时量化这个干扰来预测人眼对图像质量的感知情况。H.R.Sheikh，和A.C.Bovik等人提出自然场景统计NSS(Natural SceneStatistics)模型(H.R.Sheikh，A.C.Bovik，L.Cormack.″No-referencequality assessment using natural scene statistics：JPEG2000″，IEEETrans.on Image Processing，14(11)，pp.1918-1927，2005)可以用来对小波系数的幅值进行建模，并用系数与线性预测的联合分布直方图的子带部分来度量图像质量情况。基于人眼视觉系统(HVS)的方法是应用HVS的部分特性解决图像质量评价问题。R.Ferzli和L.J.Karam(R.Ferzli and L.J.Karam，“A No-Reference Objective ImageSharpness Metric Based on the Notion of Just Noticeable Blur(JNB)”，Proc.IEEE International Conference on Image Processing，18(4)，pp.717-728，2009)考虑到人眼对图像边界附近一定门限内的模糊效应具有一定的忍耐力，提出JNB(Just Noticeable Blur)的方法来无参考的度量感知锐度情况。

除以上提到的JPEG2000图像质量评价方法外，也有一些学者提出了独立检测振铃效应的评价准则，例如，S.H.Oguz等(S.H.Oguz，Y.H.Hu and T.Q.Nguyen，Image coding ringing artifact reductionusing morphological post-filtering，in：Proceedings of the IEEE SecondWorkshop on Multimedia Signal Processing，Dec.1998，pp.628-633.)提出了一种基于形态学滤波的方法检测振铃区域。X.Feng和J.P.Allebach(X.Feng and J.P.Allebach，Measurement of ringing artifactsin JPEG images，Digital Publishing，Proceedings of the SPIE，Volume6076，2006pp.74-83.)分别研究不同种类振铃效应背景区域的特点以及对人眼的敏感度，并通过原始图像振铃区域的背景物体特征来得到最终的振铃效应评价结果。Matthews和Kristine Elizabeth(Predicting ringing artifacts in digital images)发明了一种基于像素的阈值来检测振铃效应发生的区域方法，并应用对比度来衡量振铃效应的大小。

一些图像本身由于离焦、运动等原因造成的固有模糊给无参考质量评价带来了许多困难。在图像质量评价中，这类图像由于不能很好的被处理而往往被作为奇异点。最近，一些研究人员开展了这类图像的识别，评价工作。例如，Y.Luo和X.Tang(Y.Luo andX.Tang，Photo and video quality evaluation：focusing on the subject，in：Proceedings of the Europeon Conference on Computer Vision，2008，pp.386-399.)利用固有图像模糊的特性提出了一种鉴别专业图像的方法，S.Wu和W.Lin(S.Wu，W.Lin，Z.Lu，et al.Blind blurassessment for vision-based applications，in：Proceedings of the IEEEICME，2007，pp.1639-1642.)提出了一种鉴别由于离焦而造成模糊的方法。R.Liu和Z.Li(R.Liu，Z.Li and J.Jia，Image partial blurdetection and classification，in：Proceedings of the IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition，Jun.2008，pp.1-8.)提出了一种区分由于运动或者离焦而造成的模糊方法。

然而，如果以上这些方法应用到图像质量评价上，则应对不同原因所造成的图像的固有模糊分别处理，这样会造成图像质量评价复杂度大大提升，因此上述方法明显不适用于图像质量评价领域。

发明内容

本发明的目的在于提供一种基于梯度剖面的图像无参考质量评价方法及系统。基于本发明，可以对各种类型的自然图像进行质量评价，特别是针对由于离焦、运动等原因导致的部分模糊的图像，具有很好的鲁棒性。

本发明一种基于梯度剖面的图像无参考质量评价方法包括如下步骤：对输入图像边缘点进行检测，并依据所述边缘点提取梯度剖面；依据所述梯度剖面，进行图像模糊效应的度量；依据所述梯度剖面，进行图像振铃效应的度量；将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值。

在上述图像无参考质量评价方法中，优选在所述梯度剖面提取步骤中，所述边缘点包括第一类边缘点和第二类边缘点，所述第一类边缘点的检测通过计算水平方向和垂直方向的梯度获得，所述第二类边缘点的检测通过基于两层金字塔图像的检测方法获得，所述两层金字塔图像的检测方法包括：

采用高斯滤波平滑图像，通过算子检测，获取原始尺度图像的梯度并确定过零点，提取原始尺度图像边缘点；对所述原始尺度图像进行下采样，获取1/2尺度的金字塔图像；采用高斯滤波平滑金字塔图像，通过算子检测，获取所述金字塔图像的梯度并确定过零点，提取所述金字塔图像的边缘点；合并所述原始尺度图像边缘点、所述金字塔图像的边缘点，并删除其中的重合点，确定所述输入图像的边缘点。

在上述图像无参考质量评价方法中，优选所述确定过零点包括：对于给定点水平方向的梯度值g_x(x)，若满足：g_xx(x-1)＞0且g_xx(x+1)＜0且g_x(x)≥m_x，则确定该点为过零点；对于给定点垂直方向的梯度值g_y(y)，若满足：g_yy(y-1)＞0且g_yy(y+1)＜0且g_y(y)≥m_y，则确定该点为过零点；合并检测到的过零点，并删除其中的重合点，获取梯度剖面的过零点；其中， $g_{\mathrm{xx}}\left(x\right)=\frac{\∂g_x\left(x\right)}{\∂x}$ 为水平方向的二阶梯度；m_x是图像水平梯度的平均值； $g_{\mathrm{yy}}\left(y\right)=\frac{\∂g_y\left(y\right)}{\∂y}$ 为垂直方向的二阶梯度；m_y是图像垂直梯度的平均值。

在上述图像无参考质量评价方法中，优选所述模糊效应评价步骤包括：依据所述梯度剖面，分别计算所述过零点在水平方向和垂直方向的梯度剖面锐度值，然后对所述过零点水平方向梯度g_x与垂直方向的梯度g_y进行比较；如果g_x＞g_y，梯度剖面锐度值将在水平方向运算得到；如果g_x＜g_y，梯度剖面锐度值将在竖直方向运算得到；将所得的梯度剖面锐度值，利用JND门限进行视觉掩蔽，建立锐度直方图；分析所述锐度直方图分布中，最为锐利的边界点，利用该点的锐度剖面值确定所述模糊效应的评价值。

在上述图像无参考质量评价方法中，优选所述振铃效应评价步骤包括：依据所述梯度剖面的过零点，提取所述梯度剖面的关联区域，预测振铃效应潜在区域；依据预置标准，计算所述振铃效应潜在区域的度量值；采用JND门限计算值对所述度量值进行视觉掩蔽，以确定振铃效应的评价值。

在上述图像无参考质量评价方法中，优选所述评价步骤包括：对获取的所述模糊效应的评价值、所述振铃效应的评价值进行线性归一化处理，以将所述两个评价值归一化到相同的区间[0，1]中；采用加权Minkowski函数，将模糊效应、振铃效应进行融合，以得到综合质量评价值。

另一方面，本发明还提供了一种基于梯度剖面的图像无参考质量评价系统。其原理与基于梯度剖面的图像无参考质量评价方法相似，在下面的具体实施方式部分还会进一步叙述，在此不再赘述。

在本发明中，基于梯度剖面的进行图像模糊效应的度量和振铃效应的度量，进而获取图像质量评价结果。基于本发明，可以对各种类型的自然图像进行质量评价，特别是针对由于离焦、运动等原因导致的部分模糊的图像，具有很好的鲁棒性。

附图说明

图1为根据本发明基于梯度剖面的图像无参考质量评价方法实施例的步骤流程图；

图2为基于梯度剖面锐度直方图的模糊效应评价方法示意图；

图3基于双层金字塔图像的边缘点检测算法示意图；

图3a为原始尺度的输入图像；

图3b为原始尺度的梯度图像；

图3c为原始尺度图像中提取的边缘点；

图3d为下采样图像；

图3e为下采样图像的梯度图像；

图3f为下采样图像中提取的边缘点；

图3g为合成后的边缘点图像；

图4图像边缘的模糊效应示意图；

图4a为小景深为艺术照的输入图像示意图；

图4b是图4a经过了模糊处理后的图像示意图；

图5水平方向梯度剖面锐度计算示意图；

图6振铃效应区域提取方法示意图；

图6a表示含有振铃效应的图像；

6b表示图6a中方框区域的像素亮度值情况；

图7为部分JPEG2000压缩的图像及质量评价结果示意图；

图8为根据本发明基于梯度剖面的图像无参考质量评价系统实施例的简单结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。

本发明所提出的方法的基本思想是：通过图像(视频帧)中强边缘的梯度剖面的锐度的分析，以及与梯度剖面相关联的区域统计特性的分析，得到模糊效应与振铃效应的度量，进一步得到符合人类主观感受的图像评价。

参照图1，图1为根据本发明基于梯度剖面的图像无参考质量评价方法实施例的步骤流程图，包括：

步骤110，用于对输入图像边缘点进行检测，并依据所述边缘点提取梯度剖面。

步骤120，依据所述梯度剖面，进行图像模糊效应的度量。

步骤130，依据所述梯度剖面，进行图像振铃效应的度量。

步骤140，将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值。

需要说明的，步骤120、步骤130的执行顺序没有明确的限定，可以先执行步骤120，再执行步骤130，或者先执行步骤130，再执行步骤120都可以，他们之间没有依赖关系。

下面结合图2、图3详细说明提取梯度剖面的步骤。

如图2所示，图2为基于梯度剖面锐度直方图的模糊效应评价方法示意图。图2a为原始输入图像，图2b为该图像的梯度剖面，图2c为梯度剖面锐度直方图。其中，梯度剖面是以图像边缘上一点为中心，沿该点梯度方向的图像亮度分布。因此，给定图像中一个边缘上的中心点和该点的梯度方向，即可唯一地确定一个梯度剖面。本发明中，图像中任意点的梯度方向通过水平和垂直方向的3×3Sobel算子获得，这里的任意点即为普通点，而不是强边缘点，在本专利申请中也被称为第一类边缘点；而图像中强边缘点则由一种新的基于两层金字塔图像的方法获得，强边缘点在本专利申请中被称为第二类边缘点。

如图3所示，图3基于双层金字塔图像的边缘点检测算法示意图。本发明提出的强边缘点获取方法基于两个尺度的金子塔图像。图3a为原始尺度的输入图像，图3b为原始尺度的梯度图像，图3c为原始尺度图像中提取的边缘点(局部)，图3d为下采样图像，图3e为下采样图像的梯度图像，图3f为下采样图像中提取的边缘点(局部)，图3g为合成后的边缘点图像(局部)。

对于原始输入图像(图3a所示)，首先采用高斯滤波器进行平滑，然后应用3×3的Sobel算子计算水平和垂直方向的梯度(如图3b)，最后选择梯度过零点作为边缘点(如图3c)。不失一般性，以水平方向为例，设g_x(x)是点x的水平方向的梯度值，则若满足以下条件，则x为过零点(即边缘点)：

g_xx(x-1)＞0且g_xx(x+1)＜0且g_x(x)≥m_x                (1)

其中 $g_{\mathrm{xx}}\left(x\right)=\frac{\∂g_x\left(x\right)}{\∂x}$ 为水平方向的二阶梯度，采用在水平方向梯度图像中再应用一次水平方向的3×3的Sobel算子的方法获得；m_x是整个图像水平梯度的平均值，作为一个阈值筛选出梯度强度足够大的边缘点。竖直方向的边缘采用同样方法获得。然后，将两个方向各自得到的边缘点归并在一起，并且去掉重合的点，即得到原始尺度图像的边缘点。

对于经过较强的模糊操作的图像(如码率很低的图像/视频压缩)，Sobel算子往往不能很好地检测到边缘点。因此，本发明提出将原始尺度图像进行下采样，得到1/2尺度的金字塔图像，然后在该金字塔图像上采用上述同样的方法求取另一组边缘点，如图3d、图3e和图3f所示。最后，将上述原始尺度图像中检测到的边缘点和下采样图像中检测到的边缘点进行合并，并去除重合的点，及得到最终的边缘点检测结果，如图3g所示。

实验表明，本发明提出的基于双层金字塔图像的边缘点提取方法可以满足图像质量评价的需要，可以用较小的计算代价改善严重模糊图像中边缘检测的效果。

下面结合图4、图5详细图像振铃效应的度量。

本发明提出了一种通过梯度剖面锐度的统计分析来获得图像模糊效应度量的方法与装置。方法基于如下两个现象：首先，人类观察者对于图像局部结构(如边缘)信息非常敏感，也就是说图像/视频压缩等操作在图像局部结构上所产生的模糊效应是影响观察者对图像质量主观评价的主要因素。因此，可以以图像局部结构(如边缘)为样本，来度量模糊效应。其次，自然图像中有时会由于采集时的离焦、运动等原因，部分区域本身就是模糊的。但是，对于一副采集完好的自然图像，总存在精确、边缘锐利的区域。参照图4a、图4b。图4a是小景深为艺术照的输入图像，其中图像背景区域由于离焦而本身就是模糊的，而前景部分(蝴蝶)则聚焦准确，仍然存在着锐利的边缘。进一步，图4b是图4a经过了后期的模糊处理后的图像。从图4b可以看出，如果该图像经过了后期的模糊处理(如图像有损压缩、高斯滤波去噪等操作)则前景和背景区域的高频分量均有所衰减，从而均变得模糊。但是，相对而言，前景区域中的边缘仍然比背景区域中的更为锐利，如图4中区域a1、a2、b1和b2所示。因此，对于一副经过处理的图像，相对锐利的边缘反映了图像处理所引入的模糊效应的程度。进一步，这些边缘在感知图像质量的评价上起主导作用。

依据上述现象，本发明提出了一个基于图像锐利边界锐度直方图(以下简称GRAPH，GRAdient Profile sharpness Histogram)的感知图像质量评价方法。本方法的基本计算框架如图2所示，首先，针对选择出的锐利边界过零点，在水平、竖直方向分别计算梯度剖面锐度值大小。然后，利用JND门限进行视觉掩蔽作用，并建立锐度直方图。最后，分析出直方图分布中对应的最锐利边界的部分，利用其梯度剖面值计算得到模糊效应的评价值。

如图5所示，x₀为边界像素，是其梯度方向上的局部最大值，p(x₀)是边界像素x₀在梯度方向上的梯度剖面，p(x₀)的剖面锐度值可以通过均方差来进行计算：

$\mathrm{\σ}\left(p\left(x_0\right)\right)=\sqrt{\underset{x\∈p\left(x_0\right)}{\mathrm{\Σ}}{m}^{\′}\left(x\right)d^2(x,x_0)}---\left(2\right)$

其中， $m^{\′}\left(x\right)=m\left(x\right)/\underset{s\∈p\left(x_0\right)}{\mathrm{\Σ}}m\left(s\right)$

m(x)表示梯度幅值，d(x，x₀)表示梯度剖面上的当前处理像素x与边界点x₀之间的曲线距离。梯度剖面越锐利，σ(p(x₀))的计算值越小。

显然，公式(2)需要在梯度方向上计算梯度幅值和曲线距离，而梯度剖面上的像素点并不一定都是在整像素位置上的，这就需要进行分像素插值等附加计算。为了避免这些复杂的计算，本发明提出一个可以在水平、竖直方向来计算梯度剖面锐度值的方法。这个方法是基于下面的理论：图像边界的梯度剖面锐度值在很小的分割片段内具有相同的分布形式。

图5说明的是在水平方向计算梯度剖面锐度值的情况。假定梯度方向为G＝(g_x，g_y)^T，则公式(2)中的梯度剖面的曲线距离d(x，x₀)可以通过下式进行计算：

d(x，x₀)＝g·d_x(x′，x₀)                                (3)

其中， $g=g_x/\sqrt{g_x^2+g_y^2}.$

dx(x′，x₀)是水平方向的曲线距离。基于上面的假定，如果忽略采样及量化误差的存在，像素点x和x′的梯度幅值是相同的，即m(x)＝m(x′)。将公式(3)带入公式(2)中，并忽略采样误差，可以得到：

σ(p(x₀))＝g·σ_x(p_x(x₀))                               (4)

其中，σ_x(p_x(x₀))表示水平方向的锐度计算值。

显然，同样方法也可以得到竖直方向的梯度剖面锐度计算值。实际上，梯度G是通过Sobel算子计算得到的。如果g_x＞g_y，梯度剖面锐度值将在水平方向运算得到；反之，如果g_x＜g_y，梯度剖面锐度值将在竖直方向运算得到。

对于图4，通过本发明的计算，原始图像a1的梯度剖面锐度值为0.768，a2的梯度剖面锐度值为1.418，高斯模糊的图像b1的梯度剖面锐度值为1.180，b2的梯度剖面锐度值为1.525。可以看到原始图像的锐利边缘在模糊处理以后还是相对锐利的。

将计算得到的梯度剖面锐度值，进行直方图分析，进而来研究锐度的分布状态。将锐度值分布图分为n个等大小的子区间，然后GRAPH直方图中的每一个子区间的取值就是每一个子集x_i中元素的数目。

h_i＝|X_i| $X_i=\left\{x\right|\mathrm{\σ}\left(x\right)\∈[\frac{i-1}{n},\frac{i}{n})\},$ i＝1，...，n    (5)

另外，(4)中计算得到的锐度值σ(x)，分布区间为[σ_min，σ_max]，并被归一化到[0，1]区间。为了使得模糊效应计算模型更符合人眼视觉感受的真实情况，本发明采用(X.K.Yang，W.S.Ling，Z.K.Lu，et al.″Just noticeable distortion model and its applications in video coding″，Signal Processing：Image Communication，，20(7)，pp.662-680，2005.)的JND门限值作为视觉掩蔽模型，对GRAPH中的每一段进行一次视觉掩蔽：

$h_i=\underset{x\∈X_i}{\mathrm{\Σ}}\frac{1}{1+\mathrm{JND}\left(x\right)}---\left(6\right)$

经过JPEG2000压缩的失真图像中，只有最锐利边界附近的情况可以反映模糊效应的程度。这就意味着梯度剖面锐度计算值σ(p(x₀))的最小值部分可以用来反映模糊效应的等级状况，即GRAPH图中的最左边部分可以用来计算模糊效应度量值。为了提高方法的鲁棒性，最左边T个子集的一阶距可以用下式计算：

$b=\underset{i\≤T}{\mathrm{\Σ}}i\·h_i/\underset{i\≤T}{\mathrm{\Σ}}{h}_i---\left(7\right)$

其中， $T=\underset{T}{\arg \max }((\underset{i\≤T}{\mathrm{\Σ}}{h}_i/\underset{i\≤n}{\mathrm{\Σ}}{h}_i)\≤\mathrm{\θ}).---\left(8\right)$

公式中T是由门限θ决定的，其含义是在本发明提出的计算方法中，所使用的梯度剖面的百分比。

最后，模糊效应的度量值可以由公式(7)得到的b值，通过反投影的方式得到：

$M_{\mathrm{blur}}\left(I\right)={\mathrm{\σ}}_{\min }+\frac{({\mathrm{\σ}}_{\max }-{\mathrm{\σ}}_{\min })}{n}b---\left(9\right)$

下面结合图6说明图像振铃效应的评价。

振铃效应分布在图像的边缘附近，并且人眼对平滑图像强边缘附近的振铃效应更加敏感。振铃效应检测，评价的难点在于不能很好的识别出振铃效应对应的图像边缘及方向信息，且纹理区域的掩盖效应也会对振铃效应的敏感度有很大影响。本发明提出基于梯度剖面关联区域计算的振铃效应评价方法，以此来有效地预测效应潜在区域，计算效应度量值，然后采用JND门限计算值进行视觉掩蔽，得到最终的振铃效应评价值。如图6所示，图6左边图像图6a表示含有振铃效应的图像，右边图像图6b表示图6a中方框区域的像素亮度值情况。深色区域与浅色区域交界的L表示该局部区域的图像边界线，点A表示检测出的一个图像边界点，垂直于边界线的线P表示该点梯度剖面轮廓，其中两方框R₀与R₁之间的加粗线部分表示模糊效应发生区域，两个方框区域R₀和R₁表示潜在振铃效应区域。为避免由于窗口过大导致的临近边界过零点计算过程中的重复或者掩蔽，本发明中，窗口大小设定为5×5，实验表明，这样的窗口大小可以比较有效地覆盖振铃效应潜在区域。

本发明通过上面检测出的潜在振铃效应区域Rx(x＝0或1)的局部活性度来计算其振铃效应程度(H.Liu，N.Klomp and I.Heynderickx，A no-reference metric for perceived ringing，in：Proceedings of the Fourth International Workshop on Video Processingand Quality Metrics for Consumer Electronics VPQM-09，Jan.2009)。对于该区域内的每一个像素I(x)，其局部活性度可以通过计算与其周围的像素点亮度值均值的差异值来得到，如下式所示：

$A\left(x\right)={(I\left(x\right)-\frac{1}{9}\underset{x_i\∈R_N\left(x\right)}{\mathrm{\Σ}}I\left(x_i\right))}^2---\left(10\right)$

其中R_N(x)表示像素点I(x)的3×3相邻像素组成的邻域。

在得到的潜在振铃效应区域中，会存在一些边界像素点，这些像素点应该被作为噪声像素来进行处理，因为振铃效应是不会发生在这类区域。为解决这个问题，可以通过一个门限设置来排除噪声像素点，如下式所示：

$\tilde{A}\left(x\right)=\left\{\begin{array}{cc}A\left(x\right)& T_l<A\left(x\right)<T_h\\ 0& \mathrm{otherwise}\end{array}\right.---\left(11\right)$

其中，在本发明中设置T_l＝0，T_h＝0.65·MAX(A(x))。

在得到像素点的活性度之后，当前振铃效应区域的整体活性度可以通过计算区域中所有像素活性度期望值来得到，如下式：

$A\left(R\left(x_0\right)\right)=\sqrt{\frac{1}{\left|R\left(x_0\right)\right|}\underset{x\&Element;R\left(x_0\right)}{\mathrm{\&Sigma;}}\tilde{A}\left(x\right)}---\left(12\right)$

其中，|R(x₀)|为该区域中有效像素的个数。

考虑到人眼视觉系统是这些图像信息的接收者，因此振铃效应评价中需要加入相应的人眼视觉特性。本发明考虑到了亮度掩蔽以及纹理掩蔽对效应评价的影响。所以，类似于模糊效应评价中操作，本发明仍然采用JND模型计算值来对振铃效应评价值进行视觉掩蔽。则当前区域的感知活性度可以用下式进行计算：

$\mathrm{PA}\left(R_x\right)=\sqrt{\frac{A\left(R_x\right)}{1+\mathrm{JND}\left(R_x\right)}}---\left(13\right)$

其中，JND(Rx)表示该区域中JND模型的期望值。

整个图像的振铃效应评价值由下式定义：

$M_{\mathrm{ringing}}\left(I\right)=\frac{1}{\left|X\right|}\underset{x_0\&Element;X}{\mathrm{\&Sigma;}}\frac{\mathrm{AP}\left(R_0\left(x_0\right)\right)+\mathrm{AP}\left(R_1\left(x_0\right)\right)}{2}---\left(14\right)$

其中，X是选择出来的边界点集合，|X|是边界点的数目。

下面对步骤140将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值进行详细说明：

考虑到两种效应计算值的取值区间差异性，本发明首先对计算值进行线性归一化，将两个计算值归一化到相同的区间[0，1]中。归一化操作后，可以分别得到模糊效应、振铃效应的归一化值和。研究表明，Minkowski函数可以用来对数字图像压缩中产生的人工效应进行融合，因此，本发明采用采用加权Minkowski方法，将模糊效应、振铃效应进行融合，以得到最终的质量评价值，如下式所示：

$\mathrm{QA}={(a\&CenterDot;{\tilde{M}}_{\mathrm{blur}}^p+b\&CenterDot;{\tilde{M}}_{\mathrm{ringing}}^p)}^{1/p}---\left(15\right)$

其中，QA为最终质量评价计算值p为Minkowski指数，a和b分别为Minkowski系数，且a，b和p均为正实数。

图7展示的是设置不同的p，a，两效应联合评价方法的计算值与主观打分值之间线性相关系数CC关系图，横坐标表示不同的参数a，纵坐标为线性相关系数CC。公式(15)中有三个参数a，b和p，考虑到保持加权后的取值范围，实验中设置a+b＝1，故可以得到此关系曲线。由性能曲线看出，当p＝4，a＝0.85，b＝0.15时，算法性能达到最优。

表1中给出了各方法的评价指标值。本实验将已经被广泛应用的全参考图像质量评价方法SSIM的性能值列在第一行，以其作为一个参照。从表中可以看出，本发明提出的图像质量评价方法，可以达到与经典全参考质量评价方法相近的性能，远超过现有的针对JPEG2000图像质量评价的算法。

表1针对JPEG2000图像质量评价方法性能比较

	CC	SROCC	OR	MAE	RMSE
						SSIM，全参考	0.96	0.93	0.00％	4.89	6.27
Marziliano	0.86	0.84	12.1％	--	--
						Sheikh	0.93	--	--	8.05	--
Sazzad	0.93	0.99	3.96％	6.69	9.20
						BRMM(全部，227图)	0.947	0.912	1.32％	5.79	7.50
BRMM(训练，114图)	0.963	0.927	1.76％	5.22	6.58
						BRMM(测试，113图)	0.941	0.902	1.75％	5.42	7.48

表2给出了LIVE数据库JPEG2000图像集中15幅专业图像和212幅普通图像的性能评价值。从表中可以看出，专业图像和普通图像的性能评价值比较接近，所以，本发明能够很好的减少固有模糊区域所带来的偏移误差。

表2专业图像与普通图像质量评价性能比较

	CC	SROCC	OR	MAE	RMSE
						专业图像(15图)	0.943	0.821	0.0％	8.19	8.82
普通图像(212图)	0.950	0.920	1.3％	5.62	7.36

本发明提出的这四个装置可以构成一个质量评价系统，适用于图像(包括但不限于JPEG2000压缩的图像)视频帧(包括但不限于H.264/AVC、AVS、VC-1等)的质量评价。

上述方法实现是以PC机为平台的一种实例。本发明可以有多种具体的实现方法，包括但不限于PC机、服务器、SoC、FPGA等等。

参照图8，图8为根据本发明基于梯度剖面的图像无参考质量评价系统实施例的简单结构示意图，包括：

梯度剖面提取装置80，用于对输入图像边缘点进行检测，并依据所述边缘点提取梯度剖面。

模糊效应评价装置82，用于依据所述梯度剖面，进行图像模糊效应的度量。

振铃效应评价装置84，用于依据所述梯度剖面，进行图像振铃效应的度量。

综合评价装置86，用于将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值。

下面对上述各个装置进行详细说明。

梯度剖面提取装置80包括第一类边缘点检测模块、第二类边缘点检测模块，第一类边缘点的检测模块用于通过计算水平方向和垂直方向的梯度检测边缘点，第二类边缘点检测模块用于通过基于两层金字塔图像的检测第二类边缘点；其中，第二类边缘点检测模块进一步包括原始尺度图像边缘点检测单元、金字塔图像的边缘点检测单元、合并单元。其中，原始尺度图像边缘点检测单元用于采用高斯滤波平滑图像，通过算子检测，获取原始尺度图像的梯度并确定过零点，提取原始尺度图像边缘点；金字塔图像的边缘点检测单元，用于对原始尺度图像进行下采样，获取1/2尺度的金字塔图像；采用高斯滤波平滑金字塔图像，通过算子检测，获取金字塔图像的梯度并确定过零点，提取金字塔图像的边缘点；合并单元用于合并原始尺度图像边缘点、金字塔图像的边缘点，并删除其中的重合点，确定输入图像的边缘点。

其中，确定过零点的进一步为；对于给定点水平方向的梯度值g_x(x)，若满足：g_xx(x-1)＞0且g_xx(x+1)＜0且g_x(x)≥m_x，则确定该点为过零点；对于给定点垂直方向的梯度值g_y(y)，若满足：g_yy(y-1)＞0且g_yy(y+1)＜0且g_y(y)≥m_y，则确定该点为过零点；合并检测到的过零点，并删除其中的重合点，获取梯度剖面的过零点； $g_{\mathrm{xx}}\left(x\right)=\frac{\&PartialD;g_x\left(x\right)}{\&PartialD;x}$ 为水平方向的二阶梯度；m_x是图像水平梯度的平均值； $g_{\mathrm{yy}}\left(y\right)=\frac{{\&PartialD;g}_y\left(y\right)}{\&PartialD;y}$ 为垂直方向的二阶梯度；m_y是图像垂直梯度的平均值。

下面详细介绍模糊效应评价装置82。模糊效应评价装置82进一步包括：

梯度剖面锐度值确定模块821，用于依据梯度剖面，分别计算过零点在水平方向和垂直方向的梯度剖面锐度值，然后对过零点水平方向梯度g_x与垂直方向的梯度g_y进行比较；如果g_x＞g_y，梯度剖面锐度值将在水平方向运算得到；如果g_x＜g_y，梯度剖面锐度值将在竖直方向运算得到。

锐度直方图建立模块822，用于将所得的梯度剖面锐度值，利用JND门限进行视觉掩蔽，建立锐度直方图。

模糊效应的评价值获取模块823，用于分析锐度直方图分布中，最为锐利的边界点，利用该点的锐度剖面值确定模糊效应的评价值。

在该装置中，采用一种沿水平或竖直方向计算梯度剖面锐度值的快速方法；然后，建立经过JND掩蔽修正的剖面锐度直方图；最后，通过对直方图的分析得到模糊效应的度量。从而可以提高模糊效应评价的准确度，而且可以明显减少自然图像固有模糊区域对模糊效应度量造成的偏差。

下面详细介绍振铃效应评价装置84。振铃效应评价装置84进一步包括：

振铃效应潜在区域预测模块841，用于依据所述梯度剖面的过零点，提取所述梯度剖面的关联区域，预测振铃效应潜在区域；

潜在区域的度量模块842，用于依据预置标准，计算所述振铃效应潜在区域的度量值。

视觉屏蔽模块843，用于采用JND门限计算值对所述度量值进行视觉掩蔽，以确定振铃效应的评价值。

在该装置中，首先在梯度剖面方向选取相关联的振铃效应候选区域，然后计算这些候选区域活动度，通过JND掩蔽效应的修正得到振铃效应的度量。

评价装置86进一步包括：线性归一化处理模块和Minkowski函数综合评价模块。其中，线性归一化处理模块用于对获取的所述模糊效应的评价值、所述振铃效应的评价值进行线性归一化处理，以将所述两个评价值归一化到相同的区间[0，1]中；Minkowski函数综合评价模块，用于采用加权Minkowski函数，将模糊效应、振铃效应进行融合，以得到综合质量评价值。该装置基于Minkowsk函数，最终得到符合观察者主观感受的图像质量评价。

图8基于梯度剖面的图像无参考质量评价系统适用于图像(包括但不限于JPEG2000压缩的图像)视频帧(包括但不限於H.264/AVC、AVS、VC-1等)的质量评价，同时上述模糊效应评价方法也可单独用于图像模糊程度的评价。

以上对本发明基于梯度剖面的图像无参考质量评价系统做了简单的说明，其原理与基于梯度剖面的图像无参考质量评价方法相似，相关之处可以参考质量评价方法的说明，在此不再赘述。

以上对本发明所提供的一种基于梯度剖面的图像无参考质量评价方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于梯度剖面的图像无参考质量评价方法，包括：

梯度剖面提取步骤，对输入图像边缘点进行检测，并依据所述边缘点提取梯度剖面；

模糊效应评价步骤，依据所述梯度剖面，进行图像模糊效应的度量；

振铃效应评价步骤，依据所述梯度剖面，进行图像振铃效应的度量；以及

综合评价步骤，将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值。

2.根据权利要求1所述的基于梯度剖面的图像无参考质量评价方法，其特征在于，

在所述梯度剖面提取步骤中，所述边缘点包括第一类边缘点和第二类边缘点，所述第一类边缘点的检测通过计算水平方向和垂直方向的梯度获得，所述第二类边缘点的检测通过基于两层金字塔图像的检测方法获得，所述两层金字塔图像的检测方法包括：

原始尺度图像边缘点检测步骤，采用高斯滤波平滑图像，通过算子检测，获取原始尺度图像的梯度并确定过零点，提取原始尺度图像边缘点；

金字塔图像的边缘点检测步骤，对所述原始尺度图像进行下采样，获取1/2尺度的金字塔图像；采用高斯滤波平滑金字塔图像，通过算子检测，获取所述金字塔图像的梯度并确定过零点，提取所述金字塔图像的边缘点；

合并步骤，合并所述原始尺度图像边缘点、所述金字塔图像的边缘点，并删除其中的重合点，确定所述输入图像的边缘点。

3.根据权利要求2所述的基于梯度剖面的图像无参考质量评价方法，其特征在于，所述确定过零点包括：

对于给定点水平方向的梯度值g_x(x)，若满足：g_xx(x-1)＞0且g_xx(x+1)＜0且g_x(x)≥m_x，则确定该点为过零点；

对于给定点垂直方向的梯度值g_y(y)，若满足：g_yy(y-1)＞0且g_yy(y+1)＜0且g_y(y)≥m_y，则确定该点为过零点；

合并检测到的过零点，并删除其中的重合点，获取梯度剖面的过零点；

其中， $g_{\mathrm{xx}}\left(x\right)=\frac{\&PartialD;g_x\left(x\right)}{\&PartialD;x}$ 为水平方向的二阶梯度；m_x是图像水平梯度的平均值； $g_{\mathrm{yy}}\left(y\right)=\frac{\&PartialD;g_y\left(y\right)}{\&PartialD;y}$ 为垂直方向的二阶梯度；m_y是图像垂直梯度的平均值。

4.根据权利要求3所述的基于梯度剖面的图像无参考质量评价方法，其特征在于，所述模糊效应评价步骤包括：

梯度剖面锐度值确定步骤，依据所述梯度剖面，分别计算所述过零点在水平方向和垂直方向的梯度剖面锐度值，然后对所述过零点水平方向梯度g_x与垂直方向的梯度g_y进行比较；如果g_x＞g_y，梯度剖面锐度值将在水平方向运算得到；如果g_x＜g_y，梯度剖面锐度值将在竖直方向运算得到；

锐度直方图建立步骤，将所得的梯度剖面锐度值，利用JND门限进行视觉掩蔽，建立锐度直方图；

模糊效应的评价值获取步骤，分析所述锐度直方图分布中，最为锐利的边界点，利用该点的锐度剖面值确定所述模糊效应的评价值。

5.根据权利要求4所述的基于梯度剖面的图像无参考质量评价方法，其特征在于，所述振铃效应评价步骤包括：

振铃效应潜在区域预测步骤，依据所述梯度剖面的过零点，提取所述梯度剖面的关联区域，预测振铃效应潜在区域；

潜在区域的度量步骤，依据预置标准，计算所述振铃效应潜在区域的度量值；

视觉屏蔽步骤，采用JND门限计算值对所述度量值进行视觉掩蔽，以确定振铃效应的评价值。

6.根据权利要求5所述的基于梯度剖面的图像无参考质量评价方法，其特征在于，所述评价步骤包括：

线性归一化处理步骤，对获取的所述模糊效应的评价值、所述振铃效应的评价值进行线性归一化处理，以将所述两个评价值归一化到相同的区间[0，1]中；

Minkowski函数综合评价步骤，采用加权Minkowski函数，将模糊效应、振铃效应进行融合，以得到综合质量评价值。

7.一种基于梯度剖面的图像无参考质量评价系统，包括：

梯度剖面提取装置，用于对输入图像边缘点进行检测，并依据所述边缘点提取梯度剖面；

模糊效应评价装置，用于依据所述梯度剖面，进行图像模糊效应的度量；

振铃效应评价装置，用于依据所述梯度剖面，进行图像振铃效应的度量；

综合评价装置，用于将所述模糊效应度量和所述振铃效应度量进行融合，获取所述输入图像质量评价参考值。

8.根据权利要求7所述的基于梯度剖面的图像无参考质量评价系统，其特征在于：

所述梯度剖面提取装置包括第一类边缘点检测模块、第二类边缘点检测模块，所述第一类边缘点的检测模块用于通过计算水平方向和垂直方向的梯度检测边缘点，第二类边缘点检测模块用于通过基于两层金字塔图像的检测第二类边缘点；

其中，所述第二类边缘点检测模块包括：

原始尺度图像边缘点检测单元，采用高斯滤波平滑图像，通过算子检测，获取原始尺度图像的梯度并确定过零点，提取原始尺度图像边缘点；

金字塔图像的边缘点检测单元，对所述原始尺度图像进行下采样，获取1/2尺度的金字塔图像；采用高斯滤波平滑金字塔图像，通过算子检测，获取所述金字塔图像的梯度并确定过零点，提取所述金字塔图像的边缘点；

合并单元，合并所述原始尺度图像边缘点、所述金字塔图像的边缘点，并删除其中的重合点，确定所述输入图像的边缘点。

9.根据权利要求8所述的基于梯度剖面的图像无参考质量评价系统，其特征在于，所述第二类边缘点检测模块中包括过零点确定单元，用于依据如下规则确定过零点：

对于给定点水平方向的梯度值g_x(x)，若满足：g_xx(x-1)＞0且g_xx(x+1)＜0且g_x(x)≥m_x，则确定该点为过零点；

对于给定点垂直方向的梯度值g_y(y)，若满足：g_yy(y-1)＞0且g_yy(y+1)＜0且g_y(y)≥m_y，则确定该点为过零点；

合并检测到的过零点，并删除其中的重合点，获取梯度剖面的过零点；

其中， $g_{\mathrm{xx}}\left(x\right)=\frac{\&PartialD;g_x\left(x\right)}{\&PartialD;x}$ 为水平方向的二阶梯度；m_x是图像水平梯度的平均值； $g_{\mathrm{yy}}\left(y\right)=\frac{\&PartialD;g_y\left(y\right)}{\&PartialD;y}$ 为垂直方向的二阶梯度；m_y是图像垂直梯度的平均值。

10.根据权利要求9所述的基于梯度剖面的图像无参考质量评价系统，其特征在于，

所述模糊效应评价装置包括：

梯度剖面锐度值确定模块，用于依据所述梯度剖面，分别计算所述过零点在水平方向和垂直方向的梯度剖面锐度值，然后对所述过零点水平方向梯度g_x与垂直方向的梯度g_y进行比较；如果g_x＞g_y，梯度剖面锐度值将在水平方向运算得到；如果g_x＜g_y，梯度剖面锐度值将在竖直方向运算得到；

锐度直方图建立模块，用于将所得的梯度剖面锐度值，利用JND门限进行视觉掩蔽，建立锐度直方图；以及

模糊效应的评价值获取模块，用于分析所述锐度直方图分布中，最为锐利的边界点，利用该点的锐度剖面值确定所述模糊效应的评价值；

所述振铃效应评价装置包括：

振铃效应潜在区域预测模块，用于依据所述梯度剖面的过零点，提取所述梯度剖面的关联区域，预测振铃效应潜在区域；

潜在区域的度量模块，用于依据预置标准，计算所述振铃效应潜在区域的度量值；

视觉屏蔽模块，用于采用JND门限计算值对所述度量值进行视觉掩蔽，以确定振铃效应的评价值；以及，所述评价装置进一步包括：

线性归一化处理模块，用于对获取的所述模糊效应的评价值、所述振铃效应的评价值进行线性归一化处理，以将所述两个评价值归一化到相同的区间[0，1]中；以及

Minkowski函数综合评价模块，用于采用加权Minkowski函数，将模糊效应、振铃效应进行融合，以得到综合质量评价值。

Images