CN103200421B - 一种基于Curvelet变换和相位一致的无参考图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于Curvelet变换和相位一致的无参考图像质量评价方法，包括以下步骤：①将图像分别变换到Curvelet域和相位一致域中；②从Curvelet域和相位一致域中提取一系列自然场景统计特征，包括Curvelet系数和相位一致系数的对数直方图峰值坐标，方向能量分布特性和尺度能量分布特性；③使用一种二步框架，利用步骤②中提取的一系列特征和支持向量机首先对未知类型的失真图像进行分类，再根据分类结果对失真图像进行特定类型的非线性回归，以图像的客观质量评价结果（预测DMOS）。本发明提出的基于Curvelet变换和相位一致的无参考图像质量评价方法具有人眼主观一致性高，时间复杂度小的特点，具有较强的应用价值。

Description

一种基于Curvelet变换和相位一致的无参考图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，特别涉及一种基于Curvelet变换和相位一致的无参考图像质量评价方法，属于图像分析领域。

背景技术

人类获取外界信息的70％来自于视觉系统，图像作为一种信息传递和交流的重要媒介在人类生活中扮演着越来越重要的角色。特别是随着多媒体技术、计算机网络技术的快速发展，图像处理技术也向着数字化，网络化，智能化方面迈进。例如视频会议、安全监控、医学探测、卫星遥感等。然而在数字图像的处理过程中，由于物理设备和图像处理算法的限制，不可避免的会对图像的质量产生影响，这将极大的降低人类的视觉感观体验。

图像质量评价作为传统的图像处理技术之一。它几乎包含了图像处理过程中的所有方面，例如：获取、处理、压缩、传输、重构等。在获取图像方面，由于采集设备的软硬件固有的缺陷以及人为操作所引进的抖动、曝光不足、焦距等问题都会带来图像质量的下降；在处理方面，图像庞大的信息量和有限的存储空间以及彩色空间的转换、格式的转换、图像的压缩等都会造成图像质量的损失；在传输方面，由于目前网络通信带宽的限制，大多数图像都采用有损压缩技术，然后图像的有损压缩会引进各种失真，例如JPEG压缩由于采用DCT变换，它会在压缩过程中引进块效应和模糊效应；而JPEG2000压缩技术由于采用离散小波(DWT)变换，它则会在压缩过程中引进振铃效应和模糊效应等，另外网络数据包丢失、网络拥塞等问题也常常会影响图像的质量；最后在重构方面，由于显示设备的物理特质，会出现图像对比度、亮度、色域、色调等校准问题，这些都将带来图像质量的变化。

由于在实际系统中几乎所有图像都要经历以上过程。因此一个有效的图像质量评价方法可以在系统参数调整、算法比较和系统优化等方面起到十分重要的作用：

(1)可以嵌入到图像系统中调节参数。例如图像采集系统可以根据图像质量进行参数调整从而得到最好的数据采集、图像重构系统可以根据图像质量进行反馈并自动调整系统从而得到最佳的用户视觉体验。

(2)可以用来衡量图像处理算法性能的高低。众所周知，主观评价是最为可靠的图像质量评价方法，但其因观察者的背景知识、观测环境、心理状态等诸多因素的影响，无法成为一种精确的可重复的测量手段。对于一些图像处理算法的比较研究，客观质量评价方法就显得更易操作，且省时省力。例如在图像压缩算法中，图像质量评价为不同的压缩算法提供了比较依据。

(3)可以优化系统的性能。例如在传输系统中可以根据网络的具体情况自动优化信道传输参数以及比特分配算法，在编解码器系统中可以根据图像质量进行编解码器性能的优化等。

由此可见，研究高效、可靠且与人类主观感知一致的客观图像质量评价方法对于图像处理技术以及人类视觉感知理论都有着十分重要的意义。本发明提出了一种基于Curvelet变换和相位一致的无参考图像质量评价方法，其参考的两项重要的已有技术分别为Shen等人在文献《Hybrid No-Reference NaturalImage Quality Assessment of Noisy,Blurry,JPEG2000,and JPEG Images》提出的无参考质量评价方法HNR和Moorthy等人在文献《Blind image quality assessment:From natural scene statistics to perceptual quality》提出的通用无参考质量评价方法DIIVINE，其涉及的基础背景技术主要为Curvelet变换和相位一致。

(1)HNR方法

HNR方法是第一种将Curvelet变换引入图像质量评价领域中的方法，其根据测试图像的不同失真类型将图像变换到不同的变换域下，再提取相应特征以对测试图像做出质量评价。其中对于模糊和噪声图像，将其变换到Curvelet域下，使用系数幅值Log直方图的全局最大峰值坐标作为特征；对于JPEG压缩图像，变换到DCT域中，使用系数幅值Log直方图从左至右的第二峰值坐标作为特征；对于JPEG2000压缩图像，变换到Wavelet域中，同样使用系数幅值Log直方图的全局最大峰值坐标作为特征。

该方法对于模糊，噪声，JPEG压缩，JPEG2000压缩具有较好的主观一致性，但由于对不同失真类型图像需要采用不同的变换方式，导致算法的纯度不高，且带有先验知识需求(需要事先知道图像失真类型)。而且算法仅针对特定的失真类型进行了设计，导致算法的通用性不够，可拓展性不强。

(2)DIIVINE方法

DIIVINE方法是一种近来出现的通用无参考质量评价方法，作者在该方法中提出了一种重要的基于机器学习的通用无参考质量评价二步框架，即先对未知类型失真图像进行分类，再根据分类结果对不同的失真类型使用对应的回归模型对其进行质量评价。本发明中提出的方法也采用了这种二步框架。

DIIVINE方法对测试图像使用了一种可控金字塔分解，该可控金字塔基于Wavelet变换，该方法的优点在于增强了原始Wavelet变换的方向敏感性，其余性质与Wavelet变换较为接近。在该可控金字塔分解的基础上，DIIVINE方法对于一幅测试图像提取了多达88维的特征，主要特征为对各子带系数直方图进行广义高斯分布拟合的拟合系数。该方法对于LIVE数据库中全部5种失真类型的失真图像具有较高主观一致性，同时也具有较强的通用性和可拓展性。但该方法的缺点在与时间复杂度过大，首先特征提取过程复杂冗长导致特征提取过程耗时过长，其次庞大的特征维数导致分类和回归模型的训练耗时也过长。

(3)Curvelet变换

Curvelet变换为图像构建了冗余度约等于3.6的过完备字典，它能够近似最优表示图像中C²奇异。不同于1D的小波变换，Curvelet变换是一种固有2D变换。每一个Curvelet具有长条形的支撑区间，在主轴(长轴)方向上较为平滑，而在短轴方向上表现出波动行为。该支撑区间满足抛物尺度关系width≈length²，这使得Curvelet具有各向异性特性。Curvelet系数参数不仅包含位置和尺度，还包含有方向。从概念上来讲，我们可以认为Curvelet变换是一种在每个尺度下具有方向和位置信息的图像金字塔，其空域形态在最精细尺度下呈现为针形。

Curvelet变换具有紧框架，每一个Curvelet系数都是与其相关的Curvelet与图像的卷积结果，如果一个Curvelet的尺度，位置和角度都近似与图像中的曲线相合，它所对应的Curvelet系数将会非常大，否则Curvelet系数将接近于0。由于Curvelet支撑基的各向异性尺度关系，我们可以用少量的Curvelet系数来描述图像中的曲线奇异，对图像中的边缘信息等提供稀疏表示。而当Curvelet在非常小的尺度上其中心位于图像中的点奇异时，其对应的Curvelet系数也会很大，因此Curvelet也具有良好的点奇异表示能力。我们认为图像失真过程会在很大程度上影响图像中存在的曲线奇异和点奇异，对应的Curvelet系数也会受到强烈的影响。Curvelet变换还能够提供丰富的方向信息，我们认为图像失真过程会改变其原有的方向能量分布，而这种变化可以被带有方向参数的Curvelet系数捕捉到。

对于2D离散函数f[t₁,t₂]的离散Curvelet变换定义如下：

f[t₁,t₂]的笛卡尔坐标。

(4)相位一致图像

从频率域的角度考察,图像的相位谱比幅度谱包含有更重要的信息,并且具有亮度和平移不变性。在对马赫带现象进行观察时,Morrone发现信号的特征总是出现在其Fourier相位叠合最大的点处,并就此提出了相位一致(PhaseCongruency)的概念和计算方法。Kovesi随后扩展了相位一致作为对图像特征的不变度量,证明它能够可靠地检测到阶跃形、屋脊形和线形特征,并且可以对大多数图像使用较为固定的阈值。实验和理论已论证了相位一致与人类视觉系统对图像特征的认知基本相符，图像失真过程会改变图像的特征分布及强度，从而改变了图像的相位一致性。

Morrone和Owens将相位一致定义为：

其中x为位置参量，A_n(x)为原信号第n次Fourier谐波分量在x处的振幅，为其相位，而为原信号在x处的平均相位。

这种相位一致的度量并不能提供很好的定位能力且对噪声较为敏感，Kovesi开发出一种改进的相位一致度量方法如下：

其中，W(x)为频率扩展的权重函数，通过扩展信号频率范围提高相位一致的显著性；T为噪声估计，只有当局部能量值大于T时才用来计算相位一致；而ε是避免分母为零而引入的一个小常量。

发明内容

本发明的目的是为了提供一种具有高度主观一致性，较低时间复杂度的通用无参考自然图像质量评价方法。

本发明方法是通过下述技术方案实现的。

一种基于Curvelet变换和相位一致的无参考图像质量评价方法，其具体实施步骤如下：

步骤一、从Curvelet变换系数域和相位一致域中提取一系列与人眼对自然图像质量的主观认知相关联的自然场景统计特性(NSS)特征，将其划分为4个特征组，分别为：

(1)Curvelet系数域下的自然场景统计特性特征组

Curvelet变换要求输入图像的长宽均为2ⁿ(n为正整数)，我们在对图像进行Curvelet变换前需要先对其进行分块，得到m×n相互之间有重叠部分的256×256分块，我们对每个Curvelet分块计算提取一系列特征，得到m×n个特征向量，我们对这m×n个特征向量取均值作为最终用于评价整幅图像质量的特征向量，之后所有和Curvelet变换相关的特征我们都将采用相同的策略。

$f=\frac{1}{m\×n}\mathrm{\Σ}{f}_i---\left(4\right)$

根据Curvelet变换尺度划分的准则nscales＝log₂(n)-3(n为输入图像尺寸)，每个256×256分块在进行Curvelet变换后将会得到5层不同尺度的Curvelet系数，分别对应着从低频到高频5个不同的频率带，系数结构如表1所示。

表1 Curvelet系数结构

由于图像失真过程往往会严重影响图像的高频成分，例如模糊会减少图像的高频成分噪声则会增加图像的高频成分，而对图像的低频成分影响较少，我们在算法设计中将只考虑Curvelet系数中较精细的尺度层系数(对应了图像中的高频成分)，忽略较粗糙的尺度层系数(对应图像中的低频成分)。

我们计算Curvelet系数绝对值在log域上的分布直方图。对于尺度为j的Curvelet系数，有：

h_j(x)＝pdf(log₁₀(|θ_j|))   (5)

其中θ_j是尺度为j的Curvelet系数集合，h_j(x)代表尺度为j的Curvelet系数绝对值在log域上的分布直方图。实验证明h_j(x)显示出明显的自然场景统计特性，不同的失真类型以各自的方式改变了这种统计特性，并且这种改变基本上是独立于图像内容的。我们使用h_j(x)的峰值坐标对(x_j,y_j)作为自然场景统计特征来描述这种统计特性的变化，我们将其指示为c_j，对于尺度为j的h_j(x)，有：

$c_j=(x_j,y_j)=P\left(h_j\left(x\right)\right)=\left\{\begin{array}{c}\arg {\max }_x{h}_j\left(x\right)\\ {\max }_x{h}_j\left(x\right)\end{array}\right.---\left(6\right)$

其中峰值横坐标x_j为j尺度上概率密度最大的log域上的Curvelet系数幅度，其最能代表整幅图像Curvelet系数幅度在log域上的整体分布情况，大多数情况下x_j近似于log域上的Curvelet系数幅度的平均值，而y_j则描述了x_j具体的概率密度大小，也在一定程度上描述了h_j(x)的整体分布。

由于在更低的尺度下c_j对于图像失真过程变得极为不敏感，我们使用最精细3个尺度上的c_j构成6维特征，作为我们评价图像质量的自然场景统计特征，我们称其为CNSS特征组。

f_CNSS＝(x₅,y₅,x₄,y₄,x₃,y₃)   (7)

(2)Curvelet系数域下的方向能量分布特征组

人眼视觉系统对图像中的方向信息高度敏感，而图像失真过程会以不自然的方式改变图像中的方向信息。Curvelet变换在Detail层中所做的方向划分为我们提供了丰富的方向信息，因此我们能够方便准确地在Curvelet域中捕捉到这种变化。我们在最精细detail层(尺度索引为4)上选取64个方向矩阵中的前32个方向矩阵(由于后32个方向与前32个方向原点对称，包含着相似的方向信息)，以每个方向矩阵中系数幅值的均值作为该方向上的能量：

E_l＝E(|θ_l|)   (8)

其中θ_l为该层中方向索引为l的系数集合。我们使用得到的32个方向能量绘制柱状图，其中横坐标为以副对角线方向为起始逆时针旋转的方向索引，纵坐标指示能量，图中出现的两个尖峰分别靠近水平和垂直方向，为了方便表述，在这里我们将最靠近水平和垂直方向的4个方向称为主方向，主方向以外的其余方向称为副方向，副方向中最靠近主幅对角线的4个方向称为对角方向。

我们从得到的柱状图中可以看出图像失真过程显著改变了图像方向能量分布，显示出明显的自然场景统计特性。对于模糊图像，模糊过程严重削弱了各副方向上的能量，使得主方向的尖峰变得更加尖锐明显；相反噪声过程增加了各副方向上的能量，使得主方向尖峰变得不再明显。我们对两个主方向尖峰分别计算其峰度，并取其均值作为一维特征，指示为mk。

对于x的峰状分布，其峰度定义如下：

$\mathrm{\κ}\left(x\right)=\frac{E{(x-\mathrm{\μ})}^4}{{\mathrm{\σ}}^4}---\left(9\right)$

其中μ是x的均值，σ是x的标准差。

注意我们这里计算峰度纯粹是为了描述柱状图中尖峰的形状，而峰度原本是表征概率密度分布曲线在平均值处峰值高低的特征数，故我们将柱状图看作为“直方图”再按照峰度的定义对其进行计算。

我们忽略主方向而对各个副方向能量计算变异系数作为一维特征，指示为cv。cv特征衡量各副方向能量的离散程度，我们可将其看作图像的各向异性表征。发现模糊和噪声过程都会降低图像的各向异性。

变异系数定义如下：

cv＝σ_so/μ_so   (10)

其中σ_so为副方向能量标准差，μ_so为副方向能量均值。

我们之所以采用变异系数而非标准差来衡量图像各向异性是为了消除图像能量均值差异对计算结果造成的负面影响。首先不同内容的图像本身能量均值会有差异，其次受到不同失真效应影响的图像在能量均值上也会产生差异(如模糊减少能量均值而噪声则会增大能量均值)，而我们认为图像的各向异性应当与图像的能量均值无关。

通过实验我们可以看出柱状图以正交方向和对角方向为界大致可以划分为4个单调区间，其中每个区间都保持着一定的单调性。模糊过程使这种单调性更加明显和严格，而噪声过程则破坏了这种单调性。我们对每个单调上升区间计算其逆序数，对于单调下降区间则将其反转后再计算逆序数，以衡量每个区间的单调性，最后求各个区间逆序数的均值作为一维特征，指示为mi。

到此为止我们对于最精细的detail层(尺度索引为4)得到了3维方向能量分布特征，我们称其为OED特征组。

f_OED＝(mk,cv,mi)   (11)

由于在更低的层次上方向划分不够精细，且对各类失真效应不够敏感，即使考虑了更低层次上的方向信息也不会对最终的算法表现产生太大影响，故我们只从最精细的detail层(尺度索引为4)提取方向能量分布信息。

(3)Curvelet系数域下的尺度能量分布特征组

在大多数情况下，Curvelet系数幅值log域直方图峰值点横坐标靠近于Curvelet系数幅值在log域中的均值，但是有的时候情况则会有所不同。我们设计实验观察原始图像和严重失真的jpeg压缩图像在最精细尺度上(尺度索引为5)的h_j(x)分布以及系数幅值在log域中的均值位置，可以观察到，jpeg压缩图像的h_j(x)峰值较原始图像h_j(x)峰值右移而均值较原始图像均值左移。这是由于jpeg压缩同时包含着分块效应和模糊效应造成的，jpeg压缩图像在原始图像峰值右侧产生新的峰值是由于强烈的分块效应产生了大量较大的Curvelet高频子带系数，而均值的左移则是由于模糊效应削弱了块内高频能量所造成的。我们可以认为峰值指示着分块效应的强度而均值则指示着模糊效应的强度，因此我们对最精细的3层Curvelet系数计算其幅值在log域上的均值，作为各尺度层的能量度量特征(3d)，指示为e_j，其中j为尺度索引。

e_j＝E(log₁₀(|θ_j|))   (12)

我们认为图像失真过程会以不自然的方式改变原始图像的能量谱，在Curvelet域中，这表现为图像失真过程改变了各尺度层之间的能量关系。对于最精细的3层Curvelet系数，我们计算其相互之间的能量差异来描述这种变化，由此得到3维尺度层间能量差异特征，指示为d。

$\left\{\begin{array}{c}{d}_1=e_5-e_3\\ d_2=e_4-e_3\\ d_3=e_5-e_4\end{array}\right.---\left(13\right)$

到此为止我们得到了6维尺度能量分布特征，我们称其为SED特征组。

f_SED＝(e₅,e₄,e₃,d₁,d₂,d₃)   (14)

(4)相位一致域下的自然场景统计特性特征组

为了进一步提高算法性能，我们在算法中引入了相位一致这个较为新颖的概念。我们使用Kovesi在文献《Phase Congruency Detects Corners and Edges》中提出的方法计算出相位一致的最大矩和最小距作为图像的相位一致描述，其分别指示图像中的边缘区域和拐角区域。对于输入图像，我们使用公式(15)对图像的每个方向单独计算相位一致，再遵循经典矩分析公式计算得到相位一致最大矩和最小距：

$\left\{\begin{array}{c}\\ a=\mathrm{\Σ}{\left(\mathrm{PC}\left(\mathrm{\θ}\right)\cos \left(\mathrm{\θ}\right)\right)}^2\\ b=2\mathrm{\Σ}\left(\mathrm{PC}\left(\mathrm{\θ}\right)\cos \left(\mathrm{\θ}\right)\right)\×\left(\mathrm{PC}\left(\mathrm{\θ}\right)\sin \left(\mathrm{\θ}\right)\right)\\ c=\mathrm{\Σ}{\left(\mathrm{PC}\left(\mathrm{\θ}\right)\sin \left(\mathrm{\θ}\right)\right)}^2\\ M=\frac{1}{2}(c+a+\sqrt{b^2+{(a-c)}^2})\\ m+\frac{1}{2}(c+a-\sqrt{b^2+{(a-c)}^2})\end{array}\right.---\left(15\right)$

其中PC(θ)为图像在方向θ上的相位一致数值，M和m分别代表相位一致最大矩和最小距。

通过实验我们可以观察到图像失真过程以不自然的方式改变了图像的相位一致信息。对于噪声过程，由于我们采用的计算相位一致的公式考虑了噪声干扰，噪声效应带来的点奇异并不被认为是图像的显著特征，因此噪声效应会降低整幅图像的相位一致程度。我们认为图像的相位一致信息具有NSS特性，我们尝试绘制原始图像和各类失真类型图像的相位一致直方图，实验结果表明这样绘制得到相位一致直方图中的NSS特性表现得不甚明显且难以描述。

为了使图像在相位一致信息中包含的NSS特性变得明显而易于描述，我们将相位一致图像投影到log域中，并绘制其分布直方图h_PC(x)：

h_PC(x)＝pdf(log₁₀(PC×100))   (16)

其中PC为图像的相位一致系数集合，可分别取为M和m，由于图像的相位一致范围为[0 1]，我们在将其投影到log域之前先对其进行尺度缩放至[0 100]。我们尝试对原始图像与各失真图像绘制h_M(x)，其显示出明显的NSS特性。h_M(x)中一般存在两个尖峰，其中第一个尖峰指示着极小的相位一致系数(M值)，其横坐标恒定不变，我们取其纵坐标作为1维特征，其描述了相位一致极小的区域(即无显著特征出现的区域)在整幅图像中所占的比例；第二个尖峰指示着特征区域中概率密度最高的相位一致系数，我们取这个峰值点的横纵坐标作为后续的2维特征。其中，横坐标描述了图像的特征区域大致的相位一致程度，纵坐标描述了该特征区域在整幅图像中所占的比例，并在一定程度上描述了图像特征区域内的相位一致分布状况。如此，对于M我们得到了3维特征。我们将相位一致系数替换为m，h_m(x)显示出类似的分布特性，我们对其取同样的3维特征，最终我们得到了相位一致相关的6维特征，指示为PCNSS特征组。

f_PCNSS＝(My₁,Mx₂,My₂,my₁,mx₂,my₂)   (17)

至此，我们从图像的Curvelet变换系数和相位一致图像中一共得到了21维NSS特征(见表2)

表2 从Curvelet系数域和相位一致域中提取的NSS特征

步骤二、针对全体数据库抽取训练集，训练集由步骤一中得到的一系列自然场景统计特性特征和图像失真类型组成，结合使用LIBSVM工具包中提供的C-SVC(RBF核)工具训练得到失真类型分类模型。最新版本的LIBSVM支持分类概率估计，对于未知类型的失真图像，我们可通过该分类器计算得出它以概率p_i属于第i种失真类型，得到n维分类概率估计向量其中n为失真类型总数。

步骤三、针对每种失真类型各自抽取对应的训练集，训练集由步骤一中描述的一系列特征和主观质量评价DMOS值构成，结合使用ν-SVR(RBF核)训练得到n个回归模型。对于在步骤二中已完成分类的失真图像，我们将它分别通过n个回归模型计算得到n维质量预测向量再使用分类概率估计向量加权求和得到最终客观预测质量(预测DMOS)为：

$Q={\stackrel{\→}{p}}^T\stackrel{\→}{q}---\left(18\right)$

本发明提出的基于Curvelet变换和相位一致的无参考图像质量评价方法(简称为CPNR)，与已有技术相比具有主观一致性高，时间复杂度小，通用可拓展的优点。

附图说明

图1是本发明具体实施例1中我们将CPNR与另外几种的全参考、无参考算法进行主观一致性比较的盒装图，每种算法的性能结果均源于本实施例中所述的80％训练集、20％测试集划分1000次迭代训练测试过程，使用SROCC作为主观一致性度量，SROCC越高说明主观一致性越强。

图2是本发明具体实施例2中我们使用LIVE数据库训练CPNR并将其在TID2008数据库上运行的散点结果图，横坐标为TID2008数据库中的主观评价数值MOS，纵坐标为CPNR得到的预测DMOS，理想的散点分布应当靠近于副对角线位置。

具体实施方式

下面结合附图和具体实施例对本发明方法的实施方式做详细说明。

步骤一、从Curvelet变换系数域和相位一致域中提取一系列与人眼对自然图像质量的主观认知相关联的自然场景统计特性(NSS)特征；

步骤二、针对全体数据库抽取训练集，训练集由步骤一中得到的一系列自然场景统计特性特征和图像失真类型组成，结合使用LIBSVM工具包中提供的C-SVC(RBF核)工具训练得到失真类型分类模型，并对待测图像进行包含概率估计的失真类型分类(软分类)，得到n维分类概率估计向量

步骤三、针对每种失真类型各自抽取对应的训练集，训练集由步骤一中描述的一系列特征和主观质量评价DMOS值构成，结合使用ν-SVR(RBF核)训练得到n个回归模型。对于在步骤二中已完成分类的失真图像，我们将它分别通过n个回归模型计算得到n维质量预测向量再使用分类概率估计向量加权求和得到最终客观预测质量

实施例1：

我们使用当前最流行的LIVE图像质量数据库运行CPNR以其评价算法性能，将整个数据库划分为训练集和测试集两部分，利用5折交叉验证选择出最优训练参数后，使用训练集训练得到构建算法所需的分类器和回归模型，再运行测试集以评价算法表现。为了提高结果的有效性，我们在划分训练、测试集时遵循以下几个规则：1)训练集和测试集在图像内容上处于绝对隔离；2)训练集和测试集各占80％和20％比例；3)在满足规则1，2的情况下随机划分训练集与测试集，用以评价算法表现，重复该过程1000次，取结果的中间值作为最终的算法表现评价。我们在LIVE数据库上运行上述过程，将实验结果与3种经典的全参考算法PSNR，SSIM和VIF，和3种近来出现的通用无参考质量评价BIQI,DIIVINE和BLIINDS-II进行比较(鉴于HNR无法对LIVE数据库中FF失真类型做出评价，不具有完备的通用性，故未选取作为比较算法)，使用SROCC来度量各算法的主观一致性(见图1，表3)。我们可以看出本发明中我们提出的方法CPNR对于各类失真图像都具有较好的主观一致性，表现出良好的通用性。从总体的表现来看CPNR的主观一致性要优于经典的全参考方法峰值信噪比(PSNR)和结构相似度算法(SSIM)，同时要优于另一种通用无参考方法BIQI，在统计上与之前出现过的性能最好的通用无参考方法DIIVINE和BLIINDS-II大体相当，仅劣于被称之为最好的全参考图像质量评价方法VIF。此外我们还记录下三种主观一致性最好的评价方法DIIVINE，BLIINDS-II和本发明中提出的CPNR提取特征过程所耗时间(见表4)，从表中可以看出本发明提出的方法具有较低的时间复杂度。

表3 LIVE库中各算法主观一致性SROCC比较

	JP2K	JPEG	NOISE	BLUR	FF	ALL
							PSNR	0.8990	0.8484	0.9835	0.8076	0.8986	0.8293
SSIM	0.9510	0.9173	0.9697	0.9513	0.9555	0.8996
							VIF	0.9515	0.9104	0.9844	0.9722	0.9631	0.9521
BIQI	0.8551	0.7767	0.9764	0.9258	0.7695	0.7599
							DIIVINE	0.9352	0.8921	0.9828	0.9551	0.9096	0.9174
BLIINDS-II	0.9462	0.9350	0.9634	0.9336	0.8992	0.9331
							CPNR	0.9276	0.9135	0.9899	0.9686	0.8880	0.9272

表4 各算法特征提取耗时比较

	时间(秒)
		DIIVINE	30.5294

BLIINDS-II	133.5213
		CPNR	7.6804

实施例2：

本实施中我们使用全体LIVE数据库训练CPNR，并将其在另一个流行的图像质量数据库TID2008上运行(见图2)，并将结果与两种经典的全参考方法进行比较(见表5)。从中可以看出，尽管我们是在LIVE数据库上进行训练，但得到的CPNR在TID2008库中同样表现出较高的主观一致性，足以证明本发明中提出的方法具有较好的独立于数据库的能力。

表5 TID2008数据库中3种方法的SROCC比较

	JP2K	JPEG	NOISE	BLUR	ALL
						PSNR	0.8250	0.8760	0.9230	0.9342	0.8700
SSIM	0.9603	0.9354	0.8168	0.9544	0.9016
						CPNR	0.8542	0.8709	0.8483	0.8761	0.8731

Claims (2)

1.一种基于Curvelet变换和相位一致的无参考图像质量评价方法，其特征在于：其具体实施步骤如下：

步骤一、从Curvelet变换系数域和相位一致域中提取一系列与人眼对自然图像质量的主观认知相关联的自然场景统计特性(NSS)特征；

具体来说，这一系列NSS特征为：

(1)Curvelet系数域下的自然场景统计特性特征组

Curvelet变换要求输入图像的长宽均为2ⁿ，n为正整数，在对图像进行Curvelet变换前先对其进行分块，得到m×n相互之间有重叠部分的256×256分块，然后对每个Curvelet分块计算提取一系列特征，得到m×n个特征向量，对这m×n个特征向量取均值作为最终用于评价整幅图像质量的特征向量，之后所有和Curvelet变换相关的特征都将采用相同的策略，

$f=\frac{1}{m\×n}\mathrm{\Σ}{f}_i---\left(1\right)$

根据Curvelet变换尺度划分的准则nscales＝log₂(n)-3(n为输入图像尺寸)，每个256×256分块在进行Curvelet变换后将会得到5层不同尺度的Curvelet系数，分别对应着从低频到高频5个不同的频率带，系数结构如下所示：

对于单层Curvelet系数计算其幅值在log域上的分布直方图，对于尺度为j的Curvelet系数，有：

h_j(x)＝pdf(log₁₀(|θ_j|))                (2)

其中θ_j是尺度为j的Curvelet系数集合，h_j(x)代表尺度为j的Curvelet系数绝对值在log域上的分布直方图；使用h_j(x)的峰值坐标对(x_j,y_j)作为自然场景统计特征来描述这种统计特性的变化，将其指示为c_j，对于尺度为j的h_j(x)，有：

$c_j=(x_j,y_j)=P\left(h_j\left(x\right)\right)=\left\{\begin{array}{c}\arg {\max }_x{h}_j\left(x\right)\\ {\max }_x{h}_j\left(x\right)\end{array}\right.---\left(3\right)$

使用最精细3个尺度上的c_j构成6维特征，作为我们评价图像质量的自然场景统计特征，称其为CNSS特征组；

f_CNSS＝(x₅,y₅,x₄,y₄,x₃,y₃)                (4)

(2)Curvelet系数域下的方向能量分布特征组

在最精细detail层，即尺度索引为4的系数层上选取64个方向矩阵中的前32个方向矩阵，以每个方向矩阵中系数幅值的均值作为该方向上的能量：

E_l＝E(|θ_l|)              (5)

其中θ_l为该层中方向索引为l的系数集合；使用得到的32个方向能量绘制柱状图，其中横坐标为以副对角线方向为起始逆时针旋转的方向索引，纵坐标指示能量，出现的两个尖峰分别靠近水平和垂直方向，对两个主方向尖峰分别计算其峰度，并取其均值作为一维特征，指示为mk；

对于x的峰状分布，其峰度定义如下：

$\mathrm{\κ}\left(x\right)=\frac{E{(x-\mathrm{\μ})}^4}{{\mathrm{\σ}}^4}---\left(6\right)$

其中μ是x的均值，σ是x的标准差；

这里计算峰度是为了描述柱状图中尖峰的形状，而峰度原本是表征概率密度分布曲线在平均值处峰值高低的特征数，故将柱状图看作为“直方图”再按照峰度的定义对其进行计算；

对各个副方向能量计算变异系数作为一维特征，指示为cv，作为图像的各向异性表征；

变异系数定义如下：

cv＝σ_so/μ_so                  (7)

其中σ_so为副方向能量标准差，μ_so为副方向能量均值；

方向能量柱状图以正交方向和对角方向为界大致划分为4个单调区间，每个区间都保持着一定的单调性；对每个单调上升区间计算其逆序数，对于单调下降区间则将其反转后再计算逆序数，以衡量每个区间的单调性，最后求各个区间逆序数的均值作为一维特征，指示为mi；

到此为止对于最精细的detail层得到了3维方向能量分布特征，称其为OED特征组；

f_OED＝(mk,cv,mi)              (8)

(3)Curvelet系数域下的尺度能量分布特征组

对最精细的3层Curvelet系数计算其幅值在log域上的均值，作为各尺度层的能量度量特征(3d)，指示为e_j，其中j为尺度索引；

e_j＝E(log₁₀(|θ_j|))              (9)

对于最精细的3层Curvelet系数，通过计算其相互之间的能量差异来描述这种变化，由此得到3维尺度层间能量差异特征，指示为d；

$\left\{\begin{array}{c}{d}_1=e_5-e_3\\ d_2=e_4-e_3\\ d_3=e_5-e_4\end{array}\right.---\left(10\right)$

到此为止得到了6维尺度能量分布特征，称其为SED特征组；

f_SED＝(e₅,e₄,e₃,d₁,d₂,d₃)                 (11)

(4)相位一致域下的自然场景统计特性特征组

对于输入图像，使用公式(12)对图像的每个方向单独计算相位一致，再遵循经典矩分析公式计算得到相位一致最大矩和最小距：

$\left\{\begin{array}{c}a=\mathrm{\Σ}{\left(\mathrm{PC}\left(\mathrm{\θ}\right)\cos \left(\mathrm{\θ}\right)\right)}^2\\ b=2\mathrm{\Σ}\left(\mathrm{PC}\left(\mathrm{\θ}\right)\cos \left(\mathrm{\θ}\right)\right)\×\left(\mathrm{PC}\left(\mathrm{\θ}\right)\sin \left(\mathrm{\θ}\right)\right)\\ c=\mathrm{\Σ}{\left(\mathrm{PC}\left(\mathrm{\θ}\right)\sin \left(\mathrm{\θ}\right)\right)}^2\\ M=\frac{1}{2}(c+a+\sqrt{b^2+{(a-c)}^2})\\ m=\frac{1}{2}(c+a-\sqrt{b^2+{(a-c)}^2})\end{array}\right.---\left(12\right)$

其中PC(θ)为图像在方向θ上的相位一致数值，M和m分别代表相位一致最大矩和最小距，均可作为图像在全方向上的相位一致表征；

将相位一致图像投影到log域中，并绘制其分布直方图h_PC(x)：

h_PC(x)＝pdf(log₁₀(PC×100))                (13)

其中PC为图像的相位一致系数集合，可分别取为M和m，其取值范围为[01]，在将其投影到log域之前先对其进行尺度缩放至[0100]；使用M代替PC，得到的h_M(x)中一般存在两个尖峰，其中第一个尖峰指示着极小的相位一致系数(M值)，其横坐标恒定不变，取其纵坐标作为1维特征；第二个尖峰指示着特征区域中概率密度最高的相位一致系数，取其横纵坐标作为后续的2维特征；将相位一致系数替换为m，h_m(x)显示出类似的分布特性，对其取同样的3维特征，至此在相位一致域上总计得到了6维特征，称其为PCNSS特征组；

f_PCNSS＝(My₁,Mx₂,My₂,my₁,mx₂,my₂)               (14)

图像的Curvelet变换系数和相位一致图像中得到了21维NSS特征；

步骤二、针对全体数据库抽取训练集，训练集由步骤一中得到的一系列自然场景统计特性特征和图像失真类型组成，结合使用LIBSVM工具包中提供的C-SVC(RBF核)工具训练得到失真类型分类模型，并对待测图像进行包含概率估计的失真类型分类，得到n维分类概率估计向量

步骤三、针对每种失真类型各自抽取对应的训练集，训练集由步骤一中描述的一系列特征和主观质量评价DMOS值构成，结合使用ν-SVR(RBF核)训练得到n个回归模型；对于在步骤二中已完成分类的失真图像，将它分别通过n个回归模型计算得到n维质量预测向量再使用分类概率估计向量加权求和得到最终客观预测质量

2.如权利要求1所示的一种基于Curvelet变换和相位一致的无参考图像质量评价方法，其特征在于：步骤一中所述从Curvelet变换系数域和相位一致域中提取的总计21维NSS特征如下所示：