CN105007488A - 基于变换域和空间域的通用无参考图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于变换域和空间域自然场景统计的通用无参考图像质量评价方法。该方法步骤包括：(1)对图像进行NSCT分解，得到与原图像大小相同的不同尺度、方向的子带系数；(2)提取NSCT子带亲戚系数与父子系数间的互信息统计特征；(3)提取NSCT子带亲戚系数与父子系数间的结构信息统计特征；(4)提取原图像MSCN系数及其邻域系数统计特征。(5)在上述特征基础上，分别用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型。与现有技术相比，具有评价结果与人类主观评价高度一致、分类准确率高、计算复杂性低等优点，具有较强的应用价值。

Description

基于变换域和空间域的通用无参考图像质量评价方法

技术领域

本发明涉及一种图像质量评价的方法，主要涉及一种基于变换域和空间域的通用无参考图像质量评价方法，属于图像分析的技术领域，可广泛用于视频与图像传输、智能视频监控及数字电视等领域。

背景技术

随着单反相机、智能手机、平板电脑等电子产品的大量推广，数字图像在人们日常生活中成为交流信息必不可少的手段。但在图像采集、传输、压缩、处理和重构的过程中，由于受到电子光学系统、压缩传输算法、人为因素等条件限制，所获取的图像不可避免地存在着各种各样的失真，所以图像质量评价(Image Quality Assessment，IQA)成为图像工程领域中最为重要的研究课题之一。

图像质量评价主要分为主观评价和客观评价两大类，主观图像质量评价方法是最为可靠的，但成本高，容易受人的情绪等诸多主观因素的影响；客观图像质量评价以研究开发出能够代替人类视觉系统的算法为目标来自动评价图像质量，从而得到与人的主观质量评价相一致的图像质量得分。相对于主观质量评价，客观图像质量评价方法拥有很多优点，如快捷、简单、结果稳定可靠等。

依据需要原始参考图像的信息的多少，客观质量评价算法可以分为三大类：全参考(Full Reference，FR)、半参考(Reduced Reference，RR)和无参考(No Reference，NR)/盲(Blind)等三种图像质量评价方法。全参考图像质量评价方法(FR-IQA)在预测图像质量时需要用到参考图像的全部信息；半参考(部分参考)图像质量评价(RR-IQA)方法只需利用参考图像的部分信息就可进行失真图像质量的预测；无参考型图像质量评价(NR-IQA)方法不需要借助参考图像的任何信息直接对失真图像进行质量评测。

人类自身对图像质量的判断不需要任何参考图像，是一种真正的无参考图像质量评价方式，符合绝大多数场合下的现实要求。与全参考和半参考评价方法相比，无参考图像质量评价方法具有更为广泛的应用范围和更大的应用价值，因此成为机器视觉和图像处理领域的一个研究热点。

自然图像是在自然环境中利用高质量的摄像设备在可见光下得到的图像^[1]，具有边界、纹理、平坦等不同的视觉感知区域，符合一定的分布规律，自然场景统计(Naturalscene statistics，NSS)分布可以描述自然场景不随内容变化的统计性质。不同类型失真引入自然图像会影响其分布规律，使失真图像的分布产生一定的偏差，故自然图像的质量评价大都采用自然场景统计的方法。

目前，基于NSS的无参考图像质量评价方法主要分为两种类型：(1)特定失真类型评价方法，如jpeg2000、jpeg及模糊等失真类型的评价方法，特定失真类型评价方法只能评价该失真类型图像，对其它失真类型图像的质量无法进行评估；(2)通用评价方法，通用评价方法可以同时对多种失真类型图像进行评价。

根据提取的自然场景统计特征，通用无参考图像质量评价方法可分为空间域和变换域两种。

空间域评价方法：(1)A.Mittal等分别提取图像MSCN系数的GGD模型参数及其水平、竖直、主对角、二次对角四方向领域系数的AGGD模型参数作为特征评价图像质量“A.Mittal,A.K.Moorthy and A.C.Bovik.No-Reference Image Quality Assessment inthe Spatial Domain[J].IEEE Transactions on Image Processing,2012,21(12):4695-4708.”，但当不同失真类型图像或不同失真程度图像的MSCN系数直方图分布相同或相似时，这种方法不能有效进行图像质量评价；(2)董宏平等利用互信息对邻近像素间相关性进行描述，并结合多方向和多尺度分析设计提取出一系列互信息特征来对自然图像进行质量评价“Dong Hongping,Liu Lixiong.No-reference image quality assessmentin mutual information domain[J].Journal of image and graphics,2014,19(3):484-492.”，但这种方法没有考虑图像失真对像素本身造成的影响，评价结果不太理想；其它的方法还有SSEQ、GM-LOG-BIQA等，这类方法运算效率比较高，但一般很少考虑图像的多方向特性，而且没有同时考虑失真对像素本身及像素间相关性的影响。

变换域评价方法：(1)M.Saad根据定义的平均能量和局部方向能量分别将图像离散余弦变换(Discrete Cosine Transform,DCT)系数划分为3个频率带和3个方向带，进而提取这些频率带和方向带的GGD模型参数作为质量评价特征“Saad Michele A,BovikAlan C,Charrier Christophe.Blind image quality assessment:A natural scenestatistics approach in the DCT domain[J].IEEE Transactions on Image Processing,2012,21(8):3339-3352.”；(2)A.K.MOORTHY提取了可操纵金字塔(Steerable Pyramid)小波系数的尺度与方向选择性统计、方向选择性统计、跨尺度关联性统计、空间相关性统计及跨方向相关性统计等88个特征，并给出了两阶图像质量评价模型的框架“MoorthyAnush Krishna,Bovik,Alan Conrad.Blind image quality assessment:From naturalscene statistics to perceptual quality[J].IEEE Transactions on Image Processing,2011,20(12):3350-3364.”。其它的方法还有C-DIIVINE、CurveletQA、SHANIA等，这类方法考虑了图像多尺度和多方向的特点，但没有考虑图像失真对像素本身的影响；而且需要对图像施加某种变换，效率比较低，提取的特征对图像不同失真类型和不同失真程度的区分度比较低。

自然图像NSCT分解后的高频方向子带系数依然保持原图像结构信息，而且不会损失图像的结构信息；而且这些高频方向子带系数间存在相关性，特别是亲戚系数及父子系数间相关性更强。此外，人类视觉系统具有频率敏感度、掩蔽效应、方向敏感度、注意转移等特点。为了使评价结果与人的主观感知相一致，对图像进行评价时必须考虑人类视觉特性。

发明内容

本发明的目的在于针对传统无参考质量评价方法中没有同时考虑失真对像素本身、像素相关性、图像多尺度和多方向等方面的影响，造成评价结果不准确的问题，提供一种基于变换域和空间域的通用型无参考图像质量评价方法，以满足图像的有效无参考评测。

为了解决以上所述的技术问题，本发明给出一种基于变换域和空间域的通用无参考图像质量评价方法：对图像进行NSCT分解，得到与原图像大小相同的不同尺度、方向的子带系数；分别提取NSCT子带亲戚系数与父子系数间的互信息统计特征和结构信息统计特征；并结合原图像MSCN系数及其邻域系数统计特征，分别用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型。

作为对以上所述的基于变换域和空间域的通用无参考图像质量评价方法的改进：其步骤如下：

步骤一、对图像进行NSCT分解：由NSPFB对图像I进行多尺度分解，生成低频子带和不同尺度上的高频子带；再由NSDFB对高频子带进行方向性分解，得到与原图像大小相同的不同尺度、方向的子带系数；步骤二、分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的互信息，以此作为衡量子代系数间统计相关性的特征F₁；步骤三、分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的结构信息比较算子，以此作为衡量子代系数间结构相关性的特征F₂；步骤四、对图像I进行预处理得到其MSCN系数及其4方向邻域系数H、V、D₁及D₂；步骤五、用广义高斯分布GGD拟合图像I的MSCN系数的归一化直方图，提取相应GGD模型参数形成统计特征F₃；步骤六、分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H、V、D₁及D₂的归一化直方图，提取相应AGGD模型参数形成统计特征F₄；步骤七、将图像两个尺度上步骤二到步骤六得到的统计特征组成特征向量F；步骤八、在特征向量F基础上，利用支持向量回归机SVR构建无参考图像质量评价模型评估失真图像质量；步骤九、在特征向量F基础上，利用支持向量分类机SVC构建识别模型识别图像失真类型。

作为对本发明所述的基于变换域和空间域的通用无参考图像质量评价方法的进一步改进：步骤二中，NSCT方向子代亲戚系数和父子系数间的互信息计算如下：

$MI(X,Y)=\underset{y\∈Y}{\Σ}\underset{x\∈X}{\Σ}{p}_{XY}(x,y)log\left(\frac{p_{XY}(x,y)}{p_X\left(x\right)p_Y\left(y\right)}\right)$

式中，X和Y为图像I的NSCT方向子代亲戚系数或父子系数；p_X(x)和p_Y(y)分别为X、Y的边缘概率密度函数；p_XY(x,y)为X和Y的联合概率密度函数。

作为对本发明所述的基于变换域和空间域的通用无参考图像质量评价方法的进一步改进：步骤三中，NSCT方向子代亲戚系数和父子系数间的结构信息比较算子计算如下：

$s(X,Y)=\frac{{\mathrm{\σ}}_{XY}+C}{{\mathrm{\σ}}_X{\mathrm{\σ}}_Y+C}$

式中，X和Y为图像I的NSCT方向子代亲戚系数或父子系数；分别为X和Y的标准差；σ_XY为X和Y的协方差；C是为了避免分母趋向于0时不稳定而设的常数，C＝(KL)²/2；K，L是图像像素的动态范围。

作为对本发明所述的基于变换域和空间域的通用无参考图像质量评价方法的进一步改进：步骤四中，图像I的MSCN系数及其4方向邻域系数H、V、D₁及D₂的计算如下：

对于图像I，用下列公式进行预处理，从而得到I的MSCN系数

$\hat{I}(i,j)=\frac{I(i,j)-\mathrm{\μ}(i,j)}{\mathrm{\σ}(i,j)+C}$

其中，I大小为M×N；i,j是像素坐标，i＝1,2,…,M，j＝1,2,…,N； $\mathrm{\μ}(i,j)=\underset{k=-K}{\overset{K}{\Σ}}\underset{l=-L}{\overset{L}{\Σ}}{\mathrm{\ω}}_{k,l}{I}_{(k,l)}(i,j),\mathrm{\σ}(i,j)=\sqrt{\underset{k=-K}{\overset{K}{\Σ}}\underset{l=-L}{\overset{L}{\Σ}}{\mathrm{\ω}}_{k,l}\left(I_{(k,l)}\right(i,j)-\mathrm{\μ}(i,j\left)\right)},$ C为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数；

构造图像I的水平H、竖直V、主对角D₁、次对角D₂方向MSCN邻域系数，具体构造方法如下：

$\left\{\begin{array}{c}H(i,j)=\hat{I}(i,j)\hat{I}(i,j+1)\\ V(i,j)=\hat{I}(i,j)\hat{I}(i+1,j)\\ D_1(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\\ D_2(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\end{array}\right..$

作为对本发明所述的基于变换域和空间域的通用无参考图像质量评价方法的进一步改进：步骤五中，MSCN系数的统计特征计算如下：

用GGD模型拟合并估计模型参数(α,σ²)作为其统计特征，GGD定义如下：

$f(x;\mathrm{\α},{\mathrm{\σ}}^2)=\frac{\mathrm{\α}}{2\mathrm{\β}\mathrm{\Γ}(1/\mathrm{\α})}\exp (-{\left(\left|x\right|/\mathrm{\β}\right)}^{\mathrm{\α}})$

式中， $\mathrm{\β}=\mathrm{\σ}\sqrt{\mathrm{\Γ}(1/\mathrm{\α})/\mathrm{\Γ}(3/\mathrm{\α})},\mathrm{\Γ}\left(x\right)={\∫}_0^{\mathrm{\∞}}{e}^{-t}{t}^{x-1}dt(x>0)$ 是Gamma函数。参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差。

作为对本发明所述的基于变换域和空间域的通用无参考图像质量评价方法的进一步改进：步骤六中，MSCN系数的4方向邻域系数H、V、D₁、D₂的统计特征计算如下：

分别用AGGD模型拟合4个方向邻域MSCN系数H、V、D₁及D₂，并估计相应AGGD模型参数(η＝(β_r-β_l)Γ(2/α)/Γ(1/α))作为其统计特征。AGGD的定义如下：

$f(x,\mathrm{\&alpha;},{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{cc}\frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(-x/{\mathrm{\&beta;}}_l\right)}^{\mathrm{\&alpha;}})& x<0\\ \frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(x/{\mathrm{\&beta;}}_r\right)}^{\mathrm{\&alpha;}})& x\&GreaterEqual;0\end{array}\right.$

式中，α控制分布的形状；参数和分别为左、右尺度参数，控制扩展方向； ${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)},{\mathrm{\&beta;}}_r={\mathrm{\&sigma;}}_r\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)}.$

本发明由于在变换域和空间域提取人眼更为敏感的亮度统计、结构相关性、信息相关性等统计特征，因而与现有技术相比较具有以下优点：

(1)本发明提取的空间域和变换域统计特征与人类视觉系统的感知特性是一致对应的，而且当图像发生不同类型或不同程度失真时会改变这些统计特征，也就是说这些特征对图像失真非常敏感，因此图像评价结果和图像失真类型分类结果相对都比较好；

(2)不仅考虑了图像空间域亮度的统计规律，还考虑了图像变换域亲戚子代系数和父子子带系数的信息相关性及结构相关性，而人眼对对图像的结构非常敏感，故与人类视觉感知有比较好的一致性；

(3)本发明提取的空间域和变换域统计特征鲁棒性相对比较好，即使用于训练的图像比例非常低，也可以取得很好的图像质量评价效果和图像失真类型分类准确率。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明基于变换域和空间域的通用无参考质量评价方法流程图；

图2是NSCT子带系数间的关系；

图3是水平、竖直、主对角、次对角等4方向邻域MSCN系数；

图4是LIVE数据库中图像的变换域和空间域统计特征与相应DMOS间的SROCC；

图5是图像失真类型识别模型在LIVE数据库上1000次迭代测试的混淆矩阵；

图6是图像失真类型识别模型在LIVE数据库上1000次迭代测试的盒状图。

具体实施方式

实施例1、图1～图6给出了一种基于变换域和空间域的通用无参考图像质量评价方法；下面结合附图和具体实例对本发明方法的实施方式做详细说明(主要包括对图像I进行NSCT分解、图像I的NSCT带通方向子带系数的相关统计特征、图像I的MSCN系数及其邻域系数的统计特征、基于变换域和空间域的统计特征与图像质量主观评价间的关系、采用支持向量回归机SVR和支持向量分类机SVC构建无参考图像质量评价模型和图像失真类型识别模型)。

步骤一、对图像I进行NSCT分解(对图像I进行2个尺度和每个尺度8个方向NSCT分解，得到16个与原图像大小相同的各方向子代系数)；

采用NSCT对大小为M×N的图像I进行多尺度、多方向分解，得到图像I的NSCT系数 $\{C_{j_0}^I(m,n),C_{j,l}^I(m,n)(j_0\&GreaterEqual;j\&GreaterEqual;1,l_j\&GreaterEqual;l\&GreaterEqual;1)\};$ 其中，为低频子带系数，为尺度j上第l个方向子带系数；和大小也为M×N。

步骤二、图像I的NSCT带通方向子带系数的相关统计特征：

分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的互信息(只考虑相邻方向的亲戚系数)，得到衡量子代系数间统计相关性的特征f₁-f₂₄；

(1)根据图2得到方向子带系数的相邻方向亲戚子带系数(k∈{-1,1})及其父系数(p＝j-1)；

(2)分别计算NSCT方向子带亲戚系数和父子系数间的结构信息统计特征；

方向子带系数与相邻方向亲戚子带系数(k∈{-1,1})间的结构信息比较算子为：

$S(C_{j,l}^I,C_{j,l+k}^I)=\frac{{\mathrm{\&sigma;}}_{C_{j,l}^I{C}_{j,l+k}^I}+C_1}{{\mathrm{\&sigma;}}_{C_{j,l}^I}{\mathrm{\&sigma;}}_{C_{j,l+k}^I}+C_1}$

式中，为和的协方差；分别为和的方差；C₁＝(K₁L)²/2为了避免分母趋向于0时不稳定而设的常数，K₁，L是图像像素的动态范围。

方向子带系数与其父系数(p＝j-1)间的结构信息比较算子为：

$S(C_{j,l}^I,C_{p,l}^I)=\frac{{\mathrm{\&sigma;}}_{C_{j,l}^I{C}_{p,l}^I}+C_2}{{\mathrm{\&sigma;}}_{C_{j,l}^I}{\mathrm{\&sigma;}}_{C_{p,l}^I}+C_2}$

式中，为和的协方差；分别为和的方差；C₂＝(K₂L)²/2为了避免分母趋向于0时不稳定而设的常数，K₂，L是图像像素的动态范围。

表1 NSCT方向子带亲戚系数和父子系数间的结构信息统计特征

分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的结构信息比较算子(只考虑相邻方向的亲戚系数)，得到衡量子代系数间结构相关性的特征f₂₅-f₄₈；

(3)分别计算NSCT方向子带亲戚系数和父子系数间的互信息统计特征：

方向子带系数与相邻方向亲戚子带系数(k∈{-1,1})间的互信息为：

$MI(C_{j,l}^I,C_{j,l+k}^I)={\mathrm{\&Sigma;\&Sigma;p}}_{C_{j,l}^I,C_{j,l+k}^I}log\left(\frac{p_{C_{j,l}^I,C_{j,l+k}^I}}{p_{C_{j,l}^I}{p}_{C_{j,l+k}^I}}\right)$

式中，和分别为方向子带系数与相邻方向亲戚子带系数的边缘概率密度函数；为方向子带系数与相邻方向亲戚子带系数的联合概率密度函数。

方向子带系数与其父系数(p＝j-1)间的互信息为：

$MI(C_{j,l}^I,C_{p,l}^I)={\mathrm{\&Sigma;\&Sigma;p}}_{C_{j,l}^I,C_{p,l}^I}log\left(\frac{p_{C_{j,l}^I,C_{p,l}^I}}{p_{C_{j,l}^I}{p}_{C_{p,l}^I}}\right)$

式中，和分别为方向子带系数与父系数的边缘概率密度函数；为方向子带系数与相邻方向亲戚子带系数的联合概率密度函数。

表2 NSCT方向子带亲戚系数和父子系数间的互信息统计特征

步骤三、对图像I进行预处理得到MSCN系数及其4方向邻域系数H、V、D₁及D₂：

(1)计算图像I的MSCN系数

$\hat{I}(i,j)=\frac{I(i,j)-\mathrm{\&mu;}(i,j)}{\mathrm{\&sigma;}(i,j)+C_3}$

式中， $\mathrm{\&mu;}(i,j)=\underset{k=-K}{\overset{K}{\&Sigma;}}\underset{l=-L}{\overset{L}{\&Sigma;}}{\mathrm{\&omega;}}_{k,l}{I}_{(k,l)}(i,j);$

$\mathrm{\&sigma;}(i,j)=\sqrt{\underset{k=-K}{\overset{K}{\&Sigma;}}\underset{l=-L}{\overset{L}{\&Sigma;}}{\mathrm{\&omega;}}_{k,l}\left(I_{(k,l)}\right(i,j)-\mathrm{\&mu;}(i,j\left)\right)};$

i＝1,2,…,M，j＝1,2,…,N；

C₃为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数。

(2)根据图3构造MSCN系数的水平H、竖直V、主对角D₁、次对角D₂方向邻域系数，具体构造方法如下：

$\left\{\begin{array}{c}H(i,j)=\hat{I}(i,j)\hat{I}(i,j+1)\\ V(i,j)=\hat{I}(i,j)\hat{I}(i+1,j)\\ D_1(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\\ D_2(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\end{array}\right..$

步骤四、用广义高斯分布GGD拟合MSCN系数的归一化直方图，估计相应GGD模型参数(α,σ²)作为MSCN系数的统计特征；分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H、V、D₁及D₂的归一化直方图，估计相应AGGD模型参数作为4方向邻域MSCN系数的统计特征；提取图像2个尺度的MSCN系数的统计特征及4方向MSCN邻域系数统计特征f₄₉-f₈₄。

(3)利用广义高斯分布GGD模型拟合MSCN系数GGD的定义如下：

$f(x;\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2)=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;}\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(\left|x\right|/\mathrm{\&beta;}\right)}^{\mathrm{\&alpha;}})$

式中， $\mathrm{\&beta;}=\mathrm{\&sigma;}\sqrt{\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})/\mathrm{\&Gamma;}(3/\mathrm{\&alpha;})},\mathrm{\&Gamma;}\left(x\right)={\&Integral;}_0^{\mathrm{\&infin;}}{e}^{-t}{t}^{x-1}dt(x>0)$ 是Gamma函数；参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差。

估计模型参数(α,σ²)作为图像I的MSCN系数的统计特征，共计2个。

(4)利用非对称广义高斯分布AGGD分别拟合图像I的4方向MSCN邻域系数，AGGD的定义如下：

$f(x,\mathrm{\&alpha;},{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{cc}\frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(-x/{\mathrm{\&beta;}}_l\right)}^{\mathrm{\&alpha;}})& x<0\\ \frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(x/{\mathrm{\&beta;}}_r\right)}^{\mathrm{\&alpha;}})& x\&GreaterEqual;0\end{array}\right.$

式中， ${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)},{\mathrm{\&beta;}}_r={\mathrm{\&sigma;}}_r\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)};$

α为形状参数，控制分布的形状；和分别为左、右尺度参数，控制扩展方向。估计相应AGGD模型参数(η＝(β_r-β_l)Γ(2/α)/Γ(1/α))作为4方向MSCN邻域系数的统计特征，共计16个。

(5)对图像进行低通滤波和下采样获取其它尺度图像。提取图像2个尺度的MSCN系数的统计特征α及σ²，提取4方向MSCN邻域系数统计特征η、α、及共计36个特征。

表3 图像I的MSCN系数及其邻域系数的统计特征

基于变换域和空间域的统计特征与图像质量主观评价间的关系：

为了描述变换域和空间域的统计特征与图像质量主观评价之间的关系，计算LIVE图像质量评价数据库中5种失真图像提取的这些统计特征与相应图像的主观质量分DMOS(Difference Mean Opinion Score)之间的斯皮尔曼等级相关系数(The Spearman’s RankOrdered Correlation Coefficient,SROCC)。斯皮尔曼等级相关系数如下：

$R\left(i\right)=\frac{N\underset{j=1}{\overset{N}{\&Sigma;}}{F}_i\left(j\right)D\left(j\right)-\underset{j=1}{\overset{N}{\&Sigma;}}{F}_i\left(j\right)\underset{j=1}{\overset{N}{\&Sigma;}}D\left(j\right)}{\sqrt{N\underset{j=1}{\overset{N}{\&Sigma;}}{\left(F_i\right(j\left)\right)}^2-{\left(\underset{j=1}{\overset{N}{\&Sigma;}}{F}_i\left(j\right)\right)}^2}\sqrt{N\underset{j=1}{\overset{N}{\&Sigma;}}{\left({\mathrm{DF}}_i\right(j\left)\right)}^2-{\left(\underset{j=1}{\overset{N}{\&Sigma;}}D\left(j\right)\right)}^2}}$

式中，F_i为LIVE数据库中某种失真类型所有图像提取的第i个变换域和空间域统计特征向量；D为相应图像的主观质量评价分DMOS构成的向量；F_i和D的大小均为N×1，i＝1,2,…,84；N为LIVE数据库该失真类型图像的数目。图4为LIVE图像质量评价数据库中所有5种失真图像提取的上述统计特征与相应图像主观质量分DMOS间的斯皮尔曼等级相关系数。

步骤五、将以上步骤得到的统计特征组成特征向量F＝[f₁,f₂,…,f₈₄]；

步骤六、在特征向量F基础上，利用支持向量回归机(Support Vector Regression，SVR)构建无参考图像质量评价模型评估失真图像质量；

步骤七、在特征向量F基础上，利用支持向量分类机(support vector classification，SVC)构建识别模型识别图像失真类型。

根据人眼的视觉特性可知，其最为敏感的图像主要轮廓位于中频带，而图像经过NSCT分解后得到与原图像大小相同的不同频率的方向子带依然保持原图像的基本轮，NSCT分解不会损失图像的结构信息。本发明将利用NSCT分解的不同频率信息提取更符合人眼视觉特性的结构特征，主要提取高相关性的亲戚子代系数间及父子子代系数间的互信息和结构信息比较算子，分别用来描述图像多尺度和多方向的信息相关性和结构相关性，并结合描述像素和邻域像素相关性的MSCN系数及其邻域系数的统计特征，利用SVR进行图像质量评价。

本发明的优点可通过以下实验进一步说明：

(1)实验数据库

所有实验是在LIVE、TID2008及CSIQ等图像质量评价数据库上进行。

LIVE IQA数据库是美国德克萨斯大学奥斯汀分校开发的，包含29幅参考图像及779幅失真图像，图像格式为24-bpp彩色BMP，分辨率为634×438到768×512。该数据库有jpeg压缩(169幅)、jpeg2000压缩(175幅)、additive Gaussian white noise(145幅)、Gaussianblurring(145幅)及fast fading Rayleigh(145幅)等5种失真类型，并提供了失真图像相应的DMOS。DMOS的范围为0-100，DMOS越大，相应图像得失真程度就越严重。

(2)实验1：与人类主观评价的相关性

实验方法：1)把LIVE图像质量评价数据库中的所有类型失真图像分成训练集和测试集，分别占总图像的80％和20％，且这两个集合中没有重复的图像；2)，利用训练集中所有图像的RGB色彩空间统计特征及相应的DMOS对SVR模型进行训练，并在此基础上，根据测试集中图像的RGB色彩空间统计特征计算相应的质量预测分；3)，计算测试集中所有图像的质量预测分与其相应的DMOS间的SROCC及皮尔逊线性相关系数(Pearson’sLinear Correlation Coefficient,PLCC)；4)重复上述过程1000次，取1000次迭代测试的SROCC及PLCC的中值作为该无参考图像质量评价模型的评价结果。

实验结果：表4和表5分别为各种图像质量评价方法1000次迭代测试的SROCC及PLCC的中值。

表4 1000次迭代测试中各评价方法SROCC的中值

表5 1000次迭代测试中各评价方法PLCC的中值

实验结果分析：本发明的图像质量评价效果不仅优于全参考图像质量评价方法PSNR及SSIM，还优于当今主流无参考图像质量评价方法BRISUE、MIQA、SSEQ、BLIINDS-Ⅱ、DIIVINE、CurveletQA、SHANIA及C-DIIVINE等；从各失真类型来看，与当今主流无参考图像质量评价方法相比依然是非常具有竞争性的，特别是对jp2k、wn、gblur及ff、等4种失真类型。

(3)实验2：图像失真类型分类准确率

实验方法：1)把图像质量评价数据库中的所有类型失真图像分成训练集和测试集，分别占总图像的80％和20％，且这两个集合中没有重复的图像；2)，利用训练集中所有图像的RGB色彩空间统计特征及相应的失真类型对SVC模型进行训练，并在此基础上，根据测试集中图像的RGB色彩空间统计特征识别相应的失真类型；3)，计算测试集中失真类型的分类准确率；4)重复上述过程1000次，取1000次迭代测试的分类准确率的中值作为该图像失真类型识别模型的分类结果。

实验结果：表6为在LIVE数据库上测试的结果，图5、图6分别为相应数据库上1000次测试的总混淆矩阵和盒状图。混淆矩阵中每个数值表示行对应失真类型被判为列对应失真类型的概率，同一行的所有数值之和为1。

表6 LIVE图像库1000次迭代测试中分类准确率中值

实验结果分析：无论在整体上还是在各失真类型上，本发明取得了非常好的识别效果，识别准确率在所列的主流算法中基本上均是最高的。由图5、图6可以看出，本发明识别准确率相对比较低的是jp2k、jpeg及ff失真类型。主要原因是：1)ff失真是jp2k压缩图像经过网络传输丢包造成的，ff和jp2k具有部分相似的失真效应，故jp2k与ff失真类型间会出现误判；(2)jp2k与jpeg压缩均会使图像产生一定程度的模糊效应，使它们相互间出现误判。

(4)实验3：模型的鲁棒性

实验方法：把LIVE库中的图像分别按照70％和30％、60％和40％、50％和50％、40％和60％、30％和70％及20％和80％的比例随机分为训练集和测试集，采用与实验2和实验3类似的方法分别进行3组实验。

实验结果：图像质量评价模型的实验结果如表7所示，图像失真类型识别模型的实验结果如表8所示。

表7 评价模型在不同训练和测试比例下1000次迭代测试的SROCC及PLCC中值

表8 识别模型在不同训练和测试比例下的1000次迭代测试的分类准确率中值

实验结果分析：随着训练数据的减少，随着训练数据的减少，本发明评价模型在整体和各失真类型上的评价结果与人类主观评价DMOS间的SROCC及PLCC出现降低，但降低的程度并不明显。在LIVE图像库中只有30％图像用于训练的情况下，整体评价结果的SROCC及PLCC依然高达0.92，模型评估结果与主观评价间保持很高的一致性；随着训练数据的减少，本发明失真类型识别模型在整体和各失真类型上的识别准确率出现略微降低，但仍然保持比较高的识别准确率。即使在LIVE图像库中只有30％图像用于训练的情况下，本文识别模型的识别准确率仍然达到89.32％，高于80％图像用于训练的BRISUE、MIQA、SSEQ、DIIVINE、C-DIIVINE及CurveletQA等目前主要的算法。

(5)实验4：计算的复杂性

实验方法：为了公平地比较RGBCSIQA与其它无参考图像质量评价方法的运算效率，本发明统计各方法分别在提取LIVE Multiply Distorted IQA、CSIQ及TID2008等数据库中所有图像相应特征所消耗的时间，并分别平均作为该方法在提取特征过程中实际花费的时间。所有的运算结果均在联想台式机(quad-core CPU,3.2GHz and 4GB RAM,Windows7Pro 32-bit)运行没有优化的matlab程序获得。

实验结果：各无参考图像质量评价算法运行时间比较结果如表9所示。

表9 6种无参考图像质量评价算法运行时间比较

实验结果分析：本发明的运算效率优于BLIINDS-Ⅱ和DIIVINE，但劣于BRISUE、SSEQ及CurveletQA。主要原因如下：(1)BRISUE虽然提取36个空间域统计特征，但提取过程仅进行简单的广义高斯函数拟合，运行效率最高；(2)CurveletQA虽然只有12个特征，但需要进行Curvelet分解和计算方向能量及scalar能量分布等，这些特征的计算需要一定的运行时间；(3)BLIINDS-Ⅱ需要分别提取DCT系数3个频率带和3个方向带的能量等统计特征，而且特征计算过程比较复杂，需要相当长的运行时间；(4)DIIVINE提取的特征数高达88个，而且特征提取过程中包含需要相当长的运行时间的可操纵金字塔分解和结构相似度计算，运行效率最低；(5)TDSDQA提取了84个统计特征，进行NSCT分解和计算NSCT亲戚系数、父子系数间的信息相关性及结构相关性统计特征需要比较长的运行时间。

最后，还需要注意的是，以上列举的仅是本发明的一个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (7)

1.一种基于变换域和空间域的通用无参考图像质量评价方法，其特征是：对图像进行NSCT分解，得到与原图像大小相同的不同尺度、方向的子带系数；

分别提取NSCT子带亲戚系数与父子系数间的互信息统计特征和结构信息统计特征；并结合原图像MSCN系数及其邻域系数统计特征，分别用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型。

2.根据权利要求1所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：其步骤如下：

步骤一、对图像进行NSCT分解：

由NSPFB对图像I进行多尺度分解，生成低频子带和不同尺度上的高频子带；再由NSDFB对高频子带进行方向性分解，得到与原图像大小相同的不同尺度、方向的子带系数；

步骤二、分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的互信息，以此作为衡量子代系数间统计相关性的特征F₁；

步骤三、分别计算NSCT方向子带中相关性比较强的亲戚系数与父子系数间的结构信息比较算子，以此作为衡量子代系数间结构相关性的特征F₂；

步骤四、对图像I进行预处理得到其MSCN系数及其4方向邻域系数H、V、D₁及D₂；

步骤五、用广义高斯分布GGD拟合图像I的MSCN系数的归一化直方图，提取相应GGD模型参数形成统计特征F₃；

步骤六、分别用非对称广义高斯分布AGGG拟合相应4方向邻域MSCN系数H、V、D₁及D₂的归一化直方图，提取相应AGGD模型参数形成统计特征F₄；

步骤七、将图像两个尺度上步骤二到步骤六得到的统计特征组成特征向量F；

步骤八、在特征向量F基础上，利用支持向量回归机SVR构建无参考图像质量评价模型评估失真图像质量；

步骤九、在特征向量F基础上，利用支持向量分类机SVC构建识别模型识别图像失真类型。

3.根据权利要求2所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：步骤二中，NSCT方向子代亲戚系数和父子系数间的互信息计算如下：

$MI(X,Y)=\underset{y\&Element;Y}{\&Sigma;}\underset{x\&Element;X}{\&Sigma;}{p}_{XY}(x,y)log\left(\frac{p_{XY}(x,y)}{p_X\left(x\right)p_Y\left(y\right)}\right)$

式中，X和Y为图像I的NSCT方向子代亲戚系数或父子系数；p_X(x)和p_Y(y)分别为X、Y的边缘概率密度函数；p_XY(x,y)为X和Y的联合概率密度函数。

4.根据权利要求2所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：步骤三中，NSCT方向子代亲戚系数和父子系数间的结构信息比较算子计算如下：

$s(X,Y)=\frac{{\mathrm{\&sigma;}}_{XY}+C}{{\mathrm{\&sigma;}}_X{\mathrm{\&sigma;}}_Y+C}$

式中，X和Y为图像I的NSCT方向子代亲戚系数或父子系数；分别为X和Y的标准差；σ_XY为X和Y的协方差；C是为了避免分母趋向于0时不稳定而设的常数，C＝(KL)²/2；K，L是图像像素的动态范围。

5.根据权利要求2所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：步骤四中，图像I的MSCN系数及其4方向邻域系数H、V、D₁及D₂的计算如下：

对于图像I，用下列公式进行预处理，从而得到I的MSCN系数

$\hat{I}(i,j)=\frac{I(i,j)-\mathrm{\&mu;}(i,j)}{\mathrm{\&sigma;}(i,j)+C}$

其中，I大小为M×N；i,j是像素坐标，i＝1,2,…,M，j＝1,2,…,N； $\mathrm{\&mu;}(i,j)=\underset{k=-K}{\overset{K}{\mathrm{\&Sigma;}}}\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{k,l}{I}_{(k,l)}(i,j),\mathrm{\&sigma;}(i,j)=\sqrt{\underset{k=-K}{\overset{K}{\mathrm{\&Sigma;}}}\underset{l=-L}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{\&omega;}}_{k,l}\left(I_{(k,l)}\right(i,j)-\mathrm{\&mu;}(i,j\left)\right)},$ C为常数，主要为了避免图像平坦区时分母趋向于零时发生不稳定，一般取为1；ω＝{ω_k,l|k＝-K,…,K；l＝-L…,L}为二维圆对称的高斯加权函数；

构造图像I的水平H、竖直V、主对角D₁、次对角D₂方向MSCN邻域系数，具体构造方法如下：

$\left\{\begin{array}{c}H(i,j)=\hat{I}(i,j)\hat{I}(i,j+1)\\ V(i,j)=\hat{I}(i,j)\hat{I}(i+1,j)\\ D_1(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\\ D_2(i,j)=\hat{I}(i,j)\hat{I}(i+1,j+1)\end{array}\right..$

6.根据权利要求2所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：步骤五中，MSCN系数的统计特征计算如下：

用GGD模型拟合并估计模型参数(α,σ²)作为其统计特征，GGD定义如下：

$f(x;\mathrm{\&alpha;},{\mathrm{\&sigma;}}^2)=\frac{\mathrm{\&alpha;}}{2\mathrm{\&beta;}\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{\left(\right|x|/\mathrm{\&beta;})}^{\mathrm{\&alpha;}})$

式中， $\mathrm{\&beta;}=\mathrm{\&sigma;}\sqrt{\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})/\mathrm{\&Gamma;}(3/\mathrm{\&alpha;})},\mathrm{\&Gamma;}\left(x\right)={\&Integral;}_0^{\mathrm{\&infin;}}{e}^{-t}{t}^{x-1}dt(x>0)$ 是Gamma函数。参数α为形状参数，控制GGD分布的形状；σ为标准差，控制方差。

7.根据权利要求2所述的基于变换域和空间域的通用无参考图像质量评价方法，其特征是：步骤六中，MSCN系数的4方向邻域系数H、V、D₁、D₂的统计特征计算如下：

分别用AGGD模型拟合4个方向邻域MSCN系数H、V、D₁及D₂，并估计相应AGGD模型参数 $\begin{array}{cc}(\mathrm{\&eta;},\mathrm{\&alpha;},{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)& (\mathrm{\&eta;}=({\mathrm{\&beta;}}_r-{\mathrm{\&beta;}}_l\left)\mathrm{\&Gamma;}\right(2/\mathrm{\&alpha;})/\mathrm{\&Gamma;}(1/\mathrm{\&alpha;}\left)\right)\end{array}$ 作为其统计特征；AGGD的定义如下：

$f(x,\mathrm{\&alpha;},{\mathrm{\&sigma;}}_l^2,{\mathrm{\&sigma;}}_r^2)=\left\{\begin{array}{cc}\frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{(-x/{\mathrm{\&beta;}}_l)}^{\mathrm{\&alpha;}})& x<0\\ \frac{\mathrm{\&alpha;}}{({\mathrm{\&beta;}}_l+{\mathrm{\&beta;}}_r)\mathrm{\&Gamma;}(1/\mathrm{\&alpha;})}\exp (-{(x/{\mathrm{\&beta;}}_r)}^{\mathrm{\&alpha;}})& x\&GreaterEqual;0\end{array}\right.$

式中，α控制分布的形状；参数和分别为左、右尺度参数，控制扩展方向；

${\mathrm{\&beta;}}_l={\mathrm{\&sigma;}}_l\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)},{\mathrm{\&beta;}}_r={\mathrm{\&sigma;}}_r\sqrt{\mathrm{\&Gamma;}(1/v)/\mathrm{\&Gamma;}(3/v)}.$