CN104112272A - 基于结构降化模型的半参考图像质量评价方法 - Google Patents

Abstract

本发明提供了一种基于结构降化模型的半参考图像质量评价方法，该方法主要考虑到对于图像在不同失真类型、不同失真程度上的响应空间频率响应的区别，并结合利用结构相似指数(SSIM)来提取图像特征，从而实现一种半参考的图像质量评价方法。根据在现有的LIVE数据库的测试结果来看优于大部分主流图像质量评价方法。本发明所述的评价方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂算法，不仅拥有卓越评价准确度，并且兼具了计算复杂度低、执行效率高的特点；本发明只需要四个数值作为特征值，这相比于图像本身的大小是可以忽略不计的。

Description

基于结构降化模型的半参考图像质量评价方法

技术领域

本发明涉及一种图像质量评价领域的系统，具体地，涉及一种基于结构降化模型的半参考图像质量评价方法。

背景技术

随着诸如图像视频压缩、存储以及传输技术在多媒体领域的广泛应用，对于高效的图像质量评价技术的需求也在高速增长。现有的图像质量评价方法主要分为主观与客观两种。其中主观评价方法应当是最为贴近真实的，但是代价非常昂贵，同时十分浪费时间，并且这种主观评价方式在实时图像处理系统中是无法应用的。而对于客观质量评价，均方差(Mean-Squared Error)以及峰值信噪比(Peak Signal-to-Noise Ratio)这两种评价方法在当前有着非常广泛的应用，然而这两种方法并不能非常准确的与人们的主观评价结果相匹配。

考虑到这种状况，Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表了“Image quality assessment：From error visibility to structural similarity”，充分考虑到人类视觉认知系统，提出了一种全新的基于图像结构信息的客观图像质量评价方法，即结构相似指数(SSIM)。Z.Wang因此论文获得IEEE Signal Processing Society BestPaperAward。随后，大量的基于结构相似指数的改进方法纷纷涌现。例如，Z.Wang等人又在2011年《IEEE Transaction on Image Processing》发表的论文“Information contentweighting for perceptual image quality assessment”，提出基于信息内容加权的结构相似指数(IW-SSIM)等。此外，还有一些基于人类视觉认知系统的模型陆续提出，比如H.R.Sheikh等人在2006年《IEEE Transaction on Image Processing》发表的论文“Imageinformationand visual quality”，提出视觉信息保真度模型(VIF)等。然而，这些质量评价需要原始参考图像的所有信息，这样会造成非常大的数据冗余。这促使我们去设计一种新的客观质量评价方法，使用有限的原始图像信息，在提高客观图像质量评价的准确度的同时，减少数据冗余量。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于结构降化模型的半参考图像质量评价方法，该方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂算法，不仅拥有卓越评价准确度，并且兼具了计算复杂度低，执行效率高的特点。

为实现以上目的，本发明提供一种基于结构降化模型的半参考图像质量评价方法，包括以下步骤：

第一步、分别对原图X与失真图Y进行分割，分为内区图像块与外区图像块；

第二步、对于原图X的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波；得到原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)、F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，以及原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)；

第三步、对于原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)计算结构相似指数(SSIM)，得到原图特征值SD_m，i，N(X)，对其F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，计算结构相似指数(SSIM)，得到原图特征值SD_v，i，N(X)；同样的，对原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)分别计算结构相似指数(SSIM)，得到相应的原图特征值SD_m，e，N(X)与SD_v，e，N(X)；

第四步、对于失真图Y的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波，得到失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)、F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，以及失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像μ_Y，e(0.1)与σ_Y，e(1.5)；

第五步、对于失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)计算结构相似指数(SSIM)，得到失真图特征值SD_m，i，N(Y)，对其F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，计算结构相似指数(SSIM)，得到原图特征值SD_v，i，N(Y)；同样的，对失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像σ_Y，e(0.1)与σ_Y，e(1.5)分别计算结构相似指数(SSIM)，得到相应的失真图特征值SD_m，e，N(Y)与SD_v，e，N(Y)；

第六步、分别计算原图X各项特征值与失真图Y相应特征值之差，定义为相应特征值的距离，记为D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N；

第七步、分别对各项特征值的距离D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N进行非线性变换，将其结果相加后得到本发明图像质量评价指数SDM。SDM的值越大，则预测图像质量越好，值越小则预测图像质量越差。

优选地，第一步中，所述的图像分割方式：

以8*8的像素块为单位的将图像平分，将各像素块中心部分的6*6像素块的集合定义为该图像的内区图像块，将各像素块外围剩余的一圈像素的集合定义为该图像的外区像素块。

优选地，第二步中，所述的F_μ滤波：

$F_{\mathrm{\μ}}=\mathrm{\μ}\left(d\right)=\frac{1}{N^2}{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^N{\mathrm{\ω}}_{\mathrm{ij}}{x}_{\mathrm{ij}}$

其中N为图像被滤波窗口切分的数量。高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为d的高斯分布，并进行归一化处理。

所述的F_σ滤波：

$F_{\mathrm{\σ}}={\mathrm{\σ}}^2\left(d\right)=\frac{1}{N^2-1}{\mathrm{\Σ}}_{i=1}^N{\mathrm{\Σ}}_{j=1}^N{\mathrm{\ω}}_{\mathrm{ij}}{(x_{\mathrm{ij}}-\mathrm{\μ}\left(d\right))}^2$

其中N为图像被滤波窗口切分的数量。高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为d的高斯分布，并进行归一化处理。

优选地，第三步中，所述的结构相似指数计算方式：

i)分别利用下述公式计算图像X，Y的局部统计平均μ_x、μ_y，标准差σ_x、σ_y以及相关系数σ_xy：

${\mathrm{\μ}}_x={\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_i{x}_i$

${\mathrm{\σ}}_X={\left[{\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_i(x_i-{\mathrm{\μ}}_x)\right]}^{1/2}$

${\mathrm{\σ}}_{\mathrm{xy}}={\mathrm{\Σ}}_{i=1}^N{\mathrm{\ω}}_i(x_i-{\mathrm{\μ}}_x)(y_i-{\mathrm{\μ}}_y)$

其中N为图像被滤波窗口切分的数量。高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为1.5的高斯分布，并进行归一化处理。

ii)分别计算图像X，Y的亮度l(x，y)、对比度c(x，y)以及结构相似度s(x，y)：

$l(x,y)=\frac{{2\mathrm{\μ}}_x{\mathrm{\μ}}_y+C_1}{{\mathrm{\μ}}_x^2+{\mathrm{\μ}}_y^2+C_1}$

$c(x,y)=\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_2}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+C_2}$

$s(x,y)=\frac{{2\mathrm{\σ}}_x{\mathrm{\σ}}_y+C_3}{{\mathrm{\σ}}_x^2+{\mathrm{\σ}}_y^2+C_3}$

其中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₁/2。K₁＝0.01，K₂＝0.03，L为灰阶深度，如常用的8位图像，则L＝2⁸-1＝255；

iii)计算出图像X、Y的结构相似指数：

$\mathrm{SSIM}(X,Y)=\frac{1}{M}{\mathrm{\Σ}}_{i=1}^{M}l(x_i,y_i)c(x_i,y_i)s(x_i,y_i)$

其中，x_i，y_i分别为参考图X、失真图Y在第i个窗口的图像内容；

所述的原图特征值SD_m，t，N(X)：

SD_m，t，N(X)＝SSIM(μ_X(0.1)，μ_X(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_X(d)由第二步中的F_μ滤波获得；

所述的原图特征值SD_v，t，N(X)：

${\mathrm{SD}}_{v,t,N}\left(X\right)=\mathrm{SSIN}\left({\mathrm{\σ}}_X^2\left(0.1\right){,\mathrm{\σ}}_X^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的F_σ滤波获得。

优选地，第四步中，所述的F_μ滤波与F_σ滤波与第二步中的相同。

优选地，第五步中，所述的结构相似指数计算方式与第三步中的相同；

所述的失真图特征值SD_m，t，N(Y)：

SD_m，t，N(Y)＝SSIM(μ_Y(0.1)，μ_Y(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_Y(d)由第二步中的F_μ滤波获得；

所述的失真图特征值SD_v，t，N(Y)：

${\mathrm{SD}}_{v,t,N}\left(Y\right)=\mathrm{SSIM}\left({\mathrm{\σ}}_Y^2\left(0.1\right){,\mathrm{\σ}}_Y^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的F_σ滤波获得。

优选地，第六步中，所述的原图X各项特征值与失真图Y相应特征值之差：

D_s，t，N＝SD_s，t，N(X)-SD_s，t，N(Y)

其中，s＝{m，v}是指图像F_μ滤波与F_σ滤波后图像，t＝{i，e}是指图像的内部图像块与外部图像块。

优选地，第七步中，所述的非线性变换：

$G\left(D_{s,t,N}\right)={\mathrm{\&alpha;}}_{t,p}{\left(D_{s,t,N}\right)}^{{\mathrm{\&beta;}}_{s,t,p}}+{\mathrm{\&gamma;}}_{s,t,p}\left\{\begin{array}{c}{\left(D_{s,t,N}\right)}^{{\mathrm{\&delta;}}_{s,t,p}}{,D}_{s,t,N}\&GreaterEqual;0\\ {\left({-D}_{s,t,N}\right)}^{{\mathrm{\&epsiv;}}_{s,t,p}},D_{s,t,N<0}\end{array}\right.$

其中，s＝{m，v}、t＝{i，e}、p＝{l，h}，α_t，p、β_s，t，p、γ_s，t，p、δ_s，t，p与ε_s，t，p为模型参数由训练获得；

所述的图像质量评价指数SDM：

SDM＝∑_{s＝{m，v}，t＝｛i，e}}G(D_s，t，N)。

本发明的原理是，对于不同失真类型、不同失真程度上的响应空间频率响应的区别，并结合利用结构相似指数(SSIM)来提取图像特征。通过对原图与失真图的各项特征值距离进行非线性变换，从而得到新的指数SDM。

与现有技术相比，本发明具有如下的有益效果：

本发明主要考虑到对于图像在不同失真类型、不同失真程度上的响应空间频率响应的区别，并结合利用结构相似指数(SSIM)来提取图像特征，从而实现一种半参考的图像质量评价方法。根据在现有的LIVE数据库的测试结果来看，本发明优于大部分主流图像质量评价方法。本发明的方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂算法，这意味着本发明不仅拥有卓越评价准确度，并且兼具了计算复杂度低，执行效率高的特点。值得注意的是，本发明作为一种半参考的图像质量评价方法，只需要四个数值作为特征值，这相比于图像本身的大小是可以忽略不计的。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明实施例第一步到第三步的流程图；

图2为本发明实施例第四步到第五步的流程图；

图3为本发明实施例第六步到第七步的流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1、2、3所示，本实施例提供一种基于结构降化模型的半参考图像质量评价方法，步骤包括：

第一步、分别对原图X与失真图Y进行分割，分为内区图像块与外区图像块，具体分割方式如下：

以8*8的像素块为单位的将图像平分。将各像素块中心部分的6*6像素块的集合定义为该图像的内区图像块，将各像素块外围剩余的一圈像素的集合定义为该图像的外区像素块。

第二步、对于原图X的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波；得到原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)、F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，以及原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)，具体如下：

所述的F_μ滤波：

$F_{\mathrm{\&mu;}}=\mathrm{\&mu;}\left(d\right)=\frac{1}{N^2}{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&Sigma;}}_{j=1}^N{\mathrm{\&omega;}}_{\mathrm{ij}}{x}_{\mathrm{ij}}$

其中，ω＝{ω_i|i＝1，2，3，...，N}，标准差为d的高斯分布，并进行归一化处理；

所述的F_σ滤波：

$F_{\mathrm{\&sigma;}}={\mathrm{\&sigma;}}^2\left(d\right)=\frac{1}{N^2-1}{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&Sigma;}}_{j=1}^N{\mathrm{\&omega;}}_{\mathrm{ij}}{(x_{\mathrm{ij}}-\mathrm{\&mu;}\left(d\right))}^2$

其中，ω＝{ω_i|i＝1，2，3，...，N}，标准差为d的高斯分布，并进行归一化处理。

第三步、对于原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)计算结构相似指数(SSIM)，得到原图特征值SD_m，i，N(X)，对其F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，计算结构相似指数(SSIM)，得到原图特征值SD_v，i，N(X)；同样的，对原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)分别计算结构相似指数(SSIM)，得到相应的原图特征值SD_m，e，N(X)与SD_v，e，N(X)，具体如下：

所述的结构相似指数计算方式：

i)分别利用下述公式计算图像X，Y的局部统计平均μ_x、μ_y，标准差σ_x、σ_y以及相关系数σ_xy：

${\mathrm{\&mu;}}_x={\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i{x}_i$

${\mathrm{\&sigma;}}_X={\left[{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i(x_i-{\mathrm{\&mu;}}_x)\right]}^{1/2}$

${\mathrm{\&sigma;}}_{\mathrm{xy}}={\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i(x_i-{\mathrm{\&mu;}}_x)(y_i-{\mathrm{\&mu;}}_y)$

其中：高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为1.5并且进行了归一化处理；

ii)分别计算图像X，Y的亮度l(x，y)、对比度c(x，y)以及结构相似度s(x，y)：

$l(x,y)=\frac{{2\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1}{{\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1}$

$c(x,y)=\frac{{2\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_2}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2}$

$s(x,y)=\frac{{2\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_3}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_3}$

其中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₁/2。K₁＝0.01，K₂＝0.03，L为灰阶深度，如常用的8位图像，则L＝2⁸-1＝255；

iii)计算出图像X、Y的结构相似指数：

$\mathrm{SSIM}(X,Y)=\frac{1}{M}{\mathrm{\&Sigma;}}_{i=1}^{M}l(x_i,y_i)c(x_i,y_i)s(x_i,y_i)$

其中，x_i，y_i分别为参考图X、失真图Y在第i个窗口的图像内容；

所述的原图特征值SD_m，t，N(X)：

SD_m，t，N(X)＝SSIM(μ_X(0.1)，μ_X(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_X(d)由第二步中的F_μ滤波获得；

所述的原图特征值SD_v，t，N(X)：

${\mathrm{SD}}_{v,t,N}\left(X\right)=\mathrm{SSIN}\left({\mathrm{\&sigma;}}_X^2\left(0.1\right){,\mathrm{\&sigma;}}_X^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的Ｆ_σ滤波获得。

第四步、对于失真图Y的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波，得到失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)、F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，以及失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像σ_Y，e(0.1)与σ_Y，e(1.5)，具体如下：

第四步中，所述的F_μ滤波与F_σ滤波与第二步中的相同。

第五步、对于失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)计算结构相似指数(SSIM)，得到失真图特征值SD_m，i，N(Y)，对其F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，计算结构相似指数(SSIM)，得到原图特征值SD_v，i，N(Y)；同样的，对失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像σ_Y，e(0.1)与σ_Y，e(1.5)分别计算结构相似指数(SSIM)，得到相应的失真图特征值SD_m，e，N(Y)与SD_v，e，N(Y)，具体如下：

第五步中，所述的结构相似指数计算方式与第三步中的相同；

所述的失真图特征值SD_m，t，N(Y)：

SD_m，t，N(Y)＝SSIM(μ_Y(0.1)，μ_Y(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_Y(d)由第二步中的F_μ滤波获得；

所述的失真图特征值SD_v，t，N(Y)：

${\mathrm{SD}}_{v,t,N}\left(Y\right)=\mathrm{SSIM}\left({\mathrm{\&sigma;}}_Y^2\left(0.1\right){,\mathrm{\&sigma;}}_Y^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的F_σ滤波获得。

第六步、分别计算原图X各项特征值与失真图Y相应特征值之差，定义为相应特征值的距离，记为D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N，具体如下：

所述的原图X各项特征值与失真图Y相应特征值之差：

D_s，t，N＝SD_s，t，N(X)-SD_s，t，N(Y)

其中，s＝{m，v}是指图像F_μ滤波与F_σ滤波后图像，t＝{i，e}是指图像的内部图像块与外部图像块。

第七步、分别对各项特征值的距离D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N进行非线性变换，将其结果相加后得到本发明图像质量评价指数SDM，具体如下：

所述的非线性变换：

$G\left(D_{s,t,N}\right)={\mathrm{\&alpha;}}_{t,p}{\left(D_{s,t,N}\right)}^{{\mathrm{\&beta;}}_{s,t,p}}+{\mathrm{\&gamma;}}_{s,t,p}\left\{\begin{array}{c}{\left(D_{s,t,N}\right)}^{{\mathrm{\&delta;}}_{s,t,p}}{,D}_{s,t,N}\&GreaterEqual;0\\ {\left({-D}_{s,t,N}\right)}^{{\mathrm{\&epsiv;}}_{s,t,p}},D_{s,t,N<0}\end{array}\right.$

其中，s＝{m，v}、t＝{i，e}、p＝{l，h}，α_t，p、β_s，t，p、γ_s，t，p、δ_s，t，p与ε_s，t，p为模型参数由训练获得，数值参见表1。

表1

254.24	-26.65	190.90	245.02	34.51	-172.19
						0.40	267.35	8.34	2.69	0.10	399.82
1.91	104.97	218.06	3.46	1.54	81.91
						230.16	111.69	-75.84	179.23	136.71	7.47
2.81	0.17	288.68	17.06	1.57	0.06
						2.12	1.19	104.32	104.64	3.61	0.80
228.03	187.16	228.45	-62.12	329.67	0.00
						11.92	1.22	0.24	238.84	11.59	0.00
119.98	4.40	2.38	144.54	97.11	0.00

所述的图像质量评价指数SDM：

SDM＝∑_{s＝{m，v}，t＝{i，e}}G(D_s，t，N)。

所述的图像质量评价指数SDM的值越大，则预测图像质量越好，值越小则预测图像质量越差。

实施效果：

依据上述步骤，对Laboratory for Image and Video Engineering(LIVE)数据库的所有779张图像进行图像质量评价。利用视频质量专家组(VQEG)推荐的指标来与一些主流客观图像质量评价方法与本发明的方法进行比较，其中包括：Pearson LinearCorrelation Coefficient(PLCC)、Spearman Rank-order Correlation Coefficient(SRCC)。在LIVE数据库上的PLCC比较结果见表2，在LIVE数据库上的SRCC比较结果见表3，可以发现本发明中的SDM拥有优异的评价准确度。

表2

	FEDM	SDM	PSNR	SSIM
					JP2K(169)	0.926	0.9375	0.8996	0.9410
JPEG(175)	0.921	0.9591	0.8878	0.9504
					白噪声(145)	0.925	0.9718	0.9860	0.9697
高斯模糊(145)	0.902	0.9240	0.7834	0.8743
					快速衰弱(145)	0.875	0.9300	0.8895	0.9428

表3

	FEDM	SDM	PSNR	SSIM
					JP2K(169)	0.920	0.9410	0.8954	0.9355
JPEG(175)	0.9225	0.9520	0.8809	0.9449
					白噪声(145)	0.9144	0.9697	0.9857	0.9625
高斯模糊(145)	0.931	0.9332	0.7823	0.8944
					快速衰弱(145)	0.852	0.9418	0.8907	0.9413

表2与表3中所述的图像质量评价方法具体是指：

PSNR：Peak Signal-to-Noise Ratio；

SSIM：Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment：From error visibility to structural similarity”；

FEDM：G.Zhai等人在2012年《IEEE Transaction on Image Processing》上发表的“Apsychovisual quality metric in free-energy principle”。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于结构降化模型的半参考图像质量评价方法，其特征在于，包括以下步骤：

第一步、分别对原图X与失真图Y进行分割，分为内区图像块与外区图像块；

第二步、对于原图X的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波；得到原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)、F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，以及原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)；

第三步、对于原图X内区图像块F_μ滤波后图像μ_X，i(0.1)与μ_X，i(1.5)计算结构相似指数SSIM，得到原图特征值SD_m，i，N(X)，对其F_σ滤波后图像σ_X，i(0.1)与σ_X，i(1.5)，计算结构相似指数SSIM，得到原图特征值SD_v，i，N(X)；同样的，对原图X外区图像块F_μ滤波后图像μ_X，e(0.1)与μ_X，e(1.5)、F_σ滤波后图像σ_X，e(0.1)与σ_X，e(1.5)分别计算结构相似指数SSIM，得到相应的原图特征值SD_m，e，N(X)与SD_v，e，N(X)；

第四步、对于失真图Y的内区图像块与外区图像块，对其分别进行程度为0.1与1.5的F_μ滤波，以及程度为0.1与1.5的F_σ滤波，得到失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)、F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，以及失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像σ_Y，e(0.1)与σ_Y，e(1.5)；

第五步、对于失真图Y内区图像块F_μ滤波后图像μ_Y，i(0.1)与μ_Y，i(1.5)计算结构相似指数SSIM，得到失真图特征值SD_m，i，N(Y)，对其F_σ滤波后图像σ_Y，i(0.1)与σ_Y，i(1.5)，计算结构相似指数SSIM，得到原图特征值SD_v，i，N(Y)；同样的，对失真图Y外区图像块F_μ滤波后图像μ_Y，e(0.1)与μ_Y，e(1.5)、F_σ滤波后图像σ_Y，e(0.1)与σ_Y，e(1.5)分别计算结构相似指数SSIM，得到相应的失真图特征值SD_m，e，N(Y)与SD_v，e，N(Y)；

第六步、分别计算原图X各项特征值与失真图Y相应特征值之差，定义为相应特征值的距离，记为D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N；

第七步、分别对各项特征值的距离D_m，i，N、D_v，i，N、D_m，e，N以及D_v，e，N进行非线性变换，将其结果相加后得到图像质量评价指数SDM，SDM的值越大，则预测图像质量越好，值越小则预测图像质量越差。

2.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第一步中，所述的图像分割方式：

以8*8的像素块为单位的将图像平分，将各像素块中心部分的6*6像素块的集合定义为该图像的内区图像块，将各像素块外围剩余的一圈像素的集合定义为该图像的外区像素块。

3.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第二步中，所述的F_μ滤波：

$F_{\mathrm{\&mu;}}=\mathrm{\&mu;}\left(d\right)=\frac{1}{N^2}{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&Sigma;}}_{j=1}^N{\mathrm{\&omega;}}_{\mathrm{ij}}{x}_{\mathrm{ij}}$

其中N为图像被滤波窗口切分的数量，高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为d的高斯分布，并进行归一化处理；

所述的F_σ滤波：

$F_{\mathrm{\&sigma;}}={\mathrm{\&sigma;}}^2\left(d\right)=\frac{1}{N^2-1}{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&Sigma;}}_{j=1}^N{\mathrm{\&omega;}}_{\mathrm{ij}}{(x_{\mathrm{ij}}-\mathrm{\&mu;}\left(d\right))}^2$

其中N为图像被滤波窗口切分的数量，高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为d的高斯分布，并进行归一化处理。

4.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第三步中，所述的结构相似指数计算方式：

i)分别利用下述公式计算图像X，Y的局部统计平均μ_x、μ_y，标准差σ_x、σ_y以及相关系数σ_xy：

${\mathrm{\&mu;}}_x={\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i{x}_i$

${\mathrm{\&sigma;}}_X={\left[{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i(x_i-{\mathrm{\&mu;}}_x)\right]}^{1/2}$

${\mathrm{\&sigma;}}_{\mathrm{xy}}={\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&omega;}}_i(x_i-{\mathrm{\&mu;}}_x)(y_i-{\mathrm{\&mu;}}_y)$

其中N为图像被滤波窗口切分的数量，高斯权重窗口ω＝{ω_i|i＝1，2，3，...，N}，窗口大小11*11，标准差为1.5的高斯分布，并进行归一化处理；

ii)分别计算图像X，Y的亮度l(x，y)、对比度c(x，y)以及结构相似度s(x，y)：

$l(x,y)=\frac{{2\mathrm{\&mu;}}_x{\mathrm{\&mu;}}_y+C_1}{{\mathrm{\&mu;}}_x^2+{\mathrm{\&mu;}}_y^2+C_1}$

$c(x,y)=\frac{{2\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_2}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_2}$

$s(x,y)=\frac{{2\mathrm{\&sigma;}}_x{\mathrm{\&sigma;}}_y+C_3}{{\mathrm{\&sigma;}}_x^2+{\mathrm{\&sigma;}}_y^2+C_3}$

其中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₁/2，K₁＝0.01，K₂＝0.03，L为灰阶深度，如常用的8位图像，则L＝2⁸-1＝255；

iii)计算出图像X、Y的结构相似指数：

$\mathrm{SSIM}(X,Y)=\frac{1}{M}{\mathrm{\&Sigma;}}_{i=1}^{M}l(x_i,y_i)c(x_i,y_i)s(x_i,y_i)$

其中，x_i，y_i分别为参考图X、失真图Y在第i个窗口的图像内容；

所述的原图特征值SD_m，t，N(X)：

SD_m，t，N(X)＝SSIM(μ_X(0.1)，μ_X(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_X(d)由第二步中的F_μ滤波获得；

所述的原图特征值SD_v，t，N(X)：

${\mathrm{SD}}_{v,t,N}\left(X\right)=\mathrm{SSIN}\left({\mathrm{\&sigma;}}_X^2\left(0.1\right){,\mathrm{\&sigma;}}_X^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的F_σ滤波获得。

5.根据权利要求3所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第四步中，所述的F_μ滤波与F_σ滤波与第二步中的相同。

6.根据权利要求4所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第五步中，所述的结构相似指数计算方式与第三步中的相同；

所述的失真图特征值SD_m，t，N(Y)：

SD_m，t，N(Y)＝SSIM(μ_Y(0.1)，μ_Y(1.5))

其中，t＝{i，e}是指图像的内部图像块与外部图像块，μ_Y(d)由第二步中的F_μ滤波获得；

所述的失真图特征值SD_v，t，N(Y)：

${\mathrm{SD}}_{v,t,N}\left(Y\right)=\mathrm{SSIM}\left({\mathrm{\&sigma;}}_Y^2\left(0.1\right){,\mathrm{\&sigma;}}_Y^2\left(1.5\right)\right)$

其中，t＝{i，e}是指图像的内部图像块与外部图像块，由第二步中的F_σ滤波获得。

7.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第六步中，所述的原图X各项特征值与失真图Y相应特征值之差：

D_s，t，N＝SD_s，t，N(X)-SD_s，t，N(Y)

其中，s＝{m，v}是指图像F_μ滤波与F_σ滤波后图像，t＝{i，e}是指图像的内部图像块与外部图像块。

8.根据权利要求1所述的一种基于结构降化模型的半参考图像质量评价方法，其特征在于，第七步中，所述的非线性变换：

$G\left(D_{s,t,N}\right)={\mathrm{\&alpha;}}_{t,p}{\left(D_{s,t,N}\right)}^{{\mathrm{\&beta;}}_{s,t,p}}+{\mathrm{\&gamma;}}_{s,t,p}\left\{\begin{array}{c}{\left(D_{s,t,N}\right)}^{{\mathrm{\&delta;}}_{s,t,p}}{,D}_{s,t,N}\&GreaterEqual;0\\ {\left({-D}_{s,t,N}\right)}^{{\mathrm{\&epsiv;}}_{s,t,p}},D_{s,t,N<0}\end{array}\right.$

其中，s＝{m，v}、t＝{i，e}、p＝{l，h}，s＝{m，v}中m、v分别是指图像F_μ滤波与F_σ滤波后图像，t＝{i，e}中的i、e是指图像的内部图像块与外部图像块，α_t，p、β_s，t，p、γ_s，t，p、δ_s，t，p与ε_s，t，p为模型参数由训练获得；

所述的图像质量评价指数SDM：

SDM＝∑_{s＝{m，v}，t＝{i，e}}G(D_s，t，N)；

s＝{m，v}是指图像F_μ滤波与F_σ滤波后图像，t＝{i，e}是指图像的内部图像块与外部图像块。