CN104123723A

CN104123723A - 基于结构补偿的图像质量评价方法

Info

Publication number: CN104123723A
Application number: CN201410323907.1A
Authority: CN
Inventors: 顾锞; 翟广涛; 许祺; 杨小康
Original assignee: Shanghai Jiaotong University
Current assignee: Shanghai Jiaotong University
Priority date: 2014-07-08
Filing date: 2014-07-08
Publication date: 2014-10-29

Abstract

本发明公开一种基于结构补偿的图像质量评价方法，该方法通过定义的模糊度来分辨出不同种类的图像失真类型，来补偿结构相似性模型无法根据不同种类失真图像的情况做出相应反馈的不足。根据在现有的LIVE数据库以及TID2008数据库上的测试结果来看，本发明大幅度提升了结构相似性模型的准确性，并且优于大部分主流全参考图像质量评价方法。此外，本发明中的结构补偿方法同时可以作为快速高效的图像失真类型分辨来单独使用，并且兼具了计算复杂度低，执行效率高的特点。

Description

基于结构补偿的图像质量评价方法

技术领域

本发明涉及的是一种图像质量评价领域，具体是一种基于结构补偿(StructureCompensation)的结构相似性模型(SSIM)的全参考图像质量评价方法(SC-SSIM)。

背景技术

随着诸如图像视频压缩、存储以及传输技术在多媒体领域的广泛应用，对于高效的图像质量评价技术的需求也在高速增长。现有的图像质量评价方法主要分为主观与客观两种。其中主观评价方法应当是最为贴近真实的，但是代价非常昂贵，同时十分浪费时间，并且这种主观评价方式在实时图像处理系统中是无法应用的。而对于客观质量评价，均方差(Mean-Squared Error)以及峰值信噪比(Peak Signal-to-Noise Ratio)这两种评价方法在当前有着非常广泛的应用，然而这两种方法并不能非常准确的与人们的主观评价结果相匹配。

考虑到这种状况，Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表了“Image quality assessment:From error visibility to structural similarity”，充分考虑到人类视觉认知系统，提出了一种全新的基于图像结构信息的客观图像质量评价方法，即结构相似指数(SSIM)。Z.Wang因此论文获得IEEE Signal Processing Society BestPaper Award。随后，大量的基于结构相似指数的改进方法纷纷涌现。例如，Z.Wang等人又在2011年《IEEE Transaction on Image Processing》发表的论文“Information contentweighting for perceptual image quality assessment”，提出基于信息内容加权的结构相似指数(IW-SSIM)等。此外，还有一些基于人类视觉认知系统的模型陆续提出，比如H.R.Sheikh等人在2006年《IEEE Transaction on Image Processing》发表的论文“Imageinformation and visual quality”，提出视觉信息保真度模型(VIF)等。然而，这些质量评价方式并没有考虑到对不同失真类型来进行相对的反馈。这促使我们去设计一种新的客观质量评价方法，将不同失真类型的不同反馈融入其中，从而提高客观图像质量评价的准确度。

发明内容

针对现有技术的不足，本发明提供一种基于结构补偿的图像质量评价方法，在本发明之中，通过定义的模糊度分辨出不同种类的图像失真类型，来补偿结构相似性模型无法根据不同种类失真图像的情况做出相应反馈的不足。

本发明是通过以下技术方案实现的，本发明包括以下步骤：

第一步、确定参考图X与失真图Y的结构相似指数SSIM(X，Y)；

第二步、确定参考图X与参考图X经过高斯低通滤波后的图像μ_X的结构相似指数，将结果定义为参考图X的模糊度AMB(X)；

第三步、确定失真图Y与失真图Y经过高斯低通滤波后的图像μ_Y的结构相似指数，结果为失真图Y的模糊度AMB(Y)；

第四步、确定参考图X的模糊度AMB(X)与失真图Y的模糊度AMB(Y)之差，将结果定义为参考图X与失真图Y的结构补偿SC(X，Y)；

第五步、将参考图X与失真图Y的结构相似指数SSIM(X，Y)与参考图X与失真图Y的结构补偿SC(X，Y)进行非线性组合，结果即为基于结构补偿的结构相似性指数SC-SSIM(X，Y)；

第六步、根据视频质量专家组VQEG的推荐，对SC-SSIM(X，Y)进行逻辑回归，得到新的质量指数SC-SSIM，该值越大则预测图像质量越好，值越小则预测图像质量越差。

本发明的原理是，不同种类失真的图像与其高斯低通滤波后图像的结构相似指数(SSIM)有着相应的不同种类的反馈，根据这种对应关系可以确定失真图像的失真类型可以来定义结构补偿(Structure Compensation)，并与现有的结构显示指数(SSIM)进行非线性组合，从而得到新的指数SC-SSIM。

与现有技术相比，本发明具有如下的有益效果：

根据在现有的LIVE数据库以及TID2008数据库上的测试结果来看，本发明大幅度提升了结构相似性模型的准确性，并且优于大部分主流全参考图像质量评价方法。此外，本发明第四步中获得的结构补偿同时可以作为快速高效的图像失真类型分辨来单独使用。值得注意的是，本发明方法仅依赖于结构相似性指数的计算函数，而无需引入其他复杂处理，这意味着本发明不仅显著提升了结构相似性模型评价方法的准确度，并且兼具了计算复杂度低，执行效率高的特点。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1是本发明一实施例总体流程图；

图2是本发明一实施例参考图模糊度确定方式演示图；

图3是本发明一实施例失真图模糊度确定方式演示图；

图4是本发明一实施例SC-SSIM在LIVE图像质量数据库上与主观评价值DMOS比较图；

图5是本发明一实施例SC-SSIM在TID2008图像质量数据库上与主观评价值MOS比较图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

实施例：

本实施例提供一种图像质量评价方法，具体综合流程图见图1。

第一步、确定参考图X与失真图Y的结构相似指数SSIM(X，Y)。具体如下：

i)分别利用下述公式计算图像X，Y的局部统计平均μ_x、μ_y，标准差σ_x、σ_y以及相关系数σ_xy：

μ_{x} = Σ_{i = 1}^{N} ω_{i} x_{i}

σ_{x} = {[Σ_{i = 1}^{N} ω_{i} {(x_{i} - μ_{x})}^{2}]}^{1 / 2}

μ_{y} = Σ_{i = 1}^{N} ω_{i} y_{i}

σ_{y} = {[Σ_{i = 1}^{N} ω_{i} {(x_{i} - μ_{y})}^{2}]}^{1 / 2}

σ_{xy} = Σ_{i = 1}^{N} ω_{i} (x_{i} - μ_{x}) (y_{i} - μ_{y})

其中N为图像被滤波窗口切分的数量。高斯权重窗口ω＝{ω_i|i＝1,2,3,…,N}，窗口大小11*11，标准差为1.5并且进行了归一化处理，具体窗口数值如下：

ii)分别计算图像X，Y的亮度l(x，y)、对比度c(x，y)以及结构相似度s(x，y)：

l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{μ_{x}^{2} + μ_{y}^{2} + C_{1}}

c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{σ_{x}^{2} + σ_{y}^{2} + C_{2}}

s (x, y) = \frac{2 σ_{x} σ_{y} + C_{3}}{σ_{x}^{2} + σ_{y}^{2} + C_{3}}

其中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₁/2。K₁＝0.01，K₂＝0.03，K为灰阶深度，如常用的8位图像，则L＝2⁸-1＝255；

iii)计算出图像X、Y的结构相似指数：

SSIM (X, Y) = \frac{1}{M} Σ_{i = 1}^{M} l (x_{i}, y_{i}) c (x_{i}, y_{i}) s (x_{i,} y_{i})

其中x_i，y_i分别为参考图X、失真图Y在第i个窗口的图像内容。

第二步、确定参考图X与参考图X经过高斯低通滤波后的图像μ_X的结构相似指数，结果为参考图X的模糊度AMB(X)，具体如下(见图2)：

其中高斯权重窗口ω＝{ω_i|i＝1,2,3,…,N}，窗口大小11*11，标准差为1.5并且进行了归一化处理，具体窗口数值如下：

1.06E-06	7.81E-06	3.70E-05	0.000112	0.000219	0.000274	0.000219	0.000112	3.70E-05	7.81E-06	1.06E-06	1.06E-06
												7.81E-06	5.77E-05	0.000274	0.000831	0.001619	0.002021	0.001619	0.000831	0.000274	5.77E-05	7.81E-06	7.81E-06
3.70E-05	0.000273561	0.001296	0.003937	0.007668	0.009577	0.007668	0.003937	0.001296	0.000274	3.70E-05	3.70E-05
												0.0001125	0.000831005	0.003937	0.01196	0.023294	0.029091	0.023294	0.01196	0.003937	0.000831	0.000112	0.0001125
0.0002191	0.001618578	0.007668	0.023294	0.045371	0.056662	0.045371	0.023294	0.007668	0.001619	0.000219	0.0002191
												0.0002736	0.002021359	0.009577	0.029091	0.056662	0.070762	0.056662	0.029091	0.009577	0.002021	0.000274	0.0002736
0.0002191	0.001618578	0.007668	0.023294	0.045371	0.056662	0.045371	0.023294	0.007668	0.001619	0.000219	0.0002191
												0.0001125	0.000831005	0.003937	0.01196	0.023294	0.029091	0.023294	0.01196	0.003937	0.000831	0.000112	0.0001125
3.70E-05	0.000273561	0.001296	0.003937	0.007668	0.009577	0.007668	0.003937	0.001296	0.000274	3.70E-05	3.70E-05
												7.81E-06	5.77E-05	0.000274	0.000831	0.001619	0.002021	0.001619	0.000831	0.000274	5.77E-05	7.81E-06	7.81E-06
1.06E-06	7.81E-06	3.70E-05	0.000112	0.000219	0.000274	0.000219	0.000112	3.70E-05	7.81E-06	1.06E-06	1.06E-06

所述的参考图X模糊度AMB(X)：

AMB(X)＝SSIM(X,μ_X)

其中SSIM(·)的计算方式与第一步中的相同。

第三步、确定失真图Y与失真图Y经过高斯低通滤波后的图像μ_Y的结构相似指数，结果为失真图Y的模糊度AMB(Y)，具体如下(具体见图3)：

所述的失真图Y模糊度AMB(Y)：

AMB(Y)＝SSIM(Y,μ_Y)

其中SSIM(·)的计算方式与第一步中的相同。

第四步、确定参考图X的模糊度AMB(X)与失真图Y的模糊度AMB(Y)之差，将结果定义为参考图X与失真图Y的结构补偿SC(X，Y)，具体如下：

SC(X，Y)＝AMB(X)–AMB(Y)

其中AMB(X)由第二步获得，AMB(Y)由第三步获得。

第五步、将参考图X与失真图Y的结构相似指数SSIM(X，Y)与参考图X与失真图Y的结构补偿SC(X，Y)进行非线性组合，将结果即为基于结构补偿的结构相似性指数SC-SSIM(X，Y)：

SC - SSIM (X, Y) = SSIM (X, Y) + α {(SC (X, Y))}^{γ_{1}} + \{\begin{matrix} β (SC (X, Y)) γ_{2}, SC &GreaterEqual; 0 \\ β {(SC (X, Y))}^{γ_{3}}, SC < 0 \end{matrix}

其中α、β、γ₁、γ₂和γ₃是模型的参数，在图像数据库上训练可得。其中α＝-2.8386，β＝1.5043，γ₁＝4.8668，γ₂＝1.4292，γ₃＝2.1988。

第六步、根据视频质量专家组VQEG的推荐，对SC-SSIM(X，Y)进行逻辑回归，得到最终的质量指数SC-SSIM。

所述的图像质量专家组VQEG推荐的逻辑回归方法：

q (x) = \frac{β_{1} - β_{2}}{1 + \exp (- \frac{x - β_{3}}{β_{4}})} + β_{2}

其中β₁至β₄由拟合时确定。β₁＝-25876，β₂＝105.2060，β₃＝3.0684，β₄＝0.3676。

在本发明中x即为权利要求6中的SC-SSIM(X,Y)，q(x)为最终的图像质量评价指标SC-SSIM，这个数值越大则预测图像质量越好，值越小则预测图像质量越差。

实施效果

依据上述步骤，对Laboratory for Image and Video Engineering(LIVE)数据库的所有779张图像，以及Tempere Image Database2008(TID2008)数据库中包含高斯白噪声、高斯模糊、JPEG与JPEG2000压缩类型的500张图像进行图像质量评价。利用视频质量专家组(VQEG)推荐的指标来与一些主流客观图像质量评价方法与本发明的方法进行比较，其中包括：Pearson Linear Correlation Coefficient(PLCC)、SpearmanRank-order Correlation Coefficient(SRCC)、Kendall’s Rank-order CorrelationCoefficient(KRCC)、Average Absolute Error(AAE)以及Root Mean-Squared Error(RMSE)。在LIVE数据库上的比较结果见表1，在TID2008数据库上的比较结果见表2，可以发现本发明中的SC-SSIM准确性优于大多主流评价方法。SC-SSIM在LIVE图像质量数据库上与主观评价值DMOS比较图见图4，在TID2008图像质量数据库上与主观评价值MOS比较图见图5。

表1

方法	PLCC	SRCC	KRCC	AAE	RMSE
						SSIM	0.9383	0.9478	0.7961	7.5251	9.4508
MS-SSIM	0.9402	0.9512	0.8043	7.4382	9.3121
						IW-SSIM	0.9425	0.9566	0.8174	7.4416	9.1344
VIF	0.9594	0.9633	0.8273	6.2323	7.7102
						VIFP	0.9594	0.9618	0.8249	6.1186	7.7143
DIP	0.9601	0.9642	0.8292	6.2206	7.6472
						SC-SSIM	0.9620	0.9655	0.8364	6.0727	7.4610

表2

方法	PLCC	SRCC	KRCC	AAE	RMSE
						SSIM	0.8576	0.8868	0.6939	0.5943	0.7563
MS-SSIM	0.8669	0.8858	0.693	0.5959	0.7332
						IW-SSIM	0.8977	0.914	0.7345	0.5218	0.6481
VIF	0.9178	0.9082	0.7373	0.4614	0.5838
						VIFP	0.9044	0.8872	0.7092	0.4995	0.6276
DIP	0.9212	0.9051	0.7286	0.4792	0.6113
						SC-SSIM	0.9211	0.9369	0.7776	0.4409	0.5727

表1与表2中所述的图像质量评价方法具体是指：

SSIM：Z.Wang等人在2004年《IEEE Transaction on Image Processing》上发表的“Image quality assessment: From error visibility to structural similarity”；

MS-SSIM：Z.Wang等人在2003年《IEEE Asilomar Conference on Signal,System andComputers》上发表的“Multi-scale structural similarity for image quality assessment”；

IW-SSIM：Z.Wang等人在2011年《IEEE Transaction on Image Processing》上发表的“Information content weighting for perceptual image quality assessment”；

VIF：H.R.Sheikh等人在2006年《IEEE Transaction on Image Processing》发表的“Image information and visual quality”；

VIFP：H.R.Sheikh等人在2006年《IEEE Transaction on Image Processing》发表的“Image information and visual quality”；

DIP：K.Gu等人在2012年期刊《Signal,Image and Video Processing》发表的“A newpsychovisual paradigm for image quality assessment:from differentiating distortion types todiscriminating quality conditions”。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims

1.一种基于结构补偿的图像质量评价方法，其特征在于包括以下步骤：

第一步、确定参考图X与失真图Y的结构相似指数SSIM(X，Y)；

2.根据权利要求1所述的基于结构补偿的图像质量评价方法，其特征是，所述第一步，具体实现如下：

μ_{x} = Σ_{i = 1}^{N} ω_{i} x_{i}

σ_{x} = {[Σ_{i = 1}^{N} ω_{i} {(x_{i} - μ_{x})}^{2}]}^{1 / 2}

μ_{y} = Σ_{i = 1}^{N} ω_{i} y_{i}

σ_{y} = {[Σ_{i = 1}^{N} ω_{i} {(x_{i} - μ_{y})}^{2}]}^{1 / 2}

σ_{xy} = Σ_{i = 1}^{N} ω_{i} (x_{i} - μ_{x}) (y_{i} - μ_{y})

其中N为图像被窗口切分的数量，高斯权重窗口ω＝{ω_i|i＝1,2,3,…,N}，每个窗口大小11*11，标准差为1.5并且进行了归一化处理；

l (x, y) = \frac{2 μ_{x} μ_{y} + C_{1}}{μ_{x}^{2} + μ_{y}^{2} + C_{1}}

c (x, y) = \frac{2 σ_{x} σ_{y} + C_{2}}{σ_{x}^{2} + σ_{y}^{2} + C_{2}}

s (x, y) = \frac{2 σ_{x} σ_{y} + C_{3}}{σ_{x}^{2} + σ_{y}^{2} + C_{3}}

其中C₁＝(K₁L)²，C₂＝(K₂L)²，C₃＝C₁/2，K₁＝0.01，K₂＝0.03，L为灰阶深度；

iii)计算出图像X、Y的结构相似指数：

SSIM (X, Y) = \frac{1}{M} Σ_{i = 1}^{M} l (x_{i}, y_{i}) c (x_{i}, y_{i}) s (x_{i,} y_{i})

3.根据权利要求2所述的基于结构补偿的图像质量评价方法，其特征是，所述第二步中，参考图X模糊度AMB(X)：

AMB(X)＝SSIM(X,μ_X)

其中SSIM(·)的计算方式与权利要求2中的相同。

4.根据权利要求2所述的基于结构补偿的图像质量评价方法，其特征是，所述第三步中，失真图Y模糊度AMB(Y)：

AMB(Y)＝SSIM(Y,μ_Y)

其中SSIM(·)的计算方式与权利要求2中的相同。

5.根据权利要求1-4任一项所述的基于结构补偿的图像质量评价方法，其特征是，所述第四步中，参考图X与失真图Y的结构补偿SC(X，Y)：

SC(X，Y)＝AMB(X)–AMB(Y)。

6.根据权利要求1-4任一项所述的基于结构补偿的图像质量评价方法，其特征是，所述第五步，具体实现如下：

所述的结构相似指数SSIM(X，Y)与结构补偿SC(X，Y)的非线性组合：

SC - SSIM (X, Y) = SSIM (X, Y) + α {(SC (X, Y))}^{γ_{1}} + \{\begin{matrix} β (SC (X, Y)) γ_{2}, SC &GreaterEqual; 0 \\ β {(SC (X, Y))}^{γ_{3}}, SC < 0 \end{matrix}

其中α、β、γ₁、γ₂和γ₃是模型的参数，在图像数据库上训练得到：其中α＝-2.8386，β＝1.5043，γ₁＝4.8668，γ₂＝1.4292，γ₃＝2.1988。

7.根据权利要求1-4任一项所述的基于结构补偿的图像质量评价方法，其特征是，所述第六步，具体实现如下：

所述的图像质量专家组VQEG推荐的逻辑回归方法：

q (x) = \frac{β_{1} - β_{2}}{1 + \exp (- \frac{x - β_{3}}{β_{4}})} + β_{2}

其中β₁至β₄由拟合时确定，β₁＝-25876，β₂＝105.2060，β₃＝3.0684，β₄＝0.3676；

x即为SC-SSIM(X,Y)，q(x)为最终的图像质量评价指标SC-SSIM。