CN102036098B - 一种基于视觉信息量差异的全参考型图像质量评价方法 - Google Patents

Abstract

本发明涉及一种利用视觉信息量的差异来定量评价失真图像质量的全参考型图像质量评价方法。该方法首先对图像进行可选择的预处理操作，然后分别计算参考图像与失真图像对应各点的自视觉信息量差异值与邻域视觉信息量差异值，综合二者求取各点的视觉信息量差异值，最终以各点视觉信息量差异值的加权和作为失真图像质量评价值。本图像质量评价方法不但性能稳定、易于实施、评价结果符合人眼主观感受，而且与同类算法相比时间复杂度更低，更加适合应用于对实时性要求较高的图像质量评价及图像处理应用领域。

Description

一种基于视觉信息量差异的全参考型图像质量评价方法

技术领域

本发明涉及一种图像质量评价方法，尤其涉及一种利用视觉信息量的差异来定量评价失真图像质量的方法，属于数字图像处理技术领域。

背景技术

图像质量评价在数字图像处理领域中发挥着十分重要的作用。在图像压缩、图像恢复及图像水印等应用中都会涉及到图像质量评价的问题。最有效的图像质量评价是人的主观评价，但是人的主观评价过程繁琐、稳定性差，在实际应用中难于实施，因此人们迫切需要设计有效的客观质量评价方法来近似反映主观感受。

根据对参考图像的参考程度，图像质量客观评价方法一般分为三类：第一类是全参考型图像质量评价方法，此类方法利用全部参考图像信息，通过计算其与失真图像之间的差异对图像质量进行评价；第二类是部分参考型图像质量评价方法，此类方法仅利用参考图像部分信息来估计失真图像的视觉感知质量；第三类是无参考型图像质量评价方法，该类方法是一种不需要参考图像任何信息，直接对失真图像进行评价的方法。其中，全参考型方法是目前评价准确性最高的一类评价方法，已广泛应用于图像处理的众多领域。

传统的全参考型图像质量评价方法，以PSNR(Peak Signal to NoiseRate)为代表，从纯数学的角度计算参考图像与失真图像数值差别以表现失真程度。这类方法实现简单、计算速度快，但往往与人的主观感受不一致，难以有效表现图像的真实失真程度。随着对人眼视觉特性的深入研究，基于人眼视觉特性的评价方法开始被提出。这类方法通过模拟人眼视觉特性对图像失真的感受进行分析，相比而言可以更加有效地表现图像的真实失真。但是，由于人眼视觉特性的复杂性以及现有研究的局限性，这类方法的评价能力仍有很大的局限性，并且时间复杂度相对较高。近年来，以SSIM(Structural Similarity)、VIF(VisualInformation Fidelity)为代表，基于结构信息辨识的评价方法得到广泛的研究。这类方法避免对复杂人眼视觉特性的模拟，通过计算图像间结构信息的差别来度量图像的失真程度，因此与人的主观感受更接近，日益成为当前研究的热点。目前，已有众多文献对这类方法进行了深入研究，并进一步改善了评价效果。例如楼斌等在论文《基于失真模型的结构相似度图像质量评价》(刊载于《浙江大学学报(工学版)》第43卷第5期)中，提出了一种基于图像失真模型及失真视觉特性的图像质量评价方法。该论文将图像失真分解为局部线性模糊及加性噪声，通过质量敏感区域加权与噪声SSIM补偿，实现各种失真类型SSIM的聚合以提高综合评价性能。实验结果表明，这种方法能够有效评价不同失真类型及失真强度的图像质量，优于SSIM算法。

客观质量评价方法不仅可以作为评判图像质量的标准，而且已被广泛地用于图像处理的众多应用领域中。如在图像压缩过程中，可以将客观评价值的最大化作为率失真优化的准则，以提高图像最终的压缩恢复质量。由于很多实际应用领域对图像质量评价算法的实时性要求较高(如卫星遥感图像实时压缩)，而现有的基于结构信息辨识的评价方法具有较高的算法时间复杂度，不利于在实时性要求较高的图像处理领域使用。因此，如何设计评价准确性相对更好，而时间复杂度更低的图像质量评价方法就成为图像质量评价研究的重要内容之一。

发明内容

本发明所要解决的技术问题在于提供一种基于视觉信息量差异的全参考型图像质量评价方法。该方法的时间复杂度相对较低，评价效果更为准确，适用于多种不同类型的失真图像。

为实现上述发明目的，本发明采用如下所述的技术方案：

一种基于视觉信息量差异的全参考型图像质量评价方法，其特征在于，包括如下步骤：

步骤一：分别读取参考图像与失真图像，计算所述参考图像与所述失真图像各对应像素点的视觉信息量差异值，其中所述视觉信息量差异值为自视觉信息量差异值与邻域视觉信息量差异值进行综合的结果；

步骤二：计算所述参考图像与所述失真图像中各对应像素点的视觉信息量差异值的加权和，作为最终的图像质量评价值。

其中，在所述步骤一中，所述视觉信息量差异值利用如下公式计算：

V(x_i，y_i)＝[s(x_i，y_i)]^α[n(x_i，y_i)]^β其中V(x_i，y_i)为视觉信息量差异值，x_i、y_i分别表示参考图像中某点i的亮度值及其在失真图像中对应点的亮度值，s(x_i，y_i)表示点i的自视觉信息量差异值，n(x_i，y_i)表示点i的邻域视觉信息量差异值，α＞0、β＞0分别为重要性参数。

所述自视觉信息量差异值s(x_i，y_i)利用如下公式计算：

$s(x_i,y_i)=\frac{2x_i{y}_i+k_1}{{x_i}^2+{y_i}^2+k_1}$

其中x_i、y_i分别表示参考图像中点i的亮度值及其在失真图像中对应点的亮度值，k₁为用于防止除数为零的常数。

所述邻域视觉信息量差异值n(x_i，y_i)利用如下公式计算：

$n(x_i,y_i)=\frac{2D_{x_i}{D}_{y_i}+k_2}{{D_{x_i}}^2+{D_{y_i}}^2+k_2}$

其中

分别表示参考图像中点i的邻域信息及其在失真图像中对应点的邻域信息，k₂为用于防止除数为零的常数。

所述

分别利用如下公式计算：

$D_{x_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{x}_j-x_i|$

$D_{y_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{y}_j-y_i|$

其中X_I＝{x_j|j＝1，2，…N}表示点x_i的邻域各点，Y_I＝{y_j|j＝1，2，…N}表示点y_i的邻域各点，ω＝{ω_j |j＝1，2，…N}，(ω_j＞0，∑ω_j＝1)表示邻域各点对点i的影响权重。

在计算图像边缘处点的邻域信息时，首先对图像进行边界延拓，再进行后续计算。

在所述步骤一之前，对所述参考图像与所述失真图像分别进行图像尺度变换。

所述图像尺度变换包括如下子步骤：

(1)令L＝max(1，floor(min(W/256，H/256))，其中W、H分别为图像长度和宽度，min(*)表示求最小值，floor(*)表示向下取整，max(*)表示求最大值；

(2)以L为窗口对参考图像和失真图像分别进行均值滤波；

(3)对均值滤波后的数据分别进行以L为因子的下采样，获得尺度变换后的数据作为计算质量评价值时的参考图像和失真图像。

本发明立足于分析人眼获取信息量的过程，通过综合比较视觉信息量的变化对图像失真情况进行评价，与现有技术相比有如下特点：

1.通过分析图像信号传递人眼并转换为视觉信号后所包含的视觉信息量及其决定因素，将视觉信息量定义为一个条件信息量，即邻域视觉信息量确定条件下的视觉信息量。图像失真的程度决定于各点自视觉信息量和邻域视觉信息量变化情况。

2.评价性能好，与人眼主观感受更为一致。实验结果表明，与当前应用较为广泛的PSNR、SSIM等评价方法相比，本评价方法与主观评价分数的相关性更高，评价更为准确。

3.时间复杂度相对较低，更适合实时应用于图像处理的各项技术。实验结果表明，本评价方法在保证评价效果的情况下，运算速度比同类算法更加快速，更加适合应用于遥感图像压缩、视频编码等实时性要求较高的技术领域。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为本图像质量评价方法的整体实施流程图；

图2为邻域点对点i的影响程度示意图；

图3为图像边界延拓示意图；

图4为各种客观评价方法的评价结果的散点分布图。

具体实施方式

本图像质量评价方法的整体设计思路基于对空域图像转换为人眼视觉信号时所传递的视觉信息量的分析。具体而言，人眼观察图像的过程实际是图像所包含的信息量传递至人眼并转换为视觉信号的过程。由于观察方式的影响及人眼视觉特性的作用，当人在观察图像空域上某点时，能够获得的信息量往往与该点统计意义上的信息熵不相等。这个信息量可以定义为视觉信息量，即视觉信息量就是指空域图像信号经人眼转换为人脑神经信号后所包含的信息量。如同使用图像采集设备从现实环境中获取图像一样，这种信息的传递必然包含某种形式的信号转换与量化。

根据对人眼视觉特性的研究，人眼对于图像中某点的视觉感受不仅仅决定于该点的亮度值，同时会受到该点周围各点(邻域点)的影响(如掩蔽效应、对比敏感性等)，也就是说人眼是在周围点确定的情况下，从某点获得视觉信息的。因此，可以认为图像中某点的视觉信息量实际上是一个条件信息量，即邻域视觉信息量确定条件下的视觉信息量。决定其值大小的因素包括两部分——当前点的自视觉信息量和邻域视觉信息量。自视觉信息量就是指当前点本身所包含的视觉信息量，邻域视觉信息量是指当前点周围邻居点的视觉信息量。无论是像素点自视觉信息量还是邻域视觉信息量的改变都会对当前点的视觉信息量产生影响，造成人眼对当前点的失真感受。因此，当对图像进行全参考方式评价时，需要综合考虑两类变化——图像点自身变化及其周围邻域的变化。

基于上述的分析思路，本图像质量评价方法分析了人眼获取图像信号时实际接收的视觉信息量，将其定义为一个条件信息量。通过计算图像失真时影响视觉信息量各因素的变化程度(即各点及其邻域的相对变化)来评价图像的失真程度，快速有效地对图像质量进行评价。它的主要实施流程如图1所示，包括如下的具体步骤：

步骤一：分别读取参考图像与失真图像，并进行预处理操作。

图像的主观感受与图像的分辨率、观察图像的距离和观察者视觉感知能力有关。本图像质量评价方法综合考虑了图像分辨率和观察距离对图像评价的影响，在读取图像数据后，设计了对图像尺度进行变换的预处理过程。同时，考虑到在图像处理实时应用中有时需要对图像逐点计算差异值，因此，本图像质量评价方法将此图像尺度变换的预处理过程设计为可选步骤。在实现图像质量评价时，可以设置一个参数以确定是否需要进行图像尺度变换(默认为进行变换)。

在选择进行图像尺度变换的情况下，分别对参考图像及恢复图像执行下列操作：

(1)令L＝max(1，floor(min(W/256，H/256))，其中W、H分别为图像长度和宽度，min(*)表示求最小值，floor(*)表示向下取整，max(*)表示求最大值；

(2)以L为窗口对参考图像和失真图像分别进行均值滤波；

(3)对均值滤波后的数据分别进行以L为因子的下采样，获得尺度变换后的数据作为计算质量评价值时的参考图像和失真图像。

步骤二：计算失真图像中各像素点的视觉信息量。

假设X＝{x_i|i＝1，2，…M}和Y＝{y_i|i＝1，2，…M}分别表示参考图像与失真图像。

将图像中某点i的视觉信息量差异函数定义为：

V(x_i，y_i)＝f(s(x_i，y_i)，n(x_i，y_i))

其中s(x_i，y_i)表示点i自视觉信息量的改变，n(x_i，y_i)表示点i邻域视觉信息量的改变，f(*)为联合函数。

首先，利用如下公式计算点i自身的改变，即自视觉信息量差异值，记为s(x_i，y_i)。

$s(x_i,y_i)=\frac{2x_i{y}_i+k_1}{{x_i}^2+{y_i}^2+k_1}$

其中x_i、y_i分别表示参考图像中点i的亮度值及其在失真图像中对应点的亮度值。k₁为常数，用于防止除数为零。当x_i＝y_i时，s(x_i，y_i)＝1，表示两点的视觉信息量没有差别，s(x_i，y_i)会随着x_i与y_i的差值绝对值的增大而逐渐减小，并向0趋近，表示x_i与y_i数值相差越多两点的视觉信息量差别越大。

然后，利用如下公式计算点i邻域的改变，即邻域视觉信息量差异值，记为n(x_i，y_i)。

$n(x_i,y_i)=\frac{2D_{x_i}{D}_{y_i}+k_2}{{D_{x_i}}^2+{D_{y_i}}^2+k_2}$

其中

分别表示参考图像中点i的邻域信息及其在失真图像中对应点的邻域信息。k₂为常数，用于防止除数为零。当

时，n(x_i，y_i)＝1，表示两邻域视觉信息量没有差别，n(x_i，y_i)会随着

与

的差值绝对值的增大而逐渐减小，并向0趋近，表示

与

数值相差越多两邻域的视觉信息量差别越大。

对于邻域信息D，使用邻域平均亮度值与点i的差值绝对值来计算，即将邻域信息D表示为相对信息。于是：

$D_{x_i}=|\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{x}_j-x_i|$

$D_{y_i}=|\frac{i}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{y}_j-y_i|$

其中X_I＝{x_j|j＝1，2，…N}表示点x_i的邻域各点，Y_I＝{y_j|j＝1，2，…N}表示点y_i的邻域各点。进一步考虑到邻域点对点i的影响会因其相互距离的不同而不同(如图2)，于是将均值改为加权平均值，最终得到：

$D_{x_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{x}_j-x_i|$

$D_{y_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{y}_j-y_i|$

其中X_I＝{x_j|j＝1，2，…N}表示点x_i的邻域各点，Y_I＝{y_j|j＝1，2，…N}表示点y_i的邻域各点，ω＝{ω_j|j＝1，2，…N}，(ω_j＞0，∑ω_j＝1)表示邻域各点对点i的影响权重。由人眼视觉特性可知，邻域点对点i的影响权重ω_j会随该点距离点i的增大而减小，因此，在具体计算时可依据邻域点与点i的距离，选用适当的权值模型。

在计算图像边缘处点的邻域信息D时，可以对图像首先进行边界延拓，再进行计算。边界延拓的方法如图3所示，其中I表示图像区域，其余区域表示延拓区域。延拓时可参考小波变换边界延拓方法(如对称延拓)。I_s可由I水平方向延拓产生，I_t可由I垂直方向延拓产生，I_s区域的值可取I_s垂直方向延拓值与I_t水平方向延拓值的均值。延拓尺寸为邻域计算尺寸的1/2(向下取整)。

最后，将自视觉信息量差异值与邻域视觉信息量差异值进行综合，可利用如下的公式计算点i的视觉信息量差异值。

V(x_i，y_i)＝[s(x_i，y_i)]^α[n(x_i，y_i)]^β

其中α＞0、β＞0分别为重要性参数，用于调整自视觉信息量差异与领域视觉信息量差异在图像质量评价时的重要程度，其值可以通过实验进一步调整(默认值设为α＝β＝1)。

对于自视觉信息量差异值与邻域视觉信息量差异值的综合，并不局限于上述计算公式，也可采用其它能够综合体现两种信息量差异的公式，如V(x_i，y_i)＝αs(x_i，y_i)+βn(x_i，y_i)，(α＞0、β＞0分别为重要性参数)。

步骤三：计算参考图像与失真图像对应各点视觉信息量差异值的加权和作为最终的图像质量评价值。

具体计算公式如下：

$V(X,Y)=\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{w}_{i}V(x_i,y_i)$

其中V(x_i，y_i)表示点i的视觉信息量差异值，w_i表示点i的评价权重

M表示图像像素点个数。权重w_i可以依据对各点的感兴趣程度等其它因素确定(默认值设为w_i＝1/M，(i＝1，2，...M))。例如可以结合人眼视觉敏感性模型，对人眼视觉相对敏感的区域加大评价权重，从而使得评价结果更加符合人眼的主观感受。

本图像质量评价方法通过计算图像失真时影响视觉信息量各因素的变化程度评价图像的失真程度，可以有效快速地对图像失真程度进行评价。其优点通过以下的实验结果进一步得到体现：

本实验参考VQEG(Video Quality Experts Group)Phase II中的性能比较方法，比较了本发明提出的方法与PSNR、SSIM、MS-SSIM、VIF、WSNR、NQM的评价效果，并且分析了评价效果较好的几种算法的时间复杂度。

选择在图像评价研究中被广泛使用的LIVE图像库(包含Fast fading、Gaussian blur、JPEG2000、JPEG、White noise 5种失真方式构造的779幅失真图像)，分别计算各方法的评价结果。本实验使用Matlab实现本发明(未进行尺度变换的算法记为V，进行尺度变换的算法记为MS-V)，计算时设置参数k₁＝k₂＝2.5，ω为5×5对称高斯加权函数，α＝β＝1、w_i＝1/M，(i＝1，2，...M)。

图4为各客观评价方法评价结果的散点分布图。由散点图可以发现SSIM、MS-SSIM、MS-V、V、VIF相比而言比WSNR、NQM、PSNR散点分布更为集中，其中以MS-V和VIF散点分布最为集中。

表1为各客观评价分数的回归映射值与主观分数之间的相关系数(Correlation Coefficients)比较。对比可知，无论对于各失真类型进行混合评价还是对于不同失真类型分别评价，VIF、MS-V、V与主观评价分数都有较高的一致性，更加符合人眼的主观感受。

表1相关系数统计表

	FF	Gblur	JP2K	JPEG	WN	ALL data
							PSNR	0.8894	0.7834	0.8986	0.8875	0.9842	0.8700
NQM	0.8348	0.8777	0.9500	0.9720	0.9831	0.9120
							WSNR	0.8765	0.9166	0.9250	0.9657	0.9743	0.9144
SSIM	0.9429	0.9104	0.9562	0.9645	0.9582	0.9316
							MS-SSIM	0.9337	0.9226	0.9628	0.9677	0.9430	0.9377
V	0.9524	0.9313	0.9598	0.9760	0.9695	0.9382
							MS-V	0.9596	0.9480	0.9729	0.9828	0.9597	0.9517
VIF	0.9650	0.9707	0.9844	0.9883	0.9787	0.9686

与评价效果相对较好的SSIM、VIF比较，本发明提出的方法在时间复杂度上有较明显的优势。VIF需要进行复杂的小波变换及失真参数计算，时间复杂度较高，在图像处理实时应用时有明显的局限性。SSIM的时间复杂度约为O[(5N+18)M]，其中N为邻域窗口像素个数，M为图像像素个数。本发明的时间复杂度约为O[(2N+20)M]，不到S SIM的1/2。

为更加直观的比较，本实验分别统计了上述方法的实际运算速度。在Intel(R)Core(TM)2DUO CPU P87002.53GHz个人电脑上，使用MATLAB 7.0，计算512×512像素图像的各客观评价值，统计各自运算时间。实验结果如表2。

表2算法运算时间统计表

由表可知，算法V的计算时间约为S SIM的1/2，为VIF的1/26，为三种算法中时间复杂度最低的算法，在保证图像质量评价效果的情况下更加适合图像处理的实时应用。MS-SSIM与MS-V由于在计算前对图像进行了滤波下采样，实际计算图像尺寸成倍减少，因此速度进一步提高，其中MS-V约为MS-SSIM的1/2。

综上所述，综合考虑评价效果与评价速度可以发现，本图像质量评价方法既能够具有较好的评价效果，又能够有效地降低评价时间，更加适合应用于对实时性要求较高的图像质量评价及图像处理应用领域。

对本领域的一般技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (7)

1.一种基于视觉信息量差异的全参考型图像质量评价方法，其特征在于，包括如下步骤：

步骤一：分别读取参考图像与失真图像，计算所述参考图像与所述失真图像各对应像素点的视觉信息量差异值，所述视觉信息量差异值为自视觉信息量差异值与邻域视觉信息量差异值进行综合的结果，利用如下公式计算：

V(x_i，y_i)＝[s(x_i，y_i)]^α[n(x_i，y_i)]^β

其中V(x_i，y_i)为视觉信息量差异值，x_i、y_i分别表示参考图像中某点i的亮度值及其在失真图像中对应点的亮度值，s(x_i，y_i)表示点i的自视觉信息量差异值，n(x_i，y_i)表示点i的邻域视觉信息量差异值，α＞0、β＞0分别为重要性参数；

步骤二：计算所述参考图像与所述失真图像中各对应像素点的视觉信息量差异值的加权和，作为最终的图像质量评价值。

2.如权利要求1所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

所述自视觉信息量差异值s(x_i，y_i)利用如下公式计算：

$s(x_i,y_i)=\frac{2x_i{y}_i+k_1}{{x_i}^2+{y_i}^2+k_1}$

其中x_i、y_i分别表示参考图像中点i的亮度值及其在失真图像中对应点的亮度值，k₁为用于防止除数为零的常数。

3.如权利要求1所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

所述邻域视觉信息量差异值n(x_i，y_i)利用如下公式计算：

$n(x_i,y_i)=\frac{{2D}_{x_i}{D}_{y_i}+k_2}{{D_{x_i}}^2+{D_{y_i}}^2+k_2}$

其中

分别表示参考图像中点i的邻域信息及其在失真图像中对应点的邻域信息，k₂为用于防止除数为零的常数。

4.如权利要求3所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

所述

分别利用如下公式计算：

$D_{x_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{x}_j-x_i|$

$D_{y_i}=|\underset{j=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ω}}_j{y}_j-y_i|$

其中X_I＝{x_j|j＝1，2，…N}表示点x_i的邻域各点，Y_I＝{y_j|j＝1，2，…N}表示点y_i的邻域各点，ω＝{ω_j|j＝1，2，…N}，ω_j＞0，∑ω_j＝1表示邻域各点对点i的影响权重。

5.如权利要求3所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

在计算图像边缘处点的邻域信息时，首先对图像进行边界延拓，再进行后续计算。

6.如权利要求1所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

在所述步骤一之前，对所述参考图像与所述失真图像分别进行图像尺度变换。

7.如权利要求6所述的基于视觉信息量差异的全参考型图像质量评价方法，其特征在于：

所述图像尺度变换包括如下子步骤：

(1)令L＝max(1，floor(min(W/256，H/256))，其中W、H分别为图像长度和宽度，min(*)表示求最小值，floor(*)表示向下取整，max(*)表示求最大值；

(2)以L为窗口对参考图像和失真图像分别进行均值滤波；

(3)对均值滤波后的数据分别进行以L为因子的下采样，获得尺度变换后的数据作为计算质量评价值时的参考图像和失真图像。

Images