CN103077514A - 一种基于全变分的视觉感知图像质量评价方法 - Google Patents

Abstract

本发明公开了一种基于全变分的视觉感知图像质量评价方法，引入全变分测度来评价图像的结构信息，采用失真图像和其参考图像之间的全变分差值用来作为图像结构信息的一个测度、采用亮度差分图像中封闭区域的能量来度量丢失的亮度信息；通过对归一化的结构信息测度和归一化的能量信息测度进行加权，得到基于全变分的视觉感知图像质量评价结果。包括以下基本流程：输入失真图像，输入原始参考图像；用结构信息测度度量失真图像结构信息的改变，采用能量信息测度度量失真图像亮度信息的改变；将归一化的结构信息测度和归一化的能量信息测度进行加权，得到基于全变分的视觉感知图像质量评价结果。

Description

一种基于全变分的视觉感知图像质量评价方法

技术领域

本发明涉及一种符合人眼视觉主观感知的图像质量评价方法，尤其涉及一种基于参考图像的客观图像质量自动计算评价方法。

背景技术

图像视觉质量评价在实际中具有很多应用。比如：在许多视觉处理算法和系统设计以及实施过程中，图像视觉质量评价在测试、优化算法和系统的性能中起到重要作用。由于人眼视觉系统是图像信息的最终接受者，所以主观测试是图像质量评价的一个最直接的方法。主观质量评价的平均意见得分方法(MOS)已经使用了许多年。虽然这种评价方法能够比较真实的反应人眼视觉的主观感受，但是，这种方法耗时耗力，不适合在图像处理等方面应用。因此，在实际工程应用和科学研究中，自动计算图像视觉质量的客观评价方法显得十分必要。

随着多媒体应用的迅速发展，图像视觉质量的客观评价方法在视频图像处理等领域起着非常重要的作用。图像视觉质量的客观评价方法不仅可以用来动态地监测和调整图像质量、优化算法，还能够校准图像处理系统等。近年来，很多科技人员投入大量精力开发与人类视觉行为相关的图像质量评价准则以客观的评价图像质量。

在图像质量的客观评价方法中，根据对参考图像的依赖程度，客观图像质量评价方法可分为全参考图像评价方法、部分参考图像评价方法和无参考图像评价方法三种。全参考图像质量评价方法，相对于部分参考图像评价方法和无参考图像评价方法更尊重客观图像的真实感知，需要依据原始参考图像来评价、计算失真图像的质量。全参考图像质量评价方法的关键，在于如何采用自动计算方法来衡量图像的真实视觉感受。

全参考图像质量评价方法的实质，即如何测量一幅失真图像和其原始参考图像之间的距离。目前，全参考图像质量评价方法可以分为两大类。一类是基于人眼视觉系统建模的方法。该类方法一直被视为衡量和评测图像质量最合适的方法。该类方法的基本假设是：人类视觉系统对视觉信号在某些方面的差异十分敏感，比如：亮度、对比度、和频率等成分。基于该假设，失真图像和其参考图像之间的差异强度反映了人类视觉系统不同的感知灵敏度。基于人类视觉系统的特征来构建图像质量客观评价方法，大多是基于相关的心理物理特性和生理知识的系统建模，包括时间/空间/色彩分解，对比敏感度函数，亮度匹配，以及不同的掩蔽效应等。目前，提出了许多基于人类视觉系统的图像质量评价方法。然而，视觉研究的知识，与视觉模型构建的需求之间的差距，使得基于人类视觉系统特征的方法涉及大量的计算，实现起来十分困难。

另一类全参考图像质量评价方法是从信号的保真度方面来考虑设计。这类方法为满足人类视觉系统对图像质量的要求，考虑提取图像信号结构的丢失信息来评价失真图像质量。近年来，大量的研究工作一直集中在信号驱动的感知图像质量评价方法，从信号提取和分析的角度出发，考虑图像信号的特性，比如：统计特征，结构/亮度失真。如典型的评价方法如均方误差(MSE)、峰值信噪比(PSNR)等。这类评价方法并不是想建立一个与质量评价相关的综合的人类视觉系统模型，而是考虑图像信号本身对人类心理、生理方面的影响，通常基于图像内容和失真分析来表示图像的特征，进而估计图像的整体质量。尽管一些基于信号保真度设计的评价方法能够反映图像质量的变化，但这些方法无法预测真实的人类视觉感知，不能真实的描述人类视觉的主观感。

因此，基于信号保真度设计的质量评价方法，迫切的需要考虑人类视觉系统的特征并帮助解决这些问题，从而使这类方法能够更好地逼近人眼对图像真实的视觉感知质量。

发明内容

本发明的目的就在于为了解决上述问题而提供一种计算更简单、结果更准确的符合人类视觉感知的客观图像质量评价方法。该评价方法是一种空间域的一种基于全变分测度的视觉感知图像质量评价方法。

为了达到上述目的，本发明采用了以下技术方案：

本发明所述一种基于全变分的视觉感知图像质量评价方法是一种空域的基于全变分的视觉感知图像质量评价方法，考虑到自然图像信号图像本身的特点以及人类视觉对图像中封闭平滑区域的亮度变化的敏感特点，从而采用全变分来描述图像结构信息的改变；采用差分图像封闭区域的能量来刻画亮度信息的变化，并将上述两个因素进行加权，得到最终的图像质量评价结果。包括以下流程：

1、输入失真图像，输入原始参考图像；

2、用结构信息测度度量失真图像结构信息的改变μ₁；采用能量信息测度度量失真图像亮度信息的改变μ₂。

3将归一化的结构信息测度和归一化的能量信息测度进行加权，得到基于全变分的视觉感知图像质量评价结果μ。

μ＝α₁·μ₁+α₂·μ₂(式I)

式I中，α₁和α₂表示权重系数。

本发明具体步骤如下：

1、将输入失真图像和参考图像；

2、进行亮度图像计算：从而得到输入失真图像和参考图像的亮度图像。亮度计算公式为：

I＝0.27×R+0.67×G+0.06×B        (式II)

式II中，R，G，B分别为输入图像各通道上的亮度值。

3、进行结构信息测度计算，得到结果μ₁。具体步骤：记失真亮度图像为u，原始参考亮度图像为μ₀。将失真亮度图像与原始参考亮度图像进行逐像素全变分比较，得到归一化的结构信息测度的结果μ₁为

${\mathrm{\μ}}_1=\frac{1}{N}\mathrm{\Σ}\frac{2\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\sqrt{{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2}+c}{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2+{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2+c}$ (式III)

式III中，u_i，j表示在像素(i，j)处的亮度值，N表示图像尺寸大小，c为常量。

4、进行能量信息测度计算，得到结果μ₂。具体步骤：记失真亮度图像为u，原始参考亮度图像为u₀，亮度差分图像为r＝u₀-u。经过能量信息计算，得到亮度差分图像的能量测度结果E_r为

$E_r=\frac{1}{N}\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}((r_{i,j}-\stackrel{\‾}{r})(r_{i+1,j}-\stackrel{\‾}{r})+(r_{i,j}-\stackrel{\‾}{r})(r_{i,j+1}-\stackrel{\‾}{r}))$ (式IV)

式IV中，Ω表示亮度差分图像的整个图像区域，r_i，j表示亮度差分图像在(i，j)位置处像素的亮度，

表示亮度差分图像的亮度均值，即

记最大能量失真亮度图像为

表示原始参考亮度图像的亮度均值。将能量信息计算的结果E_r和能量信息计算的结果

进行归一化，得到能量信息测度结果μ₂为

${\mathrm{\μ}}_2=1-\sqrt{\frac{E_r}{E_{r_{\max }}}}.$ (式V)

5、归一化的结构信息测度和归一化的能量信息测度进行加权综合，得到基于全变分的视觉感知图像质量评价结果μ，计算公式为

μ＝α₁·μ₁+α₂·μ₂(式VI)

式VI中，α₁和α₂表示权重系数。输出基于全变分的视觉感知图像质量评价结果μ。

本发明的有益效果在于：

1、本发明所给出视觉感知图像质量评价方法，重点考虑了人类视觉系统对亮度变化和结构信息变化的敏感性，综合了基于人眼视觉系统建模方法和基于信号保真度方法的优点，能够较好的刻画图像信号的视觉质量，与主观评价方法结果更为一致。

2、本发明所给出的结构信息测度计算方法，采用全变分测度来描述图像结构，能够很好地描述图像结构信息的改变。

3、本发明所给出的能量信息测度计算方法，采用亮度差分图像中封闭区域的能量来度量丢失的亮度信息，考虑了人眼视觉对亮度相对变化的敏感性，能够更好的描述人类视觉的主观感。

4、本发明给出的基于全变分的视觉感知图像质量评价方法，所涉及的结构信息测度计算和能量信息测度计算均是在空间域完成，不需要引入额外的图像变换和图像先验信息统计，降低了计算的复杂性。

附图说明

图1基于全变分的视觉感知图像质量评价框架示意图

图2结构信息测度计算示意图

图3能量信息测度计算示意图

图4基于全变分的视觉感知图像质量评价方法流程图

图5结构信息测度计算方法流程图

图6能量信息测度计算方法流程图

具体实施方式

下面结合附图对本发明作进一步具体描述：

本发明所述一种基于全变分的视觉感知图像质量评价方法主要优势在于引入全变分测度来评价图像的结构信息。失真图像和其参考图像之间的全变分差值用来作为图像结构信息的一个测度。由于全变分模型能够很好的刻画图像的边缘特征，所以，本发明所提出的结构信息测度能够很好地描述图像结构信息的改变。此外，作为结构信息测度的补充，本发明同时考虑了失真图像封闭区域的亮度变化。采用亮度差分图像中封闭区域的能量来度量丢失的亮度信息。由于考虑了人类视觉系统最敏感的两种因素，本发明所给出的评价方法，能够较好的刻画图像信号的视觉质量，与主观评价方法结果更为一致。

如图1所示流程。根据输入失真图像101，以及原始参考图像102，分别采用结构信息测度103度量失真图像结构信息的改变μ₁；采用能量信息测度104度量失真图像亮度信息的改变μ₂。然后，将归一化的结构信息测度103和归一化的能量信息测度104进行加权，得到基于全变分的视觉感知图像质量评价105结果μ。

μ＝α₁·μ₁+α₂·μ₂(式1)

式1中，α₁和α₂表示权重系数。

本发明所述的结构信息测度计算如图2所示。记失真图像201为u，原始参考图像202为u₀。失真图像201与原始参考图像202的全变分比较运算203描述为：

TV_struct＝||TV(u)-TV(u₀)||₁        (式2)

式2中，||·||₁表示L₁范数，TV(u)定义为图像u的全变分：

$\mathrm{TV}\left(u\right)=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left(\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\right),$ (式3)

式3中u_i，j表示在像素(i，j)处的亮度值。将全变分比较运算203的结果进行归一化204，得到结构信息测度205结果μ₁，

${\mathrm{\μ}}_1=\frac{1}{N}\mathrm{\Σ}\frac{2\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\sqrt{{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2}+c}{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2+{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2+c}$ (式4)

式4中，N表示图像尺寸大小，c为常量。

本发明所述的能量信息测度计算如图3所示。记失真图像301为u，原始参考图像302为u₀，差分图像303为r＝u₀-u。差分图像303表示了相对于参考图像302而言，失真图像301中丢失的信息。差分图像的能量信息计算304的结果为E_r描述了失真图像的亮度损失，定义为：

$E_r=\frac{1}{N}\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}((r_{i,j}-\stackrel{\‾}{r})(r_{i+1,j}-\stackrel{\‾}{r})+(r_{i,j}-\stackrel{\‾}{r})(r_{i,j+1}-\stackrel{\‾}{r}))$ (式5)

式5中，Ω表示差分图像303的整个图像区域，r_i，j表示差分图像303在(i，j)位置处像素的亮度，

表示差分图像303的亮度均值，即

记最大能量失真图像305为

表示原始参考图像302的亮度均值。将能量信息计算304和最大能量失真图像305的结果进行归一化306，得到能量信息测度307结果μ₂，

${\mathrm{\μ}}_2=1-\sqrt{\frac{E_r}{E_{r_{\max }}}}.$ (式6)

本发明的具体实施过程可以按照以下步骤进行：

1、输入失真图像和参考图像401；

2、进行亮度图像计算402，从而得到输入失真图像和参考图像401的亮度图像。亮度计算公式为：

I＝0.27×R+0.67×G+0.06×B                       (式7)

式7中，R，G，B分别为输入图像各通道上的亮度值。

3、根据经过亮度图像计算402得到结果，进行结构信息测度计算403，得到结果μ₁。具体步骤如图5所示。记失真亮度图像501为u，原始参考亮度图像501为u₀。将失真亮度图像501与原始参考亮度图像501进行逐像素全变分比较502，得到归一化的结构信息测度503的结果μ₁为

${\mathrm{\μ}}_1=\frac{1}{N}\mathrm{\Σ}\frac{2\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\sqrt{{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2}+c}{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2+{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2+c}$ (式8)

式8中，u_i，j表示在像素(i，j)处的亮度值，N表示图像尺寸大小，c为常量。

4、根据经过亮度图像计算402得到结果，进行能量信息测度计算404，得到结果μ₂。具体步骤如图6所示。记失真亮度图像601为u，原始参考亮度图像601为u₀，亮度差分图像602为r＝u₀-u。经过能量信息计算603，得到亮度差分图像602的能量测度结果E_r为

$E_r=\frac{1}{N}\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}((r_{i,j}-\stackrel{\‾}{r})(r_{i+1,j}-\stackrel{\‾}{r})+(r_{i,j}-\stackrel{\‾}{r})(r_{i,j+1}-\stackrel{\‾}{r}))$ (式9)

式9中，Ω表示亮度差分图像602的整个图像区域，r_i，j表示亮度差分图像602在(i，j)位置处像素的亮度，

表示亮度差分图像602的亮度均值，即

记最大能量失真亮度图像604为

表示原始参考亮度图像601的亮度均值。将能量信息计算603的结果E_r和能量信息计算605的结果进行归一化，得到能量信息测度606结果μ₂为

${\mathrm{\μ}}_2=1-\sqrt{\frac{E_r}{E_{r_{\max }}}}.$ (式10)

5、将402和403的计算结果进行加权综合，得到基于全变分的视觉感知图像质量评价405结果μ，计算公式为

μ＝α₁·μ₁+α₂·μ₂                                        (式11)

式11中，α₁和α₂表示权重系数。输出基于全变分的视觉感知图像质量评价405结果μ。

Claims (5)

1.一种基于全变分的视觉感知图像质量评价方法，其特征在于：是一种空域的基于全变分的视觉感知图像质量评价方法，考虑到自然图像信号图像本身的特点以及人类视觉对图像中封闭平滑区域的亮度变化的敏感特点，从而采用全变分来描述图像结构信息的改变；采用差分图像封闭区域的能量来刻画亮度信息的变化，并将上述两个因素进行加权，得到最终的图像质量评价结果。包括以下流程：

(1)、输入失真图像，输入原始参考图像；

(2)、用结构信息测度度量失真图像结构信息的改变μ₁；采用能量信息测度度量失真图像亮度信息的改变μ₂。

(3)、将归一化的结构信息测度和归一化的能量信息测度进行加权，得到基于

全变分的视觉感知图像质量评价结果μ。

μ＝α₁·μ₁+α₂·μ₂                  (式I)

其中，α₁和α₂表示权重系数。

2.根据权利要求1所述的所述的一种基于全变分的视觉感知图像质量评价方法，其特征在于：所述流程(2)中，引入全变分测度来评价图像的结构信息。失真图像和其参考图像之间的全变分差值用来作为图像结构信息的一个测度。采用亮度差分图像中封闭区域的能量信息来度量丢失的亮度信息。

输入失真图像，以及原始参考图像，分别采用结构信息测度度量失真图像结构信息的改变μ₁；采用能量信息测度度量失真图像亮度信息的改变μ₂。

结构信息测度计算：记失真图像为u，原始参考图像为u₀。失真图像与原始参考图像的全变分比较运算描述为：

TV_struct＝||TV(u)-TV(u₀)||₁

其中，||·||₁表示L₁范数，TV(u)定义为图像u的全变分：

$\mathrm{TV}\left(u\right)=\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left(\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\right),$

其中u_i，j表示在像素(i，j)处的亮度值。将全变分比较运算的结果进行归一化，得到结构信息测度结果μ₁，

${\mathrm{\μ}}_1=\frac{1}{N}\mathrm{\Σ}\frac{2\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\sqrt{{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2}+c}{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2+{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2+c}$

其中，N表示图像尺寸大小，c为常量。

能量信息测度计算：记失真图像为u，原始参考图像为u₀，差分图像为r＝u₀-u。差分图像表示了相对于参考图像而言，失真图像中丢失的信息。差分图像的能量信息计算的结果为E_r描述了失真图像的亮度损失，定义为：

$E_r=\frac{1}{N}\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}((r_{i,j}-\stackrel{\‾}{r})(r_{i+1,j}-\stackrel{\‾}{r})+(r_{i,j}-\stackrel{\‾}{r})(r_{i,j+1}-\stackrel{\‾}{r}))$

Ω表示差分图像的整个图像区域，r_i，j表示差分图像在(i，j)位置处像素的亮度，

表示差分图像的亮度均值，即

记最大能量失真图像为

表示原始参考图像的亮度均值。

将能量信息计算和最大能量失真图像的结果进行归一化，得到能量信息测度结果μ₂，

${\mathrm{\μ}}_2=1-\sqrt{\frac{E_r}{E_{r_{\max }}}}.$

3.根据权利要求1所述的所述的一种基于全变分的视觉感知图像质量评价方法其特征在于：所述流程(3)中，引将归一化的结构信息测度和归一化的能量信息测度进行加权，得到基于全变分的视觉感知图像质量评价结果μ，其计算公式为

μ＝α₁·μ₁+α₂·μ₂

其中，α₁和α₂表示权重系数。

4.根据权利要求1所述的一种基于全变分的视觉感知图像质量评价方法，其特征在于：包括以下具体步骤

(1)、将输入失真图像和参考图像；

(2)、进行亮度图像计算：从而得到输入失真图像和参考图像的亮度图像。

亮度计算公式为：

I＝0.27×R+0.67×G+0.06×B    (式II)

其中，R，G，B分别为输入图像各通道上的亮度值。

(3)、进行结构信息测度计算，得到结果μ₁。具体步骤：记失真亮度图像为u，原始参考亮度图像为u₀。将失真亮度图像与原始参考亮度图像进行逐像素全变分比较，得到归一化的结构信息测度的结果μ₁为

${\mathrm{\μ}}_1=\frac{1}{N}\mathrm{\Σ}\frac{2\sqrt{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2}\sqrt{{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2}+c}{{(u_{i,j}-u_{i+1,j})}^2+{(u_{i,j}-u_{i,j+1})}^2+{(u_{0i,j}-u_{0i+1,j})}^2+{(u_{0i,j}-u_{0i,j+1})}^2+c}$ (式III)

其中，u_i，j表示在像素(i，j)处的亮度值，N表示图像尺寸大小，c为常量。(4)、进行能量信息测度计算，得到结果μ₂。具体步骤：记失真亮度图像为u，原始参考亮度图像为u₀，亮度差分图像为r＝u₀-u。经过能量信息计算，得到亮度差分图像的能量测度结果E_r为

$E_r=\frac{1}{N}\underset{(i,j)\∈\mathrm{\Ω}}{\mathrm{\Σ}}((r_{i,j}-\stackrel{\‾}{r})(r_{i+1,j}-\stackrel{\‾}{r})+(r_{i,j}-\stackrel{\‾}{r})(r_{i,j+1}-\stackrel{\‾}{r}))$ (式IV)

其中，Ω表示亮度差分图像的整个图像区域，r_i，j表示亮度差分图像在(i，j)位置处像素的亮度，

表示亮度差分图像的亮度均值，即

记最大能量失真亮度图像为

表示原始参考亮度图像的亮度均值。将能量信息计算的结果E_r和能量信息计算的结果

进行归一化，得到能量信息测度结果μ₂为

${\mathrm{\μ}}_2=1-\sqrt{\frac{E_r}{E_{r_{\max }}}}.$ (式V)

(5)、归一化的结构信息测度和归一化的能量信息测度进行加权综合，得到基于全变分的视觉感知图像质量评价结果μ，计算公式为

μ＝α₁·μ₁+α₂·μ₂        (式VI)

其中，α₁和α₂表示权重系数。输出基于全变分的视觉感知图像质量评价结果μ。

5.根据权利要求2所述的所述的一种基于全变分的视觉感知图像质量评价方法其特征在于：所述步骤(2)中，进行亮度图像计算按下述亮度计算公式计算：

I＝0.27×R+0.67×G+0.06×B

其中，R，G，B分别为输入图像各通道上的亮度值。

Images