CN102984541B - 一种基于像素域失真度估计的视频质量评价方法 - Google Patents

Abstract

本发明公开了一种基于像素域失真度估计的视频质量评价方法，包括以下步骤：(1)利用邻近像素点之间亮度差值的数理统计特性计算局部失真度；(2)通过计算对视频进行高斯滤波后的细节损失得到全局失真度；(3)结合局部和全局失真度估计视频整体的失真度；(4)通过帧内预测和帧间预测计算视频复杂度；(5)利用视频失真度和复杂度得到视频客观质量。在视频质量评价时，本发明模型简单，只需要待评价视频就能得到其客观质量，具有很高的灵活性，同时对各种不同的视频场景都能得到比较准确的评价结果，具有较好的普适性。

Description

一种基于像素域失真度估计的视频质量评价方法

技术领域

本发明属于视频质量评价技术领域，具体涉及一种基于像素域失真度估计的视频质量评价方法。

背景技术

随着计算机与网络通信技术的飞速发展，人们对获取多媒体信息的需求日益旺盛。近年来，与视频相关的应用涵盖各个领域，如视频会议、视频监控和移动电视等。在这些应用中，视频信息在到达接收者之前都需要经过压缩和传输，而这些过程往往会造成视频质量损失。为了获得更好的主观效果，有必要对视频质量进行评价，根据结果调整编码器和传输信道的参数。视频的最终受体是人类的眼睛，人眼观察被认为是最精确的评价视频质量的方法。然而，由于视频的信息量非常大，依靠人工观察的主观方法对视频质量进行评价需要消耗大量的人力和时间，不适合大规模实际应用。因此，如何根据人眼视觉系统(HVS)特性建立视频质量评价模型，在此基础上由计算机自动完成视频的质量评价，成为一个非常有意义的课题。

视频客观质量评价方法(Video Objective Quality Assessment)是指通过设计数学模型对视频进行智能化分析，并按设定的尺度对视频进行自动评分的客观评价方法。根据对原始视频的依赖程度，视频客观质量评价方法可以分为全参考型、部分参考型和无参考型三类。由于全参考型和部分参考型评价方法都需要额外的带宽来传输原始视频及相关信息，其实用价值非常有限。相比之下，无参考质量评价方法不需要依赖任何与原始视频相关的信息，直接根据待评价视频的信息计算视频质量，具有更好的灵活性和适应性，以及更广泛的应用价值。特别是在与网络多媒体相关的视频应用中，无参考视频客观质量评价在服务器质量(Quality of Service，QoS)检测和终端质量体验(Quality of Experience，QoE)上面起到重要作用，根据视频质量评价反馈信息，视频服务器可以动态调整视频编码器参数和传输信道参数，以保证传输稳定性，提高接收端视频质量。另外，无参考视频客观质量评价可以取代人眼，公正地比较不同视频编解码器输出的视频质量，为视频接收端提供参考，做出最优选择。

现有的视频质量评价方法虽然取得了一定的效果，形成了一些比较成熟的模型；如传统基于PSNR(峰值信噪比)的视频质量评价方法以及Wang Zhou在标题为Image quality assessment：From error visibility to structural similarity(IEEE Transactios on Image Processing，2004，13(4))的文献中提出了一种基于SSIM(结构相似度)的视频质量评价方法；但这些方法没有考虑HVS在视频质量评价中的作用，忽视了视频内容特征对视频质量的影响，准确度还有待提高；且很难适用于不同场景的视频，普适性不高。

发明内容

针对现有技术所存在的上述技术缺陷，本发明提供了一种基于像素域失真度估计的视频质量评价方法，其得到的指标具有较高的准确度，且能够满足各种不同场景视频的需要。

一种基于像素域失真度估计的视频质量评价方法，包括如下步骤：

(1)计算待评价视频每帧图像的局部失真度；

(2)计算待评价视频每帧图像的全局失真度；

(3)根据每帧图像的局部失真度和全局失真度，计算待评价视频的视频失真度；

(4)通过帧内预测和帧间预测，计算待评价视频的视频复杂度；

(5)根据视频失真度和视频复杂度，计算求得待评价视频的质量评价值。

所述的步骤(1)中，计算待评价视频每帧图像局部失真度的过程如下：

a.根据以下算式计算待评价视频任一帧图像每一像素的水平亮度差和垂直亮度差：

S_H(x，y)＝|I(x，y)-I(x+1，y)|

S_V(x，y)＝|I(x，y)-I(x，y+1)|

其中：S_H(x，y)和S_V(x，y)分别为图像中第x行第y列像素的水平亮度差和垂直亮度差；I(x，y)为图像中第x行第y列像素的亮度值，I(x+1，y)为图像中第x+1行第y列像素的亮度值，I(x，y+1)为图像中第x行第y+1列像素的亮度值；x和y分别为图像的行序号和列序号；

b.根据以下算式计算待评价视频任一帧图像的水平亮度方差和垂直亮度方差：

${\mathrm{\σ}}_H=\frac{1}{N}\mathrm{\Σ}{(S_H(x,y)-S_{\mathrm{Havg}})}^2$

${\mathrm{\σ}}_V=\frac{1}{N}\mathrm{\Σ}{(S_V(x,y)-S_{\mathrm{Vavg}})}^2$

其中：σ_H和σ_V分别为图像的水平亮度方差和垂直亮度方差，S_Havg和S_Vavg分别为图像的平均水平亮度差和平均垂直亮度差，N为图像的总像素个数；

c.根据步骤a和b遍历求取待评价视频每一帧图像的水平亮度方差和垂直亮度方差，通过公式D_local＝(σ_V+σ_H)/2计算出待评价视频每帧图像的局部失真度D_local。

所述的步骤(2)中，计算待评价视频每帧图像全局失真度的过程如下：

a.根据公式J(x，y)＝I(x，y)*G对待评价视频任一帧图像每一像素进行高斯滤波；其中：I(x，y)为图像中第x行第y列像素的亮度值，J(x，y)为图像中第x行第y列像素滤波过后的亮度值，G为高斯模版；

b.根据以下算式计算待评价视频任一帧图像的全局失真度：

$D_{\mathrm{global}}=\frac{\mathrm{\Σ}|I(x,y)-J(x,y)|}{N}$

其中：D_global为图像的全局失真度，N为图像的总像素个数；

c.根据步骤a和b遍历求取待评价视频每帧图像的全局失真度。

所述的步骤(3)中，计算待评价视频的视频失真度的方法为：首先，对于待评价视频的任一帧图像，根据公式D_V＝D_local+D_global求取图像的整体失真度D_v；其中：D_local和D_global分别为图像的局部失真度和全局失真度；然后，对待评价视频所有图像的整体失真度求平均，得到的平均值即为待评价视频的视频失真度。

所述的步骤(5)中，根据以下算式计算待评价视频的质量评价值：

$Q=a-b\×\frac{S_V}{C_V}$

其中：S_v和C_v分别为待评价视频的视频失真度和视频复杂度，Q为待评价视频的质量评价值，a和b均为给定的计算参数且为实际经验值。

Q的取值范围为[0，100]，0代表视频质量最好，100代表视频质量最差。

本发明的有益技术效果如下：

(1)本发明只需要待评价视频就可以得到视频质量评价结果，无需参考信息，具有很好的灵活性和适应性。

(2)本发明评价结果准确度较高，符合人眼对视频的主观感知。

(3)本发明对各种不同的视频场景都能得到比较准确的评价结果，具有较好的普适性。

附图说明

图1为本发明方法的流程示意图。

图2为帧内预测的四种模式示意图。

图3为帧间预测的算法示意图。

图4为LIVE数据库的结果散点图。

图5为JM压缩视频的结果散点图。

图6为所有测试视频的结果散点图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

如图1所示，一种基于像素域失真度估计的视频质量评价方法，包括如下步骤：

(1)计算局部失真度。

在视频压缩过程中，量化是一个有损的过程，一般来说，每个区域的损失与其蕴含的能量成正比。一些纹理复杂、运动剧烈的区域，由于在残差中包含较多的能量，其量化后的损失也相对较大。这些损失，在像素域可以反映为失真视频和原始视频相应区域内的单位像素差值，差值越大，表明该区域内失真视频与原始视频的差异越大，其质量也越差。但是由于HVS的掩盖效应引起，人眼对视频质量的感知是对某一个区域的综合反映，而不是单个像素的简单叠加。因此，不能把每个像素的差异简单相加作为评价视频质量损失的标准，而应该把相邻像素之间的联系考虑在内。本实施方式通过分析水平和垂直方向邻近像素点之间亮度差值(S_H，S_V)的数理统计特性得到局部失真度；S_H和S_V分别代表水平和垂直方向相邻像素亮度差值矩阵。

在分析S_H和S_V的数理统计特性后发现，S_H和S_V值都近似服从正态分布，随着压缩过程中使用的量化系数增大，S_H和S_V的分布更为集中，即σ_H和σ_V减小，因此σ_H和σ_V与量化系数之间存在一定联系。另一方面，量化系数与视频质量存在直接的联系，一般来说，对于同一个视频，压缩过程中使用的量化系数越大，压缩后视频失真越严重，质量越差。由此推断，它们的方差与视频质量之间也存在一定联系，随着σ_H和σ_V减小，视频质量下降。

本实施方式计算待评价视频每帧图像局部失真度的过程如下：

a.根据以下算式计算待评价视频任一帧图像每一像素的水平亮度差和垂直亮度差：

S_H(x，y)＝|I(x，y)-I(x+1，y)|

S_V(x，y)＝|I(x，y)-I(x，y+1)|

其中：S_H(x，y)和S_V(x，y)分别为图像中第x行第y列像素的水平亮度差和垂直亮度差；I(x，y)为图像中第x行第y列像素的亮度值，I(x+1，y)为图像中第x+1行第y列像素的亮度值，I(x，y+1)为图像中第x行第y+1列像素的亮度值；x和y分别为图像的行序号和列序号；

b.根据以下算式计算待评价视频任一帧图像的水平亮度方差和垂直亮度方差：

${\mathrm{\σ}}_H=\frac{1}{N}\mathrm{\Σ}{(S_H(x,y)-S_{\mathrm{Havg}})}^2$

${\mathrm{\σ}}_V=\frac{1}{N}\mathrm{\Σ}{(S_V(x,y)-S_{\mathrm{Vavg}})}^2$

其中：σ_H和σ_V分别为图像的水平亮度方差和垂直亮度方差，S_Havg和S_Vavg分别为图像的平均水平亮度差和平均垂直亮度差，N为图像的总像素个数；

c.根据步骤a和b遍历求取待评价视频每一帧图像的水平亮度方差和垂直亮度方差，通过公式D_local＝(σ_V+σ_H)/2计算出待评价视频每帧图像的局部失真度D_local。

局部失真度D_local与视频质量呈正相关关系，该结果越大，说明视频质量越好。

(2)计算全局失真度。

视频质量的下降并不仅仅体现在一些局部的失真效应，从整体来看，与原始视频相比，它还表现在细节退化，锐利度降低等。视频内细节的清晰程度是衡量视频质量的一个重要标准。视频中每个细节是由许多邻近像素共同组成的，而视频压缩会减弱这些像素之间的空间相关性，弱化它们之间的差异，因此降低了细节的显著性，导致视频质量下降。

高斯滤波器是一种带权重的平均滤波器，可以起到平滑图像的作用，对视频进行高斯滤波后，客观上减小了相邻像素之间的差异，去除细节，使视频变得平滑。本实施方式，计算待评价视频每帧图像全局失真度的过程如下：

a.根据公式J(x，y)＝I(x，y)*G对待评价视频任一帧图像每一像素进行高斯滤波；其中：I(x，y)为图像中第x行第y列像素的亮度值，J(x，y)为图像中第x行第y列像素滤波过后的亮度值，G为5×5的高斯模版；

$G=\frac{1}{273}\×\left[\begin{array}{ccccc}1& 4& 7& 4& 1\\ 4& 16& 26& 16& 4\\ 7& 26& 41& 26& 7\\ 4& 16& 26& 16& 4\\ 1& 4& 7& 4& 1\end{array}\right]$

b.根据以下算式计算待评价视频任一帧图像的全局失真度：

$D_{\mathrm{global}}=\frac{\mathrm{\Σ}|I(x,y)-J(x,y)|}{N}$

其中：D_global为图像的全局失真度，N为图像的总像素个数；

c.根据步骤a和b遍历求取待评价视频每帧图像的全局失真度；全局失真度D_global与视频质量呈正相关关系，该结果越大，说明视频质量越好。

(3)计算视频失真度。

根据每帧图像的局部失真度和全局失真度，计算待评价视频的视频失真度：

首先，对于待评价视频的任一帧图像，根据公式D_V＝D_local+D_global求取图像的整体失真度D_v；其中：D_local和D_global分别为图像的局部失真度和全局失真度；

然后，对待评价视频所有图像的整体失真度求平均，得到的平均值即为待评价视频的视频失真度S_v。

由于D_local和D_global与视频质量都呈正相关关系，D_v与视频质量也呈正相关关系，即D_v值越大，视频失真程度越小，相应的视频质量越好。

(4)计算视频复杂度。

在相同的失真度下，视频质量与视频内容复杂度有关，因此，为了得到准确的视频质量，还需要计算视频的复杂度。

视频内容复杂度包括空间复杂度和时间复杂度，空间复杂度主要反映视频内部的纹理复杂度，而时间复杂度体现了视频中物体的运动剧烈程度。在视频压缩算法中，为了消除视频图像中存在的空间冗余和时间冗余，分别采用了帧内预测和帧间预测方法，这两种方法同样也可以用来评估视频的空间复杂度和时间复杂度。

由于同一帧中相邻像素点的亮度值相近，因此可以利用当前宏块周围的像素对当前宏块进行预测来获得更高的压缩效率，即进行帧内预测。帧内预测可以分为4×4和16×16两种方式，为了减少计算复杂度，本实施方式采用相对简单的16×16方式，共四种模式，如图2所示，从左到右依次为垂直方向、水平方向、直流和平面模式，箭头代表预测像素值的来源方向。用这四种模式分别得到像素差值的绝对值的和(Sum of Absolute Difference，SAD)，然后取其中的最小值作为整帧视频的空间复杂度C_Intra。

帧间预测以前面几帧已经编码的视频为参考，从时间方向进行预测。本实施方式采用了一种两步整像素搜索算法；其中，第一步以当前宏块的左上角像素点为中心，搜索它周围的5×5个点，如图3中标号为1的圆点所示，并计算每个搜索点对应的SAD值。第二步，考虑到邻近帧之间的视频内容相似度很高，因此其运动矢量分布也比较类似，可以用前一帧的运动矢量来推测当前帧同一位置宏块的最佳匹配块所在的位置。本实施方式以上一帧相同位置的宏块的最佳运动矢量(Previous Motion Vector，PMV)为指导，寻找该运动矢量在当前帧指向的像素点，并以该像素点为中心，搜索它周围的3×3个点，如图3中标号为2的圆点所示，并计算每个搜索点对应的SAD值。最后，取两步中最小的SAD值作为整帧视频的时间复杂度C_Inter。其中，SAD的计算方法如下：

$\mathrm{SAD}\left(n\right)=\underset{(x,y)\∈\mathrm{block}\left(n\right)}{\mathrm{\Σ}}|I(x,y)-I_p(x,y)|$

其中：I_p(x，y)为图像中第x行第y列像素预测得到的亮度值。

最后，计算C_Intra和C_Inter的平均值C_V，C_V越大代表视频纹理越复杂，运动更剧烈。

$C_V=\frac{C_{\mathrm{Intra}}+C_{\mathrm{Inter}}}{2}$

(5)计算待评价视频的质量评价值。

在分析了视频失真度D_V和视频内容复杂度C_V与视频质量之间的关系后，为了与主观评价结果DMOS一致；本实施方式根据视频失真度和视频复杂度，通过以下算式计算待评价视频的质量评价值：

$Q=a-b\×\frac{S_V}{C_V}$

其中：S_v和C_v分别为待评价视频的视频失真度和视频复杂度，Q为待评价视频的质量评价值，a和b均为给定的计算参数且为实际经验值。本实施方式中，a＝100，b＝38.4。Q的取值范围为[0，100]，0代表视频质量最好，100代表视频质量最差。

为了验证本实施方式的有效性和准确性，我们首先选用40个LIVE VideoQuality Database(现场视频质量数据库)中的H.264/AVC压缩的视频来评估算法的效果，然后用100个JM压缩视频来验证算法的普适性，最后验证所有140个压缩视频的效果。

接着，我们按下式用多参数非线性方程对主客观评价结果进行拟合，使经过转换后的客观评价结果DMOS_P与主观评价值DMOS的关系接近线性，方便对评价结果的准确性和单调性进行比较；三部分的测试结果散点图分别如图4～6所示。

${\mathrm{DMOS}}_P={\mathrm{\β}}_2+\frac{{\mathrm{\β}}_1-{\mathrm{\β}}_2}{{1+e}^{-\left(\frac{Q-{\mathrm{\β}}_3}{\left|{\mathrm{\β}}_4\right|}\right)}}$

最后，分别用Spearman相关系数和Pearson相关系数来衡量本实施方式的单调性和准确性，并与传统基于PSNR和基于SSIM方法作对比(Spearman系数和Pearson系数越大，说明方法的单调性和准确性越好，即方法的准确度越高)，如表1所示：

表1

质量评价方法	Spearman相关系数	Pearson相关系数
			PSNR	0.4296	0.4385
SSIM	0.6514	0.6656
			本实施方式	0.7183	0.7273

从表1结果可以看到，本实施方式的结果准确率要高于其他2种现有的视频质量评价方法。

Claims (1)

1.一种基于像素域失真度估计的视频质量评价方法，包括如下步骤：

(1)计算待评价视频每帧图像的局部失真度，具体方法如下：

A1.根据以下算式计算待评价视频任一帧图像每一像素的水平亮度差和垂直亮度差：

S_H(x,y)＝|I(x,y)-I(x+1,y)|

S_V(x,y)＝|I(x,y)-I(x,y+1)|

其中：S_H(x,y)和S_V(x,y)分别为图像中第x行第y列像素的水平亮度差和垂直亮度差；I(x,y)为图像中第x行第y列像素的亮度值，I(x+1,y)为图像中第x+1行第y列像素的亮度值，I(x,y+1)为图像中第x行第y+1列像素的亮度值；x和y分别为图像的行序号和列序号；

A2.根据以下算式计算待评价视频任一帧图像的水平亮度方差和垂直亮度方差：

${\mathrm{\σ}}_H=\frac{1}{N}\mathrm{\Σ}{(S_H(x,y)-S_{\mathrm{Havg}})}^2$

${\mathrm{\σ}}_V=\frac{1}{N}\mathrm{\Σ}{(S_V(x,y)-S_{\mathrm{Vavg}})}^2$

其中：σ_H和σ_V分别为图像的水平亮度方差和垂直亮度方差，S_Havg和S_Vavg分别为图像的平均水平亮度差和平均垂直亮度差，N为图像的总像素个数；

A3.根据步骤A1和A2遍历求取待评价视频每一帧图像的水平亮度方差和垂直亮度方差，通过公式D_local＝(σV+σH)/2计算出待评价视频每帧图像的局部失真度D_local；

(2)计算待评价视频每帧图像的全局失真度，具体方法如下：

B1.根据公式J(x,y)＝I(x,y)*G对待评价视频任一帧图像每一像素进行高斯滤波；其中：I(x,y)为图像中第x行第y列像素的亮度值，J(x,y)为图像中第x行第y列像素滤波过后的亮度值，G为高斯模版；

B2.根据以下算式计算待评价视频任一帧图像的全局失真度：

$D_{\mathrm{global}}=\frac{\mathrm{\Σ}|I(x,y)-J(x,y)|}{N}$

其中：D_global为图像的全局失真度，N为图像的总像素个数；

B3.根据步骤B1和B2遍历求取待评价视频每帧图像的全局失真度；

(3)根据每帧图像的局部失真度和全局失真度，计算待评价视频的视频失真度：首先，对于待评价视频的任一帧图像，根据公式D_V＝D_local+D_global求取图像的整体失真度D_v；其中：D_local和D_global分别为图像的局部失真度和全局失真度；然后，对待评价视频所有图像的整体失真度求平均，得到的平均值即为待评价视频的视频失真度；

(4)通过帧内预测和帧间预测，计算待评价视频的视频复杂度；

(5)根据视频失真度和视频复杂度，通过以下算式计算求得待评价视频的质量评价值：

$Q=a-b\×\frac{S_v}{C_v}$

其中：S_v和C_v分别为待评价视频的视频失真度和视频复杂度，Q为待评价视频的质量评价值，a和b均为给定的计算参数。