CN1809175A - 一种视频质量评估方法 - Google Patents

Abstract

本发明提供一种视频质量评估方法，其核心为：根据视频序列的相邻帧中预定区域的像素变化确定视频序列的视频质量。本发明充分考虑了视频序列的相邻帧中图像内容的变化、尤其是运动物体区域中像素的时间变化能够充分反映视频序列的主观视频质量这个因素，通过以相邻帧如前一帧中运动物体区域中的像素进行参照，使本发明的视频质量评估结果与主观视频质量评估结果具有高度的一致性，使本发明的视频质量评估方法具有广泛的适用范围、且不需要人工参与；从而通过本发明提供的技术方案实现了提高客观视频质量评估结果与主观视频质量评估结果的一致性、提高客观视频质量评估方法的适应性以及提高视频质量评估方法效率的目的。

Description

一种视频质量评估方法

技术领域

本发明涉及多媒体通信领域，具体涉及一种对视频的通信质量进行处理的方法。

背景技术

随着多媒体信息时代的到来，各类视频处理和视频通信技术层出不穷，因而，视频质量评估技术显得日益重要。

视频质量评估在视频压缩、处理以及视频通信等领域有着非常重要的作用，如实时或非实时的视频系统性能和各种视频传输信道的服务质量QoS(quality of service)最终是通过视频质量反应出来的，并且可以通过视频质量来调节编解码器或信道的参数，以保证视频质量在人们可接受的范围内；再如视频质量能够对各种不同编解码器输出的视频图像给出易于理解的量度，便于编解码器的性能设计、评估和优化，从而设计、优化出符合人的视觉模型的图形图像显示系统；同时，视频质量评估对于视频通信设备制造商和电信运营商也有着非常重要的意义，对于视频通信设备制造商而言，市场竞争日益激烈，客户在项目招标中，对于视频通信设备性能的要求日益提高，如果设备商能够提供出其视频通信设备的有说服力的视频质量评估结果，对于其产品的销售将会有很大推动作用；对于电信运营商而言，视频业务属于新型业务，视频质量的评估数据可以有利于其业务推广宣传，客户满意度调查等。对于一般客户来说，在不了解复杂技术的情况下，视频质量评估结果对其决定有着重要的影响。另外，利用视频质量评估还能够对视频通信设备进行实时监控，当检测到视频通信设备输出的视频质量长时间处于不正常状态时，就可以判断是视频通信设备或者网络出了问题，从而起到问题定位、故障诊断等作用。

视频质量评估包括主观视频质量评估和客观视频质量评估两大类。

主观视频质量评估依赖人类测试者(Human Test Subject)的参与，评估结果可靠，但是，由于该方法对于人类测试者有严格的要求，且过程复杂，所以，主观视频质量评估的方法难于普遍应用，特别是在评估有实时性要求的应用环境中，更不适于应用。

客观视频质量评估采用定量的方法测量视频图像的质量，并通过处理器自动计算实现，效率高，无需人工参与。但是，目前的客观视频质量评估方法都存在一些致命的问题，如客观视频质量评估的结果和主观视频质量评估的结果之间的关系不一致，比如客观视频质量评估结果高的视频序列，其主观视频评估结果不一定高，反之亦然。另外，两幅主观视频质量评估结果相近的视频图像，其客观视频质量评估结果可能相差很多。

因此，解决视频质量评估方法普遍应用问题的正确途径应该是：开发一类客观质量评估方法，要求简单，实现容易，效率高，自动执行，最为重要的是，其视频质量评估结果和人类对于视频的主观质量感觉比较接近。这里的“接近”应该可以从统计学意义上进行基于不同数学模型和指标的衡量。那么，采用这类客观质量评估方法，就可以给出接近人类主观感觉的结果。

目前，客观视频质量评估的方法主要包括三种：即需要完整原始视频序列的全参考模型(Full Reference Model)的视频质量评估方法、只需要原始视频序列部分统计特征的部分参考模型(Partial Reference Model)的视频质量评估方法和不需要原始视频序列的任何信息的无参考模型(Referenceless Model)的视频质量评估方法。

在实际应用中，由于无法获得原始视频序列等原因，使全参考模块和部分参考模块的客观视频质量评估方法无法得到广泛应用，而无参考模型的视频质量评估方法将成为视频质量评估的发展方向。

目前，无参考模型的视频质量评估方法一般是根据视频序列中某些特殊失真类型特性的失真程度来实现的，具体实现方法主要包括如下三种：

方法一、根据MPEG(活动图像专家组)等压缩视频码流中的量化系数预测压缩视频的峰值信噪比来评估视频质量时，由于峰值信噪比是一种典型的客观质量指标，而该指标和主观视频质量评估之间的一致性较低，因此，该方法的适用范围具有局限性。

方法二、如附图1所示，针对能够反映视频质量的特征，分别提出受测视频的各种特征值，如方块效应(blocking artifacts)、震荡效应(ringing artifacts)、钳位(clipping)、噪声(noise)、对比度(contrast)以及边缘陡削(sharpness)等，然后联合各种不同特征的失真程度评估受测视频质量。

方块效应是指图像内块边界的不连续性(Discontinuity)，这种不连续性是由相邻块在编码中相互独立的DCT(离散余玄变换)以及量化过程造成的。通过测量块边界的不连续性能够表示方块效应的严重程度。方块效应是基于块DCT压缩算法如MPEG1、MPEG2、MPEG4、H.263等视频的主要失真原因。

震荡效应是指失真图像中高对比度边缘处的抖动现象。通常利用图像边缘区域像素值的方差来测量震荡效应的严重程度。

钳位是指图像处理中像素值的截断处理，如锐利增强技术会引起钳位的出现，钳位会引起高频信息的丢失，从而导致混淆效应。通常可以通过测量像素值为最大和最小可能值的比例来度量钳位。

噪声是指图像压缩或处理中引起图像空域或时域产生的一些随机变化。通过测量图像平滑区域的高频分量可得到噪声。

对比度是指图像亮度信号的动态变化。对比度可以反映图像中感兴趣区域与背景区域亮度的变化。通常可利用图像像素值直方图来计算图像的对比度。

边缘陡削是指图像轮廓和纹理的清晰程度。通常可以利用图像局部边缘的峰态来计算边缘陡削。

由于不同的视频压缩、处理算法会引起视频的失真类型不同，所以，在利用该方法进行视频质量评估时，关键在于如何联合多个特征值来评价视频质量，如通过MPEG2编码器生成的视频，其中方块效应对视频质量起着非常主要的影响，而对于采用了平滑滤波算法的编码器生成的视频，块边界的不连续会得到很好的平滑，其方块效应就不能反映视频质量了。

由于不可能找到适合所有视频的特征联合方法，使该方法同样不具有普遍适用性。

方法三、编码前在原始视频中嵌入一些标记信息如水印等，通过解码图像时提取到的标记信息的完整性来评价视频质量。通过水印评估视频质量方法的原理如附图2所示。

图2中，编码端在原始视频序列中嵌入水印图像信息，解码端根据提取出的水印图像信息的损伤部位和损伤程度来预测视频序列受量化、传输误码等影响而使视频质量下降的程度。

该方法必须在编码前将水印图像信息嵌入原始视频序列中，并且必须知道水印的嵌入方法以及原始的水印图像信息。对于没有嵌入水印的视频序列或者不知道水印嵌入方法及原始水印图像信息，都无法进行视频质量评估。另外，在原始视频序列中嵌入水印会引起视频质量下降，为了进行质量评估而采用的视频质量评估方法自身降低了视频质量，这在逻辑上是错误的。

综上所述，现有的视频质量评估方法中，主观视频质量评估方法其评估结果可靠，但是具有适用性差、效率低等缺点；而客观视频质量评估方法存在的最主要的问题是视频质量评估结果与主观视频评估结果差距大，另外，有的客观视频质量评估方法还具有适用性差，视频质量评估方法本身降低视频质量等缺点。

发明内容

本发明的目的在于，提供一种视频质量评估方法，以克服现有技术中存在的主观视频质量评估适用性差、效率低的缺点。

为达到上述目的，本发明提供的技术方案包括：

一种视频质量评估方法，包括：

根据视频序列的相邻帧中预定区域的像素变化确定视频序列的视频质量。

所述预定区域包括：运动物体区域。

所述方法进一步包括：

a、确定视频序列中各视频帧的运动向量场；

b、根据所述各视频帧的运动向量场分别确定各视频帧中运动物体区域；

c、分别确定所述各视频帧中运动物体区域与其前一帧中对应区域的像素差值的平方均值；

d、根据所述各像素的差值的平方均值确定视频序列的视频质量。

所述步骤a进一步包括：

a1、对视频序列中的各视频帧平滑滤波；

a2、根据块匹配算法分别确定所述平滑滤波后的各视频帧的运动向量场。

5、如权利要求4所述的一种视频质量评估方法，其特征在于，所述步骤a1中的平滑滤波包括：二维高斯滤波。

所述步骤a2进一步包括：

设定视频序列的第n帧中以像素(a，b)为几何中心的(2N₁+1)×(2N₁+1)区域的块为：f_n′(x，y)(a-N₁≤x≤a+N₁，b-N₁≤y≤b+N₁)；

在视频序列的第n-1帧中以像素(a，b)为几何中心的(2N₂+1)×(2N₂+1)区域f_n-1′(m，n)(a-N₂≤m≤a+N₂，b-N₂≤n≤b+N₂)内进行运动搜索，确定像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))为：

$({\mathrm{mv}}_{x,n}(a,b),{\mathrm{mv}}_{y,n}(a,b))=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\mathrm{SAD}(u,v)\right)$

$=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\underset{k=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\underset{l=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\right|f_n^{\′}(a+k,b+l)-f_{n-1}^{\′}(a+k+u,b+l+v)\left|\right)$

其中：x、y、m、n、u、v表示像素的坐标，且x、y、m、n、N1、N2为正整数，同时，N2＞N1；

分别根据各视频帧中各像素的运动向量确定各视频帧的视频帧运动向量场。

所述步骤a2进一步包括：

将各视频帧分别划分为高度和宽度均为NW的若干个(2NW+1)×(2NW+1)的临近区域；

分别确定各视频帧中各临近区域的中心像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))为：

$({\mathrm{mv}}_{x,n}(a,b),{\mathrm{mv}}_{y,n}(a,b))=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\mathrm{SAD}(u,v)\right)$

$=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\underset{k=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\underset{l=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\right|f_n^{\′}(a+k,b+l)-f_{n-1}^{\′}(a+k+u,b+l+v)\left|\right)$

其中：f_n′(x，y)(a-NW≤x≤a+NW，b-NW≤y≤b+NW)表示第n帧中的临近区域，x、y、u、v表示像素的坐标，且x、y、n、N1、N2为正整数，同时，N2＞N1；

分别将所述各临近区域的中心像素(a，b)的运动向量作为各临近区域中各像素的运动向量；

分别根据各视频帧中各像素的运动向量确定各视频帧的运动向量场。

8、如权利要求3所述的一种视频质量评估方法，其特征在于，所述步骤b进一步包括：

b1、分别确定各视频帧中的以像素(a，b)为中心的(2N₃+1)×(2N₃+1)区域内运动向量值的方差为：

${\mathrm{\σ}}_{\mathrm{mv},n}^2(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{\left(({\mathrm{mv}}_{x,n}(a+k,b+l)-{\stackrel{\‾}{\mathrm{mv}}}_{x,n}(a,b))\right)}^2+$

$\left({\mathrm{mv}}_{y,n}(a+k,b+l)-{\stackrel{\‾}{\mathrm{mv}}}_{y,n}{(a,b))}^2\right);$

其中：x、y表示像素的坐标，x、y、N3、n为正整数；

b2、分别确定各视频帧中的以像素(a，b)为中心的(2N₃+1)×(2N₃+1)区域内像素值的方差为：

${\mathrm{\σ}}_{f,n}^2(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{(f_n^{\′}(a+k,b+l)-\stackrel{\‾}{f_n^{\′}}(a,b))}^2;$

其中

为(2N₃+1)×(2N₃+1)区域内像素值的均值，且

$\stackrel{\‾}{f_n^{\′}}(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{f^{\′}}_n(a+k,b+l);$

其中：N3、n为正整数；

b3、将视频帧中运动向量值的方差小于预定门限1、像素值的方差大于预定门限2且水平和垂直方向的运动向量不为零的像素集合确定为运动物体区域。

设定视频序列的第n帧中像素(a，b)为运动物体区域中的像素；

且所述步骤c进一步包括：

根据滤波后的第n帧的运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n^{\′}(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\Σ}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\Σ}}}{(f_n^{\′}(a+k,b+l)-f_{n-1}^{\′}(a+k+{\mathrm{mv}}_{x,n}(a,b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2;$

其中：x、y表示像素的坐标，x、y、N4、n为正整数；

且滤波后第n帧运动物体区域中的各像素的(2N₄+1)×(2N₄+1)对应于第n-1帧中的区域的像素差值的平方均值为：

$\stackrel{\‾}{D_n^{\′}}=\frac{1}{N}\underset{(x,y){\∈I}_n}{\mathrm{\Σ}}{D}_n^{\′}(x,y);$

其中：x、y表示像素的坐标，x、yn为正整数；

根据滤波前的第n帧的视频帧运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于滤波前第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\Σ}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\Σ}}}{(f_n(a+k,b+l)-f_{n-1}(a+k+{\mathrm{mv}}_{x,n}(a+b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2;$

其中：x、y表示像素的坐标，x、y、N4、n为正整数；

且滤波前的第n帧运动物体区域中的各像素对应的(2N₄+1)×(2N₄+1)区域对应于滤波前第n-1帧中的区域的像素差值的平方均值为：

$\stackrel{\‾}{D_n}=\frac{1}{N}\underset{(x,y){\∈I}_n}{\mathrm{\Σ}}{D}_n(x,y);$

其中：x、y表示像素的坐标，x、y、n为正整数。

所述步骤d进一步包括：

d1、确定视频序列第n帧视频质量为：Q_n＝ D′_n·(α-( D_n- D′_n)/ D′_n)；

其中：α为预定参数；

d2、根据视频序列中各视频帧的视频质量均值确定视频序列的视频质量。

所述步骤d1进一步包括：

根据各视频帧的图像活动性分别确定其视频质量Q_n’为：

Q_n′＝Q_n/(β+(max(A_n，γ))²/δ)；

其中：An为图像的活动性，β、γ、δ为预定参数。

所述图像的活动性An为：

$A_n=\stackrel{\‾}{\left|{\mathrm{mv}}_{x,n}(x,y)\right|}+\stackrel{\‾}{\left|{\mathrm{mv}}_{y,n}(x,y)\right|};$

且所述α包括：2.5，所述β包括：2.5，所述γ包括：5，所述δ包括：30。

所述方法在步骤a之前还包括：

确定视频序列中包含图像缩放的视频帧，并采用缩放算法对其进行缩放处理。

通过上述技术方案的描述可知，本发明充分考虑了相邻帧中预定区域的图像内容的变化，尤其是运动物体区域中像素的变化能够充分反映视频序列的主观视频质量这个因素，通过相邻帧如前一帧中运动物体区域中像素变化来确定视频序列的视频质量评估结果，使本发明的视频质量评估结果近似于主观视频质量评估结果，而且通过以前一帧运动物体区域中的像素进行参照，使本发明的适用范围不会受到限制；通过对视频序列进行平滑滤波，增强了视频帧的运动向量场的准确性，从而增强了本发明的视频质量评估结果的准确性；通过利用平滑滤波后相邻帧中对应区域的像素差值、原失真视频序列相邻帧中对应区域的像素差值之间的关系来适应不同编码算法引起的不同的失真特征，通过采用块匹配算法、缩放匹配算法确定视频帧运动向量场，通过采用图像的活动性对视频质量评估结果进行修正，提高了本发明的视频质量评估结果与主观视频质量评估结果的相似性；从而通过本发明提供的技术方案实现了提高客观视频质量评估结果与主观视频质量评估结果的一致性、提高客观视频质量评估方法的适应性以及提高视频质量评估方法效率的目的。

附图说明

图1是现有技术的基于各种特征的失真程度评估受测视频质量的原理图；

图2是现有技术的通过水印评估视频质量的原理图；

图3是本发明的块匹配算法搜索像素运动向量示意图；

图4是本发明的视频质量评估结果与主观视频质量评估结果的对应分布示意图。

具体实施方式

客观视频质量评估对人没有要求，且具有易实现、可自动执行、效率高等优点。如何使客观视频质量评估结果与主观视频质量评估结果比较接近，使客观视频质量评估结果符合人对视频的主观质量感觉，同时，使客观视频质量评估的适用范围不受限制，对客观视频质量评估来说是非常重要的。

人们之所以能够对失真视频序列做出主观视频质量评价，实际上依赖的是人对视频信息的分析、理解和记忆等过程，而人对视频信息的分析、理解、记忆等过程离不开人大脑存储的视频信息。因此，可以说主观视频质量评估的过程并不是完全“无参考”的，它参考了人的大脑存储的视频信息。

视频序列具有很强的时间相关性，且相邻帧之间包含的内容大部分变化较小。由于人类的视觉系统具有时间掩盖效应，如果相邻帧之间图像内容的变化较大，则会造成主观感知的视频质量下降，尤其是图像失真引起的图像内容的变化对主观视频质量影响较大。

由于视频序列中相邻帧中的图像内容的一致性，尤其是对于图像内运动物体区域在相邻帧中对应像素的变化对人的主观感觉影响很大，即对主观视频质量评估结果的影响很大，因此，可以得出，相邻帧中图像内容的变化、尤其是运动物体区域中像素的变化能够充分的体现视频序列的主观视频质量。

这样，客观视频质量评估中的无参考模型的视频质量评估方法如果参照主观视频质量评估的方法来实现视频质量评估，就能够得到符合人对视频的主观质量感觉的、正确的视频质量评估结果，即得到与主观视频质量评估结果接近的视频质量评估结果。

因此，本发明的核心是：根据视频序列的相邻帧中预定区域的像素变化确定视频序列的视频质量。

下面基于本发明的核心思想对本发明提供的技术方案做进一步的描述。

本发明中的相邻帧中的预定区域包括：运动物体区域。下面以具有高空间复杂度的运动物体区域为例对本发明进行说明。

本发明首先需要确定视频序列的各视频帧中具有高空间复杂度的运动物体区域。确定具有高空间复杂度的运动物体区域可以通过计算视频帧中图像的运动向量场，然后，利用块匹配算法来实现。具体实现过程如下：

设定视频序列中每帧图像的宽度为W，高度为H，且像素的行列位置用(x，y)来表示。其中：x表示水平坐标，也就是列位置，y表示垂直坐标，也就是行位置。运算符“*”表示离散卷积(Discrete Convolution)。

对于视频序列中的所有视频帧，从第一帧到最后一帧，本发明采用逐帧处理的方法来处理整个视频序列。因此，下面只对某一帧如第n帧进行描述。

由于视频帧解码后重构图像中的随机噪声会影响运动向量场的准确评估，因此，本发明首先需要对视频序列的视频帧进行平滑滤波，如采用二维高斯滤波方法进行平滑滤波。二维高斯滤波后的视频帧可表示为：

f_n′(x，y)＝f_n(x，y)*G(x，y)  0≤x≤W-1，0≤y≤H-1(1)

其中：G(x，y)为二维高斯滤波器，f_n(x，y)(0≤x≤W-1，0≤y≤H-1)表示第n帧失真图像，f_n′(x，y)(0≤x≤W-1，0≤y≤H-1)为滤波后的第n帧图像，图像的大小为W×H，并且

$G(x,y)=\frac{1}{{2\mathrm{\π\σ}}^2}\exp (-\frac{x^2+y^2}{2{\mathrm{\σ}}^2})---\left(2\right)$

其中：σ²为高斯分布的方差，其大小决定滤波后图像的平滑程度，σ²越大，则图像的平滑程度越高。

经过高斯滤波后，将第n帧图像的前一帧图像即第n-1帧图像作为参考帧，利用块匹配算法为第n帧图像中的每个像素预测运动向量，从而得到整帧图像的运动向量场(mv_x，n(x，y)，mv_y，n(x，y))(0≤x≤W-1，0≤y≤H-1)。

下面结合附图3对本发明利用块匹配算法获取第n帧图像的运动向量场的方法进行详细说明。

在图3中，(a)图为视频序列中的第n-1帧图像，(b)图为视频序列中的第n帧图像，像素(a，b)为第n帧图像中的任一像素。

方法一、设定第n帧图像中像素(a，b)是块B的几何中心，块B可表示为f_n′(x，y)(a-N₁≤x≤a+N₁，b-N₁≤y≤b+N₁)，其中：N1为大于零的正整数。

在第n-1帧图像中对应于像素(a，b)为中心的、块大小为(2N₂+1)×(2N₂+1)的区域MB中，寻找与块B能够最佳匹配的块，且该最佳匹配块与块B的位移值即为像素(a，b)的运动向量。其中：MB可表示为：

f_n-1′(m，n)(a-N₂≤m≤a+N₂，b-N₂≤n≤b+N₂)。

其中：N2应大于N1。

块的匹配函数采用最小绝对差和SAD函数，则第n帧图像中像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))为：

$({\mathrm{mv}}_{x,n}(a,b),{\mathrm{mv}}_{y,n}(a,b))=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\mathrm{SAD}(u,v)\right)$

$=\underset{(N_1-N_2\≤u,v\≤N_2-N_1)}{\arg \min }\left(\underset{k=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\underset{l=-N_1}{\overset{N_1}{\mathrm{\Σ}}}\right|f_n^{\′}(a+k,b+l)-f_{n-1}^{\′}(a+k+u,b+l+v)\left|\right)---\left(3\right)$

其中：x、y、m、n、u、v表示像素的坐标，且x、y、m、n、N1、N2为正整数，同时，N2＞N1。

依照该方法可以计算出滤波后第n帧图像中每个像素的运动向量，然后，根据每个像素的运动向量得到第n帧图像的运动向量场(mv_x，n(x，y)，mv_y，n(x，y))。

方法二、为方法一的一种减少运算复杂度的改进方法，即将滤波后第n帧图像中像素(a，b)周围较小区域内的所有像素的运动向量确定为像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))。

具体实现过程为：用一个小的矩形区域表示像素(a，b)周围较小的临近区域，为此引进参数NW，即临近区域的高度和宽度，该临近区域可表示为：f_n′(x，y)(a-NW≤x≤a+NW，b-NW≤y≤b+NW)。

在该临近区域内，不需要对图像中的每个像素计算运动向量，而只需要对于每个大小为(2NW+1)×(2NW+1)的矩形区域根据公式(3)获得该区域中心像素(a，b)的运动向量，然后用该运动向量作为该临近区域中每个像素的运动向量即可。

若临近区域从视频帧中图像的左上方开始划分，如果W、H不是NW的整数倍，则图像的右边缘或者下边缘可能需要将临近区域缩小进行处理。

依照该方法同样可以计算出滤波后第n帧图像中每个像素的运动向量，然后，根据每个像素的运动向量得到第n帧图像的运动向量场(mv_x，n(x，y)，mv_y，n(x，y))。

获得了第n帧图像的运动向量场后，第n帧图像中的具有高空间复杂度的运动物体区域可以根据邻近像素运动向量的一致性来确定。

具体实现过程为：计算第n帧图像中以像素(a，b)为中心的(2N₃+1)×(2N₃+1)区域内运动向量值的方差。

${\mathrm{\σ}}_{\mathrm{mv},n}^2(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{(({\mathrm{mv}}_{x,n}(a+k,b+l)-{\stackrel{\‾}{\mathrm{mv}}}_{x,n}(a,b))}^2+$

$({\mathrm{mv}}_{y,n}(a+k,b+l)-{\stackrel{\‾}{\mathrm{mv}}}_{y,n}{(a,b))}^2)---\left(4\right)$

其中 mv_x，n(a，b)， mv_y，n(a，b)分别表示运动向量mv_x，n(x，y)，mv_y，n(x，y)在该区域的均值，即

${\stackrel{\‾}{\mathrm{mv}}}_{x,n}(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{\mathrm{mv}}_{x,n}(a+k,b+l)$

${\stackrel{\‾}{\mathrm{mv}}}_{y,n}(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{\mathrm{mv}}_{y,n}(a+k,b+l)$

以像素(a，b)为中心的(2N₃+1)×(2N₃+1)区域的空间复杂度可通过该区域像素值的方差表示，

${\mathrm{\σ}}_{f,n}^2(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{(f_n^{\′}(a+k,b+l)-\stackrel{\‾}{f_n^{\′}}(a,b))}^2---\left(5\right)$

其中 为该区域内像素值的均值，即

$\stackrel{\‾}{f_n^{\′}}(a,b)=\frac{1}{{({2N}_3+1)}^2}\underset{k=-N_3}{\overset{N_3}{\mathrm{\Σ}}}\underset{l=-N_3}{\overset{N_3}{\mathrm{\Σ}}}{f^{\′}}_n(a+k,b+l)$

设定预定门限1为T₁，预定门限2为T₂，则第n帧图像内具有高空间复杂度的运动物体区域内的像素集合I_n定义为：

$I_n=\left\{(x,y)\right|({\mathrm{\&sigma;}}_{\mathrm{mv},n}^2(x,y)<T_1)I({\mathrm{\&sigma;}}_{f,n}^2(x,y)>T_2)I({\stackrel{\&OverBar;}{\mathrm{mv}}}_{x,n}(x,y)\&NotEqual;0)I({\stackrel{\&OverBar;}{\mathrm{mv}}}_{y,n}(x,y)\&NotEqual;0)\}.---\left(6\right)$

其具体含义为：所有其运动向量方差达小于预定门限1T₁，而其像素值方差大于预定门限2T₂，且水平和垂直方向的运动向量均不为零的那些像素的集合即为具有高空间复杂度的运动物体区域。

在确定了第n帧图像中的具有高空间复杂度的运动物体区域后，可根据第n帧图像中运动物体区域与第n-1中对应区域的像素差值的平方均值确定第n帧图像的视频质量。

具体实现方法为：根据滤波后的第n帧的视频帧运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n^{\&prime;}(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}{(f_n^{\&prime;}(a+k,b+l)-f_{n-1}^{\&prime;}(a+k+{\mathrm{mv}}_{x,n}(a,b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2---\left(7\right)$

根据滤波前的第n帧的视频帧运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}{(f_n(a+k,b+l)-f_{n-1}(a+k+{\mathrm{mv}}_{x,n}(a,b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2---\left(8\right)$

根据上述公式(7)、(8)分别对像素集I_n中的各像素计算以该像素为中心的(2N₄+1)×(2N₄+1)区域对应的像素差值平方，并确定像素差值的平方均值为：

${\stackrel{\&OverBar;}{D}}_n=\frac{1}{N}\underset{(x,y){\&Element;I}_n}{\mathrm{\&Sigma;}}{D}_n(x,y)---\left(9\right)$

${\stackrel{\&OverBar;}{D^{\&prime;}}}_n=\frac{1}{N}\underset{(x,y){\&Element;I}_n}{\mathrm{\&Sigma;}}{D}_n^{\&prime;}(x,y)---\left(10\right)$

在上述公式(9)、(10)中，N为像素集I_n中包含的像素个数。

为了适应不同的编码方法引起的失真有不同的特点，如采用帧内编码的重构图像通常随机噪声较大，虽然客观的信噪比较低，但可能有较好的主观质量。而采用平滑后的重构图像比较平滑，有较高的信噪比但增加了图像的模糊，所以第n帧图像的视频质量为：

Q_n＝ D′_n(α-( D_n- D'_n)/ D′_n)        (11)

其中α为预定参数，可通过实验确定，如α＝2.5。

由于人眼对快速运动物体的失真有较大的忍耐能力，因此需要根据图像的活动性对视频质量做修正。

图像的活动性可以由图像的平均运动向量计算得到：

$A_n=\stackrel{\&OverBar;}{\left|{\mathrm{mv}}_{x,n}(x,y)\right|}+\stackrel{\&OverBar;}{\left|{\mathrm{mv}}_{y,n}(x,y)\right|}$ 0≤x≤W-1，0≤y≤H-1                   (12)

将视频质量的评分修正为：

Q_n′＝Q_n/(β+(max(A_n，γ))²/δ)    (13)

其中β、γ、δ为预定参数，可通过实验确定如β＝2.5，γ＝5，δ＝30等。

通过上述方法可以得到整个视频序列的各个视频帧的视频质量，通过对视频序列的所有视频帧的视频质量求平均值的方法可得到整个视频质量评估结果。

在上述实施例中为使含有图像缩放的视频帧的视频质量评估结果更加可靠，还可以首先对各视频帧进行缩放匹配算法，然后再确定各视频序列帧的图像运动向量场，以避免视频帧中图像缩放影响图像运动向量场的准确性。

下面以一个具体的受测视频序列为例，对本发明的视频质量评估结果与主观视频评估结果的近似程度进行说明。

受测视频序列采用VQEG(视频质量专家组)全参考质量评估第一阶段实验中使用的测试视频序列，其中共包括9个视频序列，具有144种不同情况，即625/50格式，序列2-10，HRCs为1-16，总共9个序列，且每个视频序列针对16个不同HRCs值，因此，共有9×16＝144种不同情况。

按VQEG评价视频质量评估模型精度的方法中规定，评价视频质量评估方法的性能主要采用以下4个尺度来量化：均方误差RMSE(Root Mean SquareError)，Pearson相关系数，Spearman秩相关系数(Spearman rank order correlationcoefficient)，OR(Outlier Ratio)。

利用本发明的视频质量评估方法，得出的该模型中各性能参数如表1所示。

                       表1

测试序列	RMSE	PCC	SCC	OR
					除序列3和8外的序列	0.1218	0.8496	0.7968	0.6429
除序列8外的序列	0.1860	0.7673	0.7409	0.6719
					所有序列	0.2196	0.6512	0.6430	0.8531

从表1可以看出，本发明提出的无参考的客观视频质量评估方法得到的客观评分与主观视频质量评估结果进行比较，有较小的RMSE，反映了本发明具有较好的预测精度；有较大的pearson相关系数和Spearman秩相关系数，反映了本发明具有较好的预测单调性；有较小的OR，反映了本发明具有较好的预测一致性。

在受测视频序列中由于视频序列8(Horizontal scrolling 2)不属于自然场景图像，本发明对视频序列8的视频质量评估好于主观视频质量评估，使本发明的视频质量评估性能急剧下降。

在受测视频序列中由于序列3(Harp)的图像缩放影响了视频帧运动向量场的确定，从而影响了相邻帧的图像运动物体区域预测的准确性，使本发明的视频质量评估性能下降。

本发明如果首先对视频序列采用缩放匹配算法，则可以提高本发明视频质量评估结果与主观视频质量评估结果的一致性。

对于自然场景失真的视频序列如除视频序列3和视频序列8之外的视频序列，本发明的视频质量评估结果与主观视频质量评估结果具有很好的一致性。

采用散布图(scatter diagram/scattergraph)的方法表示本发明的视频质量评估结果和主观视频质量评估结果之间的关系如附图4所示。

在图4中，水平坐标u表示本发明的视频质量评估结果，垂直坐标v表示主观视频质量评估结果，对于不同的受测视频序列的视频指配评估结果应分别对应两个值u，v，以(u，v)为坐标的点在坐标平面上对应该视频序列的主观视频质量评估结果和本发明的视频质量评估结果，因此，可以把受测视频序列各帧的视频质量评估结果都对应成坐标点。

这些坐标点形成的集合，相对于直线u＝v的离散程度可以度量本发明的视频质量评估结果与主观视频评估结果的一致程度，即集合越集中于直线u＝v附近，则本发明的视频质量评估结果与主观视频评估结果的一致程度越高，反之，则越低。

图4中的坐标点不包括视频序列3和视频序列8的视频质量评估结果。

从图4中可看出，本发明对视频序列的评估结果与主观视频评估结果集中分布在视频质量直线u＝v附近，充分表明本发明的视频质量评估结果近似于主观视频评估结果。

虽然通过实施例描绘了本发明，本领域普通技术人员知道，本发明有许多变形和变化而不脱离本发明的精神，本发明的申请文件的权利要求包括这些变形和变化。

Claims (13)

1、一种视频质量评估方法，其特征在于，包括：

根据视频序列的相邻帧中预定区域的像素变化确定视频序列的视频质量。

2、如权利要求1所述的一种视频质量评估方法，其特征在于，所述预定区域包括：运动物体区域。

3、如权利要求2所述的一种视频质量评估方法，其特征在于，所述方法具体包括如下步骤：

a、确定视频序列中各视频帧的运动向量场；

b、根据所述各视频帧的运动向量场分别确定各视频帧中运动物体区域；

c、分别确定所述各视频帧中运动物体区域与其前一帧中对应区域的像素差值的平方均值；

d、根据所述各像素的差值的平方均值确定视频序列的视频质量。

4、如权利要求3所述的一种视频质量评估方法，其特征在于，所述步骤a具体包括如下步骤：

a1、对视频序列中的各视频帧平滑滤波；

a2、根据块匹配算法分别确定所述平滑滤波后的各视频帧的运动向量场。

5、如权利要求4所述的一种视频质量评估方法，其特征在于，所述步骤a1中的平滑滤波包括：二维高斯滤波。

6、如权利要求4所述的一种视频质量评估方法，其特征在于，所述步骤a2具体为：

设定视频序列的第n帧中以像素(a，b)为几何中心的(2N₁+1)×(2N₁+1)区域的块为：f_n′(x，y)(a-N₁≤x≤a+N₁，b-N₁≤y≤b+N₁)；

在视频序列的第n-1帧中以像素(a，b)为几何中心的(2N₂+1)×(2N₂+1)区域f_n-1′(m，n)(a-N₂≤m≤a+N₂，b-N₂≤n≤b+N₂)内进行运动搜索，确定像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))为：

$({\mathrm{mv}}_{x,n}(a,b),{\mathrm{mv}}_{y,n}(a,b))=\underset{(N_1-N_2\&le;u,v\&le;N_2-N_1)}{\arg \min }\left(\mathrm{SAD}(u,v)\right)$

$=\underset{(N_1-N_2\&le;u,v\&le;N_2-N_1)}{\arg \min }\left(\underset{k={-N}_1}{\overset{N_1}{\mathrm{\&Sigma;}}}\underset{l={-N}_1}{\overset{N_1}{\mathrm{\&Sigma;}}}\right|f_n^{\&prime;}(a+k,b+l)-f_{n-1}^{\&prime;}(a+k+u,b+l+v)\left|\right)$

其中：x、y、m、n、u、v表示像素的坐标，且x、y、m、n、N1、N2为正整数，同时，N2＞N1；

分别根据各视频帧中各像素的运动向量确定各视频帧的视频帧运动向量场。

7、如权利要求4所述的一种视频质量评估方法，其特征在于，所述步骤a2具体为：

将各视频帧分别划分为高度和宽度均为NW的若干个(2NW+1)×(2NW+1)的临近区域；

分别确定各视频帧中各临近区域的中心像素(a，b)的运动向量(mv_x，n(a，b)，mv_y，n(a，b))为：

$({\mathrm{mv}}_{x,n}(a,b),{\mathrm{mv}}_{y,n}(a,b))=\underset{(N_1-N_2\&le;u,v\&le;N_2-N_1)}{\arg \min }\left(\mathrm{SAD}(u,v)\right)$

$=\underset{(N_1-N_2\&le;u,v\&le;N_2-N_1)}{\arg \min }\left(\underset{k={-N}_1}{\overset{N_1}{\mathrm{\&Sigma;}}}\underset{l={-N}_1}{\overset{N_1}{\mathrm{\&Sigma;}}}\right|f_n^{\&prime;}(a+k,b+l)-f_{n-1}^{\&prime;}(a+k+u,b+l+v)\left|\right)$

其中：f_n′(x，y)(a-NW≤x≤a+NW，b-NW≤y≤b+NW)表示第n帧中的临近区域，x、y、u、v表示像素的坐标，且x、y、n、N1、N2为正整数，同时，N2＞N1；

分别将所述各临近区域的中心像素(a，b)的运动向量作为各临近区域中各像素的运动向量；

分别根据各视频帧中各像素的运动向量确定各视频帧的运动向量场。

8、如权利要求3所述的一种视频质量评估方法，其特征在于，所述步骤b具体包括如下步骤：

b1、分别确定各视频帧中的以像素(a，b)为中心的(2N₃+1)×(2N₃+1)区域内运动向量值的方差为：

${\mathrm{\&sigma;}}_{\mathrm{mv},n}^2(a,b)=\frac{1}{{(2N_3+1)}^2}\underset{k={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}\underset{l={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}{\left(({\mathrm{mv}}_{x,n}(a+k,b+l)-{\stackrel{\&OverBar;}{\mathrm{mv}}}_{x,n}(a,b)\right)}^2+;$

$\left({({\mathrm{mv}}_{y,n}(a+k,b+l)-{\stackrel{\&OverBar;}{\mathrm{mv}}}_{y,n}(a,b))}^2\right)$

其中：x、y表示像素的坐标，x、y、N3、n为正整数；

b2、分别确定各视频帧中的以像素(a，b)为中心的(2n₃+1)×(2N₃+1)区域内像素值的方差为：

${\mathrm{\&sigma;}}_{f,n}^2(a,b)=\frac{1}{{(2N_3+1)}^2}\underset{k={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}\underset{l={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}{\left(f_n^{\&prime;}(a+k,b+l)-\stackrel{\&OverBar;}{f_n^{\&prime;}}(a,b)\right)}^2;$

其中 为(2N₃+1)×(2N₃+1)区域内像素值的均值，且

$\stackrel{\&OverBar;}{f_n^{\&prime;}}(a,b)=\frac{1}{{(2N_3+1)}^2}\underset{k={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}\underset{l={-N}_3}{\overset{N_3}{\mathrm{\&Sigma;}}}{f^{\&prime;}}_n(a+k,b+l);$

其中：N3、n为正整数；

b3、将视频帧中运动向量值的方差小于预定门限1、像素值的方差大于预定门限2且水平和垂直方向的运动向量不为零的像素集合确定为运动物体区域。

9、如权利要求3所述的一种视频质量评估方法，其特征在于：

设定视频序列的第n帧中像素(a，b)为运动物体区域中的像素；

且所述步骤c具体包括：

根据滤波后的第n帧的运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n^{\&prime;}(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}{(f_n^{\&prime;}(a+k,b+l)-f_{n-1}^{\&prime;}(a+k+{\mathrm{mv}}_{x,n}(a,b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2;$

其中：x、y表示像素的坐标，x、y、N4、n为正整数；

且滤波后第n帧运动物体区域中的各像素的(2N₄+1)×(2N₄+1)对应于第n-1帧中的区域的像素差值的平方均值为：

$\stackrel{\&OverBar;}{{D^{\&prime;}}_n}=\frac{1}{N}\underset{(x,y)\&Element;I_n}{\mathrm{\&Sigma;}}{D_n}^{\&prime;}(x,y);$

其中：x、y表示像素的坐标，x、yn为正整数；

根据滤波前的第n帧的视频帧运动向量场确定第n帧中以像素(a，b)为几何中心的(2N₄+1)×(2N₄+1)区域对应于滤波前第n-1帧中的区域，并确定两区域的像素差值的平方为：

$D_n(a,b)=\underset{k=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}\underset{l=-N_4}{\overset{N_4}{\mathrm{\&Sigma;}}}{(f_n(a+k,b+l)-f_{n-1}(a+k+{\mathrm{mv}}_{x,n}(a,b),b+l+{\mathrm{mv}}_{y,n}(a,b)))}^2;$

其中：x、y表示像素的坐标，x、y、N4、n为正整数；

且滤波前的第n帧运动物体区域中的各像素对应的(2N₄+1)×(2N₄+1)区域对应于滤波前第n-1帧中的区域的像素差值的平方均值为：

${\stackrel{\&OverBar;}{D}}_n=\frac{1}{N}\underset{(x,y)\&Element;I_n}{\mathrm{\&Sigma;}}{D}_n(x,y);$

其中：x、y表示像素的坐标，x、y、n为正整数。

10、如权利要求9所述的一种视频质量评估方法，其特征在于，所述步骤d具体包括如下步骤：

d1、确定视频序列第n帧视频质量为： $Q_n={\stackrel{\&OverBar;}{D^{\&prime;}}}_n\&CenterDot;(\mathrm{\&alpha;}-({\stackrel{\&OverBar;}{D}}_n-{\stackrel{\&OverBar;}{D^{\&prime;}}}_n)/{\stackrel{\&OverBar;}{D^{\&prime;}}}_n);$

其中：α为预定参数；

d2、根据视频序列中各视频帧的视频质量均值确定视频序列的视频质量。

11、如权利要求10所述的一种视频质量评估方法，其特征在于，所述步骤d1具体为：

根据各视频帧的图像活动性分别确定其视频质量Q_n’为：

Q_n′＝Q_n/(β+(max(A_n，γ))²/δ)；

其中：An为图像的活动性，β、γ、δ为预定参数。

12、如权利要求11所述的一种视频质量评估方法，其特征在于，所述图像的活动性An为：

$A_n=\stackrel{\&OverBar;}{\left|{\mathrm{mv}}_{x,n}(x,y)\right|}+\stackrel{\&OverBar;}{\left|{\mathrm{mv}}_{y,n}(x,y)\right|};$

且所述α包括：2.5，所述β包括：2.5，所述γ包括：5，所述δ包括：30。

13、如权利要求3所述的一种视频质量评估方法，其特征在于，所述方法在步骤a之前还包括：

确定视频序列中包含图像缩放的视频帧，并采用缩放算法对其进行缩放处理。

Images