CN103339951B - 根据丢帧图案测量视频质量的方法和装置 - Google Patents

Abstract

本发明提供了一种测量视频质量的方法和装置。所述方法包括：通过指示视频中的每个帧丢失或成功传输而产生丢帧图案；和根据产生的丢帧图案估计所述视频的质量。

Description

根据丢帧图案测量视频质量的方法和装置

技术领域

本发明涉及用于根据丢帧图案（framelosspattern）测量视频质量的方法和装置。

背景技术

需要指出，本发明用于向读者介绍各个方面的有关技术，其可能与下述本发明的各个方面相关。这部分介绍有助于向读者介绍背景信息以促进对于本发明的各个方面的理解。因此，可以理解，本发明的讨论是出于上述的目的，而非构成对于现有技术的承认。

在数字压缩视频的传输过程中，在易错信道上传输视频流是产生视频损坏的一个重要来源。信息的部分丢失或者损坏都可能对用户感知的质量造成极大的影响，因为一个帧内的局部失真将在空间和时间上在帧之间传播。这种丢帧的视觉影响将根据视频解码器处理受损流的能力而变化。在某些情况下，解码器可以自主决定丢弃某些帧。例如，解码器可以整体丢弃或放弃具有受损或丢失信息的帧并重复前面的视频帧，直至得到下一个有效解码帧。编码器在目标编码比特率太低的情况下当内容的运动突然增加时也可以丢弃帧。在所有上述情况下，我们称视频中发生了丢帧。

在许多现有视频质量监控产品中，基于三个主要编码伪像对媒体的总体视频质量进行分析，即急动（jerkiness）、块效应（blockiness）和模糊（blurring）。块效应和模糊是两种主要的空间编码伪像，其主要表现分别是块边界的中断和高频丢失。而急动是最重要的时间伪像。

由一系列的成组丢帧（groupframeloss）造成的时间视频质量降低称为急动，其中所称的成组丢帧是指视频序列中的一个或多个连续帧丢失的情况。

关于（周期和非周期）视频丢帧对于可感知视频质量的影响的估计已经存在一些研究。

K.C.Yang、C.C.Guest、K.EI-Maleh和P.K.Das所著文献“PerceptualTemporalQualityMetricforCompressedVideo”，IEEETransactiononMultimedia,vol.9,no.7,Nov.2007,pp.1528-1535（下文称为文献1）指出，人通常对于连贯的丢帧具有较高容忍性并且负面影响与丢帧的连贯性高度相关，该发现被用于测量急动。

R.R.Pastrana-Vidal和J.C.Gicquel所著文献“AutomaticQualityAssessmentofVideoFluidityImpairmentsUsingaNo-ReferenceMetric”，the2ndInternationalWorkshoponVideoProcessingandQualityMetricforConsumerElectronics,Scottsdale,USA22-24,Jan.（下文称为文献2）讨论了急动的可感知影响与成组丢帧的发生频率之间的关系。

发明内容

本发明的发明人发现，视频的丢帧图案对急动的可感知影响具有很大影响，从而也会影响整体视频质量。上述“丢帧图案”是指通过按照顺序以不同的表示方式记录视频序列中的每个帧在传输过程中是否成功传输或丢失的状态而产生的图案。

因此，本发明利用此发现，提供了一种用于测量视频质量的方法以及相应的装置。

根据本发明的一个实施方式，提供了一种用于测量视频质量的方法。所述方法包括：通过指示视频中的每个帧丢失或成功传输而产生丢帧图案；根据产生的丢帧图案估计所述视频的质量。

根据本发明的一个实施方式，提供了一种用于测量视频质量的装置。所述装置包括：用于接收输入视频并产生接收到视频的丢帧图案的装置；和根据产生的丢帧图案估计所述视频的质量的装置。

在所附权利要求以及说明书和附图中描述了本发明的实施方式。

附图说明

通过结合附图对本发明的实施方式进行详细说明，其中：

图1是视频的丢帧图案的几个实例的示意图；

图2是根据本发明的实施方式的根据丢帧图案测量视频质量的方法的流程图；

图3是丢帧图案被分为两个子部分的示意图；和

图4是用于测量视频质量的方法的体系的示意图；

图5是根据本发明的实施方式的根据丢帧图案测量视频质量的装置的框图；和

图6是用于进行视频质量主观测试的软件工具界面的示意图。

具体实施方式

下面将对本发明的实施方式进行说明。为了说明的目的，对具体结构和细节进行了说明以使本发明得到更透彻的理解。但是，本领域普通技术人员可以理解，不通过所述具体细节也可以实施本发明。

图1是视频的丢帧图案的几个实例的示意图。如上所述，丢帧图案是指通过按照顺序以不同的表示方式记录视频序列中的每个帧的状态而产生的图案。例如，丢帧图案可以用0－1序列进行表示，例如“1、1、1、1、0、0、1、1、1、0、1”，其中“0”表示对应的帧在传输过程中丢失，而“1”表示该帧成功传输。丢帧图案还可以采用高/低水平的曲线的形式，其中高/低水平分别表示成功传输和丢帧。图1（a）示出了视频的这种丢帧图案，其中曲线的每个低水平（波谷）表示包含一个或多个连续丢帧的成组丢帧，而连续传输帧由曲线的高水平（顶部）表示。图1（b）示出了两个不同的丢帧图案：“图案1”和“图案2”，两个图案都包含10个成组丢帧，每个成组丢帧具有相同的长度。文献1和2并未将丢帧图案作为影响视频的可感知急动的一个因素进行考虑，根据其研究结果，上述图案1和图案2造成的视频质量降低将非常相似。但是，本发明的发明人的研究对于上述情况却得出了完全不同的结论。

根据本发明的发明人的发现，急动的可感知影响将受到丢帧图案的极大影响。下面将以具有相同丢帧率的情况（1）至（3）为例进行说明。

情况（1）：每两个帧有一个帧丢失；

情况（2）：每八个帧有四个连续帧丢失；

情况（3）：视频序列的后一半帧全部丢失。

上述三种情况下总体丢帧率都是50%。但是其可感知影响却完全不同。

在情况1中，观看者可以明显地感受到抖动并且在长时间观看的情况下甚至会感到眩晕。而在情况3中，观看者将不会感知到这种情形，但将看到长时间的停滞（freezing）。即，具有相同丢帧率的不同丢帧图案将导致完全不同的感知。

根据本发明的一个实施方式，提供了一种基于上述发现测量视频质量的方法。

图2是根据本发明的实施方式的根据丢帧图案测量视频质量的方法的流程图。

如图2所示，所述方法包括下述步骤：

S201：通过指示视频序列中的每个帧的状态（丢失或成功传输）而产生丢帧图案；

S202：从第一个丢失的帧（lostframe）开始将视频序列中的一个或多个连续丢失的帧分组为成组丢帧；

S203：从第一个成组丢帧开始将丢帧图案划分为具有一个或多个连续成组丢帧的多个部分，一个所述部分中的每个成组丢帧在所述成组丢帧与其前一成组丢帧之间具有相同数量的成功传输帧和相同数量的丢失的帧；

S204：计算由每个部分的成组丢帧产生的质量下降的数值；

S205：通过合并所有部分的数值估计所述视频序列的质量。

下面将结合附图进行详细说明。

在根据本发明实施方式的方法中，首先产生视频序列的丢帧图案。该步骤可以通过以适当的方式指示视频序列中的所有帧的状态而实现。本领域普通技术人员可以理解，可以通过已知方法检测丢帧。因此对于此点将不再进行详细说明。

接下来，从所述视频序列的全部丢失的帧的第一个丢失的帧开始，将一个或多个连续丢失的帧分组为一组，称为成组丢帧。

将考虑的丢帧图案表示为由时间戳给出的FLP={gd₁,gd₂,…,gd_n|gd_i=(gap^gd _i,len^gd _i)},其中gd_i表示第i个成组丢帧。然后从第一个成组丢帧开始将丢帧图案划分（分割）为多个子部分。每个子部分包括一个或多个连续成组丢帧，每个成组丢帧对于视频序列的质量下降具有相同的可感知影响。

在本实施方式的方法中，为了具有相同可感知影响的连续成组丢帧的划分，可以用两个参数来表示视频序列中的每个成组丢帧gd=(gap^gd,len^gd):第一个参数gap^gd是当前成组丢帧与前一成组丢帧之间连续传输帧的数量，第二个参数len^gd是当前成组丢帧中的丢失的帧的数量。gap^gd和len^gd的数值都可以限定为1与10之间的整数。如果每个分割的子部分中的全部成组丢帧具有相同的参数gap^gd和len^gd则它们将对视频序列的质量下降具有类似的可感知影响。

距离函数d(gd₁,gd₂)=|f(gap^gd ₁,len^gd ₁)-f(gap^gd ₂,len^gd ₂)|可以用于测量子部分中两个成组丢帧之间的可感知影响的差别。在上述距离函数中，函数f(x,y)用于视频的可感知质量估计，将在下面对其进行详细说明。

然后基于所述距离函数的定义将丢帧图案分割为子部分。

所述距离函数的伪码如下：

分割程序

1.nCount=0,pool={};//定义为数量/子部分组

2.对于(i=0,i<=n,i++){

2.1如果(d(gd,gd_i)＜c)对于每一个gd∈pool

则插入gd_i至pool中;

否则{SubSection_nCount=pool;pool={};nCount++};

}

在上述伪码中，c为常数。该程序将丢帧图案FLP划分为一组子部分：

FLP={SubSection₁,SubSection₂,...,SubSection_nCount}

图3示出了上述丢帧图案被划分为两个子部分的实施例。如图3所示，一个子部分内的成组丢帧被认为具有类似的可感知影响，两个相应子部分通过数个成功传输的帧连接。

下面将对每个子部分进行可感知估计。

可以理解，因为同一子部分的成组丢帧被认为具有类似的可感知影响，所以将该子部分作为通常的周期丢帧来处理。

因此，通过两个参数SubSection=(gap^SS，len^SS)来表示每个子部分：第一个参数gap^SS是两个相邻成组丢帧之间的成功传输的帧的平均数，第二参数len^SS是该子部分中全部成组丢帧的丢失的帧的平均数。

简言之，子部分的特征值gap^SS和len^SS正好是该子部分中全部成组丢帧的gap^gd和len^gd的平均值。

则可以假设子部分的可感知质量下降由gap和len的特征值确定，定义如下：

J_p(SubSection)=f_p(gap^SS,len^SS)(1)

通过主观测验，对于(gap^SS,len^SS)的某些离散值，可以手动地标记可感知质量估计。针对此目的，定义离散函数f(x,y),x,y∈{1,2,...,10}。

作为一个实施例，上述函数f(x,y)可以定义为：

$f(x,y)=\left\{\begin{array}{cc}{f}_1(x,y)& \mathrm{CameraMotion}<c_{\mathrm{still}}\\ f_2(x,y)& \mathrm{Otherwise}\end{array}\right.$

其中c_still是作为阈值的常数，CameraMotion是子部分中摄像机运动的水平的测量值。f₁(x,y)f₂(x,y)通过下列表格给出：

表格1:f₁(x,y)

表格2:f₂(x，y)

由于摄像机运动是影响可感知质量的另一个重要因素，还需要估计摄像机运动的水平。

可以通过已知方法来估计摄像机运动。最重要的全局运动估计模型之一是L.Y.Duan、J.Q.Wang等所著文献“Shot-LevelCameraMotionEstimationbasedonaParametricModel”（下文称为文献3）中描述的八参数透视运动模型。

文献3公开了下面的公式：

其中(a₀,...,a₇)是全局运动参数,(x_i,y_i)表示当前帧中的第i个像素的空间坐标，表示前一帧中相应像素的坐标。运动模型参数与符号等级解释之间的关系如下建立：

Pan=a₀

Tilt=a₂

文献3介绍的算法在本发明实施方式的方法中用于提取参数GME模型。摄像机运动的水平最后定义为：

CameraMotion=β₁XPan+β₂×Tilt+β₃×Zoom

然后为x,y∈{1,2,...10}定义f_p(x,y)=f(x,y)。还存在如何对这些非整数变量概括函数的问题，这是典型的训练问题。因此，可以采用训练机器（例如本领域已知的人工神经网络（ANN））来赋值J_p(SubSection)=ANN(gap^SS,len^SS)，而用f(x,y)训练该机器。

至此，获得了由丢帧图案的每个子部分产生的可感知质量下降的数值^J _p。

最后，通过合并所述丢帧图案的全部子部分的数值而估计所述视频序列的质量。

在上述方法中，可以采用结合策略（poolingstrategy）将这些数值合并为视频序列的总体质量估计。需要指出，这种时间质量的结合策略与考虑空间伪像（例如块效应、模糊等）的结合策略存在极大不同。因为人类视觉系统（HVS）的特征，人们“容易憎恨，难于宽恕（easytohate,difficulttoforgive）”。在考虑总体时间质量时，具有较高时间质量的两个子部分之间的成功传输的帧通常会被忽视。

在上述分割步骤中，视频序列被分割为定期丢帧FLP={SubSection₁,SubSection_i,...,SubSection_nCount)的一组子部分，并且每两个相邻子部分由某些成功传输帧分隔，NoLoss_i表示SubSection_i和SubSection_i+1之间的成功传输帧。为了说明之简便，将;NoLoss_i作为最小质量下降值为1的特殊类型的周期丢帧来处理。即，设置：

J_p(NoLoss)=1

(2)

然后将所有这些NoLoss_i插入至组FLP。

因此，总体质量下降定义为：

$J=\frac{{\mathrm{\&Sigma;}}_{{\mathrm{flp}}_i\&Element;\mathrm{FLP}}w\left({\mathrm{flp}}_i\right)\&times;J_p\left({\mathrm{flp}}_i\right)}{{\mathrm{\&Sigma;}}_{{\mathrm{flp}}_i\&Element;\mathrm{FLP}}w\left({\mathrm{flp}}_i\right)}---\left(3\right)$

其中w(flp_i)是FLP的元素的加权函数，其定义为：

w(flp_i)=f_T(dist(flp_i))×f_D(J_p(flp_i))×length(flp_i)(4)

在此表达中，length(flp_i)是flp_i中帧的数量；dist(flp_i)是flp_i的中心与最后帧之间的距离；J_p(flp_i)是如上所定义的由flp_i引发的可感知时间质量下降。

f_T是用于表述人类的“记忆&遗忘”特性的函数。假设观看者在其完成对最后帧的浏览时提供总体估计。远离最后帧的子部分将很可能被观看者遗忘。离得越远，被忘记的可能性越大。

f_D是用于表述人类的“容易憎恨，难于宽恕”视觉特性的函数。人们受到具有极大失真的子部分的很大影响，但会忽视大部分没有失真的子部分。

图4是用于测量视频质量的方法的体系的示意图。所述体系的输入是接收到的视频序列以及指示每个帧的丢失/成功接收的丢帧图案（或时间戳）。体系的输出是数值J，表示输入视频序列的视频质量等级（急动）。

如图4所示，体系的主要部分包括三个操作：（1）输入视频的丢帧图案的分割；（2）将每个部分作为周期丢帧对其进行可感知估计；（3）结合。

在分割步骤，如上所述将输入视频序列的丢帧图案划分为一组部分。可以将这些部分分为两种类型，一种(SubSection_i)由类似成组丢帧构成并被认为是该部分内的周期丢帧，另一种(NoLoss_i》不含有丢帧。

在可感知估计步骤，将NoLoss_i的可感知估计设置为常数1。根据上述公式（1）估计SubSection_i的可感知质量估计。

在结合步骤，根据上述公式（3）基于所有部分的可感知质量估计进行总体急动估计。

本发明的另一个实施方式提供了一种根据丢帧图案测量视频质量的装置。

图5是根据本发明的实施方式的根据丢帧图案测量视频质量的装置的框图。

如图5所示，装置500包括：丢帧图案产生单元501，用于接收输入视频序列并产生所述输入视频序列的丢帧图案；分组单元502，用于从丢帧图案产生单元501接收丢帧图案并从第一个丢失的帧开始将所述丢帧图案中一个或多个连续丢失的帧分组为成组丢帧；划分单元503，用于从分组单元502接收分组的丢帧图案并从第一个成组丢帧开始将所述丢帧图案划分为多个具有一个或多个连续成组丢帧的部分，一个所述部分中的每个成组丢帧在所述成组丢帧与其前面的成组丢帧之间具有相同数量的成功传输帧以及相同数量的丢失的帧；计算单元504，用于计算划分单元503输出的成组丢帧的每个部分产生的质量下降值；和估计单元505，用于通过将计算单元504输出的所有部分的值合并估计视频序列的质量并输出该数值。

进行了试验对本发明相对于文献1和2的估计精度进行评测。为了此目的，设计了一个软件工具进行视频质量的主观测试。图6是用于进行视频质量主观测试的软件工具界面的示意图。在右侧“YUV序列”编组框中选择输入视频序列，在右侧中部“丢帧图案”编组框中选择丢帧图案。受到丢帧图案影响的视频序列随后显示在左侧的小窗口中。

然后请观看者如下对急动的感知进行如下标注：

1－无可感知质量下降；

2－通过仔细检查可以在时间轴上发现某些不自然的部位，但不影响欣赏视频；

3－明显的质量下降，经常感受到被打断；

4－质量下降很烦人；

5－太差了，完全无法忍受该视频。

在主观测试中，选择10CIF（352X288像素的视频分辨率）序列和20丢帧图案。邀请三个观看者进行评分，其平均值作为主观评分，用J_S表示。具有标注的评分的全部序列构成数据集DS。

参数设置：

在上述实施中，通过试验确定常数。β₁=β₂=1,β₃=2;c=1.5;C_still=0.23.

为了便于说明，300帧窗口作为存储容量，同时假设观看者可以忘记此窗口之前的帧的质量。在窗口内，设置f_T≡1并设置f_D(d)=6-d。通过上面的表格1和2确定f₁(x,y)和f₂(x,y)。

实验结果：

通过将根据本发明获得的客观估计结果J与主观评分J_S进行比较以估计本发明的估计精度。皮尔逊校正用于预测精度测量。

下表是本发明和文献1、2中提出的算法的皮尔逊校正（预测精度）。

文献1提出的算法	0.45
		文献2提出的算法	0.62
本发明获得的J	0.75

上面结合实施方式对本发明的主要的新颖性特征进行了说明，但本领域普通技术人员可以理解，在不背离本发明原理的情况下，可以对所述的方法和装置的各种细节描述进行各种省略、替代和改变。能够以大体相同的方式执行大体相同功能并获得相同结果的这些特征的组合都包括在本发明的范围之内。将所述实施方式中的特征进行替代也包括在本发明的范围之内。

可以理解，通过实施例对本发明进行了说明，但可以在本发明的原理和范围内做出很多修改。说明书、权利要求和附图中所述的每个特征都（以合适方式）单独或者以任何适当的结合方式提供。所述特征可以用硬件、软件及其结合进行实施。

Claims (10)

1.一种用于测量视频质量的方法，包括：

通过按照顺序记录一组帧中每个连续帧的状态并为每组帧建立指示该组帧中每个帧相对于该组帧中其它帧而言是丢失还是成功传输的排列而产生丢帧图案；和

根据产生的丢帧图案估计所述视频的质量。

2.根据权利要求1所述的方法，其中所述估计包括：

从第一个丢失的帧开始将视频序列中的一个或多个连续丢失的帧分组为成组丢帧；

从第一个成组丢帧开始将丢帧图案划分为具有一个或多个连续成组丢帧的多个部分，一个所述部分中的每个成组丢帧在所述成组丢帧与其前一成组丢帧之间具有相同数量的成功传输帧和相同数量的丢失的帧；

计算由每个部分的成组丢帧产生的质量下降的数值；和

通过合并所有部分的数值估计所述视频的质量。

3.根据权利要求2所述的方法，还包括根据所述部分中两个相邻成组丢帧之间成功传输的帧的平均数量和所述部分中所有成组丢帧的丢失的帧的平均数量计算由所述成组丢帧的部分产生的质量下降的数值。

4.根据权利要求2或3所述的方法，其中所述估计包括通过加权结合合并所有部分的数值。

5.根据权利要求4所述的方法，其中所述加权结合中一个部分的加权系数取决于所述部分中帧的数量、所述部分的中心与最后帧之间的距离和所述部分引入的可视时间质量下降。

6.一种用于测量视频质量的装置，包括：

用于接收输入视频并产生接收视频的丢帧图案的装置，其通过按照顺序记录一组帧中每个连续帧的状态并为每组帧建立指示该组帧中每个帧相对于该组帧中其它帧而言是丢失还是成功传输的排列来产生丢帧图案；和

根据产生的丢帧图案估计所述视频的质量的装置。

7.根据权利要求6所述的装置，其中所述用于估计视频质量的装置包括：

分组单元，用于从丢帧图案产生装置接收丢帧图案并从第一个丢失的帧开始将所述丢帧图案中一个或多个连续丢失的帧分组为成组丢帧；

划分单元，用于从分组单元接收分组的丢帧图案并从第一个成组丢帧开始将所述丢帧图案划分为多个具有一个或多个连续成组丢帧的部分，一个部分中的每个成组丢帧在所述成组丢帧与其前面的成组丢帧之间具有相同数量的成功传输帧以及相同数量的丢失的帧；

计算单元，用于计算划分单元输出的成组丢帧的每个部分产生的质量下降的数值；和

估计单元，用于通过将计算单元输出的所有部分的数值合并估计视频质量并输出该视频质量。

8.根据权利要求7所述的装置，其中所述计算单元根据所述部分中两个相邻成组丢帧之间成功传输的帧的平均数量和所述部分中所有成组丢帧的丢失的帧的平均数量计算由所述成组丢帧的部分产生的质量下降的数值。

9.根据权利要求7或8所述的装置，其中所述估计单元通过加权结合合并所有部分的数值。

10.根据权利要求9所述的装置，其中所述加权结合中一个部分的加权系数取决于所述部分中帧的数量、所述部分的中心与最后帧之间的距离和所述部分引入的可视时间质量下降。