CN102959976A - 评估视频流质量的方法及设备 - Google Patents

Abstract

用于估计音频/视频体验质量（QoE）的媒体层或分组层上的客观视频质量评估模型是已知的。现有的模型无法提供稳定的性能。一种用于使得能够进行视频数据帧流的质量评估的方法包括：接收（31）分组序列，生成（32）一组参数，并将所生成的该组参数作为辅助信息插入到（33）所述帧流，其中至少一个参数涉及视频码片等级。一种用于评估视频数据帧流的质量的方法包括：接收（41）分组序列，从所述分组序列提取（42）一组参数，并生成（43）估计的平均意见分数（45），其中所述视频数据包括码片等级，并且其中提取的该组参数包括至少一个涉及视频码片等级的参数。

Description

评估视频流质量的方法及设备

技术领域

本发明涉及一种用于评估视频流质量的方法及设备。本发明还涉及一种用于使得能够进行视频流质量评估的方法及设备。

背景技术

随着互联协议（IP）网络的发展，通过有线和无线IP网络的视频通信（例如，IPTV服务）已经变得非常普遍。与传统的通过有线网络进行的视频传输不同，通过IP网络的视频传递不太可靠。这种情况在无线网络的环境中甚至更糟。相应地，近来对视频质量建模（VQM）的一个要求是评定IP传输减损导致的质量下降，例如分组丢失、延迟、抖动，除了由视频压缩导致的那些之外。目前的研究针对媒体层或分组层的客观视频质量评估模型以估计音频/视频质量体验（QoE）(Akira Takahashi:Framework and Standardizationof Quality of Experience(QoE)Design and Management for AudiovisualCommunication Services,NTT Technical Review4/2009,www.ntt-review.jp/a rchive/2009/200904.html)。质量通常被表达为平均意见分数（MOS）值。媒体层模型使用媒体信号，如语音波形或视频像素数据。分组层模型仅使用分组首标信息，并且在自动网络诊断中有助于保证用户体验。它较之媒体层模型是一种轻量模型，因此适合用于实时监测，并在消费者装置（例如，机顶盒）中易于采用（deployment）。目前，已知的客观分组层模型使用分组信息作为输入参数，例如分组丢失率、RTP首标中的时间戳和分组大小。这些输入参数与视频内容无关。然而，视频内容不同部分的丢失会引起不同的感知降低。这是影响现有分组层VQM在估计精度和鲁棒性方面的性能的缺点。

现有模型的另一问题在于并未充分考虑错误隐藏（EC）的效应。丢失的分组对视觉质量上的影响很大程度上取决于在解码器以及编码器配置中使用的错误隐藏方法。尽管已知的VQM模型(A.Raake,M.-N.Garcia,S.Moller J.Berger,F.Kling,P.List,J.Johann,C.Heidemann,T-V-MODEL:PARAMETER-BASED PREDICTION OF IPTV QUALITY，ICASSP2008)根据使用的分组丢失隐藏方案使用两个模型系数，但是这两个模型系数b₀和b₁对给定的方案来说是固定的。相似的模型对解码器中使用的给定的EC方案使用固定的EC权重，其中该EC权重值根据经验设置。然而，已经观察到，对每个解码器设置固定的EC权重远不能近似EC的实际效应。

此外，在基于分组的网络中，可以根据底层网络的最大传输单元（MTU）的大小将已编码的视频帧的比特封装成若干分组，如RTP分组。对H.264编码器而言，视频帧可以被编码成若干码片（slice）。对于传输，可以根据MTU的大小，将一个码片的数据封装在若干RTP分组中，或者将若干码片封装在一个RTP分组中，或者每个分组使用一个码片。因此，分组丢失的统计特征和MOS之间的关系是不稳定的。因此，由于只考虑分组丢失的统计特征和MOS的限制，所以现有的模型无法提供稳定的性能。

发明内容

由于在解码器中不同的EC方法可以应用在不同的码片上，所以已经发现为每个解码器设置固定的EC权重是不够的。而且，在现实世界的应用中，一个H.264编码的视频帧可以被编码成若干码片，不同码片的丢失可能导致在解码器中进行错误隐藏后的相当不同程度的视觉伪像。因此，已经进一步改进了在解码器层应用不同的EC权重的方法。

本发明提供了一种针对至少上述问题的改进的解决方案。

公开了一种用于使得能够进行视频数据帧流的质量评估的方法，其中视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组。该方法包括下列步骤：接收与视频数据帧流相关联的分组序列；根据所述分组序列生成一组参数，该组参数适合用于生成视频数据帧流的估计的平均意见分数；以及将所生成的该组参数作为辅助信息插入到所述帧流。该视频数据包括码片等级，并且生成的该组参数包括至少一个单独涉及该视频的码片等级的参数。

此外，还公开了一种用于评估视频数据帧流的质量的方法，其中视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组。该方法包括下列步骤：接收与视频数据帧流相关联的分组序列；从所述分组序列中提取一组参数；以及基于该组参数生成估计的平均意见分数。所述视频数据包括码片等级，并且所提取的该组参数包括至少一个单独涉及该视频的码片等级的参数。

权利要求14公开了一种适合用于实施用以使得能够进行质量评估的方法的设备，权利要求15公开了一种适合用于实施该评估方法的设备。

此外，本发明的一个实施例是用于视频质量估计装置的计算机可执行程序，其使得该装置的计算机执行所述用于使得能够进行质量评估的方法和/或所述用于评估流质量的方法。另一个实施例是具有记录于其上的所述计算机可执行程序的计算机可读记录介质。

从属权利要求、下面的说明书以及附图中公开了本发明的有利实施例。

附图说明

下面参照附图描述本发明的示例性实施例，其中：

图1示出了传统的分组层模型的结构；

图2示出了本发明的框图；

图3示出了用于使得能够进行视频质量评估的方法的流程图；

图4示出了用于评估视频质量的方法的流程图；

图5示出了用于使得能够进行视频质量评估的装置的框图；以及

图6示出了用于评估视频质量的装置的框图。

具体实施方式

如图1所示，传统上，视频质量评估模型的输入是分组流的分组首标信息14和编码器配置信息13。对分组信息进行分析11之后，提供分析数据如分组丢失率PLR和突发丢失频率BLF以将它们映射12到客观视频质量值15，该客观视频质量值是视频质量的估计分数（即平均意见分数MOS）。编码器配置信息13基于若干假定，即，编解码器类型、画面组（GOP）结构、视频格式（如从传送分组首标获得）以及某些视频内容特征，例如像素数据。

对于现有分组层VQM模型的上述问题，本发明可以改善分组层VQM模型的精度和鲁棒性，同时保持较低的计算复杂度。这对实时视频质量监测尤其有利。

基于以下的实现方式实施例示例性地描述本发明。

首先，为每个视频码片、每个画面组（GOP）、或每个场景组或码片组定义示例性辅助信息语法。术语“场景组”和“码片组”将在下面解释。

其次，定义的辅助信息被用作新的分组层视频质量评估模型的输入，如图2所示。因此，该定义的辅助信息可以用来改善模型在估计精度和鲁棒性方面的性能。例如，该辅助信息被用来引导设置分组层VQM的EC权重值和误差传播（EP）权重值，从而可以克服前述缺点。另一方面，辅助信息的开销被保持地尽可能小。使用所述辅助信息，即使只需传输两个或三个等级，也可以实现质量估计精度的显著改进。

如上所述，根据输入的不同，存在三种通常类别的客观视频质量建模：分组层模型，比特流级模型以及媒体层模型。媒体层模型工作在像素域。参数化的分组层模型基于分组首标信息、网络参数（例如，带宽、分组丢失率、延迟等）以及编码器配置信息。比特流级模型是基于半解码的视频比特流信息和分组首标信息的混合模型。已经提出简化参考（reduced-reference）的媒体层模型用于例如ITU标准ITU-T Rec.J.246。然而，还不存在分组层模型的简化参考模型。

在本发明的方案中，为已编码的比特流中的每个码片设置的辅助信息或者为每个组设置的辅助信息也用作输入。模型的输出是MOS值。

值得一提的是本发明的用于每个视频码片（被封装到一个分组）的辅助信息语法和每个视频分组的优先级之间的差别。后者是根据不同的已编码的帧类型（例如，IDR/I/P/B帧）区分分组的重要性的传统方法，使得拥塞的网络可以更加智能地丢弃分组以努力地将尽可能好的视频质量提供给终端用户。而提出的辅助信息类型不同于帧类型，并且该信息反映了解码器的EC效应、视觉重要性（或感兴趣区域ROI）以及视频码片的误差传播（EP）衰减率。该信息可以显著改善分组层VQM的性能，并还保持分组层模型的轻量特征，仅引入非常低的传输开销。

图2示出了本发明的功能框图。分组信息分析块21使用RTP/UDP首标信息25来得到每一帧的一组参数。例如，对于H.264/AVC编码器，每一帧的参数组（对于具有索引i的帧）28包括总的码片的数目N_i,total、丢失码片的数目N_i,lost以及丢失码片在视频流中的索引。重要的是注意到，使用的是“码片”信息而不是“分组”信息的统计量。根据编码器配置，帧可以被编码成一个或多个码片。例如，帧中的一行宏块（MB）可以是一个码片，或者可以设置码片使得其大小不大于MTU的大小。码片是独立的解码单元。在现实世界的视频传输中，根据底层网络的MTU的大小，可以将码片的数据封装到一个或多个RTP分组。另一方面，帧的若干码片被组装到一个RTP分组也是可能的（如在RFC3984中详细描述的）。如果丢失了码片的任何分组，那么该码片就不能够被合适地解码并被视为丢失。还存在其中检测到分组丢失的另外一种情况，这与丢失了帧的若干码片对应。通过分析每个RFC3984的NALU首标，可以识别每一帧被正确接收的码片。最后，使用RTP分组首标中的时间戳以识别不同的帧。

在可见伪像检测块22中，所描述的每个码片的辅助信息组27、计算的每一帧的参数组28以及编码器配置信息29被用来计算每一帧的“可见伪像等级”（LoVA）。对于第i帧，通过等式（1）估计LoVA：

$V_i=\frac{{\∑}_{j=1}^{N_{i,\mathrm{lost}}}{w}_{i,j}^{\mathrm{location}}\×{\∑}_{i,j}^{\mathrm{EC}}({\mathrm{EC}}_i,{\mathrm{SI}}_{i,j},{\mathrm{TI}}_{i,j})}{N_{i,\mathrm{total}}}+\frac{{\∑}_{j=1}^{N_{i,\mathrm{total}}}{E}_{i,j}^{\mathrm{propagate}}\×w_{i,j}^{\mathrm{IR}}}{N_{i,\mathrm{total}}}---\left(1\right)$

提出的辅助信息三元组是{EC权重等级、ROI权重等级，EP衰减等级}，它被用来引导设置等式（1）中的三个权重系数，如下面将要描述的。

在平均LoVA（MLoVA）计算块23中，计算给定持续时间（例如t秒钟）的序列的平均LoVA（即平均的LoVA）。如从之前的研究中得知(Nitin Suresh,Mean Time Between Visible Artefacts in Visual Communications,PHD thesis,Georgia Inst.ofTech.,August2007)，可见伪像之间的平均时间的一种简单度量与MOS具有0.94的平均相关性。因此，这里使用简单的求平均方法作为时间分担（temporal pooling）方法。即

$\mathrm{MLoVA}=\left(\frac{1}{M}{\mathrm{\Σ}}_{i=1}^M{V}_i\right)/f_r---\left(2\right)$

其中M是t秒内帧的总数，f_r是视频序列每秒钟的帧率。

在映射块24中，根据例如使用曲线拟合方法（如最小二乘曲线拟合方法）训练的函数，将MLoVA映射到客观MOS值。

在等式（1）中，根据每个丢失的码片在帧内的位置，将不同的权重

分配给丢失的码片。权重可以依据ROI等级的辅助信息来设置。码片存在被标记为“1”（包含ROI的码片）或“0”（码片中没有ROI）的两个ROI等级。相应地，如果码片包含ROI，那么权重被设置为较大的值，否则设置为较小的值，从而区分它们的视觉影响。在实验中，已经发现当ROI_level等于1时，

例如加倍是有利的。

在等式（1）中，

是反映不同的丢失码片的不同的EC效应的EC权重。丢失的码片的EC效应不仅取决于解码器中使用的EC方法和编码器中采用的分片模式，而且取决于该码片中的视频内容特征：空间复杂度度量SI_i，j和时间复杂度度量TI_i，j。

的值依据EC等级的辅助信息设置：将其设置为更小或更大的值以反映不同的码片和使用的EC方法的不同的EC效应。在实验中，对于帧间预测的码片，被设置为例如分别对应于EC等级0、1和2的0.01、0.3和0.6。对于帧内编码的码片，

被设置为例如对应于EC等级0或1的0.01或2。

在等式（1）中，反映传播误差的衰减程度。它与帧中帧内编码的MB的比率以及预测残差量信息相关。

的值可以依据帧中码片的EP_level设置。码片内帧内MB与MB总数之比(表示为IRR_i，j)可以根据EP_level值获得。然后，在实验中，

即，被设置为反映帧内MB防止误差传播的作用。

在等式（1）中，

表示从参考帧传播的可见伪像的量。这个值主要取决于编码器配置信息，即参考帧的数目。在实验中，参考帧的数目是两个，并且使用预测（P-）和双向预测（B-）的帧类型。计算如下：

其中E_1，j和E_2，j是存储的两个之前的参考码片的伪像值。a和b是来自不同参考帧的传播误差的权重，a+b=1，a,b∈(0,1)。在实验中，对P-帧，a和b被设置为a=0.9，b=0.1，对B-帧，a=b=0.5。

下面描述用于辅助信息传输的示例性语法。

在编码码片等级定义一组辅助信息语法，如表格1所示。在H.264/AVC中一帧可以被编码成一个或多个码片。编码码片是独立于该帧的其它码片的解码单元。如果一帧被编码成若干码片，那么一个码片可能包含例如一行MB。

在本实施例中，辅助信息组包括每个视频码片的{EC_level,ROI等级,和EP衰减等级}。提出的辅助信息组还可以包括参数size_in_MB，例如，当在帧的码片中包括可变数目的MB时。这可以发生在例如当H.264/AVC编码器被配置成“每码片固定字节”的码片模式时。

语法	描述	大小
			param_set_for_slice{
EC_level	错误隐藏效应等级	2比特
			ROI_level	感兴趣区域等级	1比特
EP_attenuation_level	误差传播衰减等级	4比特
			size_in_MBs	当前码片中MB的数目	最大8比特
}

表格1示例性码片等级的参数组

EC_level是“错误隐藏等级”的值。该参数反映码片的运动和/或纹理复杂度以及使用的EC方法。它可以帮助衡量在丢失当前码片时的EC效应。通常地，两个或三个等级（与2比特对应）是够用的。

ROI_level是“感兴趣区域等级”的值。它反映了当前码片内容是否是感兴趣的感知区域，例如眼睛或嘴。可以在1比特中对其编码。

EP_attenuation_level是“误差传播衰减等级”的值。该参数反映了传播误差到当前码片或当前帧的不同的衰减速度。它与编码器配置（例如，H.246中的帧内刷新速率）和视频内容本身（例如，预测编码之后的残差信息量）相关。可以在每次编码码片或每次编码帧时计算一次该参数。通常4比特（与16等级对应）是够用的。

size_in_MB是当前码片中MB的数目。该参数只有在帧的码片中包括了可变数目的MB时才有用。它的大小取决于帧的大小，通常8比特是足够的。

如果辅助带宽有限，那么可以选择性地传输码片等级参数。在若干实验中，发现EC_level对改进性能的帮助最为显著。第二重要的信息是ROI_level，第三是EP_level信息。最后是size_in_MB，它只在帧的多个码片中包括了变化数目的MB时才有用。在一个实施例中，仅使用码片等级的EC_level参数。此外，如下面所示，可以根据例如像码片的预测类型（帧内或帧间）或使用的隐藏类型之类的基准，依据码片，通过不同的公式来计算（但不一定需要）该参数。

通常地，隐藏方法落入两种类型或类别：基于像素插值的方法和基于运动估计的方法。这两种类型的视觉伪像是不同的。因此，区分这两种隐藏类型的EC效应是有利的。使用的隐藏类型也可能取决于预测类型，例如在JVTJM解码器中。

除了JVT JM非实时解码器之外，广泛使用的实时解码器是ffmpeg解码器。已发现，在当前版本下，较之JVT解码器，ffmpeg解码器可以更好地恢复丢失的码片：在一个实施例中，解码器首先确定具有（一个或多个）丢失的码片的帧是否更可能是帧内编码的。如果该帧是可能帧内编码的，那么使用基于像素插值的方法；否则，使用基于运动估计的方法。用于确定更可能是帧内编码的帧的可能的基准如下：

（1）如果不存在之前的帧作为参考，那么当前帧更可能是帧内编码帧。

（2）如果该帧是I-帧，那么基于正确接收的当前帧的MB计算当前帧和紧邻的前一帧之间的绝对差。如果绝对差较大，那么该帧很可能不同于前一帧，因此应该更可能使用基于内部像素插值的方法。在示例性实施例中，定义帧的变量is_intra_like，并将其增加绝对差的值。否则，即，如果绝对差较小，那么计算前一帧中垂直相邻的MB之间的绝对差：如果差较大，那么前一帧很可能具有丰富的纹理。由于当前帧的这个特征被假设为在当前帧和前一帧中相似，因此当前帧也很可能具有丰富的纹理。在此情形中，不应该使用基于像素插值的方法来对当前帧进行隐藏，这是因为基于像素插值的方法更适合用于平滑的区域。在此情形中，将变量is_intra_like减去绝对差的值。对该帧的所有MB重复这个过程。最后，如果变量is_intra_like大于0，那么判断该帧更可能是帧内编码的，并且将使用基于像素插值的方法。否则，将使用基于运动估计的方法。

（3）如果该帧是帧间预测的（即P-帧或B-帧），那么基于正确接收的当前帧的MB计算变量is_intra_like。如果MB是帧内编码的，那么递增is_intra_like，而如果MB是帧间编码的，那么递减is_intra_like。如果最终的is_intra_like大于0，那么该帧很可能是帧内编码的，并且将使用基于像素插值的方法。换言之，如果帧内编码的MB的数目大于帧间编码的MB的数目，那么该帧被判断为更可能是帧内编码的，并且将使用基于像素插入的方法。否则，将使用基于运动估计的方法。

在另一个实施例中，仅使用码片等级上的ROI_level参数。

另外，可以在编码GOP或场景组等级上定义第二组辅助信息语法。场景组是两个相邻场景变化之间的一组画面。编码GOP结构可以与场景组一致（align with）或不一致。通常，场景组中的视频内容与相邻的场景组的视频内容具有非常不同的特征，但在组内具有相似的特征。如果帧被编码成若干码片，例如一个码片包含一行MB，那么在下文中把在组内的帧的相同位置上的码片称为码片组。

在一个实施例中，辅助信息组还包括每个编码GOP或场景组的{时间复杂度等级,空间复杂度等级}。当帧内存在若干码片，例如每一码片一行MB时，提出的辅助信息组可以另外包括ROI等级参数group_ROI_Level。对于每一个码片组要计算group_ROI_Level。

语法	描述	大小
			param_set_for_group{
temporal_complexity_level	组内整个运动的等级	2比特
			spatial_complexity_level	组的整个纹理复杂度的等级	2比特
group_ROI_level	指示组是否包含ROI	1比特
			}

表格2GOP等级或场景组等级的参数组

temporal_complexity_level反映了GOP/场景组或码片组内内容的整个运动的不同等级。通常4个等级是够用的。

spatial_complexity_level反映了GOP/场景组或码片组内内容的整个纹理复杂度的不同等级。通常4个等级是够用的。

group_ROI_level是码片组的“ROI level”的值。只有当帧内存在若干码片，例如每一码片一行MB时，才计算该参数。对于GOP或场景组中的每一个码片组要计算group_ROI_level。

下面描述上述辅助信息参数的计算。

EC-level计算

对编码码片来说，可以根据不同的EC方法计算EC_level”。例如，在H.264参考解码器中（也被称作JVT解码器或JVT JM模型），帧间预测的码片和帧内预测的码片适用不同的EC方法；因此，在一个实施例中，针对这两种码片类型使用不同的计算方法。在JVT解码器中，使用内部像素插值方法来隐藏丢失的“帧内预测”码片的MB；对丢失的“帧间预测”码片的MB使用基于时域运动向量估计的错误隐藏方法。在某些更高级的解码器中，这两种类别的EC方法不是根据码片类型而是根据码片的其它特征选择的。下面给出了一个示例。另外，可以使用类似的计算方法。

例如，在JVT解码器中，对于每个帧间预测的码片，解码码片并通过求4*4子块的运动向量（MV）的平均值来计算每个MB的平均运动向量。如果MB以帧内预测模式编码，那么将其MV设置为最大运动搜索范围的值。获得像素单元内而不是子像素精度内的MV。这是一种获得MB的MV的低复杂度的方法。替代性地，可以使用其它现有的运动搜索方法来计算每个MB的MV。将第i个MB的MV表示为MV_i。对码片内的MV_i按照降序排列：{MV_j|MV₀>MV₁>....>MV_N-1}，其中N是码片内MB的总数。通过求最前面M个MV的平均值来计算码片的时间复杂度：

$\mathrm{TC}=\frac{1}{M}\underset{j=0}{\overset{M-1}{\mathrm{\&Sigma;}}}{\mathrm{MV}}_j,M<N---\left(4\right)$

在实验中，M=3或M=N/3。码片的EC_level计算如下：

计算帧间预测码片的EC_level背后的原理是EC效应随着受损码片的不同的时间复杂度显著变化。对静态码片而言，可以将其恢复为不具有可觉察的伪像。然而，对具有较大运动的码片而言，则很难隐藏错误，通常会存在严重的边缘失真，这在感官上是让人非常不悦的。

对每个帧内预测的码片，假设它丢失了并且正确接收到与之相邻的码片。JVT解码器中应用的像素域插值EC方法被用来重构该码片的内容。感觉失真计算如下：

$D={\left(\frac{1}{M}\underset{(j,k)\&Element;I}{\mathrm{\&Sigma;}}{D}_{\mathrm{blk}}^2(j,k)\right)}^{1/2}---\left(6\right)$

$D_{\mathrm{blk}}(j,k)=\max \{\frac{\frac{1}{N}{\&Sum;}_{l=0}^{N-1}|Y_{j,k}^{\mathrm{rec}}\left(l\right)-Y_{j,k}^{\mathrm{rec}}\left(l\right)|}{{\mathrm{JND}}_{j,k}}-\mathrm{1,0}\}---\left(7\right)$

其中

是无损解码的索引为（j,k）的MB的亮度分量，

是错误隐藏后的索引为（j,k）的MB的亮度分量，M是码片内MB的总数，N是MB内像素的总数，JND_j，k是MB的可见阈值（“仅仅可觉察的差异”），可以使用已知方法(例如.在W.Lin等人的,"Visual Distortion Gauge Based on Discriminationof Noticeable Contrast Changes",IEEE Transactions On Circuit and System forVideo Tech.,Vol.15,No.7,Ju1.2005)计算它。可见阈值受到诸如空间对比度敏感度和亮度适应性之类的效应的影响。

在实验中，只考虑亮度遮掩效应，并且根据稍作修正的经验公式⁴计算：

其中L_j，k是索引为（j,k）的MB的背景亮度。通过求已解码的MB的像素的亮度值的平均值计算它。参数f，g,h可以选为f=22，g=20，h=10。然后，可以通过下式计算码片的EC等级：

其中Thrd是常数，并被设置为接近0的较小的值，例如，0.05。

计算帧内编码的码片的EC等级背后的原理是可能在某些特定的环境中（例如，具有非常暗或亮的强度或均匀纹理的区域，或者具有丰富纹理的区域）不会感知到使用像素插值方法进行错误隐藏的码片的质量降低。可以使用相似的方法计算帧间编码的码片的EC等级。然而，上述方法在计算上更为高效和有效。

ROI_level计算

参数ROI_level可以具有两个值。“0”表示码片不是ROI，“1”表示该码片是ROI。定义ROI的方法是已知的。例如，如果码片包含注意力敏感的感兴趣区域，如眼睛和/或嘴，那么码片ROI_level是“1”。否则，码片ROI_level是“0”。这里可以使用任何现有的ROI分割（也被熟知为突出性映射（saliencymapping））方法。在另外一个实施例中，如果编码器被配置为使用其中前景是ROI而背景不是ROI的“前景和背景”的FMO码片模式，那么前景码片具有“1”的ROI_level，而背景码片具有“0”的ROI_level。

EP_level计算

示例性地，误差传播衰减（EP）等级的计算如下所述。对于帧内编码的码片，每个码片的EP等级被设置为“0”，这是因为所有的MB是帧内编码的，所以不存在来自前面的帧的传播误差。对帧间编码的码片，对其解码以获得帧内编码的MB的数目；计算帧内编码的MB与码片的MB总数之比，表示为IRR。根据IRR的值设置每个码片的EP等级。例如，如果使用4比特表示IRR等级，那么就存在{(2n+1)/32,n=0，...,15}的16个等级。通过将其IRR值舍入到相应的IRR等级来确定码片的IRR等级。帧的EP等级可以使用相似的方法确定。

下面描述上述的组等级的辅助信息参数的计算。

组Temporal_Complexity_Level计算

对GOP或场景组或码片组（后文中统一称作组）来说，时间复杂度等级是根据“零MV”在组中的比率、组内“平均均值MV大小”和/或组内的“运动的均匀性”计算的。每个MB的MV是使用与码片等级描述的相同的方式获得的。平均零MV比率（表示为Z）被计算为组内零MV的数目与MV总数之比：

Z=N_MV，0/N_MV，total            （10）

平均均值MV大小（表示为V）被计算为组内一个码片/帧中的非零MV的平均大小的平均值，然后归一化为帧宽。使用阈值方法将时间复杂度分成例如三个等级：静态的（等级0），非常大的运动（等级2），其它/中等的（等级1）。

组spatial_Complexity_level计算

对GOP或场景组来说，空间复杂度等级是通过首先在组的每一帧/码片上应用边缘检测算子（例如，索贝尔算子）计算的。然后，使用边缘幅度分成例如两个或三个等级：具有平滑纹理的区域（等级0）或具有丰富纹理的区域（等级2）。另外，第三等级可以是其它/中等（等级1）。

Group_ROI_level

Group_ROI_level参数仅被用于码片组（上面定义的）。如果当前码片组包含注意力敏感区域，如眼睛和嘴，那么其ROI_level是“1”；否则，为“0”。

应该注意的是，上述的每个参数可以单独使用，或者以任何组合的方式使用。虽然已经发现码片等级的参数较之组/GOP等级的参数通常会导致更强的效应，但是这可能依赖于与实施例的环境相关的应用。

根据已经描述的示例，可以建立许多有利的实施例。可以将下面的实施例组合起来。尤其地，与方法相关的实施例可以演变为与设备相关的实施例。

图3示出了用于使得能够进行视频质量评估的方法30的流程图。视频数据通过分组网络传输，并且视频数据的每一帧都被表示为可变数目的分组。该方法包括下列步骤：接收31与视频数据帧流相关联的分组序列34；根据所述分组序列生成32一组参数，并将所生成的参数组作为辅助信息插入33所述帧流。视频数据包括至少一个码片等级，并且生成的参数组包括至少一个单独涉及该视频的码片等级（即，不涉及其它码片）的参数。该参数组适合用于生成视频数据帧流的估计平均意见分数（MOS）。

图4示出了用于评估视频质量的方法40的流程图。视频数据通过分组网络传输，并且视频数据的每一帧都被表示为可变数目的分组。用于评估视频数据帧流的质量的该方法包括下列步骤：接收41与视频数据帧流相关联的分组序列44，从所述分组序列提取42一组参数，并基于所述参数组生成43估计的平均意见分数45。该视频数据包括至少一个码片等级，并且提取的参数组包括至少一个单独涉及该视频的码片等级（即，不涉及其它码片）的参数。

在所有的实施例中，如果帧具有多于一个码片（表示为若干码片等级），那么参数组包括至少一个单独涉及视频的特定码片或码片等级（不涉及其它码片/码片等级）的参数。

在一个实施例中，参数组进一步包括至少一个单独涉及视频的GOP等级或场景组等级的参数。

在一个实施例中，第一参数（EC_level）表示码片的错误隐藏等级。在一个实施例中，第一参数反映码片的运动和/或纹理复杂度，并且在建立参数的情况下，生成第一参数的步骤包括：如果码片是帧内预测的，那么使用第一计算方法37a（参见图3）生成第一参数；如果码片是帧间预测的，那么使用不同的第二计算方法37b生成第一参数。此外，可以执行区分或选择步骤36以选择EC类型，例如对JVT JM解码器区分帧内预测的码片和帧间预测的码片。在更高级的解码器中，不是根据码片类型而是根据码片的其它特征进行这两种类别EC方法的选择36。EC_level计算的目的在于区分由丢失的码片的内容和被用来隐藏丢失的码片的不同EC方法引起的EC效应。如上所述，在一个实施例中，如果码片具有比帧间MB更多的帧内MB，那么使用第一计算方法37a，否则使用第二计算方法37b。

在一个实施例中，第二参数（ROI_level）表示码片是否包含感兴趣区域（ROI）。

在一个实施例中，第三参数（EP_attenuation_level）表示码片的误差传播衰减等级。在其中建立参数的实施例中，在生成的参数组中生成第三参数的步骤包括：对帧间编码的码片，计算该码片中帧内编码的宏块与宏块总数之比，其中对帧内编码的码片，第三参数被设置为0。

在一个实施例中，第四参数（size_in_MBs）表示码片内宏块的数目。

在一个实施例中，第五参数（temporal_complexity_level）表示GOP或场景组的时间复杂度等级。在如图3所示的实施例中，其中建立参数，在生成的参数组中生成第五参数的步骤包括下列子步骤：确定38a GOP或场景组的零运动向量的比率；将GOP或场景组分类38b为至少三个运动等级中的一个，所述运动等级至少包括静态等级、中等运动等级和非常大的运动等级；以及根据其所分类成的运动等级生成38c GOP或场景组的第五参数。

在一个实施例中，第六参数（spatial_complexity_level）表示GOP或场景组的空间复杂度等级，其中在GOP或场景组的每个码片或每一帧中使用边缘检测，并根据边缘量将GOP或场景组分类为至少两个空间复杂度等级中的一个，这些等级与平滑纹理和丰富纹理对应。

在一个实施例中，第七参数（group_ROI_level）表示GOP或场景组中码片组的组ROI等级，表示GOP或场景组中对应的码片是否包含感兴趣区域（ROI）。

在一个实施例中，如图5所示，示出了一种用于使得能够进行视频数据帧流的质量评估的设备50，其中视频数据通过分组网络传输，并且视频数据的每一帧都被表示为可变数目的分组，该设备包括：用于接收与视频数据帧流相关联的分组序列的接收部件51；用于根据所述分组序列生成一组参数的计算部件52，该参数组适合用于生成视频数据帧流的估计的平均意见分数；以及用于将所生成的参数组作为辅助信息插入所述帧流的插入部件53。该视频数据包括码片等级，并且生成的参数组包括至少一个涉及该视频的码片等级的参数。该接收部件51可以是输入级、接收器、连接器等。该计算部件52可以是（微）处理器、软件执行单元、计算单元等。该插入部件53可以是复用器、仲裁器或相似器件。

图5示出了一实施例，其中该实施例进一步包括用于区分帧间编码的码片和帧内编码的码片的区分单元56、用于当码片是帧内编码时生成第一参数的第一计算单元57a以及用于当码片是帧间编码时生成第一参数的第二计算单元57b。

此外，为了在生成的参数组中生成第五参数，图5所示的实施例还包括：用于确定GOP或场景组的零运动向量的比率的第一确定部件58a；用于将GOP或场景组分类为至少三个运动等级中的一个的分类部件58b，该运动等级至少包括静态等级、中等运动等级和非常大的运动等级；以及用于根据其被分类成的运动等级生成GOP或场景组的第五参数的生成部件58c。

在一个实施例中，如图6所示，公开了一种用于评估视频数据帧流的质量的设备60。视频数据44通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组。该用于评估视频数据帧流的质量的设备60包括：用于接收与视频数据帧流相关联的分组序列的接收部件61；用于从所述分组序列中提取一组参数的提取部件62；以及用于基于所述参数组生成估计的平均意见分数45的计算部件63。该视频数据包括码片等级，提取的参数组包括至少一个涉及该视频的码片等级的参数。

在一个实施例中，提供了一种用于视频质量估计装置并使得该装置的计算机执行根据权利要求1-13中任一项所述的方法的计算机可执行程序。在一个实施例中，一种计算机可读记录介质记录了所述计算机可执行程序。

可以在传输分组化的视频信号之前或在接收分组化的视频信号之后，在分组层VQM模型中使用本发明。辅助信息（即，被插入的参数）的另一种用途是在网络拥塞的情况下网络元件（例如，路由器）可以使用这些参数来估计终端用户的质量并确定哪些分组被丢弃，同时保持最佳的终端用户感知视频质量。

虽然已经展示、描述并指出了如应用于其优选实施例的本发明的根本创新特征所在，但是仍应该理解的是，本领域的技术人员可以在不偏离本发明的精神的情况下对已描述的设备和方法、公开的装置的形式和细节以及其操作做出各种省略、替换和更改。这里要清楚表明的是，以实质上相同的方式执行实质上相同功能以获得相同结果的这些要素的所有组合都在本发明的范围之内。将描述的一个实施例中的要素替换为另一个也完全为本发明所预期和设想的。

应该理解的是，在本说明书中已经使用单纯举例的方式对本发明予以描述，可以在不偏离本发明的范围的情况下对细节做出若干修改。

说明书、权利要求书和附图（如果适用）中公开的每个特征都可以被单独地或以任何合适的组合的方式提供。若干特征可以在合适的地方被实施为硬件、软件或两者的组合。权利要求书中出现的参考标号仅用作说明，对权利要求的范围不具有限制性影响。

Claims (15)

1.一种用于使得能够进行视频数据帧流的质量评估的方法，其中所述视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组，所述方法包括下列步骤：

-接收（31）与所述视频数据帧流相关联的分组序列；

-根据所述分组序列生成（32）一组参数，该组参数适合用于生成所述视频数据帧流的估计的平均意见分数；以及

-将所生成的该组参数作为辅助信息插入到（33）所述帧流；

其中所述视频数据包括码片等级，并且其中所生成的该组参数包括至少一个单独涉及所述视频的码片等级的参数。

2.一种用于评估视频数据帧流的质量的方法，其中所述视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组，所述方法包括下列步骤：

-接收（41）与所述视频数据帧流相关联的分组序列；

-从所述分组序列中提取（42）一组参数；以及

-基于该组参数生成（43）估计的平均意见分数（45）；

其中所述视频数据包括码片等级，并且其中所提取的该组参数包括至少一个单独涉及所述视频的码片等级的参数。

3.如权利要求1或2所述的方法，其中该组参数进一步包括至少一个单独涉及所述视频的GOP等级或场景组等级的参数。

4.如权利要求1-3中任何一项所述的方法，其中第一参数表示码片的错误隐藏等级。

5.如权利要求4所述的方法，其中所述第一参数反映所述码片的运动和/或纹理复杂度，并且其中，在权利要求4引用至少权利要求1的情况下，在生成的该组参数中生成所述第一参数的步骤包括：

-确定所述码片是帧内预测的还是帧间预测的；

-如果所述码片是帧内预测的，那么使用第一计算方法（37a）生成所述第一参数；以及

-如果所述码片是帧间预测的，那么使用不同的第二计算方法（37b）生成所述第一参数。

6.如权利要求1-5中任何一项所述的方法，其中作为第二参数的参数表示码片是否包含感兴趣区域（ROI）。

7.如权利要求1-6中任何一项所述的方法，其中第三参数表示码片的误差传播衰减等级。

8.如权利要求7所述的方法，当权利要求7引用至少权利要求1时，其中在所生成的该组参数中生成第三参数包括：对帧间编码的码片，计算所述码片中帧内编码的宏块与宏块总数的比率，并且其中对帧内编码的码片，所述第三参数被设置为零。

9.如权利要求1-8中任何一项所述的方法，其中第四参数表示码片内宏块的数目。

10.如权利要求3-9中任何一项所述的方法，其中第五参数表示GOP或场景组的时间复杂度等级。

11.如权利要求10所述的方法，当所述权利要求3-9中任何一项引用至少权利要求1时，其中在所生成的该组参数中生成所述第五参数包括下列步骤：

-确定（38a）所述GOP或场景组的零运动向量的比率；

-将所述GOP或场景组分类（38b）为至少三个运动等级中的一个，所述运动等级至少包括静态等级、中等运动等级和非常大的运动等级；以及

-根据其所分类的运动等级生成（38c）所述GOP或场景组的第五参数。

12.如权利要求3-11中任何一项所述的方法，其中第六参数表示GOP或场景组的空间复杂度等级，其中在所述GOP或场景组的每个码片或每一帧中使用边缘检测，并根据边缘数量将所述GOP或场景组分类为至少两个空间复杂度等级中的一个，所述等级与平滑纹理和丰富纹理对应。

13.如权利要求3-12中任何一项所述的方法，其中第七参数表示GOP或场景组中的码片组的组ROI等级，以表示所述GOP或场景组中对应的码片是否包含感兴趣区域（ROI）。

14.一种用于使得能够进行视频数据帧流的质量评估的设备，其中所述视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组，所述设备包括：

-接收部件（51），用于接收与所述视频数据帧流相关联的分组序列；

-计算部件（52），用于根据所述分组序列生成一组参数，该组参数适合用于生成所述视频数据帧流的估计的平均意见分数；以及

-插入部件（53），用于将所生成的该组参数作为辅助信息插入到所述帧流；

其中所述视频数据包括码片等级，并且其中所生成的该组参数包括至少一个涉及所述视频的码片等级的参数。

15.一种用于评估视频数据帧流的质量的设备（60），其中所述视频数据通过分组网络传输，并且视频数据的每一帧被表示为可变数目的分组，所述设备包括：

-接收部件（61），用于接收与所述视频数据帧流相关联的分组序列；

-提取部件（62），用于从所述分组序列中提取一组参数；以及

-计算部件（63），用于基于该组参数生成估计的平均意见分数（45）；其中所述视频数据包括码片等级，并且其中所提取的该组参数包括至少一个涉及所述视频的码片等级的参数。

Images