CN103548342B

CN103548342B - 估计比特流级别的视频质量的方法及设备

Info

Publication number: CN103548342B
Application number: CN201180070515.3A
Authority: CN
Inventors: 廖宁; 顾晓东; 陈志波; 谢凯
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2011-05-12
Filing date: 2011-05-12
Publication date: 2017-02-15
Anticipated expiration: 2031-05-12
Also published as: JP5911563B2; WO2012151719A1; EP2708028A1; EP2708028B8; EP2708028B1; CN103548342A; BR112013028991A2; JP2014519735A; US20140219350A1; KR20140022065A; US9549183B2; EP2708028A4; AU2011367779B2; AU2011367779A1

Abstract

一种用于估计比特流级别的视频质量的方法，其中，所述视频质量涉及错误隐藏后的视频，并且在所述错误隐藏之前在比特流‑级别上执行所述方法，所述方法包括：从视频比特流提取和/或计算多个全局条件特征，至少为丢失的MB提取和/或计算多个局部有效性特征，通过模拟在所述错误隐藏中使用的错误隐藏方法来为每个（或至少每个丢失的）MB计算数值错误隐藏有效性级别，以及提供计算出的错误隐藏有效性级别作为视频质量的估计的可见伪像级别。

Description

估计比特流级别的视频质量的方法及设备

技术领域

本发明涉及一种用于估计特别是在视频解码前的比特流级别上的感知的视频质量的方法和设备。

背景技术

本节旨在向读者介绍可能与下面描述和/或要求保护的本发明的各方面相关的技术的各个方面。相信这种讨论有助于向读者提供背景信息以便更好地理解本发明的各个方面。因此，应当理解，需要从这个角度来阅读这些语句，而不是作为对现有技术的承认。

在IP网络上的视频传送是不可靠的。对VQM（视频质量建模）的需求是为了评价除了由视频压缩所导致的那些质量下降之外的由于IP传输损伤（例如，数据包丢失、延迟、抖动）所导致的质量下降。在解码器处应用错误隐藏（EC）之后评估伪像（artifact），因为该结果应涉及观众所感知的视频质量。EC的目标是估计起因于位擦除或数据包丢失的丢失宏块（MB），以便提供最低程度的感知质量下降。因此，准确预测EC的有效性是VQM测量传输损伤的基本部分。

EC方法是空间的（例如，双线性插值，主要用于I-帧）或时间的（即，估计丢失的运动向量（MV），主要用于B-和P-帧）。VOM技术可分为数据包-分层模型、比特流-级别模型、媒体级别模型和混合模型。ITU-T SG12/Q14考虑比特流-级别无参考视频质量（VQ）评估模型以预测观察到的编码和IP网络损伤对移动流传输和IPTV应用中的质量的影响。它使用比特流信息、以及数据包报头中包含的信息、有关媒体流的先验知识和来自客户端的缓冲信息来预测平均意见得分（MOS）。H.Rui,C.Li和S.Qiu在《浙江大学科学期刊A辑》（2006年1月）第7卷，第131-136页的“Evaluation of packet loss impairment on streaming video”中提出了使用强大的空间不连续性作为丢包提示、并且基于解码的像素信息的VQM模型。然而，这些信息在比特流-级别是不可得的。

T.Yamada,Y.Miyamoto和M.Serizawa在（2007年）《数据包视频》第288-293页的“No-reference video quality estimation based on error-concealmenteffectiveness”中描述了使用比特流-级别信息和解码的像素信息两者的无参考混合VQM。它将错误隐藏被确定为无效的MB的数量映射到MOS值。

上述方法的问题是，当丢失的MB不固定时，它们表现不佳，而这在现实视频序列中经常发生。

A.R.Reibman,V.A.Vaishampayan和Y.Sermadevi在IEEE多媒体汇刊（2004年）第327-334页，6(2)的“Quality monitoring of video over a packet network”中在传输损伤情况下使用EC视频序列的无参考比特流-级别VQM来估计MSE（均方误差）。使用来自所接收的基于宏块的视频比特流（例如I-帧MB的DCT的DC分量和AC分量，P-和B-MB的运动向量）的一些统计参数的估计。这种模型的一个问题是它使用MSE（均方误差）作为目标视觉质量度量，而不是主观的MOS。众所周知，MSE不是用于主观视频质量好的度量，尤其对于测量由传输损伤所导致的质量下降。

发明内容

由基于像素插值的EC方案和由基于MV估计的EC方案所产生的可见伪像有很大的不同。一般来说，空间方法产生缺失MB的模糊估计，而时间方法产生可能更少干扰或不可见的边缘伪像。

本发明提供了一种作为比特流-级别VQM模型极其重要的部分的比特流-级别EC有效性评价方法和一种相应的设备。该方法和设备至少可用于由一般网络传输损伤所导致的感知视频质量下降的无参考VQM测量。特别是，该方法和设备在因特网协议（IP）网络传输损伤的情况下是有利的。

根据本发明，用于评价反映EC有效性的可见伪像级别的方案包括提取比特流-级别的编码的视频的多个局部特征（在这里也称为有效性特征）和多个全局特征（在这里也称为条件特征），并通过模拟在解码器处使用的具体错误隐藏方法的过程来计算EC有效性的数值级别。

例如，多个有效性特征是空间运动均匀性（homogeneity）分组、时间运动一致性、纹理平滑度和一个或多个特殊编码模式的概率。在一个实施例中，提取了三个有效性特征，即空间运动均匀性、时间运动一致性和纹理平滑度。

多个条件特征是从接收到的比特流计算的每个帧的全局特征。它们用作确定或估计将哪种类型的EC方法用于传输损耗后的帧的条件。示例性条件特征为帧类型、帧内-MB（intra-MB）/帧间-MB（inter-MB）的比例、运动指数和纹理指数。纹理指数可以是基于任何已知的纹理分析方法，例如，将DC系数和/或所选的AC系数与阈值进行比较。在一个实施例中，提取所有这四个条件特征，或者分别计算这四个条件特征。

所使用的所有特征都是基于从比特流-级别的（即，无需解码比特流为像素域）编码视频提取的数据。这具有保持视频质量评估模式的计算复杂度较低的优点，因为不涉及复杂视频解码处理，只有视频语法分析是必需的；同时模型的视频质量预测准确性得到提高，因为考虑了视频内容特征、编码特征和解码器特征。另一个优点是，结果独立于实际使用的解码器，并因此是客观的，从而使得不同的结果具有可比性。

在一个实施例中，从相邻的正确的MB的MV获得为丢失的或不正确的MB所计算的空间运动均匀性。在一个实施例中，从MV均匀度（uniformity）获得时间运动一致性。在一个实施例中，只为I-帧从相邻MB的DCT系数计算纹理平滑度。在一个实施例中，MB的帧间跳跃模式（inter-skip mode）比例和/或帧间直接模式（inter-direct mode）比例是基于来自相邻MB的4x4块的数据。

在一个实施例中，一种用于估计视频质量的方法包括下列步骤，所述视频质量涉及错误隐藏（EC）后的视频，并且在所述EC之前在比特流-级别上执行所述方法：

从视频比特流提取和/或计算多个全局条件特征，

确定丢失了宏块（MB），

至少为丢失的MB提取和/或计算多个局部有效性特征，

通过模拟在所述EC中使用的EC方法来为每个（或至少每个丢失的）MB计算数值EC有效性级别，以及

提供计算出的EC有效性级别作为视频质量的估计的可见伪像级别。

在一个实施例中，一种用于估计视频质量的设备包括下列部件，所述视频质量涉及错误隐藏后的、并且在所述错误隐藏之前在比特流-级别上估计的视频：

第一提取和计算部件，用于从视频比特流提取和/或计算多个全局条件特征，

确定部件，用于确定丢失了MB，

第二提取和计算部件，用于至少为丢失的MB提取和/或计算多个局部有效性特征，

计算部件，用于通过模拟错误隐藏方法来为每个（或至少每个丢失的）MB计算数值EC有效性级别，以及

输出部件，用于提供计算出的错误隐藏有效性级别作为视频质量的估计的可见伪像级别。

本发明的有利实施例公开在从属权利要求、下面的描述和附图中。

附图说明

参照附图描述本发明的示例性实施例，附图中

图1是VQM和伪像类型的概述；

图2是所建议的方案的框图；

图3是提取EC有效性特征和提取条件特征的框图；

图4是丢失的MB和其邻近MB；以及

图5是H.264中的帧内_4X4和帧内_8X8预测模式方向。

具体实施方式

有线和无线IP网络上的视频通信（例如，IPTV服务）变得非常流行。相比传统的在电缆网络上的视频传输，在IP网络上的视频传送可靠性较低。在无线网络的环境中情况更糟糕。相应地，期望视频质量建模（VQM）来评价除了由视频压缩所导致的那些质量下降之外的由IP传输损伤（例如，数据包丢失、延迟、抖动）所导致的质量下降。如图1所示，有两类分别由传输和视频编码引起的可见伪像：传输损伤/网络损伤50和编码伪像60。

仅与VQM测量编码伪像相比，对于由网络损伤所导致的VQM测量感知伪像所特定的一个挑战是在解码器处应用错误隐藏之后评估伪像。当在网络传输中丢失了编码视频比特流的某些部分时，解码器将采用错误隐藏（EC）的方法来隐藏所丢失的部分以企图减少感知的视频质量下降。所隐藏的丢失伪像越不可见，EC方法就越有效。EC有效性在很大程度上取决于视频内容特征。对EC有效性的评价确定发生数据包丢失时的初始可见伪像（IVA）级别。此外，IVA将空间-时间地传播到将它用作如H.264、MPEG-2等的预测的视频编码框架中的参考的区域。总之，EC有效性的准确预测是VQM测量传输损伤的一个基本部分。根据VQM可得的输入信息，VQM技术可分为数据包-分层模型10、比特流-级别20、媒体级别模型30和混合模型40。

数据包-分层模型10包括多路信号分离器和拆包器11。比特流-级别20也包括多路信号分离器和拆包器21，但还附加地包括对编码视频比特流的语法解析器22。两个模型都考虑进入视频解码器25前的视频信号。视频解码器25通常包括EC单元或与EC单元结合。因此，数据包-分层模型10和比特流-级别模型20在观众所感知的视频质量时必须估计EC单元的效果。另一方面，在视频解码和EC单元25之后使用媒体级别模型30和混合模型40。混合模型40也包括多路信号分离器和拆包器41、对编码视频比特流的解析器42和包括EC单元的视频解码器43。上述由P.NBAMS（ITU-T SG12/Q14）所考虑的比特流-级别视频质量评估模型相较于，例如，媒体-级别模型30，是轻量级模型，并且适合于实时监控和便于在例如机顶盒或家庭网关的客户设备中部署。下面描述的比特流-级别EC有效性评价方法是比特流-级别VQM模型20的一个重要部分。

当在网络传输过程中丢失编码视频比特流的部分时，解码和EC单元25将采用EC来隐藏所丢失的部分。由数据包丢失所产生的伪像的程度在很大程度上取决于所采用的EC方案。EC的目标是估计压缩视频流中由于位擦除或数据包丢失所导致的缺失的宏块（MB）的像素，以便提供最低程度的感知质量下降。通常，EC方法大致可分为两类：空间和时间。在空间分类中，利用局部像素之间的空间相关性；通过插入邻近像素的技术来恢复缺失的MB。在时间分类中，利用运动字段的连贯性和沿跨越块边界的边缘的像素的空间平滑度来估计丢失MB的运动向量（MV）。例如，在H.264JM参考解码器中，应用空间方法通过使用双线性插值技术来猜测帧内编码帧（I帧）的丢失的MB。应用时间方法通过从邻近MB的MV估计丢失MB的MV来猜测帧间预测帧（P-帧，B-帧）的丢失的MB。使用边界匹配标准来选择最好的MV估计。

由基于像素插值的EC方案和由基于运动向量估计的EC方案所产生的可见伪像有很大的不同。一般情况下，空间方法产生缺失MB的模糊估计，而如果猜测的MV不准确的话，时间方法产生边缘伪像。在其它情况下，时间方法几乎不产生可见伪像。

图2示出了用于评价可见伪像同时反映EC有效性的所公开的方案的框图。输入信号105被提供给两个特征提取单元120、130。在局部特征提取单元120中，基于所接收的比特流信息，为每个（或至少为每个丢失的）MB提取和/或计算反映EC方法的有效性的至少两个局部特征。在全局特征提取单元130中，从所接收的比特流中提取和/或计算每个帧的至少两个全局特征，并且所述每个帧的至少两个全局特征被用作确定将哪种类型的EC方法用于具有传输损耗的帧的条件。最后，在EC有效性估计单元140中通过模拟在解码器处采用的预先已知的EC方法来获得每个（或至少每个丢失的）MB的EC有效性的数值可见伪像级别。输出是反映EC有效性的可见伪像级别值145。可以通过任何方法，例如通过自动检测、手动输入、预编程等来获得在解码器处采用的EC方法。也可由解码和EC单元25直接或间接地提供。

图3示出局部特征提取单元120和全局特征提取单元130的示例性实施例。

在一个实施例中，局部特征提取单元120包括用于评估不同的有效性特征的三个子单元121-123，即，用于计算空间MV均匀性的第一子单元121、用于计算时间MV均匀度的第二子单元122、用于计算MV幅度的第三子单元123和用于计算纹理平滑度的第四子单元124。此外（未示出），可能有用于计算某些模式（例如，帧间跳跃模式和/或帧间直接模式）的概率的一个或多个另外的子单元。

在一个实施例中，全局特征提取单元130包含用于评估不同条件特征的四个子单元131-134，即，帧类型确定子单元131、帧内-/帧间比例检测子单元132、运动指数确定子单元133和纹理指数确定子单元134。

在以下对子单元的描述中，帧索引被表示为n，帧中MB的坐标被表示为（i,j）。对于在帧n中丢失的MB（i,j），计算帧n的条件特征和MB（i,j）的局部特征。在一个实施例中，在局部特征之前计算条件特征。在下文中，描述局部特征确定单元120的子单元，参见图3。

空间均匀性确定单元121计算空间MV均匀性。在一个实施例中，在x方向和y方向计算空间均匀度的两个单独的参数。

空间均匀度MV_x(n,i,j)

=标准方差{mv_x(n,i-1,j-l),mv_x(n,i,j-l),mv_x(n,i+1,j-l),mv_x(n,i-1,j),

mv_x(n,i+1,j),mv_x(n,i-1,j+l),mv_x(n,i,j+l),mv_x(n,i+1,j+l)}

空间均匀度MV_y(n,i,j)

=标准方差{mv_y(n,i-1,j-l),mv_y(n,i,j-l),mv_y(n,i+1,j-l),mv_y(n,i-1,j),

mvy(n,i+1,j),mv_y(n,i-1,j+l),mv_y(n,i,j+l),mv_y(n,i+1,j+l)}

图4b）示出具有丢失MB(n,i,j)的当前视频n的一部分。图4a）示出前一视频帧n-1的相同的部分并且图4c）示出下一视频帧n+1的相同的部分。只要接收或恢复了围绕丢失MB(n,i,j)的八个MB的任何一个，将它的运动向量，如果有的话，用于计算空间MV均匀性。如果没有可用的邻近MB，将空间MV均匀性设置为前一参考帧中的并置排列的MB（即，分级H.264编码中的P帧或参考B帧）的空间MV均匀性。对于H.264视频编码器，一个MB可能被划分成用于运动估计的子块。因此，在H.264编码器的情况下，在上述公式中可能使用MB的4X4大小的块的十六个个运动向量，而不是MB的一个运动向量。通过从当前帧到相应的参考帧的距离来归一化每个运动向量。这种做法也被应用于下面的涉及操纵运动向量的计算中。邻近MV的标准方差越小，这些MB的运动越均匀。相应地，如果在这里应用基于运动估计的某种类型的时间EC方法，则更可能不带有可见伪像地隐藏丢失的MB。这个特点适用于如P-帧和B-帧的帧间预测帧的丢失的MB。对于B-帧，可能有两个运动字段，向前和向后字段。分别在两个方向上计算空间均匀度。

时间均匀度确定单元122计算时间MV均匀度。在一个实施例中，在x方向和y方向计算时间均匀度的两个单独的参数：

时间均匀度MV_x(n,i,j)

=标准方差{(mv_x(n+1,i’,j’)-mv_x(n-1,i’,j’))|(i’,j’)∈{九个时间邻近MB的位置}}

时间均匀度MV_y(n,i,j)

=标准方差{(mv_y(n+1,i’,j’)-mv_y(n-1,i’,j’))|(i’,j’)∈{九个时间邻近MB的位置}}

如图4所示，时间MV均匀性被计算为相邻帧中并置排列的MB之间的运动差异的标准方差。标准方差越小，这些宏块在时间轴中的运动越均匀，相应地，如果在这里应用基于运动投影的时间EC方法，则更可能不带有可见伪像地隐藏丢失的MB。这个特点适用于帧内帧（例如，I-帧）和帧间预测帧（例如，P-帧和/或B-帧）两者的丢失的MB。

如果相邻帧（例如，帧n+1）之一是在编码比特流中没有可用MV的帧间帧，使用丢失MB的空间相邻的MB（即，如图4b）所示的（n,i±1,j±1）的MV和帧间预测帧（即，帧n-1和/或n+1）的时间相邻MB的MV来计算时间MV均匀度。即，

时间均匀度MV_x(n,i,j)

=标准方差{(mv_x(n,i’,j’)-mv_x(n-1,i’,j’))|(i’,j’)∈{八个邻近MB的位置}}

时间均匀度MV_y(n,i,j)

=标准方差{(mv_y(n,i’,j’)-mv_y(n-1,i’,j’))|(i’,j’)∈{八个邻近MB的位置}}

MV幅度确定单元123计算MV幅度。对于简单的基于零运动副本的EC方案，MV幅度越大，丢失伪像就越可能是可见的。在一个实施例中，计算邻近MB和当前MB（如果没有丢失的话）的运动向量的平均值。即，

平均幅度MV(n,i,j)

=求平均{九个时间邻近MB的位置}}

在另一个实施例中，使用邻近MB的运动向量的中值的幅度作为丢失的当前MB的运动幅度。如果丢失的当前MB没有邻近MB，丢失的当前MB的运动幅度被设置为前一帧中并置排列的MB的运动幅度。

纹理平滑度确定单元124计算纹理平滑度。在一个实施例中，使用下面的方法。

对于I-帧，根据下列公式使用正确地接收到的MB的DCT系数来计算其纹理平滑度。

其中，并且如果p=0,p×log(1/p)=0；k是DCT系数的索引并且k=0指代DC分量；M是DCT变换的尺寸；T是范围从0到1的阈值，并根据数据集来凭经验设置（在我们的实验中它取值0.8）。在H.264中，DCT变换的尺寸可以是16x16或8x8或4x4。如果DCT变换的尺寸是8x8（或4x4），在一个方法中，将上述公式分别应用到MB的4个（或16个）基本DCT变换单元，则MB的纹理平滑度是所述4个（或16个）基本DCT变换单元的纹理平滑值的平均值。在另一方法中，对于4x4DCT变换，将4x4阿达马（Hadamard）变换应用到由16个基本4x4DCT系数单元的相同要素组成的16个4x4数组。对于8x8DCT变换，将哈尔（Haar）变换应用到由64个8x8DCT系数单元的相同要素组成的64个2x2数组。然后，无论MB使用了什么尺寸的DCT变换，获得256个系数。然后使用上面的公式计算MB的纹理平滑度。如果丢失了帧内帧的MB，其纹理平滑度等于那些邻近MB的中间值。如果丢失的MB没有邻近的MB，其纹理平滑度等于前一帧中并置排列的MB的纹理平滑度。

对于帧间预测帧（P或B帧），如果当前MB的运动活性（motion activity）（例如，上述定义的空间均匀性或运动幅度）等于零或该MB没有预测残差（例如，跳跃模式，或预测残差的DCT系数等于零），则该MB的纹理平滑度等于前一帧中并置排列（collocated）的MB的纹理平滑度。否则，根据上述平滑度计算公式计算正确MB的纹理平滑度；并且丢失MB的纹理平滑度被计算为邻近MB（如果存在的话）的纹理平滑度的中间值或等于前一帧的并置排列的MB的纹理平滑度。上面纹理平滑度的公式背后的基本思想是，如果纹理是光滑的，则大部分能量集中在DCT系数的DC分量处；另一方面，对于高活性MB，MB越粗糙，MB的能量就越均匀地分布在DCT的不同AC分量中。根据上面的公式计算的纹理平滑度度量也可用于将纹理屏蔽效果应用于可见伪像检测。

在H.264的I-帧的另一不太复杂并因此不太准确的实施例中，如图5所示，有八种类型的定向帧内预测模式，加上一个用于帧内MB的帧内4x4和帧内8x8的帧内DC预测模式。有四种用于帧内16x16MB的预测模式，即垂直、水平、DC和平面。因此，可以直接使用其空间邻近MB的帧内预测模式来推断出丢失的MB的平滑度。即，

(num.=数量)。如果使用基于帧内像素插值的EC方法来恢复丢失的MB，则纹理平滑度(n,i,j)的值越小，错误隐藏后丢失MB的伪像越不可见。

在一个实施例中，至少从相邻MB的DCT系数获得纹理平滑度。在一个实施例中，从DC系数能量与DC+AC系数能量之比与阈值的比较中（例如E_DC/E_DC+AC<阈值？），并使用当前MB和相邻MB的DCT系数来获得纹理平滑度。

在一个实施例中，概率确定单元计算例如帧间-跳跃模式和/或帧间-直接模式的某些模式的概率。这些模式是专用于H.264编码的比特流的。其它编码格式可能有其它可以使用的模式。

在一个实施例中，使用下面的方法计算帧间-跳跃模式的概率：

H.264中的跳跃模式意味着比特流中没有MB的进一步的数据。无论MB是否被划分为更小的块，上面公式中的块涉及丢失MB的邻近MB的4x4尺寸的块。

在一个实施例中，使用下面的方法计算帧间-直接模式的概率：

H.264中的直接模式意味着没有MB的MV差异或参考指数。无论MB是否被划分为更小的块，上面公式中的块涉及丢失MB的邻近MB的4x4尺寸的块。

可以一同使用上述两个特征帧间跳跃模式比例和帧间直接模式比例，例如，以求和的方式。一般来说，如果MB是使用H.264中的跳跃模式或直接模式预测的，则可以从其空间或时间邻近的MB较好地预测其运动。因此，如果丢失这种类型的MB的话，如果应用时间EC方法，可以以较少的可见伪像对其隐藏。

在下文中，参见图3描述全局特征确定单元130的子单元。对于每格具有一个或多个丢失的数据包的帧，在本实施例中提取四个条件特征。

帧类型确定子单元131确定帧类型。可能的帧类型有帧内预测的帧或帧间预测的帧，其可以是P-帧或B-帧。

如果该帧是部分丢失的，可以通过解析该帧的所接收的数据包的片段报头来找到帧类型信息。如果该帧被完全丢失，可以从该序列的GOP结构推断帧类型。

帧内-/帧间比例检测子单元132计算一个帧之内的帧内预测的MB与帧间预测的MB的比例。

为部分丢失的帧并且正确接收的MB计算该特征。

在运动指数确定子单元133中，使用帧的所接收的MB的运动向量计算运动指数计算部分丢失的P-和/或B-帧（即，丢失了该帧的少半部分）的运动指数。

运动指数(n)=求平均{|mv(n,i,j)|,(i,j)∈该帧的所有接收的MB}

对于丢失的I-帧或其它部分丢失的P-/B-帧（即，如果丢失了该帧的大半部分），使用正确接收的其相邻的P-帧或B-帧的运动向量计算其运动指数。

运动指数(n)=求平均{|mv(n-1,i,j)|,|mv(n+1,i,j)|,(i,j)∈相应帧的所有接收的MB}

如果所述两个相邻帧完全丢失，则使用前一帧的运动指数参数，即，运动指数(n)=运动指数(n-1)。运动指数值越大，则该帧的运动越多。

纹理指数确定子单元134确定具有丢失MB的帧的纹理指数。

无论该帧是帧内预测的或帧间预测的，使用该帧的感兴趣的MB的纹理平滑度值计算纹理指数。在一个实施例中，感兴趣的MB是那些与丢失的MB相邻的MB和丢失的MB本身。使用感兴趣的MB的纹理平滑度值的平均值计算纹理指数为

其中，K是感兴趣的MB的总数；k是感兴趣的MB的索引。纹理指数值越大，则该帧的纹理越丰富。

最后，EC有效性估计单元140预测可见伪像级别，其中，它模拟已知的EC方法。如上所述，比特流-级别VQM的一个挑战是估计在解码器处采用的EC策略的有效性，因为在不进行真实解码的情况下，伪像的可见度是未知的。在比特流级别，我们只能估计使用EC策略解码后的丢失MB的伪像级别。上面描述了如何提取与现有EC方法的有效性紧密相关的典型的条件特征和局部内容/编码特征。假设解码器的EC策略是已知的，可以使用通过在比特流级别模拟该EC方法的有效性所提取的特征来估计丢失MB的可见伪像级别。

例如，假设在EC有效性估计单元140的一个实施例中使用JM参考解码器。上面描述了JM解码器所使用的EC方法。按照编码顺序解析输入视频比特流。为在解析过程中检测到丢失MB的每个帧丢计算条件特征和局部特征，然后根据以下步骤评价每个（或至少每个丢失的）MB的可见伪像级别：

如果该帧是帧内预测的（即，上述确定的帧类型是帧内帧），从上面计算的纹理平滑度得出伪像级别，按照

伪像级别(n,i,j)=纹理平滑度(n,i,j)×100

否则，如果该帧是帧间预测的（即，如果上述确定的帧类型是帧间帧），从上面计算的空间均匀参数得出（在更高的计算复杂度的情况下）伪像级别，按照

或者（在低计算复杂度的情况下）按照

伪像级别(n,i,j)=（1-帧间跳跃模式比例-帧间直接模式比例）×100

两者都同样适合。

由于在JM解码器中使用空间邻近MB的运动向量来估计帧间预测的帧的丢失MB的运动向量，在这里使用空间均匀MV特征来计算丢失的MB的可见伪像级别。对于其它类型的EC策略，空间均匀MV特征和平均幅度MV特征可能更适合于预测丢失的MB的可见伪像级别。

在EC有效性估计单元140的另一实施例中，假设使用ffmpeg解码器。这里，EC策略比用于JM解码器的更复杂。如果帧内帧丢失了MB，基于当前帧和前一帧的解码的像素计算名为isIntraMoreLike的值。如果参数isIntraMoreLike>0，则使用基于空间像素插值的EC方法。否则，使用时间EC方法。如果帧间预测的帧丢失了MB，比较接收的帧内编码的MB的数量和接收的帧间编码的MB的数量。如果帧间编码的MB的数量高于帧内编码的MB的数量，则使用时间EC方法；否则，使用空间EC方法。

因此，通过模拟解码器处的过程，根据下列步骤评价每个（或至少每个丢失的）MB的可见伪像级别：

如果（帧类型==帧内帧）则设置

如果（isSpatialEC>0）则设置

伪像级别(n,i,j)=纹理平滑度(n,i,j)×100

否则设置

否则（即，帧类型==帧间帧）

如果（帧内MB比例>1）则设置

伪像级别(n,i,j)=纹理平滑度(n,i,j)×100

否则设置

注意，依赖于预先已知的解码器中使用的EC策略，可以单独地或组合地使用上述定义的特征来预测错误隐藏后丢失MB的可见伪像级别。

在一个实施例中，本发明涉及一种计算机可读介质，其具有可执行的指令，以使计算机执行一种方法，该方法包括以下步骤：从视频比特流中提取和/或计算多个全局条件特征，确定丢失了MB，至少为丢失的MB提取和/或计算多个局部有效性特征，通过模拟在错误隐藏中使用的错误隐藏方法来为每个（或至少每个丢失的）MB计算数值错误隐藏有效性级别，以及提供计算出的错误隐藏有效性级别作为视频质量的估计的可见伪像级别。

在上文中，每当为每个（或至少为每个丢失的）MB提取和/或计算特征时，这在一个实施例中可能仅指丢失的MB，或在另一个实施例中，附加地指一个或多个正确地接收的MB。至于本发明涉及信道伪像，为每个丢失的MB计算伪像级别，因为正确地接收的MB的伪像级别被视为零。相应地，为每个丢失的MB计算EC有效性级别。然而，正确MB的特征被用于估计丢失MB的特征。因此，在一个实施例中，为了简化算法和方便软件实现的编程，为每个MB（即，丢失的和正确的）计算所提出的局部特征。这具有的优点是正确MB的特征在必要时随时可用。

本发明可一般地用于视频质量评估领域，特别是在接收器、解码器等中，或在类似路由器等的网络元件中。应理解，仅仅通过示例的方式描述了本发明，在不脱离本本发明的范围的情况下可以做出细节的修改。尽管已经示出、描述并指出应用于本发明的优选实施例的基本的新颖的特征，但应理解，本领域技术人员在不脱离本发明的精神的情况下，可以对所描述的设备和方法、在所公开的设备的形式和细节中、以及在它们的操作中，做出各种省略和替换。明确地表明以基本相同的方式来执行基本相同的功能来达到相同结果的所有这些元素的组合是在本发明的范围之内。也充分考虑和设想将一个所描述的实施例的元件替换到另一个实施例中。在说明书和（如适用）权利要求书以及附图中所公开的每个特征可以独立地或以任何适当的组合提供。所述特征在适当的情况下可以被实现为硬件、软件、或两者的组合。在权利要求中出现的参考标号仅仅是为了说明，并且不应对权利要求的范围起到任何限制作用。

引用的参考文献

H.Rui,C.Li和S.Qiu在《浙江大学科学期刊A辑》（2006年1月）第7卷，第131-136页的“Evaluation of packet loss impairment on streaming video”

T.Yamada,Y.Miyamoto和M.Serizawa在（2007年）《数据包视频》第288-293页的“No-reference video quality estimation based on error-concealmenteffectiveness”

A.R.Reibman,V.A.Vaishampayan和Y.Sermadevi在IEEE多媒体汇刊（2004年）第327-334页，6(2)的“Quality monitoring of video over a packet network”。

Claims

1.一种用于估计比特流级别的视频质量的方法，所述视频质量涉及错误隐藏后的视频，并且在所述错误隐藏之前在比特流-级别上执行所述方法，所述方法包括下列步骤

-从视频比特流提取和/或计算多个全局条件特征；

-确定丢失了宏块；

-至少为丢失的宏块提取和/或计算多个局部有效性特征，其中所述多个局部有效性特征包括以下中的至少两个：空间运动向量均匀性、时间运动向量均匀度，和纹理平滑度；

-通过模拟在所述错误隐藏中使用的错误隐藏方法基于所述多个全局条件特征和所述多个局部有效性特征来为丢失的宏块计算数值错误隐藏有效性级别；以及

-提供计算出的数值错误隐藏有效性级别作为视频质量的估计的可见伪像级别。

2.如权利要求1的方法，其中，所述多个全局条件特征包括帧类型、帧内宏块与帧间宏块的比例、运动指数和纹理指数中的至少两个。

3.如权利要求2的方法，其中，所述多个全局条件特征至少包括帧类型、帧内宏块与帧间宏块的比例、运动指数和纹理指数。

4.如权利要求2的方法，其中，从帧的感兴趣的宏块的纹理平滑度特征获得纹理指数，其中，感兴趣的宏块包括丢失的宏块和与丢失的宏块相邻的宏块，并且其中，从DC系数能量与DC和AC系数的积累的能量之比与阈值的比较中获得纹理平滑度特征。

5.如权利要求1的方法，其中，所述多个局部有效性特征至少包括空间运动向量均匀性、时间运动向量均匀度、平均运动幅度和纹理平滑度。

6.如权利要求1的方法，其中，所述空间运动向量均匀性是基于相邻正确宏块的运动向量。

7.如权利要求1的方法，其中，从DC系数能量与DC和AC能量的和之比与阈值的比较中，并且基于当前宏块和相邻宏块的DCT系数来获得所述纹理平滑度。

8.如权利要求1的方法，其中，使用H.264编码并且所述多个局部有效性特征包含帧间-跳跃模式比例和帧间-直接模式比例中的至少一个。

9.一种用于估计视频质量的设备，所述视频质量涉及错误隐藏后的视频并且在所述错误隐藏之前在比特流-级别对其进行估计，所述设备包括

-第一提取和计算部件(120)，用于从视频比特流提取和计算多个全局条件特征；

-确定部件，用于确定丢失了宏块；

-第二提取和计算部件(130)，用于至少为丢失的宏块提取和计算多个局部有效性特征，其中所述多个局部有效性特征包括以下中的至少两个：空间运动向量均匀性、时间运动向量均匀度，和纹理平滑度；

-计算部件(140)，用于通过模拟错误隐藏方法基于所述多个全局条件特征和所述多个局部有效性特征来为丢失的宏块计算数值错误隐藏有效性级别；以及

-输出部件(141)，用于提供计算出的数值错误隐藏有效性级别作为视频质量的估计的可见伪像级别。

10.如权利要求9的设备，其中，所述多个全局条件特征包括帧类型、帧内宏块与帧间宏块的比例、运动指数和纹理指数中的至少两个。

11.如权利要求10的设备，其中，所述多个全局条件特征至少包括帧类型、帧内宏块与帧间宏块的比例、运动指数和纹理指数。

12.如权利要求10的设备，其中，从帧的感兴趣的宏块的纹理平滑度获得纹理指数，从DC系数能量与DC和AC系数的积累的能量之比与阈值的比较中获得纹理平滑度，其中，感兴趣的宏块包括丢失的宏块和与丢失的宏块相邻的宏块。

13.如权利要求9的设备，其中，使用H.264编码并且所述多个局部有效性特征包含帧间-跳跃模式比例和帧间-直接模式比例中的至少一个。