CN104396238A - 比特流级别的视频质量评估 - Google Patents

Abstract

因为对应的压缩数据丢失或者语法失去同步，所以视频序列中的宏块可能是不可解码的。可以使用错误隐藏技术来隐藏不可解码的宏块。可以将由不可解码的宏块造成的初始可视伪像的级别估计为运动幅度、错误隐藏距离和/或残差能量的函数。初始可视伪像可以通过预测，在空间上或时间上传播到其它宏块。考虑初始可视伪像和传播伪像这两者，可以对个体宏块估计总体伪像的级别。然后，可以通过汇聚宏块级别的伪像级别来估计视频序列的视觉质量。

Description

比特流级别的视频质量评估

技术领域

本发明涉及视频质量测量，并且更具体地，涉及用于确定客观视频质量度量的方法和设备。

背景技术

随着IP网络的发展，通过有线和无线IP网络(例如因特网IPTV服务)的视频通信已变得普及。与通过电缆网络的传统视频传送不同，通过IP网络的视频传送不太可靠。因此，除了来自视频压缩的质量损失之外，在通过IP网络传送视频时，视频质量进一步降低。除了对由视频压缩造成的质量降低之外，成功的视频质量建模工具还需要对由网络传送损伤(例如包括丢失、传送延迟和传送抖动)造成的质量降低进行评级。

发明内容

本原理提供一种用于估计用比特流表示的视频序列的视觉质量的方法，其中使用切片(slicing)模式错误隐藏来隐藏所述视频序列中的不可解码的块，所述方法包括以下步骤：估计所述视频序列的帧中的不可解码的块的运动幅度；确定所述帧与用于隐藏所述块的另一帧之间的距离；以及，如下文所述的那样，响应于所述运动幅度和所述距离来估计所述视频序列的视觉质量。本原理还提供了用于执行这些步骤的设备。

本原理还提供了一种用于估计用比特流表示的视频序列的视觉质量的方法，其中使用切片模式错误隐藏来隐藏所述视频序列中的不可解码的块，所述方法包括以下步骤：估计所述视频序列的帧中的不可解码的块的运动幅度；确定所述帧与用于隐藏所述块的另一帧之间的距离；响应于所述运动幅度和所述距离来确定初始可视伪像级别；响应于用作所述块的参考块的另一块中的像素的伪像级别来确定所述块中的像素的传播传播可视伪像级别；响应于所述块的初始伪像级别和所述块中的像素的传播传播可视伪像级别来确定所述块中的像素的伪像级别；以及响应于所述块中的像素的伪像级别来估计所述块的总体可视伪像级别，其中，如下文所述的那样，响应于所述块的总体可视伪像级别来估计所述视频序列的视觉质量。本原理还提供了用于执行这些步骤的设备。

本原理还提供了一种计算机可读存储介质，在其上存储有用于根据上述的方法来估计用比特流表示的视频序列的视觉质量的指令，其中使用切片模式错误隐藏来隐藏所述视频序列中的不可解码的块。

附图说明

图1是图示根据本原理的实施例的视频质量建模的示例的流程图。

图2是图示根据本原理的实施例的估计初始可视伪像级别的示例的流程图。

图3A、3B和3C是图示帧n-1、n和n+1中的宏块(MB)的图示示例。

图4是图示根据本原理的实施例的视频质量监视器的示例的框图。

图5是图示可以与一种或多种实现方式使用的视频处理系统的示例的框图。

具体实施方式

视频质量测量工具可以在不同的级别操作。例如，该工具可以取得接收到的比特流，并且在不重构视频的情况下测量视频质量。这种方法通常被称为比特流级别视频质量测量。当允许额外的计算复杂度时，视频质量测量可以从比特流重构一些或全部的图像，并且使用重构的图像来更精确地估计视频质量。

本原理涉及在不重构视频的情况下在比特流级别评估视频质量的客观视频质量模型。

例如H.264和MPEG-2的大多数现有视频压缩标准使用宏块作为基本编码单位。因此，下面的实施例使用宏块作为基本处理单位。然而，所述原理适用于使用不同尺寸的块，例如8×8的块、16×8的块、32×32的块或64×64的块。

当视频的一些部分未被正确地解码时，可以使用例如切片模式错误隐藏和冻结(freezing)模式错误隐藏的错误隐藏技术来隐藏被解码的视频。

在切片模式错误隐藏技术中，当与帧相对应的一些数据丢失时，解码器尝试使用已经被重构的像素来修复丢失的宏块。在修复之后，可视伪像可能保留在画面中，并且它们可能传播到使用被隐藏的宏块作为参考的后续画面。

在冻结模式错误隐藏技术中，当与例如I帧、P帧或参考B帧的参考帧相对应的一些数据丢失时，解码器冻结解码，并且重复先前被正确解码的帧，直到正确地接收到不(直接地或间接地)参考丢失的帧的帧为止。当例如非参考B帧的非参考帧具有数据丢失时，解码器仅对丢失的帧冻结解码，因为可以在不参考非参考帧的情况下对后续帧进行解码。冻结模式错误隐藏可以反映能够通过任何错误隐藏策略获得的最差感知质量。

当被编码的视频比特流的一些部分在网络传送期间丢失时，与丢失的部分相对应的宏块被记为丢失的宏块，并且它们是不可解码的。一些宏块即使被正确地接收到也可能变得不可解码，例如由于该宏块的语法失去同步。由于对应的压缩数据丢失或者由于语法失去同步而不可解码的宏块被记为ECMB。可解码的宏块被记为非EC MB。

在切片模式错误隐藏技术中，非EC MB可以被解码，并且可以例如使用来自先前被解码的帧的同位(collocated)宏块的像素来隐藏EC MB。被记为ED的错误隐藏距离被定义为以显示顺序的要被隐藏的帧与隐藏帧(即，用于错误隐藏的帧)之间的距离。注意，两个帧之间的距离可以被计算为两个帧之间的时间间隔或时间差、或者两个帧之间的帧的数量。错误隐藏距离参数取决于使用哪种错误隐藏技术。如果错误隐藏技术是未知的，则错误隐藏距离可以被设置为要被隐藏的帧与紧接的先前被解码的帧之间的距离。

一般地，错误隐藏的目标是估计EC MB，以便最小化感知质量降低。由传送错误产生的伪像的感知强度严重地取决于所采用的错误隐藏技术。例如，如果使用远离当前帧的帧来隐藏当前宏块，则被隐藏的宏块很可能具有可视伪像。此外，伪像强度还与视频内容有关。例如，缓慢移动视频更容易被隐藏。因此，诸如运动矢量和错误隐藏距离这样的参数可以用于在比特流级别评估错误隐藏效率和经隐藏的视频的质量。

对于给定的运动矢量(MV_x，MV_y)，使用其运动幅度(MV)来测量该运动有多大。在一个示例中，可以将其计算为：

$\mathrm{MV}=\sqrt{M{V_X}^2+M{V}_Y^2}.---\left(1\right)$

其还可以以其它形式来计算，例如，计算为：

MV＝|MV_X|+|MV_Y|.             (2)

由经运动补偿的预测产生残差信息。观察到，宏块的残差信息的能量(也被称为残差能量，RSD)反映该宏块的纹理复杂度和运动复杂度。

在一些视频序列的平滑区域中，例如在通常容易被隐藏的天空和草地中，即使画面之间的运动很小，所估计的运动矢量也可以很大。因此，虽然被隐藏的区域具有良好的视觉质量，但是基于运动矢量的视频质量测量可能错误地估计强可视伪像。相反地，平滑区域中的残差能量可能相对较小，并且可以提供关于所感知的视觉质量的更好的指示。因此，残差能量可以用作估计伪像级别中的另一参数。

在一个实施例中，非EC MB的残差能量可以被计算为经去量化的变换系数的能量总和或者经去量化的AC变换系数的能量总和。EC MB的残差能量可以被设置为先前参考帧中的同位宏块的残差能量。

注意，可以在不重构视频的情况下得出残差能量以及运动幅度和错误隐藏距离。即，可以在比特流级别得出这些参数。

如上所述，在错误隐藏之后仍然可能感知到视觉伪像。视觉伪像可能出现在EC MB处，因为错误隐藏在那可能不是有效的。由不可解码的宏块所造成的这种视觉伪像被记为初始可视伪像。如果具有初始可视伪像的块被用作参考，例如用于帧内预测或帧间预测，则初始可视伪像可能通过预测在空间上或时间上传播到相同帧或其它帧中的其它宏块。这种被传播的伪像被记为传播可视伪像。由初始可视伪像和/或传播可视伪像造成的总体伪像被记为总体可视伪像。

本原理针对在使用切片模式错误隐藏时的视觉质量测量。可以与由冻结模式错误隐藏或其它错误隐藏技术所造成的伪像共同地考虑由切片模式造成的伪像。

在图1中示出示例性的视频质量建模方法100。在方法100中，在步骤110输入视频比特流，并且将估计与该比特流相对应的视频序列的客观质量。在步骤120，对个体宏块估计初始可视伪像。可以根据从比特流获得的伪像类型、帧类型和其它帧级别或宏块级别特征来估计初始可视伪像的级别。在步骤130，考虑初始可视伪像和传播可视伪像两者，以估计个体宏块的总体可视伪像级别。在步骤140，可以使用时空伪像汇聚(pooling)算法将处于宏块级别的伪像变换成一个客观MOS(平均意见得分)，从而估计与输入的比特流相对应的视频序列的总体视觉质量。在进行时空汇聚(spatio-temporalpooling)期间，可以考虑其它伪像类型，并且可以考虑人类视觉系统的特性，从而更精确地估计MOS得分。在步骤150，输出所估计的MOS。

可以使用如图2所示的示例性方法来执行初始可视伪像级别估计(120)。为了估计初始可视伪像级别，该方法在步骤121检查宏块是否为EC MB。如果宏块不是EC MB，则将初始可视伪像级别设置为恒定值，例如0，以指示不存在初始可视伪像。否则，在步骤122、123和124，估计EC MB的参数，例如运动幅度(MV)、残差能量(RSD)和错误隐藏距离(ED)。可以以与图2所示的次序不同的次序来估计所述参数。在一些应用中，例如在高比特率应用中，只需要估计所述参数的子集。使用所估计的参数，在步骤125对EC MB估计初始可视伪像级别。

应用被认为是高比特率应用还是低比特率应用取决于视频分辨率、所使用的视频压缩标准以及目标应用。例如，如ITU-T P.NBAMS(用于评估视频流传输的性能的非侵入性的比特流模型)测试计划中定义的那样，对移动应用和IPTV应用如下地选取比特率：

○用于移动应用的MPEG4和H.264：

●QCIF：32-256kbps(特高比特率：1.5Mbps)

●QVGA：100-768kbps(特高比特率：3.5Mbps)

●HVGA：150-2000kbps(特高比特率：6Mbps)

○用于IPTV应用的MPEG2

●SD(PAL(576i)和NTSC(480i))：2-16Mbps

○用于IPTV应用的H.264

●1080i/p：1-15Mbps(特高比特率：30Mbps)

●720p：0.5-15Mbps(特高比特率：30Mbps)

●SD(PAL和NTSC)：0.5-9Mbps(特高比特率：9Mbps)

具体地，对于ITU-T P.NBAMS，使用SD或HD(720p和1080i/p)分辨率的IPTV应用被视为高比特率应用，使用HVGA或更小的(例如，QVGA、QCIF)分辨率的移动应用被视为低比特率应用。

下面，更详细地论述针对宏块的确定运动幅度(122)、估计初始可视伪像级别(125)以及估计总体可视伪像级别(130)的步骤。

运动幅度(MV)

因为EC MB是不可解码的，所以不能直接从比特流得到EC MB的运动矢量和残差信息，因此需要估计运动幅度和残差能量。

图3B示出具有MB(n,i,j)及其八个相邻宏块的当前视频帧n的一部分。图3A示出先前视频帧n-1的相同部分，图3C示出后续视频帧n+1的相同部分。

对宏块的运动幅度的估计取决于宏块所属的帧的帧类型。如果EC MB在帧内帧(Intra frame)中，则该EC MB的运动幅度可以被设置为最接近的被解码的参考帧中的同位宏块的运动幅度。即，当帧n是帧内帧时，EC MB(n,i,j)的运动矢量被估计为：

MV(n，i，j)＝MV(n-k，i，j)，                    (3)

其中，帧n-k是最接近的参考帧。

如果EC MB在非帧内帧(例如，B帧或P帧)中，则其四个紧接着邻近的近邻的可得到的运动矢量的中值可以用于估计该EC MB的运动矢量和计算运动幅度。术语“可得到的运动矢量”意味着对应的宏块被正确地解码并且是经帧间预测的宏块。因此，当帧n是非帧内帧并且可得到所有四个紧接着相邻的宏块的运动矢量时，可以将EC MB(n,i,j)的运动矢量估计为：

MV(n，i，j)＝median(MV(n，i，j-1),MV(n,i,j+1),MV(n,i-1,j)，MV(n,i+1,j)).    (4)

如果非帧内帧的宏块不具有可得到的相邻运动矢量，则不能使用如等式(4)所描述的上述运动幅度，并且需要以不同的方式来估计运动幅度。在一个示例性实施例中，如果宏块被正确地解码并且是帧内宏块，则其运动矢量被设置为零。否则，在切片边界处的宏块的运动矢量被设置为空间上最接近的宏块的运动矢量，并且切片中的内部宏块的运动矢量被设置为先前参考帧的运动矢量。例如，如果以每个切片一个MB行来对帧进行编码，则宏块的运动矢量被设置为空间上最近的上部宏块的运动矢量。如果以每个切片一个帧来对帧进行编码，则宏块的运动矢量被设置为先前参考帧中的同位宏块的运动矢量，其中先前参考帧被定义为以显示次序最接近的先前被解码的参考帧。

表1

在表1中，提供示例性的伪代码来例示如何可以得出非帧内帧中的ECMB的运动矢量。

对于非EC宏块，运动矢量是可得到的。然而，为了避免异常的运动矢量，可以计算将其四个紧接着相邻的宏块和其自身的可得到的运动矢量的中值作为该宏块的精细运动矢量，该精细运动矢量可以被随后的帧的同位ECMB使用。因此，当帧n是非帧内帧并且可得到四个紧接着相邻的宏块的运动矢量时，可以将非EC MB(n,i,j)的精细运动矢量估计为：

MV(n，i，j)＝median(MV(n，i，j-1)，MV(n，i，j+1)，MV（n，i，j)，MV(n，i-1，j)，MV(n，i+1，j))    (5)

在一种实现方式中，对高比特率应用使用非EC MB的实际运动矢量来计算运动幅度，并且对低比特率应用使用精细运动矢量。

在对运动矢量进行估计或精细化中的中值运算旨在避免异常的运动矢量并且获得近似真实的运动，因为从压缩的比特流中解码的运动矢量并不总是反映真实的运动。

对于上述的运动矢量估计，假设针对每个宏块存在一个运动矢量。所述方法可以容易地扩展到对于宏块存在多个运动矢量的情况。例如，在H.264/AVC中，宏块可以被进一步地划分成块或子块，并且在经帧间预测的帧中可能存在各种宏块划分模式。在一个实施例中，使用与经帧间预测的宏块的16个4×4的块相对应的16个运动矢量来计算所述中值。

对于B帧中的经帧间预测的宏块，其可以具有不同的预测方向或者参考不同的预测列表。例如，B帧中的宏块可以仅使用前向预测，可以仅使用后向预测，或者使用双向预测。一个帧中的宏块也可以由于使用多个参考帧而具有不同的参考帧。因此，为了统一B帧和P帧中的运动矢量的意义，通过参考方向以及当前帧与参考帧之间的距离对运动矢量进行归一化。当参考帧完全丢失时，通过推断丢失的参考帧的显示次序或POC(画面次序计数)值来计算所述距离。例如，对于经帧间预测的宏块，其经解码的MV可以被归一化为：

其中，MV₀和MV₁分别是用于前向预测和后向预测的运动矢量，dist₀和dist₁分别是当前帧与其前向参考帧和后向参考帧之间的距离。

初始可视伪像级别估计

如前所述，对于帧n的非EC MB，初始伪像视觉可见度级别LoVA_init被设置为常数，例如0。

对于部分接收的帧的EC MB，观察到运动幅度和错误隐藏距离通常与可视伪像级别密切相关。观察到，MV和ED的乘积(MV×ED)经常反映对象从隐藏帧到当前帧的位移。一般地，该值越大，在该宏块处就越可能存在可视伪像。

因此，可以将初始伪像可视级别计算为运动矢量和错误隐藏距离的函数。在一个示例中，可以如下地计算LoVA_init：

其中，

$f_1\left(x\right)=\left\{\begin{array}{cc}{v}_1,& x<S_1\\ \frac{(v_2-v_1)}{S_2-S_1}\&times;(x-S_1),& S_1\&le;x\&le;S_2\\ v_2,& x>S_2\end{array}\right.---\left(8\right)$

注意，等式(7)中的MV可以被归一化成以像素为单位，而从比特流解析的运动矢量可以以分数像素为单位，例如，对于符合H.264/AVC的比特流，以四分之一像素(quarter-pel)为单位。

在另一示例性实施例中，注意到，对初始伪像级别的估计可以适应于比特率或应用。例如，在高比特率应用时，单独使用已经可以提供精确的估计。然而，在低比特率应用时，运动估计不太精确，并且单独的并不总是提供精确的估计。为了改善低比特率应用的精确性，可以使用残差能量。例如，对于EC MB，可以如下地计算LoVA_init：

其中，

$f_2\left(x\right)=\left\{\begin{array}{cc}{u}_1,& x<T_1\\ \frac{(u_2-u_1)}{T_2-T_1}\&times;(x-T_1),& T_1\&le;x\&le;T_2\\ u_2,& x>T_2\end{array}\right.---\left(10\right)$

替代性地，可以用其它函数替换等式(9)中的min(.)函数，例如，用 $c\&times;{\left[f_1({\mathrm{MV}}_{{\mathrm{norm}}_{\mathrm{ij}}}\&times;\mathrm{ED})\right]}^a\&times;{\left[f_2\left({\mathrm{RSD}}_{\mathrm{ij}}\right)\right]}^b$ 替换，其中a、b和c是常数。

对于f₁(x)，可以将常数设置为：在0～255的伪像标度(artifact scale)上，v₁＝0，v₂＝100，S₁＝1个像素，并且S₂＝8个像素。对于f₂(x)，可以将常数设置为：在0～255的伪像标度上，u₁＝0，u₂＝100，T₁＝1个像素，并且T₂＝64个像素。所述常数可以调节，例如以支持各种应用和其它范围的伪像标度。

当参考帧丢失时，计算宏块(n,i,j)的所有运动矢量的标量平均，并记为MV_mgnt。在另一实施例中，使用针对丢失的参考帧的运动矢量的标量平均来计算MV_mgnt。当对于该宏块不存在对应的运动矢量时，MV_mgnt被设置为零。使用MV_mgnt，可以将初始伪像级别计算为：

${\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{ref}}(n,i,j)=\min \{f_1(M{V}_{\mathrm{mgnt}}\&times;\mathrm{ED}),f_2\left({\mathrm{RSD}}_{\mathrm{ij}}\right)\}---\left(11\right)$

在另一实施例中，代替MV_mgnt的替代，使用可以如下地计算的spatialuniformMV：

spatialuniformMV_x(n，i，j）＝standardvariance{mv_x(n，i-1，j-1)，mv_x(n，i，j-1)，mv_x(n，i+1，j-1)，mv_x(n，i-1，j)，mv_x(n，i+1，j)，mv_x(n，i-1，j+1)，mv_x(n，i，j+1)，mv_x(n，i+1，j+1}，

spatialuniformMV_y(n，i，j)＝standardvariance{mv_y(n，i-1，j-1)，mv_y(n，i，j-1)，mv_y(n，i+1，j-1)，mv_y(n，i-1，j)，mv_y(n，i+1，j)，mv_y(n，i-1，j+1)，mv_y(n，i，j+1)，mv_y(n，i+1，j+1)}.

spatialuniformMV(n，i，j)＝max(spatialuniformMV_X(n，i，j），spatialuniformMV_y(n，i，j))

                                       (12)

在又一实施例中，对于低比特率应用，使用MV_mgnt，并且对于高比特率应用，使用spatialuniformMV。

当参考帧未丢失时，被设置为0。可以通过解析在比特流中接收的语法元素来确定参考帧是否丢失。

考虑当前帧中的丢失的宏块以及参考帧的丢失，可以将初始可视伪像级别计算为：

${\mathrm{LoVA}}_{\mathrm{init}}(n,i,j)=\max \{{\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{curr}}(n,i,j),{\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{ref}}(n,i,j)\}---\left(13\right)$

当存在例如前向预测和后向预测的两个参考画面列表时，宏块的初始可视伪像级别可以被扩展成：

${\mathrm{LoVA}}_{\mathrm{init}}(n,i,j)=\max \{{\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{curr}}(n,i,j),{\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{ref}0}(n,i,j),{\mathrm{LoVA}}_{\mathrm{init}}^{\mathrm{ref}1}(n,i,j)\},---\left(14\right)$

其中和对应于不同的参考画面列表。可以用例如加权和的其它函数替换等式(13)和(14)中的max(.)函数。

如上所述，假设运动场和预测残差是时间相干的，可以从先前的参考帧估计EC MB的运动矢量和残差能量。然而，当EC MB出现在场景切换(scenecut)帧中时，该假设可能不成立。事实上，如果包丢失发生在场景切换帧处，则时间错误隐藏方法可能不会正确地工作，并且可能产生强可视伪像。在由N.Liao、Z.Chen和K.Xie共同所有的标题为“Video Quality AssessmentConsidering Scene Cut Artifacts”的PCT申请(PCT/CN2011/082955，律师案号为PA110051)中公开了一种当包丢失出现在场景切换时评估视觉质量的方法，通过引用将其教导并入本文。

总体可视伪像级别估计

因为在视频压缩中使用了帧内预测或帧间预测，所以EC MB的初始可视伪像可能在空间上或时间上传播到其它宏块或其他帧。对于宏块的个体像素，由于宏块是不可解码的，和/或由于错误传播，可能引入可视伪像。使用H.264/AVC作为示例，例如如何考虑初始伪像和被传播的伪像这两者来估计总体可视伪像级别。

将像素的伪像级别记为d_n,x,y，其中，n是帧索引，(x,y)是像素在该帧中的坐标。最初，可以将d_n,x,y设置为0。在一个实施例中，可以如下地计算d_n,x,y：

d_n，x，y＝min(255，max(d_{n-k，x′，y′}，LoVA_init(n，x/16，y/16)))        (15)

其中，d_{n-k,x’,y’}是像素(n,x,y)的传播可视伪像，并且可以被估计为在当前像素的参考像素(n-k,x’,y’)处的伪像级别。即，可以通过运动矢量来跟踪伪像级别如何传播。为了简化计算，可以使用以整数像素精度而不是分数像素精度的参考像素处的伪像级别。当使用其它伪像标度或块尺寸时，可以调整在等式(15)中使用的常数(即，255和16)。min(.)或max(.)函数也可以被其它函数替换，例如被替换为d_{n-k，x′，y′}和LoVA_init(n，x/16，y/16的乘积或加权和。

在等式(15)中，使用参考帧(d_{n-k，x′，y′})中的像素的伪像级别来估计当前帧中的像素的伪像级别。当参考帧(例如I帧、P帧或参考B帧)完全丢失时，参考帧中的像素的伪像级别可能是不可得到的，则可以使用邻近的可得到的参考帧进行估计。

在估计出像素的伪像级别之后，可以通过对宏块中的像素的伪像级别进行平均来估计帧中的个体宏块的总体可视伪像级别：

$\mathrm{LoVA}(n,i,j)=\max (0,\frac{1}{256}{\mathrm{\&Sigma;}}_{x=i\&times;16}^{(i+1)\&times;16}{\mathrm{\&Sigma;}}_{y=j\&times;16}^{(j+1)\&times;16}{d}_{n,x,y})---\left(16\right)$

在该处理中，对像素伪像级别进行平均和切片操作在一定程度上起到空间聚簇(spatial clustering)的作用。

已知所感知的伪像强度还取决于人类视觉系统的特性。如在由X.Gu、D.Liu和Z.Chen共同所有的标题为“Perceived Video Quality EstimationConsidering Visual Attention”的PCT申请(PCT/CN2012/074527，律师案号为PA120009)(通过引用将其教导并入本文)中公开的那样，可以用视觉敏感度因子对宏块的伪像级别进行加权以更精确地估计所感知的伪像强度。

给定在宏块级别的估计的伪像级别，可以使用对数函数来运算时空汇聚，以生成该视频序列的切片伪像级别，如下：

LoVA_seq＝log₁₀((∑_nLoVA(n))/F_fps+1)         (17)

其中，F_fps是帧速率。然后，可以将从等式(17)计算出的伪像级别映射到与切片伪像相对应的质量度量中，例如，如下：

$Q_s=C_1\&times;{\mathrm{LoVA}}_{\mathrm{seq}}^2+C_2\&times;{\mathrm{LoVA}}_{\mathrm{seq}}+C_3---\left(18\right)$

其中，C₁、C₂和C₃是常数，并且它们可以通过只具有切片伪像的样本来训练，即，编码伪像对感知质量的影响几乎等于零。这可以通过选择其Q_c(与压缩伪像相对应的估计的质量)大于阈值(例如，在一个示例性实现中为3.5)的样本来执行。

基于与切片伪像Q_s相对应的估计的质量，可以估计与输入的比特流相对应的视频序列的总体视觉质量度量。在产生视频序列的总体视觉质量度量时，可以考虑其它类型的伪像，例如冻结伪像和压缩伪像。

本原理可以在视频质量监视器中使用，以测量视频质量。图4图示示例性视频质量监视器400的框图。设备400的输入可以包括包含比特流的传输流。该输入可以是以包含比特流的其它形式。

多路分配器410包含来自比特流的包层信息(packet layer information)，例如包的数量、字节的数量和帧尺寸。解码器420解析输入流，以获得更多的信息，例如帧类型、预测残差和运动矢量。解码器420可以重构画面或者不重构画面。在其它实施例中，解码器可以执行多路分配器的功能。

使用经解码的信息，在参数估计器430中估计伪像级别估计所需要的参数，例如运动幅度、残差能量和错误隐藏距离。基于估计的参数，在初始可视伪像级别估计器440处，例如使用方法120来估计个体宏块的初始可视伪像级别。考虑初始伪像和错误传播，在总体伪像级别估计器450处估计个体宏块的总体伪像级别。然后，质量预测器460将宏块级别的伪像级别汇聚成质量分数。质量预测器460可以考虑其它类型的伪像以及人类视觉特性的特性。

视频质量监视器400可以例如在ITU-T P.NBAMS标准中使用，该标准致力于两种应用场景(即，IPTV和移动视频流，也分别被称为HBR场景和LBR场景)中的视频质量评估模型。两种场景之间的差异的范围从视频内容的时空分辨率和编码配置到传输协议和观看条件。

对P.NBAMS VQM(视频质量模型)的输入是具有所有传送包标头(UDP/IP/RTP或UDP/RTP/TS)的经编码的视频比特流。输出是客观MOS分数。P.NBAMS工作的主要目标应用是被嵌入在机顶盒(STB)或网关中以监控视频质量。P.NBAMS模式1模型通过解析H.264语法来只使用比特流信息，模式2模型可以对视频序列的部分或全部进行解码，并且除了用于解析比特流信息之外，像素信息还用于视觉质量预测，以改善预测精确度。

参考图5，示出可以应用上述特征和原理的视频传送系统或设备500。处理器505处理视频，并且编码器510对视频进行编码。从编码器产生的比特流通过分布式网络520被传送到解码器530。可以在不同的阶段使用视频质量监视器。

在一个实施例中，视频质量监视器540可以被内容创建器使用。例如，所估计的视频质量可以被编码器在决定编码参数(诸如模式决定或比特率分配)中使用。在另一示例中，在对视频进行编码之后，内容创建器使用视频质量监视器来监视经编码的视频的质量。如果质量度量不满足预定义的质量级别，则内容创建器可以选择对视频重新编码以改善视频质量。内容创建器还可以基于质量对经编码的视频进行评级，并且相应地装载(charge)内容。

在另一实施例中，视频质量监视器550可以被内容分发器使用。视频质量监视器可以被置于分布式网络中。视频质量监视器计算质量度量，并且将它们报告给内容分发器。基于来自视频质量监视器的反馈，内容分发器可以通过调节带宽分配和访问控制来改善其服务。

内容分发器还可以将反馈发送给内容创建器以调节编码。注意，改善编码器处的编码质量可以不必改善解码器侧的质量，因为经高质量编码的视频通常需要更多的带宽并且留下较少带宽用于传送保护。因此，为了在解码器处达到最优的质量，应当考虑编码比特率与用于信道保护的带宽之间的平衡。

在另一实施例中，视频质量监视器560可以被用户装置使用。例如，当用户装置在因特网中搜索视频时，搜索结果可能返回与所请求的视频内容相对应的许多视频或者许多到视频的链接。搜索结果中的视频可能具有不同的质量级别。视频质量监视器可以对这些视频计算质量量度，并且决定选择要存储哪个视频。在另一示例中，用户装置可以有权使用(have access to)若干错误隐藏技术。视频质量监视器可以对不同的错误隐藏技术计算质量量度，并且基于所计算的质量量度来自动地选取要使用哪种隐藏技术。

在本文中描述的实现方式可以实现为例如方法或过程、设备、软件程序、数据流或者信号。即使仅在单一形式的实现方式的背景下进行了论述(例如，仅作为方法进行了讨论)，所论述的特征的实现方式还可以实现为其它形式(例如，设备或程序)。设备可以实现为例如适当的硬件、软件和固件。方法可以在例如诸如处理器(一般是指处理装置，包括例如计算机、微处理器、集成电路或可编程逻辑器件)这样的设备中实现。处理器还包括通信装置，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及其它便于与终端用户进行通信的装置。

对本原理的“一个实施例”或“实施例”或“一种实现方式”或“实现方式”以及其其它变型的引用表示结合实施例描述的具体的特征、结构、特性等包括在本原理的至少一个实施例中。因此，在本说明书自始至终的各处出现的短语“在一个实施例中”或“在实施例中”或“在一种实现方式中”或“在实现方式中”以及任何其它变型的出现未必全都是指相同的实施例。

此外，本申请或其权利要求可能涉及“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器检索信息中的一种或多种。

此外，本申请或其权利要求可能涉及“访问”各条信息。访问信息可以包括例如接收信息、检索信息(例如从存储器)、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一种或多种。

此外，本申请或其权利要求可能涉及“接收”各条信息。与“访问”一样，接收旨在一种广义的术语。接收信息可以包括例如访问信息或检索信息(例如从存储器)中的一种或多种。此外，在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息等操作的期间，典型地以种种方式包括“接收”。

将对于本领域中的技术人员显然的是，实现方式可以产生各种被格式化以携带例如可以被存储或发送的信息的信号。所述信息可以包括例如用于执行方法的指令或者由所描述的实现方式产生的数据。例如，信号可以被格式化以携带所描述的实施例的比特流。这种信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及对带有经编码的数据流的载波进行调制。信号携带的信息可以是例如模拟信息或数字信息。如同已知的那样，信号可以通过各种不同的有线或无线链路来传输。可以将信号存储在处理器可读的介质上。

Claims (23)

1.一种用于估计由比特流表示的视频序列的视觉质量的方法，其中使用切片模式错误隐藏来隐藏所述视频序列中的不可解码的块，所述方法包括以下步骤：

估计(122)所述视频序列的帧中的不可解码的块的运动幅度；

确定(124)所述帧与用于隐藏所述块的另一帧之间的距离；以及

响应于所述运动幅度和所述距离来估计(130，140)所述视频序列的视觉质量。

2.根据权利要求1所述的方法，还包括以下步骤：

响应于所述运动幅度和所述距离来确定(125)初始可视伪像级别，其中响应于所述初始可视伪像级别来估计所述视频序列的视觉质量。

3.根据权利要求2所述的方法，其中所述初始可视伪像级别响应于所述运动幅度和所述距离的乘积。

4.根据权利要求2所述的方法，还包括以下步骤：

估计(123)所述块的残差能量，其中还响应于所述残差能量来确定所述初始可视伪像级别。

5.根据权利要求4所述的方法，其中响应于所述运动幅度和所述距离的函数与所述残差能量的另一函数中的较小的一个来确定所述初始可视伪像级别。

6.根据权利要求4所述的方法，其中确定步骤对于高比特率应用，仅响应于所述运动幅度和所述距离的函数，对于低比特率应用，响应于所述运动幅度和所述距离的函数以及所述残差能量的另一函数这两者。

7.根据权利要求1所述的方法，还包括以下步骤：

响应于被用作所述块的参考块的另一块中的像素的伪像级别来确定所述块中的像素的传播可视伪像级别；

响应于所述块中的像素的传播可视伪像级别来确定(130)所述块中的像素的伪像级别；以及

响应于所述块中的像素伪像级别来估计(13)所述块的总体可视伪像级别，其中响应于所述块的总体可视伪像级别来估计所述视频序列的视觉质量。

8.根据权利要求7所述的方法，其中响应于所述块中的像素的伪像级别的平均来估计所述块的总体可视伪像级别。

9.根据权利要求7所述的方法，还包括以下步骤：

响应于所述运动幅度和所述距离来确定(125)初始可视伪像级别，其中确定所述块中的像素的伪像级别的步骤还响应于所述块的初始可视伪像级别。

10.根据权利要求9所述的方法，其中响应于所述初始可视伪像级别和所述传播可视伪像级别中的较大的一个来确定所述块中的像素的伪像级别

11.根据权利要求1所述的方法，其中在比特流级别估计所述视觉质量。

12.一种用于估计由比特流表示的视频序列的视觉质量的设备，其中使用切片模式错误隐藏来隐藏所述视频序列中的不可解码的块，所述设备包括：

参数估计器(430)，估计所述视频序列的帧中的不可解码的块的运动幅度，并且估计所述帧与用于隐藏所述不可解码的块的另一帧之间的距离；以及

质量预测器(460)，响应于所述运动幅度和所述距离来估计所述视频序列的视觉质量。

13.根据权利要求12所述的设备，还包括：

初始可视伪像级别估计器(440)，响应于所述运动幅度和所述距离来确定初始可视伪像级别，其中所述质量预测器(460)响应于所述初始可视伪像级别来估计所述视频序列的视觉质量。

14.根据权利要求13所述的设备，其中所述初始可视伪像级别估计器(440)响应于所述运动幅度和所述距离的乘积来确定所述初始可视伪像级别。

15.根据权利要求13所述的设备，其中所述参数估计器(430)还估计所述块的残差能量，并且其中所述初始可视伪像级别估计器(440)还响应于所述残差能量来确定所述初始可视伪像级别。

16.根据权利要求15所述的设备，其中所述初始可视伪像级别估计器(440)响应于所述运动幅度和所述距离的函数以及所述残差能量的另一函数中的较小的一个来确定所述初始可视伪像级别。

17.根据权利要求15所述的设备，其中所述初始可视伪像级别估计器(440)对于高比特率应用，仅响应于所述运动幅度和所述距离的函数来确定所述初始可视伪像级别，对于低比特率应用，响应于所述运动幅度和所述距离的函数以及所述残差能量的另一函数这两者来确定所述初始可视伪像级别。

18.根据权利要求12所述的设备，还包括：

总体伪像级别估计器(450)，响应于被用作所述块的参考块的另一块中的像素的伪像级别来确定所述块中的像素的传播可视伪像级别，响应于所述块中的像素的传播可视伪像级别来确定所述块中的像素的伪像级别，并且响应于所述块中的像素的伪像级别来估计所述块的总体可视伪像级别。

19.根据权利要求18所述的设备，其中所述总体伪像级别估计器(450)响应于所述块中的像素的伪像级别的平均来估计所述块的总体可视伪像级别。

20.根据权利要求18所述的设备，还包括：

初始可视伪像级别估计器(440)，响应于所述运动幅度和所述距离来确定初始可视伪像级别，其中所述总体伪像级别估计器(450)还响应于所述块的初始可视伪像级别来确定所述块中的像素的伪像级别。

21.根据权利要求20所述的设备，其中所述总体伪像级别估计器(450)响应于所述初始可视伪像级别和所述传播可视伪像级别中的较大的一个来确定所述块中的像素的伪像级别。

22.根据权利要求12所述的设备，其中在比特流级别估计所述视觉质量。

23.一种计算机可读存储介质，在其上存储有用于根据权利要求1至11估计由比特流表示的视频序列的视觉质量的指令，其中使用切片模式错误隐藏来隐藏所述视频序列中的不可解码的块。