CN103988500A - 视频质量测量 - Google Patents

Abstract

具体实现接收比特流并且根据比特流得到参数。参数包括量化参数、内容不可预测性参数、丢失块比率、传播块比率、错误隐藏距离、运动矢量、停顿持续时间以及帧率。使用这些参数，分别对由于视频压缩、切片模式错误隐藏和停顿切片模式错误隐藏导致的失真估计压缩失真因子、切片失真因子和停顿失真因子。然后，将失真因子映射成合成的视频质量得分。对于具有有限计算能力的应用，可以简化对失真因子的估计。具体地，可以分别根据量化参数、丢失块比率和停顿持续时间预测压缩失真因子、切片失真因子和停顿失真因子。

Description

视频质量测量

技术领域

本发明涉及视频质量测量，更具体地，涉及一种用于确定网络传送的视频的质量测量的方法和装置。

背景技术

在IPTV(因特网协议电视)或者其他视频传送应用中，在不同的阶段处理视频信号。通常将视频信号压缩成比特流，也被称为基本流(ES)。然后，可以将比特流或ES打包成传输流(TS)并通过IP信道传送。在解码器接收的比特流可以被解码。如有必要，可以对解码视频实施错误隐藏。由于压缩损失和传送错误，在解码器的视频质量通常低于原始视频的视频质量。为了客观地检查视频质量降低了多少，可以使用传输流、基本流或解码视频测量视频质量。

发明内容

根据一般的方面，确定关于比特流的切片失真因子和停顿失真因子之中的至少一项而不重构对应于所述比特流的视频，其中，所述切片失真因子表示由于切片模式错误隐藏导致的失真，并且所述停顿失真因子表示由于停顿模式错误隐藏导致的失真。还响应于所述切片失真因子和所述停顿失真因子之中的至少一项确定质量度量。

根据另一个一般的方面，根据所述比特流确定参数，所述参数包括丢失块比率和停顿持续时间之中的至少一项。确定关于比特流的切片失真因子和停顿失真因子之中的至少一项而不重构对应于所述比特流的视频，其中，所述切片失真因子表示由于切片模式错误隐藏导致的失真，所述停顿失真因子表示由于停顿模式错误隐藏导致的失真，并且，使用所述丢失块比率计算所述切片失真因子，使用所述停顿持续时间计算所述停顿失真因子。还确定响应于所述切片失真因子和所述停顿失真因子之中的至少一项的质量度量。

在下面的附图和说明中阐述一个或多个实现的细节。尽管以一种具体方式进行说明，应当清楚的是所述实现可以各种方式进行配置或具体化。例如，可以将实现作为方法来实施，或者具体化为诸如例如被配置为实施一组操作的装置或存储用于实施一组操作的指令的装置这样的装置，或者具体化为信号。根据下面的结合附图和权利要求考虑的详细说明，其他方面和特性将变得更加明显。

附图说明

图1是图示根据本原理的实施例的计算视频质量度量的示例的流程图。

图2A和2B是图示根据本原理的实施例的如何计算错误隐藏距离的图示示例。

图3A至3D是根据本原理的实施例的停顿持续时间的图示示例。

图4是图示根据本原理的实施例的更新在质量测量中使用的参数的流程图。

图5是宏块对的图示表示。

图6A至6C是主观质量与关键参数的关系如何的图示示例。

图7是图示可被用于本原理的一个或多个实现的视频质量测量装置的示例的框图。

图8是图示可被用于本原理的一个或多个实现的视频处理系统的示例的框图。

具体实施方式

ITU-T SG12最近的标准化工作除其他事项外还为有关基于基本流的质量测量的实用且务实的研究做好了准备。

本实施例涉及评估失真视频质量但不对原始视频进行任何参考的无参考(NR)质量度量。具体地，本实施例提供一种在由视频压缩和传送丢失造成的质量降低的基础上的质量度量。在一个实施例中，本原理将基于例如由ITU-T SG12提供的各种场景和主观视频质量数据库，在从基本流和可选的解码视频得到的参数的基础上准确且高效地预测视频质量。

视频编码器经常利用量化技术通过减少信号值的精确度来压缩视频数据。量化参数(QP)直接控制压缩视频的比特率以及质量。内容复杂度也对压缩视频的感知质量有显著影响。具体地，人眼更有可能容忍在复杂视频中的视觉伪像。

在视频传送过程中的丢包也以不同的方式造成伪像，进一步地降低了压缩视频的质量。一方面，无法适当地重构丢失块，从而造成视觉伪像。另一方面，也无法适当地重构接收到的参考坏块(corrupted block)的帧间预测块，从而造成视觉伪像(通常被称为错误传播)。将带有来自传送丢失的伪像的块记为受损块。

为了减少所感知的伪像，解码器可以尝试通过错误隐藏技术恢复受损块。不同的错误隐藏技术得到不同的视觉模式，从而以不同的方式影响所感知的视频质量。在本原理中，对质量测量考虑两种错误隐藏技术，即：切片模式错误隐藏和停顿模式错误隐藏。对应的伪像分别被称为切片和停顿。

在切片模式错误隐藏技术中，解码器试图使用已被重构的像素修补丢失切片。在这样的修补之后，视觉伪像经常仍在画面中。通常在丢失率变得更高时，更多的像素受损并需要修补，导致更强的切片伪像。因此，在计算来自切片的失真或质量降低中，信息丢失率是关键因子。可以使用丢包率或丢帧率测量信息丢失率。因为丢包造成丢失块并通过错误传播来影响块，所以在测量信息丢失率时还可以考虑受损块比率。内容复杂度也影响所感知的视频质量。即，与动态或有纹理的场景相对应的丢失信息比与静止或平滑的场景相对应的丢失信息更难以修补。

在停顿模式错误隐藏技术中，当参考帧(例如I、P或参考B帧)丢失时，解码器停顿解码并重复先前正确解码的画面直至正确地接收到不(直接地或间接地)参考丢失帧的帧为止。当非参考帧(例如非参考B帧)丢失时，因为可以对随后的帧进行解码而不参考非参考帧，所以解码器仅使对丢失帧的解码停顿。通常当丢包率变得更高时，更多的画面丢失，导致更多的停顿画面。

多数已有的视频压缩标准(例如，H.264和MPEG-2)使用宏块(MB)作为基本的编码单元。因此，下面的实施例使用宏块作为基本的处理单元。然而，本原理可以适用于使用不同大小的块，例如8×8的块、16×8的块、32×32的块以及64×64的块。

图1例示了使用三层分级模型估计视频质量的示例性的方法100。方法100开始于开始框105，该框将控制传递给功能框110。在框110中，从比特流得到将被用于质量估计的参数。该比特流对应于视频剪辑，并且可以是来自传输流的基本流。在框120中，将参数用于计算由于压缩、切片和停顿造成的失真因子。在框130中，将不同的失真因子结合并转换为合成的质量得分。然后将控制传递给结束框199。下面，更详细地论述关于参数确定、失真计算和质量度量计算的步骤。注意，在方法100中不需要对画面进行完全解码(亦即，没有解码的画面被重构)。

参数确定

由每种类型的损伤(亦即压缩、切片和停顿)造成的失真受对应的关键因子主导。例如，量化参数对于压缩损伤是关键因子，丢失宏块的比率对于切片损伤是关键因子，而停顿持续时间对于停顿损伤是关键因子。其他参数也影响所感知的视频质量。例如，运动矢量(MV)反映内容是否包含动态或者静止的对象，内容复杂度描述了内容是有纹理的还是平滑的。无论是运动还是内容复杂度均影响人眼如何感知接收到的或隐藏的画面。

表1.示例性的参数

参数	说明
		QP	量化参数
CU	内容不可预测性参数
		EC	丢失块比率
EP	传播块比率
		ED	错误隐藏距离
MV	运动矢量
		FD	停顿持续时间
FR	帧率

表1列出了根据本实施例可以被用于预测视频质量的示例性的参数。表1中还包括对每个参数的简短说明。下面提供关于每个参数的更详细的说明。QP(量化参数)

当视频编码器中对变换系数进行量化时，使用量化参数。对于H.264，每个宏块均与QP相关联，其对应于量化步长大小。类似地，在其他标准(诸如H.263和MPEG-2)中为每个宏块定义QP。更大的QP(亦即，更粗糙的量化)通常导致压缩视频的更低的质量。

CU(内容不可预测性参数)

内容不可预测性参数(记为CU)被定义为残余方差，并且理论上可以用DCT系数近似。其表示在一组画面中的空时变化的程度。一般地，变化越大，就越难以高效地对画面进行编码或对画面进行隐藏。另一方面，由于人类视觉系统的纹理掩盖特性，针对复杂内容，人眼可以忍受更多的失真。EC(丢失块比率)

丢失块比率(记为EC)被定义为当前帧中的丢失MB的数量与视频剪辑中的MB总数的比率。可以通过错误隐藏充分地恢复一些丢失的MB，从而几乎不影响所感知的视频质量。为了检查丢失块是否以足够高的质量被恢复(亦即，就好像该块被正确地接收到一样)，可以在可选的步骤中从比特流对画面进行解码，关于这一点将在后面论述。如果丢失块被适当地恢复，则丢失块比率将被更新，就好像块没有丢失一样。

EP(传播块比率)

传播块比率(记为EP)被定义为当前帧中的传播MB的数量与视频剪辑中的MB总数的比率，其中，传播MB是指直接或间接使用丢失块进行预测的宏块。如上所述，可以在可选的步骤对画面进行解码以检查块是否以足够高的质量被隐藏。如果该块被适当地隐藏，则更新丢失块比率(EC)，就好像块没有丢失一样。类似地，还应当更新传播块的比率，就好像块没有丢失一样。

ED(错误隐藏距离)

为了隐藏丢失宏块，解码器可以使用在隐藏帧(亦即，用于隐藏当前帧的帧)中的相同空间位置处的MB填充在当前要被隐藏的帧中的宏块，并且隐藏帧通常是在当前参考画面列表中的最后的帧。错误隐藏距离(记为ED)被定义为在显示顺序下的在要被隐藏的帧与隐藏帧之间的时间距离。注意，在本申请中的两个画面之间的时间距离是指两个画面之间的时间间隔或时间差。错误隐藏距离参数依赖于使用的错误隐藏技术。如果错误隐藏技术未知，则将ED设为1。

图2A和2B通过示例例示了如何计算错误隐藏距离。在图2A中，参考或非参考双向画面220是当前要被隐藏的画面。I或P画面210是在参考画面列表中的最终画面并被用于隐藏画面220。因此，画面210与220之间的时间距离240是画面220的错误隐藏距离。在图2的示例中，P画面260是当前要被隐藏的画面，并且其使用P画面250作为隐藏画面。因此，画面250与260之间的距离270是画面260的错误隐藏距离。

在图2中，画面以显示顺序示出。注意，通常以不同于显示顺序的顺序对画面进行编码和解码。在计算错误隐藏距离时，应当将编码或解码顺序转换为显示顺序。

MV(运动矢量)

对于H.264视频的帧间预测帧，每个MB被分成8×8、16×8、8×16或16×16的块，并且每个块均与二维运动矢量相关联。逐MB运动矢量(MB-wise motion vector)被定义为通过每个块的区域与宏块的区域的比率进行了加权的对应块的运动矢量的平均值。逐帧MV(frame-wise MV)被定义为所有完整的(亦即，未受损的)MB的运动矢量的平均幅度。对于帧内预测帧，其MV被定义为随后或先前的帧间预测帧的MV。为了计算不同的帧率，可以通过帧率对MV进行归一化。即，可以将MV除以帧率。这种经归一化的MV可以被解释为每秒的像素宽度的运动矢量。

FD(停顿持续时间)

停顿持续时间(记为FD)被定义为当解码器停顿解码时在时间上的持续时间。在实施错误隐藏时，解码器可以在画面数据或参考画面丢失时停顿解码，并且可以在正确地接收了未(直接或间接地)参考丢失帧的帧时恢复解码。

图3提供了图示如何计算停顿持续时间的若干示例。在图3A的示例中，I或P画面320丢失，因此，解码器停顿对画面320以及参考画面320的画面的解码。因此，除画面320之外，也不对双向画面310、315、322和324以及使用画面320进行预测的P画面326进行解码。经适当解码的P画面305可被用于对这些画面的隐藏。即，画面305、310、315、320、322、324和326被当作画面305显示，从而造成视觉暂停。解码器在正确地接收了帧内预测画面330时恢复解码。在显示顺序下的在解码器停顿解码处(画面310)与解码器恢复解码处(画面310)之间的时间距离340被计算作为停顿持续时间。

图3B例示了非参考b画面352丢失且不对其进行解码的示例。解码器在画面352处停顿解码。先前解码的画面350可被用于隐藏画面352。因为画面352未被用作任何其他画面的参考画面，所以解码器在接下来的画面354处立即恢复。对于该示例，画面352与354之间的时间距离360被计算作为停顿持续时间。

图3C例示了在参考B画面374丢失时的示例。作为参考B画面，画面372仅被非参考b画面372和376用作参考。解码器在图面372处停顿解码，并在画面378处恢复解码。对于该示例，画面372与378之间的距离380被计算作为停顿持续时间。

如图3D中的示例所示，在解码的视频剪辑中可能出现由停顿造成的多次视觉暂停，其中，视频剪辑由线395表示。在该示例中，视觉暂停390出现在视频剪辑的开始处，并且另一个视觉暂停392出现在该剪辑的中间。

FR(帧率)

在受限带宽环境中，内容提供商、解码器或网络提供商可能会减小视频的帧率，例如对于移动TV应用。当帧率较低时(例如12.5fps或15fps)，可能感知到视觉间断。尽管没有丢包或错误隐藏，仍可以将该视觉间断视为停顿。因此，在计算停顿持续时间时考虑帧率。

失真计算

在本原理中，定义压缩失真因子表示由于压缩导致的失真，将其记为dc。在一个示例中，可以将其计算为：

$d_c={\left(\log {\mathrm{CU}}_T\right)}^{b_1}\×{(51-{\mathrm{QP}}_T)}^{b_2},---\left(1\right)$

其中QP_T是视频剪辑的平均QP，CU_T是视频剪辑的平均内容不可预测性参数，b₁和b₂是常量。由于压缩的失真在视频剪辑上大致是均匀的，因此可以通过关于逐剪辑参数的正项函数准确地预测该失真。

在等式(1)中的计算主要针对最大QP值为51的H.264设计。当按照其他标准压缩视频剪辑时，应当例如使用适当的QP参数对应地调整等式(1)。

如前所述，对于所感知的切片伪像的强度，信息丢失率是关键因子。在一个实施例中，定义变量LR_T表示视频剪辑的信息丢失率。对于在时间t的每个帧，丢失块比率EC_t、传播块比率EP_t、内容不可预测性参数CU_t以及错误隐藏距离ED_t可被用于计算变量LR_T如下：

${\mathrm{LR}}_T={\mathrm{\Σ}}_t({\left(\log {\mathrm{CU}}_t\right)}^{c_1}\×{\mathrm{EC}}_t+c_3\×{\left(\log {\mathrm{CU}}_t\right)}^{c_1}\×{\mathrm{EP}}_t),---\left(2\right)$

其中，c₁、c₂和c₃是常量。

然后，可以将切片失真因子(记为d_s)估计为信息丢失率和内容不可预测性参数的正项函数：

$d_s=e^{b_3\mathrm{FR}}\×{\left(\log {\mathrm{CU}}_T\right)}^{b_4}\×{\mathrm{LR}}_T^{b_5},---\left(3\right)$

其中，CU_T是视频剪辑的平均内容不可预测性参数，b₃、b₄和b₅是常量。

停顿持续时间主导具有停顿画面的视频的质量。由于停顿持续时间不仅依赖于丢包的出现还依赖于GOP结构，所以为了准确地预测停顿持续时间，应当确定画面的编码类型(例如I帧、P帧或B帧)。而且，停顿伪像还受内容中的运动影响，例如，使动态的场景停顿可能会比使静止的场景停顿更加令人讨厌。

由于所感知的停顿的强度涉及视觉暂停的时长以及在停顿之前画面的运动行为，所以对于每个视觉暂停，我们定义变量FR_T作为运动和视觉暂停的时长的正项函数： ${\mathrm{FR}}_T={\mathrm{\Σ}}_{\mathrm{\τ}}\frac{{\left(\log {\mathrm{MV}}_{\mathrm{\τ}}\right)}^{c_4}\×{\mathrm{FD}}_{\mathrm{\τ}}^{c_5}}{N},---\left(4\right)$ 其中，MV_τ是紧挨在当前第τ个暂停之前帧中的MV的平均幅度，FD_τ是第τ个暂停的停顿持续时间，N是剪辑中的画面的总数，c₄和c₅是常量。

然后，可将停顿失真因子(记为d_f)预测为正项函数如下：

$d_f=e^{b_6\mathrm{FR}}\×{\left(\log {\mathrm{MV}}_T\right)}^{b_7}\×{\mathrm{FD}}_T^{b_8},---\left(5\right)$

其中，MV_T是视频剪辑的MV的平均幅度，b₆、b₇和b₈是常量。

如上所述，使用在表1中列出的参数，可以使用等式(1)、(3)和(5)估计压缩失真因子、切片失真因子和停顿失真因子。可以使用等式(2)估计切片伪像的关键因子LR_T。使用等式(1)至(5)的计算方法记为I型方法。

在另外的实施例中，使用在表1中所列的参数的子集简化该计算。简化方法记为II型方法。

在II型方法中，可以将压缩失真因子预测为：

d_c＝(51-QP_T)^b2。            (6)为了进一步地减少计算成本，可以将QP_T计算为视频的I帧的平均QP而不考虑P和B帧。可以将切片失真因子预测为：

$d_s={\left({\mathrm{\Σ}}_t{\mathrm{EC}}_t\right)}^{b_5},---\left(7\right)$

其中，用丢失块比率来近似信息丢失率。可以将停顿失真因子预测为

$d_f={\left({\mathrm{\Σ}}_{\mathrm{\τ}}{\mathrm{FD}}_{\mathrm{\τ}}\right)}^{b_8}.---\left(8\right)$

质量度量计算

然后，可以使从压缩、切片和停顿得到的三种类型的失真因子(亦即，d_c、d_s和d_f)结合以产生合成的视频质量度量。在一个示例中，可以将视频质量测量(记为q)计算为：

$q=G^{-1}(a_1{d}_c+a_2{d}_s+a_3{d}_f),G^{-1}\left(d\right)=\frac{1}{1+d},---\left(9\right)$

其中，a₁、a₂和a₃是常量。注意，在该示例中，视频质量测量q在(0，1)的范围内，其中，0对应于最差的质量，1对应于最好的质量。在另外的实施例中，视频质量度量可被调节到或移至其他范围，例如，在MOS(平均意见得分)中移至(1，5)。在另外的实施例中，其中，常量α、β和γ被用于灵活的调节。其他单调映射函数可被用于将单个失真映射成质量度量，例如，可以使用广义logistic函数、重对数函数、互补重对数函数、三阶多项函数或线性函数。

在上文中论述了计算视频质量度量的示例性的实施例，其中，使用从比特流得出的参数而不进行完全解码来计算度量。当允许进行完全解码的额外计算时，可以从解码视频得到更多的特性或参数以进一步地提高视频质量度量。例如，可以从解码视频检测马赛克伪像以提高对切片失真因子的预测准确度。

为了便于标记，将需要错误隐藏的画面称为片断画面。在由完全解码器对片断帧进行解码并隐藏后，在片断帧上实施马赛克伪像检测。图4例示了使用伪像检测更新参数的示例性的方法400。方法400开始于开始框405，该框将控制传递给功能框410。在框410中，如有必要，则由解码器对画面进行解码及隐藏。在框420中实施马赛克伪像检测。基于伪像检测结果，在框430中更新相关的参数。然后将控制传递给结束框499。

方法400可以与方法100相结合以提高质量度量的准确度。在一个实施例中，在框410至430中实施的步骤可以在框110中实施的步骤与框120中实施的步骤之间实现。

在马赛克伪像检测的示例性的实施例中，在片断帧的MB边界处计算二阶垂直梯度域。计算每个垂直邻近的MB对的两个二阶梯度和，并选择幅度更小的一个。图5例示了对宏块对进行马赛克检测的示例。在图5的示例中，考虑宏块对510和530，上面的宏块510包含像素{p_i,j|i＝1,2,…,16并且j＝1,2,…,16，下面的宏块530包含像素p_i,j|i＝17,18,…,32并且j＝1,2,…,16。在MB边界520处计算与MB对 ${\mathrm{\Σ}}_{j=1}^{16}(p_{18,j}+p_{16,j}-{2p}_{17,j})$ 和 ${\mathrm{\Σ}}_{j=1}^{16}(p_{17,j}+p_{15,j}-{2p}_{16,j})$ 相关的两个二阶梯度和(GS)，并选择较小的那一个：

$\mathrm{GS}=\min \left\{\right|{\mathrm{\Σ}}_{j=1}^{16}(p_{18,j}+p_{16,j}-{2p}_{17,j})|,|{\mathrm{\Σ}}_{j=1}^{16}(p_{17,j}+p_{15,j}-2p_{16,j})\left|\right\}.$

除在画面中的顶端的MB和底端的MB之外，每个MB均对应于两个GS：一个上边界的，一个下边界的。如果有任何一个GS高于阈值，则将该MB标记为具有可见的马赛克(MT＝1)，否则将该MB标记为具有不可见的马赛克(MT＝0)，即，

如果块丢失了但被标记为具有不可见的马赛克，则可以更新丢失块比率，就好像块没有丢失一样。类似地，还可以更新传播块比率。

所提出的马赛克检测方法基于如下观察：自然图像通常具有平滑的一阶梯度域和较小的二阶梯度。当马赛克伪像或者其他伪像出现时，二阶梯度变得更高。因此，可以使用二阶梯度检测伪像。

各种常量被用于预测失真因子和合成的视频质量得分。可以使用内容数据库以及主观质量度量训练常量。在一个实施例中，使用关于IPTV(亦即，高分辨率，诸如SD或HD)的五个数据库训练I型方法的常量，使用关于移动TV(亦即，低分辨率，诸如QCIF或QVGA)的三个数据库训练II型方法的常量，这些数据库均来自于P.NAMS测试计划。

从而，如表2A至2F所示，为每种方法的每种应用均得到一组常量。对于I型方法，根据是否使用马赛克检测训练不同的常量。注意，当目标应用改变时(亦即，当可应用的视频数据库改变时)，需要对应地训练这些常量。

表2A.IPTV-I型(不带马赛克检测)的示例性的常量

a1	a2	a3	b1	b2	b3	b4	b5	b6	b7	b8	c1	c2	c3	c4	c5
																330	2.6e4	5.0	-1.0	-1.6	-.02	-3.0	.5	-.02	.45	.65	1	1	.2	0	.9

表2B.IPTV-I型(带马赛克检测)的示例性的常量

a1	a2	a3	b1	b2	b3	b4	b5	b6	b7	b8	c1	c2	c3	c4	c5
																330	11	5.0	-1.0	-1.6	-.03	-.08	.6	-.02	.45	.65	1	0	.4	0	.9

表2C.关于IPTV-II型的示例性的常量

a1	a2	a3	b2	b5	b8
						48	29	4.7	-1.6	.6	.5

表2D.移动TV-I型(不带马赛克检测)的示例性的常量

a1	a2	a3	b1	b2	b3	b4	b5	b6	b7	b8	c1	c2	c3	c4	c5
																5.5e4	.007	.2	-1.5	-3.0	-.04	2.5	.5	-.23	1	.42	0	0	0	0	.9

表2E.移动TV-I型(带马赛克检测)的示例性的常量

a1	a2	a3	b1	b2	b3	b4	b5	b6	b7	b8	c1	c2	c3	c4	c5
																5.5e4	.05	.2	-1.5	-3.0	-.05	2	.45	-.23	1	.42	0	0	.2	0	.9

表2F.移动TV-II型的示例性的常量

a1	a2	a3	b2	b5	b8
						1.6e3	.63	1.4	-2.8	.45	.5

下面，简要讨论本实施例的优点。

在本实施例中，在整个计算过程中使用正项函数(亦即，函数的坐标和系数是正实数，并且指数是实数)。为了估计的简单性和稳定性，与其他模型相比，使用了更少的参数。

如通过等式(9)所述那样，本原理将来自不同损伤的失真结合，等式(9)可以捕捉人类感知的非线性并保持模型简单性和性能可靠性。

根据等式(9)，一旦剩下的一个相对较大，q就对d_c、d_s和d_f之中的任意两个不敏感。使用d_c作为示例，一阶导数为

$\frac{\∂q}{{\∂d}_c}=\frac{-a_1}{{(1{+a}_1{d}_c+a_2{d}_s+a_3{d}_f)}^2}\≈0,$ 当d_s>>d_c或者d_f>>d_c时。

该特征与“如果一种类型的失真主导所感知的质量，则其他类型的失真就看上去不重要了”这种人类感知是一致的。

如图6A至6C所示，本原理还可以捕捉视频质量与关键因子之间的S形关系和L形关系。

图7图示可被用于为图像产生视频质量度量的示例性的视频质量测量装置700的框图。装置700的输入包括包含比特流的传输流。输入可以是以包含比特流的其他格式。系统级的接收器确定在所接收的比特流中的丢包。

多路分解器710解析输入流以得到基本流或比特流。其还将关于丢包的信息传递给解码器720。解码器720解析包括QP、变换系数以及每个块或宏块的运动矢量等必要信息以便产生用于估计视频质量的参数。解码器还使用关于丢包的信息来确定视频中的哪个宏块丢失了。将解码器720记为部分解码器以强调不实施完全解码，亦即不重构视频。

使用从解码器720解析的MB级QP，QP解析器733得到画面和整个视频剪辑的平均QP。使用从解码器720得到的变换系数，变换系数解析器732解析系数，内容不可预测性参数计算器734计算单独画面和整个视频剪辑的内容不可预测性参数。使用关于哪个宏块丢失的信息，丢失MB标记器731标记哪个MB丢失。还使用运动信息，传播MB标记器735标记哪个MB直接或间接地使用丢失块进行预测(亦即，哪个块被错误传播影响)。使用块的运动矢量，MV解析器736计算MB、画面和整个视频剪辑的平均运动矢量。可以使用其他模块(未示出)确定错误隐藏距离、停顿持续时间和帧率。

在得到例如在表1中列出的那些参数之后，压缩失真预测器740估计压缩失真因子(例如，使用等式(1)或(6))，切片失真预测器742估计切片失真因子(例如，使用等式(3)和(7))，停顿失真预测器744估计停顿失真因子(例如，使用等(5)和(8))。基于所估计的失真因子，质量预测器750估计总体视频质量度量，例如使用等式(9)。

当允许额外的计算时，解码器770对画面进行解码和隐藏。将解码器770记为完全解码器，如有必要，其将重构画面并实施错误隐藏。马赛克检测器780在重构视频上实施马赛克检测。使用检测结果，丢失MB标记器731和传播MB标记器735更新例如丢失块比率和传播块比率等相关参数。

参考图8，示出可应用上述特性和原理的视频传送系数或装置。处理器805处理视频，解码器810对视频进行解码。通过分发网络820将从解码器产生的比特流传送给解码器830。可以在不同阶段使用例如装置700这样的视频质量监测器或视频质量测量装置。

在一个实施例中，内容创建器可以使用视频质量监测器840。例如，编码器可以在决定编码参数诸如模式决定或比特率分配中使用所估计的视频质量。在另外的示例中，在对视频进行编码之后，内容创建器使用视频质量监测器监测经编码的视频的质量。如果质量度量不满足预定义的质量水平，则内容创建器可以选择对视频进行重编码以提高视频质量。内容创建器还可以基于质量对经编码的视频进行分级，并对应地对内容进行收费。

在另外的实施例中，内容分发器可以使用视频质量监测器850。可以将内容质量监测器放置在分发网络中。视频质量监测器计算质量度量并将它们报告给内容分发器。基于来自内容质量监测器的反馈，内容分发器可以通过调整带宽分配和访问控制改善其服务。

内容分发器还可以将反馈发送给内容创建器以调整编码。注意，在编码器提高编码质量可以不一定提高在解码器侧的质量，因为经高质量编码的视频通常需要更多的带宽并且为传送保护留下较少的带宽。因此，为了在解码器得到最优的质量，应当考虑在编码比特率和用于信道保护的带宽之间的平衡。

在另外的实施例中，用户设备可以使用视频质量监测器860。例如，当用户设备在因特网中搜索视频时，搜索结果可能返回与所请求的视频内容相对应的多个视频或多个到视频的链接。在搜索结果中的视频可能具有不同的质量水平。视频质量监测器可以为这些视频计算质量度量并决定选择哪个视频来保存。在另外的示例中，解码器估计关于不同错误隐藏模式的隐藏视频的质量。基于该估计，解码器可以选择提供更好的隐藏质量的错误隐藏。

此处所述的实现可被实现为例如方法或过程、装置、软件程序、数据流或者信号。尽管只论述了单一形式的实现的情况(例如，仅作为方法进行了讨论)，所述特性的实现也可以其它形式(例如，装置或程序)实现。装置可被实现为例如适当的硬件、软件和固件。所述方法可以在例如诸如处理器(一般是指处理设备，包括例如计算机、微处理器、集成电路或者可编程的逻辑设备)这样的装置中实现。处理器还包括诸如例如计算机、手机、移动/个人数字助理(“PDA”)这样的通信设备以及其他便于终端用户之间的信息通信的设备。

此处所述的各种处理及特性的实现可以具体化为各种不同的设备或应用，具体地，例如与数据编码、数据解码、马赛克检测、失真测量、质量测量和质量监测相关联的设备或应用。这样的设备的示例包括编码器、解码器、处理解码器的输出的后期处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编码解码器、网络服务器、机顶盒、笔记本电脑、个人计算机、手机、PDA、游戏控制以及其他通信设备。应当清楚的是，设备可以是移动地，甚至可以被安装在移动交通工具中。

另外，所述方法可以通过由处理器实施的指令实现，这种指令(和/或实现产生的数据值)可以被存储在诸如例如集成电路、软件载波或者其他诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如经常被称为数字多功能盘或数字视频盘的DVD)、随机存取存储器(“RAM”)或只读存储器(“ROM”)等存储设备这样的处理器可读取的介质上。所述指令可形成有形地具体化在处理器可读取的介质上的应用程序。指令可以例如是以硬件、固件、软件或者其结合的方式。指令可以例如存在于操作系统、独立的应用或者这两者的结合。因此，处理器的特征可以在于例如即作为被配置为执行处理的设备又作为包含具有执行处理的指令的处理器可读取的介质(诸如存储设备)的设备。进一步地，处理器可读取的介质可以在存储指令的基础上或者代替存储指令地存储实现产生的数据值。

实现可能产生各种被格式化以携带可以例如存储或传送的信息的信号，这一点对于本领域的技术人员将是很明显的。所述信息可以包括例如用于实施方法的指令或者由一个所述实现产生的数据。例如，信息可以被格式化以携带用于写入或读取所述实施例的语法的规则作为数据，或者携带由所述实施例写入的实际的语法值作为数据。可以将这样的信号格式化成例如电磁波(例如使用频谱的无线电频率部分)或者基带信号。格式化可以包含例如对数据流进行编码以及对带有经编码的数据流的载波进行调制。信号携带的信息可以例如是模拟或数字信息。可以通过各种不同的有线或无线链路传送信号，这一点是已知的。信号可以被存储在处理器可读取的介质上。

已说明了多种实现。然而，应当理解的是：可以做出各种更改。例如，可以对不同实现的元素进行结合、补充、更改或移除以产生其他实现。另外，一个普通的技术人员将理解的是：其他结构和处理可以代替那些公开的结构和处理，并且得到的实现将以至少基本相同的(多种)方式实施基本相同的(多个)功能以得到与公开的实现至少基本相同的(多个)结果。因此，本申请预料到了这些及其他实现。

Claims (19)

1.一种方法，包含：

确定(120)关于比特流的切片失真因子和停顿失真因子之中的至少一项而不重构对应于所述比特流的视频，其中，所述切片失真因子代表由于切片模式错误隐藏导致的失真，并且所述停顿失真因子代表由于停顿模式错误隐藏导致的失真；以及

响应于所述切片失真因子和所述停顿失真因子之中的至少一项确定(130)质量度量。

2.如权利要求1所述的方法，其中，所述的确定所述切片失真因子和所述停顿失真因子之中的至少一项包括：

根据所述比特流确定(110)参数，所述参数包括丢失块比率和停顿持续时间之中的至少一项，其中，响应于所述丢失块比率确定所述切片失真因子，并且响应于所述停顿持续时间确定所述停顿失真因子。

3.如权利要求2所述的方法，其中，响应于所述丢失块比率的幂函数确定所述切片失真因子，并且响应于所述停顿持续时间的幂函数确定所述停顿失真因子。

4.如权利要求2所述的方法，所确定的参数还包含传播块比率、错误隐藏距离、内容不可预测性参数以及帧率，其中，响应于所述丢失块比率、所述传播块比率、所述错误隐藏距离、所述内容不可预测性参数以及所述帧率这些参数确定所述切片失真因子。

5.如权利要求2所述的方法，所确定的参数还包含运动矢量和帧率，其中，响应于所述停顿持续时间、所述运动矢量和所述帧率这些参数确定所述停顿失真因子。

6.如权利要求1所述的方法，其中，所述确定所述质量度量还响应于代表由于压缩导致的失真的压缩失真因子(120)。

7.如权利要求6所述的方法，其中，响应于所述压缩失真因子、所述切片失真因子和所述停顿失真因子的加权和确定所述质量度量。

8.如权利要求7所述的方法，其中，响应于γ/(1+αd^β)确定所述质量度量，其中，d对应于所述加权和，并且α、β和γ是常量。

9.如权利要求4所述的方法，还包含：

从所述比特流解码多个画面(410)；

检测在所述多个画面中的马赛克伪像(420)；以及

基于所述检测更新所述丢失块比率和传播块比率之中的至少一项(430)。

10.如权利要求1所述的方法，还包含：

实施监测所述比特流的质量、响应于所述质量度量调整所述比特流、基于所述质量度量创建新的比特流、调整用于传送所述比特流的分发网络的参数、基于所述质量度量确定是否保留所述比特流以及在解码器选择错误隐藏模式之中的至少一项。

11.一种装置(700)，包含：

确定代表由于切片模式错误隐藏导致的失真的切片失真因子的切片失真预测器(742)；

确定代表由于停顿模式错误隐藏导致的失真的停顿失真因子的停顿失真预测器(744)；以及

响应于所述切片失真因子、所述停顿失真因子和所述压缩失真因子确定质量度量的质量预测器(750)。

12.如权利要求11的装置，还包含：

根据比特流确定参数而不重构对应于所述比特流的视频的处理器，所述参数包括丢失块比率和停顿持续时间之中的至少一项，其中，所述切片失真预测器响应于所述丢失块比率确定所述切片失真因子，并且所述停顿失真预测器响应于所述停顿持续时间确定所述停顿失真因子。

13.如权利要求12所述的装置，所述处理器还确定传播块比率、错误隐藏距离、帧率以及内容不可预测性参数之中的至少一项，其中，所述切片失真预测器响应于所述丢失块比率、所述传播块比率、所述错误隐藏距离、所述帧率以及所述内容不可预测性参数这些参数确定所述切片失真因子。

14.如权利要求12所述的装置，所述处理器还确定运动矢量和帧率之中的至少一项，其中，所述停顿失真预测器响应于所述停顿持续时间、所述运动矢量以及所述帧率这些参数确定所述停顿失真因子。

15.如权利要求11所述的装置，还包含：

确定代表由于压缩导致的失真的压缩失真因子的压缩失真预测器(740)。

16.如权利要求15所述的装置，其中，所述质量预测器响应于γ/(1+αdβ)确定所述质量度量，其中，d对应于所述切片失真因子、所述停顿失真因子以及所述压缩失真因子的加权和。

17.如权利要求11所述的装置，还包含：

从所述比特流解码多个画面的解码器(770)；以及

检测所述多个画面中的马赛克伪像的马赛克伪像检测器(780)，其中，所述处理器基于所述检测更新所述丢失块比率以及所述传播块比率。

18.如权利要求11所述的装置，还包含实施监测所述比特流的质量、响应于所述质量度量调整所述比特流、基于所述质量度量创建新的比特流、调整用于传送所述比特流的分发网络的参数、基于所述质量度量确定是否保留所述比特流以及在解码器选择错误隐藏模式之中的至少一项的视频质量监测器。

19.一种处理器可读取的介质，在该介质上存储有用于使一个或多个处理器共同实施以下操作的指令：

确定(120)关于比特流的切片失真因子和停顿失真因子而不重构对应于所述比特流的视频，其中，所述切片失真因子代表由于切片模式错误隐藏导致的失真，并且所述停顿失真因子代表由于停顿模式错误隐藏导致的失真；

响应于所述切片失真因子和所述停顿失真因子之中的至少一项确定(130)质量度量。