CN101978701A - 视频质量客观评价方法、视频质量客观评价设备及程序 - Google Patents

Abstract

本发明提供了一种对视频质量进行客观评价的方法、设备和程序，使用：运动向量和DCT系数，存在于经编码的视频的比特流内，并且是表示场景中的差异的参数；或者，从经编码的视频的比特流部分恢复的像素信息和编码控制信息。因此，可以使用廉价的计算机，在短时间内对视频质量进行客观评价，因为与需要极其大量的计算代价的、通过使用对整个视频的比特流进行重构而获得的像素信息来对视频质量进行客观评价相比，可以节省计算代价。

Description

视频质量客观评价方法、视频质量客观评价设备及程序

技术领域

本发明涉及检测由视频数据的损失而导致的视频质量退化的视频质量客观评价技术，更具体地，涉及一种视频质量客观评价方法，视频质量客观评价设备及程序，在对观看视频的人所体验的质量(主观质量)进行估计时，在不进行主观质量评价实验(其中，多个主体通过在特殊实验室中实际观看视频来评价质量)的情况下，根据用户观看的视频的经编码的比特流信息来客观地导出主观质量。

背景技术

传统上，已经研究了在正在被传输或存储的经编码的视频比特串中出现损失的情况下，使用视频编码或IP通信的参数信息来评价视频质量的技术(Masataka Masuda，Toshiko Tominaga，and Takanori Hayashi，″Non-intrusive Quality Management for Video Communication Servicesby using Invalid Frame Rate″，Technical Report of IEICE，CQ2005-59，pp.55-60，Sept.2005(参考文献1))和ITU-T G.1070，″Opinion model forvideo-telephony applications″，Apr.2007(参考文献2)；或者将经编码的视频比特串解码至像素信号并基于像素信息来对视频质量进行客观评价的技术(ITU-T J.144，″Obj ective perceptual video qualitymeasurement techniques for digital cable television in the presence of afull reference″，Feb.2000(参考文献3))。

发明内容

本发明要解决的问题

参考文献1或2中描述的技术估计评价者所采用的多个场景的平均主观质量。然而在实际视频中，由于比特串构成在场景间存在很大变化，比特串中的损失导致视频场景之间主观质量的较大变化。因此，在参考文献1或2的技术中，难以考虑视频场景之间的差异，并且在实现高估计精度方面存在问题。此外，在使用IP通信的参数信息来估计主观质量时，使用不同于IP通信的协议不能进行主观质量估计。

参考文献3尝试使用通过对经编码的视频的比特串进行解码而获得的视频的像素信息来估计主观质量。然而，由于解码至像素信息需要很大计算量，实时主观质量估计所需的计算量非常大，并且每设备的制造成本提高。因此，难以在需要廉价的、用户的视频再现终端(机顶盒)等中安装该设备。

解决问题的技术方案

为了解决上述问题，根据本发明，一种在经编码的视频的比特串中出现损失时估计主观质量的方法包括以下步骤：当在通过当前普遍使用的使用运动补偿的帧间预测和DCT的编码方法(更具体为H.264)来编码的比特串中出现损失时，仅分析比特串或通过对比特串进行部分解码而获得的像素信息，并对通过对比特串进行解码而获得的视频中要检测的退化区域进行检测；导出退化区域对人的影响作为权重系数；估计退化隐藏处理的效果，所述退化隐藏处理是指解码器在对视频进行解码时使人难以检测到视频中的退化；检测出现退化的帧/片/运动向量的I/P/B属性；通过联合考虑这些信息来导出表示视频的单一帧中的退化强度的值；针对所有帧，导出单一帧中的退化强度；通过联合考虑退化强度来导出由损失的比特串导致的所有帧的退化的表示值；估计编码退化的主观质量；以及基于编码退化的主观质量和由损失的比特串导致的所有帧的退化的表示值，来估计总体主观质量。

更具体地，根据本发明，提供了一种对表示观看视频的观看者所体验的视频质量的主观质量进行估计的视频质量客观评价方法，在使用运动补偿和DCT来编码的视频的比特串中出现损失的情况下，使用损失的比特串和剩余的比特串来考虑场景之间的差异对主观质量的影响，并且在不需要完全解码的情况下估计主观质量。

当比特串中出现损失时，使用损失的比特串中损失帧(或片、宏块、或子宏块)的空间或时间序列位置信息来估计主观质量。

如果在运动补偿功能中另一帧(或片、宏块、或子宏块)要参考的参考帧(或片、宏块、或子宏块)的比特串中出现损失，则考虑参考帧(或片、宏块、或子宏块)的比特串的损失对另一帧(或片、宏块、或子宏块)造成的损失来估计主观质量。

因编码处理而退化的主观质量被定义为在比特串损失的情况下主观质量的最大值。

作为在单一帧中出现的退化的表示值，将通过对具有比特串损失的块的数目之和进行加权而获得的值用于视频质量客观评价。

在这种情况下，针对视频的所有帧，导出在单一帧中出现的退化的表示值，并且将通过对该和值进行加权而获得的值用于视频质量客观评价。

要用于视频质量客观评价的权重是根据运动向量数据的统计量、视频再现终端要执行的退化隐藏处理的统计量、出现退化的位置的统计量、或者DCT系数的统计量、或者局部像素信息的统计量或其组合来确定的。

注意，使用与帧中所有或一些宏块的运动向量的幅度或方向相关的统计量作为运动向量数据的统计量。

使用帧中所有或一些宏块的DCT系数的统计量作为DCT系数的统计量。

通过预先进行主观质量评价实验来测量各种退化隐藏处理对主观质量的改进量，并创建数据库。在对视频质量进行客观评价时，参考该数据库，并且估计针对每个退化隐藏处理而调整的主观质量。

使用经编码的视频的比特串或解码为局部像素信号的信息，来估计退化隐藏处理对主观质量的改进量。

使用与损失的比特串中包括的宏块相邻的宏块的像素信息作为局部像素信息。

根据本发明，如果在比特串中出现损失，并且损失的比特串中保存的信息是编码控制信息，则根据编码控制信息对主观质量造成的影响的程度来估计主观质量。

在对视频质量进行客观评价时，根据编码方法、帧率或视频分辨率来优化评价表示。

如上所述，使用当前普遍使用的通过运动补偿的帧间预测和DCT的编码方法的视频的比特串主要包括运动向量、DCT系数或编码控制信息(例如用于控制量化的量化系数/参数)。这些信息的内容在视频场景之间具有较大变化。因此，使用这些信息允许考虑视频场景中的差异来估计主观质量。此外，当直接使用比特串中嵌入的信息而不是像素信息时，由于不要求需要很大计算量来获取的像素信息，可以大大减少计算量。在通过对视频的比特串进行部分解码来获取像素信息时，与仅使用比特串中嵌入的信息的处理相比，负载略有增加。然而，与解码整个视频相比，仍然大大节省了计算量。因此，考虑将视频场景中的差异作为像素信息，可以添加该信息来估计主观质量。这允许使用廉价的计算机在短时间内执行精确的视频质量客观评价。例如，尽管观看者一般观看视频服务中的不同视频，但是可以考虑这种差异来估计每个视频的主观质量。这实现了针对每个观看者的相关质量的精确支持，或者允许视频服务运营商前端高效并且低成本地针对每个频道或每个场景来管理视频的主观质量。由于仅需要获取视频比特串，可以独立于用于发送比特串的协议来进行视频质量客观评价。这就是说，该方法可以被扩展至不同于IP通信的通信方法，因此适用于通过各种通信方法来传输的视频。

根据本发明，在经编码的比特串中出现损失的情况下，使用经编码的视频的比特串信息。这使得可以高效而精确地估计主观质量，从而通过使用本发明来替代主观质量评价方法或传统的客观质量评价方法，来消除对大量劳动力和时间的需要。因此，可以在较大规模上实时获取用户所感受的主观质量。

附图说明

图1是示出了根据本发明的视频质量客观评价设备的配置的框图；

图2是示意了视频质量客观评价设备的每个功能单元的示意操作的流程图；

图3是示出了帧中的宏块解码状态的视图；

图4是用于解释损失宏块中的边缘估计方法的视图；

图5是示出了损失宏块和相邻宏块的边缘表示值的视图；

图6是用于解释损失宏块中的边缘估计方法的视图；

图7是示出了8×8DCT系数的3D表示的视图；

图8是示出了8×8DCT系数的2D表示的视图；

图9是示出了与运动向量导出目标帧的相对位置的视图；

图10是示出了将运动向量投影至紧接在运动向量导出目标帧之后的帧的示例的视图；

图11是示出了将运动向量投影至紧接在运动向量导出目标帧之前的帧的示例的视图；

图12是示出了损失的宏块附近的运动向量导出目标帧的状态的视图；

图13是用于解释运动向量的朝向的视图；

图14是用于解释感兴趣的区域的定义的视图；

图15是示出了帧中的宏块的坐标系的视图；

图16是示出了视频质量客观评价设备的硬件配置的框图；

图17是示出了帧中的退化块和相邻块的视图；以及

图18是用于解释对沿时间方向的退化隐藏处理的效果进行估计的方法的视图。

具体实施方式

现在将参考附图来描述本发明的实施例。

(第一实施例)

根据本实施例的视频质量客观评价设备由信息处理设备形成，该信息处理设备包括：接口，要用于输入经编码的视频的比特串；算术设备(如服务器设备或个人计算机)；以及存储设备。视频质量客观评价设备输入经编码的视频的比特串，并输出与输入视频相对应的主观质量。硬件配置包括：接收单元2、算术单元3、存储介质4和输出单元5，如图16所示。图16所示的H.264编码器6通过以后要描述的H.264来对输入视频进行编码。经编码的视频比特串作为传输数据通过传输网络分发，并被发送至视频质量客观评价设备1。

视频质量客观评价设备1的接收单元2接收传输数据，即经编码的比特串。CPU读出并执行存储介质4中存储的程序，从而实现算术单元3的功能。更具体地，算术单元3使用接收单元2接收的比特串的信息来执行各种算术处理，并向输出单元5(如显示单元)输出算术处理结果，从而估计视频的主观质量。

更具体地，算术单元3具有系数数据库D11至D17、退化区域指定功能单元F11、针对退化区域的权重确定功能单元F12、退化隐藏处理指定功能单元F13、针对单一帧的退化表示值导出功能单元F14、针对所有帧的退化表示值导出功能单元F15、针对编码退化的主观质量估计功能单元F16和主观质量估计功能单元F17，作为其算术处理功能，如图1所示。

当通过使用运动补偿和DCT的H.264来编码的视频的比特串中出现损失时，视频质量客观评价设备1使用经编码的视频的比特串的正常部分和损失部分的内容来估计视频的主观质量。这在理论上适用于使用运动补偿和DCT的编码方法。

以下参照图1来具体描述视频质量客观评价设备的每个功能单元的功能。每个功能单元具有所需的存储器。

退化区域(位置和计数)指定功能单元F11对输入编码视频的比特串进行扫描。如果在比特串中出现损失，退化区域指定功能单元F11指定退化宏块的位置和数目，作为帧中的退化信息11a和11b，并将退化信息11a和11b分别输出至退化表示值导出功能单元F14和权重确定功能单元F12。

针对退化区域的权重确定功能单元F12对从退化区域指定功能单元F11接收的退化信息11b进行扫描，基于退化宏块的位置和周围宏块的运动和图案的复杂度来测量每个退化宏块对主观质量的影响程度，并将退化量信息12a输出至退化表示值导出功能单元F14。

退化隐藏处理指定功能单元F13根据要使用的退化隐藏处理，对数据库中存储的或与退化隐藏处理对主观质量的影响程度相关而动态导出的权重进行切换，并将其作为退化隐藏处理信息13a输出至退化表示值导出功能单元F14。

针对单一帧的退化表示值导出功能单元F14基于从功能单元F11、F12和F13输出的退化信息11a、退化量信息12a、以及退化隐藏处理信息13a，考虑单一帧中存在的所有退化宏块的影响，来导出退化强度的表示值，并将帧退化表示值14a输出至针对所有帧的退化表示值导出功能单元F15。

针对所有帧的退化表示值导出功能单元F15基于从针对单一帧的退化表示值导出功能单元F14输出的帧退化表示值14a来导出评价目标视频中存在的所有帧的退化强度的表示值，将这些强度求和得到整个评价目标视频的退化强度，导出针对所有帧的退化表示值，并将其作为所有帧退化表示值15a输出至主观质量估计功能单元F17。

针对编码退化的主观质量估计功能单元F16仅考虑编码导致的视频退化来导出主观质量，并将其作为编码主观质量16a输出至主观质量估计功能单元F17。在这种情况下，主观质量估计功能单元F17使用由编码过程退化的主观质量作为主观质量的最大值。主观质量估计功能单元F17基于来自针对所有帧的退化表示值导出功能单元F15的所有帧退化表示值15a和来自针对编码退化的主观质量估计功能单元F16的编码主观质量16a，考虑由编码和比特串中的损失导致的视频退化，来导出主观质量。

注意，评价表示的系数的数据库D11、D12、D13、D14、D15、D16和D17分别附着至功能单元F11、F12、F13、F14、F15、F16和F17，以由这些功能单元来使用。数据库D11至D17存储要用于优化评价表示的系数。这些系数根据评价目标视频的编码方法、分辨率和帧率而改变。可以通过基于预先进行的主观质量评价实验的结果来执行回归分析，以确定这些系数。备选地，可以使用任意值。

接下来，主要参照图1的框图和图2的流程图以及其他附图来描述视频质量客观评价设备的每个功能单元的具体操作。注意，以下要描述的所有像素信号和DCT系数被假定为与亮度相关。然而，相同的处理可以应用于色差信号。

退化区域(位置和计数)指定功能单元F11需要接收视频的经编码的比特串，并对H.264的可变长度码进行解码。为此，使用符合参考文献1(ITU-T H.264，“Advanced video coding for generic audiovisualservices”，Feb.2000)的H.264解码器。在解码之后，除了语法信息，如包括H.264编码的控制信息在内的SPS(序列参数集)或PPS(画面参数集)之外，可以针对每个宏块或子宏块获取编码信息，如在运动补偿或DCT变换编码中使用的运动向量、DCT系数等。更具体地，处理符合参考文献1中描述的规范。

如果在经编码的比特串中出现损失，则功能单元F11不能对其进行正常解码。因此，不能正常获取编码控制信息和如要用于计算宏块或子宏块中的像素信号的运动向量和DCT系数之类的信息。在视频质量客观评价设备的存储区中准备有针对宏块解码的总计成功和失败的标记。针对没有充足的数据来对经编码的比特串进行解码的每个宏块或子宏块设置标记，从而获得帧中的宏块解码成功/失败状态，如图3所示。在图3中，细框的块表示解码成功，而粗框的块表示解码失败。框12、31和35是与运动补偿或DCT编码相关的信息已经损失的示例。框51至57是片编码控制信息已经损失的示例。

基于如图3所示的解码成功/失败状态，可以检测由于解码失败而退化的宏块或子宏块的位置和数目。在编码控制信息(如SPS或PPS)损失的情况下，对应序列中的所有宏块(整个评价目标视频)被假定为损失SPS，或者对应画面中的所有宏块(帧或场)中的所有宏块被假定为损失PPS。图3中的宏块数目和片的形状仅为示例。

当另一宏块或子宏块使用H.264的运动估计功能来参考已经解码失败的宏块或子宏块时，根据IPB属性，参考损失的宏块或子宏块的宏块或子宏块也退化。参考文献1中描述了IPB属性。在参考宏块或子宏块解码失败的情况下，如果参考损失的宏块或子宏块的宏块或子宏块属于P帧，则选择预先在系数数据库D11中存储的退化权重ε＝a₁。如果该宏块属于B帧，则选择退化权重ε＝a₂。对于I帧，在H.264中使用帧内预测。因此，在参考宏块或子宏块解码失败的情况下，选择退化权重ε＝a₃。如果不使用预测，则选择退化权重ε＝a₄。该处理允许指定评价目标视频中具有损失的宏块或子宏块。

如果此处在子宏块中出现损失，则认为是包括该子宏块的宏块中的损失。除了由于解码失败而退化的宏块的位置和数目之外，还将视频的经编码的比特串和权重ε作为退化信息11a和11b输出至退化表示值导出功能单元F14和权重确定功能单元F12。

针对退化区域的权重确定功能单元F12接收退化信息11b，并输出以下要描述的表示退化区域的权重参数。将描述基于视频图案复杂度来测量退化宏块对主观质量的影响程度的改变的功能。

首先，将描述可以部分获取像素信号的情况。可以通过不仅将H.264的控制信息，还将要用于运动补偿和DCT变换编码的运动向量和DCT系数应用于参考文献1中描述的算法，来获取像素信号。

更具体地，根据上述参考文献1，仅获取损失宏块的上、下、左、右侧的宏块的像素信号。视频图案复杂度的表示指标是使用Sobel滤波器获得的边缘的幅度和方向。在这种情况下，假定退化宏块中的边缘的存在/不存在导致主观质量变化，估计从与退化宏块相邻的宏块至退化宏块是否存在连续边缘。

将参照图4和5来详细描述这一点。图4示出了退化宏块和4个相邻宏块。每个相邻宏块在与退化宏块的边界处具有一行像素(由图4中的空心方块指示的一行像素)。下一行像素(相邻宏块中，从退化宏块与相邻宏块之间的边界数起的第二行像素：由图4中的实心方块指示的一行像素)用于由Sobel滤波器进行边缘检测。当使用Sobel滤波器时，将边缘作为具有幅度和方向的量(即向量)导出。每个相邻宏块的边缘导出目标像素行获得的边缘由以下定义：

[数学式1]

(1≤i≤4，1≤j≤m)

其中i是相邻宏块的标识符(与图4中宏块1至4相对应)，j是存在于退化宏块与相邻宏块之间边界处的像素的数目，m是存在于Sobel滤波器的边缘导出目标像素行中的像素的数目。由

[数学式2]

(以下称为向量E{i}。注意，将被称为向量E{i}_j，而

将被称为向量E)给出的每个相邻宏块中由Sobel滤波器的边缘导出目标像素行导出的边缘的表示值由以下导出：

[数学式3]

$\left|{\stackrel{\→}{E}}^i\right|=\underset{j=1}{\overset{j=m}{\max }}\left(\right|{{\stackrel{\→}{E}}^i}_j\sin \mathrm{\θ}\left|\right)$

运算符

[数学式4]

(以下称为maxA_j)

参照自然数A₁至A_m来输出最大值，其中θ是向量E{i}j相对于退化宏块与相邻宏块之间的界面(由图5中的实线指示)的角度，如图5所示。这里，使用运算符max来进行设置，以输出具有最大幅度的向量。取而代之地，可以使用任意统计量，如最小值、平均值或方差。

此外，相邻宏块中导出的向量E{i}的表示值(即向量E)由以下导出：

[数学式5]

$\left|\stackrel{\→}{E}\right|=\underset{i=1}{\overset{i=4}{\mathrm{\μ}\×\max }}\left(\right|{\stackrel{\→}{E}}^i\left|\right)$

其中μ是数据库D12中存储的系数。这里，使用运算符max来进行设置，以输出具有最大幅度的向量。取而代之地，可以使用任意统计量，如最小值、平均值或方差。然而，如果相邻宏块退化或不存在，则不使用它来导出表示值(即向量E)。如果所有相邻宏块中都不能导出向量E{i}，则向量E的绝对值被定义为数据库D12中存储的任意常数(例如0)。这允许测量视频图案复杂度对单一帧中存在的每个退化宏块的主观质量的影响。

以仅能够使用经编码的视频的比特串信息的第二情况为例，解释基于视频图案复杂度来测量退化宏块对主观质量的影响程度的改变的功能。与第一情况一样，假定退化宏块中边缘的存在/不存在导致主观质量变化，估计从与退化宏块相邻的宏块至退化宏块是否存在连续边缘。将参照图6、7和8来详细描述这一点。

图6示出了退化宏块和4个相邻宏块。尽管图6与图4类似，但是图4中的每个宏块由像素信息形成，而图6中的每个宏块由DCT系数形成。如果图6中的每个相邻宏块属于I片或I帧，则直接执行以下要描述的处理。然而，如果相邻宏块包括P属性或B属性的宏块，则可以使用位于帧中相同空间位置从而在时间序列上最紧邻的I属性的宏块作为备选，或者可以在不采用任何备选的情况下继续处理。

更具体地，如图7所示来配置每个宏块的DCT系数的示例。x轴表示水平频率，y轴表示垂直频率，z轴表示DCT系数。注意，图7示意了将DCT应用至8×8像素块的情况。当将DCT应用至4×4像素块时，水平频率和垂直频率均在1至4的整数值范围内变化。当将DCT应用至16×16像素块时，水平频率和垂直频率在1至16的整数值范围内变化。这就是说，当将DCT应用至n×n像素块时，水平频率和垂直频率在1至n的整数值范围内变化。

图8是示出了图7中沿x轴的水平频率和沿y轴的垂直频率的视图。在图8中，在x、y轴具有相同值的对角线A上的DCT系数组上侧存在的DCT系数组被定义为组1，在下侧存在的DCT系数组被定义为组2。组1表示垂直频率高于水平频率的区域，即水平边缘强于垂直边缘的区域。组2表示水平频率高于垂直频率的区域，即垂直边缘强于水平边缘的区域。

图8中的坐标由(水平频率、垂直频率)表示。令Dpq为坐标(p，q)处的DCT系数，垂直边缘E_v(即向量E_v)的强度由以下给出：

[数学式6]

(以下称为向量E_v的绝对值。注意，称为向量E_h的绝对值，

称为向量E的绝对值)，并计算水平边缘E_h(即向量E_h)的绝对值，其中n指示包括n×n像素的边缘导出目标宏块。

[数学式7]

使用

*组1的DCT系数

使用

*组2的DCT系数

使用边缘强度导出处理，在图6中的相邻宏块1和3中导出向量E_v的绝对值。在图6中的相邻宏块2和4中导出向量E_h的绝对值。这些边缘的强度被定义为相邻宏块的边缘的强度的表示值向量E{i}，其中i是相邻宏块的标识符(1≤i≤4)。此外，每个相邻宏块中导出的向量E{i}的表示值向量E由以下导出：

[数学式8]

$\left|\stackrel{\→}{E}\right|=\underset{i=1}{\overset{i=4}{\mathrm{\μ}\×\max }}\left|{\stackrel{\→}{E}}^i\right|$

其中μ是数据库D12中存储的系数。这里，使用运算符max来进行设置，以输出具有最大幅度的向量。取而代之地，可以使用任意统计量，如最小值、平均值或方差。然而，如果相邻宏块退化或不存在，则不使用该相邻宏块来导出向量E。如果所有相邻宏块中都不能导出向量E{i}，则向量E的绝对值被定义为数据库D12中存储的任意常数(例如0)。这允许测量视频图案复杂度对单一帧中存在的每个退化宏块的主观质量的影响水平。

对于针对退化区域的权重确定功能单元F12，接下来描述测量退化宏块周围的每个宏块的运动幅度对主观质量的影响的功能。基于运动向量的表示值来确定运动幅度对主观质量的影响。参照图9、10、11和12来描述导出运动向量的表示值的方法。

首先解释导出整个帧中的运动向量的表示值的方法。如图9所示，在H.264中，针对每个宏块/子宏块，可以选择两个任意参考帧(不需要总是先前和后续帧)，以用于导出运动向量。这理论上适用于MPEG2或MPEG4的双向帧。执行归一化以使针对宏块/子宏块设置的运动向量的幅度在块之间可比。将每个宏块/子宏块的运动向量投影至运动向量导出目标帧的先前帧之一或后续帧之一。具体处理将参照图10和11来进行解释。

图10示意了运动向量导出目标帧s中的第t个块MB_st的参考帧是帧s之后的第r+1帧的情况。如图10所示，运动向量由以下给出：

[数学式9]

(以下称为向量MV_st)

从运动向量导出目标帧s至参考帧，存在

(以下称为向量MV_st)。通过以下数学式，将向量MV_st投影至运动向量导出目标帧s之后的第一帧的向量MV′_st上：

[数学式10]

$\stackrel{\→}{{\mathrm{MV}}_{\mathrm{st}}^{\′}}=\frac{1}{r+1}\stackrel{\→}{{\mathrm{MV}}_{\mathrm{st}}}$

图11示意了运动向量导出目标帧s中的第t个块MB_st的参考帧是帧s之前的第r+1帧的情况。如图11所示，从运动向量导出目标帧s至参考帧，存在运动向量MV_st。通过以下数学式，将向量MV_st投影至运动向量导出目标帧s之前的第一帧的向量MV′_st上：

[数学式11]

$\stackrel{\→}{{\mathrm{MV}}_{\mathrm{st}}^{\′}}=\frac{1}{r+1}\stackrel{\→}{{\mathrm{MV}}_{\mathrm{st}}}$

通过上述处理，可以将针对运动向量导出目标帧s的每个宏块/子宏块t(1≤t≤x)而设置的运动向量投影至第s±1帧上的向量上，其中x是帧s中块的数目。注意，如果存在运动向量导出目标帧s的两个参考帧，则针对两个参考帧导出上述处理投影的运动向量，并且将平均向量定义为运动向量导出目标帧s的每个块的MV′_st。

使用运动向量导出目标帧s上如此导出的向量MV′_st，通过以下等式导出向量幅度的平均值，作为运动向量导出目标帧s的统计量。除了平均值之外，可以使用各种统计量作为备选，如最大值、最小值、标准差和方差。在以下等式中

[数学式12]

(以下称为向量MV′_st的绝对值)

表示向量的幅度。

[数学式13]

${\mathrm{MV}}_{\mathrm{ave}}\left(s\right)=\underset{t=1}{\overset{t=x}{\mathrm{ave}}}\left|\stackrel{\→}{{\mathrm{MV}}_{\mathrm{st}}^{\′}}\right|$

运算符

[数学式14]

(以下称为aveA_j)

通过参照自然数A₁至A_m来输出平均值。

如图12所示(图12示出了损失宏块附近的运动向量导出目标宏块，其中细框的块表示解码成功，而粗框的块表示解码失败)，针对退化宏块周围的24个宏块执行与导出整个帧的运动向量统计量时相同的处理，从而导出24个宏块的运动向量的表示，针对每个宏块，该表示由

[数学式15]

(以下称为向量MV_ave(t))

给出。令T为帧s中退化的宏块的数目。

使用如此获得的MV_ave(s)和MV_ave(t)，通过以下数学式导出表示具有损失的宏块周围存在的宏块组的运动幅度对退化宏块的主观质量的影响程度的权重：

[数学式16]

$M^{\mathrm{weight}}=\mathrm{\α}\left|\frac{{\mathrm{MV}}_{\mathrm{ave}}\left(s\right)-\underset{t_d^s=1}{\overset{T}{\mathrm{ave}}}\left({\mathrm{MV}}_{\mathrm{ave}}^{24}\left(t_d^s\right)\right)}{{\mathrm{MV}}_{\mathrm{ave}}\left(s\right)}\right|+\β$

其中α和β是数据库D12中存储的系数。等式(16)中ave的平均运算可以由最大值、最小值或任何其他统计量来代替。

上述处理适用于损失宏块具有P或B属性的情况。对于I属性，M^weight是数据库D12中存储的任意常数(例如1)。如果计算所需的宏块或子宏块退化，则忽略其存在，并根据当前宏块或子宏块来导出统计量。

对于针对退化区域的权重确定功能单元F12，接下来描述测量退化宏块周围的每个宏块的运动方向对主观质量的影响的功能。基于运动向量的表示值来确定运动方向对主观质量的影响。参照图13来描述导出运动向量的表示值的方法。

首先，涉及评价目标视频中存在的所有宏块，并且，针对设置有运动向量的每个宏块，基于图13确定区域1至8中哪一个包括该宏块。示出了运动向量0作为示例。运动向量0存在于区域2中。将相同的处理应用至评价目标视频帧中的所有宏块。对每个区域中存在的运动向量的数目进行计数，并且导出每个区域中存在的运动向量的总数MVN_NUM(1≤NUM≤8)，其中NUM是每个区域的标识符。对于如此导出的MVN_NUM，导出每个MVN_NUM的样本方差σ_MVN。将如此获得的σ_MVN定义为表示宏块的运动方向对退化宏块的主观质量的影响程度的权重。

对于针对退化区域的权重确定功能单元F12，导出退化宏块的出现位置对退化宏块的主观质量的影响程度。图14示出了详细情况。如图14所示，将与垂直和水平长度的50％相对应的中心区域设置为感兴趣的区域。如果在感兴趣的区域中存在退化宏块，则将表示退化宏块的出现位置对退化宏块的主观质量的影响程度的权重C设置为C＝c₁；如果在感兴趣的区域中不存在退化宏块，则设置C＝c₂，其中c₁和c₂是数据库D12中存储的常数。针对评价目标视频的每个宏块，计算表示退化宏块的出现位置对退化宏块的主观质量的影响程度的权重C。

针对退化区域的权重确定功能单元F12还导出退化局部化对主观质量的影响。如图15所示(在图15中，细框的块表示解码成功，而粗框的块表示解码失败)，通过向右绘制X坐标，向上绘制Y坐标，并将原点设置在左下角来形成宏块坐标系，每个宏块的坐标表示为(X，Y)。导出退化宏块组的X和Y坐标的样本方差，并且通过以下等式来计算退化局部化对主观重量的影响：

L＝fL(σ_x，σ_y)

在这种情况下，fL(σ_x，σ_y)＝σ_x×σ_y。然而，可以执行不同于乘法的任何任意运算。针对评价目标视频的每个帧来计算退化局部化L。将针对退化区域的权重确定功能单元F12如此计算的每个块的向量E、M^weight、σ_MVN、C和L作为退化量信息12a输出至针对单一帧的退化表示值导出功能单元F14。

接下来描述退化隐藏处理指定功能单元F13的细节。退化隐藏处理指定功能单元F13接收数据库D13中存储的与退化隐藏相关的信息，并输出表示退化隐藏处理对主观质量的改进的参数。首先描述以下情况：其中，根据主观质量评价实验的结果来确定退化隐藏处理对主观质量的影响。更具体地，使用表1和2来进行描述。

[表1]

[表2]

如表1所示，在改变场景类型和比特串损失模式的同时，应用作为评价目标的各种退化隐藏处理方案和不应用退化隐藏处理的处理，并且在每种情况下获取主观质量。作为主观质量评价的尺度，可以使用评价退化视频的主观质量的绝对尺度作为绝对值。在表1中，使用平均意见得分(MOS)作为主观质量的示例。MOS_efg是针对场景e(1≤e≤S)、损失模式f(1≤f≤M)和退化隐藏方案g(0≤g≤N)的MOS。在这种情况下，g＝0意味着不执行退化隐藏的情况。

如表2所示，计算在每一种条件下如此获取的主观质量与在不应用退化隐藏处理的情况下获取的MOS的比值W_efg。W_efg表示针对场景e(1≤e≤S)、数据损失模式f(1≤f≤M)和退化隐藏方案g(0≤g≤N)，退化隐藏方案g的主观质量改进效果。对于每个退化隐藏方案，对针对场景和数据损失模式的主观质量改进效果进行平均。更具体地，

[数学式17]

$W_g=\frac{1}{\mathrm{SM}}\underset{e=1}{\overset{S}{\mathrm{\Σ}}}\underset{f=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{efg}}$

该值被定义为每个退化隐藏方案的主观质量改进效果的表示值。也可以使用将主观质量表示为与原始视频质量的差异的退化尺度(例如DMOS)作为主观质量评价尺度。如表3和4所示，这是与绝对尺度类似地导出的。

[表3]

[表4]

然而，在这种情况下，按照以下方式导出每个退化隐藏方案的主观质量改进效果的表示值。根据要使用的质量评价尺度的类型来选择W_g。

[数学式18]

$W_g=\frac{1}{\frac{1}{\mathrm{SM}}\underset{e=1}{\overset{S}{\mathrm{\Σ}}}\underset{f=1}{\overset{M}{\mathrm{\Σ}}}{W}_{\mathrm{efg}}}$

以上使用的系数存储在数据库D13中。

不使用更具主观质量评价实验的结果来构造的数据库，退化隐藏处理指定功能单元F13可以使用以下方法：使用经编码的视频的比特串或解码为像素信号的信息，针对每个评价目标视频来动态估计退化隐藏处理对主观质量的影响。

更具体地，已知退化隐藏处理的效果和周围边缘量具有相关性。因此，使用在针对退化区域的权重确定功能单元F12中、在测量视频图案复杂度对退化宏块的主观质量的影响程度的功能的第一或第二情况下导出的向量E，通过以下数学式来计算退化隐藏属性的权重W

[数学式19]

$W=\frac{\mathrm{\ω}}{\left|\stackrel{\→}{E}\right|}$

其中ω是数据库D13或D12中存储的系数，W是针对每个宏块导出的。仅在这种情况下，W可以由针对退化区域的权重确定功能单元F12来计算，并作为退化量信息12a输出至针对单一帧的退化表示值导出功能单元F14。

退化隐藏处理指定功能单元F13如此导出的每个宏块的W_g或W作为退化隐藏处理信息13a输出至针对单一帧的退化表示值导出功能单元F14。

接下来将描述针对单一帧的退化表示值导出功能单元F14的细节。针对单一帧的退化表示值导出功能单元F14接收来自退化区域(位置和计数)指定功能单元F11、针对退化区域的权重确定功能单元F12和退化隐藏处理指定功能单元F13的输出11a、12a和13a，并考虑给定帧中所有退化宏块的影响，输出退化表示值和退化局部化，作为帧退化表示值14a。更具体地，使用加权函数，通过以下数学式来导出帧退化表示值：

[数学式20]

$D_f=\mathrm{\τ}\×{\mathrm{WF}}_1\left(\underset{i=1}{\overset{x}{\mathrm{\Σ}}}\frac{\mathrm{\ϵ}\×\left|\stackrel{\→}{E\left(i\right)}\right|\×M^{\mathrm{weight}}\left(i\right)\×{\mathrm{\σ}}_{\mathrm{MVN}}\×C_i}{W_g}\right)$

其中τ是数据库D14中存储的系数，ε是基于参考块具有P属性、B属性或I属性来确定并由退化区域(位置和计数)指定功能单元F11导出的权重。

[数学式21]

(称为向量E(i)的绝对值)

是针对退化区域的权重确定功能单元F12导出的退化宏块i中的边缘对主观质量的影响的向量E，M^weight(i)是针对退化区域的权重确定功能单元F12导出的退化宏块i中的运动幅度对主观质量的影响M^weight，σ_MVN是针对退化区域的权重确定功能单元F12导出的运动方向对主观质量的影响，C_i是针对退化区域的权重确定功能单元F12导出的退化宏块i的位置对主观质量的影响C，w_g是退化隐藏处理指定功能单元F13导出的退化隐藏方案k的主观质量改进效果。取代W_g，可以从等式(19)获得并使用

[数学式22]

$W=\frac{\mathrm{\ω}}{\left|\stackrel{\→}{E}\left(i\right)\right|}$

其中x是帧中存在的退化宏块的总数。加权函数WF₁(w)可以采用任意函数。在这种情况下，例如使用

WF₁(w)＝u₁*log(w-u₂)+u₃

其中，u₁、u₂和u₃是数据库D14中存储的系数。

针对单一帧的退化表示值导出功能单元F14还具有以下可选功能：基于来自退化区域(位置和计数)指定功能单元F11、针对退化区域的权重确定功能单元F12和退化隐藏处理指定功能单元F13的输出11a、12a和13a，考虑给定片中所有退化宏块的影响，来导出退化表示值DS。更具体地，使用加权函数WF₁(w)，通过以下数学式来导出退化表示值DS：

[数学式23]

$D_S=\mathrm{\τ}\×{\mathrm{WF}}_1\left(\underset{i=1}{\overset{\mathrm{SN}}{\mathrm{\Σ}}}\left(\frac{\mathrm{\ϵ}\×\left|\stackrel{\→}{E\left(i\right)}\right|\×M^{\mathrm{weight}}\left(i\right)\×{\mathrm{\σ}}_{\mathrm{MVN}}\×C_i}{W_g}\right)\right)$

其中SN是片中存在的退化宏块的总数。取代W_g，可以使用

[数学式24]

$W=\frac{\mathrm{\ω}}{\left|\stackrel{\→}{E}\left(i\right)\right|}.$

将帧退化表示值14a输出至针对所有帧的退化表示值导出功能单元F15。

接下来将描述针对所有帧的退化表示值导出功能单元F15的细节。针对所有帧的退化表示值导出功能单元F15接收从针对单一帧的退化表示值导出功能单元F14输出的、评价目标视频中存在的所有帧的退化表示值和退化局部化，并输出评价目标视频的退化表示值D作为所有帧退化表示值15a。使用加权函数WF₂(w)，可以通过以下数学式来导出退化表示值D：

[数学式25]

$D={\mathrm{WF}}_2\left(\underset{f=1}{\overset{F}{\mathrm{\Σ}}}{L}_f{D}_f\right)$

其中L_f是由针对退化区域的权重确定功能单元F12导出的、帧f中的退化局部化对主观质量的影响。加权函数WF₂(w)可以采用任意函数。在这种情况下，例如可以使用

WF₂(w)＝h₁*log(w-h₂)+h₃

其中h₁、h₂和h₃是数据库D15中存储的系数，F是评价目标视频中存在的帧的总数。可以使用D_S来代替D_f。在这种情况下，通过以下数学式导出评价目标视频的退化表示值D：

[数学式26]

$D={\mathrm{WF}}_2\left(\underset{S=1}{\overset{\mathrm{ASN}}{\mathrm{\Σ}}}{D}_S\right)$

其中ASN是评价目标视频中存在的片的总数。将所有帧退化表示值15a输出至主观质量估计功能单元F17。

将描述针对编码退化的主观质量估计功能单元F16的细节。针对编码退化的主观质量估计功能单元F16具有以下功能：仅考虑由编码导致的视频退化来导出主观质量E_coded。功能单元F16可以使用任意传统方法的输出作为编码主观质量16a。E_coded可以存储在数据库D16中，并作为编码主观质量16a输出。

接下来将描述主观质量估计功能单元F17的细节，主观质量估计功能单元F17接收来自针对所有帧的退化表示值导出功能单元F15和针对编码退化的主观质量估计功能单元F16的输出，并考虑编码和分组损失导致的视频退化来输出主观质量E_all。使用函数ev(x，y)，主观质量估计功能单元F17通过以下等式来导出主观质量E_all：

E_all＝ev(E_coded，D)

函数ev(x，y)可以采用任意函数。在这种情况下，例如使用

ev(v₁，v₂)＝l₁(v₁/v₂)+l₂

其中，l₁和l₂是数据库D17中存储的系数。

在上述方式中，当在经编码的比特串中出现损失时，可以精确并高效地估计视频的主观质量。

(第二实施例)

在本实施例中，除了导出表示退化隐藏处理的影响的参数W_g的方法之外，执行与第一实施例中相同的处理。使用表示沿空间方向的退化隐藏处理的影响的W_gS和表示沿时间方向的退化隐藏处理的影响的W_gT，W_g由以下导出：

W_g＝ω₁×W_gS×W_gT+ω₂×W_gS+ω₃×W_gT

其中ω₁、ω₂和ω₃是数据库D13中存储的系数。

参照图17来描述导出表示沿空间方向的退化隐藏处理的影响的W_gS的方法。图17中的宏块数目和片形状仅是示例。

在导出W_gS时，关注与图17中所示的单一帧中的退化区域垂直、水平和斜相邻的周围宏块(图17中的宏块13、14、15、23、25、26、33、36、43、44、45和46)。计算每个周围宏块与所有相邻周围宏块之间的相似度。在本实施例中，使用两个宏块的所有像素的亮度信息的均方误差作为相似度。然而，不需要总是按照该方法来导出相似度，并且可以使用所有已知相似度导出算法。在本实施例中，更具体地，当宏块1和宏块2存在时，通过以下数学式来导出相似度：

[数学式27]

$S=\underset{i}{\overset{\mathrm{all\; pixels\; in\; macroblock}}{\mathrm{\Σ}}}{(p_{1i}-p_{2i})}^2$

其中P_1i和P_2i是位于宏块1和2中相同空间位置处的像素。

接下来，导出每个周围宏块与所有相邻周围宏块之间的相似度(例如，对于图17中的周围宏块14，相对于相邻周围宏块13和15来导出相似度)。对针对每个周围宏块相对于所有相邻周围宏块而导出的相似度进行平均。将该值定义为周围宏块的相似度表示值。对所有周围宏块的相似度表示值进行平均，以获得单一帧的相似度S_frame。令N_frame为帧中退化宏块的数目，W_gS由以下导出：

[数学式28]

$W_{\mathrm{gS}}=\frac{{\mathrm{\ω}}_4}{{\mathrm{\ω}}_6\×S_{\mathrm{frame}}+{\mathrm{\ω}}_7\×N_{\mathrm{frame}}+{\mathrm{\ω}}_8\×S_{\mathrm{frame}}\×N_{\mathrm{frmae}}}+{\mathrm{\ω}}_5$

其中ω₄、ω₅、ω₆、ω₇和ω₈是数据库D13中存储的系数。

还将参照图17来描述导出表示沿时间方向的退化隐藏处理的影响的W_gT的方法。在导出W_gT时，关注与图17所示的单一帧i(时间序列中的第i帧)中的退化区域(宏块24、34和35)垂直、水平和斜相邻的周围宏块(图17中的宏块13、14、15、23、25、26、33、36、43、44、45和46)。同时，关注在时间序列中帧i之前和之后的帧i-1和帧i+1。如图18所示(在图18中，块24是损失块，块13、14和23是一些周围宏块，左侧的宏块13、14、23和24包括在帧i-1中，中间的宏块13、14、23和24包括在帧i中，右侧的宏块13、14、23和24包括在帧i+1中)，针对帧i的每个周围宏块来计算运动向量的幅度和方向。同时，针对帧i-1和i+1，检测与帧i的周围宏块的运动向量在相同空间位置处的运动向量的方向和幅度。该处理根据参考文献1来执行。

对于帧i-1和i+1的运动向量，计算帧i的周围宏块的运动向量的内积。例如，针对图17中的周围宏块14，导出IP_14i和IP_14(i+1)。导出AIP_14i作为IP_14i和IP_14(i+1)的平均值。可以将要用于计算内积的运动向量的幅度统一设置为1。类似地，针对帧i中的所有周围宏块，计算AIP_Δi(Δ是周围宏块数)。将所有周围宏块的AIP_Δi的平均值定义为W_gT＝AIP_i，表示帧i的沿时间方向的退化隐藏处理的影响。如果在帧i-1和i+1中，没有针对与帧i的周围宏块在空间上相对应的宏块设置的运动向量，或者该运动向量损失，则通过将该宏块的运动向量视为0向量来计算W_gT。在本实施例中，要用于计算内积的运动向量是根据退化帧之前和之后的帧来计算的。取而代之地，要用于计算内积的运动向量可以根据任意两帧来计算。

注意，W_gS和W_gT是针对每个退化帧重新计算的值。

Claims (19)

1.一种对观看视频的观看者所体验的视频的主观质量进行估计从而客观评价视频质量的视频质量客观评价方法，包括以下步骤：

接收使用运动补偿和DCT编码的视频的比特串；

如果在所接收的视频的比特串中出现损失，则使用损失的比特串和剩余的比特串来执行预定操作；以及

基于执行预定操作的步骤的操作结果，执行估计视频的主观质量的操作，

其中，在执行预定操作的步骤中，提取比特串中保存的损失块的空间位置信息和时间序列位置信息之一，以及

在执行估计主观质量的操作的步骤中，视频的主观质量是基于所提取的空间位置信息或时间序列位置信息来估计的。

2.根据权利要求1所述的视频质量客观评价方法，其中，

在执行预定操作的步骤中，如果使用运动补偿功能的另一块要参考的参考块的比特串中出现损失，则对参考块的比特串的损失对参考该损失的参考块的块造成的损失进行量化，以及

在执行估计主观质量的操作的步骤中，视频的主观质量是基于执行预定操作的步骤的操作结果来估计的。

3.根据权利要求1所述的视频质量客观评价方法，其中，在执行预定操作的步骤中，由编码处理而退化的主观质量被定义为在比特串损失的情况下主观质量的最大值。

4.根据权利要求1所述的视频质量客观评价方法，其中，

在执行预定操作的步骤中，计算通过对比特串的损失块的数目应用权重而获得的值，作为在单一帧中出现的退化的表示值；以及

在执行估计主观质量的操作的步骤中，所计算的值用于估计主观质量。

5.根据权利要求4所述的视频质量客观评价方法，其中，

在执行预定操作的步骤中，针对视频的所有帧，导出在单一帧中出现的退化的表示值，并通过对所述表示值应用权重来计算值；以及

在执行估计主观质量的操作的步骤中，所计算的值用于估计主观质量。

6.根据权利要求4或5所述的视频质量客观评价方法，其中，在执行预定操作的步骤中，根据运动向量数据、视频再现终端要执行的退化隐藏处理、出现退化的位置和DCT系数中的一项或者局部像素信息或其组合的统计量来确定要用于估计主观质量的权重。

7.根据权利要求6所述的视频质量客观评价方法，其中，在执行预定操作的步骤中，使用与帧中所有宏块或一些宏块的运动向量的幅度或方向相关的统计量作为运动向量数据的统计量。

8.根据权利要求6所述的视频质量客观评价方法，其中，在执行预定操作的步骤中，使用帧中所有宏块或一些宏块的DCT系数的统计量作为DCT系数的统计量。

9.根据权利要求6所述的视频质量客观评价方法，还包括以下步骤：通过预先进行主观质量评价实验，测量各种退化隐藏处理对主观质量的改进量，并创建数据库；

其中，在执行估计主观质量的操作的步骤中，在对视频质量进行客观评价时，参考所述数据库，并且导出针对每个退化隐藏处理而调整的主观质量。

10.根据权利要求6所述的视频质量客观评价方法，其中，在执行估计主观质量的操作的步骤中，使用经编码的视频的比特串或被解码为局部像素信号的信息，来估计退化隐藏处理对主观质量的改进量。

11.根据权利要求6所述的视频质量客观评价方法，其中，在执行预定操作的步骤中，使用损失的比特串中包括的宏块附近的宏块的像素信息作为局部像素信息。

12.根据权利要求1所述的视频质量客观评价方法，其中，

在执行预定操作的步骤中，如果损失的比特串中保存的信息是编码控制信息，则计算编码控制信息对主观质量造成的影响的程度；以及

在执行估计主观质量的操作的步骤中，视频的主观质量是基于执行预定操作的步骤的操作结果来估计的。

13.根据权利要求1所述的视频质量客观评价方法，其中，在执行估计主观质量的操作的步骤中，在对视频质量进行客观评价以估计视频的主观质量时，根据编码方法、帧率和视频分辨率之一来优化评价表示。

14.根据权利要求1、2和4中任一项所述的视频质量客观评价方法，其中，所述块是帧、片、宏块和子宏块之一。

15.一种对观看视频的观看者所体验的视频的主观质量进行估计从而对视频质量进行客观评价的视频质量客观评价设备，包括：

接收单元，接收使用运动补偿和DCT编码的视频的比特串；

算术单元，如果在所接收的视频的比特串中出现损失，则使用损失的比特串和剩余的比特串来执行预定操作；以及

估计单元，基于执行预定操作的步骤的操作结果，执行估计视频的主观质量的操作，

其中，所述算术单元提取比特串中保存的帧、片、宏块和子宏块之一的空间损失位置信息和时间序列损失位置信息之一，以及

所述估计单元基于所提取的空间位置信息或时间序列位置信息来估计视频的主观质量。

16.一种程序，使计算机执行以下处理：

接收使用运动补偿和DCT编码的视频的比特串；

如果在所接收的视频的比特串中出现损失，则提取比特串中保存的帧、片、宏块和子宏块之一的空间损失位置信息和时间序列损失位置信息之一；以及

基于所提取的空间位置信息或时间序列位置信息来估计视频的主观质量。

17.根据权利要求6所述的视频质量客观评价方法，其中，在执行估计主观质量的操作的步骤中，使用表示沿空间方向的退化隐藏处理的影响的值和表示沿时间方向的退化隐藏处理的影响的值，估计退化隐藏处理对主观质量的改进量。

18.根据权利要求17所述的视频质量客观评价方法，其中，表示沿空间方向的退化隐藏处理的影响的值是使用退化区域周围的相似度和退化区域的大小来计算的。

19.根据权利要求17所述的视频质量客观评价方法，其中，表示沿时间方向的退化隐藏处理的影响的值是使用帧之间运动向量的幅度和方向的变化来计算的。

Images