CN104488265A - 用于视频流服务的内容相关的视频质量模型 - Google Patents

Abstract

本发明涉及一种方法和设备，用于评估数字视频信号的感知质量，优选地在诸如互联网协议电视(IPTV)或视频点播(VoD)的视频流服务的背景下，并且尤其用于通过提供内容复杂度参数并且通过由所提供的内容复杂度参数控制基于现有或未来的参数的视频质量评估方法，来进行数字视频信号的感知质量的内容相关的评估。本发明设计为用于加密视频流，但是也对未加密的视频流起作用。

Description

用于视频流服务的内容相关的视频质量模型

技术领域

本发明涉及一种方法和设备，用于评估数字视频信号的感知质量，优选地在视频流服务(例如，互联网协议电视(IPTV)或视频点播(VoD))的背景下，并且尤其用于通过提供内容复杂度参数并且通过由所提供的内容复杂度参数控制基于现有或未来的参数的视频质量评估方法，来进行数字视频信号的感知质量的内容相关的评估。本发明设计为用于加密视频流，但是也对未加密的视频流起作用。

背景技术

为了确保高度满足视频服务(例如，非互动流视频(IPTV、VoD))的用户，需要评估那些服务的感知视频质量。内容提供商和客户的广播提供商的主要责任在于保持其服务的质量。在大型IPTV网络中，仅完全自动的质量监控探头可满足该要求。

为此，开发提供由用户感知的视频质量的评估的视频质量模型。例如，那些模型可输出在用户端接收的视频与原始的未降质视频之间的相似度。此外，并且通过更复杂的方式，可对人类视觉系统(HVS)建模。最后，可将模型输出映射到大量主观质量测试的结果中，以便最后提供感知质量的评估。

视频质量模型以及测量系统通常可如下分类：

质量模型类型

·全参考(FR)：需要参考信号。

·部分参考(RR)：需要从源信号中提取的部分信息。

·无参考(NR)：不需要参考信号。

输入参数类型

·基于信号/媒体：需要解码图像(像素信息)。

·基于参数：需要比特流水平的信息。信息的范围可以是数据包报头信息，需要解析数据包报头，解析包括有效载荷的比特流(即，编码信息)，并且部分或完全解码比特流。

应用类型

·网络规划：在实现网络之前，使用模型或测量系统，以便规划可能最好的实现方式。

·服务监控：在服务操作期间，使用模型。

在参考文献【1-3】中，可找出视频质量模型的类型的相关信息。

在文献【4-6】中描述了几种基于数据包的参数视频质量模型。然而，这些模型的主要缺点在于，它们未考虑内容的质量影响。换言之，并且根据先前研究【7-12】的报告，感知视频质量取决于视频的空间-时间特征。例如，众所周知，在视频中(例如，在广播新闻中)没有复杂运动时，丢包通常被更好地掩盖。在没有丢包时，并且对于中低比特率，具有低空间-时间复杂度的内容比空间-时间复杂内容实现更好的质量。

与参考文献【13a、13b、14、15、16】相比，对于丢包和非丢包情况，进一步的先有技术的目的还在于，在基于参数的参数视频质量模型内包括内容的质量影响。

例如，在参考文献【13a、13b、14】中，通过比较当前帧尺寸和自适应阈值，确定每个视频帧的内容的复杂度。当前帧尺寸是高于、等于还是低于该阈值，都会造成增大或减小与当前帧相关的评估质量。然而，由于使用阈值并且产生了大于、等于或小于该阈值这三种可能性，所以在这些参考文献中公开的方法仅仅提供了视频内容的比较粗略的考虑。换言之，没有在规定的测量窗口内顺利或连续地测量帧的复杂度。而且，由于在整个或部分测量窗口上计算自适应阈值，所以相对于在相同视频序列中的其它帧的复杂度，而非相对于其它内容的复杂度，确定每个帧的复杂度。

在参考文献【15】中，提出了一种解决方法，用于将内容相关的参数(即，反应内容的空间-时间复杂度的参数，例如，量化参数和运动向量)插入基于参数的视频质量模型内。然而，不能从加密的比特流中提取这些内容相关的参数，所以不能通过与本发明相同的方式使用参考文献【15】。

参考文献【16】提出了一种解决方法，用于在具有单个参数的丢包情况下，评估感知的视频质量，单个参数表示由丢包造成的信号降质的幅度。该解决方法预期包括校正系数，用于根据内容的时间或空间-时间复杂度调整信号降质的评估幅度。然而例如，未提出用于在加密视频的情况下计算该校正系数的解决方法。

因此，依然需要一种方法，来评估数字视频信号的感知质量。一方面，这种方法应允许相当精细地考虑视频信号的内容的质量影响，另一方面，还应适用于加密视频，包括具有和没有丢包的编码降质的情况。同样需要一种被配置为用于执行具有这些特征的方法的设备。

发明内容

通过具有由在本文档中提出的权利要求所公开的特征的方法和设备，实现这些目标。

本发明的目标在于，在加密视频的情况下(即，在仅仅可使用数据包报头信息时)，使用基于参数的视频质量模型。本发明在未加密视频的情况下也同样起作用，但是本发明的设计不如根据完全解密的或从未加密的比特流中提取的更深入的信息的视频质量模型精确。仅仅使用基于数据包的信息，提供了使本发明的计算复杂度保持低的优点，并且当然，将应用范围扩展为未加密流以及加密流。

可如下概述本发明：

本发明的目标在于，提供一种方法，该方法通过提供内容复杂度参数并且使用这些内容复杂度参数控制任意的(因此，现有的或未来的)基于参数的视频质量评估方法，来评估数字视频信号的感知质量。一方面，根据本发明的方法允许相当精细地考虑视频信号的内容的质量影响，另一方面，还应适用于加密视频，并且适用于丢包的情况以及未丢包的情况。本发明的另一个目标在于，提供一种设备，该设备被配置为用于计算内容复杂度参数并且将这些参数插入任意的基于参数的视频质量模型内，具有与这种基于数据包报头的方法相关联的所有优点。

还应注意的是，本发明与上面引用的参考文献【13a、13b、14】的方法的主要差异在于所计算的内容相关的参数以及在模型内包括这些参数的方法。在本发明中，内容相关的参数用作不取决于在参考文献【13a、13b、14】中公开的帧的历史的绝对值。因此，原则上，这些参数可用于比较两个不同内容的复杂度或者一个内容的不同场景或通道的复杂度。而且，在本发明中使用的内容相关的参数的值具有连续性，并且与在【13a、13b、14】中不同，不分类成模糊的类别，从而允许非常精细地评估内容的质量影响。此外，在本发明中，在整个测量窗口上，为每个图像组(GOP)或每个视频场景计算所有参数，而在现有技术(与参考文献【13a、13b、14】相比)中，为每个帧计算所有参数。

要注意的是，在加密视频的情况下，可使用【20】评估GOP结构。进一步要注意的是，(视频)场景从I帧开始，并且通常包含几个GOP。在使用参考文献【21】(在本申请的提交日期之前未公布)的加密视频的情况下，可检测场景切换。两个视频场景的语义内容通常不同。而且，内容信号的空间-时间(ST)复杂度的场景内部变化通常低于其场景之间的变化。

在以下等式中，根据不同类型的降质的作用，显示表示评估的视频质量Qv的两种一般方法，

Qv＝Qvo–Icod–Itra,         (1)

Qv＝Qvo×Icod×Itra,         (2)

其中，Icod和Itra是“损害因数”(IF)的实例。损害因数量化特定降质类型的质量影响，并且能从信号和传输路径的参数描述计算每个损害因数。在等式(1)和(2)中，Icod表示压缩失真的质量影响，Itra表示传输误差(丢包)的质量影响。要注意的是，在等式(2)中并且在整个申请中，符号“×”表示两个实数之间的普通乘法，有时也表示为符号“·”。

例如，在等式(1)和(2)中的所有术语表示在从0到100或者从1到5的范围内。

Qvo是基本质量并且通常与用于表示感知质量的规模的最高值对应，例如，Qvo＝100或Qvo＝5。

根据本发明，可计算每个测量窗口的Icod和Itra以及Qv，一个测量窗口通常持续10到20秒。

例如，在参考文献【13】和【14】之后的另一种方法是计算由每个视频帧的编码和丢包造成的与图像相关的质量贡献。然后，在测量窗口上聚集所获得的一组视频帧质量值。一种聚集每个帧视频质量值的直接方法是采用平均值。在参考文献【17-19】中描述了更复杂的方法。

在下文中，计算每个测量窗口的Icod和Itra以及Qv。而且，使用以下形式的函数，计算Icod和Itra，该函数在下文中也称为“影响函数”：

f_IF:IR^m×IRⁿ×IR^u→IR,(p^IF,q^IF,α^IF)aImp:＝f_IF(p^IF,q^IF,α^IF)，   (3)

Imp∈{Icod,Itra}，m、n以及u是正整数，f_IF是根据表示各个损害因数的(上)指数IF的影响函数，并且其中，

$p^{\mathrm{IF}}=(p_1^{\mathrm{IF}},...,p_m^{\mathrm{IF}})\∈{\mathrm{IR}}^m---\left(4\right)$

表示第一组参数，这组参数与编码或网络技术特征(例如，比特率、帧速率、丢包率)相关，并且

$q^{\mathrm{IF}}=(q_1^{\mathrm{IF}},...,q_n^{\mathrm{IF}})\∈{\mathrm{IR}}^n---\left(5\right)$

表示第二组参数，这组参数在下文中也称为“内容相关参数”，从下面限定的GOP或场景复杂度参数中获得这组参数，并且

${\mathrm{\α}}^{\mathrm{IF}}=({\mathrm{\α}}_1^{\mathrm{IF}},...,{\mathrm{\α}}_u^{\mathrm{IF}})\∈{\mathrm{IR}}^u---\left(6\right)$

表示一组与f_IF相关的系数。在下文中，为了简单起见，有时下降在由等式(4)到(6)规定的质量记号中的上标IF。

在此处，优选地计算每个测量窗口的p^IF和q^IF，一个测量窗口通常持续10到20秒。在下文中，根据用于量化或测量一个特定的损害因数的变量的各个名称(即，例如，Icod或Itra)，称为上标IF。而且，等式(3)的应用不限于损害因素Icod和Itra的情况；等式(3)还可适用于其它类型的质量退化，即，适用于其它损害因数。

要注意的是，根据等式(3)的影响函数构成用于评估对损害因数的与内容相关的贡献的一般概念。换言之，等式(3)不仅适用于不同的损害因数，例如，Icod或Itra，而且适用于各种(基于参数的)模型，用于评估由特定的损害因数(例如，Icod)造成的质量退化。在适合于损害因数的一种选择的评估方法的等式(3)的具体实现中，通过使用由集合q^IF描述的内容相关的参数，该损害因数的评估由内容相关的参数控制。例如，通过利用等式(1)或(2)或根据一个或多个损害因数的评估的任何其它方法，在执行计算视频信号的感知的“总体”质量Qv的评估的最终步骤时，Qv的评估还由内容相关的参数控制。通过这种方式，根据本发明的方法允许由视频信号的内容造成的质量影响进行上述精细的考虑。

用于计算内容相关的参数q^IF的GOP/场景复杂度参数是需要关于视频帧的类型和尺寸(例如，以字节为单位)的知识的所有参数。通常(而非必须)为每个图像组(GOP)或视频场景(SC)计算这些参数，然后，在测量窗口之上聚集这些参数或所产生的质量评估。

根据本发明，可考虑至少以下GOP/场景复杂度参数：

·规定场景sc的平均I帧尺寸；在优选的实施方式中，优选地忽略第一场景的第一I帧；

·规定的GOP gop的平均P帧尺寸；

·每个GOP的参考B(在分层编码的情况下使用的)的平均尺寸；

·每个GOP的非参考b帧尺寸的平均尺寸；

·每个GOP的平均P、B以及b帧尺寸；

·为每个场景计算的I帧的比特率；

·为每个场景计算的P帧的比特率；

·为每个场景计算的B帧的比特率；

·为每个场景计算的b帧的比特率；

·为每个场景计算的P、B以及b帧的共同比特率。

在以上符号中，帧序列类型(即，I、P、B、b或noI)由上索引表示，该上索引不与指数混淆。

如下计算具有帧类型T(其中，T∈{I,P,B,b,noI})的帧的每个场景的比特率：

$B_{\mathrm{sc}}^T=\frac{{\mathrm{By}}_{\mathrm{sc}}^T\×{\mathrm{fr}}^T}{{\mathrm{nfr}}^T\×{\mathrm{br}}^T},---\left(7\right)$

其中，

·是每个场景的帧T的字节的总量；

·fr^T是T帧的帧速率，即，每秒的T帧的数量；

·nfr^T是在该场景中的T帧的数量；

·br是以Mbit/s为单位的总体比特率。

作为一个替换物，fr^T可由总体帧速率fr代替，并且nfr^T可由在该场景中的帧的总数nfr代替。

此外，以下比率可被视为GOP/场景复杂度参数。可通过如上定义的GOP/场景复杂度参数，为每个GOP计算每个比率：

· $S^{P/I}=S_{\mathrm{gop}}^P/S_{\mathrm{sc}}^I$

· $S^{b/I}=S_{\mathrm{gop}}^b/S_{\mathrm{sc}}^I$

· $S^{b/P}=S_{\mathrm{gop}}^b/S_{\mathrm{gop}}^P$

· $S^{\mathrm{noI}/I}=S_{\mathrm{gop}}^{\mathrm{noI}}/S_{\mathrm{sc}}^I$

· $B^{P/I}=B_{\mathrm{sc}}^P/B_{\mathrm{sc}}^I$

· $B^{b/I}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^I$

· $B^{b/P}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^P$

· $B^{\mathrm{noI}/I}=B_{\mathrm{sc}}^{\mathrm{noI}}/B_{\mathrm{sc}}^I$

而且，在此处，等式的左右边的符号的上标符号表示上索引。

本发明的一方面涉及一种评估数字视频信号的感知质量的方法，该方法包括以下步骤：

(1a)提取在解码之前捕捉的视频比特流的信息；

(1b)为每个评估使用适合于各个损害因数IF的影响函数，来获得一个或多个损害因数的评估；

(1c)使用在步骤(1b)中获得的评估，评估数字视频信号的感知质量；

该方法的特征在于，在步骤(1b)中使用的每个影响函数将从GOP/场景复杂度参数的集合中计算的内容相关的参数q的集合视为输入，其中，可从数据包报头信息中得出并且可在加密的视频比特流的情况下使用GOP/场景复杂度参数。

根据本发明的方法，可为每个图像组(GOP)或每个视频场景计算GOP/场景复杂度参数。

根据该方法的一个实施方式，在步骤(1b)中使用的每个影响函数进一步取决于：

编码或网络技术特征，例如，比特率、帧速率、丢包率或在GOP或场景中的损失的比例；和/或

与影响函数相关联的系数。

在本发明的一个优选的实施方式中，从至少一个以下GOP/场景复杂度参数中获得这组内容相关的参数q：

表示每个场景的平均I帧尺寸，其中，优选地忽略第一场景的第一I帧；

表示每个GOP的平均P帧尺寸；

表示每个GOP的平均(参考)B帧尺寸；

表示每个GOP的平均非参考b帧尺寸；

表示每个GOP的共同的平均P、B以及b帧尺寸；

表示为每个场景计算的I帧的比特率；

表示为每个场景计算的P帧的比特率；

表示为每个场景计算的B帧的比特率；

表示为每个场景计算的b帧的比特率；

表示为每个场景计算的P、B以及b帧的比特率。

在本发明的一个实施方式中，从至少一个以下GOP/场景复杂度参数中获得这组参数q：

$S^{P/I}=S_{\mathrm{gop}}^P/S_{\mathrm{sc}}^I;$

$S^{b/I}=S_{\mathrm{gop}}^b/S_{\mathrm{sc}}^I;$

$S^{b/P}=S_{\mathrm{gop}}^b/S_{\mathrm{gop}}^P;$

$S^{\mathrm{noI}/I}=S_{\mathrm{gop}}^{\mathrm{noI}}/S_{\mathrm{sc}}^I;$

$B^{P/I}=B_{\mathrm{sc}}^P/B_{\mathrm{sc}}^I;$

$B^{b/I}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^I;$

$B^{b/P}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^P;$

$B^{\mathrm{noI}/I}=B_{\mathrm{sc}}^{\mathrm{noI}}/{\mathrm{BS}}_{\mathrm{sc}}^I.$

在本发明的一个实施方式中，使用影响函数f_IF。

优选地，为了评估由压缩失真造成的质量影响，使用取决于内容相关的参数q₁的影响函数f_IF，通过使场景sc乘以一个系数，从GOP/场景复杂度参数的加权平均数的倒数中，计算所述内容相关的参数。该系数可与每个视频帧nx的像素数量和视频帧速率fr成比例。

在本发明方法的一个优选的实施方式中，每个场景sc具有加权w_sc×N_sc，N_sc是每个场景的GOP的数量，并且w_sc是进一步的加权因子，其中，对于具有最低值的场景：w_sc被设为大于1的值，例如，w_sc＝16，并且对于所有其它场景：w_sc被设为等于1。

在一个实施方式中，该内容相关的参数q₁由以下公式表示：

$q_1=\frac{\underset{\mathrm{sc}}{\mathrm{\Σ}}{w}_{\mathrm{sc}}\×N_{\mathrm{sc}}}{\underset{\mathrm{sc}}{\mathrm{\Σ}}{S}_{\mathrm{sc}}^I\×w_{\mathrm{sc}}\×N_{\mathrm{sc}}}\×\frac{\mathrm{nx}\×\mathrm{fr}}{1000}.$

在一维参数集(参数向量)的情况下，在下文中为了简单起见，该集合的唯一元素的符号与该集合的符号相同。例如，如果内容相关参数的集合仅仅具有一个参数，即，q＝(q₁)，那么简写为q＝q₁。同样，在与编码或网络技术特征相关的一维参数集的情况下，设为p＝(p₁)＝p₁。

在本发明方法的一个实施方式中，根据内容相关的参数q＝q₁的影响函数f_IF由以下公式表示：

f_IF(p,q,α)＝α₁×exp(α₂×p₁)+α₃×q₁+α₄，

其中，p＝p₁优选地是描述每个像素的比特数的参数，并且最优选地由以下公式表示：

并且

其中，α＝(α₁,α₂,α₃,α₄)是与影响函数相关联的系数的集合。

在本发明方法的一个实施方式中，使用取决于内容相关的参数q＝(q₁,q₂)的集合的影响函数f_IF，优选地用于评估由传输失真造成的质量影响，通过取决于GOP/场景复杂度参数的参数β_k,i的加权总和，获得该集合的每个分量q_j，j∈{1,2}，根据以下公式，优选地计算每个j∈{1,2}的加权总和：

$q_j=\underset{k=1}{\overset{v}{\mathrm{\Σ}}}{\mathrm{\β}}_{k,j}\×R_{k,j}$

加权为R_k,j。

可通过以下公式提供加权：

$R_{k,j}=\underset{i}{\mathrm{\Σ}}{r}_i\×(T_k-t_i),j\∈\left\{\mathrm{1,2}\right\},$

T_K是GOP k的损失持续时间，t_i是在损失事件i的GOP中的位置，并且r_i表示损失事件i的空间幅度。

根据一个优选的实施方式：

在每个帧具有一个片段的情况下，使用并且

在每个帧具有多个片段的情况下，使用

其中，np是在帧中的数据包的数量，nap是在击中帧中的受影响的传输流(TS)数据包的数量，nlp是在帧中的丢包的数量，nle是在帧中的损失事件的数量，并且nsl是在帧中的片段的数量。

参数β_k,1可取决于GOP/场景复杂度参数S^noI/I。

参数β_k,2可取决于GOP/场景复杂度参数S^b/P。

根据该方法的一个实施方式，通过以下步骤获得每个k∈{1,…,ν}的参数β_k,1：

(12a)设β_k,1＝S^noI/I；

(12b)在β_k,1≤0.5的情况下，将β_k,1设为2×β_k,1；

(12c)在β_k,1>0.5的情况下，将β_k,1设为1。

优选地，由β_k,2＝max(0,-S^b/P+1)获得每个k∈{1,…,ν}的参数β_k,2。

在一个实施方式中，根据内容相关的参数的集合q＝(q₁,q₂)的影响函数f_IF由以下公式表示：

$f_{\mathrm{IF}}(p,q,\mathrm{\α})={\mathrm{\α}}_1\×\log (1+\frac{{\mathrm{\α}}_2\×q_1+{\mathrm{\α}}_3\×q_2}{p_1\×p_2}),$

其中，α＝(α₁,α₂,α₃)是与影响函数相关联的系数的集合。

优选地，p₁是描述由压缩失真造成的质量影响的参数。

优选地，p₂是在测量窗口或测量窗口持续时间内的GOP的数量，

在本发明方法的一个实施方式中，视频信号是非互动数据流(优选地非互动视频或视听流)的至少一部分或互动数据流(优选地互动视频或视听流)的至少一部分。

在一个实施方式中，该方法结合有与用于通过除了压缩和/或传输以外的其它损害来评估对数字视频信号的感知质量的影响的一个或多个方法，其中，优选地使用要结合的方法的至少线性函数和/或至少积性函数来进行该结合。

在一个实施方式中，该方法结合有与用于通过压缩和/或传输来评估数字视频信号的感知质量的一个或多个方法，其中，优选地使用要组合的方法的至少线性函数和/或至少积性函数来进行该结合。

本发明的一个方面涉及一种使用以下步骤监控发送的数字视频信号的质量的方法：

(18a)将视频信号从服务器中发送给客户端；

(18b)根据如上所述的用于评估数字视频信号的感知质量的方法在客户端执行用于评估数字视频信号的感知质量的方法；

(18c)将步骤(18b)的评估结果传输给服务器；

(18d)在服务器端监控所发送的视频信号的质量的评估；以及

该方法优选地包括进一步的步骤：

(18e)优选地根据传输参数，分析所发送的视频信号的监控质量；以及可选地

(18f)根据分析步骤(18e)改变传输参数，以便提高所发送的视频信号的质量。

本发明的一个方面涉及一种用于评估数字视频信号的感知质量的设备，所述设备包括：

被配置为用于从在解码之前捕捉的视频比特流提取信息的装置；

至少一个影响评估器；

质量评估器，其被配置为用于评估视频信号的感知质量Qv；

所述设备的特征在于，每个影响评估器被配置为用于通过将从GOP/场景复杂度参数的集合中计算的内容相关的参数的集合视为输入的损害函数，来评估由损害因数造成的质量影响，其中，可从数据包报头信息中得出并且从而可在加密的视频比特流的情况下使用GOP/场景复杂度参数。

该设备优选地进一步被配置为使用根据上述用于评估数字视频信号的感知质量的方法的任一个实施方式的方法，来评估数字视频信号的感知质量。

本发明的一个方面涉及一种可连接至用于接收数字视频信号的接收器的机顶盒，其中，所述机顶盒包括根据本发明的设备。

本发明的一个方面涉及一种用于监控所发送的数字视频信号的质量的系统，所述系统包括服务器和客户端，并且所述系统被配置为用于执行用于根据上面公开的本发明监控所发送的数字视频信号的质量的方法。

在该系统的一个实施方式中，客户端被配置为根据本发明的设备。

在该系统的一个实施方式中，客户端包括根据本发明的设备。

在发明系统的一个替换的实施方式中，该系统进一步包括根据本发明的机顶盒，其中，该机顶盒连接至客户端。

附图说明

图1：用作在无损失的情况下用于估计内容的质量影响的一个实例的等式(10)的计算的图示。更多详细信息请参见上文；

图2：用作在丢包的情况下用于估计内容的质量影响的一个实例的等式(17a)到(17c)的图示。更多详细信息请参见上文；

图3：用作在丢包的情况下用于估计内容的质量影响的一个实例的等式(18)的图示。更多详细信息请参见上文。

通过以上发明内容，并且通过以下描述，包括示图和权利要求，其它方面、特征以及优点显而易见。

具体实施方式

根据本发明，可使用在下文中描述的方案，评估对与压缩相关的质量损害Icod以及与传输相关的质量损害Itra的内容复杂度影响：

无损失的情况-Icod

本发明的一个实施方式涉及在等式(3)内包括GOP/场景复杂度参数，其中，Imp＝Icod、m＝1、n＝1、u＝4，并且其中，获得Imp，f_Icod是指数函数：

$f_{\mathrm{Icod}}(p^{\mathrm{Icod}},q^{\mathrm{Icod}},{\mathrm{\α}}^{\mathrm{Icod}})={\mathrm{\α}}_1^{\mathrm{Icod}}\×\exp ({\mathrm{\α}}_2^{\mathrm{Icod}}\×p_1^{\mathrm{Icod}})+{\mathrm{\α}}_3^{\mathrm{Icod}}\×q_1^{\mathrm{Icod}}+{\mathrm{\α}}_4^{\mathrm{Icod}}.---\left(8\right)$

作为在等式(8)中的系数a^Icod的集合的实例，其中：

${\mathrm{\α}}_1^{\mathrm{Icod}}=47.78,$

${\mathrm{\α}}_2^{\mathrm{Icod}}=-21.46,$

${\mathrm{\α}}_3^{\mathrm{Icod}}=7.61,$

${\mathrm{\α}}_4^{\mathrm{Icod}}=7.71,$

并且优选地，是最优选地由以下公式规定的每个像素的平均比特数：

$p_1^{\mathrm{Icod}}=\frac{\mathrm{br}\×{10}^6}{\mathrm{nx}\×\mathrm{fr}},---\left(9\right)$

其中，nx和fr分别是每个视频帧的像素数量和视频帧速率。而且，br是以Mbit/s为单位的视频比特率。

在一个优选的实施方式中，是GOP/场景复杂度参数的函数，并且如下表示：

$q_1^{\mathrm{Icod}}=\frac{\underset{\mathrm{sc}}{\mathrm{\Σ}}{w}_{\mathrm{sc}}\×N_{\mathrm{sc}}}{{\underset{\mathrm{sc}}{\mathrm{\Σ}}S}_{\mathrm{sc}}^I\×w_{\mathrm{sc}}\×N_{\mathrm{sc}}}\×\frac{\mathrm{nx}\×\mathrm{fr}}{1000},---\left(10\right)$

其中，nx和fr分别是每个视频帧的像素数量和视频帧速率，并且N_SC是每个场景的GOP的数量。对于具有最低值的场景，w_sc>1，其中，优选地，w_sc＝16，否则，w_sc＝1。

图1示出了作为一个实例的具有由两个场景构成的视频序列的等式(10)的计算(假设测量窗口与该视频序列的持续时间对应)。视频序列的格式是1080p25。结果，nx＝1920×1080＝2073600并且fr＝25。

第一场景(sc＝1)包含两个GOP(gop1和gop2)，即，N₁＝2，并且其平均I帧尺寸是(例如，以兆字节为单位)。

第二场景(sc＝2)包含三个GOP(gop3到go5)，即，N₂＝3，并且其平均I帧尺寸是(例如，以兆字节为单位)。

在视频序列中的最小值是结果，

w₁＝16,

w₂＝1,

并且

$q_1^{\mathrm{Icod}}=\frac{16\×2+3\×1}{0.1\×{10}^6\·16\×2+0.3\×{10}^6\×3\×1}\×\frac{2073600\×25}{1000}=0.4425.$

损失的情况-Itra

本发明的一个实施方式涉及在等式(3)内包括GOP/场景复杂度参数，其中，Imp＝Itra、m＝2、n＝2、u＝3，并且其中，获得Imp，f_Itra是对数函数：

$f_{\mathrm{Itra}}(p^{\mathrm{Itra}},q^{\mathrm{Itra}},{\mathrm{\α}}^{\mathrm{Itra}})={\mathrm{\α}}_1^{\mathrm{Itra}}\×\log (1+\frac{{\mathrm{\α}}_2^{\mathrm{Itra}}\×q_1^{\mathrm{Itra}}+{\mathrm{\α}}_3^{\mathrm{Itra}}\×q_2^{\mathrm{Itra}}}{p_1^{\mathrm{Itra}}\×p_2^{\mathrm{Itra}}}).---\left(11\right)$

作为在等式(11)中的系数α^Itra的集合的一个实例，其中：

${\mathrm{\α}}_1^{\mathrm{Itra}}=17.95,$

${\mathrm{\α}}_2^{\mathrm{Itra}}={\mathrm{\α}}_3^{\mathrm{Itra}}=59.02.$

优选地，

$p_1^{\mathrm{Itra}}=\mathrm{Icod},$

$p_2^{\mathrm{Itra}}=v,$

其中，v是在测量窗口中的GOP的数量。或者，v是测量窗口持续时间。

在优选的实施方式中，从GOP/场景复杂度参数中获得和并且使用以下关系，对于每个测量窗口获得和

$q_1^{\mathrm{Itra}}=\underset{k=1}{\overset{v}{\mathrm{\Σ}}}{\mathrm{\β}}_{k,1}\×R_{k,1},---\left(12\right)$

$q_2^{\mathrm{Itra}}=\underset{k=1}{\overset{v}{\mathrm{\Σ}}}{\mathrm{\β}}_{k,2}\×R_{k,2},---\left(13\right)$

其中，v是在测量窗口中的GOP的数量，并且R_k,1和R_k,2是如下计算的为每个GOP k计算的损失的空间-时间描述符：

$R_{k,1}=R_{k,2}=R_k=\underset{i}{\mathrm{\Σ}}{r}_i\×(T_k-t_i),---\left(14\right)$

T_K是GOP k的损失持续时间，t_i是在损失事件i的GOP中的位置，并且r_i表示损失事件i的空间幅度，其中，优选地：

在每个帧具有一个片段的情况下，并且(15)

在每个帧具有多个片段的情况下，

其中，np是在帧中的数据包的数量，nap是在击中帧中的受影响的传输流(TS)数据包的数量(使用包括数据包报头信息(例如，序列数量、时间戳等)的任何方法来获得)，nlp是在帧中的丢包的数量，nle是在帧中的损失事件的数量，并且nsl是在帧中的片段的数量。

要注意的是，r_k是在参考文献【16】中的等式(5)的xl_k/T_k。同样，等式(15)的r_i与在参考文献【16】中的等式(7c)的xl_i对应，并且在等式(16)的r_i与在参考文献【16】中的等式(7)的xl_i对应。最后，等式(12)和(13)的β_k,1和β_k,2的总和与在参考文献【16】的等式(9a)中的校正因子α_1,k对应。然而，如上所述，未提出用于在加密视频的情况下计算这种校正因子的解决方法。

而且，从GOP/场景复杂度参数中获得参数β_k,1和β_k,2并且为每个GOPk计算参数β_k,1和β_k,2。

在一个优选的实施方式中，使用以下步骤获得β_k,1(参照图2)：

(a)设β_k,1＝S^noI/I；             (17a)

(b)在β_k,1≤0.5的情况下，将β_k,1设为2×β_k,1；    (17b)

(c)在β_k,1>0.5的情况下，将β_k,1设为1。     (17c)

在一个优选的实施方式中，使用以下公式，获得β_k,2(参照图3)：

β_k,2＝max(0,-S^b/P+1).        (18)

虽然在示图和以上描述中详细说明和描述了本发明，但是这种说明和描述要被视为具有说明性或示例性，而没有限制性。要理解的是，在以下权利要求的范围内，技术人员可进行变更和修改。尤其地，本发明包括具有上面和下面描述的不同实施方式的特征的任意组合的进一步实施方式。

而且，在权利要求中，措辞“包括”并不排除其它部件或步骤，并且不定冠词“一个”(“a”或“an”)并不排除复数。单个单元可履行在权利要求中叙述的几个特征的功能。与属性或值相结合的术语“基本上”、“大致”、“大约”等尤其还分别精确地限定该属性或精确地限定该值。在权利要求中的任何参考符号不应理解为限制该范围。

参考文献：

[1]A.Takahashi,D.Hands,and V.Barriac,“Standardization Activitiesin the ITU for a QoE Assessment of IPTV,”in IEEE Communication Magazine,2008.

[2]S.Winkler and P.Mohandas,“The Evolution of Video QualityMeasurement:From PSNR to Hybrid Metrics,”in IEEE Trans.Broadcasting,2008.

[3]A.Raake,M.N.Garcia,S.Moeller,J.Berger,F.Kling,P.List,J.Johann,and C.Heidemann,“T-V-MODEL:Parameter-based prediction ofIPTV quality,”in Proc.of ICASSP,2008.

[4]O.Verscheure,P.Frossard,and M.Hamdi,“User-oriented QoSanalysis in MPEG-2 video delivery,”in Real-Time Imaging,1999.

[5]K.Yamagishi and T.Hayashi,“Parametric Packet-Layer ModelforMonitoring Video Quality of IPTV Services,”in Proc.of ICC,2008.

[6]M-N.Garcia and A.Raake,“Parametric Packet-Layer VideoQuality Model for IPTV,”in Proc.of ISSPA,2010.

[7]S.Péchard,D.Barba,and P.Le Callet,“Video quality model basedon a spatio-temporal features extraction for H.264-coded HDTV sequences,”inProc.of PCS,2007.

[8]Y.Liu,R.Kurceren,and U.Budhia,“Video classification for videoquality prediction,”in Journal of Zhejiang University Science A,2006.

[9]M.Ries,C.Crespi,O.Nemethova,and M.Rupp,“Content-basedVideo Quality Estimation for H.264/AVC Video Streaming,”in Proc.ofWireless Communications and Networking Conference,2007.

[10]A.Khan,L.Sun,and E.Ifeachor,“Content clustering based videoquality prediction model for MPEG4 video streaming over wireless networks,”in Proc.of ICC,2009.

[11]Garcia,M.-N.,Schleicher,R.and Raake,A.“Towards AContent-Based Parametric Video Quality Model For IPTV”,in Proc.OfVPQM,2010.

[12]Guangtao Zhai et al,Cross-dimensional Quality Assessment forLow Bitrate Video,in IEEE Transactions on Multimedia,2008.

[13a]Clark,A.(Telchemy),WO 2009012297(A1),Method and systemfor content estimation of packet video streams.

[13b]Clark,A.(Telchemy),US 2009/004114(A1),Method and systemfor viewer quality estimation of packet video streams.

[14]Liao,Ning et al,“A packet-layer video quality assessment modelwith spatiotemporal complexity estimation”,EURASIP Journal on Image andVideo Processing 2011,2011:5(22August 2011)

[15]Garcia,M.-N.,Schleicher,R.and Raake,A.(2010).Towards AContent-Based Parametric Video Quality Model For IPTV.Fifth InternationalWorkshop on Video Processing and Quality Metrics for Consumer Electronics(VPQM 2010).Intel,20-25.

[16]WO 2012/076202(“Method and apparatus for assessing the qualityof a video signal during encoding and transmission of the video signal”)

[17]Rosenbluth,J.H.(AT&T)“ITU-T Delayed Contribution D.064:Testing the quality of connections having time varying impairments”,1998

[18]Gros,L.,Chateau,N.“Instantaneous and Overall Judgements forTime-Varying Speech Quality:Assessments and Relationships,Acta Acustica,Volume 87,Number 3,May/June 2001,pp.367-377(11)

[19]Weiss,B.,S.,Raake,A.,Berger,J.,Ullmann,R.(2009).Modeling Conversational Quality for Time-varying TransmissionCharacteristics,Acta Acustica united with Acustica 95,1140-1151.

[20]WO/2012/013655(“Method for estimation of the type of the groupof picture structure of a plurality of video frames in a video stream”)

[21]PCT/EP2011/067741(Argyropoulos,S.et al.,“Scene change detectionfor perceptual quality evaluation in video sequences”).PCT/EP2011/067741是提交日期在本申请的提交日期之前的文档，但是并未在本申请的提交日期之前公布该文档。

Claims (34)

1.一种评估数字视频信号的感知质量的方法，所述方法包括以下步骤：

(1a)提取在解码之前捕捉的视频比特流的信息；

(1b)为每个评估使用适合于各个损害因数IF的影响函数，来获得一个或多个损害因数的评估；

(1c)使用在步骤(1b)中获得的所述评估，评估所述数字视频信号的所述感知质量；

所述方法的特征在于，在步骤(1b)中使用的所述影响函数中的每个将从GOP/场景复杂度参数的集合计算的内容相关的参数q的集合作为输入，其中，能从数据包报头信息中得出GOP/场景复杂度参数并且能在加密的视频比特流的情况下使用GOP/场景复杂度参数；

其中，至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合，表示每个场景的平均I帧尺寸，其中，优选地忽略第一场景的第一I帧；并且

其中，为了评估所述损害因数中的至少一个，优选地评估由压缩失真造成的质量影响，使用取决于内容相关的参数q₁的影响函数f_IF，通过使场景sc乘以系数，从所述GOP/场景复杂度参数的加权平均数的倒数计算所述内容相关的参数q₁。

2.根据权利要求1所述的方法，其中：

每个场景sc具有加权w_sc×N_sc，N_sc是每个场景的GOP的数量，并且w_sc是进一步的加权因子，其中，对于具有最低值的场景：w_sc被设为大于1的值，例如，w_sc＝16，并且对于所有其它场景：w_sc被设为等于1。

3.根据权利要求2所述的方法，其中，所述系数与每个视频帧nx的像素数量和视频帧速率fr成比例。

4.根据权利要求3所述的方法，其中，所述内容相关的参数q₁由以下公式表示：

$q_1=\frac{\underset{\mathrm{sc}}{\mathrm{\Σ}}{w}_{\mathrm{sc}}\×N_{\mathrm{sc}}}{\underset{\mathrm{sc}}{\mathrm{\Σ}}{S}_{\mathrm{sc}}^I\×w_{\mathrm{sc}}\×N_{\mathrm{sc}}}\×\frac{\mathrm{nx}\×\mathrm{fr}}{1000}.$

5.根据权利要求1到4中任一项所述的方法，其中，为每个图像组(GOP)或每个视频场景计算所述GOP/场景复杂度参数。

6.根据权利要求1到5中任一项所述的方法，其中，在步骤(1b)中使用的所述影响函数中的每个进一步取决于：

编码或网络技术特征，例如，比特率、帧速率、丢包百分比或在GOP或场景中的损失的比例。

7.根据权利要求1到5中任一项所述的方法，其中，在步骤(1b)中使用的所述影响函数中的每个进一步取决于：

与所述影响函数相关联的系数。

8.根据权利要求1到5中任一项所述的方法，其中，在步骤(1b)中使用的所述影响函数中的每个进一步取决于：

编码或网络技术特征，例如，比特率、帧速率、丢包百分比或在GOP或场景中的损失的比例；以及

与所述影响函数相关联的系数。

9.根据权利要求1到5中任一项所述的方法，其中，进一步从以下GOP/场景复杂度参数中的至少一个中获得所述内容相关的参数q的集合：

表示每个GOP的平均P帧尺寸；

表示每个GOP的平均(参考)B帧尺寸；

表示每个GOP的平均非参考b帧尺寸；

表示每个GOP的联合平均P、B以及b帧尺寸；

表示为每个场景计算的I帧的比特率；

表示为每个场景计算的P帧的比特率；

表示为每个场景计算的B帧的比特率；

表示为每个场景计算的b帧的比特率；

表示为每个场景计算的P、B以及b帧的比特率。

10.根据权利要求9所述的方法，其中，从以下GOP/场景复杂度参数中的至少一个中获得所述参数q的集合：

$S^{P/I}=S_{\mathrm{gop}}^P/S_{\mathrm{sc}}^I;$

$S^{b/I}=S_{\mathrm{gop}}^b/S_{\mathrm{sc}}^I;$

$S^{b/P}=S_{\mathrm{gop}}^b/S_{\mathrm{gop}}^P;$

$S^{\mathrm{noI}/I}=S_{\mathrm{gop}}^{\mathrm{noI}}/S_{\mathrm{sc}}^I;$

$B^{P/I}=B_{\mathrm{sc}}^P/B_{\mathrm{sc}}^I;$

$B^{b/I}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^I;$

$B^{b/P}=B_{\mathrm{sc}}^b/B_{\mathrm{sc}}^P;$

$B^{\mathrm{noI}|I}=B_{\mathrm{sc}}^{\mathrm{noI}}/B_{\mathrm{sc}}^I.$

11.根据权利要求1到10中任一项所述的方法，其中，取决于所述内容相关的参数q＝q₁的影响函数f_IF由以下公式表示：

f_IF(p,q,α)＝α₁×exp(α₂×p₁)+α₃×q₁+α₄，

其中，p＝p₁优选地是描述每个像素的比特数的参数，并且最优选地由以下公式表示：

并且

其中，α＝(α₁,α₂,α₃,α₄)是与所述影响函数相关联的系数的集合。

12.根据权利要求1到11中任一项所述的方法，其中，使用取决于所述内容相关的参数q＝(q₁,q₂)的集合的影响函数f_IF，优选地用于评估由传输失真造成的质量影响，通过取决于GOP/场景复杂度参数的参数β_k,i的加权总和，获得所述集合的每个分量q_j，j∈{1,2}。

13.根据权利要求12所述的方法，其中，根据以下公式，优选地计算每个j∈{1,2}的所述加权总和：

$q_j=\underset{k=1}{\overset{v}{\mathrm{\Σ}}}{\mathrm{\β}}_{k,j}\×R_{k,j}$

加权为R_k,j。

14.根据权利要求12或13所述的方法，其中，通过以下公式提供所述加权：

$R_{k,j}=\underset{i}{\mathrm{\Σ}}{r}_i\×(T_k-t_i),j\∈\left\{\mathrm{1,2}\right\},$

T_K是GOP k的损失持续时间，t_i是在损失事件i的GOP中的位置，并且r_i表示损失事件i的空间幅度。

15.根据权利要求14所述的方法，其中，

在每个帧具有一个片段的情况下，并且

在每个帧具有多个片段的情况下，

其中，np是在帧中的数据包的数量，nap是在击中帧中的受影响的传输流(TS)数据包的数量，nlp是在帧中的丢包的数量，nle是在帧中的损失事件的数量，并且nsl是在帧中的片段的数量。

16.根据权利要求13、14或15所述的方法，其中，

参数β_k,1取决于GOP/场景复杂度参数S^noI/I。

17.根据权利要求13、14或15所述的方法，其中，

参数β_k,2取决于GOP/场景复杂度参数S^b/P。

18.根据权利要求13、14或15所述的方法，其中，

参数β_k,1取决于GOP/场景复杂度参数S^noI/I；并且

参数β_k,2取决于GOP/场景复杂度参数S^b/P。

19.根据权利要求13到18中任一项所述的方法，其中，通过以下步骤获得每个k∈{1,…,ν}的参数β_k,1：

(12a)设β_k,1＝S^noI/I；

(12b)在β_k,1≤0.5的情况下，将β_k,1设为2×β_k,1；

(12c)在β_k,1>0.5的情况下，将β_k,1设为1。

20.根据权利要求13到19中任一项所述的方法，其中，由β_k,2＝max(0,-S^b/P+1)获得每个k∈{1,…,ν}的参数β_k,2。

21.根据权利要求13到20中任一项所述的方法，其中，取决于所述内容相关的参数的集合q＝(q₁,q₂)的影响函数f_IF由以下公式表示：

$f_{\mathrm{IF}}(p,q,\mathrm{\α})={\mathrm{\α}}_1\×\log (1+\frac{{\mathrm{\α}}_2\×q_1+{\mathrm{\α}}_3\×q_2}{p_1\×p_2}),$

其中，p₁优选地是描述由压缩失真造成的质量影响的参数，p₂优选地是在测量窗口或测量窗口持续时间内的GOP的数量，并且α＝(α₁,α₂,α₃)是与所述影响函数相关联的系数的集合。

22.根据前述权利要求中任一项所述的方法，其中，所述视频信号是优选为非互动视频或视听流的非互动数据流的至少一部分或优选为互动视频或视听流的互动数据流的至少一部分。

23.根据前述权利要求中任一项所述的方法，其中，所述方法结合有用于通过除了压缩和/或传输以外的其它损害来评估对数字视频信号的感知质量的影响的一个或多个方法。

24.根据前述权利要求中任一项所述的方法，其中，所述方法结合有用于通过压缩和/或传输来评估数字视频信号的感知质量的一个或多个方法。

25.根据权利要求23或24所述的方法，其中，优选地使用要结合的方法的至少一个线性函数和/或至少一个积性函数来进行所述结合。

26.一种监控发送的数字视频信号的质量的方法，使用以下步骤：

(18a)将所述视频信号从服务器中发送给客户端；

(18b)在客户端执行根据权利要求1到25中任一项所述的用于评估数字视频信号的感知质量的方法；

(18c)将步骤(18b)的所述评估的结果传输给所述服务器；

(18d)在服务器端监控所发送的视频信号的质量的所述评估。

27.根据权利要求26所述的方法，所述方法包括进一步的步骤：

(18e)优选地根据传输参数，分析所发送的视频信号的监控质量。

28.根据权利要求27所述的方法，所述方法包括进一步的步骤：

(18f)根据分析步骤(18e)改变所述传输参数，以便提高所发送的视频信号的质量。

29.一种用于评估数字视频信号的感知质量的设备，所述设备包括：

被配置为用于从在解码之前捕捉的视频比特流提取信息的装置；

至少一个影响评估器；

质量评估器，其被配置为用于评估所述视频信号的感知质量Qv：

所述设备的特征在于，影响评估器中的每个被配置为用于通过将从GOP/场景复杂度参数的集合计算的内容相关的参数q的集合作为输入的损害函数，来评估由损害因数造成的质量影响，其中，能从数据包报头信息中得出GOP/场景复杂度参数并且从而能在加密的视频比特流的情况下使用GOP/场景复杂度参数；

其中，至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合，表示每个场景的平均I帧尺寸，其中，优选地忽略第一场景的第一I帧；并且

其中，为了评估所述损害因数中的至少一个，优选地评估由压缩失真造成的质量影响，使用取决于内容相关的参数q₁的影响函数f_IF，通过使场景sc乘以系数，从GOP/场景复杂度参数的加权平均数的倒数计算所述内容相关的参数q₁。

30.根据权利要求29所述的设备，进一步被配置为使用根据权利要求1到25中任一项所述的方法来评估数字视频信号的感知质量。

31.一种可连接至用于接收数字视频信号的接收器的机顶盒，其中，所述机顶盒包括根据权利要求29或30所述的设备。

32.一种用于监控发送的数字视频信号的质量的系统，所述系统包括服务器和客户端，并且所述系统被配置为用于执行根据权利要求26所述的方法。

33.根据权利要求32所述的系统，其中：

所述客户端被配置为根据权利要求29或30所述的设备；并且/或者

所述客户端包括根据权利要求29或30所述的设备。

34.根据权利要求32所述的系统，进一步包括根据权利要求31所述的机顶盒，其中，所述机顶盒连接至客户端。