CN104488265B - 用于视频流服务的内容相关的视频质量模型 - Google Patents
用于视频流服务的内容相关的视频质量模型 Download PDFInfo
- Publication number
- CN104488265B CN104488265B CN201380038171.7A CN201380038171A CN104488265B CN 104488265 B CN104488265 B CN 104488265B CN 201380038171 A CN201380038171 A CN 201380038171A CN 104488265 B CN104488265 B CN 104488265B
- Authority
- CN
- China
- Prior art keywords
- scene
- gop
- quality
- parameter
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 81
- 230000006735 deficit Effects 0.000 claims description 28
- 238000005259 measurement Methods 0.000 claims description 21
- 230000001419 dependent effect Effects 0.000 claims description 18
- 230000005540 biological transmission Effects 0.000 claims description 13
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 claims description 12
- 230000006835 compression Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 11
- 238000012544 monitoring process Methods 0.000 claims description 10
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims description 3
- 238000012886 linear function Methods 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 2
- 238000013441 quality evaluation Methods 0.000 abstract description 2
- 230000002596 correlated effect Effects 0.000 abstract 1
- 230000015556 catabolic process Effects 0.000 description 7
- 238000006731 degradation reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101100122750 Caenorhabditis elegans gop-2 gene Proteins 0.000 description 1
- 101100476639 Caenorhabditis elegans gop-3 gene Proteins 0.000 description 1
- 101000946275 Homo sapiens Protein CLEC16A Proteins 0.000 description 1
- 102100034718 Protein CLEC16A Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Abstract
本发明涉及一种方法和设备,用于评估数字视频信号的感知质量,优选地在诸如互联网协议电视(IPTV)或视频点播(VoD)的视频流服务的背景下,并且尤其用于通过提供内容复杂度参数并且通过由所提供的内容复杂度参数控制基于现有或未来的参数的视频质量评估方法,来进行数字视频信号的感知质量的内容相关的评估。本发明设计为用于加密视频流,但是也对未加密的视频流起作用。
Description
技术领域
本发明涉及一种方法和设备,用于评估数字视频信号的感知质量,优选地在视频流服务(例如,互联网协议电视(IPTV)或视频点播(VoD))的背景下,并且尤其用于通过提供内容复杂度参数并且通过由所提供的内容复杂度参数控制基于现有或未来的参数的视频质量评估方法,来进行数字视频信号的感知质量的内容相关的评估。本发明设计为用于加密视频流,但是也对未加密的视频流起作用。
背景技术
为了确保高度满足视频服务(例如,非互动流视频(IPTV、VoD))的用户,需要评估那些服务的感知视频质量。内容提供商和客户的广播提供商的主要责任在于保持其服务的质量。在大型IPTV网络中,仅完全自动的质量监控探头可满足该要求。
为此,开发提供由用户感知的视频质量的评估的视频质量模型。例如,那些模型可输出在用户端接收的视频与原始的未降质视频之间的相似度。此外,并且通过更复杂的方式,可对人类视觉系统(HVS)建模。最后,可将模型输出映射到大量主观质量测试的结果中,以便最后提供感知质量的评估。
视频质量模型以及测量系统通常可如下分类:
质量模型类型
·全参考(FR):需要参考信号。
·部分参考(RR):需要从源信号中提取的部分信息。
·无参考(NR):不需要参考信号。
输入参数类型
·基于信号/媒体:需要解码图像(像素信息)。
·基于参数:需要比特流水平的信息。信息的范围可以是数据包报头信息,需要解析数据包报头,解析包括有效载荷的比特流(即,编码信息),并且部分或完全解码比特流。
应用类型
·网络规划:在实现网络之前,使用模型或测量系统,以便规划可能最好的实现方式。
·服务监控:在服务操作期间,使用模型。
在参考文献【1-3】中,可找出视频质量模型的类型的相关信息。
在文献【4-6】中描述了几种基于数据包的参数视频质量模型。然而,这些模型的主要缺点在于,它们未考虑内容的质量影响。换言之,并且根据先前研究【7-12】的报告,感知视频质量取决于视频的空间-时间特征。例如,众所周知,在视频中(例如,在广播新闻中)没有复杂运动时,丢包通常被更好地掩盖。在没有丢包时,并且对于中低比特率,具有低空间-时间复杂度的内容比空间-时间复杂内容实现更好的质量。
与参考文献【13a、13b、14、15、16】相比,对于丢包和非丢包情况,进一步的先有技术的目的还在于,在基于参数的参数视频质量模型内包括内容的质量影响。
例如,在参考文献【13a、13b、14】中,通过比较当前帧尺寸和自适应阈值,确定每个视频帧的内容的复杂度。当前帧尺寸是高于、等于还是低于该阈值,都会造成增大或减小与当前帧相关的评估质量。然而,由于使用阈值并且产生了大于、等于或小于该阈值这三种可能性,所以在这些参考文献中公开的方法仅仅提供了视频内容的比较粗略的考虑。换言之,没有在规定的测量窗口内顺利或连续地测量帧的复杂度。而且,由于在整个或部分测量窗口上计算自适应阈值,所以相对于在相同视频序列中的其它帧的复杂度,而非相对于其它内容的复杂度,确定每个帧的复杂度。
在参考文献【15】中,提出了一种解决方法,用于将内容相关的参数(即,反应内容的空间-时间复杂度的参数,例如,量化参数和运动向量)插入基于参数的视频质量模型内。然而,不能从加密的比特流中提取这些内容相关的参数,所以不能通过与本发明相同的方式使用参考文献【15】。
参考文献【16】提出了一种解决方法,用于在具有单个参数的丢包情况下,评估感知的视频质量,单个参数表示由丢包造成的信号降质的幅度。该解决方法预期包括校正系数,用于根据内容的时间或空间-时间复杂度调整信号降质的评估幅度。然而例如,未提出用于在加密视频的情况下计算该校正系数的解决方法。
因此,依然需要一种方法,来评估数字视频信号的感知质量。一方面,这种方法应允许相当精细地考虑视频信号的内容的质量影响,另一方面,还应适用于加密视频,包括具有和没有丢包的编码降质的情况。同样需要一种被配置为用于执行具有这些特征的方法的设备。
发明内容
通过具有由在本文档中提出的权利要求所公开的特征的方法和设备,实现这些目标。
本发明的目标在于,在加密视频的情况下(即,在仅仅可使用数据包报头信息时),使用基于参数的视频质量模型。本发明在未加密视频的情况下也同样起作用,但是本发明的设计不如根据完全解密的或从未加密的比特流中提取的更深入的信息的视频质量模型精确。仅仅使用基于数据包的信息,提供了使本发明的计算复杂度保持低的优点,并且当然,将应用范围扩展为未加密流以及加密流。
可如下概述本发明:
本发明的目标在于,提供一种方法,该方法通过提供内容复杂度参数并且使用这些内容复杂度参数控制任意的(因此,现有的或未来的)基于参数的视频质量评估方法,来评估数字视频信号的感知质量。一方面,根据本发明的方法允许相当精细地考虑视频信号的内容的质量影响,另一方面,还应适用于加密视频,并且适用于丢包的情况以及未丢包的情况。本发明的另一个目标在于,提供一种设备,该设备被配置为用于计算内容复杂度参数并且将这些参数插入任意的基于参数的视频质量模型内,具有与这种基于数据包报头的方法相关联的所有优点。
还应注意的是,本发明与上面引用的参考文献【13a、13b、14】的方法的主要差异在于所计算的内容相关的参数以及在模型内包括这些参数的方法。在本发明中,内容相关的参数用作不取决于在参考文献【13a、13b、14】中公开的帧的历史的绝对值。因此,原则上,这些参数可用于比较两个不同内容的复杂度或者一个内容的不同场景或通道的复杂度。而且,在本发明中使用的内容相关的参数的值具有连续性,并且与在【13a、13b、14】中不同,不分类成模糊的类别,从而允许非常精细地评估内容的质量影响。此外,在本发明中,在整个测量窗口上,为每个图像组(GOP)或每个视频场景计算所有参数,而在现有技术(与参考文献【13a、13b、14】相比)中,为每个帧计算所有参数。
要注意的是,在加密视频的情况下,可使用【20】评估GOP结构。进一步要注意的是,(视频)场景从I帧开始,并且通常包含几个GOP。在使用参考文献【21】(在本申请的提交日期之前未公布)的加密视频的情况下,可检测场景切换。两个视频场景的语义内容通常不同。而且,内容信号的空间-时间(ST)复杂度的场景内部变化通常低于其场景之间的变化。
在以下等式中,根据不同类型的降质的作用,显示表示评估的视频质量Qv的两种一般方法,
Qv=Qvo–Icod–Itra, (1)
Qv=Qvo×Icod×Itra, (2)
其中,Icod和Itra是“损害因数”(IF)的实例。损害因数量化特定降质类型的质量影响,并且能从信号和传输路径的参数描述计算每个损害因数。在等式(1)和(2)中,Icod表示压缩失真的质量影响,Itra表示传输误差(丢包)的质量影响。要注意的是,在等式(2)中并且在整个申请中,符号“×”表示两个实数之间的普通乘法,有时也表示为符号“·”。
例如,在等式(1)和(2)中的所有术语表示在从0到100或者从1到5的范围内。
Qvo是基本质量并且通常与用于表示感知质量的规模的最高值对应,例如,Qvo=100或Qvo=5。
根据本发明,可计算每个测量窗口的Icod和Itra以及Qv,一个测量窗口通常持续10到20秒。
例如,在参考文献【13】和【14】之后的另一种方法是计算由每个视频帧的编码和丢包造成的与图像相关的质量贡献。然后,在测量窗口上聚集所获得的一组视频帧质量值。一种聚集每个帧视频质量值的直接方法是采用平均值。在参考文献【17-19】中描述了更复杂的方法。
在下文中,计算每个测量窗口的Icod和Itra以及Qv。而且,使用以下形式的函数,计算Icod和Itra,该函数在下文中也称为“影响函数”:
Imp∈{Icod,Itra},m、n以及u是正整数,fIF是根据表示各个损害因数的(上)指数IF的影响函数,并且其中,
表示第一组参数,这组参数与编码或网络技术特征(例如,比特率、帧速率、丢包率)相关,并且
表示第二组参数,这组参数在下文中也称为“内容相关参数”,从下面限定的GOP或场景复杂度参数中获得这组参数,并且
表示一组与fIF相关的系数。在下文中,为了简单起见,有时下降在由等式(4)到(6)规定的质量记号中的上标IF。
在此处,优选地计算每个测量窗口的pIF和qIF,一个测量窗口通常持续10到20秒。在下文中,根据用于量化或测量一个特定的损害因数的变量的各个名称(即,例如,Icod或Itra),称为上标IF。而且,等式(3)的应用不限于损害因素Icod和Itra的情况;等式(3)还可适用于其它类型的质量退化,即,适用于其它损害因数。
要注意的是,根据等式(3)的影响函数构成用于评估对损害因数的与内容相关的贡献的一般概念。换言之,等式(3)不仅适用于不同的损害因数,例如,Icod或Itra,而且适用于各种(基于参数的)模型,用于评估由特定的损害因数(例如,Icod)造成的质量退化。在适合于损害因数的一种选择的评估方法的等式(3)的具体实现中,通过使用由集合qIF描述的内容相关的参数,该损害因数的评估由内容相关的参数控制。例如,通过利用等式(1)或(2)或根据一个或多个损害因数的评估的任何其它方法,在执行计算视频信号的感知的“总体”质量Qv的评估的最终步骤时,Qv的评估还由内容相关的参数控制。通过这种方式,根据本发明的方法允许由视频信号的内容造成的质量影响进行上述精细的考虑。
用于计算内容相关的参数qIF的GOP/场景复杂度参数是需要关于视频帧的类型和尺寸(例如,以字节为单位)的知识的所有参数。通常(而非必须)为每个图像组(GOP)或视频场景(SC)计算这些参数,然后,在测量窗口之上聚集这些参数或所产生的质量评估。
根据本发明,可考虑至少以下GOP/场景复杂度参数:
·规定场景sc的平均I帧尺寸;在优选的实施方式中,优选地忽略第一场景的第一I帧;
·规定的GOP gop的平均P帧尺寸;
·每个GOP的参考B(在分层编码的情况下使用的)的平均尺寸;
·每个GOP的非参考b帧尺寸的平均尺寸;
·每个GOP的平均P、B以及b帧尺寸;
·为每个场景计算的I帧的比特率;
·为每个场景计算的P帧的比特率;
·为每个场景计算的B帧的比特率;
·为每个场景计算的b帧的比特率;
·为每个场景计算的P、B以及b帧的共同比特率。
在以上符号中,帧序列类型(即,I、P、B、b或noI)由上索引表示,该上索引不与指数混淆。
如下计算具有帧类型T(其中,T∈{I,P,B,b,noI})的帧的每个场景的比特率:
其中,
·是每个场景的帧T的字节的总量;
·frT是T帧的帧速率,即,每秒的T帧的数量;
·nfrT是在该场景中的T帧的数量;
·br是以Mbit/s为单位的总体比特率。
作为一个替换物,frT可由总体帧速率fr代替,并且nfrT可由在该场景中的帧的总数nfr代替。
此外,以下比率可被视为GOP/场景复杂度参数。可通过如上定义的GOP/场景复杂度参数,为每个GOP计算每个比率:
·
·
·
·
·
·
·
·
而且,在此处,等式的左右边的符号的上标符号表示上索引。
本发明的一方面涉及一种评估数字视频信号的感知质量的方法,该方法包括以下步骤:
(1a)提取在解码之前捕捉的视频比特流的信息;
(1b)为每个评估使用适合于各个损害因数IF的影响函数,来获得一个或多个损害因数的评估;
(1c)使用在步骤(1b)中获得的评估,评估数字视频信号的感知质量;
该方法的特征在于,在步骤(1b)中使用的每个影响函数将从GOP/场景复杂度参数的集合中计算的内容相关的参数q的集合视为输入,其中,可从数据包报头信息中得出并且可在加密的视频比特流的情况下使用GOP/场景复杂度参数。
根据本发明的方法,可为每个图像组(GOP)或每个视频场景计算GOP/场景复杂度参数。
根据该方法的一个实施方式,在步骤(1b)中使用的每个影响函数进一步取决于:
编码或网络技术特征,例如,比特率、帧速率、丢包率或在GOP或场景中的损失的比例;和/或
与影响函数相关联的系数。
在本发明的一个优选的实施方式中,从至少一个以下GOP/场景复杂度参数中获得这组内容相关的参数q:
表示每个场景的平均I帧尺寸,其中,优选地忽略第一场景的第一I帧;
表示每个GOP的平均P帧尺寸;
表示每个GOP的平均(参考)B帧尺寸;
表示每个GOP的平均非参考b帧尺寸;
表示每个GOP的共同的平均P、B以及b帧尺寸;
表示为每个场景计算的I帧的比特率;
表示为每个场景计算的P帧的比特率;
表示为每个场景计算的B帧的比特率;
表示为每个场景计算的b帧的比特率;
表示为每个场景计算的P、B以及b帧的比特率。
在本发明的一个实施方式中,从至少一个以下GOP/场景复杂度参数中获得这组参数q:
在本发明的一个实施方式中,使用影响函数fIF。
优选地,为了评估由压缩失真造成的质量影响,使用取决于内容相关的参数q1的影响函数fIF,通过使场景sc乘以一个系数,从GOP/场景复杂度参数的加权平均数的倒数中,计算所述内容相关的参数。该系数可与每个视频帧的像素数量nx和视频帧速率fr成比例。
在本发明方法的一个优选的实施方式中,每个场景sc具有加权wsc×Nsc,Nsc是每个场景的GOP的数量,并且wsc是进一步的加权因子,其中,对于具有最低值的场景:wsc被设为大于1的值,例如,wsc=16,并且对于所有其它场景:wsc被设为等于1。
在一个实施方式中,该内容相关的参数q1由以下公式表示:
在一维参数集(参数向量)的情况下,在下文中为了简单起见,该集合的唯一元素的符号与该集合的符号相同。例如,如果内容相关参数的集合仅仅具有一个参数,即,q=(q1),那么简写为q=q1。同样,在与编码或网络技术特征相关的一维参数集的情况下,设为p=(p1)=p1。
在本发明方法的一个实施方式中,根据内容相关的参数q=q1的影响函数fIF由以下公式表示:
fIF(p,q,α)=α1×exp(α2×p1)+α3×q1+α4,
其中,p=p1优选地是描述每个像素的比特数的参数,并且最优选地由以下公式表示:
并且
其中,α=(α1,α2,α3,α4)是与影响函数相关联的系数的集合。
在本发明方法的一个实施方式中,使用取决于内容相关的参数q=(q1,q2)的集合的影响函数fIF,优选地用于评估由传输失真造成的质量影响,通过取决于GOP/场景复杂度参数的参数βk,i的加权总和,获得该集合的每个分量qj,j∈{1,2},根据以下公式,优选地计算每个j∈{1,2}的加权总和:
加权为Rk,j。
可通过以下公式提供加权:
TK是GOP k的损失持续时间,ti是在损失事件i的GOP中的位置,并且ri表示损失事件i的空间幅度。
根据一个优选的实施方式:
在每个帧具有一个片段的情况下,使用并且
在每个帧具有多个片段的情况下,使用
其中,np是在帧中的数据包的数量,nap是在击中帧中的受影响的传输流(TS)数据包的数量,nlp是在帧中的丢包的数量,nle是在帧中的损失事件的数量,并且nsl是在帧中的片段的数量。
参数βk,1可取决于GOP/场景复杂度参数SnoI/I。
参数βk,2可取决于GOP/场景复杂度参数Sb/P。
根据该方法的一个实施方式,通过以下步骤获得每个k∈{1,...,ν}的参数βk,1:
(12a)设βk,1=SnoI/I;
(12b)在βk,1≤0.5的情况下,将βk,1设为2×βk,1;
(12c)在βk,1>0.5的情况下,将βk,1设为1。
优选地,由βk,2=max(0,-Sb/P+1)获得每个k∈{1,...,ν}的参数βk,2。
在一个实施方式中,根据内容相关的参数的集合q=(q1,q2)的影响函数fIF由以下公式表示:
其中,α=(α1,α2,α3)是与影响函数相关联的系数的集合。
优选地,p1是描述由压缩失真造成的质量影响的参数。
优选地,p2是在测量窗口或测量窗口持续时间内的GOP的数量,
在本发明方法的一个实施方式中,视频信号是非互动数据流(优选地非互动视频或视听流)的至少一部分或互动数据流(优选地互动视频或视听流)的至少一部分。
在一个实施方式中,该方法结合有与用于通过除了压缩和/或传输以外的其它损害来评估对数字视频信号的感知质量的影响的一个或多个方法,其中,优选地使用要结合的方法的至少线性函数和/或至少积性函数来进行该结合。
在一个实施方式中,该方法结合有与用于通过压缩和/或传输来评估数字视频信号的感知质量的一个或多个方法,其中,优选地使用要组合的方法的至少线性函数和/或至少积性函数来进行该结合。
本发明的一个方面涉及一种使用以下步骤监控发送的数字视频信号的质量的方法:
(18a)将视频信号从服务器中发送给客户端;
(18b)根据如上所述的用于评估数字视频信号的感知质量的方法在客户端执行用于评估数字视频信号的感知质量的方法;
(18c)将步骤(18b)的评估结果传输给服务器;
(18d)在服务器端监控所发送的视频信号的质量的评估;以及
该方法优选地包括进一步的步骤:
(18e)优选地根据传输参数,分析所发送的视频信号的监控质量;以及可选地
(18f)根据分析步骤(18e)改变传输参数,以便提高所发送的视频信号的质量。
本发明的一个方面涉及一种用于评估数字视频信号的感知质量的设备,所述设备包括:
被配置为用于从在解码之前捕捉的视频比特流提取信息的装置;
至少一个影响评估器;
质量评估器,其被配置为用于评估视频信号的感知质量Qv;
所述设备的特征在于,每个影响评估器被配置为用于通过将从GOP/场景复杂度参数的集合中计算的内容相关的参数的集合视为输入的损害函数,来评估由损害因数造成的质量影响,其中,可从数据包报头信息中得出并且从而可在加密的视频比特流的情况下使用GOP/场景复杂度参数。
该设备优选地进一步被配置为使用根据上述用于评估数字视频信号的感知质量的方法的任一个实施方式的方法,来评估数字视频信号的感知质量。
本发明的一个方面涉及一种可连接至用于接收数字视频信号的接收器的机顶盒,其中,所述机顶盒包括根据本发明的设备。
本发明的一个方面涉及一种用于监控所发送的数字视频信号的质量的系统,所述系统包括服务器和客户端,并且所述系统被配置为用于执行用于根据上面公开的本发明监控所发送的数字视频信号的质量的方法。
在该系统的一个实施方式中,客户端被配置为根据本发明的设备。
在该系统的一个实施方式中,客户端包括根据本发明的设备。
在发明系统的一个替换的实施方式中,该系统进一步包括根据本发明的机顶盒,其中,该机顶盒连接至客户端。
附图说明
图1:用作在无损失的情况下用于估计内容的质量影响的一个实例的等式(10)的计算的图示。更多详细信息请参见上文;
图2:用作在丢包的情况下用于估计内容的质量影响的一个实例的等式(17a)到(17c)的图示。更多详细信息请参见上文;
图3:用作在丢包的情况下用于估计内容的质量影响的一个实例的等式(18)的图示。更多详细信息请参见上文。
通过以上发明内容,并且通过以下描述,包括示图和权利要求,其它方面、特征以及优点显而易见。
具体实施方式
根据本发明,可使用在下文中描述的方案,评估对与压缩相关的质量损害Icod以及与传输相关的质量损害Itra的内容复杂度影响:
无损失的情况-Icod
本发明的一个实施方式涉及在等式(3)内包括GOP/场景复杂度参数,其中,Imp=Icod、m=1、n=1、u=4,并且其中,获得Imp,fIcod是指数函数:
作为在等式(8)中的系数aIcod的集合的实例,其中:
并且优选地,是最优选地由以下公式规定的每个像素的平均比特数:
其中,nx和fr分别是每个视频帧的像素数量和视频帧速率。而且,br是以Mbit/s为单位的视频比特率。
在一个优选的实施方式中,是GOP/场景复杂度参数的函数,并且如下表示:
其中,nx和fr分别是每个视频帧的像素数量和视频帧速率,并且NSC是每个场景的GOP的数量。对于具有最低值的场景,wsc>1,其中,优选地,wsc=16,否则,wsc=1。
图1示出了作为一个实例的具有由两个场景构成的视频序列的等式(10)的计算(假设测量窗口与该视频序列的持续时间对应)。视频序列的格式是1080p25。结果,nx=1920×1080=2073600并且fr=25。
第一场景(sc=1)包含两个GOP(gop1和gop2),即,N1=2,并且其平均I帧尺寸是(例如,以兆字节为单位)。
第二场景(sc=2)包含三个GOP(gop3到go5),即,N2=3,并且其平均I帧尺寸是(例如,以兆字节为单位)。
在视频序列中的最小值是结果,
w1=16,
w2=1,
并且
损失的情况-Itra
本发明的一个实施方式涉及在等式(3)内包括GOP/场景复杂度参数,其中,Imp=Itra、m=2、n=2、u=3,并且其中,获得Imp,fItra是对数函数:
作为在等式(11)中的系数αItra的集合的一个实例,其中:
优选地,
其中,v是在测量窗口中的GOP的数量。或者,v是测量窗口持续时间。
在优选的实施方式中,从GOP/场景复杂度参数中获得和并且使用以下关系,对于每个测量窗口获得和
其中,v是在测量窗口中的GOP的数量,并且Rk,1和Rk,2是如下计算的为每个GOP k计算的损失的空间-时间描述符:
TK是GOP k的损失持续时间,ti是在损失事件i的GOP中的位置,并且ri表示损失事件i的空间幅度,其中,优选地:
在每个帧具有一个片段的情况下,并且(15)
在每个帧具有多个片段的情况下,
其中,np是在帧中的数据包的数量,nap是在击中帧中的受影响的传输流(TS)数据包的数量(使用包括数据包报头信息(例如,序列数量、时间戳等)的任何方法来获得),nlp是在帧中的丢包的数量,nle是在帧中的损失事件的数量,并且nsl是在帧中的片段的数量。
要注意的是,rk是在参考文献【16】中的等式(5)的xl_k/T_k。同样,等式(15)的ri与在参考文献【16】中的等式(7c)的xl_i对应,并且在等式(16)的ri与在参考文献【16】中的等式(7)的xl_i对应。最后,等式(12)和(13)的βk,1和βk,2的总和与在参考文献【16】的等式(9a)中的校正因子α1,k对应。然而,如上所述,未提出用于在加密视频的情况下计算这种校正因子的解决方法。
而且,从GOP/场景复杂度参数中获得参数βk,1和βk,2并且为每个GOP k计算参数βk,1和βk,2。
在一个优选的实施方式中,使用以下步骤获得βk,1(参照图2):
(a)设βk,1=SnoI/I; (17a)
(b)在βk,1≤0.5的情况下,将βk,1设为2×βk,1; (17b)
(c)在βk,1>0.5的情况下,将βk,1设为1。 (17c)
在一个优选的实施方式中,使用以下公式,获得βk,2(参照图3):
βk,2=max(0,-Sb/P+1). (18)
虽然在示图和以上描述中详细说明和描述了本发明,但是这种说明和描述要被视为具有说明性或示例性,而没有限制性。要理解的是,在以下权利要求的范围内,技术人员可进行变更和修改。尤其地,本发明包括具有上面和下面描述的不同实施方式的特征的任意组合的进一步实施方式。
而且,在权利要求中,措辞“包括”并不排除其它部件或步骤,并且不定冠词“一个”(“a”或“an”)并不排除复数。单个单元可履行在权利要求中叙述的几个特征的功能。与属性或值相结合的术语“基本上”、“大致”、“大约”等尤其还分别精确地限定该属性或精确地限定该值。在权利要求中的任何参考符号不应理解为限制该范围。
参考文献:
[1]A.Takahashi,D.Hands,and V.Barriac,“Standardization Activities inthe ITU for a QoE Assessment of IPTV,”in IEEE Communication Magazine,2008.
[2]S.Winkler and P.Mohandas,“The Evolution of Video QualityMeasurement:From PSNR to Hybrid Metrics,”in IEEE Trans.Broadcasting,2008.
[3]A.Raake,M.N.Garcia,S.Moeller,J.Berger,F.Kling,P.List,J.Johann,andC.Heidemann,“T-V-MODEL:Parameter-based prediction of IPTV quality,”in Proc.ofICASSP,2008.
[4]O.Verscheure,P.Frossard,and M.Hamdi,“User-oriented QoS analysis inMPEG-2 video delivery,”in Real-Time Imaging,1999.
[5]K.Yamagishi and T.Hayashi,“Parametric Packet-Layer ModelforMonitoring Video Quality of IPTV Services,”in Proc.of ICC,2008.
[6]M-N.Garcia and A.Raake,“Parametric Packet-Layer Video QualityModel for IPTV,”in Proc.of ISSPA,2010.
[7]S.Péchard,D.Barba,and P.Le Callet,“Video quality model based on aspatio-temporal features extraction for H.264-coded HDTV sequences,”inProc.of PCS,2007.
[8]Y.Liu,R.Kurceren,and U.Budhia,“Video classification for videoquality prediction,”in Journal of Zhejiang University Science A,2006.
[9]M.Ries,C.Crespi,O.Nemethova,and M.Rupp,“Content-based VideoQuality Estimation for H.264/AVC Video Streaming,”in Proc.of WirelessCommunications and Networking Conference,2007.
[10]A.Khan,L.Sun,and E.Ifeachor,“Content clustering based videoquality prediction model for MPEG4 video streaming over wireless networks,”inProc.of ICC,2009.
[11]Garcia,M.-N.,Schleicher,R.and Raake,A.“Towards A Content-BasedParametric Video Quality Model For IPTV”,in Proc.Of VPQM,2010.
[12]Guangtao Zhai et al,Cross-dimensional Quality Assessment for LowBitrate Video,in IEEE Transactions on Multimedia,2008.
[13a]Clark,A.(Telchemy),WO 2009012297(A1),Method and system forcontent estimation of packet video streams.
[13b]Clark,A.(Telchemy),US 2009/004114(A1),Method and system forviewer quality estimation of packet video streams.
[14]Liao,Ning et al,“Apacket-layer video quality assessment modelwith spatiotemporal complexity estimation”,EURASIP Journal on Image and VideoProcessing 2011,2011:5(22August 2011)
[15]Garcia,M.-N.,Schleicher,R.and Raake,A.(2010).Towards A Content-Based Parametric Video Quality Model For IPTV.Fifth International Workshop onVideo Processing and Quality Metrics for Consumer Electronics(VPQM 2010).Intel,20-25.
[16]WO 2012/076202(“Method and apparatus for assessing the quality ofa video signal during encoding and transmission of the video signal”)
[17]Rosenbluth,J.H.(AT&T)“ITU-T Delayed Contribution D.064:Testingthe quality of connections having time varying impairments”,1998
[18]Gros,L.,Chateau,N.“Instantaneous and Overall Judgements for Time-Varying Speech Quality:Assessments and Relationships,Acta Acustica,Volume 87,Number 3,May/June 2001,pp.367-377(11)
[19]Weiss,B.,S.,Raake,A.,Berger,J.,Ullmann,R.(2009).ModelingConversational Quality for Time-varying Transmission Characteristics,ActaAcustica united with Acustica 95,1140-1151.
[20]WO/2012/013655(“Method for estimation of the type of the group ofpicture structure of a plurality of video frames in a video stream”)
[21]PCT/EP2011/067741(Argyropoulos,S.et al.,“Scene change detectionfor perceptual quality evaluation in video sequences”).PCT/EP2011/067741是提交日期在本申请的提交日期之前的文档,但是并未在本申请的提交日期之前公布该文档。
Claims (41)
1.一种评估数字视频信号的感知质量的方法,所述方法包括以下步骤:
(1a)提取在解码之前捕捉的视频比特流的信息;
(1b)为每个评估使用适合于各个损害因数IF的影响函数,来获得一个或多个损害因数的评估;
(1c)使用在步骤(1b)中获得的所述评估,评估所述数字视频信号的所述感知质量;
所述方法的特征在于,在步骤(1b)中使用的所述影响函数中的每个将从GOP/场景复杂度参数的集合计算的内容相关的参数q的集合作为输入,其中,能从数据包报头信息中得出GOP/场景复杂度参数并且能在加密的视频比特流的情况下使用GOP/场景复杂度参数;
其中,至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合,表示每个场景的平均I帧尺寸;
其中,为了评估所述损害因数中的至少一个,使用取决于内容相关的参数q1的影响函数fIF,通过使场景sc乘以系数,从所述GOP/场景复杂度参数的加权平均数的倒数计算所述内容相关的参数q1,并且
其中,每个场景sc具有加权wsc×Nsc,Nsc是每个场景的GOP的数量,并且wsc是加权因子,其中,对于具有最低值的场景:wsc被设为大于1的值,并且对于所有其它场景:wsc被设为等于1。
2.根据权利要求1所述的方法,其中,所述系数与每个视频帧的像素数量nx和视频帧速率fr成比例。
3.根据权利要求2所述的方法,其中,所述内容相关的参数q1由以下公式表示:
4.根据权利要求1所述的方法,其中,为每个图像组(GOP)或每个视频场景计算所述GOP/场景复杂度参数。
5.根据权利要求1所述的方法,其中,在步骤(1b)中使用的所述影响函数中的每个进一步取决于:
编码或网络技术特征。
6.根据权利要求1所述的方法,其中,在步骤(1b)中使用的所述影响函数中的每个进一步取决于:
与所述影响函数相关联的系数。
7.根据权利要求1所述的方法,其中,在步骤(1b)中使用的所述影响函数中的每个进一步取决于:
编码或网络技术特征;以及
与所述影响函数相关联的系数。
8.根据权利要求1所述的方法,其中,进一步从以下GOP/场景复杂度参数中的至少一个中获得所述内容相关的参数q的集合:
表示每个GOP的平均P帧尺寸;
表示每个GOP的平均参考B帧尺寸;
表示每个GOP的平均非参考b帧尺寸;
表示每个GOP的联合平均P、B以及b帧尺寸;
表示为每个场景计算的I帧的比特率;
表示为每个场景计算的P帧的比特率;
表示为每个场景计算的B帧的比特率;
表示为每个场景计算的b帧的比特率;
表示为每个场景计算的P、B以及b帧的比特率。
9.根据权利要求8所述的方法,其中,从以下GOP/场景复杂度参数中的至少一个中获得所述参数q的集合:
10.根据权利要求1所述的方法,其中,取决于所述内容相关的参数q=q1的影响函数fIF由以下公式表示:
fIF(p,q,α)=α1×exp(α2×p1)+α3×q1+α4,
其中,p=p1是描述每个像素的比特数的参数,并且
其中,α=(α1,α2,α3,α4)是与所述影响函数相关联的系数的集合。
11.根据权利要求9所述的方法,其中,使用取决于所述内容相关的参数q=(q1,q2)的集合的影响函数fIF,用于评估由传输失真造成的质量影响,通过取决于GOP/场景复杂度参数的参数βk,i的加权Rk,j总和,获得所述集合的每个分量qj,j∈{1,2}。
12.根据权利要求11所述的方法,其中,根据以下公式,计算每个j∈{1,2}的所述加权总和:
13.根据权利要求11所述的方法,其中,通过以下公式提供所述加权:
TK是GOP k的损失持续时间,ti是在损失事件i的GOP中的位置,并且ri表示损失事件i的空间幅度。
14.根据权利要求13所述的方法,其中,
在每个帧具有一个片段的情况下,并且
在每个帧具有多个片段的情况下,
其中,np是在帧中的数据包的数量,nap是在击中帧中的受影响的传输流(TS)数据包的数量,nlp是在帧中的丢包的数量,nle是在帧中的损失事件的数量,并且nsl是在帧中的片段的数量。
15.根据权利要求12所述的方法,其中,
参数βk,1取决于GOP/场景复杂度参数SnoI/I。
16.根据权利要求12所述的方法,其中,
参数βk,2取决于GOP/场景复杂度参数Sb/P。
17.根据权利要求12所述的方法,其中,
参数βk,1取决于GOP/场景复杂度参数SnoI/I;并且
参数βk,2取决于GOP/场景复杂度参数Sb/P。
18.根据权利要求12到17中任一项所述的方法,其中,通过以下步骤获得每个k∈{1,...,ν}的参数βk,1:
(12a)设βk,1=SnoI/I;
(12b)在βk,1≤0.5的情况下,将βk,1设为2×βk,1;
(12c)在βk,1>0.5的情况下,将βk,1设为1。
19.根据权利要求12到17中任一项所述的方法,其中,由βk,2=max(0,-Sb/P+1)获得每个k∈{1,...,ν}的参数βk,2。
20.根据权利要求12所述的方法,其中,取决于所述内容相关的参数的集合q=(q1,q2)的影响函数fIF由以下公式表示:
其中,p1是描述由压缩失真造成的质量影响的参数,p2是在测量窗口或测量窗口持续时间内的GOP的数量,并且α=(α1,α2,α3)是与所述影响函数相关联的系数的集合。
21.根据权利要求1所述的方法,其中,所述视频信号是为非互动视频或视听流的非互动数据流的至少一部分或为互动视频或视听流的互动数据流的至少一部分。
22.根据权利要求1所述的方法,其中,所述方法结合有用于通过除了压缩和/或传输以外的其它损害来评估对数字视频信号的感知质量的影响的一个或多个方法。
23.根据权利要求1所述的方法,其中,所述方法结合有用于通过压缩和/或传输来评估数字视频信号的感知质量的一个或多个方法。
24.根据权利要求22或23所述的方法,其中,使用至少一个线性函数和/或至少一个积性函数来进行所述结合。
25.根据权利要求1所述的方法,其中,至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合,表示每个场景的平均I帧尺寸,包括忽略第一场景的第一I帧。
26.根据权利要求1所述的方法,其中,评估所述损害因数中的至少一个包括评估由压缩失真造成的质量影响。
27.根据权利要求1所述的方法,其中,wsc被设为大于1的值包括wsc=16。
28.根据权利要求5或7所述的方法,其中,编码或网络技术特征包括比特率、帧速率、丢包百分比或在GOP或场景中的损失的比例。
29.根据权利要求10所述的方法,其中,
nx是每个视频帧的像素数量,fr是视频帧速率。
30.一种监控发送的数字视频信号的质量的方法,使用以下步骤:
(18a)将所述视频信号从服务器中发送给客户端;
(18b)在客户端执行根据权利要求1到24中任一项所述的一种评估数字视频信号的感知质量的方法;
(18c)将步骤(18b)的所述评估的结果传输给所述服务器;
(18d)在服务器端监控所发送的视频信号的质量的所述评估。
31.根据权利要求30所述的方法,所述方法包括进一步的步骤:
(18e)根据传输参数,分析所发送的视频信号的监控质量。
32.根据权利要求31所述的方法,所述方法包括进一步的步骤:
(18f)根据分析步骤(18e)改变所述传输参数,以便提高所发送的视频信号的质量。
33.一种用于评估数字视频信号的感知质量的设备,所述设备包括:
被配置为用于从在解码之前捕捉的视频比特流提取信息的装置;
至少一个影响评估器;
质量评估器,其被配置为用于评估所述视频信号的感知质量Qv;
所述设备的特征在于,影响评估器中的每个被配置为用于通过将从GOP/场景复杂度参数的集合计算的内容相关的参数q的集合作为输入的损害函数,来评估由损害因数造成的质量影响,其中,能从数据包报头信息中得出GOP/场景复杂度参数并且从而能在加密的视频比特流的情况下使用GOP/场景复杂度参数;
其中,至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合,表示每个场景的平均I帧尺寸;
其中,为了评估所述损害因数中的至少一个,使用取决于内容相关的参数q1的影响函数fIF,通过使场景sc乘以系数,从GOP/场景复杂度参数的加权平均数的倒数计算所述内容相关的参数q1,并且
其中,每个场景sc具有加权wsc×Nsc,Nsc是每个场景的GOP的数量,并且wsc是加权因子,其中,对于具有最低值的场景:wsc被设为大于1的值,并且对于所有其它场景:wsc被设为等于1。
34.根据权利要求33所述的设备,进一步被配置为使用根据权利要求1到24中任一项所述的方法来评估数字视频信号的感知质量。
35.根据权利要求33所述的设备,其中,至少从GOP/场景复杂度参数中获得所述内容相关的参数q的集合,表示每个场景的平均I帧尺寸,包括忽略第一场景的第一I帧。
36.根据权利要求33所述的设备,其中,评估所述损害因数中的至少一个包括评估由压缩失真造成的质量影响。
37.根据权利要求33所述的设备,其中,wsc被设为大于1的值包括wsc=16。
38.一种可连接至用于接收数字视频信号的接收器的机顶盒,其中,所述机顶盒包括根据权利要求33或34所述的设备。
39.一种用于监控发送的数字视频信号的质量的系统,所述系统包括服务器和客户端,并且所述系统被配置为用于执行根据权利要求30所述的方法。
40.根据权利要求39所述的系统,其中:
所述客户端被配置为根据权利要求33或34所述的设备;并且/或者
所述客户端包括根据权利要求33或34所述的设备。
41.根据权利要求39所述的系统,进一步包括根据权利要求38所述的机顶盒,其中,所述机顶盒连接至客户端。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12181015.4A EP2701397B1 (en) | 2012-08-20 | 2012-08-20 | Content-dependent video quality model for video streaming services |
EP12181015.4 | 2012-08-20 | ||
PCT/EP2013/065033 WO2014029561A1 (en) | 2012-08-20 | 2013-07-16 | Content-dependent video quality model for video streaming services |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104488265A CN104488265A (zh) | 2015-04-01 |
CN104488265B true CN104488265B (zh) | 2016-11-30 |
Family
ID=
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101616315A (zh) * | 2008-06-25 | 2009-12-30 | 华为技术有限公司 | 一种视频质量评价方法、装置和系统 |
WO2012013777A2 (en) * | 2010-07-30 | 2012-02-02 | Deutsche Telekom Ag | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal |
CN102405644A (zh) * | 2009-04-21 | 2012-04-04 | 马维尔国际贸易有限公司 | 基于因特网视频内容的经估算质量对视频后处理器的自动调节 |
WO2012076202A1 (en) * | 2010-12-10 | 2012-06-14 | Deutsche Telekom Ag | Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal |
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101616315A (zh) * | 2008-06-25 | 2009-12-30 | 华为技术有限公司 | 一种视频质量评价方法、装置和系统 |
CN102405644A (zh) * | 2009-04-21 | 2012-04-04 | 马维尔国际贸易有限公司 | 基于因特网视频内容的经估算质量对视频后处理器的自动调节 |
WO2012013777A2 (en) * | 2010-07-30 | 2012-02-02 | Deutsche Telekom Ag | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal |
WO2012076202A1 (en) * | 2010-12-10 | 2012-06-14 | Deutsche Telekom Ag | Method and apparatus for assessing the quality of a video signal during encoding and transmission of the video signal |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2701397B1 (en) | Content-dependent video quality model for video streaming services | |
Frnda et al. | Impact of packet loss and delay variation on the quality of real-time video streaming | |
KR101188833B1 (ko) | 비디오 품질을 객관적으로 평가하기 위한 방법, 장치, 및 프로그램 | |
JP5670551B2 (ja) | ビデオストリームの品質を評価する方法と装置 | |
Anegekuh et al. | Content-based video quality prediction for HEVC encoded videos streamed over packet networks | |
US20130318253A1 (en) | Methods and apparatus for providing a presentation quality signal | |
US9077972B2 (en) | Method and apparatus for assessing the quality of a video signal during encoding or compressing of the video signal | |
KR20050105630A (ko) | 동영상 화질 평가시스템 및 방법 | |
Konuk et al. | A spatiotemporal no-reference video quality assessment model | |
Wang et al. | No-reference hybrid video quality assessment based on partial least squares regression | |
WO2021181681A1 (ja) | 数理モデル導出装置、数理モデル導出方法及びプログラム | |
Reiter et al. | Comparing apples and oranges: assessment of the relative video quality in the presence of different types of distortions | |
Zhang et al. | MDVQM: A novel multidimensional no-reference video quality metric for video transcoding | |
WO2018041892A1 (en) | Method and apparatus for determining the perceptual video quality of a chunk of multimedia content | |
Uhl et al. | Suitability of transport techniques for video transmission in IP networks | |
CN104488265B (zh) | 用于视频流服务的内容相关的视频质量模型 | |
JP2010081157A (ja) | 映像品質推定装置、方法、およびプログラム | |
Garcia et al. | Video streaming | |
Zhang et al. | QoE Models for Online Video Streaming | |
Shmueli et al. | Effects of frame rate, frame size and MPEG2 compression on the perceived compressed video quality transmitted over lossy IP networks | |
Cheon et al. | Quality assessment of mobile videos | |
Arsenović et al. | Quality of Experience Assessment for HTTP Based Adaptive Video Streaming. | |
Menkovski | Computational inference and control of quality in multimedia services | |
Pace et al. | Fast and accurate video PQoS estimation over wireless networks | |
Cruvinel et al. | A simple metric for predicting video quality of experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |