CN104837008A - 一种基于网络丢包损伤的比特流层视频感知质量评价方法 - Google Patents

一种基于网络丢包损伤的比特流层视频感知质量评价方法 Download PDF

Info

Publication number
CN104837008A
CN104837008A CN201510112817.2A CN201510112817A CN104837008A CN 104837008 A CN104837008 A CN 104837008A CN 201510112817 A CN201510112817 A CN 201510112817A CN 104837008 A CN104837008 A CN 104837008A
Authority
CN
China
Prior art keywords
packet loss
video
burst
pmos
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510112817.2A
Other languages
English (en)
Other versions
CN104837008B (zh
Inventor
王彩虹
姜秀华
陈霓
苏佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Communication University of China
Original Assignee
Communication University of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communication University of China filed Critical Communication University of China
Priority to CN201510112817.2A priority Critical patent/CN104837008B/zh
Publication of CN104837008A publication Critical patent/CN104837008A/zh
Application granted granted Critical
Publication of CN104837008B publication Critical patent/CN104837008B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于网络丢包损伤的比特流层视频感知质量评价方法。所述方法包括:首先建立质量评价模型:通过对主观评价实验结果分析将经过网络传输后存在丢包损伤的视频的感知质量分数分解全为随机丢包时,不同丢包率下的视频感知质量分数和由突发丢包占总丢包比例决定的视频感知质量增量分数两部分;根据丢失不同的I/P/B帧类型的视频包造成的不同损伤影响,采用调整的加权丢包率代替丢包率得到评价模型。然后应用所建模型进行感知质量测量。本发明基于主观评价实验建立了考虑丢包率、丢包分布和丢包所属帧类型三个因素的基于网络丢包损伤的视频感知质量评价模型,比只考虑单个因素或者两个因素的评价方法具有更好的视频质量预测效果。

Description

一种基于网络丢包损伤的比特流层视频感知质量评价方法
技术领域
本发明属于多媒体通信领域,具体涉及一种基于网络丢包损伤的比特流层视频感知质量评价方法。
背景技术
目前,网络视频运营商越来越关注终端用户的体验质量(Quality of Experience,QoE)。QoE是终端用户对应用或者服务整体的主观可接受程度。其中,视频质量是QoE中很重要的一部分。要在有限的网络传输环境下为终端用户提供尽可能满意的视频质量服务,就要获得与人眼主观感知更为接近的图像质量评价结果,以此作为其服务的参考。视频质量评价旨在通过一些方法,得到人眼对视频图像质量好坏的感知度量,包括主观评价方法和客观评价方法。主观评价在严格的实验环境和实验流程下进行,要求一组观察者对视频质量进行打分。主观评价是获得质量评分的最准确的方法,但其费时、费力,并且不适用于实时的监控场合。客观评价方法拟在通过计算模型或评价设备,模拟人眼对视频质量进行测量。视频质量评价在系统设备的研发阶段、网络系统的设计搭建阶段和运营维护阶段都有很大的意义。在图像处理系统中,视频质量评价可以作为算法和参数优化的参考。例如在视频编码系统端,可以对预滤波和比特分配等算法进行最优化处理。在视频解码系统端,视频质量评价可以对图像重建、误码掩盖和后滤波等算法进行最优化处理。视频质量评价结果可以用作图像处理系统和算法优劣性的一个度量。例如,可以用于不同视频编解码器的评估和比较。通过对各种不同类型素材编码解码处理,可以用评价结果来决定哪一个系统的处理效果最好。在实时应用中,视频质量评价可以用来动态地监测和调整图像质量的状况,例如网络视频服务器、交换机和复用器等的在线质量的监测和控制。在网络数字视频服务中,可以用评价模型来实时地检查当前网络上传输视频的质量状况以分配数据流资源。
视频数据通过IP网络传输可能引起潜在的问题。IP网络是“尽力而为”的网络,不保证数据的准确传输。当发生网络数据包拥塞时,路由器可能会采取丢包处理。一旦发生丢包,将极大地影响视频主观质量。接收端的视频解码器如果检测出数据包的丢失,将利用已接收图像恢复丢失的数据,即错误隐藏。依赖于错误隐藏的算法性能,丢包造成的失真也不同。错误隐藏很难保证正确恢复视频丢包区域的内容,往往还会引起内容的错位,导致块边缘处内容的不连续,严重影响了视频的主观质量。如果解码器未检测出丢包,将丢包前的数据和丢包后的数据认为是连续的,会造成更为严重的错误。漏检的误码会使解码视频中出现颜色怪异的图像块,称为贴片式误码。贴片式误码对视频质量的影响更为严重,一幅清晰度很高的图像即使只出现一两块贴片式误码,其主观质量也会急剧下降。图1和图2所示为丢包对视频的影响效果。图1所示为经过错误隐藏之后的图像,图2为解码器未检测出丢包,发生贴片式误码的效果。IP丢包损伤最常用的指标为丢包率,这也是目前工程上判断网络传输状况的主要指标。一些实验研究了丢包率对视频感知质量的影响。如ITU-T G.1070中,平均的主观视频质量被建模为丢包率的指数函数。除了丢包率,一些其他的观点从丢包事件发生的次数出发,不论一次丢包中连续丢失多少个数据包,都等同地认为是一次丢包事件。如MClaypool和J.Tanner在论文“The effects of jitter on the perceptual quality of video”中指出,感知质量分数与质量下降事件发生的次数有很强的关系。K.Yamagishi等人在论文“ParametricPacket-Layer Model for Monitoring Video Quality of IPTV Services”中也有相似的结论,该论文计算了丢包频数指标,将其定义为10s内丢包事件发生的频数。论文中发现主观视频质量随着丢包频数的增加而降低,最终用一个指数函数对这一曲线进行建模。
上述技术仅仅把丢包模型看成两种状态:丢包状态和非丢包状态,忽视了长时间高密度丢包的影响。实际的IP网络中,缓存器中丢包的发生通常是瞬态的,由路由器的堵塞或者设备故障造成,这通常都会导致“稀疏的突发丢包”。依据RFC3611,突发期的定义是:(1)以一个数据包的丢失作为开始;(2)连续接收的数据包小于Gmin(即突发期内,连续接收的Gmin个数据包内必然存在丢包);(3)以一个丢包结束。通俗地讲,突发期为一段信道丢包较密集发生的时期。突发期之外的丢包称之为随机丢包。图3所示为一段视频序列示意图,黑色代表IP包丢失,灰色代表IP包成功接收(示意图中Gmin=16)。两段视频有相同的丢包个数。相同的丢包率下,是每间隔一段时间就出现丢包事件(对应随机丢包)给人更差的视觉感知,还是在短时间内集中丢包(对应突发丢包)有更差的视觉效果?F.You等人在论文“Packet Loss Pattern and Parametric Video Quality Model for IPTV”中得出,随机丢包相比突发丢包有更为严重的质量损伤。该论文提出的T-model模型在ITU-T G.1070模型的基础上,添加了一个参数来描述突发的程度,相比ITU-T G.1070模型,可以更好地预测视频感知质量。但该论文中仍然缺乏突发丢包和随机丢包不同比例对视频感知质量的影响的定量分析。
对丢包进行丢包分布的分析只是在包层分析视频质量,没有深入载荷来分析丢包对应的视频内容信息。视频包不同于普通的数据包,每个包的重要性不一样。如果丢失数据包发生在参考帧,后续的帧以其为参考进行运动补偿,会进一步导致错误传播和误差累积。这不仅使得出错帧的恢复图像质量下降,而且将会给后续图像帧的质量造成损害。目前主流的视频编码方案中,视频流中主要有三类编码图像,分别是帧内编码帧(I,Intra)、前向预测编码帧(P,Predicated)和双向预测编码帧(B,Bidirectional)。I帧只使用本帧内的数据进行压缩编码,通常数据量较大。P帧以前面的I帧或者P帧作参考,进行运动估计和运动补偿,很大地降低了数据量。B帧有两个参考列表,以I帧或者P帧作参考,可以进行双向预测,压缩比通常更高。在解码端,I帧不需要参考其他帧图像,可以独立解码。而B和P帧,则需要参考其它帧,不能独立解码。因而,不同类型编码帧数据包的丢失,造成的错误扩散不同。考虑到参考帧丢包会造成误差时间上的扩散,因此,很容易认为,如果丢包为参考包,视频会有更严重的质量下降。但是,在丢包率相同的情况,这个结论有待验证。因为I帧的数据量通常大于P帧和B帧,所以I帧最后打包成TS流的包的个数也要大于P帧和B帧。这意味着对于I帧来说,每个TS包覆盖的像素范围要小于P帧和B帧。IP包的载荷大小固定,每个IP包最多负载7个TS包。所以对每个IP包来说,不同帧类型的包对应图像上覆盖的像素范围不一样。那究竟是参考帧丢包造成的误差传播的视频效果更差,还是丢失覆盖像素范围的较大的包(非参考帧)的感知误差更明显?Chang Y L等人在论文“Network-based ippacket loss importance model for h.264sd videos”中以VQM为评价指标,对标清序列进行测试,得出如下结论:IP包的载荷如果是P帧数据,其丢包的感知损伤最为严重。VQM是一种视频质量客观评价算法,其不能代替人眼来完全准确地预测视频的主观感知质量,因而该结论有待设计主观评价实验来进行验证。而且,该论文没有计算不同帧类型视频包丢失对视频感知质量影响大小的权值。
发明内容
针对现有技术中存在的上述问题,本发明在综合考虑丢包率、丢包分布(突发丢包占总丢包的比例)及丢包所属帧类型三个因素,进行相应的主观评价实验和建立视频感知质量客观评价模型的基础上,提出一种基于网络丢包损伤的视频感知质量评价方法。
一种基于网络丢包损伤的比特流层视频感知质量评价方法,包括以下步骤:
步骤1,建立质量评价模型。
步骤1.1,进行主观评价实验,通过对主观评价实验的结果分析,将经过网络传输后,存在丢包损伤的视频的感知质量分数PMOS分解为两部分,用公式表示为:
PMOS=PMOSbasic(PLR)+PMOSΔ(Pburst)         (1)
其中,PLR为丢包率,PMOSbasic(PLR)为丢包全部都是随机丢包时,不同丢包率PLR下的视频感知质量分数,Pburst为突发丢包占总丢包的比例,PMOSΔ为由Pburst决定的视频感知质量增量分数。
步骤1.2,根据丢失不同的帧内编码帧/前向预测编码帧/双向预测编码帧I/P/B帧类型的视频包造成的不同损伤影响,对公式(1)进行修正,用调整的加权丢包率PLRadjust来代替公式(1)中PLR,得到综合考虑丢包率、丢包分布及丢包所属帧类型三个影响因素的视频感知质量评价模型:
PMOS=PMOSbasic(PLRadjust)+PMOSΔ(Pburst)       (2)
所述丢包分布为突发丢包占总丢包的比例。
步骤2,应用所述步骤1建立的所述模型,对经过网络传输的视频进行丢包损伤的感知质量测量。
进一步地,步骤1.1所述视频感知质量增量分数PMOSΔ(Pburst)的求解方法为:
选取内容不同的压缩视频序列,分别在较小丢包率和较大丢包率的情况下,使视频丢包呈现如下分布规律:在相同丢包率下,丢包分布分别为0、1/5、1/3、1/2、2/3、4/5、1;执行主观评价实验,由实验得到随着丢包分布的增加,主观感知质量平均意见分数MOS的变化规律:MOS随着Pburst的增大而增大,并且增加的趋势呈先平缓后逐渐加快的特点,符合指数型函数关系,去除截距增量得到PMOSΔ(Pburst)。
更进一步地,采用最小平方曲线拟合方法建立PMOSΔ(Pburst)的模型,公式如下:
PMOSΔ(Pburst)=a1*exp(a2*Pburst)        (3)
其中,a1和a2为常数。
进一步地,当丢包全为随机丢包时的视频感知质量分数PMOSbasic(PLR)的求解方法为:
进行丢包率主观评价实验,得到每个损伤序列的主观评价平均意见分数MOS;然后统计每个序列突发丢包占总丢包数的比例Pburst,并由公式(3)计算出对应每个序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst);最后,由每一序列的主观评价分数MOS减去该序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst),得到在丢包全部都为随机丢包的情况下视频的感知质量分数MOSbasic。MOSbasic随丢包率的增加逐渐减小,减小速度由较快变为较慢。采用最小平方曲线拟合的方法,得到PMOSbasic(PLR)的负指数函数模型:
PMOSbasic(PLR)=b1*exp(b2*PLR)+b3          (4)
其中,b1、b2和b3为常数。
进一步地,步骤1.2所述的加权丢包率PLRadjust的计算方法如下:
PLR adjust = Pac I * I w + P ac P * P w + P ac B * B w Pa c I + P ac P + P ac B - - - ( 5 )
其中,Iw、Pw和Bw分别为丢失I、P、B包的权重,PacI、PacP和PacB分别为I、P、B的丢包数。
更进一步地,通过主观评价实验确定所述的权重Iw、Pw和Bw的计算方法如下:
选取内容不同的压缩视频序列,分别在几种丢包率下,使视频丢包均呈现以下三种情况:相同丢包率下,丢包全部发生于I类型视频帧、丢包全部发生于P类型视频帧和丢包全部发生于B类型视频帧;对所有序列执行主观评价实验,得到不同丢包情况下,主观感知质量平均意见分数MOS的规律;采用100分减去每个样本序列的MOS分数,得到每个测试序列相比于参考序列的质量差值作Sk(m,n),k={I,P,B},对应丢包全为I、P、B的情况,n的取值为1至原始未丢包视频序列的总个数,m的取值为1至实验中设定的丢包率的总个数;采用下述公式计算丢失不同类型数据包的权重:
Iw(m,n)=3*SI(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))    (6)
Pw(m,n)=3*SP(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))    (7)
Bw(m,n)=3*SB(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))     (8)
对于每个序列的每个丢包率(m,n),根据主观评分得到一组Iw(m,n)、Pw(m,n)和Bw(m,n);求Iw(m,n)、Pw(m,n)和Bw(m,n)对所有(m,n)的均值,得到最终的权值Iw、Pw和Bw
进一步地,步骤2所述对经过网络传输的视频进行丢包损伤的感知质量测量的方法如下:
对网卡获取的视频数据包,根据连续性计数标志,分析是否发生丢包。如果检测到丢包,就执行以下步骤:
步骤2.1,对于每一个丢失视频包,通过判断其与前一个丢失视频包的距离,标记该丢包和前一丢包属于随机丢包还是突发丢包;同时标记该丢包所属的帧类型。
步骤2.2,取定一个时间间隔,计算该时间内突发丢包占总丢包的比例Pburst,统计每种视频类型帧的丢包个数PacI、PacP和PacB
步骤2.3,计算网络丢包损伤的视频感知质量PMOS。
本发明与现有技术相比具有以下优点:
(1)本发明基于主观评价实验建立客观评价模型,充分考虑了人眼的视觉特性,使得模型的预测结果可以更接近人眼视觉感知质量。
(2)本发明考虑了丢包率、丢包分布和丢包所属帧类型三个因素来建模基于网络丢包损伤的视频感知质量评价模型,相较于只考虑单个因素或者两个因素的评价方法,有更好的视频质量预测效果。实验表明,采用本发明所述方法得到的预测分数,与主观评价分数的皮尔逊相关系数可以达到89.18%。
附图说明
图1是现有技术丢包后经过错误隐藏的视频图像截图;
图2是现有技术发生贴片式误码的视频图像截图;
图3是现有技术随机丢包与突发丢包的示意图,示意图中Gmin=16,黑色代表IP包丢失,灰色代表IP包成功接收,上图为随机丢包情况,下图为突发丢包情况;
图4是本发明实施例的方法的流程图;
图5是丢包分布主观评价实验结果;
图6是相同丢包率下不同序列求均值的丢包分布主观评价实验结果;
图7是突发丢包占总丢包的比例与主观MOS值关系图,图中横轴为突发丢包占总丢包的比例Pburst,纵轴为主观MOS值坐标。“主观评分均值”为相同突发丢包比例下所有序列的MOS均值;
图8是丢包全为随机丢包时丢包率(PLR)与MOSbasic的关系图,“MOSbasic均值”为不同的丢包率下所有序列MOSbasic的均值;
图9是0.02%丢包率下不同序列的丢包所属帧类型的主观评价实验结果,“I丢”、“P丢”和“B丢”分别为丢包全部发生在I、P和B帧上的MOS值,“平均分”为所有序列丢失同种帧类型包的主观评价结果的平均分数;
图10是0.125%丢包率下不同序列的丢包所属帧类型的主观评价实验结果,“I丢”、“P丢”和“B丢”分别为丢包全部发生在I、P和B帧上的MOS值,“平均分”为所有序列丢失同种帧类型包的主观评价结果的平均分数;
图11是本发明实施例采用的网络视频编码、传输和监测模拟系统。
具体实施方式
为了加深对本发明的理解,下面将结合实施例对本发明作进一步详述,该实施例仅用于解释本发明,并不构成对本发明保护范围的限定。
本发明所述方法的流程图如图4所示,包括以下步骤:
步骤1,建立质量评价模型。
步骤1.1,设计主观评价实验,通过对主观评价实验的结果分析,建立公式(1)所示的模型。
(1)求PMOSΔ(Pburst)。
选取内容不同的压缩视频序列,分别在较小丢包率和较大丢包率的情况下,使视频丢包呈现如下分布规律:在相同丢包率下,突发丢包占总丢包的比例即丢包分布分别为0(丢包全部为随机丢包)、1/5、1/3、1/2、2/3、4/5、1(丢包全部为突发丢包)。执行主观评价实验,统计随着突发丢包占总丢包比例的增加,主观感知质量平均意见分数(MOS)的规律。
实验结果如图5和图6所示。根据主观评价实验结果,可以得出如下结论:同一视频序列,在丢包率相同的情况下,如果丢包分布不同,主观感知质量也会有很大的差异。基本情况是,相同的丢包率下,突发丢包占总丢包的比例越大,即丢包发生得越集中,主观感知质量越好,突发丢包占总丢包的比例越小,主观感知质量越差。相同序列在同一丢包率下,随着突发丢包占总丢包比例的增加,主观感知质量平均意见分数(MOS)曲线基本呈现上升趋势,并且相同序列在不同丢包率下的曲线上升趋势和速度基本一致,不同的是曲线的起始上下高度,由丢包率决定。也就是说,对于不同的丢包率,突发丢包占总丢包数目的比例对主观感知质量的影响基本一致。丢包率决定了主观感知质量的基本分数,而突发丢包占总丢包数目的比例在基本分数上进行调整。基于此,本发明将存在丢包损伤的视频的感知质量分数建模为由丢包率决定的视频感知质量基本分和由突发丢包占总丢包比例决定的视频感知质量增量分相加,如公式(1)所示。
本发明采用最小平方曲线拟合方法来建模突发影响造成的视频感知质量增量分PMOSΔ(Pburst)。图7给出了拟合结果图形。图7中横轴为Pburst,纵轴为主观MOS值坐标。MOS随着Pburst的增大而增大,并且增加的趋势呈先平缓后逐渐加快的特点,符合指数型函数关系,去除截距增量得到PMOSΔ(Pburst)。拟合曲线函数的表达式如公式(3)。
(2)求PMOSbasic(PLR)。
进行丢包率主观评价实验,得到对应每个损伤序列的主观评价平均意见分数(MOS),然后统计其突发丢包占总丢包数的比例Pburst,并由公式(3)计算出对应每个序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst)。最后,由每一序列的主观评价分数(MOS)减去该序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst),就得到在丢包全部都为随机丢包的情况下视频的感知质量分数MOSbasic。MOSbasic呈现随着丢包率的增加逐渐减小,并且呈现先较快减小、后缓慢降低的趋势。采用最小平方曲线拟合的方法,得到PMOSbasic(PLR)的负指数函数模型,如公式(4)。
步骤1.2,根据丢失不同I/P/B帧类型的视频包造成的不同损伤影响,对公式(1)进行修正。调整的加权丢包率(PLRadjust)如公式(5)所示。
权重Iw、Pw和Bw的计算方法如下:
选取内容不同的压缩视频序列,分别在几种丢包率下,使视频丢包均呈现以下三种情况:相同丢包率下,丢包全部发生于I类型视频帧、丢包全部发生于P类型视频帧和丢包全部发生于B类型视频帧。对所有序列执行主观评价实验。观察不同丢包情况下,主观感知质量平均意见分数MOS值的规律。
实验结果如图9和图10所示。根据主观评价实验结果,可以得出如下结论:对多半序列以及同种丢包率同种丢包情况下的所有序列主观评价分的均值而言,I包丢失的视频感知质量最差,其次是P包,B包丢失的视频感知质量最好。本发明用100分减去每个样本序列的MOS分数,得到每个测试序列相比于参考序列的质量差值,即质量下降的分数,记作Sk(m,n),k={I,P,K},对应着丢包全为I、P、B的情况,n的取值为1至原始未丢包视频序列的总个数,m的取值为1至实验中设定的丢包率的总个数。
采用公式(6)、(7)和(8)求丢失不同类型数据包的权重Iw、Pw和Bw
步骤2,应用步骤1建立的模型,对经过网络传输的视频进行丢包损伤的感知质量测量。
图11是一个可仿真网络丢包的视频编码、传输和监测系统的组成框图。无压缩avi格式的视频源文件存储于内容服务器中,将avi源文件输出至视频编码器中编码,输出为封装了H.264视频编码格式的TS流,将该流经TS流采集卡进行采集并存储于服务器中。然后,将TS文件经Live555点播流媒体服务器或VLC组播流媒体服务器进行推送,并经过网络仿真仪仿真为不同丢包程度的丢包视频流。该丢包视频流一路送至用户终端进行观看,同时,通过镜像交换机镜像输出一路至监控设备进行视频质量的监测。将本发明方法在监测设备中按以下实现步骤实现,得到经过网络传输存在丢包损伤的视频的感知预测质量。
对网卡获取的视频数据包,根据包头里的连续性计数字段,推算出是否有丢包的发生。如果检测到丢包,就执行以下步骤。
(1)对于每一个丢失视频包,通过判断其与前一个丢失视频包的距离,如果小于Gmin(Gmin=64),就标记该丢包和前一丢包属于突发丢包;否则该丢包为随机丢包。
(2)对数据包解封装。对H.264数据进行简单的解码,寻找访问单元分隔符,即nal_unit_type=9的NAL(Network Abstract Layer)。其只有一个句法元素,primary_pic_type,通过该元素,就可以判断之后的数据包属于哪种帧类型。该NAL通常紧跟TS包头之后,通过简单的数据比对就可以找到。
(3)取定一个时间间隔,计算该时间内突发丢包占总丢包的比例Pburst,统计每种视频类型帧的丢包个数PacI、PacP和PacB
(4)进行网络丢包损伤的视频感知质量的计算,公式如下:
PMOS = b 1 * exp ( b 2 * P ac I * I w + P ac p * P w + P ac B * B w Pac I + P ac p + P ac B ) + b 3 + a 1 * exp ( a 2 * P burst ) - - - ( 9 )
为了验证本发明方法的视频质量评测效果,采用本发明所述方法对不同程度的丢包视频进行了主观评价实验和客观评测质量分数的计算。实验选取了7个H.264编码的视频序列,分别设置了如下8种丢包率:0.06%,0.125%,0.25%,0.4%,0.65%,1.25%,1.8%和2.5%。丢包后视频采用ffmpeg进行解码。对于丢失的数据包,ffmpeg采用MCEC(Motion-Compensated Error Concealment)算法来进行数据恢复。如果丢失的宏块被认为是内部编码宏块,ffmpeg会用周围未丢失宏块的加权值来估计。如果丢失的数据包为帧间编码宏块,ffmpeg执行双向的运动估计来隐藏错误。一共17个测试人员执行了主观评价试验,按照ITU-R BT.1788的筛选准则,全部人的分数均被保留,没有人的分数被剔除。将所有打分者的分数计算均值,作为每个测试样本最终的主观评价分数值。同时对每个样本计算本发明方法预测的客观评价分数。最终,本发明综合考虑丢包率、丢包分布及丢包所属帧类型的网络丢包损伤的比特流层视频感知质量评价模型的客观预测分数,与主观评价分数的皮尔逊相关系数可以达到89.18%。实验结果表明本发明方法有较好的视频质量预测效果。

Claims (7)

1.一种基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于包括以下步骤:
步骤1,建立质量评价模型;
步骤1.1,进行主观评价实验,通过对主观评价实验的结果分析,将经过网络传输后,存在丢包损伤的视频的感知质量分数PMOS分解为两部分,用公式表示为:
PMOS=PMOSbasic(PLR)+PMOSΔ(Pburst)       (1)
其中,PLR为丢包率,PMOSbasic(PLR)为丢包全部都是随机丢包时不同丢包率PLR下的视频感知质量分数,Pburst为突发丢包占总丢包的比例,PMOSΔ为由Pburst决定的视频感知质量增量分数;
步骤1.2,根据丢失不同的帧内编码帧/前向预测编码帧/双向预测编码帧I/P/B帧类型的视频包造成的不同损伤影响,对公式(1)进行修正,用调整的加权丢包率PLRadjust来代替公式(1)中PLR,得到综合考虑丢包率、丢包分布及丢包所属帧类型三个影响因素的视频感知质量评价模型:
PMOS=PMOSbasic(PLRadjust)+PMOSΔ(Pburst)      (2)
所述丢包分布为突发丢包占总丢包的比例;
步骤2,应用所述步骤1建立的所述模型,对经过网络传输的视频进行丢包损伤的感知质量测量。
2.根据权利要求1所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,步骤1.1所述视频感知质量增量分数PMOSΔ(Pburst)的求解方法为:
选取内容不同的压缩视频序列,分别在较小丢包率和较大丢包率的情况下,使视频丢包呈现如下分布规律:在相同丢包率下,丢包分布分别为0、1/5、1/3、1/2、2/3、4/5、1;执行主观评价实验,由实验得到随着丢包分布的增加,主观感知质量平均意见分数MOS的变化规律:MOS随着Pburst的增大而增大,并且增加的趋势呈先平缓后逐渐加快的特点,符合指数型函数关系,去除截距增量得到PMOSΔ(Pburst)。
3.根据权利要求2所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,所述视频感知质量增量分数PMOSΔ(Pburst)可采用最小平方曲线拟合方法建立PMOSΔ(Pburst)的模型:
PMOSΔ(Pburst)=a1*exp(a2*Pburst)         (3)
其中,a1和a2为常数。
4.根据权利要求3所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,当丢包全为随机丢包时的视频感知质量分数PMOSbasic(PLR)的求解方法为:
进行丢包率主观评价实验,得到每个损伤序列的主观评价平均意见分数MOS;然后统计每个序列突发丢包占总丢包数的比例Pburst,并由公式(3)计算出对应每个序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst);最后,由每一序列的主观评价分数MOS减去该序列由于突发影响造成的视频感知质量增量分数PMOSΔ(Pburst),得到在丢包全部都为随机丢包的情况下视频的感知质量分数MOSbasic;MOSbasic随丢包率的增加逐渐减小,减小速度由较快变为较慢;采用最小平方曲线拟合的方法,得到PMOSbasic(PLR)的负指数函数模型:
PMOSbasic(PLR)=b1*exp(b2*PLR)+b3          (4)
其中,b1、b2和b3为常数。
5.根据权利要求1所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,步骤1.2所述的加权丢包率PLRadjust的计算方法如下:
PLR adjust = Pac I * I w + Pac P * P w + Pac B * B w Pac I + Pac P + Pac B - - - ( 5 )
其中,Iw、Pw和Bw分别为丢失I、P、B包的权重,PacI、PacP和PacB分别为I、P、B的丢包数。
6.根据权利要求5所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,通过主观评价实验确定所述权重Iw、Pw和Bw的方法如下:
选取内容不同的压缩视频序列,分别在几种丢包率下,使视频丢包均呈现以下三种情况:相同丢包率下,丢包全部发生于I类型视频帧、丢包全部发生于P类型视频帧和丢包全部发生于B类型视频帧;对所有序列执行主观评价实验,得到不同丢包情况下,主观感知质量平均意见分数MOS的规律;采用100分减去每个样本序列的MOS分数,得到每个测试序列相比于参考序列的质量差值作Sk(m,n),k={I,P,B},对应丢包全为I、P、B的情况,n的取值为1至原始未丢包视频序列的总个数,m的取值为1至实验中设定的丢包率的总个数;采用下述公式计算丢失不同类型数据包的权重:
Iw(m,n)=3*SI(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))     (6)
Pw(m,n)=3*SP(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))     (7)
Bw(m,n)=3*SB(m,n)/(SI(m,n)+SP(m,n)+SB(m,n))     (8)
对于每个序列的每个丢包率(m,n),根据主观评分得到一组Iw(m,n)、Pw(m,n)和Bw(m,n);求Iw(m,n)、Pw(m,n)和Bw(m,n)对所有(m,n)的均值,得到最终的权值Iw、Pw和Bw
7.根据权利要求1~6中任意一项所述的基于网络丢包损伤的比特流层视频感知质量评价方法,其特征在于,步骤2所述应用所述步骤1建立的所述模型,对经过网络传输的视频进行丢包损伤的感知质量测量的方法还包括以下步骤:
对网卡获取的视频数据包,根据连续性计数标志,分析是否发生丢包;如果检测到丢包,就执行以下步骤:
步骤2.1,对于每一个丢失视频包,通过判断其与前一个丢失视频包的距离,标记该丢包和前一丢包属于随机丢包还是突发丢包;同时标记该丢包所属的帧类型;
步骤2.2,取定一个时间间隔,计算该时间内突发丢包占总丢包的比例Pburst,统计每种视频类型帧的丢包个数PacI、PacP和PacB
步骤2.3,根据步骤1建立的所述质量评价模型计算网络丢包损伤的视频感知质量PMOS。
CN201510112817.2A 2015-03-14 2015-03-14 一种基于网络丢包损伤的比特流层视频感知质量评价方法 Expired - Fee Related CN104837008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510112817.2A CN104837008B (zh) 2015-03-14 2015-03-14 一种基于网络丢包损伤的比特流层视频感知质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510112817.2A CN104837008B (zh) 2015-03-14 2015-03-14 一种基于网络丢包损伤的比特流层视频感知质量评价方法

Publications (2)

Publication Number Publication Date
CN104837008A true CN104837008A (zh) 2015-08-12
CN104837008B CN104837008B (zh) 2016-08-24

Family

ID=53814614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510112817.2A Expired - Fee Related CN104837008B (zh) 2015-03-14 2015-03-14 一种基于网络丢包损伤的比特流层视频感知质量评价方法

Country Status (1)

Country Link
CN (1) CN104837008B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920279A (zh) * 2016-10-08 2018-04-17 华为技术有限公司 评估视频质量的方法和设备
CN113508557A (zh) * 2019-01-29 2021-10-15 意大利电信股份公司 在分组交换通信网络中启用往返分组丢失测量
CN113726589A (zh) * 2020-05-26 2021-11-30 千寻位置网络有限公司 历元网络状态的监控方法
CN115086200A (zh) * 2022-05-06 2022-09-20 北京达佳互联信息技术有限公司 丢包类型确定方法、装置、电子设备及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
CAIHONG WANG; XIUHUA JIANG; YUXIA WANG: "Video quality assessment models for IPTV services", 《INTERNATIONAL JOURNAL OF DIGITAL CONTENT TECHNOLOGY AND ITS APPLICATIONS》 *
CHEN, NI; JIANG, XIUHUA; WANG, CAIHONG: "Impact of Packet Loss Distribution on the Perceived IPTV Video Quality", 《2012 5TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP)》 *
NI CHEN; XIUHUA JIANG; CAIHONG WANG;: "Study on relationship between network video packet loss and video quality", 《2011 4TH INTERNATIONAL CONGRESS ON IMAGE AND SIGNAL PROCESSING (CISP 2011)》 *
刘河潮,杨付正,常亦林,元辉;: "考虑丢包特性的无参考网络视频质量评估模型", 《西安交通大学学报》 *
刘河潮: "网络丢包的无参考视频质量评估方法研究", 《中国博士学位论文全文数据库-信息科技辑》 *
尤峰华: "IPTV网络参数化QoE模型的研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *
屈茜: "实时流媒体质量评价方法研究", 《中国优秀硕士学位论文全文数据库-信息科技辑》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107920279A (zh) * 2016-10-08 2018-04-17 华为技术有限公司 评估视频质量的方法和设备
CN111432275A (zh) * 2016-10-08 2020-07-17 华为技术有限公司 评估视频质量的方法和设备
US10869088B2 (en) 2016-10-08 2020-12-15 Huawei Technologies Co., Ltd. Video quality assessment method and device
US11265601B2 (en) 2016-10-08 2022-03-01 Huawei Technologies Co., Ltd. Video quality assessment method and device
CN111432275B (zh) * 2016-10-08 2023-11-17 华为技术有限公司 评估视频质量的方法和设备
CN113508557A (zh) * 2019-01-29 2021-10-15 意大利电信股份公司 在分组交换通信网络中启用往返分组丢失测量
CN113726589A (zh) * 2020-05-26 2021-11-30 千寻位置网络有限公司 历元网络状态的监控方法
CN113726589B (zh) * 2020-05-26 2023-01-03 千寻位置网络有限公司 历元网络状态的监控方法
CN115086200A (zh) * 2022-05-06 2022-09-20 北京达佳互联信息技术有限公司 丢包类型确定方法、装置、电子设备及存储介质
CN115086200B (zh) * 2022-05-06 2023-09-01 北京达佳互联信息技术有限公司 丢包类型确定方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN104837008B (zh) 2016-08-24

Similar Documents

Publication Publication Date Title
CN102740108B (zh) 一种视频数据质量评估方法和装置
Mu et al. Framework for the integrated video quality assessment
CN102143388B (zh) Iptv用户体验质量评估装置及评估方法
Yang et al. Bitstream-based quality assessment for networked video: a review
KR101783071B1 (ko) 비디오 신호의 인코딩 또는 압축 중에 비디오 신호의 품질을 평가하는 방법 및 장치
EP2830316B1 (en) Method and device for evaluating media quality
CN106412572B (zh) 一种基于运动特性的视频流编码质量评价方法
KR101327709B1 (ko) 비디오 품질 측정 장치 및 그 방법
CN104837008B (zh) 一种基于网络丢包损伤的比特流层视频感知质量评价方法
Torres Vega et al. An experimental survey of no-reference video quality assessment methods
Leszczuk et al. Assessing quality of experience for high definition video streaming under diverse packet loss patterns
Konuk et al. A spatiotemporal no-reference video quality assessment model
Atzori et al. Quality perception when streaming video on tablet devices
Wang et al. No-reference hybrid video quality assessment based on partial least squares regression
Anegekuh et al. Encoding and video content based HEVC video quality prediction
Yuan et al. IPTV video quality assessment model based on neural network
Reiter et al. Comparing apples and oranges: assessment of the relative video quality in the presence of different types of distortions
Vega et al. Accuracy of no-reference quality metrics in network-impaired video streams
Martínez et al. Objective video quality metrics: A performance analysis
Sevcik et al. Prediction of subjective video quality based on objective assessment
Guo et al. Hierarchical content importance-based video quality assessment for HEVC encoded videos transmitted over LTE networks
Liao et al. A packet-layer video quality assessment model based on spatiotemporal complexity estimation
Karthikeyan et al. Perceptual video quality assessment in H. 264 video coding standard using objective modeling
Pérez et al. Qualitative monitoring of video quality of experience
Zhao et al. Research on Quality Assessment of Network Video Based Frame Freezing Duration

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

Termination date: 20200314