CN105430383A - 一种视频流媒体业务的体验质量评估方法 - Google Patents

一种视频流媒体业务的体验质量评估方法 Download PDF

Info

Publication number
CN105430383A
CN105430383A CN201510897231.1A CN201510897231A CN105430383A CN 105430383 A CN105430383 A CN 105430383A CN 201510897231 A CN201510897231 A CN 201510897231A CN 105430383 A CN105430383 A CN 105430383A
Authority
CN
China
Prior art keywords
parameter
video stream
video
quality
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510897231.1A
Other languages
English (en)
Inventor
黄远丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Original Assignee
Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd filed Critical Zhuhai Power Supply Bureau of Guangdong Power Grid Co Ltd
Priority to CN201510897231.1A priority Critical patent/CN105430383A/zh
Publication of CN105430383A publication Critical patent/CN105430383A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种视频流媒体业务的体验质量评估方法。该方法包括:获取原始视频流的时间复杂度参数TI,以及所述视频流经过压缩后的图像显示质量参数;获取压缩所述视频流时采用的比特率;获取经过网络传输后,所述视频流解压之后的丢包率;利用神经网络构建体验质量评估模型,将所述时间复杂度参数TI、图像显示质量参数、比特率以及丢包率作为所述模型的输入,输出体验质量的平均意见值MOS;本发明提供的方法综合了压缩编码以及网络传输对视频流的显示质量影响的因素,提高了业务体验质量评估模型评估的准确性,使评估结果更加接近用户实际的体验结果。

Description

一种视频流媒体业务的体验质量评估方法
技术领域
本发明涉及流媒体技术领域,具体涉及一种视频流媒体业务的体验质量评估方法。
背景技术
近些年来,基于网络传输的视频流媒体应用逐渐得到了广泛的应用。作为一种典型的端到端业务,视频流媒体业务的体验质量QoE(QualityofExperience)得到了越来越广泛的关注。视频流媒体业务的体验质量QoE是指用户对视频流媒体业务的质量和性能(包括有效性和可用性等方面)的综合主观感受。通过体验质量QoE评分,服务器可以用户对于视频业务质量和性能综合评价来调整视频业务的一些参数配置,从而优化网络。
目前,现有技术中针对视频流媒体业务的体验质量QoE的评估方法大致有几类方案,具体如下说明:
第一种方案为:一种对等网络(P2P)流媒体技术领域。主要通过三个模块完成:移动P2P(MP2P)流媒体服务器、QoE评测模块以及策略服务器。该方案的优点是能够根据移动网络环境及用户状态信息的实时变化对业务QoE策略进行动态管理,满足用户对业务内容和业务质量等级要求的实时变更。
第二种方案为:一种在移动网络环境下保障移动P2P(MP2P)流媒体业务体验质量QoE的方法,主要通过两步完成:第一,进行策略节点选择和策略缓存管理;第二,需要该业务请求节点与服务节点进行策略数据调度,以获取相关的流媒体数据资源。该方案能够根据移动网络环境的动态变化实时地选择和更新QoE管理策略,可有效应对无线信道质量动态变化、节点移动性等因素对流媒体传输质量的影响。
第三种方案为:一种媒体多径中继传输业务体验质量协同评价系统及方法,主要包括QoE监测与评价管理服务器和QoE监测与评价管理客户端。本方案以QoE监测与评价管理服务器为核心,实现在服务器端的QoE评价可计算模式,有效的降低客户端的计算能力要求,有助于媒体传输中业务QoE计算模式数据库维护。
然而,在视频流媒体应用中压缩编码以及网络传输造成的图像显示质量损伤是影响业务体验质量QoE的重要因素。上述方案均没有考虑到压缩损伤以及网络传输对业务体验质量QoE造成的影响,导致业务体验质量QoE的评估结果不够准确,从而影响服务器对客户体验的判断。
发明内容
本发明要解决的技术问题是:解决现有技术中业务体验质量QoE的评估方法没有考虑到压缩损伤以及网络传输的影响,导致评估结果不准确的问题。
为实现上述的发明目的,本发明提供了一种视频流媒体业务的体验质量评估方法。包括:
获取原始视频流的时间复杂度参数,以及所述视频流经过压缩后的图像显示质量参数;
获取压缩所述视频流时采用的比特率;
获取经过网络传输后,所述视频流解压之后的丢包率;
利用神经网络构建体验质量评估模型,将所述时间复杂度参数、图像显示质量参数、比特率以及丢包率作为所述模型的输入,输出体验质量的平均意见值;
其中,
所述时间复杂度参数,表示所述视频流显示内容变化的剧烈程度;所述图像显示质量参数,表示所述视频流经过压缩后的图像显示质量;所述比特率,表示所述视频流压缩的采样精度;所述丢包率,表示经过网络传输后所述视频流丢失数据包的数量占发送数据包总数量的比率。
其中较优地,所述获取所述视频流经过压缩后的图像显示质量参数,是通过逐帧比较所述原始视频流和压缩后视频流中图像的显著性信息获取的。
其中较优地,所述逐帧比较所述原始视频流和压缩后视频流中视频图像的显著性信息,是通过下式进行比较的:
codecSSIM=codecSSIM(x,y)=[l(x,y)]α·[c(x,y)]β
其中,codecSSIM为图像显示质量参数;x代表原始视频流图像,y代表压缩后的视频流图像;α为亮度参数,β为对比度参数;l(x,y)为亮度比较函数,c(x,y)为对比度比较函数。
其中较优地,所述亮度比较函数l(x,y)以及对比度比较函数c(x,y)分别满足下式:
l ( x , y ) = 2 · μ x · μ y + C 1 μ x 2 + μ y 2 + C 1 , C 1 = ( K 1 L ) 2
c ( x , y ) = 2 · σ x · σ y + C 2 σ x 2 + σ y 2 + C 2 , C 2 = ( K 2 L ) 2
其中,L为像素值的动态变化率;K1、K2为调节系数,且0<K1<1,0<K2<1;μx为原始视频流图像亮度估计值,μy为压缩后的视频流图像的亮度估计值;σx分别为原始视频流图像对比度估计值,σy压缩后的视频流图像的对比度估计值。
其中较优地,所述方法还包括获取所述压缩后的视频流经过网络传输后终端接收到的终端图像显示质量参数,所述终端图像显示质量参数是通过下式得到的:
transSSIM=transSSIM(x,y)=[l(x,y)]α·[c(x,y)]β
其中,transSSIM为终端图像显示质量参数;x代表原始视频流图像,y代表压缩后的视频流图像;α为亮度参数,β为对比度参数;l(x,y)为亮度比较函数,c(x,y)为对比度比较函数。
其中较优地,所述方法还包括根据所述图像显示质量参数和终端图像显示质量参数,获取反应图像质量波动程度的波动参数,所述波动参数是通过下式得到的:
dSSIM=codecSSIM-transSSIM
其中,dSSIM为波动参数;codecSSIM为图像显示质量参数;transSSIM为终端图像显示质量参数。
其中较优地,所述将时间复杂度参数、图像显示质量参数、比特率以及丢包率代入神经网络中,
是将所述时间复杂度参数、图像显示质量参数、比特率以及丢包率作为输入层节点代入基于反向传播网络算法的神经网络中。
其中较优地,所述基于反向传播网络算法的神经网络还包括隐含层节点,所述隐含层节点的个数是通过下式来确定的:
nhidden=2nin+1
其中,nhidden为隐层节点个数;nin为输入层节点个数。
本发明提供了一种视频流媒体业务的体验质量评估方法。该方法通过将时间复杂度参数、图像显示质量参数、比特率以及丢包率作为业务体验质量评估模型的评估参数,使模型在评估用户体验时,综合了压缩编码以及网络传输对视频流质量的影响因素,提高了业务体验质量评估的准确性,使评估结果更加接近用户实际的体验结果。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明第一实施例提供的视频流媒体业务的体验质量评估方法流程图;
图2是本发明第一实施例提供的三层前馈BP神经网络的拓扑结构示意图;
图3是本发明第一实施例提供的BP神经网络隐层节点输出变化曲线示意图;
图4是本发明第一实施例提供的压缩编码后视频流的图像显示质量参数codecSSIM示意图;
图5是本发明第一实施例提供的“hall”视频序列的波动参数dSSIM示意图;
图6是本发明第二实施例提供的视频流“hall”视频序列用户主观测试结果平均意见值MOS值示意图;
图7是本发明第二实施例提供的BP神经网络训练样本评估结果示意图;
图8是本发明第二实施例提供的BP神经网络第一组非训练样本评估结果示意图;
图9是本发明第二实施例提供的BP神经网络第二组非训练样本评估结果示意图;
图10是本发明第二实施例提供的BP神经网络所有样本评估结果示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例一
本实施例提供一种视频流媒体业务的体验质量评估方法。如图1所示,该方法包括:
S101、获取原始视频流的时间复杂度参数,获取压缩后的视频流图像显示质量参数,将时间复杂度参数以及图像显示质量参数加入到压缩后的视频数据流中。步骤S101中的子步骤具体说明如下:
S1011、获取原始视频流的时间复杂度参数。
时间复杂度参数TI(TemporalperceptualInformation)是在ITU-RBT.1788协议中定义的,用于表示视频流显示内容变化的剧烈程度。在经过编码的视频流中,视频显示内容变化的剧烈程度对视频图像的压缩损伤也会产生影响,因此时间复杂度参数TI也是本发明模型需要考虑的参数之一。由于获取视频流数据的时间复杂度的方法在现有技术中已经很成熟,为节约篇幅,在此不再赘述。
S1012、对原始视频流进行压缩编码。
通常在视频流业务的内容分发之前,业务提供商会针对传输网络的情况,通过编码器对原始视频文件进行采样和编码,生成适合在网络中传输的视频流数据。在压缩的过程中,原始显示画面的精度会随之下降。因此,相对原始的视频文件,显示画面的质量会出现不同程度的损伤。视频流媒体数据的比特率bitrate能够反映在对原始视频数据进行压缩过程中的采样精度。因此,尽管更高的比特率能够保证更好的视频显示质量,但是为了适应传输网络性能的限制,在视频流压缩编码时,通常需要限制视频流数据的比特率bitrate,保证终端能够流畅的接收视频流数据。
S1013、获取压缩后的视频流图像显示质量参数。
图像显示质量参数表示视频流经过压缩后的图像显示质量。本实施例中,提供了一种视频图像质量评估的全参考方法SSIM(structuralsimilarity)对视频数据压缩损伤进行了定量分析,该方法通过逐帧比较原始视频流和压缩后的视频流的视频图像中的显著性信息,来反映图像质量的损伤情况。经过SSIM方法获得的测量结果通过0~1之间的数值来反映相对于原始视频画面的压缩后图像显示质量。
定义codecSSIM来反应经过压缩编码后的视频流数据的SSIM评分,也即图像显示质量参数,该参数反应了经过压缩编码后的视频流数据的图像显示质量。图像显示质量参数的计算方法如式(1)所示:
codecSSIM=codecSSIM(x,y)=[l(x,y)]α·[c(x,y)]β(1)
其中,codecSSIM为图像显示质量参数,描述了压缩后失真视频流信号与原始视频流信号之间相似性,作为压缩失真度度量;x代表原始视频流图像,y代表压缩后的视频流图像;α为亮度参数,β为对比度参数。
此外,式(1)中的l(x,y)为亮度比较函数,c(x,y)为对比度比较函数,其计算方法分别如式(2)以及式(3)所示:
l ( x , y ) = 2 &CenterDot; &mu; x &CenterDot; &mu; y + C 1 &mu; x 2 + &mu; y 2 + C 1 , C 1 = ( K 1 L ) 2 - - - ( 2 )
c ( x , y ) = 2 &CenterDot; &sigma; x &CenterDot; &sigma; y + C 2 &sigma; x 2 + &sigma; y 2 + C 2 , C 2 = ( K 2 L ) 2 - - - ( 3 )
其中,L为原始视频流图像或压缩后的视频流图像的像素值的动态变化率,为像素值发生变化的数量与像素总数之比,优选地可根据实际视频数据确定;K1、K2为调节系数,且0<K1<1,0<K2<1,优选地可由人为自行设定;μx、μy分别为原始视频流图像和压缩后的视频流图像的亮度估计值,由亮度均值计算;σx、σy分别为原始视频流图像和压缩后的视频流图像的对比度估计值,由对比度标准方差计算。
S1014、将时间复杂度参数以及图像显示质量参数加入到压缩后的视频数据流中。
需要说明的是,在本实施例提供的模型建立方法中,作为输入参数的TI指标和codecSSIM参数是不能够通过终端独立获取的。这两个客观参数需要服务器端进行计算获取并经过网络和视频流数据同时传输给用户终端。在视频流数据进行播放的过程中,时间复杂度参数TI和codecSSIM参数并不是频繁变化的,因此服务器并不需要始终向终端传输这两个参数。
如图1所示,对原始视频序列进行压缩编码前,服务器可以计算出视频流的时间复杂度参数TI。同时,通过使用SSIM评估方法能够计算压缩编码后即将传输的视频流数据在压缩编码过程中产生的图像显示损伤,得到这个视频流数据的图像显示质量参数codecSSIM。通过将图像显示质量参数codecSSIM以及时间复杂度参数TI加入视频流这一进程,服务器可以判断当前计算得出的图像显示质量参数codecSSIM以及时间复杂度参数TI与上次发送到用户端时这些参数的变化情况。当对应参数的变化过大时,表示客户端用于评估神经网络的输入参数已经需要更新了,这时服务器端向用户终端发送更新后的客观参数。
S102、通过网络将压缩编码后的视频流传输到终端。
S103、获取压缩后的视频流的比特率。其中,传输到终端的视频流比特率与S1012步骤中对原始视频流压缩的比特率相同。
再将终端接收到的压缩后的视频流进行解压缩以供终端用户观看。终端对视频流数据进行解码的同时,能够计算出用于评估神经网络的输入参数比特率bitrate和丢包率vPLR。其中,丢包率vPLR为经过网络传输后视频流丢失的数据包的数量与发送数据包总数量的比值。
S104、利用神经网络构建体验质量评估模型。将时间复杂度参数、图像显示质量参数、比特率以及丢包率输入到神经网络中,输出体验质量平均意见值。
本实施例提供的一种面向视频流媒体应用的业务体验质量QoE评估方法包含一个建立一个用于评估的神经网络。神经网络的输入为时间复杂度参数TI、图像显示质量参数codecSSIM、比特率bitrate以及丢包率vPLR四个参数,输出为体验质量平均意见值MOS值。MOS值是以数字化的形式具体体现用户的体验质量QoE的一个数值,它是一个0-5之间数值,0分代表最差的质量,5分为最高分。在实际情况下,MOS值为不同用户对视频质量的主观感受进行打分的平均值。本实施例中通过基于BP神经网络的方法建立的体验质量评估模型可以模拟用户真实体验得到的MOS值,从而为服务器通过MOS值调整流媒体的压缩方案和传输通道质量提供参考。
其中较优地,本实施例是基于反向传播神经网络,也即BP神经网络(BackPropagation)来建立业务体验质量评估模型的。其中,如图2所示输入层节点为S101至S103步骤获得的时间复杂度参数TI、图像显示质量参数codecSSIM、比特率bitrate以及丢包率vPLR;输出层节点为平均意见值MOS值(MeanOpinionScore)。关于图2中隐含层节点个数的确定,理论上没有明确的规定,往往是需要根据设计者的经验和多次实验来确定,并且与问题所要求的学习误差、输入单元数目和输出单元数目都有着直接关系。本实施例确定隐层节点的方法如式(4)所示:
nhidden=2nin+1(4)
其中,nhidden为隐层节点个数;nin为输入层节点个数。
在确立了BP神经网络中的各个节点之后,BP神经网络学习过程具体说明如下:
(1)前向传播过程
a)BP神经网络输入层的输入与输出关系如式(5)所示:
o1i=xi(5)
其中,xi为输入层节点i的输入值;o1i为输入层节点i的输出值。
b)隐层的输入与输出如式(6)、(7)所示:
n e t 1 j = &Sigma; i = 1 n &omega; i j o 1 i - &theta; j , j = 1 , 2 , ... , p - - - ( 6 )
o 2 j - f 1 ( n e t 1 j ) = 1 1 + e - n e t 1 j - - - ( 7 )
其中,net1j为隐层节点j的输入值;f1为隐层节点的传输函数,取对数-S型函数;ωij为输入层第i个节点与隐层第j个节点的连接权值;θj为隐层第j个节点的阈值;n为输入层节点数;p为隐层节点总数,o2j为隐层节点j的输出值,其变化曲线如见图3所示,其中o2j变化曲线的坡度和位置可以通过调节ωij和θj进行调整。
c)输出层的输入与输出如式(8)、(9)所示:
n e t 2 t = &Sigma; j = 1 p &omega; j t o 2 j - &theta; t , t = 1 , 2 , ... , q - - - ( 8 )
o 3 t - f 2 ( n e t 2 t ) = 0 , n e t 2 t &le; 0 1 , n e t 2 t > 0 - - - ( 9 )
其中,net2t为输出层节点t的输入值,由隐层节点输出值o2j经式(8)计算得到;f2为输出层的传输函数,取硬极限函数;为隐层第j个节点与输出层第t个节点的连接权值;θt为输出层第t个节点的阈值;q为输出层节点总数,o3t为输出层节点q的输出值,o3t=0表示无故障,o3t=1表示故障。
(2)反向传播过程
反向传播过程的基本思想是:o3t为输出层的节点t的实际计算输出,通过o3t与所期望的输出dt之间的误差反向传播来修改各权值。误差函数定义如式(10)所示:
E = 1 2 &Sigma; q ( d t - o 3 t ) 2 - - - ( 10 )
其中,E为误差值;dt为输出层节点t的期望输出值;q为输出节点总数;o3t为输出层节点t实际计算输出。
对于每一个训练样例,网络的权值沿E函数梯度方向下降修正,每个权值ωij的变化量Δωij如式(11)所示:
&Delta;&omega; i j = - &eta; &part; E &part; &omega; i j = &eta;&delta; i x i j - - - ( 11 )
其中,Δωij为权值ωij的变化量;η为学习速率;xij为从节点i到节点j的输入。
隐层和输出层的节点的权值调整量中的δi并不相同,因此需要分别计算。根据式(11),输出层与隐层之间的权值变化量△ω'jt如式(12)、(13)所示:
△ω'jt=ηδto2j(12)
δt=o3t(1-o3t)(dt-o3t)(13)
输入层与隐层之间的权值同样需要分别计算,同样根据式(11),输入层与隐层之间的权值变化量△ω'ij
△ω'ij=ηδjo1i(16)
&delta; j = o 2 t ( 1 - o 2 t ) &Sigma; t &Delta;&omega; j t &prime; &delta; t - - - ( 17 )
本实施例中通过利用BP神经网络构建体验质量评估QoE模型,将时间复杂度参数、图像显示质量参数、比特率以及丢包率输入到BP神经网络中,输出体验质量平均意见值MOS值,从而模拟了用户实际观看视频为视频打分的MOS值,为服务器通过MOS值调整流媒体的压缩方案和传输通道质量提供参考,以提升用户的观看质量。
实施例二
本实施例提供的视频流媒体业务的体验质量评估模型的建立方法与实施例一中的方法基本相同,其区别本实施例中利用实施例一提供的评估方法对四个特定的视频流进行了体验质量评估,并与真实用户的评估结果进行了对比。本实施例提供的方法具体说明如下:
四个原始的视频文件分别为foreman序列、hall序列、mobile序列以及mother序列。首选获取这四个序列的时间复杂度参数TI,各个序列的时间复杂度参数TI的值如表1所示:
表1原始视频序列的时间复杂度参数TI
获取时间复杂度参数TI之后对四个序列进行压缩编码。优选地,采用H.264压缩编码技术进行压缩编码,表2中列出经过H.264压缩编码后视频流数据的相关参数。经过编码之后每种原始视频流序列将得到具有三种不同比特率bitrate的视频流数据,其比特率bitrate优选为200kbps,500kbps,1000kbps。
表2H.264压缩编码参数
在四个原始视频流序列压缩编码之后,通过压缩后的视频流以及原始视频流逐帧对比计算,得到每种序列在不同的采样比特率bitrate下的图像显示质量参数codecSSIM,参数结果柱状图如图4所示。从图4所示的图中能够发现针对同一个原始视频序列的一组视频流中,随着比特率的升高,视频流的显示质量参数codecSSIM值逐渐升高。这种情况说明了具有较高比特率的视频流具有较高的显示质量。同时,三种比特率bitrate视频的codecSSIM值都没有达到1,表明了视频流的图像显示质量的损伤是一直存在的。具有较高比特率的视频流具有较高的显示质量,而在低比特率的视频流中产生了更大的图像显示损伤。另一方面,随着原始视频序列时间复杂度TI的升高,在压缩编码中产生的损伤逐渐增多。并且,随着视频流比特率的降低,这种损伤的影响会逐渐变大。在图4中,具有较低时间复杂度TI的视频序列“mother”,在经过压缩编码后,整体视频质量还能够维持在一个相对较高的水品(codecSSIM>0.95),并且对应的具有三种比特率的视频流之间图像显示质量的下降幅度不大。
在获取了四个视频序列不同比特率的时间复杂度参数TI以及图像显示参数codecSSIM之后,将这两类参数加入到压缩编码生成的12个具有不同比特率的视频流中,并通过网络传输给终端。
终端在接收到视频流之后,获取四个视频流的采样比特率bitrate。之后再对视频流进行解压,解压的同时获取每种视频流的丢包率vPLR。在本实施例中,将视频流中数据帧在网络中完整的传输所需要使用的网络数据包的数量定义为Ci(i=I,P,B)。在经过H.264压缩编码的视频流中,帧间相关性导致了各帧的Ci的不同。作为整个图像组参考帧的I帧通常具有更大的Ci。同时,P帧作为B帧的参考帧,通常也具有比B帧更大的Ci。另外,视频的时间复杂度参数TI也是一个影响各帧的Ci的因素。当一段视频具有较高时间复杂度参数TI时,说明在这段视频中,相邻显示图像间的差异更大,能够从参考帧获取的可供参考的信息量更少,因此非参考帧需要更多的数据用来显示图像。表3示出了视频“hall”序列对应的一组视频流中各类型帧Ci的平均值。
表3视频“hall”中各类型帧Ci平均值
在本实施例中,利用用户终端播放通过仿真网络传输的经过压缩编码的视频流样本,来分析网络传输对视频播放的图像显示质量产生的影响,在经过仿真网络传输后,终端接收到的有效视频流数据包丢包率vPLR以1%为步长进行增长,从1%增幅到10%,以此来体现用户终端接收到的可用于图像显示的有效数据包的修饰对图像显示质量的影响。
其中较优地,为了进一步具体的体现丢包率对图像显示质量的影响,在本发明中,定义transSSIM为经过网络传输后终端接收到的视频流的终端图像显示质量参数,以数字的方式具体表现丢包率对图像显示质量的影响,终端图像显示质量参数transSSIM具体如式(18)所示:
transSSIM=transSSIM(x,y)=[l(x,y)]α·[c(x,y)]β(18)
其中,transSSIM为终端图像显示质量参数,描述经过网络传输后失真信号与传输前信号之间的相似性,作为压缩失真度度量;x、y分别代表原始视频流图像和压缩后的视频流图像;α、β分别为亮度、对比度参数,优选地由人为设定;l(x,y)为亮度比较函数,c(x,y)为对比度比较函数,其计算方法分别如实施例一种式(2)、(3)所示。
在视频播放过程中,用户在观看之前对视频的图像显示质量是不了解的,因此这种显示质量上的波动是影响用户主观体验质量的一个重要因素。本发明定义dSSIM为播放过程中图像质量出现波动的程度,具体如式(19)所示:
dSSIM=codecSSIM-transSSIM(19)
图5示出了视频“hall”对应的三个视频流在vPLR=3%的dSSIM值。从图5中可以发现在经过仿真网络传输后具有传输损伤的样本中,1000kbps的视频流的dSSIM值的最大值和平均值在三个视频流样本中是最高的。这说明1000kbps的视频样本在播放的过程中,由于网络传输造成的图像显示质量的下降程度是最大的。这种情况是由两方面原因造成的。一方面,1000kbps的视频流在传输前具有更好的图像显示质量,因此当出现传输损伤时,图像显示损伤更加明显;另一方面,在1000kbps的视频流样本中,视频帧的数据量更大,需要更多的网络数据包负载进行网络传输,因此网络传输对视频帧数据完整性的影响更大。
在获取了时间复杂度参数TI、图像显示质量参数codecSSIM、比特率bitrate以及丢包率vPLR代入BP神经网络中,得到体验质量评估模型并输出评估得到的体验质量平均意见值MOS值。其中,BP神经网络中时间复杂度参数TI、图像显示质量参数codecSSIM、比特率bitrate以及丢包率vPLR的配置如表4所示。
表4BP神经网络的训练参数
为了验证实施例一提供的评估方法的评估性能,本实施例还提供了一组单刺激的主观测试,获取真实情况下用户对观看的视频流样本的MOS评分,从而与本实施例的方法的评估结果作对比。在主观测试中,每名用户会观看经过网络传输后生成的相同的120个视频样本并给出平均意见值MOS值评分。在主观测试过程中,测试视频是随机排列的,以避免测试用户观看样本的顺序对给出的平均意见值MOS值评分产生影响。
图6示出了“hall”视频序列的用户主观测试结果。通过图6可以发现,随着丢包率vPLR的增高,传输损伤增大,在比特率高的视频流样本中,平均意见值MOS值评分下降的速度更快。当丢包率vPLR小于3%时,用户的体验质量主要受到视频流编码过程中产生的损伤的影响,此时比特率200kbps的视频由于在压缩编码过程中收到的损伤最为严重,因此其平均意见值MOS值最低。通过codecSSIM来反映这种损伤的程度。随着丢包率vPLR继续的增大,网络传输过程造成的图像显示质量损伤变成了对平均意见值MOS值评分产生影响的主要因素。当丢包率vPLR大于3%后,1000kbps的视频流样本的平均意见值MOS值评分已经变成最低的了。因此证明了丢包率vPLR对于视频流的图像显示质量影响很大,评估模型中综合丢包率vPLR的因素可以增加评估模型评估结果的准确性。
将BP神经网络中的样本分为训练样本以及非训练样本,非训练样本又分为第一组非训练样本以及第二组非训练样本。通过训练样本、第一组非训练样本、第二组非训练样本以及所有样本对四个视频流序列进行评估得到的结果分别如图7-图10所示。其中,图7-图10中的直线表示基准值,也即用户对于其观看视频的真实平均意见值MOS值。直线周围的点表示利用本发明提供的方法建立评估模型得到的评估值。从图7-图10中可以看出评估值相对于基准值的偏差程度较小,评估精度较高,因此利用本发明提供的方法建立的无参考评估模型可以达到理想的评估效果,可以较为真实的反应用户真实的观看情况,为服务器对视频处理的决策提供了较为可靠的依据。
综上所述,本发明提供了一种视频流媒体业务的体验质量评估方法。该方法通过将时间复杂度参数、图像显示质量参数、比特率以及丢包率作为业务体验质量评估模型的评估参数,使模型在评估用户体验时,综合了压缩编码以及网络传输对视频流质量的影响因素,提高了业务体验质量评估的准确性,使评估结果更加接近用户实际的体验结果。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (8)

1.一种视频流媒体业务的体验质量评估方法,其特征在于,包括:
获取原始视频流的时间复杂度参数,以及所述视频流经过压缩后的图像显示质量参数;
获取压缩所述视频流时采用的比特率;
获取经过网络传输后,所述视频流解压之后的丢包率;
利用神经网络构建体验质量评估模型,将所述时间复杂度参数、图像显示质量参数、比特率以及丢包率作为所述模型的输入,输出体验质量的平均意见值;
其中,
所述时间复杂度参数,表示所述视频流显示内容变化的剧烈程度;所述图像显示质量参数,表示所述视频流经过压缩后的图像显示质量;所述比特率,表示所述视频流压缩的采样精度;所述丢包率,表示经过网络传输后所述视频流丢失数据包的数量占发送数据包总数量的比率。
2.如权利要求1所述的建立方法,其特征在于,所述获取所述视频流经过压缩后的图像显示质量参数,是通过逐帧比较所述原始视频流和压缩后视频流中图像的显著性信息获取的。
3.如权利要求2所述的建立方法,其特征在于,所述逐帧比较所述原始视频流和压缩后视频流中视频图像的显著性信息,是通过下式进行比较的:
codecSSIM=codecSSIM(x,y)=[l(x,y)]α·[c(x,y)]β
其中,codecSSIM为图像显示质量参数;x代表原始视频流图像,y代表压缩后的视频流图像;α为亮度参数,β为对比度参数;l(x,y)为亮度比较函数,c(x,y)为对比度比较函数。
4.如权利要求3所述的建立方法,其特征在于,所述亮度比较函数l(x,y)以及对比度比较函数c(x,y)分别满足下式:
l ( x , y ) = 2 &CenterDot; &mu; x &CenterDot; &mu; y + C 1 &mu; x 2 + &mu; y 2 + C 1 , C 1 = ( K 1 L ) 2
c ( x , y ) = 2 &CenterDot; &sigma; x &CenterDot; &sigma; y + C 2 &sigma; x 2 + &sigma; y 2 + C 2 , C 2 = ( K 2 L ) 2
其中,L为像素值的动态变化率;K1、K2为调节系数,且0<K1<1,0<K2<1;μx为原始视频流图像亮度估计值,μy为压缩后的视频流图像的亮度估计值;σx分别为原始视频流图像对比度估计值,σy压缩后的视频流图像的对比度估计值。
5.如权利要求4所述的建立方法,其特征在于,所述方法还包括获取所述压缩后的视频流经过网络传输后终端接收到的终端图像显示质量参数,所述终端图像显示质量参数是通过下式得到的:
transSSIM=transSSIM(x,y)=[l(x,y)]α·[c(x,y)]β
其中,transSSIM为终端图像显示质量参数;x代表原始视频流图像,y代表压缩后的视频流图像;α为亮度参数,β为对比度参数;l(x,y)为亮度比较函数,c(x,y)为对比度比较函数。
6.如权利要求5所述的建立方法,其特征在于,所述方法还包括根据所述图像显示质量参数和终端图像显示质量参数,获取反应图像质量波动程度的波动参数,所述波动参数是通过下式得到的:
dSSIM=codecSSIM-transSSIM
其中,dSSIM为波动参数;codecSSIM为图像显示质量参数;transSSIM为终端图像显示质量参数。
7.如权利要求1所述的建立方法,其特征在于,所述将时间复杂度参数、图像显示质量参数、比特率以及丢包率代入神经网络中,
是将所述时间复杂度参数、图像显示质量参数、比特率以及丢包率作为输入层节点代入基于反向传播网络算法的神经网络中。
8.如权利要求7所述的建立方法,其特征在于,所述基于反向传播网络算法的神经网络还包括隐含层节点,所述隐含层节点的个数是通过下式来确定的:
nhidden=2nin+1
其中,nhidden为隐层节点个数;nin为输入层节点个数。
CN201510897231.1A 2015-12-07 2015-12-07 一种视频流媒体业务的体验质量评估方法 Pending CN105430383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510897231.1A CN105430383A (zh) 2015-12-07 2015-12-07 一种视频流媒体业务的体验质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510897231.1A CN105430383A (zh) 2015-12-07 2015-12-07 一种视频流媒体业务的体验质量评估方法

Publications (1)

Publication Number Publication Date
CN105430383A true CN105430383A (zh) 2016-03-23

Family

ID=55508280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510897231.1A Pending CN105430383A (zh) 2015-12-07 2015-12-07 一种视频流媒体业务的体验质量评估方法

Country Status (1)

Country Link
CN (1) CN105430383A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法
CN106534976A (zh) * 2016-10-12 2017-03-22 南京邮电大学 Iptv视频业务中用户满意度的智能化预测方法
CN106998322A (zh) * 2017-02-20 2017-08-01 南京邮电大学 一种使用视频业务的平均意见分均值特征的流分类方法
CN107027023A (zh) * 2017-04-24 2017-08-08 北京理工大学 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN107105224A (zh) * 2017-03-24 2017-08-29 深圳信息职业技术学院 一种视频体验质量评估的方法、装置与系统
CN107483511A (zh) * 2017-10-10 2017-12-15 山东大学 一种基于软件定义网络SDN的流媒体QoE控制系统
CN107920279A (zh) * 2016-10-08 2018-04-17 华为技术有限公司 评估视频质量的方法和设备
CN109005402A (zh) * 2017-06-07 2018-12-14 中国移动通信集团甘肃有限公司 一种视频的评估方法及装置
CN109413413A (zh) * 2018-09-26 2019-03-01 央视国际网络无锡有限公司 视频质量评价方法及装置
CN110324613A (zh) * 2019-07-30 2019-10-11 华南理工大学 一种面向视频传输质量的深度学习图像评价方法
CN111314335A (zh) * 2020-02-10 2020-06-19 腾讯科技(深圳)有限公司 数据传输方法、装置、终端、存储介质和系统
CN111314690A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频用户感知评估方法和装置
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置
CN113938684A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 一种轻量级端云协同的图像编码传输方法及系统
CN115378919A (zh) * 2022-10-26 2022-11-22 山东省计算中心(国家超级计算济南中心) 一种海洋媒体自动唤醒传输优化方法、系统、介质及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448176A (zh) * 2008-12-25 2009-06-03 华东师范大学 一种基于视频特征的流视频质量评估方法
CN102170582A (zh) * 2011-05-20 2011-08-31 同济大学 基于QoS的视音频体验质量评测平台及评测方法
CN102223565A (zh) * 2010-04-15 2011-10-19 上海未来宽带技术及应用工程研究中心有限公司 一种基于视频内容特征的流媒体视频质量评估方法
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
CN103269459A (zh) * 2013-05-22 2013-08-28 中国科学院声学研究所 针对流媒体业务的用户体验质量的监测系统
CN103281555A (zh) * 2013-04-24 2013-09-04 北京邮电大学 基于半参考评估的视频流业务QoE客观评估方法
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
CN104079925A (zh) * 2014-07-03 2014-10-01 中国传媒大学 基于视觉感知特性的超高清视频图像质量客观评价方法
CN104853175A (zh) * 2015-04-24 2015-08-19 张艳 一种新的合成虚拟视点客观质量评价方法
CN104902218A (zh) * 2014-03-05 2015-09-09 王慈 广域安防系统中视频监控子网性能监测系统及方法
CN105049930A (zh) * 2015-08-14 2015-11-11 浙江大学 基于支持向量机的无线视频流业务QoE评估方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101448176A (zh) * 2008-12-25 2009-06-03 华东师范大学 一种基于视频特征的流视频质量评估方法
CN102223565A (zh) * 2010-04-15 2011-10-19 上海未来宽带技术及应用工程研究中心有限公司 一种基于视频内容特征的流媒体视频质量评估方法
CN102170582A (zh) * 2011-05-20 2011-08-31 同济大学 基于QoS的视音频体验质量评测平台及评测方法
CN102946613A (zh) * 2012-10-10 2013-02-27 北京邮电大学 一种用于测量用户业务体验质量的方法
CN103281555A (zh) * 2013-04-24 2013-09-04 北京邮电大学 基于半参考评估的视频流业务QoE客观评估方法
CN103269459A (zh) * 2013-05-22 2013-08-28 中国科学院声学研究所 针对流媒体业务的用户体验质量的监测系统
CN103400145A (zh) * 2013-07-19 2013-11-20 北京理工大学 基于线索神经网络的语音-视觉融合情感识别方法
CN104902218A (zh) * 2014-03-05 2015-09-09 王慈 广域安防系统中视频监控子网性能监测系统及方法
CN104079925A (zh) * 2014-07-03 2014-10-01 中国传媒大学 基于视觉感知特性的超高清视频图像质量客观评价方法
CN104853175A (zh) * 2015-04-24 2015-08-19 张艳 一种新的合成虚拟视点客观质量评价方法
CN105049930A (zh) * 2015-08-14 2015-11-11 浙江大学 基于支持向量机的无线视频流业务QoE评估方法

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10869088B2 (en) 2016-10-08 2020-12-15 Huawei Technologies Co., Ltd. Video quality assessment method and device
CN107920279A (zh) * 2016-10-08 2018-04-17 华为技术有限公司 评估视频质量的方法和设备
US11265601B2 (en) 2016-10-08 2022-03-01 Huawei Technologies Co., Ltd. Video quality assessment method and device
CN106534976A (zh) * 2016-10-12 2017-03-22 南京邮电大学 Iptv视频业务中用户满意度的智能化预测方法
CN106534976B (zh) * 2016-10-12 2019-11-08 南京邮电大学 Iptv视频业务中用户满意度的智能化预测方法
CN106412572A (zh) * 2016-10-14 2017-02-15 中国传媒大学 一种基于运动特性的视频流编码质量评价方法
CN106412572B (zh) * 2016-10-14 2018-02-09 中国传媒大学 一种基于运动特性的视频流编码质量评价方法
CN106998322A (zh) * 2017-02-20 2017-08-01 南京邮电大学 一种使用视频业务的平均意见分均值特征的流分类方法
CN106998322B (zh) * 2017-02-20 2020-04-14 南京邮电大学 一种使用视频业务的平均意见分均值特征的流分类方法
CN107105224A (zh) * 2017-03-24 2017-08-29 深圳信息职业技术学院 一种视频体验质量评估的方法、装置与系统
CN107027023A (zh) * 2017-04-24 2017-08-08 北京理工大学 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN107027023B (zh) * 2017-04-24 2018-07-13 北京理工大学 基于神经网络的VoIP无参考视频通信质量客观评价方法
CN109005402A (zh) * 2017-06-07 2018-12-14 中国移动通信集团甘肃有限公司 一种视频的评估方法及装置
CN107483511A (zh) * 2017-10-10 2017-12-15 山东大学 一种基于软件定义网络SDN的流媒体QoE控制系统
CN109413413A (zh) * 2018-09-26 2019-03-01 央视国际网络无锡有限公司 视频质量评价方法及装置
CN109413413B (zh) * 2018-09-26 2020-06-05 央视国际网络无锡有限公司 视频质量评价方法及装置
CN111314690A (zh) * 2018-12-11 2020-06-19 中国移动通信集团广东有限公司 一种视频用户感知评估方法和装置
CN111953959A (zh) * 2019-05-17 2020-11-17 华为技术有限公司 Vr视频质量评估方法及装置
CN110324613A (zh) * 2019-07-30 2019-10-11 华南理工大学 一种面向视频传输质量的深度学习图像评价方法
CN111314335A (zh) * 2020-02-10 2020-06-19 腾讯科技(深圳)有限公司 数据传输方法、装置、终端、存储介质和系统
CN113938684A (zh) * 2021-09-26 2022-01-14 中国科学院计算技术研究所 一种轻量级端云协同的图像编码传输方法及系统
CN115378919A (zh) * 2022-10-26 2022-11-22 山东省计算中心(国家超级计算济南中心) 一种海洋媒体自动唤醒传输优化方法、系统、介质及设备

Similar Documents

Publication Publication Date Title
CN105430383A (zh) 一种视频流媒体业务的体验质量评估方法
CN101523916B (zh) 确定视频质量的方法
EP2018068B1 (en) Video quality estimating device, method, and program
CN100588271C (zh) 基于分组度量和图像度量两者测量视频质量的系统和方法
CN101911714B (zh) 视频质量估计设备、方法
CN105049930B (zh) 基于支持向量机的无线视频流业务QoE评估方法
CN110268717A (zh) 使用播放统计信息对多表示编码的比特率优化
US7965203B2 (en) Video quality estimation apparatus, method, and program
CN106791927A (zh) 一种基于深度学习的视频增强与传输方法
US11689433B2 (en) Method and scoring node for estimating a user&#39;s quality of experience for a delivered service
CN103458264B (zh) 一种媒体质量的评估方法及装置
CN102904773B (zh) 一种网络业务质量的测量方法和装置
US20110222669A1 (en) Method for estimating the quality of experience of a user in respect of audio and/or video contents distributed through telecommunications networks
CN103634594A (zh) 一种获得视频编码压缩质量的方法及装置
CN104023232A (zh) 基于层次分析和多元线性回归的移动视频质量评估方法
Aguiar et al. Video quality estimator for wireless mesh networks
CN103152599A (zh) 基于有序回归的移动视频业务用户体验质量评估方法
JP2008301026A (ja) 映像品質推定方法、装置、およびプログラム
CN101272575B (zh) 业务支撑能力的测试方法
CN101895787B (zh) 一种视频编码性能主观评价方法及系统
CN104506453B (zh) 一种面向用户体验质量的码率分配方法
Salvador et al. QoE assessment of HTTP adaptive video streaming
CN106792146A (zh) 一种视频业务中数据驱动的用户体验的客观评价方法
CN115314701A (zh) 一种v-pcc编码点云感知质量评估方法
He et al. PNN-based QoE measuring model for video applications over LTE system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323

RJ01 Rejection of invention patent application after publication