CN106792146A - 一种视频业务中数据驱动的用户体验的客观评价方法 - Google Patents

Abstract

本发明公开了一种视频业务中数据驱动的用户体验的客观评价方法，首先找出影响视频业务中的用户体验的因素，确定其中对用户体验影响较大的端到端参数；而后，提取视频编码参数，网络损伤参数和用户终端参数；根据提取的端到端参数，使用基于统计学的方法获得视频业务中用户体验评估模型，得出用户体验的客观计算方法，即，输出客观MOS值。本发明用于解决现有方法中输出的用于评价用户体验的客观MOS值与用户主观MOS值相关度不高且其预测精度和泛化能力弱的问题。采用本发明的方法，不用预先给出待拟和函数，而是根据样本点，寻找一个最优拟和曲面。此外，可以有效地解决主观问题客观化的问题，所获得的客观MOS值与用户主观体验高度一致。

Description

一种视频业务中数据驱动的用户体验的客观评价方法

技术领域

本发明属于观看视频用户体验评价领域，尤其是涉及一种视频业务中数据驱动的用户体验的客观评价方法。

背景技术

交互式网络电视(IPTV)、互联网等中的视频业务的广泛应用与推广，使得人们的生活丰富多彩，但另一方面，服务提供商和网络运营商则更加关心所提供视频服务的质量，即，所观看视频的用户体验究竟如何。但是作为一种相对不成熟的技术，目前还缺乏强有力的质量检测体系来保证这种高质量的服务要求。同时由于用户总量巨大，分布范围广等特点，使得服务提供商无法用统计的手段获取可以反映全网服务质量的可靠信息。而独立的各项参数指标并不能准确的反映不同地区，不同网络终端用户在观看视频时的主观感受。以往对网络服务质量(Quality of Service，简称QoS)的研究是以提高网络性能和整体资源利用率为目的，而当前服务提供商和网络运营商最关注的则是用户的感知质量，即用户的体验。为此，引入用户体验质量(Quality of Experience，简称QoE)来描述用户的体验，但QoE具有强烈的主观特性，往往无法定量衡量和评价，因此如何将该主观问题用客观性的方法进行解决十分关键。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供了一种视频业务中数据驱动的用户体验的客观评价方法。

本发明为解决上述技术问题采用以下技术方案

一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于，具体包含如下步骤：

步骤1，确定视频业务中影响用户体验的端到端参数；

步骤2，提取视频编码参数、网络损伤参数和用户终端参数；

步骤3，根据步骤二提取的相关参数，使用基于统计学方法得到的视频质量评估模型，计算出用户体验的客观MOS值，具体计算公式如下：

V_q＝1+4×f_cod×f_ter×f_plr×f_del×f_jit

其中，V_q代表客观MOS值，f_cod表示视频视频编码阶段对视频质量的影响，即对MOS得分的影响函数，f_ter表示用户终端参数对视频质量的影响函数，f_plr为丢包率对视频质量的影响函数，f_del为延时对视频质量的影响函数，f_jit为抖动对视频质量的影响函数。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，步骤2中，所述视频编码参数包括媒体码率，网络损伤参数包括丢包率、抖动和延时；所述用户终端参数包括机顶盒的CPU使用率和内存使用率。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，在步骤3中，函数f_cod的表达式如下：

其中，自变量Br表示媒体码率，单位为Mbps；c₁，c₂，c₃的取值分别为0.98，0.327和1.52。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，在步骤3中，函数f_plr的表达式如下：

其中，P_plv为丢包率，是指测试中所丢失数据包数量占所发送数据组的比率；函数形式如下：

此式中，Br为码率，单位为Mbps，其中c₄，c₅，c₆的取值分别为13.98，0.042和2.62。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，函数f_del的表达式如下：

其中，T_d为延时，是指一个报文或分组从一个网络的一端传送到另一端所需要的时间，单位为ms；c₇，c₈的取值分别为19460和0.91。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，函数f_jit的表达式如下：

f_jit＝max{1-c₉×jitter，0.01}

其中jitter为抖动，单位为ms，c₉为常数，取值为0.000055。

作为本发明一种视频业务中数据驱动的用户体验的客观评价方法的进一步优选方案，函数f_ter的表达式如下：

f_ter＝max{1-c₁₀×m_cpu-c₁₁×m_mem，0.01}

其中，m_cpu表示CPU使用率，m_mem表示内存使用率，c₁₀，c₁₁的取值分别为0.157和0.043。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.本发明可以完全针对失真视频业务进行客观评估，不考虑任何与参考视频源比照，参考视频失真度等相关问题，即，实现了无参考评价。评价结果与用户主观体验相似程度高；

2.本发明在固定编码器类型后，综合考虑了网络损伤参数、视频视频编码参数以及用户终端参数对视频质量的影响，全面考虑端到端参数对视频质量的影响，使模型预测的视频质量真正接近用户对视频质量的主观体验，有利于及时准确反馈结果，从而帮助服务提供商和网络运营商不断完善视频业务和传输服务；

3.基于统计学的评估模型，可以实现多维特征参数的映射，最全面的体现视频特征。对异常值不敏感，不会因为几个异常值而降低预测的精度。

附图说明

图1是本发明数据驱动的用户体验的客观评价方法流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

步骤1：确定影响用户体验的端到端参数：包含视频编码参数，网络损伤参数和用户终端参数，如图1所示，其中视频编码参数包括媒体码率，网络损伤参数包括丢包率、抖动和延时，用户终端参数包括机顶盒的CPU使用率和内存使用率。

(1)视频编码参数：

用户体验与视频质量密切相关，而视频质量又与视频编码有着密切关系，媒体码率越大，视频质量越高，用户体验越好。

(2)网络损伤参数：

在视频传输过程中的网络状况变化会对用户体验产生不利的影响。丢包率、抖动和延时是影响视频质量最主要的网络损伤参数。

(3)用户终端参数：

用户终端的性能直接决定了视频经过网络传输、解码之后的视频失真程度。往往在一款硬件配置高的用户终端上，能够获得非常好的视频观看体验。影响用户体验的用户终端(如手机，PC，IPTV机顶盒等)的参数有很多，包括CPU和内存等等。其中本发明研究CPU使用率和内存使用率对视频质量的影响。

步骤2：根据提取出的相关参数，带入基于统计学方法得到的视频质量评估模型中，得到客观MOS值公式，即，客观地计算出用户的体验。计算公式如下：

V_q＝1+4×f_cod×f_ter×f_plr×f_del×f_jit (式1)

在此式中，V_q代表客观MOS值，取值范围为1-5，值越大视频质量越好，其中1表示视频质量最差，5表示视频质量最好。f_cod表示视频视频编码阶段对视频质量的影响，即对MOS得分的影响函数，其值域范围是[0,1]；f_ter表示用户终端参数对视频质量的影响函数，值域范围也为[0,1]；除此以外，考虑网络损伤参数(丢包率、延时、抖动)对视频质量的影响，设丢包率对视频质量的影响函数为f_plr，延时对视频质量的影响函数为f_del，抖动对视频质量的影响函数为f_jit，值域范围均为[0,1]。

在(式1)中，各函数的计算过程如下：

(1)函数f_cod的表达式如下：

在上式中，自变量Br表示媒体码率，单位为Mbps；c₁，c₂，c₃为常数，取值分别为0.98，0.327和1.52；

(2)函数f_plr的表达式为：

其中P_plv为丢包率，是指测试中所丢失数据包数量占所发送数据组的比率；函数形式如下：

此式中，Br为码率，单位为Mbps。其中c₄，c₅，c₆为常数，取值分别为13.98，0.042和2.62；

(3)函数f_del的表达式如下：

其中，T_d为延时，是指一个报文或分组从一个网络的一端传送到另一端所需要的时间，单位为ms；c₇,c₈为常数，取值分别为19460和0.91。

(4)函数f_jit的表达式如下：

f_jit＝max{1-c₉×jitter，0.01}，

其中jitter为抖动，单位为ms，c₉为常数，取值为0.000055。f_jit取1-c₉×jitter和0.01之中的最大值。

(5)函数f_ter的表达式如下：

f_ter＝max{1-c₁₀×m_cpu-c₁₁×m_mem，0.01}

其中m_cpu表示CPU使用率，m_mem表示内存使用率，c₁₀，c₁₁的取值分别为0.157和0.043。f_ter取1-c₁₀×m_cpu-c₁₁×m_mem和0.01之中的最大值。

按图1所示流程进行实验，提取视频编码参数，网络损伤参数和用户终端参数，通过采集的实际测试数据，制作实验样本数据。在对各参数进行分析时，绘制各参数与MOS值所对应的分布图，根据最小二乘法和多元线性回归分析，来判断各参数与MOS之间的数学关系，并进行归一化处理，然后计算多元线性回归系数，接着检验回归系数的合理性，并不断调整系数拟合出各参数与视频质量的最优函数模型。例如，由于主观质量评价中选取的视频序列毕竟有限，为了选出最优的模型系数，利用十折交叉验证法确定回归模型系数。轮流使用其中的9组数据做训练样本，其余一个为测试样本。最后对10次得出的预测性能进行比较，选出预测性能最佳的模型系数值。将得到的各参数最优函数模型带入初步公式中，得到最优客观MOS公式，预测视频质量。这样定量地计算出各参数对视频质量影响的权重系数，使得模型更加客观准确。

通过计算机，交换机和WANem软件搭建IPTV视频质量评估实验环境，将端到端参数作为训练样本数据，进行主观视频质量评价。目前使用最广泛的主观评估方法是ITU-T提出的平均意见得分(Mean Opinion Score，MOS)，它将用户的主观感受划分为五个等级，取值从1至5，分别为劣、差、中、良、优。根据ITU-T P.800.2文件采用视频主观评估方法进行人群测试，经过数据分析与整合得到主观MOS值。同时根据相关参数，带入视频质量客观公式，得出视频质量客观评分。采用交叉验证的方法进行模型准确度评估与验证，并通过皮尔森相关系数和斯皮尔曼相关系数分析主客观MOS值评估相似度，检验公式是否可以准确预测视频质量。通过研究发现，本发明的预测结果与主观质量评价结果基本均匀分布在直线两边。由此可以看出，本发明具有较好的预测性能。通过皮尔森相关系数和斯皮尔曼相关系数，本发明的预测结果与主观质量评价结果的相关系数分别为0.727和0.803。

Claims (7)

1.一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于，具体包含如下步骤：

步骤1，确定视频业务中影响用户体验的端到端参数；

步骤2，提取视频编码参数、网络损伤参数和用户终端参数；

步骤3，根据步骤2提取的相关参数，使用基于统计学方法得到的视频质量评估模型，计算出用户体验的客观MOS值，具体计算公式如下：

V_q＝1+4×f_cod×f_ter×f_plr×f_del×f_jit

其中，V_q代表客观MOS值，f_cod表示视频视频编码阶段对视频质量的影响，即对MOS得分的影响函数，f_ter表示用户终端参数对视频质量的影响函数，f_plr为丢包率对视频质量的影响函数，f_del为延时对视频质量的影响函数，f_jit为抖动对视频质量的影响函数。

2.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：步骤2中，所述视频编码参数包括媒体码率，网络损伤参数包括丢包率、抖动和延时；所述用户终端参数包括机顶盒的CPU使用率和内存使用率。

3.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：在步骤3中，函数f_cod的表达式如下：

$f_{cod}=c_1-\frac{c_1}{1+{\left(\frac{Br}{c_2}\right)}^{c_3}}$

其中，自变量Br表示媒体码率，单位为Mbps；c₁，c₂，c₃的取值分别为0.98，0.327和1.52。

4.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：在步骤3中，函数f_plr的表达式如下：

$f_{plr}=\exp (-\frac{P_{plv}}{D_{P_{plv}}})$

其中，P_plv为丢包率，是指测试中所丢失数据包数量占所发送数据组的比率；函数形式如下：

$D_{P_{plv}}=\frac{1}{c_4-\exp (-c_{5}Br+c_6)}$

此式中，Br为码率，单位为Mbps，其中c₄，c₅，c₆的取值分别为13.98，0.042和2.62。

5.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：函数f_del的表达式如下：

$f_{del}=\frac{1}{1+{\left(\frac{T_d}{c_7}\right)}^{c_3}}$

其中，T_d为延时，是指一个报文或分组从一个网络的一端传送到另一端所需要的时间，单位为ms；c₇，c₈的取值分别为19460和0.91。

6.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：函数f_jit的表达式如下：

f_jit＝max{1-c₉×jitter，0.01}

其中jitter为抖动，单位为ms，c₉为常数，取值为0.000055。

7.根据权利要求1所述的一种视频业务中数据驱动的用户体验的客观评价方法，其特征在于：函数f_ter的表达式如下：

f_ter＝max{1-c₁₀×m_cpu-c₁₁×m_mem，0.01}

其中，m_cpu表示CPU使用率，m_mem表示内存使用率，c₁₀，c₁₁的取值分别为0.157和0.043。