CN102685790A - 模拟用户行为的移动流媒体业务感知体验QoE的测评方法 - Google Patents

Abstract

一种模拟用户行为的移动流媒体业务用户感知体验QoE的测评方法：先设置一套把移动流媒体业务的用户感知体验分成业务接入，业务保持和业务完整三方面参数的移动流媒体业务QoE测评指标体系，再利用测试终端模拟用户使用移动流媒体业务的整个过程，分别采集与计算移动流媒体业务的关键性能指标KPI，进而计算其相应业务的关键质量指标KQI，以及利用心理模型对KQI进行综合运算，获得相应业务的关键体验指标KEI，最后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS的五分制流媒体业务QoE值。本发明方法的测评参数标准客观、实用、操作步骤简单，计算复杂度低和易于集成，能够模拟移动流媒体业务用户得到相对客观、公正的用户体验感知质量。

Description

模拟用户行为的移动流媒体业务感知体验QoE的测评方法

技术领域

本发明涉及一种测量和评估移动流媒体业务用户体验感知QoE（Quality ofExperience）的方法，确切地说，涉及一种模拟用户的操作行为，并测试用户对移动流媒体业务的感知体验，再基于指标体系采用客观标准来测量和评估移动流媒体业务QoE的方法，属于移动网络服务质量评价的技术领域。

背景技术

随着移动通信技术的发展和移动终端性能的提高，移动通信网络已经能够提供多种服务，例如语音、彩信、移动流媒体和WAP等业务都已经成为人们日常生活与工作中不可或缺的内容。其中移动流媒体业务的应用越来越广泛，已经成为主流应用之一。但是，在频谱资源日趋紧张的无线网络上提供流媒体业务时，用户所体验到的移动流媒体的业务质量不再只与网络传输相关，而是由承载网络、业务网络、用户终端等多个环节所共同决定的。然而，目前的移动流媒体业务质量的测评还是停留于网络侧端到端的服务质量QoS（Quality ofService）的测量与管理基础上，很少有从终端用户体验的角度对移动流媒体的业务品质进行测评。因此，尽管移动流媒体业务有着很好的应用前景，但是，直至今日，国内外都未见有移动流媒体业务实现用户体验的实时评测的报道或论文，其主要原因就是目前还没有一套有效、准确的移动流媒体业务质量的客观评价方案及其业务体验感知QoE的指标体系。

对于网络运营商和服务提供商来说，要想降低成本，提高效益，从而在激烈的市场竞争中获取成功，必须不断完善移动流媒体业务的质量和提高终端用户的满意度。因此，如何设计和提供一套有效、精准的移动流媒体业务质量的客观评价方案，对其业务性能及用户体验进行测量和评估，进而优化网络性能，提高服务质量，提升用户体验，对于移动通信网的发展具有非常重要的意义。

目前，针对移动流媒体业务需要不断完善的自身需求，已有一些公司和文献公布了不同的解决方案。下面简要介绍目前现有的技术和产品：

（1）华为iSEA（intelligent Service Experience Assurance）技术方案：首先建立基于用户感知的端到端（E2E）业务品质管理体系，并基于该体系提出了“指标－监测－定界－优化”的E2E移动业务品质保障服务模型。该技术方案的不足之处是：仅从语音业务和数据业务两方面建立移动业务品质保障服务模型，并未对数据业务进行进一步区分和测评。

（2）中国发明专利申请《流媒体业务质量监测装置及方法》（公开号：CN201010586566.9）。该专利申请公开的流媒体业务质量监测装置包括：数个流媒体业务性能参数采集模块，例如，基本信息采集模块，信号强度监测模块，管理模块，统计分析模块（包括抓包单元和视频分析单元），其中的抓包单元用于采集空口传输数据，并根据空口传输数据获取无线侧传输性能指标；视频分析单元用于获取播放质量参数，该播放质量参数包括流媒体的清晰度等。

该专利申请虽然具有比较齐全的流媒体业务性能采集模块，但其不是从用户感知体验出发的，没有严格地剖析流媒体业务的全部过程，也并未建立一套系统的质量评估方案。

（3）中国发明专利申请《视频电话和流媒体的用户感知效果的测试系统和测试方法》（申请号：200910199119）。该专利申请的测试系统和测试方法应用于TD-SCDMA/HSDPA/HSUPA/HSPA+/LTE制式下的视频业务，系统组成包括：TD-SCDMA制式测试终端，VT视频测试服务器，结果分析服务器，流媒体测试服务器，中央数据库，短信应用服务器，在线升级服务器，Web服务器和应用逻辑服务器，其中测试终端、中央数据库和各服务器通过应用逻辑服务器交互数据。该专利申请的系统构成部件过多，操作复杂，实用性不好。

（4）中国发明专利申请《3G网络承载流媒体业务性能评估系统和方法》（申请号：200910249744）。该专利申请的系统包括流媒体发生装置和流媒体接收装置。流媒体业务发生装置接入在核心网分组域中，用于发送一路或多路流媒体。流媒体接收装置是在空口接收流媒体发生装置发送的流媒体，根据接收的流媒体来获得MDI指标以评估网络承载流媒体业务的性能。该专利申请仅根据3G网络的无线传输特性，评估3G网络中点播流媒体业务的主观性能和客观指标，未从用户感知体验角度为3G网络质量对承载流媒体质量的影响情况进行定量分析。

总之，现有技术的多种移动流媒体业务质量的评估或监测方案，都未做到全面而有效的测量和评估移动流媒体业务，也没有真正模拟用户使用移动流媒体业务的全部过程，不能客观地反映用户对移动流媒体业务全过程的体验。。

发明内容

有鉴于此，本发明的目的是提供一种模拟用户行为的移动流媒体业务用户感知体验QoE的测评方法，本发明是客观地模拟用户使用流媒体业务的感知体验其服务质量的技术方案，它是针对目前出现的降低客户投诉率、提升用户体验的需求，在充分考虑现有网络可实施的技术基础的前提下，设计和提供的一种客观地综合测量和评估移动流媒体业务的用户体验感知的方案。

为了达到上述发明目的，本发明提供了一种模拟用户行为的移动流媒体业务用户感知体验QoE的测评方法，其特征在于：先设置一套移动流媒体业务QoE测评指标体系，该测评指标体系把移动流媒体业务的用户感知体验分成业务接入，业务保持和业务完整的三方面体验参数；然后，利用测试终端模拟用户使用移动流媒体业务的整个过程，分别采集与计算移动流媒体业务的关键性能指标KPI（Key Performance Indicator），进而计算其相应的移动流媒体业务的关键质量指标KQI（Key Quality Indicator），以及利用心理模型对KQI进行综合运算，从而获得相应的移动流媒体业务的关键体验指标KEI（Key ExperienceIndicator），最后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS（Mean Opinion Score）的五分制流媒体业务QoE值。

所述移动流媒体业务QoE测评指标体系包括业务接入、业务保持和业务完整三方面性能指标参数，其中业务接入性能参数设有2项：取决于接入网络时长的接入时延、取决于PDP激活结束或认证完成或集客专线IP地址获取三种状态之一的接通状态；业务保持性能参数设有8项：取决于RTSP保持状态的视频流状态，取决于承载网络状态的在线状态，取决于平均传输速率的平均速率，取决于速率标准差的速率稳定度，取决于信号电平标准差的信号稳定度，取决于接入RTSP时延的初始缓冲时延，取决于超流控缓冲累计时长的视频等待累计时长，以及取决于超流控缓冲次数的视频等待次数；业务完整性能参数设有1项；取决于视频评价MOS值的视频质量。

所述方法包括下述步骤：

（1）测试终端采集移动流媒体业务的关键性能指标KPI：测试终端从媒体服务器上的媒体资源集中随机选择读取一个可播放的统一资源定位符URL（Uniform Resource Locator），模拟用户的视频点播行为并收集和保存KPI；

（2）根据移动流媒体业务QoE测评指标体系中的性能指标参数，利用采集到的关键性能指标KPI逐步计算其关键质量指标KQI和关键体验指标KEI，并最终得到测试终端模拟用户本次使用移动流媒体业务的QoE值；

（3）返回多次重复执行步骤（1）和（2）；并基于该多次测试结果数据，统计设定时间和/或设定地点的移动流媒体业务的用户体验质量情况。

所述步骤（1）中，测试终端采集到的移动流媒体业务的关键性能指标KPI包括下述各个参数：

接入网络时长：为网络接入完成时刻与其接入开始时刻的差值，所述网络包括：通用分组无线业务GPRS（General Packet Radio Service）网络、无线局域网络WLAN（Wireless Local Area Networks）和集客专线网络，单位是秒（s）；

分组数据协议PDP（Packet Data Protocol）激活结束状态：所述激活是终端传送数据前向系统服务器申请IP地址资源的过程；对于GPRS网络，若激活成功，该状态数值为1，否则为0；

认证完成状态：所述认证是终端传送数据前通过web页面连接计费服务器的过程，对于WLAN网络，若认证成功，该状态数值为1，否则为0；

集客专线IP地址获取状态：为终端传送数据前向系统服务器申请IP地址资源的过程，对于集客专线网络，若IP地址获取成功，该状态数值为1，否则为0；

信号标准差：为测试时间段内信号电平的均方差；单位是分贝毫瓦（dBm）；

接入实时流传输协议RTSP（Real Time Streaming Protocol）时延：为接入RTSP完成时刻与接入RTSP开始时刻的差值，单位是秒（s）；

RTSP保持状态：接入RTSP状态的数值为1，否则为0；

承载网络状态：网络处于在线保持状态时，该状态数值为1，处于网络掉线时，则该状态数值为0；

平均传输速率：为测试时间段内传输速率的平均值，即文件字长与传输时长的比值，单位是kb/秒；

速率标准差：为测试时间段内速率的均方差；单位是kb/秒

超流控缓冲累计时长：为超过设定阈值的多个单次重缓冲所需耗用的时长的累加和，单位是秒（s）；

超流控缓冲次数：为每次重缓冲所需耗用的时长超过设定阈值的重缓冲的总次数；

视频评价MOS值：为经过网络参数修正后的视频客观评价值，即采用下述基于小波变换的无参考视频质量评价方法得到的数值：先依据基于人眼兴趣加权的运动剧烈程度初步选取关键帧，再通过相关性分析将初选的关键帧分为场景切换型和非场景切换型，然后对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型和质量变化型；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其中每个单帧的图像质量进行加权求和，计算得到整个视频序列的质量评价结果。

所述步骤（2）包括下列操作内容：

（21）利用测试终端采集到的移动流媒体业务KPI分别计算下述各个KQI：

接入时延，为接入网络时长；

接通状态，为PDP激活结束、认证完成或集客专线IP地址获取的三种状态中的一种状态；

视频流状态，为RTSP保持状态；

在线状态，为承载网络状态；

平均速率，为平均传输速率；

信号稳定度，为信号电平的标准差系数，用于表示单位信号电平均值的偏离度；其计算公式为：

速率稳定度，为传输速率的标准差系数，用于表示单位平均传输速率的偏离度；其计算公式为：

初始缓冲时延，为视频播放开始时刻与视频播放请求时刻之差值，其数值与接入RTSP时延等同；

视频等待累计时长，为超流控缓冲累计时长，即超过设定阈值的多个单次超流控缓冲时长的累加和；

视频等待次数，为超流控缓冲次数，即单次超流控缓冲时长超过设定阈值的重缓冲的总次数；

视频质量，为视频评价MOS值，即经过网络参数修正的视频客观评分值；

（22）先将KQI指标分为两类：实际数值越大、网络性能越好的正向指标和实际数值越小、网络性能越好的反向指标，其中正向指标包括：接通状态、视频流状态、在线状态、平均速率和视频质量，反向指标包括：接入时延、速率稳定度、信号稳定度、初始缓冲时延、视频等待累计时长和视频等待次数；

再将每项KQI指标与其期望值相比较，并按照满意度映射函数计算每个KQI的满意度值KQI_MOS，即等效于MOS[0,5]区间的分值；

（23）利用每个KQI的满意度值KQI_MOS和层次分析法AHP（AnalyticHierarchy Process），按照公式KEI_i=∑ω_βKQI_MOSi，β计算其关键体验指标KEI；式中，KEI_i是由下标i区分的接入性、保持性和完整性的关键体验指标；系数ω_β是由下标β区分的各项关键体验指标KEI中的各项关键质量指标KQI的权重，ω_β是由AHP得到的，且满足∑ω_β=1；KEI的取值区间为[0,5]；

（24）按照下述公式计算测试终端模拟用户每次移动流媒体业务的QoE值：QoE=∑ω_iKEI_i=ω_接入性KEI_接入性+ω_保持性KEI_保持性+ω_完整性KIE_完整性；该步骤操作内容与步骤（23）相同，即利用AHP方法先构造各KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理，归一化处理后的向量的每个元素就是各KEI对应的权重ω_i，最后进行一致性检验；但要说明的是：当上述三个KEI中任意一个数值为0时，则其对应的QoE即为0。

所述步骤（22）中，所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式：

正向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}=0\\ \frac{5}{1+{\mathrm{ae}}^{\mathrm{bKQI}}},& {\mathrm{KQI}}_{\%}\∈(\mathrm{0,100}\%)\\ 5,& {\mathrm{KQI}}_{\%}\≥100\%\end{array}\right.;$ 或者

反向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}\≥200\%\\ \frac{5}{1+{\mathrm{ae}}^{b(2-\mathrm{KQI})}},& {\mathrm{KQI}}_{\%}\∈(100\%,200\%)\\ 5,& {\mathrm{KQI}}_{\%}\≤100\%\end{array}\right.;$ 式中，系数a取决于初始值，且a＞0；系数b用于决定S型曲线的变化率；KQI_%表示KQI实测值与其期望值之比；其中的正向指标满意度映射函数式表示：当KQI值低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续降低，人的主观体验性能急剧下降；但当KQI值降低到另一设定数值后再继续降低，人的主观体验性能变化平稳；而反向指标满意度映射函数式表示：当KQI值高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值增高到该设定数值后再继续增高，人的主观体验性能急剧下降；但当KQI值增高到另一设定数值后仍继续增高，人的主观体验性能性能则维持基本不变变化平稳。

本发明移动流媒体业务用户体验感知QoE的测量和评估方法的优点是：该测评方法选用的参数标准客观、实用，操作步骤简单、容易实现；且该测评方法不需改变现有的移动通信网的组成架构，只需用户使用测试终端点播各种网络中的媒体服务器上的不同媒体资源，就可采集到所需的各种测评数据，再将相关这些测评参数返回服务器，就能够得到相对客观、公正的测评结果。而且，全部操作过程完全模拟用户的操作行为，贴近业务使用过程。本发明的流媒体业务允许使用多种不同承载网络：包括GPRS、WLAN和集客专线等，故其应用场合比较广泛。再者，本发明方法涉及的QoE网络分析技术是基于地理位置的呈现技术和立体式数据采集方案，可提供不同时段、不同业务的QoE分布图与走势图，能够自动标示问题集中的区域或小区，便利于对数据进行集中管理。总之，本发明方法操作步骤简单、实用、计算复杂度低，还易于集成，在移动网络服务质量评价的应用中具有较好的推广价值和应用前景。

附图说明

图1是本发明模拟用户行为的移动流媒体业务用户感知体验QoE评测方法的操作步骤流程图。

图2是本发明方法中的移动流媒体业务评测指标体系架构组成示意图。

图3（A）、（B）分别是本发明方法实施例中的正向KQI满意度映射函数曲线和反向KQI满意度映射函数曲线在其取值区间的变化趋势示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合附图和实施例对本发明作进一步的详细描述。

本发明是一种模拟用户行为的移动流媒体业务用户QoE评测方法，该方法是先设置一套移动流媒体业务QoE测评指标体系，该测评指标体系把移动流媒体业务的用户感知体验分成业务接入，业务保持和业务完整的三方面体验参数；然后，利用测试终端模拟用户使用移动流媒体业务的整个过程，分别采集与计算移动流媒体业务的关键性能指标KPI，进而计算其相应的移动流媒体业务的关键质量指标KQI，以及利用心理模型对KQI进行综合运算，从而获得相应的移动流媒体业务的关键体验指标KEI，最后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS的五分制流媒体业务QoE值。

下面参见图1和图2，以GPRS承载网络的仿真实施例作为实例，详细说明本发明方法的三个具体操作步骤：

步骤1，测试终端采集移动流媒体业务的关键性能指标KPI。具体操作内容为：新建GPRS流媒体的测试任务，设置下述模拟用户点播行为的测试条件和参数：GPRS连接超时、随机选择一个GPRS流媒体视频播放的url地址（实施例为：rtsp://10.8.0.1:8554/test.mov，或者也可点播其它视频）、访问url超时时间、GPRS断开连接超时、终端选择等，然后采集和存储各个测试参数，完成1次GPRS流媒体的KPI采集任务。该步骤采集的KPI数据如下表1所示：

KPI名称	单位	实测数值
			接入GPRS时长	s	3.52
PDP激活结束状态	无	1
			RTSP保持状态	无	1
承载网络状态	无	1
			平均传输速率	Kb/s	309.76
速率标准差	Kb/s	35.2
			信号标准差	dBm	4.13
接入RTSP时延	s	2.4
			超流控缓冲时长	s	2
超流控缓冲次数	无	3
			视频评价MOS值	无	5.73

步骤2，根据图2所示的移动流媒体业务QoE测评指标体系中的性能指标参数，利用采集到的关键性能指标KPI逐步计算其关键质量指标KQI，以及利用心理模型对KQI进行综合运算获得的相应关键体验指标KEI，并最终得到测试终端模拟用户本次使用移动流媒体业务的QoE值。该步骤包括下列操作内容：

（21）利用测试终端采集到的上述表1所示的移动流媒体业务KPI，分别计算下述各个KQI（参见下表2所示）：

KQI名称	单位	实测数值	满意度值（KQIMOS）
				接入时延	s	3.52	0.36
接通状态	无	1	5
				视频流状态	无	1	5
在线状态	无	1	5
				平均速率	Kb/s	309.76	4.48
速率稳定度	无	0.11	4.78
				信号稳定度	无	0.06	4.66
初始缓冲时延	s	2.4	4.59
				视频等待累计时长	s	2	5
视频等待次数	无	3	5
				视频质量	无	4.6	4.77

（22）先将KQI指标分为两类：实际值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标。其中正向指标包括：接通状态、视频流状态、在线状态、平均速率和视频质量；反向指标包括：接入时延、速率稳定度、信号稳定度、初始缓冲时延、视频等待累计时长和视频等待次数。

再将每项KQI指标分别与其期望值进行比较，并按照满意度映射函数计算每个KQI的满意度值KQI_MOS，即等效于MOS[0,5]区间的数值（如下表3、即该实施例所采用的KQI期望值和百分比指标与KQI_MOS的映射关系表所示）：

需要说明的是：该步骤中的期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值。满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式，其中，

正向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}=0\\ \frac{5}{1+{\mathrm{ae}}^{\mathrm{bKQI}}},& {\mathrm{KQI}}_{\%}\∈(\mathrm{0,100}\%)\\ 5,& {\mathrm{KQI}}_{\%}\≥100\%\end{array}\right.;$

反向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}\≥200\%\\ \frac{5}{1+{\mathrm{ae}}^{b(2-\mathrm{KQI})}},& {\mathrm{KQI}}_{\%}\∈(100\%,200\%)\\ 5,& {\mathrm{KQI}}_{\%}\≤100\%\end{array}\right.;$ 式中，系数a取决于初始值，且a＞0；系数b用于决定S型曲线的变化率；KQI_%表示KQI实测值与其期望值之比。

当KQI值低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续降低，人的主观体验性能急剧下降；但当KQI值降低到另一设定数值后再继续降低，人的主观体验性能变化平稳；而反向指标满意度映射函数式表示：当KQI值高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值增高到该设定数值后仍继续增高，人的主观体验性能急剧下降；但当KQI值增高到另一设定数值后再继续增高，人的主观体验性能变化平稳。

（23）利用每个KQI的满意度值KQI_MOS和层次分析法AHP（AnalyticHierarchy Process），按照公式KEI_i=∑ω_βKQI_MOS，i，β计算其关键体验指标KEI，其中系数ω_β是由下标β区分的各项关键体验指标KEI中的各项关键质量指标KQI的权重，ω_β是由AHP得到的，且满足∑ω_β=1；

本发明的实施例中，利用AHP计算业务KEI的过程包括以下三个具体步骤：

（23A）用AHP方法构造各项KQI相对重要性关系的判断矩阵：利用1-9之间的自然数及其倒数作为标度，构造两两比较的判断矩阵：

以便对各个KQI指标之间采用相对尺度进行两两相对的比较，得到每个KQI指标对于KEI的重要性。式中，

C_i和C_j分别是两个KQI指标i和j对于目标KEI的相对重要性，自然数下标i和j的最大值都是n；a_ij的取值的涵义参见下表4所示：

例如，两个接入性KQI接通状态和接入时延的关系判断矩阵为： $\left[\begin{array}{cc}1& 6\\ 1/6& 1\end{array}\right],$ 其中，6表示接通状态与接入时延两个指标相比较的话，接通状态比接入时延更重要。按照同样的方法，可以写出8个保持性KQI指标的8×8关系判断矩阵。

因为本实施例中完整性KQI只有视频质量一个指标，故其权重为1。

（23B）计算各指标权重，即计算KQI关系判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理,归一化处理后的向量的每个元素就是每项KEI下的各KQI对应的权重ω_β；

上述两个接入性KQI接通状态和接入时延的关系判断矩阵的最大特征值为：λ_max=2，该最大特征值所对应的特征向量为：p=(0.9864,0.1644)，再对其进行归一化处理，得到的权重向量为：ω＝(0.8571,0.1429)。

（23C）进行一致性检验：构造判断矩阵时，并不要求判断结果是一致的，但是，要避免得到的判断结果差异过大，因此需要进行一致性检验；

先计算一致性指标

再计算随机一致性比率

其中，RI为平均的随机一致性指标，RI取值见下表5所示：

n	1	2	3	4	5	6	7	8	9	10
											RI	0	0	0.58	0.90	1.12	1.24	1.32	1.41	1.45	1.49

当CR小于0.1时，认为此判断矩阵有一致性，否则调整矩阵数值直到满足一致性条件。

上述两个接入性KQI的接通状态和接入时延的关系判断矩阵的随机一致性比率CR=0<0.1，满足一致性检验的条件。两个接入性KQI接通状态和接入时延的权重为依次为0.8571和0.1429。

按照同样方法，可得到本次GPRS流媒体实施例中其他8个保持性KQI（视频流状态、在线状态、平均速率、速率稳定度、信号稳定度、初始缓冲时延、视频等待累计时长和视频等待次数）对应的权重，如下表6所示（因完整性KQI只有视频质量一个指标，故其权重为1）：

由此，就可以得到本次实施例中GPRS流媒体的三个KEI接入性、保持性、完整性的数值依次为：4.39、4.83、4.77。

（24）按照下述公式计算测试终端模拟用户一次移动流媒体业务的QoE值：

QoE=∑ω_iKEI_i=ω_接入性KEI_接入性+ω_保持性KEI_保持性+ω_完整性KEI_完整性；其中，权重ω_i为以下KEI关系判断矩阵的归一化最大特征向量。

该步骤的操作内容与步骤（23）相同，在此不再赘述。最终得到接入性、保持性、完整性KEI的权重分别为：0.5、0.25、0.25。

由此，可以得到本次GPRS流媒体实施例的QOE分值为：4.60。

步骤3，返回多次重复执行步骤1和步骤2；这样就能够基于多次测试结果，统计在设定时间和/或设定地点的移动流媒体业务的用户体验质量情况。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (6)

1.一种模拟用户行为的移动流媒体业务用户感知体验QoE的测评方法，其特征在于：先设置一套移动流媒体业务QoE测评指标体系，该测评指标体系把移动流媒体业务的用户感知体验分成业务接入，业务保持和业务完整的三方面体验参数；然后，利用测试终端模拟用户使用移动流媒体业务的整个过程，分别采集与计算移动流媒体业务的关键性能指标KPI（Key Performance Indicator），进而计算其相应的移动流媒体业务的关键质量指标KQI（Key Quality Indicator），以及利用心理模型对KQI进行综合运算，从而获得相应的移动流媒体业务的关键体验指标KEI（Key Experience Indicator），最后对这些KEI指标进行综合分析，获得等效于国际标准平均意见分值MOS（Mean Opinion Score）的五分制流媒体业务QoE值。

2.根据权利要求1所述的评测方法，其特征在于：所述移动流媒体业务QoE测评指标体系包括业务接入、业务保持和业务完整三方面性能指标参数，其中业务接入性能参数设有2项：取决于接入网络时长的接入时延、取决于PDP激活结束或认证完成或集客专线IP地址获取三种状态之一的接通状态；业务保持性能参数设有8项：取决于RTSP保持状态的视频流状态，取决于承载网络状态的在线状态，取决于平均传输速率的平均速率，取决于速率标准差的速率稳定度，取决于信号电平标准差的信号稳定度，取决于接入RTSP时延的初始缓冲时延，取决于超流控缓冲累计时长的视频等待累计时长，以及取决于超流控缓冲次数的视频等待次数；业务完整性能参数设有1项；取决于视频评价MOS值的视频质量。

3.根据权利要求1所述的方法，其特征在于：所述方法包括下述步骤：

（1）测试终端采集移动流媒体业务的关键性能指标KPI：测试终端从媒体服务器上的媒体资源集中随机选择读取一个可播放的统一资源定位符URL，模拟用户的视频点播行为并收集和保存KPI；

（2）根据移动流媒体业务QoE测评指标体系中的性能指标参数，利用采集到的关键性能指标KPI逐步计算其关键质量指标KQI和关键体验指标KEI，并最终得到测试终端模拟用户本次使用移动流媒体业务的QoE值；

（3）返回多次重复执行步骤（1）和（2）；并基于该多次测试结果数据，统计设定时间和/或设定地点的移动流媒体业务的用户体验质量情况。

4.根据权利要求3所述的方法，其特征在于：所述步骤（1）中，测试终端采集到的移动流媒体业务的关键性能指标KPI包括下述各个参数：

接入网络时长：为网络接入完成时刻与其接入开始时刻的差值，所述网络包括：通用分组无线业务GPRS网络、无线局域网络WLAN和集客专线网络，单位是秒（s）；

分组数据协议PDP激活结束状态：所述激活是终端传送数据前向系统服务器申请IP地址资源的过程；对于GPRS网络，若激活成功，该状态数值为1，否则为0；

认证完成状态：所述认证是终端传送数据前通过web页面连接计费服务器的过程，对于WLAN网络，若认证成功，该状态数值为1，否则为0；

集客专线IP地址获取状态：为终端传送数据前向系统服务器申请IP地址资源的过程，对于集客专线网络，若IP地址获取成功，该状态数值为1，否则为0；

信号标准差：为测试时间段内信号电平的均方差；单位是分贝毫瓦（dBm）；

接入实时流传输协议RTSP时延：为接入RTSP完成时刻与接入RTSP开始时刻的差值，单位是秒（s）；

RTSP保持状态：接入RTSP状态的数值为1，否则为0；

承载网络状态：网络处于在线保持状态时，该状态数值为1，处于网络掉线时，则该状态数值为0；

平均传输速率：为测试时间段内传输速率的平均值，即文件字长与传输时长的比值，单位是kb/秒；

速率标准差：为测试时间段内速率的均方差；单位是kb/秒

超流控缓冲累计时长：为超过设定阈值的多个单次重缓冲所需耗用的时长的累加和，单位是秒（s）；

超流控缓冲次数：为每次重缓冲所需耗用的时长超过设定阈值的重缓冲的总次数；

视频评价MOS值：为经过网络参数修正后的视频客观评价值，即采用下述基于小波变换的无参考视频质量评价方法得到的数值：先依据基于人眼兴趣加权的运动剧烈程度初步选取关键帧，再通过相关性分析将初选的关键帧分为场景切换型和非场景切换型，然后对非场景切换型关键帧评价图像质量，并根据该评价结果将非场景切换型关键帧细分为内容变化型和质量变化型；最后利用质量变化型关键帧的持续时间因子和恶化频率因子对其中每个单帧的图像质量进行加权求和，计算得到整个视频序列的质量评价结果。

5.根据权利要求3所述的方法，其特征在于：所述步骤（2）包括下列操作内容：

（21）利用测试终端采集到的移动流媒体业务KPI分别计算下述各个KQI：

接入时延，为接入网络时长；

接通状态，为PDP激活结束、认证完成或集客专线IP地址获取的三种状态中的一种状态；

视频流状态，为RTSP保持状态；

在线状态，为承载网络状态；

平均速率，为平均传输速率；

信号稳定度，为信号电平的标准差系数，用于表示单位信号电平均值的偏离度；其计算公式为：

速率稳定度，为传输速率的标准差系数，用于表示单位平均传输速率的偏离度；其计算公式为：

初始缓冲时延，为视频播放开始时刻与视频播放请求时刻之差值，其数值与接入RTSP时延等同；

视频等待累计时长，为超流控缓冲累计时长，即超过设定阈值的多个单次超流控缓冲时长的累加和；

视频等待次数，为超流控缓冲次数，即单次超流控缓冲时长超过设定阈值的重缓冲的总次数；

视频质量，为视频评价MOS值，即经过网络参数修正的视频客观评分值；

（22）先将KQI指标分为两类：实际数值越大、网络性能越好的正向指标和实际值越小、网络性能越好的反向指标，其中正向指标包括：接通状态、视频流状态、在线状态、平均速率和视频质量，反向指标包括：接入时延、速率稳定度、信号稳定度、初始缓冲时延、视频等待累计时长和视频等待次数；

再将每项KQI指标与其期望值相比较，并按照满意度映射函数计算每个KQI的满意度值KQI_MOS，即等效于MOS[0,5]区间的分值；

（23）利用每个KQI的满意度值KQI_MOS和层次分析法AHP，按照公式KEI_i=∑ω_βKQI_MOSi，β计算其关键体验指标KEI；式中，KEI_i是由下标i区分的接入性、保持性和完整性的关键体验指标；系数ω_β是由下标β区分的各项关键体验指标KEI中的各项关键质量指标KQI的权重，ω_β是由AHP得到的，且满足∑ω_β=1；KEI的取值区间为[0,5]；

（24）按照下述公式计算测试终端模拟用户每次移动流媒体业务的QoE值：QoE=∑ω_iKEI_i=ω_接入性KEI_接入性+ω_保持性KEI_保持性+ω_完整性KEI_完整性；该步骤操作内容与步骤（23）相同，即利用AHP方法先构造各KEI关系判断矩阵，再计算该判断矩阵的最大特征值与其对应的特征向量，并对该特征向量进行归一化处理，归一化处理后的向量的每个元素就是各KEI对应的权重ω_i，最后进行一致性检验；但要说明的是：当上述三个KEI中任意一个数值为0时，则其对应的QoE即为0。

6.根据权利要求5所述的方法，其特征在于：所述步骤（22）中，所述期望值是由评估者根据人的主观体验和需求，针对不同类型的应用进行差异化设置的数值；所述满意度映射函数是根据人的主观体验模型，即取决于各项KQI实测值与其期望值之比值而确定的下述两种S型分段曲线的函数式：

正向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}=0\\ \frac{5}{1+{\mathrm{ae}}^{\mathrm{bKQI}}},& {\mathrm{KQI}}_{\%}\&Element;(\mathrm{0,100}\%)\\ 5,& {\mathrm{KQI}}_{\%}\&GreaterEqual;100\%\end{array}\right.;$ 或者

反向指标满意度映射函数式： ${\mathrm{KQI}}_{\mathrm{MOS}}=\left\{\begin{array}{cc}0,& {\mathrm{KQI}}_{\%}\&GreaterEqual;200\%\\ \frac{5}{1+{\mathrm{ae}}^{b(2-\mathrm{KQI})}},& {\mathrm{KQI}}_{\%}\&Element;(100\%,200\%)\\ 5,& {\mathrm{KQI}}_{\%}\&le;100\%\end{array}\right.;$ 式中，系数a取决于初始值，且a＞0；系数b用于决定S型曲线的变化率；KQI_%表示KQI实测值与其期望值之比；其中的正向指标满意度映射函数式表示：当KQI值低于期望值而高于设定数值时，对人的主观体验性能影响小；当KQI值降低到该设定数值后仍继续降低，人的主观体验性能急剧下降；但当KQI值降低到另一设定数值后仍再继续降低，人的主观体验性能变化平稳；而反向指标满意度映射函数式表示：当KQI值高于期望值而低于设定数值时，对人的主观体验性能影响小；当KQI值增高到该设定数值后仍继续增高，人的主观体验性能急剧下降；但当KQI值增高到另一设定数值后再继续增高，人的主观体验性能变化平稳。

Images