CN103179592B - 基于树形分层结构的QoE综合评价方法 - Google Patents

Abstract

本发明提出了基于树形分层结构的QoE综合评价方法。所述方法针对UMTS、WLAN和WiMAX等无线网络中面向多媒体业务的QoE评价问题，采用树形分层结构，分层考虑体验层面、主观层面、客观层面，建立三个层面的QoE评价模型：在体验层面，采用模糊规则方法确定指标的权重；在主观层面，采用层次分析法确定权重；在客观层面，采用伪主观评价方法进行处理，并应用多元非线性回归分析，得到客观层面的QoE评价公式；建立QoE的综合评价模型，且所得的QoE综合评价结果贴近用户的真实体验，非常简单而易于实现，具有很好的应用前景。

Description

基于树形分层结构的QoE综合评价方法

技术领域

本发明属于多媒体通信技术领域，特别涉及基于树形分层结构的QoE综合评价方法。

背景技术

目前服务质量(Quality of Service，QoS)是业界最广泛采用的服务度量标准，QoS的侧重点在于如何从网络性能的角度来处理业务，能为业务提供者提供办法来保证业务质量，用户体验质量(Quality of Experience，QoE)是用户在使用业务过程中建立起来的一种综合的心理感受，是用户对设备，网络和系统，应用或业务质量的综合主观感受，QoE则强调如何从用户的角度处理业务，是用户对设备，网络和系统，应用或业务的质量和性能的综合主观感受。QoE的指标主要包括延时、抖动、丢包率、带宽、拓扑、比特率、帧率、量化程度、分辨率、存储容量、处理能力、屏幕尺寸、用户的兴趣、用户的期望、用户的先前体验、用户体验时的环境等，目前研究学者几乎把各指标当成一种扁平的结构看待如图1所示，而且仅是对扁平结构中的部分指标进行研究，该指标结构的缺点是：只适用于少量的指标，而随着指标数量逐渐增多，指标的属性各有差别时，将很难按照扁平结构进行统一处理得到最终的评价值。

多媒体业务QoE的典型评价方法主要分为两类：主观评价方法与客观评价方法。视频QoE的主观评价方法主要包括双激励损伤度分级法、双激励连续质量分级法、单激励连续质量分级法。主观评分标准如表1所示，主观评价方法的一般过程如图2所示。

表1

MOS分值	5	4	3	2	1
						评价	优	良	一般	差	很差

QoE的客观评价方法根据是否需要原始视频序列分为：全参考，半参考和无参考的评价方法。客观评价的一般过程如图3所示。典型评价方法的缺点是：(1)主观评价方法不具有实时性与可移植性；(2)客观评价方法没有很好的把人的主观特性考虑在内，不能很好的贴近用户的感知；(3)无论是主观评价方法还是客观评价方法，每次只能得出一部分指标QoE的评价值。

为此，本发明提出了一种基于树形分层结构的QoE指标体系，并提出与树形分层结构指标体系相对应的QoE综合评价模型。

发明内容

本发明针对上述技术问题，特别针对UMTS、WLAN和WiMAX等无线网络中面向多媒体业务的QoE评价方法问题，提出基于树形分层结构的QoE综合评价方法。

本发明为解决上述技术问题，采用如下技术方案：

基于树形分层结构的QoE综合评价方法，所述评价方法采用基于树形分层的QoE指标体系结构，该结构包括三个层面：体验层面、主观层面、客观层面；所述体验层面包括两个指标：本次体验、先前体验；本次体验包括主观层面中的用户的期望、用户的心情、主观拟合化的客观QoE、用户的认知能力；所述主观拟合化的客观QoE是指客观层面的QoE拟合结果，包括客观层面的终端性能、网络性能和视频性能；所述终端性能包括终端CPU性能、终端内存；所述网络性能包括网络延时、网络抖动、网络丢包率；所述视频性能包括视频比特率、视频帧率及视频内容；具体步骤如下：

步骤A，计算客观层面的QoE评价值，公式如下：

$\left\{\begin{array}{c}{\stackrel{\→}{\mathrm{SMOS}}}_3=\mathrm{mos}\left(u\right)\·\mathrm{MOS}(N,V)\\ \mathrm{MOS}(N,V)=\frac{a_1+a_2\mathrm{FR}+a_3\ln \left(\mathrm{BR}\right)}{1+b_1*{\mathrm{Pkl}}^{^b_2}+b_3*{\mathrm{Jitter}}^{b_4}+b_5*{\mathrm{Delay}}^{(1-b_4)}}\\ \mathrm{mos}\left(u\right)=\frac{{\mathrm{\β}}_1*{\mathrm{\γ}}^2+{\mathrm{\β}}_2*\mathrm{\γ}+{\mathrm{\β}}_3}{{\mathrm{\γ}}^2+{\mathrm{\β}}_4*\mathrm{\γ}+{\mathrm{\β}}_5}\end{array}\right.$

其中，表示主观拟合化的客观QoE评价值，其取值范围为0至5的实数；MOS(N,V)表示客观层面的无线网络性能和视频性能QoE拟合评价值，其取值范围为0至5的实数；mos(u)为客观层面的用户终端性能QoE拟合归一化评价值，其取值范围为0至1的实数；FR表示帧率、BR表示比特率、Pkl表示丢包率，Jitter表示抖动、Delay表示延时；F_CPU为CPU工作频率；a₁，a₂，a₃是视频性能指标参数的系数，为实数；b₁，b₂，b₃，b₄，b₅是网络性能指标参数的系数，为实数；β₁，β₂，β₃，β₄，β₅是终端CPU性能指标参数的系数，为实数；

步骤B，计算主观层面的QoE评价值MOS_N，公式如下：

$.\left\{\begin{array}{c}{\mathrm{MOS}}_N=W_1\×{\mathrm{SMOS}}_1+W_2\×{\mathrm{SMOS}}_2+W_3\×{\stackrel{\→}{\mathrm{SMOS}}}_3+W_4\×{\mathrm{SMOS}}_4\\ 0\≤{\mathrm{SMOS}}_1\≤5\\ 0\≤{\mathrm{SMOS}}_2\≤5\\ 0\≤{\mathrm{SMOS}}_4\≤5\\ W_1+W_2+W_3+W_4=1\end{array}\right.$

其中，MOS_N表示用户在不考虑先前体验影响下的本次体验评价值；SMOS₁表示用户的期望评价值；SMOS₂表示用户的心情评价值；SMOS₄表示用户的认知能力评价值；W₁，W₂，W₃，W₄分别为用户的期望、用户的心情、主观拟合化的客观QoE、用户的认知能力相对应的权重，各权重取值范围为0至1的实数；

步骤C，计算体验层面的QoE评价值，公式如下：

MOS＝ζMOS_N+(1-ζ)MOS_P

其中，MOS表示本次QoE的综合评价值，其取值范围为0至5的实数；MOS_P表示用户的先前体验评价值，其取值范围为0至5的实数；ζ表示MOS_N对应的权值，其取值范围为0至1的实数。

本发明的有益效果是：本发明提出了基于树形分层结构的QoE综合评价方法。所述方法针对UMTS、WLAN和WiMAX等无线网络中面向多媒体业务的QoE评价问题，采用树形分层结构，分层考虑体验层面、主观层面、客观层面，建立三个层面的QoE评价模型：在体验层面，采用模糊规则方法确定指标的权重；在主观层面，采用层次分析法确定权重；在客观层面，采用伪主观评价方法进行处理，并应用多元非线性回归分析，得到客观层面的QoE评价公式；建立QoE的综合评价模型，且所得的QoE综合评价结果贴近用户的真实体验，非常简单而易于实现，具有很好的应用前景。

附图说明

图1为扁平结构的QoE指标体系。

图2为主观评价的一般过程。

图3为客观评价的一般过程。

图4为树形分层结构的QoE指标体系。

图5为基于树形分层结构的QoE综合评价模型。

具体实施方式：

下面结合附图，进一步具体说明本发明基于树形分层结构的QoE综合评价方法。

本实施例以WLAN、UMTS和WiMAX等无线网络面向多媒体业务为例说明，建立的树形分层结构的指标体系如图4所示:根据科学性原则、系统性原则、可操作性原则、突出性的原则，并结合无线网络中面向多媒体业务的具体情况，该结构包括三个层面：体验层面、主观层面、客观层面。体验层面主要包含两个指标：本次体验、先前体验；主观层面包括：用户的期望、用户的心情，主观拟合化的客观QoE(客观层面的QoE拟合结果)、用户的认知能力；客观层面的一级指标主要包括终端性能、无线网络和视频业务，其二级指标主要分为终端CPU性能、终端内存、网络延时、网络抖动、网络丢包率、视频比特率、视频帧率及视频内容。

基于树形分层结构的QoE综合评价模型如图5所示。

(1)体验层面主要包括两个指标：用户的先前体验和用户的本次体验，两者可通过加权实现，其评价公式如(1)所示：

MOS＝ζMOS_N+(1-ζ)MOS_P   (1)

其中，MOS表示本次QoE的综合评价值，其取值范围为0至5的实数；MOS_P表示用户的先前体验评价值，其取值范围为0至5的实数；MOS_N表示用户本次体验评价值，其取值范围为0至5的实数；ζ表示MOS_N对应的权值，其取值范围为0至1的实数。其权重可通过基于模糊规则的方法确定，方法介绍如下：

用户的先前体验和用户的本次体验的评价结果最终将反映到MOS值的区间上，从评价值区间角度来说，存在五种情况分别为[0,1]、(1,2]、(2,3]、(3,4]、(4,5]，按照两两组合，从人的心理角度出发，构造式(1)中的权值ζ如下表所示，

MOS_P表示用户的先前体验评价值，MOS_N表示用户本次体验评价值，。MOS_N小于MOS_P值，表示相比于用户的先前体验，用户现在的体验有所下降，从人的心理角度来说，本次体验低于先前体验，心理存在落差，此时ζ的取值主要为0.75、0.7、0.65三个权值，而当MOS_N大于MOS_P值表示现在的体验好于用户的先前体验，同样从人的心理角度出发，“向着好的体验，需一个积累的过程”，ζ的值主要取0.65、0.6、0.55，下面将各对权重值进行相关说明如下：

1)本次体验低于先前体验时：

ζ＝0.75：表示先前体验优或良好，而现在体验差或者很差时所取的权重值；

ζ＝0.7：表示先前体验优，而现在体验一般，或者先前体验良好，而现在体验很差时所取的权重值；

ζ＝0.65表示先前体验优，而现在体验良好，或者先前体验良好，而现在体验一般，或者先前体验一般，而现在体验差时所取的权重值。

2)本次体验好于先前体验时：

ζ＝0.65表示先前体验差或者很差，而现在体验优或良好时所取的权重值；

ζ＝0.6表示先前体验差或者很差，而现在体验一般时所取的权重值；

ζ＝0.55表示先前体验一般，而现在体验优或良好，或者先前体验良好，而

现在体验优时所取的权重值。

3)一般情形时：

ζ＝0.50：现在体验和先前体验相同，或者现在体验和先前体验差或很差时

所取的权重值；

ζ＝1：表示无先前体验MOS_P＝0，本次的体验为用户的初次体验时所取的权

重值；

ζ＝0：表示本次无体验MOS_N＝0，用户的先前体验值为用户的此时体验时

所取的权重值。

以上ζ的取值可以看成是先前体验对本次体验评价值的修正，从心理角度对用户的先前体验和用户本次体验进行分析，直接给出相应的模糊规则权值。

(2)主观层面主要包括四个指标：用户的期望、用户体验时心情，主观拟合化的客观QoE，用户的认知能力，该层面的评价模型如公式(2)所示：

$.\left\{\begin{array}{c}{\mathrm{MOS}}_N=W_1\×{\mathrm{SMOS}}_1+W_2\×{\mathrm{SMOS}}_2+W_3\×{\stackrel{\→}{\mathrm{SMOS}}}_3+W_4\×\mathrm{SMOS}\\ 0\≤{\mathrm{SMOS}}_1\≤5\\ 0\≤{\mathrm{SMOS}}_2\≤5\\ 0\≤{\stackrel{\→}{\mathrm{SMOS}}}_3\≤5\\ 0\≤{\mathrm{SMOS}}_4\≤5\\ W_1+W_2+W_3+W_4=1\end{array}\right.---\left(2\right)$

其中，MOS_N表示用户在不考虑先前体验影响下的本次体验评价值；SMOS₁表示用户的期望评价值；SMOS₂表示用户体验时的心情评价值；SMOS₄表示用户的

认知能力评价值；表示主观拟合化的客观QoE评价值；W₁，W₂，W₃，W₄分别为用户的期望，用户体验时的心情，主观拟合化的客观QoE，用户认知能力的权重，其各权重取值范围为0至1的实数，该层面权重的计算方法可通过模糊层次分析方法可得，实现步骤如下：

1)构造模糊判断矩阵：对主观层次各元素关于上一层次中某一准则的重要性做两两比较，用成对比较法构造出两两比较的判断矩阵

$A=\left[\begin{array}{cccc}{b}_{11}& b_{12}& \·\·\·& b_{1n}\\ b_{21}& b_{22}& \·\·\·& b_{2n}\\ \·\·\·& \·\·\·& b_{\mathrm{ij}}& \·\·\·\\ b_{n1}& b_{n2}& \·\·\·& b_{\mathrm{nn}}\end{array}\right]$

其中b_ij为判断的标度，表示主观层面中两两因素之间相对于上一层的某准则而言的相对重要性，其矩阵的元素采用9标度给予数量表示如下：

0.1：表示指标因素b_i较b_j不重要；

0.3：表示指标因素b_i较b_j次重要；

0.5：表示指标因素b_i较b_j同等重要；

0.7：表示指标因素b_i较b_j重要的多；

0.9：表示指标因素b_i较b_j极端重要；

0.2，0.4，0.6，0.8的重要程度分别位于上述标度中。

2)由主观的判断矩阵，很难满足指标权重的一致性检验，在此对上述的判断矩阵按照B_ij＝(b_i-b_j)/2n+0.5进行重新构建，其中，i＝1,2,…,n，为矩阵每一行的和。由B_ij指标元素重新构建的模糊一致判断矩阵为：

$\stackrel{\→}{A}=\left[\begin{array}{cccc}{B}_{11}& B_{12}& \·\·\·& B_{1n}\\ B_{21}& B_{22}& \·\·\·& B_{2n}\\ \·\·\·& \·\·\·& B_{\mathrm{ij}}& \·\·\·\\ B_{n1}& B_{n2}& \·\·\·& B_{\mathrm{nn}}\end{array}\right]$

3)由上述的判断矩阵，对矩阵元素按照进行计算即可求主观层面的各指标的权重值，其中i＝1,2,3,4,λ≥(n-1)/2。

(3)整个客观层面包括用户体验质量的直接客体视频业务质量，业务的传输承载体无线网络性能因素和业务的使用载体终端性能，这三个方面构成了一个系统，系统可理解为视频源经过网络传输到达用户终端给用户体验，各个环节既独立又互相联系，通过上述分析，建立客观层面的QoE评价模型如公式(3)所示：

${\stackrel{\→}{\mathrm{SMOS}}}_3=\mathrm{mos}\left(u\right)\·\mathrm{MOS}(N,V)---\left(3\right)$

其中，表示主观拟合化的客观QoE评价值，其取值范围为0至5的实数；MOS(N,V)表示用户对无线网络性能和视频业务进行体验的伪主观拟合评价值，其取值范围为0至5的实数；mos(u)为用户终端性能的主观拟合后归一化的评价值，其取值范围为为0至1的实数。

1)对影响客观层面的业务的传输承载体无线网络性能指标因素和QoE的直接客体视频业务指标的体验质量的评价，采用不同的视频帧率、视频比特率以及各种内容的视频序列，通过无线网络传输，并改变网络参数(延时，抖动，丢包率)，对输出的视频序列，先采用视频QoE的客观评价方法对损伤视频进行评价，接着用户对QoE的客观评价结果进行主观打分拟合，并记录参数数据与评分数据。其是一种伪主观评价方法，在这个过程之中有视频QoE的客观评价方法，也有人的直接主观打分，因此可得到贴近用户的关于网络性能和视频业务的真实体验质量。因QoE评价值与无线网络性能中延时、抖动、丢包率呈现负相关系，而与视频业务的比特率在一定范围内呈现正相关性，构造统计回归公式如式(4)所示

$\mathrm{MOS}(N,V)=\frac{a_1+a_2\mathrm{FR}+a_3\ln \left(\mathrm{BR}\right)}{1+b_1*{\mathrm{Pkl}}^{^b_2}+b_3*{\mathrm{Jitter}}^{b_4}+b_5*{\mathrm{Delay}}^{(1-b_4)}}---\left(4\right)$

其中，MOS(N,V)表示用户对无线网络性能和视频业务进行体验的伪主观拟合评价值，其取值范围为0至5的实数；FR为帧率(fps)，BR为比特率(bps)，Pkl为丢包率(％)，Jitter为抖动(ms)，Delay为延时(ms)，a₁，a₂，a₃，b₁，b₂，b₃，b₄，b₅为各指标参数的系数，可通过记录的的参数数据与评分结果数据对上式进行非线性统计回归得到(注：不同的视频内容如快速运动型足球，慢速运动型新闻播报，他们的区别在于视频帧所包含的空间信息量和时间信息量不同，应获得不同的系数值)。

2)对使用业务的承载体终端性能因素的各指标的评价宜采用主观评价的方法，原因是，用户终端因素与业务的传输承载体无线网络性能因素和QoE的直接客体视频业务质量因素相比而言，它属于静态的(在同一次体验服务过程中，用户所使用的终端基本保持不变)，是用户体验多媒体业务的使用承载体，是物理层面的媒体互连设备，是整个系统的基础。对于这种静态因素的影响，使用主观评价的方法可以最大程度的避免主观评价实时性差的弱点，也能利用主观评价方法贴近用户的优点。因QoE评价值与用户终端性能在一定范围内呈现正相关性且当用户终端的性能非常好时，终端性能的评价值将保持一个恒定的值，构造统计回归的公式如式(5)所示：

$\mathrm{mos}\left(u\right)=\frac{{\mathrm{\β}}_1*{\mathrm{\γ}}^2+{\mathrm{\β}}_2*\mathrm{\γ}+{\mathrm{\β}}_3}{{\mathrm{\γ}}^2+{\mathrm{\β}}_4*\mathrm{\γ}+{\mathrm{\β}}_5}---\left(5\right)$

其中，mos(u)为用户终端性能的主观拟合后归一化的评价值，其取值范围为为0至1的实数；F_CPU为CPU工作频率；β₁，β₂，β₃，β₄，β₅表示参数γ的系数，为实数，可通过对主观评价的参数数据与评分结果数据对上式进行非线性统计回归得到。

(4)根据式(1)，式(2)，式(3)，式(4)，式(5)得到QoE综合评价公式如式(6)所示：

$\begin{array}{c}\mathrm{MOS}=\mathrm{\ζ}\{W_1\×{\mathrm{SMOS}}_1+W_2\×{\mathrm{SMOS}}_2+W_3\×\\ [\frac{{\mathrm{\β}}_1*{\mathrm{\γ}}^2+{\mathrm{\β}}_2*\mathrm{\γ}+{\mathrm{\β}}_3}{{\mathrm{\γ}}^2+{\mathrm{\β}}_4*\mathrm{\γ}+{\mathrm{\β}}_5}\·\frac{a_1+a_2\mathrm{FR}+a_3\ln \left(\mathrm{BR}\right)}{1+b_1*{\mathrm{Pkl}}^{^b_2}+b_3*{\mathrm{Jitter}}^{b_4}+b_5*{\mathrm{Delay}}^{(1-b_4)}}]+\\ W_4\×{\mathrm{SMOS}}_4\}+(1-\mathrm{\ζ}){\mathrm{MOS}}_P\end{array}---\left(6\right)$

通过安装在用户终端上的移动代理软件，获得一定比特率下的终端性能γ；通过网元管理单元，可获得丢包率Pkl、延时Delay、抖动Jitter、视频帧率FR、视频比特率BR；通过电话回访，问卷调查等获得用户的期望评价值SMOS₁、体验时的心情评价值SMOS₂、认知能力评价值SMOS₄；通过用户管理中心的数据库可获得用户的先前体验评价值MOS_P，在得到上述指标值后通过式(6)即可得到本次体验的综合评价MOS值。

对该技术领域的普通技术人员而言，根据以上实施类型可以很容易联想其他的优点和变形。因此，本发明并不局限于上述具体实例，其仅仅作为例子对本发明的一种形态进行详细、示范性的说明。在不背离本发明宗旨的范围内，本领域普通技术人员根据上述具体实例通过各种等同替换所得到的技术方案，均应包含在本发明的权利要求范围及其等同范围之内。

Claims (1)

1.基于树形分层结构的QoE综合评价方法，其特征在于，所述评价方法采用基于树形分层的QoE指标体系结构，该结构包括三个层面：体验层面、主观层面、客观层面；所述体验层面包括两个指标：本次体验、先前体验；本次体验包括主观层面中的用户的期望、用户的心情、主观拟合化的客观QoE、用户的认知能力；所述主观拟合化的客观QoE是指客观层面的QoE拟合结果，包括客观层面的终端性能、网络性能和视频性能；所述终端性能包括终端CPU性能、终端内存；所述网络性能包括网络延时、网络抖动、网络丢包率；所述视频性能包括视频比特率、视频帧率及视频内容；具体步骤如下：

步骤A，计算客观层面的QoE评价值，公式如下：

其中，表示主观拟合化的客观QoE评价值，其取值范围为0至5的实数；MOS(N,V)表示客观层面的无线网络性能和视频性能QoE拟合评价值，其取值范围为0至5的实数；mos(u)为客观层面的用户终端性能QoE拟合归一化评价值，其取值范围为0至1的实数；FR表示帧率、BR表示比特率、Pkl表示丢包率，Jitter表示抖动、Delay表示延时；F_CPU为CPU工作频率；a₁，a₂，a₃是视频性能指标参数的系数，为实数；b₁，b₂，b₃，b₄，b₅是网络性能指标参数的系数，为实数；β₁，β₂，β₃，β₄，β₅是终端CPU性能指标参数的系数，为实数；

步骤B，计算主观层面的QoE评价值MOS_N，公式如下：

其中，MOS_N表示用户在不考虑先前体验影响下的本次体验评价值；SMOS₁表示用户的期望评价值；SMOS₂表示用户的心情评价值；SMOS₄表示用户的认知能力评价值；W₁，W₂，W₃，W₄分别为用户的期望、用户的心情、主观拟合化的客观QoE、用户的认知能力相对应的权重，各权重都是0到1的实数；

步骤C，计算体验层面的QoE评价值，公式如下：

MOS＝ζMOS_N+(1-ζ)MOS_P

其中，MOS表示本次QoE的综合评价值，其取值范围为0至5的实数；MOS_P表示用户的先前体验评价值，其取值范围为0至5的实数；ζ表示MOS_N对应的权值，其取值范围为0至1的实数。