CN105357691A - Lte无线网络用户感知监测方法和系统 - Google Patents

Abstract

一种LTE无线网络用户感知监测方法，包括：步骤S1，根据数据业务类型设定多项QoE指标，其中，每个QoE指标映射到一项或多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系；步骤S2，根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；步骤S3，基于步骤S1中的第二映射关系以及步骤S2中的单项KPI指标的分值，计算单项KQI指标的分值；基于步骤S1中的第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。本发明还提供一种对应的系统。本发明提出一种新的用户感知监测方法和系统。

Description

LTE无线网络用户感知监测方法和系统

技术领域

本发明涉及网络用户感知检测技术，更具体地，涉及LTE无线网络用户感知监测方法和系统。

背景技术

LTE(长期演进，LongTermEvolution))现处在网络大规模建设期，作为网络质量评估的重要手段，KPI(关键性能指标，KeyPerformanceIndicator)目前仍然是运营商关注的重要指标。然而，4G用户对于大带宽实时数据业务的诉求很高，而且移动互联网应用的特征有很大的差异化，不同的应用对于网络的需求也有所不同。在各运营商4G网络的未来覆盖、业务内容和资费水平趋近相同的情况下，保证用户随时随地获得高质量的业务应用感知，成为运营商吸引用户、扩大市场占有率、提升ARPU值(每用户平均收入，ARPU-AverageRevenuePerUser)的关键因素。目前，在TMFGB923相关标准及现有移动通信网络用户感知评估技术中，虽然公开了用户感知评价方法，即通过QoE(QualityofExperience，体验质量)与KQI(KeyQualityIndicator，关键质量指标)和KPI的层级映射关系，来确定用户满意度感知评价。但是没有明确选择哪些指标参数(尤其是LTE移动通信系统)。其次，目前虽然已经提供用于评估QoE的模型，但是业务对象主要是语音业务和数据业务，没有考虑不同的细分数据业务的感知需求差异。再次，目前QoE感知评价结果主要依赖QoE-KQI-KPI关系模型设定的关键指标项与评分算法，缺乏与用户主观感知体验的对比研判，从而使得评价出的用户感知可信度较差。

发明内容

针对现有技术存在的上述缺陷，本发明要解决的技术问题包括：

(1)立足LTE用户的业务体验，建立业务质量体验QoE(QualtyofExperience)评估模型与评估方法，使用户在使用不同数据业务时的感知可测量、可评估；

(2)根据业务发展，智能优化QoE评估结果，从而不断适应用户体验，达到最佳效果；

(3)同步设计一个集实用性、综合性、直观性于一体的监测、分析系统，实现从用户感知的角度评估和掌控LTE全网运行质量，找出网络业务质量的短木板，明确指导优化维护工作，改善网络用户感知；

(4)自动监测用户感知水平，实现感知度下降或不符预期的提前预警，提前预防，进而降低网络用户投诉。

为此，本发明提供了一种LTE无线网络用户感知监测方法，包括：

步骤S1，根据数据业务类型设定一项或多项QoE指标，其中，每个QoE指标映射到一项或多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系；

步骤S2，根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；

步骤S3，基于步骤S1中的第二映射关系以及步骤S2中的单项KPI指标的分值，计算单项KQI指标的分值；基于步骤S1中的第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。

本发明还提供了一种LTE无线网络用户感知监测系统，包括：

指标设定单元，所述指标设定单元根据数据业务类型设定一项或多项QoE指标，其中，每个QoE指标映射到一项或多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系；

KPI指标评估单元，所述KPI指标评估单元根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；

KQI指标评估单元，所述KQI指标评估单元基于第二映射关系以及单项KPI指标的分值，计算单项KQI指标的分值；

QoE指标评估单元，其基于所述第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。

本发明具有如下有益效果：

a)LTE全网QoE实时监控

通过QoE实时监控功能，维护人员能轻松获取网络中QoE实时评估情况，变被动投诉分析，为主动监测分析，及时发现用户感知变差的情况。

b)智能化紧贴实际感知

能够根据网络业务或用户行为发生的变化，自我修正选择最贴近实际感知体验的QoE评估算法，从而不断适应用户体验，达到最佳效果。

c)业务感知精细化评估

可以针对多种业务的多种感知属性进行端到端的评估，实现全程全网质量监控。

d)实时告警推送

当某业务用户感知发生恶化，可实时生成告警并发送邮件、短信到相关维护人员，以便及时处理和优化。

附图说明

图1为现有技术的基于用户感知的网络质量评估体系的示意图。

图2为本发明的方法的第一实施方式的流程图。

图3为图2所示方法的二级QoE的映射原理图。

图4为图2所示方法的QoE-KQI的映射原理图。

图5为图2所示方法的KQI-KPI的映射原理图。

图6为本发明的方法的第二实施方式的流程图。

图7为本发明的方法中的拟合方法的流程图。

图8为本发明的方法的拟合方法的原理图。

图9为本发明的系统的一个实施方式的原理图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细描述，但不作为对本发明的限定。

第一实施方式

如图2所示，本发明的LTE无线网络用户感知监测方法包括：

在步骤S1，根据数据业务类型设定QoE指标，根据QoE指标来设定KQI指标，根据KQI指标来设定KPI指标，QoE指标和KQI指标之间具有第一映射关系，KQI指标和KPI指标之间具有第二映射关系。

进一步，QoE指标、KQI指标和KPI指标均包括多项分解指标，每一项分解指标具有权重。

QoE指标、KQI指标和KPI指标之间的映射关系模型如图3-5所示。用户感知的主要问题可以作为QoE指标。通过合理的映射和分析，同时考虑指标的可获取性，选取关键的业务性能KQI指标来表征这些QoE指标。进一步，这些KQI指标可以通过网络性能KPI指标来表征。

本发明的关键点是将不同业务(一级QoE)在多个方面(二级QoE)设置哪些KQI指标以及哪些KPI指标。进而，通过KPI指标就可以计算出QoE。

具体而言，QoE指标可以根据业务类型来设定，不同的数据业务类型，用户体验需求QoE指标不同。如图3所示，本发明的第一实施方式中，将QoE分成两级，第一级是业务划分，业务划分包括视频、web浏览、即时消息、文件下载等。第一级业务的满意度评价QoE可以映射为第二级满意度体验QoE。第二级满意度体验QoE包括四种：可接入性、及时性、可持续性和内容质量。

业务性能KQI指标可以根据QoE指标来设定。图4显示了基于图3所示的实施方式的QoE指标-KQI的一种映射关系。如图4所示，满意度体验QoE指标可映射为多个KQI指标：网络覆盖率、连接成功率、业务接入时延、业务下载时延、业务下载成功率、业务使用成功率、下载平均速率、资源下载完整率。其中，“可接入性”映射为4个KQI指标：网络覆盖率、连接成功率、业务下载成功率、业务使用成功率。“及时性”映射为2个KQI指标：业务接入时延、业务下载时延。“可持续性”映射为2个KQI指标：下载平均速率、资源下载完整率。“内容质量”映射为1个KQI指标：资源下载完整率。

每一个业务性能KQI指标可以映射为多个网络性能KPI指标。图5显示了基于图4所示的实施方式的KQI-KPI指标的一种映射关系，可以从4个方面去确定网络性能KPI指标，分别为用户终端、无线/核心网、应用服务器和传输。

表1-3示出了一个具体示例中QoE指标、KQI指标和KPI指标，以及他们之间的映射关系。

表1给出了不同数据业务而划分的满意度体验QoE的一个实例。

表1QoE指标设定表

根据以上不同的用户体验需求，将其翻译为可通过测量或统计得到的性能KQI，初步建立QoE和KQI之间的映射关系如表2。

表2QoE指标-KQI映射关系表

由KQI向下，继续挖掘与其关联的端到端网络关键性能指标，建立KQI指标-KPI指标的映射关系。表1-2显示了各种业务类型的，为了更进一步进行映射，下面表3给出了以web浏览业务为例的KQI-KPI映射关系。

表3KQI指标-KPI映射关系表

在表3所示的示例中，设定了每一个KPI分解指标占的权重，所述权重是初始的，可以在实际监测过程中调整(调整方法在下文中详述)。

再参照图2，在步骤S2中，根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值。

具体地，对单项KPI评估公式，先确定每个指标的容忍区间，假设为【a,b】，再通过如下函数来评估单项KPI指标。

上式B_i表示每项KPI的百分制评估值，x表示KPI的实际测量值。

再参照图2，在步骤S3中，基于步骤S1中的第一映射关系和第二映射关系，以及步骤S2中的KPI指标分值，来计算QoE指标分值。

QoE与具体的业务相关联，不同业务对应的KQI指标不相同，且因质量体验而有不同的权重，比值越高，影响越大，最终使每个KQI都能根据其实际影响反映到QoE的最终得分。

这里给出一组指标矩阵，用以对QoE进行计算。对每个确定的业务，给其各KQI设置不同的权重，用一维向量表示：

A＝[a₁,a₂,a₃…a_n](式1)

其中，0≤a_i≤1，(i＝1,2…)。

同理，对每项KQI，给其对应的各KPI设置不同权重，那么，第i个KQI对应的各KPI权重K_i和利用步骤S3中的KPI评分算法得出的评分值B_i用一维向量分别表示如下：

K_i＝[k_i1,k_i2,k_i3,…,k_im]，B_i＝[b_i1,b_i2,b_i3…b_im](式2)

其中，0≤k_ij≤1，0≤b_ij≤100，(i＝1,2…)

这样，Q_i＝K_iB_i ^T＝[q_i](i＝1,2…n)，得到第i项KQI评分值，各项KQI可以写成一维向量：

$Q=\left[\begin{array}{c}{q}_1\\ q_2\\ ...\\ q_n\end{array}\right]$ (式3)

用式(1)矩阵乘以式(3)矩阵，其结果就是业务QoE初始量化评分。即：

QoE＝A·Q

如此完成用户感知的监测。

优选地，再参照图2，本发明的方法还包括步骤S4，在步骤S4中，根据QoE的初始量化评分给出不同的级别的判定，来作为检测结果。如下表4：

表4业务QoE初始量化评分和评价表

QoE初始量化评分	QoE评价
		【80,100】	优秀
【60,79】	好
		【40,59】	一般
【20,39】	较差

【0,19】

非常差

用户对业务的实际使用情况也就是客户主观感知评分。针对各项业务，根据QoE指标项，进行用户调查QoE分值评估。例如，可以采用现场问卷调查方式，采集足够多个样本点，对QoE的指标项进行问卷调查。采用5分制的评价标准：优，评价分值5分；良，评价分值4分；中，评价分值3分；差，评价分值2分；劣，评价分值1分。统计各项QoE平均得分结果，并转换为百分制得分，以此作为网络主观客户感知水平。

第二实施方式

本实施方式对第一实施方式做进一步改进。如图6所示，除了第一实施方式的步骤S1-S4，本实施方式还包括步骤S5。

在步骤S5中，利用用户感知调查数据对QoE模型(即步骤S1-S4表示的方法)进行数据训练。模型训练的方式有两种，一种是采用拟合的方式(如夏普利值算法等)确定分项QoE权重关系。另一种是采用神经网络BackPropagation算法，修正QoE权值系数，最终使QoE预测结果与用户调查感知误差最小。图7显示了训练过程的示意图。

算法具体步骤如下：

a)输入KPI监测数据，根据初始建立的KPI-KQI-QoE模型分别计算KQI与QoE感知结果；

b)计算KQI和QoE调研数据与模型计算结果的偏差；

c)判断此偏差是否在合理范围，是否达到最大训练迭代次数，如果不在合理范围且未达到最大迭代次数，分别计算QoE层级以及KQI层级的误差，并将误差分摊至这两个层级，从而获得各层级的误差，此误差即作为修正KQI以及KPI权值的依据。

d)调整后重新返回步骤b)，经过权值的不断调整，使得KQI与QoE的评估结果与实际用户感知的误差逐渐达到最小值。

图7-8显示了一个完整的用户感知检测方法的流程图和原理图。

首先，在步骤S201，采集与KQI相关的各项KPI指标，进行KQI评分。由于各网络KPI的取值范围不同，因此通过科学的制定评分原则将各KPI映射到合理的取值空间中。

在步骤S202，将各KQI的评分通过加权的方式对每个QoE指标构建初始模型，得出100分制QoE加权分值。分数越高用户感知越好，加权值的大小量化反应了各指标对用户感知的影响程度。

在步骤S203，基于客户主观感知数据库，结合实际客户体验反复训练初始模型，调整权重集，逐步得出待求集，获得QoE评分。其中，客户主观感知数据库的形成过程为：将收集分析实际客户体验，如模拟测试、问卷调查，将QoE形成平均得分结果，以此作为网络主观客户感知水平，并存储。

在步骤S204，将步骤S203得到的QoE评分与实际客户体验相比较，是否贴近实际客户体验QoE，并对QoE模型进行调教，调教方法为如上所述的拟合或神经算法，直至获取接近用户体验实际的QoE评分。

进一步，在步骤S205，将各QoE指标评分分别与预设的告警门限比对，如果超出门限，则跳转到步骤S206，选择告警触发方式，例如，感知差告警。进一步，在步骤S207中进行告警分析与处理。

第三实施方式

本发明还提出一种LTE无线网络用户感知监测系统。如图9所示，LTE无线网络用户感知监测系统包括：

指标设定单元，其根据数据业务类型设定一项或多项QoE指标，其中，每个QoE指标映射到一项或多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系。

KPI指标评估单元，其根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；

KQI指标评估单元，其基于所述第二映射关系以及所述单项KPI指标的分值，计算单项KQI指标的分值；

QoE指标评估单元，其基于所述第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。

进一步，所述LTE无线网络用户感知监测系统还包括级别判定单元，其基于所述业务QoE初始量化评分给出不同的级别的判定，作为监测结果。

其中，指标设定单元为每项QoE指标、每项KQI指标和每项KPI指标具有权重；

其中，KPI指标评估单元对单项KPI指标进行评估时，先确定每个指标的容忍区间[a,b]，再通过如下函数来计算单项KPI指标的分值B_i：

上式y表示每项KPI的百分制评估结果，x表示每项KPI的实际测量值。

其中，对每项KPI指标的权重K_i和单项KPI指标的分值B_i用一维向量分别表示如下：

K_i＝[k_i1,k_i2,k_i3,…,k_im]，B_i＝[b_i1,b_i2,b_i3…b_im]

其中，0≤k_ij≤1，0≤b_ij≤100，(i＝1,2…)

KQI指标评估单元通过计算Q_i＝K_iB_i ^T＝[q_i](i＝1,2…n)，得到第i项KQI指标的分值，各项KQI指标的分值形成一维向量：

$Q=\left[\begin{array}{c}{q}_1\\ q_2\\ ...\\ q_n\end{array}\right]$

对每个确定的业务，每项KQI指标的权重用一维向量表示：

A＝[a₁,a₂,a₃…a_n]

其中，0≤a_i≤1，(i＝1,2…)。

QoE指标评估单元基于所述Q和所述A，用如下公式计算得到业务QoE初始量化评分：

QoE＝A·Q。

所述LTE无线网络用户感知监测系统还包括数据训练单元。所述数据训练单元利用用户感知调查数据对所述LTE无线网络用户感知监测系统进行数据训练，训练方法为夏普利值算法或神经网络BackPropagation算法，具体为：

a)输入KPI监测数据，根据指标设定单元建立的KPI-KQI-QoE模型分别计算KQI与QoE感知结果；

b)计算KQI和QoE调研数据与模型计算结果的偏差；

c)判断此偏差是否在合理范围，是否达到最大训练迭代次数，如果不在合理范围且未达到最大迭代次数，分别计算QoE层级以及KQI层级的误差，并将误差分摊至这两个层级，从而获得各层级的误差，此误差即作为修正KQI以及KPI权值的依据；

d)调整后重新返回步骤b)，经过权值的不断调整，使得KQI与QoE的评估结果与实际用户感知的误差逐渐达到最小值。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种LTE无线网络用户感知监测方法，其特征在于，包括：

步骤S1，根据数据业务类型设定一项或多项QoE指标，其中，每个QoE指标映射到多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系；

步骤S2，根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；

步骤S3，基于步骤S1中的第二映射关系以及步骤S2中的单项KPI指标的分值，计算单项KQI指标的分值；基于步骤S1中的第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。

2.根据权利要求1所述的LTE无线网络用户感知监测方法，其特征在于，所述KQI指标包括：网络覆盖率、连接成功率、业务接入时延、业务下载时延、业务下载成功率、业务使用成功率、下载平均速率和资源下载完整率，针对浏览业务，所述KPI指标包括：无线接通率、E-RAB阻塞率、分组数据协议报文创建成功率、域名系统解析成功率、页面完整显示率、Attach时延、分组数据协议报文创建时长、域名系统解析时长、TCP/IP连接建立时长、APP浏览器启动时长、用户面PDCPSDU下行数据量、PDSCHPRB平均利用率、寻呼拥塞率、上行误块率和RLC重传率。

3.根据权利要求1所述的LTE无线网络用户感知监测方法，其特征在于，

在步骤S1中，每项QoE指标、每项KQI指标和每项KPI指标具有权重；

在步骤S2中，对单项KPI指标进行评估时，先确定每个指标的容忍区间[a,b]，再通过如下函数来评估单项KPI指标的分值B_i：

上式B_i表示每项KPI的百分制评估值，x表示每项KPI的实际测量值。

4.根据权利要求3所述的LTE无线网络用户感知监测方法，其特征在于，步骤S3包括：

1)对每项KPI指标的权重K_i和步骤S2中得到的单项KPI指标的分值B_i用一维向量分别表示如下：

K_i＝[k_i1,k_i2,k_i3,…,k_im]，B_i＝[b_i1,b_i2,b_i3…b_im]

其中，0≤k_ij≤1，0≤b_ij≤100，(i＝1,2…)

通过Q_i＝K_iB_i ^T＝[q_i](i＝1,2…n)，得到第i项KQI指标的分值，各项KQI指标的分值形成一维向量：

$Q=\left[\begin{array}{c}{q}_1\\ q_2\\ ...\\ q_n\end{array}\right]$

2)对每个确定的业务，每项KQI指标的权重用一维向量表示：

A＝[a₁,a₂,a₃…a_n]

其中，0≤a_i≤1，(i＝1,2…)。

3)基于步骤1)中的Q和步骤2)中的A，用如下公式计算得到业务QoE初始量化评分：

QoE＝A·Q。

5.根据权利要求4所述的LTE无线网络用户感知监测方法，其特征在于，还包括：利用用户感知调查数据对步骤S1-S4中体现的QoE方法进行数据训练，具体为：

a)输入KPI监测数据，根据步骤S1建立的KPI-KQI-QoE模型分别计算KQI与QoE感知结果；

b)计算KQI和QoE调研数据与模型计算结果的偏差；

c)判断此偏差是否在合理范围，是否达到最大训练迭代次数，如果不在合理范围且未达到最大迭代次数，分别计算QoE层级以及KQI层级的误差，并将误差分摊至这两个层级，从而获得各层级的误差，此误差即作为修正KQI以及KPI权值的依据；

d)调整后重新返回步骤b)，经过权值的不断调整，使得KQI与QoE的评估结果与实际用户感知的误差逐渐达到最小值。

6.一种LTE无线网络用户感知监测系统，其特征在于，包括：

指标设定单元，所述指标设定单元根据数据业务类型设定一项或多项QoE指标，其中，每个QoE指标映射到一项或多项KQI指标，每个KQI指标映射到一项或多项KPI指标，QoE指标和KQI指标之间为第一映射关系，KQI指标和KPI指标之间为第二映射关系；

KPI指标评估单元，所述KPI指标评估单元根据每个KPI指标的容忍区间，根据现网KPI数据指标实际测量值来评估单项KPI指标的分值；

KQI指标评估单元，所述KQI指标评估单元基于第二映射关系以及单项KPI指标的分值，计算单项KQI指标的分值；

QoE指标评估单元，其基于所述第一映射关系和单项KQI指标的分值，计算得到业务QoE初始量化评分。

7.根据权利要求6所述的LTE无线网络用户感知监测系统，其特征在于，所述KQI指标包括：网络覆盖率、连接成功率、业务接入时延、业务下载时延、业务下载成功率、业务使用成功率、下载平均速率和资源下载完整率，针对浏览业务，所述KPI指标包括：无线接通率、E-RAB阻塞率、分组数据协议报文创建成功率、域名系统解析成功率、页面完整显示率、Attach时延、分组数据协议报文创建时长、域名系统解析时长、TCP/IP连接建立时长、APP浏览器启动时长、用户面PDCPSDU下行数据量、PDSCHPRB平均利用率、寻呼拥塞率、上行误块率和RLC重传率。

8.根据权利要求6所述的LTE无线网络用户感知监测系统，其特征在于，

指标设定单元为每项QoE指标、每项KQI指标和每项KPI指标具有权重；

KPI指标评估单元对单项KPI指标进行评估时，先确定每个指标的容忍区间[a,b]，再通过如下函数来计算单项KPI指标的分值B_i：

上式B_i表示每项KPI的百分制评估值，x表示每项KPI的实际测量值。

9.根据权利要求8所述的LTE无线网络用户感知监测系统，其特征在于，

对每项KPI指标的权重K_i和步骤S2中得到的单项KPI指标的分值B_i用一维向量分别表示如下：

K_i＝[k_i1,k_i2,k_i3,…,k_im]，B_i＝[b_i1,b_i2,b_i3…b_im]

其中，0≤k_ij≤1，0≤b_ij≤100，(i＝1,2…)

KQI指标评估单元通过Q_i＝K_iB_i ^T＝[q_i](i＝1,2…n)，得到第i项KQI指标的分值，各项KQI指标的分值形成一维向量：

$Q=\left[\begin{array}{c}{q}_1\\ q_2\\ ...\\ q_n\end{array}\right]$

对每个确定的业务，每项KQI指标的权重用一维向量表示：

A＝[a₁,a₂,a₃…a_n]

其中，0≤a_i≤1，(i＝1,2…)。

QoE指标评估单元基于所述Q和所述A，用如下公式计算得到业务QoE初始量化评分：

QoE＝A·Q。

10.根据权利要求9所述的LTE无线网络用户感知监测系统，其特征在于，还包括数据训练单元。所述数据训练单元利用用户感知调查数据对所述LTE无线网络用户感知监测系统进行数据训练，训练方法为夏普利值算法或神经网络BackPropagation算法，具体为：

a)输入KPI监测数据，根据指标设定单元建立的KPI-KQI-QoE模型分别计算KQI与QoE感知结果；

b)计算KQI和QoE调研数据与模型计算结果的偏差；

c)判断此偏差是否在合理范围，是否达到最大训练迭代次数，如果不在合理范围且未达到最大迭代次数，分别计算QoE层级以及KQI层级的误差，并将误差分摊至这两个层级，从而获得各层级的误差，此误差即作为修正KQI以及KPI权值的依据；

d)调整后重新返回步骤b)，经过权值的不断调整，使得KQI与QoE的评估结果与实际用户感知的误差逐渐达到最小值。