CN102625344A - 移动终端用户体验质量评估模型及方法 - Google Patents

Abstract

本发明公开了一种移动终端用户体验质量评估模型及方法，属于通信测试领域。该评估方法包括：获取影响用户体验质量的技术因素与非技术因素，提取关键性能指标和关键质量指标，分类整理以用户投诉形式进行呈现的非技术因素，分别映射到技术因素侧对应的关键质量指标，并在一定评估周期、一定评估范围内计算技术因素侧关键质量指标相对于用户体验质量的权重值以及非技术因素侧的用户投诉率，将二者进行加权求和，得到关键质量指标新的权重值。通过本发明，更加准确地反映了用户体验质量；并且在计算关键质量指标KQI的新权重值时，仅需要进行一次评估，在后续计算中，根据用户投诉率来动态改变KQI指标的新权重值，大大减少了工作量。

Description

移动终端用户体验质量评估模型及方法

技术领域

本发明涉及通信测试领域，特别是涉及一种移动终端用户体验质量评估模型及方法。

背景技术

当前对于移动终端用户体验质量的评价方法很少，并且仍停留在从网络侧采集网络指标数据来进行分析，所采用的指标也多为传统的网络性能指标，没有一套完整的反映移动终端用户体验到网络质量的指标体系，也没有一种真正深入用户侧分析用户体验质量的方法。

在当前研究中，用户体验可以分为正面体验和负面体验，在所有负面体验中，只有少部分用户会采取投诉的方式反映实际用户感受，大部分用户选择沉默，这样就不能准确反映用户的主观感受。

随着业务的不断丰富发展，基于移动终端用户体验的网络评估和优化已经逐渐成为未来移动通信网络优化发展的必然方向，一套全面、系统的移动终端用户体验质量评估模型和提升移动终端用户体验质量的优化方案成为网络优化的核心。

发明内容

本发明的目的是提供一种移动终端用户体验质量评估模型，结合了影响用户体验质量的技术因素和非技术因素，其中技术因素主要为网络性能且非技术因素主要为用户投诉，即用户主观体验，融合网络性能和用户主观体验更加准确地反映了用户体验质量。

本发明的另一目的是提供一种移动终端用户体验质量评估方法，在求取单个评估范围的新权重值时，仅需要对关键质量指标KQI进行一次评估，在后续计算中，根据用户投诉率来动态改变KQI指标的新权重值，大大减少了工作量，并且更好地反映了用户最直观、最真实的感受，使用户体验质量提升更加贴近用户。

为了实现上述目的，本发明提供了一种移动终端用户体验质量评估模型，其特征在于：由技术因素侧和非技术因素侧组成，在该技术因素侧分为四层，由下至上分别定义了网络性能指标PI、关键性能指标KPI、关键质量指标KQI和技术因素，其中该网络性能指标PI经分类分析，聚合映射为不同的网络关键性能指标KPI；该网络关键性能指标KPI经功能分析，聚合映射为不同的网络关键质量指标KQI；该网络关键质量指标KQI聚合映射为技术因素；

在所述非技术因素侧包括用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为多类用户投诉，并将分类后的用户投诉与该技术因素侧的关键质量指标KQI相关联，建立映射关系；

通过对技术因素侧的关键质量指标KQI和非技术因素侧的用户投诉进行综合分析来评估移动终端用户体验质量。

该技术因素用于表示影响移动终端用户体验质量的网络因素。

所述用户投诉为实际业务使用过程中具有负面体验的用户实际感受，且每一类用户投诉至少对应于该技术因素侧的一种关键质量指标KQI。

本发明还提供了一种移动终端用户体验质量评估方法，其特征在于包括以下步骤：

S1、建立权利要求1所述的移动终端用户体验质量评估模型：

获取待评估业务的网络性能指标PI，该网络性能指标PI经分类分析，聚合映射成不同的网络关键性能指标KPI，该关键性能指标KPI经功能分析，聚合映射成不同的关键质量指标KQI，且该关键质量指标KQI聚合映射成技术因素，由此建立技术因素侧，其中根据该待评估业务的特征，确定该待评估业务中关键质量指标KQI的个数为m，m为大于零的整数；

获取待评估业务中一个评估范围内的用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为n类用户投诉，由此建立非技术因素侧，其中该评估范围表示待评估业务的地理区域范围，n为大于零的整数；

根据技术因素侧关键质量指标KQI与非技术因素侧各类用户投诉之间的关联，建立关键质量指标KQI与用户投诉的映射关系；

S2、获取H个评估周期的用户投诉数据，每一评估周期划分成K个评估时间单元，并且将该评估范围在每一评估时间单元内技术因素侧、非技术因素侧的权重值均初始化为0.5，其中K和H为大于零的整数；

S3、在技术因素侧，根据各关键质量指标KQI之间的重要程度，建立模糊判断矩阵，并采用三角模糊数的模糊层次分析法计算该评估范围在第1个评估周期的各评估时间单元内各关键质量指标KQI的初始权重值，由w_t，i(1)表示第1个评估周期的第t个评估时间单元内第i个关键质量指标KQI的初始权重值，其中(1)表示第1个评估周期，下标t表示第几个评估时间单元且取值范围为[1，K]，下标i表示第几个关键质量指标KQI且取值范围为[1，m]，K为评估周期中评估时间单元的个数，m为关键质量指标KQI的个数且t、i为大于零的整数；

S4、由l表示第几个评估周期，则l的取值范围为[1，H]且为整数，H为评估周期的个数，初始化l为2；

S5、在非技术因素侧，计算在第l个评估周期的各评估时间单元内各类用户投诉量与总用户投诉量的比值，即各类用户投诉的投诉率：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率且λ_t，j(l)＝b_t，j(l)/B_t，j(l)×100％，其中b_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉量，B_t，j(l)表示在第l个评估周期的第t个评估时间单元内总用户投诉量，(l)表示第l个评估周期，下标t表示第几个评估时间单元且取值范围为[1，K]，下标j表示第几类用户投诉且取值范围为[1，n]，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数；

S6、判断在第l个评估周期的各评估时间单元内各类用户投诉的投诉率是否等于零：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，判断λ_t，j(l)是否等于零：

如果λ_t，j(l)＝0，即没有用户投诉，则即使考虑非技术因素侧的用户投诉，技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值也不会发生改变；

如果λ_t，j(l)≠0，即存在用户投诉，则技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值发生改变，在第l个评估周期的第t评估时间单元内第i个关键质量指标KQI的新权重值为 $w_{t,i}^{\′}\left(l\right)=\frac{w_{t,i}\left(1\right)}{2}+\frac{1}{1-{(1/2)}^{H-1}}\×\underset{l=1}{\overset{H-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{\λ}}_{t,j}\left(l\right)}{2}\×{\left(\frac{1}{2}\right)}^{H-l},$ 其中w_t，j(1)表示该评估范围在第1个评估周期的第t评估时间单元内第i个关键质量指标KQI的初始权重值，λ_t，j(l)表示第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，H为评估周期的个数，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数；

S7、重复执行步骤S6，计算获得在第l个评估周期的各评估时间单元内各关键质量指标KQI的新权重值，并且l++；

S8、判断l≥H是否成立：如果不成立则重复执行步骤S5～S7，如果成立则获得该评估范围考虑非技术因素侧的用户投诉后，在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值。

当对多个评估范围进行评估时：

A、按照步骤S2～S8分别计算多个评估范围分别在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值，其中由w′_p，t，i(l)表示第p个评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，(l)表示第l个评估周期，l为[1，H]范围内的整数，下标t表示第几个评估时间单元且为[1，K]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，m]范围内的整数，H为评估周期的个数，K为评估周期内评估时间单元的个数，m为关键质量指标KQI的个数；

B、求取各评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，从而获得多个评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的综合权重值其中下标p表示第几个评估范围且为[1，P]范围内的整数，下标t表示第几个评估时间单元且为[1，K]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，m]范围内的整数，P为评估范围的个数，K为评估周期内评估时间单元的个数，m为关键质量指标KQI的个数；

C、重复执行步骤B，获得多个评估范围在各评估周期的各评估时间单元内各关键质量指标KQI的综合权重值。

将一个评估范围的新权重值总和以柱状图的形式呈现，其中横坐标为时间，纵坐标为各关键质量指标KQI的新权重值。

将多个评估范围的关键质量指标KQI的综合权重值以柱状图的形式呈现，其中横坐标为时间，纵坐标为各关键质量指标KQI的综合权重值。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、采用结合了网络性能因素和用户投诉的移动终端用户体验质量评估模型，将用户的主观感受很好地与网络因素进行融合，更加准确地反映了用户体验质量；

2、在求取单个评估范围在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值时，仅需要对关键质量指标KQI进行一次评估，在后续计算中，根据用户投诉率来动态改变KQI指标的新权重值，大大减少了工作量，并且更好地反映了用户最直观、最真实的感受，使用户体验质量提升更加贴近用户；

3、针对多个评估范围，仅需求得各评估范围的数据，并求取所有被评估范围的新权重值的平均值，获得关键质量指标KQI的综合权重值，由此实现多个评估范围的用户体验质量评估；

4、采用柱状图来表征单个评估范围或者多个评估范围的关键质量指标KQI，可以清楚看到在每个时间段内对于某一业务，用户最关心的一个性能指标，从而可以指导网络优化人员对权重值较高的指标重点关注，以保证该指标可以保持在比较好的性能范围之内。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明中该移动终端用户体验质量评估模型的示意图；

图2是本发明的第一实施例中移动终端用户体验质量评估模型的示意图；

图3是本发明的第一实施例中移动终端用户体验质量评估方法的流程图；

图4是本发明的第一实施例中未加入非技术因素时单小区前一天关键质量指标KQI的初始权重的柱状图；

图5是本发明的第一实施例中加入非技术因素时单小区前一天关键质量指标KQI的新权重值的柱状图；

图6是本发明的第一实施例中加入非技术因素时单小区后一天关键质量指标KQI的新权重值的柱状图；

图7是本发明的第一实施例中加入非技术因素时同一天两个小区关键质量指标KQI的综合权重值的柱状图。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，该移动终端用户体验质量评估模型由技术因素侧和非技术因素侧组成。在技术因素侧，由下至上总共分为四层，分别定义了网络性能指标PI、网络关键性能指标KPI、网络关键质量指标KQI和技术因素，其中该网络性能指标PI不同于具体的业务或系统，是指与网络或者设备性能或者业务运行指标有关的数据，该技术因素用于表示影响移动终端用户体验质量的网络因素。该网络性能指标PI经分析处理，聚合映射为不同的关键性能指标KPI，诸如将网络性能指标PI1、PI2聚合映射为网络关键性能指标KPI1；该网络关键性能指标KPI经功能分析，聚合映射为不同的关键质量指标KQI，即将功能相同的网络关键性能指标KPI聚合映射为一个关键质量指标KQI，诸如将功能相同的网络关键性能指标KPI3、KPI4聚合映射为网络关键质量指标KQI3；该网络关键质量指标KQI聚合映射为技术因素，进而映射至用户体验QoE(Quality ofExperience)，由此获得技术因素侧的指标映射层次图。应注意的是：在网络性能指标PI向关键性能指标KPI聚合映射中，网络性能指标PI可以对应映射一个或者多个关键性能指标KPI，诸如网络性能指标PI4聚合映射为关键性能指标KPI3、KIP4；且在关键性能指标KPI向关键质量指标KQI聚合映射中，关键性能指标KPI也可以对应映射一个或者多个关键质量指标KQI，诸如关键性能指标KPI3聚合映射为关键质量指标KQI2、KQI3。

在非技术因素侧包括用户投诉数据，根据该用户投诉数据的内容和现象，对该用户投诉进行分类整理，并将分类后的用户投诉与技术因素侧相应的关键质量指标KQI相关联，建立映射关系。用户投诉是指在实际业务使用过程中具有负面体验的用户实际感受，且每一类用户投诉至少对应于该技术因素侧的一种关键质量指标KQI。通过对该技术因素侧的关键质量指标KQI和非技术因素侧的用户投诉进行综合分析，以量化的方式可以更加准确地评估移动终端用户体验质量。

基于该移动终端用户体验质量评估模型的评估方法，由以下步骤组成：

S1、建立上述移动终端用户体验质量评估模型：

获取待评估业务的网络性能指标PI，该网络性能指标PI经分类分析，聚合映射成不同的网络关键性能指标KPI，该关键性能指标KPI经功能分析，聚合映射成不同的关键质量指标KQI，且该关键质量指标KQI聚合映射成技术因素，由此建立技术因素侧，其中根据该待评估业务的特征，确定该评估业务中关键质量指标KQI的个数为m，m为大于零的整数；

获取待评估业务中一个评估范围p的用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为n类用户投诉，由此建立非技术因素侧，其中评估范围p表示待评估业务的地理区域范围，n为大于零的整数；

根据技术因素侧关键质量指标KQI与非技术因素侧各类用户投诉之间的关联，建立关键质量指标KQI与用户投诉的映射关系。

S2、获取H个评估周期的用户投诉数据，每一评估周期划分成K个评估时间单元，并且将该评估范围p在每一评估时间单元内技术因素侧、非技术因素侧的权重值均初始化为0.5，其中K和H均为大于零的整数。

S3、在技术因素侧，根据各关键质量指标KQI之间的重要程度，建立模糊判断矩阵，并采用三角模糊数的模糊层次分析法计算该评估范围p在第1个评估周期的各评估时间单元内各关键质量指标KQI的初始权重值，由w_t，i(1)表示第1个评估周期的第t个评估时间单元内第i个关键质量指标KQI的初始权重值，(1)表示第1个评估周期，下标t表示第几个评估时间单元且取值范围为[1，K]，下标i表示第几个关键质量指标KQI且取值范围为[1，m]，K为评估周期中评估时间单元的个数，m为关键质量指标KQI的个数且t、i为大于零的整数；由于模糊判断矩阵的建立以及利用三角模糊数的模糊层次分析计算为成熟的技术，在此不予累述。

S4、由l表示第几个评估周期，则l的取值范围为[1，H]，H为评估周期的个数，初始化l为2；

S5、在非技术因素侧，计算在第l个评估周期的各评估时间单元内各类用户投诉量与总用户投诉量的比值，即各类用户投诉的投诉率：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉量与总用户投诉量的比值且λ_t，j(l)＝b_t，j(l)/B_t，j(l)×100％，其中b_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉量，B_t，j(l)表示在第l个评估周期的第t个评估时间单元内总用户投诉量，(l)表示第l个评估周期，下标j表示第几类用户投诉且取值范围为[1，n]，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数；

S6、判断在第l个评估周期的各评估时间单元内的各类用户投诉的投诉率是否等于零：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，判断λ_t，j(l)是否等于零：

如果λ_t，j(l)＝0，即没有用户投诉，则即使考虑非技术因素侧的用户投诉，技术因素侧与该第j类用户投诉相关联的关键质量指标KQI的权重值也不会发生改变，即第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值与第l-1个评估周期第t个评估时间单元内第i个关键质量指标KQI的新权重值相等：w′_t，i(l)＝w′_t，i(l-1)；

如果λ_t，j(l)≠0，即存在用户投诉，则技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值发生改变，在第l个评估周期的第t评估时间单元内第i个关键质量指标KQI的新权重值为 $w_{t,i}^{\′}=\frac{w_{t,i}\left(1\right)}{2}+\frac{1}{1-{(1/2)}^{H-1}}\×\underset{l=1}{\overset{H-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{\λ}}_{t,j}\left(l\right)}{2}\×{\left(\frac{1}{2}\right)}^{H-l},$

其中w_t，i(1)表示评估范围在第1个评估周期的第t评估时间单元内第i个关键质量指标KQI的初始权重值，λ_t，j(l)表示第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，H为评估周期的个数，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数。

S7、重复执行步骤S6，计算获得在第l个评估周期的各评估时间单元内各关键质量指标KQI的新权重值，并且l++；

S8、判断l≥H是否成立：如果不成立则重复执行步骤S5～S7，如果成立则获得在各评估周期的各评估时间单元内考虑非技术因素侧的用户投诉后各关键质量指标KQI的新权重值。由此，完成一个评估范围在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值的计算，该新权重值可以通过柱状图的形式表示，其中横坐标为时间，纵坐标为各关键质量指标KQI的新权重值。当然，除了采用柱状图形式之外，还可以采用点阵图等其他形式来表示该新权重值。

当对多个评估范围进行评估时，按照以下步骤进行：

A、按照步骤S2～S8分别计算各评估范围在各评估周期的各评估时间单元内考虑非技术因素侧的用户投诉后各关键质量指标KQI的新权重值；

B、求取各评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，从而获得在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的综合权重值

其中w′_p，t，i(l)表示第p个评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，(l)表示第l个评估周期，l为[1，H]范围内的整数，下标p表示第几个评估范围且为[1，P]范围内的整数，下标t表示第几个评估时间单元且为[1，K]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，m]范围内的整数，H为评估周期的个数，P为评估范围的个数，K为评估周期内评估时间单元的个数，m为关键质量指标KQI的个数；

C、重复执行步骤B，获得多个评估范围在各评估周期的各评估时间单元内各关键质量指标KQI的综合权重值。

在本发明的第一实施例中，待评估业务为视频业务，评估范围为单小区，评估周期为1天，评估时间单元为1小时(即将评估周期划分为24个评估时间单元)。针对视频业务，其移动终端用户体验质量评估模型如图2所示，由技术因素侧和非技术因素侧组成，在该技术因素侧由下至上分为四层，分别定义了网络性能指标PI、关键性能指标KPI、关键质量指标KQI和技术因素，其中该网络性能指标PI包括RRC建立成功次数、RRC建立总次数、E-RAB指派建立尝试次数、E-RAB指派建立成功响应次数、接纳拒绝的E-RAB数、RRC发起建立请求时间等；该关键性能指标KPI包括RRC建立成功率，E-RAB建立成功率，E-RAB建立阻塞率，呼叫建立时延，寻呼拥塞率，RRC连接异常掉话率，E-RAB掉话率，带宽利用率，丢包率，重缓冲频率；该关键质量指标KQI包括视频业务接入成功性，视频业务服务建立时长，视频业务播放中断率以及视频业务播放质量。

该网络性能指标PI经分类分析，聚合映射为不同的网络关键性能指标KPI，诸如RRC建立成功次数、RRC建立总次数聚合映射为RRC建立成功率；该网络关键性能指标KPI经功能分析，聚合映射为不同的网络关键质量指标KQI，诸如RRC建立成功率，E-RAB建立成功率，E-RAB建立阻塞率聚合映射为视频业务接入成功性；该网络关键质量指标KQI聚合映射为技术因素。

在非技术因素侧包括用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为多类用户投诉，分类后的用户投诉包括视频接通性差，视频连接时间过长，视频播放不流畅，视频播放质量差。将分类后的用户投诉与该技术因素侧的关键质量指标KQI相关联，建立映射关系。

通过对技术因素侧的关键质量指标KQI和非技术因素侧的用户投诉进行综合分析来评估移动终端用户体验质量。

针对单小区的视频业务评估，移动终端用户体验质量评估方法由以下步骤组成，如图3所示：

步骤一、建立移动终端用户体验质量评估模型，如图2所示：

步骤S101，针对具体的业务，提取关键质量指标KQI以及用户主观感受(即根据用户投诉的内容和现象，对用户投诉进行分类)。以视频业务为例，根据该业务的特征，在技术因素侧，关键质量指标KQI主要分为4种：视频业务接入成功性，视频业务服务建立时长，视频业务播放中断率以及视频业务播放质量。在非技术因素侧，主要的用户投诉类包括4种：视频接通性差，视频连接时间过长，视频播放不流畅以及视频播放质量差。

步骤S102，将非技术因素侧的用户投诉映射至技术因素侧相应的关键质量指标KQI。

步骤二、计算该单小区在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值：

步骤S201，对于某一单小区的用户，获取多天的用户投诉数据，设定在该单小区的每个小时内，分别赋予技术因素和非技术因素相对于用户体验质量QoE的初始权重值为0.5。

步骤S202，在技术因素侧，通过专家评估，确定关键质量指标KQI之间的相对重要程度，并建立模糊判断矩阵，运用基于三角模糊数的模糊层次分析法计算单小区在第一天的每一小时内各KQI指标的初始权重值，由w_t，i(1)表示第1天第t小时内第i个关键质量指标KQI的初始权重值，其中(1)表示第1天，t表示第几小时，i表示被评估的第几个关键质量指标KQI，1≤t≤24且为整数，1≤i≤4且为整数。

步骤S203，由l表示第几天，则l的取值范围为[1，H]且为整数，H为评估的天数，初始化l为2；

步骤S204，在非技术因素侧，计算单小区第l天的每一小时内各类用户投诉量与总用户投诉量中的比值，即各类用户投诉的投诉率，由λ_t，j(l)表示在第l天的第t小时内第j类用户投诉的投诉率，则λ_t，j(l)＝b_t，j(l)/B_t，j(l)×100％，其中b_t，j(l)表示在第l天的第t小时内第j类用户投诉量，B_t，j(l)表示在第l天的第t小时内总用户投诉量，(l)表示第l天，下标t表示第几小时且取值范围为[1，24]，下标j表示第几类用户投诉且取值范围为[1，4]，l为大于零的整数。

步骤S205，判断在第l天的每一小时内各类用户投诉的投诉率是否等于零：由λ_t，j(l)表示在第l天的第t小时内第j类用户投诉的投诉率，判断λ_t，j(l)是否等于零：如果λ_t，j(l)＝0，即没有用户投诉，则即使考虑非技术因素侧的用户投诉，技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值也不会发生改变，即第l天的第t小时内第i个关键质量指标KQI的新权重值与第l-1天的第t小时内第i个关键质量指标KQI的新权重值相等：w′_t，i(l)＝w′_t，i(l-1)；

如果λ_t，j(l)≠0，即存在用户投诉，则技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值发生改变，在第l天的第t小时内第i个关键质量指标KQI的新权重值为 $w_{t,i}^{\′}=\frac{w_{t,i}\left(1\right)}{2}+\frac{1}{1-{(1/2)}^{H-1}}\×\underset{l=1}{\overset{H-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{24}{\mathrm{\Σ}}}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}\frac{{\mathrm{\λ}}_{t,j}\left(l\right)}{2}\×{\left(\frac{1}{2}\right)}^{H-l},$ 其中w_t，i(1)表示该评估范围在第1天的第t小时内第i个关键质量指标KQI的初始权重值，λ_t，j(l)表示第l天的第t小时内第j类用户投诉的投诉率，H为天数。

步骤S206，重复执行步骤S205，计算获得在第l天的每一小时内各关键质量指标KQI的新权重值，并且l++；

步骤S207，判断l≥H是否成立，H为天数：如果不成立则重复执行步骤S203～S206，如果成立则获得该单小区考虑非技术因素侧的用户投诉后，在每一天的每一小时内各关键质量指标KQI的新权重值。

针对多小区的的视频业务评估，首先，按照步骤S201～S207分别计算各评估范围考虑非技术因素侧的用户投诉后，在每一天的每一小时内各关键质量指标KQI的新权重值；

其次，求取多小区在第l天的第t小时内第i个关键质量指标KQI的新权重值，从而获得多小区在第l天的第t小时内第i个关键质量指标KQI的综合权重值

其中w′_p，t，i(l)表示第p个小区在第l天的第t小时内第i个关键质量指标KQI的新权重值，(l)表示第l天，l为[1，H]范围内的整数，下标p表示第几小区且为[1，P]范围内的整数，下标t表示第几小时且为[1，24]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，4]范围内的整数，H为天数，P为小区的个数；

最后，重复执行上述步骤，获得多个小区在每一天的每一小时内各关键质量指标KQI的综合权重值。

参见图4，示出本发明某一单小区内一天24小时针对视频业务，未加入非技术因素时的关键质量指标初始权重值w_p，t，i(1)的计算结果。其中横轴为时间t，以小时为单位；纵轴为权重值w，该权重值通过专家评估计算所得，并且在每一小时内，该业务的所有关键质量指标权重值相加的和为1。从仿真图中可以看出，在未加入非技术因素时，不同的时间段内，对该业务的用户体验质量产生影响的各个关键质量指标的权重值不同。在00:00-07:00，对视频业务的用户体验质量影响较大的关键质量指标是视频业务中断率和视频业务播放质量；在08:00-24:00，对视频业务的用户体验质量影响较大的关键质量指标是视频业务接入成功性。

参见图5，示出本发明同一单小区内前一天24小时针对视频业务，加入非技术因素后的关键质量指标新的权重值w′_p，t，i(l)。通过图5的仿真结果与图4的仿真结果进行对比，可以看出，加入非技术因素后，每一小时内各个关键质量指标的权重值均发生了变化，不同的关键质量指标对视频业务的用户体验质量的影响程度也随之发生改变。如05:00-06:00，在这个时间段内，用户观看视频时，从点击请求到播放成功，整个网络使用情况比较理想，用户最关心的即是视频业务的播放质量，其次是视频业务中断率，再其次是视频业务服务建立时长，最后才是视频业务接入成功性。根据这个结果，可以明确用户在观看视频时，影响用户体验质量的几大因素的相对重要程度，从而指导网络优化工作人员有针对性地进行网络优化，切实提升用户体验质量。

参见图6，示出本发明同一单小区后一天24小时针对视频业务，加入非技术因素后的关键质量指标新的权重值w′_p，t，i(l)。从图中可以看出，通过权重值计算方法，获得了新的权重值结果，每一小时计算所得的关键质量指标权重值结果相加的和依然为1，即

其中，l表示第几个评估周期(即第几天)；p表示被评估的第几个小区。

参见图7，示出本发明两小区同一天24小时针对视频业务，加入非技术因素后的关键质量指标综合权重值。通过前面所述的计算方法，可以获得整个评估区域的关键质量指标的综合权重值，同时也保证了求得的综合权重值的和为1，即从而可以更加全面地反映整个评估区域内用户体验质量综合情况，并考虑了在多小区评估情况下，各关键指标对用户体验质量的影响程度，以使得用户体验质量的提升更加具有针对性，更加准确。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (7)

1.一种移动终端用户体验质量评估模型，其特征在于：由技术因素侧和非技术因素侧组成，在该技术因素侧分为四层，由下至上分别定义了网络性能指标PI、关键性能指标KPI、关键质量指标KQI和技术因素，其中该网络性能指标PI经分类分析，聚合映射为不同的网络关键性能指标KPI；该网络关键性能指标KPI经功能分析，聚合映射为不同的网络关键质量指标KQI；该网络关键质量指标KQI聚合映射为技术因素；

在所述非技术因素侧包括用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为多类用户投诉，并将分类后的用户投诉与该技术因素侧的关键质量指标KQI相关联，建立映射关系；

通过对技术因素侧的关键质量指标KQI和非技术因素侧的用户投诉进行综合分析来评估移动终端用户体验质量。

2.根据权利要求1所述的移动终端用户体验质量评估模型，其特征在于：该技术因素用于表示影响移动终端用户体验质量的网络因素。

3.根据权利要求1或2所述的移动终端用户体验质量评估模型，其特征在于：所述用户投诉为实际业务使用过程中具有负面体验的用户实际感受，且每一类用户投诉至少对应于该技术因素侧的一种关键质量指标KQI。

4.一种移动终端用户体验质量评估方法，其特征在于包括以下步骤：

S1、建立权利要求1所述的移动终端用户体验质量评估模型：

获取待评估业务的网络性能指标PI，该网络性能指标PI经分类分析，聚合映射成不同的网络关键性能指标KPI，该关键性能指标KPI经功能分析，聚合映射成不同的关键质量指标KQI，且该关键质量指标KQI聚合映射成技术因素，由此建立技术因素侧，其中根据该待评估业务的特征，确定该待评估业务中关键质量指标KQI的个数为m，m为大于零的整数；

获取待评估业务中一个评估范围内的用户投诉数据，根据用户投诉数据的内容和现象，将用户投诉数据划分为n类用户投诉，由此建立非技术因素侧，其中该评估范围表示待评估业务的地理区域范围，n为大于零的整数；

根据技术因素侧关键质量指标KQI与非技术因素侧各类用户投诉之间的关联，建立关键质量指标KQI与用户投诉的映射关系；

S2、获取H个评估周期的用户投诉数据，每一评估周期划分成K个评估时间单元，并且将该评估范围在每一评估时间单元内技术因素侧、非技术因素侧的权重值均初始化为0.5，其中K和H为大于零的整数；

S3、在技术因素侧，根据各关键质量指标KQI之间的重要程度，建立模糊判断矩阵，并采用三角模糊数的模糊层次分析法计算该评估范围在第1个评估周期的各评估时间单元内各关键质量指标KQI的初始权重值，由w_t，i(1)表示第1个评估周期的第t个评估时间单元内第i个关键质量指标KQI的初始权重值，其中(1)表示第1个评估周期，下标t表示第几个评估时间单元且取值范围为[1，K]，下标i表示第几个关键质量指标KQI且取值范围为[1，m]，K为评估周期中评估时间单元的个数，m为关键质量指标KQI的个数且t、i为大于零的整数；

S4、由l表示第几个评估周期，则l的取值范围为[1，H]且为整数，H为评估周期的个数，初始化l为2；

S5、在非技术因素侧，计算在第l个评估周期的各评估时间单元内各类用户投诉量与总用户投诉量的比值，即各类用户投诉的投诉率：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率且λ_t，j(l)＝b_t，j(l)/B_t，j(l)×100％，其中b_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉量，B_t，j(l)表示在第l个评估周期的第t个评估时间单元内总用户投诉量，(l)表示第l个评估周期，下标t表示第几个评估时间单元且取值范围为[1，K]，下标j表示第几类用户投诉且取值范围为[1，n]，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数；

S6、判断在第l个评估周期的各评估时间单元内各类用户投诉的投诉率是否等于零：由λ_t，j(l)表示在第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，判断λ_t，j(l)是否等于零：

如果λ_t，j(l)＝0，即没有用户投诉，则即使考虑非技术因素侧的用户投诉，技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值也不会发生改变；

如果λ_t，j(l)≠0，即存在用户投诉，则技术因素侧与该第j类用户投诉相关联的第i个关键质量指标KQI的权重值发生改变，在第l个评估周期的第t评估时间单元内第i  个关键质量指标KQI的新权重值为 $w_{t,i}^{\′}=\frac{w_{t,i}\left(1\right)}{2}+\frac{1}{1-{(1/2)}^{H-1}}\×\underset{l=1}{\overset{H-1}{\mathrm{\Σ}}}\underset{t=1}{\overset{K}{\mathrm{\Σ}}}\underset{j=1}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{\λ}}_{t,j}\left(l\right)}{2}\×{\left(\frac{1}{2}\right)}^{H-l},$ 其中w_t，i(1)表示该评估范围在第1个评估周期的第t评估时间单元内第i个关键质量指标KQI的初始权重值，λ_t，j(l)表示第l个评估周期的第t个评估时间单元内第j类用户投诉的投诉率，H为评估周期的个数，K为评估周期中评估时间单元的个数，n为用户投诉的种类个数；

S7、重复执行步骤S6，计算获得在第l个评估周期的各评估时间单元内各关键质量指标KQI的新权重值，并且l++；

S8、判断l≥H是否成立：如果不成立则重复执行步骤S5～S7，如果成立则获得该评估范围考虑非技术因素侧的用户投诉后，在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值。

5.根据权利要求4所述的移动终端用户体验质量评估方法，其特征在于当对多个评估范围进行评估时：

A、按照步骤S2～S8分别计算多个评估范围分别在各评估周期的各评估时间单元内各关键质量指标KQI的新权重值，其中由w′_p，t，i(l)表示第p个评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，(l)表示第l个评估周期，l为[1，H]范围内的整数，下标t表示第几个评估时间单元且为[1，K]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，m]范围内的整数，H为评估周期的个数，K为评估周期内评估时间单元的个数，m为关键质量指标KQI的个数；

B、求取各评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的新权重值，从而获得多个评估范围在第l个评估周期的第t个评估时间单元内第i个关键质量指标KQI的综合权重值其中下标p表示第几个评估范围且为[1，P]范围内的整数，下标t表示第几个评估时间单元且为[1，K]范围内的整数，下标i表示第几个关键质量指标KQI且为[1，m]范围内的整数，P为评估范围的个数，K为评估周期内评估时间单元的个数，m为关键质量指标KQI的个数；

C、重复执行步骤B，获得多个评估范围在各评估周期的各评估时间单元内各关键质量指标KQI的综合权重值。

6.根据权利要求4所述的移动终端用户体验质量评估方法，其特征在于：将一个评估范围的新权重值总和以柱状图的形式呈现，其中横坐标为时间，纵坐标为各关键质量指标KQI的新权重值。

7.根据权利要求5所述的移动终端用户体验质量评估方法，其特征在于：将多个评估范围的关键质量指标KQI的综合权重值以柱状图的形式呈现，其中横坐标为时间，纵坐标为各关键质量指标KQI的综合权重值。

Images