CN103024793B

CN103024793B - 通信业务质量评估体系的构建方法及系统

Info

Publication number: CN103024793B
Application number: CN201110286579.9A
Authority: CN
Inventors: 罗荣慧; 尹建华
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2011-09-23
Filing date: 2011-09-23
Publication date: 2017-10-20
Anticipated expiration: 2031-09-23
Also published as: CN103024793A

Abstract

本发明公开了一种通信业务质量评估体系的构建方法及系统，所述方法包括：根据用户实际应用偏好信息，对业务类型进行划分；创建所述每种业务类型对应的直接体现或面向用户感知的业务质量指标KQI组；根据所述每种业务类型涉及的协议、网络单元以及业务消息流程，建立每种业务类型的关键性能指标KPI组；建立所述KQI组与KPI组之间的逻辑映射关系。采用本发明所提供的通信业务质量评估体系的构建方法构建的业务质量评估体系则既能有效反映用户感知，从而更能反映整个网络及其构成单元的性能。

Description

通信业务质量评估体系的构建方法及系统

技术领域

本发明涉及移动通信领域，具体而言，涉及一种通信业务质量评估体系的构建方法及系统。

背景技术

传统的网络性能指标构建方法，主要是从评估网络设备和产品的性能方面入手，关注的对象是网络设备或产品。而传统的业务类型相对单一，基本以语音业务为主，数据业务的类型和应用量较为有限，除此之外，业务分类和业务质量也相对单一，这样，用户使用业务应用的行为和关注点也相对单一，其与网络的性能质量具有较强的一致性。因此，对于所有业务类型来说，针对网络的业务质量评估而构建的评估指标均大体相同，并且是以层三信令和物理层统计为基础的指标。

随着通信技术的发展，在3G、4G时代，数据业务将成为移动通信业务的主体，移动通信网络为用户提供的业务类型和应用也越来越丰富。由于不同业务的特性差别变大，用户的使用习惯和行为偏好也不尽相同。另外，业务的多样性和上层协议的多样性，使得面向终端用户的业务质量同时涉及端到端设备链全程以及应用层到底层的全部协议，而作为以评估和关注网络设备或产品性能为核心的传统网络质量监控指标体系构建方法，则难以建立相应的评估指标。

因此，传统的业务分类和传统的网络质量监控指标，已难以有效地反映众多业务的端到端质量和用户的相应感受，甚至可能出现网络KPI(Key Performance Indicators，关键性能指标)指标良好，实际业务质量和用户感知却很差的情况。

这就需要一个有效的方法，从关注设备和网络转向关注用户和用户感知，建立基于用户感知的通信业务质量评估体系。

发明内容

本发明的目的在于提供一种通信业务质量评估体系的构建方法，使得运营商、网络建设商、网络维护商可以构建有效的通信业务质量评估体系，为评估和提升端到端业务质量奠定基础。

为了达到本发明的目的，本发明采用以下技术方案实现：

一种基于通信业务质量评估体系的构建方法，包括：

根据用户实际应用偏好信息，对业务类型进行划分；

创建所述每种业务类型对应的直接体现或面向用户感知的业务质量指标KQI组；

根据所述每种业务类型涉及的协议、网络单元以及业务消息流程，建立每种业务类型的关键性能指标KPI组；

建立所述KQI组与KPI组之间的逻辑映射关系。

优选地，在执行所有步骤之前，还包括：

获取用户行为基础数据；

从所述用户行为基础数据中提取用户实际应用偏好信息。

优选地，所述用户实际应用偏好信息包括具体业务应用信息及用户对业务质量特性的偏好类别信息。

优选地，与每种业务类型对应的业务质量指标KQI组包括接入性指标、保持性指标和完整性指标。

优选地，每种业务类型的关键性能指标KPI组包括协议层KPI、网络单元KPI以及端到端KPI，其中，所述协议层KPI包括应用层KPI、传输层KPI及底层KPI；所述网络单元KPI包括无线网KPI、核心网KPI及业务网KPI；所述端到端KPI包括与业务应用层信息交互有关的全链路设备。

优选地，所述通信业务质量评估体系的构建方法还包括：

建立所述KPI组内部各项KPI指标之间的逻辑映射关系。

一种通信业务质量评估体系的构建系统，包括：

用户实际应用偏好信息提取模块，用于从获取到的用户行为基础数据中提取用户实际应用偏好信息；

业务类型划分模块，用于根据所述用户实际应用偏好信息划分业务类型；

KQI组创建模块，用于创建所述每种业务类型对应的直接体现或面向用户感知的业务质量指标KQI组；

KPI组创建模块，用于根据所述每种业务类型涉及的协议、网络单元以及业务消息流程，建立每种业务类型的关键性能指标KPI组；

逻辑映射关系创建模块，用于建立所述KQI组与KPI组之间的逻辑映射关系，和/或所述KPI组内部各项KPI指标之间的逻辑映射关系；

业务质量分析模块，用于根据所述KQI组与KPI组之间的逻辑映射关系和/或所述KPI组内部各项KPI指标之间的逻辑映射关系进行分析并输出分析结果。

通过以上本发明的技术方案可以看出，本发明在构建能够有效反映通信业务的端到端业务质量评估体系的方法上进行了创新，与以往的网络性能评估指标构建方法相比，具有以下有益效果：

1、以往的网络性能评估指标难以有效反映用户感知，采用本发明所提供的方法构建的业务质量评估体系则既能有效反映用户感知，从而更能反映整个网络及其构成单元的性能。

2、在业务质量评估体系的业务类型划分和业务质量指标创建上，以用户的行为习惯和质量偏好等用户行为信息为基础，反映终端用户感知的业务质量为目标，明显区别于网络性能评估指标构建方法以反映网络和设备性能为目标的技术方案，从而能够提供面向用户感知的业务质量分析结果。

3、以往的网络性能评估指标反映的是相对孤立的网络单元或子网性能，无法反映业务涉及的端到端链路整体性能。本发明则以业务交互消息流和涉及的网络单元为基础，建立KQI组与KPI组之间的映射关系，从而构建了以终端用户为基点、涉及端到端设备链全程和应用层到底层的全部协议的业务质量评估体系。

附图说明

图1是本发明实施例提供的通信业务质量评估体系的构建方法流程示意图；

图2是本发明实施例提供的KQI组创建示意图；

图3是本发明实施例提供的网页信息浏览类型业务消息交互流程示意图；

图4是本发明实施例提供的网页信息浏览类型业务KQI-KPI映射关系及KPI-KPI映射关系示意图；

图5是本发明实施例提供的通信业务质量评估体系的构建系统结构示意图。

本发明目的的实现、功能特点及优异效果，下面将结合具体实施例以及附图做进一步的说明。

具体实施方式

下面结合附图和具体实施例对本发明所述技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

本发明实施例提供了一种通信业务质量评估体系的构建方法，如图1所示，该方法包括如下步骤：

S101、根据用户实际应用偏好信息，对业务类型进行划分；

S102、创建所述每种业务类型对应的直接体现或面向用户感知的业务质量指标KQI组；

S103、根据所述每种业务类型涉及的协议、网络单元以及业务消息流程，建立每种业务类型的关键性能指标KPI组；

S104、建立所述KQI组与KPI组之间的逻辑映射关系。

优选实施方式下，在步骤S104中，所述通信业务质量评估体系的构建方法还包括：

建立所述KPI组内部各项KPI指标之间的逻辑映射关系。

优选实施方式下，在执行所有步骤之前，还包括：

S1001、获取用户行为基础数据；

S1002、从所述用户行为基础数据中提取用户实际应用偏好信息。

所述获取到的移动通信业务应用的用户行为基础数据包括：业务名称信息、具体业务应用信息、用户对业务质量特性的偏好类别信息等。

所述用户行为基础数据可以通过用户调查的方式获取，也可以通过用户投诉信息予以获取。当然，对于所述用户行为基础数据的获取途径和方法并不限于上述两种方式，这里对此不做一一赘述。

对于所述步骤S101，所述用户实际应用偏好信息从获取到的用户行为基础数据中提取，其中，所述用户行为基础数据包括：业务名称信息、具体业务应用信息、用户对业务质量特性的偏好类别信息等。

对于所述用户对移动通信业务的实际应用偏好信息，其包括具体业务应用信息及用户对业务质量特性的偏好类别信息。

在实际操作中，如果两种不同的所述具体业务应用所对应的“用户对业务质量特性的偏好类别”在个数和含义上具备一致性，则这两种具体业务应用划分为一种业务类型，否则为两种业务类型。

对于所述步骤S102，由于所有业务都可以从接入性、保持性和完整性三个方面评估其业务质量，因此，将用户对业务质量特性的偏好向这三个方面进行映射，得到每种业务类型的业务质量指标KQI组，即与每种业务类型对应的业务质量指标KQI组包括接入性指标、保持性指标和完整性指标。

对于所述步骤S103，所述每种业务类型的关键性能指标KPI组包括协议层KPI、网络单元KPI以及端到端KPI，其中，所述协议层KPI包括应用层KPI、传输层KPI及底层KPI；所述网络单元KPI包括无线网KPI、核心网KPI及业务网KPI；所述端到端KPI包括与业务应用层信息交互有关的全链路设备。

对于所述步骤S104，所述逻辑映射关系规定了一个KQI指标与哪些KPI指标相关，KPI组内部的KPI指标之间以及KQI组与KPI组指标之间是条件概率关系、并行关系、因果关系或是其他关系。

下面给出了本发明实施的一个具体实施例。

步骤1、从移动通信业务应用的用户行为基础数据中提取用户实际应用偏好信息，并据此对业务类型进行划分。

如下表1所示，其描述了用户行为基础数据的部分内容，其中列出了网页浏览业务的三种用户行为信息。

表1、移动通信业务应用的用户行为基础数据表。

用户对移动通信业务的实际应用偏好包括具体业务应用和用户对业务质量特性的偏好类别两方面的信息。

如果两种不同的具体业务应用所对应的“用户对业务质量特性的偏好类别”在个数和含义上具备一致性，则这两种具体业务应用划分为一种业务类型，否则为两种业务类型。

从上述表1中可以看出，表1中所列出的三种具体业务应用划分为三种具体的业务类型：普通网页浏览、网页视频和基于网页的下载，其分别对应网页信息浏览类、在线视频类和下载类业务。

同理，若有更多的用户行为基础数据，对于其业务类型的划分方法和原则均与上述方法和原则相同。

对于每种业务类型，其创建与之对应的直接体现或面向用户感受的业务质量指标KQI组的实施方式均相同，因此，从步骤2开始，以网页信息浏览类型业务为例，进一步说明本发明实施例提供的通信业务质量评估体系的构建方法的具体实施方式。

步骤2、从移动通信业务应用的用户行为基础数据中提取用户对业务质量特性的偏好，创建所述每种业务类型对应的直接体现或面向用户感受的业务质量指标KQI组。

从上表1所示的用户行为基础数据可知，网页信息浏览类型业务对应两项“用户对业务质量特性的偏好类别”：网页能否打开和网页打开时长。因此，按照图2所示的KQI创建过程，将网页能否打开和网页打开时长分别向接入性、保持性和完整性映射，可以得到以下KQI：

网页打开成功率：是指“终端用户输入欲访问的网址并回车后，用户可看到网页上有内容呈现或者网页浏览器提示网页正在下载”的概率。

网页打开时延：是指从“终端用户输入欲访问的网址并回车”到“用户可看到网页上有内容呈现或者网页浏览器提示网页正在下载”之间，用户需要等待的时长。

网页下载未完成率：无法完成网页或网页元素下载的概率。

网页下载速率：是指用户打开网页过程中，每秒内终端接收到网页实体的字节数。由于各种网页的大小不同，采用下载速率来衡量网页完全打开的时延状况更为合理。

步骤3、根据网页信息浏览业务涉及的协议、网络单元以及业务消息流程，建立相应的KPI组。

如图3所示，为网页信息浏览类型业务的消息交互流程图，反映了所述业务涉及的协议、网络单元以及业务消息交互流程。因此，建立的与所述网页信息浏览业务对应的KPI组如下：

底层协议KPI：覆盖率、RRC连接建立成功率、RRC连接建立平均时延为无线网KPI；GPRS附着与服务请求复合成功率、GPRS附着/服务请求时延、PDP激活成功率、PDP激活时延为核心网KPI。

DNS协议层KPI：DNS查询成功率、DNS查询时延为业务网KPI。

TCP传输层KPI：TCP连接成功率、TCP连接时延为端到端KPI。

应用层KPI：Web服务器响应成功率、Web服务器响应时延、网页实体下载未完成率、网页实体下载速率为端到端KPI。

这样建立的KPI组则覆盖了网页信息浏览业务所涉及的端到端设备链全程，以及从应用层到底层的多协议层。

步骤4、建立KQI组与KPI组之间的映射关系，以及KPI与KPI之间的映射关系。

如图4所示，为网页信息浏览类型业务的KQI-KPI映射关系示意图，其中，KQI组与KPI组之间的映射关系表述如下：

网页打开成功率：只有当信号覆盖满足起呼和业务要求，且RRC连接建立、GPRS附着或服务请求、PDP激活、DNS查询、网页请求均成功后，网页实体才能开始下载，也就是网页才能打开。因此，KPI组——覆盖率、RRC连接建立成功率、GPRS附着与服务请求复合成功率、PDP激活成功率、DNS查询成功率、Web服务器响应成功率——与网页打开成功率之间是因果关系；而RRC连接建立、GPRS附着或服务请求、PDP激活、DNS查询、网页请求这些过程中，每一个过程都必须在前一过程成功后才可能进行，因此，这些过程顺次为条件概率关系。

网页打开时延：网页打开过程由RRC连接建立、GPRS附着或服务请求、PDP激活、DNS查询、网页请求过程顺次构成，也就是这些过程的关系为前后承接关系，因此，网页打开时延由这些过程的时延总和构成。

网页下载未完成率：从用户的角度来看，仅与应用层的网页实体下载未完成率相关，因此，与之为对等关系。

网页下载速率：从用户的角度来看，仅与应用层的网页实体下载速率相关，因此，与之为对等关系。

这样就建立了既能有效反映用户感知、又能反映整个网络及其构成单元的性能的网页信息浏览业务端到端通信业务质量评估体系。

本发明实施例还提供了一种通信业务质量评估体系的构建系统，如图5所示，所述系统包括：

用户实际应用偏好信息提取模块10，用于从获取到的用户行为基础数据中提取用户实际应用偏好信息；其中，所述用户行为基础数据可以通过用户调查的方式获取，也可以通过用户反馈信息进行获取(例如通过分析用户投诉信息进行获取)，获取到的用户行为基础数据可以通过将其存储于计算机可读的存储介质中，从而使得该用户实际应用偏好信息提取模块能够从计算机中提取该用户行为基础数据。

优选实施方式下，所述用户实际应用偏好信息包括具体业务应用信息及用户对业务质量特性的偏好类别信息。

业务类型划分模块20，用于根据所述用户实际应用偏好信息划分业务类型；对于所述用户对移动通信业务的实际应用偏好信息，其包括具体业务应用信息及用户对业务质量特性的偏好类别信息。在实际操作中，如果两种不同的所述具体业务应用所对应的“用户对业务质量特性的偏好类别”在个数和含义上具备一致性，则这两种具体业务应用划分为一种业务类型，否则为两种业务类型。

KQI组创建模块30，用于创建所述每种业务类型对应的直接体现或面向用户感知的业务质量指标KQI组；其中，与每种业务类型对应的业务质量指标KQI组包括接入性指标、保持性指标和完整性指标。

KPI组创建模块40，用于根据所述每种业务类型涉及的协议、网络单元以及业务消息流程，建立每种业务类型的关键性能指标KPI组；优选实施方式下，每种业务类型的关键性能指标KPI组包括协议层KPI、网络单元KPI以及端到端KPI，其中，所述协议层KPI包括应用层KPI、传输层KPI及底层KPI；所述网络单元KPI包括无线网KPI、核心网KPI及业务网KPI；所述端到端KPI包括与业务应用层信息交互有关的全链路设备。

逻辑映射关系创建模块50，用于建立所述KQI组与KPI组之间的逻辑映射关系，和/或所述KPI组内部各项KPI指标之间的逻辑映射关系；所述逻辑映射关系规定了一个KQI指标与哪些KPI指标相关，KPI组内部的KPI指标之间以及KQI组与KPI组指标之间是条件概率关系、并行关系、因果关系或是其他关系。

业务质量分析模块60，用于根据所述KQI组与KPI组之间的逻辑映射关系和/或所述KPI组内部各项KPI指标之间的逻辑映射关系进行分析并输出分析结果。根据所述KQI组与KPI组之间的逻辑映射关系和/或所述KPI组内部各项KPI指标之间的逻辑映射关系进行分析，例如根据KQI组与KPI组指标之间的条件概率关系、并行关系、因果关系或其他关系，输出面向用户感知的端对端业务分析数据，并呈现给分析人员进行分析。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种通信业务质量评估体系的构建方法，其特征在于，包括：

获取用户行为基础数据；

从所述用户行为基础数据中提取用户实际应用偏好信息；

根据用户实际应用偏好信息，对业务类型进行划分；

建立所述KQI组与KPI组之间的逻辑映射关系。

2.如权利要求1所述的通信业务质量评估体系的构建方法，其特征在于，所述用户实际应用偏好信息包括具体业务应用信息及用户对业务质量特性的偏好类别信息。

3.如权利要求1所述的通信业务质量评估体系的构建方法，其特征在于，与每种业务类型对应的业务质量指标KQI组包括接入性指标、保持性指标和完整性指标。

4.如权利要求1所述的通信业务质量评估体系的构建方法，其特征在于，每种业务类型的关键性能指标KPI组包括协议层KPI、网络单元KPI以及端到端KPI，其中，所述协议层KPI包括应用层KPI、传输层KPI及底层KPI；所述网络单元KPI包括无线网KPI、核心网KPI及业务网KPI；所述端到端KPI包括与业务应用层信息交互有关的全链路设备。

5.如权利要求1所述的通信业务质量评估体系的构建方法，其特征在于，还包括：

建立所述KPI组内部各项KPI指标之间的逻辑映射关系。

6.一种基于通信业务质量评估体系的构建系统，其特征在于，包括：

7.如权利要求6所述的通信业务质量评估体系的构建系统，其特征在于，所述用户实际应用偏好信息包括具体业务应用信息及用户对业务质量特性的偏好类别信息。

8.如权利要求6所述的通信业务质量评估体系的构建系统，其特征在于，与每种业务类型对应的业务质量指标KQI组包括接入性指标、保持性指标和完整性指标。

9.如权利要求6所述的通信业务质量评估体系的构建系统，其特征在于，每种业务类型的关键性能指标KPI组包括协议层KPI、网络单元KPI以及端到端KPI，其中，所述协议层KPI包括应用层KPI、传输层KPI及底层KPI；所述网络单元KPI包括无线网KPI、核心网KPI及业务网KPI；所述端到端KPI包括与业务应用层信息交互有关的全链路设备。