CN113923691A - 基于5g信令数据的客户感知评估方法及装置 - Google Patents

Abstract

本申请涉及一种基于5G信令数据的客户感知评估方法及装置，所述方法包括以下步骤：通过获取用户5G上网日志信息；根据用户上网日志数据，计算各个过程的KPI指标；根据KPI指标，计算各个过程的感知评分；根据各个过程的感知评分，合成每个用户的总体感知评分；本申请实现综合评估客户感知体系，使用KP I分段映射技术有更好的客户感知区分度，有效识别用户感知质量。

Description

基于5G信令数据的客户感知评估方法及装置

技术领域

本申请涉及5G大数据应用技术领域，更具体地说，涉及一种基于5G信令数据的客户感知评估方法及装置。

背景技术

在无线通信市场高速增长，竞争日益激烈，市场演变得越来越复杂的环境下，成熟的电信运营商在关心自身网络稳定运行的同时，如何提高用户满意度，降低离网率，挖掘用户的潜在价值和利润增长点，已经成为了保持竞争优势的关键。

当前现有的客户感知评估方案主要基于KPI指标进行评估，这种方案基本原理是获取用户上网产生的各种日志数据，算出不同时间粒度、不同维度的关键KPI指标，结合对业务的理解和投诉处理经验，预定义各类指标阈值，对比用户KPI指标来判断客户感知情况，如果KPI指标比阈值查则认为客户感知差，如果优于阈值，则认为客户感知良好。这类方案存在较多缺陷，无法综合评估客户使用各种业务感知，缺乏通用性。

申请内容

本申请的目的在于提出一种基于5G信令数据的客户感知评估方法及装置，以解决现有技术的客户感知方案存在较多缺陷，无法综合评估客户使用各种业务感知，缺乏通用性的问题。

本申请的上述技术目的是通过以下技术方案得以实现的：

一种基于5G信令数据的客户感知评估方法，所述方法包括以下步骤：

获取用户5G上网日志信息；

根据用户上网日志数据，计算各个过程的KPI指标；

根据KPI指标，计算各个过程的感知评分；

根据各个过程的感知评分，合成每个用户的总体感知评分。

进一步的，所述获取用户5G上网日志信息，包括：

提取用户5G上网数据，用户5G上网数据包括用户在N1接口、N2接口和N3接口的上网日志。

进一步的，所述根据用户上网日志数据，计算各个过程的KPI指标，包括：

根据N1接口、N2接口和N3接口的数据，计算接入过程的注册成功和注册时延的KPI指标；

计算承载过程的PDU建立成功率和PDU建立时延KPI指标；

计算移动过程的切换成功率和切换时延KPI指标；

计算DNS过程的DNS解析成功率和DNS解析时延KPI指标；

计算TCP过程的TCP建链成功率和TCP建链时延KPI指标；

计算HTTP业务的游戏、即时通讯、网页浏览、视频的HTTP响应成功率、HTTP响应时延和HTTP下载速率KPI指标。

进一步的，所述根据KPI指标，计算各个过程的感知评分，包括：

根据KPI指标，计算接入过程、承载建立、移动过程、DNS过程、TCP过程和HTTP业务的感知评分。

进一步的，所述根据KPI指标，计算各个过程的感知评分，包括：

成功率采用线性映射方法：成功率评分＝成功率*100；

时延映射方法的计算公式如下：

其中，f(x)为时延感知评分，x为时延KPI指标，Max为全网时延最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值；

速率映射方法的计算公式如下：

其中，f(x)为HTTP下载速率感知评分，x为下载速率KPI指标，Max为全网速率最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值。

进一步的，所述根据各个过程的感知评分，合成每个用户的总体感知评分，包括：

根据用户的接入过程、承载过程、移动过程、DNS过程、TCP过程和HTTP过程的感知评分，通过权重和归一化计算出控制面感知评分和用户面感知评分；

控制面感知评分和用户面感知评分经过权重和归一化处理后，得到用户总体感知评分。

进一步的，所述通过权重和归一化计算出控制面感知评分和用户面感知评分，包括：

将接入过程、承载过程和移动过程的感知评分经过权重和归一化处理，得到控制面感知评分；

将DNS过程、TCP过程和HTTP过程的感知评分经过权重和归一化处理后得到用户面感知评分。

在第二方面，本申请实施例还提供一种基于5G信令数据的客户感知评估装置，包括：

日志获取模块，用于获取用户5G上网日志信息；

指标计算模块，用于根据用户上网日志数据，计算各个过程的KPI指标；

第一计算模块，用于根据KPI指标，计算各个过程的感知评分；

第二计算模块，用于根据各个过程的感知评分，合成每个用户的总体感知评分。

第三方面，本申请实施例还提供一种计算机设备，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的一种基于5G信令数据的客户感知评估方法。

在第四方面，本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如上述的一种基于5G信令数据的客户感知评估方法。

本申请的有益效果是：本申请通过获取用户5G上网日志信息；根据用户上网日志数据，计算各个过程的KPI指标；根据KPI指标，计算各个过程的感知评分；根据各个过程的感知评分，合成每个用户的总体感知评分；实现综合评估客户感知体系，使用KPI分段映射技术有更好的客户感知区分度，有效识别用户感知质量。

附图说明

本申请的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本申请实施例提供的一种基于5G信令数据的客户感知评估方法的流程图；

图2是本申请实施例提供的一种基于5G信令数据的客户感知评估方法的工作流程图；

图3是本申请实施例提供的一种基于5G信令数据的客户感知评估装置的结构示意图；

图4是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

目前，5G移动互联网业务的感知在运营商网络优化和投诉处理支撑中处于越来越重要的地位，运营商逐步从提升网络KPI向提升用户感知(用户体验质量)转变，更多地从用户角度出发，提升用户业务感知。

传统的基于KPI的客户感知评估缺点为：

首先，由于影响用户感知的KPI指标非常多，除了无线网络接入的初始注册、移动性注册、PDU承载建立、切换性能、业务请求等过程的成功率和时延指标，还包括DNS解析成功率、DNS解析时延、TCP建链成功率、TCP建链时延、TCP重传率、TCP丢包率、HTTP响应成功率、HTTP响应时延、HTTP速率等等指标也与用户使用5G网络的感知高度相关。因此需要根据经验，分场景持续设置相应的指标集来评估客户感知情况，缺乏通过单一指标来评价客户感知的手段。

其次，指标好与差与客户感知没有清晰的映射关系，通过指标阈值比较来评估客户感知不够精确，也缺少通用性，需要根据不同无线场景、业务场景进行调整，效果难以验证，整体效率较低。

另外，缺少综合评估用户使用游戏、视频、网页浏览、即时通讯等各种业的感知评估的手段。

本申请通过获取用户5G上网日志信息；根据用户上网日志数据，计算各个过程的KPI指标；根据KPI指标，计算各个过程的感知评分；根据各个过程的感知评分，合成每个用户的总体感知评分；实现综合评估客户感知体系，使用KPI分段映射技术有更好的客户感知区分度，有效识别用户感知质量。

其中，DNS(Domain Name System)：域名系统，是互联网的一项服务。

TCP(Transmission Control Protocol)：传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。

HTTP(Hyper Text Transfer Protocol)：超文本传输协议，是一个简单的请求-响应协议，它通常运行在TCP之上。

实施例中提供的基于5G信令数据的客户感知评估方法可以由基于5G信令数据的客户感知评估装置执行，该基于5G信令数据的客户感知评估装置可以通过软件和/或硬件的方式实现，并集成在基于5G信令数据的客户感知评估设备中。其中，基于5G信令数据的客户感知评估设备可以是计算机等设备。

请参照图1和图2，示出了本申请的一种基于5G信令数据的客户感知评估方法，所述方法包括以下步骤：

110、获取用户5G上网日志信息。

具体的，提取用户5G上网数据，用户5G上网数据包括用户在N1接口、N2接口和N3接口的上网日志；其中，N1接口、N2接口和N3接口表示5G网络架构的接口，用于连接不同设备。

120、根据用户上网日志数据，计算各个过程的KPI指标。

具体的，根据N1接口、N2接口和N3接口的数据，计算接入过程的注册成功和注册时延的KPI指标，例如注册成功率为注册成功次数/注册请求次数，注册请求次数为流程类型为1的记录数，注册成功次数为流程类型为1且流程状态码为1的记录数；计算承载过程的PDU建立成功率和PDU建立时延KPI指标；计算移动过程的切换成功率和切换时延KPI指标；计算DNS过程的DNS解析成功率和DNS解析时延KPI指标；计算TCP过程的TCP建链成功率和TCP建链时延KPI指标；计算HTTP业务的游戏、即时通讯、网页浏览、视频的HTTP响应成功率、HTTP响应时延和HTTP下载速率KPI指标。

130、根据KPI指标，计算各个过程的感知评分。

具体的，根据KPI指标，计算接入过程、承载建立、移动过程、DNS过程、TCP过程和HTTP业务的感知评分。

可选的，HTTP评分由视频、即时通讯、网页浏览、游戏业务构成。

可选的，成功率采用线性映射方法：成功率评分＝成功率*100；

时延映射方法的计算公式如下：

其中，f(x)为时延感知评分，x为时延KPI指标，Max为全网时延最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值；

速率映射方法的计算公式如下：

其中，f(x)为HTTP下载速率感知评分，x为下载速率KPI指标，Max为全网速率最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值。

140、根据各个过程的感知评分，合成每个用户的总体感知评分。

具体的，根据用户的接入过程、承载过程、移动过程、DNS过程、TCP过程和HTTP过程的感知评分，通过权重和归一化计算出控制面感知评分和用户面感知评分；控制面感知评分和用户面感知评分经过权重和归一化处理后，得到用户总体感知评分。

可选的，所述通过权重和归一化计算出控制面感知评分和用户面感知评分，包括：将接入过程、承载过程和移动过程的感知评分经过权重和归一化处理，得到控制面感知评分；将DNS过程、TCP过程和HTTP过程的感知评分经过权重和归一化处理后得到用户面感知评分；可以理解的是，权重和归一化处理采用常规的方式，本申请实施例对此不做限定。例如计算用户总体感知评分由控制面评分和用户面评分构成，可采取固定的权重(控制面、用户面权重分别为0.5)，如果查询时间内用户面没有实际业务，用户总体评分最多只有50分，需归一化处理：用户总体评分＝用户总体评分/(0.5*IF(控制面业务量>0,1,0)+0.5*if(用户面业务量>0,1,0),1,0)。但是HTTP评分由视频、游戏、即时通讯、网页浏览等业务构成，可利用各业务的请求次数占比作为权重。

本申请解决通过KPI指标评估客户感知的缺陷问题，具体的，构建统一客户感知评估体系，整体以5G用户面、控制面性能指标构成，控制面评分以接入、承载、移动的性能为基础，用户面以DNS、TCP、HTTP性能为评分基础，构建分级评分体系。

其中，KPI评分：通过接入过程、承载过程、移动过程的基础KPI指标计算出接入过程感知评分、承载过程感知评分、移动过程感知评分；通过DNSP业务KPI指标、TCPP业务KPI指标、HTTP业务KPI指标计算出DNS感知评分、TCP感知评分、HTTP感知评分。

其中，客户感知总体评分：接入过程感知评分、承载过程感知评分、移动过程感知评分、DNS感知评分、TCP感知评分、HTTP感知评分按照权重计算出整体的客户感知评分，评分越高说明客户使用5G网络体验越好。

本申请解决KPI阈值缺乏通用性的问题，具体的，将成功率类KPI指标区间为(0，1)线性映射到评分区间(0，100)。时延类指标采用分段线性映射，以全网用户指标为基准，按大小排序后，时延中位数为80分，时延最高的10％为30分，最小的10％为100分。速率类指标以全网指标为基准，设定最低30分、80分、最高100分的对应速率，分段映射。

本申请解决无法综合评估客户使用各种业务感知的问题，具体的，将用户使用最多的游戏、视频、网页浏览、即时通讯业务的HTTP响应成功率、响应时延、速率纳入客户感知体系，并按照用户使用4大类业务的请求次数作为权重计算，得出最终的HTTP业务感知评分。

本申请具有以下优点：

综合评估客户感知体系的优点：客户感知评估由总体客户感知评分和分级评分构成，总体感知评分反映用户在上网全流程端到端体验，可快速查询感知差的用户进行处理，利用接入过程感知评分、承载过程感知评分、移动过程感知评分、DNS过程感知评分、TCP过程感知评分、HTTP业务评分和KPI可以对用户进行分群和感知画像，帮助运营商全面了解客户感知情况。

使用KPI分段映射技术的优点：用户上网过程中的时延类、速率类KPI指标，采用分段映射到感知评分方式，感知良好、中等、较差的基准值通过全网用户指标排名获取，较传统方法有更好的客户感知区分度，更有效识别用户感知质量。

使用可溯源的分级评估优点：感知评分采用分级评分，可以回溯用户感知质差发生在哪一个过程或业务，以及相关KPI指标，有助于定位客户感知差的具体原因，提高投诉处理效率。

接入过程、承载过程、移动过程、DNS查询过程、TCP建链过程、HTTP业务过程评分使用加权的方式计算加权特征和归一化出来，有助于提高感知评估的准确性和通用性，避免数据缺失、用户某一时段业务较少导致整体分值下降而产生失真感知评分。

在上述实施例的基础上，图3为本申请实施例提供的一种基于5G信令数据的客户感知评估装置的结构示意图。参考图3，本实施例提供的基于5G信令数据的客户感知评估装置，集成于试题录入系统，所述试题录入系统包括主界面，所述主界面包括编辑区、设置区和控制区；所述基于5G信令数据的客户感知评估装置具体包括：日志获取模块101、指标计算模块102、第一计算模块103和第二计算模块104。

其中，所述日志获取模块101用于获取用户5G上网日志信息；所述指标计算模块102用于根据用户上网日志数据，计算各个过程的KPI指标；所述第一计算模块103用于根据KPI指标，计算各个过程的感知评分；所述第二计算模块104用于根据各个过程的感知评分，合成每个用户的总体感知评分。

上述，通过获取用户5G上网日志信息；根据用户上网日志数据，计算各个过程的KPI指标；根据KPI指标，计算各个过程的感知评分；根据各个过程的感知评分，合成每个用户的总体感知评分；实现综合评估客户感知体系，使用KPI分段映射技术有更好的客户感知区分度，有效识别用户感知质量。

本申请实施例提供的基于5G信令数据的客户感知评估装置可以用于执行上述实施例提供的基于5G信令数据的客户感知评估方法，具备相应的功能和有益效果。

本申请实施例还提供了一种计算机设备，该计算机设备可集成本申请实施例提供的基于5G信令数据的客户感知评估装置。图4是本申请实施例提供的一种计算机设备的结构示意图。参考图4，该计算机设备包括：输入装置43、输出装置44、存储器42以及一个或多个处理器41；所述存储器42，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如上述实施例提供的基于5G信令数据的客户感知评估方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接，图4中以通过总线连接为例。

处理器41通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的基于5G信令数据的客户感知评估方法。

上述提供的计算机设备可用于执行上述实施例提供的基于5G信令数据的客户感知评估方法，具备相应的功能和有益效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种基于5G信令数据的客户感知评估方法，该基于5G信令数据的客户感知评估方法包括：获取用户5G上网日志信息；根据用户上网日志数据，计算各个过程的KPI指标；根据KPI指标，计算各个过程的感知评分；根据各个过程的感知评分，合成每个用户的总体感知评分。

存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机装置存储器或随机存取存储器，诸如DRAM、DDRRAM、SRAM、EDORAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的第一计算机装置中，或者可以位于不同的第二计算机装置中，第二计算机装置通过网络(诸如因特网)连接到第一计算机装置。第二计算机装置可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机装置中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。

当然，本申请实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的基于5G信令数据的客户感知评估方法，还可以执行本申请任意实施例所提供的基于5G信令数据的客户感知评估方法中的相关操作。

上述实施例中提供的基于5G信令数据的客户感知评估装置、存储介质及计算机设备可执行本申请任意实施例所提供的基于5G信令数据的客户感知评估方法，未在上述实施例中详尽描述的技术细节，可参见本申请任意实施例所提供的基于5G信令数据的客户感知评估方法。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种基于5G信令数据的客户感知评估方法，其特征在于：所述方法包括以下步骤：

获取用户5G上网日志信息；

根据用户上网日志数据，计算各个过程的KPI指标；

根据KPI指标，计算各个过程的感知评分；

根据各个过程的感知评分，合成每个用户的总体感知评分。

2.根据权利要求1所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述获取用户5G上网日志信息，包括：

提取用户5G上网数据，用户5G上网数据包括用户在N1接口、N2接口和N3接口的上网日志。

3.根据权利要求1所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述根据用户上网日志数据，计算各个过程的KPI指标，包括：

根据N1接口、N2接口和N3接口的数据，计算接入过程的注册成功和注册时延的KPI指标；

计算承载过程的PDU建立成功率和PDU建立时延KPI指标；

计算移动过程的切换成功率和切换时延KPI指标；

计算DNS过程的DNS解析成功率和DNS解析时延KPI指标；

计算TCP过程的TCP建链成功率和TCP建链时延KPI指标；

计算HTTP业务的游戏、即时通讯、网页浏览、视频的HTTP响应成功率、HTTP响应时延和HTTP下载速率KPI指标。

4.根据权利要求1所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述根据KPI指标，计算各个过程的感知评分，包括：

根据KPI指标，计算接入过程、承载建立、移动过程、DNS过程、TCP过程和HTTP业务的感知评分。

5.根据权利要求4所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述根据KPI指标，计算各个过程的感知评分，包括：

成功率采用线性映射方法：成功率评分＝成功率*100；

时延映射方法的计算公式如下：

其中，f(x)为时延感知评分，x为时延KPI指标，Max为全网时延最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值；

速率映射方法的计算公式如下：

其中，f(x)为HTTP下载速率感知评分，x为下载速率KPI指标，Max为全网速率最高的10％用户平均值，Mid为全网用户的平均值，Min为全网最低的10％用户平均值。

6.根据权利要求1所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述根据各个过程的感知评分，合成每个用户的总体感知评分，包括：

根据用户的接入过程、承载过程、移动过程、DNS过程、TCP过程和HTTP过程的感知评分，通过权重和归一化计算出控制面感知评分和用户面感知评分；

控制面感知评分和用户面感知评分经过权重和归一化处理后，得到用户总体感知评分。

7.根据权利要求1所述的一种基于5G信令数据的客户感知评估方法，其特征在于：所述通过权重和归一化计算出控制面感知评分和用户面感知评分，包括：

将接入过程、承载过程和移动过程的感知评分经过权重和归一化处理，得到控制面感知评分；

将DNS过程、TCP过程和HTTP过程的感知评分经过权重和归一化处理后得到用户面感知评分。

8.一种基于5G信令数据的客户感知评估装置，其特征在于：包括：日志获取模块，用于获取用户5G上网日志信息；

指标计算模块，用于根据用户上网日志数据，计算各个过程的KPI指标；

第一计算模块，用于根据KPI指标，计算各个过程的感知评分；

第二计算模块，用于根据各个过程的感知评分，合成每个用户的总体感知评分。

9.一种计算机设备，其特征在于，包括：存储器以及一个或多个处理器；

所述存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7任一所述的一种基于5G信令数据的客户感知评估方法。

10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的一种基于5G信令数据的客户感知评估方法。

Images