CN114828055A

CN114828055A - 用户业务感知评估方法、装置、设备、介质和程序产品

Info

Publication number: CN114828055A
Application number: CN202210284678.1A
Authority: CN
Inventors: 徐益帅; 王晓琦; 陈向前; 师维; 李思平
Original assignee: China Mobile Communications Group Co Ltd; China Mobile Group Shanxi Co Ltd
Current assignee: China Mobile Communications Group Co Ltd; China Mobile Group Shanxi Co Ltd
Priority date: 2022-03-22
Filing date: 2022-03-22
Publication date: 2022-07-29

Abstract

本申请公开了一种用户业务感知评估方法、装置、设备、介质和程序产品，所述方法包括，针对每一个所述目标承载网络为5G网络的第一KQI数据，根据所述第一KQI数据、所述第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标；针对每一个第一关联指标，在所述第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估所述第一KQI数据，得到第一评估结果；根据所述驻留因子、目标评估结果以及所述第三评估结果，计算在所述业务下用户业务感知的综合评估结果。通过本申请的实施例实现了对5G用户的业务感知综合评估。

Description

用户业务感知评估方法、装置、设备、介质和程序产品

技术领域

本申请属于无线网络规划与优化领域技术领域，尤其涉及一种用户业务感知评估方法、装置、设备、介质和程序产品。

背景技术

现有技术中，针对用户业务感知评估的方法通常分为三类：信令分析体系、无线性能分析体系、第四代通讯技术(the 4Generation mobile communication technology，4G)网络感知评估体系。其中，信令分析体系通过对单用户单业务的信令数据进行分析，进一步评估与业务对应的关键质量指标(Key Quality Indicator，KQI)，最终得出单用户对单业务的业务感知结果。无线性能指标分析体系通过统计分析无线网元信令数据，进而对关键性能指标(Key Performance Indicator，KPI)数据进行评估进而得到该无线网元下的用户的网络感知结果。4G网络感知评估体系则是通过将信令分析体系与无线性能指标分析进行有机结合，利用信令分析体系的KQI数据进行用户业务感知评估。

但由于第五代通讯技术(the 5Generation mobile communication technology，5G)网络采用全新的帧结构、调制方式、天线技术以及频带宽度，导致相同业务的信令数据在5G网络和4G网络上的存在明显差异，进而使KQI数据与KPI数据也与4G网络下的KQI数据与KPI数据表现不同。因此，无法利用以上三种方法对5G用户的业务感知进行综合评估。

然而随着5G网络的发展，又急需对5G用户在综合利用5G网络和4G网络的情况下对5G用户进行业务感知综合评估。

因此，如何实现5G用户的业务感知综合评估成为目前急需解决的技术问题。

发明内容

本申请实施例提供的一种用户业务感知评估方法、装置、设备、介质和程序产品，实现了对5G用户的业务感知综合评估。

第一方面，本申请实施例提供一种用户业务感知评估方法，方法包括：

获取用于评估用户业务感知的至少一个业务下的信令数据；

根据所述信令数据，确定KQI数据的目标承载网络以及用户终端驻留5G网络的驻留因子；

针对每一个所述目标承载网络为5G网络的第一KQI数据，根据第一KQI数据、第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标；

针对每一个第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一KQI数据，得到第一评估结果；

在第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估第一KQI数据，得到第二评估结果；

针对每一个目标承载网络为4G网络的第二KQI数据，根据4G网络评估规则评估所述第二KQI数据，得到第三评估结果。

根据驻留因子、目标评估结果以及所述第三评估结果，计算在业务下用户业务感知的综合评估结果。

在一些实施例中，在根据分类结果以及第一关联关系，确定待确定异常KQI数据中的异常KQI数据之后，方法还可以包括：

获取用于评估用户业务感知的第一关键性能指标KPI数据；

根据综合评估结果以及目标承载网络，确定在5G网络、4G网络以及4G网络与5G网络切换过程中的待确定异常KQI数据；

将待确定异常KQI数据以及第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系，其中，关系计算模型为根据历史KPI数据以及历史KQI数据训练得到的模型，影响数据包括至少一个第一KPI数据以及第一KPI数据对应的权重；

将大于或等于预设数值的权重对应的KPI数据确定为待分类KPI数据；

根据预设二分类规则，计算待分类KPI数据对应的分类结果；

根据分类结果以及所述第一关联关系，确定待确定异常KQI数据中的异常KQI数据。

根据KPI数据与网络问题之间的对应关系以及所述第一关联关系，确定异常KQI数据对应的异常网络问题；

将异常KQI数据对应的异常网络问题整理为异常网络问题清单。

在一些实施例中，在将异常KQI数据对应的网络问题整理为异常网络问题清单之后，方法还可以包括：

获取第一KPI数据关联的网络属性数据；

根据第一KPI数据以及所述网络属性数据，确定所述异常网络问题清单中至少一个异常网络问题对应的网络优化方案。

在一些实施例中，在将异常KQI数据对应的异常网络问题整理为异常网络问题清单之后，方法还可以包括：

统计在第一预设时间周期内所有异常KQI数据对应的第一时间序列异常波形；

根据预设时间序列分解规则，分解第一时间序列波形，得到第二时间序列异常波形，其中，第二时间序列异常波形包括至少一个波峰值与至少一个波谷值，波峰值与波谷值与异常KQI数据对应；

在波峰值和/或波谷值超过第一预设范围时，将波峰值和/或波谷值对应的时间确定为波峰值和/或波谷值对应的异常KQI数据的预警时间；

根据预警时间以及波峰值和/或波谷值对应的异常KQI数据，生成第二预设时间周期内的预警信息，其中，第一预设时间周期早于所述第二预设时间周期。

在一些实施例中，在将待确定异常KQI数据以及第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系之前，方法还可以包括：

获取历史KPI数据以及历史KQI数据；

根据历史KPI数据以及历史KQI数据，计算第一关联关系中的待确定权重对应的损失函数；

在损失函数不满足训练停止条件的情况下，根据所述损失函数的梯度以及预设步长，更新待更新权重，直至满足所述训练停止条件，得到训练后的关系计算模型。

在一些实施例中，确定用户终端驻留5G网络的驻留因子，可以包括：

针对每一条信令数据，识别信令数据中的基站互联网协议IP地址；

在基站IP地址为目标基站IP地址时，计算相邻目标基站IP地址对应的信令数据之间的时间间隔时长；

将时间间隔时长确定为用户终端驻留5G网络的驻留因子。

在一些实施例中，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一关联指标对应的KQI数据，得到第一评估结果之前，方法还可以包括：

分别获取用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息；

根据历史用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息，确定5G网络评估规则。

第二方面，本申请实施例提供了一种用户业务感知评估装置，装置包括：

第一获取模块，用于获取用于评估用户业务感知的至少一个业务下的信令数据。

第一确定模块，用于根据所述信令数据，确定KQI数据的目标承载网络以及用户终端驻留5G网络的驻留因子。

第一计算模块，用于针对每一个所述目标承载网络为5G网络的第一KQI数据，根据第一KQI数据、第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标。

第一评估模块，用于针对每一个第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一KQI数据，得到第一评估结果。

第二评估模块，用于在第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估第一KQI数据，得到第二评估结果。

第三评估模块，用于针对每一个目标承载网络为4G网络的第二KQI数据，根据4G网络评估规则评估所述第二KQI数据，得到第三评估结果。

第二计算模块，用于根据驻留因子、目标评估结果以及所述第三评估结果，计算在业务下用户业务感知的综合评估结果。

第三方面，本申请实施例提供了一种用户业务感知评估设备，所述设备包括：所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如本申请任一实施例中所述的用户业务感知评估方法。

第四方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如本申请任一实施例中所述的用户业务感知评估方法。

第五方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品中的指令由用户业务感知评估设备的处理器执行时，使得所述用户业务感知评估设备执行如本申请任一实施例中所述的用户业务感知评估方法。

本申请实施例的一种用户业务感知评估方法、装置、设备、介质和程序产品，获取用于评估用户业务感知的至少一个业务下的信令数据，并根据信令数据，确定KQI数据的目标承载网络以及用户终端驻留所述5G网络的驻留因子。在KQI数据的承载网络为5G网络时，计算表征KQI数据与5G网络的关联程度的第一关联指标。依据该第一关联指标的绝对值与第一阈值之间的大小关系确定评估承载网络为5G网络的KQI数据的具体网络评估规则并对KQI数据进行评估得到第一与第二评估结果。并结合4G网络评估规则评估承载网络为4G网络的KQI数据的评估结果和驻留因子计算用户业务感知的综合评估结果。本申请实施例中，根据表征KQI数据与5G网络的关联程度的第一关联指标，可以准确判断承载网络为5G网络的KQI数据与5G网络之间的依赖程度，进而准确判断出是否需要用5G网络评估规则进行评估，利用5G网络评估规则对KQI数据进行评估解决了现有技术中无法对承载网络为5G网络的KQI数据进行评估的问题。此外，4G网络与5G网络评估规则评估的结果与驻留因子相结合，综合计算用户的业务感知评估结果，考虑了用户终端在不同网络下驻留时对业务感知的综合影响，实现了对5G用户的业务感知的综合评估，并准确地反应5G用户在5G网络和/或4G网络下综合的业务体验。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要利用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种用户业务感知评估方法流程示意图；

图2是本申请实施例提供的另一种用户业务感知评估方法流程示意图；

图3是本申请实施例提供的再一种用户业务感知评估方法流程示意图；

图4是本申请实施例提供的再一种用户业务感知评估方法流程示意图；

图5是本申请实施例提供的再一种用户业务感知评估方法流程示意图；

图6a是本申请实施例提供的一种应用场景下的时间序列异常波形示意图；

图6b是本申请实施例提供的一种应用场景下的分解后的时间序列异常波形示意图；

图7是本申请实施例提供的一种用户业务感知评估装置示意图；

图8是本申请实施例提供的一种用户业务感知评估设备示意图。

具体实施方式

下面将详细描述本申请的各个方面的特征和示例性实施例，为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本申请进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本申请，而不是限定本申请。对于本领域技术人员来说，本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

如背景技术所述，现有业务感知的方法无法对5G网络下的用户业务感知进行综合评估。

发明人考虑到，5G用户的业务感知由两大部分组成：5G用户在5G网络下的业务感知以及5G用户由5G网络回落到4G网络下的业务感知。现有的业务感知评估方法可以评估5G用户由5G网络回落到4G网络的用户业务感知，但无法发现评估5G网络下的用户业务感知，也无法评估5G用户在4G网络和5G网络之间来回切换时的用户的整体业务感知。而用于评估用户业务感知的KQI数据包含控制面KQI数据及业务面KQI数据两大方面，5G网络的控制面KQI数据依托4G网络传输。所以，现有的业务感知评估方法可以评估5G网络下控制面KQI数据，但无法评估5G网络下的业务面KQI数据。

因此，发明人想到可以将5G用户至少一个业务下的KQI数据进行“分流”评估，对依托4G网络传输的控制面以及业务面KQI数据利用现有的业务感知评估方法进行评估。对于5G网络下的业务面KQI数据，则计算该业务面KQI数据对5G网络的依赖程度。对依赖程度大的KQI数据利用针对5G网络进行评估的规则进行评估，依赖程度不大的KQI数据则继续利用现有的业务感知评估方法进行评估,进而将两者的评估结果进行结合由此可以到的5G用户对业务感知的综合评估结果。

为了解决现有技术问题，本申请实施例提供了一种用户业务感知评估方法、装置、设备、介质和程序产品。

为了便于描述，以下以用户业务感知评估装置作为执行主体，对用户业务感知评估方法的具体过程进行说明。

图1示出了本申请实施例提供的一种用户业务感知评估显示方法流程示意图，所示方法包括：

S110，获取用于评估用户业务感知的至少一个业务下的信令数据。

S120，根据所述信令数据，确定KQI数据的目标承载网络以及用户终端驻留5G网络的驻留因子。

S130，针对每一个所述目标承载网络为5G网络的第一KQI数据，根据第一KQI数据、第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标。

S140，针对每一个第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一KQI数据，得到第一评估结果。

S150，在第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估第一KQI数据，得到第二评估结果。

S160，针对每一个目标承载网络为4G网络的第二KQI数据，根据4G网络评估规则评估所述第二KQI数据，得到第三评估结果。

S170，根据驻留因子、目标评估结果以及所述第三评估结果，计算在业务下用户业务感知的综合评估结果。

本申请实施例中，获取用于评估用户业务感知的至少一个业务下的信令数据，并根据信令数据，确定KQI数据的目标承载网络以及用户终端驻留所述5G网络的驻留因子。在KQI数据的承载网络为5G网络时，计算表征KQI数据与5G网络的关联程度的第一关联指标。依据该第一关联指标的绝对值与第一阈值之间的大小关系确定评估承载网络为5G网络的KQI数据的具体网络评估规则并对KQI数据进行评估得到第一与第二评估结果。并结合4G网络评估规则评估承载网络为4G网络的KQI数据的评估结果和驻留因子计算用户业务感知的综合评估结果。本申请实施例中，根据表征KQI数据与5G网络的关联程度的第一关联指标，可以准确判断承载网络为5G网络的KQI数据与5G网络之间的依赖程度，进而准确判断出是否需要用5G网络评估规则进行评估，利用5G网络评估规则对KQI数据进行评估解决了现有技术中无法对承载网络为5G网络的KQI数据进行评估的问题。此外，4G网络与5G网络评估规则评估的结果与驻留因子相结合，综合计算用户的业务感知评估结果，考虑了用户终端在不同网络下驻留时对业务感知的综合影响，实现了对5G用户的业务感知的综合评估，并准确地反应5G用户在5G网络和/或4G网络下综合的业务体验。

在一些实施例中，在S110中，信令数据可以包括4G网络下的信令数据以及5G网络下的信令数据中的至少一者。KQI数据可以包括控制面KQI数据以及业务面KQI数据。用户业务感知评估装置以用户维度自动采集至少一个业务下的原始信令数据，并对原始信令数据进行数据预处理操作，进而获取到预设数据格式的信令数据。

在一些实施例中，数据预处理操作可以包括空值处理、异常值处理以及数据格式转换。用户业务感知评估装置获取到预设数据格式的信令数据后还可以包括将信令数据存储在数据库中。

在一种应用场景中，用户业务感知评估装置通过数据自动采集模块自动采集用户至少一个业务下的4G网络下的信令数据以及5G网络下的信令数据。具体地，数据自动采集模块可以包括信令数据采集单元、数据预处理单元以及数据预处理结果输出单元。用户业务感知评估装置通过信令数据采集单元以自动采集业务下的信令数据后将采集的信令数据存储至采集服务器中，并通过数据预处理单元对采集的信令数据进行空值处理、异常值处理以及数据格式转换等数据预处理操作，得到预设数据格式的信令数据，进而数据预处理单元将预设数据格式的信令数据发送至预处理结果输出单元以输出预设数据格式的信令数据供后续利用，并将预设数据格式的信令数据存储至数据库中。

在一些实施例中，数据预处理操作可以包括空值处理、异常值处理以及数据格式转换。采集服务器向用户业务感知评估装置输出信令数据后还可以包括将信令数据存储在数据库中。

发明人研究发现，5G网络在建网初期，存在覆盖不足的问题，导致5G用户能否占用5G网络，将严重影响5G用户的实际业务感知。因此，想要准确评估5G用户的业务感知，就要准确评估5G用户终端5G驻留5G网络的情况，由此发明提出根据信令数据统计5G用户终端在5G网络下的驻留情况。

在一些实施例中，在S120中，目标承载网络可以包括4G网络和5G网络，信令数据中包含互联网协议(Internet Protocol Address，IP)地址信息以及承载网络信息，终端可以包括移动性管理实体(Mobility Management Entity，MME)。用户业务感知评估装置依据承载网络信息可以判断出信令数据的承载网络是4G网络还是5G网络，进而可以判断出KQI数据的承载网络是4G网络还是5G网络。IP地址信息可以判断出当前MME利用的互联网协议进而判断出MME是否利用5G网络，进而计算出MME驻留5G网络的驻留因子。

为了更高效地识别以及用户终端驻留5G网络的情况，在一些实施例中，确定用户终端驻留5G网络的驻留因子，可以包括：

针对每一条信令数据，识别信令数据中的基站互联网协议IP地址。

在一些实施例中，5G用户在通过MME进行业务时，MME会与服务网关(Serving GateWay，SGW)和/或PDN网关(PDN Gate Way，PGW)之间进行信令交互，其中交互的信令中包括反映不同网络基站的IP地址。用户业务感知评估装置就能通过信令数据识别到不同网络下的基站IP地址。

在基站IP地址为目标基站IP地址时，计算相邻目标基站IP地址对应的信令数据之间的时间间隔时长。

在一些实施例中，目标基站IP地址可以包括指向下一代基站(next GenerationNodeB，gNB)的IP地址。MME在开始利用5G网络时会向SGW和/或PGW发送携带有gNB的IP地址的信令，在结束利用5G网络时MME也会向SGW和/或PGW发送携带有gNB的IP地址的信令。进而用户业务感知评估装置可以识别到至少一组有共同gNB的IP地址的相邻信令数据，计算有共同gNB的IP地址的相邻信令数据之间的间隔时长。

需要说明的是，gNB表示5G网络承载基站。

将时间间隔时长确定为用户终端驻留5G网络的驻留因子。

在一些实施例中，用户业务感知评估装置将上一步计算的间隔时长作为驻留因子。

在一种应用场景中，以MME在4G网络下进行业务A切换到5G网络又回落到4G网络为例。需要说明的是，在从4G网络小区切换到5G网络小区再切换到4G网络时，会经过4G网络接入，4G网络添加5G辅载波以及5G辅载波释放三个过程。

首先，MME在4G网络下进行业务A，长期演进技术(Long Term Evolution，LTE)的演进型基站(Evolved NodeB，eNB)会向MME发送信令，而后MME会向SGW和/或PGW发送携带eNB的IP地址的“Modify Bearer Request”信令A1，以表示MME往后的信令基于该IP地址指向的eNB基站传输，也即MME接入4G网络。

然后，MME从4G网络切换到5G网络进行业务A直到业务A进行完毕。具体地，MME从4G网络小区切换到5G网络小区，eNB向下一代基站(next Generation NodeB，gNB)发送请求加入5G辅载波的信令，gNB接收该信令后向eNB中添加5G辅载波，而后MME向SGW和/或PGW发送携带gNB的IP地址的“Modify Bearer Request”信令，以表示MME往后的信令基于该IP地址指向的gNB基站传输，也即MME接入5G网络。

而后，MME从5G网络回落到4G网络进行业务A。具体地，MME还会向SGW和/或PGW发送携带gNB的IP地址的“Modify Bearer Request”信令A2。用户业务感知评估装置计算信令A1与信令A2之间的间隔时长t1，那么用户业务感知评估装置将间隔时长t1作为MME在行进业务A时在5G网络下的驻留因子。

本申请实施例中，将IP地址均为目标地址的两相邻信令数据出现的间隔时长确定为用户终端驻留5G网络的驻留因子。仅通过统计满足条件的信令数据出现的间隔时长就能得到反应用户终端驻留5G网络的情况的驻留因子，不用利用复杂的计算或处理过程，提高识别用户终端驻留5G网络的情况的效率。

在一些实施例中，在S130中，第一关联指标表征第一KQI数据与5G网络的关联程度。用户业务感知评估装置针对每一个业务，将每一个5G网络下的KQI数据与该KQI数据在4G网络下的数值代入到式1中计算第一关联指标，

其中，ρ表示第一关联指标，x_i表示某业务下第i个在5G网络下的KQI数据，n表示某业务在5G网络下的KQI数据的总个数，y_i表示某业务下第i个在5G网络下的KQI数据在4G网络下的数值，

表示上述x_i表示的KQI数据在5G网络下的平均值，

表示上述x_i表示的KQI数据在4G网络下的平均值，其中，平均值为根据历史时间周期内历史KQI数据计算的数值。历史时间周期可以根据实际经验设定，本申请实施例不做具体限制。

可以理解的是，在第一KQI数据没有对应的4G网络下的数值时，第一关联指标可以根据实际需求在-1到1的范围内设定，本申请实施例不做限制，例如在第一KQI数据没有对应的4G网络下的数值时第一关联指标可以取1。

作为一个示例，以业务为网页浏览，KQI数据为页面打开延时以及首屏时延为例。用户A在xx年5月xx日某时段进行网页浏览时用户业务感知评估装置识别到用户A在5G网络下的页面打开延时为300ms，首屏时延为500ms；在4G网络下的页面打开延时为400毫秒ms，首屏时延为1000ms。用户业务感知评估装置计算了xx年在1月至4月5G网络下进行用户网页浏览时页面打开延时的平均值为350ms，首屏时延的平均值为为1500ms；4G网络下进行用户网页浏览时页面打开延时的平均值为420m，首屏时延的平均值为为2500ms。用户业务感知评估装置将上述数据代入到式1中计算出的第一关联指标ρ为0.499，用户业务感知评估装置认为在xx年5月xx日某时段用户A进行网页浏览时其KQI数据页面打开延时以及首屏时延与5G网络的关联程度为0.499。

在一种实施例中，在S140中，5G网络评估规则可以包括业务的5G感知基线与异常KQI数据的5G评判基线。用户业务感知评估装置针对每一个业务下的第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，针对每一个第一KQI数据，利用异常KQI数据的5G评判基线评估第一KQI数据，得到第一KQI数据的评估结果，进而依据业务的5G感知基线评估第一KQI数据的评估结果业务在5G网络下的第一评估结果。

需要说明地是，第一阈值根据经验选取，本申请实施例以0.2为例。

为了准确评估用户在5G网络下对业务的感知，在一些实施例中，如图2所示的本申请实施例提供的另一种用户业务感知评估方法流程示意图，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一关联指标对应的KQI数据，得到第一评估结果之前，方法还可以包括S210-S220：

S210，分别获取用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息。

在一些实施例中，在S210中，业务感知拨测信息可以包括工作人员通过现有拨测手段对特定业务的用户感知进行测试的结果。历史KQI数据的分布信息可以包括在以用户维度划分的5G网络下历史KQI数据的统计分布结果。工作人员以用户维度将用户的历史业务感知调研信息和业务感知拨测信息存储至数据库中，用户业务感知评估装置以用户维度从数据库中调取用户的历史业务感知调研信息和业务感知拨测信息以及历史KQI数据，并对历史KQI数据做统计分布，得到历史KQI数据的分布信息。

S220，根据历史用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息，确定5G网络评估规则。

在一些实施例中，在S220中，用户业务感知评估装置以用户维度综合用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息，确定出每一个业务下异常KQI数据的5G评判基线，并综合每一个异常KQI数据的评判基线得到用户对每一个业务的5G感知基线，并将每一个业务对应的5G感知基线都整理到5G网络评估规则中。

作为一个示例，以业务为视频播放，KQI数据为视频下载速率以及视频卡顿频次为例。用户的历史视频播放感知调研信息表示视频卡顿频次在0.5次/分及以下时，用户业务感知良好视频播放流畅。工作人员通过现有拨测手段对视频播放进行测试时发现在5G网络下视频下载速率在1500kbit/s及以上时，视频没有明显的卡顿播放流畅。用户业务感知评估装置对抓取的5G网络下的历史视频下载速率以及视频卡顿频次进行统计分布后得到80％的视频下载速率在2000kbit/s及以上，视频卡顿频次在1次及一下。

用户业务感知评估装置综合以上信息，最终确定出5G网络下视频播放业务下衡量视频下载速率的5G评判基线为大于或等于2000kbit/s，衡量视频卡顿频次的评判基线为0.5次/分及以下。综合视频下载速率和视频卡顿频次的评判基线确定评估视频播放业务的5G感知基线为在视频下载速率大于或等于2000kbit/s和/或视频卡顿频次小于或等于0.5次/分时，视屏播放流畅；在视频下载速率小于2000kbit/s和/或视频卡顿频次大于0.5次/分，视屏播放卡顿。

在一些实施例中，用户业务感知评估装置还可以接收工作人员根据用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息结合实际情况确定的中5G网络评估规则。

本申请实施例中，5G网络评估规则由大量历史用户的业务感知调研信息、业务感知拨测信息和历史KQI数据的分布信息综合确定。在考虑用户对业务感知的同时还辅助在不同情况下对用户业务感知施行的拨测结果，并将大量的历史KQI数据的分布信息与用户对业务感知的结果和拨测结果进行综合，实现多方位全面地判定业务感知好坏的基线，进而得到可以准确评估5G网络下用户业务感知的5G网络评估规则，在利用该5G网络评估规则进行评估时可以准确评估用户在5G网络下对业务的感知。

在一些实施例中，在S150中，4G网络评估规则评估可以包括现有技术中的业务感知评估方法。用户业务感知评估装置针对每一个业务下的第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，针对每一个第一KQI数据，利用现有技术中的业务感知评估方法评估第一KQI数据，得到某业务在4G网络下的用户业务感知结果也即第二评估结果。

在一些实施例中，在S160中，用户业务感知评估装置利用现有技术中的业务感知评估方法评估目标承载网络为4G网络的第二KQI数据，得到某业务在4G网络下的用户业务感知结果也即第三评估结果。

在一些实施例中，在S170中，目标评估结果为第一评估结果和第二评估结果中的一者。具体地，针对每一个业务在业务存在第一评估结果时，用户业务感知评估装置将依据式2计算业务下用户业务感知的综合评估结果。在业务存在第二评估结果时，将第二评估结果合并到第三评估结果中，取驻留因子为零依旧根据式2计算业务下用户业务感知的综合评估结果，

S＝(1-z)*S₄+z*S₅ 式2

其中，S表示用户业务感知的综合评估结果，z表示驻留因子，S₄表示第三评估结果(也即，利用现有的业务感知评估方法评估的用户业务感知结果)，S₄表示第一评估结果。

在一些实施例中，第一评估结果、第二评估结果以及第三评估结果可以包括用户业务感知评估装置利用相应的网络评估规则评估KQI数据后得到的与业务对应的业务感知评分。

作为一个示例，以视频播放业务，KQI数据为视频下载速率以及视频卡顿频次为例。用户业务感知评估装置综合用户的历史视频播放业务感知调研信息、业务感知拨测信息以及5G网络下的历史KQI数据后，确定视频播放业务的5G感知基线为在视频下载速率大于或等于5000kbit/s和/或视频卡顿频次小于或等于0.1次/分时，视屏播放业务对应的用户业务感知评分为5分；在视频下载速率小于5000kbit/s且大于或等于2000kbit/s，和/或视频卡顿频次大于0.1次/分且小于或等于0.5次/分时视屏播放业务对应的用户业务感知评分为2分；在视频下载速率小于2000kbit/s且大于3500kbit/s，和/或视频卡顿频次大于0.5次/分且小于1次/分，视屏播放业务对应的用户业务感知评分为-2分，在视频下载速率大于或等于3500kbit/s，和/或视频卡顿频次大于或等于1次/分，视屏播放业务对应的用户业务感知评分为-5分。

为了提高判断异常KQI数据的效率，在一些实施例中，如图3所示的本申请实施例提供的再一种用户业务感知评估方法流程示意图，在根据驻留因子、目标评估结果以及第三评估结果，计算在业务下用户业务感知的综合评估结果之后，方法还可以包括S310-S360：

S310，获取用于评估用户业务感知的第一关键性能指标KPI数据。

S320，根据综合评估结果以及目标承载网络，确定在5G网络、4G网络以及4G网络与5G网络切换过程中的待确定异常KQI数据。

S330，将待确定异常KQI数据以及第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系。

S340，将大于或等于预设数值的权重对应的KPI数据确定为待分类KPI数据。

S350，根据预设二分类规则，计算待分类KPI数据对应的分类结果。

S360，根据分类结果以及所述第一关联关系，确定待确定异常KQI数据中的异常KQI数据。

本申请实施例中，将待确定异常KQI数据与第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系。并将大于预设数值的权重对应的KPI数据确定为待分类KPI数据，进而根据预设二分类规则计算的待分类KPI数据对应的分类结果以及第一关联关系，确定异常KQI数据。通过对模型自动计算KQI数据与KPI数据之间的关联关系，避免了人工分析计算提高了KQI数据与KPI数据之间关联关系的计算效率。仅计算大于预设数值的权重对应的KPI数据计算的分类结果，避免了对所有KPI数据进行分类计算，提高了对KPI数据的计算效率，进而提高了对异常KQI数据的判断效率。

在一些实施例中，在S310中，用户业务感知评估装置以用户维度自动采集用户至少一个业务下的基站网管数据，并对基站网管数据进行数据预处理操作，进而获取到无线环境类、接入性、保持性、移动性等四类预设数据格式的第一KPI数据。

在一些实施例中，在S320中，用户业务感知评估装置根据上述步骤中用户业务感知的综合评估结果以用户维度统计质差用户清单，并根据质差用户所做的业务统计质差业务清单，根据质差用户的常驻小区统计质差小区清单，同时根据质差业务清单中的KQI数据的评估结果统计待确定异常KQI数据。并依据待确定异常KQI数据承载网络划分5G网络、4G网络以及4G网络与5G网络切换过程中的待确定异常KQI数据。

在一些实施例中，在S330中，关系计算模型为根据历史KPI数据以及历史KQI数据训练得到的模型，影响数据可以包括至少一个第一KPI数据以及第一KPI数据对应的权重。用户业务感知评估装置将上述步骤中5G网络下的质差KQI数据以及第一KPI数据输入至训练好的关系计算模型中，以使关系计算模型针对每一个质差KQI数据根据梯度下降算法求解式3中的权重，得到质差KQI数据与影响数据之间的第一关联关系，

y＝w₁x₁+w₂x₂+…+w_nx_n+b 式3

其中，y表示KQI数据，w₁、w_2…w_n表示权重，b表示偏差项，x₁、x_2…x_n表示与KQI数据相关联的KPI数据。

可以理解地的是，不同KQI数据可以对应的不同的偏差项，偏差项可以根据实际情况预先设置可以由关系计算模型求解。与KQI数据相关联的KPI数据的具体确定方法为现有技术，本申请实施例不做具体限制。

值得注意地是，根据梯度下降算法计算权重(也即模型参数)为现有技术，本申请实施例不做具体限制，本申请实施例中的梯度下降算法包括但不限于批量梯度下降算法(Batch Gradient Descent，BGD)或随机梯度下降算法(Stochastic Gradient Descent，SGD)或小批量梯度下降算法(Mini-batch Gradient Descent，MBGD)。

作为一个示例，以KQI数据为视频卡顿频次0.5次/分为例，与视频卡顿频次有关联的KPI数据为信道质差比例以及干扰噪声。用户业务感知评估装置将视频卡顿频次、信道质差比例Z以及干扰噪声N代入到式3中，有0.5次/分＝w_1*Z+w_2*N+b。并根据梯度下降算法计算出w₁为0.6与w₂为0.4，则用户业务感知评估装置输出KQI数据与KPI数据之间的第一关联关系为0.5次/分＝0.6_*Z+0.4_*N+b。

为了提高确定KQI数据与KPI数据之间关联关系的效率，在一些实施例中，在将待确定异常KQI数据以及第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系之前，方法还可以包括：

获取历史KPI数据以及历史KQI数据。

在一些实施例中，用户业务感知评估装置从数据库中调用历史KPI数据以及历史KQI数据。

根据历史KPI数据以及历史KQI数据，计算第一关联关系中的待确定权重对应的损失函数。

在一些实施例中，用户业务感知评估装置针对每一个历史KQI数据以及与之相关联的至少一个历史KPI数据，根据梯度下降算法求解式3中的权重时，会根据式3计算与权重对应的损失函数。

在一些实施例中，训练停止条件可以包括当前权重减去当前损失函数的梯度与预设步长的乘积小于第二阈值。用户业务感知评估装置在损失函数不满足训练停止条件的情况下，计算当前损失函数的梯度以及预设步长的乘积，并使当前待更新权重减去当前损失函数的梯度以及预设步长的乘积以完成对当前待更新权重的更新。在当前损失函数满足所述训练停止条件时，将更新后的待更新权重作为式3中的最终权重，并将式3作为第一关联关系输出。

本申请实施例中，根据历史KPI数据以及历史KQI数据，计算第一关联关系中的待确定权重对应的损失函数，在损失函数不满足训练停止条件的情况下，的梯度以及预设步长，更新待更新权重，直至满足所述训练停止条件，得到训练后的关系计算模型。以损失函数满足预设条件为模型训练停止的条件，实现对待更新权重的迭代更新，进而实现更新历史KQI数据与历史KPI数据之间的第一关联关系，避免了对第一关联关系进行多元回归计算，提高了确定KQI数据与KPI数据之间关联关系的效率。

在一些实施例中，在S340中，用户业务感知评估装置针对每一个第一关联关系，将其中大于或等于第一预设值的权重对应的KPI数据确定为待分类KPI数据。

在一些实施例中，预设数值用于表征第一关联关系中影响KQI数据的主要KPI数据，可以根据实际情况设置，本申请实施例不做具体限制，例如，预设数值可以为第一关联关系中最大的权重对应的数值。

在一些实施例中，在S350中，预设二分类规则可以包括决策树算法。用户业务感知评估装置根据决策树算法对待分类KPI数据进行分类计算将异常KPI数据与非异常KPI数据进行分类，得到待分类KPI数据的分类结果。

在一些实施例中，决策树算法可以包括二叉树算法。

在一些实施例中，在S360中，用户业务感知评估装置针对待分类KPI数据的分类结果确定异常KPI数据，并依据第一关联关系确定异常KPI数据对应的待确定KQI数据并将该待确定KQI数据确定为异常KQI数据。

为了实现识别5G网络下的异常网络问题，在一些实施例中，如图4所示的本申请实施例提供的再一种用户业务感知评估方法流程示意图，在根据分类结果以及第一关联关系，确定待确定异常KQI数据中的异常KQI数据之后，方法还可以包括S410-S420：

S410，根据KPI数据与网络问题之间的对应关系、分类结果以及第一关联关系，确定异常KQI数据对应的异常网络问题。

S420，将异常KQI数据对应的异常网络问题整理为异常网络问题清单。

本申请实施例中，在确定异常KQI数据后，根据第一关联关系以及KPI数据网络问题之间的对应关系可以确定异常KQI数据对应的异常KPI数据，进而可以确定异常KQI数据对应的异常网络问题，并将异常网络问题整理为异常网络问题清单，实现了5G网络下异常网络问题的识别。

在一些实施例中，在S410中，用户业务感知评估装置根据第一关联关系依据上述步骤的分类结果确定异常KPI数据，根据第一关联关系确定异常KPI数据对应该异常KQI数据。并依据KPI数据与网络问题之间的对应关系确定异常KPI数据对应的异常网络问题，进而将该异常网络问题确定为异常KQI数据对应的异常网络问题。

需要说明地是，KPI数据与网络问题的对应关系的具体确定方法为现有技术，本申请实施例不做具体限制。

在一些实施例中，在S420中，用户业务感知评估装置将异常网络问题汇总为异常网络问题清单。

在一种应用场景中，用户业务感知评估装置通过梯度下降算法从预处理及洞察后的历史KQI数据中和历史KPI数据中确定影响用户业务感知的KPI数据，并通过决策树算法识别KPI数据的感知阈值，以根据不同业务的模型训练结果，识别5G网络下的异常网络问题，建构用户浏览、视频、即时通信等业务下的异常网络问题定位分析知识库。

为了提高异常网络问题的优化效率，在一些实施例中，在将异常KQI数据对应的网络问题整理为异常网络问题清单之后，方法还可以包括：

获取第一KPI数据关联的网络属性数据。

在一些实施例中，网络属性数据可以包括现有技术中KPI数据能关联到的与网络通信相关的大数据。用户业务感知评估装置在自动采集到第一KPI数据后就获取到期关联的网络属性数据。

根据第一KPI数据以及网络属性数据，确定异常网络问题清单中至少一个异常网络问题对应的网络优化方案。

在一些实施例中，第一KPI数据包括异常KPI数据，用户业务感知评估装置针对每一异常网络问题，根据KPI数据与网络问题之间的对应关系确定该异常网络问题对应的异常KPI数据和其关联的网络属性数据，生成优化异常网络问题的至少一个优化方案清单。

作为一个示例，用户业务感知评估装置对某时间段内一批用户的视频播放业务感知进行评估后得到该批用户的视频播放比较卡顿，其视频播放频次比较高。用户业务感知评估装置将该用户的视频播放频次与KPI数据输入至关系计算模型后，得到的关联关系中信号质差比例的权重最大。进而获取该信号质差比例关联的包括基站维护信息，热覆盖信息以及基站承载用户数量信息在内的网络属性信息，后判断该批用户视频播放比较卡顿的原因是中间小区基站的断站导致本小区基站承载用户数量超额。从而生成要求整顿断站的中间小区的优化方案。

本申请实施例中，依据网络属性数据以及第二KPI数据确定异常网络问题对应的优化方案。进而可以依据优化方案对异常网络问题进行优化，实现了结合KPI数据自动生成建设维护优化异常网络问题优化方案，避免了人工分析，提高了对异常网络问题进行优化的效率。

为了实现异常KQI数据的提前预警，在一些实施例中，如图5所示的本申请实施例提供的再一种用户业务感知评估方法流程示意图，在将异常KQI数据对应的异常网络问题整理为异常网络问题清单之后，方法还可以包括S510-S540：

S510，统计在第一预设时间周期内所有异常KQI数据对应的第一时间序列异常波形。

S520，根据预设时间序列分解规则，分解第一时间序列波形，得到第二时间序列异常波形。

S530，在波峰值和/或波谷值超过第一预设范围时，将波峰值和/或波谷值对应的时间确定为波峰值和/或波谷值对应的异常KQI数据的预警时间。

S540，根据预警时间以及波峰值和/或波谷值对应的异常KQI数据，生成第二预设时间周期内的预警信息。

本申请实施例中，将第一预设时间周期内统计的第一时间序列异常波形根据预设时间序列分解规则后，根据分解后得到的第二时间序列异常波形的波峰值和/或波谷值与第一预设范围的大小关系确定第一预设时间周期内异常KQI数据的预警时间。进而根据该预警时间以及波峰值和/或波谷值对应的异常KQI数据生成第二预设时间周期内该异常KQI数据的预警信息。依据时间序列异常波形实现了对第二预设时间周期内可能发生异常的时间以及KQI数据信息预测，实现了异常KQI数据的提前预警。

在一些实施例中，在S510中，用户业务感知评估装置在第一预设时间周期内根据时间序列算法对异常KQI数据进行统计得到第一时间序列异常波形。

在一些实施例中，在S520中，第二时间序列异常波形可以包括至少一个波峰值与至少一个波谷值，波峰值与波谷值与异常KQI数据对应。第二时间序列异常波形可以包括长期趋势波形、季节波动波形以及随机波动波形中的至少一者。预设时间序列分解规则可以包括时间序列的加法模型(式4)或乘法模型(式5)，用户业务感知评估装置根据加法模型或乘法模型分解第一时间序列异常波形得到分解后的第二时间序列异常波形，

Y(t)＝T(t)+S(t)+R(t) 式4，

Y(t)＝T(t)*S(t)*R(t) 式5，

其中，Y(t)表示第一时间序列异常波形，T(t)表示长期趋势波形，S(t)表示季节波动波形，R(t)表示随机波动波形，t表示时间。

需要说明地是，第一预设时间周期可以根据实际需求设置，本申请实施例不做具体限制。第二预设时间周期与第一预设时间周期相对应，且晚于第一预设时间周期，例如第一预设时间周期为2020年1月至3月，第二预设时间周期为2021年1月至3月。

作为一个示例，用户业务感知评估装置在根据时间序列算法对用户C在第一预设时间周期2020年9月14日0:00到2020年9月27日14:00的视频卡顿频次进行统计，得到如图6a所示的第一时间序列异常波形，对第一时间序列异常波形进行分解后得到如图6b所示的随机波动波形。

在一些实施例中，在S530中，第一预设范围为根据正态分布图确定的-4σ至+4σ或-3σ至+3σ，用户业务感知评估装置在第二时间序列异常波形的波峰值和/或波谷值超过第一预设范围时，将波峰值和/或波谷值对应的时间确定为波峰值和/或波谷值对应的异常KQI数据的预警时间。

作为一个示例，参考图6b，波峰601的值超过+3σ，则将波峰601对应的时间2020年9月23日21点确定为波峰值和/或波谷值对应的视频卡顿频次的预警时间。

在一些实施例中，在S540中，第一预设时间周期早于第二预设时间周期。用户业务感知评估装置将第一预设周期内的预警时间作为第二预设时间周期内的预警时间，并将第一预设时间周期波峰值和/或波谷值对应的异常KQI数据作为第二预设时间周期内的异常KQI数据，生成第二预设时间周期内在预警时间下会发生异常KQI数据的预警信息。

作为一个示例，继续参考上述示例，用户C在2020年9月23日21点视频卡顿频次601恶化至0.23超过+3σ，用户业务感知评估装置则生成2021年9月23日21点用户C视频卡顿频次恶化的预警信息。

在一些实施例中，用户业务感知评估装置还可以在第一预设时间周期内统计质差业务清单、质差小区清单、质差用户清单或异常KPI数据统计对应的第二时间序列异常波形。根据预设时间序列分解规则，分解第二时间序列异常波形，得到第三时间序列异常波形，其中，第三时间序列异常波形包括至少一个波峰值与至少一个波谷值，波峰值与波谷值与质差业务、质差小区、质差用户或异常KPI数据对应。在波峰值和/或波谷值超过第一预设范围时，将波峰值和/或波谷值对应的时间确定为质差业务、质差小区、质差用户或异常KPI数据的预警时间。根据该预警时间以及波峰值和/或波谷值对应的质差业务、质差小区、质差用户或异常KPI数据，生成第二预设时间周期内的预警信息。

基于上述任一实施例提供的用户业务感知评估方法，本申请还提供了一种用户业务感知评估装置实施例，具体参见图7。

图7示出了本申请实施例提供的一种用户业务感知评估装置示意图。如图7所示，用户业务感知评估装置700可以包括：

第一获取模块710，用于获取用于评估用户业务感知的至少一个业务下的信令数据。

第一确定模块720，用于根据所述信令数据，确定KQI数据的目标承载网络以及用户终端驻留5G网络的驻留因子。

第一计算模块730，用于针对每一个所述目标承载网络为5G网络的第一KQI数据，根据第一KQI数据、第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标。

第一评估模块740，用于针对每一个第一关联指标，在第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估第一KQI数据，得到第一评估结果。

第二评估模块750，用于在第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估第一KQI数据，得到第二评估结果。

第三评估模块760，用于针对每一个目标承载网络为4G网络的第二KQI数据，根据4G网络评估规则评估所述第二KQI数据，得到第三评估结果。

第二计算模块770，用于根据驻留因子、目标评估结果以及所述第三评估结果，计算在业务下用户业务感知的综合评估结果。

本申请实施例中的装置，获取用于评估用户业务感知的至少一个业务下的信令数据，并根据信令数据，确定KQI数据的目标承载网络以及用户终端驻留所述5G网络的驻留因子。在KQI数据的承载网络为5G网络时，计算表征KQI数据与5G网络的关联程度的第一关联指标。依据该第一关联指标的绝对值与第一阈值之间的大小关系确定评估承载网络为5G网络的KQI数据的具体网络评估规则并对KQI数据进行评估得到第一与第二评估结果。并结合4G网络评估规则评估承载网络为4G网络的KQI数据的评估结果和驻留因子计算用户业务感知的综合评估结果。本申请实施例中，根据表征KQI数据与5G网络的关联程度的第一关联指标，可以准确判断承载网络为5G网络的KQI数据与5G网络之间的依赖程度，进而准确判断出是否需要用5G网络评估规则进行评估，利用5G网络评估规则对KQI数据进行评估解决了现有技术中无法对承载网络为5G网络的KQI数据进行评估的问题。此外，4G网络与5G网络评估规则评估的结果与驻留因子相结合，综合计算用户的业务感知评估结果，考虑了用户终端在不同网络下驻留时对业务感知的综合影响，实现了对5G用户的业务感知的综合评估，并准确地反应5G用户在5G网络和/或4G网络下综合的业务体验。

在一些实施例中，为了提高判断异常KQI数据的效率，用户业务感知评估装置700还可以包括：

第二获取模块，用于获取用于评估用户业务感知的第一关键性能指标KPI数据。

第二确定模块，用于根据综合评估结果以及目标承载网络，确定在5G网络、4G网络以及4G网络与5G网络切换过程中的待确定异常KQI数据。

输入模块，用于将待确定异常KQI数据以及第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系。

第三确定模块，用于将大于或等于预设数值的权重对应的KPI数据确定为待分类KPI数据。

第三计算模块，用于根据预设二分类规则，计算待分类KPI数据对应的分类结果。

第四确定模块，用于根据分类结果以及所述第一关联关系，确定待确定异常KQI数据中的异常KQI数据。

本申请实施例中的装置，将待确定异常KQI数据与第一KPI数据输入至训练好的关系计算模型中，得到待确定异常KQI数据与影响数据之间的第一关联关系。并将大于预设数值的权重对应的KPI数据确定为待分类KPI数据，进而根据预设二分类规则计算的待分类KPI数据对应的分类结果以及第一关联关系，确定异常KQI数据。通过对模型自动计算KQI数据与KPI数据之间的关联关系，避免了人工分析计算提高了KQI数据与KPI数据之间关联关系的计算效率。仅计算大于预设数值的权重对应的KPI数据计算的分类结果，避免了对所有KPI数据进行分类计算，提高了对KPI数据的计算效率，进而提高了对异常KQI数据的判断效率。

在一些实施例中，为了实现识别5G网络下的异常网络问题，用户业务感知评估装置700还可以包括：

第五确定模块，用于根据KPI数据与网络问题之间的对应关系、分类结果以及第一关联关系，确定异常KQI数据对应的异常网络问题。

整理模块，用于将异常KQI数据对应的异常网络问题整理为异常网络问题清单。

本申请实施例中的装置，在确定异常KQI数据后，根据第一关联关系以及KPI数据网络问题之间的对应关系可以确定异常KQI数据对应的异常KPI数据，进而可以确定异常KQI数据对应的异常网络问题，并将异常网络问题整理为异常网络问题清单，实现了5G网络下异常网络问题的识别。

在一些实施例中，为了提高异常网络问题的优化效率，用户业务感知评估装置700还可以包括：

第三获取模块，用于获取第一KPI数据关联的网络属性数据。

第六确定模块，用于根据第一KPI数据以及网络属性数据，确定异常网络问题清单中至少一个异常网络问题对应的网络优化方案。

本申请实施例中的装置，依据网络属性数据以及第二KPI数据确定异常网络问题对应的优化方案。进而可以依据优化方案对异常网络问题进行优化，实现了结合KPI数据自动生成建设维护优化异常网络问题优化方案，避免了人工分析，提高了对异常网络问题进行优化的效率。

在一些实施例中，为了实现异常KQI数据的提前预警，用户业务感知评估装置700还可以包括：

统计模块，用于统计在第一预设时间周期内所有异常KQI数据对应的第一时间序列异常波形。

分解模块，用于根据预设时间序列分解规则，分解第一时间序列波形，得到第二时间序列异常波形。

第六确定模块，用于在波峰值和/或波谷值超过第一预设范围时，将波峰值和/或波谷值对应的时间确定为波峰值和/或波谷值对应的异常KQI数据的预警时间。

生成模块，用于根据预警时间以及波峰值和/或波谷值对应的异常KQI数据，生成第二预设时间周期内的预警信息。

本申请实施例中的装置，将第一预设时间周期内统计的第一时间序列异常波形根据预设时间序列分解规则后，根据分解后得到的第二时间序列异常波形的波峰值和/或波谷值与第一预设范围的大小关系确定第一预设时间周期内异常KQI数据的预警时间。进而根据该预警时间以及波峰值和/或波谷值对应的异常KQI数据生成第二预设时间周期内该异常KQI数据的预警信息。依据时间序列异常波形实现了对第二预设时间周期内可能发生异常的时间以及KQI数据信息预测，实现了异常KQI数据的提前预警。

在一些实施例中，为了提高确定KQI数据与KPI数据之间关联关系的效率，用户业务感知评估装置700还可以包括：

第四获取模块，用于获取历史KPI数据以及历史KQI数据。

第四计算模块，用于根据历史KPI数据以及历史KQI数据，计算第一关联关系中的待确定权重对应的损失函数。

更新模块，用于在损失函数不满足训练停止条件的情况下，根据所述损失函数的梯度以及预设步长，更新待更新权重，直至满足所述训练停止条件，得到训练后的关系计算模型。

本申请实施例中的装置，根据历史KPI数据以及历史KQI数据，计算第一关联关系中的待确定权重对应的损失函数，在损失函数不满足训练停止条件的情况下，的梯度以及预设步长，更新待更新权重，直至满足所述训练停止条件，得到训练后的关系计算模型。以损失函数满足预设条件为模型训练停止的条件，实现对待更新权重的迭代更新，进而实现更新历史KQI数据与历史KPI数据之间的第一关联关系，避免了对第一关联关系进行多元回归计算，提高了确定KQI数据与KPI数据之间关联关系的效率。

在一些实施例中，为了更高效地识别以及用户终端驻留5G网络的情况，确定模块720可以包括：

识别单元，用于针对每一条信令数据，识别信令数据中的基站互联网协议IP地址。

计算单元，用于在基站IP地址为目标基站IP地址时，计算相邻目标基站IP地址对应的信令数据之间的时间间隔时长。

确定单元，用于将时间间隔时长确定为用户终端驻留5G网络的驻留因子。

本申请实施例中的装置，将IP地址均为目标地址的两相邻信令数据出现的间隔时长确定为用户终端驻留5G网络的驻留因子。仅通过统计满足条件的信令数据出现的间隔时长就能得到反应用户终端驻留5G网络的情况的驻留因子，不用利用复杂的计算或处理过程，提高识别用户终端驻留5G网络的情况的效率。

在一些实施例中，为了准确评估用户在5G网络下对业务的感知，第一评估模块740还可以包括：

获取子模块，用于分别获取用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息。

确定子模块，用于根据历史用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息，确定5G网络评估规则。

本申请实施例中的装置，5G网络评估规则由大量历史用户的业务感知调研信息、业务感知拨测信息和历史KQI数据的分布信息综合确定。在考虑用户对业务感知的同时还辅助在不同情况下对用户业务感知施行的拨测结果，并将大量的历史KQI数据的分布信息与用户对业务感知的结果和拨测结果进行综合，实现多方位全面地判定业务感知好坏的基线，进而得到可以准确评估5G网络下用户业务感知的5G网络评估规则，在利用该5G网络评估规则进行评估时可以准确评估用户在5G网络下对业务的感知。

此外，结合上述实施例的数据存储、数据显示方法，如图8所示，本申请实施例可提供一种用户业务感知评估设备，所述设备可以包括处理器810以及存储有计算机程序指令的存储器820。

具体地，上述处理器810可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。

存储器820可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器820可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器820可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器820可在综合网关容灾设备的内部或外部。在特定实施例中，存储器820是非易失性固态存储器。在特定实施例中，存储器820包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器810通过读取并执行存储器820中存储的计算机程序指令，以实现上述实施例中的任意一种用户业务感知评估方法。

在一个示例中，用户业务感知评估设备还可包括通信接口830和总线840。其中，如图6所示，处理器810、存储器820、通信接口830通过总线840连接并完成相互间的通信。

通信接口830，主要用于实现本申请实施例中各模块、设备、单元和/或设备之间的通信。

总线840包括硬件、软件或两者，将用户业务感知评估设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线840可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线，但本申请考虑任何合适的总线或互连。

该用户业务感知评估设备执行所述计算机程序指令时实现上述任一实施例所述的用户业务感知评估方法。

另外，结合上述用户业务感知评估方法，本申请实施例可提供一种计算机存储介质，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述任一实施例所述的用户业务感知评估方法。

需要明确的是，本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本申请的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本申请的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本申请中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本申请不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以产生一种机器，使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解，框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合，也可以由执行指定的功能或动作的专用硬件来实现，或可由专用硬件和计算机指令的组合来实现。

以上所述，仅为本申请的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。

Claims

1.一种用户业务感知评估方法，其特征在于，所述方法包括：

获取用于评估用户业务感知的至少一个业务下的信令数据，其中，所述信令数据包括至少一个关键质量指标KQI数据；

根据所述信令数据，确定所述KQI数据的目标承载网络以及用户终端驻留所述5G网络的驻留因子，其中，所述目标承载网络包括4G网络和5G网络；

针对每一个所述目标承载网络为5G网络的第一KQI数据，根据所述第一KQI数据、所述第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标，其中，所述第一关联指标表征所述第一KQI数据与5G网络的关联程度；

针对每一个第一关联指标，在所述第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估所述第一KQI数据，得到第一评估结果；

在所述第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估所述第一KQI数据，得到第二评估结果；

针对每一个所述目标承载网络为4G网络的第二KQI数据，根据所述4G网络评估规则评估所述第二KQI数据，得到第三评估结果；

根据所述驻留因子、目标评估结果以及所述第三评估结果，计算在所述业务下用户业务感知的综合评估结果，其中，所述目标评估结果为所述第一评估结果和所述第二评估结果中的一者。

2.根据权利要求1所述的方法，其特征在于，在根据所述驻留因子、目标评估结果以及所述第三评估结果，计算在所述业务下用户业务感知的综合评估结果之后，所述方法还包括：

获取用于评估用户业务感知的第一关键性能指标KPI数据；

根据所述综合评估结果以及所述目标承载网络，确定在所述5G网络、所述4G网络以及所述4G网络与所述5G网络切换过程中的待确定异常KQI数据；

将所述待确定异常KQI数据以及所述第一KPI数据输入至训练好的关系计算模型中，得到所述待确定异常KQI数据与影响数据之间的第一关联关系，其中，所述关系计算模型为根据历史KPI数据以及历史KQI数据训练得到的模型，所述影响数据包括至少一个所述第一KPI数据以及所述第一KPI数据对应的权重；

将大于或等于预设数值的所述权重对应的KPI数据确定为待分类KPI数据；

根据预设二分类规则，计算所述待分类KPI数据对应的分类结果；

根据所述分类结果以及所述第一关联关系，确定所述待确定异常KQI数据中的异常KQI数据。

3.根据权利要求2所述的方法，其特征在于，在根据所述分类结果以及所述第一关联关系，确定所述待确定异常KQI数据中的异常KQI数据之后，所述方法还包括：

根据KPI数据与网络问题之间的对应关系、所述分类结果以及所述第一关联关系，确定所述异常KQI数据对应的异常网络问题；

将所述异常KQI数据对应的异常网络问题整理为异常网络问题清单。

4.根据权利要求2所述的方法，其特征在于，在将所述异常KQI数据对应的网络问题整理为异常网络问题清单之后，所述方法还包括：

获取所述第一KPI数据关联的网络属性数据；

根据所述第一KPI数据以及所述网络属性数据，确定所述异常网络问题清单中至少一个异常网络问题对应的网络优化方案。

5.根据权利要求4所述的方法，其特征在于，在将所述异常KQI数据对应的异常网络问题整理为异常网络问题清单之后，所述方法还包括：

统计在第一预设时间周期内所有所述异常KQI数据对应的第一时间序列异常波形；

根据预设时间序列分解规则，分解所述第一时间序列波形，得到第二时间序列异常波形，其中，所述第二时间序列异常波形包括至少一个波峰值与至少一个波谷值，所述波峰值与所述波谷值与异常KQI数据对应；

在所述波峰值和/或所述波谷值超过第一预设范围时，将所述波峰值和/或所述波谷值对应的时间确定为所述波峰值和/或所述波谷值对应的异常KQI数据的预警时间；

根据所述预警时间以及所述波峰值和/或所述波谷值对应的异常KQI数据，生成第二预设时间周期内的预警信息，其中，所述第一预设时间周期早于所述第二预设时间周期。

6.根据权利要求2所述的方法，其特征在于，在将所述待确定异常KQI数据以及所述第一KPI数据输入至训练好的关系计算模型中，得到所述待确定异常KQI数据与影响数据之间的第一关联关系之前，所述方法还包括：

获取所述历史KPI数据以及所述历史KQI数据；

根据所述历史KPI数据以及所述历史KQI数据，计算所述第一关联关系中的待更新权重对应的损失函数；

在所述损失函数不满足训练停止条件的情况下，根据所述损失函数的梯度以及预设步长，更新所述待更新权重，直至满足所述训练停止条件，得到训练后的关系计算模型。

7.根据权利要求1所述的方法，其特征在于，所述确定用户终端驻留所述5G网络的驻留因子，具体包括：

针对每一条所述信令数据，识别所述信令数据中的基站互联网协议IP地址；

在所述基站IP地址为目标基站IP地址时，计算相邻所述目标基站IP地址对应的信令数据之间的时间间隔时长；

将所述时间间隔时长确定为所述用户终端驻留所述5G网络的驻留因子。

8.根据权利要求1所述的方法，其特征在于，在所述第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估所述第一关联指标对应的KQI数据，得到第一评估结果之前，所述方法还包括：

根据所述用户的历史业务感知调研信息、业务感知拨测信息以及历史KQI数据的分布信息，确定所述5G网络评估规则。

9.一种用户业务感知评估装置，其特征在于，所述装置包括：

第一获取模块，用于获取用于评估用户业务感知的至少一个业务下的信令数据，其中，所述信令数据包括至少一个关键质量指标KQI数据；

第一确定模块，用于根据所述信令数据，确定所述KQI数据的目标承载网络以及用户终端驻留所述5G网络的驻留因子，其中，所述目标承载网络包括4G网络和5G网络；

第一计算模块，用于针对每一个所述目标承载网络为5G网络的第一KQI数据，根据所述第一KQI数据、所述第一KQI数据在4G网络下的数值以及斯皮尔曼相关系数公式，计算至少一个第一关联指标，其中，所述第一关联指标表征所述第一KQI数据与5G网络的关联程度；

第一评估模块，用于针对每一个第一关联指标，在所述第一关联指标的绝对值大于或等于第一阈值时，根据5G网络评估规则评估所述第一KQI数据，得到第一评估结果；

第二评估模块，用于在所述第一关联指标的绝对值小于所述第一阈值时，根据4G网络评估规则评估所述第一KQI数据，得到第二评估结果；

第三评估模块，用于针对每一个所述目标承载网络为4G网络的第二KQI数据，根据所述4G网络评估规则评估所述第二KQI数据，得到第三评估结果；

第二计算模块，用于根据所述驻留因子、目标评估结果以及所述第三评估结果，计算在所述业务下用户业务感知的综合评估结果，其中，所述目标评估结果为所述第一评估结果和所述第二评估结果中的一者。

10.一种用户业务感知评估设备，其特征在于，所述设备包括：处理器以及存储有计算机程序指令的存储器；

所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的方法。

11.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品中的指令由用户业务感知评估设备的处理器执行时，使得所述用户业务感知评估设备执行如权利要求1-8任意一项所述的方法。