CN118509527B - 一种5g核心网多维kpi时间序列的异常检测方法及系统 - Google Patents

Abstract

本发明公开了一种5G核心网多维KPI时间序列的异常检测方法及系统，属于网络安全领域。本发明通过采集5G核心网中的数据包并对其进行解析，识别消息类型和进行KPI统计计数来生成多维KPI时间序列，然后对多维KPI时间序列进行离线处理生成KPI的筛选结果，再通过在线处理基于前述筛选结果筛选KPI时间序列并进行异常检测。本发明实现了在没有标注信息的情况下检测多维KPI时间序列中的多种异常，解决现有的KPI检测方法无法适用于5G核心网中多维KPI的问题。

Description

一种5G核心网多维KPI时间序列的异常检测方法及系统

技术领域

本发明属于网络安全领域，具体涉及一种5G核心网多维KPI时间序列的异常检测方法及系统。

背景技术

如图1所示，5G网络主要由三部分组成：用户设备（UE）、无线接入网（RAN）和5G核心网（5GC）。UE是各种5G终端设备；RAN为UE提供无线接入服务，并负责5GC和UE之间的数据传输；5GC具有认证鉴权、移动性管理等功能，并负责与数据网络的通信。5G核心网可能面临来自终端设备、不可信网络、漫游网络、互联网应用程序服务提供商或网络内部等多个攻击源的攻击，这些攻击可能会破坏核心网的可用性，影响用户体验和服务质量。网络关键绩效指标（KPI）可以体现出网络性能和运行状态等关键信息，具有清晰直观、可量化的特点。通过持续观察核心网中各项KPI的波动情况，网络管理人员可以全面地监控网络的各项性能，保证网络服务质量，及时识别并响应潜在的核心网安全问题。

5G核心网包含成百上千个KPI指标，部分KPI记录示例如：初始注册成功率：100%；VOLTE（Voice over LTE，基于LTE网络的语音通信）用户数：2525419个；应答话务量：489.3908Erl；接通话务量：580.1689Erl；主叫应答率：53.0762%；被叫应答率：50.6209%。随着时间的推移，KPI指标记录按时间顺序形成如图2所示的KPI时间序列。多个KPI序列形成多维KPI时间序列，因为每一时刻的记录都包含了多个KPI的值。

现有的传统网络KPI异常检测方法主要是依靠领域内专家或者运维人员设计检测规则（如设置异常阈值），实时监控网络的KPI值。这种人为设计的检测规则很难适用于复杂、多变和未知的网络环境；此外，基于规则匹配或者阈值的异常检测通常只能检测简单的规则或者明显的离群值，对于数据漂移（数据分布随时间变化的情况）、多维或者非线性关系的数据，基于规则匹配或者阈值的异常检测算法难以捕捉到异常行为。

利用人工智能和机器学习对KPI进行实时的异常检测可以通过模型的更新和自适应学习来适应数据的实时变化，并且不依赖于人工规则，具有更强的泛化能力和适应性，可以处理更复杂的异常检测问题。但是在真实世界的异常检测任务中，异常数据是罕见的，通常只占数据集的极小一部分；此外，真实标注往往是难以全面获取的，而有监督学习算法需要预先定义和标记所有类型的异常才能在识别任务中取得良好效果。因此，高度不平衡、缺少标签的数据集会使有监督学习算法难以学习到足够的异常模式，使多数机器学习算法倾向于过度识别多数类（正常情况），忽略少数类（异常情况）。所以，对多维KPI的异常检测往往采用无监督的检测方法。现有的对多维KPI的无监督检测方法可以分为直接异常检测和时间序列预测两类。

（1）直接异常检测又被称为离群点检测，离群点被定义为分布稀疏且离密度高的群体较远的点。从统计学角度看，在数据空间中分布稀疏的区域表示数据发生在此区域的概率很低，因而可以认为落在这些区域里的数据是异常的。对多条输入的多维KPI记录，直接异常检测器首先使用无监督学习方法建立数据的正常行为模型，这一模型基于当前整体数据的分布特征，旨在捕捉大多数KPI记录的行为模式。然后，模型比较每条记录与正常行为模型的偏离程度，计算离群点得分。最后将离群点得分与检测阈值比较，如果离群点得分高于检测阈值，则认为该条KPI记录异常。

（2）使用时间序列预测进行异常检测需要先对目标KPI时间序列进行预测，然后将预测序列与实际序列对比，超出允许波动上下界的时间点或时间段为异常。对输入的多维KPI时间序列，首先需要对每一个KPI时间序列单独进行预测，具体地，设置一个历史时间窗口，对每一维度的KPI序列使用窗口中的历史序列值训练时间序列预测模型（通常使用回归模型），然后使用训练好的模型预测后一段时间该KPI的时序值，比较后续每个时间点预测值与实际值的差值，超过预先设定的波动上下界阈值的点为异常时间点。一条多维KPI记录中的存在多个KPI，只要记录中有一个KPI出现异常则认为该条多维KPI记录异常。

现有的KPI异常检测方法应用在5G核心网的多维KPI时间序列异常检测任务时存在一些显著的局限性和挑战。

（1）在设计针对核心网的异常检测模型时，必须综合考虑KPI在时间维度上的关联性及多个KPI之间的相互作用。这不仅要求模型能够精准捕捉到时间序列数据中的异常模式，还要能在多维KPI时间序列中识别和关联重复的异常信号。直接异常检测方法没有考虑到指标中的时间维度信息，因此可能对上下文异常点不敏感。

（2）核心网中网元种类众多，存在多种不同的接口和协议，有着成百上千不同的KPI，有周期性、波动性或突发性等类型。时间序列预测的检测方法需要对每个KPI时间序列进行拟合、检测，并没有考虑到KPI之间的存在的关联性。对关联性强的多个KPI进行检测会额外为运维人员增加大量重复的工作，耗费成倍的计算资源，导致网络性能显著下降。

（3）不能简单地为所有KPI使用相同的方法（如3-sigma规则）设置阈值，不同KPI可能具有不同的异常模式。因此，目前缺少一个既高效又具备强大泛化能力的适用于5G核心网KPI的异常检测方法。

发明内容

本发明的目的是提供一种不依赖于人工标签的针对5G核心网多维KPI时间序列的异常检测方法及系统，实现了在没有标注信息的情况下检测多维KPI时间序列中的多种异常，解决现有的KPI检测方法无法适用于5G核心网中多维KPI的问题。

本发明为实现上述目的采用了如下技术方案。

一种5G核心网多维KPI时间序列的异常检测方法，包括以下步骤：

采集5G核心网中的数据包，并解析成详细记录xDR话单；

根据xDR话单识别消息类型，通过分析消息内容进行关键绩效指标KPI统计计数，生成多维KPI时间序列；

对多维KPI时间序列进行离线处理，包括对多维KPI时间序列进行时序预测和残差计算，对残差计算生成的KPI残差序列进行关联计算，对强关联KPI仅保留其中一个，生成筛选结果；

对多维KPI时间序列进行在线处理，包括根据上述筛选结果对多维KPI时间序列进行KPI筛选，根据筛选后的KPI时间序列进行时序预测和残差计算，再对筛选后的KPI时间序列和残差计算生成的KPI残差序列进行异常检测。

进一步地，消息类型包括但不限于：注册请求消息、启呼请求消息、来话响应消息、注册响应消息和成功响应消息。

进一步地，统计的KPI包括但不限于：初始注册成功率、VOLTE用户数、应答话务量、接通话务量、主叫应答率、被叫应答率、来话应答率、去话应答率和去话接通率。

进一步地，离线处理和在线处理的时序预测均为通过设置时间移动窗口，对窗口中的KPI序列值使用长短期记忆网络模型进行预测，生成KPI预测序列。

进一步地，离线处理和在线处理的残差计算均为将KPI预测序列与等维度的KPI时间序列作差，得到等维度的KPI残差序列。

进一步地，离线处理的关联计算为使用时间滞后互相关算法TLCC计算每两个KPI残差序列之间的时序关联性。

进一步地，离线处理的KPI筛选是将经过TLCC算法计算的时序关联性强的若干个KPI中保留最早波动的KPI；对于同时波动的KPI，随机保留其中一个；剔除其他的KPI。

进一步地，在线处理对筛选后的KPI时间序列和残差计算生成的KPI残差序列使用孤立森林模型进行异常点检测，将两者检测出的异常结果取并集作为最终的检测结果。

进一步地，检测出的异常包括全局异常、局部异常和段异常三种类型中的一种或多种。

一种5G核心网多维KPI时间序列的异常检测系统，包括：

数据采集模块，用于采集5G核心网中的数据包，并解析成xDR话单；

KPI统计模块，用于根据xDR话单识别消息类型，通过分析消息内容进行KPI统计计数，生成多维KPI时间序列；

KPI分析处理模块，用于首先对多维KPI时间序列进行离线处理，包括对多维KPI时间序列进行时序预测和残差计算，对残差计算生成的KPI残差序列进行关联计算，对强关联KPI仅保留其中一个，生成筛选结果；然后对多维KPI时间序列进行在线处理，包括根据筛选结果对多维KPI时间序列进行KPI筛选，根据筛选后的KPI时间序列进行时序预测和残差计算，再对筛选后的KPI时间序列和残差计算生成的KPI残差序列进行异常检测；

告警存储输出模块，用于根据检测结果进行告警输出和进行日志存储。

本发明的技术方案能够取得优异的技术效果，以下进行具体说明。

1）本发明在进行KPI分析处理时，提出离线处理和在线处理两个阶段。通过离线处理，分析原始的多维KPI之间的关联性，将若干组具有强关联关系的KPI（如KPI1、KPI2、KPI3强相关；KPI4、KPI5强相关）进行筛选，每组只保留其中一个KPI（只保留KPI1和KPI4），多维KPI的筛选结果被传入在线处理阶段用于在线处理的时序预测、残差计算和异常检测。通过在线处理，可以对输入的多维KPI进行异常检测，输出异常的时间点和产生异常的根因KPI。

2）本发明结合了时序预测、残差计算和离群点检测方法的优势，可以在保留KPI时间维度信息的同时，提取核心网中多维KPI间的关联。与现有检测方法相比，本发明有效地提高了对核心网中异常KPI的检测准确性和检测效率。

3）本发明与对多维序列的每个KPI都进行异常检测的方法相比，大幅减少了计算资源消耗和冗余告警；并且可以更准确全面地检测时间序列中的全局异常、局部异常（上下文异常）和段异常，作出及时响应。

4）本发明提出的异常检测方法不依赖数据的先验标注信息，是一种无监督的异常检测方法，通过时序预测与预测残差的结果，能够自动化地识别异常模式，免除了对专家知识或手动阈值设定的依赖，因此更适合应用于实际场景中，无须依赖于严格的实验室环境条件，可灵活应用于各种多维KPI检测场景，具有较高的可扩展性。

附图说明

图1是5G网络架构图。

图2是多维KPI时间序列图。

图3是实施例中对5G核心网多维KPI时间序列进行异常检测的总体架构图。

图4是离线处理的流程图。

图5是单层LSTM结构图。

图6是在线处理的流程图。

图7是多维KPI时间序列图。

图8是本发明进行异常检测后的多维KPI时间序列图。

具体实施方式

为使本发明的上述技术方案中各项技术特征和各项优点或技术效果能更明显易懂，下文配合附图进行详细说明。

本发明实施例提出一种5G核心网多维KPI时间序列的异常检测方法及系统，总体架构如图3所示，本系统用于执行本方法的各个步骤的模块包括数据采集模块、KPI统计模块、KPI分析处理模块和告警存储输出模块。本方法及本系统的具体执行流程是相同的，如下作出详细说明。

S1：通过数据采集模块采集数据。首先捕获5G核心网中的数据包，然后使用深度包解析技术将数据包解析为xDR话单格式，输入到KPI统计模块。

S2：在KPI统计模块中进行消息类型转化和KPI统计计数。首先将xDR话单按标准规定的格式识别为对应的消息类型，如“注册请求消息”、“启呼请求消息”、“来话响应消息”、“注册响应消息”、“成功响应消息”等；然后再分析消息中的内容，进行KPI统计计数，统计的KPI包括“初始注册成功率”、“VOLTE用户数”、“应答话务量（Erl）”、“接通话务量（Erl）”、“主叫应答率（%）”、“被叫应答率（%）”、“来话应答率（%）”、“去话应答率（%）”、“去话接通率（%）”等指标，并将它们整合成横轴为时间的多维KPI时间序列的形式。

S3：在线异常检测流程开始前，KPI分析处理模块首先需要对一定量的多维KPI时间序列数据进行离线处理，离线处理包括时序预测、残差计算、关联计算、KPI筛选四个步骤。具体地，对KPI统计模块输出的多维KPI时间序列进行时序预测以及残差计算，然后将计算后得到的残差序列进行关联计算，关联计算的目的是将多维KPI进行筛选，将强关联的多个KPI只保留一个，筛选的结果将用于后续在线处理中做KPI筛选。离线处理只需在开始检测5G核心网异常前执行一次，离线过程需要在有一定量的历史KPI数据的情况下执行。

S4：在线处理阶段包括KPI筛选、时序预测、残差计算、异常检测四个步骤，首先将KPI统计模块输出的多维KPI时间序列按照离线处理的筛选结果做KPI筛选，只保留筛选后的KPI，然后将经筛选的多维KPI时间序列进行时序预测与残差计算，得到预测序列和残差序列，最后对预测序列与残差序列进行异常检测，输出异常检测结果。

S5：将异常检测结果输入到告警存储输出模块，进行日志存储与告警输出。

本发明提出的5G核心网异常检测方法的重点在于KPI分析处理模块，如下详细介绍KPI分析处理模块中的离线处理阶段和在线处理阶段。

1.离线处理阶段，执行流程如图4所示，以下说明具体的处理步骤。

1）时序预测：对输入的m维KPI时间序列数据进行未来 序列值的预测，得到m维KPI预测序列，其中每个值都是根 据大小为w的移动窗口中的序列值使用长短期记忆网络（LSTM）模型预测得到的，例如， 是由序列使用单层LSTM拟合得到，如图5所示。

2）残差计算：将m维KPI预测序列与等维度的m维KPI时间序列作差，得到m维KPI残 差序列=。

3）关联计算：用于计算每两个KPI残差序列之间的时序关联性，具体地，使用时间 滞后互相关算法（TLCC）计算KPI的时序关联性。时间滞后互相关算法是一种用于时滞 （time-lagged）时间序列的相似性度量方法，它能够通过逐步移动一个时间序列向量并反 复计算两个信号间的相关性，很好地确定两个时间序列的相似性并且提取出哪个信号首先 出现的信息。例如，计算两个KPI残差序列和的TLCC，可以得出当向后推进5个时间步时与的相似度最 高，即早于的5个时间步发生了变化。

4）KPI筛选：根据关联计算的结果进行KPI筛选，将时序关联性强的若干个KPI中保 留最早波动的KPI（，中保留对应的KPI，如果同时波动则随机保留一个），剔除其他 KPI，得到k维的KPI筛选结果，用于在线处理。

离线处理的目的是计算KPI残差序列（KPI波动）的关联性。网络服务中，最先出现异常变化的KPI往往能更准确地指示出问题的根源所在。对m维KPI残差时间序列使用交叉相关性方法计算多维KPI间的时序关联性，能够判断任意两个KPI残差序列之间的相关性强弱，对于强相关的若干个KPI残差序列，交叉相关性方法还能够确定在时间上最早波动的KPI序列，为筛选出要保留的KPI提供依据。通过关联计算分析，可以排除具有强时序关联的冗余KPI，提升模型的检测效率，压缩告警。

2.在线处理阶段，执行流程如图6所示，以下说明具体的处理步骤。

1）KPI筛选：根据离线处理输出的k维KPI筛选结果为筛选准则，对输入的m维KPI时间序列进行KPI筛选，筛选后得到k维KPI时间序列。

2）时序预测：对k维KPI时间序列数据进行未来序列值的预测，得到k维KPI预测序列。具体地，设定时间移动窗口大小为w，对每个维度的KPI时间序列使用单层LSTM进行时间序列预测，即使用窗口内的序列值预测下一步的值，然后向后滑动一步窗口，再预测下一步的值，以此类推，得到该KPI的预测序列，对k维KPI时间序列重复上述步骤得到k维KPI预测序列。

3）残差计算：将k维KPI预测序列与等维度的k维KPI时间序列作差，得到k维KPI残差序列。

4）异常检测：对k维KPI时间序列和k维KPI残差序列进行异常检测，将它们的异常并集作为检测结果输出到告警存储输出模块。检测出异常包括全局异常（globalanomaly）、局部异常（contextual anomaly，也称为上下文异常）和段异常（collectiveanomaly），通过孤立森林（iForest）模型检测这些异常点。

计算残差序列有两个主要目的：其一，由于预测序列是基于历史数据拟合得到的，它通常存在时间上的滞后，这意味着它不能即时捕捉到数据的突变，通过计算预测与实际序列的差值可以突显出突变时刻，从而弥补预测序列的时间滞后性；其二，残差序列反映的是预测序列与实际序列的偏差，能够更加清晰地凸显时间序列数据中的上下文异常——也就是局部的差异，从而使得这些局部异常点更易于识别。

单独对预测序列或残差序列进行异常检测是不够充分和全面的。仅对预测序列做检测可能无法及时检测出突变异常点。残差序列是预测序列与实际序列作差得到的，如果KPI出现段异常，预测序列会根据历史的KPI值逐渐拟合到异常值上，持续时间长的段异常无法在残差序列中被突显出来。因此，只有结合预测序列和残差序列，才能全方位地识别KPI异常。

为测试本发明方法的有效性，针对图7所示的多维KPI时间序列，使用本发明方法对其进行异常检测，检测结果见图8，图中“×”标记位置即为检测出的异常点。可见，本发明方法能够有效检测到多维KPI时间序列的异常位置。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域的普通技术人员对本发明的技术方案进行的适当修改或者等同替换，均应涵盖于本发明的保护范围内，本发明的保护范围以权利要求所限定者为准。

Claims (5)

1.一种5G核心网多维KPI时间序列的异常检测方法，其特征在于，包括以下步骤：

采集5G核心网中的数据包，并解析成详细记录xDR话单；

根据xDR话单识别消息类型，通过分析消息内容进行关键绩效指标KPI统计计数，生成多维KPI时间序列；

对多维KPI时间序列进行离线处理，包括对多维KPI时间序列进行时序预测和残差计算，对残差计算生成的KPI残差序列进行关联计算，对强关联KPI进行KPI筛选并仅保留其中一个，生成筛选结果；离线处理的关联计算为使用时间滞后互相关算法TLCC计算每两个KPI残差序列之间的时序关联性；离线处理的KPI筛选是将经过TLCC算法计算的时序关联性强的若干个KPI中保留最早波动的KPI；对于同时波动的KPI，随机保留其中一个；剔除其他的KPI；

对多维KPI时间序列进行在线处理，包括根据上述筛选结果对多维KPI时间序列进行KPI筛选，根据筛选后的KPI时间序列进行时序预测和残差计算，再对筛选后的KPI时间序列和残差计算生成的KPI残差序列进行异常检测；在线处理对筛选后的KPI时间序列和残差计算生成的KPI残差序列使用孤立森林模型进行异常点检测，将两者检测出的异常结果取并集作为最终的检测结果；

离线处理和在线处理的时序预测均为通过设置时间移动窗口，对窗口中的KPI序列值使用长短期记忆网络模型进行预测，生成KPI预测序列；离线处理和在线处理的残差计算均为将KPI预测序列与等维度的KPI时间序列作差，得到等维度的KPI残差序列。

2.如权利要求1所述的方法，其特征在于，消息类型包括：注册请求消息、启呼请求消息、来话响应消息、注册响应消息和成功响应消息。

3.如权利要求1所述的方法，其特征在于，统计的KPI包括：初始注册成功率、VOLTE用户数、应答话务量、接通话务量、主叫应答率、被叫应答率、来话应答率、去话应答率和去话接通率。

4.如权利要求1所述的方法，其特征在于，检测出的异常包括全局异常、局部异常和段异常三种类型中的一种或多种。

5.一种5G核心网多维KPI时间序列的异常检测系统，实现权利要求1-4任一项所述的方法，其特征在于，包括：

数据采集模块，用于采集5G核心网中的数据包，并解析成xDR话单；

KPI统计模块，用于根据xDR话单识别消息类型，通过分析消息内容进行KPI统计计数，生成多维KPI时间序列；

KPI分析处理模块，用于首先对多维KPI时间序列进行离线处理，包括对多维KPI时间序列进行时序预测和残差计算，对残差计算生成的KPI残差序列进行关联计算，对强关联KPI仅保留其中一个，生成筛选结果；然后对多维KPI时间序列进行在线处理，包括根据筛选结果对多维KPI时间序列进行KPI筛选，根据筛选后的KPI时间序列进行时序预测和残差计算，再对筛选后的KPI时间序列和残差计算生成的KPI残差序列进行异常检测；

告警存储输出模块，用于根据异常检测结果进行告警输出和进行日志存储。