CN110932899B - 一种应用ai智能故障压缩研究方法及其系统 - Google Patents

Abstract

本发明公开了一种应用AI智能故障压缩研究方法及其系统。步骤包括数据采集及存储，之后在系统界面选取数据源；对多样性的数据(标准、非标准、异构数据)进行清洗与转换处理；AI引擎模型建立及优化；获取模型结果，输出到AI规则库；应用规则实现故障压缩和故障根因分析。基于大数据和人工智能算法，对告警数据、资源数据、性能数据、日志数据等进行采集和存储，通过Spark框架进行机器学习模型训练，挖掘告警关联规则和定位故障根因，对机器学习挖掘出来的关联规则和故障根因分析模型，应用至外部系统。从而实现网管故障从底层硬件至上层用户感知的智能化运维，解决了故障处理分工协调效率低、故障定位不准确、人力成本高的问题。

Description

一种应用AI智能故障压缩研究方法及其系统

技术领域

本发明涉及电信网络运维，尤其涉及一种应用AI智能故障压缩研究方法及其系统。

背景技术

随着电信运营商通信网络趋于复杂，不仅包括基础的传输/无线/核心网络，还包括新兴起的5G网和物联网，未来的电信网络运维面临着各种严峻挑战，迫切需要引入人工智能来提高其应对挑战的能力。

在此基础上，传统的运维作业主要存在以下三大问题：

首先，故障处理效率低，人工决策时间速度慢(小时级)，无法快速定位故障点，不能有效进行故障处理分工协调；

其次，故障定位不准确，面对海量运维数据和繁多的事件，难以觉察到真正的问题所在，人力决策缓慢易错；

最后，故障处理成本高，人力投入大、见效低，人员投入和人员培训的成本居高不下。

发明内容

本发明的目的旨在应用AI技术解决故障处理分工协调效率低、故障定位不准确、人力成本高的问题。

本发明为解决上述技术问题采用的技术方案为，一方面提供一种电信网络故障压缩方法，所述方法包括：

获取告警信息、性能信息、日志信息和设备资源信息；

根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集必须包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；

依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分关联数据集，得到若干依时间窗口划分数据集，并将所述依时间窗口划分数据集输入故障压缩模型，由所述故障压缩模型输出故障根源信息；所述故障压缩模型由训练得到。

优选地，所述故障压缩方法还包括，还包括，在所述切分关联数据集之前，清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为标准化格式。

优选地，所述故障压缩方法还包括，还包括，将所述故障根源信息，发送给具有处理权的人员。

优选地，所述告警信息、性能信息、日志信息和设备资源信息由Spark采集；所述告警信息、性能信息、日志信息和设备资源信息，以及所述关联数据集存储于Hadoop HDFS分布式文件系统。

优选地，所述转换包括归一化处理。

另一方面，提供一种电信网络故障压缩模型的训练方法，所述方法包括：

获取告警信息、性能信息、日志信息和设备资源信息；

根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集必须包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；

依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分所述关联数据集，得到若干依时间窗口划分数据集，并将所述依时间窗口划分数据集输入故障压缩模型，所述故障压缩模型挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，并根据所述关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，并输出所述故障根源信息；

根据实际反馈，调节所述故障压缩模型。

优选地，所述故障压缩模型的训练方法还包括，在所述切分关联数据集之前，清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为标准化格式。

优选地，所述故障压缩模型挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，包括：根据告警时间窗口内若干时间片的划分设定，以及告警时间窗口数据集，计算所述时间片内告警数据、性能数据、日志数据包含的事件之间的支持度、置信度和平衡因子，并根据所述支持度、置信度和平衡因子确定各事件之间是否存在关联规则。

优选地，所述调节所述故障压缩模型包括，调节所述故障压缩模型的参数，所述参数包括支持度、置信度以及平衡因子的取舍范围阈值。

优选地，所述挖掘所述关联规则使用的算法为Apriori和FP-Growth算法。

第三方面，提供一种电信网络智能故障压缩系统，包括：

数据采集模块，配置为获取告警信息、性能信息、日志信息和设备资源信息；根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集必须包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为统一格式；

训练模块，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分所述关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，所述故障压缩模型挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，并根据所述关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，并输出所述故障根源信息；根据实际反馈，调节所述故障压缩模型。

应用模块，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，由所述故障压缩模型输出故障根源信息。

附图说明

为了更清楚说明本发明实施例的技术方案，下面将对实施例描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电信网络故障压缩方法的流程图；

图2为本发明实施例提供的一种电信网络故障压缩模型的训练方法的流程图；

图3为本发明实施例提供的一种电信网络故障压缩系统的模块图；

图4为本发明实施例提供的一种电信网络故障压缩系统的另一种实现模块图；

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种电信网络故障压缩方法的流程图。如图所示，包括下列步骤：

步骤S110，获取告警信息、性能信息、日志信息和设备资源信息。

所述的告警信息、性能信息、日志信息和设备资源信息均来自电信运营商的通讯网络。一般而言，所有告警信息、性能信息、日志信息均来自通讯网络中的设备，也就是说有与其关联的设备信息。

在一个实施例中，利用Spark采集海量告警数据、资源数据、性能数据、日志数据，包括实时、准实时、周期性的上述数据。

在另一个实施例中，采用Hadoop HDFS分布式文件系统存储采集到的上述数据。

步骤S120，建立设备资源信息与告警信息、性能信息、日志信息的关联数据集。

利用告警信息、性能信息、日志信息中包含的设备信息，将其与设备资源信息关联起来，建立包含设备资源信息，以及告警信息、性能信息、日志信息中一种或多种的关联数据集。

在一个实施例中，在系统界面选取希望关联的数据源，设备资源数据是必选数据源，告警数据、性能数据、日志数据之中可以有选择地选取一种或多种，但是不能少于一种。

步骤S130，清除关联数据集中的无价值异常数据，将关联数据集中包含的异构数据和非标准化数据的数据格式转换为标准化格式。

在一个实施例中，通过morphline框架对数据进行清洗和转换，对不符合分析要求的异常数据进行删除，同时做数据归一化处理。

步骤S140，依据时间窗口设定，切分关联数据集。

告警时间窗口是根据设定选择的时间范围，根据告警时间窗口的设定，以步骤S130所获得的数据集中告警信息、性能信息、日志信息的发生时间为依据，切分关联数据集。得到依告警时间窗口划分的数据集。这样做的目的是归并告警时间窗口内的数据，为后续的挖掘关联规则做准备，其潜在假设是这样划分数据集，其中的各种信息的关联可能性更大。

步骤S150，将依时间窗口切分的数据集输入故障压缩模型，由故障压缩模型输出故障根源信息。

具体地，将步骤S140所得到的数据集，输入故障压缩模型，故障压缩模型输出故障根源信息，故障压缩模型根据图2所示的训练方法得到。

在一个实施例中，故障压缩模型进行故障压缩，剔除冗余告警信息，保留关键告警信息，减少了海量告警对运维人员的干扰，以及减少了工单量，提升问题解决效率。

在另一个实施例中，故障压缩模型定位故障根源，减少了故障定位时间及分析时间。

图2为本发明实施例提供的一种电信网络故障压缩模型的训练方法的流程图，如图所示，包括下列步骤：

步骤S110，获取告警信息、性能信息、日志信息和设备资源信息。

告警信息、性能信息、日志信息和设备资源信息均来自电信运营商的通讯网络。一般而言，所有告警信息、性能信息、日志信息均来自通讯网络中的设备，也就是说有其关联的设备信息。

在一个实施例中，利用Spark采集海量告警数据、资源数据、性能数据、日志数据，包括实时、准实时、周期性的上述数据。

在另一个实施例中，采用Hadoop HDFS分布式文件系统存储采集到的上述数据。

步骤S120，建立设备资源信息与告警信息、性能信息、日志信息的关联数据集。

利用告警信息、性能信息、日志信息中包含的设备信息，将其与设备资源信息关联起来，建立包含设备资源信息，以及告警信息、性能信息、日志信息中一种或多种的关联数据集。

在一个实施例中，在系统界面选取希望关联的数据源，设备资源数据是必选数据源，告警数据、性能数据、日志数据之中可以有选择地选取一种或多种，但是不能少于一种。

步骤S130，清除关联数据集中的无价值异常数据，将关联数据集中包含的异构数据和非标准化数据的数据格式转换为标准化格式。

在一个实施例中，通过morphline框架对数据进行清洗和转换，对不符合分析要求的异常数据进行删除，同时做数据归一化处理。

步骤S140，依据时间窗口设定，切分关联数据集。

告警时间窗口是根据设定选择的时间范围，根据告警时间窗口的设定，以步骤S130所获得的数据集中告警信息、性能信息、日志信息的发生时间为依据，切分关联数据集。得到依告警时间窗口划分的数据集。这样做的目的是归并告警时间窗口内的数据，为后续的挖掘关联规则做准备，其潜在假设是这样划分数据集，其中的各种信息的关联可能性更大。

步骤S150，将依时间窗口切分的数据集输入故障压缩模型；故障压缩模型挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则；并根据关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，并输出故障根源信息。

具体地，首先，将步骤S140所得到的数据集，输入故障压缩模型，故障压缩模型根据告警时间窗口内若干时间片的划分设定，将时间片内的各种数据进行归并，然后计算所述时间片内告警数据、性能数据、日志数据包含的事件之间的支持度、置信度和平衡因子，并根据所述支持度、置信度和平衡因子确定各事件之间是否存在关联规则。

一般使用三个指标来度量一个关联规则，这三个指标分别是：支持度、置信度和提升度。提升度反映了关联规则中的A与B的相关性，提升度>1且越高表明正相关性越高，提升度<1且越低表明负相关性越高，提升度＝1表明没有相关性，提升度是一种很简单的判断关联关系的手段，但是其缺点是在实际应用过程中受零事务的影响比较大。所谓零事务是指，当我们要观察A、B两个告警，但是很多事务中既不包含A又不包含B(有效时间窗口内既没发生A告警又没发生B告警)，这类事务即称为零事务。

而平衡因子(IR)受零事务的影响较小，平衡因子的计算公式为：IR＝P(B|A)/P(A|B)表示的是A对B的支持度和B对A的支持度的关系，数值越大，表明A对B的支持度越高，同时B对A的支持度越低，反之亦然。平衡因子作为一个评估指标，也可以用来做结果筛选，比如想筛选A对B的支持度高的但B对A支持度低的(即A引发B，但B不导致A)，则可以设置一个较大的平衡因子阈值。

然后，利用关联规则，找到各种告警信息、性能信息、日志信息中具有最具根源性的信息，这些根源性的信息更有可能定位到故障的原因。其他信息则更有可能是由于这些根源性的信息所反映的故障进一步发展的结果，因此直接处理这些根源性信息具有更高的故障处理效率。

步骤S160，对步骤S150得到的故障根源信息进行评价，根据评价结果调整故障压缩模型。

在一个实施例中，对故障压缩模型输出的故障根源信息进行评价，来源于根据输出的故障根源信息进行实际故障诊断获得的反馈，根据该反馈的结果调整故障压缩模型，使其输出的故障根源信息更为精准，如此循环可以不断继续，直至故障压缩模型的输出达到需要的程度。

在另一个实施例中，调节所述故障压缩模型包括，调节所述故障压缩模型的参数，所述参数包括支持度、置信度以及平衡因子的取舍范围阈值。

在一个实施例中，挖掘关联规则使用的算法为Apriori和FP-Growth算法。

图3为本发明实施例提供的一种电信网络故障压缩系统的模块图，如图所示，包括如下模块：

数据采集模块110，配置为获取告警信息、性能信息、日志信息和设备资源信息；根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集必须包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为统一格式。

训练模块120，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分所述关联数据集，得到若干数据集，并将所述数据集输入故障压缩模型，所述故障压缩模型挖掘数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，并根据所述关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，并输出所述故障根源信息；对所述故障根源信息进行评价，根据评价结果调整所述故障压缩模型。

应用模块130，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分关联数据集，得到若干数据集，并将所述数据集输入故障压缩模型，由所述故障压缩模型输出故障根源信息。

图4为本发明实施例提供的一种电信网络故障压缩系统的另一种实现模块图，其中：

数据采集模块201，进行数据采集、数据清洗和转换，数据存储于Hadoop Hdfs中。

AI引擎模块202，是训练模块的另一种实现方式，通过探索或过去经验，选择采集来的数据在AI引擎模块202内的组织模式，并对其进行标准化和按时间有序化，使用聚类算法、关联分析和监督学习建立采集数据之间的关联规则、对关联规则效果进行评估，并依据评价结果确定如何进行模型迭代。模型迭代后，关联规则以AI规则库的形式存在。

应用模块203，使用AI规则库进行告警信息压缩，故障根因分析。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种电信网络故障压缩方法，包括：

获取电信网络告警信息、性能信息、日志信息和设备资源信息；

根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述多个设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；

依据时间窗口，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，由所述故障压缩模型输出故障根源信息；所述故障压缩模型由训练得到；

所述训练所述故障压缩模型包括挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则。

2.根据权利要求1所述的方法，还包括，在所述切分关联数据集之前，清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为标准化格式。

3.根据权利要求1所述的方法，还包括，将所述故障根源信息，发送给具有处理权的人员。

4.根据权利要求1所述的方法，其特征在于，所述告警信息、性能信息、日志信息和设备资源信息由Spark采集；所述告警信息、性能信息、日志信息和设备资源信息，以及所述关联数据集存储于Hadoop HDFS分布式文件系统。

5.根据权利要求1所述的方法，其特征在于，所述转换包括归一化处理。

6.一种电信网络故障压缩模型的训练方法，包括：

获取电信网络告警信息、性能信息、日志信息和设备资源信息；

根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述多个设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集必须包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；

依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分所述关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，所述训练所述故障压缩模型包括挖掘所述数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，并根据所述关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，输出所述故障根源信息；

对所述故障根源信息进行评价，根据评价结果调整所述故障压缩模型。

7.根据权利要求6所述的方法，还包括，在所述切分关联数据集之前，清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为统一格式。

8.根据权利要求6所述的方法，其特征在于，所述故障压缩模型挖掘告警时间窗口数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，包括：根据告警时间窗口内若干时间片的划分设定，以及告警时间窗口数据集，计算所述时间片内各告警信息、性能信息、日志信息之间的支持度、置信度和平衡因子，并根据所述支持度、置信度和平衡因子确定各事件之间是否存在关联规则。

9.根据权利要求6所述的方法，其中，调节所述故障压缩模型包括，调节所述故障压缩模型的参数，所述参数包括支持度、置信度以及平衡因子的取舍范围阈值；挖掘所述关联规则使用的算法为Apriori和FP-Growth算法。

10.一种电信网络故障压缩系统，包括：

数据采集模块，配置为获取电信网络告警信息、性能信息、日志信息和设备资源信息；根据各告警信息、性能信息、日志信息中包含的发生设备信息，建立关联所述多个设备资源信息与所述告警信息、所述性能信息、所述日志信息的关联数据集；所述关联数据集包含所述设备资源信息；所述关联数据集中包含所述告警信息、所述性能信息、所述日志信息中至少一种；清除所述关联数据集中包含的无价值异常数据，将所述关联数据集中包含的异构数据和非标准化数据的数据格式转换为统一格式；

训练模块，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分所述关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，所述训练所述故障压缩模型包括挖掘所述数据集之中各个告警信息、性能信息、日志信息之间存在的关联规则，并根据所述关联规则,判断各告警信息、性能信息、日志信息中哪些是故障根源信息，输出所述故障根源信息；对所述故障根源信息进行评价，根据评价结果调整所述故障压缩模型；

应用模块，配置为依据时间窗口设定，以及关联数据集中告警信息、性能信息、日志信息的发生时间切分关联数据集，得到多个数据集，并将所述数据集输入故障压缩模型，由所述故障压缩模型输出故障根源信息。

Images