CN114124676A - 一种面向网络智能运维系统的故障根因定位方法及其系统 - Google Patents

Abstract

一种面向网络智能运维系统的故障根因定位方法，包括如下步骤：首先将不平衡数据进行划分，抽取少类的样本数据；然后将少类样本利用生成对抗网络来进行数据增强来生成合成数据，并通过计算合成数据和原始数据之间的损失来判断生成效果对生成器进行反馈；然后将生成效果好的合成数据与原始数据进行合并生成整合数据；最后将整合数据输入到根因分类模型中进行模型的训练，将可能为根因的样本标记并最终输出。本发明能够充分利用故障数据来提取数据之间的关系，并能够使生成的数据拥有根因数据的原始特征和潜在空间中的数据分布、隐藏模式，在对准确率、F1值要求较高的故障根因定位系统中具有良好的实用性。

Description

一种面向网络智能运维系统的故障根因定位方法及其系统

技术领域

本发明属于网络运维领域，具体涉及一种面向网络智能运维系统的故障根因定位方法及其系统。

背景技术

网络拓扑环境下故障的根因定位在现代运维中非常重要，且一直是运维领域重点研究方向。近年来，在通信行业中提出了智能告警解决了部分故障管理的相关问题，但在目前的状态下绝大多数基于异常检测根因分析的故障定位仍然准确率不高，导致派单任务指定错误造成经济人力成本的增加以及运维效率降低。在异常中进行根因分析定位故障作为智能网络运维的一个关键环节，能够加快网络运维快速解决问题，使得服务器正常运行，有效解决故障所造成的问题。

随着大数据时代的到来和机器学习、深度学习等技术的快速发展，人们可以在强大算力的支持下，利用复杂的神经网络模型挖掘和提取海量数据中的关键信息。尤其在复杂的异构网络环境中，成千上万的网络节点每天会产生大量的网络运行信息，当一个节点出现故障，往往会导致与其相连的其他节点也发生异常，进而产生大量告警，将真正根因淹没掉，甚至会导致网络的瘫痪。这造成了故障根因定位存在数据极度不平衡问题，即故障数据较多、标注根因数据较少，即训练样本较少，从而导致模型偏向性显著，产生过拟合问题，模型泛化能力弱。当出现大量告警时，为保证服务的稳定运行，我们需要对这些告警进行分析处理，而如何在告警风暴时压缩告警，快速过滤掉无效的告警，然后准确定位出可能的疑似根因节点成为诊断网络故障的当务之急。

目前故障根因分析方法主要分为两类：基于领域知识和数据驱动(data-driven)。

(1)基于领域知识，其中一些研究工作集中关注一种基于配置管理数据库和故障规则推理的故障树分析方法，该方法结合了专家规则系统和推理引擎，需要包括运维人员的经验知识等深入的领域知识，这些知识(特别是经验知识、规则)通常难以维护和更新。当数据量较小时，基于规则的根因分析方法尚且有效，但当数据量不断增长以后，规则的泛化能力则会逐渐变弱。还有一些研究工作集中在基于故障传播图的根因分析方法上，通过系统依赖图来推断多级依赖关系实现高度可靠的网络服务。缺点是要求精确的条件概率。

(2)基于数据驱动，其中一些研究工作集中在通过监督学习的根因分析方法来学习历史标记数据得到分类模型从而预测系统当前的根源异常，缺点由于根因标记数据较少，导致数据极度不平衡，容易造成过拟合问题，使得训练的模型泛化能力较弱，在更多样化的数据其表现欠佳。还有一些研究工作集中在通过无监督学习的根因分析方法从数据中挖掘系统组件之间的内在关系进而推断根因。

发明内容

本发明的目：为解决现有技术中存在的问题，本发明提供一种面向网络智能运维系统的故障根因定位方法及系统，利用数据驱动的优势，融合生成对抗网络的优点，实现不平衡数据的数据增强，并对网络故障根因进行分类、定位。

一种面向网络智能运维系统的故障根因定位方法，包括以下步骤：

步骤1，将已经过标记的不平衡故障根因数据进行数据的划分，从中筛选出类别为少类的样本数据，即标签为1，将其作为源数据集S1，另一类样本，即标签为0，将其作为源数据集S2；

步骤2，采用生成对抗网络模型，首先利用生成器对源数据集S1进行数据的生成，再利用判别器对生成的数据进行损失计算，得到合成数据，将其作为合成数据集T；

步骤3，采将源数据集S1、源数据集S2和合成数据集T进行整合形成最终的整合数据集Q，并将其划分为训练集M和测试集N；

步骤4，用训练集M构建并训练根因分类器，对测试集N进行预测，根因分类器输出测试集N中可能的故障根因；

步骤5，利用根因分类器的输出对测试集N中所有实例进行标记，得到标记结果c，所述标记结果c的标记值为0时，表示实例非故障根因，标记值为1时，表示实例为故障根因；

步骤6：根据标记结果c，输出故障根因。

进一步地，所述步骤2中的生成器采用编码器-解码器-编码器子网模型，其中两个编码器分别学习获取输入样本表示和生成样本表示，解码器尝试重构输入数据；将噪音数据X馈入第一个编码器Encoder1，Encoder1是由卷积层、批处理范数、LeakReLU激活函数组成；Encoder1将输入数据X转换成潜在表示，是Decoder用来重构输入数据的样本；Decoder是由卷积转置层、LeakReLU激活函数和批处理范数组成；第二个编码器Encoder2的网络结构与Encoder1相同，但参数不同，输出在数据维度上与相同；生成器的损失函数是通过式(1)三种损失函数之和来指示生成器：

L＝ω_fL_f+ω_aL_a+ω_bL_b (1)

式(1)中，L_f是差异损失，通过生成的样本输入判别器，根据判别器的输出来计算；L_a是表观损失，L_b是潜在损失，以最小化真实样本的潜在表示和生成样本的编码瓶颈特征之间的距离；ω_f、ω_a和ω_b为超参数；

采用式(1)来指示生成器；

判别器的损失函数是通过式(2)来指示判别器：

式(2)中P_G(x)表示生成数据分布，P_data(x)表示真实数据分布，

和

代表两个数据分布的期望值；f_w表示判别器，α表示正则项，

表示梯度惩罚项，

表示整个样本空间，其分布可由以下步骤得到：

随机选取一个真实样本xⁱ、一个生成样本

一个[0，1]随机数ε；

得到插值样本

由式(3)表示：

多个插值样本构成的分布，记作

进一步地，所述步骤5中采用式(4)计算得到标记结果c：

式(4)中，

为样本k的第i个特征，D为所有可用于模型训练的数据集，D_k为D中的子集，y_j为样本j的特征值，a为参数，p为先验值。

一种面向网络智能运维系统的故障根因定位系统，包括：

数据集划分模块，用于对从不平衡数据集中筛选出少类样本所形成的源数据集S1和多类样本所形成的源数据集S2；

生成对抗网络模型模块，用于对源数据集S1进行数据增强，以此生成高质量的合成数据，作为合成数据集T；

生成器：用于生成合成数据，以输入给判别器进行判别；

判别器：用于判别是原始数据还是合成数据，并计算二者之间的损失；

根因分类器，用于对测试集N进行预测，输出测试集N中每个实例故障根因；

标记模块，用于对测试集N中所有实例进行标记，得到标记结果；

显示模块，用于根据标记结果，定位并显示网络中的故障根因。

进一步地，生成对抗网络模型模块中，生成合成数据T并与源数据集S1和源数据集S2合并构成整合数据集Q。

进一步地，采用整合数据集Q构建根因分类器。

本发明具有以下有益效果：

(1)针对网络中的故障根因定位，利用数据驱动的优势，融合生成对抗网络的优点。本方法能够充分利用故障数据来提取数据之间的关系，并能够使生成的数据拥有根因数据的原始特征和潜在空间中的数据分布、隐藏模式，公开数据上都取得优异的效果，在对准确率、F1值要求较高的故障根因定位系统中具有良好的实用性。

(2)本方法中利用生成对抗网络来拟合学习少类数据的分布，有效减小生成的少类样本与其他样本之间重叠的可能性，且能很好地拟合高维数据的分布，解决了该标注数据的不平衡问题，并从数据层面出发，将非结构化数据的数据增强算法成功迁移到了结构化数据。

(3)本方法中生成器采用了编码器-解码器-编码器三个子网络，这使得在生成器模型中能够生成更高质量的数据，以此提高分类模型的分类效果以及泛化能力。

(4)本方法中增加了生成器输入噪声的多样性，并在判别器的损失函数中引入了引入梯度惩罚，从而克服结构化数据训练困难、不稳定等问题。

(5)本方法算法结构简单，时间复杂度低。

附图说明

图1是本发明实施例中设计的面向网络智能运维系统的故障根因定位方法的流程示意图。

图2是本发明实施例中生成对抗网络模型图。

图3是本发明实施例中故障根因定位系统结构图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

如图1所示，本发明的一种面向网络智能运维系统的故障根因定位方法，针对网络中的故障根因定位，利用数据驱动的优势，融合生成对抗网络的优点。包括如下步骤：首先将不平衡数据进行划分，抽取少类的样本数据；然后将少类样本利用生成对抗网络来进行数据增强来生成合成数据，并通过计算合成数据和原始数据之间的损失来判断生成效果对生成器进行反馈；然后将生成效果好的合成数据与原始数据进行合并生成整合数据；最后将整合数据输入到根因分类模型中进行模型的训练，将可能为根因的样本标记并最终输出。该方法能够充分利用故障数据来提取数据之间的关系，并能够使生成的数据拥有根因数据的原始特征和潜在空间中的数据分布、隐藏模式，公开数据上都取得优异的效果，在对准确率、F1值要求较高的故障根因定位系统中具有良好的实用性。

本实施例的跨项目软件缺陷预测方法，用于针对目标软件项目进行缺陷预测，实际应用过程当中，具体包括如下步骤：

步骤1：将已经过专家标记的不平衡故障根因数据进行数据的划分，从中筛选出类别为少类的样本数据(即标签为1)，将其作为源数据集S1，另一类样本(即标签为0)将其作为源数据集S2。对源数据集S1、S2分别做预处理后各自得到包含sys_id、time、node_id等总共64个脱敏变量，分别用A1、...、A64表示，部分样例如表1所示：

表1部分样例示例表

其中所选数据中的各标签计数如表2所示

表2原数据集标签统计表

注：标签0代表非根因，标签1代表是根因。

步骤2：按如下设计，采用用生成对抗网络模型对源数据集S1进行数据增强，首先利用生成器对源数据集S1进行数据的生成，再利用判别器对生成的数据进行损失计算，得到效果较好的合成数据，将其作为合成数据集T；

其中生成器采用编码器-解码器-编码器子网模型，其中两个编码器分别学习获取输入样本表示和生成样本表示，解码器尝试重构输入数据。将噪音数据X馈入第一个编码器Encoder1，Encoder1是由卷积层、批处理范数、LeakReLU激活函数组成。Encoder1将输入数据X转换成潜在表示，是Decoder用来重构输入数据的样本。Decoder是由卷积转置层、LeakReLU激活函数和批处理范数组成。第二个编码器Encoder2的网络结构与Encoder1相同，但参数不同，输出在数据维度上与相同。生成器不仅保证输入样本的特性，还保证在空间的模式可以同时学习。生成器的损失函数是通过式(1)三种损失函数之和来指示生成器：

L＝ω_fL_f+ω_aL_a+ω_bL_b (1)

式(1)中，L_f是差异损失，通过生成的样本输入判别器，根据判别器的输出来计算；L_a是表观损失，L_b是潜在损失，以最小化真实样本的潜在表示和生成样本的编码瓶颈特征之间的距离；ω_f、ω_a和ω_b为超参数。

采用式(1)来指示生成器。

判别器的损失函数是通过式(2)来指示判别器：

式(2)中P_G(x)表示生成数据分布，P_data(x)表示真实数据分布，

和

代表两个数据分布的期望值；f_w表示判别器，α表示正则项，

表示梯度惩罚项，

表示整个样本空间，其分布可由以下步骤得到：

①随机选取一个真实样本xⁱ、一个生成样本

一个[0，1]随机数ε。

②得到插值样本

由式(3)表示：

③多个插值样本构成的分布，记作

图2展示了生成对抗网络模型图。

步骤3：将源数据集S1、源数据集S2和合成数据集T进行整合形成最终的整合数据集Q，并将其划分为训练集M和测试集N。此处的整合：将三个数据集合并。划分：按照0.33的比例随机选取整合后的数据集中的数据得到-训练集、测试集。

步骤4：用训练集M构建并训练根因分类器，对测试集N进行预测分类，根因分类器输出测试集N中可能的故障根因。调用分类器API进行训练，参照图3的故障根因定位系统结构图。图3中Original Dataset表示原始数据集，Generated Dataset表示生成的数据集，Generative Adversarial Nets model为生成对抗网络模型，Merge为合并操作，SVM为支持向量机模型，RF为随机森林模型，DT为决策树模型，Adaboost和Catboost为集成学习模型，Output Label为输出的标签。

步骤5：利用根因分类器的输出对测试集N中所有实例进行标记，得到标记结果c，所述标记结果c的标记值为0时，表示实例非故障根因，标记值为1时，表示实例为故障根因。

步骤5中采用式(4)计算得到标记结果c：

式(4)中，

为样本k的第i个特征，D为所有可用于模型训练的数据集，D_k为D中的子集，y_j为样本j的特征值，a为参数，p为先验值。

步骤6：根据标记结果c，输出故障根因。

本实施例的一种面向网络智能运维系统的故障根因定位方法的定位系统，包括：

数据集划分模块，用于对从不平衡数据集中筛选出少类样本所形成的源数据集S1和多类样本所形成的源数据集S2。

生成对抗网络模型模块，用于对源数据集S1进行数据增强，以此生成高质量的合成数据，作为合成数据集T。

生成器：用于生成合成数据，以输入给判别器进行判别。

判别器：用于判别是原始数据还是合成数据，并计算二者之间的损失。

根因分类器，用于对测试集N进行预测，输出测试集N中每个实例故障根因。

标记模块，用于对测试集N中所有实例进行标记，得到标记结果。

显示模块，用于根据标记结果，定位并显示网络中的故障根因。

生成合成数据T并与源数据集S1和源数据集S2合并构成整合数据集Q。采用整合数据集Q构建根因分类器。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (6)

1.一种面向网络智能运维系统的故障根因定位方法，其特征在于：包括以下步骤：

步骤1，将已经过标记的不平衡故障根因数据进行数据的划分，从中筛选出类别为少类的样本数据，即标签为1，将其作为源数据集S1，另一类样本，即标签为0，将其作为源数据集S2；

步骤2，采用生成对抗网络模型，首先利用生成器对源数据集S1进行数据的生成，再利用判别器对生成的数据进行损失计算，得到合成数据，将其作为合成数据集T；

步骤3，采用源数据集S1、源数据集S2和合成数据集T进行整合形成最终的整合数据集Q，并将其划分为训练集M和测试集N；

步骤4，用训练集M构建并训练根因分类器，对测试集N进行预测，根因分类器输出测试集N中可能的故障根因；

步骤5，利用根因分类器的输出对测试集N中所有实例进行标记，得到标记结果c，所述标记结果c的标记值为0时，表示实例非故障根因，标记值为1时，表示实例为故障根因；

步骤6：根据标记结果c，输出故障根因。

2.根据权利要求1所述的一种面向网络智能运维系统的故障根因定位方法，其特征在于：所述步骤2中的生成器采用编码器-解码器-编码器子网模型，其中两个编码器分别学习获取输入样本表示和生成样本表示，解码器尝试重构输入数据；将噪音数据X馈入第一个编码器Encoder1，Encoder1是由卷积层、批处理范数、LeakReLU激活函数组成；Encoder1将输入数据X转换成潜在表示，是Decoder用来重构输入数据的样本；Decoder是由卷积转置层、LeakReLU激活函数和批处理范数组成；第二个编码器Encoder2的网络结构与Encoder1相同，但参数不同，输出在数据维度上与相同；生成器的损失函数是通过式(1)三种损失函数之和来指示生成器：

L＝ω_fL_f+ω_aL_a+ω_bL_b (1)

式(1)中，L_f是差异损失，通过生成的样本输入判别器，根据判别器的输出来计算；L_a是表观损失，L_b是潜在损失，以最小化真实样本的潜在表示和生成样本的编码瓶颈特征之间的距离；ω_f、ω_a和ω_b为超参数；

采用式(1)来指示生成器；

判别器的损失函数是通过式(2)来指示判别器：

式(2)中P_G(x)表示生成数据分布，P_data(x)表示真实数据分布，

和

代表两个数据分布的期望值；f_w表示判别器，α表示正则项，

表示梯度惩罚项，

表示整个样本空间，其分布可由以下步骤得到：

随机选取一个真实样本xⁱ、一个生成样本

一个[0,1]随机数ε；

得到插值样本

由式(3)表示：

多个插值样本构成的分布，记作

3.根据权利要求1所述的一种面向网络智能运维系统的故障根因定位方法，其特征在于：所述步骤5中采用式(4)计算得到标记结果c：

式(4)中，

为样本k的第i个特征，D为所有可用于模型训练的数据集，D_k为D中的子集，y_j为样本j的特征值，a为参数，p为先验值。

4.基于权利要求1至3任意一项所述的一种面向网络智能运维系统的故障根因定位系统，其特征在于：包括：

数据集划分模块，用于对从不平衡数据集中筛选出少类样本所形成的源数据集S1和多类样本所形成的源数据集S2；

生成对抗网络模型模块，用于对源数据集S1进行数据增强，以此生成高质量的合成数据，作为合成数据集T；

生成器：用于生成合成数据，以输入给判别器进行判别；

判别器：用于判别是原始数据还是合成数据，并计算二者之间的损失；

根因分类器，用于对测试集N进行预测，输出测试集N中每个实例故障根因；

标记模块，用于对测试集N中所有实例进行标记，得到标记结果；

显示模块，用于根据标记结果，定位并显示网络中的故障根因。

5.根据权利要求4所述的一种面向网络智能运维系统的故障根因定位系统，其特征在于：生成对抗网络模型模块中，生成合成数据T并与源数据集S1和源数据集S2合并构成整合数据集Q。

6.根据权利要求5所述的一种面向网络智能运维系统的故障根因定位系统，其特征在于：采用整合数据集Q构建根因分类器。

Images