CN112181758A - 一种基于网络拓扑及实时告警的故障根因定位方法 - Google Patents

Abstract

本发明公开了一种基于网络拓扑及实时告警的故障根因定位方法，包括：输入告警数据集，进行数据处理，提取出当前对应节点所含特征作为特征集，并获取每条告警信息中的时间、节点信息；根据当前节点信息，结合拓扑关系得到上下位节点，根据时间信息筛选出一定时间区间内上下位节点的告警信息，结合当前节点的特征集构建出上下位节点告警特征；将告警数据集分为训练集与测试集，对得到的所有特征信息进行筛选处理，输入分类算法，将预测性能最好的特征集作为模型分类特征，将训练集所含上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果。

Description

一种基于网络拓扑及实时告警的故障根因定位方法

技术领域

本发明涉及智能运维技术领域，尤其涉及一种基于网络拓扑及实时告警的故障根因定位方法。

背景技术

大型电商平台内部涉及上百个方法间的相互调用，每天会产生上万条告警数据。如何利用网络拓扑信息及告警数据，及时有效的对告警进行过滤、分析，最终给出有效告警及疑似根因是网络运维面临的主要挑战。网络拓扑中一个节点出现故障，往往会导致与其相连的其他节点也发生异常，进而产生大量告警，将真正根因淹没掉。当出现大量告警时，需要对这些告警进行分析处理，过滤掉无效的告警，准确定位出候选根因节点，缩短故障定位时间。

发明内容

本发明的目的是提供一种基于网络拓扑及实时告警的故障根因定位方法，准确、快速地定位网络故障，可以提升一线网络运维的效率，降低网络故障产生的损失。

本发明为实现上述发明目的采用如下技术方案：

本发明提供了一种基于网络拓扑及实时告警的故障根因定位方法，包括：

输入告警数据集，对其进行数据处理，从所有告警信息中提取出当前对应节点所含特征作为特征集，并获取每条告警信息中的时间、节点信息，结合得到的特征集，提取出每条告警信息所包含的特征；

根据处理所得的当前节点信息，结合拓扑关系得到其上下位节点，根据时间信息，筛选出一定时间区间内上下位节点的告警信息，结合当前节点的特征集可以构建出上下位节点告警特征，得到每条告警信息的全局特征信息；

将告警数据集划分为训练集与测试集，然后对得到的所有特征信息进行筛选处理，输入分类算法，将预测性能最好的特征集，作为模型分类特征，将训练集所含上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果。

进一步地，输入告警数据集，对其进行数据处理，从所有告警信息中提取出当前对应节点所含特征作为特征集的方法具体包括：

对提供告警信息的告警数据集进行预处理，合并所有文件后利用正则表达式去除所有无关信息，并提取特征与特征值，去重后得到所有特征，作为特征匹配集，为每一个特征定制一个提取特征值的正则表达式。

进一步地，获取每条告警信息中的时间、节点信息的方法具体包括：

利用正则表达式提取出每条告警信息的时间、节点信息，以此建立字典方便查找匹配。

进一步地，结合得到的特征集，提取出每条告警信息所包含的特征的方法具体包括：

按行遍历处理后的文件，将每条告警信息与特征集中特征匹配，若判断一致则将提取到的特征值填入每条告警信息对应的特征。

进一步地，根据时间信息，筛选出一定时间区间内上下位节点的告警信息的方法具体包括：

遍历每条告警信息前后一分钟的邻接告警信息，输入其节点信息，并从中筛选出上下位节点告警信息，对所有关联节点进行特征匹配得到其特征。

进一步地，结合特征集可以构建出上下位节点告警特征，得到每条告警信息的全局特征信息的方法具体包括：

将特征集处理为T0仅含本位特征的数据集，T1含本位以及上位节点特征的数据集，T2含本位及下位节点特征的数据集，T3含本位、上位及下位节点特征的数据集。

进一步地，将告警数据集划分为训练集与测试集，然后对得到的所有特征信息进行筛选处理，输入分类算法，将预测性能最好的特征集，作为模型分类特征，将训练集所含上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果具体包括：

选用T2含本位及下位节点特征的数据集，将其输入到XGBoost分类模型，训练得到根因预测结果；

选用Borderline SMOTE，对数据集进行平衡处理；

针对含本位和下位特征的T2数据集，使用训练集训练XGBoost分类模型，然后对测试集进行根因预测，得到所有候选根因信息；

结合出现时间与出现次数，对候选根因进行判断，得到根因预测结果。

本发明的有益效果如下：

本发明定位引发告警的根因节点并输出其告警信息，便于运维人员排查故障；具有良好的灵活性与扩展性，可以在本发明基础上更换各种分类算法，通过替换为更适合某种工作环境下的分类算法，使用不同的训练集训练模型，可进一步提升根因定位准确率。

附图说明

图1为根据本发明实施例提供的整体流程示意图；

图2为根据本发明实施例提供的步骤S10流程示意图；

图3为根据本发明实施例提供的步骤S20流程示意图；

图4为根据本发明实施例提供的步骤S30流程示意图。

具体实施方式

下面结合具体实施例对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

本发明涉及一种基于网络拓扑及实时告警的故障根因定位方法，对含有时间信息与拓扑关系的告警信息进行根因预测；对告警信息进行特征提取并输入分类算法，通过训练得到模型预测根因节点；为提高预测准确率，将结合告警信息节点间的拓扑关系，利用拓扑图找寻其上下位节点；定位到其关联节点后，通过时间信息筛选出有因果联系的告警信息，进而判断其包含特征，添加上下位特征信息，作为分类算法的输入特征；结合所有所得特征，筛选处理后得到F1值最高的特征信息，以此构建数据集，并利用Borderline SMOTE对数据集进行平衡处理；将数据集输入机器学习分类算法，分类后得到疑似根因信息，结合时间信息与分类数量，将定位根因节点；本发明输出引发告警的根因节点与其告警信息，便于运维人员排查故障。

本实施例可适用于利用网络拓扑信息及告警数据，对告警进行过滤、分析，最终给出有效告警及疑似根因的情况中，该方法可以由机器学习模块来执行，其中该机器学习模块可以由软件和/或硬件来实现，也可以应用于如电商平台的告警方法，如图1所示，为本发明实施例一提供的流程示意图，所述方法具体包括如下步骤：

在步骤S10中，输入告警数据集，对其进行数据处理，从所有告警信息中提取出其所含特征作为特征集，遍历告警信息，处理得到每条告警中的时间、节点信息，结合得到的特征集，可以提取出每条告警信息所包含的特征；

在步骤S20中，根据S10中处理所得节点信息，结合拓扑关系得到其上下位节点，根据时间信息，筛选出一定时间区间内上下位节点的告警信息，结合S10中特征集可以构建出上下位节点告警特征，得到每条告警信息的全局特征信息；

在步骤S30中，将告警数据集划分为训练集与测试集，对S20得到的所有特征信息进行筛选处理以去除噪声，输入分类算法，将预测性能最好的特征集，作为模型分类特征，将训练集数据的上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果。

优选地，所述告警文本数据采用正则表达式处理，构建特征字典提高特征提取效率，如图2所示，具体如下：

在步骤S101中，对提供告警信息的测试集文件与训练集文件进行预处理，合并所有文件后利用正则表达式去除所有无关信息，并提取特征与特征值，去重后得到所有特征，作为特征匹配集，为每一个特征定制一个提取特征值的正则表达式；

在步骤S102中，利用正则表达式提取出每条告警信息的时间、节点信息，以此建立字典方便查找匹配；

在步骤S103中，按行遍历处理后的文件，将每条告警信息与特征集中特征匹配，若判断一致则将提取到的特征值填入每条告警信息对应的特征。

优选地，所述步骤S20中根据拓扑关系获取当前节点的上下位节点特征的方法，如图3所示，具体如下：

在步骤S201中，利用节点间拓扑关系可定位节点上下位信息，输出当前节点的上下位节点信息；

在步骤S202中，遍历每条告警信息前后一分钟的邻接告警信息，输入其节点信息，并从中筛选出上下位节点告警信息，对所有关联节点进行特征匹配得到其特征；

在步骤S203中，将特征集处理为T0仅含本位特征的数据集；T1含本位以及上位节点特征的数据集；T2含本位及下位节点特征的数据集；T3含本位、上位及下位节点特征的数据集；每种数据集格式统一，在其所含特征的对应列应有标记。

所述步骤S30，如图4所示，具体为：

在步骤S301中，为减少噪音，调整输入的特征，选用T2含本位及下位节点特征的数据集，将其输入到XGBoost分类模型，训练得到根因预测结果；

在步骤S302中，由于数据集中是否为根因的告警信息存在类别不均衡问题，故选用Borderline SMOTE，对数据集进行平衡处理；

在步骤S303中，针对含本位和下位特征的T2数据集，使用训练集训练XGBoost分类模型，然后对测试集进行根因预测，得到所有候选根因信息；

在步骤S304中，由于同一文件仅含一种根因，结合出现时间与出现次数，对候选根因进行判断，得到根因预测结果。

操作实例：

假设给定训练集，其中包含节点、时间以及告警信息，并标记出根因告警节点，以下为实施例的训练集的两项详细情况：

示例1，time：“2019/6/4 1:14”，triggername：“主机node_61FullGC平均耗时：2118ms (大于阈值：1000ms)”，is_root：“0”。

示例2，time：“2019/6/4 1:14”，triggername：“主机node_60端口80通信异常”，is_root：“1”。

同样给出节点间的拓扑关系，例如，节点与其下位节点使用字典方式存储：{"node_50": ["node_4","node_83","node_33","node_17"],"node_0":["node_4","node_83","node_33", "node_17"]等。

S1：本位特征提取：步骤(1)：遍历告警信息，使用正则表达式处理每条告警，例如使用r'主机node_\d+'表达式去除例中triggername中指定信息，此时例中triggername所剩部分为：“FullGC 平均耗时：2118ms(大于阈值：1000ms)”；步骤(2)：对正则表达式处理后的所剩部分再次进行处理，对每条信息定制正则表达式，例如对例中所剩的“FullGC平均耗时：2118ms(大于阈值：1000ms)”进行定制正则表达式r'[FullGC平均耗时：(\d+).*]'，可以通过表达式读取出其所含数值，使用“*”替换具体特征值；步骤(3)：对处理后的triggername中所含信息进行去重，可得到所有特征作为特征集，可藉此提取每条告警信息所含特征，例如，“2019/6/4 1:14主机node_61FullGC 平均耗时：2118ms(大于阈值：1000ms)”，其告警信息所含特征为：“FullGC平均耗时：*ms(大于阈值：1000ms)”，特征值为2118；

S2：根据S1所得的特征集定制正则表达式，之后对每条告警信息进行匹配，可得到所有信息的包含特征。利用给出的拓扑关系，可得到节点间的具体关联，从而可得到当前节点的上位节点与下位节点信息，例如，若得到节点信息为"node_50"，则得到其下位节点为"node_4","node_83", "node_33","node_17"；结合时间信息，可定位某条告警信息一分钟内所有上位\下位节点的告警信息，故定位到同一分钟内发生的"node_4","node_83","node_33","node_17"这些节点对应的告警信息，再结合S1所得特征集筛选出其所含特征，从而得到告警信息的上位\下位节点特征；

S3：对S2得到的所有特征信息进行筛选处理，使用含本位及下位节点特征的数据集作为训练集；利用Borderline SMOTE对数据集进行平衡处理；采用XGBoost算法，在使用测试集训练后，对处理后含本位和下位特征的测试集进行根因预测，得到所有候选根因信息，结合出现时间与出现次数，对候选根因进行判断，得到根因预测结果。

本发明对数据预处理时，从所有数据集中提取出告警信息特征，并将所有文件整合为一个整体，从而方便准确定位告警信息，直观预览根因节点，便于后续添加告警信息特征与文件操作；采用分类算法对根因进行预测时，将告警信息提取出的特征作为输入，遍历告警信息后通过正则表达式提取其所含特征作为分类依据，由于节点间的因果关联，将结合节点间的拓扑关系，利用拓扑图定位告警信息的上下位节点，结合告警时间信息得到相关节点告警信息，提取出其特征，添加这类特征将显著提高预测准确率；对数据进行处理后可得到四种数据集，为了减少噪声，保证特征加入信息的有效性，可在不同情境下采取不同数据集，从而提高预测精准度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

Claims (7)

1.一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，包括：

输入告警数据集，对其进行数据处理，从所有告警信息中提取出当前对应节点所含特征作为特征集，并获取每条告警信息中的时间、节点信息，结合得到的特征集，提取出每条告警信息所包含的特征；根据处理所得的当前节点信息，结合拓扑关系得到其上下位节点，根据时间信息，筛选出一定时间区间内上下位节点的告警信息，结合当前节点的特征集可以构建出上下位节点告警特征，得到每条告警信息的全局特征信息；

将告警数据集划分为训练集与测试集，然后对得到的所有特征信息进行筛选处理，输入分类算法，将预测性能最好的特征集，作为模型分类特征，将训练集所含上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果。

2.根据权利要求1所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，输入告警数据集，对其进行数据处理，从所有告警信息中提取出当前对应节点所含特征作为特征集的方法具体包括：

对提供告警信息的告警数据集进行预处理，合并所有文件后利用正则表达式去除所有无关信息，并提取特征与特征值，去重后得到所有特征，作为特征匹配集，为每一个特征定制一个提取特征值的正则表达式。

3.根据权利要求2所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，获取每条告警信息中的时间、节点信息的方法具体包括：

利用正则表达式提取出每条告警信息的时间、节点信息，以此建立字典方便查找匹配。

4.根据权利要求3所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，结合得到的特征集，提取出每条告警信息所包含的特征的方法具体包括：

按行遍历处理后的文件，将每条告警信息与特征集中特征匹配，若判断一致则将提取到的特征值填入每条告警信息对应的特征。

5.根据权利要求1所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，根据时间信息，筛选出一定时间区间内上下位节点的告警信息的方法具体包括：

遍历每条告警信息前后一分钟的邻接告警信息，输入其节点信息，并从中筛选出上下位节点告警信息，对所有关联节点进行特征匹配得到其特征。

6.根据权利要求5所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，结合当前节点的特征集可以构建出上下位节点告警特征，得到每条告警信息的全局特征信息的方法具体包括：

将特征集处理为T0仅含本位特征的数据集，T1含本位以及上位节点特征的数据集，T2含本位及下位节点特征的数据集，T3含本位、上位及下位节点特征的数据集。

7.根据权利要求1所述的一种基于网络拓扑及实时告警的故障根因定位方法，其特征在于，将告警数据集划分为训练集与测试集，然后对得到的所有特征信息进行筛选处理，输入分类算法，将预测性能最好的特征集，作为模型分类特征，将训练集所含上述特征值输入分类算法训练得到预测模型，利用训练好的分类模型预测测试集中的数据并输出预测结果，根据预测结果中候选根因数量和时间信息得到最终预测根因结果具体包括：

选用T2含本位及下位节点特征的数据集，将其输入到XGBoost分类模型，训练得到根因预测结果；选用Borderline SMOTE，对数据集进行平衡处理；

针对含本位和下位特征的T2数据集，使用训练集训练XGBoost分类模型，然后对测试集进行根因预测，得到所有候选根因信息；

结合出现时间与出现次数，对候选根因进行判断，得到根因预测结果。

Images