CN109886292B - 一种基于异常关联图的异常原因诊断方法 - Google Patents

Abstract

本发明涉及一种基于异常关联图的异常原因诊断方法，首先在线收集系统中所有组件的性能指标数据；然后对于各组件，判断是否存在与该组件存在关联关系的组件，若为是，则将这两个组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接这两个组件对应的节点；反之将该组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接该组件和一虚拟节点；然后基于异常关联图诊断得到异常原因。与现有技术相比，本发明可以提高异常原因诊断的效率和准确率。

Description

一种基于异常关联图的异常原因诊断方法

技术领域

本发明涉及异常诊断领域，尤其是涉及一种基于异常关联图的异常原因诊断方法。

背景技术

异常原因分析方法可以针对上级异常预测算法提取出的异常信息，根据其业务相关性，进行相关故障的定向查找与诊断，并输出故障结论信息。

随着近年来IT技术的不断发展，IT系统的规模与复杂度不断增长，这使得控制、管理复杂系统变得越来越困难。而复杂系统中的某个组件发生的异常往往会传播到系统中的其他组件上，进而导致异常的规模扩大，直至导致全局异常。为了减少或避免异常的发生，异常检测、预测与原因分析方法都是现阶段系统运维的主要方式，其中异常检测与预测旨在根据系统实时性能指标，对系统当前与未来的状态做出判断；而原因分析方法则是在异常检测或预测的基础上进行的推理，其主要目的是根据异常的表现及系统内部的运行机制，对异常发生的原因进行推理，从而找出异常发生的原因、试图寻找解决方法，最终解决异常。总的来说，原因分析方法主要为了找出1)问题(发生了什么)；2)原因(为什么发生)；3)措施(如何解决或避免异常)。在传统运维系统中，由于系统的智能度不高，常常需要人为的分析系统性能指标，以此来定位故障的位置和原因，而处理异常则需要运维人员具有丰富的专业知识，并对系统的结构有着充分的认识。然而这种人工的异常定位方法常常耗费大量的时间，并且其准确度与运维人员的专业程度有很大的关系，所以需要有一种自动化的异常原因分析方法来弥补运维系统中的这一缺点。

传统的原因分析方法主要包括定性分析与定量分析两种，其中定性分析方法主要利用系统运行机理和异常的特性，分析异常现象和其成因之间的因果关系等先验知识，从而使用逻辑推理的方法来检测和定位故障。常用的异常原因定性分析方法包括：基于图论的诊断方法、基于离散事件系统的诊断方法等等。其中，基于图论的异常诊断方法在异常原因分析领域有着广泛应用。其优点在于，该方法无需对象的定量信息，推理清晰、逻辑性强。其缺点在于，图的规模与系统复杂度高度相关，由于异常发生的随机性和反复性，通常需要构造包含大量节点和支路的图，其中的逻辑关系也极为复杂，最终导致图论建模的难度大大增加。基于定量分析的故障诊断方法包括：基于模型的方法和基于数据的方法。其中，基于模型的方法首先建立系统的正常状态模型，再检测系统的实时状态，当系统状态偏离其正常状态时，即可获得一个异常状态，从而分析异常的原因。该方法的优点在于：如果可以构建精确的模型，原因问题就可以大大的简化,并且同时可以有效提高原因分析的准确度。其缺点在于：此类方法往往缺乏对异常检测特性的深入理论分析，并没有解决异常原因分析的核心问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于异常关联图的异常原因诊断方法。

本发明的目的可以通过以下技术方案来实现：

一种基于异常关联图的异常原因诊断方法，包括：

步骤S1：在线收集系统中所有组件的性能指标数据；

步骤S2：选择一个未预诊断组件，判断是否存在与该组件存在关联关系的组件，若为是，则执行步骤S3，反之，则执行步骤S4；

步骤S3：将这两个组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5；

步骤S4：将该组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接该组件和一虚拟节点，并执行步骤S5；

步骤S5：判断是否存在未预诊断组件，若为是，则返回步骤S2，反之，则执行步骤S6；

步骤S6：基于异常关联图诊断得到异常原因。

所述步骤S2具体包括：

步骤S21：选择一个未预诊断组件；

步骤S22：判断在系统正常运行时的图模型中是否存在与该组件对应节点存在关联关系的节点，若为是则执行步骤S3，反之则执行步骤S4；

所述系统正常运行时的图模型的生成过程包括：

步骤A1：收集各个系统组件的历史性能指标数据，并两两组合成二元组；

步骤A2：针对每一个二元组生成一个自回归模型；

步骤A3：选择一个未评估的自回归模型，并计算其R均方值；

步骤A4：判断R均方值是否大于预设的均方值上限，若为是，则在系统正常运行时的图模型中连接这两个组件对应的节点以表征这两个组件存在关联，并执行步骤A5。

步骤A5：判断是否存在未评估的自回归模型，若为是，则返回步骤A3。

所述自回归模型的生成过程具体包括：

步骤A21：输入两个组件x、y的历史正常性能指标[x_t-k,x_t-k-1,…,x_t-k-m]与[y_t,y_t-1,…,y_t-n]，并确定自回归模型系数：

y_t+a₁y_t-1+…+a_ny_t-n＝b₀x_t-k+b₁x_t-k-1+…+b_mx_t-k-m

其中：n，m，k为预设的自回归模型的参数，a₁,…,a_n与b₁,…,b_m为自回归模型系数，y_t为t时刻y组件的性能指标，x_t为t时刻x组件的性能指标；

步骤A22：确定自回归模型：

θ＝[a₁,…,a_n,b₁,…,b_m]

其中：θ为要评估的自回归模型。

所述步骤S3具体包括：

步骤S31：根据两个组件之间的自回归模型计算出Y的预测序列与其真实值的残差序列[r_t-L-1,r_t-L-2,…,r_t]；

步骤S32：将该残差序列送入上层异常预测模块中；

步骤S33：接收异常预测模块返回的一个异常概率p_t；

步骤S34：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行S5。

所述步骤S4具体包括：

步骤S41：将该组件的性能指标输入异常预测模块；

步骤S42：接收异常预测模块返回的一个异常概率p_t；

步骤S43：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5；

所述步骤S6具体包括：

步骤S61：将生成的异常关联图转换为向量；

步骤S62：对所有异常图的向量进行聚类，并定义聚类后每一簇的异常原因；

步骤S63：输出所在簇的异常原因作为诊断结果。

所述步骤S61具体为：将异常关联图的每个节点的度依次罗列得到该异常关联图的向量。

与现有技术相比，本发明具有以下有益效果：

1)基于组件之间的关联性进行异常识别，并利于异常关联图进行原因诊断，将异常的数据表现转化为易于计算机处理的图的形式，并借助图的性质，对系统中潜在的异常原因进行归纳推理，找出异常发生的根本原因，便于进行机器诊断。

2)可以根据复杂系统的历史正常运行指标数据对系统正常状态建模，并使用图的方式表示。

3)可以根据上层异常预测模块的检查结果，对系统的异常状态建模，并构造异常关联图。

附图说明

图1为本发明方法的主要步骤流程示意图；

图2为本发明生成系统正常运行时的图模型的流程示意图；

图3为系统正常运行时的图模型示意图；

图4为异常关联图的示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

一种基于异常关联图的异常原因诊断方法，该方法可以利用系统的性能指标数据，使用基于图论的方法建模系统的正常状态，并在系统实时运行过程中，根据上层异常预测组件给出的异常信息，建立系统的异常关联图，最后基于所建立的异常关联图分析出异常的原因。如图1所示，包括：

步骤S1：在线收集系统中所有组件的性能指标数据；

步骤S2：选择一个未预诊断组件，判断是否存在与该组件存在关联关系的组件，若为是，则执行步骤S3，反之，则执行步骤S4，具体包括：

步骤S21：选择一个未预诊断组件；

步骤S22：判断在系统正常运行时的图模型中是否存在与该组件对应节点存在关联关系的节点，若为是则执行步骤S3，反之则执行步骤S4；

本申请使用带外生输入的自回归模型(Auto Regressive eXogenous，ARX)，并借助系统的历史正常性能指标数据建模系统的正常运行状态。

具体而言，对于系统内的所有组件的历史正常性能指标数据，我们将其两两组合，并建立两者之间的自回归模型。

如图2所示，系统正常运行时的图模型的生成过程包括：

步骤A1：收集各个系统组件的历史性能指标数据，并两两组合成二元组；

步骤A2：针对每一个二元组生成一个自回归模型，其中，自回归模型的生成过程具体包括：

步骤A21：输入两个组件x、y的历史正常性能指标[x_t-k,x_t-k-1,…,x_t-k-m]与[y_t,y_t-1,…,y_t-n]，并确定自回归模型系数：

y_t+a₁y_t-1+…+a_ny_t-n＝b₀x_t-k+b₁x_t-k-1+…+b_mx_t-k-m

其中：n，m，k为预设的自回归模型的参数，a₁,…,a_n与b₁,…,b_m为自回归模型系数，y_t为t时刻y组件的性能指标，x_t为t时刻x组件的性能指标；

步骤A22：确定自回归模型：

θ＝[a₁,…,a_n,b₁,…,b_m]

其中：θ为要评估的自回归模型。

步骤A3：选择一个未评估的自回归模型，并计算其R均方值，对于得到的所有自回归模型，检验他们的R²值，其表达式如下：

其中：θ为要评估的自回归模型，y_t为t时刻y组件的性能指标，

为使用给定的自回归模型θ对组件y在t时刻的预测值，

为y组件在时间窗口[1,t]内的平均值

步骤A4：判断R均方值是否大于预设的均方值上限，若为是，则在系统正常运行时的图模型中连接这两个组件对应的节点以表征这两个组件存在关联，并执行步骤A5。

即当R²值大于某个阈值时，我们将生成这个自回归模型的两个组件视为具有关联关系的组件。对全局的自回归模型进行检验后，本发明使用图G(V,E)来表征系统的正常运行状态，如图3所示。其中V为图G的顶点集合，E为图G的边集合。

步骤A5：判断是否存在未评估的自回归模型，若为是，则返回步骤A3，反之则得到如图3所示的系统正常运行时的图模型。G(V,E)中的每个节点表示系统中的一个组件，节点之间的边表示组件之间的关联关系。如图3所示的示例系统中包含6个组件，其中(x₁,x₂)、(x₂,x₃)、(x₁,x₃)和(x₄,x₅)均为该系统中存在的关联关系。

异常关联图主要为了表示两种类型的异常：第一种为单变量上下文异常；第二种为集体上下文异常。其中，集体上下文异常表现为系统模型中的关联关系的破裂。异常关联图使用G(V',E')来表示，其中包括N个组件节点与一个虚拟节点，虚拟节点用于表示系统中的单变量上下文异常。

步骤S3：将这两个组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5，具体包括：

步骤S31：根据两个组件之间的自回归模型计算出Y的预测序列与其真实值的残差序列[r_t-L-1,r_t-L-2,…,r_t]；

步骤S32：将该残差序列送入上层异常预测模块中；

步骤S33：接收异常预测模块返回的一个异常概率p_t；

步骤S34：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行S5。

即集体上下文异常针对的是系统模型中存在关联关系的组件对。在系统实时运行时，采用时间窗口扫描组件对X、Y的时间序列，得到两者的时间序列[x_t-L-1,x_t-L-2,…,x_t]与[y_t-L-1,y_t-L-2,…,y_t]，并根据X、Y之间的自回归模型计算出Y的预测序列与其真实值的残差序列[r_t-L-1,r_t-L-2,…,r_t]，然后将该残差序列送入上层异常预测组件中，异常预测组件将会返回一个异常概率p_t，p_t代表组件对X、Y未来将会发生集体上下文异常的概率。当p_t大于某个阈值时，我们在当前时刻的异常关联图中连接X、Y节点；否则不连接上述两个节点。

步骤S4：将该组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接该组件和一虚拟节点，并执行步骤S5，具体包括：

步骤S41：将该组件的性能指标输入异常预测模块；

步骤S42：接收异常预测模块返回的一个异常概率p_t；

步骤S43：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5；

即单变量上下文异常针对的是系统模型中不存在关联关系的组件。在系统实时运行时，采用时间窗口扫描该组件的时间序列，得到时间序列[x_t-L-1,x_t-L-2,…,x_t]，然后该序列送入上层的异常预测组件，异常预测组件将会返回一个异常概率p_t，p_t代表该组件未来将会发生单变量异常的概率。当p_t大于某个阈值时，我们在当前时刻的异常关联图中连接该组件节点与虚拟节点；否则不连接上述两个节点。

具体而言，本申请的异常预测模块采用LSTM预测网络，网络的输入是一个定长的时间序列[x_t-L-1,x_t-L-2,…,x_t]，输出y_t是该序列后将会发生异常的概率。当输出的概率大于某个阈值的时候，就产生一个异常警报。

步骤S5：判断是否存在未预诊断组件，若为是，则返回步骤S2，反之，则得到如图4所示的异常关联图，并执行步骤S6。

异常关联图的示例如图4所示，其中x₇为虚拟节点。图中(x₁,x₃)、(x₂,x₃)被预测将会发生集体上下文异常，x₆被预测将会发生单变量上下文异常。

步骤S6：基于异常关联图诊断得到异常原因，具体包括：

步骤S61：将生成的异常关联图转换为向量，具体为：将异常关联图的每个节点的度依次罗列得到该异常关联图的向量；例如：如图4所示的异常关联图将被转换成[1,1,2,0,0,1,1]；

步骤S62：对所有异常图的向量进行聚类，并定义聚类后每一簇的异常原因；

步骤S63：输出所在簇的异常原因作为诊断结果。

Claims (4)

1.一种基于异常关联图的异常原因诊断方法，其特征在于，所述异常关联图的建立过程如下：利用系统的性能指标数据，使用基于图论的方法建模系统的正常状态，并在系统实时运行过程中，根据上层异常预测组件给出的异常信息，建立系统的异常关联图；

所述方法包括：

步骤S1：在线收集系统中所有组件的性能指标数据，

步骤S2：选择一个未预诊断组件，判断是否存在与该组件存在关联关系的组件，若为是，则执行步骤S3，反之，则执行步骤S4，

步骤S3：将这两个组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5，

步骤S4：将该组件的性能指标输入异常预测模块，并接收异常预测模块返回的预诊断结果，若为存在故障，则在异常关联图中连接该组件和一虚拟节点，并执行步骤S5，

步骤S5：判断是否存在未预诊断组件，若为是，则返回步骤S2，反之，则执行步骤S6，

步骤S6：基于异常关联图诊断得到异常原因；

所述步骤S3具体包括：

步骤S31：根据两个组件之间的自回归模型计算出Y的预测序列与其真实值的残差序列[r_t-L-1,r_t-L-2,…,r_t]，

步骤S32：将该残差序列送入上层异常预测模块中，

步骤S33：接收异常预测模块返回的一个异常概率p_t，

步骤S34：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行S5；

所述步骤S4具体包括：

步骤S41：将该组件的性能指标输入异常预测模块，

步骤S42：接收异常预测模块返回的一个异常概率p_t，

步骤S43：判断该异常概率是否超过设定阈值，若为是，则在异常关联图中连接这两个组件对应的节点，并执行步骤S5；

所述步骤S6具体包括：

步骤S61：将生成的异常关联图转换为向量，

步骤S62：对所有异常图的向量进行聚类，并定义聚类后每一簇的异常原因，

步骤S63：输出所在簇的异常原因作为诊断结果；

所述步骤S61具体为：将异常关联图的每个节点的度依次罗列得到该异常关联图的向量。

2.根据权利要求1所述的一种基于异常关联图的异常原因诊断方法，其特征在于，所述步骤S2具体包括：

步骤S21：选择一个未预诊断组件；

步骤S22：判断在系统正常运行时的图模型中是否存在与该组件对应节点存在关联关系的节点，若为是则执行步骤S3，反之则执行步骤S4。

3.根据权利要求1所述的一种基于异常关联图的异常原因诊断方法，其特征在于，所述系统正常运行时的图模型的生成过程包括：

步骤A1：收集各个系统组件的历史性能指标数据，并两两组合成二元组；

步骤A2：针对每一个二元组生成一个自回归模型；

步骤A3：选择一个未评估的自回归模型，并计算其R均方值；

步骤A4：判断R均方值是否大于预设的均方值上限，若为是，则在系统正常运行时的图模型中连接这两个组件对应的节点以表征这两个组件存在关联，并执行步骤A5；

步骤A5：判断是否存在未评估的自回归模型，若为是，则返回步骤A3。

4.根据权利要求3所述的一种基于异常关联图的异常原因诊断方法，其特征在于，所述自回归模型的生成过程具体包括：

步骤A21：输入两个组件x、y的历史正常性能指标[x_t-k,x_t-k-1,…,x_t-k-m]与[y_t,y_t-1,…,y_t-n]，并确定自回归模型系数：

y_t+a₁y_t-1+…+a_ny_t-n＝b₀x_t-k+b₁x_t-k-1+…+b_mx_t-k-m

其中：n，m，k为预设的自回归模型的参数，a₁,…,a_n与b₁,…,b_m为自回归模型系数，y_t为t时刻y组件的性能指标，x_t为t时刻x组件的性能指标；

步骤A22：确定自回归模型：

θ＝[a₁,…,a_n,b₁,…,b_m]

其中：θ为要评估的自回归模型。

Images