CN109936470A

CN109936470A - 一种异常检测方法

Info

Publication number: CN109936470A
Application number: CN201711361877.3A
Authority: CN
Inventors: 余亚玲; 任祥辉; 贺晨
Original assignee: CETC 15 Research Institute
Current assignee: CETC 15 Research Institute
Priority date: 2017-12-18
Filing date: 2017-12-18
Publication date: 2019-06-25

Abstract

本发明涉及异常检测技术领域，公开了一种异常检测方法。其中该方法包括：实时采集数据；基于多个不同的异常检测模型对所采集的数据同时进行异常检测得到多个异常检测结果；基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析；基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件。由此，可以实现业务系统状态故障自动检测，避免了传统系统监控软件以阈值告警和人工的状态检查的方式带来的人工开销和主观因素影响。

Description

一种异常检测方法

技术领域

本发明涉及异常检测技术领域，尤其涉及一种异常检测方法。

背景技术

目前已经有不少针对业务系统监控的软件投入到实际应用当中，这些现有的监控系统对于业务系统的监控方法主要是借助于自动化的业务资源性能指标收集系统加以阈值告警和人工的状态检查的方式。一方面来说，不同业务系统的使用状况越来越复杂，单纯的阈值告警或者基于一些预设模型的告警系统很难在目前快速变化的应用环境中对业务系统状态做出全面的评估，从而造成误报和遗漏。另一方面来说，由于目前分布式系统和云计算平台的计算机结点数目增多，系统本身规模和复杂度的快速增长，人工对业务系统进行状态进行监控和维护的开销巨大，而且很大程度上依赖于管理员的知识和经验，具有比较高的主观因素影响，很难做出全面和一致的判断，最终影响到系统的功能和安全。

因此，需要一种能够对业务系统状态故障进行自动检测的方法，以解决上述技术问题。

发明内容

本发明提供了一种异常检测方法，能够解决现有技术中无法对故障进行自动检测的技术问题。

本发明提供了一种异常检测方法，该方法包括：

实时采集数据；

基于多个不同的异常检测模型对所采集的数据同时进行异常检测得到多个异常检测结果；

基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析；

基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件。

优选的，基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析包括：

基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行加权平均运算得到加权平均值。

优选的，基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件包括：

将所述加权平均值与阈值进行比较；

如果所述加权平均值大于所述阈值，则判断存在异常，确定存在异常事件；

如果所述加权平均值小于或等于所述阈值，则判断不存在异常，确定不存在异常事件。

优选的，在确定存在异常事件的情况下，该方法还包括：

根据预设规则库查找当前异常事件对应的节点的上级节点；

判断是否存在所述上级节点；

根据判断结果确定根源事件；

根据所述预设规则库查找当前异常事件对应的节点的下级节点；

判断是否存在所述下级节点；

在存在所述下级节点的情况下，在历史溯源故障记录中查找所述下级节点；

判断所述下级节点是否有溯源记录；

在存在所述溯源记录的情况下，将当前异常事件对应的节点与上级节点溯源关系更新到所述历史溯源故障记录中；

在不存在所述下级节点的情况下，或者不存在所述溯源记录的情况下，将当前异常事件对应的节点与上级节点溯源关系添加到所述历史溯源故障记录中。

优选的，根据判断结果确定根源事件包括：

在不存在所述上级节点的情况下，确定当前异常事件为根源事件；

在存在所述上级节点的情况下，判断预定时间内所述上级节点是否发生告警；

在未发生告警的情况下，确定当前异常事件为根源事件；

在发生告警的情况下，将所述上级节点对应的事件作为当前异常事件，并继续执行所述根据预设规则库查找当前异常事件对应的节点的上级节点的步骤。

优选的，所述多个不同的异常检测模型包括：基于曲线平滑性的检测模型、基于绝对值的时间周期检测模型、基于振幅的时间周期检测模型、基于正太分布的异常检测模型、基于指数加权平均的异常检测模型和基于样本数据的异常检测模型。

优选的，所采集的数据包括运行状态数据和运行环境数据。

优选的，在根据所述预设规则库查找当前异常事件对应的节点的下级节点之前，该方法还包括：记录溯源过程。

应用本发明的技术方案，可以基于多个不同的异常检测模型对所采集的数据同时进行异常检测得到多个异常检测结果，基于与所述多个不同的异常检测模型对应的权重可以对所述多个异常检测结果进行分析(也就是，通过加权算法来确定最终的判定结果)，进而可以基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件。由此，可以实现业务系统状态故障自动检测，避免了传统系统监控软件以阈值告警和人工的状态检查的方式带来的人工开销和主观因素影响。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例提供的一种异常检测方法的流程图；

图2示出了本发明实施例提供的一种基于异常检测的故障溯源方法的流程图；以及

图3示出了本发明实施例提供的事件树的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出了本发明实施例提供的一种异常检测方法的流程图。

如图1所示，本发明实施例提供了一种异常检测方法，该方法可以包括：

S100，实时采集数据；

S102，基于多个不同的异常检测模型对所采集的数据同时进行异常检测得到多个异常检测结果；

S104，基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析；

S106，基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件。

根据本发明一种实施例，S104中基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析可以包括：

其中，可以根据实际异常检测情况不断修正不同异常检测算法(模型)对不同数据(指标)的评估权重，以进一步提高异常检测的准确性。

根据本发明一种实施例，S106中基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件包括：

S1060，将所述加权平均值与阈值进行比较，即判断加权平均值是否大于阈值，如果是，转至S1062，否则转至S1064；

S1062，如果所述加权平均值大于所述阈值，则判断存在异常，确定存在异常事件，在这种情况下，可以基于该异常事件进行后续根源故障溯源；

S1064，如果所述加权平均值小于或等于所述阈值，则判断不存在异常，确定不存在异常事件，在这种情况下，可以将数据存入数据库。

其中，本领域技术人员可以根据实际情况对阈值进行设定，本发明不对此进行限定。

图2示出了本发明实施例提供的一种基于异常检测的故障溯源方法的流程图。

其中，图1中得到的异常判定结果可以作为图2中的故障溯源的输入。

如图2所示，在图1中确定存在异常事件的情况下，基于图1所示的异常检测的故障溯源方法可以包括：

S200，根据预设规则库查找当前异常事件对应的节点的上级节点，例如，可以基于当前异常事件的标识执行查找操作，找出异常(告警)事件挂在哪几个事件树上，有目的地追溯根源事件，屏蔽从事件；

S202，判断是否存在所述上级节点；

S204，根据判断结果确定根源事件；

S206，根据所述预设规则库查找当前异常事件对应的节点的下级节点；

S208，判断是否存在所述下级节点，也就是，如果是，转至S210，否则转至S216；

S210，在存在所述下级节点的情况下，在历史溯源故障记录中查找所述下级节点，例如，可以基于下级节点的标识在历史溯源故障记录中执行查找操作；

S212，判断所述下级节点是否有溯源记录，如果是，转至S214，否则转至S216，其中，溯源记录可以指进行过故障溯源的记录；

S214，在存在所述溯源记录的情况下，将当前异常事件对应的节点与上级节点溯源关系更新到所述历史溯源故障记录中；

S216，在不存在所述下级节点的情况下，或者不存在所述溯源记录的情况下，将当前异常事件对应的节点与上级节点溯源关系添加到所述历史溯源故障记录中。

其中，历史溯源故障记录可以存储在数据库中。

由此，根据故障溯源模型实现了单指标间的横向关联分析，从而实现对根源故障的溯源。

其中，预设规则库可以包括拓扑依赖关系(包括硬件拓扑依赖关系和软件拓扑依赖关系)、软硬件部署依赖关系、业务组件依赖关系和告警溯源模型。

根据本发明一种实施例，S204中根据判断结果确定根源事件可以包括：

S2040，在存在所述上级节点的情况下，判断预定时间内所述上级节点是否发生告警，也就是，如果是，转至S2044，否则转至S2042；

S2042，在不存在所述上级节点的情况下，或者在未发生告警的情况下，确定当前异常事件为根源事件；

S2044，在发生告警的情况下，将所述上级节点对应的事件作为当前异常事件，并继续执行所述根据预设规则库查找当前异常事件对应的节点的上级节点的步骤(即，返回至步骤S200)。也就是，直到上级节点不存在或该节点的告警时间未同时发生，记录根源事件及溯源过程。

根据本发明一种实施例，所述多个不同的异常检测模型可以包括：基于曲线平滑性的检测模型、基于绝对值的时间周期检测模型、基于振幅的时间周期检测模型、基于正太分布的异常检测模型、基于指数加权平均的异常检测模型和基于样本数据的异常检测模型。

本领域技术人员应当理解，上述实例仅仅是示例性的，并非用于限定本发明。

其中，举例来讲，对于基于曲线平滑性的检测模型而言，其使用最小二乘法得到一条拟合现有实际数据的直线，即近时间序列；然后用实际值和拟近值的差值组成一个新的序列error；最后求error序列的标准差，并判断实际数据最后三个点的平均值到error序列平均值的距离是否大于3倍的标准差。

该算法模型具有以下优点：依赖的数据少，只需要近期的历史不依赖于周期性，非常敏感，例如，历史如果波动很小，方差就很小，容忍的波动范围也会非常小。

对于基于绝对值的时间周期检测模型而言，其首先计算历史同期的数据的最大值和最小值，分别乘以放大缩小系数，得到最大最小值区间；然后判断最新采集数据是否在上述区间范围内。

该算法模型具有以下优点：计算简单，且可以确保发现大的故障。

对于基于振幅的时间周期检测模型而言，其首先计算上一个同期数据变化率；然后将最新采集值变化率与历史变化率进行比较，判断是否处于合理范围内。

该算法模型优点在于比绝对值要敏感，利用了时间周期性，规避了业务曲线自身的周期性陡降。

对于基于正太分布的异常检测模型而言，其假设数据服从高斯分布，可以通过标准差来确定绝大多数数据点的区间；或者根据分布的直方图，落在过少直方里的数据就是异常；或者根据箱体图分析来避免造成长尾影响。异常判定原理是，利用最新3个样本的平均值和整个序列平均值比较，根据3-sigma理论，判断偏离是否超过3倍标准差。

在实现过程中，可以对比较序列的选择范围进行设置，当设置为0时为整个序列，当设置为N时，为当前周期的前N个小时。

该算法模型的特点是可以有效屏蔽“在一个点上突变到很大的异常值但在下一个点回落到正常水平”的情况，即屏蔽单点毛刺：因为它使用的是末3个点的均值(有效缓和突变)，和整个序列比较(均值可能被异常值拉大)，导致判断正常。适用于需要忽略“毛刺”数据的场景。

对于基于指数加权平均的异常检测模型而言，为每个数据点引入权重，越近的数据点拥有越高的权重。算法计算公式为：EWMA(i)＝α*p(i)+(1-α)*EWMA(i-1)。扩展开来则可以发现，从i往前的数据点，权重依次为α，α(1-α)，α(1-α)^2.....，α(1-α)^n，依次指数递减，权重的和的极限等于1。a决定了EWMA的时效性和稳定性。α越大时效性越好，越能反映出最近数据状态；α越小越平滑，越能吸收瞬时波动，反映出长期趋势。EWMA由于其时效性被广泛应用在“根据已有时间序列预测未来数据”的场景中。

对于基于样本数据的异常检测模型而言，可以从样本校验入手，它首先将历史数据划分成15个宽度相等的直方，然后判断最后三个值得平均值属于这15个直方的具体哪个直方。如果这个直方中包含的数据小于20个，则判断为异常。

本领域技术人员应当理解，上述关于检测模型的描述仅仅是示例性的，并且本发明没有对这六个检测模型进行改进，为了不混淆本发明，在此不再赘述。

根据本发明一种实施例，所采集的数据包括运行状态数据和运行环境数据。

举例来讲，运行状态数据可以包括基础服务数据和用户服务数据，例如，基础服务数据可以包括Oracle数据库、Sql Server数据库、Mysql数据库、Tomcat、WebSphere、Apache、MSIIS等服务数据；用户服务数据可以包括应用程序数据和WEB服务数据。

举例来讲，运行环境数据可以包括主机环境数据和网络环境数据。

根据本发明一种实施例，在S206之前，该方法还可以包括：S218，记录溯源过程。

也就是，可以将故障溯源的过程记录(例如，步骤S200至S204)下来，以便可以为用户展示溯源过程，作为故障维修协同管理的输入。

图3示出了本发明实施例提供的事件树的示意图。

如图3所示，由某一根源故障引起的大量连锁告警事件称为事件潮。在一个事件潮中，事件是有层次的，呈树状因果序列分布，一个事件潮可以近似地由树型结构进行描述，即事件树。事件树结构适合描述由某个故障事件产生的一系列连锁告警。在事件树中，根源事件、中间事件、末梢事件及引发路径组成一棵由因果关系建立的事件引发过程树。也就是，一个根源事件可引发多个中间事件和末梢事件，只要先行事件不发生，就不会有后续事件，在根源事件的溯源中，可以通过该机制排除某些事件，减少故障数量。

在本发明的描述中，需要理解的是，方位词如“前、后、上、下、左、右”、“横向、竖向、垂直、水平”和“顶、底”等所指示的方位或位置关系通常是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，在未作相反说明的情况下，这些方位词并不指示和暗示所指的装置或元件必须具有特定的方位或者以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制；方位词“内、外”是指相对于各部件本身的轮廓的内外。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种异常检测方法，其特征在于，该方法包括：

实时采集数据；

2.根据权利要求1所述的方法，其特征在于，基于与所述多个不同的异常检测模型对应的权重对所述多个异常检测结果进行分析包括：

3.根据权利要求2所述的方法，其特征在于，基于分析结果判断是否存在异常，并根据判断结果确定是否存在异常事件包括：

将所述加权平均值与阈值进行比较；

4.根据权利要求1-3中任一项所述的方法，其特征在于，在确定存在异常事件的情况下，该方法还包括：

根据预设规则库查找当前异常事件对应的节点的上级节点；

判断是否存在所述上级节点；

根据判断结果确定根源事件；

判断是否存在所述下级节点；

判断所述下级节点是否有溯源记录；

5.根据权利要求4所述的方法，其特征在于，根据判断结果确定根源事件包括：

在未发生告警的情况下，确定当前异常事件为根源事件；

6.根据权利要求5所述的方法，其特征在于，所述多个不同的异常检测模型包括：基于曲线平滑性的检测模型、基于绝对值的时间周期检测模型、基于振幅的时间周期检测模型、基于正太分布的异常检测模型、基于指数加权平均的异常检测模型和基于样本数据的异常检测模型。

7.根据权利要求6所述的方法，其特征在于，所采集的数据包括运行状态数据和运行环境数据。

8.根据权利要求7所述的方法，其特征在于，在根据所述预设规则库查找当前异常事件对应的节点的下级节点之前，该方法还包括：记录溯源过程。