CN103209094A

CN103209094A - 一种基于事件的故障定位系统及方法

Info

Publication number: CN103209094A
Application number: CN2013100769847A
Authority: CN
Inventors: 谭建龙; 杜翠兰; 王晓岩; 刘萍; 张宇; 樊冬进
Original assignee: Institute of Information Engineering of CAS; National Computer Network and Information Security Management Center
Current assignee: Institute of Information Engineering of CAS; National Computer Network and Information Security Management Center
Priority date: 2013-03-11
Filing date: 2013-03-11
Publication date: 2013-07-17
Anticipated expiration: 2033-03-11
Also published as: CN103209094B

Abstract

本发明涉及一种基于事件的故障定位系统及方法，包括实时采集事件信息的事件采集模块；将采集的事件信息进行汇总并传给事件流数据库的事件接收模块；将用户制定的故障检测规则写入规则数据库，还用于对故障信息进行显示报警的交互模块；将故障检测规则自动转化生成SQL语句的规则转换模块；用于定义数据流模型，并根据SQL语句对事件进行检测分析的事件检测分析模块；本发明提出的基于集合的事件流模型，并定义了相应的集合操作，用户只需通过选择集合操作即可制定故障检测规则，且系统可将故障检测规则自动转换成相应的SQL语句，解决了用户难以掌握复杂描述语言的问题，本方法实现简单，大大简化了故障定位操作，提高了故障定位效率。

Description

一种基于事件的故障定位系统及方法

技术领域

本发明涉及计算机、网络信息安全等技术领域，尤其涉及一种基于事件的故障定位系统及方法。

背景技术

近年来，分布式计算系统的规模越来越大、行为越来越复杂难控，系统中出现的各种故障也呈指数级增长，造成了非常严重的危害和损失，并且出现问题时对故障的排查、定位难度进一步加大。

传统的跟踪程序运行轨迹以判断程序运行正确与否的方法，在分布式监控信息的交互上消耗过大而且对目标程序侵入性高，已经难以满足软件行为分析的需求。

通过复杂事件的处理及时发现和定位系统故障，这种需求在事件大量、快速、不间断发生的分布式监控环境中显得尤为迫切。它可以利用有意义的信息状态变化事件分析系统行为，进而判断系统的运行状况，及时发现系统故障并定位，保证系统的健康运行。当前已有的复杂事件描述语言大多数是基于SQL的方法来描述复杂事件，数据流查询语言重点关注数据而非事件的组合，很少关注排序等其他时间关系，通常对表示发生时间的字段进行排序来识别单数据流的时序关系，采用连接、选择等SQL操作子识别多数据流的时序关系。最为典型的数据流查询语言是CQL，CQL在数据流上应用SQL：对每个时间点，利用滑动窗口这种流到关系转换的操作，所有接收到的数据流都被转换为关系；之后的查询评估都被作为普通的SQL查询。但是这样做就需要非常复杂的语句来描述，另外数据流查询语言不提供流到流的转换操作，因此就必须扩展数据流查询语言，这又增加了用户操作的难度。

因此，现有的数据流查询语言对于普通用户而言比较复杂，难以掌握。

事件关联技术是全新的故障管理策略，简单地说，事件关联就是对观测到的异常事件从语义上通过相关算法发现并定位真正故障原因的过程。事件关联过程寻找故障源，对于无法确诊的故障，事件关联步骤排除由网元相关性和依赖性引发的冗余事件信息，提供精简的症状视图给网管人员，以利于网管人员作迸一步的故障诊断。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于事件的故障定位系统及方法，以解决故障定位过程中，复杂事件描述语音比较复杂，难以掌握的问题，以简化故障定位操作，提高故障定位效率。

本发明解决上述技术问题的技术方案如下：一种基于事件的故障定位方法，包括，

步骤1：事件采集模块实时采集分布式系统的事件信息，并传送至事件接收模块；

步骤2：所述事件接收模块将接收的事件信息进行汇总，并传送至事件流数据库进行存储；

步骤3：用户通过所述交互模块编写故障检测规则，并将故障检测规则传送至规则数据库进行存储；

步骤4：所述规则转换模块提取规则数据库中的故障检测规则进行自动转化生成SQL语句，并将SQL语句传送至事件检测分析模块；

步骤5：所述事件检测分析模块预先定义数据流模型，并根据接收的SQL语句对事件流数据库中的事件进行检测分析，将检测出的故障信息传送至故障数据库进行存储；

步骤6：所述交互模块提取故障数据库的故障信息进行报警。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述技术方案还包括用户通过交互模块到故障数据库对故障信息进行分类查询，到事件数据库对事件信息进行分类查询。

进一步，所述事件流模型包括的元素有事件、事件属性值对、事件属性名称、事件属性值、事件集合和故障，且上述所有元素均用集合表示。

进一步，所述故障定义为满足特定条件的事件集合。

进一步，所述每个属性值对包括一个事件属性名称和该名称对应的事件属性值。

进一步，所述事件流模型包括的各个元素分别用一个字母表示。

进一步，所述步骤5中用户通过所述交互模块编写故障检测规则是通过现在相应的集合操作实现的，所述集合操作包括选择操作、连接操作、分组操作和投影操作。

本发明的有益效果是：本发明提出了一种基于集合的事件流模型，将事件进行了形式化定义，用集合来表示事件，并定义了相应的集合操作，用户只需选择相应的集合操作即可制定相应的故障检测规则，且根据定义的数据流模型将故障检测规则自动转换成相应的SQL语句，这样用户只需掌握几个简单的集合操作，便可以定义复杂的故障检测规则，可以方便快速地发现系统故障并定位，本方法实现简单，大大简化了故障定位操作，提高了故障定位效率。

本发明解决上述技术问题的技术方案如下：一种基于事件的故障定位系统，包括若干个事件采集模块、事件接收模块、事件流数据库、交互模块、规则数据库、规则转换模块、事件检测分析模块和故障数据库；

所述各个事件采集模块用于实时采集分布式系统的事件信息，并传送至事件接收模块；

所述事件接收模块用于将接收的事件信息进行汇总，并传送至事件流数据库；

所述事件流数据库用于接收汇总的事件信息并存储；

所述交互模块用于用户写入故障检测规则，并将故障检测规则传送至规则数据库；还用于提取故障数据库中的故障信息进行显示报警；

所述规则数据库用于接收故障检测规则并存储；

所述规则转换模块用于提取规则数据库中的故障检测规则进行自动转化生成SQL语句，并将SQL语句传送至事件检测分析模块；

所述事件检测分析模块用于定义数据流模型，并根据接收的SQL语句对事件流数据库中的事件进行检测分析，将检测出的故障信息传送至故障数据库；

所述故障数据库用于存储故障信息并供交互模块提取显示。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述交互模块包括规则配置单元、故障报警单元、故障查询单元、和事件查询单元；

所述规则配置单元用于用户通过定义相应的集合操作制定故障检测规则，并将故障检测规则传送给规则数据库；

所述故障报警单元用于实时展示故障数据库中的故障；

所述故障查询单元用于根据用户输入的查询条件在故障数据库中进行分类查询，并显示查询结果；

所述事件查询单元用于查询事件流数据库中的事件，并显示查询结果。

进一步，所述故障定义为满足特定条件的事件集合。

进一步，所述集合操作包括选择操作、连接操作、分组操作和投影操作。

本发明的有益效果是：本发明提出了一种基于集合的事件流模型，将事件进行了形式化定义，用集合来表示事件，并定义了相应的集合操作，用户只需选择相应的集合操作即可制定相应的故障检测规则；且根据定义的数据流模型故障检测规则自动转换成相应的SQL语句，这样用户只需掌握几个简单的集合操作，便可以定义复杂的故障检测规则，进而方便快速的定位分布式系统中的故障，并进行报警；本系统还可对分布式系统中存在的故障进行分类查询，还可以对系统中的事件进行查询，本系统结构简单，实现容易，成本低廉，性能稳定。

附图说明

图1为本发明所述一种基于事件的故障定位系统框图；

图2为本发明所述事件流模型中各信息项的符号定义表；

图3为本发明所述一种基于事件的故障定位方法流程图。

附图中，各标号所代表的部件列表如下：

1、事件采集模块，2、事件接收模块，3、事件流数据库，4、交互模块，5、规则数据库，6、规则转换模块，7事件检测分析模块，8、故障数据库，401、规则配置单元，402、故障报警单元，403、故障查询单元，404、事件查询单元。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种基于事件的故障定位系统，包括若干个事件采集模块1、事件接收模块2、事件流数据库3、交互模块4、规则数据库5、规则转换模块6、事件检测分析模块7和故障数据库8；

所述各个事件采集模块1用于实时采集分布式系统的事件信息，并传送至事件接收模块2；

所述事件接收模块2用于将接收的事件信息进行汇总，并传送至事件流数据库3；

所述事件流数据库3用于接收汇总的事件信息并存储；

所述交互模块4用于用户写入故障检测规则，并将故障检测规则传送至规则数据库5；还用于提取故障数据库8中的故障信息进行显示报警；

所述规则数据库5用于接收故障检测规则并存储；

所述规则转换模块6用于提取规则数据库5中的故障检测规则进行自动转化生成SQL语句，并将SQL语句传送至事件检测分析模块6；

所述事件检测分析模块6用于定义数据流模型，并根据接收的SQL语句对事件流数据库中的事件进行检测分析，将检测出的故障信息传送至故障数据库8；

所述故障数据库8用于存储故障信息并供交互模块提取显示。

其中，所述交互模块4包括规则配置单元401、故障报警单元402、故障查询单元403、和事件查询单元404；

所述规则配置单元401用于用户通过定义相应的集合操作制定故障检测规则，并将故障检测规则传送给规则数据库5；

所述故障报警单元402用于实时展示故障数据库8中的故障；

所述故障查询单元403用于根据用户输入的查询条件在故障数据库8中进行分类查询，并显示查询结果；

所述事件查询单元404用于查询事件流数据库中的事件，并显示查询结果。

其中，所述事件流模型包括事件、事件属性值对、事件属性名称、事件属性值、事件集合和故障。

其中，所述故障定义为满足特定条件的事件集合。

其中，所述每个属性值对包括一个事件属性名称和该名称对应的事件属性值。

其中，所述集合操作包括选择操作、连接操作、分组操作和投影操作

为了方便说明，定义了如图2中的若干符号，下面对这些符号进行详细的说明。在本发明中，通过采集分布式计算机系统运行时产生的若干信息，比如：网络流量、丢包率、cpu使用率等。每一种信息表示一种事件属性名称，用a表示，对于每一个a都有一个对应的事件属性值，用v表示。用一个属性名称和其对应的事件属性值表示一个事件属性值对，记为p。事件用p的集合来表示，事件集合记为R。故障定义为满足特定条件的事件集合，记为F。对事件集合R的操作有4中，分别为：选择条件、连接条件、分组条件和投影条件，下面介绍这4中操作的定义。

事件集合选择：就是从一个大的事件集合里选出一部分符合某种条件的小的事件集合

σC(R)={t|tR∧C(t)=真}

其中C是选择条件，R是选择操作作用的事件集合，C：p.a=k and p.v比较关系运算符比较值，C=C1and C2、C=C1or C2。

表示t是事件集合R中的一个事件。该运算的结果是一个事件集合。

事件集合连接：将多个事件合并成为一个事件，比如同一个IP上发生的两个事件，可以把这两个事件合起来看做一个事件

t1Jt2={pt1,pt2|pt1∈t1∧pt2∈t2∧J(pt1,pt2)=真}

其中J为连接条件，J:pt1.a=k1and pt2.a=k2and pt1.v比较运算符pt2.v，J=J1and J2、J=J1or J2。

事件集合分组：将一个事件集合按照某个条件分为多个事件集合，比如将一个包含时间属性的事件集合，按照事件段分为多个事件集合

GroupG(R)H={R1,R2……|G(p)=真and H(R’)=真}

将事件集合R按照G的值划分为多个子事件集合，并且子集合满足条件H（H可以为空）,其中G：p.a=k、G=G1and G2、H:p.a=k and p.v(Sum(p.v)、AVG(p.v))比较关系运算符比较值H=H1and H2、H=H1or H2。

事件集合投影：将事件的属性减少，比如原来一个事件包含5个属性，忽略其中2个属性，就变为只有3个属性的事件集合

πP(t)={p|p∈t and P(p)=“真”}

其中p为事件t的事件属性值对，P为投影条件，P：p.a=k、P=P1and P2。

如图3所示，一种基于事件的故障定位方法，包括，

步骤6：所述交互模块提取故障数据库的故障信息进行报警。

其中，还包括用户通过交互模块到故障数据库对故障信息进行分类查询，到事件数据库对事件信息进行分类查询。

其中，所述故障定义为满足特定条件的事件集合。

其中，所述事件流模型内的各项信息分别用一个字母表示。

其中，所述集合操作包括选择操作、连接操作、分组操作和投影操作。

本发明中，基于事件的故障定位系统及方法的具体实现包括如下：

本发明所述的基于事件的故障定位系统简称为DCEP。

1）在分布式计算机系统中部署事件采集模块；

事件采集模块需要部署到待检测的分布式计算机系统的需要采集系统状态的各个计算机上，并且DCEP需要的信息在所述计算机上均可以被事件采集模块获取。

2）在一台与所有事件采集模块相连通的计算机上部署事件接收模块以及事件流数据库（事件接收模块与事件流数据库也可分别在不同的计算机上）；

事件采集模块需要将采集到的事件信息发送给事件接收模块，事件接收模块汇总各个事件采集模块发送过来的事件信息，存入事件流数据库。

3）在一台可以访问事件流数据库和规则数据库的计算机上部署事件检测分析模块以及故障数据库（其中事件检测分析模块与故障数据库也可部署在不同的计算机上）；

所述事件检测分析模块需要访问事件流数据库和规则数据库，通过事件流数据库和规则数据库来检测分布式系统中存在的故障，将检测出来的故障存入故障数据库。

4）在一台可以访问事件流数据库、规则数据和和故障数据库的计算机上部署交互模块；

用户可以通过交互模块的规则写入单元将故障检测规则写入规则数据库，以实现添加修改规则或对规则数据库进行修改；还可以对检测出的故障通过故障报警单元进行显示报警；还可以通过故障查询单元输入查询条件，在故障数据库中对故障进行分类查询；还可以通过事件查询单元到事件流数据库中查询用户感兴趣的事件信息。

本发明提出了一种基于集合的事件流模型，将事件进行了形式化定义，用集合来表示事件，并定义了相应的操作。这样用户只需掌握几个简单的集合操作，便可以定义复杂的故障规则。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于事件的故障定位方法，其特征在于，包括，

步骤6：所述交互模块提取故障数据库的故障信息进行报警。

2.根据权利要求1所述一种基于事件的故障定位方法，其特征在于，还包括用户通过交互模块到故障数据库对故障信息进行分类查询，到事件数据库对事件信息进行分类查询。

3.根据权利要求1所述一种基于事件的故障定位方法，其特征在于，所述事件流模型包括的元素有事件、事件属性值对、事件属性名称、事件属性值、事件集合和故障，且上述所有元素均用集合表示。

4.根据权利要求3所述一种基于事件的故障定位方法，其特征在于，所述故障定义为满足特定条件的事件集合。

5.根据权利要求3所述一种基于事件的故障定位方法，其特征在于，所述每个属性值对包括一个事件属性名称和该名称对应的事件属性值。

6.根据权利要求3所述一种基于事件的故障定位方法，其特征在于，所述事件流模型包括的各个元素分别用一个字母表示。

7.根据权利要求1所述一种基于事件的故障定位方法，其特征在于，所述步骤5中用户通过所述交互模块编写故障检测规则是通过现在相应的集合操作实现的，所述集合操作包括选择操作、连接操作、分组操作和投影操作。

8.一种基于事件的故障定位系统，其特征在于，包括若干个事件采集模块、事件接收模块、事件流数据库、交互模块、规则数据库、规则转换模块、事件检测分析模块和故障数据库；

所述事件流数据库用于接收汇总的事件信息并存储；

所述规则数据库用于接收故障检测规则并存储；

所述故障数据库用于存储故障信息并供交互模块提取显示。

9.根据权利要求8所述一种基于事件的障定位系统，其特征在于，所述交互模块包括规则配置单元、故障报警单元、故障查询单元、和事件查询单元；

所述故障报警单元用于实时展示故障数据库中的故障；

10.根据权利要求8所述一种基于事件的故障定位系统，其特征在于，所述事件流模型包括的元素有事件、事件属性值对、事件属性名称、事件属性值、事件集合和故障，且上述所有元素均用集合表示。

11.根据权利要求10所述一种基于事件的故障定位系统，其特征在于，所述故障定义为满足特定条件的事件集合。

12.根据权利要求10所述一种基于事件的故障定位系统，其特征在于，所述每个属性值对包括一个事件属性名称和该名称对应的事件属性值。

13.根据权利要求9所述一种基于事件的故障定位系统，其特征在于，所述集合操作包括选择操作、连接操作、分组操作和投影操作。