CN105843878B - 一种it系统事件标准化实现方法 - Google Patents

Abstract

本发明涉及一种IT系统事件标准化实现方法，将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key‑value格式存储，key‑value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可，无需修改代码，从而大大的提高了灵活性、准确性，以及加快了处理速度。

Description

一种IT系统事件标准化实现方法

技术领域

本发明涉及IT运维领域，主要是一种IT系统事件标准化实现方法。

背景技术

随着企业IT架构的不断扩展，服务器、存储设备的数量越来越多，网络环境也变得更加复杂，网络中的消息日志格式多种多样，没有一定的规律可寻，从而给运维工作带来了巨大的挑战，特别是分支机构众多的大型企业或垂直层级较多的政府单位，为了保障良好的用户体验和数据时效性，运维工作显得十分艰巨。IT监控系统每分钟要进行上万个数据采集，而对采集上来的海量数据进行处理和分析是更难的挑战。如果数据未经过处理，这就对运维没有任何意义和价值。因此，在大数据集中趋势越来越明显的今天，海量处理IT设备采集到的数据，使用不同协议采集IT设备信息差异较大，如系统日志、安全日志、性能越界事件、第三方事件等。其特点是数据量大，消息格式差别大，数据复杂，可读性差难于分析处理，那么就需要一套事件标准化技术来将不同设备或不同协议采集到的消息进行标准化处理，避免因不同协议采集同一个设备产生不同的告警，并通过提取关键信息，输出方便运维人员直观且容易理解的信息。

有鉴于此，特提出本发明。

发明内容

本发明的目的在于克服现有技术存在的不足，而提供一种IT系统事件标准化实现方法，通过事件化技术，可以将接收到的各类IT系统原始消息，统一转成标准事件。

本发明的目的是通过如下技术方案来完成的。这种IT系统事件标准化实现方法，将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key-value格式存储，key-value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可，无需修改代码，从而大大的提高了灵活性、准确性，以及加快了处理速度，并且有效的降低了IT运维成本。

更进一步的，具体步骤如下：

(S1)、接入各个IT软、硬件采集到的原始事件(syslog、snmp、日志等)，记为原始消息；

(S2)、将S1接入的消息转换成key-value格式存储的标准消息，为后续标准化处理提供铺垫；

(S3)、加载规则库，将已定义的规则文件加载到内存中；

(S4)、提取S2得到的标准消息关键字段，将关键字段与S3中的规则库逐一匹配；

(a)、规则匹配优先级由权值决定，权值越高，匹配的优先级越高；默认所有规则的权值为0。

(b)、当某一个规则匹配成功后，会将该规则的权值+1；

(S5)、若匹配成功，那么标准消息会归类到匹配成功的规则；若匹配失败，会流转到下个规则进行匹配，直到匹配成功后返回；若所有规则库都无法匹配，那么会将该消息归类为未知事件处理，未知事件默认会提取所有属性；

(S6)、提取匹配成功的规则中定义的事件类型和字段提取表达式；将S2得到的标准消息增加事件类型属性，然后执行规则定义的表达式，来将标准消息中的属性转成标准事件中的属性；

(S7)、规则权值计算，即将消息匹配的规则权值+1,提高已匹配规则的优先级，从而提高标准消息规则匹配速度。

本发明的有益效果为：本发明用于标准化处理各类IT软件、硬件所产生的原始事件，提高了原始事件识别的准确性，减少因不同协议采集同一设备信息产生冗余事件；本发明可有效解决IT运维领域中，软硬件的原始消息难以理解，难以归类处理，并有助于提高告警平台的处理速度，降低运维成本，提高工作效率。

附图说明

图1为本发明中各模块的运行流程图；

如上文所示描述了数据流向；各IT软硬件系统发送的消息，首先经过消息接入与消息转换，将接入的不同协议的消息转换形成系统易识别的标准消息；其次识别消息，将标准消息应用规则库进行匹配，匹配成为系统容易理解的标准事件；

图2为本发明中的步骤S3到S6消息识别过程示意图；

图3为本发明中描述了规则权值计算后的优先级变化示意图；

具体实施方式

下面将结合附图和实施例对本发明做详细的介绍：

如图1所示，本发明所述的事件标准化技术，共涉及5个单元，包括原始消息接入单元、消息转换单元、规则解析单元、消息识别单元、规则算法单元。

1.原始消息接入单元，用于采集监测设备或者IT业务系统后，将采集结果以syslog,snmp,日志系统发送到告警平台，采集结果可能是CPU事件，端口上下线事件，内存使用率事件，oracle数据库表空间事件等，告警平台的原始消息接入模块，接收到采集器的发送原始事件后，对原始事件进行数据包解析，消息解析方式根据协议类型处理，一般syslog协议数据包主要处理imestamp,hostName,isRepeat,facility这些字段数据。一般snmp则需要解析peerAddress、pdu、securityModel、securityLevel、maxSizeResponsePDU、pduHandle、stateReference等字段，还需要解析pdu、peerAddress子属性，以获得发送端的IP地址，端口。

2.消息转换单元，将不同协议消息转换成标准消息；标准消息一般由一些列的key-value组成，把原始消息中的字段名称作为key和字段值作为value

3.规则解析单元，即将规则库中的所有规则文件读取到内存中，并加载规则文件的内容，对规则中表达式做语法检查。

4.消息识别单元，根据标准消息的关键属性特征与规则中的表达式计算结果匹配，匹配成功则生成标准事件，未成功则归类为未知事件；snmp一般采用oid的匹配表达式匹配，syslog一般采用是否包含某个特殊字符来匹配。

5.规则算法单元，即为了提高规则匹配速度，增加了权值技术算法，让匹配次数大的规则，拥有更高的优先级。每一次匹配都会对权值进行一次累加，并与更高优先级的规则做一次比较，如果超过了更高优先级的规则，那么就会进行位置交换，位置交换在软件中的表达会复杂一些，具体可以看S7中的说明，以及查看效果如图3。

本发明的目的即是解决统一告警平台的不足，标准消息通过key-value方式存储，可实现接入不同协议的消息转换为统一的消息格式，并通过预置的规则库，有效的将不同协议的消息识别为标准事件，避免同一个消息来源，不同协议采集产生重复告警，提高了告警信息的可读性，从而提高了运维人员处理告警的效率。

本发明实现步骤如下：

S1、启动原始事件数据包接收服务，服务包含snmp、syslog、日志等。用于接收软、硬件采集客户端发送的原始消息，其格式由通信协议决定。

S2、转换S1接入的原始消息为标准消息，记为stdmsg，标准消息格式为key-value存储。

其格式定义：stdmsg＝key1:value1+key2:value2+...+keyn:valuen；若是syslog协议包，根据其协议特性，一般包含timestamp,hostName,isRepeat,facility,serverity,message等字段，这些字段名称作为key值，这些字段的值作为value。若是snmptrap,根据其协议特性一般包含peerAddress、pdu、securityModel、securityLevel、maxSizeResponsePDU、pduHandle、stateReference等字段；其中peerAddress是一个属性集合，我们在通过得到peerAddress中的发送端口port和发送主机名称hostName；将这些字段名称以及子属性字段名称作为Key,字段的值作为value；

S3、加载规则库，即将规则目录中的已定义的所有.rule文件解析到内存中。.rule文件内容格式符合xml文件规范。

规则文件主要有及4部分，分别是规则元数据定义、事件标准化表达式，事件合并表达式，告警分析表达式。

元数据定义主要说明规则的事件类型，关键属性定义；

事件标准化表达式主要是根据不同协议，定义关键字段匹配的表达式，以及普通字段值获取表达式定义。

事件合并表达式主要是根据定义关键字段，并根据关键字段判断是否作为事件合并依据。

告警分析表达式主要是事件转告警后，需要通过告警选择事件来源，定位出IT设备详细信息。

S4、提取S2得到的标准消息关键KEY字段，将关键字段与S3中的规则库匹配，规则匹配优先级由权值决定，权值越高，匹配的优先级越高，默认所有规则的权值为0。

当某一个规则匹配成功后，会将该规则的权值+1；与规则匹配主要根据S3中的规则定义的第二部分，事件标准化表达式中定义关键字段匹配；如trap关键字段表达式定义:ididmatch(trap.oid,'1.3.6.1.4.1.22014.1.3.3.1.1.1.32')；:id；

Trap一般是通过oid来确定事件类型。以上表达式可以判断是否端口上下线事件，其中”1.3.6.1.4.1.22014.1.3.3.1.1.1.32”这一串设备厂商按照规范定义的OID，这个Oid可以唯一确定属性。如syslog一条端口下线的表达式为：

“stdmsg.protocol＝＝'syslog'and stdmsg.message contains'PortShutdown'”

S5、若S4的规则表达式执行结果为匹配成功，那么标准消息会归类到匹配成功的规则；

定义的事件类型。

若匹配失败，会进行下个规则进行匹配，直到匹配成功后返回；

若所有规则库都无法匹配，那么会将该消息归类为未知事件处理，未知事件默认会提取所有属性。

S6、如S5所述，提取规则中的字段提取表达式。丰富S2得到的标准消息，增加事件类型属性，然后执行规则定义的表达式，将标准消息中的属性转成标准事件中的属性。

事件属性计算表达式calcu(getCalculExpr(rule,"serverity"))；getCalculExpr方法返回获取属性信息的计算表达式，calcu方法计算表达式的值。

以端口上下线规则计算为例，获取一般snmp属性,getCalculExpr返回的表达式结果为；

$fieldName＝trap[fieldoid]；

fieldName：需要获取的属性名称

fieldoid：属性所对应的OID

若获取端口告警等级字段则增加一些的计算，getCalculExpr返回的表达式结果为$fieldName＝trap['fieldoid']＝＝0？10:(60-trap['fieldoid']*10)；

S7、规则权值计算，即将消息匹配的规则权值+1,这样可以提高已匹配规则的优先级，从而提高标准消息规则匹配速度。权值优先级算法如下：

如附图2.假设本次匹配规则是4，规则4的权值+1得到值为5.将规则4与上一个更高权值的规则(规则3)进行比较,规则4>规则3，因此规则3和规则4应该互换存储位置，具体交换算法操作如下:

S71.将规则3的上一个变成规则4的上一个

S72.将规则4变成规则2的下一个

S73.将规则4的下一个变成规则3的下一个

S74.将规则5的上一个变成规则3

S75.将规则4的下一个变成规则3

S76.将规则3的上一个变成规则4。

本发明不局限于上述实施方式，不论在其形状或材料构成上作任何变化，凡是采用本发明所提供的结构设计，都是本发明的一种变形，均应认为在本发明保护范围之内。

Claims (2)

1.一种IT系统事件标准化实现方法，其特征是：将不同协议与内容的消息，转换成标准消息，并将标准消息与规则库匹配，通过标准消息的关键属性特征，应用规则库识别为标准事件；具体步骤如下：预先将不同协议包发送的原始消息，视为各个属性的集合，提取所有属性数据，采用统一的key-value格式存储，key-value存储的消息即为标准消息，然后提取标准消息的关键字段，应用规则库识别出消息所采用的协议类型，根据协议类型应用对应的规则，规则中定义需要匹配的关键属性，以及定义提取关键字段信息的表达式，当原始消息中的内容变更时，调整规则文件即可。

2.根据权利要求1所述的IT系统事件标准化实现方法，其特征在于：具体步骤如下：

(S1)、接入各个IT软、硬件采集到的原始事件，记为原始消息；

(S2)、将S1接入的消息转换成key-value格式存储的标准消息，为后续标准化处理提供铺垫；

(S3)、加载规则库，将已定义的规则文件加载到内存中；

(S4)、提取S2得到的标准消息关键字段，将关键字段与S3中的规则库逐一匹配；

(a)、规则匹配优先级由权值决定，权值越高，匹配的优先级越高；

(b)、当某一个规则匹配成功后，会将该规则的权值+1；

(S5)、若匹配成功，那么标准消息会归类到匹配成功的规则；若匹配失败，会流转到下个规则进行匹配，直到匹配成功后返回；若所有规则库都无法匹配，那么会将该消息归类为未知事件处理，未知事件默认会提取所有属性；

(S6)、提取匹配成功的规则中定义的事件类型和字段提取表达式；将S2得到的标准消息增加事件类型属性，然后执行规则定义的表达式，来将标准消息中的属性转成标准事件中的属性；

(S7)、规则权值计算，即将消息匹配的规则权值+1,提高已匹配规则的优先级，从而提高标准消息规则匹配速度。