CN109885689A - 一种基于规则引擎的实时分类统计日志的方法及系统 - Google Patents

Abstract

本发明公开了一种基于规则引擎的实时分类统计日志的方法及系统，属于日志统计技术领域。本发明的基于规则引擎的实时分类统计日志的方法，该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。该发明的基于规则引擎的实时分类统计日志的方法配置简单，可扩展性强，适应于不同的统计场景，并且能够为日志统计提供更加精确的数据源，避免查询范围过大，具有很好的推广应用价值。

Description

一种基于规则引擎的实时分类统计日志的方法及系统

技术领域

本发明涉及日志统计技术领域，具体提供一种基于规则引擎的实时分类统计日志的方法及系统。

背景技术

传统的日志统计方式，需要经过日志采集、解析、入库、检索等多个环节。通常在日志采集阶段，会进行日志过滤，对不需要统计的日志进行筛选；在日志解析环节，一般会解析出日志的几个标准字段，比如日志发生时间、日志源(IP地址或主机名)、日志级别、日志标题、日志正文等等，通过日志源匹配资源表也会增加其他的设备属性；在入库环节，会将日志作为索引存入搜索引擎持久化；最后在检索阶段，一般通过关键字、或者正则表达式，从海量日志里检索出符合条件的日志，然后再进行数量的统计分析。

对于不同设备来源的日志，所统计的属性指标也各不相同，比如防火墙日志，一般统计攻击来源、攻击目的，攻击次数、攻击方式，对于系统登录日志，一般统计登录用户、登录次数、登录是否成功等，而这些属性指标一般需要从日志标题或者正文中解析才能得到，标准的几个日志字段显然是不足以支持统计分析，需要分类型进行定制化的解析。

现有的日志统计方案中，一般通过在日志入库后，再进行统计分析，检索难度大，效率低下。

发明内容

本发明的技术任务是针对上述存在的问题，提供一种配置简单，可扩展性强，适应于不同的统计场景，并且能够为日志统计提供更加精确的数据源，避免查询范围过大的基于规则引擎的实时分类统计日志的方法。

本发明进一步的技术任务是提供一种基于规则引擎的实时分类统计日志的系统。

为实现上述目的，本发明提供了如下技术方案：

一种基于规则引擎的实时分类统计日志的方法，该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。

本发明中的规则引擎为Drools，是一个基于RETE算法的产生式规则引擎的实现。

该基于规则引擎的实时分类统计日志的方法通过在采集数据时引入规则引擎，在日志入库之前就已经完成日志的分类整理，在日志统计时可以将某一类型的日志作为数据源进行统计，同时针对不同的日志类型可以自定义不同的属性指标作为统计字段，大大提供了日志统计的效率。

作为优选，该方法具体包括以下步骤：

S1、日志类型自定义，提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称；

S2、日志属性自定义，对数据自定义的类型，设置自定义的日志属性；

S3、日志类型关系维护，多个日志类型之间维护父子关系；

S4、自定义统计报表，提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

作为优选，步骤S1中，所述规则条件包括候选字段、操作符和表达式，候选字段为日志的标准字段，根据字段类型动态改变操作符，根据所选操作符的不同，表达式支持输入数字、字符串以和正则表达式。

操作符支持＝、！＝、>、<、>＝、<＝、like、regex、in、not in等。多个规则条件之间可以用or、and、括号等操作符组合在一起。

作为优选，步骤S2中，提供可视化的配置界面，需要配置自定义属性名称、是否指标字段、是否设备字段、是否可枚举和可选择预定的解析类。

对于可枚举的属性，需要定义枚举值以及对应解析的正则表达式，对于不可枚举的属性则只需要配置解析的正则表达式即可。即通过正则表达式，从日志中抽取出所定义字段的值。对于某些字段，比如攻击来源所在的国家或地区，难以从日志里通过正则解析出来，则可以通过选择预定义的解析类来配置。

作为优选，步骤S3中，子类型继承父类型所有的属性，同时子类型可扩展父类型的属性。一方面可以避免属性的重复配置，另一方面也符合日志类型统计的实际需要。比如防火墙的日志可以作为父类型，而DDoS攻击日志可以作为其一种子类型，在统计防火墙日志时，统计范围也会包括DDoS攻击日志，而在统计DDoS攻击日志时，则就只会有DDoS日志。

日志类型自定义、日志属性自定义和日志类型关系维护配置成功后，在日志采集程序启动时，会加载所有的规则文件，然后对采集到的每一条日志，会执行所有的规则，从而给日志增加类型和属性。同一条日志有可能会匹配多个规则，这样就会给这个日志增加多个类型。比如一条日志既有可能是Unix系统日志，也可以同时是一条登录日志。Drools可靠的性能和稳定性会保证规则正确高效的执行。

如果采集程序启动后，用户修改了配置造成规则文件发生改变，系统通过消息队列实时的发送通知消息给采集程序，促使采集程序重新加载规则。

日志执行完规则后，会进入mongodb进行存储，mongodb是一个文档型数据库，每一条存储的记录都可以有不同的列，这正好适应了不同的日志具有不同的类型和属性，同时mongodb采用wiredtiger存储引擎可以大幅提高入库和检索效率，为大数据查询提供保障。为了进一步提高查询效率，采用空间换时间的方法，对某一个类型的日志，单独入一个日志表，这样检索某个类型的日志直接从相应的日志表里查询即可。

作为优选，步骤S4中，所述数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置，对于不同的日志类型可以选择不同的日志属性；图形样式包括柱状图、曲线图、面积图等多种统计样式。每种样式已经预定义了横轴和纵轴的属性，比如多设备多指标对比图，横轴是设备字段，纵轴是指标字段，展示为柱状图。用户直接选择一种图形样式就可以展示对应的统计图，省去了繁琐的配置。

一种基于规则引擎的实时分类统计日志的系统，该系统包括以下模块：

日志类型自定模块：用于提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称；

日志属性自定义模块：用于对数据自定义的类型，设置自定义的日志属性；

日志类型关系维护模块：用于多个日志类型之间维护父子关系；

自定义统计报表模块：用于提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

作为优选，所述日志类型自定模块、日志属性自定义模块、日志类型关系维护模块配置成功后，保存为配置表的元数据，同时保存为规则文件，通过规则引擎实现，在日志采集时加载并执行规则。

作为优选，所述自定义统计报表模块中的数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置。

与现有技术相比，本发明的基于规则引擎的实时分类统计日志的方法具有以下突出的有益效果：

(一)本发明的规则配置完全通过可视化的界面向导完成，避免了对复杂的规则文件的直接编辑，使规则引擎做到了更容易配置和使用；

(二)本发明通过在日志采集时加载和执行规则文件，可以在采集时给日志标记不同的类型，同时针对不同的类型增加不同的日志属性，并将不同类型的日志持久化到不同的日志表里，有效的做到了日志实时的分类整理，为日志统计提供了更加精确的数据源，避免查询范围过大；

(三)本发明通过一个自定义的日志报表配置，通过选取日志类型来限定数据源，通过选取对应的自定义属性作为统计字段，通过直接选取预定义的图形样式来展示统计结果，配置简单，可扩展性强，适应于不同的统计场景，具有良好的推广应用价值。

附图说明

图1是本发明所述基于规则引擎的实时分类统计日志的方法额流程图。

具体实施方式

下面将结合附图和实施例，对本发明的基于规则引擎的实时分类统计日志的方法及系统作进一步详细说明。

实施例

如图1所示，本发明的基于规则引擎的实时分类统计日志的方法，该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。具体包括以下步骤：

S1、日志类型自定义，提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称。

规则条件包括候选字段、操作符和表达式，候选字段为日志的标准字段，根据字段类型动态改变操作符，操作符支持＝、！＝、>、<、>＝、<＝、like、regex、in、not in等。根据所选操作符的不同，表达式支持输入数字、字符串以和正则表达式。多个规则条件之间可以用or、and、括号等操作符组合在一起。

S2、日志属性自定义，对数据自定义的类型，设置自定义的日志属性。

日志属性自定义中提供可视化的配置界面，需要配置自定义属性名称、是否指标字段、是否设备字段、是否可枚举和可选择预定的解析类。

对于可枚举的属性，需要定义枚举值以及对应解析的正则表达式，对于不可枚举的属性则只需要配置解析的正则表达式即可。即通过正则表达式，从日志中抽取出所定义字段的值。对于某些字段，比如攻击来源所在的国家或地区，难以从日志里通过正则解析出来，则可以通过选择预定义的解析类来配置。

S3、日志类型关系维护，多个日志类型之间维护父子关系。

子类型继承父类型所有的属性，同时子类型可扩展父类型的属性。一方面可以避免属性的重复配置，另一方面也符合日志类型统计的实际需要。比如防火墙的日志可以作为父类型，而DDoS攻击日志可以作为其一种子类型，在统计防火墙日志时，统计范围也会包括DDoS攻击日志，而在统计DDoS攻击日志时，则就只会有DDoS日志。

日志类型自定义、日志属性自定义和日志类型关系维护配置成功后，在日志采集程序启动时，会加载所有的规则文件，然后对采集到的每一条日志，会执行所有的规则，从而给日志增加类型和属性。同一条日志有可能会匹配多个规则，这样就会给这个日志增加多个类型。比如一条日志既有可能是Unix系统日志，也可以同时是一条登录日志。Drools可靠的性能和稳定性会保证规则正确高效的执行。

如果采集程序启动后，用户修改了配置造成规则文件发生改变，系统通过消息队列实时的发送通知消息给采集程序，促使采集程序重新加载规则。

日志执行完规则后，会进入mongodb进行存储，mongodb是一个文档型数据库，每一条存储的记录都可以有不同的列，这正好适应了不同的日志具有不同的类型和属性，同时mongodb采用wiredtiger存储引擎可以大幅提高入库和检索效率，为大数据查询提供保障。为了进一步提高查询效率，采用空间换时间的方法，对某一个类型的日志，单独入一个日志表，这样检索某个类型的日志直接从相应的日志表里查询即可。

S4、自定义统计报表，提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置，对于不同的日志类型可以选择不同的日志属性；图形样式包括柱状图、曲线图、面积图等多种统计样式。每种样式已经预定义了横轴和纵轴的属性，比如多设备多指标对比图，横轴是设备字段，纵轴是指标字段，展示为柱状图。用户直接选择一种图形样式就可以展示对应的统计图，省去了繁琐的配置。

本发明的基于规则引擎的实时分类统计日志的系统，该系统包括以下模块：

日志类型自定模块：用于提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称。

日志属性自定义模块：用于对数据自定义的类型，设置自定义的日志属性。

日志类型关系维护模块：用于多个日志类型之间维护父子关系。

日志类型自定模块、日志属性自定义模块、日志类型关系维护模块配置成功后，保存为配置表的元数据，同时保存为规则文件，通过规则引擎实现，在日志采集时加载并执行规则。

自定义统计报表模块：用于提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。自定义统计报表模块中的数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置。

以上所述的实施例，只是本发明较优选的具体实施方式，本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。

Claims (9)

1.一种基于规则引擎的实时分类统计日志的方法，其特征在于：该方法引入规则引擎，通过日志类型自定义、日志属性自定义、日志类型关系维护和自定义日志报表，根据引擎规则，在日志采集时对日志进行分类，针对不同的日志类型自动增加不同的属性作为统计指标，并通过自定义日志报表选取日志类型和指标进行统计和展示。

2.根据权利要求1所述的基于规则引擎的实时分类统计日志的方法，其特征在于：该方法具体包括以下步骤：

S1、日志类型自定义，提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称；

S2、日志属性自定义，对数据自定义的类型，设置自定义的日志属性；

S3、日志类型关系维护，多个日志类型之间维护父子关系；

S4、自定义统计报表，提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

3.根据权利要求2所述的基于规则引擎的实时分类统计日志的方法，其特征在于：步骤S1中，所述规则条件包括候选字段、操作符和表达式，候选字段为日志的标准字段，根据字段类型动态改变操作符，根据所选操作符的不同，表达式支持输入数字、字符串以和正则表达式。

4.根据权利要求3所述的基于规则引擎的实时分类统计日志的方法，其特征在于：步骤S2中，提供可视化的配置界面，需要配置自定义属性名称、是否指标字段、是否设备字段、是否可枚举和可选择预定的解析类。

5.根据权利要求4所述的基于规则引擎的实时分类统计日志的方法，其特征在于：步骤S3中，子类型继承父类型所有的属性，同时子类型可扩展父类型的属性。

6.根据权利要求5所述的基于规则引擎的实时分类统计日志的方法，其特征在于：步骤S4中，所述数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置。

7.一种基于规则引擎的实时分类统计日志的系统，其特征在于：该系统包括以下模块：

日志类型自定模块：用于提供可视化的配置界面，需要配置规则名称、规则条件、规则描述、以及满足规则后设置的日志类型名称；

日志属性自定义模块：用于对数据自定义的类型，设置自定义的日志属性；

日志类型关系维护模块：用于多个日志类型之间维护父子关系；

自定义统计报表模块：用于提供可视化的配置界面，支持配置自定义统计名称、数据源、报表展示的列、设备字段、指标字段和图形样式。

8.根据权利要求7所述的基于规则引擎的实时分类统计日志的系统，其特征在于：所述日志类型自定模块、日志属性自定义模块、日志类型关系维护模块配置成功后，保存为配置表的元数据，同时保存为规则文件，通过规则引擎实现，在日志采集时加载并执行规则。

9.根据权利要求7或8所述的基于规则引擎的实时分类统计日志的系统，其特征在于：所述自定义统计报表模块中的数据源选取日志类型，日志类型来源于日志类型自定义的配置；报表展示的列、设备字段、指标字段来源于日志属性自定义的配置。