CN109086195A - 基于日志通用性规则引擎的日志统计与分析系统及方法 - Google Patents

Abstract

本发明公开了一种基于日志通用性规则引擎的日志统计与分析系统，根据不同来源的日志，可以根据预处理后的结构化数据进行特征字段进行处理，可以灵活的配置用户需要的统计规则和指令规则，以及过滤规则；统计规则单条独立，指令规则实际应用较为广泛的是组合规则集，应用组合规则集处理日志数据，能够处理不同日志源数据的结果，通过规则负载均衡模块处理，将统计规则和指令分发到不同的进程或线程处理，负载均衡支持水平横向扩展，保证日志数据处理能力，较大地提升稳定性和处理日志的性能。

Description

基于日志通用性规则引擎的日志统计与分析系统及方法

技术领域

本发明涉及规则设计、规则解析和日志数据技术领域，特别涉及基于日志通用性规则引擎的日志统计与分析系统及方法。

背景技术

随着大数据时代的到来和进入业务与安全并行的时代，企业和公司已经高度重视各自业务发展的同时，如何优化调整业务资源配置、业务结构和保证业务安全可靠的运行，已然成为了企业内部的重中之重。

目前，企业开始利用自己的日志数据进行统计和分析，但企业往往是多业务并行，老业务稳定市场，新业务开拓市场。但往往因为业务的独特性，一个特定类的日志统计和分析系统已经不能满足企业用户的核心需求。为了满足企业用户的这个需求，基于日志通用规则引擎的离线日志统计和分析系统应运而生。

发明内容

本发明的目的是基于上述背景技术，提供基于日志通用性规则引擎的日志统计与分析系统及方法，可实现企业采用一个日志统计与分析系统，便可设定每类日志的规则轻松统计和分析出各类日志的相关数据。

为了达到上述的技术效果，本发明采取以下技术方案：

基于日志通用性规则引擎的日志统计与分析系统，包含日志配置模块、日志配置解析模块、规则负载均衡模块、日志源收集存储模块、日志标准化模块、日志丰富化模块、日志处理模块、日志告警模块及日志统计模块；

所述日志配置模块用于解析不同日志的相关配置信息并对每类日志进行统计需要配置化及分析需要配置化；

所述日志配置解析模块用于对配置的日志统计规则和指令进行解析，并对日志格式配置进行解析处理，其主要对配置的日志统计规则和指令(规则)进行解析，同时也对日志格式配置进行解析处理，解析后的规则配置加载到规则引擎内存中；

所述规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发，即可以接纳多个日志源数据进行处理，每个日志源的规则配置可以灵活的配置，因此这种情况下实际上规则配置量在一定程度上会浮动，为了减少引擎处理规则日志时耗费过多时间，特别地设计规则负载均衡模块进行处理，对配置的规则进行多进程或多线程分发，保证规则均衡分发；

所述日志源收集存储模块用于对日志源进行收集并存储；

所述日志标准化模块用于对日志源收集存储模块收集的日志数据类型进行结构化处理并最终生成规则引擎能够处理的数据类型，即对收集的日志数据类型进行结构化处理，最终生成规则引擎能够处理的数据类型，从日志存储消息队列中进行读取，例如对文本类型的日志数据进行正则提取响应的特征字段这特征值，进行后续的丰富化处理。还有标准化对数据脱敏、时间格式处理等；

所述日志丰富化模块用于对日志中的特征进行丰富化处理，日志中有很多特征需要进行丰富化处理，且这些丰富化依赖于日志类型，和日志类型可丰富化的特征数量；

所述日志处理模块用于设计统计规则、指令规则来处理日志数据，对于统计规则，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理，聚合计算出结果；对于指令规则，除了过滤规则处理和匹配表达式进行处理外，还需要通过研判表达式进行研判，只有当所有规则集中的所有研判条件研判成功后才会触发指令；

所述日志告警模块用于收集所有的告警数据并做告警逻辑优化处理，及对告警数据记录入库，其主要是规则指令部分使用，当规则指令的规则集全部触发后，指令将进行告警，该模块将把所有的告警数据收集起来，做告警逻辑优化处理，对真正告警的数据将记录入库；

所述日志统计模块用于收集日志处理模块中的统计数据，并对统计数据进行优化处理，最后将统计数据写入数据库。

进一步地，所述日志配置模块至少包含日志格式配置单元、统计规则配置单元、指令规则与指令配置单元；

所述日志格式配置单元用于解析系统运行过程中不同日志的相关配置信息，统计规则配置单元用于对每类日志进行统计规则的配置，其中，每个统计规则都可以统计该类日志的一个独特的统计项，指令规则与指令配置单元用于对每类日志进行指令规则的配置及指令配置，其中，每个指令规则都可以分析该类日志的一个独特的分析项。

进一步地，所述日志格式配置单元解析的不同日志的相关配置信息至少包含：日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段、系统分析处理时间窗口解析的时间字段、日志中解析或存储配置数据；在系统运行过程中，需要用到解析不同日志的相关配置信息，这些信息包括日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段如IP、系统分析处理时间窗口解析的时间字段、日志中解析或存储的一些配置，这些配置将为通用型规则引擎解析处理时做相应的适配，保证通用型规则引擎能解析统计和分析不同的日志数据；

和/或所述统计规则至少包含统计算法、统计别名、统计规则表达式、统计时间窗口、过滤规则表达式、统计字段；统计规则的配置即对每类日志进行统计需要配置化，每个统计规则可以统计该类日志的一个独特的统计项；

和/或所述指令规则至少包含规则别名、指令规则表达式、时间窗口、过滤规则表达式；和/或所述指令配置中配置的指令至少包含指令规则集、告警截止时间、告警周期、告警最大次数、指令别名，指令规则的配置即对每类日志进行分析需要配置化，每个指令规则可以分析该类日志的一个独特的分析项。

进一步地，所述日志源收集存储模块具体是采用日志收集插件进行日志源收集，和/或所述日志源收集存储模块存储日志源时是采用消息队列进行存储。

进一步地，所述日志丰富化模块对日志中的特征进行丰富化处理时至少包含IP丰富化处理、情报数据处理、黑白名单标签处理。

进一步地，所述日志处理模块还可设计过滤规则，且日志处理模块在运用统计规则处理日志数据时，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理并聚合计算出结果。

同时，本发明还公开了一种基于日志通用性规则引擎的日志统计与分析方法，具体包含以下步骤：

日志源收集及存储步骤：进行日志源收集与存储，并将存储的日志源数据提供给日志标准化处理步骤进行处理；

日志格式配置步骤：设定日志数据进行格式化配置，并提供给日志格式验证步骤；

日志格式验证步骤：接收日志格式配置步骤中的日志格式配置并对其做格式验证，并最终加载至日志标准化处理步骤；

日志标准化处理步骤：加载经日志格式验证步骤验证后的日志格式配置，从存储的日志源数据中读取响应的日志数据进行标准化处理，将处理后的日志数据提供给日志丰富化步骤：；

日志丰富化步骤：接收经日志标准化处理步骤处理的日志并进行丰富化处理，将处理后的日志数据提供给日志处理步骤；

日志规则配置步骤：设定统计规则的配置项；

统计规则解析步骤：解析经日志规则配置步骤配置的统计规则；

统计规则负载均衡步骤：接收统计规则解析步骤中解析的统计规则，并通过负载均衡分发到日志处理步骤的各个进程或线程中去；

指令规则配置步骤：设定指令规则的相关配置以及指令规则集；

指令规则解析步骤：解析指令规则配置步骤设定的指令规则集的指令；

指令负载均衡步骤：接收指令规则解析步骤解析的指令，并将指令负载均衡处理后分发到日志处理步骤的各个进程和线程中去；

日志处理步骤：初始化统计规则负载均衡步骤中负载均衡分发的统计规则和指令负载均衡步骤中负载均衡分发的指令，并接收经日志丰富化步骤丰富化的日志，将丰富化的日志引入过滤规则处理步骤；

过滤规则处理步骤：对日志数据进行过滤，并将处理后的数据引入规则匹配处理步骤；

规则匹配处理步骤：对日志数据进行规则匹配处理，并将处理后的数据引入基于时间窗口数据聚合处理步骤；

基于时间窗口数据聚合处理步骤：对日志进行基于时间窗口的数据聚合统计，将经指令规则处理后的数据引入指令规则研判处理步骤，将经规则统计处理后的数据引入统计数据结构化处理步骤；

指令规则研判处理步骤：针对规则指令部分日志数据进行研判处理，并将处理后的数据引入日志告警处理步骤；

日志告警处理步骤：对经指令规则研判处理步骤处理的数据经过优化处理后进行告警并将告警数据入库存储；

统计数据结构化处理步骤：对经基于时间窗口数据聚合处理步骤处理的统计规则数据进行结构化处理并将处理后的数据入库存储。

本发明与现有技术相比，具有以下的有益效果：

通过本发明的系统及方法，根据不同来源的日志，可以根据预处理后的结构化数据进行特征字段进行处理，可以灵活的配置用户需要的统计规则和指令规则，以及过滤规则；统计规则单条独立，指令规则实际应用较为广泛的是组合规则集，应用组合规则集处理日志数据，能够处理不同日志源数据的结果，通过规则负载均衡模块处理，将统计规则和指令分发到不同的进程或线程处理，负载均衡支持水平横向扩展，保证日志数据处理能力，较大地提升稳定性和处理日志的性能。

附图说明

图1是本发明的基于日志通用性规则引擎的日志统计与分析方法的流程示意图。

具体实施方式

下面结合本发明的实施例对本发明作进一步的阐述和说明。

实施例：

实施例一：

基于日志通用性规则引擎的日志统计与分析系统，主要包括以下模块：

日志配置模块

日志配置模块主要包括：日志格式配置单元、统计规则配置单元、指令规则与指令配置单元。

所述日志格式配置单元用于解析系统运行过程中不同日志的相关配置信息，统计规则配置单元用于对每类日志进行统计规则的配置，其中，每个统计规则都可以统计该类日志的一个独特的统计项，指令规则与指令配置单元用于对每类日志进行指令规则的配置及指令配置，其中，每个指令规则都可以分析该类日志的一个独特的分析项。

在系统运行过程中，需要用到解析不同日志的相关配置信息，这些信息包括日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段如IP、系统分析处理时间窗口解析的时间字段、日志中解析或存储的一些配置。这些配置将为通用型规则引擎解析处理时做相应的适配，保证通用型规则引擎能解析统计和分析不同的日志数据。

统计规则的配置即对每类日志进行统计需要配置化，每个统计规则可以统计该类日志的一个独特的统计项；统计规则包括统计算法、统计别名、统计规则表达式、统计时间窗口、过滤规则表达式、统计字段。

指令规则的配置即对每类日志进行分析需要配置化，每个指令规则可以分析该类日志的一个独特的分析项；分析规则包括规则别名、指令规则表达式、时间窗口、过滤规则表达式；指令配置即指令规则集配置，是包括了指令规则集、告警截止时间、告警周期、告警最大次数、指令别名。

日志配置解析模块

日志配置解析模块用于对配置的日志统计规则和指令(规则)进行解析，同时也对日志格式配置进行解析处理，解析后的规则配置加载到规则引擎内存中。

规则负载均衡模块

规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发

本系统可以接纳多个日志源数据进行处理，每个日志源的规则配置可以灵活的配置，因此这种情况下实际上规则配置量在一定程度上会浮动，为了减少引擎处理规则日志时耗费过多时间，特别地设计规则负载均衡模块进行处理，对配置的规则进行多进程或多线程分发，保证规则均衡分发。

日志源收集存储模块

日志源收集采用日志收集插件进行收集，存储采用消息队列进行存储。

日志标准化模块

日志标准化模块主要对收集的日志数据类型进行结构化处理，最终生成规则引擎能够处理的数据类型。从日志存储消息队列中进行读取，例如对文本类型的日志数据进行正则提取响应的特征字段这特征值，进行后续的丰富化处理。还有标准化对数据脱敏、时间格式处理等。

日志丰富化模块

所述日志丰富化模块用于对日志中的特征进行丰富化处理，日志中有很多特征需要进行丰富化处理，如IP丰富化、情报数据处理、黑白名单标签等进行处理。这些丰富化依赖于日志类型，和日志类型可丰富化的特征数量。

日志处理模块

日志处理模块用于设计统计规则、指令规则来处理日志数据，设计的统计规则、指令规则处理日志数据，对于统计规则，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理，聚合计算出结果；对于指令规则，除了过滤规则处理和匹配表达式进行处理外，还需要通过研判表达式进行研判。只有当所有规则集中的所有研判条件研判成功后才会触发指令。

日志告警模块

日志告警模块主要是规则指令部分使用。当规则指令的规则集全部触发后，指令将进行告警，该模块将把所有的告警数据收集起来，做告警逻辑优化处理，对真正告警的数据将记录入库。

日志统计模块

日志统计模块主要是统计规则使用。主要收集日志处理模块中的统计数据，并对统计数据进行一定的优化处理，最后将统计数据写入数据库。

实施例二

如图1所示，一种基于日志通用性规则引擎的日志统计与分析方法，可通过上述的基于日志通用性规则引擎的日志统计与分析实现，具体包含以下步骤：

日志源收集步骤LS：该步骤可在日志源收集存储模块内实现，主要是将各个日志数据通过插件，包括指令规则、统计规则、过滤规则，配置好的规则交由日志配置解析模块进行处理。

日志源存储步骤MQ：本步骤可在日志源收集存储模块内实现，目的存储LS步骤中收集的日志数据，提供给日志标准化模块。

日志格式配置步骤CF：本步骤可在日志配置模块内实现，主要是设定日志数据进行格式化配置，并提供给日志配置解析模块；

日志格式验证步骤VF：本步骤可在日志配置解析模块内实现，接收CF步骤中的日志格式配置并对其做格式验证，并最终加载至日志标准化模块；

日志标准化处理步骤SP：本步骤可在日志标准化模块内实现，加载VF步骤验证后的日志格式配置，从MQ步骤中读取响应的日志数据进行标准化处理，将处理后的日志数据提供给日志丰富化模块；

日志丰富化步骤EP：本步骤可在日志丰富化模块内实现，接收经SP步骤处理的日志并进行丰富化处理，将处理后的日志数据提供给日志处理模块；

日志规则配置步骤CS：本步骤可在日志配置模块内实现，设定统计规则的配置项，并提供给日志配置解析模块；

统计规则解析步骤RS：本步骤可在日志配置解析模块内实现，解析经CS步骤配置的统计规则，并加载到规则负载均衡模块；

统计规则负载均衡步骤SL：本步骤可在规则负载均衡模块内实现，接收RS步骤中解析的统计规则，并通过负载均衡分发到日志处理模块的各个进程或线程中去；

指令规则配置步骤CP：本步骤可在日志配置模块内实现，设定指令规则的相关配置以及指令规则集，并提供给日志配置解析模块；

指令规则解析步骤RP：本步骤可在日志配置解析模块内实现，解析指令规则集合指令，并加载到负载均衡模块；

指令负载均衡步骤PL：本步骤可在负载均衡模块内实现，接收RP步骤解析的指令，并将指令负载均衡处理后分发到日志处理模块的各个进程和线程中去；

日志处理步骤LP：本步骤可在日志处理模块内实现，初始化SL中负载均衡分发的统计规则和PL步骤中负载均衡分发的指令，并接收经日志丰富化步骤丰富化的日志，将丰富化的日志引入过滤规则处理步骤；

过滤规则处理步骤LP1：本步骤可在日志处理模块内实现，对日志数据进行过滤，并将处理后的数据引入规则匹配处理步骤；

规则匹配处理步骤LP2：本步骤可在日志处理模块内实现，对日志数据进行规则匹配处理，并将处理后的数据引入基于时间窗口数据聚合处理步骤；

基于时间窗口数据聚合处理步骤LP3：本步骤可在日志处理模块内实现，对日志进行基于时间窗口的数据聚合统计，将经指令规则处理后的数据引入指令规则研判处理步骤，将经规则统计处理后的数据引入日志统计模块；

指令规则研判处理步骤LPP：本步骤可在日志处理模块内实现，针对规则指令部分日志数据进行研判处理，并将处理后的数据引入日志告警模块；

日志告警处理步骤PA：本步骤可在日志告警模块内实现，对经LPP步骤处理的数据经过优化处理后进行告警并将告警数据入库存储；

统计数据结构化处理步骤SR：本步骤可在日志统计模块内实现，对LP3步骤处理的统计规则数据进行结构化处理，最终将统计数据入库存储。

因此，本发明的基于日志的通用型规则引擎的日志统计与分析系统，根据不同来源的日志，可以根据预处理后的结构化数据进行特征字段进行处理，可以灵活的配置用户需要的统计规则和指令规则，以及过滤规则。且通过规则负载均衡模块处理，将统计规则和指令分发到不同的进程或线程处理，负载均衡支持水平横向扩展，保证日志数据处理能力，较大地提升稳定性和处理日志的性能。

可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

Claims (7)

1.基于日志通用性规则引擎的日志统计与分析系统，其特征在于，包含日志配置模块、日志配置解析模块、规则负载均衡模块、日志源收集存储模块、日志标准化模块、日志丰富化模块、日志处理模块、日志告警模块及日志统计模块；

所述日志配置模块用于解析不同日志的相关配置信息并对每类日志进行统计需要配置化及分析需要配置化；

所述日志配置解析模块用于对配置的日志统计规则和指令进行解析，并对日志格式配置进行解析处理；

所述规则负载均衡模块用于接纳多个日志源数据并进行处理及对配置的规则进行多进程或多线程分发；

所述日志源收集存储模块用于对日志源进行收集并存储；

所述日志标准化模块用于对日志源收集存储模块收集的日志数据类型进行结构化处理并最终生成规则引擎能够处理的数据类型；

所述日志丰富化模块用于对日志中的特征进行丰富化处理；

所述日志处理模块用于设计统计规则、指令规则来处理日志数据；

所述日志告警模块用于收集所有的告警数据并做告警逻辑优化处理，及对告警数据记录入库；

所述日志统计模块用于收集日志处理模块中的统计数据，并对统计数据进行优化处理，最后将统计数据写入数据库。

2.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志配置模块至少包含日志格式配置单元、统计规则配置单元、指令规则与指令配置单元；

所述日志格式配置单元用于解析系统运行过程中不同日志的相关配置信息，统计规则配置单元用于对每类日志进行统计规则的配置，其中，每个统计规则都可以统计该类日志的一个独特的统计项，指令规则与指令配置单元用于对每类日志进行指令规则的配置及指令配置，其中，每个指令规则都可以分析该类日志的一个独特的分析项。

3.根据权利要求2所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志格式配置单元解析的不同日志的相关配置信息至少包含：日志源格式类型、日志源中时间字段及各自的时间格式、时间字段需要存储的时间格式、日志源中涉及的需要丰富化的字段、系统分析处理时间窗口解析的时间字段、日志中解析或存储配置数据；

和/或所述统计规则至少包含统计算法、统计别名、统计规则表达式、统计时间窗口、过滤规则表达式、统计字段；

和/或所述指令规则至少包含规则别名、指令规则表达式、时间窗口、过滤规则表达式；

和/或所述指令配置中配置的指令至少包含指令规则集、告警截止时间、告警周期、告警最大次数、指令别名。

4.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志源收集存储模块具体是采用日志收集插件进行日志源收集，和/或所述日志源收集存储模块存储日志源时是采用消息队列进行存储。

5.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志丰富化模块对日志中的特征进行丰富化处理时至少包含IP丰富化处理、情报数据处理、黑白名单标签处理。

6.根据权利要求1所述的基于日志通用性规则引擎的日志统计与分析系统，其特征在于，所述日志处理模块还可设计过滤规则，且日志处理模块在运用统计规则处理日志数据时，若已经设定了过滤规则，则优先进行过滤规则处理，然后再通过统计规则匹配表达式进行处理并聚合计算出结果。

7.基于日志通用性规则引擎的日志统计与分析方法，其特征在于具体包含以下步骤：

日志源收集及存储步骤：进行日志源收集与存储，并将存储的日志源数据提供给日志标准化处理步骤进行处理；

日志格式配置步骤：设定日志数据进行格式化配置，并提供给日志格式验证步骤；

日志格式验证步骤：接收日志格式配置步骤中的日志格式配置并对其做格式验证，并最终加载至日志标准化处理步骤；

日志标准化处理步骤：加载经日志格式验证步骤验证后的日志格式配置，从存储的日志源数据中读取响应的日志数据进行标准化处理，将处理后的日志数据提供给日志丰富化步骤；

日志丰富化步骤：接收经日志标准化处理步骤处理的日志并进行丰富化处理，将处理后的日志数据提供给日志处理步骤；

日志规则配置步骤：设定统计规则的配置项；

统计规则解析步骤：解析经日志规则配置步骤配置的统计规则；

统计规则负载均衡步骤：接收统计规则解析步骤中解析的统计规则，并通过负载均衡分发到日志处理步骤的各个进程或线程中去；

指令规则配置步骤：设定指令规则的相关配置以及指令规则集；

指令规则解析步骤：解析指令规则配置步骤设定的指令规则集的指令；

指令负载均衡步骤：接收指令规则解析步骤解析的指令，并将指令负载均衡处理后分发到日志处理步骤的各个进程和线程中去；

日志处理步骤：初始化统计规则负载均衡步骤中负载均衡分发的统计规则和指令负载均衡步骤中负载均衡分发的指令，并接收经日志丰富化步骤丰富化的日志，将丰富化的日志引入过滤规则处理步骤；

过滤规则处理步骤：对日志数据进行过滤，并将处理后的数据引入规则匹配处理步骤；

规则匹配处理步骤：对日志数据进行规则匹配处理，并将处理后的数据引入基于时间窗口数据聚合处理步骤；

基于时间窗口数据聚合处理步骤：对日志进行基于时间窗口的数据聚合统计，将经指令规则处理后的数据引入指令规则研判处理步骤，将经规则统计处理后的数据引入统计数据结构化处理步骤；

指令规则研判处理步骤：针对规则指令部分日志数据进行研判处理，并将处理后的数据引入日志告警处理步骤；

日志告警处理步骤：对经指令规则研判处理步骤处理的数据经过优化处理后进行告警并将告警数据入库存储；

统计数据结构化处理步骤：对经基于时间窗口数据聚合处理步骤处理的统计规则数据进行结构化处理并将处理后的数据入库存储。