CN115883219A - 基于日志的大数据智能关联分析方法及系统 - Google Patents

Abstract

本发明适用于数据分析技术领域，提供了基于日志的大数据智能关联分析方法及系统，所述方法包括以下步骤：基于规则命中率对原始日志的数据进行分类；根据关联规则进行事件分析，更新事件的可信度。基于规则命中率对原始日志的数据进行分类可以在不断的匹配过程中动态调整规则链的顺序，有效的减少一条原始日志需要匹配的规则链，从而提高整体的数据标准化和分类效率。在根据关联规则进行事件分析时，随着事件发生次数的增加，系统逐渐更新这些事件的可信度，从而提炼出更具准确的事件结果。

Description

基于日志的大数据智能关联分析方法及系统

技术领域

本发明涉及数据分析技术领域，具体是涉及一种基于日志的大数据智能关联分析方法及系统。

背景技术

异构数据是指数据类型和格式具有高度可变性的任何数据，由于格式不统一、缺少值、大量数据冗余和不真实性的特点，它们大部分情况下属于意义不明确且质量低下的数据。通常而言，异构数据的集成很难满足业务信息需求。异构数据通常由互联网和物联网生成，原始日志中包含了大量的异构数据，这给日志数据的关联分析带来了一定的难度，事件分析不够准确。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于日志的大数据智能关联分析方法及系统，以解决上述背景技术中存在的问题。

本发明是这样实现的，一种基于日志的大数据智能关联分析方法，所述方法包括以下步骤：

基于规则命中率对原始日志的数据进行分类；

根据关联规则进行事件分析，更新事件的可信度。

作为本发明进一步的方案：所述基于规则命中率对原始日志的数据进行分类的步骤，具体包括：

载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；

从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；

采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；

对于匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；

更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，否则保持原有状态；

对于匹配失败的原始日志继续匹配数据分类规则集中的下一条规则。

作为本发明进一步的方案：所述根据关联规则进行事件分析，更新事件的可信度的步骤，具体包括：

载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度；

根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率；

遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；

确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率；

对于匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储；

对于无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；

确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率；

当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中。

本发明的另一目的在于提供一种基于日志的大数据智能关联分析系统，所述系统包括：

数据分类模块，用基于规则命中率对原始日志的数据进行分类；

事件分析模块，用于根据关联规则进行事件分析，更新事件的可信度。

作为本发明进一步的方案：所述数据分类模块包括：

分类规则载入单元，用于载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；

原始日志匹配单元，用于从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；

第一匹配确定单元，用于采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；

日志归一化单元，用于对匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；

优先级调整单元，用于更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，否则保持原有状态；

匹配失败单元，用于对匹配失败的原始日志继续匹配数据分类规则集中的下一条规则。

作为本发明进一步的方案：所述事件分析模块包括：

分析规则载入单元，用于载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度；

事件合并单元，用于根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率；

分析规则匹配单元，用于遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；

第二匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率；

可信度更新单元，用于对匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储；

逐一匹配单元，用于对无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；

第三匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率；

可信度指数事件单元，当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中。

与现有技术相比，本发明的有益效果是：

本发明首先基于规则命中率对原始日志的数据进行分类，然后根据关联规则进行事件分析，更新事件的可信度。特点在于提供高效准确的数据匹配，以及获得准确结论的安全事件分析方法。基于规则命中率对原始日志的数据进行分类可以在不断的匹配过程中动态调整规则链的顺序，有效的减少一条原始日志需要匹配的规则链，从而提高整体的数据标准化和分类效率。在根据关联规则进行事件分析时，随着事件发生次数的增加，系统逐渐更新这些事件的可信度，从而提炼出更具准确的事件结果。

附图说明

图1为一种基于日志的大数据智能关联分析方法的流程图。

图2为一种基于日志的大数据智能关联分析方法中基于规则命中率对原始日志的数据进行分类的流程图。

图3为一种基于日志的大数据智能关联分析方法中根据关联规则进行事件分析，更新事件的可信度的流程图。

图4为一种基于日志的大数据智能关联分析系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

如图1、图2和图3所示，本发明实施例提供了一种基于日志的大数据智能关联分析方法，所述方法包括以下步骤：

S100，基于规则命中率对原始日志的数据进行分类；

S200，根据关联规则进行事件分析，更新事件的可信度。

本发明实施例中，所述基于规则命中率对原始日志的数据进行分类的步骤，具体包括：

S101，载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；

S102，从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；

S103，采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；

S104，对于匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；

S105，更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，即返回S101步骤中；否则保持原有状态，即结束本步骤；

S106，对于匹配失败的原始日志继续匹配数据分类规则集中的下一条规则，即返回S102步骤中。

本发明实施例中，所述根据关联规则进行事件分析，更新事件的可信度的步骤，具体包括：

S201，载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度，其中可信度参数越大，表明报警越真实，此参数在关联过程中至关重要；

S202，根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率，出现频率和可信度具有正比关系，出现频率越高可信度也会相应提高；

S203，遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；

S204，确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率，除了匹配规则外还对当前元素的超时设定进行验证，对于超时的元素从可信度指数事件集合中移除；

S205，对于匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储，然后返回S203步骤中；

S206，对于无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；

S207，确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率，不匹配时结束本步骤；

S208，当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中，即返回S203步骤中。

如图4所示，本发明实施例还提供了一种基于日志的大数据智能关联分析系统，所述系统包括：

数据分类模块100，用基于规则命中率对原始日志的数据进行分类；

事件分析模块200，用于根据关联规则进行事件分析，更新事件的可信度。

本发明实施例中，所述数据分类模块100包括：分类规则载入单元，用于载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；原始日志匹配单元，用于从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；第一匹配确定单元，用于采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；日志归一化单元，用于对匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；优先级调整单元，用于更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，否则保持原有状态；以及匹配失败单元，用于对匹配失败的原始日志继续匹配数据分类规则集中的下一条规则。

本发明实施例中，所述事件分析模块200包括：分析规则载入单元，用于载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度；事件合并单元，用于根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率；分析规则匹配单元，用于遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；第二匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率；可信度更新单元，用于对匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储；逐一匹配单元，用于对无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；第三匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率；以及可信度指数事件单元，当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中。

以上仅对本发明的较佳实施例进行了详细叙述，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (6)

1.基于日志的大数据智能关联分析方法，其特征在于，所述方法包括以下步骤：

基于规则命中率对原始日志的数据进行分类；

根据关联规则进行事件分析，更新事件的可信度。

2.根据权利要求1所述的基于日志的大数据智能关联分析方法，其特征在于，所述基于规则命中率对原始日志的数据进行分类的步骤，具体包括：

载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；

从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；

采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；

对于匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；

更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，否则保持原有状态；

对于匹配失败的原始日志继续匹配数据分类规则集中的下一条规则。

3.根据权利要求2所述的基于日志的大数据智能关联分析方法，其特征在于，所述根据关联规则进行事件分析，更新事件的可信度的步骤，具体包括：

载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度；

根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率；

遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；

确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率；

对于匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储；

对于无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；

确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率；

当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中。

4.基于日志的大数据智能关联分析系统，其特征在于，所述系统包括：

数据分类模块，用基于规则命中率对原始日志的数据进行分类；

事件分析模块，用于根据关联规则进行事件分析，更新事件的可信度。

5.根据权利要求4所述的基于日志的大数据智能关联分析系统，其特征在于，所述数据分类模块包括：

分类规则载入单元，用于载入数据分类规则集到规则队列中，所述数据分类规则集描述了对原始日志归一化处理的表达式，并对每组规则定义了日志分类特征标识，初次载入数据分类规则集合时不分优先级，而是依次载入到队列中，并保存队列顺序字典信息；

原始日志匹配单元，用于从规则队列中取第一条规则，对采集的原始日志和数据分类规则集进行匹配；

第一匹配确定单元，用于采用原始日志字符串和规则中定义的正则表达式进行匹配，确定是否匹配规则；

日志归一化单元，用于对匹配成功的日志按照规则进行归一化操作，并且把匹配规则中提取到的分类特征标识填充到归一化后的标准化数据结构中；

优先级调整单元，用于更新队列中的规则匹配次数属性，根据规则匹配次数将数据分类规则从高到低的顺序排序，排序结果和现有队列顺序字典信息不一致情况下，重新载入规则集，否则保持原有状态；

匹配失败单元，用于对匹配失败的原始日志继续匹配数据分类规则集中的下一条规则。

6.根据权利要求5所述的基于日志的大数据智能关联分析系统，其特征在于，所述事件分析模块包括：

分析规则载入单元，用于载入事件分析规则集合到规则队列中，事件分析规则集合描述中包含五元组、日志分类特征标识、出现频率、超时设定以及可信度；

事件合并单元，用于根据五元组和日志分类特征标识的属性合并日志事件，统计每类日志的出现频率；

分析规则匹配单元，用于遍历可信度指数事件集合，可信度指数事件集合中的元素包含标准化数据和匹配的事件分析规则，在遍历过程中合并的日志跟元素中的事件分析规则进行匹配；

第二匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类特征标识和出现频率；

可信度更新单元，用于对匹配成功的日志，更新集合中相应元素的出现频率和可信度信息，并把更新后的元素信息导出到外部存储；

逐一匹配单元，用于对无法匹配可信度指数事件集合的标准化数据，通过关联分析规则队列中的规则逐一进行匹配；

第三匹配确定单元，用于确定是否匹配规则，匹配方式为匹配规则中定义的五元组信息、日志分类、特征标识和出现频率；

可信度指数事件单元，当匹配成功时，根据规则定义产生事件定义信息，事件定义信息追加到标准化数据中，生成可信度指数事件，可信度指数事件包括标准化数据和当前匹配的关联分析规则，把新生成的可信度指数事件追加到可信度指数事件集合中。

Images