CN111435343B - 计算机系统日志模板的自动生成和在线更新方法与系统 - Google Patents

Abstract

本发明公布了一种计算机系统日志模板的自动生成和在线更新方法及系统，包括离线挖掘阶段和在线更新阶段；离线挖掘阶段采用分组聚类方法，从给定日志数据集合中挖掘得到日志模板列表；在线更新阶段基于新采集的日志进行逐条分析，实现对现有日志模板自动更新。系统包括：日志预处理模块、日志分组组件、模板处理组件、模板跨组整合组件、模板匹配组件、模板更新组件。本发明不依赖特定的数据内容和格式，具有很强的泛化能力；可实现对系统日志数据集的自动化分析，生成日志模板，并能针对新采集的日志，提取数据特征，实现日志模板的自动化更新，确保日志模板列表的完备性和及时更新，且运行效率高。

Description

计算机系统日志模板的自动生成和在线更新方法与系统

技术领域

本发明涉及计算机系统日志模板挖掘技术领域，尤其涉及一种基于分组聚类的计算机系统日志模板自动生成和在线更新的方法与系统。

背景技术

系统日志是计算机系统运行维护的重要资料，日志分析是异常检测、故障诊断等运维工作不可或缺的重要手段。近年来，随着云计算、分布式技术架构的广泛应用，各企业的IT规模迅速扩大，产生了海量的系统日志。传统的采用人工方式对日志进行分析的做法变得越来越困难。即便是借助基于规则的自动化辅助分析工具，面对海量、复杂、异构、多变的系统日志数据，日志分析依然是一项巨大挑战。

针对上述挑战，近年来，学术界和工业界开始尝试将机器学习等人工智能方法引入日志分析工作，辅助异常检测、根因分析以及故障预测等运维工作。日志模板挖掘是上述方法的一项基础技术。通过日志模板挖掘，可以实现对海量日志数据的抽象和简化，从而有利于提取日志数据特征，构建机器学习等算法模型。

已有的一些日志模板挖掘方法与系统，大多都是基于一定规模日志数据集进行离线模板挖掘，由于数据规模的限制，往往无法覆盖系统日志模板的全部情形；如果增加日志处理规模，又必然对运行效率带来严重影响。也有一些在线挖掘分析的方法，但往往基于一定的假设条件，如同一模板输出的日志数据长度一定相同，或者又设置有较多调试参数，泛化能力有待增强。

发明内容

为了克服现有日志模板挖掘方法的不足，本发明提供一种基于分组聚类的日志模板自动生成和在线更新的方法与系统，可实现对系统日志数据集的自动化分析，生成日志模板，并能针对新采集的日志，分析相关数据特征，实现日志模板的自动化更新。本发明运行效率高，且不依赖特定的数据内容和格式，具有很强的泛化能力。

本发明提供的技术方案是：

一种计算机系统日志模板的自动生成和在线更新方法，包括离线挖掘和在线更新两个阶段；离线挖掘阶段采用分组聚类方法，从给定日志数据集合中挖掘出日志模板列表；在线更新阶段基于新采集的日志进行逐条分析，实现对现有日志模板自动更新。具体包括如下步骤：

1)数据预处理。

针对给定规模的计算机日志数据集LC，完成如下预处理工作：过滤部分非关键字段(如时间戳)、完成特定字段的变量替代(比如数字、IP地址等通用字段)，生成待分析日志集LC’。

2)离线挖掘阶段，包括如下步骤：

21)日志分组；

针对待分析日志集LC’，对每行日志进行分词，得到该行日志的TOKEN列表，并统计该行日志的长度(如TOKEN数量)，然后根据各行日志的不同长度，将日志集划分成n个不同的分组LC_S1，LC_S2，…LC_Sn。

22)子组聚类；

对日志集分组LC_S1，LC_S2，…LC_Sn的每个分组中的日志行，计算两行日志的严格相似度S1。然后基于严格相似度对全部日志集合进行聚类分析，从而将其拆分，生成多个日志集合子组。具体实现方法是：首先，选择第一行日志，计算其与其他日志的相似度：按照从前向后的顺序，比对每个位置的TOKEN，如果TOKEN的字符及顺序完全相同，则该TOKEN位置的相似度Si＝1；如果不完全相同，则该TOKEN位置的相似度Si＝0。两项日志模板的严格相似度S1即为各TOKEN相似度Si的和再除以日志长度。随后，计算S1的最大值MAX(S1)，并将全部具有MAX(S1)的日志行拆分为一个子组。接下来，开始第二轮迭代，直到日志集分组中的全部原始日志分析处理完完毕(由于日志集分组中原来的部分日志在这个过程中已被合并，因此整个迭代次数小于组内原日志行数)。

23)模板合并；

对于步骤22)生成的每个日志集合子组，提取对应的日志模板(组内各行日志，如果相同位置的TOKEN相同，则表示该位置为日志模板的常量，保留该TOKEN，否则表示该位置为日志模板的变量，可用*代替标识)。然后，对于同一分组内各子组生成的日志模板，计算近似相似度S2，并基于S2进行模板合并。具体方法是：首先，选择第一项日志模板，计算其与其他日志模板的近似相似度：按照从前向后的顺序，比对每个位置的TOKEN，如果TOKEN的字符及顺序完全相同，则该TOKEN位置的相似度Si＝1；如果不完全相同，根据两个TOKEN相同字符的比率(即相同字符数除以字符总数)，得到相似度Si<1。两项日志模板的近似相似度S2即为各TOKEN相似度Si的和再除以日志长度。如果两项日志模板的近似相似度S2大于一定阈值(预先设定，比如0.8)，则将该此两项日志模板合并为一项，即：相似度Si＝1的TOKEN保留；相似度Si<1的TOKEN位置用*替代。完成第一项日志模板的近似相似度计算与合并操作后，按照同样的方法，再考虑第二项日志模板，直至组内原来各项日志模板都被处理完毕(由于部分原来的日志模板在这个过程中已被合并，因此整个迭代次数小于组内原日志模板数)。

24)跨组整合；

对每个日志分组中的日志子组模板进行合并操作后，就可以获得每个日志分组的日志模板集合。每个日志分组中的日志模板长度都相同，但不同日志分组的日志模板长度并不相同。考虑到日志输出存在变长变量的情况(比如，某日志模板中生成的不同日志中，某变量*对应的实际变量可能是一个TOKEN值，也可能是多个TOKEN值)，因此有必要对满足一定条件的不同日志分组的不同日志模板进行合并，本发明将这个步骤称作跨组整合。具体方法是：针对不同日志分组的日志模板两两进行比较分析：基于变量替代符*，按从前向后的顺序，将日志模板中的常量TOKEN切分成多个不同的LCS(最大常量序列)。如果两项日志模板且分出的多个LCS完全相同(包括顺序和内容)，则将给两项日志模板进行合并：只保留长度最短的这一条日志模板。

3)在线更新阶段，执行如下操作：

31)生成候选日志集合：

对于新采集的日志，逐行与已生成的日志模板进行比较：如果日志模板中表示常量的各TOKEN(即非*的TOKEN)与新采集日志对应位置的TOKEN全部相同，则表示该日志对应的日志模板已存在，直接读取下一行进行分析；否则，表示该日志可能对应一项新的日志模板，需要将其存入候选日志集合。

32)当候选日志集合中的日志数量达到一定阈值(可设置参数)时，则将候选日志集合作为日志数据集，执行步骤1)～2)，通过离线挖掘阶段采用的日志挖掘算法，得到新日志模板列表{E₁’,E₂’,..,E_M’}。

33)接下来，将新的日志模板列表与现有日志模板列表进行比对和日志模板列表的更新：对于新的日志模板，逐项进行分析：如果在现有日志模板列表中已存在，则跳过；如果不存在：首先，执行步骤24)，看是否可与现有日志模板列表中的某一项进行整合，如果可以即完成整合，否则直接将其加入现有日志模板列表中。

通过上述步骤，实现基于分组聚类的日志模板自动生成和更新。

利用上述基于分组聚类的日志模板挖掘方法，本发明提供一种基于分组聚类的日志模板自动生成和更新系统，包括：日志预处理模块、日志分组组件、模板处理组件、模板跨组整合组件、模板匹配组件、模板更新组件；

日志预处理模块，用于对输入的日志数据集逐行过滤时间戳等非关键TOKEN，同时替换IP地址等明显为变量的字段；

日志分组组件，用于根据日志行的不同长度，将日志数据拆分成多个不同的日志分组；

模板处理组件，用于针对日志分组组件生成的每个日志分组，重复执行子组聚类组件、模板提取组件和模板合并组件；子组聚类组件用于对日志分组内的所有日志行，计算得到严格相似度S1，并根据不同的S1，将分组日志数据集进一步拆分成多个子组，每个子组内的日志行都拥有相同的S1,不同子组的S1互不相同。模板提取组件用于对每个子组日志数据集生成对应的日志模板。模板合并组件用于对每个日志分组的多个子组生成的日志模板进行合并。

模板跨组整合组件用于对不同分组生成的日志模板进一步进行整合，得到日志模板列表。

模板匹配组件用于将新采集的日志数据与已有日志模板进行匹配，生成新的日志模板列表；

模板更新组件用于将新生成的日志模板列表与现有日志模板列表进行对比分析，通过跨组整合进行日志模板整合，并更新现有日志模板列表。

与现有技术相比，本发明的有益效果是：

本发明提供一种基于分组聚类的日志模板挖掘方法与系统，可实现对系统日志数据集的自动化分析，生成日志模板，并能针对新采集的日志，提取数据特征，实现日志模板的自动化更新。本发明运行效率高，且不依赖特定的数据内容和格式，具有很强的泛化能力。

本发明将离线挖掘与在线更新相结合，可有效确保生成的日志模板列表的完备性，可以随软件更新及时更新模板。此外，还可以很好适应同一日志模板生成不同长度日志的特殊情形。

具体地，本发明的技术优势主要体现为以下几方面：

1、采用离线挖掘与在线更新相结合的方法。与现有传统方法相比，本发明在离线阶段不需要大规模数据进行训练，效率可提升1～2倍；同时通过在线更新，又能确保日志模板列表的完备性和及时更新。

2、通过引入严格相似度进行聚类，引入近似相似度进行合并，有效确保了生成的日志模板具有最合理的抽象程度，以满足不同应用场景的需求。

3、通过引入跨组合并机制，有效解决了变长变量日志输出场景下的日志模板提取问题。

4、本发明不依赖特定的日志内容和格式，泛化能力强，可适用于异构系统的日志模板挖掘。

附图说明

图1是本发明提供的基于分组聚类的日志模板挖掘方法流程与系统结构框图；

图2是本发明方法离线阶段的处理流程框图；

图3是本发明方法在线阶段更新日志模板的流程框图；

图1～图3中，1—离线挖掘子系统；2—在线更新子系统；101—日志预处理组件；102—日志分组组件；103—模板处理组件；10301—子组聚类组件；10302—日志模板提取；104—跨组整合组件；201—候选集合；202—模板匹配组件；203—模板更新组件；204—参数配置。

具体实施方式

下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。

本发明提供一种基于分组聚类的日志模板挖掘方法与系统，包括离线挖掘和在线更新两个阶段。

离线挖掘阶段采用分组聚类方法从给定日志数据集合中挖掘出日志模板列表；在线更新阶段则基于新采集的日志，对现有日志模板自动更新。具体方法说明如下：

(一)数据预处理。针对给定规模的日志数据集LC,完成如下预处理工作：过滤部分非关键字段(如时间戳)、完成特定字段的变量替代(比如数字、IP地址等通用字段)，生成待分析日志集LC’。

(二)离线挖掘阶段，包括如下步骤：

1、针对待分析日志集LC’，对每行日志进行分词，得到该行日志的TOKEN列表，并统计该行日志的长度(如TOKEN数量)，然后根据各行日志的不同长度，将日志集划分成n个不同的分组LC_S1，LC_S2，…LC_Sn。

算法1：日志分组

2、对于上述n个不同的分组LC_S1，LC_S2，…LC_Sn，每组中的日志行，计算两行日志的严格相似度S1，然后基于严格相似度对全部日志集合进行聚类分析，从而将其拆分成多个日志集合子组。

算法2：子组聚类

3、对于上述步骤生成的每个子组，提取对应的日志模板(组内各行日志，如果相同位置的TOKEN相同，则表示该位置为日志模板的常量，保留该TOKEN；否则，表示该位置为日志模板的变量，可用*代替标识)。然后，对于同一分组内各子组生成的模板，计算近似相似度S2，并基于S2进行模板合并。

算法3：模板合并

3、对于各分组执行生成的全部日志模板，基于变量替代符*，按从前向后的顺序，将日志模板中的常量TOKEN切分成多个不同的LCS。如果两项日志模板切分出来的多个LCS序列完全相同，则对上述两项模板进行整合，合并为一项日志模板。

算法4：跨组整合

(三)在线更新阶段。对于新采集的日志，逐行与已生成的日志模板进行比较：如果模板中各常量与新采集日志相同位置的TOKEN全部相同，则表示该日志对应的日志模板已存在，直接读取下一行进行分析；否则，表示该日志可能对应一项新的日志模板，需要将其存入候选日志集合。当候选日志集合中的日志数量达到一定阈值(可设置参数)时，则对候选日志集合输入运行前文所述的离线阶段算法，从而得到日一份新的日志模板列表{E₁’,E₂’,..,E_M’}。接下来，将新的日志模板列表与现有日志模板列表进行比对：如果发现有新的日志模板在现有日志模板列表中不存在，满足跨组整合条件的，则进行整合，否则直接将其加入现有日志模板中。

算法5：模板在线更新

图1是该方法与系统的结构图。101是日志预处理模块，负责对输入的日志数据集逐行过滤时间戳等非关键TOKEN，同时替换IP地址等明显为变量的字段。102是日志分组组件，它运行前文所述算法1，根据日志行的不同长度,将日志数据拆分成多个不同的日志分组。103是模板处理组件，针对102日志分组组件生成的每个日志分组，重复执行如下三个步骤：

(1)子组聚类组件10301负责运行前文所述算法2，对日志分组内的所有日志行，计算严格相似度S1，并根据不同的S1，将分组日志数据集进一步拆分成多个子组，每个子组内的日志行都拥有相同的S1；不同子组的S1互不相同。

(2)模板提取组件10302负责对每个子组日志数据集生成对应的日志模板。具体方法是从前到后比对子组内各行日志每列的TOKEN，如果TOKEN相同，则保留该位置的TOKEN作为常量；如果TOKEN不相同，则将该位置标识为变量，通常用符号*替代表示。

(3)模板合并组件负责对每个日志分组的多个子组生成的日志模板进行合并操作。具体方法是：计算各日志模板的近似相似度S2，当两项模板的近似相似度值满足预先设置的阈值条件(可设置参数)时，则将这两项日志模板合并为一项。

104是模板跨组整合组件。由于同一日志模板对应的多行日志中某些变量输出可能存在不等长的情况(即TOKEN数量不同)，从而导致103组件生成的不同分组的几个不同日志模板实际上对应于一项真正的日志模板，因此需要对这些日志模板运行前文所述算法4进行整合。

图2是该方法与系统的离线处理流程框图。针对给定的日志数据集，启动101日志预处理，完成非关键字段过滤和明显变量的替换工作，调用102日志分组组件，根据不同的日志行长拆分生成多个日志分组。针对每个日志分组，调用10301子组聚类组件，计算严格相似度，并据此将日志分组进一步拆分成多个不同的子组。随后，针对每个日志子组，执行10302日志模板提取，生成该子组对应的日志模板，接下来再对每个分组的各子组对应的日志模板进行分析，计算日志模板近似相似度，并据此完成日志模板合并。最后，对各分组生成的日志模板进行分析，调用104跨组整合组件完成日志模板整合，得到最终的日志模板列表，基本格式举例如下：

EventID	EventPattern
		E1	Recive*from*
E2	Delete block*successfully！
		E3	*Served block*to*
…	……

图3是该方法与系统的在线更新流程框图。逐行读取新采集的日志数据，调用202模板匹配组件进行处理。具体方式：扫描离线处理阶段生成的日志模板列表，如果发现有匹配的模板存在，则跳过再读取下一行，调用202模板匹配组件继续处理；如果202模板匹配组件分析发现已有日志模板列表中没有与该日志匹配的日志模板，则将该日志放入日志候选集合中，重复上述操作，直到日志候选集合中的日志数量达到预先设定的阈值(比如200行)，然后调用图2所描述的离线处理流程对日志候选集合进行处理，生成新的日志模板列表，随后清空日志候选集合。接下来，调用模板更新组件203，将新生成的日志模板列表与现有日志模板列表进行对比分析：如果发现有相同的模板，则跳过；如果发现有不同的日志模板，进一步分配是否满足日志整合条件(调用跨组整合算法)，如果满足整合条件，则进行整合；如果不满足整合条件，则判断为全新的日志模板，将其补充更新到现有日志模板列表中。模板更新流程可在线持续运行，以确保能及时捕获到最新的日志模板。

需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

Claims (5)

1.一种计算机系统日志模板的自动生成和在线更新方法，包括离线挖掘阶段和在线更新阶段；离线挖掘阶段采用分组聚类方法，从给定日志数据集合中挖掘得到日志模板列表；在线更新阶段基于新采集的日志进行逐条分析，实现对现有日志模板自动更新；包括如下步骤：

1)对计算机日志数据集LC进行预处理，生成待分析日志集LC’；

2)进行离线挖掘，包括如下步骤：

21)日志分组；包括：

211)首先针对待分析日志集LC’，对每行日志进行分词，得到该行日志的TOKEN列表；统计该行的日志长度，

212)然后根据各行日志的不同长度，将日志集划分成n个不同的分组LC_S1，LC_S2，…LC_Sn；

22)子组聚类；包括：

221)对日志集分组LC_S1，LC_S2，…LC_Sn的每个分组中的日志行，计算两行日志的严格相似度S1；计算方法具体是：

按照从前向后的顺序，比对两行日志每个位置的TOKEN；

如果两行日志的TOKEN字符及顺序完全相同，则该TOKEN位置的相似度Si＝1；

如果不完全相同，则该TOKEN位置的相似度Si＝0；

两行日志的严格相似度S1为两行日志各TOKEN的相似度Si的和再除以日志长度；

222)基于严格相似度对全部日志集合进行聚类分析，进行拆分，生成多个日志集合子组；具体方法是：计算S1的最大值MAX(S1)，并将具有MAX(S1)的全部日志行组成为一个子组；

进行多轮迭代，直到日志集分组中的全部原始日志分析处理完，即完成子组聚类；

23)模板合并；执行如下操作：

231)对于步骤22)生成的每个日志集合子组，提取对应的日志模板；

232)对于同一分组内各子组生成的日志模板，计算近似相似度S2，并基于S2进行模板合并；逐项选择日志模板，计算其与其他日志模板的近似相似度，具体方法是：

按照从前向后的顺序，比对每个位置的TOKEN，如果TOKEN的字符及顺序完全相同，则该TOKEN位置的相似度Si＝1；如果不完全相同，相似度Si为相同字符数占总字符数的比率，相似度Si<1；

两项日志模板的近似相似度S2即为各TOKEN相似度Si的和除以日志长度；

如果两项日志模板的近似相似度S2大于设定阈值，则将该两项日志模板合并为一项，即：相似度Si＝1的TOKEN保留；相似度Si<1的TOKEN位置用自定义的变量替代符替代；

重复上述近似相似度计算与合并操作，直至分组内原各项日志模板都处理完毕；

对每个日志分组中的日志子组模板进行合并操作，即获得每个日志分组的日志模板集合；

每个日志分组中的日志模板长度均相同；不同日志分组的日志模板长度并不相同；

24)进行跨组整合，对满足跨组整合条件的不同日志分组的不同日志模板进行合并；

具体方法是：针对不同日志分组的日志模板进行两两比较分析：

基于变量替代符，按从前向后的顺序，将日志模板中的常量TOKEN切分成多个不同的最大常量序列LCS；如果两项日志模板且分出的多个LCS完全相同，则将两项日志模板进行合并，即只保留长度最短的日志模板；

通过上述步骤生成日志模板；

3)在线更新阶段，执行如下操作：

31)生成候选日志集合：

对于新采集的日志，逐行与已生成的日志模板进行比较：如果日志模板中表示常量的各TOKEN与新采集日志对应位置的TOKEN全部相同，表示该日志对应的日志模板已存在；否则，表示该日志可能对应一项新的日志模板，将该行日志存入候选日志集合；

32)当候选日志集合中的日志数量达到设定阈值时，将候选日志集合作为日志数据集，执行步骤1)～2)，得到新日志模板列表{E₁’,E₂’,..,E_M’}；

33)将新日志模板列表与现有日志模板列表进行比对，更新日志模板列表：

对新日志模板逐项进行分析，如果在现有日志模板列表中已存在，则跳过；如果不存在：首先，执行步骤24)，新日志模板中的新日志若满足跨组整合条件，将其与现有日志模板列表中的项进行整合；否则直接将其加入现有日志模板列表中；

通过上述步骤，实现基于分组聚类的日志模板的自动生成和更新。

2.如权利要求1所述计算机系统日志模板的自动生成和在线更新方法，其特征是，步骤1)数据预处理操作具体包括：针对计算机日志数据集LC，过滤非关键字段、对通用字段进行变量替代。

3.如权利要求2所述计算机系统日志模板的自动生成和在线更新方法，其特征是，过滤的非关键字段为时间戳；进行变量替代的通用字段包括数字字段和/或IP地址字段。

4.如权利要求1所述计算机系统日志模板的自动生成和在线更新方法，其特征是，步骤232 )中，变量替代符采用符号*。

5.一种基于分组聚类的日志模板自动生成和更新系统，其特征是，系统包括：日志预处理模块、日志分组组件、模板处理组件、模板跨组整合组件、模板匹配组件、模板更新组件；

日志预处理模块，用于对输入的日志数据集逐行过滤非关键TOKEN，同时替换明显为变量的字段；

日志分组组件，用于根据日志行的不同长度，将日志数据拆分成多个不同的日志分组；

模板处理组件，用于针对日志分组组件生成的每个日志分组，重复执行子组聚类组件、模板提取组件和模板合并组件；子组聚类组件用于对日志分组内的所有日志行，计算得到严格相似度S1，并根据不同的S1，将分组日志数据集进一步拆分成多个子组，每个子组内的日志行均具有相同的S1；不同子组的S1互不相同；模板提取组件用于对每个子组日志数据集生成对应的日志模板；模板合并组件用于对每个日志分组的多个子组生成的日志模板，基于模板的近似相似度S2进行合并；

模板跨组整合组件用于对不同分组生成的日志模板基于最大常量序列LCS进一步进行整合，得到日志模板列表；

模板匹配组件用于将新采集的日志数据与已有日志模板进行匹配，生成新的日志模板列表；

模板更新组件用于将新生成的日志模板列表与现有日志模板列表进行对比分析，通过跨组整合进行日志模板整合，并更新现有日志模板列表。

Images