CN110569214A - 用于日志文件的索引构建方法、装置及电子设备 - Google Patents

Abstract

本实施例提出了用于日志文件的索引构建方法、装置及电子设备，包括：对构建索引的规则进行预配置处理，确定日志文件存储路径；建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；从日志文件队列中逐个提取日志文件，从日志文件中提取线程号和时间戳；进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。在时间维度基础上借助事件维度构建索引文件，在已构建的索引文件中可以尽快定位目标日志的位置，缩短工作时间，提高了查看问题日志的效率。

Description

用于日志文件的索引构建方法、装置及电子设备

技术领域

本发明属于系统维护领域，尤其涉及用于日志文件的索引构建方法、装置及电子设备。

背景技术

当前在软件开发过程中，软件系统或使用的网络设备在运行过程中都会产生大量的系统日志，系统日志需要进行存档以便后期的审计和维护。

CS架构中服务器经常处于高并发的工作状态，导致同一时刻下会在多个线程中处理不同的事件，该情况下的日志文件如果仅依靠时间维度的索引进行定位，很难得到所需要的内容，还需要人工进行后期筛选，降低了人员的工作效率。

发明内容

为了解决现有技术中存在的缺点和不足，本实施例提供了用于日志文件的索引构建方法、装置及电子设备，能够基于时间、事件两个维度在构建索引时实现快速缩减范围的效果，从而在构建的索引中迅速定位目标日志的位置，提升工作效率。

为了达到上述技术目的，根据本公开实施例的第一方面，本实施例提供了用于日志文件的索引构建方法，所述索引构建方法包括：

对构建索引的规则进行预配置处理，确定日志文件存储路径；

建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

可选的，所述预配置处理包括：

进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

可选的，所述建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中包括：

建立日志文件队列，对日志文件队列进行初始化处理；

将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

可选的，所述方法还包括：

从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

可选的，所述从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳，包括：

在从日志文件队列中提取目标日志文件后，基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索；

如果目标日志文件的行内容中存在符合目标格式内容的字符串，则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳；

可选的，所述进行预设操作获取到线程号，将线程号与预先缓存的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件，包括：

调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号，当获取到的线程号与已缓存的线程号进行比对；

当比对结果一致时，根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选，如果筛选后确定存在满足条件的格式文本内容字符串，则在当前已记录行数达到阈值的情况下将目标日志文件的文件在日志文件队列中的序号、行号、日志内容写入索引文件；

在索引文件路径下生成对应事件的索引文件，在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。

可选的，所述进行预设操作获取到线程号，包括：

确定任一行日志的匹配索引关键字，从得到的匹配索引关键字中提取用于构建快照所使用的线程号。

根据本公开实施例的第二方面，本实施例提供了用于日志文件的索引构建装置，所述索引构建装置包括：

预处理模块，用于对构建索引的规则进行预配置处理，确定日志文件存储路径；

定时查询模块，用于建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

内容提取模块，用于从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

索引生成模块，用于进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

可选的，所述预处理模块包括：

全局配置单元，用于进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

列表配置单元，用于构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

可选的，所述定时查询模块包括：

初始化单元，用于建立日志文件队列，对日志文件队列进行初始化处理；

文件编辑单元，用于将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

可选的，所述索引构建装置还包括：

第一时间判定单元，用于从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

内容传输单元，用于如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

第二时间判定单元，用于对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

可选的，所述内容提取模块，包括：

日志检索单元，用于在从日志文件队列中提取目标日志文件后，基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索；

信息提取单元，用于如果目标日志文件的行内容中存在符合目标格式内容的字符串，则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳。

可选的，所述索引生成模块，包括：

线程号处理单元，用于调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号，当获取到的线程号与已缓存的线程号进行比对；

索引写入单元，用于当比对结果一致时，根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选，如果筛选后确定存在满足条件的格式文本内容字符串，则在当前已记录行数达到阈值的情况下将目标日志文件在日志文件队列中的序号、行号、日志内容写入索引文件；

子目录处理单元，用于在索引文件路径下生成对应事件的索引文件，在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。

可选的，所述索引生成模块，包括：

线程号提取单元，用于确定任一行日志的匹配索引关键字，从得到的匹配索引关键字中提取用于构建快照所使用的线程号。

根据本公开实施例的第三方面，本实施例提供了一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述用于日志文件的索引构建方法的步骤。

根据本公开实施例的第四方面，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行根据权利要求1至7任一项所述用于日志文件的索引构建方法的步骤。

本发明提供的技术方案带来的有益效果是：

基于时间和事件两个维度的索引，在目前单纯依靠时间构建索引的基础上通过事件维度进一步缩小查看范围，提高了查看问题日志的效率，当中心服务器发生故障时，问题排查人员根据发生时间的大致范围，从故障相关事件的索引文件中定位目标日志的位置，对于比较简单的故障，可通过仅查看快照，便进行问题原因定位。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本实施例提出的用于日志文件的索引构建方法的流程示意图；

图2为本实施例提出的索引对象数据结构；

图3为本实施例提出的日志快照中日志行的数据结构；

图4为本实施例提出的用于日志文件的索引构建装置的结构示意图；

图5为本实施例提出的用于日志文件的索引构建的电子设备的结构示意图。

具体实施方式

为使本发明的结构和优点更加清楚，下面将结合附图对本发明的结构作进一步地描述。

实施例一

本发明提出了用于日志文件的索引构建方法，如图1所示，所述索引构建方法包括：

11、对构建索引的规则进行预配置处理，确定日志文件存储路径；

12、建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

13、从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

14、进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

在实施中，本实施例提出的索引构建方法包含预配置、日志内容分析以及索引构建三个阶段，其中预配置部分是对索引构建过程中的参数进行定义，日志内容分析过程则是基于已定义的参数对日志内容进行分析整理，得到需要建立索引的关键内容，最终经过索引建立的步骤构建完整的索引文件。

与现有技术不同的是，在本实施例提出的索引构建方法，除了依靠惯用的时间线来建立索引以外，还借助代表具体事件的关键字以及执行事件的线程号的方式建立索引，能够使日志查看人员更直接的定位到目标事件日志位置，并可通过查看事件日志的快照摘要进行初步分析，提升执行效率。

首先，步骤11所示的预配置处理由用户设置关于目标日志的索引及快照构建的各项配置项，具体包括全局配置和时间配置列表两方面的内容。其中

进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

在实施中，全局配置是对整个索引构建过程中涉及到的参数进行定义，事件配置列表则是对日志内容分析过程中所使用的参数进行定义。在实际过程中，预配置处理可由用户通过填写配置文件的方式实现。

步骤12为进行日志内容分析的前序步骤，主要思想为建立日志文件队列，以便对多个日志文件进行顺序读取，具体包括：

121、建立日志文件队列，对日志文件队列进行初始化处理；

122、将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

在实施中，在日志文件队列建立并进行初始化处理后，需要将日志路径下所有符合日志文件名样式的日志文件名、最后修改时间等信息按其修改时间的先后顺序依次插入队列中，文件在队列中的位置序号即为其文件在日志文件队列中的序号，以及初始化建立空的一个待处理日志行队列，并设置最近一次读取的日志文件在日志文件队列中的序号为0，最近一次读取的日志行行号为0，最近一次读取日志的时间为0；

之后会以定时轮询的方式遍历日志路径下的文件列表，查看是否有新的不存在于队列中日志文件产生，有则将其加入队列中，并获得一个队列中位置序号作为其下标。这里的下标作为整个索引构建过程中日志文件的序号。

在执行完前述步骤得到日志文件在日志文件队列中的序号后，还需执行以下处理：

123、从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

124、如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

125、对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

其中，判定最后修改时间是否有效的操作为：

根据最近一次读取的日志文件下标从队列中获取对应下标位置的文件信息，检查该文件的最后修改时间与此前保存的最近一次读取日志的时间是否相等，如果相等，则表明最后修改时间是准确的，称为有效。

如果不相等，则从读取该文件中行号为最近一次读取的日志行行号+1处的日志行开始到文件末尾的所有日志行，将以上原始日志行内容、文件在日志文件队列中的序号、行号写入待处理日志行队列，完成该文件读取后，检查日志文件队列中是否存在下一个文件，如果存在，则继续全量读取所有日志行内容并写入待处理日志行队列，直至完成所有日志文件内容的读取，保存此刻的文件下标、最后读取到的日志行行号、读取时间作为下一次检查的依据。

针对日志文件处理过程中的行数可以进行预先设置。提前设置待处理日志行队列的最大行数，也就是设置一定的阈值，当超过这个阈值时，就结束本次读取，保存当前在日志文件队列中的序号、行号、时间，剩余内容留待下一次轮询时进行处理。

在对日志文件队列中的日志文件进行前述内容的处理后，就可以进行具体的日志内容分析步骤，在实际处理过程中该分析步骤通过具体的处理单元实现。针对该处理单元的工作状态不同，该分析步骤会分为两部分实现。

1)索引构建状态

131、在从日志文件队列中提取目标日志文件后，基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索。

比如希望获取一个叫做委托导入事件的日志,于是配置了一个正则表达式”.*委托导入.*”,这里的点号表示匹配任何字符,*表示匹配任意字符0次到无限次,当遇到一个日志行为:”xxxxx,委托导入,xxxxxx”,执行这个正则表达式判断,会被认为是匹配的日志内容

这里检索的目的在于查看目标日志文件当前行内容中是否符合目标格式内容的字符串，该字符串即为需要在索引中体现的关键字信息。

132、如果目标日志文件的行内容中存在符合目标格式内容的字符串，则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳。

在得到线程号和时间戳后，从待处理日志队列中获取的记录中在日志文件队列中的序号、行号、日志行内容进行缓存，并设置状态标志为快照构建状态。

待处理日志队列中获取的记录,意思就是缓存在队列里的原始日志行数据

2)快照构建状态

141、调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号，当获取到的线程号与索引构建状态时已缓存的线程号进行比对。

这里之所以对线程号进行对比，是考虑到在同一时刻不同的线程会对相同的事件进行处理并记录相应日志，因此为了保证后期构建索引的准确性，这里还对线程号进行比对。

142、当比对结果一致时，根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选，如果筛选后确定存在满足条件的格式文本内容字符串，则在当前已记录行数达到阈值的情况下将目标日志文件在日志文件队列中的序号、行号、日志内容写入索引文件。

在进行字符串筛选后，还需要进一步判断当前已记录行数是否已达到事件配置中要求的行数，或是否已经达到全局配置中最大快照行数，若尚未达到快照上限，则将此日志数据在日志文件队列中的序号、行号、日志内容写入索引数据块的快照列表中；否则，切换状态为索引构建状态，准备写入索引文件。

为了构建更全面的索引文件，步骤141、142给出了构建快照的步骤，将快照作为最终构建的索引文件中的一部分内容，相对于现有技术中简单依靠时间维度将关键内容进行排序从而构建索引的方式，能够提高索引文件中内容的表现形式。当发生故障时，通过仅查看快照，从故障相关事件的索引文件中定位目标日志的位置，能够对问题原因进行快速定位。

值得注意的是，步骤14中提出的进行预设操作获取到线程号，包括：

143、确定任一行日志的匹配索引关键字，从得到的匹配索引关键字中提取用于构建快照所使用的线程号。

这里的所获取到的线程号并未预先设置的,而是在确定构建快照的前提下，在确定的一行日志匹配索引关键字中提取到的。如果单只是生成索引则无需执行获取线程号的操作。

基于前述步骤得到的诸多内容，即可建立索引文件，包括：

144、在索引文件路径下生成对应事件的索引文件，在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。

在运行过程中，接收索引对象数据列表，列表中的每一条索引对象数据中包括事件日志所在的文件在文件列表中的下标、事件日志行所在行号、时间戳、线程号、事件日志行原文，以及日志时间快照，索引对象数据结构如图2所示：

日志快照列表中，每行日志快照包括快照日志所在文件在文件列表中的文件队列下标、行号，以及快照日志内容，其结构见图3。

索引存储模块将接受到的索引对象数据写入以事件关键字命名的索引文件中(形如EventOne.idx)，索引文件由一行行的索引对象数据构成，每一行都代表一条事件索引记录。

在写入文件的过程中，索引存储模块判断当前写入文件是否已达到配置的单个索引文件的最大记录后，取出最后一行索引的时间戳，结合事件关键字作为新文件名(形如EventOne_201809051608.idx)备份后，重新在新的时间索引文件中记录数据。

考虑到硬件设备的空间有限，运维人员可能会删除历史的日志数据，因此，在文件读取控制模块中，当检测到发生日志文件删除时，将对已有的索引文件进行同步删除，同时文件读取模块在新的日志文件基础上，重新初始化文件列表，并构建索引及快照数据。

实施例二

根据本公开实施例的第二方面，本实施例提供了用于日志文件的索引构建装置2，如图4所示，所述索引构建装置包括：

预处理模块21，用于对构建索引的规则进行预配置处理，确定日志文件存储路径；

定时查询模块22，用于建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

内容提取模块23，用于从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

索引生成模块24，用于进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

在实施中，本实施例提出的索引构建装置用于执行预配置、日志内容分析以及索引构建三个阶段，其中预配置部分是通过预处理模块21对索引构建过程中的参数进行定义，借助定时查询模块22以及内容提取模块23执行的日志内容分析过程则是基于已定义的参数对日志内容进行分析整理，得到需要建立索引的关键内容，最终经过索引生成模块24执行索引建立的步骤构建完整的索引文件。

与现有技术不同的是，在本实施例提出的索引构建装置，除了依靠惯用的时间线来建立索引以外，还借助代表具体事件的关键字以及执行事件的线程号的方式建立索引，能够使日志查看人员更直接的定位到目标事件日志位置，并可通过查看事件日志的快照摘要进行初步分析，提升执行效率。

首先，预处理模块21用于执行预配置处理步骤包括用户设置关于目标日志的索引及快照构建的各项配置项，具体涉及全局配置和时间配置列表两方面的内容。具体的预处理模块21包括：

全局配置单元211，用于进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

列表配置单元212，用于构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

在实施中，全局配置是对整个索引构建过程中涉及到的参数进行定义，事件配置列表则是对日志内容分析过程中所使用的参数进行定义。在实际过程中，预配置处理可由用户通过填写配置文件的方式实现。

定时查询模块22用于进行日志内容分析的前序步骤，主要思想为建立日志文件队列，以便对多个日志文件进行顺序读取，具体包括：

初始化单元221，用于建立日志文件队列，对日志文件队列进行初始化处理；

文件编辑单元222，用于将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

在实施中，在日志文件队列建立并进行初始化处理后，需要将日志路径下所有符合日志文件名样式的日志文件名、最后修改时间等信息按其修改时间的先后顺序依次插入队列中，文件在队列中的位置序号即为其文件在日志文件队列中的序号，以及初始化建立空的一个待处理日志行队列，并设置最近一次读取的日志文件在日志文件队列中的序号为0，最近一次读取的日志行行号为0，最近一次读取日志的时间为0；

之后会以定时轮询的方式遍历日志路径下的文件列表，查看是否有新的不存在于队列中日志文件产生，有则将其加入队列中，并获得一个队列中位置序号作为其下标。这里的下标作为整个索引构建过程中日志文件的序号。

在通过定时查询模块22执行完前述步骤得到日志文件在日志文件队列中的序号后，还需执行以下处理：

第一时间判定单元223，用于从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

内容传输单元224，用于如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

第二时间判定单元225，用于对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

其中，判定最后修改时间是否有效的操作为：

根据最近一次读取的日志文件下标从队列中获取对应下标位置的文件信息，检查该文件的最后修改时间与此前保存的最近一次读取日志的时间是否相等，如果相等，则表明最后修改时间是准确的，称为有效。

如果不相等，则从读取该文件中行号为最近一次读取的日志行行号+1处的日志行开始到文件末尾的所有日志行，将以上原始日志行内容、文件在日志文件队列中的序号、行号写入待处理日志行队列，完成该文件读取后，检查日志文件队列中是否存在下一个文件，如果存在，则继续全量读取所有日志行内容并写入待处理日志行队列，直至完成所有日志文件内容的读取，保存此刻的文件下标、最后读取到的日志行行号、读取时间作为下一次检查的依据。

针对日志文件处理过程中的行数可以进行预先设置。提前设置待处理日志行队列的最大行数，也就是设置一定的阈值，当超过这个阈值时，就结束本次读取，保存当前在日志文件队列中的序号、行号、时间，剩余内容留待下一次轮询时进行处理。

在对日志文件队列中的日志文件进行前述内容的处理后，就可以进行具体的日志内容分析步骤，在实际处理过程中该分析步骤通过具体的处理单元实现。针对该处理单元的工作状态不同，该分析步骤会分为两部分实现。

1)借助内容提取模块执行的索引构建状态

日志检索单元231，用于在从日志文件队列中提取目标日志文件后，基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索。

比如希望获取一个叫做委托导入事件的日志,于是配置了一个正则表达式”.*委托导入.*”,这里的点号表示匹配任何字符,*表示匹配任意字符0次到无限次,当遇到一个日志行为:”xxxxx,委托导入,xxxxxx”,执行这个正则表达式判断,会被认为是匹配的日志内容

这里检索的目的在于查看目标日志文件当前行内容中是否符合目标格式内容的字符串，该字符串即为需要在索引中体现的关键字信息。

信息提取单元232，用于如果目标日志文件的行内容中存在符合目标格式内容的字符串，则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳。

在得到线程号和时间戳后，从待处理日志队列中获取的记录中在日志文件队列中的序号、行号、日志行内容进行缓存，并设置状态标志为快照构建状态。

待处理日志队列中获取的记录,意思就是缓存在队列里的原始日志行数据

2)借助索引生成模块执行的快照构建状态

线程号处理单元241，用于调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号，当获取到的线程号与索引构建状态时已缓存的线程号进行比对。

这里之所以对线程号进行对比，是考虑到在同一时刻不同的线程会对相同的事件进行处理并记录相应日志，因此为了保证后期构建索引的准确性，这里还对线程号进行比对。

索引写入单元242，用于当比对结果一致时，根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选，如果筛选后确定存在满足条件的格式文本内容字符串，则在当前已记录行数达到阈值的情况下将目标日志文件在日志文件队列中的序号、行号、日志内容写入索引文件。

在进行字符串筛选后，还需要进一步判断当前已记录行数是否已达到事件配置中要求的行数，或是否已经达到全局配置中最大快照行数，若尚未达到快照上限，则将此日志数据在日志文件队列中的序号、行号、日志内容写入索引数据块的快照列表中；否则，切换状态为索引构建状态，准备写入索引文件。

为了构建更全面的索引文件，模块241、242给出了构建快照的步骤，将快照作为最终构建的索引文件中的一部分内容，相对于现有技术中简单依靠时间维度将关键内容进行排序从而构建索引的方式，能够提高索引文件中内容的表现形式。当发生故障时，通过仅查看快照，从故障相关事件的索引文件中定位目标日志的位置，能够对问题原因进行快速定位。

值得注意的是，索引生成模块24包括：

线程号提取单元243，用于确定任一行日志的匹配索引关键字，从得到的匹配索引关键字中提取用于构建快照所使用的线程号。

这里的所获取到的线程号并未预先设置的,而是在确定构建快照的前提下，在确定的一行日志匹配索引关键字中提取到的。如果单只是生成索引则无需执行获取线程号的操作。

基于前述步骤得到的诸多内容，即可建立索引文件，包括：

子目录处理单元244，用于在索引文件路径下生成对应事件的索引文件，在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。

在运行过程中，接收索引对象数据列表，列表中的每一条索引对象数据中包括事件日志所在的文件在文件列表中的下标、事件日志行所在行号、时间戳、线程号、事件日志行原文，以及日志时间快照，索引对象数据结构如图2所示：

日志快照列表中，每行日志快照包括快照日志所在文件在文件列表中的文件队列下标、行号，以及快照日志内容，其结构见图3。

索引存储模块将接受到的索引对象数据写入以事件关键字命名的索引文件中(形如EventOne.idx)，索引文件由一行行的索引对象数据构成，每一行都代表一条事件索引记录。

在写入文件的过程中，索引存储模块判断当前写入文件是否已达到配置的单个索引文件的最大记录后，取出最后一行索引的时间戳，结合事件关键字作为新文件名(形如EventOne_201809051608.idx)备份后，重新在新的时间索引文件中记录数据。

考虑到硬件设备的空间有限，运维人员可能会删除历史的日志数据，因此，在文件读取控制模块中，当检测到发生日志文件删除时，将对已有的索引文件进行同步删除，同时文件读取模块在新的日志文件基础上，重新初始化文件列表，并构建索引及快照数据。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。作为模块或单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现木公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本示例实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例中所述用于日志文件的索引构建方法的步骤。所述用于日志文件的索引构建方法的具体步骤可参考前述实施例中关于上述索引构建步骤的详细描述，此处不再赘述。所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本示例实施方式中，还提供一种电子设备，该电子设备可以包括处理器以及用于存储所述处理器的可执行指令的存储器。其中，所述处理器配置为经由执行所述可执行指令来执行上述任一实施例中所述用于日志文件的索引构建方法的步骤。该生成方法的步骤可参考前述方法实施例中的详细描述，此处不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

图5示出根据本公开示例实施方式中一种电子设备的示意图。例如，装置可以被提供为一服务器或客户端。参照图5，设备包括处理组件522，其进一步包括一个或多个处理器，以及由存储器532所代表的存储器资源，用于存储可由处理组件522执行的指令，例如应用程序。存储器532中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件522被配置为执行指令，以执行上述方法。

电子设备还可以包括一个电源组件526被配置为执行电子设备的电源管理，一个有线或无线网络接口550被配置为将电子设备连接到网络，和一个输入输出(I/O)接口558。电子设备可以操作基于存储在存储器532的操作系统，例如Windows Server TM，Mac OSXTM，Unix TM、Linux TM，FreeBSDTM或类似。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本实施例旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

上述实施例中的各个序号仅仅为了描述，不代表各部件的组装或使用过程中的先后顺序。

以上所述仅为本发明的实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.用于日志文件的索引构建方法，其特征在于，所述索引构建方法包括：

对构建索引的规则进行预配置处理，确定日志文件存储路径；

建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

2.根据权利要求1所述的用于日志文件的索引构建方法，其特征在于，所述预配置处理包括：

进行全局配置，包括日志文件路径、日志文件名样式、日志行线程号获取规则正则表达式、日志行时间戳获取规则正则表达式、快照最大行数配置、索引文件路径、单个索引文件最大索引记录数量；

构建事件配置列表，包括事件关键字匹配正则表达式、事件日志快照行数、事件日志快照行筛选规则正则表达式。

3.根据权利要求2所述的用于日志文件的索引构建方法，其特征在于，所述建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中包括：

建立日志文件队列，对日志文件队列进行初始化处理；

将位于日志文件存储路径下符合日志文件名样式的日志文件按修改时间先后的顺序逐个导入初始化后的日志文件队列中，将日志文件在队列中的位置编号作为日志文件在日志文件队列中的序号。

4.根据权利要求3所述的用于日志文件的索引构建方法，其特征在于，所述方法还包括：

从日志文件队列中获取最近已读取日志文件的最后修改时间，判定最后修改时间是否有效；

如果无效则提取日志文件中的未读取内容，将未读取内容以及文件在日志文件队列中的序号传输至待处理日志队列；

对日志文件队列中尚未读取的日志文件均进行最后修改时间是否有效的判定操作。

5.根据权利要求3所述的用于日志文件的索引构建方法，其特征在于，所述从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳，包括：

在从日志文件队列中提取目标日志文件后，基于匹配正则表达式集中的事件关键字匹配正则表达式对目标日志文件进行检索；

如果目标日志文件的行内容中存在符合目标格式内容的字符串，则根据日志行线程号获取规则正则表达式和日志行时间戳获取规则正则表达式分别获取线程号和时间戳。

6.根据权利要求3所述的用于日志文件的索引构建方法，其特征在于，所述进行预设操作获取到线程号，将线程号与预先缓存的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件，包括：

调用日志行线程号获取规则正则表达式获取每行目标日志文件的线程号，当获取到的线程号与已缓存的线程号进行比对；

当比对结果一致时，根据事件日志快照行筛选规则正则表达式对目标日志文件中的该行内容进行字符串筛选，如果筛选后确定存在满足条件的格式文本内容字符串，则在当前已记录行数达到阈值的情况下将目标日志文件的文件在日志文件队列中的序号、行号、日志内容写入索引文件；

在索引文件路径下生成对应事件的索引文件，在索引文件中根据事件配置列表对其中每一个事件配置生成一个以事件关键字命名的独立子目录。

7.根据权利要求1至6任一项所述的用于日志文件的索引构建方法，其特征在于，所述进行预设操作获取到线程号，包括：

确定任一行日志的匹配索引关键字，从得到的匹配索引关键字中提取用于构建快照所使用的线程号。

8.用于日志文件的索引构建装置，其特征在于，所述索引构建装置包括：

预处理模块，用于对构建索引的规则进行预配置处理，确定日志文件存储路径；

定时查询模块，用于建立日志文件队列，对日志文件存储路径下的文件进行定时查询，将查询到的日志文件导入初始化后的日志文件队列中；

内容提取模块，用于从日志文件队列中逐个提取日志文件，根据匹配正则表达式集从日志文件中提取线程号和时间戳；

索引生成模块，用于进行预设操作获取到线程号，将线程号与已获取到的线程号进行比对，当比对结果一致时，基于匹配正则表达式集对日志文件中是否存在预设格式的文本内容进行筛选，基于筛选结果生成索引文件。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述用于日志文件的索引构建方法的步骤。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行根据权利要求1至7任一项所述用于日志文件的索引构建方法的步骤。