CN103473169A - 一种日志文件收集方法及装置 - Google Patents

Abstract

本发明涉及日志文件相关技术领域，特别是一种日志文件收集方法及装置，收集方法包括：选择一个文件摘要，查找所述文件摘要对应的日志文件；读取对应的日志文件中预设数量的内容，与文件摘要进行比较，如果一致，则读取对应的日志文件内容，否则对所有日志文件进行查找：如果存在对应的日志文件，执行日志文件匹配步骤；否则丢弃所述文件摘要；如果还有未选择的文件摘要，则重复执行上述步骤，否则退出。本发明在日志文件创建时，由日志文件生成文件摘要，通过文件摘要对日志文件进行检查，以判断文件摘要对应的日志文件是否被重命名，从而避免日志内容的重复收集或少收集，保证了数据的准确性。

Description

一种日志文件收集方法及装置

技术领域

本发明涉及日志文件相关技术领域，特别是一种日志文件收集方法及装置。

背景技术

在统一日志系统的架构设计中，第一个环节就是需要采集成千上万的终端设备发送的日志数据然后汇集到统一的数据转发中心。而不同的终端设备生成的日志文件（用于存储日志数据的文件）的方式不一样，有的使用开源的日志打印框架生成日志（比如：log4j），有的使用他们自定义的工具生成日志等等。不论使用那一种方式生成日志文件，其共同的特点便是：当生成的某个日志文件太大或是在时间上满足某些条件的时候，就把日志文件按相应规则重命名为其它文件，但还是让应用将日志输出到原日志文件。比如某应用使用log4j生成日志文件，生成规则是：按大小切分，每个文件最大10M，并向a.log输出日志，如果a.log文件大于10M时，a.log将被重命名为a.log.1，并且将重新创建一个a.log的文件，应用将继续向a.log输出日志。

当有多个日志文件，如图1所示，原有日志文件为a.log、a.log.1、a.log.2、a.log.3，当发生重命名时，其详细步骤如下：

1）将a.log.3重命名为a.log.4；

2）将a.log.2重命名为a.log.3；

3）将a.log.1重命名为a.log.2；

4）将a.log重命名为a.log.1；

5）创建文件a.log。

由于应用输入到a.log.3、a.log.2、a.log.1、a.log这些日志文件的日志是有时间顺序的，所以要求在采集这些日志内容的时间也能按时间顺序采集。且由于应用输入到日志文件的时间的不确定性，而且要求采集日志的及时性，所以要求在日志文件有变化（即有内容输入）的时候，就能及时响应并将日志采集转发到指定目的地。

现有技术基于监听的方式对日志文件进行收集，当日志文件发生重命名时，以文件名称作为文件区分标识进行收集。

然而，由于日志文件发生重命名是具有偶发性的，因此并不能明确日志文件什么时候会发生重命名，例如：文件超过指定大小会发生重命名、当前系统时间变化可能会发生重命名，或是一些其它原因都有可能令日志文件发生重命名。

如果文件正在被收集的时候发生了重命名，而日志文件采集装置仍然按照原来的日志文件名称进行收集，就可能造成日志内容重复收集或少收集，造成数据不准确。

考虑图1的情况，如果日志文件采集装置正在采集a.log时发生重命名，则a.log已经重命名为a.log.1，然而，日志文件采集装置仍然对a.log进行采集，则此时a.log所包括的日志数据已经被改变，因此，继续对a.log进行采集会造成数据不准确。

发明内容

基于此，有必要针对现有技术对日志文件采集时文件被重命名的情况下，容易导致采集数据不准确的技术问题，提供一种日志文件收集方法及装置。

一种日志文件收集方法，包括：

日志文件查找步骤，选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配步骤，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

日志文件匹配步骤，读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取步骤，否则执行全体日志文件查找步骤；

日志文件读取步骤，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索步骤；

全体日志文件查找步骤，对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配步骤；否则丢弃所述文件摘要，执行文件摘要检索步骤；

文件摘要检索步骤，如果还有未选择的文件摘要，则执行所述日志文件查找步骤，否则退出。

一种日志文件收集装置，包括：

日志文件查找模块，用于选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配模块，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

日志文件匹配模块，用于读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取模块，否则执行全体日志文件查找模块；

日志文件读取模块，用于读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索模块；

全体日志文件查找模块，用于对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配模块；否则丢弃所述文件摘要，执行文件摘要检索模块；

文件摘要检索模块，用于如果还有未选择的文件摘要，则执行所述日志文件查找模块，否则退出。

本发明在日志文件创建时，由日志文件中预设数量的内容生成文件摘要，通过文件摘要对日志文件进行检查，以判断文件摘要对应的日志文件是否被重命名，从而避免日志内容的重复收集或少收集，保证了数据的准确性。

附图说明

图1为日志文件重命名示意图；

图2为本发明一种日志文件收集方法的工作流程图；

图3为本发明一种日志文件收集方法一个例子的工作流程图；

图4为本发明一种日志文件收集装置的结构模块图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细的说明。

如图2所示为本发明一种日志文件收集方法的工作流程图，包括：

日志文件查找步骤S201，选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配步骤S202，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

S202日志文件匹配步骤S202，读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取步骤S203，否则执行全体日志文件查找步骤S204；

日志文件读取步骤S203，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索步骤S205；

全体日志文件查找步骤S204，对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配步骤S202；否则丢弃所述文件摘要，执行文件摘要检索步骤S205；

文件摘要检索步骤S205，如果还有未选择的文件摘要，则执行所述日志文件查找步骤S201，否则退出。

其中，步骤S201中，文件摘要与日志文件的对应关系可以预先设定，例如，对于a.log、a.log.1、a.log.2、a.log.3，预先设定对应的文件摘要为digest0、digest1、digest2、diegest3。文件摘要可以通过一个文件摘要缓存队列进行保存，例如将digest0、digest1、digest2、diegest3保存到文件摘要缓存队列中，当需要的时候从中取出，并查找对应的日志文件，当需要执行“丢弃所述文件摘要”，则可以为从文件摘要缓存队列中将文件摘要删除。

其中，步骤S202中，由于在查找文件的过程中，文件摘要对应的日志文件可能被更改，因此读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，则能确定日志文件是否被更改，如果日志文件被更改，则所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要不一致，此时可以执行全体日志文件查找步骤S204重新查找日志文件。

其中，执行步骤S202～S203，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置。日志文件可以是已经完结即不再允许写入新内容，例如如图1所示的a.log.1、a.log.2和a.log.3。然而，日志文件也可以是允许写入新内容的日志文件，例如a.log。在其中一个实施例中：

所述日志文件查找步骤S201，具体包括：

选择一个文件摘要，查找所述文件摘要对应的日志文件，初始化所述文件摘要对应的日志文件的读取记录，执行日志文件匹配步骤，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

所述日志文件读取步骤S203，具体包括：

根据所述读取记录，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，读取完毕所述文件摘要对应的日志文件后，判断所述文件摘要对应的日志文件是否允许写入新内容，如果所述文件摘要对应的日志文件不允许写入新内容，则丢弃所述文件摘要，并执行所述文件摘要检索步骤，否则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行日志文件匹配步骤S202。

本实施例中，判断所述文件摘要对应的日志文件是否允许写入新内容，可以通过判断日志文件是否达到预定大小，或者日期为前一天等方式进行判断。如果所述文件摘要对应的日志文件不允许写入新内容，则丢弃所述文件摘要，例如，当采用文件摘要缓存队列保存文件摘要时，则可以为从文件摘要缓存队列中将文件摘要删除。如果所述文件摘要对应的日志文件允许写入新内容，则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行日志文件匹配步骤S202，即读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取步骤S203，否则执行全体日志文件查找步骤S204，此时执行步骤S203时，由于读取记录已经更新，因此，即从日志文件上一次的读取记录开始读取日志文件。

其中，休眠预设时间为对读取当前文件摘要对应的日志文件进行休眠，即此时可以执行步骤S205读取其他的文件摘要，也可以等待当前文件摘要对应的日志文件读取完毕后再执行步骤S205读取其他的文件摘要。

在其中一个实施例中，所述文件摘要在日志文件创建且日志文件所写入的内容超过预设数量时，由日志文件中预设数量的内容所生成。对日志文件发生创建事件，可以通过设立监听任务进行监听。

其中，步骤S202和S204中，当文件摘要由日志文件中预设数量的内容直接生成，即文件摘要与日志文件中预设数量的内容相同，则所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，即为：文件摘要对应的日志文件中预设数量的内容与所述文件摘要相同，所述预设数量的内容与所述文件摘要一致的日志文件，即为：所述预设数量的内容与所述文件摘要相同的日志文件。

然而，文件摘要由日志文件中预设数量的内容通过其他方式生成，在其中一个实施例中，所述文件摘要为日志文件创建时，由日志文件中预设数量的内容所生成的哈希值；

所述如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，具体为：如果所述文件摘要对应的日志文件中预设数量的内容所生成的哈希值与所述文件摘要相同；

所述预设数量的内容与所述文件摘要一致的日志文件，具体为：预设数量的内容所生产的哈希值与所述文件摘要相同的日志文件。

本实施例将文件内容作为信息摘要的输入数据，而得到一个唯一区分文件的固定长度的哈希值。本实施例采用哈希值，能够节省文件摘要的大小。同时，日志文件匹配步骤S202中，所述读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，也采用哈希值进行比较。

在其中一个实施例中，所述日志文件中预设数量的内容为：日志文件前面的预设数量的内容。优选地，可以采用日志文件前面的128个字节的内容作为文件摘要。由于日志文件的增加一般是加在日志文件的后面，因此采用日志文件前面的预设数量的内容作为文件摘要，则即使日志文件内容有增加，其日志文件前面的预设数量的内容不变，从而能够与文件摘要进行比较。

如图3所示为本发明一种日志文件收集方法其中一个例子的工作流程图，包括：

步骤S301，启动日志文件监听，监听包括日志文件的创建、重命名、删除以及内容的变化；

步骤S302，如果监听到新日志文件创建，则当日志文件的内容大于或等于128个字节，取出128个字节，计算对应的哈希值生成文件摘要，并将文件摘要发到待采集的文件摘要缓存队列中，并关联文件摘要和对应的日志文件；

步骤S303，从文件摘要缓存队列中取出一个文件摘要；

步骤S304，查找所述文件摘要对应的日志文件，初始化所述文件摘要对应的日志文件的读取记录，执行步骤S305；

步骤S305，读取所述文件摘要对应的日志文件中预设数量的内容转换为哈希值，与所述文件摘要进行比较，如果一致，则执行步骤S306，否则执行步骤S308；

步骤S306，根据所述读取记录，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行步骤S307；

步骤S307，如果已经读到日志文件的最后，即所述文件摘要对应的日志文件不允许写入新内容，则从文件摘要缓存队列中删除文件摘要，并执行步骤S310，否则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行步骤S305；

步骤S308，对所有日志文件进行查找，执行步骤S309；

步骤S309，如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行步骤S305；否则从文件摘要缓存队列中删除文件摘要，执行步骤S310；

步骤S310，如果还有未选择的文件摘要，则执行所述步骤303，否则退出。

例如：现在某目录下有四个文件：a.log、a.log.1、a.log.2、a.log.3，采用日志文件头128个字节的哈希值作为文件摘要，它们分别对应的文件摘要为digest0、digest1、digest2、digest3。

按照日志生成时间的先后，采集日志的顺序为：a.log.3(digest3)->a.log.2(digest2)->a.log.1(digest1)->a.log(digest0)。

首先从文件摘要缓存队列中取出digest3，在该目录查找对应的日志文件，在找到对应的日志文件a.log.3后，读取文件头128个字节的哈希值再次校验摘要是否一致，如果一致，就读取日志文件a.log.3的内容并发送到指定位置，并且在发送完成以后，判断文件内容是否已经读完，如果已读完，则从文件摘要缓存队列中移除该文件摘要digest3，否则休眠一定时间以后，以再次去读取文件摘要digest3，与日志文件a.log.3的头128个字节的哈希值进行校验，如果一致，则继续读取日志文件a.log.3的内容，以此类推直到读取完毕该日志文件；如果在读取过程当中发现日志文件的头128个字节的哈希值与文件摘要不一致，则表示有可能文件被重命名了，则重新去该目录查找头128个字节的哈希值与文件摘要一致的日志文件，如果找不到头128个字节的哈希值与文件摘要一致的日志文件，则判断与文件摘要对应的日志文件已不存在，将该文件摘要从文件摘要缓存队列中移除。以此重复直到读完所有的文件摘要对应的日志文件。

如图4所示为本发明的一种日志文件收集装置的结构模块图，包括：

日志文件查找模块410，用于选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配模块420，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成

日志文件匹配模块420，用于读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取模块430，否则执行全体日志文件查找模块440；

日志文件读取模块430，用于读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索模块450；

全体日志文件查找模块440，用于对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配模块420；否则丢弃所述文件摘要，执行文件摘要检索模块450；

文件摘要检索模块450，用于如果还有未选择的文件摘要，则执行所述日志文件查找模块，否则退出。

在其中一个实施例中：

所述日志文件查找模块410，具体用于：

选择一个文件摘要，查找所述文件摘要对应的日志文件，初始化所述文件摘要对应的日志文件的读取记录，执行日志文件匹配模块，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

所述日志文件读取模块430，具体用于：

根据所述读取记录，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，读取完毕所述文件摘要对应的日志文件后，判断所述文件摘要对应的日志文件是否允许写入新内容，如果所述文件摘要对应的日志文件不允许写入新内容，则丢弃所述文件摘要，并执行所述文件摘要检索模块450，否则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行日志文件匹配模块420。

在其中一个实施例中，所述文件摘要在日志文件创建且日志文件所写入的内容超过预设数量时，由日志文件中预设数量的内容所生成。

在其中一个实施例中，所述文件摘要为日志文件创建时，由日志文件中预设数量的内容所生成的哈希值；

所述如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，具体为：如果所述文件摘要对应的日志文件中预设数量的内容所生成的哈希值与所述文件摘要相同；

所述预设数量的内容与所述文件摘要一致的日志文件，具体为：预设数量的内容所生产的哈希值与所述文件摘要相同的日志文件。

在其中一个实施例中，所述日志文件中预设数量的内容为：日志文件前面的预设数量的内容。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种日志文件收集方法，其特征在于，包括：

日志文件查找步骤，选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配步骤，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

日志文件匹配步骤，读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取步骤，否则执行全体日志文件查找步骤；

日志文件读取步骤，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索步骤；

全体日志文件查找步骤，对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配步骤；否则丢弃所述文件摘要，执行文件摘要检索步骤；

文件摘要检索步骤，如果还有未选择的文件摘要，则执行所述日志文件查找步骤，否则退出。

2.根据权利要求1所述的日志文件收集方法，其特征在于：

所述日志文件查找步骤，具体包括：

选择一个文件摘要，查找所述文件摘要对应的日志文件，初始化所述文件摘要对应的日志文件的读取记录，执行日志文件匹配步骤，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

所述日志文件读取步骤，具体包括：

根据所述读取记录，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，读取完毕所述文件摘要对应的日志文件后，判断所述文件摘要对应的日志文件是否允许写入新内容，如果所述文件摘要对应的日志文件不允许写入新内容，则丢弃所述文件摘要，并执行所述文件摘要检索步骤，否则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行日志文件匹配步骤。

3.根据权利要求1所述的日志文件收集方法，其特征在于，所述文件摘要在日志文件创建且日志文件所写入的内容超过预设数量时，由日志文件中预设数量的内容所生成。

4.根据权利要求1所述的日志文件收集方法，其特征在于：

所述文件摘要为日志文件创建时，由日志文件中预设数量的内容所生成的哈希值；

所述如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，具体为：如果所述文件摘要对应的日志文件中预设数量的内容所生成的哈希值与所述文件摘要相同；

所述预设数量的内容与所述文件摘要一致的日志文件，具体为：预设数量的内容所生产的哈希值与所述文件摘要相同的日志文件。

5.根据权利要求1所述的日志文件收集方法，其特征在于，所述日志文件中预设数量的内容为：日志文件前面的预设数量的内容。

6.一种日志文件收集装置，其特征在于，包括：

日志文件查找模块，用于选择一个文件摘要，查找所述文件摘要对应的日志文件，执行日志文件匹配模块，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

日志文件匹配模块，用于读取所述文件摘要对应的日志文件中预设数量的内容，与所述文件摘要进行比较，如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，则执行日志文件读取模块，否则执行全体日志文件查找模块；

日志文件读取模块，用于读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，执行文件摘要检索模块；

全体日志文件查找模块，用于对所有日志文件进行查找：如果存在预设数量的内容与所述文件摘要一致的日志文件，则将所述预设数量的内容与所述文件摘要一致的日志文件作为所述文件摘要对应的日志文件，执行日志文件匹配模块；否则丢弃所述文件摘要，执行文件摘要检索模块；

文件摘要检索模块，用于如果还有未选择的文件摘要，则执行所述日志文件查找模块，否则退出。

7.根据权利要求6所述的日志文件收集装置，其特征在于：

所述日志文件查找模块，具体用于：

选择一个文件摘要，查找所述文件摘要对应的日志文件，初始化所述文件摘要对应的日志文件的读取记录，执行日志文件匹配模块，所述文件摘要在日志文件创建时，由日志文件中预设数量的内容所生成；

所述日志文件读取模块，具体用于：

根据所述读取记录，读取所述文件摘要对应的日志文件内容并发送到预设的指定位置，读取完毕所述文件摘要对应的日志文件后，判断所述文件摘要对应的日志文件是否允许写入新内容，如果所述文件摘要对应的日志文件不允许写入新内容，则丢弃所述文件摘要，并执行所述文件摘要检索模块，否则更新所述文件摘要对应的日志文件的读取记录，并休眠预设时间后，执行日志文件匹配模块。

8.根据权利要求6所述的日志文件收集装置，其特征在于，所述文件摘要在日志文件创建且日志文件所写入的内容超过预设数量时，由日志文件中预设数量的内容所生成。

9.根据权利要求6所述的日志文件收集装置，其特征在于，所述文件摘要为日志文件创建时，由日志文件中预设数量的内容所生成的哈希值；

所述如果所述文件摘要对应的日志文件中预设数量的内容与所述文件摘要一致，具体为：如果所述文件摘要对应的日志文件中预设数量的内容所生成的哈希值与所述文件摘要相同；

所述预设数量的内容与所述文件摘要一致的日志文件，具体为：预设数量的内容所生产的哈希值与所述文件摘要相同的日志文件。

10.根据权利要求6所述的日志文件收集装置，其特征在于，所述日志文件中预设数量的内容为：日志文件前面的预设数量的内容。

Images