CN109684291A - 一种文件数据采集方法、系统、电子设备和介质 - Google Patents

Abstract

本申请提供了一种文件数据采集方法、系统、电子设备和介质。所述方法包括：在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1；将第一文件列表中的文件进行采集；在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。从而实现保证文件数据采集的连贯性并且不重复采集。

Description

一种文件数据采集方法、系统、电子设备和介质

技术领域

本申请涉及一种文件数据采集方法、系统、电子设备和介质。

背景技术

日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。但在系统的日常操作中，经常会产生各种各样的日志文件，如果不加以处理，会导致单个日志文件体积过于臃肿，不利于后期排查。因此需要对日志文件定期操作，比如每天将日志文件打包备份，重新编排版本号等。

滚动日志文件是一种日志文件生成方式，为防止日志文件过大，当文件增长到一定程度的时候，就会切换到一个新的文件写入。在文件生成过程中，根据不同的策略，可能会对文件改名，如log4j采用的策略是.log永远是最新，然后是.log.1。这种策略下，文件会不断改名。但滚动日志在增量采集时使用文件名访问无法确认是否同一个文件。

目前的采集方式一般使用文件的索引节点inode来识别同一文件，由于采集一般使用定时任务，在日志快速增长时，可能一个周期中生成了多个文件，在没有inode辅助的时候无法找到上一周期采集的文件，也就无法从上一次采集的最后的日志开始继续采集，且保证数据采集的连贯性并且不重复采集。并且文件的索引节点inode仅在linux环境下有效，对于windows环境下的文件，文件的索引节点inode无效，因此这种采集方式在windows环境下不能使用。

发明内容

本申请的一个方面提供了一种文件数据采集方法，所述方法包括：在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1；将第一文件列表中的文件进行采集；在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。

可选地，所述获取以时间标识作为顺序排列的第一文件列表，包括：扫描日志文件中的文件目录，获取第一文件和与所述第一文件对应的时间标识；将所述第一文件、所述所述第一文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第一文件列表。

可选地，所述获取时间标识大于所述第一时间标识的第二文件列表，包括：扫描日志文件中的文件目录，获取时间标识大于等于所述第一时间标识的第二文件和与所述第二文件对应的时间标识；将所述第二文件和与所述第二文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第二文件列表。

可选地，在所述并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识之后，还包括：获取所述第一文件列表中最后一个文件的文件尾部位置指针。

可选地，所述将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集，包括：判断所述第二文件列表中第一个文件的时间标识是否等于所述第一文件列表中最后一个文件的时间标识；若是，从所述第二文件列表中第二个文件开始进行采集。

可选地，所述将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集，包括：判断所述第二文件列表中第一个文件的时间标识是否大于所述第一文件列表中最后一个文件的时间标识；若是，从所述第N个采集周期中获取的所述第一文件列表中最后一个文件的文件尾部位置指针处开始进行采集。

可选地，所述时间标识为最后一次修改文件的时间。

本申请另一个方面提供了一种文件数据采集系统，所述系统包括：第一文件列表获取模块，用于在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1，将第一文件列表中的文件进行采集；第二文件列表获取模块，用于在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；采集模块，用于将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。

本申请又一方面提供了一种电子设备，所述设备包括：处理器；存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行如上文所述的文件数据采集方法。

本申请再一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上文所述的文件数据采集方法。

附图说明

为了更完整地理解本申请及其优势，现在将参考结合附图的以下描述，其中：

图1示意性示出了本申请实施例提供的文件数据采集的方法流程图；

图2示意性示出了本申请实施例提供的文件数据采集方法中获取以时间标识作为顺序排列的第一文件列表的步骤的方法流程图；

图3示意性示出了本申请实施例提供的文件数据采集方法中方法中获取时间标识大于等于所述第一时间标识的第二文件列表的步骤的方法流程图；

图4示意性示出了本申请实施例提供的文件数据采集方法中方法中的步骤S103的方法流程图；

图5示意性示出了本申请实施例提供的文件数据采集系统框图；

图6示意性示出了根据本申请实施例提供的电子设备框图。

具体实施方式

以下，将参照附图来描述本申请的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本申请的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本申请实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本申请。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

本申请的一个实施例提供了一种文件数据采集方法，参见图1，所述方法包括步骤S101～步骤S102的内容：

本申请实施例以增量采集是文件数据为例进行说明，增量采集是指除了需要第一次采集所有的数据内容，后续再采集的时候只需要采集新增的数据内容。

步骤S101，在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1，将第一文件列表中的文件进行采集。

其中，所述时间标识为最后一次修改文件的时间。对于日志文件而言，或者滚动日志文件而言，文件的最后一次修改时间只取决于最后日志写入的时间，修改文件名不会改变最后一次修改文件的时间，基于日志文件顺序创建，每次只写入一个文件的特性，因此不存在两个文件有相同的最后修改时间。

在一个可行的方式中，参见图2，获取以时间标识作为顺序排列的第一文件列表的步骤可以通过下列步骤步骤S101a～步骤S101b进行实现：

步骤S101a，扫描日志文件中的文件目录，获取第一文件和与所述第一文件对应的时间标识。

此处的第一文件为多个日志文件，将第一文件以及与这些第一文件对应的最后一次修改该第一文件的时间进行获取，形成一个列表，列表中包含的信息为第一文件，以及最后一次修改该第一文件的时间。

步骤S101b将所述第一文件、所述所述第一文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第一文件列表。

将步骤S101a中形成的列表通过最后一次修改该第一文件的时间进行排序，将时间最早的第一文件作为第一文件列表中的第一个文件，将时间最晚的第一文件作为第一文件列表中的最后一个文件，形成第一文件列表。

另外，需要说明的是，在该第N个采集周期中，此处可以理解为第1个采集周期，第一文件列表中的所有文件均是需要采集的，那么还需获取第一文件列表中的最后一个文件的文件尾部位置指针。通常情况下文件位置指针的作用是用于确定在文件内部要读取或写入的位置，因此此处获取的文件位置指针是为了下一次文件被追加写入后，下一周期的读取可以从该文件位置指针处开始进行读取。

步骤S102，在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表。

在一个可行的方式中，参见图3，获取时间标识大于等于所述第一时间标识的第二文件列表的步骤可以通过下列步骤步骤S102a～步骤S102b进行实现：

步骤S102a，扫描日志文件中的文件目录，获取时间标识大于等于所述第一时间标识的第二文件和与所述第二文件对应的时间标识。

此处的第二文件为多个日志文件，将第二文件以及与这些第二文件对应的最后一次修改该第二文件的时间进行获取，形成一个列表，列表中包含的信息为第二文件，以及最后一次修改该第二文件的时间。

步骤S102b，将所述第二文件和与所述第二文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第二文件列表。

将步骤S102a中形成的列表通过最后一次修改该第一文件的时间进行排序，将时间最早的第二文件作为第二文件列表中的第一个文件，将时间最晚的第二文件作为第二文件列表中的最后一个文件，形成第二文件列表。

步骤S103，将所述第二文件列表中与所述第一文件列表文件不重复的文件内容进行采集。

在一个可选的方式中，如图4所示，所述步骤S103还可以通过步骤S103a～步骤S103b来完成：

步骤S103a，判断所述第二文件列表中第一个文件的时间标识是否等于所述第一文件列表中最后一个文件的时间标识；若是，从所述第二文件列表中第二个文件开始进行采集。

若第二文件列表中的第一个文件与第一列表中的最后一个文件的最后一次修改时间是相等的，说明这个文件是第一文件列表的最后一个文件，且在上一个采集周期结束后没有被修改，为了避免重复采集，则需要跳过第二文件列表中的第一个文件，从时间排序中的下一个文件即第二个文件开始采集。

步骤S103b，判断所述第二文件列表中第一个文件的时间标识是否大于所述第一文件列表中最后一个文件的时间标识；若是，从所述第N个采集周期中获取的所述第一文件列表中最后一个文件的文件尾部位置指针处开始对这个文件进行采集。

若第二文件列表中的第一个文件与第一列表中的最后一个文件的最后一次修改时间不重复，说明这个文件是第一文件列表的最后一个文件，且在上一个采集周期结束后被追加了内容(以等于时间标识查询，查不到时间标识相等的文件，即目录中不存在此时间标识的文件，即表示具有这个时间标识的文件已经被修改)，为了保证数据采集的连贯性，需要对此文件进行采集，且应从第N个采集周期中获取的所述第一文件列表中最后一个文件的文件位置指针处开始进行采集。

综上所述，本申请通过利用时间标识进行排序形成各个周期的文件列表，并对前一次的列表中已采集过的数据中最后一个采集对象的时间标识进行获取，通过该时间标识筛选出下一个周期不重复的文件列表，从而实现保证文件数据采集的连贯性并且不重复采集。并解决了现有技术的滚动日志文件中由于日志文件改名造成的无法找到上一次采集最后日志文件，从而无法从上一次采集的最后日志文件开始采集的问题。本申请并没有使用到索引节点inode来识别同一文件，因此并不受linux环境的限制，对于windows环境同样适用。

参见图5，图5示例性示出了根据本申请实施例的文件数据采集系统，所述系统500包括：第一文件列表获取模块501，用于在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1，将第一文件列表中的文件进行采集；第二文件列表获取模块502，用于在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；采集模块503，用于将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。

根据本申请的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本申请实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。

图6示意性示出了根据本申请实施例的电子设备的框图。

如图6所示，电子设备600包括处理器601和存储器602。该电子设备600可以执行根据本申请实施例的方法。

具体地，处理器601例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以是用于执行根据本申请实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

存储器602，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行如上文所述的直播间标签的添加方法。

本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本申请实施例的方法。

根据本申请的实施例，计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线、光缆、射频信号等等，或者上述的任意合适的组合。

本领域技术人员可以理解，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本申请的范围。

尽管已经参照本申请的特定示例性实施例示出并描述了本申请，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本申请的精神和范围的情况下，可以对本申请进行形式和细节上的多种改变。因此，本申请的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种文件数据采集方法，其特征在于，所述方法包括：

在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1；将第一文件列表中的文件进行采集；

在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；

将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。

2.根据权利要求1中所述的方法，其特征在于，所述获取以时间标识作为顺序排列的第一文件列表，包括：

扫描日志文件中的文件目录，获取第一文件和与所述第一文件对应的时间标识；

将所述第一文件、所述所述第一文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第一文件列表。

3.根据权利要求1中所述的方法，其特征在于，所述获取时间标识大于等于所述第一时间标识的第二文件列表，包括：

扫描日志文件中的文件目录，获取时间标识大于等于所述第一时间标识的第二文件和与所述第二文件对应的时间标识；

将所述第二文件和与所述第二文件对应的时间标识根据所述时间表间标识的先后进行顺序排列，形成所述第二文件列表。

4.根据权利要求1中所述的方法，其特征在于，在所述并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识之后，还包括：

获取所述第一文件列表中最后一个文件的文件尾部位置指针。

5.根据权利要求1中所述的方法，其特征在于，所述将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集，包括：

判断所述第二文件列表中第一个文件的时间标识是否等于所述第一文件列表中最后一个文件的时间标识；

若是，从所述第二文件列表中第二个文件开始进行采集。

6.根据权利要求4中所述的方法，其特征在于，所述将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集，包括：

判断所述第二文件列表中第一个文件的时间标识是否大于所述第一文件列表中最后一个文件的时间标识；

若是，从所述第N个采集周期中获取的所述第一文件列表中最后一个文件的文件尾部位置指针处开始进行采集。

7.根据权利要求1～6中任一项所述的方法，其特征在于，所述时间标识为最后一次修改文件的时间。

8.一种文件数据采集系统，其特征在于，所述系统包括：

第一文件列表获取模块，用于在第N个采集周期中，获取以时间标识作为顺序排列的第一文件列表，并获取所述第一文件列表中最后一个文件的时间标识作为第一时间标识，N≥1，将第一文件列表中的文件进行采集；

第二文件列表获取模块，用于在第N+1个采集周期中，获取时间标识大于等于所述第一时间标识的第二文件列表；

采集模块，用于将所述第二文件列表中与所述第一文件列表文件不重复的文件进行采集。

9.一种电子设备，其特征在于，所述设备包括：

处理器；

存储器，其存储有计算机可执行程序，该程序在被所述处理器执行时，使得所述处理器执行如权利要求1-7中所述的文件数据采集方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中所述的文件数据采集方法。