CN106095959A - 一种数据采集方法、装置及系统 - Google Patents

Abstract

本发明公开了一种数据采集方法、装置及系统，包括：检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；采集线程从所述指定目录下采集所述新的日志文件并发送至服务器。可见，通过将满足拆分条件的日志数据拆分另存为新的日志文件这种拆分方式，使采集线程工作时，不影响写入线程继续写入日志数据，从而减小了传输延时的同时，提高了工作效率，解决了现有技术中由于写入进程和采集进程不能同时进行而导致的采集等待时间较长，整体过程连贯性差和效率不佳的问题。

Description

一种数据采集方法、装置及系统

技术领域

本发明涉及数据采集技术领域，更具体地说，涉及一种数据采集方法、装置及系统。

背景技术

目前，日志数据的写入和采集是阻塞方式。传统方式下，日志写入进程和日志采集进程交互锁定日志数据；当采集进程进行日志采集时，进程执行read()系统调用；如果该日志数据正在被写入进程锁定，在日志采集进程会一直被阻塞，处于挂起状态；直至写入进程释放日志数据；反之亦然。因此，在此方式下，由于采集的进程导致写入进程的挂起，会严重影响整体系统的性能；另一方面，正在写入时，采集进程被挂起，导致采集等待时间较长，整体过程连贯性差和效率不佳。

因此，如何解决传统方式下对日志数据写入和采集时存在的问题，是本领域技术人员需要解决的。

发明内容

本发明的目的在于提供一种数据采集方法、装置及系统，以解决传统方式下对日志数据写入和采集时整体过程连贯性差和效率不佳的问题。

为实现上述目的，本发明实施例提供了如下技术方案：

一种数据采集方法，包括：

检测写入线程写入的未采集的日志数据是否满足拆分条件；

若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

采集线程从所述指定目录下采集所述新的日志文件并发送至服务器；

其中，在将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，并继续执行所述检测写入线程写入的未采集的日志数据是否满足拆分条件的步骤。

其中，所述检测写入线程写入的未采集的日志数据是否满足拆分条件，包括：

检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

其中，将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下，包括：

将满足拆分条件的日志数据拆分出，并按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

其中，还包括：

接收到服务器发送的手动采集指令后，将所述写入线程写入的未采集的日志数据立即拆分出，另存为新的日志文件并保存至指定目录下。

一种数据采集装置，包括：

检测模块，用于检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则触发拆分模块；

所述拆分模块，用于将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

发送模块，用于将采集线程从所述指定目录下采集的所述新的日志文件并发送至服务器；

其中，在所述拆分模块将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，且所述检测模块继续检测写入线程写入的未采集的日志数据是否满足拆分条件。

其中，所述检测模块，包括：

第一检测单元，用于检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，

第二检测单元，用于检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

其中，所述拆分模块将满足拆分条件的日志数据拆分出后，按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

其中，还包括：

执行模块，用于在接收到服务器发送的手动采集指令后，立即触发所述拆分模块将所述写入线程写入的未采集的日志数据拆分出，另存为新的日志文件并保存至指定目录下。

一种数据采集系统，包括上述任意一项所述的数据采集装置和服务器。

其中，所述服务器包括：

接收模块，用于根据接收的日志文件的名字和/或接收时间，对所述接收的日志文件进行排序存储。

通过以上方案可知，本发明实施例提供的一种数据采集方法、装置及系统，包括：检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；采集线程从所述指定目录下采集所述新的日志文件并发送至服务器；其中，在将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，并继续执行所述检测写入线程写入的未采集的日志数据是否满足拆分条件的步骤。

可见，通过将满足拆分条件的日志数据拆分另存为新的日志文件这种拆分方式，使采集线程工作时，不影响写入线程继续写入日志数据，从而减小了传输延时的同时，提高了工作效率，解决了现有技术中由于写入进程和采集进程不能同时进行而导致的采集等待时间较长，整体过程连贯性差和效率不佳的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例公开的一种数据采集方法流程示意图；

图2为本发明实施例公开的客户端日志数据写入与采集示意图；

图3为本发明实施例公开的日志数据传输示意图；

图4为本发明实施例公开的一种数据采集装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种数据采集方法、装置及系统，以解决传统方式下对日志数据写入和采集时整体过程连贯性差和效率不佳的问题。

参见图1，本发明实施例提供的一种数据采集方法，包括：

S101、检测写入线程写入的未采集的日志数据是否满足拆分条件；

其中，所述检测写入线程写入的未采集的日志数据是否满足拆分条件，包括：

检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

具体的，通常日志的写入和采集是采用阻塞方式，同一进程下，日志的写入，日志的采集是不连贯的，步骤是：客户端日志写入，日志采集、日志传输到服务端，服务端完成写入、存储后才能继续开始新一轮客户端的日志写入、采集、传输，服务端写入、存储。即在此方式下，采集进程和写入进程只能执行一种，因此采集的进程导致写入进程的挂起，严重影响整体系统的性能；并且在执行写入进程时，采集进程被挂起，导致采集等待时间较长，整体过程连贯性差和效率不佳。因此在本实施例中，采用非阻塞方式实现对日志数据的的写入和采集，从而实现了采集与写入的并行进行。

具体的，本实施例提供的这种数据采集方法可以适用于在云计算数据中心-中间件应用服务器的海量整体日志采集和处理系统中，针对大日志，长日志进行处理。在写入日志数据时，检测写入的未采集的日志数据是否满足拆分条件，即写入未采集的日志数据等于预定阈值则进行拆分，这里的拆分条件可以为每10M拆分一次；且本实施例中的拆分时间条件可以为每一天拆分一次。

具体的，客户端可以对本机运行多个server信息进行采集，为了避免并发，每个server产生一系列连续的日志文，并进行发送。

S102、若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

其中，将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下，包括：

将满足拆分条件的日志数据拆分出，并按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

具体的，若将预定容量设定为10M，即在写入日志文件时，按照每10M为单位拆分日志数据，并按照拆分时间顺序，对拆分的日志数据进行重命名并存储，例如图2中编号1,2,3……7。

需要说明的是，在采集拆分出的日志数据时，同时继续检测写入的未采集的日志数据的容量是否等于预定容量，直至所述日志数据全部写完，即参见图2，客户端写入日志数据及采集日志数据的流程如下：

写入日志数据1；写入日志数据2，在写入日志数据2的同时，采集日志数据1；写入日志数据3，在写入日志数据3的同时采集日志数据2……依次类推，实现了对数据的非阻塞写入及采集。

需要说明的是，在本实施例中对整体日志数据的拆分条件除了对检测写入的日志数据的容量是否等于预定容量之外，还可以以每天为单位对整体日志数据的拆分和采集。

S103、采集线程从所述指定目录下采集所述新的日志文件并发送至服务器；

其中，在将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志文件，并继续执行所述检测写入线程写入的未采集的日志文件是否满足拆分条件的步骤。

具体的，客户端发送新采集的日志文件之前，可以先确定上次发送的位置，再将客户端采集的日志文件发送到服务端；或者，在客户端向服务器发送数据之前，可以先查询服务器的接收进度，根据服务器的实际接收情况，决定是否向服务器发送日志文件。

具体的，参见图3，客户端采集日志数据及服务器接收日志数据的流程如下：

在客户端采集日志数据1后，将日志数据1发送至服务器；服务器将日志数据1写入存储的同时，客户端继续采集日志数据2，并发送至服务器；服务器将日志数据2写入存储的同时，客户端继续采集日志数据3，并发送至服务器……可见，在本实施例中客户端采集和服务器端写入仅相差一个日志数据时间的异步非实时方式，实现日志的连续传输和接收。在服务器端接收日志数据后进行排序合并，并进行存储，再根据需要对多日志数据进行检索读取。

具体的，传统方式中，客户端发送和服务器接收同步实时工作，需要设定同步时钟，实时响应等功能，实现成本较高，效果不理想。而在本实施例中，每拆分一个日志数据后，就会自动采集拆分后的日志数据，并发送至服务器，可见在本实施例中服务器接收到日志数据与客户端发送日志数据的延时差仅相差一个日志数据写入时间，若设定预定容量为10M，那么平均采集时间小于5分钟，也就是说服务器接收到日志数据与客户端发送日志数据的延时差仅为5分钟左右。为了满足不同用户对延时的需求，可以通过设置预设容量的数值来改变延时时间。从而使这种异步非实时方式近似与同步实时方式。另外，传统方式中，同步传输过程中新的日志采集要等待上一轮日志传输、写入完成后，才能继续进行，而本申请的日志采集和传输可以同时进行，提高了工作效率。

基于上述技术方案，本方案还包括：

接收到服务器发送的手动采集指令后，将所述写入线程写入的未采集的日志数据立即拆分出，另存为新的日志文件并保存至指定目录下。

具体的，在自动采集的方式中，若设置预定容量为10M，则客户端采集程序大约每5分钟采集一次，并传输到日志服务器，即使日志服务器接收到的数据与客户端相比总延迟5分钟。因此，在本实施例中通过添加手动采集方式对自动采集方式进行补充，即服务器端发出手动采集指令后，客户端直接对当前在正在写入的日志进行采集，不需要等待5分钟后再进行下次采集。该方式进一步弥补了异步非实时传输方式和同步实时方式传输的之间的日志时差，从而本实施例中的非实时传输更加接近于实时传输。

通过以上方案可知，本发明实施例提供的一种数据采集方法，包括：检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；采集线程从所述指定目录下采集所述新的日志文件并发送至服务器；其中，在将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，并继续执行所述检测写入线程写入的未采集的日志数据是否满足拆分条件的步骤。

可见，通过将满足拆分条件的日志数据拆分另存为新的日志文件这种拆分方式，使采集线程工作时，不影响写入线程继续写入日志数据，从而减小了传输延时的同时，提高了工作效率，解决了现有技术中由于写入进程和采集进程不能同时进行而导致的采集等待时间较长，整体过程连贯性差和效率不佳的问题。

下面对本发明实施例提供的一种数据采集装置进行介绍，下文描述的一种数据采集装置与上文描述的一种数据采集方法可以相互参照。

参见图4，本发明实施例提供的一种数据采集装置100，包括：

检测模块110，用于检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则触发拆分模块120；

所述拆分模块120，用于将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

发送模块130，用于将采集线程从所述指定目录下采集的所述新的日志文件并发送至服务器；

其中，在所述拆分模块120将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，且所述检测模块110继续检测写入线程写入的未采集的日志数据是否满足拆分条件。

基于上述技术方案，所述检测模块110，包括：

第一检测单元，用于检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，

第二检测单元，用于检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

基于上述技术方案，所述拆分模块120将满足拆分条件的日志数据拆分出后，按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

基于上述技术方案，本方案还包括：

执行模块，用于在接收到服务器发送的手动采集指令后，立即触发所述拆分模块将所述写入线程写入的未采集的日志数据拆分出，另存为新的日志文件并保存至指定目录下。

本发明实施例提供的一种数据采集系统，包括上一实施例中的数据采集装置100和服务器。

基于上述技术方案，所述服务器包括：

接收模块，用于根据接收的日志文件的名字和/或接收时间，对所述接收的日志文件进行排序存储。

具体的，在接收客户端发送的日志数据之前，还包括对服务端的配置文件参数设置，包括：定义日志数据的存储路径、传输模式、与客户端的匹配信息、定义日志记录解析格式等。配置文件主要是记录上传的日志数据的存储位置，格式包括如何区分不同日志和日志如何解析。

具体的，服务器接收日志数据后，在配置文件指定的目录下存放日志数据，并在传输控制文件状态中记录最后一个日志数据名。其中，服务器会收到的每一个日志文件有一个对应的传输控制文件，记录相关的记录数。传输控制文件对应最后的日志文件，如果通信正常，那么传输控制文件指向最后这个文件。如果不是正常通信，那么说明通信异常，最后的日志数据就是上次采集完成的日志文件。如果不存在对应日志数据，则取最新日志数据的前一个日志数据。为了确保操作的可控，传输控制文件先将当前位置的日志数据改名，再更新传输控制文件。

具体的，系统根据当前时间和顺序号生成通讯id，使用时保证在并发下不重复；并且服务器端采用Servlet方式接收日志数据，并存放在指定目录下，并支持对接收到的日志数据进行查询和下载，且由于后台日志存储于多个文件中，因此系统要提供多日志数据查询。具体查询步骤包括：

第一步、选择服务器和server，输入时间范围；

第二步、系统提供按级别查询、类别查询、日志信息内容(字符串)查询，等多日志查询，以及日志下载。

第三步、对日志查询结果支持信息分页功能。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据采集方法，其特征在于，包括：

检测写入线程写入的未采集的日志数据是否满足拆分条件；

若满足，则将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

采集线程从所述指定目录下采集所述新的日志文件并发送至服务器；

其中，在将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，并继续执行所述检测写入线程写入的未采集的日志数据是否满足拆分条件的步骤。

2.根据权利要求1所述的数据采集方法，其特征在于，所述检测写入线程写入的未采集的日志数据是否满足拆分条件，包括：

检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

3.根据权利要求2所述的数据采集方法，其特征在于，将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下，包括：

将满足拆分条件的日志数据拆分出，并按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

4.根据权利要求1所述的数据采集方法，其特征在于，还包括：

接收到服务器发送的手动采集指令后，将所述写入线程写入的未采集的日志数据立即拆分出，另存为新的日志文件并保存至指定目录下。

5.一种数据采集装置，其特征在于，包括：

检测模块，用于检测写入线程写入的未采集的日志数据是否满足拆分条件；若满足，则触发拆分模块；

所述拆分模块，用于将满足拆分条件的日志数据拆分出，另存为新的日志文件并保存至指定目录下；

发送模块，用于将采集线程从所述指定目录下采集的所述新的日志文件并发送至服务器；

其中，在所述拆分模块将满足拆分条件的日志数据拆分出时，所述写入线程继续写入日志数据，且所述检测模块继续检测写入线程写入的未采集的日志数据是否满足拆分条件。

6.根据权利要求5所述的数据采集装置，其特征在于，所述检测模块，包括：

第一检测单元，用于检测写入线程写入的未采集的日志数据是否等于预定容量；和/或，

第二检测单元，用于检测写入线程写入的未采集的日志数据是否满足拆分时间条件。

7.根据权利要求6所述的数据采集装置，其特征在于，所述拆分模块将满足拆分条件的日志数据拆分出后，按照预定的重命名规则，将拆分出的日志数据重命名并保存在指定目录下。

8.根据权利要求5所述的数据采集装置，其特征在于，还包括：

执行模块，用于在接收到服务器发送的手动采集指令后，立即触发所述拆分模块将所述写入线程写入的未采集的日志数据拆分出，另存为新的日志文件并保存至指定目录下。

9.一种数据采集系统，其特征在于，包括如权利要求5-8中任意一项所述的数据采集装置和服务器。

10.根据权利要求9所述的数据采集系统，其特征在于，所述服务器包括：

接收模块，用于根据接收的日志文件的名字和/或接收时间，对所述接收的日志文件进行排序存储。