CN105119752A - 一种分布式日志采集方法、装置及系统 - Google Patents

Abstract

本发明提供一种分布式日志采集方法、装置及系统，能够在最大限度保证宿主服务器正常运行的同时，把业务日志完整、准确地记录下来并实时显示，为故障查找提供了数据依据。本发明的一种分布式日志采集方法包括：无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；将接收到的所述日志数据发送到线程池进行处理；将在所述线程池中处理后的所述日志数据发送以便保存。

Description

一种分布式日志采集方法、装置及系统

技术领域

本发明涉及计算机技术领域，特别地涉及一种分布式日志采集方法、装置及系统。

背景技术

许多公司的平台每天会产生大量的日志(一般为流式数据，如，搜索引擎的页面浏览量，查询信息等)，日志数据是为了便于业务分析和系统分析而记录的程序行为数据，这类数据通常具有数据量大的特点。日志数据可用于分析各应用程序的运行状态，对系统的稳定运行而言是至关重要的。在分布式系统中，经常需要采集各个节点的日志，然后统一分析。

现有的日志采集技术大多都是在日志数据产生时，日志采集系统将采集到的日志数据以文件的形式直接存储在应用程序所在服务器的物理磁盘上，然后，根据配置的日志数据存储磁盘所在的服务器和路径等信息，日志收集系统会定时到用户记录日志的磁盘采集数据以进行分析。

但是，现有的日志采集方式存在以下不足：

(1)给系统带来了性能压力，一定程度上降低了服务器应用程序的执行效率，尤其延长了服务请求的响应时间；

(2)无法将采集到的日志信息进行实时处理及显示；

(3)当出现日志数据高并发时，会出现数据覆盖或者采集不成功的情况。

综上所述，现有的日志采集方式，不但影响了系统的正常运行，而且当应用程序出现问题时，无法及时发现，且无法快速、准确地确定故障原因。

发明内容

有鉴于此，本发明提供一种分布式日志采集方法、装置及系统，通过给需要采集日志的业务提供一个接口方法进行调用，再采用线程池和队列缓存机制对日志数据进行处理，然后发送以便保存，能够在最大限度保证宿主服务器正常运行的同时，把业务日志完整、准确地记录下来并实时显示，为故障查找提供了数据依据。真实的解决了业务系统复杂，并且要求实时采集大量业务性比较强的日志的问题，为业务实时日志分析提供支撑。

为实现上述目的，根据本发明的一个方面，提供了一种分布式日志采集方法。

一种分布式日志采集方法包括：无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；将接收到的所述日志数据发送到线程池进行处理，所述处理包括判断所述线程池中是否有空闲线程；如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理；将在所述线程池中处理后的所述日志数据发送以便保存。

可选地，将接收到的日志数据存放在队列中的步骤还包括：判断所述队列是否已满；以及如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

可选地，将在所述线程池中处理后的所述日志数据发送以便保存的步骤还包括：将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及通过消息队列服务器的消费者线程发送到存储服务器以便保存。

可选地，所述接口参数包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

可选地，所述存储服务器为MongoDB数据库。

根据本发明的另一方面，提供了一种分布式日志采集装置。

一种分布式日志采集装置包括：日志数据接收模块，用于无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；日志数据处理模块，用于将接收到的所述日志数据发送到线程池进行处理，所述处理包括判断所述线程池中是否有空闲线程；如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理；日志数据发送模块，用于将处理后的所述日志数据发送以便保存。

可选地，所述装置包含在一个软件开发工具包内。

可选地，所述日志数据处理模块还用于：判断所述队列是否已满；以及如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

可选地，所述日志数据发送模块还用于：将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及通过消息队列服务器的消费者线程发送到存储服务器以便保存。

可选地，所述接口参数包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

可选地，所述存储服务器为MongoDB数据库。

根据本发明的又一方面，提供了一种分布式日志采集系统。

一种分布式日志采集系统，包括所述分布式日志采集装置，还包括：日志数据存储装置，用于存储所述日志数据发送模块发送的所述日志数据；日志数据显示装置，用于将存储的所述日志数据进行实时显示。

根据本发明的技术方案，通过给需要采集日志的业务提供一个接口方法进行调用，再采用线程池和队列缓存机制对日志数据进行处理，然后发送以便保存，能够在最大限度保证宿主服务器正常运行的同时，把业务日志完整、准确地记录下来并实时显示，为故障查找提供了数据依据。特别是在业务系统复杂，并且要求实时采集大量业务性比较强的日志的时候，可以为实时日志分析提供支撑。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的一种分布式日志采集方法的主要步骤示意图；

图2是根据本发明实施例的一种分布式日志采集装置的主要模块示意图；

图3是根据本发明实施例的一种分布式日志采集系统的组成部分示意图；

图4是根据本发明实施例的一种分布式日志采集系统的系统架构图；

图5是根据本发明实施例的一种分布式日志采集系统的实施过程示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本发明的一种分布式日志采集装置是以软件开发工具包SDK.jar的形式存在的，通过提供接口以备调用的方式内嵌于需要采集日志的业务系统来实现日志采集的功能。

图1是根据本发明实施例的一种分布式日志采集方法的主要步骤示意图。如图1所示，本发明的一种分布式日志采集方法主要包括如下的步骤S11至步骤S13。

步骤S11：无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据。本发明的日志采集装置是通过给各业务系统提供接口的方法进行日志采集的。当业务系统需要进行日志采集时，会直接调用本发明的日志采集装置，通过设置接口参数的方式，将产生的日志数据封装到接口参数中，发送给日志采集装置进行采集，待线程池进行处理的时候发送的。采用本发明的接口来直接发送日志数据，无需日志采集装置再发送采集日志数据的请求，从而降低了业务系统的内存开销，且能提高日志采集的效率。

根据所使用的环境需求，所述接口参数可以包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

步骤S12：将接收到的所述日志数据发送到线程池进行处理。具体的处理过程可以包含以下步骤：

步骤S121：判断所述线程池中是否有空闲线程；

步骤S122：如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及

步骤S123：如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理。

由步骤S121至步骤S123可以看出，将采集到的日志数据通过线程池，同时采用队列缓存机制在内存中进行实时处理，处理速度快、效率高，可以满足实时性的要求。但是，在进行线程池和队列的大小设置时，应综合考虑CPU使用率、操作系统资源、上下文切换开销和数据吞吐量等影响因素。若使用大型队列和小型线程池，可以最大限度地降低CPU的使用率、操作系统资源和上下文切换开销，但是可能导致人工降低吞吐量，引起任务频繁阻塞；若使用小型队列，则通常要求较大的线程池大小，CPU的使用率较高，但是可能遇到不可接受的调度开销，这样也会降低吞吐量。所以本装置设置线程池都不过大，队列容量有限等，以最大限度保证宿主服务器的正常运行。例如，根据宿主服务器的CPU及性能考虑，若宿主服务器整体性能较低，可设置线程池大小max＝5，队列容量queueMax＝1000；若宿主服务器性能中等，可设置线程池大小max＝10，队列容量queueMax＝2000；若宿主服务器性能较高，可设置线程池大小max＝20，队列容量queueMax＝10000。

另外，针对步骤S123中所述的将接收到的日志数据存放在队列中的具体操作，还可以包含以下的步骤：

步骤S1231：判断所述队列是否已满；以及

步骤S1232：如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

由步骤S1231及步骤S1232可以看出，当队列已满时，采取将日志数据直接保存在磁盘的方式对日志数据进行处理，然后，抛弃业务系统发送的该日志处理请求，可以最大限度地保证宿主服务器的正常运行。

步骤S13：将在所述线程池中处理后的所述日志数据发送以便保存。在本发明的实施例中，步骤S13的具体实现过程可以包括以下步骤：

步骤S131：将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及

步骤S132：通过消息队列服务器的消费者线程发送到存储服务器以便保存。其中，所述存储服务器可以为MongoDB数据库。

如步骤S131和步骤S132所述，选用消息队列进行数据的发送，当有大量的并发任务的时候，可以起到一定的缓冲作用，而且还可以持久化消息，即使服务器出现故障，也不会影响数据的发送和保存。本发明实施例中选用消息队列服务器将处理后的日志数据进行发送，消息队列服务器能够在各种网络条件下保证消息的可靠传递，可以克服网络线路质量差或不稳定的状况，在传输过程中，如果通信线路出现故障或远端的主机发生故障，本地的应用程序都不会受到影响，可以继续发送数据，而无需等待网络恢复或远端主机正常后再重新运行。而且，消息队列服务器还可以将接收到的消息进行持久化后发送到数据库中进行保存。本发明实施例中选择MongoDB数据库作为存储服务器，可以满足存储大量日志记录，并且快速读写等要求。根据使用要求，也可以选择其他的数据库，例如hbase、普通关系型数据库等。

由以上的步骤S11至步骤S13可知，本方案具有高性能、高并发、高可用性等优点，并发处理性能优异，且消耗业务系统所在的应用服务器资源少，能够在不会阻塞宿主应用正常使用的前提下，实现实时采集宿主业务系统的相关日志信息。

图2是根据本发明实施例的一种分布式日志采集装置的主要模块示意图。如图2所示，本发明的一种分布式日志采集装置20主要包括日志数据接收模块21、日志数据处理模块22和日志数据发送模块23。

日志数据接收模块21用于无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；日志数据处理模块22，用于将接收到的所述日志数据发送到线程池进行处理，所述处理包括判断所述线程池中是否有空闲线程；如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理；日志数据发送模块23用于将处理后的所述日志数据发送以便保存。

根据本发明的实施例，该装置可以包含在一个软件开发工具包内，以SDK.jar包的形式存在。

根据本发明的日志采集装置的使用环境，所述接口参数可以包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

日志数据处理模块22还可以用于判断所述队列是否已满；以及如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

日志数据发送模块23还可以用于将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及通过消息队列服务器的消费者线程发送到存储服务器以便保存。其中，所述存储服务器可以为MongoDB数据库。

图3是根据本发明实施例的一种分布式日志采集系统的组成部分示意图。如图3所示，本发明的一种分布式日志采集系统30包括分布式日志采集装置20，根据功能实现的需要还可以包括：日志数据存储装置31和日志数据显示装置32。

日志数据存储装置31用于存储所述日志数据发送模块发送的所述日志数据；日志数据显示装置32用于将存储的所述日志数据进行实时显示。

在本发明的实施例中，日志数据存储装置31即为前面所述的存储服务器，可以为MongoDB数据库。日志数据显示装置32选用Portal门户系统来进行日志数据的实时展示，可以同时查看多个业务系统的日志数据，方便对各个业务系统运行情况进行监控，而且为故障查找提供了极大的便利。

图4是根据本发明实施例的一种分布式日志采集系统的系统架构图。如图4所示，本实施例中的分布式实时日志采集系统由应用服务器、mq消息队列服务器、存储服务器及Portal服务器4部分组成，其中，业务系统位于应用服务器内，分布式日志采集装置以SDK包的形式内嵌于应用服务器节点。

应用服务器的业务系统如同调用自己系统的接口一样调用日志采集SDK包的接口，然后日志采集SDK包把日志数据通过mq消息队列服务器的生产者线程发送到mq消息队列服务器，再通过mq消息队列服务器的消费者线程推送到存储服务器MongoDB数据库中存储，最终通过Portal服务器进行显示，给业务应用方提供业务执行逻辑线上追踪查看的支持。

图5是根据本发明实施例的一种分布式日志采集系统的实施过程示意图。如图5所示，业务系统可以包括一个或多个实例，且可以多个业务系统同时调用本发明的分布式日志采集装置(SDK包)。经过mq消息队列服务处理后，也可以持久化保存在多个节点的数据库中，以及在多个节点进行显示。另外，根据应用需要，本发明还可以包含一个监控系统，提供监控服务，主要监控内容包括：队列max、1分钟调度、丢数据量、接口响应时间、以及对mq队列服务节点、持久化服务节点和MongoDB节点的可用性监控等。

下面以一个业务系统的日志采集为例，对本发明的一种分布式日志采集系统的实施过程进行描述。需要采集日志数据的业务系统通过调用本发明的内嵌分布式实时日志采集装置(即：SDK包)提供的外部接口来接收日志数据，可以根据使用需要设置接口调用的参数，例如：业务编号、业务类型、业务调用者实例、业务日志文本等。之后，内嵌分布式实时日志采集装置(即：SDK包)，将通过主线程接收到的业务系统的日志数据在线程池中进行处理，在处理过程中可以选用队列缓存机制对所有请求进行缓存。以设置的线程池大小max＝5，队列容量queueMax＝1000为例，当线程池有空闲线程时，直接处理业务系统发送的日志请求，并将处理后的日志数据发送给mq消息队列服务器的生产者Productor线程；当线程池中没有可用空闲线程的时候，会把接收到业务系统的日志请求存放在空闲队列中暂存，假如队列已满，则直接将日志请求中包含的日志数据记录在磁盘中以方便日后查询并删除该请求，当有线程空闲后立即开始执行队列中的任务，如此，即可最大限度的保证宿主服务器的正常运行。

mq消息队列服务器的生产者Productor线程将处理过的日志数据发送到mq消息队列服务器，再通过消费者Consumer线程推送到MongoDB数据库中进行保存，之后通过Portal服务器进行显示。

根据本发明实施例的技术方案，通过给需要采集日志的业务提供一个接口方法进行调用，再采用线程池和队列缓存机制对日志数据进行处理，然后发送以便保存，能够在最大限度保证宿主服务器正常运行的同时，把业务日志完整、准确地记录下来并实时显示，为故障查找提供了数据依据。特别是在业务系统复杂，并且要求实时采集大量业务性比较强的日志的时候，可以为实时日志分析提供支撑。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (12)

1.一种分布式日志采集方法，其特征在于，包括：

无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；

将接收到的所述日志数据发送到线程池进行处理，所述处理包括：

判断所述线程池中是否有空闲线程；

如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及

如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理；

将在所述线程池中处理后的所述日志数据发送以便保存。

2.根据权利要求1所述的方法，其特征在于，将接收到的日志数据存放在队列中的步骤还包括：

判断所述队列是否已满；以及

如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

3.根据权利要求1所述的方法，其特征在于，将在所述线程池中处理后的所述日志数据发送以便保存的步骤还包括：

将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及

通过消息队列服务器的消费者线程发送到存储服务器以便保存。

4.根据权利要求1所述的方法，其特征在于，所述接口参数包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

5.根据权利要求3所述的方法，其特征在于，所述存储服务器为MongoDB数据库。

6.一种分布式日志采集装置，其特征在于，包括：

日志数据接收模块，用于无需发送日志数据采集请求，直接根据保存的接口参数通过接口来接收业务系统发送的日志数据；

日志数据处理模块，用于将接收到的所述日志数据发送到线程池进行处理，所述处理包括：

判断所述线程池中是否有空闲线程；

如果所述线程池中有空闲线程，则利用所述空闲线程对接收到的日志数据进行处理；以及

如果所述线程池中没有空闲线程，则将接收到的日志数据存放在队列中，以等待有空闲线程时处理；

日志数据发送模块，用于将处理后的所述日志数据发送以便保存。

7.根据权利要求6所述的装置，其特征在于，所述装置包含在一个软件开发工具包内。

8.根据权利要求6所述的装置，其特征在于，所述日志数据处理模块还用于：

判断所述队列是否已满；以及

如果所述队列已满，则将采集到的所述日志数据直接保存到业务系统所在的磁盘中。

9.根据权利要求6所述的装置，其特征在于，所述日志数据发送模块还用于：

将处理后的所述日志数据通过消息队列服务器的生产者线程发送到消息队列服务器；以及

通过消息队列服务器的消费者线程发送到存储服务器以便保存。

10.根据权利要求6所述的装置，其特征在于，所述接口参数包括以下中的一个或多个：业务编号、业务类型、业务调用者实例、调用者、业务日志文本。

11.根据权利要求9所述的装置，其特征在于，所述存储服务器为MongoDB数据库。

12.一种分布式日志采集系统，包括如权利要求6所述的装置，其特征在于，还包括：

日志数据存储装置，用于存储所述日志数据发送模块发送的所述日志数据；

日志数据显示装置，用于将存储的所述日志数据进行实时显示。