CN105468502A

CN105468502A - 一种日志收集的方法、装置和系统

Info

Publication number: CN105468502A
Application number: CN201510859510.9A
Authority: CN
Inventors: 叶炜晨
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2015-11-30
Filing date: 2015-11-30
Publication date: 2016-04-06

Abstract

本发明实施例提供了一种日志收集的方法、装置和系统。所述方法的具体实施方式包括步骤：按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的；如果是，则将内存缓冲区中的日志封装在http请求中；将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。应用本实施例，能够减少对本地磁盘的占用，提高日志收集过程的可靠性。

Description

一种日志收集的方法、装置和系统

技术领域

本发明涉及日志技术领域，特别涉及一种日志收集的方法、装置和系统。

背景技术

在大型互联网公司的系统架构中，由多台机器组成的集群来提供业务服务已经是非常普遍的模式了。对于集群上的业务来说，集群业务中的日志打印还是沿用了传统的单机程序日志输出模式，即集群中的每一台电脑的程序都各自打印日志到本地电脑的磁盘上。然而，随着互联网业务的不断发展，日志的复杂性和数据量不断上升，各业务对收集日志的需求也在不断增加。在实际应用中，日志可以是应用程序日志、安全日志、系统日志、Scheduler服务日志、FTP日志、WWW日志、DNS日志等等。每一个日志都记录着程序运行中每个事件的日期、时间、使用者信息及动作等相关操作的描述。

目前，对集群业务日志的处理需求主要可以归结为如下三类：日志本地查询，即登录到每台电脑上去查看日志；日志汇总查询，将集群中所有电脑上的日志汇总后，再进行查询；日志汇总分析，对集群中所有电脑上的日志汇总后，再进行大数据分析和计算。为了满足后两种处理需求，需要对本地电脑上的日志进行收集，以便进行后续的查询、分析等操作。

现有技术中，将日志打印在本地磁盘；通过一些命令(如Tail命令)监听日志的变更，以获取新增日志，再将新增日志发送到远端日志处理服务器，如图1a所示，包括日志生成装置01、新增日志收集装置02和服务器03。其中日志生产装置01用于在本地磁盘生成日志文件，新增日志收集装置02负责监听本地磁盘中的新增日志，并将新增日志发送到服务器03。

这样的日志收集过程存在一些问题。首先，日志打印在本地磁盘时需要占用本地磁盘的资源，在读取日志时也会增加本地磁盘的IO开销。其次，通过这些命令很难实现对所有类型、所有情况下的日志进行监听，监听新增日志的变更很容易出错。下面以一个例子进行说明。当使用Log4j作为日志输出工具时，可以将其设置成每隔一定时间生成一个日志文件，当所述间隔时间达到时，原来的日志文件会根据一定规则进行改名，比如，原来的日志名admin.log现在可能变为admin.2015-12-12-10，而新生成的日志文件名则冠以admin.log。此时正在运行的监听(Tail)命令就会发生错误，不知道该去跟踪哪个日志文件了。因此，现有技术中的日志收集过程可能会出现日志丢失，日志收集过程的可靠性不高。

发明内容

本发明实施例的目的在于提供了一种日志收集的方法、装置和系统，能够减少对本地磁盘的占用，提高日志收集过程的可靠性。

为了达到上述目的，本发明实施例公开了一种日志收集的方法，应用于终端，包括步骤：

按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的；

如果是，则将内存缓冲区中的日志封装在http请求中；

将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

较佳的，所述判断内存缓冲区中保存的日志是否满足设定要求，包括：

获取内存缓冲区中保存的日志的数量，判断该数量是否达到预设数量阈值。

根据内存缓冲区中保存的日志的生成时间，识别最后一个日志的生成时间，判断该生成时间与当前时间的时间间隔是否达到设定的第一时间长度阈值。

判断内存缓冲区中保存的日志中是否存在故障类型的日志。

较佳的，在将所述http请求发送至服务器之后，所述方法还包括：

识别所述http请求的发送时间，判断所述发送时间与当前时间的时间间隔是否达到设定的第二时间长度阈值，如果是，则重新发送所述http请求。

为了达到上述目的，本发明实施例还公开了一种日志收集的装置，应用于终端，所述装置包括：

判断模块，用于按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的；如果是，则将内存缓冲区中的日志封装在http请求中；

日志封装模块，用于将内存缓冲区中的日志封装在http请求中；

http请求发送模块，用于将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

较佳的，所述判断模块包括第一判断子模块；

所述第一判断子模块，用于获取内存缓冲区中保存的日志的数量，判断该数量是否达到预设数量阈值。

较佳的，所述判断模块包括第二判断子模块；

所述第二判断子模块，用于根据内存缓冲区中保存的日志的生成时间，识别最后一个日志的生成时间，判断该生成时间与当前时间的时间间隔是否达到设定的第一时间长度阈值。

较佳的，所述判断模块包括第三判断子模块；

所述第三判断子模块，用于判断内存缓冲区中保存的日志中是否存在故障类型的日志。

较佳的，所述http请求发送模块还包括重传模块；

所述重传模块，用于在将所述http请求发送至服务器之后，识别所述http请求的发送时间，判断所述发送时间与当前时间的时间间隔是否达到设定的第二时间长度阈值，如果是，则重新发送所述http请求。

为了达到上述目的，本发明实施例还公开了一种日志收集系统，包括上述应用于终端的日志收集装置，以及接收终端发送的http请求，并存储所述http请求中的日志的服务器。

由上述技术方案可见，本发明实施例是，按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的；如果是，则将内存缓冲区中的日志封装在http请求中。然后，将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

也就是说，本发明实施例能够根据预设的时间间隔，判断终端的内存缓冲区中的日志是否满足一定条件，如果满足条件，则将其封装在http请求中发送至服务器，以使服务器存储该日志，能够减少对本地磁盘的占用，提高日志收集过程的可靠性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为一种传统日志收集方法的流程示意图；

图1b为本发明实施例提供的一种日志收集的方法的流程示意图；

图2为本发明实施例提供的一种日志收集的装置的结构示意图；

图3为本发明实施例提供的一种日志收集的系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种日志收集的方法、装置和系统。首先，按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的。如果是，则将内存缓冲区中的日志封装在http请求中。然后，将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

下面通过具体实施例，对本发明进行详细说明。

图1b为本发明实施例提供的一种日志收集的方法的流程示意图，包括如下步骤：

步骤S101：按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，如果是，则将内存缓冲区中的日志封装在http请求中。

具体地，内存缓冲区的日志为解析到日志打印命令时生成的。当解析到日志打印命令时，程序将按照指定的日志级别将日志写入内存缓冲区。日志的生成有较大的不规则性和复杂性，例如，在一个时间段可能只生成了几条日志，而在另一个时间段可能会集中产生大量日志；可能会有新类型的应用程序开始运行而产生的日志，也可能会有某些应用程序关闭而产生的日志，还可能会因为某个程序发送故障而产生相应日志；等等情况，不能尽数。

在本实施例中，判断内存缓冲区中保存的日志是否满足设定要求，具体可以包括多种实施方式，在本实施例中不一一详述。

步骤S102：将内存缓冲区中的日志封装在http请求中。

步骤S103：将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

在本实施例中，当服务器接收到该http请求，解析该http请求，获取其中封装的日志，并将其存储到本地。

由上述的实施例可见，本发明实施例能够根据预设的时间间隔，判断终端的内存缓冲区中的日志是否满足一定条件，如果满足条件，则将其封装在http请求中发送至服务器，以使服务器存储该日志，不需要将日志保存在本地磁盘，取而代之的是将日志保存在内存缓存区中；并且不需要根据不同类型、不同情况的新增日志进行监听，提高了日志收集过程的可靠性。

在本发明的另一实施方式中，图1b所示的方法实施例中的步骤S101中，按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，可以包括：获取内存缓冲区中保存的日志的数量，判断该数量是否达到预设数量阈值。该数量可以是日志的条数，也可以是日志所占据内存缓冲区的比例。这样，内存缓冲区中的日志就不会堆积很多，不需要占用较多内存资源。当预设数量阈值较小时，还可以实现日志的实时收集。

在本发明的另一实施方式中，图1b所示的方法实施例中的步骤S101中，按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，可以包括：根据内存缓冲区中保存的日志的生成时间，识别最后一个日志的生成时间，判断该生成时间与当前时间的时间间隔是否达到设定的第一时间长度阈值。本领域技术人员可以理解，由于日志的打印时间和生成时间间隔非常短，因此可以用生成时间代替打印时间，进而判断是否有较长一段时间没有打印日志。这样，在较长一段时间没有打印日志的情况下，也可以把内存缓冲区中的日志及时地进行封装并发送，提高日志收集的实时性。

在本发明的另一实施方式中，图1b所示的方法实施例中的步骤S101中，按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，可以包括：判断内存缓冲区中保存的日志中是否存在故障类型的日志。当应用程序或者系统等发生故障而不再打印日志时，本发明也能实现将内存缓冲区的日志及时地发送给服务器，提高了日志收集的实时性。

将所述http请求发送至服务器时，可能会遇到多种情况，例如，终端运行良好，网络畅通，第一次发送http请求后，服务器就接收成功了；或者http请求正准备发送时，终端遭遇断电、死机等故障，或者终端运行良好，而网络不畅通，最终导致发送不成功，服务器未能成功接收该http请求。因此，在本发明的另一实施方式中，图1b所示的方法实施例中的步骤S103中，将所述http请求发送至服务器之后，还可以包括：识别所述http请求的发送时间，判断所述发送时间与当前时间的时间间隔是否达到设定的第二时间长度阈值，如果是，则重新发送所述http请求。

在实际应用中，每成功接收一个http请求，服务器将发出一个响应信息，以说明接收成功；当服务器未接收到http请求时，不发出响应信息。

在本实施例中，一种情况是，识别所述http请求的发送时间，判断所述发送时间与当前时间的时间间隔是否达到设定的第二时间长度阈值，如果是，则检测有无响应信息，若无响应信息，则重新发送所述http请求。为了保证日志的准确发送，确定接收到的响应信息是针对哪个时间发送的http请求的，在本发明实施例中设定该第二时间长度阈值时，需要考虑发送http请求的对应条件，其中，第二时间长度阈值应小于相邻两次发送http请求的时间差。因此需要合理地设置日志的数量阈值，或者第一时间长度阈值等信息。

或者，为了准确地确定接收到的响应信息是针对哪个http请求的，以便进行重传操作，可以在每个http请求中添加标识信息，该标识信息可以包括发送该http请求的时间或者该http请求的序号等信息。当服务器返回响应信息时，在该响应信息中携带该http请求中的标识信息，从而可以准确判断哪个http请求需要重传。

可见，在本实施例中，当所述http请求未发送成功时，本发明也能实现将该http请求进行重新发送，直到将其成功发送至服务器，能够确保日志数据不丢失，提高日志收集过程的可靠性。

图2为本发明实施例提供的一种日志收集的装置的结构示意图，与图1b所示的流程示意图相对应，包括：判断模块201、日志封装模块202和http请求发送模块203。具体说明如下：

判断模块201，用于按照设定的时间间隔，判断内存缓冲区中保存的日志是否满足设定要求，其中内存缓冲区的日志为解析到日志打印命令时生成的；如果是，则将内存缓冲区中的日志封装在http请求中。

日志封装模块202，将内存缓冲区中的日志封装在http请求中。

http请求发送模块203，用于将所述http请求发送至服务器，以使服务器存储所述http请求中的日志。

由于上述装置实施例是基于日志收集的方法实施例得到的，与该方法具有相同的技术效果，因此装置实施例的技术效果在此不再赘述。

在本发明的另一实施方式中，图2中判断模块201具体可以包括：

第一判断子模块(图中未示出)，用于获取内存缓冲区中保存的日志的数量，判断该数量是否达到预设数量阈值。

第二判断子模块(图中未示出)，用于根据内存缓冲区中保存的日志的生成时间，识别最后一个日志的生成时间，判断该生成时间与当前时间的时间间隔是否达到设定的第一时间长度阈值。

第三判断子模块(图中未示出)，用于判断内存缓冲区中保存的日志中是否存在故障类型的日志。

在本发明的另一实施方式中，图2中http请求发送模块203还可以包括：

重传模块(图中未示出)：用于在将所述http请求发送至服务器之后，识别所述http请求的发送时间，判断所述发送时间与当前时间的时间间隔是否达到设定的第二时间长度阈值，如果是，则重新发送所述http请求。

图3为本发明实施例提供的一种日志收集的系统的结构示意图，包括如图2所示的应用于终端的日志收集装置301，以及接收终端发送的http请求，并存储所述http请求中的日志的服务器302。

由于上述系统实施例是基于日志收集的装置实施例得到的，与该装置具有相同的技术效果，因此系统实施例的技术效果在此不再赘述。

对于装置和系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解，上述实施方式中的全部或部分步骤是能够通过程序指令相关的硬件来完成的，所述的程序可以存储于计算机可读取存储介质中。这里所称存储介质，是指ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种日志收集的方法，其特征在于，应用于终端，所述方法包括步骤：

如果是，则将内存缓冲区中的日志封装在http请求中；

2.根据权利要求1所述的方法，其特征在于，所述判断内存缓冲区中保存的日志是否满足设定要求，包括：

3.根据权利要求1所述的方法，其特征在于，所述判断内存缓冲区中保存的日志是否满足设定要求，包括：

4.根据权利要求1所述的方法，其特征在于，所述判断内存缓冲区中保存的日志是否满足设定要求，包括：

判断内存缓冲区中保存的日志中是否存在故障类型的日志。

5.根据权利要求1所述的方法，其特征在于，在将所述http请求发送至服务器之后，所述方法还包括：

6.一种日志收集的装置，其特征在于，应用于终端，所述装置包括：

7.根据权利要求6所述的装置，其特征在于，所述判断模块包括第一判断子模块；

8.根据权利要求6所述的装置，其特征在于，所述判断模块包括第二判断子模块；

9.根据权利要求6所述的装置，其特征在于，所述判断模块包括第三判断子模块；

10.根据权利要求6所述的装置，其特征在于，所述http请求发送模块还包括重传模块；

11.一种日志收集系统，其特征在于，包括如权利要求6～10所述的应用于终端的日志收集装置，以及接收终端发送的http请求，并存储所述http请求中的日志的服务器。