CN105224444A - 日志生成方法及装置 - Google Patents

Abstract

本发明适用于信息技术领域，提供了一种日志生成方法及装置，所述方法包括：当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中；根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。本发明中，所述日志数据的获取过程和写入过程之间不存在加锁机制，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。

Description

日志生成方法及装置

技术领域

本发明属于信息技术领域，尤其涉及一种日志生成方法及装置。

背景技术

现有的业务应用系统(比如互联网应用系统)对日志系统的要求越来越高。为了后续的运维和大数据分析，通常需要以日志的形式将系统的大部分业务操作和数据进行记录。现有的日志生成方法主要包括Java语言日志库和C++日志库。然而，所述Java语言日志库，如Apache的开源代码项目log4j，日志的生成效率不高，且在大规模的互联网应用中使用时容易造成瓶颈；所述C++日志库的接口复杂，性能不足。

发明内容

鉴于此，本发明实施例提供了一种日志生成方法及装置，以提高日志文件的生成效率。

第一方面，提供了一种日志生成方法，所述方法包括：

当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中；

根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

第二方面，提供了一种日志生成装置，所述装置包括：

获取模块，用于当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中；

写入模块，用于根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

与现有技术相比，本发明实施例将日志的生成过程划分为日志数据的获取过程和写入过程，所述获取过程和写入过程之间采用环形队列进行数据通信；当接收到日志生成请求时，获取待写入的日志数据并将所述日志数据缓存至预设的环形队列中；在写入过程，则从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。日志数据的获取过程和写入过程之间不存在加锁机制，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1是本发明实施例提供的日志生成方法的实现流程图；

图2是本发明实施例提供的日志生成方法的另一实现流程图；

图3是本发明实施例提供的日志生成方法中步骤S202的具体实现示例；

图4是本发明实施例提供的环形队列的读写原理示意图；

图5是本发明实施例提供的日志生成装置的组成结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例将日志的生成过程划分为日志数据的获取过程和写入过程，所述获取过程和写入过程之间采用环形队列进行数据通信；当接收到日志生成请求时，获取待写入的日志数据并将所述日志数据缓存至预设的环形队列中；在写入过程，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。日志数据的获取过程和写入过程之间不存在加锁机制，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。本发明实施例还提供了相应的装置，以下分别进行详细的说明。

图1示出了本发明实施例提供的日志生成方法的实现流程图，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，所述方法应用于计算机，以将业务应用系统中的业务操作和数据生成对应的日志文件。

参阅图1，所述方法包括：

在步骤S101中，当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中。

本发明实施例将日志的生成过程划分为日志数据的获取过程和写入过程。所述获取过程和写入过程同步进行，每个过程可以设置1至N个线程参与工作。所述获取过程和写入过程的线程之间采用环形队列进行数据通信。因此，当接收到日志生成请求时，运行预设的一个或多个获取线程，通过所运行的获取线程中的每一个获取线程获取待写入的日志数据，并将所获取的日志数据写入到环形队列中，以缓存所述日志数据。

在步骤S102中，根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

在写入过程，则运行预设的一个或多个写入线程，通过所运行的写入线程中的每一个写入线程从所述环形队列中读取日志数据，并将所读取的日志数据写入到存储器中，从而生成日志文件。可选地，所述写入线程采用异步IO的方式将所述日志数据写入到存储器中。写入线程向存储器发送写入命令后，存储器根据所述命令自动接收日志数据，直至所述日志数据写入完毕后再通知写入线程。写入线程不需要等待日志数据完全写入存储器即可以返回，继续从所述环形队列中读取日志数据，从而提高了日志数据的写入速率。可选地，所述存储器为计算机外部存储器，比如磁盘。

在本发明实施例中，日志生成的过程划分为日志数据的获取过程和写入过程，所述日志数据的获取过程和写入过程之间通过环形队列进行数据通信，不存在加锁机制，日志数据的获取和写入效率高，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。

图2示出了本发明实施例提供的日志生成方法的另一实现流程。参阅图2，所述方法包括：

在步骤S201中，当获取到日志生成请求时，运行预设的多个获取线程，通过所述多个获取线程获取待写入的日志数据。

在步骤S202中，将所获取的日志数据写入到环形队列中以进行缓存。

在日志数据的获取过程中，通过运行多个获取线程来获取待写入的日志数据以及将日志数据写入到环形队列中，日志数据的获取效率高。

在写入过程中，则根据环形队列的缓存空间将其缓存的日志数据写入到存储器中，以生成日志文件。所述方法还包括：

在步骤S203中，运行预设的多个写入线程，由所述多个写入线程中的每一个写入线程根据其当前的待读取位置和最高待读取位从所述环形队列中读取日志数据。

在这里，所述当前的读取位置为所述写入线程对应的计数器上的值。所述最高待读取位为所述写入线程在所述环形队列中可读取的最高位，通常为写入线程前一次在环形队列中的写入位置。

在步骤S204中，将所读取的日志数据按照预设方式写入存储器中。

可选地，所述写入线程采用异步IO的方式将所述日志数据写入到存储器中。写入线程不需要等待日志数据完全写入存储器即可以返回，继续从所述环形队列中读取日志数据，从而提高了日志数据的写入速率。

在本发明实施例中，每一个获取线程和写入线程都有对应的计数器，所述获取线程的计数器上的值表示所述线程当前在环形队列中的写入位置，所述写入线程的计数器上的值表示所述线程当前在环形队列中的读取位置，即写入线程当前的待读取位置。每个线程维护对应的计数器，并且只能修改对应的计数器，但是可以读取其他线程对应的计数器，也可以主动地将对应的计数器上的值通知其他线程。图3给出了步骤S202的一个具体实现示例。所述实现示例为一个写入线程将获取到的日志数据写入到环形队列的具体实现流程，包括：

在步骤S301中，当获取线程获取到待写入的日志数据时，获取所述获取线程在所述环形队列中的写入位置。

在步骤S302中，将所述日志数据写入到所获取的写入位置，并在写入完毕后将所述写入位置通知所有的写入线程，以使所述写入线程将最高待读取位更新为所述写入位置。

在步骤S303中，若所述写入位置为写入线程的待读取位置中的最低位时，进入等待模式。

在这里，获取线程一直获取待写入的日志数据，并重复步骤S301和S302，以将所获取的日志数据写入到环形队列中，直至获取到的写入位置为写入线程对应的待读取位置中的最低位。此时，所述环形队列已填满，暂无空余的写入位置，则暂停写入日志数据，进入等待模式，直到有空余的写入位置后再返回步骤S301。

示例性地，图4示出了环形队列的读写原理示意图。其中，获取线程1当前正在操作的写入位置为编号31，写入线程1当前的待读取位置为编号24，写入线程2当前的待读取位置为编号15，写入线程3当前的待读取位置为编号14。在日志数据写入完毕后，所述写入线程1、写入线程2、写入线程3的最高待读取位更新为编号31。所述写入线程1可批量读取编号24至31位置上的数据，写入线程2可批量读取编号15至31位置上的数据，写入线程3可批量读取编号14至31位置上的数据。而所述写入线程1、写入线程2、写入线程3对应的待读取位置中的最低位为编号14对应的位置。若获取线程1获取到的写入位置为所述编号14对应的位置时，则进入等待模式，直到有空余的写入位置后再将待写入的日志数据缓存至环形队列中。

综上所述，本发明实施例中的日志数据获取过程和写入过程分别运行多个线程，且获取线程和写入线程之间通过环形队列来进行数据通信，不存在加锁的机制，日志数据的获取和写入效率高，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。

图5示出了本发明实施例提供的日志生成装置的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。

在本发明实施例中，所述装置用于实现上述图1至图3实施例中所述的日志生成方法，可以是内置与计算机的软件单元、硬件单元或者软硬件集合的单元，以将业务应用系统中的业务操作和数据生成对应的日志文件。

参阅图5，所述装置包括：

获取模块51，用于当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中。

写入模块52，用于根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

在本发明实施例中，日志生成的过程划分为日志数据的获取过程和写入过程，所述日志数据的获取过程和写入过程之间通过环形队列进行数据通信，不存在加锁机制，日志数据的获取和写入效率高，从而有效地提高了日志文件的生成效率。

进一步地，所述获取模块51包括：

第一运行单元511，用于运行预设的多个获取线程，通过所述多个获取线程获取待写入的日志数据；

第一写入单元512，用于将所获取的日志数据写入到环形队列中以进行缓存。

进一步地，所述第一写入单元512包括：

获取子单元5121，用于当获取线程获取到待写入的日志数据时，获取所述获取线程在所述环形队列中的写入位置；

等待子单元5122，用于若所述写入位置为写入线程的待读取位置中的最低位时，进入等待模式；

写入子单元5123，用于将所述日志数据写入到所获取的写入位置中，并在写入完毕后将所述写入位置通知所有的写入线程，以使所述写入线程将最高待读取位更新为所述写入位置。

进一步地，所述写入模块52包括：

第二运行单元521，用于运行预设的多个写入线程，由所述多个写入线程中的每一个写入线程根据其当前的待读取位置和最高待读取位从所述环形队列中读取日志数据；

第二写入单元522，用于将所读取的日志数据按照预设方式写入存储器中。

可选地，所述第二写入单元522具体用于：

按照异步IO的方式将所述日志数据写入到存储器中。

在这里，日志数据的写入过程采用异步IO的方式，写入线程不需要等待日志数据完全写入存储器即可以返回，继续从所述环形队列中读取日志数据，从而提高了日志数据的写入速率。

需要说明的是，本发明实施例中的装置可以用于实现上述方法实施例中的全部技术方案，其各个功能模块的功能可以根据上述方法实施例中的方法具体实现，其具体实现过程可参照上述实例中的相关描述，此处不再赘述。

本发明实施例将日志的生成过程划分为日志数据的获取过程和写入过程，所述获取过程和写入过程之间采用环形队列进行数据通信；当接收到日志生成请求时，获取待写入的日志数据并将所述日志数据缓存至预设的环形队列中；在写入过程，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。日志数据的获取过程和写入过程之间不存在加锁机制，从而有效地提高了日志文件的生成效率，为业务系统的高效运行提供了保证。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块、单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元、模块单独物理存在，也可以两个或两个以上单元、模块集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种日志生成方法，其特征在于，所述日志生成方法包括：

当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中；

根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

2.如权利要求1所述的日志生成方法，其特征在于，所述获取待写入的日志数据，并将所述日志数据缓存至环形队列中包括：

运行预设的多个获取线程，通过所述多个获取线程获取待写入的日志数据；

将所获取的日志数据写入到环形队列中以进行缓存。

3.如权利要求2所述的日志生成方法，其特征在于，所述将所获取的日志数据写入到环形队列中以进行缓存包括：

当获取线程获取到待写入的日志数据时，获取所述获取线程在所述环形队列中的写入位置；

若所述写入位置为写入线程的待读取位置中的最低位时，进入等待模式；

否则，将所述日志数据写入到所获取的写入位置中，并在写入完毕后将所述写入位置通知所有的写入线程，以使所述写入线程将最高待读取位更新为所述写入位置。

4.如权利要求2或3所述的日志生成方法，其特征在于，所述根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中包括：

运行预设的多个写入线程，由所述多个写入线程中的每一个写入线程根据其当前的待读取位置和最高待读取位从所述环形队列中读取日志数据；

将所读取的日志数据按照预设方式写入存储器中。

5.如权利要求4所述的日志生成方法，其特征在于，所述将所读取的日志数据按照预设方式写入存储器中包括：

按照异步IO的方式将所述日志数据写入到存储器中。

6.一种日志生成装置，其特征在于，所述日志生成装置包括：

获取模块，用于当接收到日志生成请求时，获取待写入的日志数据，并将所述日志数据缓存至环形队列中；

写入模块，用于根据所述环形队列的缓存空间，从所述环形队列中读取所述日志数据，并将所述日志数据按照预设方式写入存储器中，以生成日志文件。

7.如权利要求6所述的日志生成装置，其特征在于，所述获取模块包括：

第一运行单元，用于运行预设的多个获取线程，通过所述多个获取线程获取待写入的日志数据；

第一写入单元，用于将所获取的日志数据写入到环形队列中以进行缓存。

8.如权利要求7所述的日志生成装置，其特征在于，所述第一写入单元包括：

获取子单元，用于当获取线程获取到待写入的日志数据时，获取所述获取线程在所述环形队列中的写入位置；

等待子单元，用于若所述写入位置为写入线程的待读取位置中的最低位时，进入等待模式；

写入子单元，用于将所述日志数据写入到所获取的写入位置中，并在写入完毕后将所述写入位置通知所有的写入线程，以使所述写入线程将最高待读取位更新为所述写入位置。

9.如权利要求7或8所述的日志生成装置，其特征在于，所述写入模块包括：

第二运行单元，用于运行预设的多个写入线程，由所述多个写入线程中的每一个写入线程根据其当前的待读取位置和最高待读取位从所述环形队列中读取日志数据；

第二写入单元，用于将所读取的日志数据按照预设方式写入存储器中。

10.如权利要求9所述的日志生成装置，其特征在于，所述第二写入单元具体用于：

按照异步IO的方式将所述日志数据写入到存储器中。