CN103309767A - 一种客户端日志处理方法和装置 - Google Patents

Abstract

本发明实施例提供一种客户端日志处理方法和装置，包括：采用双缓冲机制，预先设置两块MMAP内存，分别作为当前缓冲区和备用缓冲区，在当前缓冲区写满时，将备用缓冲区切换为当前缓冲区，并将写满的缓冲区中保存的日志发送至分布式文件系统进行保存，从而解决现有的磁盘空间有限导致的能够处理的日志数量受到限制，对日志处理能力有限的问题。且由于MMAP技术的特点，在运行过程中，系统会将缓冲区的数据强行输出到磁盘，因此，即使服务器重启或崩溃，缓冲区中保存的数据也可以通过磁盘恢复，不会丢失，从而保证了缓冲区中保存的日志的安全性。

Description

一种客户端日志处理方法和装置

技术领域

本申请涉及通信领域，尤其涉及一种客户端日志处理方法和装置。

背景技术

在现有的客户端日志采集处理方案中，客户端会在退出时，会将已采集到的日志压缩成数据包，例如压缩为RAR、zip等常见格式的数据包，并将该数据包发送给服务器。服务器根据相关协议对接收到的数据包进行合法性验证，在验证通过后将该数据包解压缩，将解压缩后获得的日志存放在日志文件中，并可以通过后台程序将日志传输至分布式系统基础架构(例如hadoop)实现的分布式文件系统(如HDFS，Hadoop Distributed File System)上。即，将采集的日志打印到日志文件上，日志系统在实现上有一个基于内存的日志队列，并通过后台程序将日志传输至HDFS，相当于通过日志系统实现缓冲，然后将日志传到HDFS。

现有的客户端日志处理方案存在如下问题：

由于服务器上的磁盘空间有限，存储信息的能力受到限制，随着日志数量的快速增长，服务器能够存储的日志的数量必然受到磁盘空间的局限，导致能够处理的日志数量受到限制，有限的磁盘空间无法满足日益增长的日志数量的需要。

另外，服务器重启或崩溃时，现有的客户端日志处理方案还存在日志队列上(内存上缓存)的日志将丢失的问题，由此导致保存的日志的安全性无法得到有效保证。

发明内容

本申请实施例提供一种客户端日志处理方法和装置，用于解决现有技术中，由于磁盘空间有限，导致能够处理的日志数量受到限制，以及保存的日志安全性较低的问题。

一种客户端日志处理方法，所述方法包括：

接收到日志时，将该日志写入作为当前缓冲区的第一文件内存映射MMAP内存；

在接收到第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，将所述日志写入所述第二MMAP内存，将返回内存已满提示的第一MMAP内存中保存的日志发送至分布式文件系统。

一种客户端日志处理装置，所述装置包括接收模块，日志写入模块、切换模块和发送模块，其中：

接收模块，用于接收日志；

日志写入模块，用于将接收到的日志写入作为当前缓冲区的第一文件内存映射MMAP内存；

切换模块，用于在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，，将所述日志写入所述第二MMAP内存，并触发发送模块；

发送模块，用于将返回内存已满提示的第一MMAP内存中保存的日志发送至分布式文件系统。

根据本申请实施例提供的方案，采用双缓冲机制，预先设置两块MMAP内存，分别作为当前缓冲区和备用缓冲区，在当前缓冲区写满时，将备用缓冲区切换为当前缓冲区，并将写满的缓冲区中保存的日志发送至分布式文件系统进行保存，从而解决现有的磁盘空间有限导致的能够处理的日志数量受到限制，对日志处理能力有限的问题。且由于MMAP技术的特点，在运行过程中，系统会将缓冲区的数据强行输出到磁盘，因此，即使服务器重启或崩溃，缓冲区中保存的数据也可以通过磁盘恢复，不会丢失，从而保证了缓冲区中保存的日志的安全性。

附图说明

图1为本申请提供的MMAP原理示意图；

图2为本申请实施例一提供的客户端日志处理方法的步骤流程图；

图3为本申请实施例二提供的前端处理方法的步骤流程图；

图4为本申请实施例三提供的后端双缓冲处理方法的步骤流程图；

图5为本申请实施例四提供的日志发送方法的步骤流程图；

图6为本申请实施例五提供的重启恢复方法的步骤流程图；

图7为本申请实施例六提供的客户端日志处理装置的结构示意图。

具体实施方式

文件内存映射(MMAP，map files or devices into memory)可以将一个文件或者其它对象映射进内存。具体的，如图1所示，MMAP可以把文件的一部分或全部内容直接映射到内存，这样文件中的信息位置就会在内存中有对应的地址空间，这时对文件的读写可以直接用指针来做，而不需要读/写(read/write)函数了。同时，操作系统可以将内存数据刷新保存到磁盘上。

本申请实施例提供的方案正是利用MMAP技术实现的。系统在启动的时候，会分配三块MMAP内存，其中两块轮流做磁盘的缓冲，在作为当前缓冲区的MMAP内存已满时，将作为备用缓冲区的MMMAP内存作为当前缓冲区，并将已满的MMAP内存中保存的日志发送到分布式文件系统，不断循环该过程，从而可以利用双缓冲技术解决现有的磁盘空间有限导致的能够处理的日志数量受到限制，对日志处理能力有限的问题。且在MMAP技术中，操作内存相当于操作文件，系统会自动输出(flush，即将缓冲区的数据强行输出)到磁盘，因此，在服务器发生异常，例如，所述服务器为jboss或tomcat时，服务器重启或所述服务器为Java虚拟机(Java Virtual Machine)时，服务器崩溃时，服务器的重启也不会对操作的日志产生影响，解决了现有技术中，服务器需要重启时，日志队列上(内存上缓存)的日志将丢失的问题。除用作缓冲区的两块MMAP内存之外，另外一块MMAP内存是来记录发送数据到分布式文件系统时的状态的。这样在服务器重启时，可以在断点处重新恢复数据发送，解决了现有技术中，数据的重新发送存在遗漏或者会被错误的重发的问题。

下面通过说明书附图和各实施例对本申请方案进行说明。

实施例一、

本申请实施例一提供一种客户端日志处理方法，该方法的步骤流程如图2所示，包括：

步骤101、将接收到的日志写入当前缓冲区。

在本实施例中，设置了两块MMAP内存作为缓冲区，在本步骤中，在接收到日志时，将该日志写入作为当前缓冲区的MMAP内存(可以称该MMAP内存为第一MMAP内存)。

具体的，可以接收客户端通过超文本传输协定(HTTP，HyperText TransferProtocol)的POST方式发送的数据包，并对该数据包进行循环冗余校验CRC校验，如CRC16校验，在校验通过时，可以启动异步线程将该数据包中的日志写入作为当前缓冲区的第一MMAP内存(即接收数据包与对该数据包的校验可以是同步的，即可以采用同一线程进行顺序处理，而将日志写入MMAP内存可以与接收数据包是异步的，即可以采用异步线程进行处理，从而可以增加系统的吞吐量)，并可以进一步通知所述客户端日志发送成功。当然，在校验失败时，可以通知所述客户端日志发送失败。

步骤102、判断是否需要进行当前缓冲区的切换。

在本步骤中，可以根据是否接收到作为当前缓冲区的MMAP内存返回的内存已满的提示，判断作为当前缓冲区的MMAP内存是否已满，确定是否需要进行当前缓冲区的切换。

具体的，在本步骤中，在接收到第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，将所述日志写入所述第二MMAP内存，将返回内存已满提示的第一MMAP内存转换作为备用缓冲区，并将第一MMAP内存中保存的日志发送至分布式文件系统。当然，如果未接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示，说明第一MMAP内存未满，可以继续作为当前缓冲区保存日志，无需进行当前缓冲区的切换。

将返回内存已满提示的第一MMAP内存中保存的日志发送至分布式文件系统时，可以采用分块多线程的发送方式，将待发送的第一MMAP内存分割为N块，N可以为大于1的正整数，每块启动一个线程去发送或启动一个线程池去处理，从而加快发送的速度，避免在转换后作为当前缓冲区的第二MMAP内存空间已满，而转换后作为备用缓冲区的第一MMAP内存空间中的日志尚未传输至分布式文件系统，日志堆满两块缓冲空间的问题。

特别的，如果一旦产生了该问题，即在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示，并确定作为备用缓冲区的第二MMAP内存非空时，可以将接收到的日志打印到日志文件上，并可以利用后台程序定时扫描所述日志文件，并在每次扫描时，将所述日志文件相对上次扫描增加的日志上传至分布式文件系统。如果该问题产生的频率高于设定值，说明日志增长速度较高，可以通过加大作为缓冲区的MMAP内存空间，和/或加快对日志的发送速度(如设置M个线程来发送日志，M大于N)来进一步解决该问题。

具体的，将第一MMAP内存中保存的日志发送至分布式文件系统可以包括：将待发送的日志所在的第一MMAP内存的标识、第一MMAP内存中日志的总条数、第一MMAP内存被分割成的内存块数N，所述N为大于1的正整数、以及每个内存块中存储的待发送的日志数量，均写入到用于存放状态信息的第三MMAP内存(每个写入的内存块中待发送的日志数量分别占用不同偏移量的内存空间，避免在采用多个线程分别发送内存块中待发送的日志时，多线程共享一个变量，无需多线程同步，省去多线程同步带来的系统开销)；在发送时，可以利用线程池中的N个线程发送第一MMAP内存中保存的日志，在任意一个线程发送一条日志完毕时，将第三MMAP内存中记录的该日志所存储在的内存块中待发送的日志数量减1，并可以将发送日志完毕的线程放回线程池以备下次使用，从而减少线程不停的启动停止带来的系统开销，减轻系统的负荷。

在步骤101和步骤102执行的过程中，操作系统可以将当前缓冲区和备用缓冲区分别对应的缓冲区文件、用于存放状态信息的MMAP内存对应的状态信息文件持久化(即将数据(如内存中的数据)保存到可永久保存的存储设备(如磁盘等))到硬盘。因此，当服务器重启时，可以将持久化到硬盘的第一MMAP内存对应的缓冲区文件加载映射到第一MMAP内存，将持久化到硬盘的第二MMAP内存对应的缓冲区文件加载映射到第二MMAP内存，将持久化到硬盘的状态信息文件加载映射到第三MMAP内存，将状态信息文件中记录的MMAP内存标识对应的第一MMAP内存作为备用缓冲区，将非状态信息文件记录的第二MMAP内存作为当前缓冲区，并可以根据所述状态信息文件，确定第一MMAP内存中存储的待发送的日志数量不为0的内存块，从线程池中取出线程继续发送该内存块中待发送的日志，从而可以在断点处重新恢复发送。

根据本申请实施例一提供的方案，不仅可以解决有限的磁盘空间与日益增长的日志数量之间的矛盾，保证服务器重启或崩溃时，缓冲区中保存的文件不丢失，以及在服务器重启时，可以进行发送状态恢复，从断点处恢复数据传送，避免数据漏发和重发，同时，由于在数据传送时，采用分块多线程传送方案，可以保证数据发送的及时性，且由于对数据包的校验和将数据包中的日志写入缓冲区采用异步线程，在向客户端返回响应信息时，还可以进一步保证响应的及时性。

下面通过实施例二对本申请实施例一提供的数据包校验过程进行说明，该过程可以称为前端处理。实施例三～实施例五用于对本申请实施例一提供的后端处理进行说明。后端处理可以包括利用设置的两块MMAP内存存储日志(对数据的双缓冲处理)的过程，向分布式文件系统传输日志的过程，并可以进一步包括服务器重启时的恢复操作内容。前端处理和后端处理构成一个完整的处理流程。实施例二～实施例五以前端处理和后端处理的主体为服务器为例进行说明。

实施例二、

本申请实施例二提供一种前端处理方法，该方法的步骤流程如图3所示，包括：

步骤201、接收数据包。

在本步骤中，移动客户端可以通过HTTP协议的POST方式，把收集的日志(以数据包的形式)传给服务器。

步骤202、进行校验。

在本步骤中，服务器在接收到数据包后，先对数据包中的数据进行完整性的crc16校验，判断是否完整，如果确定完整，可以继续执行步骤203～步骤205，如果确定非完整，说明数据包不完整或者数据包被篡改，可以跳转执行步骤206。

步骤203、获取日志。

在本步骤中，可以根据协议，对数据包解压拼装获得客户端发送的日志。

步骤204、触发后端处理。

在本步骤中，可以启动异步线程触发数据的后端处理。

步骤205、通知客户端发送成功。

在本步骤中，可以立即返回客户端告知客户端日志发送成功。

步骤206、通知客户端发送失败。

在本步骤中，可以立即返回客户端告知客户端日志发送失败，从而可以提示客户端重新发送所述日志。

实施例三、

本申请实施例三提供一种后端双缓冲处理方法，该方法的步骤流程如图4所示，包括：

步骤301、确定前端处理后获得的日志。

经过前端处理后，可以获得客户端发送的日志。并可以利用获得的日志异步触发后端双缓冲处理。

步骤302、将获得的日志写入当前缓冲区。

在本步骤中，可以将获得的日志写入作为当前缓冲区的MMAP内存。

步骤303、判断当前缓冲区是否出现空间不足的异常。

在本步骤中，可以通过判断当前缓冲区是否返回内存已满的提示，确定作为当前缓冲区的MMAP内存是否已经写满，并可以在接收到当前缓冲区返回的内存已满的提示时，确定作为当前缓冲区的MMAP内存已经写满，执行步骤304；否则，确定作为当前缓冲区的MMAP内存未写满，可以跳转执行步骤310。

步骤304、判断备用缓冲区是否为空。

在本步骤中，可以判断作为备用缓冲区的MMAP内存是否为空，在确定备用缓冲区为空时，可以继续执行步骤305～步骤307，否则，可以跳转执行步骤308～步骤309。

步骤305、切换当前缓冲区。

在本步骤中，可以将此时的备用缓冲区转换作为当前缓冲区使用。

步骤306、将日志写入当前缓冲区。

步骤307、发送日志至分布式文件系统。

在本步骤中，可以将已写满的转换后作为备用缓冲区的MMAP内存中保存的日志通过多个线程发送至分布式文件系统。在该MMAP内存中保存的日志发送完毕后，可以清空该MMAP内存，并可以跳转执行步骤310。

步骤308、将日志写入日志文件。

当确定出当前缓冲区已写满，备用缓冲区非空时，在本步骤中，可以将日志写入日志文件。

步骤309、将日志文件的增量发送至分布式文件系统。

在本步骤中，可以利用后台程序定时扫描所述日志文件，并在每次扫描时，将所述日志文件相对上次扫描增加的日志上传至分布式文件系统。

步骤310、结束本流程。

实施例四、

为了将作为备用缓冲区的MMAP内存中保存的日志发送至分布式文件系统，并保证在数据发送中出现异常(如服务器被重启或JVM崩溃)后，可以在服务器重启时恢复发送状态，本申请实施例四提供一种日志发送方法，每发送一条日志就记录到预先设置的MMAP空间中，实现与操作文件一样快速有效的操作内存，确保在数据出现异常时，可以根据该MMAP空间中记录的信息进行重启时的系统恢复。该方法的步骤流程如图5所示，包括：

步骤401、将待发送日志所在的缓存空间标识写入MMAP内存。

在本步骤中，在日志发送之前，可以将待发送的日志所在的MMAP内存(可以称为第一MMAP内存)标识写入用于存放状态信息的MMAP内存(可以称为第三MMAP内存)。

具体的，可以在第三MMAP内存空间偏移量为0的位置写入一个字节，该字节表示第一MMAP内存的标识。

步骤402、将待发送的日志总条数写入MMAP内存。

在本步骤中，在日志发送之前，还可以将第一MMAP内存中日志总条数写入第三MMAP内存。

具体的，可以在第三MMAP内存空间偏移量为1的位置写入4个字节，表示第一MMAP内存中日志总条数。

步骤403、将内存块数写入MMAP内存。

在本步骤中，在日志发送之前，还可以将第一MMAP内存被分割成的内存块数N，所述N为大于1的正整数，写入第三MMAP内存。

具体的，可以在第三MMAP内存空间偏移量为5的位置写入4个字节，表示第一MMAP内存被分割成的内存块数。

步骤404、将每个内存块中存储的待发送的日志数量写入MMAP内存。

在本步骤中，在日志发送之前，还可以将每个内存块中存储的待发送的日志数量(即将第一MMAP内存分割为N块后，每块内存中存储的待发送的日志数量)，写入第三MMAP内存。

具体的，可以在第三MMAP内存空间偏移量为9的位置写入4*N个字节，表示每个内存块中存储的待发送的日志数量。虽然每个内存块中存储的待发送的日志数量是写入同一个MMAP空间的，但是并不存在多线程变量共享。MMAP方式虽然是一个文件映射到一块内存中，在这块内存中，写到内存的位置是不同的，有着特定的偏移量，因此不存在多线程共享一个变量的问题，省去了多线程的同步带来的开销。

实际上，步骤401～步骤404的执行可以不分先后，且步骤401～步骤404在第三MMAP内存空间中保存的信息均可以采用整型(int)数据。

步骤405、发送日志。

在本步骤中，可以采用分块多线程发送，且多线程可以采用线程池方案，在线程发送日志结束后并不马上退出，而是放回到线程池中以待下次使用。具体的，可以采用N条线程发送日志，在每个线程发送一条日志完毕时，将第三MMAP内存中记录的该日志所存储在的内存块中待发送的日志数量减1。

步骤406、发送完毕，清空缓存空间。

在本步骤中，可以在每个内存块中的日志均发送完毕时，清空第一MMAP内存，以待下次存放日志。

实施例五、

在服务器运行过程中，服务器会将当前缓冲区和备用缓冲区分别对应的缓冲区文件、用于存放状态信息的MMAP内存对应的状态信息文件持久化到硬盘，根据这一特点，本申请实施例五提供一种重启恢复方法，该方法的步骤流程如图6所示，包括：

步骤501、加载映射缓冲区文件和状态信息文件。

在本步骤中，服务器可以将持久化到硬盘的缓冲区文件和状态信息文件加载映射到对应的MMAP内存。具体的，可以根据缓冲区文件中的MMAP内存标识，将持久化到硬盘的第一MMAP内存对应的缓冲区文件加载映射到第一MMAP内存，将持久化到硬盘的第二MMAP内存对应的缓冲区文件加载映射到第二MMAP内存，将持久化到硬盘的状态信息文件加载映射到第三MMAP内存。

步骤502、确定备用缓冲区。

在本步骤中，可以将状态信息文件记录的MMAP内存标识对应的第一MMAP内存确定为备用缓冲区。

步骤503、确定当前缓冲区。

在本步骤中，可以将非状态信息文件记录的第二MMAP内存作为当前缓冲区。

当然，步骤502和步骤503的执行可以不分先后。

步骤504、确定是否存在待发送的日志数量不为0的内存块。

在本步骤中，可以遍历状态信息文件记录的N个内存块分别对应的待发送的日志数量，确定备用缓冲区中是否存在待发送的日志数量不为0的内存块，如果存在，可以继续执行步骤505，否则，可以执行步骤506。

步骤505、继续发送日志。

在本步骤中，可以从线程池中获取线程，针对待发送的日志数量不为0的内存块，继续发送日志，并可以在每个内存块中待发送的日志数量均为0时，确认日志发送完毕，并可以继续执行步骤506。

步骤506、确认重启恢复完毕。

与本申请实施例一～实施例五基于同一发明构思，提供以下的装置。

实施例六、

本申请实施例六提供一种客户端日志处理装置，该装置可以集成在服务器中，该装置的结构可以如图7所示，包括接收模块11、日志写入模块12、切换模块13和发送模块14，其中：

接收模块11用于接收日志；日志写入模块12用于将接收到的日志写入作为当前缓冲区的第一文件内存映射MMAP内存；切换模块13用于在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，，将所述日志写入所述第二MMAP内存，并触发发送模块；发送模块14用于将返回内存已满提示的第一MMAP内存中保存的日志发送至分布式文件系统。

所述装置还包括信息写入模块15，用于将待发送的日志所在的第一MMAP内存的标识、第一MMAP内存中日志的总条数、第一MMAP内存被分割成的内存块数N，所述N为大于1的正整数、以及每个内存块中存储的待发送的日志数量，均写入到用于存放状态信息的第三MMAP内存；

发送模块14具体用于利用线程池中的N个线程发送第一MMAP内存中保存的日志，在任意一个线程发送一条日志完毕时，将第三MMAP内存中该日志所存储在的内存块中存储的待发送的日志数量减1，以及，将发送日志完毕的线程放回线程池。

所述装置还包括加载模块16和确定模块17：

加载模块16用于将持久化到硬盘的第一MMAP内存对应的缓冲区文件加载映射到第一MMAP内存，将持久化到硬盘的第二MMAP内存对应的缓冲区文件加载映射到第二MMAP内存，将持久化到硬盘的状态信息文件加载映射到第三MMAP内存；

确定模块17用于将状态信息文件中记录的MMAP内存标识对应的第一MMAP内存作为备用缓冲区，将非状态信息文件记录的第二MMAP内存作为当前缓冲区；

所述发送模块14还用于根据所述状态信息文件，确定第一MMAP内存中存储的待发送的日志数量不为0的内存块，从线程池中取出线程继续发送该内存块中待发送的日志。

所述装置还包括打印模块18和上传模块19，其中：

打印模块18用于在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示，并确定作为备用缓冲区的第二MMAP内存非空时，将接收到的日志打印到日志文件上；

上传模块19用于利用后台程序定时扫描所述日志文件，并在每次扫描时，将所述日志文件相对上次扫描增加的日志上传至分布式文件系统。

所述接收模块11具体用于接收客户端通过超文本传输协定HTTP的POST方式发送的数据包，并对该数据包进行循环冗余校验CRC校验，在校验通过时，触发日志写入模块；

所述日志写入模块12具体用于启动异步线程将该数据包中的日志写入作为当前缓冲区的第一MMAP内存。

本申请各实施例提供的方案可以通过java语言实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种客户端日志处理方法，其特征在于包括：

接收到日志时，将该日志写入作为当前缓冲区的第一文件内存映射MMAP内存；

在接收到第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，将所述日志写入所述第二MMAP内存，将返回内存已满提示的第一MMAP内存中保存的日志发送至文件系统。

2.如权利要求1所述的方法，其特征在于，将返回内存已满提示的第一MMAP内存中保存的日志发送至分布式文件系统之前，还包括：

将待发送的日志所在的第一MMAP内存的标识、第一MMAP内存中日志的总条数、第一MMAP内存被分割成的内存块数N，所述N为大于1的正整数、以及每个内存块中存储的待发送的日志数量，均写入到用于存放状态信息的第三MMAP内存；

将返回内存已满提示的第一MMAP内存中保存的日志发送至文件系统，具体包括：

利用线程池中的N个线程发送第一MMAP内存中保存的日志；

在任意一个线程发送一条日志完毕时，将第三MMAP内存中记录的该日志所存储在的内存块中待发送的日志数量减1；以及

将发送日志完毕的线程放回线程池。

3.如权利要求2所述的方法，其特征在于，在服务器重启时，所述方法还包括：

将持久化到硬盘的第一MMAP内存对应的缓冲区文件加载映射到第一MMAP内存，将持久化到硬盘的第二MMAP内存对应的缓冲区文件加载映射到第二MMAP内存，将持久化到硬盘的状态信息文件加载映射到第三MMAP内存；

将状态信息文件中记录的MMAP内存标识对应的第一MMAP内存作为备用缓冲区，将非状态信息文件记录的第二MMAP内存作为当前缓冲区；

根据所述状态信息文件，确定第一MMAP内存中存储的待发送的日志数量不为0的内存块，从线程池中取出线程继续发送该内存块中待发送的日志。

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示，并确定作为备用缓冲区的第二MMAP内存非空时，将接收到的日志打印到日志文件上；

利用后台程序定时扫描所述日志文件，并在每次扫描时，将所述日志文件相对上次扫描增加的日志上传至文件系统。

5.如权利要求1～4任一所述的方法，其特征在于，接收到日志时，将该日志写入作为当前缓冲区的第一MMAP内存，具体包括：

接收客户端通过超文本传输协定HTTP的POST方式发送的数据包；

并对该数据包进行循环冗余校验CRC校验，在校验通过时，启动异步线程将该数据包中的日志写入作为当前缓冲区的第一MMAP内存。

6.一种客户端日志处理装置，其特征在于包括：接收模块，日志写入模块、切换模块和发送模块，其中：

接收模块，用于接收日志；

日志写入模块，用于将接收到的日志写入作为当前缓冲区的第一文件内存映射MMAP内存；

切换模块，用于在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示时，判断作为备用缓冲区的第二MMAP内存是否为空，在确定所述第二MMAP内存为空时，将所述第二MMAP内存转换作为当前缓冲区，将所述日志写入所述第二MMAP内存，并触发发送模块；

发送模块，用于将返回内存已满提示的第一MMAP内存中保存的日志发送至文件系统。

7.如权利要求6所述的装置，其特征在于，还包括信息写入模块，用于将待发送的日志所在的第一MMAP内存的标识、第一MMAP内存中日志的总条数、第一MMAP内存被分割成的内存块数N，所述N为大于1的正整数、以及每个内存块中存储的待发送的日志数量，均写入到用于存放状态信息的第三MMAP内存；

发送模块，具体用于利用线程池中的N个线程发送第一MMAP内存中保存的日志，在任意一个线程发送一条日志完毕时，将第三MMAP内存中记录的该日志所存储在的内存块中待发送的日志数量减1，以及，将发送日志完毕的线程放回线程池。

8.如权利要求7所述的装置，其特征在于，还包括加载模块和确定模块：

加载模块，用于将持久化到硬盘的第一MMAP内存对应的缓冲区文件加载映射到第一MMAP内存，将持久化到硬盘的第二MMAP内存对应的缓冲区文件加载映射到第二MMAP内存，将持久化到硬盘的状态信息文件加载映射到第三MMAP内存；

确定模块，用于将状态信息文件中记录的MMAP内存标识对应的第一MMAP内存作为备用缓冲区，将非状态信息文件记录的第二MMAP内存作为当前缓冲区；

所述发送模块，还用于根据所述状态信息文件，确定第一MMAP内存中存储的待发送的日志数量不为0的内存块，从线程池中取出线程继续发送该内存块中待发送的日志。

9.如权利要求6所述的装置，其特征在于，还包括：

打印模块，用于在接收到作为当前缓冲区的第一MMAP内存返回的内存已满的提示，并确定作为备用缓冲区的第二MMAP内存非空时，将接收到的日志打印到日志文件上；

上传模块，用于利用后台程序定时扫描所述日志文件，并在每次扫描时，将所述日志文件相对上次扫描增加的日志上传至分布式文件系统。

10.如权利要求6～9任一所述的装置，其特征在于，所述接收模块，具体用于接收客户端通过超文本传输协定HTTP的POST方式发送的数据包，并对该数据包进行循环冗余校验CRC校验，在校验通过时，触发日志写入模块；

所述日志写入模块，具体用于启动异步线程将该数据包中的日志写入作为当前缓冲区的第一MMAP内存。

Images