CN108319543A - 一种计算机日志数据的异步处理方法及其介质、系统 - Google Patents

Abstract

本发明公开一种计算机日志数据的异步处理方法及其介质、系统，包括工作线程和写日志线程，步骤包括：启动工作线程执行事务操作；将执行事务产生的行为信息记录在计算机缓存；判断事务是否结束；将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；启动写日志线程，读取暂存队列的行为信息，并写入到日志文件中。本发明针对现有技术的日志写入操作问题，特别是多线程并发情况下日志写入问题，让日志数据写入不影响正常的执行操作，并让多线程的日志数据写入归一，自动分辨错误日志，有效地保证日志数据的完整性及分类处理，提高系统性能。

Description

一种计算机日志数据的异步处理方法及其介质、系统

技术领域

本发明涉及计算机数据处理领域，特指一种计算机日志数据的异步处理方法及其介质、系统。

背景技术

随着计算机技术日益发展，在开发高性能、高并发计算机服务器时，后台系统记录日志是必不可少的，特别在密码服务平台、综合密钥管理系统、制卡系统等产品的实际应用中，记录日志有便于后台排查错误，当后台服务系统日志库性能不好时，会严重影响平台系统的性能。

现有技术的日志库，每次记录一行日志，就往日志文件中写入操作。例如在后台服务程序的每笔交易，都会记录多条日志，每记录一条日志都需要往日志文件中写日志。

如图1所示，现有的写日志流程：(1)写日志线程加锁；(2)打开日志文件；(3)将日志信息写入到日志文件中；(4)关闭日志文件句柄；(5)释放线程锁；(6)继续执行，是否需要写日志，如果需要，返回步骤(1)；否则结束写日志。

上述步骤，每次将日志写入到日志文件中，都需要执行打开文件，写日志到文件和关闭文件句柄等操作。由于写日志是同步进行的，只有日志写完到日志文件中，才会继续往下执行下一步操作，这样的写日志方式将非常消耗服务器性能，增加服务器的运载负担。

另外，由于都是单向的写日志操作，使得正常和错误日志内容没法分开写入，但随着日志量逐渐增大，在日志量大的情况下，查找几笔错误的交易，是非常困难和消耗时间的。

特别在多线程操作下，多线程并发写日志时，如图1的流程所示，一般都需要加线程锁，才能保证写的日志不会错乱，否则多笔交易的日志会相互穿插，使得日志写入操作十分混乱。甚至部分日志查看还需要使用工具过滤出各笔交易日志，才能看到各笔交易的完整交易日志，这样将进一步加大分辨各线程日志的困难。因此，对于多线程操作下都需要加线程锁，导致系统负载增加，严重影响系统性能。

发明内容

本发明目的在于提供一种计算机日志数据的异步处理方法及其介质、系统，针对现有技术的日志写入操作问题，特别是多线程并发情况下日志写入问题，让日志数据写入不影响正常的执行操作，并让多线程的日志数据写入归一，自动分辨错误日志，有效地保证日志数据的完整性及分类处理，提高系统性能。

为了达到上述目的给出，本发明的技术方案：

一种计算机日志数据的异步处理方法，包括工作线程和写日志线程，至少包括如下步骤：

S1：启动工作线程执行事务操作；

S2：将执行事务产生的行为信息记录在计算机缓存；

S3：判断事务是否结束；

S4：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

S5：启动写日志线程，读取暂存队列的行为信息，并写入到日志文件中。

其中，所述步骤S3的判断事务是否结束步骤包括：

A1：判断事务是否为完成操作的行为指令；

A2：如是，跳转到S4，结束工作线程的事务操作；否则，返回S1，继续执行事务操作，并同时记录行为信息到缓存中。

在步骤S5中还包括对写入的日志数据分析步骤，包括：

B1：对写入日志文件的日志数据作分析，判断是否存在错误日志数据，所述错误日志数据为执行事务中存在的报错行为信息；

B2：将错误日志数据复制到错误日志文件中。

本发明一种计算机日志数据的异步处理方法，与现有技术相比，随着工作线程的开始，调用计算机的缓存，同步记录工作线程中执行事务产生的行为信息，并持续分析该执行事务是否结束；如未结束，则继续执行事务，并同步记录行为信息到缓存中；若当前执行事务整个结束后，则将记录的完整事务行为信息，发送到暂存队列，供写日志线程读取处理，进行后续写入日志工作。

由于通过缓存对工作线程的执行事务作整体记录，这样就不用每项执行事务发生后，对该事务的行为进行写日志操作，减少写日志的次数，减轻系统的运作负载。采用暂存队列，将整个执行事务的完整行为信息记录，由专门的写日志线程另作写入到日志文件的操作，原工作线程将行为信息发送到暂存队列后，可继续往下执行，让工作线程的执行事务与写日志线程完全分开，形成异步处理的写日志方式。

由于发送到暂存队列的行为信息，是整个工作线程的执行事务从开始到结束的行为内容，因此对于该工作线程执行事务是完整的，保证了写日志线程读取该行为信息内容进行写入日志文件的日志数据完整性，不会错乱。即使是多工作线程同时运作时，也不需要为了写日志而加线程锁，进一步提高系统性能。

另外，当写日志线程启动后，将暂存队列中的行为信息逐条完整地写入存储器的日志文件中，并对写入日志文件的日志数据作分析，判断行为信息记录是否存在报错行为；如有报错行为的，则判断为错误日志数据，将其复制并写入到错误日志文件中，另作单独区分，以便排查错误时，能够快速地查找错误日志，作相应的维修及保障操作，从而有效地实现写日志的高效性，查看日志的友好性，快速区分错误日志，方便排查错误原因。

进一步的，在步骤S4中，所述暂存队列同时接收多个工作线程的行为信息，并以堆栈形式存储在临时存储空间。所述暂存队列可同时接收多工作线程的行为信息内容，并以堆栈的形式存储到计算机内存的临时存储空间中，进而确保每条行为信息的连接及完整性。所谓堆栈，是一种数据项按序排列的数据结构，存入数据将连续地插入或删除，使得各条行为信息依次连续地存入、读取或清除，有效地确保完整性。

在上述基础上，还包括对所述暂存队列的临时存储空间的重复使用步骤，包括：

C1：当暂存队列接收的行为信息容量达到容量值时，所述工作线程将重新尝试将该行为信息发送到暂存队列的操作；当所述暂存队列接收失败时，将该行为信息作清除处理；

C2：当暂存队列接收的行为信息被读取时，为所述被读取行为信息作已读标识，并将该已读标识的行为信息从暂存队列中清除。

为了让所述暂存队列的临时存储空间可重复使用，有效地控制系统的占用资源，对所述暂存队列接收的行为信息所占用的临时存储空间设置有容量值，所述容量值为临时存储空间存储行为信息的容量最大值。当接收的行为信息容量达到该容量值时，所述工作线程将重新尝试至少两次，将该行为信息发送到暂存队列的操作，当暂存队列还是接收失败时，将该行为信息作清除处理，避免影响原工作线程执行事务的继续进行。

同时对写日志线程读取行为信息的操作作检测，如暂存队列中的行为信息被读取后，将该已读标识的行为信息从暂存队列中清除，以便重复使用该暂存队列的临时存储空间。

进一步对日志文件的备份操作改进，还包括对存储的日志文件容量进行检测，当存储的日志文件容量达到预先设定的阈值时，执行对日志文件的备份步骤，所述备份步骤包括：

D1：对所述日志文件作压缩处理；

D2：将压缩后的日志文件复制，发送到备份存储器。

所述日志文件容量的阈值可优选预先设定为100M，当达到该阈值时，启动日志文件备份操作。备份操作具体为：先进行压缩处理，由于是纯文本的行为信息，因此日志文件压缩比例可以达到90％以上，极大地减少了日志文件占用磁盘存储空间；压缩处理完成后，复制发送到备份存储器中，作长期储存。所述备份存储器可优选为计算机的数据硬盘、磁盘或光盘等数据存储设备。

对日志文件的存储方式作进一步改进，还包括对压缩处理的日志文件作分类存储步骤：

E1：以时间为基准，建立文件目录；

E2：对备份的日志文件作时间标识，并按时间标识排序，存储于建立的相应文件目录中。

所述时间基准可优选为每天作一次建立操作，即每天自动建立一个日志目录；对备份的日志文件设置时间标识，并按时间标识排序，存储于上述建立的文件目录中。使得日志数据可以按日期作分类，每天的日志目录存放当天的日志文件，以便分类管理和后期的大数据分析。

进一步，在步骤S2中，当缓存中的行为信息发送到暂存队列后，执行缓存释放操作，以作清空使用中的计算机缓存空间，以便对下一个工作线程的执行事务行为信息作记录存储，有效地节省系统资源。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的异步处理方法。

本发明还提供一种应用上述异步处理方法的系统，包括：

工作线程模块：用于启动工作线程执行当前事务操作；

行为信息记录模块：用于将执行事务产生的行为信息记录在计算机缓存；所述计算机缓存为数据交换的缓冲区，包括且不限于计算机中央处理器的各级缓存、计算机内存或计算机磁盘划分的临时存储空间；

判断模块：用于判断事务中的行为指令；

行为信息发送模块：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

写日志线程模块：用于读取暂存队列的行为信息，并写入到日志文件中。

所述系统可优选为密码服务平台、综合密钥管理系统或制卡系统的设备。

附图说明

图1为现有技术的写日志流程图；

图2为本发明一种计算机日志数据的异步处理方法流程图；

图3为本发明异步处理方法中对暂存队列的临时存储空间的重复使用步骤流程图；

图4为本发明异步处理方法中对压缩处理的日志文件作分类存储步骤流程图；

图5为应用本发明异步处理方法的系统结构示意图。

具体实施方式

结合附图说明本发明的一种计算机日志数据的异步处理方法及其介质、系统。

如图2所示，所示计算机日志数据的异步处理方法，包括工作线程和写日志线程，处理步骤包括：

步骤1：启动工作线程执行事务操作，例如交易事务，响应资金交易工作，执行交易工作的行为；

步骤2：将执行事务产生的行为信息记录在计算机缓存；所述计算机缓存为数据交换的缓冲区，包括且不限于计算机中央处理器的各级缓存、计算机内存或计算机磁盘划分的临时存储空间。

步骤3：判断事务是否结束；

具体为判断事务是否为完成操作的行为指令；

如是，跳转到下列步骤4，结束工作线程的事务操作；

否则，返回步骤1，继续执行事务操作，并同时记录行为信息到缓存中。

步骤4：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

步骤5：启动写日志线程，读取暂存队列的行为信息，并写入到日志文件中。

其中，在步骤步骤5中还包括对写入的日志数据分析步骤，包括：

对写入日志文件的日志数据作分析，判断是否存在错误日志数据；

如有，则将错误日志数据复制到错误日志文件中，再返回读取暂存队列的行为信息步骤；

否则，返回读取暂存队列的下一条行为信息，并进行写入日志文件操作。

所述错误日志数据为执行事务中存在的报错行为信息。

本发明的计算机日志数据异步处理方法，通过调用计算机的缓存，同步记录工作线程中执行事务产生的行为信息，并持续分析该执行事务是否结束；如未结束，则继续执行当前事务，并同步记录行为信息到缓存中；若当前执行事务整个结束后，则将同步记录的行为信息，发送到暂存队列，供写日志线程读取处理。

由于通过缓存对工作线程的执行事务作整体记录，不用每执行一项事务立即进行写日志操作，有效地减少写日志次数，从而减轻系统的运作负载。

让工作线程的执行事务与写日志线程分开，采用暂存队列，将整个执行事务的完整行为信息记录，由专门的写日志线程作写入日志文件操作，原工作线程将行为信息发送到暂存队列后，可继续往下执行，形成写日志数据的异步处理方式。

由于发送到暂存队列的行为信息是同步记录了整个工作线程的执行事务从开始到结束的行为内容，让整个执行事务行为连接不错乱，有效地确保了写日志线程读取该行为信息内容进行写入日志文件的日志数据完整性。即使是多工作线程同时运作时，也不需要为了写日志而加线程锁，也能确保每项行为信息的连接且完整，进一步提高系统性能。

另外，还对写入日志文件的日志数据作分析，判断行为信息记录是否存在报错行为；如有报错行为的，将复制并写入到错误日志文件中，单独区分开来，方便排查错误原因，快速地查找错误日志，有效地实现写日志的高效性，查看日志的友好性，快速区分错误日志，作相应的维修及保障操作。

优选地，所述暂存队列可同时接收多个工作线程的行为信息，并以堆栈形式存储在临时存储空间。一方面，有利于同时接收多工作线程的行为信息内容；另一方面，是以堆栈的形式存储，进而确保每条行为信息的连接及完整性。堆栈是一种数据项按序排列的数据结构，存入数据将连续地插入或删除，使得各条行为信息依次连续地存入、读取或清除，有效地确保完整性。

在上述基础上，如图3所示，还包括对所述暂存队列的临时存储空间的重复使用步骤，所述暂存队列的临时存储空间设置有最大容量值，并对所述暂存队列的行为信息是否被读取作检测，详细步骤包括：

当暂存队列接收的行为信息容量达到容量值时，所述工作线程将重新尝试将该行为信息发送到暂存队列的操作；当所述暂存队列接收失败时，将所述行为信息作清除处理；

当暂存队列接收的行为信息被读取时，为所述被读取行为信息作已读标识，并将该已读标识的行为信息从暂存队列中清除。

为了让所述暂存队列的临时存储空间可重复使用，有效地控制系统的占用资源，对所述暂存队列接收的行为信息所占用的临时存储空间设置有容量值，所述容量值为临时存储空间存储行为信息的容量最大值。当接收的行为信息容量达到该容量值时，所述工作线程将重新尝试至少两次，将该行为信息发送到暂存队列的操作，当暂存队列还是接收失败时，将该行为信息作清除处理，避免影响原工作线程执行事务的继续进行。

同时对写日志线程读取行为信息的操作作检测，如暂存队列中的行为信息被读取后，将该已读标识的行为信息从暂存队列中清除，以便重复使用该暂存队列的临时存储空间。

优选地，还包括对日志文件的备份功能，包括对存储的日志文件容量进行检测，当存储的日志文件容量达到预先设定的阈值时，执行对日志文件的备份步骤，所述备份步骤包括：

对所述日志文件作压缩处理；

将压缩后的日志文件复制，发送到备份存储器。

所述日志文件容量的阈值可优选预先设定为100M，当达到该阈值时，启动日志文件备份操作。先进行压缩处理，由于是纯文本的行为信息，因此日志文件压缩比例可以达到90％以上，极大地减少了日志文件占用磁盘存储空间；压缩处理完成后，复制发送到备份存储器中，作长期储存。所述备份存储器可优选为计算机的数据硬盘、磁盘或光盘等数据存储设备。

如图4所示，还包括对压缩处理的日志文件作分类存储步骤：

以时间为基准，建立文件目录；

对备份的日志文件作时间标识，并按时间标识排序，存储于建立的相应文件目录中。

所述时间基准可优选为每天作一次建立操作，即每天自动建立一个日志目录；对备份的日志文件设置时间标识，并按时间标识排序，存储于上述建立的文件目录中。使得日志数据可以按日期作分类，每天的日志目录存放当天的日志文件，以便分类管理和后期的大数据分析。

优选地，当缓存中的行为信息发送到暂存队列后，执行缓存释放操作，以作清空使用中的计算机缓存空间，以便对下一个工作线程的执行事务行为信息作记录存储，有效地节省系统资源。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的异步处理方法。计算机可读存储介质包括但不限于U盘、硬盘、移动硬盘、云技术下的云盘，甚至也包括网页(所述网页特指能够记载上述计算机程序的网页)。

本发明还提供一种应用上述异步处理方法的系统，如图5所示，包括：

工作线程模块：用于启动工作线程执行当前事务操作；

行为信息记录模块：用于将执行事务产生的行为信息记录在计算机缓存；所述计算机缓存为数据交换的缓冲区，包括且不限于计算机中央处理器的各级缓存、计算机内存或计算机磁盘划分的临时存储空间；

判断模块：用于判断事务中的行为指令；

行为信息发送模块：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

写日志线程模块：用于读取暂存队列的行为信息，并写入到日志文件中。

所述系统可优选为密码服务平台、综合密钥管理系统或制卡系统等设备。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (10)

1.一种计算机日志数据的异步处理方法，其特征在于，包括工作线程和写日志线程，至少包括如下步骤：

S1：启动工作线程执行事务操作；

S2：将执行事务产生的行为信息记录在计算机缓存；

S3：判断事务是否结束；

S4：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

S5：启动写日志线程，读取暂存队列的行为信息，并写入到日志文件中。

2.根据权利要求1所述的异步处理方法，其特征在于，所述步骤S3的判断事务是否结束步骤包括：

A1：判断事务是否为完成操作的行为指令；

A2：如是，跳转到S4，结束工作线程的事务操作；否则，返回S1。

3.根据权利要求1所述的异步处理方法，其特征在于，在步骤S5中还包括对写入的日志数据分析步骤，包括：

B1：对写入日志文件的日志数据作分析，判断是否存在错误日志数据，所述错误日志数据为执行事务中存在的报错行为信息；

B2：将错误日志数据复制到错误日志文件中。

4.根据权利要求1所述的异步处理方法，其特征在于，在步骤S4中，所述暂存队列同时接收多个工作线程的行为信息，并以堆栈形式存储在临时存储空间。

5.根据权利要求4所述的异步处理方法，其特征在于，还包括对所述暂存队列的临时存储空间的重复使用步骤，包括：

C1：当暂存队列接收的行为信息容量达到设定容量值时，所述工作线程将重新尝试将该行为信息发送到暂存队列的操作；当所述暂存队列接收失败时，将该行为信息作清除处理；

C2：当暂存队列接收的行为信息被读取时，为所述被读取行为信息作已读标识，并将该已读标识的行为信息从暂存队列中清除。

6.根据权利要求1所述的异步处理方法，其特征在于，还包括对存储的日志文件容量进行检测，当存储的日志文件容量达到预先设定的阈值时，执行对日志文件的备份步骤，所述备份步骤包括：

D1：对所述日志文件作压缩处理；

D2：将压缩后的日志文件复制，发送到备份存储器。

7.根据权利要求6所述的异步处理方法，其特征在于，还包括对压缩处理的日志文件作分类存储步骤：

E1：以时间为基准，建立文件目录；

E2：对备份的日志文件作时间标识，并按时间标识排序，存储于建立的相应文件目录中。

8.根据权利要求1所述的异步处理方法，其特征在于，在步骤S2中，当缓存中的行为信息发送到暂存队列后，执行缓存释放操作。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的异步处理方法。

10.一种应用权利要求1至8任一项所述异步处理方法的系统，其特征在于，包括：

工作线程模块：用于启动工作线程执行事务操作；

行为信息记录模块：用于将执行事务产生的行为信息记录在计算机缓存；

判断模块：用于判断事务中的行为指令；

行为信息发送模块：将结束的事务行为信息发送到暂存队列；所述暂存队列为计算机内存中的临时存储空间；

写日志线程模块：用于读取暂存队列的行为信息，并写入到日志文件中。