CN108011966B - 一种自助终端日志压缩上传的优化方法 - Google Patents

Abstract

本发明提供一种自助终端日志压缩上传的优化方法，方法包括：客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理；所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。服务器接收每一客户端上传的压缩后的日志文件；所述服务器将接收的压缩后的日志文件分配制文件保存队列，并向所述客户端返回正常接收响应；所述服务器检测所述压缩后的日志文件中是否有异常信息；若没有，则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。上述方法有效减少了客户端等待服务器的响应时间，提高了自助终端的功能体验。

Description

一种自助终端日志压缩上传的优化方法

技术领域

本发明涉及计算机技术，特别是一种自助终端日志压缩上传的优化方法。

背景技术

自助终端典型的技术架构为客户端/服务端架构。自助终端客户端产生的日志上传至服务端有助于终端运维人员进行排查问题，但基于该架构下如果自助终端日志的并发量过大，直接影响了自助终端正常的正常流程。同时，由于上传客户端日志到服务端后，写入硬盘的操作时间一般较长，使得服务器存在大量的阻塞线程，若随着自助终端的台数不断增大，在不横向增加服务器资源的情况下，将会使得所有自助终端的功能请求缓慢，用户体验差。

发明内容

针对现有技术中的问题，本发明提供一种自助终端日志压缩上传的优化方法。

第一方面，本发明提供一种自助终端日志压缩上传的优化方法，包括：

客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理；

所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。

可选地，所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后，得到的文件；

所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同。

可选地，所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度；

所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同。

可选地，所述客户端在压缩处理的过程中将压缩的部分日志信息依序上传服务器，包括：

所述客户端将压缩的部分日志文件以HTTP协议的方式发送所述服务器。

可选地，所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理；

所述空闲时间段为所述客户端依据预设时间段内使用信息统计得到的。

可选地，所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器，包括：

所述客户端在第一空闲时间段将压缩的部分日志文件上传服务器后，记录已经上传的部分日志文件的节点；在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。

第二方面，本发明提供一种自助终端日志压缩上传的优化方法，包括：

服务器接收每一客户端上传的压缩后的日志文件；

所述服务器将接收的压缩后的日志文件分配制文件保存队列，并向所述客户端返回正常接收响应；

所述服务器检测所述压缩后的日志文件中是否有异常信息；

若没有，则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。

可选地，所述客户端上传的压缩后的日志文件为所述客户端以熵编码为基础，采用位移的运算方式获取的压缩后的日志文件。

可选地，所述方法还包括：

所述服务器检测到所述压缩后的日志文件存在异常信息，则将所述压缩后的日志文件发送运维支撑系统。

可选地，所述方法还包括：

所述服务器将压缩后的日志文件切割为多个压缩文件包，以及所述服务器基于切割的多个压缩文件包，通过线程池创建多个线程，采用创建的线程对每个压缩文件包进行解压缩，并将解压缩的文件合并，在线展示。

本发明具有的有益效果：

本发明实施例中自助终端日志压缩上传的优化方法，通过将客户端日志采用熵编码无分支算法的方式对待上传的日志文件进行压缩打包，并采用边压缩边上传的方式上传服务器，服务器端采用异步多线程的方式来进行日志文件存盘，这样就有效地减少了客户端等待服务器响应时间，同时提高了自助终端的功能体验。

附图说明

图1为本发明一实施例提供的自助终端日志压缩上传的优化方法的示意图；

图2为本发明另一实施例提供的自助终端日志压缩上传的优化方法的示意图；

图3为本发明一实施例提供的客户端与服务器交互的示意图。

具体实施方式

为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。

如图1所示，图1示出了本发明一实施例提供的自助终端日志压缩上传的优化方法的示意图，本实施例的方法包括下述步骤：

101、客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理。

在本实施例中，客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理；

本实施例的空闲时间段可为客户端依据预设时间段内使用信息统计得到的。

102、客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器。

本实施例中，客户端可将压缩的部分日志文件以HTTP协议的方式发送所述服务器。

举例来说，本实施例的客户端可在第一空闲时间段将压缩的部分日志文件上传服务器后，记录已经上传的部分日志文件的节点；在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。

也就是说，客户端可以分段传输压缩后的日志文件，在网络不通畅时，可暂停传输，在网络通畅且属于客户端的空闲时间段时，继续传输剩余的压缩后的日志文件。

需要说明的是，本实施例的客户端指的是自助终端的客户端。

本实施例的客户端采用商编码并采用位移的运算方式可有效提高压缩处理速度，以及减少压缩后的日志文件的比特数。

在一种可选的实现方式中，在上述的步骤101中，可理解的是，本实施例的客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后，得到的文件；

所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同。

另外，在另一可选的实现方式中，上述的步骤101，可理解为：本实施例的客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度；

所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同。

参照图2所示，图2示出了一实施例提供的自助终端日志压缩上传的优化方法的示意图，本实施例的方法包括下述步骤：

201、服务器接收每一客户端上传的压缩后的日志文件；

202、服务器将接收的压缩后的日志文件分配制文件保存队列，并向所述客户端返回正常接收响应；

203、服务器检测所述压缩后的日志文件中是否有异常信息；

204、若没有，则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中。

205、服务器检测到所述压缩后的日志文件存在异常信息，则将所述压缩后的日志文件发送运维支撑系统。

特别说明的是，本实施例中客户端上传的压缩后的日志文件为所述客户端以熵编码为基础，采用位移的运算方式获取的压缩后的日志文件。

可选地，在具体实现过程中，上述图2所示的方法还可包括下述的图中未示出的步骤206：

206、服务器将压缩后的日志文件切割为多个压缩文件包，以及所述服务器基于切割的多个压缩文件包，通过线程池创建多个线程，采用创建的线程对每个压缩文件包进行解压缩，并将解压缩的文件合并，在线展示。

本实施例的优化方法，通过将客户端日志采用熵编码无分支算法的方式对待上传的日志文件进行压缩打包，并采用边压缩边上传的方式上传服务器，服务器端采用异步多线程的方式来进行日志文件存盘，这样就有效地减少了客户端等待服务器响应时间，同时提高了自助终端的功能体验。

应说明的是，本实施例中每一客户端上传的压缩文件是携带有该客户端的标识，例如客户端编号或身份信息等。本实施例的客户端可为每一自助终端中的客户端。服务器端在存储压缩文件的过程中，可将相同编号的客户端上传的压缩形式的日志文件存储在同一区域。

为更好的理解本实施例的方法，以下进行详细说明。

一、客户端优化

1)客户端日志压缩优化

客户端日志压缩通过使用了有限状态熵，并以熵编码非对称数字系统(ANS)为基础，避免在压缩速度和压缩率之间进行取舍。

在压缩算法上尽量减少分支，从而将因为分支预测错误而导致的、开销很高的管道清理最小化。下面算法说明了如何在不使用分支的情况下重写终端日志压缩的while循环：

传统压缩分支算法：

while(P(x)>＝8){

K<<＝8；

K+＝*byte++；

P(x)-＝8；

}

本实施例中优化后，无分支算法：

P(x)＝P(x)>>3；

P(x)&＝7；

ptr+＝P(x)；

K＝read64(ptr)；

其中P(x)为压缩字节流，K为最终的压缩文件流。

本实施例中修改压缩过程，采用位移的运算方式，在压缩比率(提及压缩率)相同的情况下，它的速度快大约3到5倍。

另外，本实施例中修改压缩过程，采用位移的运算方式，在压缩速度相同的情况下，它生成的文件小10％到15％。

另外，本实施例中不管压缩比率多大，服务器端解压缩的速度都要快2倍；最大压缩比率(即体积压缩率)要高许多(大约为4比3.15)。

2)压缩和上传是同时进行的，客户端在压缩的过程中把压缩过的数据流发送HTTP协议发送至服务端。

3)执行日志压缩上传的时间点优化

客户端将统计自己的使用情况，分析出终端机(即自助终端)

通常在什么时间段空闲，选出几个空闲时间段，该参数将随着用户群使用该终端的习惯而变化，日志压缩上传的任务将会在这几个被选择的时间段执行。

算法：

For(i＝1；i<＝${当日所有使用时间点}.size()；i++){

${时间段集合}.add(abs($(当日所有使用时间点[i]-$(当日所有使用时间点[i-1])))；

}

For(j＝0；j<${设置任务执行的次数}；j++){

${能够执行日志压缩上传的任务的时间段集合}.add(${时间段集合}.remove(Max(${时间段集合})))；

}。

二、服务器端优化

1、优化接收客户端文件方式

1)如图3所示，在服务器端部署压缩文件的HTTP服务应用，响应客户端HTTP请求，等待HTTP请求的字节数据输入流传输压缩文件并写入字节数据输出流。

2)当服务器端接收到客户端请求文件流后，把该文件流分配至文件保存队列中，同时同步返回客户端正常接收状态。

3)检测压缩的日志文件中的日志是否含有异常，如果含有异常信息，将会发送消息到运维支撑系统。

本实施例中服务器是针对压缩文件进行检测，并不解压缩检测。另外，服务器端可将携带有异常信息的此次上传的整个压缩包日志文件发送到运维支撑系统。

4)服务器端通过线程池将文件保存队列中的字节数据输入流通过异步I/O写入磁盘的相应位置。

也就是说，服务器端根据压缩包文件的客户端标识存入该客户端所属磁盘的位置。通常压缩包的头部会携带客户端标识。

服务器端通过线程池创建文件保存线程，创建的文件保存线程根据终端的身份信息(压缩包对应的客户端的标识)将文件保存队列中的字节数据输入流通过异步I/O写入磁盘的相应位置。

在该过程中，检测到异常时，将整个压缩包另外保存。

2、优化服务器端读取压缩文件方式

1)在服务器端通过应用使用该压缩文件时，传统的方法一般是先在服务器端解压该日志文件组，然后逐份日志读入到应用系统中查看。本实施例优化后，若在服务端中将压缩文件读入内存，然后将其根据解压缩切割设置的切割文件个数的多少，分别切割出相应的压缩文件包，并在服务器端生成相应的线程，对每个文件包进行解压。

服务器根据压缩文件的数量生成设定的线程，服务器中存储有数量和线程的对应表。

最后将解压的文件部分集成。并展示在服务器端应用系统中。

本实施例的方法利用CPU多核特性，自定义解压的线程数，对压缩文件进行解压并合成后在线展示。增加了读取文件的速度和阅读难度。

最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种自助终端日志压缩上传的优化方法，其特征在于，包括：

客户端以熵编码算法为基础，采用位移的运算方式对待上传的日志进行压缩处理；

所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器；

所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩后的文件小于所述客户端采用熵编码中分支算法对待上传的日志进行压缩后，得到的文件；

所述客户端采用熵编码中无分支算法的压缩速度与所述客户端采用熵编码中分支算法的压缩速度基本相同；

所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端采用熵编码中无分支算法对待上传的日志进行压缩处理，压缩处理的速度高于所述客户端采用熵编码中分支算法对待上传的日志进行压缩处理的速度；

所述客户端采用熵编码中无分支算法的压缩后的文件与所述客户端采用熵编码中分支算法的压缩后的文件基本相同；

所述客户端以熵编码为基础，采用位移的运算方式对待上传的日志进行压缩处理，包括：

所述客户端在预先确定的空闲时间段对所述待上传的日志进行压缩处理；

所述空闲时间段为所述客户端依据预设时间段内使用信息统计得到的；

所述客户端在压缩处理的过程中将压缩的部分日志文件依序上传服务器，包括：

所述客户端在第一空闲时间段将压缩的部分日志文件上传服务器后，记录已经上传的部分日志文件的节点；在第二空闲时间段基于记录的节点继续向服务器上传剩余的压缩的部分日志文件。

2.根据权利要求1所述的方法，其特征在于，所述客户端在压缩处理的过程中将压缩的部分日志信息依序上传服务器，包括：

所述客户端将压缩的部分日志文件以HTTP协议的方式发送所述服务器。

3.一种自助终端日志压缩上传的优化方法，其特征在于，包括：

服务器接收每一客户端上传的压缩后的日志文件；

所述服务器将接收的压缩后的日志文件分配至文件保存队列，并向所述客户端返回正常接收响应；

所述服务器检测所述压缩后的日志文件中是否有异常信息；

若没有，则所述服务器通过异步I/O方式将所述文件保存队列中压缩后的日志文件写入服务器的磁盘中；

所述客户端上传的压缩后的日志文件为所述客户端以熵编码为基础，采用位移的运算方式获取的压缩后的日志文件；

所述服务器将压缩后的日志文件切割为多个压缩文件包，以及所述服务器基于切割的多个压缩文件包，通过线程池创建多个线程，采用创建的线程对每个压缩文件包进行解压缩，并将解压缩的文件合并，在线展示；

服务器根据压缩文件的数量生成设定的线程，服务器中存储有数量和线程的对应表。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

所述服务器检测到所述压缩后的日志文件存在异常信息，则将所述压缩后的日志文件发送运维支撑系统。

Images