CN112600941B - 自动更新传输数据大小优化的方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种自动更新传输数据大小优化的方法、装置及存储介质，其中优化方法包括接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件。在一些自助服务等终端设备中，可实现安全和高效等效果，优化自动更新功能的传输文件数据大小。

Description

自动更新传输数据大小优化的方法、装置及存储介质

技术领域

本发明涉及数据传输的技术领域，具体是一种自动更新传输数据大小优化的方法、装置及存储介质。

背景技术

随着运维系统服务范围的不断扩大，自动更新功能的请求不断增多，更新数据传输常常无法保证数据传输的效率和完整性，数据传输性能较差。为保证传输效率以及解决文件传输数据传输缓慢的问题，对自动更新功能的传输文件数据大小进行优化。

发明内容

为了克服现有技术方案的不足，本发明提供一种自动更新传输数据大小优化的方法、装置及存储介质。

本发明解决其技术问题所采用的技术方案是：

自动更新传输数据大小的优化方法，所述方法包括：

接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；

在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件。

作为本发明一种优选的技术方案, 对所述第一压缩文件进行分卷式压缩成多个第二压缩文件包括：

识别第一压缩文件的存储量大小在多组预设阈值的其中一组预设阈值范围内，并根据该组预设阈值对所述第一压缩文件按照所对应的压缩存储量阈值进行分卷式压缩。

作为本发明一种优选的技术方案, 所述多组预设阈值包括四组预设阈值，其中：

第一组预设阈值为小于5MB内，所述第一压缩文件的存储量落入第一组预设阈值时，则直接压缩成第二压缩文件；

第二组预设阈值为5MB-100MB，所述第一压缩文件的存储量落入第二组预设阈值时，则分卷式压缩成多个以每个5MB存储量的第二压缩文件；

第三组预设阈值为100MB-500MB，所述第一压缩文件的存储量落入第三组预设阈值时，则分卷式压缩成多个以每个10MB存储量的第二压缩文件；

第四组预设阈值为大于500MB，所述第四压缩文件的存储量落入第三组预设阈值时，则分卷式压缩成多个以每个20MB存储量的第二压缩文件。

作为本发明一种优选的技术方案, 检测与服务器的连接时间，识别连接时间是否超出预设时间；

如果是，则发送异步请求，所述异步请求包括服务器内部设定出一条线程对所述数据更新文件进行压缩处理。

作为本发明一种优选的技术方案, 对所述数据更新文件进行压缩处理之后，包括：

根据线程的压缩处理，并修改数据库的所对应的数据；

获取此时数据库所对应的状态，判断服务器是否完成压缩处理。

作为本发明一种优选的技术方案, 对所述数据更新文件完成压缩处理之后，还包括：

将已完成压缩的数据更新文件压缩包进行缓存处理，并使用分布式读写锁对获取数据更新文件压缩包请求进行锁定。

作为本发明一种优选的技术方案, 使用分布式读写锁对获取数据更新文件压缩包请求进行锁定，包括：

判断读写锁的此时状态；

当读写锁是写锁状态时，获取其他线程想对其加读锁/写锁，如果没有获取，则直接抛出异常信号；

当读写锁是读锁状态时，等所有的读锁线程都释放完成后，其他线程对其加读锁。

作为本发明一种优选的技术方案, 在判断读写锁的此时状态之前，还包括：

建立多个运维服务以对完成压缩的数据更新文件压缩包的安全漏洞遗漏数量、安全漏洞遗漏率、加固设备覆盖率进行检测。

本发明还提供了自动更新传输数据大小的优化装置，所述优化装置包括：

接收模块，接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；

压缩模块，在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件。

一种计算机可读的存储介质所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述自动更新传输数据大小的优化方法。

与现有技术相比，本发明的有益效果是：

在一些自助服务等终端设备中，可实现安全和高效等效果，优化自动更新功能的传输文件数据大小。

附图说明

图1是本发明实施例的自动更新传输数据大小的优化方法的流程示意图。

图2是本发明实施例的自动更新传输数据大小的优化方法的流程示意图。

图3是本发明实施例的自动更新传输数据大小的优化装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种自动更新传输数据大小的优化方法，主要运用在一些自助服务等终端设备中，具有“安全”、“高效”等基本设计原则，优化自动更新功能的传输文件数据大小。根据附图1-2中所示，该方法具体包括：

接收服务器发送数据更新文件的更新请求，更新请求中包含有待更新数据的数据内容。

而本实施例是由自助服务终端来接收待更新数据的数据内容，而自助服务终端一般为设置在政务大厅等场所内的自助机，其用于运 办理某项业务的业务程序，例如办税业务、银行业务、医保业务等。自助机中运行的程序除了业务程序，还包括运行管理程序。

服务器可以是提供各种数据服务的服务器，服务器上可设置有管理平台(主要是后台)，可通过自助服务终端获取服务器通过网络输入的数据信息。服务器还可以为业务服务终端设备所提供的消息进行数据储存处理的后台服务器。当然，服务器可以是一个实体的服务器，还可例如为多个服务器组成，服务器中的一部分可对消息队列进行存储。

该待更新数据的数据内容可以是对终端机内的程序或者各种软件的更新包，将该待更新数据的数据内容被传输到终端机进行更新，至于传输的方式可以根据现有的已知的传输方式来实现，具体不作限定。

由于现有的待更新数据的数据内容的存储量较大，内容在进行传输时需要耗费大量的时间，从而导致对自助服务终端的较低更新效率。因此自助服务终端在接收更新请求之前，需要先对数据更新文件进行压缩处理。而本实施例是对数据更新文件进行至少两次压缩处理。

其中根据步骤104，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件，具体是在第一次压缩是对文件的整体进行快速加密压缩，同时也避免了在分卷压缩的时候把文件头分割导致解压失败。

第一次压缩处理具体是通过特定的算法，将文件转化，而转化以后的文件占用的空间较小。例如，当连续同样的1或者0的个数超过5个，则将其转化成XX1或者XX0得形式；如果不超过5个，保持不变。XX是连续的1或者0的个数，如果连续数量较多，XX得位数可以增加。于是11111可以表示成5个1，写成二进制就是1011；000000可以表示成6个0，写成二进制就是1100；而1保持不变。这样，转化以后的文件就变成了101111001。可见，原始文件需要12个存储位置，而转化后的文件只需要9个存储位置。

而第一次对数据更新文件压缩的压缩比例可达到为70%。

根据步骤105，第二次压缩处理包括对第一压缩文件进行分卷式压缩成多个第二压缩文件，这样的好处是提高对压缩效率，减少时间耗费，而且避免发生损坏的压缩文件。

对第一压缩文件进行分卷式压缩成多个第二压缩文件具体包括：

由于每次的数据更新文件的存储量大小都各不一致，因此需要预先设定多组预设阈值，这些多组预设阈值都会针对第一压缩文件的存储大小有着各自压缩限定。

因此，在对第一压缩文件进行第二次压缩处理之前，先识别第一压缩文件的存储量大小在多组预设阈值的其中一组预设阈值范围内，并根据该组预设阈值对第一压缩文件按照所对应的压缩存储量阈值进行分卷式压缩，从而压缩处理成若干个小压缩包，简单就是将一个大存储的第一压缩文件拆分成若干个小压缩包。

上述的多组预设阈值具体可以下述为例子，也就是本实施例暂限定为4组的预审阈值。

第一种情况，当第一压缩文件的存储量大小低于5MB时，也就是落入在第一组预设阈值为小于5MB的限定范围内，由于低于5MB的存储量较为小，因此可不必压缩处理成多个小压缩包，所以服务器识别出该第一压缩文件的存储量落入第一组预设阈值时，则直接压缩成第二压缩文件。

第二种情况，当第一压缩文件的存储量大小为50MB时，50MB的大小则落入到第二组预设阈值的5MB-100MB范围内，而第二组预设阈值限定的范围为5MB-100MB，所以服务器识别出第一压缩文件的存储量落入该第二组预设阈值时，则分卷式压缩成多个以每个5MB存储量的第二压缩文件，也就是10个小压缩包，每个小压缩包的存储量为5MB。

第三种情况，当第一压缩文件的存储量大小为300MB时，300MB较大的存储量落入在第三组预设阈值的100MB-500MB范围内，而第三组预设阈值限定的范围为100MB-500MB，所以第一压缩文件的存储量落入第三组预设阈值时，则分卷式压缩成多个以每个10MB存储量的第二压缩文件，也就是一共30个小压缩包，每个小压缩包的存储量为10MB。

第四种情况，当第一压缩文件的存储量大小为600MB时，500MB较大的存储量则落入在第四组预设阈值的范围内，而第四组预设阈值限定的范围为大于500MB，所以第四压缩文件的存储量落入第三组预设阈值时，则分卷式压缩成多个以每个20MB存储量的第二压缩文件，也就是一共30个小压缩包，每个小压缩包的存储量为20MB。

也不受限与上述的4种情况，上述的4种情况只是本发明的4个实施例，涉及到第一压缩文件更大的存储量的情况下，也可以此类推，将被压缩处理成多个小压缩包。

检测与服务器的连接时间，也就是自助服务终端与服务器的连接时间，为了避免终端机压缩请求与服务间进行长连接，导致终端长时间等待，而无法进行别的工作，因此需要识别连接时间是否超出预设时间。所谓的预设时间是指预先设定好的连接时间值，如果超出了该预设时间，则判断为长时间的连接状态，如果一直处于这种状态，现有的自助服务终端一般都会自动与服务器断开连接，这时会导致服务器出现大量的closewait问题。如果识别的结构是超出的预设时间，也就是上述的情况，则发送异步请求。

异步请求包括服务器内部设定出一条线程对数据更新文件进行压缩处理，异步请求是指把请求交给代理对象—XMLHttpRequest，由代理对象向服务器发起请求，接收、解析服务器响应的数据，并把数据更新到自助服务终端指定的控件上。从而实现了内部数据的局部刷新。异步请求使自助服务终端不用等待服务器处理请求，不用重新响应整个过程来展示服务器响应的数据，在异步请求发送的过程中自助服务终端还能进行其它的操作。在压缩成功后，修改对应的数据库，自助服务终端机只需要定时获取数据库相应的状态即可知道服务器是否压缩完成，防止终端请求超时主动断开与服务器的连接，使服务器出现大量closewait问题。

为避免存储量较大的数据更新文件导致服务不断进行压缩文件操作，因此根据步骤101，在对数据更新文件完成压缩处理之后，还要将已完成压缩的数据更新文件压缩包进行缓存处理，并使用分布式读写锁对获取数据更新文件压缩包请求进行锁定，进行读写锁操作的过程中会判断读写锁的此时状态时，根据两种情况，从而进行两种实施方案。

步骤102，当读写锁是写锁状态时，获取其他线程想对其加读锁/写锁，都会被阻塞，需要等待一段时间后再去获取读锁，如果一直获取不到，则直接抛出异常信号。

步骤103，当读写锁是读锁状态时，其他线程可以对其加读锁，但是不能对其加写锁，并需要等所有的读锁线程都释放完成后，才能对其进行写操作。

在判断读写锁的此时状态之前，会建立起多个运维服务以对完成压缩的数据更新文件压缩包的安全漏洞遗漏数量、安全漏洞遗漏率、加固设备覆盖率进行检测。

步骤106，为保证压缩文件传输的安全性，对压缩完的压缩包进行AES加密传输。

综合上述，通过本发明的优化方法，可优化自助服务终端与服务器的自动更新功能的传输文件数据大小。

与上述的一种自动更新传输数据大小的优化方法相对应，本发明还提供了一种自动更新传输数据大小的优化装置，根据图3所示，具体结构包括：

接收模块，接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；

压缩模块，在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件。

由于本公开的示例实施例的自动更新传输数据大小的优化装置的各个功能模块与上述的一种自动更新传输数据大小的优化方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本发明公开上述的一种自动更新传输数据大小的优化方法的实施例。

描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的自动更新传输数据大小的优化方法。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (9)

1.自动更新传输数据大小的优化方法，其特征在于：所述方法包括：接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件；

对所述第一压缩文件进行分卷式压缩成多个第二压缩文件包括识别第一压缩文件的存储量大小在多组预设阈值的其中一组预设阈值范围内，并根据该组预设阈值对所述第一压缩文件按照所对应的压缩存储量阈值进行分卷式压缩。

2.根据权利要求1所述的优化方法，其特征在于，所述多组预设阈值包括四组预设阈值，其中：第一组预设阈值为小于5MB内，所述第一压缩文件的存储量落入第一组预设阈值时，则直接压缩成第二压缩文件；第二组预设阈值为5MB-100MB，所述第一压缩文件的存储量落入第二组预设阈值时，则分卷式压缩成多个5MB存储量的第二压缩文件；第三组预设阈值为100MB-500MB，所述第一压缩文件的存储量落入第三组预设阈值时，则分卷式压缩成多个10MB存储量的第二压缩文件；

第四组预设阈值为大于500MB，所述第一压缩文件的存储量落入第四组预设阈值时，则分卷式压缩成多个20MB存储量的第二压缩文件。

3.根据权利要求1所述的优化方法，其特征在于：检测与服务器的连接时间，识别连接时间是否超出预设时间；如果是，则发送异步请求，所述异步请求包括服务器内部设定出一条线程对所述数据更新文件进行压缩处理。

4.根据权利要求3所述的优化方法，其特征在于：对所述数据更新文件进行压缩处理之后，包括：根据线程的压缩处理，修改数据库的所对应的数据；获取此时数据库所对应的状态，判断服务器是否完成压缩处理。

5.根据权利要求1所述的优化方法，其特征在于：对所述数据更新文件完成压缩处理之后，还包括：将已完成压缩的数据更新文件压缩包进行缓存处理，并使用分布式读写锁对获取数据更新文件压缩包请求进行锁定。

6.根据权利要求5所述的优化方法，其特征在于，使用分布式读写锁对获取数据更新文件压缩包请求进行锁定，包括：

判断读写锁的此时状态；

若读写锁是写锁状态时，则获取想对其加读锁/写锁的其他线程；若没有获取，则直接抛出异常信号；

若读写锁是读锁状态时，等所有的读锁线程都释放完成后，其他线程对其加写锁。

7.根据权利要求6所述的优化方法，其特征在于，在判断读写锁的此时状态之前，还包括：建立多个运维服务以对完成压缩的数据更新文件压缩包的安全漏洞遗漏数量、安全漏洞遗漏率、加固设备覆盖率进行检测。

8.自动更新传输数据大小的优化装置，其特征在于，所述优化装置包括：

接收模块，接收服务器发送数据更新文件的更新请求，所述更新请求中包含有待更新数据的数据内容；

压缩模块，在接收更新请求之前，对所述数据更新文件进行至少两次压缩处理，其中，第一次压缩处理包括对所述数据更新文件进行加密处理形成第一压缩文件；第二次压缩处理包括对所述第一压缩文件进行分卷式压缩成多个第二压缩文件；

对所述第一压缩文件进行分卷式压缩成多个第二压缩文件包括识别第一压缩文件的存储量大小在多组预设阈值的其中一组预设阈值范围内，并根据该组预设阈值对所述第一压缩文件按照所对应的压缩存储量阈值进行分卷式压缩。

9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的自动更新传输数据大小的优化方法的步骤。

Images