CN110535869B

CN110535869B - 一种基于压缩算法的数据传输方法、终端设备及存储介质

Info

Publication number: CN110535869B
Application number: CN201910836020.5A
Authority: CN
Inventors: 颜闽辉; 黄志炜; 吴少华; 王平
Original assignee: Xiamen Meiya Pico Information Co Ltd
Current assignee: Xiamen Meiya Pico Information Co Ltd
Priority date: 2019-09-05
Filing date: 2019-09-05
Publication date: 2021-11-02
Anticipated expiration: 2039-09-05
Also published as: CN110535869A

Abstract

本发明涉及一种基于压缩算法的数据传输方法、终端设备及存储介质，该方法中包括：S1：对数据进行分类，使同一类别的数据在同一压缩算法下具有一致的压缩性能，并计算每个类别在不同压缩算法下对应的压缩率和压缩速率；S2：根据待传输数据的类别，并结合网络的有效带宽，选择对应的压缩算法；S3：通过选择的压缩算法对待传输数据进行压缩；S4：将压缩后的数据进行数据传输。本发明一方面可以尽可能将数据压缩到最小，另一方面可以更有效利用有限宽带资源。

Description

一种基于压缩算法的数据传输方法、终端设备及存储介质

技术领域

本发明涉及数据传输领域，尤其涉及一种基于压缩算法的数据传输方法、终端设备及存储介质。

背景技术

移动互联网迅猛发展，各种业务和相关数据往云端迁移，存在大量网络犯罪案件发生在弹性云服务器上，因此需要对弹性云服务器进行取证，大量数据需要通过网络传输。云服务提供商提供的弹性云服务器普遍存在带宽受限，导致数据传输速度慢。

目前，市场上现有的云服务器取证软件在提高数据传输效率上，主要包括使用单一无损压缩算法将数据压缩后传输；传输到代理文件中转站；传输到云服务提供商的对象存储服务上等，这些技术存在以下不足：

1.不同压缩算法具有不同性能指标，通常有压缩快、压缩率大，压缩慢、压缩率小的特征，单一无损压缩算法对数据进行压缩后传输，不能充分利用不同算法的性能指标提高数据的传输效率。

2.源服务器所在地理位置通常在世界各地，及时在其所属位置或同一网络中寻找中转服务器，费时费力，有时候也做不到。

3.借助云服务商提供的对象存储服务受到较大限制，除了需要支付额外服务费，还要求源服务器与对象存储服务为同一家服务提供商且在同一区域内，才能拥有较好的传输效率。

发明内容

为了解决上述问题，本发明提出了一种基于压缩算法的数据传输方法、终端设备及存储介质。

具体方案如下：

一种基于压缩算法的数据传输方法，包括以下步骤：

S1：对数据进行分类，使同一类别的数据在同一压缩算法下具有一致的压缩性能，并计算每个类别在不同压缩算法下对应的压缩率和压缩速率；

S2：根据待传输数据的类别，并结合网络的有效带宽，选择对应的压缩算法；

S3：通过选择的压缩算法对待传输数据进行压缩；

S4：将压缩后的数据进行数据传输。

进一步的，每个数据在不同压缩算法下对应的压缩率cratio和压缩速率cspeed的计算过程包括：

S11：计算数据的大小us，设定压缩算法总数为N，变量n＝1；

S12：选择第n个压缩算法对数据进行压缩，并计算压缩后的大小csize和压缩时间cexpired；

S13：根据压缩后的大小csize和压缩时间cexpired，计算压缩率cratio和压缩速cspeed；

S14：判断n＝N是否成立，如果成立，结束，否则，令n＝n+1，返回S12。

进一步的，步骤S2具体包括以下步骤：

S21：设定压缩算法总数为N，变量n＝1，变量m＝0，根据网络的有效带宽bw和待传输数据的大小us，计算压缩算法的初始传输时间expired：expired＝us/bw；

S22：选择第n个压缩算法对数据进行压缩，获取待传输数据对应在第n个压缩算法下对应的压缩率cratio和压缩速率cspeed，判断压缩速率cspeed是否小于有效带宽bw，如果小于，进入S23，否则，进入S24；

S23：计算第n个压缩算法的实际传输时间texpired：texpired＝us*craito/bw，进入S25；

S24：计算第n个压缩算法的实际传输时间texpired：texpired＝us*craito/cspeed，进入S25；

S25：判断是否满足实际传输时间texpired小于初始传输时间expired，如果是，令m＝n，设定初始传送时间为第n个压缩算法的实际传输时间，进入S26；否则，进入S26；

S26：判断n＝N是否成立，如果成立，进入S27，否则，令n＝n+1，返回S22；

S27：将第m个压缩算法作为选择的压缩算法。

一种基于压缩算法的数据传输终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。

本发明采用如上技术方案，并具有有益效果：

1.可以尽可能将数据压缩到最小。不同数据对象使用不同压缩算法进行压缩，通过前期的实践积累，可以筛选出一个压缩比大，压缩速率适当的算法。

2.可以更有效利用有限宽带资源。选择压缩算法是尽可能用尽带宽资源的前提下进行的。

附图说明

图1所示为本发明实施例一的整体流程图。

图2所示为该实施例中计算压缩率和压缩速率的流程图。

图3所示为该实施例中选择压缩算法的流程图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

本发明实施例提供了一种基于压缩算法的数据传输方法，如图1所示，所述方法包括以下步骤：

S1：对数据进行归纳分类，使同一类别的数据具有相似的复杂性，即同一类别的数据在同一压缩算法下具有一致的压缩性能。计算各类别数据在不同压缩算法下对应的压缩率cratio和压缩速率cspeed。

需要说明的是，所述一致为大致一致即可，具体一致的程度，本领域技术人员可以根据经验和实际需求来设定。

参考图2所示，每个数据在不同压缩算法下对应的压缩率cratio和压缩速率cspeed的计算过程如下：

S11：计算数据的大小us，设定压缩算法总数为N，变量n＝1；

将同一类别中所有数据在某个压缩算法下对应的压缩率cratio和压缩速率cspeed的平均值作为该类别在该压缩算法下对应的压缩率cratio和压缩速率cspeed。

S2：根据待传输数据的类别，并结合网络的有效带宽bw，选择对应的压缩算法，如图3所示，具体包括以下步骤：

S26：判断n＝N是否成立，如果成立，进入S27，否则，令n＝n+1，返回S22。

S27：将第m个压缩算法作为选择的压缩算法。

步骤S27中最后得到的压缩算法m为传输时间最短的压缩算法，当m＝0时，则没有压缩算法被选择，该情况下进行数据压缩并不能提高整体的传输效率，此时，将数据不经压缩直接进行传输。

S3：通过选择的压缩算法对待传输数据进行压缩。

S4：将压缩后的数据发送至协议栈进行传输。

在实际执行中步骤S4往往与步骤S3并发或并行进行，实行边压缩边传输。

实验结果

表1所示的实验数据是以一台带宽标称20Mbps，以实测值1.40MBps为准，数据大小为40GB的云服务器进行在线传输的环境下进行的测试。

表1

在未使用该实施例中方法前，默认采用zlib压缩算法进行压缩，压缩后的大小是8.74GB，压缩时间14.93分钟，但受制于实际网路速率，整个传输过程需要106.54分钟。

在引入该实施例中方法后，采用了bz2压缩算法，压缩后的大小是6.61GB，压缩时间66分钟，整个传输过程需要80.58分钟，相较于之前节省了约26分钟。

由于在进行云服务器勘验过程中，要传输的数量大，数据类型相对固定。因此，该实施例中对相对固定类型的数据进行训练统计分析，积累出一定类型的数据在不同无损压缩算法下的性能指标。在充分利用现有网络带宽负载能力的情况下，可用积累的经验来匹配恰当的无损压缩算法，尽可能将数据压缩到最小，总体上提高数据的传输效率。

本发明实施例一主要适用于类似云服务器取证上具有可归类的数据对象特征、带宽受限的场景下，可以进一步提高数据传输效率。本发明对比现有技术，具有以下特点：

3.同样可应用于代理文件中转站等场景。

实施例二：

本发明还提供一种基于压缩算法的数据传输终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例一的上述方法实施例中的步骤。

进一步地，作为一个可执行方案，所述基于压缩算法的数据传输终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于压缩算法的数据传输终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述基于压缩算法的数据传输终端设备的组成结构仅仅是基于压缩算法的数据传输终端设备的示例，并不构成对基于压缩算法的数据传输终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于压缩算法的数据传输终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(CentralProcessing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于压缩算法的数据传输终端设备的控制中心，利用各种接口和线路连接整个基于压缩算法的数据传输终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于压缩算法的数据传输终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述基于压缩算法的数据传输终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)以及软件分发介质等。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。

Claims

1.一种基于压缩算法的数据传输方法，其特征在于，包括以下步骤：

步骤S2具体包括以下步骤：

S27：将第m个压缩算法作为选择的压缩算法；

S3：通过选择的压缩算法对待传输数据进行压缩；

S4：将压缩后的数据进行数据传输。

2.根据权利要求1所述的基于压缩算法的数据传输方法，其特征在于：每个数据在不同压缩算法下对应的压缩率cratio和压缩速率cspeed的计算过程包括：

S11：计算数据的大小us，设定压缩算法总数为N，变量n＝1；

3.一种基于压缩算法的数据传输终端设备，其特征在于：包括处理器、存储器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1～2中任一所述方法的步骤。

4.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1～2中任一所述方法的步骤。