CN106713422A - 一种基于互联网异地快速传输数据的实现方法及系统 - Google Patents

Abstract

本发明公开了一种基于互联网异地快速传输数据的实现方法及系统，方法包括：预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。本发明将实现了数据压缩度更高，使传送的数据资料更少，从而大大提高了两地传数据的效率。

Description

一种基于互联网异地快速传输数据的实现方法及系统

技术领域

本发明涉及数据传输技术领域，尤其涉及的是一种基于互联网异地快速传输数据的实现方法及系统。

背景技术

目前，服务器之间进行数据传输时，都是将数据压缩后传输，这样对数据的压缩程度不足以支持更快速的传输。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供一种基于互联网异地快速传输数据的实现方法及系统，旨在解决现有技术中服务器之间传输数据是将数据压缩后传输，导致压缩率低，传输速度慢的缺陷。

本发明的技术方案如下：

一种基于互联网异地快速传输数据的实现方法，其中，所述方法包括以下步骤：

A、预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

B、将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

C、第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

所述基于互联网异地快速传输数据的实现方法，其中，所述步骤B具体包括：

B1、将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

B2、若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

B3、若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

B4、将数据指纹包、及非数据指纹包传输至第二服务器。

所述基于互联网异地快速传输数据的实现方法，其中，所述步骤B3中还包括：

B31、将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

所述基于互联网异地快速传输数据的实现方法，其中，所述步骤C之后还包括：

D1、按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

所述基于互联网异地快速传输数据的实现方法，其中，所述步骤D1之后还包括：

D2、获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

D3、将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。

一种基于互联网异地快速传输数据的实现系统，其中，包括：

数据指纹库建立模块，用于预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

数据压缩模块，用于将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

数据解压模块，用于第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

所述基于互联网异地快速传输数据的实现系统，其中，所述数据压缩模块具体包括：

第一比对单元，用于将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

第一压缩单元，用于若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

第二压缩单元，用于若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

数据发送单元，用于将数据指纹包、及非数据指纹包传输至第二服务器。

所述基于互联网异地快速传输数据的实现系统，其中，所述第二压缩单元中还用于：将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

所述基于互联网异地快速传输数据的实现系统，其中，还包括：

两地指纹交互模块，用于按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

所述基于互联网异地快速传输数据的实现系统，其中，还包括：

预测数据指纹库数据添加模块，用于获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

预测数据指纹库比较模块，用于将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。

本发明所提供的基于互联网异地快速传输数据的实现方法及系统，方法包括：预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。本发明将实现了数据压缩度更高，使传送的数据资料更少，从而大大提高了两地传数据的效率。

附图说明

图1为本发明所述基于互联网异地快速传输数据的实现方法较佳实施例的流程图。

图2为本发明所述基于互联网异地快速传输数据的实现系统较佳实施例的结构框图。

具体实施方式

本发明提供一种基于互联网异地快速传输数据的实现方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，为本发明所述基于信息和HTTP链接的电话会议邀请方法较佳实施例的流程图，所述方法包括以下步骤：

步骤S100、预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

步骤S200、将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

步骤S300、第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

本发明的实施例中，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息。通过设置数据指纹，使得重复率高的数据段直接只需转化为数据指纹来进行传输即可，这样实现了数据压缩度更高，使传送的数据资料更少，从而大大提高了两地传数据的效率。

进一步的，所述步骤S100具体包括：

步骤S101、将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

步骤S102、若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

步骤S103、若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

步骤S104、将数据指纹包、及非数据指纹包传输至第二服务器。

进一步的，所述步骤S103中还包括：将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

进一步的，所述步骤S300之后还包括：

步骤S401、按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

所述基于互联网异地快速传输数据的实现方法，其中，所述步骤D1之后还包括：

步骤S402、获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

步骤S403、将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。

为了更清楚的理解本发明的技术方案，下面通过一具体实施例来说明。

步骤1、A端服务器要传送数据到B端服务器时，当A接收到要传输的传输原始数据后，先把整个传输原始数据产生数据指纹，检查数据指纹库是否已存在传输原始数据对应的数据指纹。

步骤2、如果存在，则A端服务器将传输原始数据对应的数据指纹传输至B端服务器即传送数据完成；

步骤3、如果不存在，则把传输原始数据以0.5MB为一个区间，分解成多个子数据，并为每一子数据为生成数据指纹，并查找数据指纹库是否已存在对应的数据指纹，如果存在则把数据标记好，再继续检查余下数据匹配的数据指纹；

步骤4、把所有有对应数据指纹的子数据压缩成数据指纹包，并将无对应数据指纹的子数据压缩成非数据指纹包；

步骤5、把传输原始数据生成数据指纹并存入A端服务器临时指纹库，也为一般传输的每个非数据指纹包产生数据指纹并存入A端服务器临时指纹库；

步骤6、通过多线程调度把数据指纹包及非数据指纹包，由A端服务器数据传输到B端服务器；

步骤7、B端服务器接收到数据后，当数据是指纹类型则从数据指纹库内提取数据，当数据是非指纹类型时,为数据包生成数据指纹并存入B端服务器临时指纹库。

步骤8、B端服务器接收完所有数据后还原整个数据。

步骤9、A端服器和B端服务器分别定时执行预测经常传送的数据，以0.5MB为一个区间统计数据指纹库和临时数据指纹库传输的数据。

步骤10、把出现传送超过3次并还未增加到数据指纹库和预测数据指纹库的最大数据包，定义为预测经常传送的数据，为这些数据生成数据指纹并存入预测数据指纹库。

步骤11、两边的服器分别定时执行较对预测数据指纹库(如A、B两端服务器)，定义由A端服务器发出较对请求。

步骤12、A服务器把A端预测数据指纹库指纹发到B端,B端接收要较对的数据指纹信息后,较对B端是否也存在相同的数据指纹。

步骤13、B端比较完成后,把数据指纹完全一样的再与A端经过多次握手确认把数据由预测数据指纹库存入到数据指纹库内。

基于上述方法实施例，本发明还提供一种基于互联网异地快速传输数据的实现系统。如图2所示，所述基于互联网异地快速传输数据的实现系统包括：

数据指纹库建立模块100，用于预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

数据压缩模块200，用于将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

数据解压模块300，用于第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

进一步的，在所述基于互联网异地快速传输数据的实现系统中，所述数据压缩模块200具体包括：

第一比对单元，用于将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

第一压缩单元，用于若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

第二压缩单元，用于若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

数据发送单元，用于将数据指纹包、及非数据指纹包传输至第二服务器。

进一步的，在所述基于互联网异地快速传输数据的实现系统中，所述第二压缩单元中还用于：将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

进一步的，在所述基于互联网异地快速传输数据的实现系统中，还包括：

两地指纹交互模块，用于按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

进一步的，在所述基于互联网异地快速传输数据的实现系统中，还包括：

预测数据指纹库数据添加模块，用于获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

预测数据指纹库比较模块，用于将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。

综上所述，本发明所提供的基于互联网异地快速传输数据的实现方法及系统，方法包括：预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。本发明将实现了数据压缩度更高，使传送的数据资料更少，从而大大提高了两地传数据的效率。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于互联网异地快速传输数据的实现方法，其特征在于，所述方法包括以下步骤：

A、预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

B、将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

C、第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

2.根据权利要求1所述基于互联网异地快速传输数据的实现方法，其特征在于，所述步骤B具体包括：

B1、将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

B2、若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

B3、若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

B4、将数据指纹包、及非数据指纹包传输至第二服务器。

3.根据权利要求2所述基于互联网异地快速传输数据的实现方法，其特征在于，所述步骤B3中还包括：

B31、将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

4.根据权利要求2所述基于互联网异地快速传输数据的实现方法，其特征在于，所述步骤C之后还包括：

D1、按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

5.根据权利要求4所述基于互联网异地快速传输数据的实现方法，其特征在于，所述步骤D1之后还包括：

D2、获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

D3、将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。

6.一种基于互联网异地快速传输数据的实现系统，其特征在于，包括：

数据指纹库建立模块，用于预先在待传输数据的第一服务器建立第一数据指纹库，在待接收数据的第二服务器中建立第二数据指纹库；其中第一数据指纹库和第二数据指纹库中均包括数据指纹，所述数据指纹包括设置的数据步进单位、原始数据MD5值、尾部附加防撞数据、附加防撞数据后的MD5值及数据存储信息；

数据压缩模块，用于将传输原始数据在第一服务器中与第一数据指纹库比对后，压缩成包括数据指纹包和非数据指纹包，并传输至第二服务器；

数据解压模块，用于第二服务器接收所述数据指纹包和非数据指纹包，根据所述第二数据指纹库对数据指纹包进行还原，并对非数据指纹包解压，得到传输原始数据。

7.根据权利要求6所述基于互联网异地快速传输数据的实现系统，其特征在于，所述数据压缩模块具体包括：

第一比对单元，用于将传输原始数据在第一服务器中与第一数据指纹库比对，判断第一数据指纹库中是否存在与传输原始数据相对应的数据指纹；

第一压缩单元，用于若第一数据指纹库中存在与传输原始数据相对应的数据指纹，则将传输原始数据所压缩得到的数据指纹包发送至第二服务器；

第二压缩单元，用于若第一数据指纹库中不存在与传输原始数据相对应的数据指纹，则将传输原始数据根据所述数据步进单位将传输原始数据划分为多个子数据，将与数据指纹库有对应数据指纹的子数据压缩成数据指纹包，并将与数据指纹库无对应数据指纹的子数据压缩成非数据指纹包；

数据发送单元，用于将数据指纹包、及非数据指纹包传输至第二服务器。

8.根据权利要求7所述基于互联网异地快速传输数据的实现系统，其特征在于，所述第二压缩单元中还用于：将传输原始数据所对应的数据指纹保存至第一临时指纹库，并将与数据指纹库无对应数据指纹的子数据所对应的数据指纹保存至第一临时指纹库。

9.根据权利要求7所述基于互联网异地快速传输数据的实现系统，其特征在于，还包括：

两地指纹交互模块，用于按预先设定的同步周期将第一数据指纹库与第二数据指纹库进行数据同步。

10.根据权利要求9所述基于互联网异地快速传输数据的实现系统，其特征在于，还包括：

预测数据指纹库数据添加模块，用于获取传输次数超过三次、且对应的数据指纹未添加至第一数据指纹库或第二数据指纹库的大概率传输数据，并将大概率传输数据对应的数据指纹添加至第一服务器中的第一预测数据指纹库或是添加至第二服务器中的第二预测数据指纹库；

预测数据指纹库比较模块，用于将第一预测数据指纹库中存储的指纹数据与第二预测指纹数据库存储的指纹数据进行比较，将第一预测数据指纹库与第二预测指纹数据库均存在的指纹数据添加至数据指纹库。