CN103701865A - 一种数据传输的方法及系统 - Google Patents
一种数据传输的方法及系统 Download PDFInfo
- Publication number
- CN103701865A CN103701865A CN201310660020.7A CN201310660020A CN103701865A CN 103701865 A CN103701865 A CN 103701865A CN 201310660020 A CN201310660020 A CN 201310660020A CN 103701865 A CN103701865 A CN 103701865A
- Authority
- CN
- China
- Prior art keywords
- deblocking
- information
- recipient
- receiving
- forecasting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明适用于云计算技术领域，提供了一种数据传输的方法及系统，所述方法包括：发送方向接收方发送数据分块；接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。通过本发明，可有效避免数据的重复发送，极大的减少数据的发送量，提高网络带宽的利用率。
Description
技术领域
本发明属于云计算技术领域，尤其涉及一种数据传输的方法及系统。
背景技术
随着云计算技术的迅速发展，基于网络应用的云计算服务消耗着大量的网络带宽，较低的网络带宽和不稳定网络带宽均会影响云端服务器的处理性能，进而影响云计算的发展。
现有网络带宽的消耗主要是由于数据传输造成的，尤其是大量重复数据（例如周期性备份归档、快照等）的传输，导致网络带宽资源紧缺。
发明内容
本发明实施例的目的在于提供一种数据传输的方法及系统，以减少数据的重复传输，提高网络带宽利用率。
本发明实施例是这样实现的，一种数据传输的方法，所述方法包括：
发送方向接收方发送数据分块；
接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
一种数据传输的方法，所述方法包括：
发送方向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
本发明实施例的另一目的在于提供一种数据传输的系统，所述系统包括：
发送方和接收方；
所述发送方，用于向接收方发送数据分块，并在接收到所述接收方发送的预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块；
所述接收方，用于在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息。
一种终端设备，所述终端设备包括：
数据发送单元，用于向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
处理单元，用于在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例接收方在接收到发送方发送的数据分块后，将根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，以使得所述发送方可以根据所述预测信息确定是否要发送下一个数据分块。通过本发明实施例可有效避免数据的重复发送，极大的减少数据的发送量，提高网络带宽的利用率和云端服务器的应用质量。而且，本发明实施例实现简单，对硬件要求低，可有效减低产品以及网络带宽成本，具有较强的易用性和实用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的数据传输系统的组成结构图；
图2是本发明第二实施例提供的数据传输方法的交互流程图；
图3是本发明第三实施例提供的数据传输方法的实现流程图；
图4是本发明第四实施例提供的终端设备的组成结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
实施例一：
图1示出了本发明实施例一提供的数据传输系统的组成结构，为了便于说明，仅示出了与本实施例相关的部分。
如图1所示，所述数据传输系统包括接收方1以及至少一个发送方2，述接收方1与发送方2通过网络连接通信。
其中，所述接收方1可以是单一的服务器，也可以为由几个功能服务器共同组成的服务器端。示例性的，本实施例所述接收方1可以为云端服务器。
所述发送方2可以是任意具有网络连接功能的终端设备，包括但不限于手机、平板电脑等。
在本实施例中，发送方2向接收方1发送数据分块。接收方1在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方2，所述预测信息包含所述下一个将接收到的数据分块的信息。
发送方2在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方1反馈确认信息，若不匹配，则向接收方1发送所述即将发送的数据分块。
作为本发明的一个较佳示例，为了有效减少数据的重复发送，本实施例所述接收方1在接收到所述数据分块后，获取所述数据分块的哈希值和指针，并判断所述接收方1已存储的数据分块中是否存在所述哈希值相同的数据分块，若存在，判断所述数据分块是否存在于某个数据链中，若存在，获取所述数据链中所述数据分块的指针指向的数据分块的哈希值和指针，并将所述指针指向的数据分块的哈希值和指针作为预测信息发送给所述发送方2。
进一步的，发送方2向接收方1发送数据分块之前，还包括：
发送方2将待发送的数据划分成多个数据分块（其中所述待发送数据的划分方式可以采用固定长度划分也可以采用可变长度划分），并计算每个数据分块的哈希值。发送方2在接收到来自接收方1的预测信息后，将所述预测信息与即将发送的数据分块的信息进行匹配，即将所述预测信息中的哈希值与即将发送的数据分块的哈希值进行匹配，如果匹配成功，将不发送所述将发送的数据分块，而仅仅反馈确认信息。由于所述预测信息以及确认信息的大小都远小于所述数据分块的大小，从而有效减少了数据的传输量。
实施例二：
图2示出了第一实施例提供的数据传输方法的交互流程，该方法可应用于图1所示的系统中，该方法过程详述如下：
在步骤S201中，发送方向接收方发送数据分块。
本实施例在发送方向接收方发送数据分块之前，还包括：
发送方将待发送的数据划分成多个数据分块（其中所述待发送数据的划分方式可以采用固定长度划分也可以采用可变长度划分），并计算每个数据分块的哈希值。本实施例每个数据分块都通过一个相应的元数据来描述，所述元数据包括两个部分，一个是数据分块的哈希值，另一个是数据分块的指针，用于指示待发送数据的下一个数据分块。
可选的，为了方便查找，同一数据的数据分块可以存储在同级目录下。
进一步，为了提高传输效率，节省流量，本实施例所述数据分块可以以压缩包的形式传输。
在步骤S202中，接收方根据所述数据分块预测下一个将接收到的数据分块。
作为本发明的一个较佳实施例，接收方在接收到所述数据分块后，获取所述数据分块的哈希值和指针，并判断所述接收方已存储的数据分块中是否存在所述哈希值相同的数据分块，若存在，判断所述数据分块是否存在于某个数据链中，若存在，获取所述数据链中所述数据分块的指针指向的数据分块的哈希值和指针，并将所述指针指向的数据分块的哈希值和指针作为预测信息发送给所述发送方。
在步骤S203中，接收方将预测信息发送给所述发送方。
在本实施例中，所述预测信息包含所述下一个将接收到的数据分块的信息。具体包括所述数据分块的哈希值和指针等。
在步骤S204中，发送方确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则执行步骤S205，否则执行步骤S206；
在步骤S205中，向所述接收方反馈确认信息；
在步骤S206中，向接收方发送所述即将发送的数据分块。
在本实施例中，发送方在接收到来自接收方的预测信息后，将所述预测信息与即将发送的数据分块的信息进行匹配，即将所述预测信息中的哈希值与即将发送的数据分块的哈希值进行匹配，如果匹配成功，将不发送所述将发送的数据分块，而仅仅反馈确认信息，如果匹配不成功，则不反馈信息，直接发送所述即将发送的数据分块。由于所述预测信息以及确认信息的大小都远小于所述数据分块的大小，从而有效减少了数据的传输量。
进一步的，本实施例所述接收方在接收到所述发送方反馈的确认信息后，接收方从本地数据中复制相应的数据分块（即所述将发送的数据分块）到新接收的数据缓存中。
通过本发明实施例可有效避免数据的重复发送，极大的减少数据的发送量，提高网络带宽的利用率和云端服务器的应用质量。
实施例三：
图3示出了第三实施例提供的数据传输方法的实现流程，该方法的执行主体于图1所示系统中的发送方2，该方法过程详述如下：
在步骤S301中，发送方向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息。
本实施例在发送方向接收方发送数据分块之前，还包括：
发送方将待发送的数据划分成多个数据分块（其中所述待发送数据的划分方式可以采用固定长度划分也可以采用可变长度划分），并计算每个数据分块的哈希值。本实施例每个数据分块都通过一个相应的元数据来描述，所述元数据包括两个部分，一个是数据分块的哈希值，另一个是数据分块的指针，用于指示待发送数据的下一个数据分块。
在步骤S302中，发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
本实施例的具体实施过程如实施例二所述，在此不再赘述。
实施例四：
图4示出了本发明第四实施例提供的终端设备的组成结构，为了便于说明，仅示出了与本发明实施例相关的部分。
该终端设备可以作为图1所示系统中的发送方2。
该终端设备包括数据发送单元41以及处理单元42。其中，各单元的具体功能如下：
数据发送单元41，用于向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
处理单元42，用于在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
进一步的，所述终端设备还包括：
数据划分单元43，用于向接收方发送数据分块之前，将待发送的数据划分成多个数据分块。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将所述终端设备的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。所述终端设备中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本发明实施例接收方在接收到发送方发送的数据分块后，将根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，以使得所述发送方可以根据所述预测信息确定是否要发送下一个数据分块。通过本发明实施例可有效避免数据的重复发送，极大的减少数据的发送量，提高网络带宽的利用率和云端服务器的应用质量。而且，本发明实施例实现简单，对硬件要求低，可有效减低产品以及网络带宽成本，具有较强的易用性和实用性。
本领域普通技术人员还可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以在存储于一计算机可读取存储介质中，所述的存储介质，包括ROM/RAM、磁盘、光盘等。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。
Claims (10)
1.一种数据传输的方法，其特征在于，所述方法包括：
发送方向接收方发送数据分块；
接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
2.如权利要求1所述的方法，其特征在于，发送方向接收方发送数据分块之前，还包括：
发送方将待发送的数据划分成多个数据分块。
3.如权利要求1或2所述的方法，其特征在于，所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息包括：
所述接收方在接收到所述数据分块后，获取所述数据分块的哈希值和指针，并判断所述接收方已存储的数据分块中是否存在所述哈希值相同的数据分块，若存在，判断所述数据分块是否存在于某个数据链中，若存在，获取所述数据链中所述数据分块的指针指向的数据分块的哈希值和指针，并将所述指针指向的数据分块的哈希值和指针作为预测信息发送给所述发送方。
4.一种数据传输的方法，其特征在于，所述方法包括：
发送方向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
发送方在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
5.如权利要求4所述的方法，其特征在于，发送方向接收方发送数据分块之前，还包括：
发送方将待发送的数据划分成多个数据分块。
6.一种数据传输的系统，其特征在于，所述系统包括：
发送方和接收方；
所述发送方，用于向接收方发送数据分块，并在接收到所述接收方发送的预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块；
所述接收方，用于在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息。
7.如权利要求6所述的系统，其特征在于，所述发送方还用于向接收方发送数据分块之前，将待发送的数据划分成多个数据分块。
8.如权利要求6或7所述的系统，其特征在于，所述接收方具体用于，
在接收到所述数据分块后，获取所述数据分块的哈希值和指针，并判断所述接收方已存储的数据分块中是否存在所述哈希值相同的数据分块，若存在，判断所述数据分块是否存在于某个数据链中，若存在，获取所述数据链中所述数据分块的指针指向的数据分块的哈希值和指针，并将所述指针指向的数据分块的哈希值和指针作为预测信息发送给所述发送方。
9.一种终端设备，其特征在于，所述终端设备包括：
数据发送单元，用于向接收方发送数据分块，以使得所述接收方在接收到所述数据分块后，根据所述数据分块预测下一个将接收到的数据分块，并将预测信息发送给所述发送方，所述预测信息包含所述下一个将接收到的数据分块的信息；
处理单元，用于在接收到所述预测信息后，确定所述预测信息中包含的所述下一个将接收到的数据分块的信息是否与即将发送的数据分块的信息相匹配，若匹配，则向所述接收方反馈确认信息，若不匹配，则向接收方发送所述即将发送的数据分块。
10.如权利要求9所述的终端设备，其特征在于，所述终端设备还包括：
数据划分单元，用于向接收方发送数据分块之前，将待发送的数据划分成多个数据分块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310660020.7A CN103701865A (zh) | 2013-12-06 | 2013-12-06 | 一种数据传输的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310660020.7A CN103701865A (zh) | 2013-12-06 | 2013-12-06 | 一种数据传输的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103701865A true CN103701865A (zh) | 2014-04-02 |
Family
ID=50363259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310660020.7A Pending CN103701865A (zh) | 2013-12-06 | 2013-12-06 | 一种数据传输的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103701865A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104731888A (zh) * | 2015-03-12 | 2015-06-24 | 北京奇虎科技有限公司 | 一种数据迁移的方法、装置和系统 |
| CN104796493A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种基于云计算的信息处理方法 |
| CN104794239A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种云平台数据处理方法 |
| WO2016107153A1 (zh) * | 2014-12-30 | 2016-07-07 | 中兴通讯股份有限公司 | 一种无线通信网络中数据传输方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932277A (zh) * | 2012-10-12 | 2013-02-13 | 深信服网络科技（深圳）有限公司 | 数据缓存方法及系统 |
-
2013
- 2013-12-06 CN CN201310660020.7A patent/CN103701865A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102932277A (zh) * | 2012-10-12 | 2013-02-13 | 深信服网络科技（深圳）有限公司 | 数据缓存方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016107153A1 (zh) * | 2014-12-30 | 2016-07-07 | 中兴通讯股份有限公司 | 一种无线通信网络中数据传输方法和装置 |
| US10887777B2 (en) | 2014-12-30 | 2021-01-05 | Zte Corporation | Method and device for data transmission in wireless communication network |
| CN104731888A (zh) * | 2015-03-12 | 2015-06-24 | 北京奇虎科技有限公司 | 一种数据迁移的方法、装置和系统 |
| CN104731888B (zh) * | 2015-03-12 | 2018-09-04 | 北京奇虎科技有限公司 | 一种数据迁移的方法、装置和系统 |
| CN104796493A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种基于云计算的信息处理方法 |
| CN104794239A (zh) * | 2015-05-08 | 2015-07-22 | 成都博元科技有限公司 | 一种云平台数据处理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102752283B (zh) | 大数据量文件的传输方法及系统 | |
| CN103812849A (zh) | 一种本地缓存更新方法、系统、客户端及服务器 | |
| CN104796337A (zh) | 一种转发报文的方法及装置 | |
| CN104125163A (zh) | 一种数据处理方法、装置及终端 | |
| CN103701865A (zh) | 一种数据传输的方法及系统 | |
| CN104615391A (zh) | 一种文件预览方法、装置及系统 | |
| CN104536965A (zh) | 一种大数据条件下的数据查询展示系统及方法 | |
| CN102571820A (zh) | 用于传输数据的方法、压缩服务器和终端 | |
| CN102882960B (zh) | 一种资源文件的发送方法及装置 | |
| WO2023098050A1 (zh) | 远程数据访问方法及装置 | |
| CN103037000A (zh) | 一种发布订阅系统及其通知消息处理方法 | |
| CN103269376A (zh) | 一种集中授权集中管理的企业网大文件传输系统及方法 | |
| CN103259818A (zh) | 分散式数据存取系统及方法 | |
| CN102065143A (zh) | 基于http的通信方法及系统、http服务器、http客户端 | |
| CN103731484B (zh) | 一种面向移动云计算的节能传输方法及中间件系统 | |
| CN104714832A (zh) | 一种用于机载数据网络异步数据交互区的缓冲管理方法 | |
| CN111404842A (zh) | 数据传输方法、装置及计算机存储介质 | |
| CN103929720A (zh) | 一种信息推送的方法、系统及信息发送端 | |
| CN107229424B (zh) | 一种分布式存储系统数据写入方法及分布式存储系统 | |
| CN102497306A (zh) | 一种配网子站实现数据传输的方法和系统 | |
| CN109586931A (zh) | 组播方法及终端设备 | |
| CN104580328A (zh) | 虚拟机迁移方法、装置及系统 | |
| CN104850548A (zh) | 一种实现大数据平台输入/输出处理的方法及系统 | |
| CN102110074A (zh) | 多核处理器及流分类控制装置和方法 | |
| CN105162837A (zh) | 海量数据存储环境下提升i/o吞吐率的方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20140402 |