CN110912969B - 一种文件高速传输源节点、目的节点装置及系统 - Google Patents

Abstract

本发明公开了一种文件高速传输源节点、目的节点装置及系统，在文件传输过程中，将文件分片传输，出错重传后成本低，并确保文件内容正确。所有的节点依次建立控制、数据通道连接，节点之间串联建立一个管道传输通道，每个节点在为自己下载文件的同时也在为下一节点传输数据，可以充分利用网络中每个节点的上下行带宽资源，在大批量传输大文件时，可以有效减少服务器压力，提高文件传输效率。

Description

一种文件高速传输源节点、目的节点装置及系统

技术领域

本发明涉及文件传输系统，具体涉及一种文件高速传输源节点、目的节点装置及系统。

背景技术

随着计算机技术的发展，网络的普及，网络传输带宽的提升。人们使用计算机的频率越来越高，产生的个人数据越来越多，数据量也越来越大。

现有的文件传输方法及系统，都是目标节点主动从源节点下载，导致源节点的磁盘文件读写压力、网络带宽压力特别大，在大批量分发时，很容易达到性能瓶颈，而目标节点的磁盘文件读写压力、网络带宽压力又非常小，无法发挥出网络带宽性能，文件分发效率特别低。

发明内容

本发明的目的在于提供一种文件高速传输源节点、目的节点装置及系统，用以解决现有技术中的文件传输系统存在的源节点读写压力大，导致文件分发效率低的问题。

为了实现上述任务，本发明采用以下技术方案：

一种文件高速传输系统，用于将待传输的文件从源节点发送至多个目的节点，所述的系统包括源节点以及多个目的节点，在所述的源节点中存储有第一计算机程序，在所述的每个目的节点中存储有第二计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

步骤2、将所述的节点传输序列发送给每个目的节点；

步骤3、对所述的待传输的文件进行分片，获得多个分片文件；

步骤4、将每个分片文件发送给所述的节点传输序列中的第一个目的节点；

所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收所述的节点传输序列，在所述的节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行步骤B，否则执行步骤C；

步骤B、接收分片文件，将所述的分片文件保存后按照下一个目的节点的地址将所述的分片文件转发给下一个目的节点；

步骤C、将所述的分片文件保存。

进一步地，所述的步骤1具体包括：

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中所述的网络参数包括网络带宽以及网络时延；所述的系统参数包括系统磁盘IO；

步骤1.2、根据所述的每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列。

进一步地，所述的步骤1.2中根据所述的每个目的节点的网络参数以及系统参数，采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值。

进一步地，所述的步骤3中对所述的待传输的文件进行均匀分片，获得多个大小相同的分片文件。

进一步地，对所述的待传输的文件进行均匀分片时，根据所述的待传输的文件的大小，确定分片文件的大小，具体包括：

当待传输的文件小于等于10M，则无需分片；

当待传输的文件小于等于1G，则每个分片文件为10MB；

当待传输的文件大于1G且小于等于10G，则每个分片文件为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片文件为100MB；

当待传输的文件大于50G，则每个分片文件为200MB。

一种文件高速传输源节点装置，在所述的装置中存储有第一计算机程序，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

步骤2、将所述的节点传输序列发送给每个目的节点；

步骤3、对所述的待传输的文件进行分片，获得多个分片文件；

步骤4、将每个分片文件发送给所述的节点传输序列中的第一个目的节点。

进一步地，所述的步骤1具体包括：

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中所述的网络参数包括网络带宽以及网络时延；所述的系统参数包括系统磁盘IO；

步骤1.2、根据所述的每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列。

进一步地，所述的步骤1.2中根据所述的每个目的节点的网络参数以及系统参数，采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值。

进一步地，所述的步骤3中对所述的待传输的文件进行均匀分片，获得多个大小相同的分片文件；

对所述的待传输的文件进行均匀分片时，根据所述的待传输的文件的大小，确定分片文件的大小，具体包括：

当待传输的文件小于等于10M，则无需分片；

当待传输的文件小于等于1G，则每个分片文件为10MB；

当待传输的文件大于1G且小于等于10G，则每个分片文件为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片文件为100MB；

当待传输的文件大于50G，则每个分片文件为200MB。

一种文件高速传输目的节点装置，在所述的每个目的节点中存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收所述的节点传输序列，在所述的节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行

步骤B，否则执行步骤C；

步骤B、接收分片文件，将所述的分片文件保存后按照下一个目的节点的地址将所述的分片文件转发给下一个目的节点；

步骤C、将所述的分片文件保存。

本发明与现有技术相比具有以下技术效果：

1、本发明提供的文件高速传输源节点、目的节点装置及系统通过获得节点传输序列建立文件传输通道，利用文件传输通道进行文件传输，可以充分的利用每个节点的上下行网络带宽，降低文件源节点压力，提高传输效率；

2、本发明提供的文件高速传输源节点、目的节点装置及系统利用每个目的节点的网络参数以及系统参数确定节点传输序列，能够尽快高效的将文件从源节点传输给多数目标节点，这些节点再给其他节点传输，从而降低文件源节点压力，提高传输效率；

3、本发明提供的文件高速传输源节点、目的节点装置及系统提供的分片方法，可以有效的平衡传输效率以及重传成本，从而降低文件源节点压力，提高传输效率。

附图说明

图1为现有技术中的文件传输方法示意图；

图2为本发明提供的文件传输方法示意图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。以便本领域的技术人员更好的理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

以下对本发明涉及的定义或概念内涵做以说明：

分片：文件内容按照指定大小进行分割后的片段；

网络带宽：网络设备在单位时间内能传输的数据量，如一秒钟可以传输多少字节；

网络时延：数据在网络传输介质中传输所用的时间，单位毫秒ms；

系统磁盘IO：磁盘在单位时间内能读取、写入的数据量。

实施例一

现有的文件传输方法如图1所示，源节点将文件分别直接发送给多个目的节点，这样的方法使得源节点同时输出的数据量大，很可能会造成网络堵塞，并且此时目的节点只是利用了下行通道接收文件，而上行通道一直处于闲置状态。

在本实施例中公开了一种文件高速传输系统，用于将待传输的文件从源节点发送至多个目的节点。

在本实施例中，源节点可以是服务器，目的节点可以是客户端。

在本发明中，文件为任何想要分发到其他大批量目标主机的文件，对于文件大小没有限制。

在本实施例中提供传输网络的主要思路为串联式传输，如图2所示，即将文件先发送至第一个目的节点，由第一个目的节点转发给第二个目的节点，一直串联转发下去直至达到最后一个目的节点。

本实施例提供的方法，按照以下步骤执行：

系统包括源节点以及多个目的节点，在源节点中存储有第一计算机程序，在每个目的节点中存储有第二计算机程序，其特征在于，第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

在本发明中，由于采用了串联传输的方式，因此需要确定节点的传输次序，在确定传输次序时，可以是直接按照目的节点与源节点之间的距离排序，也可以是按照目的节点的编号进行排序。

为了提高文件传输的效率，在本实施例中通过判断每个目的节点的网络状态，将网络状态较好的目的节点排在传输次序的前部，可选地，步骤1具体包括：

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中网络参数包括网络带宽以及网络时延；系统参数包括系统磁盘IO；

由于网络参数与系统参数与网络传输速率、文件写入性能紧密相关，直接影响了传输的效率，因此为了提高目的节点权值获得的准确性，在本实施例中，采用目的节点的网络参数以及系统参数为依据对目的节点进行排序。

在本实施例中，获得节点网络接口带宽采用以下方法实现：

在本实施例中，采用以下方法获得网络延时值：

在本实施例中，采用以下方法获得磁盘IO值：

#

dd if＝/dev/zero of＝/test_write.bin bs＝1M count＝1024

1073741824 bytes(1.1GB,1.0GiB)copied,7.8860

8s,136MB/s

#dd if＝/test_write.bin of＝/dev/null bs＝4k

1073741824 bytes(1.1GB,1.0GiB)copied,0.4017

8s,2.7GB/s

步骤1.2、根据每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

可选地，步骤1.2中根据每个目的节点的网络参数以及系统参数，采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值。

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列。

在本实施例中，如图2所示，节点传输序列为目的节点3、目的节点2、目的节点1、……、目的节点n、……、目的节点N。

步骤2、将节点传输序列发送给每个目的节点；

步骤3、对待传输的文件进行分片，获得多个分片文件；

在本实施例中，对待传输的文件进行分片，将源文件以特定大小为单位进行分片。

分片的方式还可实现为动态调整分片大小，但是会导致实现、运行更复杂。

可选地，步骤3中源节点对待传输的文件进行均匀分片，获得多个大小相同的分片。

为了提高算法的稳定性，从而提高数据传输的稳定性，采用均匀分。

可选地，源节点对待传输的文件进行均匀分片时，根据待传输的文件的大小，确定分片的大小，具体包括：

当待传输的文件小于等于1G，则每个分片为10MB；文件大小不够10MB时，则不需分片；

当待传输的文件大于1G且小于等于10G，则每个分片为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片为100MB；

当待传输的文件大于50G，则每个分片为200MB。

在本发明中，当分片选择过大，分片传输失败重传成本较高，对于大文件，分片选择过小，分片数量会特别多，大量小分片传输将会导致传输效率降低，在本实施例中提供的分片大小计算方法可以有效的平衡传输效率以及重传成本。

步骤4、将每个分片文件发送给节点传输序列中的第一个目的节点；

第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收节点传输序列，在节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行步骤B，否则执行步骤C；

步骤B、接收分片文件，将分片文件保存后按照下一个目的节点的地址将分片文件转发给下一个目的节点；

步骤C、将分片文件保存。

在本实施例中，在文件传输过程中，所有的节点连接成为一个“管道”，每一个节点接收上一个节点发送的文件，并可以在写入本地磁盘文件的同时直接转发给下一个节点。可以充分利用网络的上下行带宽资源。

如图2所示，目的节点3为入口节点，目的节点N为终止节点，源节点首先将数据发送给目的节点3，目的节点3将数据保存并转发给目的节点2，目的节点2再将数据保存并转发给目的节点1，目的节点1再将数据保存并转发给目的节点n，直至到达目的节点N。

在本实施例中，每个目的节点对分片后的数据进行压缩，并计算每个分片压缩后内容的CRC校验，将压缩后的数据和CRC校验值传输到分发任务计划中的当前目的节点的下一目的节点；下一目的节点在收到分片数据后，首先进行CRC校验，确保接收的分片内容正确，如果分片内容CRC校验失败，则向上一目的节点返回分片失败信息，上一节点进行分片重传，然后将数据解压写入到本地的目标文件；同时将接收到的分片传输到下一目的节点。每个目的节点都将接收到的数据发送给下一目的节点，直至分片抵达最后一个目的节点。

在本实施例中，计算文件分片CRC校验值时，采用以下方法实现：

另外，在本实施例中还提供了每个节点的分片确认方法，当两个节点之间的网络环境良好的时候，可以选择进行批量确认，即目标节点在连续收到多个包之后，通过一次确认消息，确认最近连续收到的多个分片内容。减少报文交互，提高传输效率。

传统的文件传输系统，都是所有目标节点从源节点(服务器节点)下载，导致源节点的磁盘文件读写压力、网络带宽占用非常大，并且整体性能存在瓶颈，最大为源节点的出口带宽。而目标节点的磁盘文件读写压力、网络带宽利用率又非常小，仅使用下行带宽，几乎可以忽略。衍生出来的P2P文件传输工具，虽然解决了源节点的单点压力，但因为要考虑功能的通用性，特别是互联网环境，所以其在传输算法上做了更多的处理，导致其无法发挥出网络带宽性能。

本发明通过在文件传输过程中，将文件分片传输，出错重传后成本低，并确保文件内容正确。所有的节点依次建立控制、数据通道连接，节点之间串联建立一个管道传输通道，每个节点在为自己下载文件的同时也在为下一节点传输数据，可以充分利用网络中每个节点的上下行带宽资源。在大批量传输大文件时，可以有效减少服务器压力，提高文件传输效率。

实施例二

在本实施例中提供了一种文件高速传输源节点装置，在装置中存储有第一计算机程序，第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

步骤2、将节点传输序列发送给每个目的节点；

步骤3、对待传输的文件进行分片，获得多个分片文件；

步骤4、将每个分片文件发送给节点传输序列中的第一个目的节点。

可选地，步骤1具体包括：

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中网络参数包括网络带宽以及网络时延；系统参数包括系统磁盘IO；

步骤1.2、根据每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列。

可选地，步骤1.2中根据每个目的节点的网络参数以及系统参数，采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值。

可选地，步骤3中对待传输的文件进行均匀分片，获得多个大小相同的分片文件；

对待传输的文件进行均匀分片时，根据待传输的文件的大小，确定分片文件的大小，具体包括：

当待传输的文件小于等于10M，则无需分片；

当待传输的文件小于等于1G，则每个分片文件为10MB；

当待传输的文件大于1G且小于等于10G，则每个分片文件为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片文件为100MB；

当待传输的文件大于50G，则每个分片文件为200MB。

实施例三

在本实施例中提供了一种文件高速传输目的节点装置，在每个目的节点中存储有第二计算机程序，第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收节点传输序列，在节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行步骤B，否则执行步骤C；

步骤B、接收分片文件，将分片文件保存后按照下一个目的节点的地址将分片文件转发给下一个目的节点；

步骤C、将分片文件保存。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

Claims (2)

1.一种文件高速传输系统，用于将待传输的文件从源节点发送至多个目的节点，所述的系统包括源节点以及多个目的节点，在所述的源节点中存储有第一计算机程序，在所述的每个目的节点中存储有第二计算机程序，其特征在于，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中所述的网络参数包括网络带宽以及网络时延；所述的系统参数包括系统磁盘IO；

步骤1.2、根据所述的每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I

其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值；

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列；

步骤2、将所述的节点传输序列发送给每个目的节点；

步骤3、对所述的待传输的文件进行分片，获得多个分片文件；

对所述的待传输的文件进行均匀分片，获得多个大小相同的分片文件；

对所述的待传输的文件进行均匀分片时，根据所述的待传输的文件的大小，确定分片文件的大小，具体包括：

当待传输的文件小于等于10M，则无需分片；

当待传输的文件小于等于1G，则每个分片文件为10MB；

当待传输的文件大于1G且小于等于10G，则每个分片文件为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片文件为100MB；

当待传输的文件大于50G，则每个分片文件为200MB；

步骤4、将每个分片文件发送给所述的节点传输序列中的第一个目的节点；

所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收所述的节点传输序列，在所述的节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行步骤B，否则执行步骤C；

步骤B、接收分片文件，将所述的分片文件保存后按照下一个目的节点的地址将所述的分片文件转发给下一个目的节点；

步骤C、将所述的分片文件保存；

所述待传输的文件在传输过程中，所有目的节点依次建立控制、数据通道连接，各目的节点之间串联建立一个管道传输通道，每个目的节点在为自己下载文件的同时也在为下一节点传输数据；

其中，每个目的节点都对分片后的数据进行压缩，并计算每个分片压缩后内容的CRC校验值，将压缩后的数据和CRC校验值传输到分发任务计划中的当前目的节点的下一目的节点；下一目的节点在收到分片数据后，首先进行CRC校验，确保接收的分片内容正确，如果分片内容CRC校验失败，则向上一目的节点返回分片失败信息，上一节点进行分片重传，然后将数据解压写入到本地的目标文件；同时将接收到的分片传输到下一目的节点。

2.一种文件高速传输源节点装置，在所述的装置中存储有第一计算机程序，其特征在于，所述的第一计算机程序在被处理器执行时实现以下步骤：

步骤1、对所有目的节点的数据传输顺序进行排序，获得节点传输序列；

步骤1.1、获得每个目的节点的网络参数以及系统参数，其中所述的网络参数包括网络带宽以及网络时延；所述的系统参数包括系统磁盘IO；

步骤1.2、根据所述的每个目的节点的网络参数以及系统参数，获得每个目的节点的权值；

采用式I获得每个目的节点的权值：

V＝(B-D)×10+IO×100   式I

其中，V表示目的节点的权值，B表示目的节点的网络带宽的数值，D表示目的节点的网络时延的数值，IO表示系统磁盘IO的数值；

步骤1.3、根据每个目的节点的权值大小，按照从大到小的顺序对所有目的节点进行排序，获得节点传输序列；

步骤2、将所述的节点传输序列发送给每个目的节点；

步骤3、对待传输的文件进行分片，获得多个分片文件；

步骤4、将每个分片文件发送给所述的节点传输序列中的第一个目的节点；

所述的待传输的文件进行均匀分片，获得多个大小相同的分片文件；

对所述的待传输的文件进行均匀分片时，根据所述的待传输的文件的大小，确定分片文件的大小，具体包括：

当待传输的文件小于等于10M，则无需分片；

当待传输的文件小于等于1G，则每个分片文件为10MB；

当待传输的文件大于1G且小于等于10G，则每个分片文件为20MB；

当待传输的文件大于10G且小于等于50G，则每个分片文件为100MB；

当待传输的文件大于50G，则每个分片文件为200MB；

所述文件高速传输目的节点装置还存储有第二计算机程序，所述的第二计算机程序在被处理器执行时实现以下步骤：

步骤A、接收所述的节点传输序列，在所述的节点传输序列中获得下一个目的节点的地址，若能获得到下一个目的节点的地址，执行步骤B，否则执行步骤C；

步骤B、接收分片文件，将所述的分片文件保存后按照下一个目的节点的地址将所述的分片文件转发给下一个目的节点；

步骤C、将所述的分片文件保存；

所述待传输的文件在传输过程中，所有目的节点依次建立控制、数据通道连接，各目的节点之间串联建立一个管道传输通道，每个目的节点在为自己下载文件的同时也在为下一节点传输数据；

其中，每个目的节点都对分片后的数据进行压缩，并计算每个分片压缩后内容的CRC校验值，将压缩后的数据和CRC校验值传输到分发任务计划中的当前目的节点的下一目的节点；下一目的节点在收到分片数据后，首先进行CRC校验，确保接收的分片内容正确，如果分片内容CRC校验失败，则向上一目的节点返回分片失败信息，上一节点进行分片重传，然后将数据解压写入到本地的目标文件；同时将接收到的分片传输到下一目的节点。

Images