CN105119994B - 一种文件传输方法及系统 - Google Patents

Abstract

本发明公开了一种文件传输方法，包括：在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；从所述未传输列表中去除所选取的节点编号；将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件。相应的，本发明还公开了一种文件传输系统。采用本发明实施例，能够提高集群中文件的传输效率。

Description

一种文件传输方法及系统

技术领域

本发明涉及计算机通讯与传输技术领域，尤其涉及一种文件传输方法及系统。

背景技术

当前社会人类的数据大爆炸，信息数据越来越多，人们对信息数据处理能力的要求也越来越高。在集群中，如何将文件快速传输给每个目的节点是需要解决的技术问题。

现有技术中，集群中的文件传输为线性传输。按照预设通信顺序从一个节点到相邻的另一个节点逐个进行文件传输，或者，源节点将文件逐个传输给不同节点，直至整个集群中的节点全部传输完成。但是，集群中的节点按照该方法传输文件，会导致节点等待时间长，传输效率低下。

发明内容

本发明实施例提出一种文件传输方法及系统，能够提高集群中文件的传输效率。

本发明实施例提供一种文件传输方法，包括：

在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

从所述未传输列表中去除所选取的节点编号；

将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件。

进一步地，所述在检测到待传输文件时，从未传输列表中随机选取一个节点编号，具体包括：

定时循环读取预设的传输标识；

若所述传输标识为真，则判定检测到待传输文件，从未传输列表中随机选取一个节点编号；

若所述传输标识为假，则判定未检测到待传输文件，继续等待读取传输标识。

进一步地，所述在检测到待传输文件时，从未传输列表中随机选取一个节点编号之后，还包括：

将所选取的节点编号添加到正在传输列表中；

在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号。

进一步地，所述文件传输方法还包括：

在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；

若未超过所述阈值，则等待所述待传输文件的循环检测。

进一步地，所述文件传输方法还包括：

实时检测所述未传输列表和所述正在传输列表中的变化信息；

将所述变化信息发送给所述集群中的其他节点，使所述其他节点根据所述变化信息更新其未传输列表和正在传输列表。

进一步地，所述文件传输方法还包括：

当检测到所述未传输列表和所述正在传输列表中均无节点编号时，结束所述集群中所述待传输文件的传输。

进一步地，所述在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号之前，还包括：

安装安全外壳协议SSH，并将公钥复制到所述集群的其他节点上；

获取并保存分配的节点编号。

相应的，本发明还提供一种文件传输系统，所述文件传输系统包括集群；所述集群中的每个节点均包括：

节点编号获取模块，用于在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

节点编号去除模块，用于从所述未传输列表中去除所选取的节点编号；以及，

发送模块，用于将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件。

进一步地，所述每个节点还包括：

节点编号添加模块，用于将所选取的节点编号添加到正在传输列表中；以及，

去除模块，用于在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号。

进一步地，所述每个节点还包括：

剩余带宽检测模块，用于在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

传输模块，用于若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；以及，

等待检测模块，用于若未超过所述阈值，则等待所述待传输文件的循环检测。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的文件传输方法及系统，能够设置未传输列表，将需要接受待传输文件的节点的节点编号存储其中，使每个具有待传输文件的节点均可从未传输列表中选取一个节点编号来进行传输，提高集群中的传输效率，并及时将已选取的待传输节点相应的节点编号从未传输列表中去除，避免重复传输。

而且，采用定时循环读取传输标识的方式来检测待传输文件，使待传输文件的检测自动化；采用多线程的传输方式，在向待传输的第一节点进行传输的过程中，检测剩余带宽，若剩余带宽超过预设的阈值，则继续向待传输的第二节点传输文件，既能有效防止大文件传输导致的网络堵塞，又能进一步提高传输效率。

附图说明

图1是本发明提供的文件传输方法的第一个实施例的流程示意图；

图2是本发明提供的文件传输方法的第二个实施例的流程示意图；

图3是本发明提供的文件传输系统的第一个实施例的结构示意图；

图4是本发明提供的文件传输系统的第二个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的文件传输方法的第一个实施例的流程示意图，包括：

S1、在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

S2、从所述未传输列表中去除所选取的节点编号；

S3、将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件。

文件传输时，每个节点均定时循环检测本节点中是否存在待传输文件，若不存在，则继续等待；若存在，在一个优选地实施方式中，则从未传输列表中随机选取一个节点编号，并将待传输文件发送给该节点编号相应的第一节点；在另一个优选地实施方式中，则随机生成一个节点编号，并判断该节点编号是否存在于未传输列表中，若存在于未传输列表中，则将待传输文件发送给该节点编号相应的第一节点，若不存在于未传输列表中，则重新生成一个节点编号，并继续判断该节点编号是否存在于未传输列表中。

本节点选取一个节点编号后，说明将向该节点编号相应的第一节点发送待传输文件，则需先将该节点编号从未传输列表中去除，以防止在发送过程中其他节点重复向该第一节点发送待传输文件。第一节点在接收到待传输文件后，本节点和第一节点均具有待传输文件，即本节点和第一节点均可检测到待传输文件，使其均作为分发节点，分别从未传输列表中选取一个节点编号，并继续对其他待传输的节点进行文件的传输，例如，本节点将待传输文件继续发送给待传输的第五节点，第一节点将待传输文件发送给待传输的第三节点，则本节点、第一节点、第五节点和第四节点上均可检测到待传输文件，使得本节点、第一节点、第五节点和第四节点分别继续向不同的待传输节点传输文件，直到所有节点上均具有待传输文件为止。在文件传输过程中，能够检测到待传输文件的节点，即分发节点由1个变为2个，再由2个变为4个，成指数增加，提高集群中文件传输的效率。

进一步地，所述在检测到待传输文件时，从未传输列表中随机选取一个节点编号，具体包括：

定时循环读取预设的传输标识；

若所述传输标识为真，则判定检测到待传输文件，从未传输列表中随机选取一个节点编号；

若所述传输标识为假，则判定未检测到待传输文件，继续等待读取传输标识。

需要说明的是，每个节点均定时循环读取本节点中的传输标识Flag，若传输标识Flag为真，则说明本节点具有待传输文件，可以向需要接受所述待传输文件的节点发送待传输文件；若传输标识Flag为假，则说明本节点不具有待传输文件，继续等待下一次传输标识Flag的读取。

另外，节点在不具有待传输文件时，预先设置其传输标识Flag为假，节点在接收到待传输文件时，将传输标识Flag由假修改为真。

进一步地，所述在检测到待传输文件时，从未传输列表中随机选取一个节点编号之后，还包括：

将所选取的节点编号添加到正在传输列表中；

在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号。

需要说明的是，在选取一个节点编号后，将该节点编号添加到正在传输列表中，并从未传输列表中去除该节点编号，以便及时记录集群中各个节点的传输状态。然后，向该节点编号相应的节点发送待传输文件，并在待传输文件成功发送到该节点编号相应的第一节点时，将该节点编号从正在传输列表中去除。

进一步地，所述文件传输方法还包括：

在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；

若未超过所述阈值，则等待所述待传输文件的循环检测。

需要说明的是，在本节点向第一节点传输文件的过程中，检测本节点上剩余网络带宽，若剩余网络带宽超过预设的阈值，则说明本节点网络带宽较空闲，可继续向另一个节点传输文件，本节点继续从未传输列表中选取一个节点编号，并将该节点编号从未传输列表中去除，向该节点编号相应的第二节点发送待传输文件；若剩余网络带宽未超过预设的阈值，则说明本节点网络带宽繁忙，等待第一节点的传输完成后，释放出空闲带宽，再进行下一个节点的传输。在本节点采用多线程的传输方式，既能有效防止大文件传输导致的网络堵塞，又能进一步提高传输效率。

进一步地，所述文件传输方法还包括：

实时检测所述未传输列表和所述正在传输列表中的变化信息；

将所述变化信息发送给所述集群中的其他节点，使所述其他节点根据所述变化信息更新其未传输列表和正在传输列表。

需要说明的是，每个节点上均包括未传输列表和正在传输列表，在每个节点上的未传输列表和正在传输列表中的节点编号发生变化时，将该变化信息发送给集群中的其他节点，使其他节点同步更新自己的未传输列表和正在传输列表，以防止其他节点对相同节点的重复传输。例如，本节点将待传输文件发送给第一节点，在第一节点向第三节点发送该待传输文件时，从第一节点的未传输列表中去除第三节点的节点编号，则第一节点的未传输列表发生变化。将该变化信息发送给包括本节点在内的集群中的其他节点，本节点在接收到该变化信息后，更新本节点上的未传输列表，使更新后的本节点的未传输列表不具有第三节点的编号，以防止本节点向第三节点重复传输所述待传输文件。

进一步地，所述文件传输方法还包括：

当检测到所述未传输列表和所述正在传输列表中均无节点编号时，结束所述集群中所述待传输文件的传输。

其中，当检测到未传输列表中没有节点编号时，则说明集群中没有待传输的节点，当进一步检测到正在传输列表中没有节点编号时，则说明集群中没有正在传输的节点，待传输文件均已发送成功，集群中的所有节点均已具有所述待传输文件，传输完毕。

进一步地，所述在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号之前，还包括：

安装安全外壳协议SSH，并将公钥复制到所述集群的其他节点上；

获取并保存分配的节点编号。

需要说明的是，在集群传输文件之前，需先对集群初始化，在集群中的每个节点上安装SSH(Secure Shell，安全外壳协议)，并将每个节点上的公钥Key复制到其他节点上，从而保证节点之间可以进行文件的无密码传输。然后，对每个节点进行编号，如集群中的节点编号为1到N。

参见图2，是本发明提供的文件传输方法的第二个实施例的流程示意图，包括：

S21、每个节点均定时循环自动判断预设的传输标识是否为对外发送待传输文件；若是，则执行步骤S22，若否，则继续等待；

S22、从未传输列表中随机选取一个节点编号；

S23、将所述节点编号加入正在传输列表中，并从所述未传输列表中去除所述节点编号；

S24、将所述待传输文件发送给所述节点编号相应的第一节点；

S25、传输成功后，将所述节点编号从所述正在传输列表中去除，并使所述第一节点将其传输标识修改为对外发送待传输文件；

S26、在所述未传输列表和正在传输列表中均无节点编号时，完成所述集群中所述待传输文件的传输。

本发明实施例提供的文件传输方法，能够设置未传输列表，将需要接受待传输文件的节点的节点编号存储其中，使每个具有待传输文件的节点均可从未传输列表中选取一个节点编号来进行传输，提高集群中的传输效率，并及时将已选取的待传输节点相应的节点编号从未传输列表中去除，避免重复传输；采用多线程的传输方式，在向待传输的第一节点进行传输的过程中，检测剩余带宽，若剩余带宽超过预设的阈值，则继续向待传输的第二节点传输文件，既能有效防止大文件传输导致的网络堵塞，又能进一步提高传输效率。

相应的，本发明还提供一种文件传输系统，能够实现上述实施例中的文件传输方法的所有流程。

参见图3，是本发明提供的文件传输系统的第一个实施例的结构示意图，所述文件传输系统包括集群；所述集群中的每个节点1均包括：

节点编号获取模块11，用于在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

节点编号去除模块12，用于从所述未传输列表中去除所选取的节点编号；以及，

发送模块13，用于将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件。

进一步地，所述节点编号获取模块11具体包括：

读取单元，用于定时循环读取预设的传输标识；

获取单元，用于若所述传输标识为真，则判定检测到待传输文件，从未传输列表中随机选取一个节点编号；以及，

等待单元，用于若所述传输标识为假，则判定未检测到待传输文件，继续等待读取传输标识。

进一步地，所述每个节点还包括：

节点编号添加模块，用于将所选取的节点编号添加到正在传输列表中；以及，

去除模块，用于在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号。

进一步地，所述每个节点还包括：

剩余带宽检测模块，用于在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

传输模块，用于若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；以及，

等待检测模块，用于若未超过所述阈值，则等待所述待传输文件的循环检测。

进一步地，所述每个节点还包括：

变化信息检测模块，用于实时检测所述未传输列表和所述正在传输列表中的变化信息；以及，

变化信息发送模块，用于将所述变化信息发送给所述集群中的其他节点，使所述其他节点根据所述变化信息更新其未传输列表和正在传输列表。

进一步地，所述每个节点还包括：

传输停止模块，用于当检测到所述未传输列表和所述正在传输列表中均无节点编号时，结束所述集群中所述待传输文件的传输。

参见图4，是本发明提供的文件传输系统的第二个实施例的结构示意图，所述文件传输系统包括n个节点，如节点1、节点2、节点3、节点4、节点5、……、节点n-1和节点n。其中，节点1为源节点，具有待传输文件。在文件传输时，节点1将待传输文件随机发送给节点3，则节点1和节点3变为源节点。然后，节点1将待传输文件随机发送给节点2，节点3将待传输文件随机发送给节点n-1，则节点1、节点2、节点3和节点n-1变为源节点。然后，节点1、节点2、节点3和节点n-1分别将待传输文件随机发送给其他未传输节点，直到集群中的每个节点均具有该待传输文件时结束。集群中的源节点成指数倍增加，提高集群中文件传输的效率。

本发明实施例提供的文件传输系统，能够设置未传输列表，将需要接受待传输文件的节点的节点编号存储其中，使每个具有待传输文件的节点均可从未传输列表中选取一个节点编号来进行传输，提高集群中的传输效率，并及时将已选取的待传输节点相应的节点编号从未传输列表中去除，避免重复传输；采用多线程的传输方式，在向待传输的第一节点进行传输的过程中，检测剩余带宽，若剩余带宽超过预设的阈值，则继续向待传输的第二节点传输文件，既能有效防止大文件传输导致的网络堵塞，又能进一步提高传输效率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种文件传输方法，其特征在于，包括：

在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

将所选取的节点编号添加到正在传输列表中；

在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号；

从所述未传输列表中去除所选取的节点编号；将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件；

在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；

若未超过所述阈值，则等待所述待传输文件的循环检测；

实时检测所述未传输列表和所述正在传输列表中的变化信息；

将所述变化信息发送给所述集群中的其他节点，使所述其他节点根据所述变化信息更新其未传输列表和正在传输列表；

当检测到所述未传输列表和所述正在传输列表中均无节点编号时，结束所述集群中所述待传输文件的传输。

2.如权利要求1所述的文件传输方法，其特征在于，所述在检测到待传输文件时，从未传输列表中随机选取一个节点编号，具体包括：

定时循环读取预设的传输标识；

若所述传输标识为真，则判定检测到待传输文件，从未传输列表中随机选取一个节点编号；

若所述传输标识为假，则判定未检测到待传输文件，继续等待读取传输标识。

3.如权利要求1所述的文件传输方法，其特征在于，所述在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号之前，还包括：

安装安全外壳协议SSH，并将公钥复制到所述集群的其他节点上；

获取并保存分配的节点编号。

4.一种文件传输系统，其特征在于，所述文件传输系统包括集群；所述集群中的每个节点均包括：

节点编号获取模块，用于在定时循环检测到待传输文件时，从未传输列表中随机选取一个节点编号；所述未传输列表记载了集群中需要接收所述待传输文件的节点的节点编号；

节点编号添加模块，用于将所选取的节点编号添加到正在传输列表中；以及，

去除模块，用于在所述待传输文件发送成功后，从所述正在传输列表中去除所述节点编号；

节点编号去除模块，用于从所述未传输列表中去除所选取的节点编号；以及，

发送模块，用于将所述待传输文件发送给所选取的节点编号相应的第一节点，使所述第一节点定时循环检测到所述待传输文件，并向需要接收所述待传输文件的第三节点发送所述待传输文件；

剩余带宽检测模块，用于在将所述待传输文件发送给所述第一节点时，检测剩余带宽是否超过预设的阈值；

传输模块，用于若超过所述阈值，则向需要接收所述待传输文件的第二节点传输所述待传输文件；以及，

等待检测模块，用于若未超过所述阈值，则等待所述待传输文件的循环检测；

变化信息检测模块，用于实时检测所述未传输列表和所述正在传输列表中的变化信息；以及，

变化信息发送模块，用于将所述变化信息发送给所述集群中的其他节点，使所述其他节点根据所述变化信息更新其未传输列表和正在传输列表；

传输停止模块，用于当检测到所述未传输列表和所述正在传输列表中均无节点编号时，结束所述集群中所述待传输文件的传输。