CN108337276A - 一种文件分发方法和系统 - Google Patents

Abstract

本发明公开了一种文件分发方法和系统。该方法包括：步骤1，中央调度服务器接收文件分发信息；步骤2，所述中央调度服务器根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；步骤3，所述中央调度服务器从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求，根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器，并将选择的节点服务器的信息通知该节点服务器。该方法和系统可以缩小带宽成本，加快文件的分发速度。

Description

一种文件分发方法和系统

技术领域

本发明涉及网络领域，尤其涉及一种文件分发方法和系统。

背景技术

在几千台甚至上万台服务器的环境下，对于配置升级、软件升级、文件更新、rpm包发布等应用场景，通常采用单一的发布节点(如scp/ftp/nfs方式)，由于C/S模式有主机的网卡流量以及并发数瓶颈，分发效率较低，特别是当进行大文件的发布时，下载服务器只有一台，往往需要多次分发才能成功，带宽成本消耗大，耗费时间长，系统的性能和可用性都得不到保障。

例如，在配置文件升级时，现有技术一般采用中心配管服务器向各节点下发文件更新任务，然后由各节点利用wget，salt等工具主动回源站拉取配置文件。现有技术存在如下缺点：

(1)单点模式受到机器负载和并发数瓶颈的限制，分发效率低，可靠性差；

(2)集中式的回源请求和下载需要耗费大量带宽，更新之后带宽基本处于空闲状态，这样形成有更新任务时带宽成为瓶颈，而更新之后造成带宽资源的浪费；

(3)当节点与中心配管服务器或源站之间的网络出现异常，就可能接收不到任务或下载不了文件。

因此，需要一种能够快速下载更新文件，且同时节省下载服务器的带宽的方法和系统。

发明内容

为了解决现有技术中存在的问题，提供了一种文件分发方法和系统，该方法和系统能够在快速下载更新文件的同时，节省下载服务器的带宽。

根据本发明的一个方面，提供了一种文件分发方法，所述方法包括：

步骤1，中央调度服务器接收文件分发信息；

步骤2，所述中央调度服务器根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

步骤3，所述中央调度服务器从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求，根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器，并将选择的节点服务器的信息通知该节点服务器。

其中，所述方法还包括：

在所述步骤3之前还执行：检测所述中央调度服务器与每个节点服务器之间的网络连接状态，如果所述中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器，并向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。

其中，所述中央调度服务器选择网络连接正常的一个或多个其他节点服务器时，选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

其中，所述中央调度服务器检测所述中央调度服务器与每个节点服务器之间的网络连接状态包括：

所述中央调度服务器周期地查询是否收到每个节点服务器发送的探测包，其中所述中央调度服务器的查询周期大于所述节点服务器的发送周期；

若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：所述中央调度服务器发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断所述中央调度服务器与该节点服务器之间的网络连接异常。

其中，所述步骤3还包括：

所述中央调度服务器根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。

根据本发明的另一方面，还提供了一种文件分发方法，所述方法包括：

步骤1，节点服务器接收中央调度服务器下发的更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

步骤2，所述节点服务器向所述中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的查询请求，并从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

步骤3，所述节点服务器从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，并下载更新文件。

其中，所述步骤1还包括：当所述中央调度服务器与该节点服务器之间的网络连接异常时，所述节点服务器通过与所述中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收所述中央调度服务器下发的更新任务；

所述步骤2还包括：当所述中央调度服务器与该节点服务器之间的网络连接异常时，所述节点服务器向所述一个或多个其他节点服务器发送将所述查询请求发送到所述中央调度服务器的指示。

其中，所述步骤3还包括：

当所述节点服务器从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。

其中，所述步骤3还包括：

所述节点服务器按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：

属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。

其中，所述方法还包括：

在所述步骤3后执行：所述节点服务器向所述中央调度服务器上报更新任务完成状态；

并且，所述步骤2中，所述节点服务器从所述中央调度服务器接收的与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息包括该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。

其中，所述方法还包括：

在所述步骤1之前执行：周期地向所述中央调度服务器发送探测包，发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期；

在所述步骤1之后执行：向所述中央调度服务器发送任务完成进度状态。

根据本发明的另一方面，还提供了一种文件分发系统，所述文件分发系统在中央调度服务器上实现，所述系统包括：

第一接收模块，接收文件分发信息；

第一发送模块，用于根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

第二接收模块，用于从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求；

服务器选择模块，用于根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器；

第二发送模块，用于将选择的节点服务器的信息通知该节点服务器。

其中，所述系统还包括：

检测模块，用于在所述第一发送模块向节点服务器发送更新任务后，检测所述中央调度服务器与每个节点服务器之间的网络连接状态；

所述服务器选择模块还用于：如果所述检测模块检测到所述中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器；

所述第二发送模块还用于：向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。

其中，所述服务器选择模块还用于：选择网络连接正常的一个或多个其他节点服务器时，选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

其中，所述检测模块还用于：

周期地查询是否收到每个节点服务器发送的探测包，其中查询周期大于所述节点服务器的发送周期；

若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：所述第一发送模块发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断所述中央调度服务器与该节点服务器之间的网络连接异常。

其中，所述服务器选择模块还用于：根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。

根据本发明的另一方面，还提供了一种文件分发系统，所述文件分发系统在节点服务器上实现，所述系统包括：

接收模块，用于接收中央调度服务器下发的更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址，以及在发送模块向所述中央调度服务器发送查询请求后，从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

所述发送模块，用于向所述中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的所述查询请求；

服务器选择模块，用于从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个；

下载模块，用于从所述服务器选择模块选择的服务器上下载更新文件。

其中，所述接收模块还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，通过与所述中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收所述中央调度服务器下发的更新任务；

所述发送模块还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，向所述一个或多个其他节点服务器发送将所述查询请求发送到所述中央调度服务器的指示。

其中，所述下载模块还用于：

当所述服务器选择模块从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。

其中，所述服务器选择模块还用于：

按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：

属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。

其中，所述发送模块还用于：在所述下载模块下载更新文件之后，向所述中央调度服务器上报更新任务完成状态；

所述接收模块还用于：从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息时，还从所述中央调度服务器接收该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。

其中，所述发送模块还用于：

在所述接收模块接收所述中央调度服务器下发的更新任务前，周期地向所述中央调度服务器发送探测包，发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期；

在所述接收模块接收所述中央调度服务器下发的更新任务后，向所述中央调度服务器发送任务完成进度状态。

本发明中的文件分发方法和系统中，节点服务器在下载更新文件时，优先从与其具有相同更新任务的其他节点服务器下载更新文件，具有以下有益效果：

(1)系统的网络传输与响应能力有大幅度提升，提高了文件，特别是大文件的分发速度；

(2)借助p4p机制降低源服务器的压力，减少回源带宽，缩减带宽成本；

(3)整体下载耗时减少，下载稳定性也更强；

(4)采取对小运营商的保护策略，确保小运营商也能顺利完成文件更新。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明的由中央调度服务器执行的文件分发方法的流程图；

图2是根据本发明的由节点服务器执行的文件分发方法的流程图；

图3是根据本发明的文件分发方法的具体实施例的示意图；

图4是根据本发明的在中央调度服务器上实现的文件分发系统的示意图；

图5是根据本发明的在节点服务器上实现的文件分发系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明提供了一种文件分发方法，该方法由中央调度服务器执行。如图1所示，该方法包括：

步骤101，中央调度服务器接收文件分发信息，其中中央调度服务器可以是从各种任务提交接口接收文件分发信息；

步骤102，中央调度服务器根据文件分发信息，向文件分发信息中包括的节点服务器发送更新任务，更新任务包括该节点服务器待更新的文件在源服务器上的下载地址；

步骤103，中央调度服务器从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求，根据文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器，并将选择的节点服务器的信息通知该节点服务器。

上述方法还包括：在步骤102和步骤103之间还执行：检测中央调度服务器与每个节点服务器之间的网络连接状态，如果中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器，并向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。即，当中央调度服务器与节点服务器之间的网络不通时，则通过其他节点服务器向该节点服务器转发更新任务。具体地，中央调度服务器选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

此处中央调度服务器检测中央调度服务器与每个节点服务器之间的网络连接状态包括：中央调度服务器周期地查询是否收到每个节点服务器发送的探测包，其中中央调度服务器的查询周期大于节点服务器的发送周期。若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：中央调度服务器发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断中央调度服务器与该节点服务器之间的网络连接异常。

中央调度服务器的查询周期大于节点服务器发送探测包的发送周期，而不是等于发送周期，是为了下述防止网络连接状态误判情况：中央调度服务器与节点服务器之间的网络连接正常，但是由于网络原因出现了丢包情况而使得中央调度服务器没有接收到节点服务器发送的探测包。为了防止这种情况，查询周期通常等于几倍的发送周期。例如发送周期为10分钟，查询周期为30分钟。

在步骤103中，所述中央调度服务器根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。这样，发出查询请求的节点服务器可以较快速、较稳定地与所选择的节点服务器建立连接。

需要说明的是，在开始执行上述步骤101之前，先将更新文件推送到源服务器上。更新文件一旦往源服务器推送，就可以开始进行文件分发的操作，而不必等待更新文件向源服务器推送完成后，再进行文件分发的操作。因为当更新文件较大时，如果等待更新文件向源服务器推送完成后再进行文件分发，则需要等待较长的时间。在实际实践中，往往在更新文件向源服务器推送完成后不久，甚至几乎同时，完成了文件分发的操作。

本发明还提供了一种文件分发方法，该方法由节点服务器执行。如图1所示，该方法包括：

步骤201，节点服务器接收中央调度服务器下发的更新任务，更新任务包括该节点服务器待更新的文件在源服务器上的下载地址；

步骤202，节点服务器向中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的查询请求，并从中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

步骤203，节点服务器从与该节点服务器具有相同更新任务的节点服务器中选择一个或多个，或者从源服务器和与该节点服务器具有相同更新任务的节点服务器中选择一个或多个，并下载更新文件。

步骤201还包括：当中央调度服务器与该节点服务器之间的网络连接异常时，节点服务器通过与中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收中央调度服务器下发的更新任务。此时，步骤202还包括：节点服务器向该一个或多个其他节点服务器发送将查询请求发送到中央调度服务器的指示。即，当中央调度服务器与该节点服务器之间的网络不通时，节点服务器通过其他节点服务器从中央调度服务器接收更新任务，并通过其他节点服务器将查询请求发送到中央调度服务器。

步骤203还包括：当节点服务器从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。节点服务器在分别从各服务器下载部分更新文件时，根据所选择的各节点服务器自身的下载进度，进行下载管理，然后将下载的各部分文件组合为完整的文件。

另外，节点服务器也可以只从源服务器和多个节点服务器中选择一个，即选择源服务器或一个节点服务器，进行更新文件的下载。

步骤203还包括：节点服务器按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。通常来说，节点服务器优选从其他节点服务器下载更新文件，即尽量避免从源服务器下载更新文件，以降低源服务器的带宽要求。

上述方法还包括：在步骤203之后执行：节点服务器向中央调度服务器上报更新任务完成状态。并且，步骤202中，节点服务器从中央调度服务器接收的与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息包括该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。需要说明的是，节点服务器在下载的过程中，也可以随时向中央调度服务器上报下载进度，即更新任务完成的状态。

另外，所述方法还包括：在步骤201之前执行：周期地向所述中央调度服务器发送探测包；在步骤201之后执行：向所述中央调度服务器发送任务完成进度状态。上述发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期。

节点服务器在向中央调度服务器发送探测包时，可以采用多协议传输的方式，以及多通道传输的方式，以使中央调度服务器探测准确率更高。例如，发送探测包时可以采用UDP协议加私有协议的方式，以防止用单一协议传输方式时，中央调度服务器接收不到探测包。其中，私有协议是指节点服务器和中央调度服务器之间约定的协议。

节点服务器可以从与其更新任务全部相同的节点服务器下载更新文件，也可以从与其更新任务部分相同的节点服务器下载更新文件。例如，节点服务器需要更新文件A和文件B，则可以从更新任务中包含文件A的其他节点服务器下载文件A，同时从更新任务中包含文件B的其他节点服务器下载文件B。在这种情况下，节点服务器在向中央调度服务器发送查询请求时，可以在第一查询请求中附加与待下载的文件A相关的标识符，在第二查询请求中附加与待下载的文件B相关的标识符。中央调度服务器在接收到包含该标识符的查询请求时，会将执行下载文件A的其他节点服务器的信息通知该节点服务器，然后将执行下载文件B的其他节点服务器的信息通知该节点服务器。

下面结合附图，详细描述根据本发明的文件分发方法的实施例。该文件分发方法由图3所示的系统执行。该系统中包括至少一台源服务器、中央调度服务器，以及例如1000台安装有文件分发客户端的节点服务器。

各服务器的说明如下：

源服务器用于：接收并存储更新文件并提供该更新文件的下载服务。

中央调度服务器用于：(1)接收文件分发任务及分发更新任务；(2)收集各节点服务器上报的任务执行状态；(3)根据节点服务器的查询请求向节点服务器反馈其他执行相同下载任务的节点服务器的任务执行状态。其中，反馈的节点服务器可以是根据一定的调度策略提供与发出查询请求的节点服务器关系较密切的部分节点服务器，如属于同机房、同地域、同节点、同运营商的节点服务器。如上述条件不满足，可以选择跨运营商或更高级别运营商的节点服务器，或者随机选择节点服务器。

节点服务器用于：(1)根据更新任务并遵循一定的优先策略从源服务器以及其他节点服务器中的一个或多个，分别下载部分更新文件，并将各部分更新文件组合成完整的更新文件；(2)定时向中央调度服务器上报下载进度、并在任务完成时上报已完成状态；(3)向中央调度服务器查询执行相同下载任务的其他节点服务器的任务执行状态。其中的优先策略可以是：节点服务器优先从同机房、同地域、同运营商的节点服务器拉取文件，再从跨机房、跨地域、跨运营商的节点服务器拉取文件，最终从源服务器拉取文件。另外，从源服务器下载是通过CDN网络到源服务器下载。

具体过程如下：

步骤S1：把更新文件推到源服务器上；

步骤S2：将更新文件在其上的下载地址以及更新文件的名称、大小、节点服务器列表封装成文件分发信息发送给中央调度服务器；

步骤S3：中央调度服务器对该文件分发信息进行解析，将各节点服务器的更新任务发送到相应的节点服务器；

在该步骤中，中央调度服务器在向节点服务器下发更新任务后，检测其与节点服务器之间的连接状态。例如，中央调度服务器检测到其与处于小运营商网络中的节点服务器N1之间的网络连接状态异常，则随机选择至少一台执行相同更新任务的节点服务器，例如节点服务器N100、N200、N300，指示选取的这些节点服务器向节点服务器N1转发更新任务。需要说明的是，中央调度服务器在选择进行转发更新任务的节点服务器时，可以选择与节点服务器N1具有不同更新任务的节点服务器，也可以选择具有相同更新任务的节点服务器。这是因为，中央调度服务器选择的节点服务器用于向节点服务器N1转发更新任务，因此中央调度服务器可以选择与节点服务器N1没有相同更新任务的其他节点服务器进行更新任务的转发。另外，中央调度服务器根据下面的优先策略来选择进行更新任务转发的节点服务器：优选属于同机房、同地域、同节点、同运营商的节点服务器；然后选择属于跨运营商、更高级别运营商的节点服务器。当然，中央调度服务器也可以随机选择进行更新任务转发的节点服务器。也就是说，在选择向节点服务器N1转发更新任务的节点服务器时，根据上述策略来进行选择。即使一节点服务器没有与N1相同的任务，但是该节点服务器与N1属于相同的机房，也会被优先选中。

此外，中央调度服务器检测其与节点服务器之间的连接状态可采用下述具体方案：节点服务器按一定周期，如10分钟一次，向中央调度服务器发探测包。发送探测包时可以采用UDP协议加私有协议的方式，这是因为在有些服务器禁UDP或TCP的情况下，采用这种多通道双协议传输的方式，其探测准确率更高。中央调度服务器按一定周期，如每隔半小时，查询是否收到节点服务器发送的探测包。这里，中央调度服务器的查询周期大于节点服务器发送探测包的发送周期。当中央调度服务器在节点服务器发送多次探测包，例如3次后，仍没有收到节点服务器N1发送的探测包，则判断节点服务器N1为假死(例如，将其状态码置为-1)。中央调度服务器在向各节点服务器发送更新任务后，从所有其他节点服务器收到了任何响应包(如任务完成进度状态)，但是仍没有从节点服务器N1收到任何响应包(如任务完成进度状态)，并且中央调度服务器扫描到节点服务器N1状态码是-1，判断为真死，即与节点服务器N1之间的网络连接异常。上述情况中，中央调度服务器没有等到发送更新任务后达到设定时间段，即判断与节点服务器N1之间的网络连接异常，当然也可以等待达到设定时间段，仍没有从节点服务器N1收到任务完成进度状态，再判断与其的网络连接异常。上述判断中央调度服务器与节点服务器之间的网络连接状态的方式，采用双向判断的方式，提高了判断的准确性。

步骤S4：节点服务器N1接收到更新任务后，向中央调度服务器发送查询请求，查询与其具有相同更新任务的节点服务器；

该步骤中，如果节点服务器N1与中央调度服务器之间的网络连接状态异常，则通过节点服务器N100、N200、N300向中央调度服务器转发查询请求。

步骤S5：中央调度服务器选择与节点服务器N1具有相同更新任务的节点服务器N100、N200、N300，...，N900，N1000，并将这些节点服务器的信息通知节点服务器N1。

步骤S6：节点服务器N1从中央调度服务器接收到与其更新任务相同的节点服务器N100、N200、N300，...，N900，N1000的信息后，根据同属于相同机房的选择策略，选择节点服务器N500、N600、N700，通过与节点服务器N500、N600、N700之间的私有协议，从其下载更新文件，并将分别下载的更新文件组合成完整的更新文件；

在该步骤中，节点服务器N1在从其他节点服务器下载更新文件时，也可以同时从源服务器下载更新文件。但是为了降低源服务器的带宽成本，节点服务器N1优先选择从与其具有相同更新任务的节点服务器下载更新文件。

步骤S7：下载完成后，节点服务器N1向中央调度服务器上报更新完成状态。

在该步骤中，如果节点服务器N1此时与中央调度服务器之间的网络连接状态仍为异常，则可从节点服务器N100、N200、N300，...，N900，N1000中选择一个或多个，来向中央调度服务器上报更新任务完成状态。

在节点服务器N1从各服务器(包括其他节点服务器或源服务器)下载更新文件时，可以根据根据各服务器已下载的进度进行下载管理

本发明还提供了一种文件分发系统，该系统在中央调度服务器上实现，如图4所示，该系统包括：

第一接收模块401，用于接收文件分发信息；

第一发送模块402，用于根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

第二接收模块403，用于从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求；

服务器选择模块404，用于根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器；

第二发送模块405，用于将选择的节点服务器的信息通知该节点服务器。

所述系统还包括：检测模块，用于在所述第一发送模块401向节点服务器发送更新任务后，检测所述中央调度服务器与每个节点服务器之间的网络连接状态；

所述服务器选择模块404还用于：如果所述检测模块检测到所述中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器；

所述第二发送模块405还用于：向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。

所述服务器选择模块404还用于：选择网络连接正常的一个或多个其他节点服务器时，选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

所述检测模块还用于：

周期地查询是否收到每个节点服务器发送的探测包，其中查询周期大于所述节点服务器的发送周期；

若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：所述第一发送模块发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断所述中央调度服务器与该节点服务器之间的网络连接异常。

所述服务器选择模块404还用于：根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。

本发明还提供了一种文件分发系统，该系统在节点服务器上实现，如图5所示，该系统包括：

接收模块501，用于接收中央调度服务器下发的更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址，以及在发送模块502向所述中央调度服务器发送查询请求后，从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

所述发送模块502，用于向所述中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的所述查询请求；

服务器选择模块503，用于从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个；

下载模块504，用于从所述服务器选择模块选择的服务器上下载更新文件。

所述接收模块501还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，通过与所述中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收所述中央调度服务器下发的更新任务；

所述发送模块502还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，向所述一个或多个其他节点服务器发送将所述查询请求发送到所述中央调度服务器的指示。

所述下载模块504还用于：当所述服务器选择模块503从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。

所述服务器选择模块503还用于：按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：

属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。

所述发送模块502还用于：在所述下载模块下载更新文件之后，向所述中央调度服务器上报更新任务完成状态；

所述接收模块501还用于：从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息时，还从所述中央调度服务器接收该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。

所述发送模块还502用于：

在所述接收模块接收所述中央调度服务器下发的更新任务前，周期地向所述中央调度服务器发送探测包，上述发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期；

在所述接收模块接收所述中央调度服务器下发的更新任务后，向所述中央调度服务器发送任务完成进度状态。

本发明中的文件分发方法和系统中，节点服务器在下载更新文件时，优先从与其具有相同更新任务的其他节点服务器下载更新文件，具有以下有益效果：

(1)系统的网络传输与响应能力有大幅度提升，提高了文件，特别是大文件的分发速度；

(2)借助p4p机制降低源服务器的压力，减少回源带宽，缩减带宽成本；

(3)整体下载耗时减少，下载稳定性也更强；

(4)采取对小运营商的保护策略，确保小运营商也能顺利完成文件更新。

上面描述的内容可以单独地或者以各种方式组合起来实施，而这些变型方式都在本发明的保护范围之内。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案而非限制，仅仅参照较佳实施例对本发明进行了详细说明。本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (22)

1.一种文件分发方法，其特征在于，所述方法包括：

步骤1，中央调度服务器接收文件分发信息；

步骤2，所述中央调度服务器根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

步骤3，所述中央调度服务器从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求，根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器，并将选择的节点服务器的信息通知该节点服务器。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述步骤3之前还执行：检测所述中央调度服务器与每个节点服务器之间的网络连接状态，如果所述中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器，并向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。

3.如权利要求2所述的方法，其特征在于，

所述中央调度服务器选择网络连接正常的一个或多个其他节点服务器时，选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

4.如权利要求2所述的方法，其特征在于，所述中央调度服务器检测所述中央调度服务器与每个节点服务器之间的网络连接状态包括：

所述中央调度服务器周期地查询是否收到每个节点服务器发送的探测包，其中所述中央调度服务器的查询周期大于所述节点服务器的发送周期；

若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：所述中央调度服务器发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断所述中央调度服务器与该节点服务器之间的网络连接异常。

5.如权利要求1-3中任一项所述的方法，其特征在于，所述步骤3还包括：

所述中央调度服务器根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。

6.一种文件分发方法，其特征在于，所述方法包括：

步骤1，节点服务器接收中央调度服务器下发的更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

步骤2，所述节点服务器向所述中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的查询请求，并从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

步骤3，所述节点服务器从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，并下载更新文件。

7.如权利要求6所述的方法，其特征在于，

所述步骤1还包括：当所述中央调度服务器与该节点服务器之间的网络连接异常时，所述节点服务器通过与所述中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收所述中央调度服务器下发的更新任务；

所述步骤2还包括：当所述中央调度服务器与该节点服务器之间的网络连接异常时，所述节点服务器向所述一个或多个其他节点服务器发送将所述查询请求发送到所述中央调度服务器的指示。

8.如权利要求6所述的方法，其特征在于，所述步骤3还包括：

当所述节点服务器从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。

9.如权利要求6所述的方法，其特征在于，所述步骤3还包括：

所述节点服务器按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：

属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。

10.如权利要求6所述的方法，其特征在于，所述方法还包括：

在所述步骤3后执行：所述节点服务器向所述中央调度服务器上报更新任务完成状态；

并且，所述步骤2中，所述节点服务器从所述中央调度服务器接收的与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息包括该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。

11.如权利要求6所述的方法，其特征在于，所述方法还包括：

在所述步骤1之前执行：周期地向所述中央调度服务器发送探测包，发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期；

在所述步骤1之后执行：向所述中央调度服务器发送任务完成进度状态。

12.一种文件分发系统，其特征在于，所述文件分发系统在中央调度服务器上实现，所述系统包括：

第一接收模块，接收文件分发信息；

第一发送模块，用于根据所述文件分发信息，向所述文件分发信息中包括的节点服务器发送更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址；

第二接收模块，用于从节点服务器接收查询具有全部相同或部分相同更新任务的节点服务器的查询请求；

服务器选择模块，用于根据所述文件分发信息选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器；

第二发送模块，用于将选择的节点服务器的信息通知该节点服务器。

13.如权利要求12所述的系统，其特征在于，所述系统还包括：

检测模块，用于在所述第一发送模块向节点服务器发送更新任务后，检测所述中央调度服务器与每个节点服务器之间的网络连接状态；

所述服务器选择模块还用于：如果所述检测模块检测到所述中央调度服务器与一节点服务器之间的网络连接异常，则选择网络连接正常的一个或多个其他节点服务器；

所述第二发送模块还用于：向该一个或多个其他节点服务器发送向该网络连接异常的节点服务器转发更新任务的指示。

14.如权利要求13所述的系统，其特征在于，

所述服务器选择模块还用于：选择网络连接正常的一个或多个其他节点服务器时，选择与该节点服务器具有全部相同或部分相同更新任务的一个或多个其他节点服务器。

15.如权利要求13所述的系统，其特征在于，所述检测模块还用于：

周期地查询是否收到每个节点服务器发送的探测包，其中查询周期大于所述节点服务器的发送周期；

若对于一节点服务器的查询结果是没有收到探测包，则在下述条件满足一个或两个的情况下判断是否收到该节点服务器发送的任务完成进度状态：所述第一发送模块发送更新任务后经过设定的时间段、从所有其他节点服务器接收到任务完成进度状态，若判断结果是没有收到该节点服务器发送的任务完成进度状态，则判断所述中央调度服务器与该节点服务器之间的网络连接异常。

16.如权利要求12所述的系统，其特征在于，

所述服务器选择模块还用于：根据下述原则中的一个或多个选择与该节点服务器具有全部相同或部分相同更新任务的节点服务器：待选择的节点服务器与发出查询请求的节点服务器属于同机房，或者属于同地域，或者属于同节点，或者属于同运营商。

17.一种文件分发系统，其特征在于，所述文件分发系统在节点服务器上实现，所述系统包括：

接收模块，用于接收中央调度服务器下发的更新任务，所述更新任务包括该节点服务器待更新的文件在所述源服务器上的下载地址，以及在发送模块向所述中央调度服务器发送查询请求后，从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息；

所述发送模块，用于向所述中央调度服务器发送查询与该节点服务器具有全部相同或部分相同更新任务的所述查询请求；

服务器选择模块，用于从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个；

下载模块，用于从所述服务器选择模块选择的服务器上下载更新文件。

18.如权利要求17所述的系统，其特征在于，

所述接收模块还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，通过与所述中央调度服务器之间的网络连接正常的一个或多个其他节点服务器接收所述中央调度服务器下发的更新任务；

所述发送模块还用于：当所述中央调度服务器与该节点服务器之间的网络连接异常时，向所述一个或多个其他节点服务器发送将所述查询请求发送到所述中央调度服务器的指示。

19.如权利要求17所述的系统，其特征在于，所述下载模块还用于：

当所述服务器选择模块从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择多个时，分别从所选择的各服务器下载部分更新文件，并组合下载的各部分更新文件。

20.如权利要求17所述的系统，其特征在于，所述服务器选择模块还用于：

按照下述顺序，从与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个，或者从所述源服务器和与该节点服务器具有全部相同或部分相同更新任务的节点服务器中选择一个或多个：

属于同机房的节点服务器、属于同地域的节点服务器、属于同节点的节点服务器、属于同运营商的节点服务器、源服务器。

21.如权利要求17所述的系统，其特征在于，

所述发送模块还用于：在所述下载模块下载更新文件之后，向所述中央调度服务器上报更新任务完成状态；

所述接收模块还用于：从所述中央调度服务器接收与该节点服务器具有全部相同或部分相同更新任务的节点服务器的信息时，还从所述中央调度服务器接收该具有全部相同或部分相同更新任务的节点服务器的更新任务完成状态。

22.如权利要求17所述的系统，其特征在于，所述发送模块还用于：

在所述接收模块接收所述中央调度服务器下发的更新任务前，周期地向所述中央调度服务器发送探测包，发送周期小于所述中央调度服务器查询是否收到所述探测包的查询周期；

在所述接收模块接收所述中央调度服务器下发的更新任务后，向所述中央调度服务器发送任务完成进度状态。