CN101977236A - 大文件多点分发系统 - Google Patents

Abstract

本申请公开了一种大文件多点分发系统，包括：客户端、中心服务器、上传服务器及若干任务处理服务器；当客户端需要上传文件时，客户端向中心服务器发送文件上传请求，中心服务器接收到上传请求后，为客户端确定目标任务处理服务器，客户端将需要上传的文件通过上传服务器上传至中心服务器或目标任务处理服务器；当客户端需要下载文件时，客户端向中心服务器发送文件下载请求，中心服务器接收到下载请求后，分发下载任务至任务处理服务器，中心服务器或任务处理服务器将客户端需要下载的文件发送至客户端；有效避免了文件只能从中心服务器下载或上传导致中心服务器性能降低或死机的问题。

Description

大文件多点分发系统

技术领域

本申请涉及计算机技术领域，特别是涉及一种大文件多点分发系统。

背景技术

文件分发是CDN服务提供商的业务与运营支撑系统必备的支持系统之一。传统的文件分发方式为，以单个设备为中心，将文件分发到多个设备上，通常采用的传输协议有HTTP协议、FTP协议等。

这种传统的传输方式，在大量文件需要分发的情况下，因为所有机器都要从中心设备下载或同步文件，例如：全网有100台设备需要分发文件，共有100个文件需要分发，每个文件100MB，那么中心设备所需要盛载的压力是100*100的并发量，并持续100MB/(总带宽/设备数/并发文件数)的时间。

可见传统的文件分发方式，仅仅从单个中心设备处分发文件，会迅速增大中心设备的负载，最终导致该中心设备服务性能降低，甚至死机。

发明内容

为解决上述技术问题，本申请实施例提供一种大文件多点分发系统，客户端可以从中心服务器或任务处理服务器进行文件的下载或上传，避免了文件只能从中心服务器下载或上传导致中心服务器性能降低或死机的问题。

技术方案如下：

一种大文件多点分发系统，包括：客户端、中心服务器、上传服务器及若干任务处理服务器；

当客户端需要上传文件时，客户端向中心服务器发送文件上传请求，中心服务器接收到所述上传请求后，为所述客户端确定目标任务处理服务器，所述客户端将需要上传的文件通过上传服务器上传至所述中心服务器或目标任务处理服务器；

当客户端需要下载文件时，客户端向中心服务器发送文件下载请求，中心服务器接收到所述下载请求后，分发下载任务至所述任务处理服务器，所述中心服务器或任务处理服务器将所述客户端需要下载的文件发送至客户端。

上述的系统，优选的，所述客户端上传文件至所述任务处理服务器或从所述任务处理服务器下载文件的过程中，文件以分片传输的方式进行传输。

上述的系统，优选的，所述任务处理服务器包括任务接收模块、任务处理模块和任务反馈模块；

所述任务接收模块用于接收中心服务器发送的文件任务；

所述任务处理模块用于对所述任务接收模块接收的文件任务进行处理，接收所述客户端上传的文件或发送所述客户端需要的文件至所述客户端；

所述任务反馈模块用于将所述任务处理模块对文件任务的处理结果反馈至所述中心服务器。

上述的系统，优选的，所述任务处理模块接收所述客户端上传的文件或发送所述客户端需要的文件至所述客户端的过程中，文件传输采用P2P形式传送。

上述的系统，优选的，所述文件传输过程中，若P2P形式传输效率低或无法传送，客户端向中心服务器请求申请http协议或UDT协议进行传输。

上述的系统，优选的，在文件传输过程中，若文件传输在同一网络下传输，采用P2P形式传输；若文件传输在不同网络下传输，采用UDT协议进行传输。

上述的系统，优选的，在文件传输过程中，中心服务器可根据任务处理服务器的地址确定距离所述中心服务器最近的任务处理服务器。

上述的系统，优选的，所述上传服务器包括上传管理模块；

所述上传管理模块以动态探索链路协议为基础，对上传文件进行分块管理。

由以上本申请实施例提供的技术方案可见，本发明提供的大文件多点分发系统，客户端上传或下载文件时，中心服务器会对任务处理服务器进行目标确定或分发任务，任务处理服务器接收用户上传的文件，或将用户需要下载的文件下发到客户端，由于任务处理服务器的加入，很大程度上缓解了中心服务器的工作压力，提高了整个系统的服务性能，并且避免了所有文件的处理都经过中心服务器，最终导致中心服务器服务性能降低，甚至死机的现象。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的大文件多点分发系统的结构示意图；

图2为本申请实施例提供的任务处理服务器的结构示意图；

图3为本申请实施例提供的大文件多点分发系统的连接关系图；

图4为本申请实施例提供的大文件多点分发系统的一详细结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案。下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例提供的大文件多点分发系统的结构示意图如图1所示，包括：客户端101、中心服务器102、上传服务器103和若干任务处理服务器104；

当客户端101需要上传文件时，客户端向中心服务器102发送文件上传请求，中心服务器102接收到上传请求后，为客户端101确定目标任务处理服务器，客户端101将需要上传的文件通过上传服务器103上传至所述中心服务器102或目标任务处理服务器；

当客户端101需要下载文件时，客户端101向中心服务器102发送文件下载请求，中心服务器102接收到下载请求后，分发下载任务至任务处理服务器104，中心服务器102或任务处理服务器104将客户端需要下载的文件发送至客户端101。

需要说明的是：中心服务器是系统的核心，负责管理整个系统的文件任务，上传任务和下载任务，将文件下达至任务处理服务器，实现多线程下对文件的多线程上传或下载；

客户端和中心服务器的交互包括：客户端向中心服务器查询任务状态、中心服务器反馈任务状态至客户端、客户端向中心服务器请求API或获得状态报告。

本申请实施例提供的文件多点分发系统中，客户端上传文件至任务处理服务器或从所述任务处理服务器下载文件的过程中，文件以分片传输的方式进行传输；

在传输过程中，上传服务器通过动态计算获得最优链路设备进行文件上传，在数据文件上传成功后，会同时上传一个任务文件，任务处理服务器扫描到有新的任务文件上传时，通知中心服务器生成文件任务即生成任务接口；将文件以分片传输的形式进行传输。

本申请实施例提供的任务处理服务器的结构示意图如图2所示，包括：任务接收模块201、任务处理模块202和任务反馈模块203；

其中：任务接收模块201用于接收中心服务器发送的文件任务；

任务处理模块用于对任务接收模块201接收的文件任务进行处理，接收客户端上传的文件或发送客户端需要的文件至客户端；

任务反馈模块203用于将任务处理模块对文件任务的处理结果反馈至中心服务器。

需要说明的是：任务接收模块从中心服务器接收到任务后，将其序列化到本地服务器进行保存；

任务反馈模块使用http协议，将操作成功或失败的任务反馈给中心服务器；

文件传输时，系统默认采用分片P2P传输对文件进行传输，有效提高传输效率；本申请实施例提供的大文件多点分发系统的连接关系图如图3所示，中心服务器与任务处理服务器之间采用P2P方式进行连接；

同步的所有任务处理服务器为一个共享组，当一个文件在该共享组内的一台任务处理服务器上存在了，所有任务处理服务器开始对文件进行同步，每个任务处理服务器从已经存在该文件的任务处理服务器上获取一部分文件，取文件的同时并将自己获得的文件共享给其它组内任务处理服务器使用，这样中心服务器在传输一个文件的过程中所耗费的流量大大降低，一般情况下中心服务器在向组内共享1～2份文件即可退出传输，组内所有设备会先后从其它设备处获取文件，最终形成整个文件。

这样中心服务器的压力会随之减少，因为所有的同步文件的任务处理服务器都会分享自己的一部分内容给其它任务处理服务器，所以不是所有的任务处理服务器都会从中心服务器获取文件；采用P2P形式进行传输，避免了单台服务器到中心服务器链路不正常导致的整体速度降低的情况。

图3中中心服务器还主要负责告诉每个需要同步文件的任务处理服务器哪里有该任务处理服务器需要的文件。

中心服务器是整个P2P传输的控制中心，中心服务器存储了所有任务处理服务器的文件信息以及持有量的信息；中心服务器会根据所有任务处理服务器的IP地址，分析出哪些任务处理服务器时最近的，并将这些信息通知需要获取文件的任务处理服务器；该任务处理服务器获取到同一网段的任务处理服务器存在自己需要的信息后，会尝试询问被下载的任务处理服务器的内网IP，如果可以成功使用IP进行传输，那么任务处理服务器会优先选择内网IP，此功能将大量降低同局域网内任务处理服务器之间传输文件所消耗的外网带宽资源。

同时需要得到文件的任务处理服务器在不通过中心服务器的情况下依然可以进行内网任务处理服务器寻找。该任务处理服务器会使用内网IP向内网进行广播，并告知自己所需要的文件的hash编码，当有其它任务处理服务器受到消息并判断自己存在此文件时，将回应该任务处理服务器，该任务处理服务器可以顺利通过内网进行文件传输，从而有效的降低中心服务器的服务压力。

本申请实施例提供的文件多点分发系统，采用跨网使用传统方式同步，同网使用P2P形式同步的方式，系统会在文件要同步的时候首先对需要同步的任务处理服务器进行运营商区分，动态的获得跨网传输路由最好的线路进行跨网文件传输，一般采用UDT协议进行传输，因为UDT协议在网络状况不好的情况下相对于TCP而言可有效的提高传输效率，当某个运营商的网内已经存在了该文件，那么服务器会立即开始进行P2P传输，这样既解决了跨网的问题，又省去了租用跨运营商机房的高额成本。UDT协议是以UDP协议为底层封装的一个向TCP协议一样的安全传输协议。

系统在传输文件的时候，首先使用P2P协议进行文件传输，此时如果传输的效率很低或者更本无法传输的时候，客户端会向中心服务器申请一个可提供http协议或UDT协议进行传输的地址，在获得了新上层服务器后，任务处理服务器会向中心服务器提交某文件的分发申请，如果存在服务器有空闲资源可提供分发服务器，那么该服务器会主动向被分发服务器发送接收文件请求，这样，任务处理服务器则通过新的传输协议进行文件分发。

本申请实施例提供的大文件多点分发系统的一详细结构示意图如图4所示，上传服务器包括上传管理模块204；

所述上传管理模块以动态探索链路协议为基础，对上传文件进行分块管理；一个高效的上传工具是必不可少的。因为客户或网民会在整个国家任何地方上传文件，网络情况，运营商情况相当复杂，为解决此问题，此系统设计了一个动态探索链路多协议上传工具，此工具在用户登录后，会主动请求中心服务器，从服务器处得到可用的上传接收服务器，在得到服务器列表后，上传工具会客户点击上传后动态的计算所有服务器的实际传输速度，主要测试2种协议TCP和UDT，在同网甚至同地区的情况下会优先使用TCP协议进行传输测试，跨运营商的情况下会优先使用UDT协议进行测试，在测试过程中，为了提高客户的体验会同时进行文件校验，供后面的分发使用，在获得到最高效的上传节点后，程序会并行进行文件分块上传，这也是一个高效利用CPU资源的地方，传统的传输工具一般不会采用分块文件上传的方式上传文件。

在分块后，启动多线程进行文件上传，文件上传过程中，工具会根据实际每个线程的传输效率动态的修改传输块的大小，得以让最快的线程多传一些文件。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (8)

1.一种大文件多点分发系统，其特征在于，包括：客户端、中心服务器、上传服务器及若干任务处理服务器；

当客户端需要上传文件时，客户端向中心服务器发送文件上传请求，中心服务器接收到所述上传请求后，为所述客户端确定目标任务处理服务器，所述客户端将需要上传的文件通过上传服务器上传至所述中心服务器或目标任务处理服务器；

当客户端需要下载文件时，客户端向中心服务器发送文件下载请求，中心服务器接收到所述下载请求后，分发下载任务至所述任务处理服务器，所述中心服务器或任务处理服务器将所述客户端需要下载的文件发送至客户端。

2.根据权利要求1所述的系统，其特征在于，所述客户端上传文件至所述任务处理服务器或从所述任务处理服务器下载文件的过程中，文件以分片传输的方式进行传输。

3.根据权利要求1所述的系统，其特征在于，所述任务处理服务器包括任务接收模块、任务处理模块和任务反馈模块；

所述任务接收模块用于接收中心服务器发送的文件任务；

所述任务处理模块用于对所述任务接收模块接收的文件任务进行处理，接收所述客户端上传的文件或发送所述客户端需要的文件至所述客户端；

所述任务反馈模块用于将所述任务处理模块对文件任务的处理结果反馈至所述中心服务器。

4.根据权利要求3所述的系统，其特征在于，所述任务处理模块接收所述客户端上传的文件或发送所述客户端需要的文件至所述客户端的过程中，文件传输采用P2P形式传送。

5.根据权利要求4所述的系统，其特征在于，所述文件传输过程中，若P2P形式传输效率低或无法传送，客户端向中心服务器请求申请http协议或UDT协议进行传输。

6.根据权利要求4所述的系统，其特征在于，在文件传输过程中，若文件传输在同一网络下传输，采用P2P形式传输；若文件传输在不同网络下传输，采用UDT协议进行传输。

7.根据权利要求4所述的系统，其特征在于，在文件传输过程中，中心服务器可根据任务处理服务器的地址确定距离所述中心服务器最近的任务处理服务器。

8.根据权利要求1所述的系统，其特征在于，所述上传服务器包括上传管理模块；

所述上传管理模块以动态探索链路协议为基础，对上传文件进行分块管理。

Images