CN104935640A - 一种p2p加速的内容分发网络系统及方法 - Google Patents

Abstract

本发明涉及计算机网络领域，具体涉及一种P2P加速的内容分发网络系统及方法。本发明提供的系统包括分发任务获取模块、资源管理服务器、资源存储器、资源跟踪调度服务器和多个云加速边缘节点。分发任务获取模块通过硬件输入设备由操作界面将分发任务的信息录入资源管理服务器，资源存储器进行分发任务文件的下载和存储，资源管理服务器将分发任务分配云加速边缘节点，资源跟踪调度服务器进行P2P加速的任务分发，监测和记录任务分发的各个进程，并反馈给资源管理服务器。与现有技术相比，本发明结合P2P和云加速的优点，对分发任务进行MD5校验，实时监控任务分发进程并为节点选择最优下载路径，提高了任务分发速度和系统的可靠性。

Description

一种P2P加速的内容分发网络系统及方法

技术领域

本发明涉及计算机网络领域，尤其是涉及一种P2P加速的内容分发网络系统及方法。

背景技术

云加速网络云加速是建立在现有IP网络基础结构之上的一种增值网络，是在应用层部署的一层网络架构，将中心的内容和服务推送到网络边缘，使得用户可以在最近的和服务质量最佳的地方获取服务。而内容分发网络系统是负责管理存储中心与边缘节点之间的内容传输。

传统的内容分发网络系统通常设计以C/S架构，中心服务器存储文件，边缘节点并发的方式拉取文件。这种方式架构简单，易于管理实施，但是问题也很明显，当边缘节点较多的时候，中心服务器的传输带宽受带宽瓶颈的限制，尤其是在传输大文件的时候，性能瓶颈尤显。

P2P的核心是利用用户资源，通过对等方式进行文件传输，这完全不同于传统的客户服务器计算模型。P2P通过“非中心化”的设计和多点传输机制，实现了不依赖服务器而快速的交换文件。

中国专利CN102065150B公布了一种基于P2P和云加速网络的数据传输系统和方法，该系统包括一个源服务器，一个云加速网络和一个P2P网络，P2P节点能够从P2P网络和云加速节点中获取数据，利用P2P子系统监听一个已经和播放端约定好的端口，当端口有请求到达时，该P2P子系统启动优先到P2P网络获取数据功能，并将获得的数据及时的推给播放器，该发明提供的技术方案，能够解决在短时间内，大量的P2P网络中的节点涌向服务器，造成服务器崩溃的问题。然而该系统中云加速网络和P2P网络为独立结构，需要节点数量多，成本较高，且没有对云加速网络和P2P网络中的种子列表进行优化，在某节点出现网络问题时，不能及时更新种子列表。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷，将P2P和云加速融合在一起，提供一种高速、可靠的P2P加速的内容分发网络系统及内容分发方法。

本发明的目的可以通过以下技术方案来实现：

一种P2P加速的内容分发网络系统包括：

分发任务获取模块，获取分发任务的信息；

资源管理服务器，与分发任务获取模块连接，下载分发任务的文件并分配分发任务；

资源存储器，采用大容量存储设备，接收并保存资源管理服务器下载的分发任务文件；

资源跟踪调度服务器，与资源管理服务器连接，进行P2P加速的任务分发，监测和记录任务分发的各个进程，并反馈给资源管理服务器；

云加速边缘节点，接收资源管理服务器分配的任务且具备P2P的功能。

所述的分发任务获取模块包括操作界面和硬件输入设备，通过硬件输入设备由操作界面将分发任务的信息录入资源管理服务器。

所述的分发任务的信息包括分发任务来源地址URL路径和分发任务的各个文件对应的MD5信息。

所述的分发任务文件的存储路径保存在资源跟踪调度服务器中。

一种P2P加速的内容分发网络的内容分发方法包括以下步骤：

(1)将分发任务的信息通过分发任务获取模块录入；

(2)资源管理服务器下载分发任务并存储在资源存储器；

(3)资源管理服务器根据云加速边缘节点的个数，将分发任务分为数量与云加速边缘节点的个数相等的种子任务，并为每个云加速边缘节点分配一个种子任务；

(4)每个云加速边缘节点开始进行各自的种子任务的文件下载，并向资源管理服务器报告下载结果，下载结果包括成功和失败；

(5)资源跟踪调度服务器建立P2P网络种子列表；

(6)云加速边缘节点进行任务分发。

所述的步骤(2)具体为：资源存储器根据资源管理服务器中的分发任务来源地址URL路径，下载分发任务的文件并进行各个文件的MD5校验，删除校验未

所述的步骤(5)具体包括以下步骤：

(5-1)资源跟踪调度服务器将所有的云加速边缘节点加入到P2P网络种子列表中，建立初始的P2P网络种子列表；

(5-2)资源跟踪调度服务器获取每个云加速边缘节点的反馈信息，反馈信息包括种子任务下载结果、节点负载和网速，根据反馈信息将不满足种子要求的节点从P2P网络种子列表中一一剔除，从而得到最终的P2P网络种子列表。

所述的步骤(6)具体包括以下步骤：

(6-1)资源跟踪调度服务器接收来自云加速边缘节点的任务分发开始请求，根据云加速边缘节点的实时负载情况，回复任务分发开始命令；

(6-2)收到任务分发开始命令的云加速边缘节点向资源跟踪调度服务器请求最优种子节点列表，资源跟踪调度服务器根据该云加速边缘节点的运营商和其他P2P网络种子的下载速度、物理位置和运营商，建立该云加速边缘节点的最优种子节点列表并反馈，使该云加速边缘节点开始P2P的任务分发；

(6-3)资源跟踪调度服务器接收来自云加速边缘节点的任务完成状态报告，若任务分发完成，则更新其下载速度及运营商信息；若任务分发未完成，则记录其任务分发完成进度，下次该节点再次请求任务分发时，根据此进度完成断点续传；

(6-4)资源管理服务器接收由资源跟踪调度服务器发送的各云加速边缘节点的任务分发状态反馈，若检测到有未开始的任务分发，则使对应的云加速边缘节点向资源跟踪调度服务器发送任务分发开始请求，并返回步骤(6-2)；否则返回步骤(1)。

与现有技术相比，本发明具有以下优点：

(1)在骨干网层次保留了原有的云加速系统的架构和功能，在边缘节点引入了P2P技术来进行文件及流媒体的共享，实现了云加速技术与P2P传输的结合。因此中心的资源存储器带宽低，负载被分配至节点之间的对等网络，各节点可以选择优化的种子列表获取服务。

(2)资源存储器下载分发任务文件时，使用了MD5校验，防止错误文件的产生，提高系统可靠性。

(3)资源跟踪调度服务器根据各节点反馈的最新负载情况和下载速度，实时更新种子列表信息，达到实时的优化，提升分发速度，尤其是对大文件的下载速度，能达到局域网的下载速度。对不同运营商的边缘节点之间的内容传输速度也有很大的提升。

(4)资源跟踪调度服务器监控任务分发的实时状态，使系统易于管理，可根据日志数据获得详细信息。

(5)由于采用非中心控制传输方式，只需要简单配置就可以增减节点，实现快速部署。

附图说明

图1为本发明提供的一种P2P加速的内容分发网络系统的结构图，图中1为分发任务获取模块，2为资源管理服务器，3为资源存储器，4为资源跟踪调度服务器，5为云加速边缘节点；

图2为本发明提供的一种P2P加速的内容分发方法流程图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，一种P2P加速的内容分发网络系统，包括分发任务获取模块1、资源管理服务器2、资源存储器3、资源跟踪调度服务器4和云加速边缘节点5。

分发任务获取模块1包括操作界面和硬件输入设备，相关人员通过硬件输入设备由操作界面将分发任务的信息录入资源管理服务器2，从而发起任务分发。任务信息包括分发任务来源地址URL路径和分发任务的各个文件对应的MD5信息，作为分发任务的属性记录在分发任务中。

资源管理服务器2控制资源存储器3进行分发任务文件的下载和存储，将分发任务分配至云加速边缘节点5，云加速边缘节点5具备P2P的功能，既可以作为云加速的缓存服务器，又可以进行P2P对等传输。

资源存储器3为大容量存储设备。

资源跟踪调度服务器4保存分发任务文件的存储路径，进行P2P加速的任务分发，监测和记录任务分发的各个进程，并反馈给资源管理服务器2。

如图2所示，一种P2P加速的内容分发网络的内容分发方法，包括以下步骤：

S01，将分发任务的信息通过分发任务获取模块1录入资源管理服务器2。

S02，资源管理服务器2下载分发任务并存储在资源存储器3。

该步骤具体为：资源管理服务器2根据资源管理服务器2中的分发任务来源地址URL路径，下载分发任务的文件并进行各个文件的MD5校验，删除校验未通过的文件并重新下载和校验，将通过校验的文件存储在资源存储器3，直到所有文件通过校验并存储完毕。

S03，资源管理服务器2根据云加速边缘节点5的个数，将分发任务分为数量与云加速边缘节点的个数相等的种子任务，并为每个云加速边缘节点5分配一个种子任务。

S04，每个云加速边缘节点5开始进行各自的种子任务的文件下载，并向资源管理服务器2报告下载结果，下载结果包括成功和失败。

S05，资源跟踪调度服务器4建立P2P网络种子列表，具体包括以下步骤：

S0501，资源跟踪调度服务器4将所有云加速边缘节点5加入到P2P网络种子列表中，建立初始的P2P网络种子列表。

S0502，资源跟踪调度服务器4获取每个云加速边缘节点5的反馈信息，将反馈信息中的参数与标准值比较，若不满足设定标准，例如分发任务未下载成功、网速未达到设定值、节点负载超过设定值或未在规定时间内收到该节点的反馈信息，该时间段可设置为15～20s，则该节点不适合作为P2P网络种子。此时资源跟踪调度服务器4将该节点从P2P网络种子列表中剔除，通过此方式将每个云加速边缘节点筛选后，得到最终的P2P网络种子列表。

S06，云加速边缘节点5进行任务分发，具体包括以下步骤：

S0601，资源跟踪调度服务器4接收来自云加速边缘节点5的任务分发开始请求，根据云加速边缘节点5的实时负载情况，批量的回复任务分发开始命令。先令负载较小、网速较快的云加速边缘节点5开始任务分发，负载较大、网速较慢的云加速边缘节点5暂时先不进行任务分发。

S0602，云加速边缘节点5收到任务分发开始命令后，向资源跟踪调度服务器4请求最优种子节点列表，资源跟踪调度服务器4根据该云加速边缘节点5的运营商和其他P2P网络种子的下载速度、物理位置和运营商，建立该云加速边缘节点5的最优种子节点列表，使该云加速边缘节点5开始P2P的任务分发。优先选择运营商相同、物理距离较近、下载速度快、负载小的节点作为该云加速边缘节点5的种子，从而获得更快的传输速度。

S0603，资源跟踪调度服务器4接收来自云加速边缘节点5的任务分发完成状态回报，若任务分发完成，则将该云加速边缘节点5记录为种子节点，且更新其下载速度及运营商信息；若任务分发未完成，则记录其任务完成进度，下次该节点再次请求任务分发时，根据此进度完成断点续传。

S0604，资源管理服务器2接收由资源跟踪调度服务器4发送的各云加速边缘节点5的任务分发状态反馈，若检测到有分发未开始的任务，则使对应的云加速边缘节点5向资源跟踪调度服务器4发送任务分发开始请求，并返回步骤S0602，通常该分发任务对应的节点为之前负载较大、网速较慢的云加速边缘节点5；若检测到所有分发任务均已完成，返回步骤S01，准备下一次的任务分发。

Claims (8)

1.一种P2P加速的内容分发网络系统，其特征在于，包括：

分发任务获取模块，获取分发任务的信息；

资源管理服务器，与分发任务获取模块连接，下载分发任务文件并分配分发任务；

资源存储器，采用大容量存储设备，接收并保存资源管理服务器下载的分发任务文件；

资源跟踪调度服务器，与资源管理服务器连接，进行P2P加速的任务分发，监测和记录任务分发的各个进程，并反馈给资源管理服务器；

云加速边缘节点，接收资源管理服务器分配的任务且具备P2P的功能。

2.根据权利要求1所述的一种P2P加速的内容分发网络系统，其特征在于，所述的分发任务获取模块包括操作界面和硬件输入设备，通过硬件输入设备由操作界面将分发任务的信息录入资源管理服务器。

3.根据权利要求1所述的一种P2P加速的内容分发网络系统，其特征在于，所述的分发任务的信息包括分发任务来源地址URL路径和分发任务的各个文件对应的MD5信息。

4.根据权利要求1所述的一种P2P加速的内容分发网络系统，其特征在于，所述的分发任务文件的存储路径保存在资源跟踪调度服务器中。

5.一种如权利要求1所述的P2P加速的内容分发网络系统的内容分发方法，其特征在于，包括以下步骤：

(1)将分发任务的信息通过分发任务获取模块录入；

(2)资源管理服务器下载分发任务并存储在资源存储器；

(3)资源管理服务器根据云加速边缘节点的个数，将分发任务分为数量与云加速边缘节点的个数相等的种子任务，并为每个云加速边缘节点分配一个种子任务；

(4)每个云加速边缘节点开始进行各自的种子任务的文件下载，并向资源管理服务器报告下载结果，下载结果包括成功和失败；

(5)资源跟踪调度服务器建立P2P网络种子列表；

(6)云加速边缘节点进行任务分发。

6.根据权利要求5所述的一种P2P加速的内容分发网络的内容分发方法，其特征在于，所述的步骤(2)具体为：资源存储器根据资源管理服务器中的分发任务来源地址URL路径，下载分发任务的文件并进行各个文件的MD5校验，删除校验未通过的文件并重新下载和校验，直到所有文件通过校验。

7.根据权利要求5所述的一种P2P加速的内容分发网络的内容分发方法，其特征在于，所述的步骤(5)具体包括以下步骤：

(5-1)资源跟踪调度服务器将所有的云加速边缘节点加入到P2P网络种子列表中，建立初始的P2P网络种子列表；

(5-2)资源跟踪调度服务器获取每个云加速边缘节点的反馈信息，反馈信息包括种子任务下载结果、节点负载和网速，根据反馈信息将不满足种子要求的节点从P2P网络种子列表中一一剔除，从而得到最终的P2P网络种子列表。

8.根据权利要求5所述的一种P2P加速的内容分发网络的内容分发方法，其特征在于，所述的步骤(6)具体包括以下步骤：

(6-1)资源跟踪调度服务器接收来自云加速边缘节点的任务分发开始请求，根据云加速边缘节点的实时负载情况，回复任务分发开始命令；

(6-2)收到任务分发开始命令的云加速边缘节点向资源跟踪调度服务器请求最优种子节点列表，资源跟踪调度服务器根据该云加速边缘节点的运营商和其他P2P网络种子的下载速度、物理位置和运营商，建立该云加速边缘节点的最优种子节点列表并反馈，使该云加速边缘节点开始P2P的任务分发；

(6-3)资源跟踪调度服务器接收来自云加速边缘节点的任务完成状态报告，若任务分发完成，则更新其下载速度及运营商信息；若任务分发未完成，则记录其任务分发完成进度，下次该节点再次请求任务分发时，根据此进度完成断点续传；

(6-4)资源管理服务器接收由资源跟踪调度服务器发送的各云加速边缘节点的任务分发状态反馈，若检测到有未开始的任务分发，则使对应的云加速边缘节点向资源跟踪调度服务器发送任务分发开始请求，并返回步骤(6-2)；否则返回步骤(1)。