CN101257396A - 一种基于p2p技术的多域内容分发系统及相应的方法 - Google Patents

Abstract

本发明公开了一种基于P2P技术的多域内容分发系统，包括边缘服务器、内容发布端、用户端、认证中心、追踪服务器、智能发布端；还包括分布式Hash表和内容路由器；其中，一个域按照ISP的自治系统进行划分，在一个域中包括有一个内容路由器、一个追踪服务器和至少一个边缘服务器，所述的边缘服务器、认证中心、追踪服务器都分别与所述的内容路由器相连，所述的用户端、内容发布端和智能发布端与所述的边缘服务器直接或间接相连，不同域间的内容路由器通过所述的分布式Hash表连接，同时也要连接认证中心，不同域间的边缘服务器之间相连。

Description

一种基于P2P技术的多域内容分发系统及相应的方法

技术领域

本发明涉及内容分发网络，特别涉及一种基于P2P技术的多域内容分发系统。

背景技术

内容分发系统，又称内容分发网络(Content Delivery Network或者ContentDistribution Network，简称CDN)，是架构在现有互联网上的一种分布式内容递送平台，它的一般系统结构如附图12所示，主要由分布在网络边缘的服务器集群(EdgeService Provider，简称ESP)1201和管理者1203组成。内容提供商(Content Provider，简称CP)1202只需要将内容源中的内容发布到ESP1201上，用户1204就可以从最近的ESP上获得内容。这样可以将内容源的负载分散到各个ESP上，不仅减轻了内容源的压力，而且提高了用户的体验。由于内容分发系统所发布的内容分布在多个ESP上，还可以避免单点失效的问题，增强了内容的可用性。CDN为内容提供商和用户间建立了一个高效的内容传送通道，改善了互联网上的服务质量。

CDN的关键技术有以下四个：

内容路由技术，内容路由是指CDN系统将用户请求导向最合适的ESP的过程，选择ESP的原则一般有和用户间延迟最小、可用带宽最大以及ESP负载最轻等。大多数CDN采用DNS重定向、应用层协议重定向和传输层重定向的手段实现。

内容分发技术，内容分发是内容从CP或者内容源发送到ESP的过程。从实现上看，主要有两种方式：Push和Pull。Push是主动内容分发，由CP或内容源发起，主动将内容从源推送到各个ESP上。用来提供内容递送服务的CDN一般使用这种分发方式。Pull是被动内容分发，由用户的请求驱动，当用户请求的内容在ESP上不存在时，ESP会从内容源拉出内容，缓存本地并返回用户。作为透明内容承载网络的CDN一般使用Pull方式。分发技术中最关键的是内容分发算法，它是内容从源到ESP的分发流程，分发算法的性能是CDN最重要的性能指标之一，一般期望对大尺寸的块式内容(如光盘镜像)能达到高吞吐率，对流式内容(如流媒体)可以到达低延迟。

内容存储技术，对于Push方式分发的内容，要求内容尽可能可靠地存储在ESP上。ESP除了可以采用磁盘RAID进行存储外，也可以采用应用层的分布式容错机制实现可靠存储。在Pull方式的CDN中，内容实际是缓存在ESP上的，对内容可靠性要求不如Push方式的高，但对于缓存的管理则比较复杂，缓存策略(内容是部分缓存还是全部缓存)和淘汰替换算法都需要根据实际应用进行设计，以达到高性能。

内容管理技术包括本地内容管理和本地内容状态信息收集等。

域是指互联网中一个ISP的自治系统(Autonomous System)。一般来说，一个域中的互联网节点相互之间的连接延迟较低，带宽较高，而跨域连接的质量较低。域间流量也可能会给ISP带来高额的网间结算费用。

目前的CDN一般将整个互联网看成一个单域，所有的ESP，无论其所部署的ISP，都统一受管理，没有根据不同的域来区分ESP。

单域CDN的对ESP的管理相对简单，实现较为容易，但有具有如下的缺点：

1、当ESP的数量很大时，统一管理会带来较大的开销；

2、ESP由于分散在各个ISP中，与管理者连接的网络情况可能会很恶劣，管理者无法及时得到ESP的信息，将影响统一管理的效率；

3、不同ISP中的ESP可能会频繁互传大量数据，这可能会引起很高的网间结算费用，另外由于域间连接质量问题，传送数据会很慢；

4、如果集中管理点失效将会影响整个CDN的工作。

为了克服上述缺点，本申请引入多域概念，即是将ESP按照所处的域(自治系统)进行管理。每个域的管理者只负责本域的ESP，减少了管理开销，提高了管理效率，同时尽量让数据传送在同一个域的ESP上发生，以降低网间流量和结算费用。但在引入多域概念后，也会产生相应的问题，例如，在对多域进行管理的过程中，需要为每个域引入一个管理者，分布式的管理使得全局所有域状态的维护变得困难；此外，传统单域的CDN由于没有区分域，使得现有的相关技术无法应用于多域内容的发布。

发明内容

本发明的目的是克服多域中的分布式管理使得对全局所有域状态的维护变得困难的缺陷，从而提供一种多域内容分发系统以及相应的内容发布、下载和搜索方法。

为了实现上述目的，本发明提供了一种基于P2P技术的多域内容分发系统，包括边缘服务器、内容发布端、用户端、认证中心、追踪服务器、智能发布端；还包括分布式Hash表和内容路由器；其中，一个域按照ISP的自治系统进行划分，在一个域中包括有一个内容路由器、一个追踪服务器和至少一个边缘服务器，所述的边缘服务器、认证中心、追踪服务器都分别与所述的内容路由器相连，所述的用户端用户端、内容发布端和智能发布端与所述的边缘服务器直接或间接相连，不同域间的内容路由器通过所述的分布式Hash表连接，同时也要连接认证中心，不同域间的边缘服务器之间相连。

上述技术方案中，所述的分布式Hash表将各个域的内容路由器联系起来形成一个覆盖网络，提供全局内容的索引，并为所述的内容路由器提供基于多关键字索引的查询。

上述技术方案中，所述的内容路由器负责管理本域中的边缘服务器，协调所述多域内容分发系统中的其他模块为智能发布端提供内容发布功能，并为用户提供内容搜索和下载功能。

本发明还提供了一种在所述的基于P2P技术的多域内容分发系统上实现的多域内容发布方法，按以下步骤顺序执行：

步骤11)、发布端向本域的内容路由器查询其他域的内容路由器的地址；

步骤12)、本域的内容路由器向分布式Hash表发出查询请求，并得到查询结果；

步骤13)、内容路由器将查询得到的各个域的内容路由器地址信息返回给发布端；

步骤14)、发布端根据得到的各个域的内容路由器地址向所有的内容路由器查询其所在域的边缘服务器的地址；

步骤15)、将所得到的边缘服务器的地址通告每一个边缘服务器；

步骤16)、边缘服务器与发布端互传内容分片；

步骤17)、所有的边缘服务器都拥有完整的副本；

步骤18)、所述的内容路由器通告发布端本域的内容发布完成，将内容描述信息存入到本地的内容数据库中，并将该内容描述信息向所述的分布式Hash表发布。

本发明又提供了一种在所述的基于P2P技术的多域内容分发系统上实现的多域内容下载方法，按以下步骤顺序执行：

步骤21)、所述的用户端通过内容路由器获取所述追踪服务器的地址；

步骤22)、所述用户端从追踪服务器上获得正在下载同一内容的其他用户下载端和边缘服务器的地址；

步骤23)、用户端优先从其他的下载端获取数据，在其他下载端无法获取数据的情况下，从边缘服务器上获取数据；

步骤24)、下载数据，并提供上传，同时定时向追踪服务器报告下载状态；

步骤25)、数据下载完成，结束操作。

本发明再提供了一种在所述的基于P2P技术的多域内容分发系统上实现的多域内容搜索方法，按以下步骤顺序执行：

步骤31)、用户端向所在域的内容路由器提供搜索关键字；

步骤32)、判断内容搜索的范围，若搜索范围为用户端所在域，则执行下一步，若搜索范围为全域，则执行步骤34)；

步骤33)、搜索本地内容数据库，执行步骤35)；

步骤34)、通过内容路由器向分布式Hash表做全域内容搜索；

步骤35)、将搜索后的结果返回给用户端。

本发明还提供了一种在所述的基于P2P技术的多域内容分发系统上实现的对边缘服务器上的内容作容错存储的方法，按以下步骤顺序执行：

步骤41)、发布端定时向内容路由器询问已经发布过的内容是否在边缘服务器上存在；

步骤42)、内容路由器接收查询请求后询问边缘服务器，若所要查询的内容保存在边缘服务器上，中断操作，否则，执行下一步；

步骤43)、所查询的内容未被保存在边缘服务器上，内容路由器通知发布端内容失效；

步骤44)、发布端重新开始多域内容发布，若其他域的边缘服务器上存在完整的内容副本，则失效域的边缘服务器同时从所有其他域的边缘服务器上获取内容。

本发明将P2P技术中的分布式Hash表、内容分片和点对点分片互传应用到多域内容分发系统中。其中的DHT可以用于全局所有域的状态维护。各个域的管理者通过DHT连接在一起，将自己域的信息向DHT发布，这样DHT上就存储有整个系统的全局状态，DHT具有快速查询和容错的优点，它可以高效并可靠地维护全局信息，解决了多域全局状态维护的问题。内容分片和点对点分片互传可以充分利用ESP的上行带宽，使ESP间内容分发效率更高。另外，用户间也采用点对点分片互传来获取内容，进一步提高最终用户的体验，并使得系统可以支持更大规模的用户量。

附图说明

图1是系统拓扑架构图；

图2是多域发布流程图；

图3是下载流程图；

图4是搜索流程图；

图5是多域发布拓扑图；

图6是系统结构图；

图7是CR处理内容发布的流程图；

图8是CR处理内容删除的流程图；

图9是CR处理检查内容的流程图；

图10是CR处理搜索内容的流程图；

图11是CR处理下载内容的流程图；

图12是传统单域CDN的结构图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

P2P技术是在互联网上使用最为广泛的内容分发技术。分布式Hash表(Distributed Hash Table，简称DHT)是P2P技术的一个新兴方向。DHT是由分布在互联网上的节点共同维护的一个Hash表，这个表的键是一个存储对象的标识，有160位长，一般由SHA-1函数产生。每个节点会被分配一个子表，成为这个子表的管理者，节点上不仅存储有这个子表，还有如何访问其它子表的信息，也就是路由表。DHT的优点是：一，无中心服务器，依靠分布式自适应算法来处理节点的加入和退出；二，路由算法的平均跳数为O(log N)，路由表的大小也为O(log N)，N是DHT中的节点数目；三，通过冗余备份的机制，避免了单点失效，保证了存储在DHT上数据的可靠性。DHT相当于一个分布式存储和查询设施。用户可以通过DHT发布和查询内容。

P2P技术的一个重要方面是内容分片和点对点分片互传。内容分片是指，将一个完整的内容，分成多个相同大小的内容片，传送时以这些分片作为传送单位。分片传送的两个好处是，第一，可以实现点对点互传，当节点收到一个分片以后，就能立即提供上传这个分片的服务，开始与其他节点的内容分片互传，充分利用节点的上行带宽，减少源服务器的压力，扩展性较好；第二，如果发现一个内容分片损坏只需要重传这个内容分片，而不必重新传整个内容，提高了传送效率。

利用P2P技术的上述两个特点，可完成对本发明的多域内容分发系统的实现。

本发明的多域内容分发系统包括分布式Hash表(DHT)、内容路由器(ContentRouter，简称CR)、边缘服务器(Edge Service Provider，简称ESP)、认证中心(Certificate Authority，简称CA)、追踪服务器(Tracker)、智能发布端(IntelligentPublisher，简称IP)、内容发布端(Content Publisher，简写CP)以及用户端(Client)组成。

图1是一个多域内容分发系统的实施例，在该多域内容分发系统中，每个域106按照ISP的自治系统来划分，在一个域中包括有一个内容路由器104，若干个边缘服务器101和一个追踪服务器103，很多用户端102，内容发布端107以及智能发布端108其中，内容路由器104是所属域中的管理者，本域中的其他服务器都与内容路由器104直接或间接相连。也要不同域之间的内容路由器104通过分布式Hash表(DHT)相连接，内容路由器104向分布式Hash表发布本域中的信息，通过DHT获得整个系统的状态。由图1可知，所述多域内容分发系统的结构是一个两层的覆盖网络，第一层网络是由每个域的内容路由器在分布式Hash表的组织下构成的，如图1中的105所示，第二层是边缘服务器间组成的覆盖网络。第一层网络主要用于系统中控制信息的传输，第二层网络是发布时的数据传输网。109是认证中心，各个域的内容路由器CR与之相连。

附图6为内容分发系统的构架图，该系统分为4个层次：最底层为数据存储和资源定位，提供全系统的数据存储和资源索引搜索功能；第2层为系统的核心支撑层，提供包括内容存储、全局负载均衡、内容检索、内容管理接口、身份认证以及多域分发的支撑功能；第3层为面向用户和运营商的服务层，提供海量内容批量发布、内容搜索、下载、视频直播、点播功能；最上层为系统的API及网络服务层，为第三方提供一个开发的接口。

多域内容分发系统中各个部分的具体功能如下：

分布式Hash表将各个域的内容路由器联系起来形成一个覆盖网络，提供全局内容的索引功能。由于DHT具有良好的负载均衡以及故障恢复功能，所以利用DHT可以较好地维护多域内容分发系统的全局状态。分布式Hash表直接为内容路由器提供基于多关键字索引查询服务，返回给内容路由器的查询结果为包含发布对象的发布信息，例如发布域名、域数量、对象详细描述、分类等信息。

内容路由器存在于每个域中，负责管理域中的边缘服务器，协调其他模块为智能发布端提供内容发布功能，并为用户提供内容搜索和下载功能。对本域上的内容要根据指定的保存时间进行自动管理。

边缘服务器负责存储内容，并为用户提供下载服务，边缘服务器可以按照预先制定的分发协议实现内容向最终用户的分发。

追踪服务器为下载用户返回其余下载同一个内容的用户以及边缘服务器的地址，帮助用户构建P2P覆盖网络。

认证中心负责对用户信息进行管理，提供包括新用户注册、修改用户信息、用户登陆、用户合法性验证的功能，此外，认证中心也提供对智能发布端的身份认证服务。

智能发布端是一个专用的智能发布端，内容提供商使用客户端软件向智能发布端传送内容，智能发布端会自动将该内容按照预定的存储格式进行发布。

内容发布端与智能发布端的功能相类似，但内容发布端在发布内容时采用手动发布的方式。

用户端具有内容搜索和内容下载的功能。用户端在做内容搜索的过程中，提供了两种搜索方式，一种是搜索本地数据库，另一种是搜索分布式Hash表，以实现对全域内容的搜索。如图10所示，用户端在进行搜索时，首先向内容路由器提供从认证中心获得的SessionID和Client的用户名，内容路由器根据这两个信息向认证中心验证用户端是否合法，若合法，则接受搜索请求，并根据搜索的方式分别做全域或本域的搜索，否则，拒绝搜索请求。

根据本发明的多域内容分发系统，本发明还提供了一种多域内容发布方法，如图2所示，多域内容发布方法包括以下步骤：

步骤11、发布端向本域的内容路由器查询其他域的内容路由器的地址；

步骤12、本域的内容路由器向分布式Hash表发出查询请求，并得到查询结果；

步骤13、内容路由器将查询得到的各个域的内容路由器地址信息返回给发布端；

步骤14、发布端根据得到的各个域的内容路由器地址向所有的内容路由器查询其所在域的边缘服务器的地址；

步骤15、将所得到的边缘服务器的地址通告每一个边缘服务器；

步骤16、边缘服务器与发布端互传内容分片；

步骤17、所有的边缘服务器都拥有完整的副本；

步骤18、内容路由器通告发布端本域的内容发布完成，将内容描述信息存入到本地的内容数据库中，并将该内容描述信息向分布式Hash表发布。

图5说明了多域发布时的覆盖网络拓扑结构，其中，501是域，502是边缘服务器ESP，503是发布端。虚线是和发布端503的连接，实线是ESP之间的连接。这种网状拓扑(Mesh)可以保证内容的可用性，另外，ESP优先与同域的其他ESP互传内容分片，这样可以尽可能的减少网间流量。

根据本发明的多域内容分发系统，本发明还提供了一种多域内容下载的方法，如图3所示，该方法包括以下步骤：

步骤21、用户端通过内容路由器获取追踪服务器的地址；

步骤22、用户端从追踪服务器上获得正在下载同一内容的其他用户下载端和边缘服务器的地址；

步骤23、用户端优先从其他的下载端获取数据，在其他下载端无法获取数据的情况下，从边缘服务器上获取数据；

步骤24、下载数据，并提供上传，同时定时向追踪服务器报告下载状态；

步骤25、数据下载完成，结束操作。

本发明还提供了一种多域内容搜索方法，如图4所示，该方法包括以下步骤：

步骤31、用户端向所在域的内容路由器提供搜索关键字；

步骤32、判断内容搜索的范围，若搜索范围为用户端所在域，则执行下一步，若搜索范围为全域，则执行步骤34；

步骤33、搜索本地内容数据库，执行步骤35；

步骤34、通过内容路由器向分布式Hash表做全域内容搜索；

步骤35、将搜索后的结果返回给用户端。

本发明的多域内容分发系统除了上述功能外，还可实现对边缘服务器上内容的容错存储，其具体实现步骤如下：

步骤41、发布端(通常是智能发布端)定时向内容路由器询问已经发布过的内容是否在边缘服务器上存在；

步骤42、内容路由器接收查询请求后询问边缘服务器，若所要查询的内容保存在边缘服务器上，中断操作，否则，执行下一步；

步骤43、所查询的内容未被保存在边缘服务器上，内容路由器通知发布端内容失效；

步骤44、发布端重新开始多域内容发布，若其他域的边缘服务器上存在完整的内容副本，则失效域的边缘服务器同时从所有其他域的ESP上获取内容。

通过上述操作，可以充分利用边缘服务器的带宽，快速恢复边缘服务器上丢失的内容，降低MTTR，提高系统可用率。

在本发明的多域内容分发系统中，内容路由器是系统中各个域的核心，下面结合上述说明中所提到的方法对内容路由器的工作流程做进一步的说明。

在实现多域内容发布时，如图7所示，内容路由器首先验证发布端是否合法，若合法，则接受发布端所提出的内容发布请求，并为其分配边缘服务器，边缘服务器从发布端接收所要发布的内容，然后通知追踪服务器有新内容到达，对新接收内容的描述信息插入本地内容数据库中，并将新内容的描述信息发送到分布式Hash表，然后通知发布端内容发布成功；如果内容路由器验证到发布端不合法，则拒绝发布端所提出的内容发布请求，结束操作。

除了发布内容外，发布端还可以通过内容路由器删除自身发布的内容，如图8所示，对内容删除的具体实现步骤包括：

步骤61、内容路由器验证发布端是否合法，若非法，执行下一步，否则，执行步骤63；

步骤62、拒绝发布端提出的请求，结束操作；

步骤63、接受发布端发出的内容删除请求；

步骤64、从本地内容数据库中获取与所要删除内容相关的内容描述信息；

步骤65、在分布式Hash表删除内容描述信息；

步骤66、在追踪服务器上删除相关的内容；

步骤67、在本地内容数据库中删除内容描述信息；

步骤68、在边缘服务器上删除相关的内容；

步骤69、通知发布端内容删除成功。

内容发布端还可以向内容路由器检查某个内容是否存在于多域内容分发系统中，如图9所示，内容路由器检查多域内容分发系统上的内容的具体实现步骤包括：

步骤71、内容路由器验证发布端是否合法，若非法，执行下一步，否则，执行步骤73、

步骤72、拒绝请求，结束操作；

步骤73、接受发布端发出的检查内容请求；

步骤74、检查本地内容数据库中的内容是否存在；

步骤75、检查边缘服务器上是否存在，若存在，结束操作，若不存在，可重新发起发布流程，边缘服务器可从其他域的边缘服务器上获得相应的内容。

内容路由器在实现内容下载时，如图11所示，首先验证客户端是否合法，若合法，则接受下载请求，并通知追踪服务器有新的客户端到达，客户端通过追踪服务器加入到下载的覆盖网中，进行内容下载。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1. 一种基于P2P技术的多域内容分发系统，包括边缘服务器、内容发布端、用户端、认证中心、追踪服务器、智能发布端；其特征在于，还包括分布式Hash表和内容路由器；其中，一个域按照ISP的自治系统进行划分，在一个域中包括有一个内容路由器、一个追踪服务器和至少一个边缘服务器，所述的边缘服务器、认证中心、追踪服务器都分别与所述的内容路由器相连，所述的用户端、内容发布端和智能发布端与所述的边缘服务器直接或间接相连，不同域间的内容路由器通过所述的分布式Hash表连接，不同域间的边缘服务器之间相连。

2. 根据权利要求1所述的基于P2P技术的多域内容分发系统，其特征在于，所述的分布式Hash表将各个域的内容路由器联系起来形成一个覆盖网络，提供全局内容的索引，并为所述的内容路由器提供基于多关键字索引的查询。

3. 根据权利要求1所述的基于P2P技术的多域内容分发系统，其特征在于，所述的内容路由器负责管理本域中的边缘服务器，协调所述多域内容分发系统中的其他模块为智能发布端提供内容发布功能，并为用户提供内容搜索和下载功能。

4. 一种在权利要求1所述的基于P2P技术的多域内容分发系统上实现的多域内容发布方法，按以下步骤顺序执行：

步骤11)、发布端向本域的内容路由器查询其他域的内容路由器的地址；

步骤12)、本域的内容路由器向分布式Hash表发出查询请求，并得到查询结果；

步骤13)、内容路由器将查询得到的各个域的内容路由器地址信息返回给发布端；

步骤14)、发布端根据得到的各个域的内容路由器地址向所有的内容路由器查询其所在域的边缘服务器的地址；

步骤15)、将所得到的边缘服务器的地址通告每一个边缘服务器；

步骤16)、边缘服务器与发布端互传内容分片；在互传内容分片时采用点对点内容分片互传法；

步骤17)、所有的边缘服务器都拥有完整的副本；

步骤18)、所述的内容路由器通告发布端本域的内容发布完成，将内容描述信息存入到本地的内容数据库中，并将该内容描述信息向所述的分布式Hash表发布。

5. 一种在权利要求1所述的基于P2P技术的多域内容分发系统上实现的多域内容下载方法，按以下步骤顺序执行；

步骤21)、所述的用户端通过内容路由器获取所述追踪服务器的地址；

步骤22)、所述用户端从追踪服务器上获得正在下载同一内容的其他用户下载端和边缘服务器的地址；

步骤23)、用户端优先从其他的下载端获取数据，在其他下载端无法获取数据的情况下，从边缘服务器上获取数据；

步骤24)、下载数据，并提供上传，同时定时向追踪服务器报告下载状态；

步骤25)、数据下载完成，结束操作。

6. 一种在权利要求1所述的基于P2P技术的多域内容分发系统上实现的多域内容搜索方法，按以下步骤顺序执行：

步骤31)、用户端向所在域的内容路由器提供搜索关键字；

步骤32)、判断内容搜索的范围，若搜索范围为用户端所在域，则执行下一步，若搜索范围为全域，则执行步骤34)；

步骤33)、搜索本地内容数据库，执行步骤35)；

步骤34)、通过内容路由器向分布式Hash表做全域内容搜索；

步骤35)、将搜索后的结果返回给用户端。

7. 一种在权利要求1所述的基于P2P技术的多域内容分发系统上实现的对边缘服务器上的内容作容错存储的方法，按以下步骤顺序执行：

步骤41)、发布端定时向内容路由器询问已经发布过的内容是否在边缘服务器上存在；

步骤42)、内容路由器接收查询请求后询问边缘服务器，若所要查询的内容保存在边缘服务器上，中断操作，否则，执行下一步；

步骤43)、所查询的内容未被保存在边缘服务器上，内容路由器通知发布端内容失效；

步骤44)、发布端重新开始多域内容发布，若其他域的边缘服务器上存在完整的内容副本，则失效域的边缘服务器同时从所有其他域的边缘服务器上获取内容。

Images