CN101145929A - 一种面向ipv6环境的p2p流媒体点播系统 - Google Patents

Abstract

本发明属于网络多媒体技术领域，具体为一种面向IPV6环境的P2P流媒体点播系统，包括：普通节点工具、骨干节点工具和内容发布平台。骨干节点工具负责提取内容ID信息，将其发布到内容管理平台，并将内容索引信息发布到Kademlia－P2P网络中，同时也为点播用户提供内容点播服务；普通节点工具根据从内容管理平台检索到的内容ID信息，在Kademlia－P2P网络中查找对应的内容索引信息，在内容点播的同时为其他点播用户提供该内容的上传服务；内容管理平台负责接收骨干节点发布的内容ID等信息，并对内容进行审核管理。本发明功能强大、高效快捷、操作简单，人机界面友善，能在IPV6的网络环境下有效地提高流媒体点播系统的健壮性和QoS，同时节省昂贵的中心带宽。

Description

一种面向IPV6环境的P2P流媒体点播系统

技术领域

本发明属于网络多媒体技术领域，具体涉及一种面向IPV6环境的P2P流媒体点播系统。

背景技术

数字内容产业在下一代IP网络的应用中占有十分重要的地位。随着近年来无线通信和访问的迅猛增长以及互联网的巨大成功，无线和互联网通信正在向着下面这个目标迅速发展，即随时随地在任何设备上都能提供实时多媒体内容服务。纵观国内外多媒体内容服务领域的产品，绝大多数都是基于IPV4的架构式的流媒体内容分发系统。在国家大力支持数字内容产业的大背景下，研发面向IPV6的可管理运营P2P流媒体内容分发服务系统具有重大意义。一方面，IPV6具有IPV4所不具备的优势，如IPv6流标签、QoS、多播和IPSec等特性。另一方面，P2P技术又能够突破传统架构式内容分发系统的技术瓶颈，达到更大的流媒体并发访问量和更好的流媒体服务质量QoS。总体来说，研发面向IPV6环境的P2P流媒体点播系统有着深远的意义，应用前景广阔。

经对现有技术的文献检索发现，中国专利(申请)号：CN 200610011473，名称：基于会话初始化协议的流媒体直播P2P网络方法，该系统基于SIP协议，客户端利用P2P网络向SIP服务器请求节目，SIP服务器则把该请求转发至扩展媒体服务器，扩展媒体服务器为客户选择最佳节目源，可以是别的客户或者是流媒体服务器，客户端便可根据该节目源的地址下载流媒体节目，并把节目缓存信息发往扩展媒体服务器，客户端或流媒体服务器也可向扩展媒体服务器发送节点状态的变更信息，从而引起媒体信息数据库的刷新。该系统的优势是延时小、带宽消耗小、视频、音频效果好的优点，其不足是只提出了IPV4环境下的流媒体直播的解决方案，而没有解决IPV6环境下基于P2P的流媒体点播问题。

发明内容

本发明针对现有技术的不足，在IPv6试验床上研究和开发了一套新型的P2P流媒体内容分发服务系统。通过深入研究流媒体分发服务中的P2P节点混合式协作分发机制、自适应调控机制、可管理的安全与认证机制、可运营的分发激励和计费机制等关键技术，并结合IPv6流标签、QoS等特性，支持和保障P2P内容分发，突破传统CDN分发的技术瓶颈和P2P内容不可控共享的缺陷，达到更大的流媒体并发访问量和更好的流媒体服务质量QoS，并实现可运营、可管理的新型P2P应用模式，解决下一代互联网中宽带内容价值链发展的一项关键技术和运营服务模式难题。

本发明是通过以下技术方案实现的，本发明包括：骨干节点工具、普通节点工具、内容管理平台。骨干节点工具负责提取内容ID信息，将其发布到内容管理平台，并将内容索引信息发布到P2P网络中，同时也为点播用户提供内容点播服务；普通节点工具首先根据从内容管理平台检索到的内容ID信息，在P2P网络中查找对应的内容索引信息，进而从多个候选服务节点处同时进行内容获取，在内容点播的同时为其他普通节点提供该内容的上传服务；内容管理平台负责接收骨干节点发布的内容ID等信息，并对内容进行审核管理，同时实现用户管理、日志管理等功能。

所述的骨干节点工具，通过SHA-1算法提取媒体内容的160位hash值作为内容ID，并将该内容ID值并骨干节点的IP地址和监听端口等打包成内容索引信息，利用Kademlia架构的P2P网络存储到与该内容ID异或运算相距最近的几个节点上。本发明设计了与IPV6相结合的Kademlia网络节点ID构造方式，取骨干节点IPV6地址的128位作为节点ID的前128位，并随机生成32位作为节点ID的后32位，从而构造160位的节点ID。以这种方法构造的节点ID能保证节点ID间的距离大小近似等同于节点间网络距离的大小。在内容发布完成后，调用内容管理平台的内容添加功能，将内容的ID值、名称、描述等信息输入到内容管理平台。在收到普通节点工具的内容服务请求时，将请求的内容读入缓存并以socket方式提供上传服务。

所述的普通节点工具在点播用户终端运行。普通节点工具首先根据从内容管理平台检索到的内容ID信息，在Kademlia-P2P网络中查找对应的内容索引信息，进而从多个候选服务节点处同时进行内容获取，在内容点播的同时为其他普通节点提供该内容的上传服务。普通节点工具在启动时需提交点播用户的用户名和密码并由内容管理平台验证。只有验证通过后才能获取启动节点列表，从而成功地加入P2P网络并进行流媒体点播，普通节点工具根据从内容管理前台获取的媒体ID，向P2P网络中距该内容ID距离最近的三个节点发起内容索引信息请求。在收到该内容相关的索引信息后，普通节点工具首先根据内容大小信息在本地申请硬盘存放空间，并启动维护节点信息维护流程。其中普通节点工具维护三层节点队列，第一层是候选节点队列，包括所有第一次加入的节点；第二层是等待服务节点队列，这个列表中的所有节点只有UDP状态的信息；第三层是正在服务节点队列，包括所有已建立TCP连接的节点。节点信息维护流程通过定时向三个队列中的所有节点发送UDP数据包来获取这些节点当前拥有的数据段信息，与此同时，根据UDP响应时间将候选节点队列中较快的节点加入到等待服务节点队列中，另外从等待服务节点队列中选取速度最快或者数据段完成度较高的节点来下载数据。下载数据通过与等待服务节点建立TCP连接进行，建立了TCP连接的节点将被加入到正在服务节点列表中。如果出现连接或数据传输超时，普通节点工具在断开连接的同时，还会从准备服务节点中选取合适的节点开始服务。在空闲时，普通节点工具会定时从准备服务节点中选出响应较快的一个节点进行TCP传输数据测试，如果TCP传输速度超过了正在服务节点中的某节点，将用其替换这个较慢的节点。普通节点工具调用DirectShow实现媒体内容的播放，媒体内容下载请求的驱动也相应的采取“拉模式”，也就是由解码器来通知底层当前播放时所需要下载的数据段序号。

所述的内容管理平台由Microsoft SQL Server和Tomcat Web服务器组成。从功能上分，其中，内容管理平台包括内容管理后台、内容管理前台和Web Services接口三个部分。Tomcat服务器读取点播用户和管理员用户访问，同时对骨干节点工具添加的媒体内容信息进行审核管理，另外Web Services接口还为普通节点工具提供启动节点列表，Tomcat服务器在80端口进行侦听。

内容管理后台实现了媒体管理、骨干节点管理、点播用户管理和管理员管理等模块功能，支持对骨干节点工具提交的媒体内容进行审核并发布到内容管理前台。内容管理前台向成功登录的点播用户展示后台审核通过后的媒体信息，支持由用户选择点播。除了内容管理前台和内容管理后台外，内容管理平台还对普通节点工具提供一个Web Services接口：启动节点列表获取接口。启动节点列表由预先部署的骨干节点组成。只有认证通过的普通节点工具才可以获取启动节点列表并得以加入网络。

本发明面向IPV6环境，IPV6协议有IPV4所不具备的优势，如IPV6流标签、QoS、多播和IPSec等特点，本发明可以利用IPV6协议的特色，在IPV6环境中，可以支持基于IPV6流标签的差分服务，实现根据优先级高低提供不同服务质量的分发。同时，在IPV6环境中，可以整合利用网络层IPSec的安全特性和应用层自定义和开发的安全特性共同保障内容分发的安全性、可信任性。

本发明基于Kademlia的开源算法来实现P2P网络构建和内容索引。Kademlia节点ID的构造由128位的IPV6地址和32位随机数顺序构成。这样设计的ID不仅能作为节点在Kademlia架构中的网络标识，还带有节点在IPV6网络上的位置信息。其次，在收到其他节点的内容索引查询请求时，根据预先设定的规则，通过节点ID间异或运算，只返回与请求节点相近的节点信息，通过这种方式，使得请求节点尽可能从邻居节点中获取内容服务，在减少骨干网络带宽流量的同时，也得到了较好的QoS保障。与传统的中心索引式P2P网络架构比，不需要中心服务器的支持，健壮性更强，收敛速度快：Kademlia是一种分布式哈希表(DHT)技术，它以异或(XOR)操作作为距离的度量基础，建立了一种全新的DHT拓扑结构。与以往的一些DHT技术如Chord、CAN等相比，Kademlia的路由查询更高效，收敛速度更快。在Kademlia中，每个节点拥有一个唯一的160位的标识(记作NID)，而哈希表中<Key，Value>对中的Key同样也是160位。Kademlia定义两个标识x与y之间的距离d为它们异或之后的值，即d(x，y)=x

y。Kademl ia的核心思想在于将<Key，Value>对存储在NID与Key最“近”的节点上，也就是NID与Key之间距离最小的节点上。通过这种操作，Kademlia能够将数据均匀的散列到网络中，从而避免某些节点成为网络中的“热点”而最终变为整个网络的瓶颈。

Kademlia支持四种基本的消息，它们是PING、STORE、FIND_NODE和FIND_ VALUE。PING消息用来探测一个节点是否在线。STORE以一个<Key，Value>对作为参数，要求消息接收者保存一个该对，以供以后使用。FIND_ODE以一个160位的ID作为参数，接收者返回它所知道的最接近该ID的n个节点的节点信息。FIND_VALUE以一个160位的ID/Key作为参数，如果接收者先前已经收到一个STORE消息且消息的参数Key就是当前FIND_VALUE的参数，那么接收者将STORE消息的另一个参数Value返回给发送者，否则和FIND_NODE一样返回它所知道的最接近该ID的n个节点的节点信息。所有的消息都带有一个160位的随机ID，由发送者产生，接收者在响应每一个消息的时候，返回的消息里面都必需复制一份该ID，目的是为了防止地址伪造。

本发明对Kademlia的改造主要基于以下两个方面。首先，节点ID的构造由128位的IPV6地址和32位随机数顺序构成。这样设计的工D不仅能作为节点在Kademlia架构中的网络标识，还带有节点在网络上的位置信息。其次，在收到其他节点的FIND_ALUE请求时，根据预先设定的规则，通过节点ID间异或运算，只返回与请求节点相近的节点信息，通过这种方式，使得请求节点尽可能从邻居节点中获取内容服务，在减少骨干网络带宽流量的同时，也得到了较好的QoS保障。

本发明基于文件分片的策略来实现同时从多个节点获得内容点播服务。我们将媒体文件分成200KB大小的数据块，每个数据块对应一位，1表示拥有该数据块，0则相反。由于媒体文件数据往往比较连续，所以状态信息数组还通过游程编码进行压缩。下载时一次分配10块共2MB的连续数据任务。普通节点工具把通过Kademlia网络找到的拥有某个文件数据的节点分为三类：正在服务节点(与其建立连接且已获得其状态信息的节点)；准备服务节点(仅通过UDP方式获得了状态信息的节点)；候选节点(包含还没有获得状态信息的节点以及无法服务节点)。进一步的，我们将正在服务的节点划分为低速节点和高速节点两个子集。我们把高速节点定义为正在服务节点中所有下载速度大于平均速度的节点集合，同样的把低速节点定义为正在服务节点中所有下载速度小于平均速度的节点集合。分配任务时，高速节点速度较快，所以可以让其分配更多的任务，并且优先分配靠前的数据块。对于高速节点，按照节点速度在所有正在服务节点的速度总和中所占的比例，来分配文件片断的个数，如果该高速节点有所分配的所有片断，则直接获取，若不全则只下载该节点所拥有的片断中前面连续的部分。对于低速节点，分配的块为当前2MB数据块的起始块号+j，如果超出了10块的范围，则分配2MB中最靠近尾部的没有分配任务的数据块，其中j＝(媒体平均播放速度/低速节点的下载速度)。这样能保证前面j-1个块播放完时，低速节点已下完第j个块。当低速节点的速度过慢时，需要对其进行丢弃，不再从该节点下载数据。为保障媒体点播的QoS，我们还规定如果当前的下载速度总和小于媒体文件的播放速度并且缓存小于某一阀值时，就进入紧急状态，在内容被请求节点处，所有来自紧急状态节点的内容服务请求优先得到满足。

本发明系统对点播用户客户端没有很多要求，只需安装普通节点工具和播放流媒体必需的解码器。点播用户通过IE浏览器进入内容管理平台前台门户中，在媒体浏览界面上查看媒体列表或点播列表，选择相应的P2P直播方式点击，能够在浏览器中直接激活普通节点工具进行点播。

本发明兼容性好。虽然IPV6是下一代网络的必然趋势，但在目前的网络中，大部分部署的网络还是而且在相当长的一段时间内还是IPV4网络。为此，面向IPV6环境的基于Kademlia和文件分片的P2P流媒体点播系统在支持IPV6环境的同时，经过很小的改造就可以支持运行在IPV4环境下。同时系统的兼容性还体现在内容管理平台，内容管理平台采用java开发，其对普通节点暴露的启动节点列表获取接口也采用Web Services开发，可以方便地部署于Linux系统，达到了很好的兼容性。

本发明进行了试用，试用运行稳定，运行结果表明，本系统能够长时间稳定实现P2P方式的用户点播。客户端接收点播数据满足了较好的QoS需求，程序启动等待缓冲时间小于15s，媒体拖动缓冲时间小于10s。系统实现了功能强大，高效快捷、操作简单，人机界面友善等特点，点播用户对系统的总体使用效果感到非常满意。

附图说明

图1本发明系统结构示意图。

图中标号：1为Kademlia-P2P网络，2为骨干节点工具，3为普通节点工具，4为内容管理平台，5为点播用户，6为平台管理员，101为提取媒体内容ID模块，102为计算距媒体ID最近的三个节点并将内容索引信息发布到这三个节点模块，103为将媒体内容到内容管理后台模块，104为审核媒体内容并发布到内容管理前台模块，201为登录内容管理前台，点击内容点播链接并自动激活普通节点工具模块，202为从内容管理平台获取启动节点列表并加入P2P网络模块，203为计算距媒体ID最近的三个节点并赂其查询内容索引信息模块，204为根据返回的内容索引信息不断从其他普通节点工具或骨干节点工具获取内容并在本地播放模块。

具体实施方式

如图1所示，本发明包括：普通节点工具、骨干节点工具、内容管理平台。

所述的骨干节点工具运行于骨干节点，骨干节点存储了系统中原始的媒体文件，负责将媒体发布到内容管理平台，并将媒体内容索引信息发布到Kademlia-P2P网络中，同时也为点播用户提供相对稳定可靠的内容点播服务。

所述的内容管理平台由Microsoft SQL Server和Tomcat Web服务器组成。从功能上分，内容管理平台包括内容管理后台、内容管理前台和Web Services接口三个部分。Tomcat服务器读取点播用户和管理员用户访问，同时对骨干节点工具添加的媒体内容信息进行审核管理，另外Web Services接口还为普通节点工具提供启动节点列表，Tomcat服务器在80端口进行侦听。

所述的普通节点工具在点播用户终端运行。普通节点工具根据节点的网络传输速度和文件片断信息动态地分配下载任务，从多个节点处同时获取媒体内容片断并在本地进行播放，在内容播放的同时还为其他点播用户提供该内容的上传服务。

本发明系统核心流程有两个，一个是媒体内容的发布流程，一个是普通用户的媒体点播流程。

如图1所示，本发明的媒体发布流程，包含以下步骤：

101：骨干节点工具在本地选择待发布媒体，并计算该内容的ID值。

102：骨干节点工具计算查询得到距该ID值距离最近的三个节点，并将该内容的索引信息发布到这个三个节点，包括媒体内容的ID，大小，该骨干节点的IP地址和监听端口等信息。

103：骨干节点工具将该内容的描述信息通过内容管理平台的媒体添加页面入库，包括内容的ID，媒体名称，内容描述等信息。

104：平台管理员在内容管理后台对内容进行审核，审核通过后将内容发布到内容管理前台供用户点播。

如图1所示，本发明的媒体点播流程，包含以下步骤：

201：点播用户登录内容管理前台，查找感兴趣的媒体内容，并点击点播链接，点播链接中包含该内容的ID值。链接点击后会自动激活普通节点工具。

202：普通节点工具调用内容管理平台的Web Services接口，获取启动节点列表并从而加入Kademlia-P2P网络。系统采用XML标准文件描述启动节点列表，记录网络中的骨干节点的IP地址，监听端口等信息。

203：普通节点工具根据从内容管理前台获取的内容ID计算查询得到距该ID值距离最近的三个节点，并向这三个节点查询该内容的索引信息。

204：得到内容索引信息后，普通节点工具首先根据返回的内容大小信息在本地申请硬盘存放空间，并启动维护节点信息维护流程。  同时按照节点的网络传输速度和文件片断信息分配任务，下载内容并进行播放。

Claims (6)

1.一种面向IPV6环境的P2P流媒体点播系统，包括：普通节点工具、骨干节点工具、内容管理平台，其特征在于，骨干节点工具负责提取内容ID信息，将其发布到内容管理平台，并将内容索引信息发布到Kademlia-P2P网络中，同时也为点播用户提供内容点播服务；普通节点工具首先根据从内容管理平台检索到的内容ID信息，在Kademlia-P2P网络中查找对应的内容索引信息，进而从多个候选服务节点处同时进行内容获取，在内容点播的同时为其他普通节点提供该内容的上传服务；内容管理平台负责接收骨干节点发布的内容ID信息，并对内容进行审核管理，同时实现用户管理和日志管理功能。

2.根据权利要求1所述的面向IPV6环境的P2P流媒体点播系统，其特征是，所述的骨干节点工具，通过SHA-1算法提取媒体内容的160位hash值作为内容ID，并将该内容ID值并骨干节点的IP地址和监听端口打包成内容索引信息，利用Kademlia架构的P2P网络存储到与该内容ID异或运算相距最近的几个节点上；在内容发布完成后，调用内容管理平台的内容添加功能，将内容的ID值、名称、描述信息输入到内容管理平台；在收到普通节点工具的内容服务请求时，将请求的内容读入缓存并以socket方式提供上传服务。

3.根据权利要求1所述的面向IPV6环境的P2P流媒体点播系统，其特征是，所述的普通节点工具，在点播用户客户端运行；普通节点工具首先根据从内容管理平台检索到的内容ID信息，在Kademlia-P2P网络中查找对应的内容索引信息，进而从多个候选服务节点处同时进行内容获取，在内容点播的同时为其他普通节点提供该内容的上传服务。

4.根据权利要求1所述的面向IPV6环境的P2P流媒体点播系统，其特征是，所述的内容管理平台，由Microsoft SQL Server和Tomcat Web服务器组成；从功能上分，内容管理平台包括内容管理后台、内容管理前台和Web Services接口三个部分；Tomcat服务器读取点播用户和管理员用户访问，同时对骨干节点工具添加的媒体内容信息进行审核管理，另外Web Services接口还为普通节点工具提供启动节点列表，Tomcat服务器在80端口进行侦听。

5.根据权利要求1所述的面向IPV6环境的P2P流媒体点播系统，其特征是，基于Kademlia的开源算法来实现P2P网络构建和内容索引；Kademlia节点ID的构造由128位的IPV6地址和32位随机数顺序构成。这样设计的ID不仅能作为节点在Kademlia架构中的网络标识，还带有节点在IPV6网络上的位置信息。其次，在收到其他节点的内容索引查询请求时，根据预先设定的规则，通过节点ID间异或运算，只返回与请求节点相近的节点信息，通过这种方式，使得请求节点尽可能从邻居节点中获取内容服务，在减少骨干网络带宽流量的同时，也得到了较好的QoS保障。

6.根据权利要求1所述的面向IPV6环境的P2P流媒体点播系统，其特征是，基于文件分片的策略来实现同时从多个节点获得内容点播服务；媒体文件被分成200KB大小的数据块，每个数据块对应一位，1表示拥有该数据块，0则相反，并通过游程编码进行压缩；下载时一次分配10块共2MB的连续数据任务；普通节点工具把通过Kademlia网络找到的拥有某个文件数据的节点分为三类：正在服务节点，准备服务节点，候选节点；对于正在服务的节点，根据网络传输速度划分为低速节点和高速节点两个子集；分配任务时，对于高速节点，按照节点速度在所有正在服务节点的速度总和中所占的比例，来分配文件片断的个数，如果该高速节点有所分配的所有片断，则直接获取，若不全则只下载该节点所拥有的片断中前面连续的部分；对于低速节点，分配的块为当前2MB数据块的起始块号+j，如果超出了10块的范围，则分配2MB中最靠近尾部的没有分配任务的数据块，其中j＝媒体平均播放速度/低速节点的下载速度；当低速节点的速度过慢时，需要对其进行丢弃，不再从该节点下载数据；如果当前的下载速度总和小于媒体文件的播放速度并且缓存小于某一阀值时，就进入紧急状态，在内容被请求节点处，所有来自紧急状态节点的内容服务请求优先得到满足。