CN102256163B - 一种基于p2p的视频点播系统 - Google Patents

Abstract

本发明实施例公开了一种基于P2P的视频点播系统，所述系统包括服务器端和客户端，其中：服务器端包括：流服务模块、存储索引模块、存储调度模块、视频存储模块；客户端包括：下载调度模块，用于当用户点播视频时，从服务器端和其他的用户节点上下载数据；上传调度模块，用于收到其他用户的数据请求时，负责为请求的用户提供数据；视频缓存模块，用于缓存服务器端推送的数据。通过实施本发明实施例，采用P2P结构作为流媒体服务的网络结构，提高了数据的传输效率，减轻了宽带的负担，存储结构分为服务器和客户端，具有相互协作又分工明确的特点，模块化设计，可扩展性好。

Description

一种基于P2P的视频点播系统

技术领域

本发明涉及通信技术领域，尤其涉及一种基于P2P的视频点播系统。

背景技术

互联网的飞速发展带动了相关行业的发展，其中数字媒体是重要的一部分。近年来，各种大型视频、音频流媒体以其特有的娱乐性和交互性，成为推动宽带网络应用发展的主要动力。在流媒体相关的各种应用中，视频点播(VOD)在远程教学、电子商务、电视点播等方面都有着广泛的应用。随着流媒体形式的信息需求日益增加，传统的Client/Server架构已经逐渐无法满足。为了解决这个问题，P2P技术运用越来越广泛。P2P(Peer To Peer)技术就是通过系统节点(Peer)之间的直接交互来实现系统资源和信息的共享，一个节点既是下载端(客户端)又是资源提供端(服务器端)。通过节点之间的交互可以更快地获取资源，即节点越多速度越快。

P2P技术的网络拓扑结构主要有4种：中心化拓扑、全分布式非结构化拓扑、半分布式拓扑和全分布式结构化拓扑。中心化拓扑由一台服务器担任中心节点，处理所有节点的请求；全分布式非结构化拓扑，每个节点既是服务器又是客户端，一个节点发出搜索请求，这个请求将一层层地转发下去；半分布式拓扑，选择性能较高的节点作为超级节点，来完成搜寻节点的任务，再将查询结果发给叶节点；全分布式结构化拓扑，采用分布式散列表(Distributed Hash Table，DHT)技术组织网络中的节点，每个节点仅有其它一小部分节点的信息，实现了一个高度可扩展、容错性高的集群。

现有的视频点播系统包含采集工作站、内容分发服务器、控制服务器、对等网和资源列表服务器构成。其中内容分发服务器、控制器和资源列表服务器可以部署在同一硬件服务器中。其中采集工作站主要完成原始信号采集编码工作，编码后的数据上传给资源/内容分发服务器；内容分发服务器负责接收编码服务器发送过来的频道节目流信息，并且负责将频道节目流发布到P2P网络当中；控制器维护、管理控制P2P网络，实时地汇总系统中的所有频道的统计信息，为用户提供频道列表信息；对等网中的对等节点负责从其它节点获取媒体数据，主要完成任务的调度、拓扑的维护、Buffer的管理，另外，每个Peer还是一个精简了的流媒体服务器，完成和本地播放器之间的RTSP(Real TimeStreaming Protocol，实时流协议)交互，并从Buffer中取出媒体数据发送给本地播放器；客户端通过访问资源列表Web服务器，可以获得当前整个系统的节目列表和每个节目的在线人数、节目推荐列表、点击排名等。资源列表Web服务器后台是一个支持多用户的节目发布与管理系统。其功能还包括用户的点击行为分析，可以根据用户喜好进行节目推荐。

随着系统规模的扩大，点播用户的增加，对等网络中的资源定位和管理难度增加，现有的技术并不能很好的解决；现有技术采用的的是供应者发现机制，利用集中式目录服务器进行资源的索引，虽然简单但存在着目录服务器负载过重，安全性能低，灾难恢复能力差；对等网中的缓存管理简单，利用率低，调度算法不够智能，没有持续性和实时性保证。

发明内容

本发明的目的在于克服现有技术的不足，本发明提供了一种基于P2P的视频点播系统，优化缓存策略，使得该点播系统能够做到负载均衡、资源定位快，安全性强。

为了解决上述问题，本发明提出了一种基于P2P的视频点播系统，所述系统包括服务器端和客户端，其中：

服务器端包括：

流服务模块，用于在系统中有用户点播视频时，与P2P节点一起向用户提供数据；

存储索引模块，用于通过用户节点周期性的存储状况汇报，掌握视频点播系统中每个视频的存储信息；

存储调度模块，用于优化整个系统的存储部署，在检测到服务器端空闲时，将合适的视频数据推送到合适的P2P节点上；

视频存储模块，用于负责存储视频数据，并提供给流服务模块和存储调度模块；

客户端包括：

下载调度模块，用于当用户点播视频时，从服务器端和其他的用户节点上下载数据；

上传调度模块，用于收到其他用户的数据请求时，负责为请求的用户提供数据；

视频缓存模块，用于缓存服务器端推送的数据。

所述视频缓存模块通过视频分段与冗余编码实现对服务器端推送的数据进行存储。

所述视频分段与冗余编码包括视频分段、分块冗余、选择存储三部分，所述视频分段与冗余编码支持视频完整存储、视频分段存储、视频分带存储、视频分带与少量冗余存储、网络编码存储、对等数据随即访问。

所述视频缓存模块采用静态与动态结合的缓存策略，静态部分适用于点播的起始阶段，使系统在高点播数的情况下尽可能保证实时性，动态部分采用最近最少使用算法LRU替换算法和预取策略。

所述视频缓存模块中的动态缓存区由4个缓存队列组成：空闲队列、写操作队列、准备缓存队列和已读缓存队列；其中对动态缓存区的操作包括：查找、准备、读取和替换。

所述存储索引模块使用缓存覆盖网络OBN对系统中的视频文件进行索引。

所述存储索引模块周期性检测P2P节点的活动性，若OB表中的某一个节点失效了，则删除该节点；若邻近邻居节点失效了，则从OB表中查找最近的节点作为新的邻近邻居节点；如果OB表为空，则通过跳跃链重新定位邻近邻居节点。

所述存储索引模块通过OBN搜索流媒体供应者，或者发现上传服务供应者。

在本发明实施例中，采用P2P结构作为流媒体服务的网络结构，提高了数据的传输效率，减轻了宽带的负担，存储结构分为服务器和客户端，具有相互协作又分工明确的特点，模块化设计，可扩展性好；采用VSVR通用型数据冗余算法来存储数据，可以大大减少元数据的存储同时又提高了数据冗余性，增强服务的质量和防止突发数据的丢失。CacheM中的替换策略的设计，采用静态和动态相结合的缓存策略，静态部分适用于点播的起始阶段，使系统在高点播数的情况下尽可能地保证实时性；动态部分则采用了LRU替换算法和预取策略。资源定位抛弃了传统的集中式目录服务的形式，采用OBN结构，减轻了目录索引服务器的负载，同时也大大提高了整个系统的安全性，鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的基于P2P的视频点播系统结构示意图；

图2是本发明实施例中的视频分段与冗余编码VSVR处理过程图；

图3是本发明实施例中的动态缓存队列间关系结构图；

图4是本发明实施例中的缓存管理流程图；

图5是本发明实施例中的基于OBN结构下的节点维护的路由表结构示意图；

图6是本发明实施例中的基于OBN结构下的P1定位P2的流程图；

图7是本发明实施例中的基于OBN结构下的节点加入系统时发现上传服务供应者的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提出一种P2P视频点播系统，其主要涉及到系统的存储结构设计方案以及资源定位，通过优化缓存策略，使得该点播系统能够做到负载均衡、资源定位快，安全性强。

在基于P2P的流媒体点播系统(VOD/P2P)中，涉及到三类系统角色，即索引服务器、流服务器和用户节点，它们分别位于骨干网络、边缘网络和用户网络。通过分工与合作，这些角色共同完成用户点播、存储维护、数据推送等过程。图1为本发明实施例中基于P2P的视频点播系统架构图，该系统构造了服务器端和客户端涉及存储的主要功能模块，以及它们之间的相互联系。

在服务器端，主要有四类与存储相关的模块，其中：

流服务模块StrM(Streaming Module)：当系统中有用户点播视频时，StrM与其他P2P节点一起，向该点播用户提供数据。由于服务器的带宽比较昂贵，用户点播时一般会优先从P2P节点下载数据，在必要时才向StrM请求。

存储索引模块IdxM(Index Module)，通过用户节点周期性的存储状态汇报，Idx M掌握了系统中每个视频的存储信息。根据这些信息，IdxM主要提供两方面的功能：a)维护视频的种子节点地址，并在用户点播视频时返回种子列表；b)维护视频的冗余度，并提供给存储调度模块SchM。

存储调度模块SchM(Schedule Module)，负责优化整个系统的存储部署，以提高点播质量、减小服务器负载。SchM的一个主要功能是数据推送，即在服务器空闲时，将合适的视频数据发送到系统中合适的节点上。

视频存储模块StoM(Storage Module)，主要负责存储视频数据，并提供给StrM和SchM。

在客户端，主要有三类与存储相关的模块，其中：

下载调度模块DnSchM(Download Schedule Module)，当用户点播视频中的节点时，DnSchM负责从流服务器和其他用户节点下载数据。如何在满足视频播放的条件下，减少数据重复、达到负载均匀、减小服务器负载，是DnSchM的主要目标。

上传调度模块UpSchM(Upload Schedule Module)，当收到其他用户的数据请求时，UpSchM负责为这些用户提供数据。如何确定不同用户请求的服务优先级，以减少用户等待时间、改善用户点播体验，是UpSchM的主要目标。

视频缓存模块CacheM(Cache Module)，如何在有限的用户硬盘空间上存储尽可能多且有用的数据，以增加数据共享机会，减轻服务器负载，是CacheM的主要目标。

以上模块中，与VoD/P2P系统的存储优化最相关的是CacheM和SchM。CacheM关注于每个客户端的优化，而SchM关注全局的优化。

CacheM主要表现为数据冗余算法与替换算法的设计。本发明实施例采用一种通用的冗余模型，即视频分段与冗余编码(Video Segmentation and VideoRedundancy，VSVR)。具体参见图2。

VSVR包括视频分段、分块冗余、选择存储三部分，主要涉及分段粒度u、分块系数k、编码系数n三个参数，其形式化描述如下。VSVR中提到的纠错码有多种实现形式，一般较常用里德--所罗门编码(Reed Solomon Code)，其特点是：k个数据块编码出n块后，从k+n块中任取不同的k块即可解码出原始数据段。编解码有一定的计算开销。

VSVR的具体步骤如下：

1)视频分段：视频文件v以粒度u分段，设得到h个数据段，即v＝{s₁，s₂，...，s_h}；

2)对每个数据段s_i，i＝1，2，...，h：

分块冗余：将s_i均分成k个数据块

然后按照里德--所罗门编码从k块中编码出n块称j为

的块编号，j∈{1，2，...，k+n}；

选择存储：从k+n块中，选择不同的g_i块存储

设存储的块编号集合φ_i＝{j₁，j₂，...，j_gi}，则

且满足|φ_i|＝g_i≤k。

VSVR(u，k，n)中，对于某视频的不同数据段若节点只存储相同块编号的一个数据块，称这种存储方式为单列存储。其形式化描述为：同一视频中，对任意数据段s_x，s_y，x，y∈{1，2，...，h}，满足φ_x＝φ_y，且|φ_x|＝|φ_y|＝1。在单列存储中，所有存储的数据块公用一个块编号，因此描述存储状态需要的元数据大大减少。

VSVR是一个通用的算法模型，它可以描述目前VoD/P2P系统中广泛使用的大多数的存储策略。

视频完整存储ComSS(Complete Storage Strategy)：节点存储整个视频文件，对应于VSVR(filesize，1，0)单列存储，其中filesize表示视频文件大小。这种存储策略通常出现在服务器节点。

视频分段存储SegSS(Segmentation Storage Strategy)：节点存储视频文件的部分数据段，对应于VSVR(u，1，0)单列存储。当存储的数据列完整时，SegSS与ComSS的存储状态是相同的；但大多数情况下SegSS的数据列不完整，此时需要一个bitma描述节点的存储状态。这种存储策略被目前很多VoD/P2P系统的客户端采用，不同的系统对u的选择有所不同，例如PPLive选择u为2MB，UUSee选择u为500KB。

此外VSVR还支持视频分带存储、视频分带与少量冗余存储、网络编码存储、对等数据随机访问等。

CacheM另一方面是替换策略的设计，在P2P环境下，采用静态和动态相结合的缓存策略。静态部分适用于点播的起始阶段，使系统在高点播数的情况下尽可能地保证实时性。动态部分则采用了最近最少使用算法LRU替换算法和预取策略。

静态缓存区。骨干节点在内存中开辟一块静态缓存队列。当视频点播系统启动时，从硬盘上读取最近一段时间内点播率最高的一些视频文件的前几个数据块，存入静态队列的各个缓存块中。这样做是考虑到，为使用户在发送点播请求后能立即收看到视频节目，需在骨干结点的静态缓存空间内预存一定长度的节目起始片断。预存的节目长度根据节目热门度的不同而调整。静态存储空间内的数据短时间内不作变动，只有经过一段长的时间，节目热门度发生较大变化后才对静态存储空间内的数据进行调整。

动态缓存区由4个缓存队列组成：空闲队列、写操作队列、准备缓存队列和已读缓存队列。缓存块在各队列间的移动如图3所示。

对动态缓存区的操作包括：查找、准备、读取和替换。查找：用户请求和读取视频文件块都必须先进行查找操作。查找根据文件ID，文件块的偏移地址和文件块大小来进行。系统会检查文件系统中是否有请求的文件块。如果有则在静态缓存队列、已读缓存队列、准备缓存队列和写操作队列依次进行查找；如果没有找到则准备该文件块。

1准备：当系统准备视频文件块时，点播系统会取下空闲队列的第一个缓存块，从文件系统中查找所请求的文件块，将数据写入缓存块，并将缓存块加入写操作队列。当写入完成后，缓存块将被加入准备缓存队列。当一个文件块被用户读取后，它在同一文件中的后继文件块也会得到一个模拟查找请求，如果查找不存在也将被准备，这就是预取操作。

2读取：读取是用户下载所请求的文件块。在动态缓存区中，用户只能读取已读缓存队列和准备缓存队列中的文件块。已读缓存队列中的块被读取后会移到队尾，准备缓存队列中的块被读取一次后就会从准备队列中离开，加到已读队列的队尾。

3替换：当已读缓存队列达到一个上限时，就要对缓存块进行替换，使新的缓存块从准备队列加入已读队列后，已读队列仍然保持一定的大小。已读缓存队列的替换采用LRU算法，将最接近队首并且没有被读取或被请求的缓存块清空，加入到空闲队列里。另外，如果空闲队列中的缓存块不足，无法进行写入时，准备队列中的第一块(即写入最久但又没有被命中的那块)会被替换。

缓存管理的具体流程参见图4，具体步骤如下：

Step1：用户读取缓存块中的文件，转Step2；

Step2：将缓存块移到已读取队列的队尾，如果已读队列已满转Step3，否则转Step4；

Step3：将缓存块移到已读取队列的队尾，转Step4；

Step4：在文件系统中查找后续的文件，找到了则转Step5，否则就以失败结束流程；

Step5：一次在缓存区已读、预取和写操作队列中查找，在这些缓存区域找到则以成功结束流程，否则转Step6；

Step6：查找空闲队列是否有缓存块，若否则转Step7，相反则转Step8；

Step7：将一块从预取区替换到空闲区，转Step8；

Step8：将所需文件从文件系统读取到缓存区，读取完后以成功结束流程。

资源定位在P2P流媒体系统中直接影响到系统的运行效率和鲁棒性，其主要由存储索引模块来完成，本系统中的存储索引模块采用一种OBN的资源定位方法。OBN抛弃了P2Cast和P2VoD将资源定位内嵌到内容分发拓扑中的做法，它利用互联机制来解决供应者发现的问题。它将节点之间的播放时间的差值作为缓存内容的重叠的程度提出了缓存覆盖网络(Overlapping Buffer Network，OBN)的结构。

OBN系统中每一个节点上维护的路由表有三种连接类型，如图5所示。每个路由表包含OB表、邻接表(Adjaceny表)、指向表(Finger表)。为了实现快速跳至时间轴的不同的区间，采用类似Chord中指向表(finger table)的概念，称为跳跃链接表。令B来表示每一个节点可以缓存的数据流的时间长度，M表示一个常数，且M＞B指向表的第i行记录着距离本地节点2iM个时间单元的节点。指向表可以使一个节点在时间轴上跳跃很长的距离。

使用OBN搜索流媒体供应者搜索过程如下：

假设节点P1当前播放时间是t1，其想跳跃至时间t1’，节点P2覆盖着包含时间t1’的缓存数据，P2的当前播放时间是t2。在OBN中，每个节点的路由表的连接是向时间轴的两个方向上延展的，所以不管节点P2的播放时间是在P1之前还是之后，P1都可找到P2。我们可以假定t1＜t1’。

P1定位P2的过程如图6所示，具体如下几个步骤：

Step1：P1查看OB表看t1’是否在OB表连接的邻居节点的滑动窗口中，若在其中，则P2成功被找到，结束搜索；否则继续Step2；

Step2：P1查找自己的邻接表看t1’是否被邻近的邻居所覆盖；若找到，成功返回，否则执行Step3；

Step3：P1利用其指向表将请求路由到合适的供应者。其搜索效率为O(logT)跳，其中T为流媒体的播放时间长度。

节点加入系统时发现上传服务供应者的过程可参见图7，具体要通过以下5步来实现：

Step1：新节点N向媒体服务器S请求起始时间为t的流数据；

Step2：S为节点N寻找一个入口节点E；

Step3：节点E会发送一个搜索请求来定位节点D，节点D缓存着时间t的数据片段的内容；

Step4：由于会有很多可以提供服务的节点，所以节点D将检查自己的OB表并通知其他节点；

Step5：节点N集合所有候选者的信息选择其中一个节点P来作为流媒体数据的提供者。

系统节点周期性检查路由表中节点的活动性，若OB表中的某一个节点失效了，那么就直接将该节点删除。如果一个邻近邻居节点失效了，那么就从OB表中查找一个最近的节点作为新的邻近邻居节点。如果OB表为空，就通过跳跃链来重新定位邻近邻居节点。

总而言之，本发明提出了一种基于P2P的流媒体点播系统的有效存储结构。该存储结构分成服务端和客户端。在服务端主要有流服务模块、存储索引模块、存储调度模块和视频存储模块；在客户端主要包含下载调度模块、上传调度模块和视频缓存模块。上述模块中，与VoD/P2P系统的存储优化最相关的是CacheM和SchM；CacheM关注于每个客户端的优化，而SchM关注全局的优化。

CacheM主要表现为数据冗余算法与替换算法的设计。本发明采用一种通用的冗余模型，即视频分段与冗余编码VSVR。VSVR是一种通用的算法模型，可以应用在各种主流的存储策中。替换策略的设计，我们采用静态和动态相结合的缓存策略。资源定位在P2P流媒体系统中直接影响到系统的运行效率和鲁棒性，本系统采用一种OBN的资源定位方法。综上，本发明提出的存储结构和资源定位的方法都具有运行效率高、资源利用率高、定位快、安全性能强等特点，具有很高的实用性。

本发明实施例具有如下优点：

1)采用P2P结构作为流媒体服务的网络结构，提高了数据的传输效率，减轻了宽带的负担，存储结构分为服务器和客户端，具有相互协作又分工明确的特点，模块化设计，可扩展性好；

2)采用VSVR通用型数据冗余算法来存储数据，可以大大减少元数据的存储同时又提高了数据冗余性，增强服务的质量和防止突发数据的丢失。

3)CacheM中的替换策略的设计，采用静态和动态相结合的缓存策略，静态部分适用于点播的起始阶段，使系统在高点播数的情况下尽可能地保证实时性；动态部分则采用了LRU替换算法和预取策略。

4)资源定位抛弃了传统的集中式目录服务的形式，采用OBN结构，减轻了目录索引服务器的负载，同时也大大提高了整个系统的安全性，鲁棒性。

以上对本发明实施例所提供的，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于P2P的视频点播系统，其特征在于，所述系统包括服务器端和客户端，其中： 

服务器端包括： 

流服务模块，用于在系统中有用户点播视频时，与P2P节点一起向用户提供数据； 

存储索引模块，用于通过用户节点周期性的存储状况汇报，掌握视频点播系统中每个视频的存储信息； 

存储调度模块，用于优化整个系统的存储部署，在检测到服务器端空闲时，将合适的视频数据推送到合适的P2P节点上； 

视频存储模块，用于负责存储视频数据，并提供给流服务模块和存储调度模块； 

客户端包括： 

下载调度模块，用于当用户点播视频时，从服务器端和其他的用户节点上下载数据； 

上传调度模块，用于收到其他用户的数据请求时，负责为请求的用户提供数据； 

视频缓存模块，用于缓存服务器端推送的数据； 

其中，所述存储索引模块使用缓存覆盖网络OBN对系统中的视频文件进行索引。 

2.如权利要求1所述的系统，其特征在于，所述视频缓存模块通过视频分段与冗余编码实现对服务器端推送的数据进行存储。 

3.如权利要求2所述的系统，其特征在于，所述视频分段与冗余编码包括视频分段、分块冗余、选择存储三部分，所述视频分段与冗余编码支持视频完整存储、视频分段存储、视频分带存储、视频分带与少量冗余存储、网络编码存储、对等数据随机访问。 

4.如权利要求1所述的系统，其特征在于，所述视频缓存模块采用静态与动态结合的缓存策略，静态部分适用于点播的起始阶段，使系统在高点播数的情况下尽可能保证实时性，动态部分采用最近最少使用算法LRU替换算法和预取策略。 

5.如权利要求4所述的系统，其特征在于，所述视频缓存模块中的动态缓存区由4个缓存队列组成：空闲队列、写操作队列、准备缓存队列和已读缓存队列；其中对动态缓存区的操作包括：查找、准备、读取和替换。 

6.如权利要求1所述的系统，其特征在于，所述存储索引模块周期性检测P2P节点的活动性，若OB表中的某一个节点失效了，则删除该节点；若邻近邻居节点失效了，则从OB表中查找最近的节点作为新的邻近邻居节点；如果OB表为空，则通过跳跃链重新定位邻近邻居节点。 

7.如权利要求1所述的系统，其特征在于，所述存储索引模块通过OBN搜索流媒体供应者，或者发现上传服务供应者。 

Images