CN101540884B - 一种基于跳图的对等化VoD系统构建方法 - Google Patents

Abstract

本发明公开了一种基于跳图的对等化VoD系统及其构建方法，主要包括客户缓存管理器、覆盖网拓扑管理器、VCR流调度器。客户缓存管理在每个客户节点维护一个滑动窗口，缓存最近接收到的视频内容，并根据需要将流内容转发给其他客户节点。覆盖网拓扑管理采用跳图技术，将观看同一视频的所有客户节点组织一个称之为CSG的P2P覆盖网络，每个CSG由若干个互不相交的VN客户簇组成，每个VN由播放点相近的若干客户节点组成。VCR请求调度以CSG为基础，基于客户缓存，实现对VCR请求内容的快速定位与服务重定向。本发明实现了基于客户节点缓存的流请求快速定位与服务响应，有效降低了服务器负载。

Description

一种基于跳图的对等化VoD系统构建方法 

技术领域

本发明涉及网络视频点播系统VoD(Peer-to-Peer Video-on-Demand)，具体是采用跳图技术(Skip Graph)，结合客户缓存，将观看同一视频的所有客户节点组织成一个基于跳图的P2P覆盖网络CSG(Clustered Skip Graph)，并基于CSG设计了一种支持VCR操作的流调度算法。 

背景技术

视频点播VoD是计算机技术、网络技术、多媒体技术发展的产物。在VoD系统中，用户可异步请求视频，在播放过程中可自由地执行各种VCR操作(如暂停、快进、跳转等)。VoD摆脱了传统电视受时空限制的束缚，使用户可根据个人偏好，按需选择视频服务，有效支持了个性化信息服务需求。然而，作为Internet上一种“KillerApplication”，VoD视频流服务有很高的带宽需求，若采用传统的Client/Server(客户/服务器)模式来搭建VoD系统，系统的可扩展性将受限于服务器性能(包括网络带宽、处理能力、内存等)，系统规模及吞吐量的提升与优化常以增加硬件投资为代价。P2P计算为互联网的资源共享与服务协同提供了一种新的技术途径，P2P网络中的节点在向其他节点请求数据的同时，也可为网络中的其余节点提供数据转发功能。通过节点协作，可有效缓解服务器负载，从而提高系统可扩展性。然而，在VoD系统中，流服务的实时性、请求的异步性及VCR操作的动态性使用户协作更具挑战性，必须建立有效的覆盖网络拓扑管理机制，支持实时流调度，最小化服务器开销。 

发明内容

本发明所要解决的技术问题是针对VoD系统中流服务的实时性、请求的异步性及VCR操作的动态性，提出一种新的基于跳图的对等化VoD系统及其构建方法，使在较小的代价下，有效的支持用户的VCR操作，并减轻服务器负担，提高系统可扩展性。 

本发明所述的基于跳图的对等化VoD系统，包括服务器和与服务器连接的若干客户节点，其特征在于每个客户节点包括： 

1)客户缓存管理器：在每个客户节点维护一个滑动窗口，缓存最近接收到的视频 内容，并根据需要将缓存内容转发给其他客户节点； 

2)覆盖网拓扑管理器：将观看同一视频的所有客户节点组织P2P覆盖网络CSG，实现对客户节点的动态管理；

3)VCR流调度器：基于客户缓存，实现对VCR请求内容的快速定位与服务重定向。 

上述基于跳图的对等化VoD系统的构建方法，包括服务器和与服务器连接的若干客户节点，构建包括以下部分： 

1)客户缓存管理：在每个客户节点维护一个滑动窗口，缓存最近接收到的视频内容，并根据需要将缓存内容转发给其他客户节点； 

2)覆盖网拓扑管理：将观看同一视频的所有客户节点组织P2P覆盖网络CSG，实现对客户节点的动态管理，其具体步骤是： 

21)进行CSG拓扑结构的规划与用户簇VN的划分；其包括以下分步骤： 

211)服务器记录从开始运行起到当前位置的秒数，即当前时刻，其每秒加1； 

212)在用户加入系统时，服务器告知其当前时刻，用户每过1秒继续将其加1，用户由此估算其起始播放时间； 

213)由用户的起始播放时间确定其所属的用户簇，将用户划分为不同的用户簇，称用户簇为VN，每个VN有一个相应的键值，属于某个VN的用户的起始播放时间和VN宽度(w)之间的商等于该VN的键值； 

214)每个VN之间根据各自的键值确定相邻关系，每个VN都记录相邻VN的信息，以各VN之间的相邻关系为基础，形成拓扑结构CSG，在CSG中，两个VN X和Y是相邻的是指，不存在Z，其键值介于K(X)和K(Y)之间，并且 

(K(X)来表示X的键值， 是指这样的最大的整数，其满足 

)。 

22)对用户簇VN进行查找、节点加入/退出的处理； 

23)基于CSG的P2P VoD运行系统的动态构建； 

3)VCR请求调度：基于客户缓存，实现对VCR请求内容的快速定位与服务重定向。 

上述部骤1)的流程是： 

11)每个客户端用一块固定大小的连续内存来缓存视频内容； 

12)用户根据现有播放点预取若干秒的播放内容； 

13)缓存以环的形式进行更新，即将缓存地址逻辑上首尾相连，由低地址向高地址逐次写入数据，每次到达最大地址时，从最小地址开始将新数据覆盖原有数据。 

上述部骤23)流程是： 

231)在VoD系统的服务器端，维护至多c(常数)个代表节点的地址信息，这些代表节点每秒从服务器端下载小块的数据； 

232)当一个客户节点将加入请求发送给服务器后，如果系统中尚没有其他客户节点，服务器发送空的查找结果给申请节点，记录该节点地址信息，并从请求播放点开始传输数据给请求节点； 

233)如果新用户加入时系统已经存在其他客户节点，则服务器创建以加入节点为请求节点的查询请求消息，并将其发送给服务器维护的代表节点中的一个，该代表节点是离请求节点的请求播放点最近的一个； 

234)在CSG中的查询操作返回可提供数据传输的其他客户节点，即查找新用户节点所属的VN，在该VN和最近的左相邻VN中获取可提供数据的用户节点，并从这些节点开始传输数据； 

235)如果不存在可提供数据传输的其他客户节点或者其提供的传输速率不能满足播放要求，则通过从服务器获得部分数据来弥补。 

上述部骤3)流程是： 

31)执行VCR操作后，用户起始播放时间发生变化，如果其不再属于原来的VN，则通过CSG中节点退出→所属VN查找→节点加入操作可实现内容的快速定位和服务重定向； 

32)如果VCR操作后用户仍属于原VN，则无需额外的拓扑管理操作 

本发明采用滑动窗口机制维护客户节点缓存，用于缓存最近接收到的视频内容。与此同时，借助分布式协作机制，将观看同一视频的所有客户节点组织成基于跳图的P2P覆盖网络CSG，支持对客户节点的动态管理。在此基础上设计了一种支持VCR操作的请求调度方案，实现了基于客户节点缓存的流请求快速定位与服务响应，有效降低了服务器负载。 

附图说明

图1系统结构图； 

图2客户节点构架图； 

图3CSG逻辑结构图； 

图4单个代表节点的VN查找请求处理流程； 

图5新客户节点加入操作流程； 

图6单个代表节点的对新VN加入消息的处理； 

图7节点离开操作。 

具体实施方式

本发明提供了一种基于跳图的P2P VoD系统及其构建方法，下面结合附图进行详细说明。 

如图1所示，VoD系统由客户节点和服务器端两部分组成，本发明所提出的P2P VoD系统将观看同一视频的用户组织成一个称为CSG的P2P覆盖网络。CSG由若干互不相交、被称为VN的客户簇构成，其中每个VN由播放点相近且落在特定视频内容区间的客户节点组成。客户节点之间的数据传输及客户节点VCR请求响应都由组成CSG的客户节点协作完成。本发明通过在客户节点之间建立分布式协作机制完成P2P VoD系统的构建，图2给出了客户节点分布式协作机制所涉及到的核心模块，每个客户节点由缓存管理器、CSG拓扑管理器和VCR流调度器等三个部分组成。 

CSG拓扑管理器是本发明的核心，负责对客户节点的动态管理，根据客户动态行为 (加入、退出及VCR操作等)实时优化拓扑结构，保证P2P覆盖网络的连通与稳定，并为VCR请求的快速调度提供基础支撑。CSG拓扑管理主要包括CSG拓扑结构规划、节点加入管理、节点退出。 

CSG拓扑结构规划设计如下： 

CSG中，每个VN都有一个为整数的键值，属于同一VN的客户节点具有如下性质： 

客户节点的起始播放时间和每个VN的宽度(w)的商，恰好是该客户节点属于的VN的键值。 

其中起始播放时间指“当前时刻”减去当前播放点的偏移(这里的“当前时刻”是指系统开始运行起到当前的秒数)，客户节点的起始播放时间相近意味着拥有相近的播放点，较小的起始播放时间意味着较大的播放点偏移。例如，某VN的宽度w＝20(秒)，其中一个客户节点的起始播放时间为6705(秒)，那么该VN的键值就是350(6705/20)。由于每个客户节点都缓存最近接收到的数据，因此，属于同一个VN的客户节点缓存有相近的视频内容，键值相近的VN中的客户节点也可能缓存有相近的视频内容，这些客户节点之间存在较大协作传输机会。 

VN之间根据各自的键值来建立VN之间的特殊相邻关系，每个VN都记录相邻VN的信息，VN之间根据相邻关系形成特定的拓扑结构，在此拓扑的基础上可设计有效的查询算法，实现节点的快速定位。 

在没有VCR操作的情况下，一个客户节点的起始播放时间不会变化，即其所属的VN不会改变。对于某个VN(X)来说，我们用K(X)来表示X的键值，用φ(X，Y)来表示这样的最大的整数，其满足 

我们称两个VN的键值差的绝对值为两个VN之间的距离，φ(X，Y)可理解为X和Y之间距离的质因子表达式中2的个数。 

在CSG中，两个VN X和Y是相邻的是指，不存在Z，其键值介于K(X)和K(Y)之间，并且φ(X，Z)≥φ(X，Y)。 

键值小于自身键值的邻居，称之为左邻居；键值大于自身键值的邻居，称之为右邻居。由相邻VN的定义我们可以看出，每个VN所拥有的邻居不超过2log(L/w)(L为影 片长度，w为每个VN的宽度)个。 

图3展示了一个由10个不同客户节点组成的CSG的逻辑拓扑。在CSG的逻辑拓扑图中，每两个相邻的VN都有一条边相连，在图3中，VN 3，6，11，13都和VN 9的相邻。每个VN中都有至多m(m为常数)个代表节点(客户节点)，这些代表节点负责维护拓扑信息，即相邻VN的代表节点信息和属于本VN的客户节点信息；每个客户节点的拓扑管理器都维护其所属的VN的所有代表节点地址信息。例如，在图3中，u1为VN 3的代表节点，u2，u3存有u1的地址信息。 

VN的查找： 

对于每个新加入的用户节点，或者经过VCR操作后起始播放时间发生变化的节点，需要查找其所属的VN，CSG中的VN查找操作是通过协作完成的，图4展示了一个代表节点处理VN查找请求的操作流程。查找结果将由离要查找的VN最近的VN中的代表节点返回，如果被请求的代表节点非返回节点，其将通过步骤15转发查找请求，每次查找请求的转发都使得被请求节点所属VN和要查找VN之间的距离变小，因此经过若干次转发后，必将到达可返回节点。VN查询返回内容包括该VN的代表节点以及最近的左右相邻VN的代表节点(如果存在)。 

新节点加入时的处理过程如下： 

当一个节点加入时，其操作流程如图5所示，对于新加入的客户节点节点，经过VN查找返回后，如果其所属的VN已经存在，则加入该VN，如果代表节点还不满m个，则新节点成为代表节点，并将代表节点集的变化通知所有邻居VN。如果所属VN不存在，则创建该VN并其将其分别通知左邻居中最近的VN和右邻居中最近的VN(如果存在)。如果新建的VN是被通知VN的新邻居，则被通知VN将更新其邻居列表，如图6中的步骤33和步骤34，邻居列表更新是指将新VN加入邻居列表，并将因新VN的加入而不再是邻居的VN从邻居列表中删除。被通知的VN在更新自己的邻居列表的同时，将新VN创建消息通知给其他需要被通知的VN。将新VN设为X，被通知VN设为Y，图6中步骤37和步骤39中所说的需要通知的VN Z满足φ(X，Z)≥φ(X，Y)。从相邻VN的定义和图6所示的单个代表节点对新VN加入信息的处理，我们可以看出，新VN的左相邻VN是从右到左(键值从大到小)顺序被通知的，新VN的右相邻VN是从左到右(键值从小 到大)顺序被通知的。 

节点退出时的处理过程如下： 

当一个节点离开时，其操作流程如图7所示，当该节点为所属VN的唯一节点的时候，该VN将被删除，离开节点将其删除消息通知所有邻居，删除消息中还包含了对于被通知节点来说因该VN删除而产生的新邻居信息，如在图3中，VN6的删除将使得VN4成为VN9的新邻居。如果离开节点是所属VN中的代表节点但非唯一节点，如果存在非代表节点，则取其中一个代替自己成为代表节点，否则，代表节点数减1，代表节点集的变化将通知所有邻居VN。 

VCR请求调度的处理过程如下： 

执行VCR操作后，用户起始播放时间发生变化，如果其不再属于原来的VN，则通过CSG中节点退出→所属VN查找→节点加入操作可实现内容的快速定位和服务重定向；如果VCR操作后用户仍属于原VN，则无需额外的拓扑管理操作。 

基于CSG的P2P VoD系统的运行过程如下： 

在VoD系统的服务器端，维护至多c(常数)个代表节点的地址信息，这些代表节点每秒从服务器端下载小块(小对于每秒播放的视频大小)的数据，以此来保持服务器端这些代表节点地址信息的时效性，同时也不造成对服务器的大的负担。 

当一个客户节点将加入请求发送给服务器后，如果系统中尚没有其他客户节点，服务器发送空的查找结果给申请节点，并从请求播放点开始传输数据给请求节点；如果系统已经存在其他客户节点，则服务器创建以加入节点为请求节点的查询请求消息，并将其发送给服务器维护的代表节点中的一个(播放点离请求节点的请求播放点最近的一个)。经过已有代表节点经的协作查找，返回查找结果个查询请求节点。查找返回后，从所属VN代表节点和左邻居代表节点处，请求加入节点可以获得拥有将要播放数据的其他客户节点地址(如果存在)，并向这些客户节点请求数据。如果不存在这样的客户节点，或者从这些客户节点下载数据的速率不够，则请求节点从服务器请求数据以弥补不足的带宽。 

当用户执行VCR操作(比如播放点跳转)时，不再需要服务器的帮助，来重新查找 VCR操作后所属的的VN和可以提供数据其他客户节点，因为操作节点本身已经知道部分代表节点的信息。 

Claims (4)

1.一种基于跳图的对等化VoD系统的构建方法，包括服务器和与服务器连接的若干客户节点，其特征在于包括以下步骤：

1)客户缓存管理：在每个客户节点维护一个滑动窗口，缓存最近接收到的视频内容，并根据需要将缓存内容转发给其他客户节点；

2)覆盖网拓扑管理：将观看同一视频的所有客户节点组织P2P覆盖网络CSG，实现对客户节点的动态管理，其具体步骤是：

21)进行CSG拓扑结构的规划与用户簇的划分；其包括以下分步骤：

211)服务器记录从开始运行起到当前位置的秒数，即当前时刻，其每秒加1；

212)在用户加入系统时，服务器告知其当前时刻，用户每过1秒继续将其加1，用户由此估算其起始播放时间；

213)由用户的起始播放时间确定其所属的用户簇，将用户划分为不同的用户簇，称用户簇为VN，每个VN有一个相应的键值，属于某个VN的用户的起始播放时间和VN宽度(w)之间的商等于该VN的键值；

214)每个VN之间根据各自的键值确定相邻关系，每个VN都记录相邻VN的信息，以各VN之间的相邻关系为基础，形成拓扑结构CSG，在CSG中，两个VN X和Y是相邻的是指，不存在Z，其键值介于K(X)和K(Y)之间，并且K(X)来表示X的键值，是指这样的最大的整数，其满足

22)对用户簇VN进行查找、节点加入/退出的处理；

23)基于CSG的P2P VoD运行系统的动态构建；

3)VCR请求调度：基于客户缓存，实现对VCR请求内容的快速定位与服务重定向。

2.根据权利要求1所述的基于跳图的对等化VoD系统的构建方法，其特征在于步骤1)流程是：

11)每个客户端用一块固定大小的连续内存来缓存视频内容；

12)用户根据现有播放点预取若干秒的播放内容；

13)缓存以环的形式进行更新，即将缓存地址逻辑上首尾相连，由低地址向高地址逐次写入数据，每次到达最大地址时，从最小地址开始将新数据覆盖原有数据。

3.根据权利要求1或2所述的基于跳图的对等化VoD系统的构建方法，其特征在于部骤23)流程是：

231)在VoD系统的服务器端，维护至多常数c个代表节点的地址信息，这些代表节点每秒从服务器端下载小块的数据；

232)当一个客户节点将加入请求发送给服务器后，如果系统中尚没有其他客户节点，服务器发送空的查找结果给申请节点，记录该节点地址信息，并从请求播放点开始传输数据给请求节点；

233)如果新用户加入时系统已经存在其他客户节点，则服务器创建以加入节点为请求节点的查询请求消息，并将其发送给服务器维护的代表节点中的一个，该代表节点是离请求节点的请求播放点最近的一个；

234)在CSG中的查询操作返回可提供数据传输的其他客户节点，即查找新用户节点所属的VN，在该VN和最近的左相邻VN中获取可提供数据的用户节点，并从这些节点开始传输数据；

235)如果不存在可提供数据传输的其他客户节点或者其提供的传输速率不能满足播放要求，则通过从服务器获得部分数据来弥补。

4.根据权利要求1或2所述的基于跳图的对等化VoD系统的构建方法，其特征在于部骤3)流程是：

31)执行VCR操作后，用户起始播放时间发生变化，如果用户不再属于原来的VN，则依次通过CSG中节点退出、所属VN查找、节点加入操作以实现内容的快速定位和服务重定向；

32)如果VCR操作后用户仍属于原VN，则无需额外的拓扑管理操作。

Images