CN102316097B - 一种减少用户等待时间的流媒体调度分发方法 - Google Patents

Abstract

本发明公开了一种减少用户等待时间的流媒体调度分发方法，目的在于解决现有技术所存在的网络延时大、磁盘故障率高等技术问题，提供一种结合p2p技术和移动互联网特点的一种减少用户等待时间的流媒体调度分发方法。它包括由多个区域构成分布式流媒体分发系统，区域中间设置一个数据中心；不同文件以无切片方式分散存放；区域间由媒体路由器相互通信构成P2P网络；每个区域都包含一个媒体路由器和多个媒体引擎；设置有资源的预取操作；媒体引擎实时监测系统运行负载并上报媒体路由相关信息；媒体引擎间都互相连接并通信，媒体资源在引擎间自由调度等。本发明可广泛使用于移动互联网的点播和直播服务。

Description

一种减少用户等待时间的流媒体调度分发方法

技术领域

本发明涉及流媒体通信技术领域，尤其涉及一种能够减少用户等待时间的流媒体自均衡调度分发的方法。

背景技术

随着多媒体网络通信技术的发展，多媒体流式传输尤其是高比特率视频流式传输已从处理数千用户发展到数百万用户，而在移动互联网中，用户数更是达到千万以上，靠集中的强大机器或者集群的传统分发方法是无法满足这样的需求的。

在现有技术中，无论是使用集群流服务器还是分布式的流媒体分发系统，因其进行流服务的基本单元内存有限，使得缓存的流媒体文件或者流媒体文件切片（将流媒体文件划分为较小的分段，称为“切片”）命中率低下，磁盘IO访问频率高，从而导致磁盘的损坏率高，系统维护成本大，从用户的体验上来看则是响应时间较长，尤其是对移动互联网这种网络延迟本身较大的环境下响应时间长的问题更加突出。

公开日为 2007年08月29日、公开号为CN 101026744A的专利文献公开了这样的技术方案： 一种分布式流媒体分发系统，它采用的流媒体分发系统由多个区域组成，其中一个区域为系统总部，每个区域包括归属媒体站和至少一个边缘媒体站，其中，归属媒体站用于存储流媒体内容，并对所存储的流媒体内容按热度统计方式进行网络拷贝分发到所述边缘媒体站，边缘媒体站通过网络与归属媒体站通信，并基于用户请求和热度统计方式内存缓冲和磁盘存储最热门的流媒体内容的切片，以提供流服务，可大幅提高媒体内容的内存缓冲命中率，有效地减少磁盘IO的访问率。该技术方案的不足之处是：区域有主次之分，成为非完全P2P型网络，中央节点的性能会有瓶颈和压力；只适合文件点播型流式服务，不能同时很好地适应不间断传输的直播的流式服务；以连续的切片分散存放调度，增加了网络延时，并且不可避免地由此产生较多的磁盘IO访问次数，影响系统可靠性。

发明内容

本发明主要是解决现有技术所存在的网络延时大、磁盘损坏率高等技术问题，提供一种结合P2P技术和移动互联网特点的一种减少用户等待时间的流媒体调度分发方法，使整个移动互联网上任一点对外提供稳定可靠快速响应的流媒体服务功能。

本发明针对现有技术问题主要是通过下述技术方案得以解决的：一种减少用户等待时间的流媒体调度分发方法，包括：由多个区域构成分布式流媒体分发系统并提供流服务；在所述区域中设置一个数据中心；所述区域间由媒体路由器相互通信构成P2P网络；每个所述区域都包含一个媒体路由器和多个媒体引擎；该方法包括：（1）不同流媒体文件分散存放；（2）设置资源预取操作，根据新上线的节目单以及用户的访问频率预取资源到媒体引擎；（3）所述媒体引擎实时监测系统运行负载并上报媒体路由相关信息，媒体路由根据这些信息对用户请求进行均衡路由；（4）媒体引擎间互相连接并通信，媒体资源在引擎间自由调度。

移动互联网的特点是低速、不稳定，终端之间无法直接互联，同时移动终端数量庞大，地域分散广泛。本发明主要结合了p2p技术和计算机组成系统的概念，将移动互联网系统划分为多个区域，由多个区域构成分布式流媒体分发系统，区域中间设置数据中心；不同流媒体文件分散存放（不需切片）；区域间通过媒体路由器连接，从而构成一个庞大的p2p网络，充分利用系统上的软硬件资源；由于流媒体文件不是以切片方式存放，因此，不会出现切磁盘IO访问频率高、导致磁盘的损坏率高、系统维护成本大、用户体验感觉响应时间长等问题，所设置的资源的预取操作，能够根据新上线的节目单以及用户的访问频率预取资源到媒体引擎，使尽量多的用户请求直接从内存存取后返回，同时由于系统分区域部署，根据用户的接入自动选择较近的区域服务，因此，很有效地减少了用户的等待时间；媒体引擎实时监测系统运行负载并上报媒体路由相关信息，媒体路由根据这些信息对用户请求进行均衡路由；媒体引擎间都互相连接可通信，媒体资源在引擎间自由调度，从而实现流媒体自均衡调度。上述措施使整个系统在任一点上对外提供稳定可靠快速响应的流媒体服务功能。

作为优选，每个区域还包括一个备份媒体路由器，提供对媒体路由器的热备份功能，以提高网络系统的工作可靠性。

作为优选，媒体路由器是由至少具备相同功能的两台服务器构成，以提供热备份功能。主媒体路由器和备份媒体路由器是功能相同的两台服务器，提供热备份功能。系统中可以放置多台这样的备份媒体路由器，以进一步提高系统工作可靠性。

作为优选，客户端采用单纯tcp协议连接，以减少客户端与服务器间交互次数。系统支持多种协议接入，客户端可以采用单纯tcp协议连接来减少客户端/服务器间交互次数，使用户响应进一步加快。

作为优选，流服务步骤包括：

1）          媒体路由器接收来自用户的关于流媒体资源的请求（点播或直播）；

2）          媒体路由器查询请求的流媒体资源是否存在于媒体引擎缓存中；

3）          媒体路由器在基于查询媒体引擎缓存成功的情况下，与媒体引擎交互，询问是否可以服务；

4）          在存有缓存资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定，将选定的媒体引擎作为当前终端用户的流服务引擎，回复终端媒体引擎的地址，终端重定向到选定媒体引擎进行流服务请求；

5）          媒体路由器在查询媒体引擎缓存失败下，进行媒体引擎的磁盘存储查询；

6）          媒体路由器在基于查询媒体引擎磁盘成功的情况下，与媒体引擎交互，询问是否可以服务；

7）          在存储资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定；

8）          所选定的媒体引擎读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；

9）          媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；

10）     在上述查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请；

11）     所选定的媒体引擎在获取资源后重复步骤8)；

12）     在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；

13）      所选定的媒体引擎在获得资源后重复步骤8)。

上述步骤使整个系统在任一点对外提供稳定可靠快速响应的流媒体服务功能。

作为优选，资源调度步骤包括：

A)  媒体路由器从数据中心获取媒体热度信息及最新上线媒体信息，媒体路由器根据媒体热度统计信息进行需要预取的媒体资源排序；

B)  媒体路由器依据负载信息选定部分媒体引擎要求从数据中心预取排序中的媒体资源；

C)  所选定的媒体引擎将本地存储的资源通过LRU算法（即最近最少使用页面置换算法）进行替换；

D)  所选定的媒体引擎从数据中心获取资源后，在内存缓存，并向媒体路由器汇报缓存变化情况；

E)  媒体引擎定时检查缓存数据的访问情况，同样通过LRU算法进行数据从内存到磁盘的转移，并向媒体路由器汇报缓存和磁盘的变化情况；

F)  所选定的媒体引擎在获取资源后，读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；

G)  媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；

H)  在上述查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请；

I)  在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；

J)  报告资源变更信息、更新资源索引表。

上述资源调度步骤进一步使整个系统在任一点对外提供稳定可靠快速响应的流媒体服务功能。

本发明带来的有益效果是，对不同地域的用户访问都能减少用户等待时间，提供很好的用户响应体验，系统随着访问量的增多可进行方便的无缝扩容，可自动均衡各服务器间的负载，不产生性能瓶颈，文件以无切片方式存放有效地降低了磁盘IO访问频率、以及磁盘的损坏率，系统结构同时适合文件点播和不间断传输的直播的流式服务。

附图说明

图1是本发明的一种拓扑图；

图2是本发明的一种单个区域的系统结构图；

图3是本发明的单个区域的系统逻辑图；

图4是本发明的一种单个区域的系统模块组成框图；

图5是本发明的一种流服务时序图；

图6是本发明的一种资源调度时序图。

具体实施方式

下面通过实施例，并结合附图，对本发明的技术方案作进一步具体说明。

实施例： 如图1、图2所示，本发明是一种减少用户等待时间的流媒体调度分发方法，该方法包括：由区域1、区域2、区域3、区域4构成分布式流媒体分发系统，区域中间设置一个资源池即数据中心和直播服务器，资源池与整个网络平台共用，直播服务器是提供直播流服务的地方使用；不同文件分散存放（无切片）；区域间由媒体路由器相互通信构成p2p网络；区域1、区域2、区域3、区域4每个区域都包含主、备两个媒体路由器和媒体引擎1、媒体引擎2、媒体引擎3、媒体引擎4（n=4）；系统设置有资源的预取操作，根据新上线的节目单以及用户的访问频率预取资源到相应媒体引擎；媒体引擎实时监测系统运行负载并上报媒体路由相关信息，媒体路由根据这些信息对用户请求进行均衡路由；媒体引擎间都互相连接并进行通信，媒体资源在引擎间自由调度。

图2是单个区域的系统结构图。流媒体服务系统从功能上分层三层：内容层、引擎层、路由层。

l       内容层：由于资源的本质区别，需要分层为两种类型即资源池和直播服务池。资源池与统一媒体平台的资源系统共用，直播服务池是提供直播流服务的地方，是对多种直播视频接入源的转换和转发服务。他们同时提供流媒体服务系统的原始资源。

l       引擎层：引擎层是一个媒体引擎服务集群，每个媒体引擎功能相同，直接对用户提供流媒体数据推送服务，同时自身也是一个流媒体分布式分发集群系统。

l       路由层：路由层是对所有媒体引擎的管理模块，负责客户端的访问接入和分配媒体引擎提供流服务，同时调度媒体引擎的内容。

图3是单个区域的系统逻辑图。流媒体服务系统主要由两个角色构成：媒体路由器和媒体引擎。

其中媒体路由器由具备相同功能的两台服务器构成，以提供热备份功能；媒体引擎则根据服务用户的规模可进行收缩性的减少或扩充。媒体路由器负责接收用户的流媒体服务申请，并对流媒体内容基于热度统计方式进行网络拷贝分发到媒体引擎，同时维护所有媒体引擎中流媒体内容的位置信息，作为用户申请的路由调度依据。媒体引擎与媒体路由器通信，并基于用户的请求和热度统计方式内存缓冲和磁盘存储热门的流媒体内容，以提供用户流服务。

图4是单个区域的系统模块组成框图。图中媒体路由系统由客户接入处理模块、路由选择模块、媒体引擎磁盘索引、媒体引擎内存索引、磁盘管理模块、内存管理模块、数据流式化模块、媒体引擎服务器组成。媒体引擎由媒体引擎服务器、磁盘管理单元、内存管理单元、数据流式化组成。每个媒体引擎的地位是平等的，彼此独立地进行流媒体内容的缓存和流式服务。

客户接入处理模块，用于接收客户端的流媒体请求，验证请求的有效性，然后确定所请求流媒体内容在媒体引擎中的位置。

路由选择模块，处理路由请求及智能调度资源等。该模块定时读取统计的流媒体热度信息，基于热度信息和最新上线信息来调度媒体引擎中缓存或储存的流媒体内容，包括用于直播处理的媒体引擎选择和预读调配。

磁盘管理模块，管理整个网络数据中心站点内所有媒体引擎的磁盘里存放的流媒体内容位置等信息。

内存管理模块，管理整个网络中心站点内所有媒体引擎中内存中缓存的流媒体内容确切位置等信息。

磁盘管理单元，用于管理本地的磁盘存储流媒体内容，服从媒体路由器的媒体分块模块调度，在媒体路由器的磁盘管理模块的管理下形成磁盘存储集群。

内存管理单元，实现媒体引擎内的本地内容缓存，并向媒体路由器的内存管理模块提交汇报和更新缓存的流媒体内容信息。

数据流式化模块，提供单个流媒体内容的流服务。

图5是流服务请求时序图。一系列流程包括：1).接收客户端的流媒体请求（点播或直播），验证请求的有效性，然后确定所请求流媒体内容在媒体引擎中的位置；2).媒体路由器查询请求的流媒体资源是否存在于媒体引擎缓存中；3).媒体路由器在基于查询媒体引擎缓存成功的情况下，与媒体引擎交互，询问是否可以服务；4).在存有缓存资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定，将选定的媒体引擎作为当前终端用户的流服务引擎，回复终端媒体引擎的地址，终端重定向到选定媒体引擎进行流服务请求；5).媒体路由器在查询媒体引擎缓存失败下，进行媒体引擎的磁盘存储查询；6).媒体路由器在基于查询媒体引擎磁盘成功的情况下，与媒体引擎交互，询问是否可以服务；7).在存储资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定；8).所选定的媒体引擎读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；9).媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；10).在上述查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请；11).所选定的媒体引擎在获取资源后重复步骤8)；12).在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；13).所选定的媒体引擎在获得资源后重复步骤8)。

图6是资源调度时序图。一系列流程包括：A).媒体路由器从数据中心获取媒体热度信息及最新上线媒体信息（即资源访问等用户行为信息），媒体路由器根据媒体热度统计信息进行需要预取的媒体资源排序；B).媒体路由器依据负载信息选定部分媒体引擎要求从数据中心预取排序中的媒体资源；C).所选定的媒体引擎将本地存储的资源通过LRU算法（即最近最少使用页面置换算法）进行替换；D).所选定的媒体引擎从数据中心获取资源后，在内存缓存，并向媒体路由器汇报缓存变化情况；E).媒体引擎定时检查缓存数据的访问情况，同样通过LRU算法进行数据从内存到磁盘的转移，并向媒体路由器汇报缓存和磁盘的变化情况；F). 所选定的媒体引擎在获取资源后, 读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；G). 媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；H). 在查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请 ；I). 在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；J).报告资源变更信息、更新资源索引表。  

所以本发明具有对不同地域的用户访问都能减少用户等待时间提供很好的用户响应体验，系统随着访问量的增多可进行方便的无缝扩容，可自动均衡各服务器间的负载，不产生性能瓶颈，文件以无切片方式存放有效地降低了磁盘IO访问频率、以及磁盘的损坏率，同时适合文件点播和不间断传输的直播的流式服务等特征。

Claims (4)

1.一种减少用户等待时间的流媒体调度分发方法，包括：

由多个区域构成分布式流媒体分发系统并提供流服务；

在所述区域中设置一个数据中心；

所述区域间由媒体路由器相互通信构成P2P网络；

每个所述区域都包含一个媒体路由器和多个媒体引擎；

其特征在于：

（1）不同流媒体文件分散存放；

（2）设置资源预取操作，根据新上线的节目单以及用户的访问频率预取资源到媒体引擎；

（3）所述媒体引擎实时监测系统运行负载并上报媒体路由相关信息，媒体路由根据这些信息对用户请求进行均衡路由；

（4）媒体引擎间互相连接并通信，媒体资源在引擎间自由调度；

流服务步骤包括：1).接收客户端的流媒体请求（点播或直播），验证请求的有效性，然后确定所请求流媒体内容在媒体引擎中的位置；2).媒体路由器查询请求的流媒体资源是否存在于媒体引擎缓存中；3).媒体路由器在基于查询媒体引擎缓存成功的情况下，与媒体引擎交互，询问是否可以服务；4).在存有缓存资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定，将选定的媒体引擎作为当前终端用户的流服务引擎，回复终端媒体引擎的地址，终端重定向到选定媒体引擎进行流服务请求；5).媒体路由器在查询媒体引擎缓存失败下，进行媒体引擎的磁盘存储查询；6).媒体路由器在基于查询媒体引擎磁盘成功的情况下，与媒体引擎交互，询问是否可以服务；7).在存储资源的媒体引擎具有流服务能力的前提下，对媒体引擎进行选定；8).所选定的媒体引擎读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；9).媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；10).在上述查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请；11).所选定的媒体引擎在获取资源后重复步骤8)；12).在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；13).所选定的媒体引擎在获得资源后重复步骤8)；

还包括资源调度步骤，资源调度步骤包括：

媒体路由器从数据中心获取媒体热度信息及最新上线媒体信息，媒体路由器根据媒体热度统计信息进行需要预取的媒体资源排序；

媒体路由器依据负载信息选定部分媒体引擎要求从数据中心预取排序中的媒体资源；

所选定的媒体引擎将本地存储的资源通过LRU算法进行替换；

所选定的媒体引擎从数据中心获取资源后，在内存缓存，并向媒体路由器汇报缓存变化情况；

媒体引擎定时检查缓存数据的访问情况，同样通过LRU算法进行数据从内存到磁盘的转移，并向媒体路由器汇报缓存和磁盘的变化情况；

所选定的媒体引擎在获取资源后，读取磁盘加载资源到内存，向媒体路由器汇报缓存变化情况，向终端用户提供流服务；

媒体路由器在缓存和磁盘资源查询都失败的情况下，媒体路由器通过向邻居媒体路由器查询资源，如果邻居媒体路由器存在资源，则向邻居申请该资源；

在上述查询都失败的情况下，依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的底层申请；

在所有存储或缓存资源的媒体引擎不具备流服务能力的情况下，媒体路由器依据媒体引擎的负载信息选定较空闲的媒体引擎进行资源的媒体引擎间拷贝操作；

报告资源变更信息、更新资源索引表。

2.根据权利要求1所述一种减少用户等待时间的流媒体调度分发方法，其特征在于：所述媒体路由器还包括一个备份媒体路由器，提供对媒体路由器的热备份功能。

3.根据权利要求1或2所述一种减少用户等待时间的流媒体调度分发方法，其特征在于：所述媒体路由器是由至少两台具备相同功能的服务器构成，以提供热备份功能。

4.根据权利要求1所述一种减少用户等待时间的流媒体调度分发方法，其特征在于：客户端采用单纯tcp协议连接，以减少客户端与服务器间交互次数。