CN109194767A - 一种适用于混杂网络的流媒体缓存调度方法 - Google Patents

Abstract

本发明涉及一种适用于混杂网络的流媒体缓存调度方法，其通过采用将流媒体文件的前缀文件推送至用户端进行缓存，使得同一域内用户端可以从邻近节点以P2P的方式快速获取到所需流媒体文件的前缀；而在边缘服务器端对流媒体文件的后缀文件进行分段缓存，且是否对该流媒体文件的后缀在边缘服务器进行存储，还要依照访问请求再决定。随着网络规模的扩大，前缀文件的用户端缓存可以有效减少域间数量交换，后缀文件的边缘服务器端自适应、高热度缓存，进一步避免了边缘服务器的工作压力。总之，本发明能够保证用户以较快速度获取所需资源，且资源获取的状态稳定；服务器负载也可以进一步降低；减少了骨干网络带宽资源消耗。

Description

一种适用于混杂网络的流媒体缓存调度方法

技术领域

本发明涉及网络数据通信领域，具体涉及一种适用于混杂网络的流媒体缓存调度方法。

背景技术

近年来，Internet上支持视频和音频点播服务(Video on Demand,VoD)的商业产品已有了较快的增长，良好的VoD系统必须具有足够的资源，如CPU处理时间、网络带宽、磁盘存储容量等以应对用户对高清视频的实时点播要求。随着CPU处理能力的增强，网络带宽及磁盘存储容量逐渐成为VoD系统服务的瓶颈。采取有效的缓存机制不仅能够降低系统服务延时，还能减轻磁盘存储容量的压力，并增强系统并发服务能力。

目前对缓存调度算法的研究主要基于两个方面，一是通过在靠近用户的网络边缘部署边缘服务器(Proxy)，构建一个分布式的CDN流媒体分送服务体系结构，利用最优调度算法，在边缘服务器中缓存流媒体对象的前缀部分，通过静态或动态的调度方案，降低或消除用户端的启动延时。目前的节目前缀代理缓存所提出的调度方案存在的共同局限是并未考虑节目后缀(suffix)的缓存，当用户请求较多时后缀的传输也会导致很大的骨干网络带宽消耗。

另一种缓存研究定位于用户端，借鉴P2P技术，每一个用户节点既缓存下载数据，又为其他用户节点上传数据，这种机制增加了整个网络的缓存大小，同时将以前缓存服务器的巨大流量分担到每个用户节点。现有P2P流媒体缓存算法主要集中于考虑缓存代价问题，对缓存数据的副本供求关系、数据的紧迫性等对缓存空间的影响及数据命中率关注的并不太多。

除此之外，还有一种融合CDN及P2P优势的混杂网络也日益得到重视，针对这种网络所做的缓存调度算法还不多见。图1为混杂网络系统拓扑结构图，如图1所示，混杂网络系统在CDN中引入P2P自治域，采用分区域自治策略的设计思想。用户节点根据其地理区域划分成不同的域，每个域中设置一个边缘服务器，每个域中的边缘服务器以源服务器身份负责从区域内的DVS视频服务器(Digital Video Server)获取数据并转发，同时还负责为区域内的用户节点转发来自其他边缘服务器的视频数据。混杂网络的域间网络并没有固定的源服务器，所有的边缘服务器既可以充当源服务器，也可以充当边缘服务器，角色的转换由一个索引服务器(web服务器)决定，边缘服务器可从源服务器或其他边缘服务器获取流媒体文件数据。域内网络中，边缘服务器既作为该域的源服务器，又作为域中集中式P2P的中心索引服务器。用户节点可以从管辖自己的边缘服务器获取数据，也可以通过P2P网络从域内其他用户节点获取数据。

发明内容

有鉴于此，本发明的目的在于提供一种适用于混杂网络的流媒体缓存调度方法，通过媒体文件的缓存能对用户请求具有良好的快速反应，同时有效地降低骨干网络带宽资源消耗。

为实现上述目的，本发明采用的技术方案是：

一种适用于混杂网络的流媒体缓存调度方法，其在用户端缓存了当前价值最高的n个流媒体文件的前缀文件；在边缘服务器端则将流媒体文件的后缀文件进行分段缓存，每一段由若干数据块组成；

当用户端customer_x向管辖自己的边缘服务器X索取视频文件I时，执行以下步骤：

步骤1、判断边缘服务器X中是否存有流媒体文件I的信息，若边缘服务器X中有流媒体I的信息，则直接向用户端customer_x进行传送；若边缘服务器X中没有流媒体I的信息，则边缘服务器X向拥有该流媒体文件I的其他边缘服务器发出申请，若边缘服务器A响应请求，边缘服务器X就会请求边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送流媒体文件I的前缀文件i，同时边缘服务器X分配一个大小为k的缓存单元，用于缓存即将到来的前缀文件i；

步骤2、边缘服务器X在接收到流媒体文件I的前缀部分i后，开通组播通道向用户端customer_x转发；

步骤3、用户端customer_x在接收前缀文件i后判断其是否缓存前缀文件i，若customer_x缓存前缀文件i，则边缘服务器X中原用于存储前缀文件i的空间被释放掉；否则，保留边缘服务器X对前缀文件i的缓存，直至有其他用户端开始缓存前缀文件i；

步骤4、若用户端customer_x并未完成对整个前缀文件i的播放，则结束对customer_x的组播，转向步骤7；否则，在t₀+(k-b)/v时刻，用户端customer_x向边缘服务器X请求流媒体文件I的所有后缀文件，其中，t₀是用户customer_x接受前缀i的起始时间，v是媒体流传输速率，k是每个媒体文件的前缀大小；若边缘服务器X中没有流媒体文件I的后缀文件，则进入步骤5；否则，进入步骤6；

步骤5、边缘服务器X向拥有该流媒体文件I的后缀文件的其他边缘服务器发出申请，若边缘服务器A响应请求，则边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送视频文件I的后缀文件，同时边缘服务器X分配一个大小为b的缓存单元，用于缓存即将到来的后缀文件第一段，视频文件I的其他后缀文件段是否在边缘服务器X存储，判断如下：

用L_y(I)表示流媒体文件I的后缀数据中第y段长度，L_y(I)＝2^y-1b；

若在随后的每一个接收转发y段的时间间隔(t_y～t_y+L_y(I)/v)内，边缘服务器X总能收到至少一个除用户端customer_x外其他用户端对L_y(I)的请求，则边缘服务器X自动延续分配一个2^yb的空间用于存储后缀文件段L_y+1(I)，如此反复，直至边缘服务器X缓存了整个流媒体文件I的所有后缀；其中， 表示流媒体文件I的最后一段后缀数据的编号，t_y是边缘服务器X接收边缘服务器A转发而来的第y段后缀文件的起始时间，t_y+L_y(I)/v是第y段数据传送结束时间；

若边缘服务器X在某个时间间隔(t_y′～t_y′+L_y′(I)/v)内没有收到除用户端customer_x外其他用户端对L_y′(I)段的转发请求，L_y′+1(I)至文件的结尾部分都不再被X存储，边缘服务器X只负责将L_y′+1(I)暂存后转发给用户端customer_x，一旦customer_x接收完L_y′+1(I)段后，分配的临时存储空间将被收回；

步骤6、边缘服务器X将流媒体文件I的后缀文件通过组播通道向用户端customer_x转发，直至完成完整的播放，或用户端customer_x中断后缀文件的播放，进入步骤7；

步骤7、结束。

所述步骤3中，用户端customer_x是否缓存前缀文件i的判断如下：

若用户端customer_x当前已缓存j个视频文件的前缀，j＜n且k·(j+1)≤M，其中，M为用户端customer_x的缓存空间大小，则用户端customer_x存储前缀文件i；

若用户端customer_x当前已缓存n个视频文件的前缀，则计算用户端customer_x中存储的媒体文件前缀集PrefixData(t)＝{1,2,3,…,n}各个资源的价值函数，若用前缀文件i替换掉用户端customer_x价值函数最小的已有前缀文件，其中，f_i ^x(t)为前缀文件i在用户端customer_x的价值函数，为用户端customer_x中价值函数最小的已有前缀文件。

采用上述方案后，本发明通过采用将流媒体文件的前缀文件推送至用户端进行缓存，使得同一域内用户端可以从邻近节点以P2P的方式快速获取到所需流媒体文件的前缀；而在边缘服务器端对流媒体文件的后缀文件进行分段缓存，且是否对该流媒体文件的后缀在边缘服务器进行存储，还要依照访问请求再决定。随着网络规模的扩大，前缀文件的用户端缓存可以有效减少域间数量交换，后缀文件的边缘服务器端自适应、高热度缓存，进一步避免了边缘服务器的工作压力。总之，本发明能够保证用户以较快速度获取所需资源，且资源获取的状态稳定；服务器负载也可以进一步降低；减少了骨干网络带宽资源消耗。

附图说明

图1为混杂网络系统拓扑结构示意图；

图2为边缘服务器的内容分发示意图；

图3为流媒体文件I的分段和分块示意图；

图4为流媒体文件I的缓存及组播方式示意图。

具体实施方式

本发明揭示了一种适用于混杂网络的流媒体缓存调度方法，其对象是：结合了CDN和P2P互补优势的流媒体混杂网络，目标是：针对混杂网络的不同域提出相应的缓存调度方法，以P2P为主的域内用户端提出了流媒体文件的前缀缓存方法(Comprehensive ValueCache Algorithm for P2P,C4P2P)，综合考虑了流媒体前缀字节的有用性、文件的传输代价及点播热度；以边缘服务器为主的域间CDN端提出了流媒体文件的后缀缓存方法(Dynamic CacheAlgorithm for Proxy Servers,D4Proxy)，通过后缀文件的访问情况分配可变长的存储空间，实现了流媒体后缀部分在边缘服务器中缓存的数据段与其流行度成正比。

也就是说，本发明之一种适用于混杂网络的流媒体缓存调度方法在用户端(peer)缓存针对该用户端当前价值最高的n个流媒体文件的前缀文件，在边缘服务器端(CDN)对流媒体文件的后缀文件进行了分段缓存。

如图2至图4所示，当用户端customer_x向管辖自己的边缘服务器X索取视频文件I时，执行以下步骤：

步骤1、判断边缘服务器X中是否存有流媒体文件I的信息，若边缘服务器X中有流媒体I的信息，则直接向用户端customer_x进行传送；若边缘服务器X中没有流媒体I的信息，则边缘服务器X向拥有该流媒体文件I的其他边缘服务器发出申请，若边缘服务器A响应请求，边缘服务器X就会请求边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送流媒体文件I的前缀文件i，同时边缘服务器X分配一个大小为k的缓存单元，用于缓存即将到来的前缀文件i；

步骤2、边缘服务器X在接收到流媒体文件I的前缀部分i后，开通组播通道向用户端customer_x转发。

若在customer_x接受前缀文件的(t₀,t₀+k/v)时间段内又有新的用户，如customer_y在t_u时刻对边缘服务器X同样发起对媒体文件I的请求，其中，t₀是用户customer_x接受前缀i的起始时间，v是媒体流传输速率，k是每个媒体文件的前缀大小，规定所有的媒体文件前缀大小均定长为k，t₀≤t_u≤t₀+k/v；则用户customer_y直接加入边缘服务器X对customer_x的组播通道，接收在剩余(t_u，t₀+k/v)时刻传输的前缀i部分。边缘服务器X同时为用户customer_y开通一个单播通道，传输其缺失的前缀文件i在(t₀，t_u)时刻已传输部分。

步骤3、用户端customer_x在接收前缀文件i后判断其是否缓存前缀文件i，若customer_x缓存前缀文件i，则边缘服务器X中原用于存储前缀文件i的空间被释放掉；否则，保留边缘服务器X对前缀文件i的缓存，直至有其他用户端开始缓存前缀文件i。

用户端只保留适应于自身的当前价值最高的n个流媒体文件的前缀文件，以用户端customer_x为例，说明如下：

假设媒体流传播速率为v，t时刻管辖用户端customer_x的边缘服务器X中所有缓存的媒体文件前缀集为PrefixData(t)＝{1,2,3,…,m}，m≤n，每个媒体文件的前缀大小定长，均为k；η_i(t)∈{0,1}，0表示表示假定t时刻前缀文件i还没有被用户端缓存，仍保留在边缘服务器X中；1表示假定前缀文件i将被用户端缓存，其在边缘服务器X中的存储空间被释放。

前缀文件i在用户端customer_x的价值函数表示为：其中，S_i表示前缀文件i的利用率，为用户端customer_x获取数据前缀文件i的传输代价，U_i(t)表示t时刻前缀文件i在边缘服务器X中的热度。

用户端customer_x对边缘服务器X的PrefixData(t)中所有缓存的媒体文件前缀集以满足自身条件最优进行进行挑选，装载。假定用户端customer_x的缓存空间大小M，最优化过程满足：使得

上述引入的参数中：前缀文件i的利用率S_i表示为：其中，v是媒体流传播速率，Tsum_i是前缀文件i在边缘服务器X中总的被组播传输的时间，N_i为边缘服务器X中前缀文件i被访问的总次数，k是定长的前缀文件i的大小。S_i越接近1，说明大部分请求前缀文件i的用户端看完了该视频文件I的前缀部分；反之，说明大部分用户没有看完该视频文件I的前缀部分，该视频文件的整体利用率很低。

表示为边缘服务器X和用户端customer_x之间传输前缀文件i的传输开销。

热度函数U_i(t)表示为：

其中，t_{i_first}、t_{i_last}分别代表前缀文件i在边缘服务器X中的第一次被访问时间及最近一次访问时间；表示以后访问的可能性，Tsum_i、N_i的含义同上。U_i(t)值越大，说明前缀文件i被点播的频率越大。

用户端customer_x想缓存前缀文件i，若用户端customer_x当前已缓存j个视频文件的前缀，j＜n且k·(j+1)≤M，其中，M为用户端customer_x的缓存空间大小，则用户端customer_x存储前缀文件i；若用户端customer_x当前已缓存n个视频文件的前缀，则计算用户端customer_x中存储的媒体文件前缀集PrefixData(t)＝{1,2,3,…,n}各个资源的价值函数，若用前缀文件i替换掉用户端customer_x价值函数最小的已有前缀文件，其中，f_i ^x(t)为前缀文件i在用户端customer_x的价值函数，为用户端customer_x中价值函数最小的已有前缀文件。

步骤4、若用户端customer_x并未完成对整个前缀文件i的播放，则结束对customer_x的组播，转向步骤7；否则，在t₀+(k-b)/v时刻，用户端customer_x向边缘服务器X请求流媒体文件I的所有后缀文件，其中，t₀是用户customer_x接受前缀i的起始时间，v是媒体流传输速率，k是每个媒体文件的前缀大小；若边缘服务器X中没有流媒体文件I的后缀文件，则进入步骤5；否则，进入步骤6；

步骤5、边缘服务器X向拥有该流媒体文件I的后缀文件的其他边缘服务器发出申请，若边缘服务器A响应请求，则边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送视频文件I的后缀文件，同时边缘服务器X分配一个大小为b的缓存单元，用于缓存即将到来的后缀文件第一段，视频文件I的其他后缀文件段是否在边缘服务器X存储，判断如下：

用L_y(I)表示流媒体文件I的后缀数据中第y段长度，L_y(I)段的长度是基于标准块长度b的指数阶增长，即L_y(I)＝2^y-1b。

若在随后的每一个接收转发y段的时间间隔(t_y～t_y+L_y(I)/v)内，边缘服务器X总能收到至少一个除用户端customer_x外其他用户端对L_y(I)的请求，则边缘服务器X自动延续分配一个2^yb的空间用于存储后缀文件段L_y+1(I)，如此反复，直至边缘服务器X缓存了整个流媒体文件I的所有后缀，其中，t_y是边缘服务器X接收边缘服务器A转发而来的第y段后缀文件的起始时间，t_y+L_y(I)/v是第y段数据传送结束时间。

若边缘服务器X在某个时间间隔(t_y′～t_y′+L_y′(I)/v)内没有收到除用户端customer_x外其他用户端对L_y′(I)段的转发请求，L_y′+1(I)至文件的结尾部分都不再被X存储，边缘服务器X只负责将L_y′+1(I)暂存后转发给用户端customer_x，一旦customer_x接收完L_y′+1(I)段后，分配的临时存储空间将被收回。

上述引入的参数中：表示流媒体文件I的最后一段后缀数据的编号，即有：表示最后一段后缀数据的长度。其中计算来源于：R_I是流媒体文件I的总长度。

步骤6、边缘服务器X将流媒体文件I的后缀文件通过组播通道向用户端customer_x转发，直至完成完整的播放，或用户端customer_x中断后缀文件的播放，进入步骤7；

步骤7、结束。

本发明的关键在于，本发明通过采用将流媒体文件的前缀文件推送至用户端进行缓存，使得同一域内用户端可以从邻近节点以P2P的方式快速获取到所需流媒体文件的前缀；而在边缘服务器端对流媒体文件的后缀文件进行分段缓存，且是否对该流媒体文件的后缀在边缘服务器进行存储，还要依照访问请求再决定。随着网络规模的扩大，前缀文件的用户端缓存可以有效减少域间数量交换，后缀文件的边缘服务器端自适应、高热度缓存，进一步避免了边缘服务器的工作压力。

以上所述，仅是本发明实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (2)

1.一种适用于混杂网络的流媒体缓存调度方法，其特征在于：所述方法在用户端缓存了当前价值最高的n个流媒体文件的前缀文件；在边缘服务器端则将流媒体文件的后缀文件进行分段缓存，每一段由若干数据块组成；

当用户端customer_x向管辖自己的边缘服务器X索取视频文件I时，执行以下步骤：

步骤1、判断边缘服务器X中是否存有流媒体文件I的信息，若边缘服务器X中有流媒体I的信息，则直接向用户端customer_x进行传送；若边缘服务器X中没有流媒体I的信息，则边缘服务器X向拥有该流媒体文件I的其他边缘服务器发出申请，若边缘服务器A响应请求，边缘服务器X就会请求边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送流媒体文件I的前缀文件i，同时边缘服务器X分配一个大小为k的缓存单元，用于缓存即将到来的前缀文件i；

步骤2、边缘服务器X在接收到流媒体文件I的前缀部分i后，开通组播通道向用户端customer_x转发；

步骤3、用户端customer_x在接收前缀文件i后判断其是否缓存前缀文件i，若customer_x缓存前缀文件i，则边缘服务器X中原用于存储前缀文件i的空间被释放掉；否则，保留边缘服务器X对前缀文件i的缓存，直至有其他用户端开始缓存前缀文件i；

步骤4、若用户端customer_x并未完成对整个前缀文件i的播放，则结束对customer_x的组播，转向步骤7；否则，在t₀+(k-b)/v时刻，用户端customer_x向边缘服务器X请求流媒体文件I的所有后缀文件，其中，t₀是用户customer_x接受前缀i的起始时间，v是媒体流传输速率，k是每个媒体文件的前缀大小；若边缘服务器X中没有流媒体文件I的后缀文件，则进入步骤5；否则，进入步骤6；

步骤5、边缘服务器X向拥有该流媒体文件I的后缀文件的其他边缘服务器发出申请，若边缘服务器A响应请求，则边缘服务器A启动一个组播通道或单播通道向边缘服务器X发送视频文件I的后缀文件，同时边缘服务器X分配一个大小为b的缓存单元，用于缓存即将到来的后缀文件第一段，视频文件I的其他后缀文件段是否在边缘服务器X存储，判断如下：

用L_y(I)表示流媒体文件I的后缀数据中第y段长度，L_y(I)＝2^y-1b；

若在随后的每一个接收转发y段的时间间隔(t_y～t_y+L_y(I)/v)内，边缘服务器X总能收到至少一个除用户端customer_x外其他用户端对L_y(I)的请求，则边缘服务器X自动延续分配一个2^yb的空间用于存储后缀文件段L_y+1(I)，如此反复，直至边缘服务器X缓存了整个流媒体文件I的所有后缀；其中， 表示流媒体文件I的最后一段后缀数据的编号，t_y是边缘服务器X接收边缘服务器A转发而来的第y段后缀文件的起始时间，t_y+L_y(I)/v是第y段数据传送结束时间；

若边缘服务器X在某个时间间隔(t_y′～t_y′+L_y′(I)/v)内没有收到除用户端customer_x外其他用户端对L_y′(I)段的转发请求，L_y′+1(I)至文件的结尾部分都不再被X存储，边缘服务器X只负责将L_y′+1(I)暂存后转发给用户端customer_x，一旦customer_x接收完L_y′+1(I)段后，分配的临时存储空间将被收回；

步骤6、边缘服务器X将流媒体文件I的后缀文件通过组播通道向用户端customer_x转发，直至完成完整的播放，或用户端customer_x中断后缀文件的播放，进入步骤7；

步骤7、结束。

2.根据权利要求1所述的一种适用于混杂网络的流媒体缓存调度方法，其特征在于：所述步骤3中，用户端customer_x是否缓存前缀文件i的判断如下：

若用户端customer_x当前已缓存j个视频文件的前缀，j＜n且k·(j+1)≤M，其中，M为用户端customer_x的缓存空间大小，则用户端customer_x存储前缀文件i；

若用户端customer_x当前已缓存n个视频文件的前缀，则计算用户端customer_x中存储的媒体文件前缀集PrefixData(t)＝{1,2,3,…,n}各个资源的价值函数，若用前缀文件i替换掉用户端customer_x价值函数最小的已有前缀文件，其中，f_i ^x(t)为前缀文件i在用户端customer_x的价值函数，为用户端customer_x中价值函数最小的已有前缀文件。