CN101184209A - 一种数字家庭中vod客户端代理缓存服务器 - Google Patents

Abstract

本发明的目的在于克服现有技术的不足，提出一种用于数字家庭VOD客户端缓存代理服务器设计的方法。通过基于加权流行度的替换算法，对解决点播风暴所造成的网络拥塞和播放质量下降提出了一种有效的技术手段和解决方案。与其他同类型的方法相比，本发明主要是在于家里VOD客户端代理缓存服务器的流媒体代理缓存策略的设计，提出了基于加权流行度的流媒体代理缓存策略。通过本发明按加权流行度Pi的高低，我们可以更加准确地知道某个流媒体当前的受欢迎程度，可以更即时地调整流媒体的排队优先级，很好地克服了因对爆发性请求反映迟钝所带来的网络拥塞、提高缓存媒体中响应的命中率、提高由用户发出请求到接收完成响应信息所需的总时间。

Description

一种数字家庭中VOD客户端代理缓存服务器

技术领域

本发明属于数字家庭网络与多媒体技术领域，特别是涉及一种数字家庭媒体服务器设计的实现。

背景技术

Web缓存技术现在已经是不可或缺的网络技术之一，把被请求Web对象(如HTML页或图像)存储在远程服务器和客户端之间的代理服务器上，则随后的对该Web对象的重复请求，就能够直接从缓存得到服务，因而缩短了访问时间，节省了重要网络资源。为了改善流媒体的播放质量，我们也可以在靠近客户的一端引入代理缓存服务器，而且制定合适的代理缓存策略。代理服务器的缓存空间是有限的，当这个空间装满以后，必须把一些利用率低的数据移走，才能更好的提供服务。缓存的替换策略就是用来决定将哪些缓存移走，它的目标就是要更好的利用可用的空间资源。目前比较典型的替换策略有以下几种：

1)传统替换算法。最近最少使用算法，最近最多使用策略等，它们对于整体缓存是高效的，但也不同程度存在一个各自的缺陷。

2)基于最小缓存效用的策略。该算法引入了价值函数来衡量缓存效用，有效得调整了缓存分配，但是该函数的制定成了关键，需要进一步完善，要更充分得考虑各方面的因素。

3)基于传输成本的替换算法。其不足之处就是忽略了命中率，会造成后来不受用户欢迎的流媒体长期占用缓存，浪费了宝贵的缓存资源。

基于以上的研究本文提出了基于加权流行度的替换算法，制定了一种新的策略，致力于改进点播风暴所造成的网络拥塞和播放质量下降。

发明内容

针对以上的不足，本发明提出了一种数字家庭中VOD客户端代理缓存服务器、通过基于加权流行度的替换算法，解决点播风暴所造成的网络拥塞和播放质量下降。它包括RTP/RTSP客户端模块、调度模块、RTP/RTSP服务器模块和缓存管理模块四个模块。

RTP/RTSP客户端模块即代理服务器相对于远程服务器来说是客户，负责与媒体服务器(或上层代理)进行联系，将经RTP/RTSP服务器处理的用户请求转发给服务器，并为客户请求获取数据；RTP/RTSP服务器模块接收并处理来自客户的RTSP请求，判断对请求是转发还是直接服务；并在对需要转发的请求进行适当的头部转换后，通过RTP/RTSP客户模块进行转发；调度模块管理所有事件的整个队列；缓存管理模块将客户端请求的视频URL映射成为本地文件名，对磁盘空间进行管理，并负责通过适当的缓存置换策略为将要被缓存的内容分配空间。

缓存管理模块的缓存置换策略采用基于加权流行度的LFU缓存替换策略，节目的点击次数越多，点击频率越高，则节目的流行度就高，即节目的流行度与该节目的点击次数和点击频率成正比，且点击频率有更重要的权重。

所述基于加权流行度的LFU缓存替换策略的主要步骤包括：

1)当时间片T到来，新的媒体对象经过缓存代理时，首先对当前代理内的所有媒体对象统计其加权流行度，具体计算方法见技术方案；

2)然后重新排列媒体对象的优先级，根据优先级判断新的媒体的优先级是否高于缓存汇总媒体的最低优先级，如果低于缓存中媒体的最低优先级，则不缓存其前缀，由远程服务器直接提供服务，如果高于缓存中媒体的最低优先级，则将新的媒体对象的前缀替换出缓存中最低优先级的媒体的前缀，同时在硬盘中删除该最低优先级的后缀。这时缓存中的执行任务结束；

3)然后进入到了硬盘部分，首先比较硬盘中是否有比新的媒体对象优先级低的后缀，如果没有，那么停止缓存其后缀，剩下的部分交给远程服务器直接提供服务即可；

4)如果硬盘中有比新的媒体对象优先级低的后缀，则从硬盘中以新的媒体的后缀替换出最低优先级的媒体对象的后缀，然后判断这些高优先级的后缀是否都完全缓存了，如果不完全则回到步骤3)，如果完全则该新媒体完全由代理来提供服务。

所述定义局部加权流行度Pi的计算方法为：

$\mathrm{Pi}=\frac{\mathrm{Ni}*\mathrm{Wi}}{\underset{j\⊆D}{\mathrm{\Σ}}\mathrm{Nj}*\mathrm{Wj}}=\frac{{\mathrm{Ni}}^2}{\underset{j\⊆D}{\mathrm{\Σ}}{\mathrm{Nj}}^2}(i=\mathrm{1,2},...n)$

其中，设一段时间内代理服务器上用户访问的流媒体对象数据集为D，取一个正常的较长时间段t，在时间t内上映的节目总数为n，所有节目的点击次数之和为m，设单位时间内平均每个节目的点击次数为K，则 $K=\frac{m}{n*t},$ 即平均每个节目的点击频率，流媒体i在时间T内点击数为Ni(i＝1，2…n)，定义实际点击频率与平均每个流媒体的点击频率K之比作为点击次数Ni的权值Wi，即Wi＝Ni/KT。

本发明的优点在于：

1)在原流行度基础上定义了加权流行度，基于加权流行度提出了代理缓存策略。加权流行度以点播次数的2次幂为基准，而非随点播次数线性变化。这样，流行度的反映才敏感及时，当爆发性点击到来时，其流行度迅速升高，而且当点击率下降时，流行度迅速下降。按加权流行度Pi的高低，我们就更准确地知道某个流媒体当前的受欢迎程度，可以更即时地调整流媒体的排队优先级，很好地克服了因对爆发性请求反映迟钝所带来的网络拥塞。

2)提高了命中率。当爆发性连接请求到来时，加权流行度的命中率将高于平时，原流行度命中率将有所下降。因为加权流行度能很快调整该媒体的流行度以及缓存安排，所以命中率将会比平时要高。同样的原因，当这些即时性强的媒体过了其流行时间段后，加权流行度算法的命中率能很快恢复到平均状态，但是其他原流行度算法则需要很久一段时间才能把这些流媒体替换出缓存，才能恢复到平均命中率。

3)提高了平均服务响应时间。当爆发性请求到来时，其他原流行度将导致每个请求都要直接从远程服务器传过来，响应时间迅速增加。然而，加权流行度策略因为缓存了占请求比重很大的流媒体的后缀，致使平均响应时间还可以有所下降。当该即时性媒体的流行度迅速降下来之后，其他原流行度算法同样因为反应迟钝，不能及时把过期流行度的媒体替换出去，导致响应时间将会高出加权流行度策略。

附图说明

图1为代理缓存服务器的总体功能模块示意图；

图2为基于加权流行度的LFU缓存替换策略的实施流程图。

具体实时方式

下面结合附图对本发明进行进一步阐述。

如图1所示为代理缓存服务器的总体功能模块示意图，一种应用于数字家庭中VOD客户端代理缓存服务器是设置在媒体代理服务器与靠近客户一端之间的服务器。设计的方法，主要包含四个功能模块：RTP/RTSP客户端模块、调度模块、RTP/RTSP服务器模块、缓存管理模块。其总体流程为：

1)RTP/RTSP客户端接收来自媒体服务器的请求，并把请求传给RTP/RTSP服务器。

2)RTP/RTSP服务器判断媒体服务器的请求是转发还是直接服务。对需要转发的请求进行头部转换后，发回到RTP/RTSP客户端，进行步骤3)。对直接服务的请求进入步骤4)。

3)RTP/RTSP客户端接收RTP/RTSP服务器处理后的用户请求转发给媒体代理服务器。

4)如果客户请求是视频，则RTP/RTSP客户端把客户数据缓存到缓存管理模块，将视频URL映射成本地文件名，对磁盘空间进行管理，并通过缓存置换策略为将要被缓存的内容分配空间。

VOD客户端流媒体代理缓存策略的设计，本文提出加权流行度的算法。节目的点击次数越多，点击频率越高，则节目的流行度就高，即节目的流行度与该节目的点击次数和点击频率成正比，且点击频率有更重要的权重。

设一段时间内代理服务器上用户访问的流媒体对象数据集为D。取一个正常的较长时间段t，在时间t内上映的节目总数为n，所有节目的点击次数之和为m，设单位时间内平均每个节目的点击次数为K，则 $K=\frac{m}{n*t},$ 即平均每个节目的点击频率。流媒体i在时间T内点击数为Ni(i＝1，2…n)，定义实际点击频率与平均每个流媒体的点击频率K之比作为点击次数Ni的权值Wi，即Wi＝Ni/KT。定义局部加权流行度的计算公式为：

$\mathrm{Pi}=\frac{\mathrm{Ni}*\mathrm{Wi}}{\underset{j\⊆D}{\mathrm{\Σ}}\mathrm{Nj}*\mathrm{Wj}}=\frac{{\mathrm{Ni}}^2}{\underset{j\⊆D}{\mathrm{\Σ}}{\mathrm{Nj}}^2}(i=\mathrm{1,2},...n)$

基于上述定义的加权流行度，本文制定缓存策略中存放对象的存储和缓存替换描述如下：

(1)缓存对象的存放

高速缓存RAM采用平均分段的策略，每个流媒体的前缀部分占用的空间都一样，但是他们要根据加权流行度的高低依次排队，流行度越高，优先级越高。

硬盘中存储的是流媒体的后缀部分，按照其相应前缀的优先级来分配空间，优先级越高的流媒体优先分配后缀存储空间，力求整个流媒体完全缓存，优先级低的流媒体再依次安排空间，直到硬盘空间被分配完毕。

(2)缓存替换

缓存中前缀的替换策略采用基于加权流行度的LFU(Least FrequencyUsed)算法，即当缓存空间不足时，每次都把优先级最低(即加权流行度最低)的流媒体的前缀替换出去，当然其后缀也要从磁盘中踢出去。

当硬盘空间不足时，从优先级最低后缀的开始，依次把优先级比它低的后缀都替换出去，直至高优先级的媒体后缀被完全缓存或磁盘空间不足。替换策略的流程描述如图1所示。这样一来，流行度最高的几个流媒体，就会被完全缓存下来，就保证了小区内的客户对这几个节目能够流畅的接受和准确的进行播放控制操作。

上述技术方案是鉴于处理点播风暴所造成的网络拥塞和播放质量下降定义了基于加权流行度上的流媒体代理缓存策略。以往对于流行度计算的公式，仅仅统计了对某种流媒体的请求次数与对所有媒体的请求次数之比作为该流媒体的流行度，需要一个长期时间内的累积结果才能得到有效的流行度的排名，缺乏即时性和应变性。

本发明所发明的缓存置换策略为基于加权流行度的LFU缓存替换策略，其总的系统工作流程图如图2所示，下面具体来说明一下该替换策略的具体实施方式：

1)当时间片T到来，新的媒体对象经过缓存代理时，首先对当前代理内的所有媒体对象统计其加权流行度，具体计算方法见技术方案。

2)然后重新排列媒体对象的优先级，根据优先级判断新的媒体的优先级是否高于缓存汇总媒体的最低优先级，如果低于缓存中媒体的最低优先级，则不缓存其前缀，由远程服务器直接提供服务，如果高于缓存中媒体的最低优先级，则将新的媒体对象的前缀替换出缓存中最低优先级的媒体的前缀，同时在硬盘中删除该最低优先级的后缀。这时缓存中的执行任务结束。

3)然后进入到了硬盘部分，首先比较硬盘中是否有比新的媒体对象优先级低的后缀，如果没有，那么停止缓存其后缀，剩下的部分交给远程服务器直接提供服务即可。

4)如果硬盘中有比新的媒体对象优先级低的后缀，则从硬盘中以新的媒体的后缀替换出最低优先级的媒体对象的后缀。然后判断这些高优先级的后缀是否都完全缓存了，如果不完全则回到步骤3)。如果完全则该新媒体完全由代理来提供服务。

Claims (3)

1.一种数字家庭中VOD客户端代理缓存服务器、它包括RTP/RTSP客户端模块、调度模块、RTP/RTSP服务器模块和缓存管理模块：

RTP/RTSP客户端模块即代理服务器相对于远程服务器来说是客户，负责与媒体服务器(或上层代理)进行联系，将经RTP/RTSP服务器处理的用户请求转发给服务器，并为客户请求获取数据；

RTP/RTSP服务器模块接收并处理来自客户的RTSP请求，判断对请求是转发还是直接服务；并在对需要转发的请求进行适当的头部转换后，通过RTP/RTSP客户模块进行转发；

调度模块管理所有事件的整个队列；

缓存管理模块将客户端请求的视频URL映射成为本地文件名，对磁盘空间进行管理，并负责通过适当的缓存置换策略为将要被缓存的内容分配空间；

其特征在于所述缓存管理模块的缓存置换策略采用基于加权流行度的LFU缓存替换策略，节目的点击次数越多，点击频率越高，则节目的流行度就高，即节目的流行度与该节目的点击次数和点击频率成正比，且点击频率有更重要的权重。

2.根据权利要求1所述的数字家庭中VOD客户端代理缓存服务器，其特征在于，所述基于加权流行度的LFU缓存替换策略的主要步骤包括：

1)当时间片T到来，新的媒体对象经过缓存代理时，首先对当前代理内的所有媒体对象统计其加权流行度，具体计算方法见技术方案；

2)然后重新排列媒体对象的优先级，根据优先级判断新的媒体的优先级是否高于缓存汇总媒体的最低优先级，如果低于缓存中媒体的最低优先级，则不缓存其前缀，由远程服务器直接提供服务，如果高于缓存中媒体的最低优先级，则将新的媒体对象的前缀替换出缓存中最低优先级的媒体的前缀，同时在硬盘中删除该最低优先级的后缀。这时缓存中的执行任务结束；

3)然后进入到了硬盘部分，首先比较硬盘中是否有比新的媒体对象优先级低的后缀，如果没有，那么停止缓存其后缀，剩下的部分交给远程服务器直接提供服务即可；

4)如果硬盘中有比新的媒体对象优先级低的后缀，则从硬盘中以新的媒体的后缀替换出最低优先级的媒体对象的后缀，然后判断这些高优先级的后缀是否都完全缓存了，如果不完全则回到步骤3)，如果完全则该新媒体完全由代理来提供服务。

3.根据权利要求1所述的数字家庭中VOD客户端代理缓存服务器，其特征在于，所述定义局部加权流行度Pi的计算方法为：

$\mathrm{Pi}=\frac{\mathrm{Ni}*\mathrm{Wi}}{\underset{j\⊆D}{\mathrm{\Σ}}\mathrm{Nj}*\mathrm{Wj}}=\frac{{\mathrm{Ni}}^2}{\underset{j\⊆D}{\mathrm{\Σ}}{\mathrm{Nj}}^2}(i=\mathrm{1,2},...n)$

其中，设一段时间内代理服务器上用户访问的流媒体对象数据集为D，取一个正常的较长时间段t，在时间t内上映的节目总数为n，所有节目的点击次数之和为m，设单位时间内平均每个节目的点击次数为K，则 $K=\frac{m}{n*t},$ 即平均每个节目的点击频率，流媒体i在时间T内点击数为Ni(i＝1，2…n)，定义实际点击频率与平均每个流媒体的点击频率K之比作为点击次数Ni的权值Wi，即Wi＝Ni/KT。

Images