CN101201801B - 视频点播系统的分级存储管理方法 - Google Patents

Abstract

本发明公开了一种视频点播系统的分级存储管理方法。其首先随机地将所有点播的视频数据中的20％存在一级高速磁盘阵列存储设备上；在另外的80％视频数据中，其30％的数据存储在二级的DVD光盘库上，其70％的数据存储在三级的磁带库中；在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理。本发明大大提高视频点播的节目在高速存储设备上点播命中率，可以提高系统提供服务的相应速度，在性能和硬件价格间作出最好的平衡。

Description

视频点播系统的分级存储管理方法 

一 技术领域

本发明属于数据存储领域，特别是一种视频点播系统的分级存储管理方法。 

二 背景技术

分级存储管理就是要将用户拥有的所有存储资源统一管理，提高每种存储设备的利用率，节约了成本。在分级存储中，存储的分级是十分明显的，仅从设备上说，就有磁带机、磁带库、NAS、中低端盘阵、高端存储系统等等。传统的分级存储管理系统中在线、近线与离线存储存放的数据价值不同，如何根据用户数据的不同价值合理利用好每种存储资源是一个挑战。分级存储管理起源于1978年，首先使用于IBM的大型机系统。近10年来，HSM被广泛应用于开放系统的Unix和Windows平台。其中最关键的技术就是近线存储和数据迁移技术。传统的分级存储管理是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备，然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说，上述数据迁移操作完全是透明的，只是在访问磁盘的速度上略有怠慢，而在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲，数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时，系统自动地把这些数据回迁到磁盘阵列中；同样，磁盘阵列中很久未访问的数据被自动迁移到磁带介质上，从而大大降低投入和管理成本。HSM应用也具备监测磁盘容量并在关键容量情况下做出反应的能力。这种软件经过配置后可以为某个卷设定一个最小的剩余空间，当达到这个极限后自动向用户发出警告，提示用户或自动进行数据迁移。这样便可以立即释放空间，管理员也可以在今后有空闲时再来解决空间的问题。 

视频点播系统中的存储管理系统分为三级，高速的磁盘阵列作为一级存储设备，DVD光盘库作为二级近线存储设备，而大容量低成本的磁带库则作三级的近线存储设备。视频点播系统中三级的存储结构是实现计算机系统大容量存储数据的方法之一。它将大容量的近线存储设备作为硬盘的下一级设备，然后将硬盘中常用的数据按指定的策略自动迁移到光盘等二、三级大容量存储设备上。当点播系统用户需求上升时，分级存储系统会按特点数据迁移管理方法自动将这些数据从后一级存储设备调回到上级。对于用户来说，上述数据迁移操作完全是透明的。用户可能会感到访问硬盘的速度稍慢一点，但会明显感觉其逻辑硬盘的容量大大提高。相对传统的数据管理模式，这种技术的解决方案所带来的优势是显而易见的。

三 发明内容

本发明的目的是提供一种视频点播系统的分级存储体管理方法，该方法能在根据视频点播用户的请求频率，自动进行三级存储设备间的数据迁移，并能够大大提高视频点播的节目在高速存储设备上点播命中率，可以在性能和硬件价格间作出非常好的平衡。 

实现本发明目的的技术方案为：一种视频点播系统的分级存储管理方法，包括以下步骤： 

第一步，首先随机地将所有点播的视频数据中的20％存在一级高速磁盘阵列存储设备上；在另外的80％视频数据中，其30％的数据存储在二级的DVD光盘库上，其70％的数据存储在三级的磁带库中； 

第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；进行数据迁移管理是使用LFRU数据迁移管理方法，其步骤如下： 

假设系统的节目库有N个节目，排序后节目访问概率符合Zipf法则，第k个节目为p_k，则节目库可表示为： 

对节目库中每个节目使用如下公式计算其RFN值： 

${\mathrm{RFN}}_k=(\frac{D-t}{D}*R_k+\frac{t}{D}*F_k)*N_k$

RFN值决定节目是否迁移数据，其为数据访问的时间信息和频率信息的加权与节目所在的服务节点的个数的乘积；其中D是为了解决在过渡期数据访问不稳定的问题，定义的一个过渡时间区间；R表示时间信息；F表示频率信息；N_k表示第k个节目所在 服务节点的个数；t为系统的逻辑时钟，表示当前时间值； 

第k个节目最近一次被访问距离现在的时间值：R_k＝t-t_k，t_k表示p_k最近一次被访问的时间值； 

$F_k=\frac{{\mathrm{\Σ}}_{i=1}^{c_k}t-t_{\mathrm{ik}}}{c_k};$

c_k表示对p_k访问的次数；t_ik表示对p_k第i次访问的时间值，F_k用于计算节目访问的频率信息； 

在过渡时间段D内动态地进行数据迁移管理，当用户请求的节目不在一级存储设备上，分级存储系统会访问下一级存储设备为用户提供视频服务，如果此时点播次数达到系统规定的阀值，则计算所有节目的RFN值，如果视频服务器没有足够剩余空间，则将除请求节目外RFN值最大的节目迁移到高一级存储设备； 

第三步，系统初始化时间段后对视频数据进行最小加权周期点播频率数据迁移管理，将加权周期点播频率最小的节目迁移到下一级存储设备，最小加权周期点播频率的计算方法为： 

加权周期点播频率用符号WDF表示，WDF_i就是第i个节目的加权周期点播频率，用以下公式计算： 

${\mathrm{WDF}}_i={\mathrm{\Σ}}_{j=1}^7{W}_j*{\mathrm{ADF}}_{\mathrm{ij}}$

其中，i表示存储设备上所有节目中的第i个节目；j表示时间段，j从1到7分别表示一周内倒数第一天到倒数第七天；ADF_ij表示第i个节目在倒数第j天的平均点播频率；W_j表示倒数第j天的加权值，W_j从W₁到W₇依次递减。 

本发明与现有技术相比，其显著优点为：采用视频点播系统的分级存储管理方法，针对视频点播用户请求特点自动进行三级存储设备间的数据迁移，大大提高视频点播的节目在高速存储设备上点播命中率，可以提高系统提供服务的相应速度，在性能和硬件价格间作出最好的平衡。在针对视频点播系统的用户请求的分析基础上，分为两个阶段进行分级存储的数据迁移管理。在视频点播系统初始化时间段内，系统的运行不够稳定，这段时间过后系统达到稳定状态，使用改进的LFRU方法，此后使用最小加权周期频率替换方法进行数据迁移。本发明的数据迁移方法把大量不经常访问的数据 存放在价格便宜，速度较慢的磁带库、光盘库等近线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。使得点播命中率和硬件价格得到最好的平衡。 

四 附图说明

图1是对二级存储系统结构图。 

图2是本发明的三级存储系统结构图。 

图3是本发明的改进的LFRU数据迁移方法与LFU、LRU的比较图。 

图4是本发明的最小加权周期频率数据迁移方法与LFU的比较图。 

五 具体实施方式

下面结合附图对本发明作进一步详细的描述。 

结合图1至图4，本发明视频点播系统的分级存储管理方法，包括以下步骤： 

第一步，首先随机地将所有点播的视频数据中的20％存在一级高速磁盘阵列存储设备上；在另外的80％视频数据中，其30％的数据存储在二级的DVD光盘库上，其70％的数据存储在三级的磁带库中； 

第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理，即进行数据迁移管理是使用改进LFRU数据迁移管理方法，其步骤如下： 

假设系统的节目库有N个节目，排序后节目访问概率符合Zipf法则，第k个节目为p_k，则节目库可表示为： 

对节目库中每个节目使用如下公式计算其RFN值： 

${\mathrm{RFN}}_k=(\frac{D-t}{D}*R_k+\frac{t}{D}*F_k)*N_k$

其中D是为了解决在过渡期数据访问不稳定的问题，定义一个过渡时间区间；R表示时间信息；F表示频率信息；N表示节目所在服务节点的个数；t为系统的逻辑时钟，表示当前时间值，k表示节目号； 

节目上一次访问距离现在的时间值：R_k＝t-t_k

$F_k=\frac{{\mathrm{\Σ}}_{i=1}^{c_k}t-t_{\mathrm{ik}}}{c_k}$

t_k为每一个节目都拥有的计时器，表示对节目p_k最近一次被访问的时间值，其初始值为t₀，是系统作为参考起点的时间值；c_k表示对节目p_k访问的次数；N_k表示节目所在服务节点的个数；t_ik表示节目p_k第i次访问的时间值，上式用于计算节目访问的频率信息， $F_k=\frac{t-t_0}{c_k}$ 表示节目过去所有访问距离现在的时间的平均值，RF将时间信息和频率信息都归一化为一个时间“距离”值，用它们的加权和作为替换的一个比较因子。当用户请求的节目不在一级存储设备上时，分级存储系统会访问下一级存储设备为用户提供视频服务，如果此时点播次数达到系统规定的阀值，则使用方法计算所有节目的RFN值，如果视频服务器没有足够剩余空间，则将除请求节目外RFN值最大的节目迁移到高一级存储设备。当然此时的选择不止一种，可以比较请求节目p_k的RFN值和最大的RFN值，只有当p_k的RFN值比最大的RFN值小时才进行替换，否则就不将下一级存储设备上的节目迁移到本级存储设备；为了增加新访问节目在一、二级存储器的机会，也可以给请求的节目的RFN值加上一个阀值再进行比较。 

第三步，系统初始化时间段后对视频数据进行最小加权周期频率数据迁移管理，即进行最小加权周期频率数据迁移管理的步骤为： 

加权周期点播频率用符号WDF表示，WDF_i就是第i个节目的加权周期点播频率，节目的加权点播频率用以下公式计算： 

${\mathrm{WDF}}_j={\mathrm{\Σ}}_{j=1}^7{W}_j*{\mathrm{ADF}}_{\mathrm{ij}}$

其中，i表示存储设备上所有节目中的第i个节目；j表示时间段，j从1到7分别表示倒数第一天到倒数第七天；ADF_ij表示第i个节目在倒数第j天的平均点播频率；W_j表示倒数第j天的加权值，W_j从W₁到W₇依次递减；WDF_i表示第i个节目的加权周期点播频率。 

下面对本发明改进的LFRU数据迁移方法和最小加权周期频率替换方法作进一步说 明。 

(1)改进的LFRU数据迁移方法 

假设系统的节目库有N个节目，排序后节目访问概率符合Zipf法则，第k个节目为p_k，则节目库可表示为： 

为了解决在过渡期数据访问不稳定的问题，定义一个过渡时间区间D。在D时间区间内，先使用类似LRU方法中的访问时间信息，提高方法对访问模式变化的适应性。当系统运行趋向于稳定后，方法使用类似于LFU方法中使用的频率信息。在改进的LFRU方法中，RFN值决定节目是迁移否数据。RFN值是数据访问的时间信息和频率信息的加权和与节目所在服务节点的个数的乘积。 

RFN＝RF*N 

RF＝F_D(t)*R+[1-F_D(t)]*F 

其中，R表示时间信息，F表示频率信息，N表示节目所在服务节点的个数。在D时间区间内，时间信息和频率信息是互补的，所以R和F的权重分别是与时间相关的函数F_D(t)和1-F_D(t)。 

为了适应从震荡到稳定的应用情况，F_D(t)函数应该具有以下性质：(1)在D的初期F_D(t)取值要大于1-F_D(t)，在D的后期F_D(t)取值要小于1-F_D(t)。(2)在时间段D内F_D(t)应该由1平和地趋向于0，而1-F_D(t)则由0平和地趋向于1，所谓平和就是曲线的斜率不能有大的变化。这样RF值就从R趋向于F，从具有时间适应性的访问时间信息转向具有全局优化特点的频率信息。 

在迁移管理方法中取F_D(t)＝(D-t)/D， $\mathrm{RF}=\frac{D-t}{D}*R+\frac{t}{D}*F.$ 很明显，当t＝0时F_D(t)＝1，RF＝R，方法等价于LRU方法；当t＝D时F_D(t)＝0，RF＝F，方法等价于LFU方法。在D时间区间内，t从0到D，方法也从LRU过度到LFU方法，满足上述的要求。 

对节目库中每个节目使用如下公式计算其RFN值。 

${\mathrm{RFN}}_k=(\frac{D-t}{D}*R_k+\frac{t}{D}*F_k)*N_k$

其中，t为系统的逻辑时钟，表示当前时间值；t_k为每一个节目都拥有的计时器，表示对节目p_k最近一次被访问的时间值，其初始值为t₀，是系统作为参考起点的时间值；c_k表示对节目p_k访问的次数；N_k表示节目所在服务节点的个数；t_ik表示节目p_k第i次访问的时间值。 

R_k＝t-t_k

上式用于计算节目访问的时间信息，表示节目上一次访问距离现在的时间值。 

$F_k=\frac{{\mathrm{\Σ}}_{i=1}^{c_k}t-t_{\mathrm{ik}}}{c_k}$

上式用于计算节目访问的频率信息， $F_k=\frac{t-t_0}{c_k}$ 表示节目过去所有访问距离现在的时间的平均值。RF将时间信息和频率信息都归一化为一个时间“距离”值，用它们的加权和作为替换的一个比较因子。 

本发明将上述策略用于过渡时间段D内动态地进行数据迁移管理。当用户请求的节目不在一级存储设备上，分级存储系统会访问下一级存储设备为用户提供视频服务，如果此时点播次数达到系统规定的阀值，则使用方法计算所有节目的RFN值，如果视频服务器没有足够剩余空间，则将除请求节目外RFN值最大的节目迁移到高一级存储设备。当然此时的选择不止一种，可以比较请求节目p_k的RFN值和最大的RFN值，只有当p_k的RFN值比最大的RFN值小时才进行替换，否则就不将下一级存储设备上的节目迁移到本级存储设备；为了增加新访问节目在一、二级存储器的机会，也可以给请求的节目的RFN值加上一个阀值再进行比较。 

虽然LFRU方法和LRFU方法都是对LFU和LRU方法的折衷，但它们还是有很大的差别。如前面所述LRFU方法是对访问时间乘上一个和频率有关的权重，它是基于访问时间的替换方法。而LFRU方法则是给访问频率乘上一个和访问时间有关的加权值，是基于访问频率的。另外，LRFU方法中的权重函数和时间无关，参数选择后方法也固定下来，没有适应性。LFRU方法中的权重函数则随时间发生变化，可以从LRU方法过度到LFU方法。它的折衷性在设定的时间段内起作用并且是变化的，这和LRFU方法完全不同。改进的LFRU方法更是继承了原LFRU方法的优点，并同时考虑了节目所在视频服务节点的个数这个因素，具有很好的效果。 

(2)最小加权周期频率替换方法 

本发明进行分级存储管理所提出的最小加权周期频率数据迁移方法是以节目的点播频率为依据。本方法引入了一个加权周期点播频率的概念。 

视频点播系统服务对象是人，而人的生活是有时间规律的，人们每天白天工作学习，晚上才有空进行休息和娱乐，到了深夜我们还得进行睡眠为第二天的工作学习养精蓄锐。每个礼拜的周末又有两天的休息时间，这段时间我们可以尽情的娱乐。根据人的生活规律，可以想到视频点播请求的时间规律性，就是每天的点播请求大多在晚上至深夜这段时间，而每周的周末两天又是点播请求比较集中的时段，也就是点播请求基本上是以星期循环的，每个星期的请求分布具有时间上的相似性。 

根据前面的分析，考虑用当前时间前一周的点播频率来预测节目的未来点播频率，同时把一周按自然天分成七天，节目的预测点播频率就是节目在这七天的平均点播频率的加权和，我们称之为加权周期点播频率。根据数据访问的局部性原理，最近访问的数据更可能随后被访问，因此这七天的点播频率信息对预测值的影响应该随时间的远近而有所区别，这种区别就用加权的方式实现。节目的平均点播频率就是每个节目拷贝在某一天的平均点播次数，假定某天节目i共有m个点播请求，则该节目该天的平均点播频率为m。 

加权周期点播频率用符号WDF表示，WDF_i就是第i个节目的加权周期点播频率。节目的加权点播频率用以下公式计算： 

${\mathrm{WDF}}_j={\mathrm{\Σ}}_{j=1}^7{W}_j*{\mathrm{ADF}}_{\mathrm{ij}}$

其中，i表示存储设备上所有节目中的第i个节目；j表示时间段，j从1到7分别表示倒数第一天到倒数第七天；ADF_ij表示第i个节目在倒数第j天的平均点播频率；W_j表示倒数第j天的加权值，W_j从W₁到W₇依次递减；WDF_i表示第i个节目的加权周期点播频率。 

以上计算节目加权周期点播频率的方法可以不作修改用于分级存储管理的周期数据迁移。加权周期点播频率的计算方法通过对前七天的平均点播频率进行一定的加权统计，计算得到的值对节目的未来点播请求有很好的预测性。 

加权周期点播频率只是分级存储系统进行数据迁移的依据之一，当然也是最重要的依据，基本上是优先将加权周期点播频率最小的节目迁移到下一级存储设备，但是 视频点播系统是一个复杂的系统，还有以下情况需要考虑。 

在视频点播系统应用中，肯定会出现这样的情况：一部大片刚刚上映，可想而知这样的大片肯定点播率非常高。我们为每个节目设定一个值θ，其值表示是否可迁移到下一级存储设备。1表示不能迁移，0则可以迁移到下一级存储设备。 

在这段时间内，系统的运行不够稳定，这段时间过后系统达到稳定状态。在设定的时间段内使用改进的LFRU方法，此后使用最小加权周期频率替换方法进行数据迁移。数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等近线介质上，只在磁盘阵列上保存少量访问频率高的数据的技术。并且这种数据迁移对用户来说是透明的。 

为了验证本发明改进的LFRU方法和最小加权周期频率替换方法的在分级存储系统中的性能，我们在视频点播系统中实现了LFU、LRU方法和LFRU方法，与改进的LFRU方法和最小加权周期频率替换方法程序一起进行半虚拟实验。 

系统准备了50个节目存储在磁盘阵列中，将其中十个节目看成热门节目，二十个看成冷门节目，剩余的二十个看成不冷不热的节目。随机拷贝一些节目到三级存储系统中。实验中采用动态数据迁移策略，然后统计动态数据迁移策略中使用的各种迁移三方的命中率，即用户请求在高速磁盘阵列中的比例。 

首先比较改进的LFRU方法与LFU、LRU方法的性能。用一个240个数组成的循环队列模拟用户请求，每个数表示请求的节目ID，队列的请求在频率上服从zipf法则。每隔15秒从队列取一个数作为用户请求，队列用完后，数组的数整体向前平移模拟访问概率分布的变化以及节目访问概率的变化。对这样一个请求模型，分别使用改进的LFRU方法与LFU、LRU、LFRU方法作为视频点播系统三级的分级存储数据迁移管理进行实验，对实验结果进行统计得到四种方法的命中率分布如图3所示。图中右边从上到下四条线分别是改进的LFRU方法、LFRU方法、LFU方法、LRU方法的请求命中率折线，四条线显示改进的LFRU方法命中率比LFRU要好一些。在方法的初期，改进的LFRU方法优于LRU方法，在方法的末期，改进的LFRU方法优于LFU方法，这和理论分析是一致的。 

要测最小加权周期频率数据迁移的性能，主要考察访问模式变化时PLFU方法对数 据陈旧的克服效果，并与LFU方法进行比较。用两个240个数组成的循环队列模拟用户请求，且两个队列节目的概率有着巨大的差别，每个数表示请求的节目ID，每个队列的请求在频率上服从zipf法则。每隔15秒从队列取一个数作为用户请求，队列用完后，随机从队列任一位置开始，如此重复12次，然后换另一个队列，也做12遍。通过对使用这两种数据迁移方法的实验结果进行统计，它们的命中率分布如图4，上下两条线分别是最小加权周期频率替换方法、LFU方法的请求命中率折线，从图中可以看到最小加权周期频率替换方法能较好地适应节目访问模式的变化，克服数据的陈旧问题。LFU方法对节目访问概率的变化比较敏感，命中率在访问模式变化时波动比较大，要隔较长时间才能缓和。 

Claims (1)

1.一种视频点播系统的分级存储管理方法，包括以下步骤：

第一步，首先随机地将所有点播的视频数据中的20％存在一级高速磁盘阵列存储设备上；在另外的80％视频数据中，其30％的数据存储在二级的DVD光盘库上，其70％的数据存储在三级的磁带库中；

第二步，在视频点播系统初始化时间段内，对视频数据进行数据迁移管理；进行数据迁移管理是使用LFRU数据迁移管理方法，其步骤如下：

假设系统的节目库有N个节目，排序后节目访问概率符合Zipf法则，第k个节目为p_k，则节目库可表示为：

对节目库中每个节目使用如下公式计算其RFN值：

RFN值决定节目是否迁移数据，其为数据访问的时间信息和频率信息的加权与节目所在的服务节点的个数的乘积；其中D是为了解决在过渡期数据访问不稳定的问题，定义的一个过渡时间区间；R表示时间信息；F表示频率信息；N_k表示第k个节目所在服务节点的个数；t为系统的逻辑时钟，表示当前时间值；

第k个节目最近一次被访问距离现在的时间值：R_k=t-t_k，t_k表示p_k最近一次被访问的时间值；

c_k表示对p_k访问的次数；t_ik表示对p_k第i次访问的时间值，F_k用于计算节目访问的频率信息；

在过渡时间段D内动态地进行数据迁移管理，当用户请求的节目不在一级存储设备上，分级存储系统会访问下一级存储设备为用户提供视频服务，如果此时点播次数达到系统规定的阀值，则计算所有节目的RFN值，如果视频服务器没有足够剩余空间，则将除请求节目外RFN值最大的节目迁移到高一级存储设备； 

第三步，系统初始化时间段后对视频数据进行最小加权周期点播频率数据迁移管理，将加权周期点播频率最小的节目迁移到下一级存储设备，最小加权周期点播频率的计算方法为：

加权周期点播频率用符号WDF表示，WDF_i就是第i个节目的加权周期点播频率，用以下公式计算：

其中，i表示存储设备上所有节目中的第i个节目；j表示时间段，j从1到7分别表示一周内倒数第一天到倒数第七天；ADF_ij表示第i个节目在倒数第j天的平均点播频率；W_j表示倒数第j天的加权值，W_j从W₁到W₇依次递减。 

Images