CN105407383A - 一种多版本视频点播流媒体服务器集群资源预测方法 - Google Patents

Abstract

本发明为一种多版本视频点播流媒体服务器集群资源预测方法，通过分析用户历史视频点播行为日志，挖掘用户视频点播行为特征和规律，建立用户视频点播行为模型；根据用户视频点播行为模型，采用排队论理论构建多版本视频点播中流媒体服务器集群资源预测模型，计算出流媒体服务器集群所需要的资源量，从而达到保证用户体验和提高集群资源利用率的目的。

Description

一种多版本视频点播流媒体服务器集群资源预测方法

技术领域

本发明属于视频点播技术领域，涉及到视频点播、流媒体服务器、资源预测，特别涉及一种多版本视频点播流媒体服务器集群资源预测方法。

背景技术

随着WIFI、3G、4G乃至LTE无线通信技术以及各种移动智能终端的迅猛发展，用户可以在各种移动设备上随时随地访问多媒体视频资源，为了应对移动终端类型的多样性以及异构的网络接入方式，多版本视频点播应运而生。目前关于多版本视频点播的研究，主要有：1)可分级视频编码技术；2)实时视频转码；3)多版本视频存储。然而将所有的版本预先存储好，需要巨大的存储资源，以及版本的不可预测性，提前准备好所有视频版本是不现实的；将部分点播热度较高的版本提前存储，其他非热门的视频版本在用户点播时实时转码进行服务成为实现多版本视频点播服务优秀的解决方案，只存储部分热门版本节省存储空间，而只有非热门视频版本需要依靠实时转码提供服务，降低系统整体的计算资源消耗量，提出了部分存储部分实时转码的多版本视频点播实现方案。为了支持基于部分存储部分实时转码的多版本视频点播服务，在节省存储空间的同时，视频服务商需要提供必要的计算资源和带宽资源来满足服务。而为该服务分配的计算资源和带宽资源量的多少将决定用户体验的好坏。

云计算技术的出现，将巨大的资源共享起来，视频服务商可以租用任意大小的资源量来提供服务，但是如果分配的资源量过大则会造成资源浪费，租用成本过高；如果分配的资源量过小，则会影响用户体验。一个合理有效的资源分配方案才能使资源在得到最优利用的同时保证用户体验。因此，面向多版本视频点播的流媒体服务器集群资源预测方法研究就显得非常重要。

申请人经过查新，检索到以下几篇与本发明专利相关且属于流媒体服务器领域的专利，它们分别是：

1.中国专利2014102090394，基于众核处理器且带多码率转码功能的流媒体服务器；

2.中国专利2013104727063，基于多服务器的流媒体传输装置和流媒体传输方法；

3.中国专利2013103650806，一种流媒体服务器集群负载均衡系统及均衡方法

在上述专利1中，发明人提供一种基于众核处理器且带多码率转码功能的流媒体服务器方法；在上述专利2中，发明人提供一种基于多服务器的流媒体传输装置和流媒体传输方法；在上述专利3中，发明人公开了一种流媒体服务器集群负载均衡系统。

上述相关发明专利都没有考虑VOD应用负载高度的动态性以及用户请求随机到达性使得所需的服务器集群资源动态变化情况，因而产生面向多版本视频点播的流媒体服务器集群资源预测方法，来提升用户体验。

发明内容

为了克服上述现有技术的缺点，本发明的目的在于提供一种多版本视频点播流媒体服务器集群资源预测方法，以保证用户体验和提高集群资源利用率。

为了实现上述目的，本发明采用的技术方案是：

一种多版本视频点播流媒体服务器集群资源预测方法，包括：

通过分析用户历史视频点播行为日志，挖掘用户视频点播行为特征和规律，建立用户视频点播行为模型；

根据用户视频点播行为模型，采用排队论理论构建多版本视频点播中流媒体服务器集群资源预测模型，计算出流媒体服务器集群所需要的资源量，从而达到保证用户体验和提高集群资源利用率的目的。

所述用户视频点播行为模型的建立步骤如下：

Step1：视频点播行为日志预处理，删除原始点播行为日志数据中大量的冗余信息和不完整记录；

Step2：对视频点播行为日志进行统计，将1分钟作为单位时间，计算单位时间用户请求到达数，统计到达数次数的概率，得到用户视频点播请求到达率；

Step3：对视频点播日志进行统计，统计每个视频被点播的次数及所有视频被点播的次数，得到视频点播热度分布；

Step4：对视频点播日志进行统计，统计每个视频被点播的次数和该视频的每个版本被点播的次数，得到相同视频不同版本间的点播热度分布；

Step5：分别统计不同视频被点播的时长，得到平均请求服务时长；

Step6：根据每个视频的每个版本的点播概率以及相应的视频码率即可得到一个点播请求所需占用的平均带宽资源期望值；记录版本之间转码时CPU的利用率，得到不同版本之间的转码权重，从而得到单位CPU能够同时并发执行的转码任务数的期望值。

所述用户视频点播请求到达率的计算步骤如下：

Step1：抽取每一条视频点播日志记录中的日期与时间项，一条记录表示一次访问；

Step2：数组C[24][60]表示1分钟内用户请求到达的次数，扫描所有日志记录，计算其对应于哪个时间间隔，将次数C[i][j]+1；

Step3：统计用户请求到达数C[i][j]为k的情况出现的次数，用A(k)表示；

Step4：计算出现次数A(k)所占的概率。

所述一个视频点播请求所需占用的平均带宽资源期望值表示为R＝Σp_i,jr_i,j，其中p_i,j为第i个视频的第j个版本的点播概率，r_i,j为其码率，版本i转到版本j的转码权重用w_i,j表示，版本之间转码时CPU的利用率U＝Σp_i,jw_i,j，单位CPU能够同时并发执行的转码任务数的期望值V＝1/U。

所述流媒体服务器集群所需要的资源量的计算步骤如下：

Step1：若用户请求平均到达率为λ，到达的请求中，需要实时转码的请求数占的比例为集群服务率的期望值为μ，平均请求服务时长是平均值为1/μ的一般分布，一个点播请求所需占用的平均带宽资源期望值为R，单位CPU能够同时开启的转码任务数期望值为V，用户平均等待时长为T，最大用户等待时长为ART；

Step2：由排队论模型可知，请求需要等待的概率为队列中正在等待的请求平均个数为其中ρ＝λ/nμ，n为服务器并行服务能力，t_ij为用户点播第i个视频的第j个版本的时长，P_ij为点播到该视频版本的概率，队列中的平均等待时长T为T＝N_Q/λ；

Step3：为了满足用户平均等待时长T不超过ART，即T≤ART，采用逐步逼近法拟合求解所需的服务器并行流化服务能力n₁和并行转码能力n₂；

Step4：计算所需的带宽资源为B＝n₁·R，所需的转码计算资源即CPU核数为C＝n₂/V。

所述逐步逼近法步骤如下：

首先，设n＝1，并依此幂次增加，直至当n＝2^k时，计算此时的平均等待时长T，满足T≤ART；

其次，在n∈[2^k-1,2^k]区间内，进行折半查找，直至求出当n＝n_opt时，平均等待时长T最接近或等于ART，则n_opt即为要求解的近似最优值。

与现有技术相比，本发明的有益效果是：可以根据用户视频点播行为实现了集群资源的合理配置，从而保证用户体验和提高集群资源利用率。

附图说明

图1为本发明多版本视频点播流媒体服务器集群资源预测方法流程图。

图2为统计的用户视频点播请求到达率分布图。

图3为统计的视频点播热度分布图。

图4为统计的时长统计分布图，其中实线表示移动端，虚线表示PC端。

具体实施方式

下面结合附图和实施例详细说明本发明的实施方式。

如附图1所示，本发明为一种多版本视频点播流媒体服务器集群资源预测方法，通过分析用户历史视频点播行为日志，挖掘用户视频点播行为特征和规律，建立用户视频点播行为模型；根据用户视频点播行为模型，采用排队论理论构建多版本视频点播中流媒体服务器集群资源预测模型，计算出流媒体服务器集群所需要的资源量，从而达到保证用户体验和提高集群资源利用率的目的。

下面对本发明的技术方案进行详细说明。

1、用户视频点播请求到达率

用户视频点播请求到达率是指单位时间内用户请求到达的个数。选取若干天的点播日志进行统计，将1分钟作为单位时间，计算单位时间用户请求到达数，统计到达数次数的概率。计算步骤如下：

Step1：抽取每一条视频点播日志记录中的日期与时间项，一条记录表示一次访问；

Step2：数组C[24][60]表示1分钟内用户请求到达的次数，扫描所有日志记录，计算其对应于哪个时间间隔，将次数C[i][j]+1；

Step3：统计用户请求到达数C[i][j]为k的情况出现的次数，用A(k)表示；

Step4：计算出现次数A(k)所占的概率。

统计的用户视频点播请求到达率分布如附图2所示。图中横坐标表示单位时间(1分钟)内请求到达的次数，纵坐标为其出现的概率。用户视频点播请求到达率的分布近似于泊松(Poisson)分布，附图2中单位时间用户请求到达数平均值为54.882，故使用参数为λ＝54.882/分钟的泊松分布进行拟合，拟合度达到R²＝0.876。

2、视频点播热度分布

视频点播热度是衡量该视频流行度的一个量化指标，是指一定时间间隔内该视频被点播到的概率。通过统计点播日志得出视频点播热度分布如附图3所示。一般采用Zipf-like分布来描述视频点播热度分布。

3、相同视频不同版本间的点播热度分布

在多版本视频点播的应用背景下，还需要考虑同一个视频的不同版本之间的点播概率。具体概率分布可通过统计同一个视频在不同终端的点播次数计算得到。可使用高斯分布来表示：

${p_j}^{\′}=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-{(j-m)}^2/2{\mathrm{\σ}}^2}/\underset{j=1}{\overset{N}{\Σ}}\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-{(j-m)}^2/2{\mathrm{\σ}}^2}$

式中，j为视频的版本号；p_j′为版本j的点播概率；m为高斯分布的位置参数；σ为高斯分布的尺度参数，σ越小，表明在m处的概率越大；N为视频的版本数。

4、服务时长分布

视频点播服务时长分布描述的是从用户请求到达系统到请求离开这段时长的统计规律。服务时长可用于描述排队系统的服务率。分别统计不同终端的学习日志，针对不同视频，得到学习时长统计。部分视频的时长统计如附图4所示。

5、单个请求所占资源量期望值

用户请求到达时，服务器需要为每个请求分配相应的带宽资源或计算资源。根据每个视频的每个版本的点播概率以及相应的视频码率即可得到一个点播请求所需占用的平均带宽资源期望值，表示为R＝E[r_i]＝Σp_i,jr_i,j，其中p_i,j＝p_ip_j′为第i个视频的第j个版本的点播概率，r_i,j为其码率。

对于实时转码，不同码率、分辨率的视频之间转码所需的计算资源不同，版本i转到版本j的转码权重用w_i,j表示。一个转码请求占用计算资源(CPU利用率)期望值可通过视频点播概率与统计实验值求得：U＝E[w_i]＝Σp_i,jw_i,j，那么单位CPU能够同时并发执行的转码任务数的期望值则为：V＝1/U。

6、排队论模型构建

根据用户视频点播行为模型，采用排队论理论构建多版本视频点播中流媒体服务器集群资源预测模型，计算出流媒体服务器集群所需要的资源量，其具体步骤为：

Step1：若用户请求平均到达率为λ，到达的请求中，需要实时转码的请求数占的比例为集群服务率的期望值为μ，平均请求服务时长是平均值为1/μ的一般分布，一个点播请求所需占用的平均带宽资源期望值为R，单位CPU能够同时开启的转码任务数期望值为V，用户平均等待时长为T，最大用户等待时长为ART；

Step2：由排队论模型可知，请求需要等待的概率为队列中正在等待的请求平均个数为其中ρ＝λ/nμ，n为服务器并行服务能力，t_ij为用户点播第i个视频的第j个版本的时长，P_ij为点播到该视频版本的概率，队列中的平均等待时长T为T＝N_Q/λ；

Step3：为了满足用户平均等待时长T不超过ART，即T≤ART，采用逐步逼近法拟合求解所需的服务器并行流化服务能力n₁和并行转码能力n₂；

Step4：计算所需的带宽资源为B＝n₁·R，所需的转码计算资源即CPU核数为C＝n₂/V。

7、逐步逼近法

由于服务器并行服务能力与平均等待时长呈负相关关系，并且并行服务能力n为正整数，故可采用逐步逼近法拟合求解。算法思路如下：

首先，设n＝1，并依此幂次增加，直至当n＝2^k时，计算此时的平均等待时长T，满足T≤ART。

其次，在n∈[2^k-1,2^k]区间内，进行折半查找，直至求出当n＝n_opt时，平均等待时长T最接近或等于ART，则n_opt即为要求解的近似最优值。

Claims (6)

1.一种多版本视频点播流媒体服务器集群资源预测方法，其特征在于，包括：

通过分析用户历史视频点播行为日志，挖掘用户视频点播行为特征和规律，建立用户视频点播行为模型；

根据用户视频点播行为模型，采用排队论理论构建多版本视频点播中流媒体服务器集群资源预测模型，计算出流媒体服务器集群所需要的资源量，从而达到保证用户体验和提高集群资源利用率的目的。

2.根据权利要求1所述多版本视频点播流媒体服务器集群资源预测方法，其特征在于，所述用户视频点播行为模型的建立步骤如下：

Step1：视频点播行为日志预处理，删除原始点播行为日志数据中大量的冗余信息和不完整记录；

Step2：对视频点播行为日志进行统计，将1分钟作为单位时间，计算单位时间用户请求到达数，统计到达数次数的概率，得到用户视频点播请求到达率；

Step3：对视频点播日志进行统计，统计每个视频被点播的次数及所有视频被点播的次数，得到视频点播热度分布；

Step4：对视频点播日志进行统计，统计每个视频被点播的次数和该视频的每个版本被点播的次数，得到相同视频不同版本间的点播热度分布；

Step5：分别统计不同视频被点播的时长，得到平均请求服务时长；

Step6：根据每个视频的每个版本的点播概率以及相应的视频码率即可得到一个点播请求所需占用的平均带宽资源期望值；记录版本之间转码时CPU的利用率，得到不同版本之间的转码权重，从而得到单位CPU能够同时并发执行的转码任务数的期望值。

3.根据权利要求2所述多版本视频点播流媒体服务器集群资源预测方法，其特征在于，所述用户视频点播请求到达率的计算步骤如下：

Step1：抽取每一条视频点播日志记录中的日期与时间项，一条记录表示一次访问；

Step2：数组C[24][60]表示1分钟内用户请求到达的次数，扫描所有日志记录，计算其对应于哪个时间间隔，将次数C[i][j]+1；

Step3：统计用户请求到达数C[i][j]为k的情况出现的次数，用A(k)表示；

Step4：计算出现次数A(k)所占的概率。

4.根据权利要求2所述多版本视频点播流媒体服务器集群资源预测方法，其特征在于，所述一个视频点播请求所需占用的平均带宽资源期望值表示为R＝Σp_i,jr_i,j，其中p_i,j为第i个视频的第j个版本的点播概率，r_i,j为其码率，版本i转到版本j的转码权重用w_i,j表示，版本之间转码时CPU的利用率U＝Σp_i,jw_i,j，单位CPU能够同时并发执行的转码任务数的期望值V＝1/U。

5.根据权利要求1所述多版本视频点播流媒体服务器集群资源预测方法，其特征在于，所述流媒体服务器集群所需要的资源量的计算步骤如下：

Step1：若用户请求平均到达率为λ，到达的请求中，需要实时转码的请求数占的比例为，集群服务率的期望值为μ，平均请求服务时长是平均值为1/μ的一般分布，一个点播请求所需占用的平均带宽资源期望值为R，单位CPU能够同时开启的转码任务数期望值为V，用户平均等待时长为T，最大用户等待时长为ART；

Step2：由排队论模型可知，请求需要等待的概率为队列中正在等待的请求平均个数为其中ρ＝λ/nμ，n为服务器并行服务能力，t_ij为用户点播第i个视频的第j个版本的时长，P_ij为点播到该视频版本的概率，队列中的平均等待时长T为T＝N_Q/λ；

Step3：为了满足用户平均等待时长T不超过ART，即T≤ART，采用逐步逼近法拟合求解所需的服务器并行流化服务能力n₁和并行转码能力n₂；

Step4：计算所需的带宽资源为B＝n₁·R，所需的转码计算资源即CPU核数为C＝n₂/V。

6.根据权利要求5所述多版本视频点播流媒体服务器集群资源预测方法，其特征在于，所述逐步逼近法步骤如下：

首先，设n＝1，并依此幂次增加，直至当n＝2^k时，计算此时的平均等待时长T，满足T≤ART；

其次，在n∈[2^k-1,2^k]区间内，进行折半查找，直至求出当n＝n_opt时，平均等待时长T最接近或等于ART，则n_opt即为要求解的近似最优值。