CN102801792A

CN102801792A - 基于统计预测的云cdn资源自动部署方法

Info

Publication number: CN102801792A
Application number: CN2012102621036A
Authority: CN
Inventors: 吴宗泽; 梁啟成; 冯梁谋; 张勰; 向友君; 傅予力
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2012-07-26
Filing date: 2012-07-26
Publication date: 2012-11-28
Anticipated expiration: 2032-07-26
Also published as: CN102801792B

Abstract

本发明公开了基于统计预测的云CDN资源自动部署方法，其根据云CDN各边缘节点负载的历史数据预测未来24小时负载预测值，制定相应边缘节点的虚拟服务器资源部署计划，对云CDN各边缘节点进行虚拟服务器资源部署；实时监控云CDN各边缘节点负载情况，当云CDN处于用户访问高峰期时，云平台将配置好相关业务的镜像挂载到虚拟服务器中并启动加入到云CDN各边缘节点当中，分摊突发的访问压力；当云CDN处于非访问高峰期时，只保留维持业务正常水平运行的虚拟服务器，将闲置的虚拟服务器资源回收到资源池中。该方法不仅能有效应对突发的业务高峰，提高CDN的资源利用率，而且降低了CDN的能耗和运维成本。

Description

基于统计预测的云CDN资源自动部署方法

技术领域

本发明涉及通信领域，尤其涉及一种基于统计预测的云CDN资源自动部署方法。

背景技术

CDN（Content Delivery Network）即内容分发网络，是通过在现有的IP承载网上增加一层新的网络架构，将内容（视频、音频、Web网页等）发送到最接近用户的网络“边缘”，使用户可以就近取得所需的内容，从而优化网络流量状况，提高用户访问网站的响应速度。CDN可以解决由于骨干网络带宽小、用户访问量大、网点分布不均等原因所造成内容传输速度慢和稳定性问题。

然而，CDN业务的访问量不是均衡的，具有很强的时间周期性和突发性。如根据中国电信IPTV的数据分析，白天的用户访问量很少，而晚上8、9、10点是视频业务的高峰；由于某些突发事件如迈克尔·杰克逊突然去世，会使得访问量爆增导致CDN陷入瘫痪。因此，为了应对这些周期性和突发性的高峰流量，CDN会按照峰值要求来配置服务器和网络资源，造成资源的平均利用率只有10-15%。

另一方面，从IDC（Internet Data Center，即互联网数据中心）角度考虑，根据近年IDC的成本分析，IT开销中的硬件开销是基本持平的，电力能耗和维护管理的成本上升非常迅速，约占IDC开销的60%以上。要达到降低成本的要求，在硬件开销无法减少的情况下，降低能耗和运维成本，显得尤其重要。

发明内容

为了克服现有CDN资源利用率低、弹性扩容能力差的不足，本发明提供了一种基于统计预测的云CDN资源自动部署方法，通过对CDN边缘节点的负载预测以及实时监控，实现了CDN的资源按需分配和自动、快速的弹性扩容。该方法不仅能有效应对突发的业务高峰，提高CDN的资源利用率，而且降低了CDN的能耗和运维成本。

本发明的技术方案如下，基于统计预测的云CDN资源自动部署方法，包括以下步骤：

S1、根据云CDN各边缘节点负载的历史数据预测未来24小时负载预测值，制定相应边缘节点的虚拟服务器资源部署计划，对云CDN各边缘节点进行虚拟服务器资源部署；

S2、实时监控云CDN各边缘节点负载情况，当云CDN处于用户访问高峰期时，云平台将配置好相关业务的镜像挂载到虚拟服务器中并启动加入到云CDN各边缘节点当中，分摊突发的访问压力；当云CDN处于非访问高峰期时，只保留维持业务正常水平运行的虚拟服务器，将闲置的虚拟服务器资源回收到资源池中。

所述S1包括如下步骤：

S11、统计前24小时云CDN各边缘节点的负载，得出实际负载平均值L；

S12、查找统计记录，获取云CDN各边缘节点的前24小时负载预测值P；

S13、比较前24小时负载预测P和实际负载平均值L的大小，判断

是否成立，α为预先设定的阈值，若成立则云CDN维持当前的虚拟服务器资源部署规模；若不成立且P大于L，则边缘节点增加部署CDN虚拟服务器；如若不成立且P小于L，则边缘节点将回收空闲的虚拟服务器资源。

所述S1还包括步骤：

S14、通过负载预测模型，求出云CDN各边缘节点的未来24小时负载预测值P。

所述负载预测模型的建立过程为：

S141、云CDN每天统计前n天的云CDN各边缘节点的负载情况，算出前n天负载的日平均值{l_n}，建立随机型时间序列自递归模型，预测未来24小时负载预测值P；

建立随机型时间序列自递归模型为线性信号模型L(z)：

L (z) = \frac{d_{0}}{A (z)} = \frac{d_{0}}{1 + Σ_{k = 1}^{p} a_{k} z^{- k}}

其中d₀为系统增益，p为模型的阶，对L(z)进行变换可得：

L (z) + Σ_{k = 1}^{p} a_{k} L (z) z^{- k} = d_{0}

对进行变换后的L(z)取z反变换，线性信号模型L(z)的冲击响应l(n)作为未来24小时负载预测值P，为：

l (n) = - Σ_{k = 1}^{P} a_{k} l (n - k) + d_{0} δ (n)

l(n)为先前值l(n-1)，…，l(n-p)的线性加权递归结果；l(0)＝d₀；系数{a_k}为预测器系数：

a_{n} = - \frac{l (n)}{l (0)} - Σ_{k = 1}^{n - 1} a_{k} \frac{l (n - k)}{l (0)}

n>0

所述S2包括如下步骤：

S21、分别对云CDN各边缘节点设定一个最大负载值M，M的初始值为未来24小时负载预测值P；

S22、实时监测云CDN各边缘节点当前的负载值N；

S23、若当前的负载值N大于最大负载值M，等待时间t1再次判断是否N大于M；如果是则证明当前为云CDN用户访问高峰，增加边缘节点的虚拟服务器，同时更新最大负载值M；否则忽略不做任何处理，返回步骤S22实时监测当前的负载值N；

S24、若当前的负载值N小于最大负载值M，等待时间t2再次判断是否N小于等于未来24小时负载预测值P；如果是则关闭多余的虚拟服务器并回收资源，恢复到该云CDN边缘节点当天计划部署的规模；否则忽略不做任何处理，返回步骤S22实时监测当前的负载值N。

本发明将具有资源共享、按需分配、弹性调度典型特征的云与CDN结合，共同完成一个资源的聚和散的互补。云负责基础设施资源的集中分配、管理，CDN负责将媒体资源分散到更靠近用户的网络边缘。本发明一方面根据云CDN各边缘节点负载的历史数据预测未来24小时的负载预测值，制定相应节点的资源部署计划，对CDN资源进行自动部署；另一方面，通过实时监控云CDN各边缘节点负载情况，弹性调度虚拟服务器资源，以应对突发的访问压力。部署方法主要包括以下几部分：

1、整合资源：CDN通常需要大量的基础设施，且相对分散。云计算的虚拟化技术能够整合这些基础设施，形成一个大的资源池，实现全网共享和统一调度，推动CDN基础设施的平台化。

2、按需分配：不同的业务对各类IT资源的需求不一样，云计算可以根据业务需要精确分配资源，克服传统主机的性能短板，提高资源的利用率，减少资源的浪费。

3、弹性调度：CDN既需要满足业务高峰期的需求，又不能造成低潮期的资源浪费。云计算可以为CDN实现弹性的资源调度。在负载过高时自动、快速地部署新的资源，而对空闲的资源及时有效地回收。

与现有技术相比，本发明的有益效果有以下几点：

1、利用虚拟化技术，云计算平台对CDN资源进行统一管理，可根据业务的具体需求进行资源分配，提高物理服务器资源（如：CPU、内存、硬盘）的利用率；

2、通过对云CDN边缘节点进行负载预测，节省了自动部署虚拟服务器资源的时间，提高了适应突发用户访问接入的能力；

3、面对业务高峰带来的压力，可在短时间内对CDN的业务能力作出调整变化，以自动部署、弹性调度的形式提升了系统的扩容能力，替换原来的购买新硬件资源方式，节约成本；

4、自主把握闲置资源的用途，一方面可将资源分配其他业务当中，另一方面可以将资源出租，实现增益创收。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1是本发明的系统架构图。

图2是云CDN每天定时更新各个节点部署策略的流程图。

图3是云CDN资源弹性调度的流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，云CDN架构主要分为两大部分：中心节点和边缘节点。中心节点主要负责全局的内容管理、资源管理和服务调度，通过PULL或PUSH的方式将内容分发到各个边缘节点；而边缘节点则是云CDN内容分发的载体，通过离用户最近的一个边缘节点将互联网内容直接传输到用户终端。运用云计算虚拟化技术，各个边缘节点的资源集中在资源池进行统一管理，根据边缘节点负载情况，自动部署相应的缓存服务器。

本发明云CDN资源自动部署的原理如下：每天的某一时刻，云CDN各边缘节点根据预测模型预测当天的负载预测值，根据该预测负载预测值对应部署CDN各边缘节点的资源；当CDN处于负载高峰期，云平台自动将配置好相关业务的镜像挂载到虚拟服务器并加入CDN边缘节点中，作为该节点的缓存服务器，增加服务能力；高峰期过后，云平台将空闲的服务器回收到资源池中，只保留原来CDN预设的虚拟服务器数，从而实现资源的弹性调配。资源池中的可用资源，可分配其他业务使用。

如图2所示，本发明根据云CDN各边缘节点负载的历史数据预测未来24小时的负载预测值，制定相应节点的资源部署计划，对云CDN各边缘节点进行资源部署，包括如下步骤：

S11、在一天中某个特定时间，如每天凌晨的3点钟，统计前24小时云CDN各边缘节点的负载，得出实际负载平均值L。

S12、查找统计记录，获取云CDN各边缘节点的前24小时负载预测值P。

S13、比较前24小时负载预测P和实际负载平均值L的大小，判断

是否成立，若成立则云CDN维持当前的部署规模；若不成立且P大于L，则边缘节点增加部署CDN虚拟服务器；如若不成立且P小于L，则边缘节点将回收空闲的虚拟服务器资源；其中，阈值α取0.1。

此外，还通过负载预测模型，求出云CDN各边缘节点的未来24小时负载预测值P。下面将详细说明负载预测模型的建立过程：

云CDN每天统计前n天的云CDN各边缘节点的负载情况，算出前n天负载的日平均值{l_n}，建立随机型时间序列自递归（Auto Regressive）模型，预测未来24小时负载预测值P。

随机型时间序列自递归模型为线性信号模型的建立步骤如下：建立随机型时间序列自递归模型为线性信号模型L(z)，形式如公式（1）所示。

L (z) = \frac{d_{0}}{A (z)} = \frac{d_{0}}{1 + Σ_{k = 1}^{p} a_{k} z^{- k}} - - - (1)

公式（1）中d₀为系统增益，p为模型的阶，对公式（1）进行变换可得：

L (z) + Σ_{k = 1}^{p} a_{k} L (z) z^{- k} = d_{0} - - - (2)

由于系统是因果的，对（2）式取z反变换，线性信号模型L(z)的冲击响应l(n)作为未来24小时负载预测值P，可表示为：

l (n) = - Σ_{k = 1}^{P} a_{k} l (n - k) + d_{0} δ (n) - - - (3)

如果线性信号模型L(z)的全部极点在单位圆内，那么冲击响应l(n)是一个因果、稳定序列，系统是最小相位系统。从式（3）有：

l(0)=d₀ (4)

l (n) = - Σ_{k = 1}^{p} a_{k} l (n - k)

n>0 (5)

由因果性得到：

l(n)=0 n<0 (6)

因此，除了在n=0的值，l(n)可作为先前值l(n-1)，…，l(n-p)的线性加权递归得到。也就是说，未来24小时负载预测值l(n)能从过去的p个负载值预测得到。因此系数{a_k}可称为预测器系数。从式（4）和式（5）中，可写出反关系式，得到预测器系数：

a_{n} = - \frac{l (n)}{l (0)} - Σ_{k = 1}^{n - 1} a_{k} \frac{l (n - k)}{l (0)}

n>0 (7)

综上所述，假定负载预测模型的阶数为p＝6，利用一周以内每天的日平均负载值l(n)，0≤n≤6，我们即可计算出未来24小时负载预测值l(7)，即未来24小时负载预测值P。

本发明通过实时监控云CDN各边缘节点负载情况，弹性调度虚拟服务器资源，以应对突发的访问压力的过程中，当云CDN处于用户访问高峰期，根据扩容策略，云平台自动将配置好相关业务的镜像挂载到虚拟服务器中并启动加入到云CDN各边缘节点当中，分摊突发的访问压力；当云CDN处于非访问高峰期，只保留维持业务正常水平运行的虚拟服务器，将闲置的资源回收到资源池中，由云平台再根据其他业务的需求统一进行分配，从而提高资源的有效利用率。

如图3所示，云CDN资源弹性调度的流程如下：

S21、分别对云CDN各边缘节点设定一个最大负载值M，M的初始值为未来24小时负载预测值P。

S22、实时监测云CDN各边缘节点当前的负载值N。

S23、若当前的负载值N大于最大负载值M，等待时间t1再次判断是否N大于M；如果是则证明当前为云CDN用户访问高峰，增加边缘节点的虚拟服务器，同时更新最大负荷值M；否则忽略不做任何处理，返回步骤S22实时监测当前的负载值N。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims

1.基于统计预测的云CDN资源自动部署方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于统计预测的云CDN资源自动部署方法，其特征在于，所述S1包括如下步骤：

S13、比较前24小时负载预测P和实际负载平均值L的大小，判断

3.根据权利要求2所述的基于统计预测的云CDN资源自动部署方法，其特征在于，所述S1还包括步骤：

4.根据权利要求3所述的基于统计预测的云CDN资源自动部署方法，其特征在于，所述负载预测模型的建立过程为：

建立随机型时间序列自递归模型为线性信号模型L(z)：

L (z) = \frac{d_{0}}{A (z)} = \frac{d_{0}}{1 + Σ_{k = 1}^{p} a_{k} z^{- k}}

其中d₀为系统增益，p为模型的阶，对L(z)进行变换可得：

L (z) + Σ_{k = 1}^{p} a_{k} L (z) z^{- k} = d_{0}

l (n) = - Σ_{k = 1}^{P} a_{k} l (n - k) + d_{0} δ (n)

a_{n} = - \frac{l (n)}{l (0)} - Σ_{k = 1}^{n - 1} a_{k} \frac{l (n - k)}{l (0)}

n>0

5.根据权利要求2所述的基于统计预测的云CDN资源自动部署方法，其特征在于，所述α取0.1。

6.根据权利要求1所述的基于统计预测的云CDN资源自动部署方法，其特征在于，所述S2包括如下步骤：

S22、实时监测云CDN各边缘节点当前的负载值N；