CN103425535A - 云环境下的敏捷弹性伸缩方法 - Google Patents

Abstract

本发明涉及云计算的弹性计算领域，公开了一种云环境下的敏捷弹性伸缩方法，具体步骤如下：根据数据中心的历史负载数据对下个时间片进行负载预测，所述负载预则使用ARIMA模型和ARMA模型，以所述时间片为周期以实现负载预测；包括对虚拟机的保存操作和恢复操作，保存操作将虚拟机的内存状态进行保存以实现虚拟机的挂起，随后通过恢复操作恢复虚拟机的内存状态恢复虚拟机的使用；利用所述负载预测步骤得到的数据中心的负载预测，应用所述虚拟机快速供给步骤将一个或者多个应用就绪的虚拟机挂起或者快速投入使用，实现对数据中心应用集群的资源的动态调整。本发明的优点在于，根据应用集群当前状况实时地调整集群规模大小，减少数据中心的能耗。

Description

云环境下的敏捷弹性伸缩方法

技术领域

本发明涉及云计算的弹性计算领域，特别涉及一种云环境下的敏捷弹性伸缩方法。

背景技术

随着云计算时代的到来，数据中心的高能耗逐渐成为一个突出的问题。自2011年以来，全球数据中心的能源消耗已经接近100,000,000,00KWh，并产生了超过40,568,000吨的CO2，然而大部分数据中心的资源利用率只有20～30%。云计算将数据中心的资源以一种量入为出pay as you go）的方式租赁给用户，允许用户根据当前的需求定制适量的资源。弹性伸缩技术，使得应用集群的规模可以根据应用的实施负载进行动态调整，从而在保证服务质量的情况下最大程度低节省资源。结合服务器整合技术（采用虚拟机迁移技术，将资源利用率较低的服务器上的虚拟机整合到一起，从而关闭部分服务器），能极大地提高服务器的资源利用率，从而减少资源消耗。

然而当前大部分的应用需要在很多方面保证很高的服务质量，例如响应时间、可靠性、吞吐量等。不能保证服务质量，将意味着用户的流失，从而导致企业收入的下降。然而应用负载是很难准确预测的，虽然它会随着时间、星期、季节呈现一定的周期性变化，但同时具有很大的随机性。当前大部分精度较高的预测算法，时间开销都较高。同时分配部署资源也有一定的开销，虚拟机从特定的镜像启动，直至应用投入使用需要一定的时间（称为冷却时间，大约3到10分钟），在这段时间内服务质量很难得到保证。因此，在保证SLA的情况下最小化开销，很具挑战性。

尽管目前存在一些弹性伸缩的专利，然而大都根据资源负载进行资源调整，忽略了应用访问量和资源需求的直接关系。例如专利号为EP2570922A1的专利，提出了《一种管理弹性集群的方法和系统》。该方法根据虚拟机当前的负载进行弹性伸缩，当虚拟机负载高于某个阈值时则增加虚拟机；当虚拟机负载低于某个阈值时，移除一部分虚拟机。并且根据虚拟机进入集群的时间分配优先级，进入越晚的虚拟机，优先级越小。系统以优先级最小的虚拟机负载作为伸缩条件，以减少监控开销。然而基于资源负载驱动的弹性伸缩策略，存在一定的滞后性，在冷却时间内无法保证服务质量。

发明内容

本发明针对现有技术中弹性伸缩策略存在的滞后性，无法在冷却时间内保证服务质量的缺点，提供了一种新型的云环境下的敏捷弹性伸缩方法。

为实现上述目的，本发明可采取下述技术方案：

云环境下的敏捷弹性伸缩方法，具体步骤如下：

负载预测步骤：根据数据中心的历史负载数据对下个时间片进行负载预测，所述负载预则使用ARIMA模型和ARMA模型以所述时间片为周期以实现负载预测；

虚拟机快速供给步骤：包括对虚拟机的保存操作和恢复操作，保存操作将虚拟机的内存状态进行保存以实现虚拟机的挂起，随后通过恢复操作恢复虚拟机的内存状态恢复虚拟机的使用；

敏捷弹性伸缩步骤：利用所述负载预测步骤得到的数据中心的负载预测，应用所述虚拟机快速供给步骤将一个或者多个应用就绪的虚拟机挂起或者快速投入使用，实现对数据中心应用集群的资源的动态调整。

作为优选，所述负载预测步骤包括一级负载预测和二级负载预测，其中，一级负载预测以1h为周期，二级负载预测以1min为周期。

作为优选，所述一级负载预测具体包括以下步骤：

1-1）获取历史负载数据，历史负载数据从负载群衡器中直接获取或者通过分析日志文件得到；

1-2）计算样本值，对收集到的最近一个时间片的历史负载数据进行排序，将其分位数统计量作为新的负载样本并将新的负载样本放入历史负载数据中；

1-3）样本平稳化，即取出最近的多个时间片的负载样本作为序列w，对序列w进行周期性差分运算后，进行查封运算，直至得到的序列w为平稳序列；

1-4）将步骤3得到的平稳序列w作为训练数据，根据AIC准则进行ARMA定阶后，通过最大似然估计或者最小二乘法确定公式中的未知参数；

1-5）根据步骤4的公式得到预测样本w_t；

1-6）根据公式

1≤k＜t对上述预测样本w_t进行复原操作得到▽_Sx_t后，得到预测值x_t＝x_t-S+▽_Sx_t。

作为优选，所述二级负载预测采用公式r(t+1)＝βr(t)+λ(t-1)+(1-β-λ)r(t-2)计算预测值，其中β＝0.8,λ＝0.15。

作为优选，所述敏捷弹性伸缩步骤具体包括以下步骤：

一级弹性伸缩：

2-1）根据负载预测步骤得到的预测结果计算资源需求

其中f为单个服务器的最大并发数；

2-2）如果R(T+1)＞R(T)，则扩大虚拟机队列，启动数量为ΔR＝R(T+1)-R(T)的虚拟机并初始化虚拟机的应用，然后对虚拟机执行挂起操作，将挂起的虚拟机状态保存到文件，执行二级弹性伸缩步骤；

2-3）如果R(T+1)＜αR(T)，则缩小虚拟机队列，删除数量为ΔR＝R(T+1)-R(T)的挂起的虚拟机执行二级弹性伸缩步骤；

二级弹性伸缩：

3-1）根据二级负载预测得到的预测负载Pw；

3-2）计算资源需求

3-3）如果r(t+1)＞r(t)，则执行伸展操作，即从被挂起的虚拟机队列VM中恢复Δr＝r(t+1)-r(t)个虚拟机，执行步骤2-5，其中若Δr＞queueSize，则Δr＝queueSize；

3-4）如果r(t+1)＜βr(t)，则执行收缩操作，即将数量为Δr＝r(t)-r(t+1)的虚拟机退出应用集群，冷却一段时间后，对退出应用集群的虚拟机执行挂起操作，放入被挂起的虚拟机队列VM，执行步骤2-5；

3-5）如果二级负载预测的时间片尚未耗尽，继续执行步骤2-1；

3-6）如果收到终止信号，终止敏捷弹性伸缩步骤；否则执行负载预测步骤。

负载预测主要根据应用历史负载数据预测出下个时间片的负载，以便提前进行资源分配。一级预测以周期T＝1h为单位，采用ARIMA模型，充分了利用应用负载的周期性和趋势性规律。二级预测以周期T＝1min为单位，采用简单的AR(3)模型，实现快速的负载预测。

自回归滑动平均（Auto regression moving average）模型ARMA，具有如下结构：

其中ε_t为零均值随机干扰序列，缺省默认条件，ARMA(p,q)可写为：

引进延迟算子，ARMA(p,q)可简记为

Φ(B)x_t＝Θ(B)ε_t   (3)

其中

为p阶自回归系数多项式

Θ(B)＝1-θ₁B-...-θ_pB^p   (4)

采用最小二乘估计、最大似然估计可以确定公式(2)中的参数，根据AIC准则可以对ARMA进行定阶。

上述的ARMA模型要求时间序列式平稳的，然后实际中的时间序列往往有三个特性：趋势性、季节性与非平稳性。我们可以采用差分方法，使得变换后的序列为平稳序列，对ARIMA模型进行差分处理去周期化后即可将其转换为ARMA模型，然后用ARMA模型进行处理。

设X_t,t＝0,±1,±2...是非平稳序列，若存在整数d，使得序列

▽^dX_t＝W_t   (5)

而W_t,t＝0,±1,±2...是ARMA(p,q)序列，则称X_t为ARIMA(p,d,q)。此时X_t满足

Φ(B)▽^dX_t＝Θ(B)E_t   (6)

若初值X₁,X₂,...X_d已知，由

W_t＝▽^dX_t,t＝d+1.d+2,...,n   (7)

可以复原X_t，下面分别给出常用的d＝1时的复原公式及预测公式

$X_t=X_1+\underset{j}{\overset{t-1}{\mathrm{\&Sigma;}}}{W}_{j+1}=X_k+\underset{j=1}{\overset{t-k}{\mathrm{\&Sigma;}}}{W}_{j+k},1\&le;k<t---\left(8\right)$

${\hat{X}}_k\left(m\right)={\hat{X}}_k(m-1)+{\hat{W}}_k\left(m\right)=X_k+\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}{\hat{W}}_k\left(j\right)---\left(9\right)$

大多数的Web用用负载具有明显的周期规律性，可以认为是季节性时间序列，其周期S＝24h，应采用季节性模型进行处理。对于周期为S的序列，可进行差分运算

${\&dtri;}_x^D{X}_t={(1-B^s)}^D{X}_t---\left(10\right)$

则周期为S的序列X_t满足下列模型：

$\mathrm{\&Phi;}\left(B^S\right){\&dtri;}_S^D{X}_t=\mathrm{\&Theta;}\left(B^S\right)E_t---\left(11\right)$

该模型是一种稀系数模型（其阶数可用(p,d,q)_S表示），它反映了序列相邻时刻与相隔为周期S的时刻之间复杂变化的规律。

在二级预测中，为了提高预测效率，我们采用了简单的二AR(3)模型，负载预测公式如下所示(其中β＝0.8,λ＝0.15)：

r(t+1)＝βr(t)+λ(t-1)+(1-β-λ)r(t-2)   (12)

目前的大部分研究都集中在伸缩策略的制定上，然而延迟时间对云应用的服务质量有很大的影响。例如，获取一个Amazon EC2实例需要几分钟时间，后续还有虚拟机启动和应用初始化时间。对于复杂的应用，初始化时间会很长，这使得延迟时间可能高达十几分钟。然而目前的虚拟机保存（Save）操作会对将虚拟机的内存状态保存下来。随后通过恢复（Restore）操作可以读取内存文件，让应用直接投入使用，而不用进行操作系统和应用的初始化。而恢复操作的时间仅和虚拟机监控器读取内存文件的速度相关，通常只需几秒钟。

冷却时间T_C，策略制定完毕至应用投入时间所需时间。针对启动和恢复虚拟机的计算公式分别如下：

T_CS＝T_d+T_S+T_A   （13）

T_CR＝T_R   （14）

延迟时间，从制定伸缩策略从指定伸缩策略，直至虚拟机部署并投入使用所需时间，计算公式如下：

T_D＝T_M+T_C   （15）

下表1为符号说明

敏捷伸缩借助ARIMA在较大的时间间隔T（1小时）上进行一级预测，以利用负载数据的周期性，并调用Cloud API准备一些应用就绪的挂起虚拟机，以便在二级预测时快速投入使用。二级预测，我们以较小的时间间隔t（1分钟）对应用资源进行动态分配与释放。任意时刻的资源需求

其中w为当前请求数，f为单个虚拟机能处理最大请求数(可以通过压力测试得到s)。然而资源低估将导致SLO违背，在企业应用中将造成很大的损失。在资源分配时，根据预测资源需求适当多分配一点资源，可以有效地减少资源低估。在收缩操作时，我们采用Lazy策略，引入迟滞因子h，以避免过度收缩。

本发明由于采用了以上技术方案，具有显著的技术效果：

引入虚拟机挂起机制，加快虚拟机的供给速度，减少虚拟机挂起后的恢复时间；基于ARMA算法设计的敏捷弹性伸缩算法，实现了细粒度的弹性伸缩；通过实现敏捷弹性伸缩算法节省数据中心服务器集群所消耗的资源，同时可以令数据中心的服务质量得到显著的提升。

附图说明

图1为一级负载预测的流程示意图。

图2为本发明所述敏捷弹性伸缩方法的流程示意图。

图3为周期为1h时的应用负载数据统计图。

图4为周期为5min时的应用负载数据统计图。

图5(a)为以95%分位数进行采样所得负载预测统计图。

图5(b)为以均值进行采样所得负载预测统计图。

图5(c)为不同采样方法所得数据的预测误差统计图。

图6(a)为采用公式（12）以95%分位数进行采样所得负载预测统计图。

图6(b)为采用公式（12）以均值进行采样所得负载预测统计图。

图6(c)为采用公式（12）的负载预测误差统计图。

图7为二级预测不同时间片统计的负载预测误差统计图。

图8为一级预测不同时间片的时间开销统计图。

图9为一级预测的资源分配结果统计图。

图10为增加不同额外资源时的SLA错误统计图。

图11(a)为二级预测的资源分配结果统计图。

图11(b)为二级预测的资源分配结果（3小时）统计图。

图12为不同的弹性伸缩方法的资源消耗对比。

图13为不同的弹性伸缩方法的SLA误差对比。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

实施例1

一、基于ARIMA模型的一级预测算法，它利用应用负载的周期性和趋势性预测下个时间片的负载，算法流程图如图1所示，具体操作步骤如下：

步骤1.1、获取应用负载数据。可以直接从负载均衡器中获取，或通过分析日志文件得到。

步骤1.2、计算样本值。对收集到的最近一个时间片的负载数据进行排序，将其分位数统计量作为新的样本，放入历史负载。

步骤1.3、样本平稳化。取出最近N个时间片的负载样本，按照公式(10)进行周期性差分运算。然后按照公式(5)进行差分运算，直至W_t为平稳序列。

步骤1.4、将W_t作为训练数据，根据AIC准则对ARMA定阶。然后通过最大似然估计，或最小二乘法确定公式（2）的未知参数。

步骤1.5、根据公式(2)得到预测样本w_t。

步骤1.6、根据公式(8)进行复原操作得到▽_Sx_t，x_t＝x_t-S+▽_Sx_t,即预测值。

二、基于负载预测的敏捷弹性伸缩算法，它主要根据二级预测的结果对应用集群资源进行动态调整，算法流程图如图2所示，具体步骤如下：

步骤2：一级弹性伸缩

2.1：根据步骤1的预测结果计算资源需求

其中f为单个Web服务器的最大并发数(可通过压力测试获得)。

2.2：如果R(T+1)＞R(T)，则扩大队列，启动ΔR＝R(T+1)-R(T)的虚拟机，初始化应用，然后执行挂起操作，将虚拟机状态保到文件，以便快速恢复。然后转步骤3

2.3：如果R(T+1)＜αR(T)，则将队列缩小至R(T+1)，删除多余挂起虚拟机，转步骤3；否则，直接转步骤3

步骤3、二级伸缩具体过程如下：

3.1：根据公式(12)进行二级预测，得到预测负载Pw；

3.2：计算资源需求

3.3：如果r(t+1)＞r(t)，则执行伸展操作，从VM队列恢复Δr＝r(t+1)-r(t)的虚拟机(若Δr＞queueSize，则Δr＝queueSize)，转步骤3.5

3.4：如果r(t+1)＜βr(t)，则执行收缩操作，将Δr＝r(t)-r(t+1)退出应用集群冷却一段时间，然后执行挂起操作，放入VM队列，转步骤3.5；否则直接转步骤3.5；

3.5：如果二级预测时间片未用完，则转步骤3.1；否则执行步骤3.6；

3.6：如果收到终止信号，则终止该算法；否则转步骤1。

实验例1二级预测算法的效果验证

原始的应用负载数据记录了每秒的请求数，我们针对不同时间段进行平均值和分位数的统计。如图3所示，我们对每个小时进行了平均值、90%、95%、99%分位数统计。由统计图可以看出，分位数统计值在大部分时间比平均值高出许多，更能反映某个时间段应用的实际资源需求。

图4是上述应用负载中某三个小时的数据（以5分钟单位进行均值和分位数的统计）。可以看出，在1个小时内应用的负载也有较大的波动。若以小时为单位预测的负载值进行预测，将会给该时间段分配最大需求的资源量，导致资源浪费。细粒度的预测，将能更好地拟合负载曲线，有望进一步减少资源消耗。

利用前3天数据作为样本，采用季节性ARIMA模型对后4天进行负载预测结果如图5所示。其中，图5（a）是95%分数位时的负载预测，图5（b）为均值负载预测，5（c）是不同采样方法所得数据的预测误差，可以看出除了对99%分位数统计的应用负载预测误差较大外，其它方法预测误差都保持在10%以下，且预测误差随着分位数的增加而变大。由于样本数有限，过大的分位数统计会导致样本数据更容易受随机干扰数据影响，导致统计信息丢失，从而导致预测精度下降。而过低的分位数，则不能反映某段时间应用的真实资源需求，可以看出95%分位数在二者间做了很好的平衡。

图6是采用公式（12）进行负载预测的结果，图6（a）为95%分位数负载预测，图6（b）为均值负载预测，图6（c）为其均值误差统计图。对于95%分位数的负载预测，总体误差为4.9%，资源低估误差为2.1%，取得了较好的预测精度。图7是公式（12）对不同时间片的统计样本数据进行预测的均值误差，可以看出随着时间片的增大，其预测误差也迅速增长，对于1h时间片统计数据的预测误差高达20.16%。因此，该方法虽然效率高（μs级预测），但不适用于长时间片的预测。

图8给出了ARIMA在不同时间片下的预测时间开销，可以看出其时间开销随着时间片的缩短呈现指数级增长，在10分钟时间片的预测开销超过了10分钟，已经不能用于弹性伸缩系统。

实验例2敏捷弹性伸缩方法的验证效果

采用周期T＝1h的一级预测（95%分位数），结合负载/资源模型得到的资源分配结果如图9，可以看出预测资源较好地拟合了负载曲线。然而为了减少资源低估导致的SLA错误，通常需要根据预测结果分配一些额外的资源。图10为增加不同比例的额外资源时，相应的SLA错误。可以看出，不采用额外资源时，仅能保证97.374%的服务质量，增加50%的额外资源可达99.5%的服务质量。

然而上述以周期T＝1h的粗粒度资源分配，为了保证服务质量，会以该时间段的最大负载分配资源，会造成一定的资源浪费。引入挂起虚拟机以及二级预测，运用AAS算法（α₁＝50%,α₂＝20%,h＝0.8）进行细粒度弹性伸缩，结果如图10所示。其中图11是针对某3小时负载的资源分配结果，可以看出敏捷弹性伸缩算法更好地拟合了负载曲线，进一步地节省了资源开销。

图12给出了在提供不同比例的额外资源情况下，常规弹性伸缩和敏捷弹性伸缩的资源消耗，可以看出敏捷弹性伸缩可以进一步节省资源。图13给出了两种方法的LSA违背对比结果，可以看出敏捷伸缩有效地提升了服务质量。为了达到99.5%的服务质量，常规弹性伸缩消耗了1030VM.h（α₁＝50%）,而敏捷弹性伸缩仅消耗736VM.h（α₁＝α₂＝15%）,754VM.h(α₁＝50%,α₂＝20%),节省了

左右的资源。并且对于网易数据集，常规弹性伸缩未能达到99.9%的服务质量，而敏捷弹性伸缩仅需783.5VM.h(α₁＝50%,α₂＝20%)的资源消耗。

弹性伸缩能够帮助云服务提供商在保证用户QOS需求的情况下为最大限度的客户提供服务，同时为用户使用资源保持较低的开销。当前的弹性伸缩方法，由于受冷却时间的限制，大都采用粗粒度的资源调整方法，存在一定的资源浪费。为此专利提出敏捷弹性伸缩算法，采用挂起虚拟机，加速虚拟机的供给，并利用二级预测实现了细粒度的弹性伸缩。实验表明，敏捷弹性伸缩进一步节省了资源，服务质量也得到了一定的提升。

总之，以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所作的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (5)

1.一种云环境下的敏捷弹性伸缩方法，具体步骤如下：

负载预测步骤：根据数据中心的历史负载数据对下个时间片进行负载预测，所述负载预则使用ARIMA模型和ARMA模型，以所述时间片为周期以实现负载预测；

虚拟机快速供给步骤：包括对虚拟机的保存操作和恢复操作，保存操作将虚拟机的内存状态进行保存以实现虚拟机的挂起，随后通过恢复操作恢复虚拟机的内存状态恢复虚拟机的使用；

敏捷弹性伸缩步骤：利用所述负载预测步骤得到的数据中心的负载预测，应用所述虚拟机快速供给步骤将一个或者多个应用就绪的虚拟机挂起或者快速投入使用，实现对数据中心应用集群的资源的动态调整。

2.根据权利要求1所述的敏捷弹性伸缩方法，其特征在于，所述负载预测步骤包括一级负载预测和二级负载预测，其中，一级负载预测以1h为周期，二级负载预测以1min为周期。

3.根据权利要求2所述的敏捷弹性伸缩方法，其特征在于，所述一级负载预测具体包括以下步骤：

1-1）获取历史负载数据，历史负载数据从负载群衡器中直接获取或者通过分析日志文件得到；

1-2）计算样本值，对收集到的最近一个时间片的历史负载数据进行排序，将其分位数统计量作为新的负载样本并将新的负载样本放入历史负载数据中；

1-3）样本平稳化，即取出最近的多个时间片的负载样本作为序列w，对序列w进行周期性差分运算后，进行查封运算，直至得到的序列w为平稳序列；

1-4）将步骤3得到的平稳序列w作为训练数据，根据AIC准则进行ARMA定阶后，通过最大似然估计或者最小二乘法确定公式

中的未知参数；

1-5）根据步骤4的公式得到预测样本w_t；

1-6）根据公式1≤k＜t对上述预测样本w_t进行复原操作得到▽_Sx_t后，得到预测值x_t＝x_t-S+▽_Sx_t。

4.根据权利要求2所述的敏捷弹性伸缩方法，其特征在于，所述二级负载预测采用公式r(t+1)＝βr(t)+λ(t-1)+(1-β-λ)r(t-2)计算预测值，其中β＝0.8,λ＝0.15。

5.根据权利要求2所述的敏捷弹性伸缩方法，其特征在于，所述敏捷弹性伸缩步骤具体包括以下步骤：

一级弹性伸缩：

2-1）根据负载预测步骤得到的预测结果计算资源需求

其中f为单个服务器的最大并发数；

2-2）如果R(T+1)＞R(T)，则扩大虚拟机队列，启动数量为ΔR＝R(T+1)-R(T)的虚拟机并初始化虚拟机的应用，然后对虚拟机执行挂起操作，将挂起的虚拟机状态保存到文件，执行二级弹性伸缩步骤；

2-3）如果R(T+1)＜αR(T)，则缩小虚拟机队列，删除数量为ΔR＝R(T+1)-R(T)的挂起的虚拟机执行二级弹性伸缩步骤；

二级弹性伸缩：

3-1）根据二级负载预测得到的预测负载Pw；

3-2）计算资源需求

3-3）如果r(t+1)＞r(t)，则执行伸展操作，即从被挂起的虚拟机队列VM中恢复Δr＝r(t+1)-r(t)个虚拟机，执行步骤3-5，其中若Δr＞queueSize，则Δr＝queueSize；

3-4）如果r(t+1)＜βr(t)，则执行收缩操作，即将数量为Δr＝r(t)-r(t+1)的虚拟机退出应用集群，冷却一段时间后，对退出应用集群的虚拟机执行挂起操作，放入被挂起的虚拟机队列VM，执行步骤3-5；

3-5）如果二级负载预测的时间片尚未耗尽，继续执行步骤3-1；

3-6）如果收到终止信号，终止敏捷弹性伸缩步骤；否则执行负载预测步骤。

Images