CN104639626A - 一种多级负载预测与云资源弹性配置方法与监控配置系统 - Google Patents

Abstract

本发明涉及一种多级负载预测与云资源弹性配置方法，以及一种基于监控与预测的云资源弹性配置系统。本发明所述的多级负载预测与云资源弹性配置方法以及基于监控与预测的云资源弹性配置系统，云资源监控系统采用2层架构，降低了云资源监控系统的复杂度，同时减轻了单台监控服务器的负载压力。负载预测流程采用了时间复杂度更低的预测算法，降低了预测本身的系统资源开销。资源弹性配置流程采用多级预测与资源配置机制，在不同的时间精度内对云资源动态调整，提高云资源利用率。

Description

一种多级负载预测与云资源弹性配置方法与监控配置系统

技术领域

本发明涉及云计算中的云资源优化配置领域，更具体地说，涉及一种多级负载预测与云资源弹性配置方法，以及一种基于监控与预测的云资源弹性配置系统。

背景技术

云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。云计算服务应当具备的特征有：按需的自助服务，随时随地的网络接入访问，具备多人共享的资源池，具备灵活度的快速重新部署机制，可以被监控和度量的服务，基于虚拟化技术的资源和服务，降低用户端的计算存储开销，降低用户入门的门槛。

随着云计算技术的不断发展，大规模云服务的应用逐渐成为现实。伴随而来的就是云计算数据中心服务器大规模部署，而服务器计算资源利用率较低，导致了高能耗的问题。云计算的主要特征之一是用户可以按需付费，提高资源利用率，从而降低能耗，节约经济成本。在保证服务质量的同时，最大限度的提高云资源利用率，需要一套完整的从资源监控到负载预测，直到云资源弹性配置的完整方案。

对于云监控系统，由于为了满足功能分离，模块化和可管理性，云是由若干层组成的复杂结构，所以对云监控系统的设计与实施提出了挑战。但云监控系统是实现提高云资源利用率的目标实现的基石。此外云监控系统对于容量和资源管理、性能管理、服务水平协议管理和安全管理也具有重要意义。

已有的云资源预测机制存在的问题有：已有的预测方法多采用模式匹配和神经网络的方法进行预测，其预测方法时间复杂度过高，会影响系统的整体性能，使得预测过程本身成为主要的系统资源开销；有的方法采用基于AR模型的进行预测，但其忽视了负载的周期性变化规律。

对于已有的关于云资源配置的方法，其存在的问题是没有提供一个完整的包括了云资源监控、负载预测和云资源弹性配置的方法，只是对预测或资源配置某一方面进行论述。

发明内容

本发明的目的在于克服现有技术的不足，提供一种降低了云资源监控系统的复杂度，同时减轻了单台监控服务器的负载压力的多级负载预测与云资源弹性配置方法，以及基于监控与预测的云资源弹性配置系统。

本发明的技术方案如下：

一种多级负载预测与云资源弹性配置方法，包括如下步骤：

1)负载预测：利用基于ARIMA模型的多级预测模型预测负载量，为云资源动态配置提供依据，步骤如下：

1.1)获取负载数据序列；

1.2)对负载数据序列进行平稳性检验；

1.3)进行ARIMA模型识别；

1.4)估计ARIMA模型中的未知参数，确定适合ARIMA模型的阶数；

1.5)检验ARIMA模型是否适合平稳性要求，如果是，则利用该模型预测下一时刻的负载；

2)云资源弹性配置：利用基于多级预测模型预测的负载量制定多级别的云资源动态配置策略，步骤如下：

2.1)利用计算下一时刻虚拟机的需求量，其中，α为额外分配的资源比例，L_max为单台虚拟机的平均最大负载量；

2.2)利用ΔS＝|S(T+1)-S(T)|计算得到虚拟机需要调整的数量，并根据S(T+1)和S(T)的关系调整虚拟机的供应量。

作为优选，各级别的负载预测与云资源弹性配置具体为：

a)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列W，其中，C为负载周期，n为用于预测的样本周期数，T为预测的时间的时长；

b)使用ARIMA模型预测当前负载数据序列W的下一个负载P_w；对W进行差分运算，得到W'；使用ARIMA模型对W'进行预测得到P'w；再对P'w进行差分恢复，得到新的预测负载P_w；

c)计算下一时刻虚拟机的需求量若S(T+1)>S(T)，则准备ΔS个挂起的虚拟机备用；若S(T+1)<S(T)，则将备用的虚拟机中的ΔS个已挂起的虚拟机删除。

作为优选，负载预测与云资源弹性配置包括日级别、时级别、分级别；其中，日级别、时级别为周期性的序列，采用ARIMA模型预测负载；分级别采用ARMA模型预测负载。

作为优选，周期性的序列具有季节指数，季节指数为周期内各个时期季节性影响的相对数。

作为优选，季节指数的计算步骤如下：

3.1)计算各周期内的平均数，得到历史数据中该时间段的平均水平，具体为： $\stackrel{\&OverBar;}{x_k}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_{\mathrm{ik}}}{n},k=\mathrm{1,2},L...m;$

3.2)计算总平均数，具体为：

3.3)计算季节指数，具体为：

作为优选，各级别的额外分配的资源比例α由各级别负载预测的平均相对误差MRE决定，具体为：其中，为t时刻的预测值，X_t为t时刻的实际监控值。

一种基于监控与预测的云资源弹性配置系统，架构包括：物理层、虚拟层、监控层、数据汇聚层、资源预测与弹性配置层；其中，资源预测与弹性配置层部署如权利要求1至6任一项所述的多级负载预测与云资源弹性配置方法的流程。

作为优选，物理层包括物理机、交换机、路由器、防火墙；

虚拟层包括虚拟机、虚拟交换机；

监控层包括物理机监控代理端、虚拟机监控代理端、监控服务器；

数据汇聚层包括监控服务器、数据库服务器。

作为优选，物理机监控系统，通过部署在物理机上的物理机监控代理端，监控物理机的性能指标和负载，监控服务器接收物理机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据；

虚拟机监控系统，通过部署在虚拟机上的虚拟机监控代理端，监控虚拟机的性能指标和负载，监控服务器接收虚拟机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据。

作为优选，物理机监控系统包括多个物理机群集、监控服务端、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每个物理机群集包括多台物理机、运行于各物理机上的物理机监控代理端；

虚拟机监控系统包括多台物理机、监控服务端、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每台物理机运行虚拟机群集，每个虚拟机群集包括多台虚拟机、运行于各虚拟机上的虚拟机监控代理端。

本发明的有益效果如下：

本发明所述的多级负载预测与云资源弹性配置方法以及基于监控与预测的云资源弹性配置系统，云资源监控系统采用2层架构，降低了云资源监控系统的复杂度，同时减轻了单台监控服务器的负载压力。负载预测流程采用了时间复杂度更低的预测算法，降低了预测本身的系统资源开销。资源弹性配置流程采用多级预测与资源配置机制，在不同的时间精度内对云资源动态调整，提高云资源利用率。

附图说明

图1是基于监控与预测的云资源弹性配置系统的架构示意图；

图2是物理机监控系统示意图；

图3是虚拟机监控系统示意图；

图4是负载预测的流程示意图；

图5是云资源弹性配置的流程示意图。

具体实施方式

以下结合附图及实施例对本发明进行进一步的详细说明。

本发明提供一种基于监控与预测的云资源弹性配置方法，以及一种基于监控与预测的云资源弹性配置系统。所述的系统包括5层，如图1所示，分别为：物理层、虚拟层、监控层、数据汇聚层和资源预测与弹性配置层。物理机、交换机、路由器、防火墙等硬件设备位于物理层；运行于物理机上的虚拟机和虚拟交换机位于虚拟层；监控层包括：物理机监控代理端、虚拟机监控代理端、一级监控服务器；数据汇聚层包括：二级监控服务器、数据库服务器；资源预测与弹性配置层包括本发明所述的基于监控与预测的云资源弹性配置方法，包括多级负载预测流程、云资源弹性配置流程。

物理机监控系统，通过部署在物理机上的物理机监控代理端，监控物理机的性能指标和负载，监控服务器接收物理机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据。

如图2所示，所述的物理机监控系统包括多个物理机群集、监控服务端(一级监控服务器、二级监控服务器)、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每个物理机群集包括多台物理机、运行于各物理机上的物理机监控代理端。

物理机群集由一定数量的物理机组成，为了在空间上便于管理和收集监控数据。

物理机监控代理端监控物理机的磁盘、内存、CPU、各项服务的运行状态，并定时将监控数据发送到一级监控服务器。

每个物理机群集分配一台二级监控服务器，用于接收物理机群集内每台物理机上的物理机监控代理端定时发送的监控数据。

一级监控服务器用于接收各物理机群集中二级监控服务器发送的群集汇总监控数据，同时将监控数据存储到数据库服务器中。

虚拟机监控系统，通过部署在虚拟机上的虚拟机监控代理端，监控虚拟机的性能指标和负载，监控服务器接收虚拟机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据。

如图3所示，所述的虚拟机监控系统包括多台物理机、监控服务端(一级监控服务器、二级监控服务器)、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每台物理机运行虚拟机群集，每个虚拟机群集包括多台虚拟机、运行于各虚拟机上的虚拟机监控代理端。虚拟机群集由一定数量的运行在物理机上的虚拟机组成，便于管理和汇总监控数据。虚拟机监控代理端监控虚拟机的虚拟磁盘、虚拟内存、vCPU、各项虚拟机上服务的运行状态，并定时将监控数据发送到一级监控服务器。

本发明还提供一种多级负载预测与云资源弹性配置方法，包括如下步骤：

1)负载预测：利用基于ARIMA模型的多级预测模型预测负载量，为云资源动态配置提供依据，步骤如下：

1.1)获取负载数据序列；

1.2)对负载数据序列进行平稳性检验；

1.3)进行ARIMA模型识别；

1.4)估计ARIMA模型中的未知参数，确定适合ARIMA模型的阶数；

1.5)检验ARIMA模型是否适合平稳性要求，如果是，则利用该模型预测下一时刻的负载；

2)云资源弹性配置：利用基于多级预测模型预测的负载量制定多级别的云资源动态配置策略，步骤如下：

2.1)利用计算下一时刻虚拟机的需求量，其中，α为额外分配的资源比例，L_max为单台虚拟机的平均最大负载量；

2.2)利用ΔS＝|S(T+1)-S(T)|计算得到虚拟机需要调整的数量，并根据S(T+1)和S(T)的关系调整虚拟机的供应量。

具体地，负载预测包括下述步骤，如图4所示：

步骤1，通过监控系统获取当前需要预测的系统的负载值；

步骤2，从数据库服务器中获取此系统的历史负载数据；

步骤3，将当前负载监控数据和历史负载数据生成负载数据时间序列；

步骤4，对负载数据序列做平稳性检验，若符合平稳性要求，跳至步骤6，否则，跳至步骤5；

步骤5，将负载数据序列做d次差分运算，生成新的负载数据序列，跳至步骤4；

步骤6，对负载数据序列计算其自相关函数和偏相关函数，结合计算结果进行ARIMA模型识别；

步骤7，通过矩估计法和极大似然估计法，估计模型中的未知参数；

步骤8，通过AIC准则和BIC准则确定此模型适合的阶数；

步骤9，模型检验，检验模型是否符合平稳性要求，并判断残差序列是否为白噪声序列；

步骤10，使用该模型预测下一时刻的负载值；

步骤11，判断负载预测过程是否结束，若结束，跳转至步骤12，否则，跳转至步骤1；

步骤12，负载预测过程结束。

云资源弹性配置包括下述步骤，如图5所示：

步骤1，从负载预测流程获取预测的负载值P_w；

步骤2，计算下一时刻虚拟机的需求量其中，α为额外分配的资源比例，L_max为单台虚拟机的平均最大负载量；

步骤3，判断S(T+1)和S(T)的关系，计算ΔS＝|S(T+1)-S(T)|，若S(T+1)>S(T)，则跳转至步骤4，若S(T+1)<S(T)，则跳转至步骤5；

步骤4，从虚拟机等待队列中启动ΔS个虚拟机，跳转至步骤6；

步骤5，挂起ΔS个虚拟机放入虚拟机等待队列中；

步骤6，将当前实际负载值存储到数据库；

步骤7，判断云资源弹性配置过程是否结束，若此过程不结束，跳转至步骤1，否则跳转至步骤8；

步骤8，云资源弹性配置过程结束。

各级别的负载预测与云资源弹性配置具体为：

a)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列W，其中，C为负载周期，n为用于预测的样本周期数，T为预测的时间的时长；

b)使用ARIMA模型预测当前负载数据序列W的下一个负载P_w；对W进行差分运算，得到W'；使用ARIMA模型对W'进行预测得到P'w；再对P'w进行差分恢复，得到新的预测负载P_w；

c)计算下一时刻虚拟机的需求量若S(T+1)>S(T)，则准备ΔS个挂起的虚拟机备用；若S(T+1)<S(T)，则将备用的虚拟机中的ΔS个已挂起的虚拟机删除。

本实施例中，负载预测与云资源弹性配置包括日级别、时级别、分级别；其中，日级别、时级别为周期性的序列，即日级别、时级别的负载数据有明显的季节性特征。日级别负载数据的周期通常为1周，时级别负载数据的周期通常为24小时，可以认为是季节性的时间序列，采用ARIMA模型预测负载。ARIMA模型如下：

$\left\{\begin{array}{c}\mathrm{\&Phi;}\left(B\right){\&dtri;}^d{x}_t=\mathrm{\&Theta;}\left(B\right){\mathrm{\&epsiv;}}_t\\ E\left({\mathrm{\&epsiv;}}_t\right)=0,\mathrm{Var}\left({\mathrm{\&epsiv;}}_t\right)={\mathrm{\&sigma;}}_{\mathrm{\&epsiv;}}^2,E\left({\mathrm{\&epsiv;}}_t{\mathrm{\&epsiv;}}_s\right)=0,s\&NotEqual;t\\ {\mathrm{Ex}}_s{\mathrm{\&epsiv;}}_t=0,\&ForAll;s<t\end{array}\right..$

周期性的序列具有季节指数，季节指数是用简单平均法计算周期内各个时期季节性影响的相对数。

分级别的负载数据没有明显的季节性特征，同时为了降低预测算法的时间复杂度，采用ARMA模型(自回归滑动平均模型)。

季节指数的计算步骤如下：

3.1)计算各周期内的平均数，得到历史数据中该时间段的平均水平，具体为： $\stackrel{\&OverBar;}{x_k}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_{\mathrm{ik}}}{n},k=\mathrm{1,2},L...m;$

3.2)计算总平均数，具体为：

3.3)计算季节指数，具体为：

具体地，日级别的负载预测与资源弹性配置的步骤如下：

A1)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列W_d，其中，C_d为负载周期(7天)，n为用于预测的样本周期数，T_d为预测的时间的时长(1天)；

A2)使用ARIMA模型预测当前负载数据序列W_d的下一个负载对W_d进行差分运算，得到W′_d；使用ARIMA模型对W′_d进行预测得到再对进行差分恢复，得到新的预测负载

A3)计算下一时刻虚拟机的需求量其中，α_d为日级别的额外分配的资源比例，L_{d_max}为单台虚拟机一天的平均最大负载量，可以在云环境中，根据具体的应用情景实际测得。若S(T_d+1)>S(T_d)，则通过云控制器准备ΔS个挂起的虚拟机，并放入虚拟机等待队列中备用；若S(T_d+1)<S(T_d)，则通过云控制器将虚拟机等待队列中的ΔS个已挂起的虚拟机删除。

A4)通过云监控系统获取当前T_d天的实际的负载数据并存入历史负载监控数据中。

时级别的负载预测与资源弹性配置的步骤如下：

B1)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列W_d，其中，C_h为负载周期(24小时)，n为用于预测的样本周期数，T_h为预测的时间的时长(1小时)；

B2)使用ARIMA模型预测当前负载数据序列W_d的下一个负载P_w；对W_d进行差分运算，得到W′_d；使用ARIMA模型对W′_d进行预测得到P'w；再对P'w进行差分恢复，得到新的预测负载P_w；

B3)计算下一时刻虚拟机的需求量其中，α_h为时级别的额外分配的资源比例，L_{h_max}为单台虚拟机一天的平均最大负载量，可以在云环境中，根据具体的应用情景实际测得。若S(T_h+1)>S(T_h)，则通过云控制器准备ΔS个挂起的虚拟机，并放入虚拟机等待队列中备用；若S(T_h+1)<S(T_h)，则通过云控制器将虚拟机等待队列中的ΔS个已挂起的虚拟机删除。

B4)通过云监控系统获取当前T_h小时的实际的负载数据并存入历史负载监控数据中。

日级别的负载预测与资源弹性配置的步骤如下：

C1)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列W_d，其中，C_m为负载周期(60分钟)，n为用于预测的样本周期数，T_m为预测的时间的时长(1分钟)；

C2)使用ARIMA模型预测当前负载数据序列W_d的下一个负载P_w；对W_d进行差分运算，得到W′_d；使用ARIMA模型对W′_d进行预测得到P'w；再对P'w进行差分恢复，得到新的预测负载P_w；

C3)计算下一时刻虚拟机的需求量其中，α_m为分级别的额外分配的资源比例，L_{m_max}为单台虚拟机一天的平均最大负载量，可以在云环境中，根据具体的应用情景实际测得。若S(T_m+1)>S(T_m)，则通过云控制器准备ΔS个挂起的虚拟机，并放入虚拟机等待队列中备用；若S(T_m+1)<S(T_m)，则通过云控制器将虚拟机等待队列中的ΔS个已挂起的虚拟机删除。

C4)过云监控系统获取当前T_m小时的实际的负载数据并存入历史负载监控数据中。

各级别的额外分配的资源比例α由各级别负载预测的平均相对误差MRE决定，具体为：其中，为t时刻的预测值，X_t为t时刻的实际监控值。

上述实施例仅是用来说明本发明，而并非用作对本发明的限定。只要是依据本发明的技术实质，对上述实施例进行变化、变型等都将落在本发明的权利要求的范围内。

Claims (10)

1.一种多级负载预测与云资源弹性配置方法，其特征在于，包括如下步骤：

1)负载预测：利用基于ARIMA模型的多级预测模型预测负载量，为云资源动态配置提供依据，步骤如下：

1.1)获取负载数据序列；

1.2)对负载数据序列进行平稳性检验；

1.3)进行ARIMA模型识别；

1.4)估计ARIMA模型中的未知参数，确定适合ARIMA模型的阶数；

1.5)检验ARIMA模型是否适合平稳性要求，如果是，则利用该模型预测下一时刻的负载；

2)云资源弹性配置：利用基于多级预测模型预测的负载量制定多级别的云资源动态配置策略，步骤如下：

2.1)利用计算下一时刻虚拟机的需求量，其中，α为额外分配的资源比例，L_max为单台虚拟机的平均最大负载量；

2.2)利用ΔS＝|S(T+1)-S(T)|计算得到虚拟机需要调整的数量，并根据S(T+1)和S(T)的关系调整虚拟机的供应量。

2.根据权利要求1所述的多级负载预测与云资源弹性配置方法，其特征在于，各级别的负载预测与云资源弹性配置具体为：

a)从当前级别的负载监控数据中取出最近的个负载数据序列作为序列，其中，为负载周期，为用于预测的样本周期数，为预测的时间的时长；

b)使用ARIMA模型预测当前负载数据序列的下一个负载；对进行差分运算，得到；使用ARIMA模型对进行预测得到；再对进行差分恢复，得到新的预测负载；

c)计算下一时刻虚拟机的需求量若S(T+1)>S(T)，则准备ΔS个挂起的虚拟机备用；若S(T+1)<S(T)，则将备用的虚拟机中的ΔS个已挂起的虚拟机删除。

3.根据权利要求2所述的多级负载预测与云资源弹性配置方法，其特征在于，负载预测与云资源弹性配置包括日级别、时级别、分级别；其中，日级别、时级别为周期性的序列，采用ARIMA模型预测负载；分级别采用ARMA模型预测负载。

4.根据权利要求3所述的多级负载预测与云资源弹性配置方法，其特征在于，周期性的序列具有季节指数，季节指数为周期内各个时期季节性影响的相对数。

5.根据权利要求4所述的多级负载预测与云资源弹性配置方法，其特征在于，季节指数的计算步骤如下：

3.1)计算各周期内的平均数，得到历史数据中该时间段的平均水平，具体为：

$\stackrel{\&OverBar;}{x_k}=\frac{\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{X}_{\mathrm{ik}}}{n},k=\mathrm{1,2},L...m;$

3.2)计算总平均数，具体为：

3.3)计算季节指数，具体为：

6.根据权利要求1所述的多级负载预测与云资源弹性配置方法，其特征在于，各级别的额外分配的资源比例α由各级别负载预测的平均相对误差MRE决定，具体为：其中，为t时刻的预测值，X_t为t时刻的实际监控值。

7.一种基于监控与预测的云资源弹性配置系统，其特征在于，架构包括：物理层、虚拟层、监控层、数据汇聚层、资源预测与弹性配置层；其中，资源预测与弹性配置层部署如权利要求1至6任一项所述的多级负载预测与云资源弹性配置方法的流程。

8.根据权利要求7所述的基于监控与预测的云资源弹性配置系统，其特征在于，

物理层包括物理机、交换机、路由器、防火墙；

虚拟层包括虚拟机、虚拟交换机；

监控层包括物理机监控代理端、虚拟机监控代理端、监控服务器；

数据汇聚层包括监控服务器、数据库服务器。

9.根据权利要求8所述的基于监控与预测的云资源弹性配置系统，其特征在于，

物理机监控系统，通过部署在物理机上的物理机监控代理端，监控物理机的性能指标和负载，监控服务器接收物理机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据；

虚拟机监控系统，通过部署在虚拟机上的虚拟机监控代理端，监控虚拟机的性能指标和负载，监控服务器接收虚拟机监控代理端发送的监控数据并存入数据库，为负载预测提供历史数据。

10.根据权利要求9所述的基于监控与预测的云资源弹性配置系统，其特征在于，

物理机监控系统包括多个物理机群集、监控服务端、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每个物理机群集包括多台物理机、运行于各物理机上的物理机监控代理端；

虚拟机监控系统包括多台物理机、监控服务端、存储监控数据的数据库服务器、用于向用户展示监控数据的Web监控前端；每台物理机运行虚拟机群集，每个虚拟机群集包括多台虚拟机、运行于各虚拟机上的虚拟机监控代理端。