CN106844180A - 一种OpenStack平台计算资源的监控预测方法 - Google Patents

Abstract

本发明公开了一种OpenStack平台计算资源的监控预测方法，其实现过程为：首先使用SNMP协议对OpenStack平台计算节点进行性能监控；然后使用OpenStack API进行平台资源分配情况的监控；最后建立差分整合自回归移动平均模型，对未来资源需求进行预测。该OpenStack平台计算资源的监控预测方法与现有技术相比，本发明即可用于预警资源枯竭、又可以为资源调度提供参考，可提供宿主机的负载、现有资源的分配情况以及未来资源的需求状况分析，满足运维人员的运维需求，实用性强，适用范围广泛，易于推广。

Description

一种OpenStack平台计算资源的监控预测方法

技术领域

本发明涉及计算机技术领域，具体地说是一种实用性强、OpenStack平台计算资源的监控预测方法。

背景技术

随着OpenStack平台的广泛使用，OpenStack平台的监控受到越来越多的关注，本发明针对这一现状，提出了一种针对OpenStack平台计算资源的监控、预测方法。

OpenStack平台允许资源超配，例如，OpenStack平台默认的CPU超配比是16、默认的内存超配比是1.5。通过超配OpenStack平台可以支持更多数量的虚拟机，提高了资源利用率。但是这也引入了一个问题，当同一台宿主机上大量虚拟机的负载很高时，虚拟机的性能会受很大影响，更严重的后果是宿主机上相关进程被杀死导致虚拟机被关机。因此在做了资源超配时，需要关注资源的分配情况和宿主机(计算节点)的负载。随着业务的发展，运维人员会关心未来某个时间点计算资源的需求，因此也需要预测未来的计算资源的需求情况。总之，宿主机的负载、现有资源的分配情况以及未来资源的需求是运维人员在运维过程中比较关注的几点，但是现有监控方案往往没有从这个角度设计方案，也没有考虑到将预测技术纳入方案设计。针对这一情况，现提供一种OpenStack平台计算资源的监控预测方法。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、OpenStack平台计算资源的监控预测方法。

一种OpenStack平台计算资源的监控预测方法，其实现过程为：

首先使用SNMP协议对OpenStack平台计算节点进行性能监控；

然后使用OpenStack API进行平台资源分配情况的监控；

最后建立差分整合自回归移动平均模型，对未来资源需求进行预测。

所述计算节点的性能监控是指在OpenStack平台计算节点上使能SNMP协议，以固定时间间隔使用SNMP协议采集该节点的CPU利用率、内存使用情况并存储。

所述平台计算资源分配情况的监控是指以固定时间间隔使用OpenStack API采集OpenStack平台中各虚拟机的虚拟CPU数、内存分配数并求和存储。

所述未来资源需求预测过程为，基于差分整合自回归移动平均模型，利用现有计算资源分配时间序列数据，预测未来计算资源需求，这里的计算资源分配时间序列数据是指将平台计算资源分配情况的监控过程中获取的虚拟CPU分配数、内存分配量取出，按时间从前向后排列，得到的一个时间序列样本数据。

建立差分整合自回归移动平均模型的过程为：基于获取的时间序列样本数据，使用该序列数据建立ARIMA模型，ARIMA模型表示为ARIMA(p,d,q)，其中p的含义是某一时刻的数据与前p个时刻的数据之间具有相关关系；q的含义是某一时刻的数据与前q个时刻的随机干扰具有相关关系；d表示原始时间序列样本经过d阶差分后得到了一个平稳的时间序列样本；ARIMA(p,d,q)模型如下公式所示：

其中x_t表示时间序列在时刻t的观察值，ε_t表示时间序列在时刻t的随机干扰，而▽^d＝(1-B)^d表示d阶差分运算，Φ(B)＝1-φ₁B-…-φ_pB_p，Θ(B)＝1-θ₁B-…-θ_qB^q，其中B为延迟算子，以B乘以某序列值x_t就相当于将该序列值的时刻向前回拨了一个时间单位，即Bx_t＝x_t-1；而φ₁…φ_pθ₁…θ_q为参数；模型中的第二行表示随机干扰序列{ε_t}是零均值白噪声序列，第三行表示当期的随机干扰与过去的序列值无关。

预测未来计算资源需求的过程为：首先判断时间序列的平稳性，如果序列不是平稳序列，那么将其转换为平稳序列；再进行模型的识别，使用自相关函数和偏自相关函数识别模型相关参数；进行模型的检验，通过检验残差序列是否为白噪声序列，若参数序列是白噪声序列，说明模型有效，继续进行下一步；最后进行序列预测，根据现有数据预测平台未来资源需求。

在判断序列的平稳性过程中，如果序列不是平稳序列将其转换为平稳序列的过程为：首先通过做时序图、自相关图或DF检验的方法检验序列是否平稳，如果序列不是平稳序列，则对样本进行d阶差分将其转换为平稳序列。

在模型的识别过程中分别计算自相关函数和偏自相关函数用于识别模型中的p、q的值，其中自相关函数表示时间序列和与它相差某个固定时间的序列之间的相关性的测试；偏自相关函数表示相聚某个固定时间段的序列值之间的相关性测试。

识别模型中的p、q的值的具体过程为：自相关函数和偏自相关函数是截尾或拖尾的，截尾是指在某一点后函数值截断为0，拖尾是指函数值没有截断而是一直保持下去；通过绘制偏自相关函数图确定ARIMA模型中的p的取值，过程如下：若自相关函数拖尾、偏自相关函数n阶截尾，则令q为0，p为n；若自相关函数m阶截尾，偏自相关函数拖尾，则令q为m，p为0；若自相关函数和偏自相关函数均拖尾，则穷举p、q的值，然后使用最小信息准则进行定阶。

在模型识别过程中计算完计算自相关函数和偏自相关函数后，对模型进行参数估计，该估计使用矩估计、极大似然估计和最小二乘估计方法进行，根据已经确定的三个参数p、q、d的值，将它们带入模型中即可根据时间序列进行参数估计。

本发明的一种OpenStack平台计算资源的监控预测方法，具有以下优点：

本发明的一种OpenStack平台计算资源的监控预测方法，使用时间序列分析方法对计算资源进行了预测，可根据现有数据预测平台未来资源分配数据。本发明即可用于预警资源枯竭、又可以为资源调度提供参考，可提供宿主机的负载、现有资源的分配情况以及未来资源的需求状况分析，满足运维人员的运维需求，实用性强，适用范围广泛，易于推广。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

附图1为本发明的实现流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1所示，一种OpenStack平台计算资源的监控预测方法，包含了计算节点的性能监控；平台计算资源分配情况的监控；基于时间序列分析方法对平台的未来计算资源需求的预测。

本发明的技术方案如下：

1、计算节点的性能监控。

在OpenStack平台计算节点使能SNMP协议，以固定时间间隔使用SNMP协议采集该节点的CPU利用率，内存使用情况并存储。

2、平台计算资源分配情况的监控。

以固定时间间隔使用OpenStack API采集OpenStack平台中各虚拟机的虚拟CPU数、内存分配数并求和存储。

3、计算资源需求的预测。

将各时间点的虚拟CPU分配数，内存分配量取出，按时间从前向后排列，得到一个时间序列样本，使用该序列数据建立ARIMA模型。

经过分析发现，某一时刻的资源分配数据与之前若干时刻的资源分配数据、随机干扰是有一定相关性的；计算资源分配的时间序列数据一般不是平稳的，通过做若干阶的差分往往可以使差分后的序列变得平稳。同时将以上两点因素纳入考虑，本发明使用时间序列分析方法中的差分整合自回归移动平均模型(ARIMA)预测未来某个时间点的计算资源分配情况。ARIMA模型的思想是通过多阶差分等方法将原时间序列转为一个平稳的时间序列，在平稳的时间序列中寻找某一时刻数据与之前若干时刻数据以及随机干扰的关系。它可以表示为ARIMA(p,d,q)，其中p的含义是某一时刻的数据与前p个时刻的数据之间具有相关关系；q的含义是某一时刻的数据与前q个时刻的随机干扰具有相关关系；d表示原始时间序列样本经过d阶差分后得到了一个平稳的时间序列样本。ARIMA(p,d,q)模型如下公式所示：

其中x_t表示时间序列在时刻t的观察值，ε_t表示时间序列在时刻t的随机干扰，而▽^d＝(1-B)^d表示d阶差分运算，Φ(B)＝1-φ₁B-…-φ_pB_p，Θ(B)＝1-θ₁B-…-θ_qB^q，其中B为延迟算子，以B乘以某序列值x_t就相当于将该序列值的时刻向前回拨了一个时间单位，即Bx_t＝x_t-1；而φ₁…φ_pθ₁…θ_q为参数。模型中的第二行表示随机干扰序列{ε_t}是零均值白噪声序列，第三行表示当期的随机干扰与过去的序列值无关。

在进行预测时，可按照以下步骤进行操作：基于差分整合自回归移动平均模型，利用现有计算资源分配时间序列数据，预测未来计算资源需求。具体步骤为：判断序列的平稳性，如果序列不是平稳序列，那么需要将样本转换为平稳序列；模型的识别，使用自相关函数和偏自相关函数识别模型相关参数；模型的检验。通过检验残差序列是否为白噪声序列判断进行模型检验；序列预测。

更为具体的，上述步骤的实现过程为：

3.1、判断序列的平稳性，可以做时序图、自相关图或DF检验等方法检验序列是否平稳。如果序列不是平稳序列，那么需要对样本进行d阶差分将其转换为平稳序列。

3.2、模型的识别，分别计算自相关函数和偏自相关函数，用于识别模型中的p、q的值。

自相关函数表示时间序列和与它相差某个固定时间的序列之间的相关性的测试。偏自相关函数表示相聚某个固定时间段的序列值之间的相关性测试。

自相关函数和偏自相关函数可能是截尾或拖尾的，截尾是指在某一点后函数值截断为0，拖尾是指函数值没有截断而是一直保持下去。通过绘制偏自相关函数图可以确定ARIMA模型中的p的取值。规则如下：若自相关函数拖尾、偏自相关函数n阶截尾，则令q为0，p为n；若自相关函数m阶截尾，偏自相关函数拖尾，则令q为m，p为0；若自相关函数和偏自相关函数均拖尾，则可尝试穷举p、q的值，然后使用最小信息准则进行定阶。

3.3、对模型进行参数估计，可使用矩估计、极大似然估计和最小二乘估计等方法对模型进行参数估计。

即由上文已经可以确定三个参数p、q、d的值，将它们带入模型中即可根据时间序列进行参数估计，可使用矩估计、极大似然估计和最小二乘估计等方法。

3.4、模型的检验。通过检验残差序列是否为白噪声序列判断进行模型检验。若参数序列是白噪声序列，说明模型有效，可用来进行预测；否则，需重新选择模型。

参数估计完成后，我们需要检验模型的有效性，如果模型足够好，那么它应该可以从观察序列中提取几乎所有的样本相关信息，即拟合残差中几乎不蕴含任何信息。所以我们通过检验残差序列是否为白噪声序列判断进行模型检验。若参数序列是白噪声序列，说明模型有效，可用来进行预测；否则，需重新选择模型。

3.5、序列预测。有了模型即可根据现有数据预测平台未来资源需求，给运维人员资源调度提供参考。

在实施过程中需要考虑到，随着新数据的产生，原预测模型预测的数据可能与真实数据之间存在误差。为了避免这种场景出现，当新数据较多时，将新数据纳入考虑并重复以上步骤重新建模即可。

上述具体实施方式仅是本发明的具体个案，本发明的专利保护范围包括但不限于上述具体实施方式，任何符合本发明的一种OpenStack平台计算资源的监控预测方法的权利要求书的且任何所述技术领域的普通技术人员对其所做的适当变化或替换，皆应落入本发明的专利保护范围。

Claims (10)

1.一种OpenStack平台计算资源的监控预测方法，其特征在于，其实现过程为：

首先使用SNMP协议对OpenStack平台计算节点进行性能监控；

然后使用OpenStack API进行平台资源分配情况的监控；

最后建立差分整合自回归移动平均模型，对未来资源需求进行预测。

2.根据权利要求1所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，所述计算节点的性能监控是指在OpenStack平台计算节点上使能SNMP协议，以固定时间间隔使用SNMP协议采集该节点的CPU利用率、内存使用情况并存储。

3.根据权利要求1所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，所述平台计算资源分配情况的监控是指以固定时间间隔使用OpenStack API采集OpenStack平台中各虚拟机的虚拟CPU数、内存分配数并求和存储。

4.根据权利要求3所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，所述未来资源需求预测过程为，基于差分整合自回归移动平均模型，利用现有计算资源分配时间序列数据，预测未来计算资源需求，这里的计算资源分配时间序列数据是指将平台计算资源分配情况的监控过程中获取的虚拟CPU分配数、内存分配量取出，按时间从前向后排列，得到的一个时间序列样本数据。

5.根据权利要求4所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，建立差分整合自回归移动平均模型的过程为：基于获取的时间序列样本数据，使用该序列数据建立ARIMA模型，ARIMA模型表示为ARIMA(p,d,q)，其中p的含义是某一时刻的数据与前p个时刻的数据之间具有相关关系；q的含义是某一时刻的数据与前q个时刻的随机干扰具有相关关系；d表示原始时间序列样本经过d阶差分后得到了一个平稳的时间序列样本；ARIMA(p,d,q)模型如下公式所示：

$\left\{\begin{array}{c}\mathrm{\&Phi;}\left(B\right){\&dtri;}^d{x}_t=\mathrm{\&Theta;}\left(B\right){\mathrm{\&epsiv;}}_t\\ E\left({\mathrm{\&epsiv;}}_t\right)=0,Var\left({\mathrm{\&epsiv;}}_t\right)={\mathrm{\&sigma;}}_{\mathrm{\&epsiv;}}^2,E\left({\mathrm{\&epsiv;}}_t{\mathrm{\&epsiv;}}_s\right)=0,s\&NotEqual;t\\ E\left(x_s{\mathrm{\&epsiv;}}_t\right)=0,\&ForAll;s<t\end{array}\right.$

其中x_t表示时间序列在时刻t的观察值，ε_t表示时间序列在时刻t的随机干扰，而▽^d＝(1-B)^d表示d阶差分运算，Φ(B)＝1-φ₁B-…-φ_pB_p，Θ(B)＝1-θ₁B-…-θ_qB^q，其中B为延迟算子，以B乘以某序列值x_t就相当于将该序列值的时刻向前回拨了一个时间单位，即Bx_t＝x_t-1；而φ₁…φ_pθ₁…θ_q为参数；模型中的第二行表示随机干扰序列{ε_t}是零均值白噪声序列，第三行表示当期的随机干扰与过去的序列值无关。

6.根据权利要求4或5所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，预测未来计算资源需求的过程为：首先判断时间序列的平稳性，如果序列不是平稳序列，那么将其转换为平稳序列；再进行模型的识别，使用自相关函数和偏自相关函数识别模型相关参数；进行模型的检验，通过检验残差序列是否为白噪声序列，若参数序列是白噪声序列，说明模型有效，继续进行下一步；最后进行序列预测，根据现有数据预测平台未来资源需求。

7.根据权利要求6所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，在判断序列的平稳性过程中，如果序列不是平稳序列将其转换为平稳序列的过程为：首先通过做时序图、自相关图或DF检验的方法检验序列是否平稳，如果序列不是平稳序列，则对样本进行d阶差分将其转换为平稳序列。

8.根据权利要求6所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，在模型的识别过程中分别计算自相关函数和偏自相关函数用于识别模型中的p、q的值，其中自相关函数表示时间序列和与它相差某个固定时间的序列之间的相关性的测试；偏自相关函数表示相聚某个固定时间段的序列值之间的相关性测试。

9.根据权利要求8所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，识别模型中的p、q的值的具体过程为：自相关函数和偏自相关函数是截尾或拖尾的，截尾是指在某一点后函数值截断为0，拖尾是指函数值没有截断而是一直保持下去；通过绘制偏自相关函数图确定ARIMA模型中的p的取值，过程如下：若自相关函数拖尾、偏自相关函数n阶截尾，则令q为0，p为n；若自相关函数m阶截尾，偏自相关函数拖尾，则令q为m，p为0；若自相关函数和偏自相关函数均拖尾，则穷举p、q的值，然后使用最小信息准则进行定阶。

10.根据权利要求9所述的一种OpenStack平台计算资源的监控预测方法，其特征在于，在模型识别过程中计算完计算自相关函数和偏自相关函数后，对模型进行参数估计，该估计使用矩估计、极大似然估计和最小二乘估计方法进行，根据已经确定的三个参数p、q、d的值，将它们带入模型中即可根据时间序列进行参数估计。