CN102799512B - 一种基于向量自回归的云计算中虚拟机监控方法 - Google Patents

Abstract

一种基于向量自回归的云计算中虚拟机监控方法是一种新型的监控方法。由于云计算中虚拟机监控的特殊性监控的数据量较为庞大，采用周期性监控会对监控系统造成巨大的压力，我们采用更节省资源的“拉”模式的监控，但是具体什么时候采集数据，需要智能的判断，不但增加了实时性，而且也减少系通的资源压力，基于VAR的云计算中虚拟机监控，即做到实时性的监控，又提高了资源的利用率。该模型能够根据以往的数据模型建立新的回归方程，来对下一个周期的资源数据做出预测，根据这些预测值配合“拉”模式进行模拟数据的采集。这种算法增加了资源监控的自适应性和实时性。

Description

一种基于向量自回归的云计算中虚拟机监控方法

技术领域

本发明是一种云计算中虚拟机的资源监控方法，本方法基于向量自回归模型来预测资源变化情况，解决了云计算中虚拟机资源监控时如何决定轮询时间的问题，本发明属于分布式计算和云计算技术领域。

背景技术

云计算是一种新的互联网计算模式，通过该模式实现网络中软硬件资源和信息的按需共享。

人们普遍认为，云计算是继大型计算机到客户端-服务器计算模式的大转变滞后的又一种巨变。用户不再需要了解“云”中基础设施的细节，无需直接进行控制。云计算描述了一种基于互联网的新的IT服务增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算可以认为包括以下几个层次的服务：基础设施即服务(IaaS)，平台即服务(PaaS)和软件即服务(SaaS)。

当今云计算最主要特点是虚拟化，应用最广的云计算层次IaaS主要基于虚拟化技术。云计算将计算作为一种服务，用户关心的不是技术而是服务，即我能享有什么服务。在云计算中只要你能通过互联网接入云端,你就可以享受云计算带来的便捷。云计算是多样的，是依照用户的需求来发展，而用户想得到这样的服务却不需要用户去安装复杂的软件，配置太多的参数，从而充分利用资源。

而虚拟机是实现云计算中虚拟化特性非常重要的方式，其一虚多一级多虚一的特点是实现云计算中计算资源池化的重要手段。云计算中的资源管理地位就显的尤为重要，而云计算中资源监控就转变为对虚拟机资源的监控与管理。

这种虚拟机的监控，首先是监控的信息量比以往更大，不仅仅监控物理节点的资源，还包括物理节点上的虚拟机资源，系统需要这些监控信息来做到虚拟机的智能迁移，传统的网络监控采用的都是一种“推”的监控方式，即被监控对象只要运行就会定期的将自己的监控数据发送给监控模块，这种方式极度的浪费资源，实时性也比较差，特别是在虚拟机的这种数据量极大的监控中，更显得这种方式的不足之处。然而在实际环境中,有些资源使用效率是比较高的,资源状态的小幅度改变并不会对虚拟机产生影响,这样的状态改变是完全可以忽略不计的。如果周期性地去获取所有资源信息,必然会造成对云系统资源开销的巨大浪费,尤其是对一些使用率较低的设备,在没有使用的情况下还要对其进行定时扫描,浪费大量的监控资源。

目前一些组织已经开发了虚拟机监控系统,比如VMware，Xen等。但这些资源监控系统都是采用固定周期的轮询策略采集资源的性能数据。这样就会存在之前所叙述的问题。因此研究一种新型云计算中虚拟机资源监控方法具有重要意义。

发明内容

技术问题：本发明的主要目的是提供一种基于向量自回归的云计算中虚拟机监控方法，与过去使用的监控方法不同，因为虚拟机的监控本身数据量就非常大，传统的采用轮询周期的监控，轮询周期过密会收集大量的冗余信息，使系统的性能下降，轮询周期过疏不能快速的反应云计算中有意义的资源波动信息即实时性不强等问题。

技术方案：本发明的是一种基于向量自回归(VAR)的云计算中虚拟机监控方法，通过引入VAR预测思想而提出的，其原理是首先以固定轮询时间间隔监测物理节点的多个性能数据作为样本数据，通过一段时间的样本，基于VAR进行平稳性分析，考虑各个性能数据之间的因果关系，得到各个性能数据各自的回归函数，然后根据最近一段时间的样本进行回归函数计算，得到下一个时间段的性能数据预测值，以判断下一次的监控时间点。通过该方法解决云计算中虚拟机监控系统中由于固定周期性监控过密所引起的高负荷，系统开销以及固定周期性监控过疏引起的实时性不强等问题。

本发明的基于向量自回归的云计算中虚拟机监控方法所包含的步骤为：

步骤1)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息；

步骤2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理，并提取出物理节点的数据发送给VAR控制器模块，其中VAR指的是向量自回归模型，其它的虚拟机信息直接交给反馈模块；

步骤3)定义一个最小监控信息采集周期T_min，作为时间序列中最短的时间间隔，在定义一个T_max＝w×T_min，w为正整数，T_max为最大的监控信息采集周期，按照T_min周期采集样本性能信息，把资源的利用率作为评价网格监控事件的参数，包括：CPU利用率，带宽利用率，内存利用率，I/O利用率；

步骤4)定义一个存储最初采集监控数据的样本的二维数组x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1...n，j＝0...m，n代表监控节点的个数，m大于100；其中i代表集群中监控节点的序号，j代表样本时间点，集合中的四个子项，x_1ij代表CPU使用率、x_2ij代表内存使用率、x_3ij代表I/O使用率、x_4ij代表带宽使用率，样本(x_1ij，x_2ij，x_3ij，x_4ij)表示一个时间点t_j机器i监测到的性能数据，形成一段时间的样本，时间点之间的间隔为T_min；并定义安全计时器T_s和最大监控间隔时间T_max＝w×T_min，其中w为正整数；

步骤5)接下来对这些样本数据归一化处理，即对每个时间点的x[1...n]进行处理，x[1...n]表示每个监控节点上的当前时间的所有数据，处理如下：X_1ij＝(x_1ij-x_1min)/(x_1max-x_1min)，x_1min代表在j时刻n个节点x_1ij值的最小值，x_1max代表最大值；同样求出X_2ij，X_3ij，X_4ij的值，分别代表归一化后的数据，将x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}处理后变为X[j][i]＝{X_1ij，X_2ij，X_3ij，X_4ij}，X[j][i]代表数据归一化处理后的样本数组；

步骤6)将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Y_t[1...4]中(4个检量),k＝1,2,3,4，t＝1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理(取对数主要是为了消除异方差)，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本。

步骤7)采用PP(Phillips-Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列不服从一介单整，则对时间序列进行差分处理，采用迭代相乘法就出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即序列平稳为止，若超过三次差分则重新选择样本；

步骤8)确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Y_t[1...4]数组，t＝1...m。四个时间序列分别用L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)表示；建立如下方程模型VAR(p)：

$Y_t=\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\Π}}_i{Y}_{t-i}+U_t={\mathrm{\Π}}_1{Y}_{t-1}+{\mathrm{\Π}}_2{Y}_{t-2}+...+{\mathrm{\Π}}_p{Y}_{t-p}+U_t---\left(1\right)$

式中Π_i,i＝1...p，代表第i个带估计参数N×N阶矩阵；其中U_t代表是N×1阶随机误差列向量，p为模型最大滞后阶数，Y_t代表时间序列的列向量；

步骤9)接下里计算出滞后阶数p，选择赤池信息准则AIC与施瓦茨准则SC来确定滞后阶数，通过以下的计算公式来得到相应的值：

$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T},---\left(2\right)$

$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T};---\left(3\right)$

其中L为似然估计，T代表样本容量。首先建立VAR(p)模型，分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，p_max＝{p|AICi与SCj代都取最小，i,j∈1,2,3,4}，p_max确定为最终的滞后阶数；

步骤10)接下来建立最终的VAR(p_max)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：

L_cpu(t)＝π₁₁₁L_cpu(t-1)+π₁₁₂L_ram(t-2)+π₁₁₃L_io(t-1)+π₁₁₄L_bw(t-1)

+π₂₁₁L_cpu(t-1)+π₂₁₂L_ram(t-2)+π₂₁₃L_io(t-1)+π₂₁₄L_bw(t-1)+...

+π_p11L_cpu(t-1)+π_p12L_ram(t-2)+π_p13L_io(t-1)+π_p14L_bw(t-1)+u_1t

L_ram(t)＝π₁₂₁L_cpu(t-1)+π₁₂₂L_ram(t-2)+π₁₂₃L_io(t-1)+π₁₂₄L_bw(t-1)

+π₂₂₁L_cpu(t-1)+π₂₂₂L_ram(t-2)+π₂₂₃L_io(t-1)+π₂₂₄L_bw(t-1)+...

+π_p21L_cpu(t-1)+π_p22L_ram(t-2)+π_p23L_io(t-1)+π_p24L_bw(t-1)+u_2t

L_io(t)＝π₁₃₁L_cpu(t-1)+π₁₃₂L_ram(t-2)+π₁₃₃L_io(t-1)+π₁₃₄L_bw(t-1)

+π₂₃₁L_cpu(t-1)+π₂₃₂L_ram(t-2)+π₂₃₃L_io(t-1)+π₂₃₄L_bw(t-1)+...

+π_p31L_cpu(t-1)+π_p32L_ram(t-2)+π_p33L_io(t-1)+π_p34L_bw(t-1)+u_3t

L_bw(t)＝π₁₄₁L_cpu(t-1)+π₁₄₂L_ram(t-2)+π₁₄₃L_io(t-1)+π₁₄₄L_bw(t-1)

+π₂₄₁L_cpu(t-1)+π₂₄₂L_ram(t-2)+π₂₄₃L_io(t-1)+π₂₄₄L_bw(t-1)+...

+π_p41L_cpu(t-1)+π_p42L_ram(t-2)+π_p43L_io(t-1)+π_p44L_bw(t-1)+u_4t

式子中的p即是第7步骤的预测值滞后阶数p_max，其中π代表计算出的估计参数，方程表示的是各变量上一时间点的值与下一时间点的值的关系，将最近一次测得的数据代入方程即可以得到下一时间点的预测值，得到L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)的值；

步骤11)根据各个参数的重要程度，利用权值处理得一个综合值，cpu使用率相对重要，其权值设置的要高(确定λ₁,λ₂,λ₃,λ₄的值)，得到综合值R＝λ₁L_cpu(t)+λ₂L_ram(t)+λ₃L_io(t)+λ₄L_bw(t)；

步骤12)如过R达到指定的阀值R_max，则监控模块主动向所有服务器的采集器发出监控命令,T_s(安全计时器)清零开始计时，转移到下一步；如果R小于R_max，查看T_s是否达到指定的最大监测间隔时间T_max＝w×T_min，w为正整数，如果达到的话也需要主动进行监测并转移到下一步，否则不监测，直接返回；

步骤13)如果T_s>＝T_max,则定义一个二维数组数组存储新的样本x′[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，其中的i与j的含义与x[j][i]的相同，将原样本的x[w+1]至x[m]分别赋值给x′[1]至x′[m-w]，最近预测的值赋值给x′[m-w+1]至x′[m]，即除去一些旧的样本，加上最新的数据作为最新的样本数据，重新建立VAR模型，如果T_s<T_max,与上面一样，除去部分最早的旧的样本，加上一些新的样本，形成下一轮的样本x′[j][i]；

步骤14)重新生成样本，重复上述步骤在进行样本的归一化处理平稳性检验，重新生成VAR模型，到步骤10，生成新的回归方程，并进行新的预测。

有益效果：本发明是一种针对云计算中虚拟机的监控方法，本方法主要用于解决云计算中虚拟机监控的整体效率问题，通过使用本发明提出的方法可以缓解传统监控采用定期“推”模式的不足，可以使监控的数据更加准确。降低资源的消耗，提高对资源监控的灵活性。

由于云计算中虚拟机监控的特殊性-监控的数据量较为庞大，采用周期性监控会对监控系统造成巨大的压力以及实时性不强，我们采用更节省资源的“拉”模式的监控，但是具体什么时候采集数据，需要智能的判断，不但增加了系统的实时性，而且也减少系通的资源压力，基于VAR的云计算中虚拟机监控方法，即做到实时性的监控，又提高了资源的利用率。该模型能够根据以往的数据模型建立新的回归方程，来对下一个周期的资源数据做出预测，根据这些预测值配合“拉”模式进行模拟数据的采集。这种算法增加了资源监控的自适应性和实时性。

附图说明

图1是该系统体系结构图。图中包括：采集器，信息收集器，VAR控制器，缓冲区，显示模块。

图2是基于向量自回归模型的的虚拟机监控方法的流程图。

具体实施方式

一、体系结构

图1给出了一个采用向量自回归的预测方法的监控系统的设计体系结构，它的功能部件主要包括采集器，信息收集器，VAR控制器，缓冲区，显示模块。

下面我们给出几个具体部分的说明：

采集器：运行在具体监控节点上的信息收集程序，通过读取/proc文件夹下面的内容，以及通过虚拟化软件(比如最基本的xen)基本命令获取虚拟机的数据，整体包括物理机的资源以及虚拟机的资源信息,采集器将这些信息以字符串的方式发送给监控模块的信息收集器。

信息收集器：信息收集器的主要作用是接受各个监控节点上的采集器发送过来的监控数据，并对这些数据进行相应的分类以及处理，并发送给VAR控制器模块，进行预测。

VAR控制器：将信息收集器传来信息进行VAR数据标准化处理，通过经VAR建模得出回归函数，根据最近一次的监控数据来预测下一周期的服务器资源数据，并进一步确定是否进行新的监控数据采集，并向采集器发送时间控制信息。

缓冲区：数据采集层与监控层之间的信息传递的缓存。

显示模块：主要是用于存放所收集到的系统监控信息，以供客户端请求使用，以及传送给虚拟机迁移模块，并决定迁移策略。

二、VAR控制器的方法流程

1、VAR的基本思想

向量自回归模型是时间序列理论中的一种经常使用的预测模型，VAR模型是用模型中所有当前变量对所有变量的若干滞后变量进行回归。VAR模型用来估计联合内生变量的动态关系，而不带有任何事先约束条件。它是AR模型的推广，此模型目前已得到广泛应用。

向量自回归(VAR)是基于数据的统计性质建立模型，VAR模型把系统中每一个内生变量作为系统中所有内生变量的滞后值的函数来构造模型，从而将单变量自回归模型推广到由多元时间序列变量组成的“向量”自回归模型。VAR模型在一定的条件下，多元MA和ARMA模型也可转化成VAR模型。

向量自回归不但具有预测功能，还可以通过构建方差分解和脉冲响应函数来反应各个内生变量之间的变化影响程度。

VAR的基本思想是：把系统中的每一个内生变量作为所有内生变量滞后值的函数，从而将单变量自回归模型推广到多变量的模型，对多个变量预测，提高短期内预测的准确度，以及长期内的数据走向。

2、VAR控制器介绍

在云计算的虚拟机的环境中，传统的方法是采用“推”模式，监控节点按照固定的周期，连续的发送大量的监控信息到监控系统中，当新的信息产生时，监控系统中的状态就要更新。若更新太慢，会导致反馈模块中的性能数据过期，所以采用这种“推”模式引起更新过快或过慢的问题，需要制定更有效的策略，即“拉”模式，在性能数据变化幅度剧烈的时候，才向被监控的节点请求监控数据，在性能数据变化幅度平缓的时候，缩短向采集器请求数据的周期。所以我们需要设计一种新的方案来实时地根据云计算的实时负载的变化而改变“拉”的周期。

当云计算系统中在一个物理节点上运行新的虚拟机或者虚拟机内任务过多的时候，都会影响一个节点进行执行,在节点上就会产生一系列事件,每个事件的产生都会对监控节点的资源状态发生或多或少的影响，比如节点的CPU利用率以及内存利用率等都会发生变化。

把资源的利用率作为评价云计算内部的虚拟机的状态的参数，具有较强的通用性。主要包括：CPU利用率，带宽利用率，内存利用率，I/O利用率。

通过事先构造的VAR的反应各个内生变量之间关系的方程，由最近一次得到的监控数据代入方程预测下一个周期内的监控数据，根据各个变量之间的权重关系，得到一个综合值，检查这个值是否达到指定阀值，从而决定是否进行新的监控。

整个控制器的工作过程分为两个阶段：建模阶段和检测阶段。

首先，定义一个最小监控信息采集周期T_min，作为时间序列中最短的时间间隔，在定义一个T_max＝w×T_min，w为正整数，T_max作为最大的监控信息采集周期。

在建模阶段，首先要取得建模的样本数据，为了加快建模过程，对于监控得到的虚拟机的详细监控信息不作为样本数据，只是把物理节点的资源信息参数作为样本，并设置固定的采集信息周期T_min进行采集，为了确保准确性，加大样本数据的可靠性，T_min可以适当小一点，采集的次数尽量多一点，即增加样本的数量m。以T_min周期采集监控信息的资源性能数据(x_1i，x_2i，x_3i，x_4i)，分别代表CPU利用率，带宽利用率，内存利用率，I/O利用率。一共进行m次采集。得到性能数据样本x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1…n，j＝0...m，其中i代表集群中监控节点的序号(n代表监控节点的个数)，j代表样本的时间点(m大于100)。对向量内各属性进行归一化处理，然后对各组数据求均值取对数来消除时间序列中的异方差。最后进行向量自回归的建模。

为了在建模过程中得到回归方程的准确性，我们首先需要进行的是对我们得到时间序列的稳定性进行检查，检查每个序列是否存在单位根，如果不稳定进行差分处理，稳定的话就可以进行时间序列的协整检验，在多次对数据差分后时间序列仍不稳定的，则可以考虑重新选择样本。如果时间序列是稳定的，而且存在协整关系就可以进行建模求解最后的回归方程。

通过上述步骤选取CPU利用率，带宽利用率，内存利用率，I/O利用率，作为模型的内生变量，并分别定义为L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)，接下来要做的就是确定最大变量滞后阶数p_max，我们选择赤池信息准则AIC与施瓦茨准侧SC来确定滞后阶数，公式分别如下：

$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T},$

$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T};$

其中L为似然估计，T代表样本的容量，首先建立VAR(p)模型，我们分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，p_max＝{p|AIC_i与SC_j代都取最小，i,j∈1,2,3,4}。p_max确定为最终的滞后阶数。

最后我们就可以建立回归方程组了：

y_t＝A₁y_t-1+A₂y_t-2+...+A_py_t-p+e_t，其中A_i是4×4矩阵，e_t是4×1误差向量，y_t为内生变量的列向量，满足：1.E(e_t)＝0误差项的均值为零；2.E(e_te′_t)＝Ω误差项的协方差矩阵为Ω；2.E(e_te′_t-k)＝0误差性不存在自相关。A_i以及e_t都是有平稳的样本迭代估计出来的。得到最后的回归方程组。

在检测阶段，将样本最近一次的监控信息数据进行归一化处理之后带入回归方程组得到最新的数据，检查其是否达到指定阀值从而决定是否进行新的监控数据的采集。

3、基于向量自回归模型的的虚拟机资源监控流程：

步骤1：初始化性能数据样本数组x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1...n，j＝0...m，其中i代表集群中监控节点的序号(n代表监控节点的数量)，j代表样本的采集时间点点(m大于100)，集合中的四个子项，x_1ij表示CPU使用率、x_2ij表示内存使用率、x_3ij表示I/O使用率、x_4ij表示带宽使用率。样本(x_1ij，x_2ij，x_3ij，x_4ij)表示一个时间点t_j(时间点之间的间隔为T_min)机器i监测到的性能数据，形成一段时间的样本。并定义安全计时器T_s和最大监控间隔时间T_max＝w×T_min，其中w为正整数。

步骤2：接下来对这些样本数据归一化处理，即对每个时间点所有监控节点数据样本x[1...n]进行处理，处理如下：X_1ij＝(x_1ij-x_1min)/(x_1max-x_1min)，x_1min代表在t_j时刻n个节点x_1ij值的最小值，x_1max代表最大值。同样求出X_2ij，X_3ij，X_4ij的值，分别代表归一化后的数据，将x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}处理后变为X[j][i]＝{X_1ij，X_2ij，X_3ij，X_4ij}，X[j][i]代表经过数据归一化处理后的样本数组。

步骤3：将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Y_t[1...4]中(4代表4个检量),

k＝1,2,3,4，t＝1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理(取对数主要是为了消除异方差)，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本。

步骤4：采用PP(Phillips-Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列不服从一介单整，则对时间序列进行差分处理，采用迭代相乘法求出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即序列平稳位置，若超过三次差分仍存在单位根则重新选择样本，返回到步骤1。

步骤5：确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Y_t[1...4]数组，t＝1...m。四个时间序列分别用L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)表示。建立如下方程模型VAR(p)：

$Y_t=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{\mathrm{\&Pi;}}_i{Y}_{t-i}+U_t={\mathrm{\&Pi;}}_1{Y}_{t-1}+{\mathrm{\&Pi;}}_2{Y}_{t-2}+...+{\mathrm{\&Pi;}}_p{Y}_{t-p}+U_t---\left(1\right)$

式中Π_i,i＝1...p，代表第i个带估计参数N×N阶矩阵。其中U_t代表是N×1阶随机误差列向量，p为模型最大滞后阶数，Y_t代表时间序列的列向量。

步骤6：接下里我们要计算出滞后阶数p，我们选择赤池信息准则AIC与施瓦茨准则SC的方法来确定滞后阶数，通过以下的计算公式来得到相应的值：

$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T},---\left(2\right)$

$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T};---\left(3\right)$

其中L为似然估计，T代表样本容量。首先建立VAR(p)模型，我们分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较工具公式(2)与(3)得到的AIC与SC的值，p_max＝{p|AIC_i与SC_j代都取最小，i,j∈1,2,3,4}。p_max确定为最终的滞后阶数。

步骤7：接下来就可以建立最终的VAR(p_max)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：

L_cpu(t)＝π₁₁₁L_cpu(t-1)+π₁₁₂L_ram(t-2)+π₁₁₃L_io(t-1)+π₁₁₄L_bw(t-1)

+π₂₁₁L_cpu(t-1)+π₂₁₂L_ram(t-2)+π₂₁₃L_io(t-1)+π₂₁₄L_bw(t-1)+...

+π_p11L_cpu(t-1)+π_p12L_ram(t-2)+π_p13L_io(t-1)+π_p14L_bw(t-1)+u_1t

L_ram(t)＝π₁₂₁L_cpu(t-1)+π₁₂₂L_ram(t-2)+π₁₂₃L_io(t-1)+π₁₂₄L_bw(t-1)

π₂₂₁L_cpu(t-1)+π₂₂₂L_ram(t-2)+π₂₂₃L_io(t-1)+π₂₂₄L_bw(t-1)+...

+π_p21L_cpu(t-1)+π_p22L_ram(t-2)+π_p23L_io(t-1)+π_p24L_bw(t-1)+u_2t

L_io(t)＝π₁₃₁L_cpu(t-1)+π₁₃₂L_ram(t-2)+π₁₃₃L_io(t-1)+π₁₃₄L_bw(t-1)

+π₂₃₁L_cpu(t-1)+π₂₃₂L_ram(t-2)+π₂₃₃L_io(t-1)+π₂₃₄L_bw(t-1)+...

+π_p31L_cpu(t-1)+π_p32L_ram(t-2)+π_p33L_io(t-1)+π_p34L_bw(t-1)+u_3t

L_bw(t)＝π₁₄₁L_cpu(t-1)+π₁₄₂L_ram(t-2)+π₁₄₃L_io(t-1)+π₁₄₄L_bw(t-1)

+π₂₄₁L_cpu(t-1)+π₂₄₂L_ram(t-2)+π₂₄₃L_io(t-1)+π₂₄₄L_bw(t-1)+...

+π_p41L_cpu(t-1)+π_p42L_ram(t-2)+π_p43L_io(t-1)+π_p44L_bw(t-1)+u_4t

式子中的p即是第7步骤的预测值滞后阶数p_max，其中所有π为计算出来的估计参数，方程表示的是各变量上一时间点的值与下一时间点的值的关系，我们将样本最近一次的数据代入方程既可以得到下一时间点的预测值，得到L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)的值。

步骤8：根据各个参数的重要程度，利用权值处理得一个综合值，cpu使用率相对重要，其权值设置的要高(确定λ₁,λ₂,λ₃,λ₄的值)，得到综合值R＝λ₁L_cpu(t)+λ₂L_ram(t)+λ₃L_io(t)+λ₄L_bw(t)。

步骤9：如过R达到指定的阀值R_max，则监控模块主动向所有服务器的采集器发出监控命令,T_s(安全计时器)清零开始计时，转移到下一步。如果R小于R_max，查看T_s是否达到指定的最大监测间隔时间T_max＝w×T_min，w为正整数，如果达到的话也需要主动进行监测并转移到下一步，否则不监测，直接返回。

步骤10：如果T_s>＝T_max,则定义一个二维数组存储新的样本x′[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，其中i,j的含义与x[j][i]中的i,j相同，将原样本的x[w+1]至x[m]分别赋值给x′[1]至x′[m-w]，最近预测的值赋值给x′[m-w+1]至x′[m]，即除去一些旧的样本，加上最新的数据作为最新的样本数据，重新建立VAR模型。

如果T_s<T_max,与上面一样，除去部分最早的旧的样本，加上一些新的样本，形成下一轮的样本x′[j][i]。

步骤11：更新样本并转到步骤2。

具体如下：

(1)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存、可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息；

(2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理。并提取出物理节点的数据发送给VAR控制器模块，VAR代表向量自回归模型，其它的虚拟机信息直接交给反馈模块。

(3)定义一个最小监控信息采集周期T_min，作为时间序列中最短的时间间隔，在定义一个T_max＝w×T_min，w为正整数，作为最大的监控信息采集周期。按照T_min周期采集样本性能信息。把资源的利用率作为评价网格监控事件的参数，包括：CPU利用率，带宽利用率，内存利用率，I/O利用率。

(4)定义一个存储监控的性能数据的二维数组x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1...n，j＝0...m，其中i代表集群中监控节点的序号(n代表监控节点的个数)，j代表样本的时间点(m大于100)，集合中的四个子项，x_1ij代表监控到的CPU使用率、x_2ij代表内存使用率、x_3i代表I/O使用率、x_4ij带宽使用率。样本(x_1ij，x_2ij，x_3ij，x_4ij)表示一个时间点t_j(时间点之间的间隔为T_min)机器i监测到的性能数据，形成一段时间的样本。并定义安全计时器T_s和最大监控间隔时间T_max＝w×T_min，其中w为正整数。

(5)接下来对这些样本数据归一化处理，即对每个时间点的x[1...n]进行处理，x[1...n]代表每个虚拟机的所有监控数据，处理如下：X_1ij＝(x_1ij-x_1min)/(x_1max-x_1min)，x_1min代表在j时刻n个节点x_1ij值的最小值，x_1max代表最大值。同样求出X_2ij，X_3ij，X_4ij的值，分别代表归一化后的数据，将x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}处理后变为X[j][i]＝{X_1ij，X_2ij，X_3ij，X_4ij}，X[j][i]代表数据归一化处理后的样本数组。

(6)将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Y_t[1...4]中(4代表4个检量),

k＝1,2,3,4，t＝1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理(取对数主要是为了消除异方差)，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本。

(7)采用PP(Phillips-Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列不服从一介单整，则对时间序列进行差分处理，采用迭代相乘法就出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即序列平稳位置，若超过三次差分仍存在单位根，则重新选择样本。

(8)确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Y_t[1...4]数组，t＝1...m。四个时间序列分别用L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)表示。建立如下方程模型VAR(p)：

$Y_t=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{\mathrm{\&Pi;}}_i{Y}_{t-i}+U_t={\mathrm{\&Pi;}}_1{Y}_{t-1}+{\mathrm{\&Pi;}}_2{Y}_{t-2}+...+{\mathrm{\&Pi;}}_p{Y}_{t-p}+U_t---\left(1\right)$

式中Π_i,i＝1...p，代表第i个带估计参数N×N阶矩阵。其中U_t代表是N×1阶随机误差列向量，p为模型最大滞后阶数，Y_t代表时间序列的列向量。

(9)接下里我们要计算出滞后阶数p，我们选择赤池信息准则AIC与施瓦茨准则SC来确定滞后阶数，通过以下的计算公式来得到相应的值：

$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T}---\left(2\right)$

$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T}---\left(3\right)$

其中L为似然估计，T代表首先建立VAR(p)模型，我们分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，p_max＝{p|AICi与SCj代都取最小，i,j∈1,2,3,4}。p_max确定为最终的滞后阶数。

(10)接下来就可以建立最终的VAR(p_max)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：

L_cpu(t)＝π₁₁₁L_cpu(t-1)+π₁₁₂L_ram(t-2)+π₁₁₃L_io(t-1)+π₁₁₄L_bw(t-1)

+π₂₁₁L_cpu(t-1)+π₂₁₂L_ram(t-2)+π₂₁₃L_io(t-1)+π₂₁₄L_bw(t-1)+...

+π_p11L_cpu(t-1)+π_p12L_ram(t-2)+π_p13L_io(t-1)+π_p14L_bw(t-1)+u_1t

L_ram(t)＝π₁₂₁L_cpu(t-1)+π₁₂₂L_ram(t-2)+π₁₂₃L_io(t-1)+π₁₂₄L_bw(t-1)

+π₂₂₁L_cpu(t-1)+π₂₂₂L_ram(t-2)+π₂₂₃L_io(t-1)+π₂₂₄L_bw(t-1)+...

+π_p21L_cpu(t-1)+π_p22L_ram(t-2)+π_p23L_io(t-1)+π_p24L_bw(t-1)+u_2t

L_io(t)＝π₁₃₁L_cpu(t-1)+π₁₃₂L_ram(t-2)+π₁₃₃L_io(t-1)+π₁₃₄L_bw(t-1)

+π₂₃₁L_cpu(t-1)+π₂₃₂L_ram(t-2)+π₂₃₃L_io(t-1)+π₂₃₄L_bw(t-1)+...

+π_p31L_cpu(t-1)+π_p32L_ram(t-2)+π_p33L_io(t-1)+π_p34L_bw(t-1)+u_3t

L_bw(t)＝π₁₄₁L_cpu(t-1)+π₁₄₂L_ram(t-2)+π₁₄₃L_io(t-1)+π₁₄₄L_bw(t-1)

+π₂₄₁L_cpu(t-1)+π₂₄₂L_ram(t-2)+π₂₄₃L_io(t-1)+π₂₄₄L_bw(t-1)+...

+π_p41L_cpu(t-1)+π_p42L_ram(t-2)+π_p43L_io(t-1)+π_p44L_bw(t-1)+u_4t

式子中的p即是第7步骤的预测值滞后阶数p_max，其中π代表计算出的估计参数，方程表示的是各变量上一时间点的值与下一时间点的值的关系，我们将最近一次测得的数据代入方程既可以得到下一时间点的预测值，得到L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)的值。

(11)根据各个参数的重要程度，利用权值处理得一个综合值，cpu使用率相对重要，其权值设置的要高(确定λ₁,λ₂,λ₃,λ₄的值)，得到综合值R＝λ₁L_cpu(t)+λ₂L_ram(t)+λ₃L_io(t)+λ₄L_bw(t)。

(12)如过R达到指定的阀值R_max，则监控模块主动向所有服务器的采集器发出监控命令,T_s(安全计数器)清零开始计时，转移到下一步。如果R小于R_max，查看T_s是否达到指定的最大监测间隔时间T_max＝w×T_min，w为正整数，如果达到的话也需要主动进行监测并转移到下一步，否则不监测，直接返回。

(13)如果T_s>＝T_max,则定义一个二维数组存储新的样本x′[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，其中的i与j的含义与x[j][i]的相同，将原样本的x[w+1]至x[m]分别赋值给x′[1]至x′[m-w]，最近预测的值赋值给x′[m-w+1]至x′[m]，即除去一些旧的样本，加上最新的数据作为最新的样本数据，重新建立VAR模型。

如果T_s<T_max,与上面一样，除去部分最早的旧的样本，加上一些新的样本，形成下一轮的样本x′[j][i]。

(14)重新生成样本，重复上述步骤在进行样本的归一化处理平稳性检验，重新生成VAR模型，到第十步，生成新的回归方程，并进行新的预测。

(15)以后，以此类推。

Claims (1)

1.一种基于向量自回归的云计算中虚拟机监控方法，其特征在于该方法所包含的步骤为：

步骤1)每个被监控的物理节点都有一个采集器，主要负责该物理节点监控数据的采集，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存和可用磁盘空间，以及运行在该物理节点上的多个虚拟机的资源等信息；

步骤2)各个物理节点的采集器将监控到的数据交给监控模块的信息收集器，信息收集器对接收到的数据进行一定的格式化处理，并提取出物理节点的数据发送给VAR控制器模块，其中VAR指的是向量自回归模型，其它的虚拟机信息直接交给反馈模块；

步骤3)定义一个最小监控信息采集周期T_min，作为时间序列中最短的时间间隔，再定义一个T_max＝w×T_min，w为正整数，T_max为最大的监控信息采集周期，按照T_min周期采集样本性能信息，把资源的利用率作为评价网格监控事件的参数，包括：CPU利用率，带宽利用率，内存利用率，I/O利用率；

步骤4)定义一个存储最初采集监控数据的样本的二维数组x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，i＝1...n，j＝0...m，n代表监控节点的个数，m大于100；其中i代表集群中监控节点的序号，j代表样本时间点，集合中的四个子项，x_1ij代表CPU使用率、x_2ij代表内存使用率、x_3ij代表I/O使用率、x_4ij代表带宽使用率，样本(x_1ij，x_2ij，x_3ij，x_4ij)表示一个时间点t_j机器i监测到的性能数据，形成一段时间的样本，时间点之间的间隔为T_min；并定义安全计时器T_s和最大监控间隔时间T_max＝w×T_min，其中w为正整数；

步骤5)接下来对这些样本数据归一化处理，即对每个时间点的x[1...n]进行处理，x[1...n]表示每个监控节点上的当前时间的所有数据，处理如下：X_1ij＝(x_1ij-x_1min)/(x_1max-x_1min)，x_1min代表在j时刻n个节点x_1ij值的最小值，x_1max代表最大值；同样求出X_2ij，X_3ij，X_4ij的值，分别代表归一化后的数据，将x[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}处理后变为X[j][i]＝{X_1ij，X_2ij，X_3ij，X_4ij}，X[j][i]代表数据归一化处理后的样本数组；

步骤6)将样本均值处理，将每一个时间点内的数据X[j][1]至X[j][n]，进行均值处理，并保存到一个中间数组Y_t[1...4]中，共4个维度,，k＝1,2,3,4，t＝1...m，n代表监控节点个数，t代表时间点，每个时间点都进行如此处理，取对数主要是为了消除异方差，最后将每个时间点内经过均值处理得到的4个数赋值给X[t][1]，作为最终的输入样本；

步骤7)采用PP(Phillips-Perron test)单位根检验法对每一个时间序列检验是否存在单位根，若这些时间序列的一阶差分不是平稳序列，则对时间序列进行差分处理，采用迭代相乘法计算出各个参数的值，将经过差分处理的新的时间序列再次进行单位根检验，若仍然存在单位根，将进一步差分处理，直到不存在单位根，即时间序列的一阶差分是平稳序列，若超过三次差分则重新选择样本；

步骤8)确定CPU使用率、内存使用率、I/O使用率、带宽使用率为VAR模型的内生变量，且输入样本为Y_t[1...4]数组，t＝1...m；四个时间序列分别用L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)表示；建立如下方程模型VAR(p)：

$Y_t=\underset{i=1}{\overset{p}{\mathrm{\&Sigma;}}}{\mathrm{\&Pi;}}_i{Y}_{t-i}+U_t={\mathrm{\&Pi;}}_1{Y}_{t-1}+{\mathrm{\&Pi;}}_2{Y}_{t-2}+...+{\mathrm{\&Pi;}}_p{Y}_{t-p}+U_t---\left(1\right)$

式中Π_i,i＝1...p，代表第i个带估计参数N×N阶矩阵；其中U_t代表是N×1阶随机误差列向量，p为模型最大滞后阶数，Y_t代表时间序列的列向量；

步骤9)接下里计算出滞后阶数p，选择赤池信息准则AIC与施瓦茨准则SC来确定滞后阶数，通过以下的计算公式来得到相应的值：

$\mathrm{AIC}=-2\left(\frac{\log L}{T}\right)+\frac{2p}{T},---\left(2\right)$

$\mathrm{SC}=-2\left(\frac{\log L}{T}\right)+\frac{p\log T}{T};---\left(3\right)$

其中L为似然估计，T代表样本容量；首先建立VAR(p)模型，分别建立VAR(1)，VAR(2)，VAR(3)，VAR(4)来比较AIC与SC的值，p_max＝{p|AICi与SCj代都取最小，i,j∈1,2,3,4}，p_max确定为最终的滞后阶数；

步骤10)接下来建立最终的VAR(p_max)模型，通过样本会预测出上述的估计参数矩阵，得到线性模型如下：

L_cpu(t)＝π₁₁₁L_cpu(t-1)+π₁₁₂L_ram(t-2)+π₁₁₃L_io(t-1)+π₁₁₄L_bw(t-1)

+π₂₁₁L_cpu(t-1)+π₂₁₂L_ram(t-2)+π₂₁₃L_io(t-1)+π₂₁₄L_bw(t-1)+...

+π_p11L_cpu(t-1)+π_p12L_ram(t-2)+π_p13L_io(t-1)+π_p14L_bw(t-1)+u_1t

L_ram(t)＝π₁₂₁L_cpu(t-1)+π₁₂₂L_ram(t-2)+π₁₂₃L_io(t-1)+π₁₂₄L_bw(t-1)

+π₂₂₁L_cpu(t-1)+π₂₂₂L_ram(t-2)+π₂₂₃L_io(t-1)+π₂₂₄L_bw(t-1)+...

+π_p21L_cpu(t-1)+π_p22L_ram(t-2)+π_p23L_io(t-1)+π_p24L_bw(t-1)+u_2t

L_io(t)＝π₁₃₁L_cpu(t-1)+π₁₃₂L_ram(t-2)+π₁₃₃L_io(t-1)+π₁₃₄L_bw(t-1)

+π₂₃₁L_cpu(t-1)+π₂₃₂L_ram(t-2)+π₂₃₃L_io(t-1)+π₂₃₄L_bw(t-1)+...

+π_p31L_cpu(t-1)+π_p32L_ram(t-2)+π_p33L_io(t-1)+π_p34L_bw(t-1)+u_3t

L_bw(t)＝π₁₄₁L_cpu(t-1)+π₁₄₂L_ram(t-2)+π₁₄₃L_io(t-1)+π₁₄₄L_bw(t-1)

+π₂₄₁L_cpu(t-1)+π₂₄₂L_ram(t-2)+π₂₄₃L_io(t-1)+π₂₄₄L_bw(t-1)+...

+π_p41L_cpu(t-1)+π_p42L_ram(t-2)+π_p43L_io(t-1)+π_p44L_bw(t-1)+u_4t

式子中的p即是第9步骤的预测值滞后阶数p_max，其中π代表计算出的估计参数，方程表示的是各变量上一时间点的值与下一时间点的值的关系，将最近一次测得的数据代入方程即可以得到下一时间点的预测值，得到L_cpu(t)、L_ram(t)、L_io(t)、L_bw(t)的值；

步骤11)根据各个参数的重要程度，利用权值处理得一个综合值，cpu使用率相对重要，其权值设置的要高，确定λ₁,λ₂,λ₃,λ₄的值，得到综合值R＝λ₁L_cpu(t)+λ₂L_ram(t)+λ₃L_io(t)+λ₄L_bw(t)；

步骤12)如过R达到指定的阀值R_max，则监控模块主动向所有服务器的采集器发出监控命令,安全计时器T_s清零开始计时，转移到下一步；如果R小于R_max，查看T_s是否达到指定的最大监测间隔时间T_max＝w×T_min，w为正整数，如果达到的话也需要主动进行监测并转移到下一步，否则不监测，直接返回；

步骤13)如果T_s>＝T_max,则定义一个二维数组数组存储新的样本x′[j][i]＝{x_1ij，x_2ij，x_3ij，x_4ij}，其中的i与j的含义与x[j][i]的相同，将原样本的x[w+1]至x[m]分别赋值给x′[1]至x′[m-w]，最近预测的值赋值给x′[m-w+1]至x′[m]，即除去一些旧的样本，加上最新的数据作为最新的样本数据，重新建立VAR模型，如果T_s<T_max,与上面一样，除去部分最早的旧的样本，加上一些新的样本，形成下一轮的样本x′[j][i]；

步骤14)重新生成样本，重复上述步骤在进行样本的归一化处理平稳性检验，重新生成VAR模型，到步骤10，生成新的回归方程，并进行新的预测。