CN104407688A - 基于树回归的虚拟化云平台能耗测量方法及系统 - Google Patents

Abstract

本发明提供了一种基于树回归的虚拟化云平台能耗测量方法及系统，该方法包括如下步骤：信息采集步骤，物理机周期性地将采集到的信息发送给指定的控制节点，采集的信息包括物理机和虚拟机的资源信息、以及从测量计得到的能耗信息；参数训练步骤，由控制节点负责使用树回归算法将数据集分段进行线性拟合，得到每个子集合中资源能耗模型参数α、γ；能耗计算步骤，控制节点根据拟合的参数和虚拟机信息进行计算，得到虚拟机的能耗。本发明的有益效果是：本发明采用基于回归树的方法对不同资源的使用率分段建立线性模型，改进了传统单一线性模型的准确度不够高的缺点；回归树模型计算简单、高效，对实时性的能耗模型参数更新体现为效率更高。

Description

基于树回归的虚拟化云平台能耗测量方法及系统

技术领域

本发明涉及数据处理领域，尤其涉及基于树回归的虚拟化云平台能耗测量方法及系统。

背景技术

当前云计算迅速发展，各企业纷纷投入大量资金建起自己的数据中心。因此，能耗的细粒度监控和管理是当前急需解决的主要技术问题。传统的数据中心采用电表方式对各种设备的能耗进行监控，但仍然有诸多的数据中心调度策略依赖于实时获取服务器的能耗、其上运行的应用、以及虚拟机的能耗信息。尤其是对于虚拟化云平台的服务器能耗、其上运行的软件能耗、以及其上运行的虚拟机能耗，以软件方式实时获取对于构建未来数据中心的调度、节能、计费具有重要意义。已有技术如下：

(1)物理机的能耗采用了电表或者服务器内置电表来测量物理机能耗。

(2)对运行不同虚拟机的系统内部分别采集虚拟机内部的资源信息，利用各个虚拟机的几种资源总和与服务器电表值进行建模，特点是虚拟机内部安插一定的代理程序。获取相关数据进行建模，对于复杂多机情况没有考虑。

Eg：北京邮电大学提出了一种基于虚拟机内部资源监控的虚拟机能耗测量方法，不足之处是虚拟机内部显示的资源信息并不准确反映了虚拟机的真实物理资源使用情况，对于异构的虚拟机运行不同的程序来说就相对不实用，而且准确度也不够高。

(3)结合虚拟化底层的hypervisor，监控物理资源，包括CPU，内存，Disk，网络I/O情况，以及每个虚拟机在使用物理资源时候的一些特征信息的采集，结合能耗信息进行建模。首先建模，物理机资源和能耗的关系，然后通过获取各个虚拟机使用的各种物理资源情况来进行能效计算转换，难点在于提取物理硬件上的各个虚拟机分别执行的特征信息。

Eg：微软，中国电信，IBM等公司发表的专利采取了基于事件和基于资源对虚拟机划分的方式进行能耗分配计算模型评估虚拟机能耗，但仍然存在针对不同的场景下的模型效果误差大的情况，因此需要一种优化技术来对目前的单一模型采取自适应的方法以及对结果进行优化的解决方案从而提高虚拟机能耗评估的准确度。

(4)国外发表的相关论文在关于能耗测量技术方面采用了诸多的模型，其中典型的有线性模型、多项式模型、支持向量回归的方法。

专利列表如下：

目前的技术具有如下缺陷：

(1)当前数据中心的能耗监控主要是用电表监控数据中心的各种设备以及服务器的能耗，缺乏以模型的方法来对服务器及其上运行的软件和虚拟机能耗进行细粒度监控。

(2)虚拟机内部安插代理程序收集虚拟机的信息打破了安全假设，对用户的隐私造成了影响，在实际的虚拟机服务供应商上不可行。而且对虚拟机内部的资源使用率能耗建模不够准确。

(3)对各个虚拟机使用物理机资源划分的方式建立线性模型推断虚拟机能耗是目前比较好的解决方案，但纯粹的线性模型不够准确。

(4)已有技术的模型不够灵活，而且针对特定的benchmark不能够自适应，模型方法测量出的结果误差会随应用程序变化不一，既不稳定，其准确度也会有很大变化。

(5)不同的资源利用率面对的模型参数可能会不同，已有的线性方法采用的按分段方式分别训练参数的方法是以人为的方式进行简单的分段，不够客观。

(6)而采用的非线性方法中，计算复杂，对实时测量能耗，其模型参数并不能及时进行更新，导致误差较大。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于树回归的虚拟化云平台能耗测量方法。

本发明提供了一种基于树回归的虚拟化云平台能耗测量方法，包括如下步骤：

信息采集步骤，物理机周期性地将采集到的信息发送给指定的控制节点，采集的信息包括物理机和虚拟机的资源信息、以及从测量计得到的能耗信息；

参数训练步骤，由控制节点负责使用树回归算法将数据集分段进行线性拟合，得到每个子集合中资源能耗模型参数α、γ；

能耗计算步骤，控制节点根据拟合的参数和虚拟机信息进行计算，得到虚拟机的能耗，并评估物理机能耗准确率。

作为本发明的进一步改进，该虚拟化云平台能耗测量方法还包括：

测量系统的基础功率步骤，当物理机处于空闲状态时，周期性地采集测量计的功率值，求得一段时间内的平均值作为基础功率。

作为本发明的进一步改进，在所述信息采集步骤中，通过在物理机内部署采集程序的黑盒方法，采集物理机和虚拟机的资源信息以及功率值。

作为本发明的进一步改进，在所述参数训练步骤中，将采集到的功率值和物理机的资源特征信息组成训练数据集D，集合D＝{d1,d2,...,dn}，某个记录di为m元组(f1,f2,f3,Psys)，其中前f1～fn-1代表资源事件相关信息，Psys是m元组最后一个元素。

作为本发明的进一步改进，在所述参数训练步骤中，在集合中选择最优分割点，以此将数据集分割为两个子集，并在子集上递归完成树的构建；函数SplitData根据最优分割点切分数据集，如将集合中对应feature部件的资源特征信息值小于分割点中value的划分为子集leftdata，大于等于的记录划分为rightdata。

作为本发明的进一步改进，在函数SelectFeat中引入阀值s，当子集分割到样本数目小于阈值s时，则停止划分，作为叶节点处理；SelectFeat计算最优分割点的方法是遍历集合中所有属性的取值，寻找能带来最小的错误率的点。

作为本发明的进一步改进，在数据集合可逆的情况下进行线性拟合，从而得到该集合下的资源能耗模型参数；若是数据结合不可逆，则采用模型树的方法，用集合内功率的平均值作为预测值。

作为本发明的进一步改进，树模型将数据集合D根据分割点集合B，划分为子集合；在叶节点的子集合中，通过模型树或回归树进行预测，回归树根据线性拟合方法得到模型参数，模型树返回某个预测值。

作为本发明的进一步改进，在所述能耗计算步骤中，虚拟机资源信息集合D，D中每个记录为(fv1,fv2,fv3)，分别表示某时刻某虚拟机的CPU、内存和磁盘的资源信息，遍历树模型找到对应的叶节点，计算出各个部件功率，并得到虚拟机在该时刻的功率。

本发明还提供了一种基于树回归的虚拟化云平台能耗测量系统，包括多个物理机、多个虚拟机、多个能耗测量计、多个控制节点、以及web服务器，在物理机上通过虚拟化层管理虚拟机，物理机内采用黑盒方法采集资源特征信息，通过能耗测量计周期性测量物理机的瞬时功率；控制节点负责数据存储和处理，包括资源能耗模型参数训练，物理机能耗测量准确度和各个虚拟机某段时间的能耗信息；树回归算法在控制节点中运行，用来进行资源能耗模型参数训练；物理机和虚拟机的能耗结果通过访问Web服务器查看。

本发明的有益效果是：本发明采用基于回归树的方法对不同资源的使用率分段建立线性模型，改进了传统单一线性模型的准确度不够高的缺点；回归树内部自动分段，而且各个资源的分段区间是自动通过回归树内部的统计方法形成分段，解决了传统的人为参与的分段线性拟合导致的高误差问题；回归树模型计算简单、高效，改进了已有的一些非线性模型的低效计算问题，对实时性的能耗模型参数更新体现为效率更高。

附图说明

图1是本发明的系统原理框图。

图2是树回归方法与线性拟合示意图。

具体实施方式

如图1所示，本发明公开了一种基于树回归的虚拟化云平台能耗测量系统，该能耗测量系统建立在虚拟化云平台上，虚拟化云平台由众多物理机H组成，在物理机H上通过KVM虚拟化层管理虚拟机VM。

物理机H内采用黑盒方法采集资源特征信息，且配有能耗测量计J。本系统使用功率变化来表示能耗变化，故能耗测量计J周期性测量物理机H的瞬时功率。控制节点C负责数据存储和处理，包括资源能耗模型参数训练，物理机H能耗测量准确度和各个虚拟机VM某段时间的能耗信息等。树回归算法在控制节点C中运行，用来进行资源能耗模型参数训练。最后，物理机H和虚拟机VM的能耗结果可以通过访问Web服务器查看。

本发明还公开了一种基于树回归的虚拟化云平台能耗测量方法，包括如下步骤：

信息采集步骤，物理机周期性地将采集到的信息发送给指定的控制节点，采集的信息包括物理机和虚拟机的资源信息、以及通过串口通信从测量计得到的能耗信息；

参数训练步骤，由控制节点负责使用树回归算法将数据集分段进行线性拟合，得到每个子集合中资源能耗模型参数α、γ；

能耗计算步骤，控制节点根据拟合的参数和虚拟机信息进行计算，得到虚拟机的能耗，并评估物理机能耗准确率。

树回归算法基本思想：

树回归算法是机器学习中的一种数据预测的方法，算法的基本思路是将输入的数据集合递归分割为多个子集，构建树模型，并在每个子集上构建预测模型。预测模型一般分为两种，选取某个值或线性方程作为集合的预测值，分别称作回归树和模型树。

传统的线性能耗资源模型需要拟合所有样本点，这种全局模型在拥有众多特征且特征关系复杂时变得不适用。而树回归算法的通过构建树的方式将数据集合分成几个子集，分别在每个子集上处理，综合考虑样本的全局和部分分布。例如，假设在CPU密集型任务中只考虑CPU部件与能耗的关系，并选择利用率作为资源特征信息。采集某段时间内的功率(减去基础功率后)和CPU利用率，得到的散点图如图2所示。

图2中曲线1为拟合所有样本的线性模型的预测值，较好地反映了整体的线性关系。曲线2为使用模型树算法的预测值，将样本空间分割为几个子集，在每个子集上分别进行线性拟合预测。从图中可以看出，使用树回归方法能够考虑到局部数据特征，更准确地展示出资源利用信息与能耗的关系。

基于树回归能耗测量具体步骤：

在实际能耗测量过程中，使用功率P代表系统能耗，而且需要对资源能耗模型的公式进行推导。

P_sys＝α_cpuu_cpu+α_memN_LLCM(T)+α_iob_io+γ+P_static；

从公式中可以得到，为得到资源能耗模型参数αcpu、αmem、αio和γ，需要采集物理机中资源特征信息ucpu、NLLCM、bio以及基础功率Pstatic、物理机瞬时功率Psys。基于树回归的虚拟化云平台能耗测量方法详细步骤如下：

步骤1测量系统的基础功率Pstatic。当物理机处于空闲状态时，周期性地采集测量计的功率值，求得一段时间内的平均值作为基础功率。

步骤2采集系统资源特征信息和能耗信息。通过在物理机内部署采集程序的黑盒方法，采集物理机和虚拟机的资源信息ucpu等以及功率值Psys。

步骤3基于树回归训练能耗模型参数。将采集到的功率值和物理机的资源特征信息组成训练数据集D。集合D＝{d1,d2,...,dn}，某个记录di为四元组(f1,f2,f3,Psys)，分别代表某时刻某物理机的CPU、内存和磁盘的资源特征信息以及该时刻的功率。四元组可表示为m元组，而前f1～fn-1代表资源事件相关信息，Psys是m元组最后一个元素。表示构建过程的算法CreateTree的伪代码如下：

算法1.构建树算法CreateTree。

最优分割点中，feature表示所选择的部件，如CPU、内存等，value表示该对应部件的资源特征信息值。算法的主要思想是：在集合中选择最优分割点，以此将数据集分割为两个子集，并在子集上递归完成树的构建。函数SplitData根据最优分割点切分数据集，如将集合中对应feature部件的资源特征信息值小于分割点中value的划分为子集leftdata，大于等于的记录划分为rightdata等。

为避免树节点过多，在函数SelectFeat中引入阀值s。当子集分割到样本数目小于阈值s时，则停止划分，作为叶节点处理。SelectFeat计算最优分割点的常用方法是遍历集合中所有属性的取值，寻找能带来最小的错误率的点，算法的伪代码如下：

算法2.选择最优分割点SelectFeat。

Error函数为计算误差率的函数，其计算方法是分别计算每个记录d[i]的功率的预测值和实测值的差值的平方，再将计算结果累加，即

$\mathrm{err}={\mathrm{\Σ}}_{i=1}^n{\left(d\right[i\left]\right[\′P_{\mathrm{SYS}}\′]-\mathrm{predict}[i\left]\right)}^2,d\left[i\right]\∈D---\left(9\right)$

只有当分割前后的错误率err差值达到阈值t时，才认为选择此切分点能够带来明显的效果，否则不划分。predict[i]是根据当前集合D采用最小二乘法进行线性拟合后得到的预测值，类似图2中的曲线1。

从构建树的算法可以发现，最终的叶节点有两种情况可以到达：1)子集和的样本数量小于阈值s；2)分割前后的误差率没有达到阈值t。对叶节点的处理也有两种方式：回归树或模型树。回归树使用线性拟合，模型树使用单个值。本文中使用的方法是两者的结合。由于在使用最小二乘法进行线性拟合时需要数据矩阵可逆，而在实际环境下分割后的叶节点的数据集合可能出现不可逆的情况。因此，本方法中叶节点的处理分为两步。首先，在数据集合可逆的情况下进行线性拟合，从而得到该集合下的资源能耗模型参数αcpu、γ等；再次，若是数据结合不可逆，则采用模型树的方法，用集合内功率的平均值作为预测值。

执行算法1和算法2后完成构建树模型。树模型将数据集合D根据分割点集合B，划分为子集合。在叶节点的子集合中，通过模型树或回归树进行预测。回归树根据线性拟合方法得到模型参数αcpu、αmem、αio和γ，模型树返回某个预测值。

步骤4计算虚拟机能耗。根据已得到的树模型和虚拟机的资源信息对虚拟机能耗计算。虚拟机资源信息集合D，D中每个记录为(fv1,fv2,fv3)，分别表示某时刻某虚拟机的CPU、内存和磁盘的资源信息。遍历树模型找到对应的叶节点，利用公式(5-7)原理计算出各个部件功率，并根据公式(10)将得到虚拟机A在该时刻的功率。

整个计算过程如算法3所示。

P_sys,A＝P_cpu,A+P_Mem,A+P_Disk,A  (10)

算法3.计算虚拟机能耗CalcEnergy。

采用算法3后可以计算得出任意虚拟机的任意时刻的功率，从而实现了虚拟化云平台中虚拟机能耗的计算。

步骤5优化评估计算结果。从算法2中可以看到，树回归算法需要有两个阈值s和t。在树回归算法中，可以加入剪枝算法优化阈值，使得最终建立的树模型误差最小；也可以在构建树模型的过程中，在一定的范围内遍历阀值s和t的不同组合，尝试找到最终误差最小的组合。从算法含义上考虑，阈值s决定了树模型最终叶节点的大小，阈值t决定了算法的敏感程度。当s取全体样本数且t取值较大时，树回归算法将退化为全局的线性拟合模型。

基于树回归的分段处理的方法与已有的分段处理方法不同。北邮专利提出的分段算法是根据CPU的资源利用信息将输入数据划分为高中低三段，并分别在此三种情况下，对模型参数进行训练，计算各自情况下的虚拟机能耗。而基于树回归的方法自动地将数据集合划分为几个子集，而且可以利用所有部件的资源特征信息来划分数据，并不仅限于CPU部件的资源特征信息。

基于树回归的算法会对输入的n个通过采样得到的m元组，经过处理生成k个按照不同的资源的不同资源范围来进行输出。

假设当前要计算物理机的能耗，只需要将当前的物理机能耗信息输入到训练好的回归树模型中，自动根据物理机各个资源所属的范围找到对应的线性模型，从而根据该线性模型计算得到物理机能耗。

方案2：虚拟机的计算，是按照此时找到的树模型，将虚拟机在实际运行中使用的物力资源的数值带入到物理机在模型树中找到的线性模型，从而计算出虚拟机的能耗。主要是基于理论：物理机能耗＝各个虚拟机能耗累加和+物理机基础能耗。基础能耗是无论物理机运行不运行程序都必须消耗的最低能耗。

方案3：依此方法，对物理机上运行的应用程序也是可以通过相同的方法进行计算的。

虚拟机使用的物理资源和物理机上的应用程序所使用的物理资源，都可以通过操作系统的一些相关工具获取。

方案4：对于不同类型的应用，比如CPU密集型，IO密集型，内存密集型的任务可以分别计算出各自的回归树，当一个不知道何种应用的程序运行时候，将其分别代入到三个不同的回归树中，三者中测量出的能耗信息与实际的物理机的电表获得的值误差最小，则认为该应用适合于某回归树模型，针对该应用就可以更加准确的使用该模型。该方法主要是为了估计应用程序本身的能耗，依次来对后续的一些节能软件设计和按软件使用的资源水平计费等应用。

本发明具有如下特点：

通过服务器内部资源使用信息和服务器能耗信息，采用基于树回归的模型，实现更加准确的实时的物理机能耗测量。

基于此准确的物理机能耗所对应的树回归分支的叶子节点上的模型公式计算虚拟机的能耗。

基于训练的物理机能耗模型参数，更加准确地对服务器上运行的应用程序使用的能耗进行评估。

树回归采取了最终生成的模型是分段线性模型，使得不同资源的利用率不同，对应的模型也不同，提高了能耗测量的准确度。

树回归算法自动根据不同的资源进行分段，而分段并非是人为的定义，基于统计信息对不同的资源使用情况分别训练线性模型，以最好地适应实际的应用。

该方法的计算速度快，比当前的一些非线性方法计算简单，具有实时性特点。

针对不同的应用场景(比如CPU密集型、IO密集型)会单独训练回归树，对特定的软件运行结束的时候采集的数据分别和各个场景进行计算，误差最小的树即是该应用锁对应的回归树模型。

本发明具有如下有益效果：本发明采用基于回归树的方法对不同资源的使用率分段建立线性模型，改进了传统单一线性模型的准确度不够高的缺点；回归树内部自动分段，而且各个资源的分段区间是自动通过回归树内部的统计方法形成分段，解决了传统的人为参与的分段线性拟合导致的高误差问题；回归树模型计算简单、高效，改进了已有的一些非线性模型的低效计算问题，对实时性的能耗模型参数更新体现为效率更高。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于树回归的虚拟化云平台能耗测量方法，其特征在于，包括如下步骤：

信息采集步骤，物理机周期性地将采集到的信息发送给指定的控制节点，采集的信息包括物理机和虚拟机的资源信息、以及从测量计得到的能耗信息；

参数训练步骤，由控制节点负责使用树回归算法将数据集分段进行线性拟合，得到每个子集合中资源能耗模型参数α、γ；

能耗计算步骤，控制节点根据拟合的参数和虚拟机信息进行计算，得到虚拟机的能耗，并评估物理机能耗准确率。

2.根据权利要求1所述的虚拟化云平台能耗测量方法，其特征在于，该虚拟化云平台能耗测量方法还包括：

测量系统的基础功率步骤，当物理机处于空闲状态时，周期性地采集测量计的功率值，求得一段时间内的平均值作为基础功率。

3.根据权利要求2所述的虚拟化云平台能耗测量方法，其特征在于，在所述信息采集步骤中，通过在物理机内部署采集程序的黑盒方法，采集物理机和虚拟机的资源信息以及功率值。

4.根据权利要求3所述的虚拟化云平台能耗测量方法，其特征在于，在所述参数训练步骤中，将采集到的功率值和物理机的资源特征信息组成训练数据集D，集合D＝{d1,d2,...,dn}，某个记录di为m元组(f1,f2,f3,Psys)，其中前f1～fn-1代表资源事件相关信息，Psys是m元组最后一个元素。

5.根据权利要求4所述的虚拟化云平台能耗测量方法，其特征在于，在所述参数训练步骤中，在集合中选择最优分割点，以此将数据集分割为两个子集，并在子集上递归完成树的构建；函数SplitData根据最优分割点切分数据集，如将集合中对应feature部件的资源特征信息值小于分割点中value的划分为子集leftdata，大于等于的记录划分为rightdata。

6.根据权利要求5所述的虚拟化云平台能耗测量方法，其特征在于，在函数SelectFeat中引入阀值s，当子集分割到样本数目小于阈值s时，则停止划分，作为叶节点处理；SelectFeat计算最优分割点的方法是遍历集合中所有属性的取值，寻找能带来最小的错误率的点。

7.根据权利要求6所述的虚拟化云平台能耗测量方法，其特征在于，在数据集合可逆的情况下进行线性拟合，从而得到该集合下的资源能耗模型参数；若是数据结合不可逆，则采用模型树的方法，用集合内功率的平均值作为预测值。

8.根据权利要求7所述的虚拟化云平台能耗测量方法，其特征在于，树模型将数据集合D根据分割点集合B，划分为子集合；在叶节点的子集合中，通过模型树或回归树进行预测，回归树根据线性拟合方法得到模型参数，模型树返回某个预测值。

9.根据权利要求8所述的虚拟化云平台能耗测量方法，其特征在于，在所述能耗计算步骤中，虚拟机资源信息集合D，D中每个记录为(fv1,fv2,fv3)，分别表示某时刻某虚拟机的CPU、内存和磁盘的资源信息，遍历树模型找到对应的叶节点，计算出各个部件功率，并得到虚拟机在该时刻的功率。

10.一种基于树回归的虚拟化云平台能耗测量系统，其特征在于，包括多个物理机、多个虚拟机、多个能耗测量计、多个控制节点、以及web服务器，在物理机上通过虚拟化层管理虚拟机，物理机内采用黑盒方法采集资源特征信息，通过能耗测量计周期性测量物理机的瞬时功率；控制节点负责数据存储和处理，包括资源能耗模型参数训练，物理机能耗测量准确度和各个虚拟机某段时间的能耗信息；树回归算法在控制节点中运行，用来进行资源能耗模型参数训练；物理机和虚拟机的能耗结果通过访问Web服务器查看。