CN103034525A

CN103034525A - 云计算环境中一种基于性能计数器的虚拟机功耗测量方法

Info

Publication number: CN103034525A
Application number: CN2012105191133A
Authority: CN
Inventors: 肖鹏; 胡志刚; 刘洞波; 屈喜龙
Original assignee: Hunan Institute of Engineering
Current assignee: Hunan Institute of Engineering
Priority date: 2012-12-07
Filing date: 2012-12-07
Publication date: 2013-04-10

Abstract

本发明公开一种针对云计算系统的虚拟机功耗测量方法。该方法首先选择出最具功耗代表性的性能计数器集合，然后利用“多阶逐次逼近”的方法来构建从性能计数器到物理设备功耗的映射关系和模型，从而获得虚拟机的总体功耗测量模型。本发明的主要优点是：虚拟机功耗模型的精确度相对已有方法而言得到了显著提高；功耗测量的采样时间精度从“毫秒”级提高到了“微秒”级，从而为实现云系统的细粒度功耗控制和管理提供了有效支持。

Description

云计算环境中一种基于性能计数器的虚拟机功耗测量方法

技术领域

本发明涉及云计算领域，特指一种针对虚拟机的功耗测量方法及其实现技术。

背景技术

云计算系统已经逐步成为当前最具应用前景的分布式计算平台。为了保证云系统的服务质量，数据中心的服务器往往需要为用户提供全天候24小时的资源访问能力，而这种“过度供给”的资源共享方式导致了极大的能耗开销。因此，针对云系统的能耗控制与优化管理成为当前一个极具应用价值和商业价值的研究课题。

在云计算环境中，高性能数据中心往往通过资源虚拟化技术来为上层用户提供服务，即资源分配和管理的基本单元为一个个独立的“虚拟机”。因此，实现云系统能耗控制与优化管理的基本前提就是准确、高效地度量虚拟机的功耗。由于虚拟机是被虚拟化软件动态创建出来的，而非一般的物理计算机，因此其功耗无法通过物理设备进行测量，而只能采用间接方式进行度量。以下是现有的虚拟机功耗测量技术的简要概括和缺陷分析：

（1）基于线性模型的虚拟机功耗测量技术：该类技术基于“物理设备的动态功耗与设备利用率成正比”这一假设前提，通过分析设备动态利用率与实际功耗之间的关系来获得两者的相关系数，然后通过线性叠加方式来估测虚拟机的功耗。该技术的主要缺点是：准确性低，功耗模型的建模周期长，且所获得的功耗模型只能应用于特定物理设备。

（2）基于模式分析的虚拟机功耗测量技术：该类技术采用统计分析方法来提取各类虚拟机的功耗特征，然后利用数据库技术来建立“特征-功耗”之间的关系数据库，最后通过模式匹配技术来查询实际虚拟机的“最近似”功耗值。该技术的主要缺点是：建立和维护“特征-功耗”数据库的开销很大、模式匹配算法的效率会制约功耗测量的实时性、只能获得近似功耗而无法获得精确的功耗值。

（3）基于闭环控制理论的虚拟机功耗测量技术：该类技术采用控制论中“闭环负反馈”技术来构建虚拟机与其负载之间的动态关系模型，然后通过输出误差来校正功耗模型中的相关参数。其优点是：只要“闭环负反馈”模型的样本参数足够多，所获得功耗模型就能具备相当高的准确性。其主要缺点是：功耗模型的构建时间很长，无法满足实时功耗测量的要求。

发明内容

本发明利用处理器内置的“性能计数器”（Performance Monitor Counter，简称PMC）来统计系统运行过程中的“能耗事件”，并通过“多阶逐次逼近”的方法来建立各类“功耗事件”与“设备实际功耗”之间的映射关系，从而获得针对虚拟机的功耗测量模型。该技术方案的总体流程如图1所示，其主要步骤如下：

步骤一：采用“相关系数”分析技术，对所有性能计数器进行筛选，从而筛选出最能设备功耗情况的PMC集合，其该步骤的流程如图2所示，具体流程说明如下：首先，在虚拟服务器上执行标准测试程序，统计所有PMC的实时数据，同时利用外接功耗测量仪器（例如WattsUp Pro）来记录处理器、磁盘、内存和I/O设备的实时功耗数据；然后利用所测得的实时功耗数据信息，计算出所有性能计数器与以上四类物理设备功耗之间的相关系数，其计算公式如下

(1)

其中，c_i为第i种性能计数器的计数值，p_j为物理设备j的实时功耗值，N为统计过程中采样总次数，

和

为c_i和p_j的平均值；最后，针对每类物理设备，选择并保留与其R_i,j大于0.5的性能计数器，作为最能代表该类设备功耗的性能计数器集合。

步骤二：基于步骤一所获得的性能计数器集合，采用“多阶逐次逼近”技术来构建“性能计数器–设备功耗”之间的关系模型，该步骤的流程如图3所示，具体流程说明如下：首先，将步骤一所获得的性能计数器集合进行排序，排序标准依据步骤一所计算的R_i,j值的降序进行，其形式表示为<c₁, c₂, …, c_n>；然后，以一阶模型的方式构建“性能计数器–设备功耗”模型，其形式如下所示：

(2)

利用以上一阶模型计算出该类设备的功耗值，并与步骤一所统计的实际功耗值进行对比。若误差在预先设定的阀值（表示为e）之内，则认定模型精确度满足要求。否则，以二阶模型的方式继续构建“性能计数器–设备功耗”模型，其形式如下所示：

(3)

利用以上二阶模型计算出该类设备的功耗值，并与步骤一所统计的实际功耗值进行对比。若误差在预先设定的阀值（表示为e）之内，则认定模型精确度满足要求。否则，提高误差阀值0.01，重新从步骤（1）开始执行。对四类物理设备（处理器、磁盘、内存、I/O设备）重复以上流程，直到获得四类设备的“性能计数器–设备功耗”关系模型。

步骤三：利用步骤二所获得的“性能计数器–设备功耗”关系模型，通过线性叠加方式构建虚拟机的整体功耗模型，其形式如下所示

(4)

公式（4）将作为测量该虚拟服务器上所有虚拟机功耗的基本功耗模型。

本发明具有如下技术效果：（1）针对特定计算机系统，只需要执行一次虚拟机功耗模型建立过程，随后便可以直接利用所建立的虚拟功耗模型对系统中的所有虚拟机进行实时功耗测量，从而显著降低重复建模所导致的人力和物力开销；（2）基于PMC的功耗测量技术，其采样时间精度可以达到“微秒”级，而其它功耗测量技术的时间精度一般为“毫秒”级，这种采样精度足够实现“在线”（Online）的实时功耗/能耗控制和优化管理；（3）本发明对处理器内置的PMC集合进行预先筛选，一方面降低了后续建模过程的时间复杂度，另一方面也保证了所选PMC的代表性；（4）对四类物理设备，均采用“多阶逐次逼近”技术来构建“性能计数器–设备功耗”之间的关系模型，这种方法即保证了最终功耗模型的精确度，又避免了“穷举搜索”方法所导致的巨大开销。

具体实施方式

以下通过具体实例对本发明的实施方式和关键步骤进行详细说明。

本实施例的基本实验环境和配置如下：目标服务器采用Intel Xeon E5606四核处理器，工作频率为4 x 2.13 GHz，16G DDR3内存，IBM SATA 2.0T硬盘，虚拟化平台为Xen 4.1.2，PMC 采样和统计工具为Oprofile，物理设备功耗测量仪器为WattsUp Pro，操作系统为Linux 2.6.2内核，标准测试程序为SPEC CPU2008。

步骤一：筛选性能计数器集合

本步骤的基本流程如图2所示，以下为图2所示流程的关键步骤说明和详细实施方式：首先，获得目标计算机系统所提供的全部“性能计数器集合”及其详细说明，具体文档可以通过处理器厂商的Datasheet数据库获取，在本实施例中表示为集合C={c₁,c₂,…,c_m}；然后，在目标服务器所提供的虚拟化平台Xen上创建若干虚拟机，用于运行标准测试程序SPEC CPU2008中的具体实例。本例选择了SPEC CPU2008中的五个测试程序，分别为：bzip2、mcf、tpc-w、cachebench、iozone。所创建的虚拟机，在目标服务器上运行虚拟机直至结束。在虚拟机执行过程，利用Oprofile工具对各个虚拟机的所有PMC进行实时分类与统计，其结果以<VM_ID，PMC_ID，PMC_Value，Time>的形式存入临时数据库。同时，利用物理功耗测量设备监控处理器、磁盘、内存、I/O设备的实时功耗信息，并存入零时数据库。依据所得到的功耗统计数据信息，利用上文公式（1）计算“性能计数器-设备功耗”之间的相关系数R_i,j。对四类物理设备（处理器，磁盘，内存，I/O设备），筛选出R_i,j值大于0.5的PMC集合，分别表示为W_cpu，W_disk，W_ram，W_io。本实施例所获得的以上集合分别为

其中，uOps是记录处理器微指令数的PMC，Halt是记录处理器停机次数的PMC，LLC是记录最高层Cache未命中数的PMC，Int是处理器的中断次数的PMC，DMA是直接内存访问操作次数的PMC。

步骤二：建立“性能计数器-设备功耗”关系模型

本步骤的基本流程如图3所示，以下为图3所示流程的关键步骤说明和详细实施方式：首先，对物理设备集合（包括CPM, Ram, Disk, IO设备）所对应的性能计数器集合W_j进行排序，排序标准为R_i,j降序，排序结果表示为<c₁, c₂, …, c_n>；然后，构建该类物理设备的一阶功耗模型，其基本形式如公式（2）所示所示；接着，利用步骤一所获的性能计数器统计数据和一阶功耗模型计算出物理设备的功耗值P，并与步骤一中统计的实际功耗值P^*进行对比。若误差小于设定阀值e，则认定该模型的进度达到要求；否则，继续构建二阶功耗模型，其基本形式如下所示公式（3）；接着，利用步骤一所获的性能计数器统计数据和二阶功耗模型计算出物理设备的功耗值P，并与步骤一中统计的实际功耗值P^*进行对比。若误差小于设定阀值e，则认定该模型的进度达到要求；否则，将误差阀值e增加0.01，并重复以上步骤；最后，对四类物理设备，依次执行上述流程，直到获得其各自的“性能计数器-设备功耗”关系模型。本实施例所获的结果如下所示：

步骤三：构建虚拟机总体功耗模型

本步骤直接利用步骤二所建立的“性能计数器-设备功耗”关系模型，通过求和的方式构建虚拟总体功耗模型，其形式如下所示：

利用以上虚拟机功耗模型，对其它虚拟机的功耗进行测量时，只需要实时统计步骤一所获得的各类性能计数器统计信息，并利用步骤二的“性能计数器-设备功耗”关系模型来分别计算各类物理设备所对应的功耗值即可。

步骤四：实施例的测试结果与分析

基于步骤三获得的功耗模型，本实施例对运行标准测试程序的5个虚拟机的功耗情况进行了测试，并将其结果与三种已有的虚拟机功耗测量技术进行了横向对比，这三种测量技术分别为：基于利用率的线性功耗测量技术（Utilization-based Linear Power Model，下文简称ULPM）、基于模式匹配的功耗测量技术（Pattern Match based Power Measuring Technology，下文简称PMPMT）、基于闭环反馈技术的功耗测量技术（Backloop based Power Measuring Technology，下文简称BPMT）。图4为四种测量技术的误差对比结果，其中PMCPM（PMC based Power Model）为本发明所设计的功耗测量技术的简称。

通过图4的误差对比分析可以看出，ULPM的误差在5个测试程序中的表现都是最大的，主要原因在于：该功耗测量模型假设设备利用率与功耗之间存在线性映射关系，而实际上很多设备的实际功耗情况并不符合这一假设，从而导致其误差很大。在本实施例中，PMPMT技术所对应的误差仅小于ULPM，原因在于：基于模式匹配的测量技术依赖于一个完备的“模式-功耗”数据库，而建立这个完备数据库需要较长的测试时间和测试用例。这也是PMPMT技术难以广泛应用于各类实际系统的主要原因。BPMT技术的误差表现与本发明所提出的PMCPM技术较为接近，尤其是针对bzip2和mcf这两个标准测试程序时，两者的误差基本都是所有四种技术中最低的。但是，在测试其它三个程序（tpc-w、cachebench、iozone），BPMT的误差要明显高于本发明提出的PMCPM技术。尤其是在执行iozone时，BPMT的误差达到了7.74%，而PMCPM仅为4.55%。通过分析测试过程的中间数据，我们发现iozone和tpc-w属于I/O操作非常密集的应用程序，而bzip2和mcf则属于cpu访问非常密集的应用程序。显然，BPMT测量技术只适用于计算密集型虚拟机的能耗策略，而无法应用到I/O操作密集的虚拟机。与此相对，本发明的PMCPM测量技术在建立功耗模型时则充分考虑了I/O操作所导致的能耗，因此能够适用于各种类型的虚拟机。

Claims

1.一种云计算系统中基于性能计数器的虚拟机功耗测量方法，其特征在于包括以下步骤：步骤（1）：计算出所有性能计数器与四类物理设备（处理器、磁盘、内存、I/O设备）功耗之间的相关系数；

步骤（2）：针对每类物理设备，选择并保留与其能耗相关系数大于0.5的性能计数器作为最具功耗代表性的性能计数器集合；

步骤（3）：对步骤（2）中筛选出的性能计数器集合，依据其相关系数降序进行排列，并以一阶模型的方式构建“性能计数器–设备功耗”之间的映射模型；

步骤（4）：若一阶模型的精度无法达到要求，则继续使用二阶模型来构建“性能计数器–设备功耗”之间的映射模型；

步骤（5）：若二阶模型的精度仍然无法达到精度要求，则将误差范围增加0.01，并重复执行上述步骤（2）~ 步骤（4），直至获得满足要求的“性能计数器–设备功耗”映射模型；

步骤（6）：针对四类物理设备（处理器、磁盘、内存、I/O设备），重复步骤（2）~ 步骤（5），得到其各自对应的“性能计数器–设备功耗”映射模型；

步骤（7）：利用以上步骤所获得的四类物理设备的“性能计数器–设备功耗”映射模型，通过线性叠加方式获得虚拟机的总体功耗测量模型，并用该功耗模型对虚拟机的能耗进行测量。