CN101719081A

CN101719081A - 一种虚拟机调度方法

Info

Publication number: CN101719081A
Application number: CN200910238364A
Authority: CN
Inventors: 肖臻; 宋维佳; 陈琪; 罗海鹏; 陈曙威
Original assignee: Peking University
Current assignee: Peking University
Priority date: 2009-12-01
Filing date: 2009-12-01
Publication date: 2010-06-02
Anticipated expiration: 2029-12-01
Also published as: CN101719081B

Abstract

本发明公开了一种虚拟机调度方法，属于计算机网络领域。本方法为：1)在每台物理服务器上运行一物理机监控器，用于定期搜集各虚拟机的负载并将其发送到虚拟机调度器，以及接收并执行虚拟机调度器发来的指令；2)虚拟机调度器定期判断出负载数据发生变化的虚拟机及其所在的物理服务器；3)虚拟机调度器采用装箱算法对负载数据发生变化的虚拟机进行调整，得到虚拟机与物理服务器的目标对应关系；4)虚拟机调度器比较虚拟机与物理服务器的当前对应关系和目标对应关系，生成一虚拟机调度计划；5)物理机监控器根据虚拟机调度计划对虚拟机进行调度。与现有技术相比，本发明具有负载均衡的效果，同时休眠处于空闲的物理服务器，进一步降低能耗。

Description

一种虚拟机调度方法

技术领域

本发明涉及一种虚拟机调度方法，可优化虚拟化计算环境的性能、降低系统能耗，属于分布式系统和计算机网络领域。

背景技术

云计算模型把计算看成是等同于水电的资源。计算用户只需要购买在线的计算服务而不必建设机房购买服务器，因此节省了投资、降低了成本。其发展前景得到了工业界的广泛认同。从云计算服务提供商的角度看，这涉及到建立和维护大型数据中心，其中有很多问题需要解决。一个问题是负载波动和节能之间的矛盾：一方面，用户对计算资源的需求动态变化，数据中心需要足够的服务器以容纳峰值负载；另一方面，大型数据中心的服务器数量庞大，电能成本惊人，如何降低其能耗非常重要。

除物理改造现有数据中心和在新建时采取节能方法外，由虚拟化催生的服务器整合技术提供了另一种降低数据中心能耗的方法。多个服务(一般是高峰期互相错开的)被包装在各自的虚拟机中，共享一台物理服务器---只要物理服务器能满足这些服务的总需求即可。虽然这种方法提高了资源利用率，但是，准确把握服务的负载规律，确定服务总需求的峰值是非常困难的，或者是不可能的。对于这个问题，有研究成功利用虚拟机的热迁移技术在物理服务器过载时，把其上的某些服务转移到负载较轻的物理服务器上以缓解上述问题。这种方法能适应负载升高时的变化，然而在负载降低的时候不能保证服务器整合的效果。综上所述，现有的方法无法兼顾负载均衡和服务器整合带来的节能效果。

发明内容

本发明的目的是，针对目前虚拟化数据中心对节能和负载均衡不能兼顾的问题，提供一种虚拟机调度方法，该方法基于装箱算法，在系统负载较高的情况下均衡负载保证服务质量；在负载较低的情况下进行服务器整合，保持较低的能耗；通过集中的决策点进行计算，使虚拟机按照负载的变化在物理机上实现优化组合，从而达到负载均衡和节能的双重目标。

为了实现这个目标，本发明的技术构思为：系统中的物理服务器可以认为是同构的。同构是指服务器体系结构相同，性能也相同：CPU的型号，数量相同；内存的容量相同；网络接口性能相同。虽然一个大型数据中心里的物理服务器可能不完全同构，但是可以将这些服务器按照同构关系划分成不同的管理域。

逻辑上，系统方案的构成包括：

1)虚拟机：分布在各物理服务器上，向用户提供计算服务，每台物理服务器上可运行多个虚拟机。

2)虚拟机管理器：每台物理服务器上运行着一个虚拟机管理器，为虚拟机提供运行平台。

3)物理机监控器：每台物理服务器上运行着一个物理机监控器，其功能有二：(1)监视功能，用于定期搜集该物理服务器上各虚拟机的负载，即搜集每台虚拟机对各种资源的占用情况，例如占用物理服务器CPU资源的百分比、内存资源的百分比等；并将搜集的信息发送给虚拟机调度器。(2)控制功能，用于根据虚拟机调度器发来的调度指令迁移虚拟机或休眠物理服务器。

4)虚拟机调度器：虚拟机调度器运行在系统中一台专门的监控主机上(不必与其他物理服务器同构)，收集从各监视器发送来的虚拟机负载情况；它的任务是维护系统全局的运行情况，根据需要做出调度。

本发明的技术方案为：

一种虚拟机调度方法，其步骤为：

1)物理机监控器定期搜集物理服务器上各虚拟机的负载并将其发送到虚拟机调度器；

2)虚拟机调度器定期将各虚拟机当前负载数据与系统状态中所保存的负载数据进行对比，判断出负载发生变化的虚拟机及其所在的物理服务器；

3)虚拟机调度器采用装箱算法对负载发生变化的虚拟机进行调整，得到虚拟机与物理服务器的目标对应关系；

4)虚拟机调度器比较虚拟机与物理服务器的当前对应关系和目标对应关系，生成一虚拟机调度计划；如果调度计划中需要调用处于休眠状态的某物理服务器，则虚拟机调度器向物理机监控器发出一唤醒该物理服务器的唤醒指令；

5)物理机监控器根据虚拟机调度计划对虚拟机进行调度。

进一步的，所述方法中，完成所述对虚拟机进行调度后，虚拟机调度器向所述物理机监控器发出对当前空载物理服务器的休眠指令。

进一步的，所述方法中，对于负载升高的虚拟机，所述虚拟机调度器将其所在物理服务器中最小的虚拟机依次取出，对于负载降低的虚拟机，所述虚拟机调度器将其从所在物理服务器中取出；然后所述虚拟机调度器采用装箱算法对取出的虚拟机进行调整，得到虚拟机与物理服务器的目标对应关系。

进一步的，所述物理服务器为同构物理服务器。

进一步的，如果所述物理服务器为异构物理服务器，则根据同构关系将物理服务器划分为多个管理域，每一管理域中所包括的物理服务器为同构物理服务器。

进一步的，所述装箱算法为在线装箱算法。

进一步的，所述虚拟机调度器内包括一状态维护模块，所述状态维护模块根据各物理机监控器搜集的虚拟机负载数据获得系统全局的负载信息，更新系统状态。

进一步的，所述虚拟机调度器定期运行频率小于所述物理机监控器定期运行频率。

进一步的，所述虚拟机调度器根据各虚拟机当前的负载数据估计虚拟机未来的负载，所述虚拟机调度器将虚拟机未来的负载与所保存的负载数据进行对比，判断出负载数据发生变化的虚拟机及其所在的物理服务器。

进一步的，所述估计虚拟机未来的负载方法为：虚拟机调度器取所述物理机监控器最近几次发来的某虚拟机负载数据中的最大值作为该虚拟机的未来负载。

本方案的工作机制如下：

虚拟机调度器定期运行，搜集来自物理机监控器定期报告的各虚拟机的负载数据。根据这些数据，它首先估计虚拟机未来的负载(例如，取最近几次测量值的最大值)；然后利用装箱算法得出虚拟机的调整列表，并转化为迁移指令下发给各个物理机监控器。物理机监控器根据迁移指令执行虚拟机迁移，如果迁移目标是一部休眠状态的物理服务器，先将此物理服务器唤醒。完成调度后，最后虚拟机调度器休眠空闲的物理服务器。下面分阶段说明调度器每个周期的工作过程。

第一阶段：计算调度计划

在本阶段，在虚拟机的预测负载和系统当前布局(即系统当前状态虚拟机与物理服务器的对应关系)的基础上，虚拟机调度器利用装箱算法计算出调度计划。具体而言，装箱算法的输入包括系统中所有虚拟机的负载、系统当前虚拟机与物理服务器的对应关系；输出是由一组虚拟机迁移列表组成的调度计划。

本方案用如下的方法把问题转化为装箱问题：把物理服务器看作大小为1的箱子；把虚拟机看作物品，大小等于虚拟机各资源类型的负载与物理服务器容量比值的最大值(例如，一个虚拟机的各类负载与物理服务器容量的比值分别是CPU＝30％，内存＝25％，网络IO＝5％，磁盘IO＝3％，那么这个虚拟机物品的大小就是0.3)；在计算物品大小时，物理服务器的容量可比真实容量稍小，如内存取实际内存数的90％或更少，目的是预留一小部分空间以吸收负载的瞬时波动；虚拟机在物理服务器上运行，则看成是物品在箱子中。如此，问题转化为装箱问题：如何把这些物品装入到箱子中，使得所用箱子数最少。一方面装箱的解法保证了虚拟机的负载能得到满足，另一方面，装箱算法努力让所使用的箱子(物理服务器)尽可能少；等同于让尽可能多的服务器空载休眠。装箱算法有很多种，它们在最优近似度和计算复杂度方面都各不相同。这里可以根据系统动态性的需要选择适合的装箱算法来处理。

装箱算法的输出是物品(虚拟机)与箱子(物理服务器)的对应关系。将该对应关系和系统当前对应关系比较，可知虚拟机的位置变化情况，这些变化情况可表示为一个集合，每个元素形如：某虚拟机从物理服务器A迁移到物理服务器B)。这个集合就是调度计划。

第二阶段：实施调度计划

根据调度计划，若有必要，调度器先唤醒即将承担负载的物理服务器。然后向物理机监控器发出迁移虚拟机的指令，并等待调度完成。

第三阶段：休眠空载物理服务器

调度完成之后，若干物理服务器将处于空载的状态；调度器向其上的监控器发出休眠命令。

与现有技术相比，本发明的效果包括两方面：

一是装箱算法会消除物理服务器过载的情况，解决系统中的热点问题，具有负载均衡的效果。

二是随负载的变化分配数据中心的物理服务器，处于空闲的物理服务器被休眠，而休眠能耗只有运行能耗的几十分之一，因此在非高峰时期能节省大量不必要的能源开销；

附图说明

图1表示数据中心的系统结构示意图；

图2表示实施案例的系统逻辑结构图；

图3表示物理机监控器软件的数据流图；

图4表示虚拟机调度器软件的数据流图；

图5表示虚拟机调度器软件中，虚拟机调度模块的算法流程图。

具体实施方式

现以一虚拟化数据中心为例，详细说明该方案的实施方式。

数据中心的系统结构示意如图1所示。物理服务器同时接入调度专用局域网和数据中心局域网，前者承载迁移流量和调度指令，后者承载业务流量；监控主机接入调度专用局域网；物理服务器通过存储区域网络或IP网络(图中未示出)连接到集中存储设备，为虚拟机提供存储。

虚拟机调度方案的逻辑结构如图2所示。虚拟机管理器软件将物理服务器虚拟成多个虚拟机，构成了虚拟化数据中心的应用运行平台；而物理机监控器软件调用虚拟机管理器软件完成对物理服务器的状态监视和控制；虚拟机调度器一方面从物理机监控器搜集全系统的负载信息，另一方面向它发送迁移指令和休眠/唤醒指令。物理机监控器包括状态报告模块和命令处理模块两部分(如图3所示)，其中状态报告模块定期(如1分钟)从虚拟机管理器获取本机上所有虚拟机的负载信息，然后通过网络汇报给虚拟机调度器；命令处理模块等待来自虚拟机调度器的调度指令，得到指令后调用虚拟机管理器实施。虚拟机调度器则由状态维护模块、系统状态、虚拟机调度模块三部分组成(如图4所示)；其中状态维护模块根据各物理机监控器获得系统全局的负载信息更新系统状态，并淘汰掉过旧的历史信息，使系统状态不致过度膨胀又包含足够信息；虚拟机调度模块定期从系统状态计算调度计划(或调整列表)，运行频率低于物理机监控器报告负载的频率。虚拟机调度模块的算法流程图如图5所示。其具体过程在发明内容一章中已描述。这里介绍调度中可用的装箱算法。

与传统的装箱问题不同，本方案中的物品大小(虚拟机负载)是变化的；而且在初始状态，物品已经在箱子中；把物品全部拿出来重新装入箱子(物理服务器)会引起大量迁移是难以接受的。本算法的思路是：以当前装箱状态为基础，用数量有限的调整(迁移)达到优化效果。

本算法在一种在线装箱算法(参考：G.Gambosi，A.Postiglione，and M.Talamo，“Algorithms for the relaxed online bin-packing model，”SIAM J.Comput.Issue 5，vol.30，2000.)的基础上进行了改进。原算法的思路是将物品按大小分成T、S、L、B四个类型(为了简单起见，后续表述用字母代表该类型的物品)，其大小范围分别处于(0，1/3]、(1/3，1/2]、(1/2，2/3]、(2/3，1]之中。为使最优近似度1.5得以保证，S和S放一起，B单独放，L和T放一起，T和T或L放一起；并且在处理新物品时确保最多存在一个只装了S的箱子；最多存在一个剩余空间大于1/3的、只装着T物品的箱子。但是，原算法不涉及物品大小变化。为了解决物品变化时的处理，我们依次考察大小发生变化的所有物品，及时调整所在箱子的物品，以保证原算法的限制条件得以满足，保证理论的最优近似度。举例说明：某物品从L变成了B，那么我们判断该物品所在箱子是否有T物品，如果有，把这些T物品取出作为新物品放入；再如，某物品从B变成了S，我们把，S从这个箱子中取出作为新物品放入。

为了处理方便，我们引入物品组G的概念：同箱子的若干T物品可组成一个G，箱子中的两个G大小之和必大于1/3。

按照内部物品类型，箱子可分为7种类型：

B-只装了一个B物品的箱子

L-只装了一个L物品的箱子

LT-装了一个L物品和若干个T物品的箱子

S-只装了一个S物品的箱子

SS-装了两个S物品的箱子

LS-装了一个L物品和一个S物品的箱子

T-装了若干个T物品的箱子，这类箱子可分为两种：一是剩余空间少于1/3的，记为FT；另一种是剩余空间不少于1/3的记为UT。

为了描述方便，用ULLT表示剩余空间小于1/3的LT箱或L箱。另外，再定义一组操作：

new(x)：取一个空箱，放入物品(组)x

move(x，b)：将物品(组)x放入b箱

hot(b)：检查b箱中物品大小是否超过1

fillwith(x)，x是一个T物品或物品组G：若存在ULLT箱，则把物品(组)x放入之；否则若存在UT箱则把物品(组)放入之；否则new(x)

fill(b)，b是一个L箱或LT箱：循环执行以下步骤，直到b的剩余空间小于1/3或系统中不再有T箱为止：若存在UT箱，从UT中取一个G放入b；否则从T箱取一个G放入b

insert_S-item(x)，x是一个S物品：若存在S箱，则move(x，b)，否则new(x)

release(b)，b是一个箱子：循环执行直到b为空，取b中物品组G，执行fillwith(G)

adjust(b)，b是一个L箱或LT箱：第一步，循环执行以下步骤直到hot(b)为假：取b中任意G，fillwith(G)；第二步，若b的空间大于1/3，fill(b)

基于以上定义，下面给出了一部分关于改进后的装箱算法描述：

依次考察在发生变化的所有物品item，记物品所在的箱子为ob，根据物品大小发生变化的不同情况(用X→Y表示物品从类型X变成类型Y)分别处理：

B→L：fill(ob)

B→S：if

b∈S-bin then move(item，b)；

B→T：if

b∈ULLT-bin then move(item，b)

else if

b∈UT-bin then move(item，b)

L→B：release(ob)；

L→L：adjust(ob)；

L→S：release(ob)；

ifb∈S-bin then move(item，b)；

L→T：if

T-bin

then while

b∈UT-bin do

move(g，b)，g∈ob

else while

b∈ULLT-bin do

move(g，b)，g∈ob

S→B：if

x∈(S-item，ob)then insert S-item(x)；

这里x∈(S-item，ob)指x是ob中的一个S物品，后面看到的(L-item，ob)表达类似的含义。

S→L：if

x∈(S-item，ob)then insert S-item(x)；

fill(ob)；

S→T：if

x∈(S-item，ob)andb∈S-bin thenmove(x，b)；

if

b∈ULLT-bin then move(item，b)

else if

b∈UT-bin then move(item，b)

else if

x∈(S-item，ob)then new(item)

T→B：if

x∈(L-item，ob)then fill(new(x))；

release(ob)；

T→L：ifx∈(L-item，ob)and x 6＝item then

fill(new(x))；

adjust(ob)；

T→S：if

x∈(L-item，ob)

then insert S-item(item)；fill(bin(x))；

else if

b∈S-bin

then while

b′∈UT-bin and

g∈ob do

move(g，b′)；

move(item，b)；

else release(ob)；

T→T：ifL-item in ob

then adjust(ob)；

else if hot(ob)then fillwith(item)；

else while gap(ob)，1＝3 and

b∈UT-bin do

move(g，b)，g∈b。

Claims

1.一种虚拟机调度方法，其步骤为：

5)物理机监控器根据虚拟机调度计划对虚拟机进行调度。

2.如权利要求1所述的方法，其特征在于完成所述对虚拟机进行调度后，虚拟机调度器向所述物理机监控器发出对当前空载物理服务器的休眠指令。

3.如权利要求1或2所述的方法，其特征在于对于负载升高的虚拟机，所述虚拟机调度器将其所在物理服务器中最小的虚拟机依次取出，对于负载降低的虚拟机，所述虚拟机调度器将其从所在物理服务器中取出；然后所述虚拟机调度器采用装箱算法对取出的虚拟机进行调整，得到虚拟机与物理服务器的目标对应关系。

4.如权利要求3所述的方法，其特征在于所述物理服务器为同构物理服务器。

5.如权利要求3所述的方法，其特征在于如果所述物理服务器为异构物理服务器，则根据同构关系将物理服务器划分为多个管理域，每一管理域中所包括的物理服务器为同构物理服务器。

6.如权利要求3所述的方法，其特征在于所述装箱算法为在线装箱算法。

7.如权利要求1所述的方法，其特征在于所述虚拟机调度器内包括一状态维护模块，所述状态维护模块根据各物理机监控器搜集的虚拟机负载数据获得系统全局的负载信息，更新系统状态。

8.如权利要求1或7所述的方法，其特征在于所述虚拟机调度器定期运行频率小于所述物理机监控器定期运行频率。

9.如权利要求8所述的方法，其特征在于所述虚拟机调度器根据各虚拟机当前的负载数据估计虚拟机未来的负载，所述虚拟机调度器将虚拟机未来的负载与所保存的负载数据进行对比，判断出负载数据发生变化的虚拟机及其所在的物理服务器。

10.如权利要求9所述的方法，其特征在于所述估计虚拟机未来的负载方法为：虚拟机调度器取所述物理机监控器最近几次发来的某虚拟机负载数据中的最大值作为该虚拟机的未来负载。