CN102270104A

CN102270104A - 虚拟化环境中动态磁盘带宽分配方法

Info

Publication number: CN102270104A
Application number: CN2011101990772A
Authority: CN
Inventors: 谢夏; 金海�; 王希斌; 曹文治; 柯西江; 岑文峰; 曹杰; 赵璐
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2011-07-14
Filing date: 2011-07-14
Publication date: 2011-12-07
Anticipated expiration: 2031-07-14
Also published as: CN102270104B

Abstract

本发明公开了一种虚拟化环境中动态磁盘带宽分配方法。目前XEN中的磁盘资源管理方法是一种完全公平的带宽分配方法，考虑各个虚拟机的应用程序类型以及实际的带宽需求，并不能充分利用有限的磁盘带宽资源；同时，在特权虚拟机中，各个虚拟机对应于一个后端IO进程，这样造成虚拟机的带宽后受到特权虚拟机中其他进程的影响。本发明能够充分利用磁盘的物理带宽，能够按照各个虚拟机的实际带宽需求为其分配相应的带宽。同时在虚拟机的带宽需求发生变化时，通过动态的令牌分配方法也可以动态地调整其所分配的带宽，从而实现了真正的磁盘带宽的动态按需分配，更好地为虚拟机提供磁盘带宽服务保证。

Description

虚拟化环境中动态磁盘带宽分配方法

技术领域

本发明属于XEN虚拟化平台以及磁盘IO子系统领域，涉及一种对现有XEN磁盘IO子系统的改进方法，具体为一种虚拟化环境中动态的磁盘带宽分配方法，它综合考虑IO服务请求的优先级别和虚拟机的实际带宽需求来动态分配带宽，为虚拟机提供磁盘带宽资源的服务质量保证，并提高磁盘带宽的资源利用率。

背景技术

随着计算机硬件技术的飞速发展，单个PC机或者服务器的服务处理能力也在成倍增长，通过虚拟化技术，可以在一台物理机上运行Linux，Windows等不同的操作系统，虚拟化技术能够实现对服务器的整合，将各种应用服务聚合在一起，从而提高各种软硬件资源的利用率，并能节约大量的IT成本，提高企业数据的安全性和管理效率。随着虚拟化技术的快速发展，虚拟化技术作为一种资源的管理方案，已被广泛地应用到数据中心，分布式计算等环境中。

随着硬件技术的不断进步以及虚拟化技术的不断发展，用户会在一台物理机上部署更多的虚拟机，在其上运行更多的应用程序。同时，这些应用程序的类型也多种多样，例如计算密集型，IO密集型，时延敏感型等。不同类型的应用程序，它们对系统的资源需求也不相同：计算密集型的程序需要更多的CPU资源，IO密集型需要更多的IO资源，时延敏感型需要优先获得请求资源。因此，每个虚拟机的IO带宽需求各不相同。并且，虚拟机中运行的不同服务程序，不同的服务程序其优先级别也不同，对应的IO服务权重也不同。另外，各个虚拟机中的应用程序类型是在不断发生变化的。而目前的XEN虚拟平台中，对于IO资源(包括磁盘带宽资源)是一种完全公平的带宽分配策略，即将总带宽平均分配给虚拟机。因此，我们无法根据应用程序的IO服务权重和实际带宽需求为虚拟机动态地分配带宽。这里的优先级别和IO服务权重由管理员人为设定，设定的原则为虚拟机中应用程序的优先级别越高，该虚拟机对应的IO服务权重也越大。

如图1所示，在XEN虚拟化平台下，客户虚拟机利用XEN提供的事件通道，授权表，IO设备环等机制，通过前端的虚拟块设备驱动(以下简称VBD)与位于特权虚拟机的后端VBD通信，而在特权虚拟机里，后端驱动将客户虚拟机的IO请求转发给本地驱动，本地驱动通过Linux中的IO调度程序，将IO请求递交给实际的磁盘驱动从而实现磁盘的IO请求服务。在该体系结构下，所有客户虚拟机的IO请求都是通过特权虚拟机中产生的一个后端驱动产生守护进程来转发的，这些进程与特权虚拟机中的普通IO进程并无区别，因此客户虚拟机获得IO带宽会受到特权虚拟机中其他进程的影响。另外，在特权虚拟机中磁盘的调度算法为“CFQ(完全公平队列)”算法，所有IO进程公平分配磁盘带宽，因此各个虚拟机获得的磁盘带宽基本相同。

发明内容

本发明的目的在于提供一种虚拟化环境中动态磁盘带宽分配方法，该方法为不同优先级别的虚拟机提供多等级的磁盘服务质量(QoS)保证，通过指定各个虚拟机具体的服务优先级别或权重，减少各个虚拟机磁盘IO服务的相互影响，提高虚拟机的隔离性。

本发明提供的一种虚拟化环境中动态磁盘带宽分配方法包括下述步骤：

(1)初始化时，在后端驱动处为每个虚拟机的IO设备环分配一个令牌桶，并根据各个虚拟机的服务优先级别和权重分配相应的令牌数，同时为所有的虚拟机配备一个公用令牌桶，其初始令牌数为零，设t为最近一次分配令牌的时间，记录初始化分配时间t的值；

(2)各个虚拟机的前端驱动接收来自客户虚拟机上层应用程序的磁盘IO读写请求；

(3)前端驱动将IO请求放置在各个虚拟机的IO设备环中，并通知后端驱动；

(4)当各个客户虚拟机通过后端代理进程(在特权虚拟机即后端中，每个客户虚拟机都对应一个进程作为代理来请求磁盘IO服务)从其IO设备环上读取IO请求并向后端驱动递交IO请求时，判断该虚拟机对应的令牌桶是否为空，若为空，则转至步骤(5)；否则根据IO请求的大小计算该IO请求所消耗的令牌数，然后从该虚拟机的令牌桶中减去相应的令牌数，并将IO请求递交给后端驱动处理，转至步骤(7)；

(5)判断公用令牌桶是否为空，若为空，则转至步骤(6)，否则，根据IO请求的大小计算其消耗的令牌数，从公用令牌桶减去相应的令牌数，并将IO请求递交给后端驱动处理，转至步骤(7)；

(6)阻塞其IO请求，转至步骤(9)；

(7)后端驱动将IO请求递交给本地驱动，本地磁盘驱动访问真实的磁盘设备，IO请求得到服务；

(8)后端驱动通知前端驱动IO请求服务完成，前端驱动向客户虚拟机报告IO操作完成；

(9)取当前时间t’，若t’-t＞Δt时间，则将各个令牌桶中剩余的令牌添加到共用令牌桶中，同时重新分配令牌，根据各个令牌桶中剩余的令牌数，相应地减少其本次所分配的令牌数，更新t＝t’，转至步骤(10)；其中，Δt为两次相邻的令牌分配之间的时间间隔；

(10)判断是否退出系统，若是，则转至步骤(11)，否则转至步骤(4)，继续服务虚拟机的IO请求；

(11)流程结束。

本发明针对目前XEN虚拟化平台完全公平的磁盘带宽分配机制的缺陷，提出利用动态磁盘的带宽分配方法，来尽可能地满足各个虚拟机对磁盘带宽的需求，同时为不同优先级别的虚拟机提供多等级的磁盘带宽服务质量(QoS)保证。不同于XEN中的完全公平的磁盘带宽分配方法，本发明将分配给虚拟机的磁盘带宽与运行在其上的服务程序的优先级别相对应，在磁盘带宽不足的情况下，按比例的将磁盘带宽分配给虚拟机。同时当各个虚拟机的应用程序类型发生变化时，根据各个虚拟机的实际带宽需求，动态地调整带宽分配的比例。总之，综合各个虚拟机的服务优先级别以及实际的带宽需求，实现磁盘带宽在各个虚拟机之间的动态按需分配，为虚拟机的磁盘读写提供服务质量(QoS)保证，同时提高整个虚拟环境的磁盘带宽利用率。

本发明主要针对XEN现有的磁盘带宽分配方法的缺陷，通过改进已有的令牌桶算法(令牌桶算法是网络流量整形和速率限制中最常使用的一种算法)来为客户虚拟机中的应用程序提供磁盘带宽分配技术，本发明根据客户虚拟机的服务优先级别和实际的带宽需求，为其分配一个令牌桶和对应数量的令牌，通过动态调整各个虚拟机所分配的令牌数，完成磁盘带宽在各个虚拟机之间的动态调整，且这种动态调整根据虚拟机不断变化的实际需求自发完成的。另外本发明增加了一个公用令牌桶，所有虚拟机可以共享这部分带宽，从而更加灵活地调整带宽在各个虚拟机之间的分配。

附图说明

图1为XEN平台下IO体系结构；

图2为引入本发明后XEN的前后端驱动模型；

图3为本发明的体系结构；

图4为本发明方法的流程图；

图5为动态分配令牌策略的流程图。

具体实施方式

本发明的主要原理是：在现有的XEN前后端驱动模型(如图2所示)的基础上，在特权虚拟机即后端，为每个客户虚拟机分配一个令牌桶，每隔一段时间，根据所有客户虚拟机的服务的优先级别以及带宽需求进行综合考虑，为每个客户虚拟机的令牌桶重新分配令牌。当客户虚拟机请求IO服务时，判断其令牌桶中是否剩余令牌，若有，则从令牌桶中扣除与IO请求大小相应的令牌数，接受其IO请求；否则阻塞其IO请求。另外为了实现带宽的动态分配，特增加一个公用令牌桶。若有客户虚拟机出现带宽剩余的情况，就将其剩余的令牌存放在公用令牌桶。同时公用令牌桶中的令牌可以供所有客户虚拟机使用，这样可以按照各个客户虚拟机的实际带宽需求，动态地调整各个客户虚拟机所分得的磁盘带宽，实现磁盘带宽在各个客户虚拟机之间的共享。该发明的关键技术主要有两点：一是管理客户虚拟机的IO设备环，以及对IO请求的调度策略；二是根据客户虚拟机不断变化的带宽需求来分配和动态调整每个虚拟机的令牌数的策略。

下面结合附图和具体实施方式对本发明做进一步说明。

如图2所示，本发明的磁盘带宽分配方法，通过IO控制作用于前端驱动模块和后端驱动模块之间，它负责管理所有客户虚拟机的IO设备环，并确定所有IO请求的服务先后顺序，向后端驱动递交IO请求。

客户虚拟机的IO请求服务的先后顺序以及其调度策略：

(1)在系统磁盘带宽充足的条件下，对于所有客户虚拟机的IO请求服务按照客户虚拟机IO到来的先后顺序进行服务。

(2)当磁盘带宽不足时，优先服务优先级别最高的客户虚拟机，也即是令牌桶中剩余令牌数最多的客户虚拟机，即遍历所有客户虚拟机对应的令牌桶，取其中令牌数最大的客户虚拟机。

(3)对于令牌桶为空的客户虚拟机，只有在非空令牌桶所对应的客户虚拟机没有IO请求条件下，才可以从公用令牌桶中获取令牌服务其IO请求。

(4)若公用令牌桶也为空，则阻塞令牌桶为空的虚拟机的IO请求。通过上述的IO调度策略，在优先满足优先界别较高虚拟机的IO服务请求基础上，当出现优先级别较高的虚拟机磁盘带宽剩余的情况时，通过公用令牌桶的方式使其他虚拟机更大获得更多的磁盘带宽。

图4中给出了本发明方法的具体流程图，详细说明如下：

(1)初始化时，在后端驱动处为每个虚拟机的IO设备环分配一个令牌桶，并根据各个虚拟机的服务优先级别和权重分配相应的令牌数，同时为所有的虚拟机配备一个公用令牌桶，其初始令牌数为零，设t为最近一次分配令牌的时间，记录初始化分配时间t的值；(这里的令牌桶和令牌的概念与网络流量整形和速率限制中使用的令牌桶算法中的令牌桶和令牌的概念类似，主要区别为本方法作用于磁盘IO请求，而后者作用于网络IO数据包。)

假设系统的总带宽为50MB/s，IO请求(每个IO请求的数据包括许多个扇区sector)中一个扇区大小为512Byte的数据消耗一个令牌，那么设定总令牌数为3,000,000，每隔30s重新为虚拟机分配一次令牌。运行三个虚拟机，且管理员为三个虚拟机设定的服务优先级别或权重为5∶3∶2，那么在初始化阶段三个虚拟机分配的令牌数依次为1500000，900000，200000。

(3)前端驱动将IO请求放置在各个虚拟机的IO设备环中，如图2所示，并通知后端驱动；

(4)当各个客户虚拟机通过后端代理进程(在特权虚拟机中，每个客户虚拟机都有一个后端代理进程为其转发IO请求)从其IO设备环上读取IO请求向后端驱动递交IO请求时，判断该虚拟机对应的令牌桶是否为空，若为空，则转至步骤(5)；否则根据IO请求的大小(其对应的磁盘扇区数)计算该IO请求所消耗的令牌数(每个扇区对应一个令牌)，然后从该虚拟机的令牌桶中减去相应的令牌数，并将IO请求递交给后端驱动处理，转至步骤(7)；

(6)阻塞其IO请求，转至步骤(9)；

(8)后端设备驱动通知前端数据已经准备就绪，前端向客户虚拟机报告IO操作完成；

(9)取当前时间t’，若t’-t＞Δt时间，则将各个令牌桶中剩余的令牌添加到共用令牌桶中，同时重新分配令牌，根据各个令牌桶中剩余的令牌数，相应地减少其本次所分配的令牌数，更新t＝t’，转至步骤(10)；

该步骤根据各个虚拟机之前的令牌使用数目，来反应虚拟机实际对磁盘带宽的需求程度，并重新分配令牌，实现磁盘带宽在各个虚拟机之间的按需分配。

Δt的选取和重分配令牌策略将会在下文详细阐述。

(10)判断是否退出系统，若是，则转至步骤(11)否则转至步骤(4)，继续服务虚拟机的IO请求；

(11)流程结束。

Δt为重新分配令牌的时间间隔(即两次相邻的令牌分配之间的时间间隔)Δt时间的选取与初始分配的总令牌数以及系统的总带宽有关，一般情况下选取的范围为30s-60s。当系统磁盘总带宽和Δt时间的选取确定后，总令牌数的计算方法如下：假定系统磁盘总带宽为60MB/s，Δt＝30s，那么总令牌数为60*10⁶*30/512＝3.5*10⁶。

Δt时间后会为各个虚拟机重新分配令牌，如图5所示，为每个虚拟机重新分令牌时，按照下述过程进行：

(1)判断该虚拟机在Δt时间内上次分配的令牌是否使用完，若未使用完，则将剩余的令牌数m填充到公用令牌桶中；此情况说明该虚拟机的实际带宽需求小于所分配的带宽，应该在下个时间间隔内减少其令牌分配数目，减少的数目为m，同时公用令牌桶中增加的令牌数为m。否则，转至过程(2)。

(2)判断该虚拟机使用完令牌的时间T(上次分配令牌的时间减去令牌使用完的时间)与Δt的比值即T/Δt是否小于r(r表示该虚拟机使用完令牌的时间与Δt的接近程度，r越接近于1说明虚拟机使用令牌的速度与它的令牌分配速度越接近，也即分配的令牌刚好能够满足虚拟机的需求，这里r取值范围为0.8至1，优选范围为0.9至1，小于r说明该虚拟机使用令牌速度过快，不能满足该虚拟机的磁盘带宽需求)。若大于等于，则维持上次所分配的令牌数；此情况说明该虚拟机的实际带宽需求基本等于所分配的带宽，可以满足带宽需求。否则，转至过程(3)。

(3)判断公用令牌桶令牌数是否大于0，若大于，则从公用令牌桶中取出c/n个令牌分配给该虚拟机，即公用令牌桶令牌数减少c/n，该虚拟机的令牌数增加c/n。这里的c为当前公用令牌桶中的令牌数，n系统中运行的虚拟机个数。否则，转至过程(4)。

(4)维持该虚拟机上次所分配的令牌数不变。

下面结合一个具体实例来进行说明：

如图3所示：在XEN虚拟化平台中运行3个客户虚拟机：虚拟机1、虚拟机2和虚拟机3，这3个虚拟机均需要对磁盘进行读写操作。在XEN虚拟化平台中，所有客户虚拟机的磁盘读写操作都必须经过特权虚拟机，特权虚拟机拥护实际的磁盘操作功能。各个客户虚拟机之间无法感知彼此的存在，因此各自的IO读写操作时相互独立的。在后端为各个虚拟机分配一个令牌桶，并根据各个虚拟机中应用程序的服务优先级别以及实际的带宽需求相应的令牌数，同时为所有的虚拟机配备一个公用令牌桶，其初始令牌数为零。这里假设系统的总带宽为50MB/s，IO请求(每个IO请求的数据包括许多个扇区sector)中一个扇区大小为512Byte的数据消耗一个令牌，那么设定总令牌数为3,000,000，每隔30s重新为虚拟机分配一次令牌。管理员为三个虚拟机设定的服务优先级别或权重为5∶2∶3，那么在初始化阶段三个虚拟机分配的令牌数依次为1500000，600000，900000。

当磁盘的实际物理带宽能够满足所有客户虚拟机的带宽需求时，对于所有虚拟机的IO请求服务按其到达的优先顺序进行服务。IO控制模块并不对虚拟机的IO请求进行控制。

当客户虚拟机的磁盘带宽需求增大时，磁盘物理带宽显然无法满足所有虚拟机的带宽需求，此时IO控制模块将发挥作用。IO控制模块在对虚拟机IO请求进行调度时，首先选取令牌数最大的虚拟机的IO请求，即虚拟机1的IO请求，并将其递交给后端驱动。同时，从虚拟机1令牌桶中扣除该IO请求对应的令牌数。对于虚拟机2来说，只有在虚拟机1和虚拟机3无IO请求且公用令牌桶令牌数不为零的情况下，才能从公用令牌桶中获取令牌，得到磁盘读写服务。若公用令牌桶为空，则IO控制模块阻塞其IO请求。

Δt时间后(这里假定为30s)，将各个令牌桶中剩余的令牌添加到共用令牌桶中，同时重新分配令牌，根据各个令牌桶中剩余的令牌数，相应地减少其本次所分配的令牌数。本例中虚拟机1剩余的令牌数最多，而虚拟机2带宽显然无法满足其需求，因此在分配令牌时就应该减少虚拟机1的令牌数，而增加虚拟机2的令牌数。通过这种动态调整和引入公用令牌桶的方法就可以实现带宽在各个虚拟机之间的动态共享，提高磁盘带宽利用率。

总之，本发明方法能够根据虚拟机应用程序的优先级别和实际带宽需求来动态分配带宽，为虚拟机提供磁盘带宽资源的服务质量保证，并提高磁盘带宽的资源利用率。既能够为虚拟机提供固定比例的带宽分配机制，同时在虚拟机中的应用程序和实际带宽需求发生变化时，又能够动态调整它们之间的分配比例，真正地完成磁盘带宽在各个虚拟机之间的动态分配。

Claims

1.一种虚拟化环境中动态磁盘带宽分配方法，包括下述步骤：

(4)当各个客户虚拟机通过后端代理进程从其IO设备环上读取IO请求并向后端驱动递交IO请求时，判断该虚拟机对应的令牌桶是否为空，若为空，则转至步骤(5)；否则根据IO请求的大小计算该IO请求所消耗的令牌数，然后从该虚拟机的令牌桶中减去相应的令牌数，并将IO请求递交给后端驱动处理，转至步骤(7)；

(6)阻塞其IO请求，转至步骤(9)；

(9)取当前时间t’，若t’-t＞Δt时间，则将各个令牌桶中剩余的令牌添加到共用令牌桶中，同时重新分配令牌，根据各个令牌桶中剩余的令牌数，相应地减少其本次所分配的令牌数，更新t＝t’，转至步骤(10)；其中，Δt为两次相邻的令牌分配之间的时间间隔，一般情况下选取的范围为30s-60s；

(11)流程结束。

2.根据权利要求1所述的一种虚拟化环境中动态磁盘带宽分配方法，其特征在于，步骤(9)中，按照下述过程重新分配令牌：

(1)判断该虚拟机在Δt时间内上次分配的令牌是否使用完，若未使用完，则将剩余的令牌数m填充到公用令牌桶中，否则，转至步骤(2)；

(2)判断该虚拟机使用完令牌的时间T与Δt的比值即T/Δt是否小于0.9，若大于，则维持上次所分配的令牌数；否则，转至步骤(3)；

(3)判断公用令牌桶令牌数是否大于0，若大于，则从公用令牌桶取出c/n个令牌分配给该虚拟机，c为当前公用令牌桶中的令牌数，n系统中运行的虚拟机个数，否则，转至步骤(4)；

维持该虚拟机上次所分配的令牌数不变。