CN101504620A - 一种虚拟化集群系统负载平衡方法、装置及系统 - Google Patents

Abstract

本发明实施例公开了一种虚拟化集群系统负载平衡方法、装置及系统。其中，所述方法包括：获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。通过本发明实施例，可以实现虚拟化集群系统的负载平衡，并降低实现负载平衡时所需的开销。

Description

一种虚拟化集群系统负载平衡方法、装置及系统

技术领域

本发明涉及电子通信技术领域，具体涉及一种虚拟化集群系统负载平衡方法、装置及系统。

背景技术

系统级虚拟化是在计算机硬件和操作系统之间增加虚拟机监控器(VMM，Virtual Machine Monitor)，以解除计算机硬件和计算机操作系统之间的直接依赖关系，这里的虚拟机监控器为一计算机硬件平台虚拟化的软件，通过虚拟机监控器，可以在同一计算机上运行多个虚拟机实例，每个虚拟机上具有相应的机器名、独立的虚拟网络地址，且每个虚拟机上的用户管理相互独立，使用分配的部分设备资源。将具有独立运算存储能力的硬件设备(如包括CPU、内存、硬盘等硬件资源的计算机)看作一个物理节点，由多个物理节点组成的集群称为虚拟化集群系统，为有效管理虚拟化集群系统中的多个物理节点以及每个物理节点上的多个虚拟机，需要相应的集群负载平衡技术。虚拟化集群系统的负载平衡技术包括：同一物理节点上虚拟机间的负载平衡、虚拟化集群系统中多个物理节点间的负载平衡等。

现有技术一般采用基于效率损失的平衡算法，针对一台虚拟机，效率损失定义为其可以完成最大效率与其当前实际完成效率的差值，其中，最大效率是该虚拟机在所有物理节点上执行可能获得的最大效率；当前效率是指其所在当前物理节点上的效率。负载平衡的目标是使得虚拟机间效率损失的差异最小。

发明人在实现本发明过程中发现，基于效率损失的平衡算法至少存在以下缺点：

在计算效率损失时需要全部虚拟机参与，进行全局计算，因此确定迁移虚拟机及其迁移到的目的物理节点的开销较大。

发明内容

本发明实施例在于提供一种虚拟化集群系统负载平衡方法、装置及系统，以降低在实现虚拟化集群系统负载平衡时所需的开销。

本发明实施例是通过以下技术方案实现的：

本发明实施例提供了一种虚拟化集群系统负载平衡方法，包括如下步骤：

获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

本发明实施例还提供了一种虚拟化集群系统负载平衡装置，包括：

负载信息获取单元，用于获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

局部负载平衡单元，用于根据所述负载信息在第一时刻得到的第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

全局负载平衡单元，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

以及，本发明实施例还提供了一种虚拟化集群系统负载平衡系统，包括：

物理节点，管理节点，所述管理节点为具有管理功能的物理节点；

所述物理节点包括虚拟机监控器，用于在所述物理节点上运行虚拟机；

所述虚拟机监控器还用于：获取虚拟化集群系统中所述物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

所述物理节点还包括局部调度器，用于根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

所述管理节点包括全局调度器，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

在本发明实施例中，采用包括局部调度和全局调度的二级调度策略，可以避免出现负载在物理节点范围内的分配不均和在整个虚拟化集群系统中物理节点间的分配不均现象，并可以降低实现虚拟化集群系统负载平衡时所需的开销，从而更好地实现虚拟化集群系统平衡的高效性和高吞吐率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例虚拟化集群系统结构示意图；

图2为本发明方法实施例虚拟化集群系统负载平衡方法流程图；

图3为本发明方法实施例虚拟化集群系统局部调度示意图；

图4为本发明方法实施例虚拟化集群系统全局调度示意图；

图5为本发明装置实施例虚拟化集群系统负载平衡装置结构示意图；

图6为本发明系统实施例虚拟化集群系统负载平衡系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在虚拟化集群系统中，包含有多个物理节点，其中包括具有管理功能的管理节点和不具有管理功能的物理节点(为描述方便，下文中出现的物理节点如无特别说明都表示不具有管理功能的物理节点)。每个物理节点都包括虚拟机监控器，通过虚拟机监控器可以运行多个虚拟机；每个物理节点还包括局部调度器，局部调度器用来实现局部调度策略，即对物理节点内CPU和内存进行动态分配。管理节点包括全局调度器，用于实现全局调度策略，即在物理节点间实现虚拟机动态迁移。

局部调度器根据虚拟机监控器提供的各虚拟机使用CPU和内存情况，定期地调整该物理节点中虚拟机间的CPU和内存的分配，以实现该物理节点局部负载平衡，即确保不出现某些虚拟机CPU使用率和内存使用过高、而某些虚拟机CPU使用率和内存使用过低的不均衡情况。

全局调度器根据局部调度器提供的对应物理节点上虚拟机CPU和内存的使用状况，计算每个虚拟机的开销，及迁移后的开销，判定是否需要进行虚拟机的迁移，并发起相应的虚拟机在物理节点上的迁移，以达到在所有物理节点上的全局平衡负载目的。

本发明实施例通过局部调度策略和全局调度策略之间相互协同配合，可以管理虚拟化集群系统中CPU和内存资源在不同虚拟机间的分配，实现虚拟化集群系统的负载平衡。

以下通过附图对本发明方法实施例作具体描述：

参见图1，为本发明实施例一种虚拟化集群系统结构框图。如图1所示，虚拟化集群系统包括多个节点，包括具有管理功能的管理节点和其它没有管理功能的物理节点，如物理节点1、物理节点n等等，上述管理功能包括创建或终止其它虚拟机；或者对其它虚拟机的CPU、内存的分配进行管理等。

所述没有管理功能的物理节点(为描述方法，如果下文中没特别指出，物理节点都指没有管理功能的物理节点)包括虚拟机监控器，虚拟机监控器上可以运行多个虚拟机，如图1所示，物理节点1包括虚拟机11、虚拟机12、虚拟机1n等等。在多个虚拟机，具有管理功能的虚拟机包括局部调度器，如图1中的虚拟机11、虚拟机n1等，局部调度器用于调整该物理节点中虚拟机间的CPU和内存的分配。

所述具有管理功能的物理节点包括全局调度器，用于负责调整虚拟化集群系统中，虚拟机在多个物理节点的迁移。

在另一实施例中，管理节点也可以包括虚拟机监控器和/或局部调度器，通过虚拟机监控器运行多个虚拟机，其局部和全局调度策略与不具有管理功能的物理节点类似，在此不再赘述。

局部调度器用于实现局部调度策略，全局调度器用于实现全局调度策略，通过局部调度器和全局调度器的协同配合，可以实现虚拟化集群系统的负载平衡。

参见图2，本发明实施例包括以下步骤：

S1.获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU和内存使用信息；

S2.根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

S3.根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

下面分别对以上几个步骤进行详细说明：

S1.获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU和内存使用信息

在S1步骤中，获取物理节点中虚拟机的负载信息的步骤由物理节点中的局部调度器来完成。局部调度器在虚拟化集群系统运行时不间断地收集物理节点中虚拟机的负载信息，包括各虚拟机的CPU和内存使用信息，包括但不仅限于：CPU空闲时间、CPU等待时间、CPU负载等，以及内存缺页率，物理内存使用大小或使用率、虚拟内存使用大小或使用率等。

S2.根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小

步骤S2也可称为局部调度过程，由局部调度器来完成，局部调度器在一定时刻都会将上述负载信息转化为第一负载信息(也可称为局部负载信息)，第一负载信息主要包括CPU使用率和内存使用大小。在本发明实施例中，每隔时间间隔T1都会将负载信息转化为第一负载信息，并调整物理节点中虚拟机的CPU使用率和内存使用大小。这里的T1取值并不唯一，针对不同的虚拟化集群系统，可以根据实际情况对T1进行调整，但时间间隔不能过大，一般是分钟级。如在本发明实施例中将T1取值为2分钟，3分钟，或者5分钟等等。在另一实施例当中，用户也可以每隔不同的时间间隔来对物理节点中的虚拟机进行调整，但每个不同的时间间隔也不宜取过大，一般也取分钟级，如先隔2分钟进行一次调整，再隔3分钟进行一次调整，继而再隔1分钟进行一次调整。也可以根据虚拟化集群系统的特点来进行调整，如虚拟化集群系统应用于Web服务器时，如果某一时段业务比较繁忙，信息量较大，此时需要作大量的负载平衡，则可将这个时间段的间隔设得小一些，如1分钟等；相反，如果某一时段没有业务，无需作过多的负载平衡，则可将这个时间段的间隔值设得大一些，如10分钟，或15分钟等。

上述将负载信息转化为第一负载信息为本领域技术人员所公知的技术(如在某些具体的虚拟化集群系统中，相关硬件资源会自动完成这种转化，局部调度器直接读取转化结果就可获得第一负载信息)，在此不再赘述。

为了便于描述，第一负载信息中的CPU使用率用标志位cpu_usage来表示，第一负载信息中的内存使用大小用mem_usage来表示。

局部调度器得到上述第一负载信息中的CPU使用率(cpu_usage)和内存使用大小(mem_usage)后通过下面步骤来调整物理节点中虚拟机的CPU使用率和内存使用大小，参见图3，以调整CPU使用率为例，包括如下步骤：

S21.将第一负载信息与阈值作对比，确定需要调整的虚拟机；

将第一负载信息中的CPU使用率(cpu_usage)和内存使用大小(mem_usage)与预设的阈值作对比，所述预设的阈值包括CPU使用率最大值cpu_Max、CPU使用率最小值cpu_Min；内存最大值mem_Max和内存最小值mem_Min。当一台虚拟机CPU使用率高于阈值cpu_Max时，则该虚拟机CPU负载过重，需要减少其CPU资源；当某虚拟机CPU使用率低于阈值cpu_Min时，则该虚拟机CPU负载过轻，需要增加其CPU资源。同理，当某台虚拟机的内存使用大小大于阈值mem_Max时，则该虚拟机内存负载过大，需要减少其内存使用资源；当某台虚拟机的内存使用大小小于阈值mem_Min时，则该虚拟机内存负载过小，需要增加其内存使用资源。

上述预设阈值限定了CPU使用率和内存使用的最大和最小值，超过最大值或低于最小值时，可认为该虚拟机处于不均衡状态。这些预设阈值可通过实验或经验得到，如先设定一个阈值，然后通过运行系统得到相应的运行结果，根据这个结果再调整相应的阈值，直到找出一个合理的阈值。预设阈值并不唯一固定，用户可以根据实际系统的应用情况对阈值不断调整，如硬件配置较好的物理节点可以将其cpu_Max调得稍大点，配置较低的物理节点可以将其cpu_Max调得稍小点。

当一台虚拟机的CPU使用率大于阈值cpu_Max时，计算该虚拟机的标志位max_flag_cpu，若该台虚拟机的CPU使用率低于阈值cpu_Min时，计算该虚拟机的标志位min_flag_cpu；若该台虚拟机的内存使用高于mem_Max时，计算该虚拟机的标志位max_flag_mem，若该台虚拟机的内存使用低于mem_Min时，计算该虚拟机的标志位min_flag_mem。

计算虚拟机的标志位max_flag_cpu、min_flag_cpu、max_flag_mem、min_flag_mem方法如下：

针对虚拟机VM_i(设i为该虚拟机的编号)：

如果其CPU使用率大于CPU最大值cpu_Max，则：

max_flag_cpu[i]＝cpu_usage[i]-cpu_Max；

如果其CPU使用率小于CPU最小值cpu_Min，则：

min_flag_cpu[i]＝cpu_Min-cpu_usage[i]；

如果其内存使用值大于内存最大值mem_Max，则：

max_flag_mem[i]＝mem_usage[i]-mem_Max；

如果其内存使用值小于内存最小值mem_Min，则：

min_flag_mem[i]＝mem_Min-mem_usage[i]；

S22.重分配物理节点中CPU使用权值；

通过对上述相关信息进行计算得到相关标志位后，可以对该物理节点上的虚拟机进行决策调度，将该物理节点上所有虚拟机的CPU进行如下重分配：

若该物理节点上所有虚拟机max_flag_cpu之和大于所有虚拟机min_flag_cpu之和，则首先将CPU使用率低于预设阈值cpu_Min的虚拟机的CPU使用率权值cpu_weight设置为cpu_Min，CPU使用率高于预设阈值cpu_Max的虚拟机的CPU使用率权值cpu_weight设置为cpu_Max；再将max_flag_cpu之和与min_flag_cpu之和的差值按比例分配给，其它虚拟机包括CPU使用率小于等于cpu_Max的虚拟机，比例由cpu_Max与其它各虚拟机CPU使用率差值(cpu_Max减去其它各虚拟机CPU使用率)的反比确定，其它虚拟机最终的CPU使用率权值为原来的权值加上分配后得到的权值的总和。

例如某一物理节点有四台虚拟机，编号分别是VM1、VM2、VM3、VM4，CPU使用率分别为3％、10％、20％、60％，cpu_Min＝5％，cpu_Max＝50％，则：

VM1的min_flag_cpu＝5％-3％＝2％；

VM4的max_flag_cpu＝60％-50％＝10％；

因为所有虚拟机的max_flag_cpu之和(10％)大于所有虚拟机的min_flag_cpu之和(2％)，所以做如下调整：

将VM1的cpu_weight调整为cpu_Min的值，即VM1的cpu_weight＝5％；

将VM4的cpu_weight调整为cpu_Max的值，即VM4的cpu_weight＝50％；

所有虚拟机的max_flag_cpu之和减去所有虚拟机的min_flag_cpu之和得到的差值diff_cpu为diff_cpu＝10％-2％＝8％；

cpu_Max与其它各虚拟机CPU使用率差值分别如下：

cpu_Max与VM1的CPU使用率差值diff_cpu_VM1为50％-5％＝45％；

cpu_Max与VM2的CPU使用率差值diff_cpu_VM2为50％-10％＝40％；

cpu_Max与VM3的CPU使用率差值diff_cpu_VM3为50％-20％＝30％；

cpu_Max与其它虚拟机(VM1、VM2、VM3)的CPU使用率差的反比为：

1/diff_cpu_VM1∶1/diff_cpu_VM2∶1/diff_cpu_VM3＝1/45∶1/40∶1/30＝8∶9∶12；

diff_cpu(8％)按8∶9∶12比例依次分配给VM1、VM2、VM3，再加上原先的CPU使用率，得：

VM1的cpu_weight＝(8/29)*8％+5％≈7.2％；

VM2的cpu_weight＝(9/29)*8％+10％≈12.5％；

VM3的cpu_weight＝(12/29)*8％+20％≈23.3％；

若所有虚拟机max_flag_cpu之和小于虚拟机min_flag_cpu之和，则首先将CPU使用率过低的虚拟机的CPU使用率权值cpu_weight设置为cpu_Min，CPU使用率过高的虚拟机的CPU使用率权值cpu_weight设置为cpu_Max，再将min_flag_cpu之和与max_flag_cpu之和的差值按比例在其它虚拟机上进行分配，其它虚拟机包括CPU使用率大于等于cpu_Min的虚拟机，比例由其它各虚拟机CPU使用率与cpu_Min差值(其它各虚拟机CPU使用率减去cpu_Min)的反比确定。

若所有虚拟机max_flag_cpu之和等于虚拟机min_flag_cpu之和，则将CPU使用率过低的虚拟机的CPU使用率权值cpu_weight设置为cpu_Min，CPU使用率过高的虚拟机的CPU使用率权值cpu_weight设置为cpu_Max。

物理节点上虚拟机的内存重分配方法与CPU重分配方法类似，具体包括：

若该物理节点上所有虚拟机max_flag_mem之和大于所有虚拟机min_flag_mem之和，则首先将内存使用值低于预设阈值mem_Min的虚拟机的内存使用权值mem_weight设置为mem_Min，内存使用值高于预设阈值mem_Max的虚拟机的内存使用权值mem_weight设置为mem_Max；再将max_flag_mem之和与min_flag_mem之和的差值按比例在其它虚拟机上进行分配，其它虚拟机包括内存使用值小于等于mem_Max的虚拟机，比例由mem_Max与其它各虚拟机内存使用值差值(mem_Max减去其它各虚拟机内存使用值)的反比确定。

若所有虚拟机max_flag_mem之和小于虚拟机min_flag_mem之和，则首先将内存使用值过低的虚拟机的内存使用权值mem_weight设置为mem_Min，内存使用值过高的虚拟机的内存使用权值mem_weight设置为mem_Max，再将max_flag_mem之和与min_flag_mem之和的差值按比例在其它虚拟机上进行分配，其它虚拟机包括内存使用值大于等于mem_Min的虚拟机，比例由其它各虚拟机内存使用值与mem_Min差值(其它各虚拟机内存使用值减去mem_Min)的反比确定。

若所有虚拟机max_flag_mem之和小于虚拟机min_flag_mem之和，则将内存使用值过低的虚拟机的内存使用权值mem_weight设置为mem_Min，内存使用值过高的虚拟机的内存使用权值mem_weight设置为mem_Max。

S23.根据重分配后的虚拟机CPU和内存使用权值调整CPU使用率和内存使用大小；

局部调度器运行在物理节点上具有管理功能的虚拟机中，根据调整决策过程中确定的CPU权值cpu_weight和内存权值mem_weight，调整各虚拟机的CPU使用率和内存使用大小，此步骤为本领域技术人员所公知的技术，在此不在累述。

S3.根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移

步骤S3也称为全局调度过程，由全局调度器来完成，全局调度器在一定时刻都会将上述负载信息转化为第二负载信息(也可称为全局负载信息)，第二负载信息也包括CPU使用率和内存使用大小。在本发明实施例中，每隔时间间隔T2都会将负载信息转化为第二负载信息，并调整虚拟化集群系统中物理节点间虚拟机的迁移。这里的T2取值也不唯一，针对不同的虚拟化集群系统，可以根据实际情况的T2进行调整，但时间间隔要比T1来得大，一般是几十分钟级或小时级，如设置成20分钟，40分钟，或1个小时等。与T1的间隔类似，每个时间间隔也不固定，具体可以参考T1取值规律来对T2进行设置。

上述将负载信息转化为第二负载信息的过程同将负载信息转化为第一负载信息的过程类似，也为本领域技术人员所公知的技术，在此不再赘述。

在本发明另一实施例中，上述第二负载信息也可以根据第一负载信息来得到，比如取多个T1间隔的算术平均值：如虚拟化集群系统每隔时间T1进行一次局部调整，每隔时间间隔T2进行一次全局调整；假设T1取值为5分钟，T2取值为30分钟；则每个T2周期内有6个T1，这时，可以取这6个T1中的第一负载信息中CPU使用率和内存使用大小的算术平均值。在实际使用中也可以根据其它算法(如几何平均值，或者根据6个T1不同权值系数进行调整的算法)来得到T2，在此不再累述。在这种情况下，第二负载信息可由第一负载信息获得，但第一负载信息又是通过负载信息得到，所以，第二负载信息其实也是通过负载信息得到的，因此，可以把通过第一负载信息得到第二负载信息这种获得方式看成通过负载信息得到第二负载信息的一个特殊的实现方式。

在得到第二负载信息后，全局调整器通过以下步骤来调整虚拟化集群系统中物理节点间虚拟机的迁移：

S31.将CPU、内存使用情况转化为开销；

由于CPU和内存采用不同的度量单位，为了将虚拟机使用CPU的情况和使用内存的情况进行统一，将CPU的使用情况和内存使用情况转化为无量纲的开销，在选取虚拟机时行迁移时，将根据系统中所有虚拟机的开销来决定。

开销的定义如下：

设整个虚拟化集群系统中物理节点总数为n(n为大于等于2的整数)，所有物理节点为CPU、内存等配置完全相同的同构计算机。假设有一个物理节点Node[i](i为物理节点的编号，为大于等于1的整数)，该物理节点上有一台虚拟机VM_j(i为虚拟机的编号，为大于等于1的整数)，记该物理点下的该虚拟机的CPU的使用率为CPUper[i][j]，该虚拟机的内存使用的大小记为RAM[i][j]，假设该物理节点总内存为RAM_tot[i]。则该虚拟机VM_j在物理节点Node[i]上的开销cost[i][j]为：

$\cos t\left[i\right]\left[j\right]{=n}^{\mathrm{CPUper}\left[i\right]\left[j\right]}+C*n^{\frac{\mathrm{PAM}\left[i\right]\left[j\right]}{\mathrm{RAM}\_\mathrm{tor}\left[i\right]}}$

其中C为权重系数，为一常数，取值范围为：0<C<1，C是反映CPU和内存在对整个开销影响中所占的比例。通常CPU对系统影响较大，因此C的取值小于1。

在上述开销公式中，虚拟机VM_j在实际中并不一定得在物理节点Node[i]上，即可以是一个“相对”的计算：如虚拟机VM_j在物理节点Node[i]上，但也可以用上述公式计算VM_j在物理节点Node[k]上的开销(VM_j并不在Node[k]节点上)，得到最后的开销为cost[k][j]，开销公式中的CPUper[i][j]、RAM[i][j]为虚拟机VM_j在物理节点Node[k]上CPU使用率和内存使用大小，但公式中的RAM_tot[i]则变成RAM_tot[k]，为物理节点Node[k]上的总内存。

上述定义开销的公式并不是唯一的，用户在实际应用中也可以使用其它计算公式来计算CPU和内存的开销。

S32.根据开销获取需要迁移的虚拟机及其迁移的目的物理节点；

步骤S32由全局调度器来完成，全局调度器对整个虚拟化集群系统中的每个虚拟机作如下计算：

针对物理节点Node[i]上的虚拟机VM_j计算它的开销cost[i][j]；

计算该虚拟机VM_j在其它物理节点Node[k]上的开销cost[k][j](k！＝i，且k为大于等于1的整数)。在进行虚拟机VM_j在其它物理节点Node[k]上的开销时，开销公式中的CPU使用率为VM_j在物理节点Node[i]上的CPU使用率；内存使用大小为VM_j在物理节点Node[i]上的内存使用大小；而总内存为物理节点Node[k]上的总内存。

比较cost[i][j]和cost[k][j]的差值(cost[i][j]减去cost[k][j]的值)，在其它物理节点上可以得到具有最大差值的物理节点，在该物理节点上该虚拟机的开销为最小，相应的开销差值为最大，记为diff_cost[i][j]。

比较虚拟化集群系统中所有虚拟机的diff_cost，记具有diff_cost最大值的虚拟机为VM_n(n为虚拟机的编号，为大于等于1的整数)，其所在的物理节点记为Node[m](m为物理节点的编号，为大于等于1的整数)，其具有最大开销差值的物理节点为Node[m_max]，其开销差值为diff_cost[m][n]。

若diff_cost[m][n]大于设定的迁移阈值m_value，则在本次全局调度过程中将会发生虚拟机的迁移，即将要执行迁移的虚拟机为VM_n，它将从物理节点Node[m]迁移至物理节点Node[m_max]；上述迁移阈值m_value也可通过实验获得，其获得过程可参见获得cpu_Max等阈值的过程。

若diff_cost[m][n]小于等于设定的迁移阈值m_value，则在本次全局调度过程中将不会发生虚拟机的迁移，每个虚拟机仍在当前的物理节点上运行。

S33.根据步骤获取的需要迁移的虚拟机及其迁移的目的物理节点执行迁移操作；

全局调度器根据通过步骤S2得到的需要迁移的虚拟机及其迁移的目的物理节点，发起虚拟机的迁移操作，由源物理节点上的虚拟机监控器和目的物理节点上的虚拟机监控器协同完成虚拟机的迁移操作，此步骤也属于本领域技术人员所公知的技术，在此不再具体赘述。

在本发明具体实施例中，局部调度器和全局调度器分别以时间间隔T1和时间间隔T2执行各自的调度，即局部调度和全局调度。在虚拟化集群中，单个物理节点内局部调度策略(即在单个物理节点上调整其上的虚拟机使用CPU和内存的分配情况)所需的操作较少、时间较短；多个物理节点之间的全局调度策略(即在多个物理节点之间迁移虚拟机)所需的操作较多，时间较长；因此，设置全局调度时间间隔T2的值大于局部调度操作时间间隔T1的值，具体数值可参考上文相关内容。

同时，为了避免全局调度策略和局部调度策略之间相互干扰，在局部调度策略执行物理节点内部的局部调度时，若同时发生集群范围内的全局调度，则全局调度操作将被延迟一个时间段。之后，全局调度器再根据最新的集群范围内各物理节点及虚拟机的状态信息进行全局调度操作。

通过局部调度器和全局调度器以一定的时间间隔执行各自的调度策略，可以在单个物理节点范围内和整个虚拟化集群系统范围内实现负载平衡，避免出现负载在物理节点范围内的分配不均和在整个虚拟化集群系统中物理节点间的分配不均现象，并且降低进行负载平衡时所需的开销，从而更好地实现虚拟化集群系统平衡的高效性和高吞吐率。

本发明方法具体实施例包括如下主要优点：

1.通过层次化结构实现两级调度，局部调度器用于实现局部调度，负责同一物理机上虚拟机间的负载平衡，全局调度器用于实现全局调度。由于局部调度所需的时间较短，因此，可以以一个较高的频率周期性进行调度(如实施例中以T1为周期进行调度)；全局调度所需的时间较长，因此，可以以一个较低的频率周期性进行调度(如实施例中以T2为周期进行调度)。通过两级调度的方法，可以在实现虚拟化集群系统负载平衡时降低所需的开销。

2.本发明实施例中，两级调度算法相互独立，可以根据具体的集群应用类型，对全局和局部的算法进行调整，如根据应用类型的不同，对调度时间，预设阈值，权值分配比例等进行调整，使得应用更加方便灵活。

本发明实施例还提供了一种虚拟化集群系统负载平衡装置，包括：

负载信息获取单元10，用于获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

局部负载平衡单元30，用于根据所述负载信息在第一时刻得到的第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小，以实现所述物理节点中虚拟机的负载平衡；

全局负载平衡单元20，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移，以实现所述物理节点间虚拟机的负载平衡。

所述局部负载平衡单元30根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小的步骤包括：

为所述物理节点中CPU使用率低的虚拟机增加CPU使用率；

为所述物理节点中CPU使用率高的虚拟机减少CPU使用率；

为所述物理节点中内存使用小的虚拟机增加内存使用大小；

为所述物理节点中内存使用大的虚拟机减少内存使用大小。

具体地，所述局部负载平衡单元30包括：

阈值获取单元301，用于获取CPU使用率最高阈值、CPU使用率最低阈值、内存使用最大阈值和内存使用最小阈值；

第一虚拟机获取计算单元302，用于获取所述物理节点中虚拟机CPU使用率大于所述CPU使用率最高阈值的第一虚拟机；计算所有所述第一虚拟机CPU使用率与所述CPU使用率最高阈值的差值的总和为第一差值总和；

第二虚拟机获取计算单元303，用于获取所述物理节点中虚拟机CPU使用率小于所述CPU使用率最低阈值的第二虚拟机；计算所有所述CPU使用率最低阈值与所述第二虚拟机CPU使用率的差值的总和为第二差值总和；

第三虚拟机获取计算单元304，用于获取所述物理节点中虚拟机内存使用大小大于所述内存使用最大阈值的第三虚拟机；计算所有所述第三虚拟机内存使用大小与所述内存使用最大阈值的差值的总和为第三差值总和；

第四虚拟机获取计算单元305，用于获取所述物理节点中虚拟机内存使用大小小于所述内存使用最小阈值的第四虚拟机；计算所有所述内存使用最小阈值与所述第四虚拟机内存使用大小的差值的总和为第四差值总和；

局部CPU分配单元306，用于将所述第一虚拟机的CPU使用率权值设置为所述CPU使用率最高阈值；将所述第二虚拟机的CPU使用率权值设置为所述CPU使用率最低阈值；

计算所述第一差值总和与所述第二差值总和的差值的绝对值，得到CPU绝对差值，则：

若所述第一差值大于等于所述第二差值，则：将所述CPU绝对差值按第一比例在所述第一虚拟机所在的物理节点除所述第一虚拟机之外的第一其它虚拟机上进行分配，得到所述第一其它虚拟机的CPU使用率权值；所述第一比例由所述CPU使用率最高阈值与所述第一其它虚拟机的CPU使用率差值的反比决定；

若所述第二差值大于所述第一差值，则：将所述CPU绝对差值按第二比例在所述第二虚拟机所在的物理节点除所述第二虚拟机之外的第二其它虚拟机上进行分配，得到所述第二其它虚拟机的CPU使用率权值；所述第二比例由所述第二其它虚拟机的CPU使用率与所述CPU使用率最低阈值差值的反比决定；

局部CPU调整单元307，用于根据所述物理节点中虚拟机的CPU使用率权值调整所述物理节点中虚拟机的CPU使用率。

局部内存分配单元308，用于将所述第三虚拟机的内存使用大小权值设置为所述内存使用最大阈值；将所述第四虚拟机的内存使用大小权值设置为所述内存使用最小阈值；

计算所述第三差值总和与所述第四差值总和的差值的绝对值，得到内存绝对差值，则：

若所述第三差值大于等于所述第四差值，则：将所述内存绝对差值按第三比例在所述第三虚拟机所在的物理节点除所述第三虚拟机之外的第三其它虚拟机上进行分配，得到所述第三其它虚拟机的内存使用大小权值；所述第三比例由所述内存使用最大阈值与所述第三其它虚拟机的内存使用大小差值的反比决定；

若所述第四差值大于所述第三差值，则：将所述内存绝对差值按第四比例在所述第四虚拟机所在的物理节点除所述第四虚拟机之外的第四其它虚拟机上进行分配，得到所述第四其它虚拟机的内存使用大小权值；所述第四比例由所述第四其它虚拟机的内存使用大小与所述内存使用最小阈值差值的反比决定；

局部内存调整单元，309用于根据所述物理节点中虚拟机的内存使用大小权值调整所述物理节点中虚拟机的内存使用大小。

具体地，所述全局负载平衡单元20包括：

开销转化单元201，用于将所述第二负载信息统一转化为无量纲的开销，包括：

根据所述虚拟化集群系统中所述物理节点的个数、所述物理节点总内存大小以及权重系数将所述第二负载信息统一转化为开销；所述负载信息中的CPU使用率占开销的权重大于所述第二负载信息中的内存使用大小占开销的权重；

所述开销转化单元201还用于：通过公式

$\cos t\left[i\right]\left[j\right]{=n}^{\mathrm{CPUper}\left[i\right]\left[j\right]}+C*n^{\frac{\mathrm{PAM}\left[i\right]\left[j\right]}{\mathrm{RAM}\_\mathrm{tor}\left[i\right]}}$

将所述第二负载信息统一转化为开销；

其中，cost[i][j]表示物理节点i上虚拟机j的开销；

n表示所述虚拟化集群系统中物理节点总数；

CPUper表示所述物理节点i上虚拟机j的CPU使用率；

RAM[i][j]表示所述物理节点i上虚拟机j的内存使用大小；

RAM_tot[i]表示所述物理节点i的总内存大小；

C为权重系数，为一常数，取值范围为0<C<1。

所述全局负载平衡单元20还用于：

通过比较所有所述物理节点中虚拟机在本身物理节点上的开销和在其它物理节点的开销的差值，获取具有最大差值的第一物理节点和第二物理节点；如果所述最大差值大于迁移阈值，则将所述物理节点中虚拟机从所述第一物理节点迁移到所述第二物理节点；如果所述最大差值小于等于迁移阈值，则所述物理节点中虚拟机不发生迁移。

在本发明虚拟化集群系统负载平衡装置中，所述第一时刻小于所述第二时刻。

通过局部负载平衡单元30和全局负载平衡单元20在一定时刻执行各自的调度策略，可以在单个物理节点中和整个虚拟化集群系统中各个物理节点间实现负载平衡，避免出现负载在物理节点范围内的分配不均和在整个虚拟化集群系统中物理节点间的分配不均现象，并且降低实现负载平衡时所需的开销，从而更好地实现虚拟化集群系统平衡的高效性和高吞吐率。

本发明实施例还提供了一种虚拟化集群系统负载平衡系统，包括：

多个物理节点N1，至少一个管理节点N2，所述管理节点N2为具有管理功能的物理节点N1；

所述物理节点N1包括虚拟机监控器N11，用于在所述物理节点N1上运行虚拟机；

所述虚拟机监控器N11还用于：获取虚拟化集群系统中所述物理节点N1中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

所述物理节点N1还包括局部调度器N12，用于根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点N1中虚拟机的CPU使用率和内存使用大小；

所述管理节点N2包括全局调度器N21，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点N1间虚拟机的迁移；

所述局部调度器N12还用于：获取CPU使用率最高阈值、CPU使用率最低阈值；

获取所述物理节点N1中虚拟机CPU使用率大于所述CPU使用率最高阈值的第一虚拟机；计算所有所述第一虚拟机CPU使用率与所述CPU使用率最高阈值的差值的总和为第一差值总和；

获取所述物理节点N1中虚拟机CPU使用率小于所述CPU使用率最低阈值的第二虚拟机；计算所有所述CPU使用率最低阈值与所述第二虚拟机CPU使用率的差值的总和为第二差值总和；

将所述第一虚拟机的CPU使用率权值设置为所述CPU使用率最高阈值；将所述第二虚拟机的CPU使用率权值设置为所述CPU使用率最低阈值；

计算所述第一差值总和与所述第二差值总和的差值的绝对值，得到CPU绝对差值，则：

若所述第一差值大于等于所述第二差值，则：将所述CPU绝对差值按第一比例在所述第一虚拟机所在的物理节点N1除所述第一虚拟机之外的第一其它虚拟机上进行分配，得到所述第一其它虚拟机的CPU使用率权值；所述第一比例由所述CPU使用率最高阈值与所述第一其它虚拟机的CPU使用率差值的反比决定；

若所述第二差值大于所述第一差值，则：将所述CPU绝对差值按第二比例在所述第二虚拟机所在的物理节点N1除所述第二虚拟机之外的第二其它虚拟机上进行分配，得到所述第二其它虚拟机的CPU使用率权值；所述第二比例由所述第二其它虚拟机的CPU使用率与所述CPU使用率最低阈值差值的反比决定；

根据所述物理节点中虚拟机的CPU使用率权值调整所述物理节点中虚拟机的CPU使用率。

获取内存使用最大阈值和内存使用最小阈值；

获取所述物理节点N1中虚拟机内存使用大小大于所述内存使用最大阈值的第三虚拟机；计算所有所述第三虚拟机内存使用大小与所述内存使用最大阈值的差值的总和为第三差值总和；

获取所述物理节点N1中虚拟机内存使用大小小于所述内存使用最小阈值的第四虚拟机；计算所有所述内存使用最小阈值与所述第四虚拟机内存使用大小的差值的总和为第四差值总和；

将所述第三虚拟机的内存使用大小权值设置为所述内存使用最大阈值；将所述第四虚拟机的内存使用大小权值设置为所述内存使用最小阈值；

计算所述第三差值总和与所述第四差值总和的差值的绝对值，得到内存绝对差值，则：

若所述第三差值大于等于所述第四差值，则：将所述内存绝对差值按第三比例在所述第三虚拟机所在的物理节点N1除所述第三虚拟机之外的第三其它虚拟机上进行分配，得到所述第三其它虚拟机的内存使用大小权值；所述第三比例由所述内存使用最大阈值与所述第三其它虚拟机的内存使用大小差值的反比决定；

若所述第四差值大于所述第三差值，则：将所述内存绝对差值按第四比例在所述第四虚拟机所在的物理节点N1除所述第四虚拟机之外的第四其它虚拟机上进行分配，得到所述第四其它虚拟机的内存使用大小权值；所述第四比例由所述第四其它虚拟机的内存使用大小与所述内存使用最小阈值差值的反比决定；

根据所述物理节点中虚拟机的内存使用大小权值调整所述物理节点中虚拟机的内存使用大小。

所述全局调度器N21还用于：通过公式

$\cos t\left[i\right]\left[j\right]=n^{\mathrm{CPUper}\left[i\right]\left[j\right]}+C*n^{\frac{\mathrm{RAM}\left[i\right]\left[j\right]}{\mathrm{RAM}-\mathrm{tot}\left[i\right]}}$

将所述第二负载信息统一转化为开销；

其中，cost[i][j]表示物理节点i上虚拟机j的开销；

n表示所述虚拟化集群系统中物理节点总数；

CPUper表示所述物理节点i上虚拟机j的CPU使用率；

RAM[i][j]表示所述物理节点i上虚拟机j的内存使用大小；

RAM_tot[i]表示所述物理节点i的总内存大小；

C为权重系数，为一常数，取值范围为0<C<1；

通过比较所有所述物理节点N1中虚拟机在本身物理节点N1上的开销和在其它物理节点N1的开销的差值，获取具有最大差值的第一物理节点和第二物理节点；如果所述最大差值大于迁移阈值，则将所述物理节点N1中虚拟机从所述第一物理节点迁移到所述第二物理节点；如果所述最大差值小于等于迁移阈值，则所述物理节点N1中虚拟机不发生迁移；

在虚拟化集群系统负载平衡系统中，所述第一时刻小于所述第二时刻。

通过局部调度器N12和全局调度器N21以一定的时间间隔执行各自的调度策略，可以在单个物理节点N1范围内和整个虚拟化集群系统范围内实现负载平衡，避免出现负载在物理节点N1范围内的分配不均和在整个虚拟化集群系统中物理节点N1间的分配不均现象，并且降低进行负载平衡时所需的开销，从而更好地实现虚拟化集群系统平衡的高效性和高吞吐率。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上举较佳实施例，对本发明的目的、技术方案和优点进行了进一步详细说明，所应理解的是，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种虚拟化集群系统负载平衡方法，其特征在于，包括如下步骤：

获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU和内存使用信息；

根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

2.如权利要求1所述的虚拟化集群系统负载平衡方法，其特征在于，所述根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小的步骤包括：

为所述物理节点中CPU使用率低的虚拟机增加CPU使用率；

为所述物理节点中CPU使用率高的虚拟机减少CPU使用率；

为所述物理节点中内存使用小的虚拟机增加内存使用大小；

为所述物理节点中内存使用大的虚拟机减少内存使用大小。

3.如权利要求2所述的虚拟化集群系统负载平衡方法，其特征在于，所述为所述物理节点中CPU使用率低的虚拟机增加CPU使用率；为所述物理节点中CPU使用率高的虚拟机减少CPU使用率的步骤包括：

获取CPU使用率最高阈值、CPU使用率最低阈值；

获取所述物理节点中虚拟机CPU使用率大于所述CPU使用率最高阈值的第一虚拟机；计算所有所述第一虚拟机CPU使用率与所述CPU使用率最高阈值的差值的总和为第一差值总和；

获取所述物理节点中虚拟机CPU使用率小于所述CPU使用率最低阈值的第二虚拟机；计算所有所述CPU使用率最低阈值与所述第二虚拟机CPU使用率的差值的总和为第二差值总和；

将所述第一虚拟机的CPU使用率权值设置为所述CPU使用率最高阈值；将所述第二虚拟机的CPU使用率权值设置为所述CPU使用率最低阈值；

计算所述第一差值总和与所述第二差值总和的差值的绝对值，得到CPU绝对差值，则：

若所述第一差值大于等于所述第二差值，则将所述CPU绝对差值按第一比例在所述第一虚拟机所在的物理节点除所述第一虚拟机之外的第一其它虚拟机上进行分配，得到所述第一其它虚拟机的CPU使用率权值；所述第一比例由所述CPU使用率最高阈值与所述第一其它虚拟机的CPU使用率差值的反比决定；

若所述第二差值大于所述第一差值，则：将所述CPU绝对差值按第二比例在所述第二虚拟机所在的物理节点除所述第二虚拟机之外的第二其它虚拟机上进行分配，得到所述第二其它虚拟机的CPU使用率权值；所述第二比例由所述第二其它虚拟机的CPU使用率与所述CPU使用率最低阈值差值的反比决定；

根据所述物理节点中虚拟机的CPU使用率权值调整所述物理节点中虚拟机的CPU使用率。

4.如权利要求2所述的虚拟化集群系统负载平衡方法，其特征在于，为所述物理节点中内存使用小的虚拟机增加内存使用大小；为所述物理节点中内存使用大的虚拟机减少内存使用大小的步骤包括：

获取内存使用最大阈值和内存使用最小阈值；

获取所述物理节点中虚拟机内存使用大小大于所述内存使用最大阈值的第三虚拟机；计算所有所述第三虚拟机内存使用大小与所述内存使用最大阈值的差值的总和为第三差值总和；

获取所述物理节点中虚拟机内存使用大小小于所述内存使用最小阈值的第四虚拟机；计算所有所述内存使用最小阈值与所述第四虚拟机内存使用大小的差值的总和为第四差值总和；

将所述第三虚拟机的内存使用大小权值设置为所述内存使用最大阈值；将所述第四虚拟机的内存使用大小权值设置为所述内存使用最小阈值；

计算所述第三差值总和与所述第四差值总和的差值的绝对值，得到内存绝对差值，则：

若所述第三差值大于等于所述第四差值，则将所述内存绝对差值按第三比例在所述第三虚拟机所在的物理节点除所述第三虚拟机之外的第三其它虚拟机上进行分配，得到所述第三其它虚拟机的内存使用大小权值；所述第三比例由所述内存使用最大阈值与所述第三其它虚拟机的内存使用大小差值的反比决定；

若所述第四差值大于所述第三差值，则将所述内存绝对差值按第四比例在所述第四虚拟机所在的物理节点除所述第四虚拟机之外的第四其它虚拟机上进行分配，得到所述第四其它虚拟机的内存使用大小权值；所述第四比例由所述第四其它虚拟机的内存使用大小与所述内存使用最小阈值差值的反比决定；

根据所述物理节点中虚拟机的内存使用大小权值调整所述物理节点中虚拟机的内存使用大小。

5.如权利要求1所述的虚拟化集群系统负载平衡方法，其特征在于，所述根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移的步骤包括：

将所述第二负载信息统一转化为无量纲的开销，通过比较所述物理节点间虚拟机开销，调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

6.如权利要求5所述的虚拟化集群系统负载平衡方法，其特征在于，所述将所述第二负载信息统一转化为无量纲的开销的步骤包括：

根据所述虚拟化集群系统中所述物理节点的个数、所述物理节点总内存大小以及权重系数将所述第二负载信息统一转化为开销；所述负载信息中的CPU使用率占开销的权重大于所述第二负载信息中的内存使用大小占开销的权重；

包括通过公式：

$\cos t\left[i\right]\left[j\right]=n^{\mathrm{CPUper}\left[i\right]\left[j\right]}+C*n^{\frac{\mathrm{RAM}\left[i\right]\left[j\right]}{\mathrm{RAM}\_\mathrm{tot}\left[i\right]}}$

将所述第二负载信息统一转化为开销；

其中，cost[i][j]表示物理节点i上虚拟机j的开销；

n表示所述虚拟化集群系统中物理节点总数；

CPUper表示所述物理节点i上虚拟机j的CPU使用率；

RAM[i][j]表示所述物理节点i上虚拟机j的内存使用大小；

RAM_tot[i]表示所述物理节点i的总内存大小；

C为权重系数，为一常数，取值范围为0<C<1。

7.如权利要求5所述的虚拟化集群系统负载平衡方法，其特征在于，所述通过比较所述物理节点间虚拟机开销，调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移的步骤包括：

通过比较所有所述物理节点中虚拟机在本身物理节点上的开销和在其它物理节点的开销的差值，获取具有最大差值的第一物理节点和第二物理节点；如果所述最大差值大于迁移阈值，则将所述物理节点中虚拟机从所述第一物理节点迁移到所述第二物理节点；如果所述最大差值小于等于迁移阈值，则所述物理节点中虚拟机不发生迁移。

8.如权利要求1-7任一所述的虚拟化集群系统负载平衡方法，其特征在于：

所述第一时刻小于所述第二时刻。

9.一种虚拟化集群系统负载平衡装置，其特征在于，包括：

负载信息获取单元，用于获取虚拟化集群系统中物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

局部负载平衡单元，用于根据所述负载信息在第一时刻得到的第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

全局负载平衡单元，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

10.如权利要求9所述的虚拟化集群系统负载平衡装置，其特征在于，所述局部负载平衡单元包括：

CPU阈值获取单元，用于获取CPU使用率最高阈值、CPU使用率最低阈值；

第一虚拟机获取计算单元，用于获取所述物理节点中虚拟机CPU使用率大于所述CPU使用率最高阈值的第一虚拟机；计算所有所述第一虚拟机CPU使用率与所述CPU使用率最高阈值的差值的总和为第一差值总和；

第二虚拟机获取计算单元，用于获取所述物理节点中虚拟机CPU使用率小于所述CPU使用率最低阈值的第二虚拟机；计算所有所述CPU使用率最低阈值与所述第二虚拟机CPU使用率的差值的总和为第二差值总和；

局部CPU分配单元，用于将所述第一虚拟机的CPU使用率权值设置为所述CPU使用率最高阈值；将所述第二虚拟机的CPU使用率权值设置为所述CPU使用率最低阈值；

计算所述第一差值总和与所述第二差值总和的差值的绝对值，得到CPU绝对差值，则：

若所述第一差值大于等于所述第二差值，则：将所述CPU绝对差值按第一比例在所述第一虚拟机所在的物理节点除所述第一虚拟机之外的第一其它虚拟机上进行分配，得到所述第一其它虚拟机的CPU使用率权值；所述第一比例由所述CPU使用率最高阈值与所述第一其它虚拟机的CPU使用率差值的反比决定；

若所述第二差值大于所述第一差值，则：将所述CPU绝对差值按第二比例在所述第二虚拟机所在的物理节点除所述第二虚拟机之外的第二其它虚拟机上进行分配，得到所述第二其它虚拟机的CPU使用率权值；所述第二比例由所述第二其它虚拟机的CPU使用率与所述CPU使用率最低阈值差值的反比决定；

局部CPU调整单元，用于根据所述物理节点中虚拟机的CPU使用率权值调整所述物理节点中虚拟机的CPU使用率。

11.如权利要求9所述的虚拟化集群系统负载平衡装置，其特征在于，所述局部负载平衡单元还包括：

内存阈值获取单元，用于获取内存使用最大阈值和内存使用最小阈值；

第三虚拟机获取计算单元，用于获取所述物理节点中虚拟机内存使用大小大于所述内存使用最大阈值的第三虚拟机；计算所有所述第三虚拟机内存使用大小与所述内存使用最大阈值的差值的总和为第三差值总和；

第四虚拟机获取计算单元，用于获取所述物理节点中虚拟机内存使用大小小于所述内存使用最小阈值的第四虚拟机；计算所有所述内存使用最小阈值与所述第四虚拟机内存使用大小的差值的总和为第四差值总和；

局部内存分配单元，用于将所述第三虚拟机的内存使用大小权值设置为所述内存使用最大阈值；将所述第四虚拟机的内存使用大小权值设置为所述内存使用最小阈值；

计算所述第三差值总和与所述第四差值总和的差值的绝对值，得到内存绝对差值，则：

若所述第三差值大于等于所述第四差值，则：将所述内存绝对差值按第三比例在所述第三虚拟机所在的物理节点除所述第三虚拟机之外的第三其它虚拟机上进行分配，得到所述第三其它虚拟机的内存使用大小权值；所述第三比例由所述内存使用最大阈值与所述第三其它虚拟机的内存使用大小差值的反比决定；

若所述第四差值大于所述第三差值，则：将所述内存绝对差值按第四比例在所述第四虚拟机所在的物理节点除所述第四虚拟机之外的第四其它虚拟机上进行分配，得到所述第四其它虚拟机的内存使用大小权值；所述第四比例由所述第四其它虚拟机的内存使用大小与所述内存使用最小阈值差值的反比决定；

局部内存调整单元，用于根据所述物理节点中虚拟机的内存使用大小权值调整所述物理节点中虚拟机的内存使用大小。

12.如权利要求9所述的虚拟化集群系统负载平衡装置，其特征在于，所述全局负载平衡单元还包括：

开销转化单元，用于将所述第二负载信息统一转化为无量纲的开销，包括：

根据所述虚拟化集群系统中所述物理节点的个数、所述物理节点总内存大小以及权重系数将所述第二负载信息统一转化为开销；所述负载信息中的CPU使用率占开销的权重大于所述第二负载信息中的内存使用大小占开销的权重；

所述开销转化单元还用于：通过公式：

$\cos t\left[i\right]\left[j\right]=n^{\mathrm{CPUper}\left[i\right]\left[j\right]}+C*n^{\frac{\mathrm{RAM}\left[i\right]\left[j\right]}{\mathrm{RAM}\_\mathrm{tot}\left[i\right]}}$

将所述第二负载信息统一转化为开销；

其中，cost[i][j]表示物理节点i上虚拟机j的开销；

n表示所述虚拟化集群系统中物理节点总数；

CPUper表示所述物理节点i上虚拟机j的CPU使用率；

RAM[i][j]表示所述物理节点i上虚拟机j的内存使用大小；

RAM_tot[i]表示所述物理节点i的总内存大小；

C为权重系数，为一常数，取值范围为0<C<1。

13.如权利要求12所述的虚拟化集群系统负载平衡装置，其特征在于，所述全局负载平衡单元还用于：

通过比较所有所述物理节点中虚拟机在本身物理节点上的开销和在其它物理节点的开销的差值，获取具有最大差值的第一物理节点和第二物理节点；如果所述最大差值大于迁移阈值，则将所述物理节点中虚拟机从所述第一物理节点迁移到所述第二物理节点；如果所述最大差值小于等于迁移阈值，则所述物理节点中虚拟机不发生迁移。

14.如权利要求9-13任一所述的虚拟化集群负载平衡装置，其特征在于：

所述第一时刻小于所述第二时刻。

15.一种虚拟化集群系统负载平衡系统，其特征在于，包括：

物理节点，管理节点，所述管理节点为具有管理功能的物理节点；

所述物理节点包括虚拟机监控器，用于在所述物理节点上运行虚拟机；

所述虚拟机监控器还用于：获取虚拟化集群系统中所述物理节点中虚拟机的负载信息，所述负载信息包括所述虚拟机的CPU使用率和内存使用大小；

所述物理节点还包括局部调度器，用于根据所述负载信息在第一时刻得到第一负载信息，根据所述第一负载信息调整所述物理节点中虚拟机的CPU使用率和内存使用大小；

所述管理节点包括全局调度器，用于根据所述负载信息在第二时刻得到第二负载信息，根据所述第二负载信息调整所述虚拟化集群系统中所述物理节点间虚拟机的迁移。

Images