CN105187512A - 一种虚拟机集群负载均衡方法及系统 - Google Patents

Abstract

本申请提供了一种虚拟机集群负载均衡方法及系统，方法包括：数据采集节点采集虚拟机集群中各虚拟机的参数信息；区域管理节点从数据采集节点获取各虚拟机的参数信息，基于该参数信息制定本区域负载均衡策略以进行区域负载均衡；中央管理节点从区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各区域的负载均衡信息，基于虚拟机的实时参数信息和历史参数信息、区域负载均衡信息制定全局负载均衡策略以进行全局负载均衡。本申请提供不但能实现虚拟化平台集群内部的负载均衡，而且能够实现虚拟化平台各集群间的负载均衡，这使得整个虚拟化平台资源配置更加优化，从而提高了不同集群间以及集群内资源的利用率，减少了资源浪费。

Description

一种虚拟机集群负载均衡方法及系统

技术领域

本发明涉及云计算技术领域，尤其涉及一种虚拟机集群负载均衡方法及装置。

背景技术

传统数据中心的构建，通常采用直接面向硬件资源的方式，基础架构采用固态配置、部署、扩展和管理的灵活性较差。系统资源扩展需要一定的周期，在此过程中，业务系统处于高危运行状态，这将造成服务质量下降，而为了应用峰值而扩展的资源通常处于低负荷状态，因此造成资源的浪费。

虚拟化技术是解决上述问题的重要手段，通过虚拟化技术可实现对硬件资源(例如存储资源池、计算资源池和网络资源池)的按需分配，因此可大大提高资源的利用率。

然而，发明人在实现本发明创造的过程中发现，目前虚拟化所解决的是硬件整体资源利用率的问题，而根据不同业务需求所划分的不同虚拟机集群之间以及集群内资源的利用情况往往被忽视。

发明内容

有鉴于此，本发明实施例提供了一种虚拟集群负载均衡方法及装置，用以提高不同集群之间以及集群内资源的利用率，减少资源浪费，其技术方案如下：

一种虚拟机集群负载均衡方法，应用于具有数据采集节点、区域管理节点和中央管理节点的负载均衡系统，所述方法包括：

所述数据采集节点采集所述虚拟机集群中各个虚拟机的参数信息；

所述区域管理节点从所述数据采集节点获取本区域中各个虚拟机的参数信息，基于所述参数信息制定本区域负载均衡策略，并依据所述本区域负载均衡策略进行区域负载均衡；

所述中央管理节点从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，并依据所述全局负载均衡策略进行全局负载均衡。

其中，所述虚拟机的参数信息包括：所述虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率；

则，获取所述虚拟机的CPU利用率，具体为：

获取所述虚拟机的CPU时间；

通过当前系统时间和所述虚拟机的CPU时间计算出所述虚拟机的CPU利用率；

则，获取所述虚拟机的内存利用率，具体为：

获取所述虚拟机的总内存大小；

获取所述虚拟机当前内存的使用量；

通过所述虚拟机的总内存大小和所述虚拟机当前内存的使用量计算所述虚拟机的内存利用率；

则，获取所述虚拟机的网络I/O速率，具体为：获取所述虚拟机的网络设备名称；

通过所述虚拟机的网络设备名称获取所述网络I/O速率；

则，获取所述虚拟机的磁盘利用率，具体为：

获取所述虚拟机的磁盘的绝对路径；

在获取所述磁盘的绝对路径之后，利用磁盘驱动程序获取所述磁盘的总大小以及所述磁盘的当前使用量；

基于所述磁盘的总大小以及所述磁盘的当前使用量计算出所述虚拟机的磁盘利用率。

其中，所述区域管理节点从所述数据采集节点获取本区域中各个虚拟机的参数信息，包括：

所述区域管理节点向本区域中的所述数据采集节点发送第一数据请求消息，所述第一数据请求消息中包括第一数据指示信息，所述第一数据指示信息用于指示所述数据采集节点向所述区域管理节点发送哪些数据；

所述区域管理节点接收所述本区域中的所述数据采集节点发送的与所述第一数据请求消息对应的数据；

所述中央管理节点从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，具体为：

所述中央管理节点向所述区域管理节点发送第二数据请求消息，所述第二数据请求消息中包括第二数据指示信息，所述第二数据指示信息用于指示所述区域管理节点向所述中央管理节点发送哪些数据；

所述中央管理节点接收所述区域管理节点发送的与所述第二数据请求消息对应的数据。

其中，所述基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，包括：

通过所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息，依据预先设定的均衡原则确定最优服务器；

判断所述最优服务器是否为当前虚拟机所处的服务器；

当所述最优服务器不为所述当前虚拟机所处的服务器时，制定将所述当前虚拟机迁移至所述最优服务器的均衡策略。

其中，所述均衡原则包括：

在现有资源的条件下，使所有虚拟机的计算性能最大化；

在不影响虚拟机性能的前提下，使得使用的服务器数量最少。

一种虚拟机集群负载均衡系统，所述系统包括：数据采集节点、区域管理节点和中央管理节点；

所述数据采集节点，用于采集所述虚拟机集群中各虚拟机的参数信息；

所述区域管理节点，用于从所述数据采集节点获取本区域中各个虚拟机的参数信息，基于所述参数信息制定本区域负载均衡策略，并依据所述本区域负载均衡策略进行区域负载均衡；

所述中央管理节点，用于从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，并依据所述全局负载均衡策略进行全局负载均衡。

其中，所述虚拟机的参数信息包括：所述各虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率；

则，所述数据采集节点，包括：

第一获取模块，用于获取所述虚拟机的CPU时间，通过当前系统时间和

所述虚拟机的CPU时间计算出所述虚拟机的CPU利用率；

第二获取模块，用于获取所述虚拟机的总内存大小，获取所述虚拟机当前内存的使用量，通过所述虚拟机的总内存大小和所述虚拟机当前内存的使用量计算所述虚拟机的内存利用率；

第三获取模块，用于获取所述虚拟机的网络设备名称，通过所述虚拟机的网络设备名称获取所述网络I/O速率；

第四获取模块，用于获取所述虚拟机的磁盘的绝对路径，在获取所述磁盘的绝对路径之后，利用磁盘驱动程序获取所述磁盘的总大小以及所述磁盘的当前使用量，基于所述磁盘的总大小以及所述磁盘的当前使用量计算出所述虚拟机的磁盘利用率。

其中，所述区域管理节点，包括：

第一数据发送模块，用于向本区域中的所述数据采集节点发送第一数据请求消息，所述第一数据请求消息中包括第一数据指示信息，所述第一数据指示信息用于指示所述数据采集节点向所述区域管理节点发送哪些数据；

第一数据收集模块，用于接收所述本区域中的所述数据采集节点发送的与所述第一数据请求消息对应的数据；

所述中央管理节点包括：

第二数据发送模块，用于向所述区域管理节点发送第二数据请求消息，所述第二数据请求消息中包括第二数据指示信息，所述第二数据指示信息用于指示所述区域管理节点向所述中央管理节点发送哪些数据；

第二数据收集模块，用于接收所述区域管理节点发送的与所述第二数据请求消息对应的数据。

其中，所述中央管理节点包括：均衡策略制定模块；

所述均衡策略制定模块，用于通过所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息，依据预先设定的均衡原则确定最优服务器，判断所述最优服务器是否为当前虚拟机所处的服务器，当所述最优服务器不为所述当前虚拟机所处的服务器时，制定将所述当前虚拟机迁移至所述最优服务器的均衡策略。

其中，所述均衡原则包括：

在现有资源的条件下，使所有虚拟机的计算性能最大化；

在不影响虚拟机性能的前提下，使得使用的服务器数量最少。

上述技术方案具有如下有益效果:

本发明实施例提供的虚拟机集群负载均衡方法及系统中，区域管理节点可获取虚拟化平台各虚拟机的参数信息，并可以依据虚拟机的参数信息进行负载均衡，中央管理节点可从区域管理节点获取虚拟化平台各虚拟机实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，并基于进行全局负载均衡。本发明实施例提供的虚拟机集群负载均衡方法及系统不但能够实现虚拟化平台集群内部的负载均衡，而且能够实现虚拟化平台各集群间的负载均衡，这使得整个虚拟化平台资源配置更加优化，从而了提高不同集群之间以及集群内资源的利用率，减少了资源浪费。

附图说明

图1为本发明实施例提供的虚拟机集群负载均衡方法的一种流程示意图；

图2为本发明实施例提供的虚拟机集群负载均衡系统的结构示意图；

图3为本发明实施例提供的虚拟机集群负载均衡系统的一具体实例的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为本发明实施例提供的虚拟机集群负载均衡方法的一种流程示意图，该方法应用于具有数据采集节点、区域管理节点和中央管理节点的负载均衡系统，该方法可以包括：

步骤S101：数据采集节点采集虚拟机集群中各虚拟机的参数信息。

步骤S102：区域管理节点从数据采集节点获取本区域中各个虚拟机的参数信息，基于各个虚拟机的参数信息制定本区域负载均衡策略，并依据本区域负载均衡策略进行区域负载均衡。

步骤S103：中央管理节点从区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于虚拟机的实时参数信息和历史参数信息、区域负载均衡信息制定全局负载均衡策略，并依据全局负载均衡策略进行全局负载均衡。

本发明实施例提供的虚拟机集群负载均衡方法中，区域管理节点可获取虚拟化平台各虚拟机的参数信息，并可以依据虚拟机的参数信息进行负载均衡，中央管理节点可从区域管理节点获取虚拟化平台各虚拟机实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，并基于这些信息进行全局负载均衡。本发明实施例提供的虚拟机集群负载均衡方法不但能够实现虚拟化平台集群内部的负载均衡，而且能够实现虚拟化平台各集群间的负载均衡，这使得整个虚拟化平台资源配置更加优化，从而了提高不同集群之间以及集群内资源的利用率，减少了资源浪费。

在上述实施例中，数据采集节点获取的虚拟机的参数信息可以包括：虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率。

具体的，在一种可能的实现方式中，数据采集节点获取虚拟机的实现方式可以包括：获取所述虚拟机的CPU时间；通过当前系统时间和虚拟机的CPU时间计算出虚拟机的CPU利用率。

具体的，在一种可能的实现方式中，数据采集节点获取虚拟机的内存利用率的实现方式可以包括：获取虚拟机的总内存大小；获取虚拟机当前内存的使用量；通过虚拟机的总内存大小和虚拟机当前内存的使用量计算虚拟机的内存利用率。

具体的，在一种可能的实现方式中，数据采集节点获取虚拟机的网络I/O速率的实现方式可以包括：获取虚拟机的网络设备名称；通过虚拟机的网络设备名称获取网络I/O速率。

具体的，在一种可能的实现方式中，数据采集节点获取虚拟机的磁盘利用率的实现方式可以包括：获取虚拟机的磁盘的绝对路径；在获取磁盘的绝对路径之后，利用磁盘驱动程序获取磁盘的总大小以及磁盘的当前使用量；基于磁盘的总大小以及磁盘的当前使用量计算出虚拟机的磁盘利用率。

在上述实施例中，区域管理节点从数据采集节点获取本区域中各个虚拟机的参数信息的方式有多种。

在一种可能的实现方式中，区域管理节点可向本区域中的数据采集节点发送第一数据请求消息，其中，数据请求消息中包括第一数据指示信息，该第一数据指示信息用于指示数据采集节点需要向区域管理节点发送哪些数据，数据采集节点接收到第一数据请求消息后，将于该数据请求消息对应的虚拟机参数信息发送给区域管理节点，区域管理节点接收该虚拟机参数信息。

需要说明的是，第一数据指示信息可以为指示数据采集节点将最新采集的虚拟机参数信息发送区域管理节点的信息。第一数据请求消息除了可以包括第一数据请求消息外，还可以包括数据采集周期和虚拟机排除列表。数据采集节点在接收到第一数据请求消息后，检测本次将发送给区域管理节点的参数信息与上次发送的参数信息相比是否发生变化，如果发生变化，则向区域管理节点发送各虚拟机的参数信息，并且将数据采集周期和虚拟机排除列表信息写入配置文件，以使数据采集节点依据该配置文件进行数据采集。

在另一种可能的实现方式中，数据采集节点可将实时采集的虚拟机的参数信息发送至区域管理节点，区域管理节点接收数据采集节点发送的虚拟机的参数信息。

区域管理节点接收到本区域中各个虚拟机的参数信息后，依据虚拟机的参数信息(虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率)判断是否需要进行负载均衡，如果需要进行负载均衡，则依据虚拟机的参数信息制定负载均衡策略以进行负载均衡。另外，区域管理节点接收到本区域中各个虚拟机的参数信息后，需要将本区域中各个虚拟机的参数信息存入区域数据库，然后将虚拟机参数信息进行格式化处理。

在上述实施例中，中央管理节点从区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息的实现方式有多种。

在一种可能的实现方式中，中央管理节点向区域管理节点发送第二数据请求消息，其中，第二数据请求消息中包括第二数据指示信息，第二数据指示信息用于指示区域管理节点需向所述中央管理节点发送哪些数据，区域管理节点接收到第二数据请求消息之后，依据第二数据请求消息中的第二数据指示信息向中央管理节点发送数据，中央管理节点接收区域管理节点发送的与第二数据请求消息对应的数据。中央管理节点接收到区管理节点发送的数据之后，对这些数据进行格式化处理，并将数据存入中央数据库。

中央管理节点在获取到数据(虚拟机的实时参数信息和历史参数信息、区域负载均衡信息)之后，依据这些信息制定全局负载均衡策略，具体的：通过虚拟机的实时参数信息和历史参数信息、区域负载均衡信息，依据预先设定的均衡原则确定最优服务器；判断最优服务器是否为当前虚拟机所处的服务器；当最优服务器不为当前虚拟机所处的服务器时，制定将当前虚拟机迁移至最优服务器的均衡策略。

其中，预先设定的均衡原则可以为：虚拟机最大性能优先，即在现有资源的条件下，使所有虚拟机的计算性能最大化；最小能耗优先，在不影响虚拟机性能的前提下，使得使用的服务器数量最少。

本发明实施例还提供了一种负载均衡系统，应用于多个虚拟机集群，请参阅图2，示出了该系统的结构示意图，该系统可以包括：数据采集节点201、区域管理节点202和中央管理节点203。其中：区域管理节点202为数据采集节点201的上级节点，中央管理节点203为区域管理节点202的上级节点。每个虚拟机集群中包括一区域管理节点202，每个区域管理节点202可管理多个数据采集节点201。其中：

数据采集节点201，用于采集虚拟机集群中各虚拟机的参数信息。

区域管理节点202，用于从数据采集节点201获取本区域中各个虚拟机的参数信息，基于参数信息制定本区域负载均衡策略，并依据本区域负载均衡策略进行区域负载均衡。

中央管理节点203，用于从区域管理节点202获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于虚拟机的实时参数信息和历史参数信息、区域负载均衡信息制定全局负载均衡策略，并依据全局负载均衡策略进行全局负载均衡。

需要说明的是，需要说明的是，上述实施例提供的虚拟机集群负载均衡系统可以支持Xen、KVM虚拟化系统。

上述实施例中的数据采集节点201可部署在虚拟化平台物理服务器的管理虚拟机中。

数据采集节点201采集的虚拟机的参数信息可以包括：虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率。

进一步的，数据采集节点201可以包括：第一获取模块、第二获取模块、第三获取模块和第四获取模块。

其中，第一获取模块，用于获取虚拟机的CPU时间，通过当前系统时间和虚拟机的CPU时间计算出虚拟机的CPU利用率。

第二获取模块，用于获取虚拟机的总内存大小，获取虚拟机当前内存的使用量，通过虚拟机的总内存大小和所述虚拟机当前内存的使用量计算所述虚拟机的内存利用率。

第三获取模块，用于获取虚拟机的网络设备名称，通过虚拟机的网络设备名称获取所述网络I/O速率。

第四获取模块，用于获取虚拟机的磁盘的绝对路径，在获取磁盘的绝对路径之后，利用磁盘驱动程序获取所述磁盘的总大小以及磁盘的当前使用量，基于磁盘的总大小以及磁盘的当前使用量计算出虚拟机的磁盘利用率。

在一种可能的实现方式中，第一获取模块、第二获取模块、第三获取模块和第四获取模块可通过位于Hypervisor中的虚拟机数据采集器实现。

具体的，位于Hypervisor中的虚拟机数据采集器通过Hypervisor内部存在相应的接口获取虚拟化平台上的虚拟机从开机到现在占用的CPU时间，记为CPUtime，然后利用公式(CPUt1–CPUt2)/(T1-T2)，其中T1,T2为某一时刻的系统时间，时间单位为纳秒。通过控制T1,T2的时间间隔，得出虚拟化平台上各个虚拟机的CPU平均使用率。

具体的，位于Hypervisor中的虚拟机数据采集器通过Hypervisor内部接口获取虚拟化平台各虚拟机所分配的总内存大小记为：MMax；通过Hypervisor内部接口获取虚拟化平台各个虚拟机当前时间所使用的内存大小，记为M，利用公式M/MMax得出当前时间点虚拟机的内存使用率，通过一段时间观察，得出各个虚拟机的平均内存使用率。

具体的，位于Hypervisor中的虚拟机数据采集器利用Hypervisor的内部接口获取虚拟化平台各虚拟机的虚拟网络设备名称；利用获取的网络设备名称监控该设备上的吞吐量，即获取该设备的IO速率。

具体的，位于Hypervisor中的虚拟机数据采集器利用Hypervisor的内部接口获取虚拟化平台各虚拟机的虚拟磁盘设备名称，本系统支持Xen、KVM虚拟化系统，Xen所采用的虚拟磁盘是VHD设备，KVM使用的是QOW和QOW2虚拟块设备，通过上述获取的虚拟机磁盘设备名称判断是那种类型的块设备；确定了是哪种虚拟化系统的磁盘设备后调用相应的驱动分析各个虚拟机总的磁盘大小DTotal，当前使用的大小DCurent，最后利用公式DCurrent/Dtotal确定其磁盘使用率。

数据采集节点201除了包括位于Hypervisor中的虚拟机数据采集器外，还包括用户层的守护进程，它的功能是接收上层区域管理节点发送的管理命令，并把结果反馈至区域管理节点。

其中，数据采集节点201的守护进程实现如下：

1、初始化命令消息队列。

消息队列用来缓存上级节点发送的控制命令，为了提高队列操作插入、删除效率，消息队列采用静态链表的方式进行组织，消息队列的每个元素由两部分组成，分别是操作码：command，参数args，其中，为了节约内存args定义为一个union，不同的command公用同一块args内存空间。

2、创建命令消息队列操作函数。

命令消息队列操作函数包括消息队列节点插入函数，消息队列节点读取函数，消息队列节点删除函数。命令消息队列可能有多个线程访问，所以把它是一个共享资源，不同的操作函数需要使用同步锁来访问命令消息队列。当消息队列元素计算器icount大于0时，消费者线程可以从队列中读取一个元素并把它从队列中删除；当icount小于imax时，调用消息队列节点插入函数将消息元素插入队列。

3、初始化合法命令集。

合法命令集指的是该守护进程可以识别的上级节点的命令集合，对不同的命令调用不同的处理函数。数据采集模块的守护进程可以识别的命令有：设置虚拟机排除列表；打开/关闭虚拟机数据信息采集器；设置数据采集的周期；将最新采集的数据推送至上层节点。

4、设置监听IP地址和端口号。

设置监听的IP地址和端口号，上级节点就可以通过该IP地址和端口号同守护进程进行通信。

5、创建消费者线程。

消费者线程的作用是从命令消息队列中获取新的命令节点元素，并对其进行解析执行，对不同的命令调用不同的解析函数进行解析执行：

(1)设置虚拟机排除列表命令。当接到设置虚拟机排除列表命令的命令码时，解析args字段，得到需要排除的虚拟机名称，然后调用特定虚拟化平台的接口由虚拟机名称得到虚拟机的UUID，把UUID写入配置文件，最后重启虚拟机数据采集器以重新读取该配置文件。

(2)打开/关闭虚拟机实时信息采集器命令。当接到打开/关闭虚拟机实时信息采集器命令时，解析args字段，得到一个布尔变量，0表示关闭，1表示开启，调用特定虚拟化平台的接口设置虚拟机数据采集器的is_terminal全局变量，当is_terminal为1时，虚拟机数据采集器运行并实时采集虚拟机的运行时数据，当is_terminal为0时，虚拟机数据采集器运行但不采集任何数据。

(3)设置数据采集的周期命令。据采集的周期命令设置虚拟机数据采集器采样时间间隔，它通过特定虚拟化平台的接口设置虚拟机数据采集器内部的定时器，定时唤醒虚拟机数据采集器。

(4)将最新采集的数据推送至上层节点命令。消费者线程解析args字段，得到上级节点的IP地址和端口号，通过TCP或者UDP将本地数据库中的虚拟机运行时信息发送至指定的IP地址：端口号。

需要说明的是，数据采集节点201在获取到虚拟机的参数信息之后，将虚拟机的参数信息存储在本地数据库。在一种优选的实现方式中，存储虚拟机参数信息的本地数据库为文本数据库，因为其占用的系统资源最少。另外，为了便于上级节点解析，虚拟机的参数信息可采用XML协议存储。

在上述实施例中，区域管理节点，包括：第一数据发送模块和第一数据收集模块。其中：

第一数据发送模块，用于向本区域中的数据采集节点201发送第一数据请求消息。

其中，第一数据请求消息中包括第一数据指示信息，第一数据指示信息用于指示数据采集节点201向区域管理节点202发送哪些数据。

第一数据收集模块，用于接收本区域中的数据采集节点201发送的与第一数据请求消息对应的数据。

其中，除了上述模块外，区域管理节点202还可以包括：守护进程格式化模块、推送模块和策略接口模块构成。格式化模块，用于对从数据采集节点接收的虚拟机参数信息进行格式化处理。推送模块，用于将虚拟机的实时参数信息和历史参数信息、区域负载均衡信息推送至中央管理节点。其中，第一数据发送模块和推送模块形式上可以为一个模块。

下面给出区域管理节点的守护进程、第二数据收集模块、格式化模块的具体实现过程。

其中，区域管理节点202的守护进程实现如下：

1、初始化命令消息队列。

命令消息队列的结构、操作函数复用数据采集节点的守护进程。

2、设置监听IP地址和端口号。

设置监听的IP地址和端口号，上级节点级中央管理节点203就可以通过该IP地址和端口号同守护进程进行通信。

3、初始化合法命令集。

合法命令集指的是该守护进程可以识别的上级节点的命令集合，对不同的命令调用不同的处理函数，区域管理节点202的守护进程可以识别的命令有：列出区域内所有虚拟机的名称；设置区域管理节点202所管理的一个或多个虚拟机数据采集器的排除列表；开启/关闭集群中一个或多个虚拟机数据采集器；向上级节点推送负载均衡决策信息；向上级节点推送区域虚拟机实时参数信息；向上级节点推送区域虚拟机历史参数信息；设置区域负载均衡策略，并启动区域负载均衡。

4、创建消费者线程。

消费者线程的作用是从命令消息队列中获取新的命令节点元素，并对其进行解析执行，对不同的命令调用不同的解析函数进行解析执行：

(1)列出区域内所有虚拟机的名称命令。消费者线程解析args字段，获取上级节点的IP地址：端口号，接着调用特定虚拟化平台接口，获取区域管理节点所管理的物理服务器上所有活跃的虚拟机列表，最后发送至上级节点IP地址：端口号。

(2)设置所述区域管理节点所管理的一个或多个虚拟机实时数据采集模块的排除列表命令。消费者线程解析args字段，获取各个数据采集模块的排除列表，格式如下：“A实时数据采集模块UUID@虚拟机名1；虚拟机名2|B实时数据采集模块UUID@虚拟机名1；虚拟机名2”，接下来利用数据采集模块UUID查找对应的IP地址：端口号，向数据采集模块发送“设置虚拟机排除列表“命令，委托数据采集模块的守护进程完成。

(3)开启/关闭集群中一个或多个虚拟机数据采集器命令。消费者线程解析args字段，获取各个虚拟机数据采集器UUID，其格式如下：“A虚拟机数据采集器UUID@B实时数据采集模块UUID”,接下来利用虚拟机数据采集器UUID查找对应的IP地址：端口号，向数据采集节点发送“打开/关闭虚拟机信息采集器”命令，委托数据采集节点的守护进程完成。

(4)向上级节点推送负载均衡决策信息命令。消费者线程解析args字段，获取上级节点的IP地址和端口号，查询区域数据库，将区域负载均衡决策信息发送至指定的IP地址：端口。

(5)向上级节点推送区域虚拟机实时数据命令。消费者线程解析args字段，获取上级节点的IP地址和端口号，查询区域数据库，将区域虚拟机最新数据发送至指定的IP地址：端口。

(6)向上级节点推送区域虚拟机历史数据命令。消费者线程解析args字段，获取上级节点的IP地址和端口号，查询区域数据库，将区域虚拟机历史数据发送至指定的IP地址：端口。

(7)设置区域负载均衡策略，并启动区域负载均衡命令。消费者线程解析args字段，获取区域负载均衡使用的策略。本系统除了支持自带的插件：CPU最大性能优先插件外，兼容大量第三方负载均衡插件，包括：Bobroff、Hermenier、Wood09、Hyser、Wood07、Grit、Prospector，由具体的插件完成负载均衡操作。

其中，区域管理节点的第二数据收集模块实现：

1、初始化数据缓存队列。

数据缓存队列的作用是缓存区域管理节点管理的数据采集节点推送的虚拟机参数信息。缓存队列的元素是字节数组，缓存队列的组织形式是静态链表，注意数据缓存队列是共享资源，需要同步锁的保护。

2、创建上述步骤所述的缓存队列的操作函数。

其中，操作函数包括：插入节点函数，删除节点函数，读取节点函数。

3、创建数据采集线程。

其中，数据采集线程的功能是周期性的向区域管理节点管理的数据采集节点发送“将最新采集的数据推送至上层节点”命令，周期要大于数据采集节点数据采集的周期，若步骤1的数据缓存队列的队列有空闲位置，则调用步骤2的插入节点函数将接收的数据插入至步骤1的数据缓存队列。

4、创建消费者线程。

其中，消费者线程的功能是读取步骤1的数据缓存队列，当步骤1的数据缓存队列不为空时，消费者线程调用步骤2的读取节点函数读取缓存队列的内容并传递至数据格式化模块。

其中，区域管理节点的格式化模块实现：

1、创建XML协议数据生成、解析器。

2、解析XML数据。

区域管理节点202管理的数据采集节点201推送的数据格式为XML格式的数据，区域管理节点202的格式化模块将收到的XML数据格式砖化成KEY：VALUE形式的键值对并存入区域集群数据库。

3、生成XML数据。

区域管理节点202向上级发送数据时需要发送XML格式的数据，格式化模块将KEY：VALUE形式的键值对转换为XML格式的数据传递至数据推送模块。

其中，区域管理节点策略接口模块实现：

区域管理节点的策略接口模块在支持本系统提供的CPU最大性能优先插件外，兼容大量第三方负载均衡插件，例如Bobroff、Hermenier、Wood09、Hyser、Wood07、Grit、Prospector。

1、CPU最大性能优先插件实现

定义：阈值CThreadhold＝M，区域管理节点所管理的第i个物理主机CPU利用率定义为CHosti，区域管理节点所管理的物理服务器上第i个虚拟机的CPU利用率为CVMi，定义函数Max({v1,v2,…,vX})为取一个数值集的最大值，Min({v1,v2,…,vX})为取一个数值集的最小值。

2、若则称物理主机i负载超过阈值，选择为负载均衡的源物理主机，其中n为区域管理节点所管理的活跃物理主机个数，在源物理主机上选择满足条件的源虚拟机其中x表示物理主机CS上活跃的虚拟机个数。即b)步骤决策出CS主机上的CVs虚拟机可能需要迁移。

3、若则陈CD为决策迁移目标服务器.

4、调用特定虚拟化平台接口，将CS主机上的CVs虚拟机迁移至CD物理主机。

在上述实施例中，中央管理节点包括：第二发送模块和第二收集模块。

第二发送模块，用于向所述区域管理节点发送第二数据请求消息，所述第二数据请求消息中包括第二数据指示信息，所述第二数据指示信息用于指示所述区域管理节点向所述中央管理节点发送哪些数据；

第二收集模块，用于接收区域管理节点发送的与第二数据请求消息对应的数据。

中央管理节点还包括：均衡策略制定模块。其中，均衡策略制定模块，用于通过虚拟机的实时参数信息和历史参数信息、区域负载均衡信息，依据预先设定的均衡原则确定最优服务器，判断最优服务器是否为当前虚拟机所处的服务器，当最优服务器不为所述当前虚拟机所处的服务器时，制定将所述当前虚拟机迁移至所述最优服务器的均衡策略。

其中，均衡原则包括：在现有资源的条件下，使所有虚拟机的计算性能最大化；在不影响虚拟机性能的前提下，使得使用的服务器数量最少。

在上述实施例中，均衡策略制定模块可通过策略接口模块和决策插件模块实现，中央管理节点除了包括上述模块外，还可以包括守护进程模块、格式化模块。其中，守护进程、策略接口模块、格式化模块的实现可参见上述区域管理模块中对应模块的实现，在此不做赘述。

需要说明的是，中央管理节点和区域管理节点只是逻辑上的区别，其完全可以相互转换。当一个中央管理节点发生故障后，可以选择其中一个区域管理节点升级为中央管理节点。在一个系统中同时只能存在一个中央管理节点。中央管理节点和区域管理节点之间可采用TCPSocket进行通信，因为中央管理节点和集群管理节点之间往往部署在不同的机房，在不同的局域网中，为提高数据的可靠性，可采用TCP连接。

请参阅图3，示出了本发明实施例提供的虚拟机负载均衡系统的一具体实例。

图3示出了两个集群，每个集群包括两台物理服务器和一台PC机，每台服务器上均安装有数据采集节点，每台PC机上安装区域管理节点。

设定数据采集节点的数据采集周期为10分钟。启动数据采集节点的守护进程，监听上级节点即区域管理节点发送的消息。

区域管理节点将集群包含的物理服务器域名写入区域集群管理节点的配置文件，启动区域管理节点的守护进程，监听上级节点即中央管理节点的命令。

中央管理节点可安装在一台PC机上，中央管理节点将两个区域管理节点的域名写入中央管理节点的配置文件，向两个区域管理节点发送“开启集群虚拟机实时数据采集模块”命令。

中央管理节点向两个区域的区域管理节点发送“设置区域负载均衡策略”的命令，将CPU最大性能优先策略插件设置为两个集群的负载均衡策略。

分别在两个集群的一台物理服务器上新建10个虚拟机。在过一段时间后，中央管理节点向两个区域管理节点分别发送向上级节点推送负载均衡决策日志、向上级节点推送区域虚拟机实时数据、向上级节点推送区域虚拟机历史数据的命令，从而获得各区域虚拟机实时数据，各区域虚拟机历史数据，各区域负载均衡决策日志，以便依据这些数据制定全局负载均衡策略。

本发明实施例提供的虚拟机集群负载均衡系统，在获取虚拟化平台中各虚拟机信息时不需要在各虚拟机中安装任何代理程序，而是通过虚拟化平台提供的相关接口以及驱动程序进行采集，且能够实现无人值守自动化迁移虚拟机，引入能耗控制，优化日志，即，本发明实施例提供的虚拟机集群负载均衡系统能在无人值守的情况下执行虚拟机自动迁移，能耗控制策略启用时，如果虚拟化平台中某服务器空闲时，则主动关闭所述物理服务器，如果虚拟化平台中物理服务器资源不足时，则开启后备物理服务器。另外，本发明实施例提供的虚拟机集群负载均衡系统中央管理节点和区域管理节点之间不存在严格的主从关系，当中央管理节点不可用时，可以在各个区域管理节点中推选出一个节点，行使中央管理节点的职能，各个区域管理节点都有镜像备份，通过上述策略实现对各个管理节点的分布式、高可用管理。

本发明实施例提供的虚拟机集群负载均衡方法不但能够实现虚拟化平台集群内部的负载均衡，而且能够实现虚拟化平台各集群间的负载均衡，这使得整个虚拟化平台资源配置更加优化，从而了提高不同集群之间以及集群内资源的利用率，减少了资源浪费。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所提供的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所提供的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种虚拟机集群负载均衡方法，其特征在于，应用于具有数据采集节点、区域管理节点和中央管理节点的负载均衡系统，所述方法包括：

所述数据采集节点采集所述虚拟机集群中各个虚拟机的参数信息；

所述区域管理节点从所述数据采集节点获取本区域中各个虚拟机的参数信息，基于所述参数信息制定本区域负载均衡策略，并依据所述本区域负载均衡策略进行区域负载均衡；

所述中央管理节点从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，并依据所述全局负载均衡策略进行全局负载均衡。

2.根据权利要求1所述的方法，其特征在于，所述虚拟机的参数信息包括：所述虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率；

则，获取所述虚拟机的CPU利用率，具体为：

获取所述虚拟机的CPU时间；

通过当前系统时间和所述虚拟机的CPU时间计算出所述虚拟机的CPU利用率；

则，获取所述虚拟机的内存利用率，具体为：

获取所述虚拟机的总内存大小；

获取所述虚拟机当前内存的使用量；

通过所述虚拟机的总内存大小和所述虚拟机当前内存的使用量计算所述虚拟机的内存利用率；

则，获取所述虚拟机的网络I/O速率，具体为：获取所述虚拟机的网络设备名称；

通过所述虚拟机的网络设备名称获取所述网络I/O速率；

则，获取所述虚拟机的磁盘利用率，具体为：

获取所述虚拟机的磁盘的绝对路径；

在获取所述磁盘的绝对路径之后，利用磁盘驱动程序获取所述磁盘的总大小以及所述磁盘的当前使用量；

基于所述磁盘的总大小以及所述磁盘的当前使用量计算出所述虚拟机的磁盘利用率。

3.根据权利要求1所述的方法，其特征在于，所述区域管理节点从所述数据采集节点获取本区域中各个虚拟机的参数信息，包括：

所述区域管理节点向本区域中的所述数据采集节点发送第一数据请求消息，所述第一数据请求消息中包括第一数据指示信息，所述第一数据指示信息用于指示所述数据采集节点向所述区域管理节点发送哪些数据；

所述区域管理节点接收所述本区域中的所述数据采集节点发送的与所述第一数据请求消息对应的数据；

所述中央管理节点从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，具体为：

所述中央管理节点向所述区域管理节点发送第二数据请求消息，所述第二数据请求消息中包括第二数据指示信息，所述第二数据指示信息用于指示所述区域管理节点向所述中央管理节点发送哪些数据；

所述中央管理节点接收所述区域管理节点发送的与所述第二数据请求消息对应的数据。

4.根据权利要求1～3中任意一项所述的方法，其特征在于，所述基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，包括：

通过所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息，依据预先设定的均衡原则确定最优服务器；

判断所述最优服务器是否为当前虚拟机所处的服务器；

当所述最优服务器不为所述当前虚拟机所处的服务器时，制定将所述当前虚拟机迁移至所述最优服务器的均衡策略。

5.根据权利要求4所述的方法，其特征在于，所述均衡原则包括：

在现有资源的条件下，使所有虚拟机的计算性能最大化；

在不影响虚拟机性能的前提下，使得使用的服务器数量最少。

6.一种虚拟机集群负载均衡系统，其特征在于，所述系统包括：数据采集节点、区域管理节点和中央管理节点；

所述数据采集节点，用于采集所述虚拟机集群中各虚拟机的参数信息；

所述区域管理节点，用于从所述数据采集节点获取本区域中各个虚拟机的参数信息，基于所述参数信息制定本区域负载均衡策略，并依据所述本区域负载均衡策略进行区域负载均衡；

所述中央管理节点，用于从所述区域管理节点获取各个区域中虚拟机的实时参数信息和历史参数信息、以及各个区域的区域负载均衡信息，基于所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息制定全局负载均衡策略，并依据所述全局负载均衡策略进行全局负载均衡。

7.根据权利要求6所述的系统，其特征在于，所述虚拟机的参数信息包括：所述各虚拟机的CPU利用率、内存利用率、网络I/O速率和磁盘利用率；

则，所述数据采集节点，包括：

第一获取模块，用于获取所述虚拟机的CPU时间，通过当前系统时间和

所述虚拟机的CPU时间计算出所述虚拟机的CPU利用率；

第二获取模块，用于获取所述虚拟机的总内存大小，获取所述虚拟机当前内存的使用量，通过所述虚拟机的总内存大小和所述虚拟机当前内存的使用量计算所述虚拟机的内存利用率；

第三获取模块，用于获取所述虚拟机的网络设备名称，通过所述虚拟机的网络设备名称获取所述网络I/O速率；

第四获取模块，用于获取所述虚拟机的磁盘的绝对路径，在获取所述磁盘的绝对路径之后，利用磁盘驱动程序获取所述磁盘的总大小以及所述磁盘的当前使用量，基于所述磁盘的总大小以及所述磁盘的当前使用量计算出所述虚拟机的磁盘利用率。

8.根据权利要求6所述的系统，其特征在于，所述区域管理节点，包括：

第一数据发送模块，用于向本区域中的所述数据采集节点发送第一数据请求消息，所述第一数据请求消息中包括第一数据指示信息，所述第一数据指示信息用于指示所述数据采集节点向所述区域管理节点发送哪些数据；

第一数据收集模块，用于接收所述本区域中的所述数据采集节点发送的与所述第一数据请求消息对应的数据；

所述中央管理节点包括：

第二数据发送模块，用于向所述区域管理节点发送第二数据请求消息，所述第二数据请求消息中包括第二数据指示信息，所述第二数据指示信息用于指示所述区域管理节点向所述中央管理节点发送哪些数据；

第二数据收集模块，用于接收所述区域管理节点发送的与所述第二数据请求消息对应的数据。

9.根据权利要求6～8中任意一项所述的系统，其特征在于，所述中央管理节点包括：均衡策略制定模块；

所述均衡策略制定模块，用于通过所述虚拟机的实时参数信息和历史参数信息、所述区域负载均衡信息，依据预先设定的均衡原则确定最优服务器，判断所述最优服务器是否为当前虚拟机所处的服务器，当所述最优服务器不为所述当前虚拟机所处的服务器时，制定将所述当前虚拟机迁移至所述最优服务器的均衡策略。

10.根据权利要求9所述的系统，其特征在于，所述均衡原则包括：

在现有资源的条件下，使所有虚拟机的计算性能最大化；

在不影响虚拟机性能的前提下，使得使用的服务器数量最少。