CN104270416B - 负载均衡控制方法及管理节点 - Google Patents
负载均衡控制方法及管理节点 Download PDFInfo
- Publication number
- CN104270416B CN104270416B CN201410465141.0A CN201410465141A CN104270416B CN 104270416 B CN104270416 B CN 104270416B CN 201410465141 A CN201410465141 A CN 201410465141A CN 104270416 B CN104270416 B CN 104270416B
- Authority
- CN
- China
- Prior art keywords
- virtual machine
- migrated
- candidate
- group system
- host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明实施例公开了负载均衡控制方法的管理节点，管理节点和多个物理主机包括在集群系统中，每一物理主机包括硬件层、运行在硬件层之上的宿主机以及运行在宿主机之上的虚拟机，方法包括：计算集群系统当前的综合负载均衡值；当综合负载均衡值大于均衡度阈值的情况下，分别基于计算资源维度和网络资源维度从集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；基于综合维度确定候选虚拟机集中的目标待迁移虚拟机及其所宿主的目标物理主机；综合维度包括计算资源维度和网络资源维度；通知目标待迁移虚拟机所宿主的源物理主机将目标待迁移虚拟机迁移至目标物理主机；源主机和目标物理主机均为集群系统中的物理主机。
Description
技术领域
本发明涉及通信技术领域，具体涉及负载均衡控制方法及管理节点。
背景技术
随着虚拟化、云计算的发展，云中心的使用日益广泛。云中心包含至少一个集群系统，每一集群系统中包含管理节点和多个计算节点(或称为物理主机)，每一物理主机上可运行多台虚拟机。
现有技术中多从计算资源维度(例如CPU利用率、内存利用率)判断集群系统是否负载均衡，并在判决不均衡的情况下，在计算资源维度上选择影响负载均衡最大的虚拟机进行迁移。但这种负载均衡控制方式只是基于计算资源维度来进行判决和调整，还存在可优化的空间。
发明内容
本发明实施例的目的在于提供负载均衡控制方法及管理节点，以提高负载均衡效果。
本发明实施例提供如下技术方案：
根据本发明实施例的第一方面，提供一种负载均衡控制方法，应用于管理节点，其中所述管理节点和多个物理主机包括在集群系统中，每一所述物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机，所述方法包括：
计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源主机和目标物理主机均为所述集群系统中的物理主机。
结合第一方面，在第一种可能的实现方式中，所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集包括：从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；找出经由筛选出的高带宽利用率的边缘链路通信的虚拟机对；将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
结合第一方面或第一种可能的实现方式，在第二种可能的实现方式中，所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机包括：针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
结合第一方面，在第三种可能的实现方式中，所述计算集群系统当前的综合负载均衡值包括：根据当前计算资源性能数据和当前网络资源性能数据，计算所述当前的综合负载均衡值；其中，所述当前计算资源性能数据包括：集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据；所述当前网络资源性能数据包括：集群系统中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间。
结合第一方面第二种可能的实现方式，在第四种可能的实现方式中，所述预测出的迁移后集群系统的综合负载均衡值根据如下方式计算：根据预测出的、迁移后的计算资源性能数据，以及预测出的、迁移后的网络资源性能数据，计算预测出的迁移后集群系统的综合负载均衡值；其中，所述预测出的、迁移后的计算资源性能数据包括：预测出的、迁移后集群系统中各物理主机的CPU利用率数据以及集群系统中各物理主机的内存利用率数据；所述预测出的、迁移后的网络资源性能数据包括：预测出的、迁移后集群系统中各链路的带宽利用率，集群系统中各虚拟机对之间的路径长度，以及，集群系统中各虚拟机对之间的延迟时间。
根据本发明实施例的第二方面，提供一种管理节点，用于包括多个物理主机和所述管理节点的集群系统，所述多个物理主机中的每个物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机；所述管理节点包括：
计算单元，用于计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
选择单元，用于当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
目标待迁移虚拟机确定单元，用于基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
迁移通知单元，用于通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源主机和目标物理主机均为所述集群系统中的物理主机。
结合第二方面，在第一种可能的实现方式中，所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；在所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集的方面，所述选择单元用于：从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；找出经由所述筛选出的高带宽利用率的边缘链路通信的虚拟机对；将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
结合第二方面或第一种可能的实现方式，在第二种可能的实现方式中，所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；在所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机的方面，所述目标待迁移虚拟机确定单元用于：针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
根据本发明实施例的第三方面，提供一种管理节点，用于包括多个物理主机和所述管理节点的集群系统，所述多个物理主机中的每个物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机；所述管理节点包括硬件层、运行在所述硬件层之上的宿主机Host、以及运行在所述Host之上的至少一个虚拟机；其中，所述Host或虚拟机用于：
计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源主机和目标物理主机均为所述集群系统中的物理主机。
结合第三方面，在第一种可能的实现方式中，所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；在所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集的方面，所述Host或虚拟机用于：从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；找出经由所述筛选出的高带宽利用率的边缘链路通信的虚拟机对；将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
结合第三方面或第一种可能的实现方式，在第二种可能的实现方式中，所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；在所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机的方面，所述Host或虚拟机用于：针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
可见，在本发明实施例中，管理节点是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例和现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1和2是本发明实施例提供的集群系统结构示意图；
图3是本发明实施例提供的负载均衡控制方法流程图；
图4是本发明实施例提供的目标待迁移虚拟机迁移示意图；
图5a-5d是本发明实施例提供的网络拓扑示意图；
图6是本发明实施例提供的负载均衡控制方法另一流程图；
图7a-7b是本发明实施例提供的路径长度示意图；
图8是本发明实施例提供的负载均衡控制方法又一流程图；
图9a和图9b是本发明实施例提供的管理节点结构示意图；
图10是本发明实施例提供的数据中心结构示意图；
图11a是本发明实施例提供的负载均衡控制装置结构示意图；
图11b是本发明实施例的管理节点上部署的负载均衡装置的结构示意图；
图12至图14是本发明实施例提供的管理节点结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了方便理解本发明实施例，首先在此介绍本发明实施例所应用的系统以及描述中会引入的几个要素。
本发明实施例技术方案，应用于虚拟化集群系统(简称虚拟化集群或集群系统或集群)，如图1所示，集群系统可包括管理节点和物理主机(计算节点)；管理节点可以有一个或多个，例如可以是两个，分为主管理节点和备管理节点(请参见图2)；计算节点可以有多个。
所说的管理节点和计算节点都是计算机设备，管理节点也可称为管理服务器，计算节点也可称为物理主机。
其中，任一物理主机可包括硬件层、运行在硬件层之上的宿主机、以及运行在宿主机之上的至少一个虚拟机(VM)。
上述硬件层可包括网卡，处理器和内存等。
下面详细说明：虚拟机VM：通过虚拟化软件可以在一台物理主机上模拟出一台或者多台虚拟的计算机，而这些虚拟机就像真正的计算机那样进行工作，虚拟机上可以安装操作系统和应用程序，虚拟机还可访问网络资源。对于在虚拟机中运行的应用程序而言，虚拟机就像是在真正的计算机中进行工作。
硬件层：虚拟化环境运行的硬件平台。其中，硬件层可包括多种硬件，例如某物理主机的硬件层可包括处理器(例如CPU)和内存，还可以包括网卡(例如RDMA网卡)、存储器等等高速/低速输入/输出(I/O，Input/Output)设备，及具有特定处理功能的其它设备。
宿主机(Host)：作为管理层，用以完成硬件资源的管理、分配；为虚拟机呈现虚拟硬件平台；实现虚拟机的调度和隔离。其中，Host可能是虚拟机监控器(VMM)；此外，有时VMM和1个特权虚拟机配合，两者结合组成Host。其中，虚拟硬件平台对其上运行的各个虚拟机提供各种硬件资源，如提供虚拟处理器(如VCPU)、虚拟内存、虚拟磁盘、虚拟网卡等等。虚拟磁盘可对应Host的一个文件或者一个逻辑块设备。
虚拟机运行在Host为其准备的虚拟硬件平台上，Host上可运行一个或多个虚拟机。
下面将结合图1和图2来详细说明本发明技术方案。
本发明实施例所提供的负载均衡控制方法的执行主体可为管理节点(尤其是主用管理节点)。其中管理节点和多个物理主机包括在集群系统中，每一物理主机包括硬件层、运行在硬件层之上的宿主机、以及运行在宿主机之上的虚拟机。
请参见图3，由管理节点执行的负载均衡控制方法至少可包括如下步骤：
S1、计算集群系统当前的综合负载均衡值。
综合负载均衡值用于综合衡量集群系统整体上负载是否均衡，或者说，综合负载均衡值用于表示集群系统的综合负载均衡状态。当前的综合负载均衡值越小，表征集群系统当前整体上负载越趋于均衡。
其中，上述综合负载均衡值可至少包括计算资源负载均衡值和网络资源负载均衡值。相应的，计算资源负载均衡值用于表示集群系统的计算资源负载均衡状态，而网络资源负载均衡值用于表示集群系统的网络资源负载均衡状态。
本文后续将介绍如何计算综合负载均衡值。
S2、当上述综合负载均衡值大于均衡度阈值时，基于计算资源维度从该集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集。
也即，选择出的候选待迁移虚拟机分布运行在上述集群系统中的部分或全部物理主机上。
均衡度阈值可依不同场景进行设计，在此不作赘述。
计算资源维度可涉及CPU利用率和/或内存利用率。本领域技术人员可遵循现有的基于计算资源维度的选择方式来选择候选待迁移虚拟机。例如，选择CPU利用率和内存利用率均较高的虚拟机作为候选待迁移虚拟机，或者，选择CPU利用率和内存利用率非零且最低的虚拟机作为候选待迁移虚拟机等等，在此不作赘述。
候选虚拟机集的表现形式可为候选虚拟机列表。
S3、基于网络资源维度从该集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集。
也即，选择出的候选待迁移虚拟机分布运行在上述集群系统中的部分或全部物理主机上。
其中，网络资源维度可涉及带宽利用率、流量、虚拟机对之间的路径长度、虚拟机对之间的延迟时间等中的至少一种。本文后续将对如何基于网络资源维度选择候选待迁移虚拟机进行详细介绍。
需要说明的是，步骤S3也是在集群系统当前的综合负载均衡值大于均衡度阈值的情况下执行的。步骤S2和S3可并列执行；或步骤S2先执行，步骤S3后执行；反之，也可先执行步骤S3，再执行步骤S2。
S4、基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机，以及目标待迁移虚拟机的目标物理主机。其中，综合维度包括计算资源维度和网络资源维度。
本文后续将介绍如何确定目标待迁移虚拟机及其目标物理主机。
S5、通知目标待迁移虚拟机所宿主的源物理主机将上述目标待迁移虚拟机迁移至上述目标物理主机。
请参见图4，假定目标待迁移虚拟机为物理主机100(源物理主机)上的虚拟机vm1，目标物理主机为物理主机200。
在步骤S5中，会通知物理主机100，将物理主机100上的虚拟机vm1迁移至物理主机200上的虚拟机vm2运行。
在迁移过程中，需要进行CPU迁移，此外，还需要将目标待迁移虚拟机对应的内存页迁移至目标物理主机上。
可见，在本发明实施例中，管理节点是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点和多个物理主机之间以及多个物理主机之间一般需要通过网络相通信。
上述网络一般为树状拓扑结构，可包含核心层和边缘层(有时也包含汇聚层，位于边缘层与核心层之间)。核心层和边缘层中均部署有交换机。如图5a-5d所示(图5b-5d并未画出虚拟机)，圆形设备表示交换机(也可以switch表示)，方形设备表示物理主机(也可以host表示)，物理主机上运行的虚拟机以符号vm表示。
物理主机与交换机可构成多种网络拓扑结构。图5a-5d分别为Tree、VL2、Fat-Tree、BCube拓朴结构。
边缘层中分布的交换机为边缘交换机，核心层中分布的交换机为核心交换机。仍以图5a为例，图5a是典型的拓朴结构，其中，switch1-8为核心交换机，属于聚合层(核心层)；switch9-12为边缘交换机，属于边缘层。
由图可见，边缘交换机通过边缘链路与物理主机直接相连。例如，图5a中的switch9-12可与host1-8之间共通过8条边缘链路相连。
而任一核心交换机则通过核心链路与网络中的其他设备相连接。仍以图5a所示拓扑结构为例，switch1-4与switch5-8之间共通过8条核心链路相连，同时，switch5-8与switch9-12之间共通过8条核心链路相连，因此，图5a中一共包含16条核心链路。
需要说明的是，图5d所示拓扑结构只有边缘链路而无核心链路。
集群系统中物理主机(虚拟机)之间的通信，可能会占用到核心链路的带宽。例如，仍以图5a为例，host1(上的虚拟机)与host3(上的虚拟机)通信，需要核心链路转发数据，从而占用核心链路的带宽。
现有的负载均衡控制方式中，并未考虑网络维度(例如带宽)方面，这可能造成虚拟机迁移后，网络性能下降。
例如，vm1与vm3之间有大量通信，现有方式若判定vm1所在物理主机(host1)在计算资源维度方面负载很重，其可能将host1上运行的vm1迁移至host7上运行。
在迁移之前，vm1与vm3之间只需要通过边缘交换机(switch9)就可实现通信，而在迁移至host7后，由于host7上的虚拟机与host3上的虚拟机均需要经过核心链路转发数据才可实现通信，迁移后反而占用了核心链路的带宽，加重了整个网络的开销。
因此，在选择候选待迁移虚拟机时，就需要考虑网络资源维度。而在确定目标待迁移虚拟机及其目标物理主机时，也需要考虑网络资源维度。
下面，本文将详细介绍如何基于网络资源维度选择候选待迁移虚拟机加入候选虚拟机集。
请参见图6，其进一步可包括如下步骤：
S31、从网络(边缘层)的所有边缘链路中筛选出高带宽利用率的边缘链路。
更具体的，可将边缘链路中带宽利用率最高的边缘链路筛选为高带宽利用率的边缘链路。
或者，也可将带宽利用率高于某一阈值的边缘链路确定为高带宽利用率的边缘链路。例如，阈值为60％，8条边缘链路中共有3条链路的带宽利用率超过60％，则将这3条边缘链路均作为高带宽利用率的边缘链路。
S32、找出经由筛选出的高带宽利用率的边缘链路通信(有通信流量)的虚拟机对。
所找出的虚拟机对中，其中一个虚拟机所宿主的物理主机与上述筛选出的高带宽利用率的边缘链路相连接，另外一个虚拟机宿主在其他物理主机上。
需要说明的是，同一物理主机上的虚拟机之间即使有通信，由于没占用外部的带宽，所以认为没通信流量。
例如，图5a中的虚拟机vm1和vm2运行在同一物理主机上，二者之间的通信不占用外部带宽，二者之间无通信流量。
而图5a中的虚拟机vm1和vm3运行在不同的物理主机上，二者之间通信，需占用外部带宽(参见图5a中加粗的链路)，认为有通信流量。
举例来讲，假定图5a中，host1与switch9之间的边缘链路为高带宽利用率边缘链路，host1上运行vm1和vm2。则将查找其他物理主机(host2-8)上与vm1有通信流量的虚拟机，以及，查找其他物理主机(host2-8)上与vm2有通信流量的虚拟机。
假设，host2-8上与vm1有通信流量的虚拟机分别为vm3、vm5和vm7，与vm2有通信流量的虚拟机分别为vm4、vm6和vm8。则有如下虚拟机对：vm1-vm3、vm1-vm5、vm1-vm7、vm2-vm4、vm2-vm6、vm2-vm8。
S33、将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集。
上述加权通信路径用于反映对核心链路负载的影响。
更具体的，如以vmj和vmk表示虚拟机对中的两个虚拟机；δj,k表示vmj和vmk之间的路径长度；λj,k表示vmj和vmk之间的路径长度权重，则加权通信路径可表示为λj,k×δj,k。
δj,k与虚拟机对之间通信所经由的链路的路径长度相关。最简单的，请参见图7a，可将每一链路的路径长度均设为1。以vm1-vm3为例，其路径长度δ1,3为2。而vm1-vm5之间的路径长度δ1,5为4。
或者，请参见图7b，可将边缘链路的路径长度均设为1，核心链路的路径长度设为2，则vm1-vm5之间的路径长度δ1,5为1+2+2+1＝6。本领域技术人员可根据实际需要进行设计，在此不作赘述。
对于λj,k，可设计虚拟机对之间有通信流量时为1，无通信流量时为0。
或者，可设计λj,k与带宽利用率相关，带宽利用率越高，λj,k的取值越大。
由于虚拟对之间通信可通过边缘链路或者边缘链路和核心链路实现，因此，进一步的，可设计λj,k仅与相关的边缘链路的带宽利用率呈比例关系，也可设计λj,k与vmj和vmk之间的整条链路(包含边缘链路和核心链路)的带宽利用率呈比例关系。整条链路的带宽利用率可通过多种现有的计算方式计算得出，在此不作赘述。
在本发明其他实施例中，在步骤S31之前，还可包括如下步骤：
构造虚拟机之间的通信矩阵。
若一个集群系统中运行N台虚拟机，则通信矩阵为N×N矩阵。
通信矩阵表征了虚拟机对之间的网络性能数据，例如其可表征虚拟机对之间有无流量，或者，表征虚拟机对之间通信所使用的带宽。
通信矩阵可以表格的方式记录。
以集群系统中运行三台虚拟机为例，其对应的通信矩阵可参见下表。
| vm1 | vm2 | vm3 | |
| vm1 | 0 | 1 | 1 |
| vm2 | 1 | 0 | 1 |
| vm3 | 1 | 1 | 0 |
上表示出了vm1至vm3之间的通信矩阵。其中，网络性能数据0和1表征虚拟机对之间有无流量。以虚拟机对vm1-vm3为例，网络性能数据为1，表征虚拟机对vm1-vm3之间有流量。
相应的，在步骤S32中，具体可通过查找通信矩阵来找出虚拟机对。
例如，假定步骤S31中找出的高带宽利用率边缘链路所连接的物理主机上运行着虚拟机vm1，则通过查找通信矩阵，可找出vm1-vm2、vm1-vm3之间有流量。
需要说明的是，由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
在介绍完基于网络维度选择候选待迁移虚拟机后，本文下述将详细介绍如何基于综合维度确定目标待迁移虚拟机及其目标物理主机。
仍假定，集群系统中的物理主机总数为M+1；候选虚拟机集中的候选待迁移虚拟机总数为N。
请参见图8，上述“基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机，以及上述目标待迁移虚拟机的目标物理主机”的步骤可具体包括：
S41、针对候选虚拟机集中的第i个候选待迁移虚拟机(1≤i≤N)，分别计算第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值。
若集群系统中的物理主机总数为M+1，则除第i个候选待迁移虚拟机所宿主的源物理主机外，还剩M个物理主机可供第i个候选待迁移虚拟机迁移。这M个物理主机即为侯选目标物理主机。
虚拟机迁移至不同的侯选目标物理主机，可能会对集群系统造成不同的影响。因此，本实施例使用集群系统综合影响评估值来表征虚拟机迁移至不同的侯选目标物理主机对集群系统所造成的不同影响。由于一共有M个侯选目标物理主机，因此，一共可得到M个集群系统综合影响评估值。
举例来讲，假定集群系统中共6个物理主机，候选虚拟机集中共有3个候选待迁移虚拟机(vm1-vm3)。其中，vm1的源物理主机为主机1，则还剩5个主机(主机2-主机6)可作为侯选目标物理主机，则可针对vm1计算得到5个集群系统综合影响评估值。
S42、从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为第i个候选待迁移虚拟机的集群系统综合影响度。
而集群系统综合影响度对应的侯选目标物理主机则为第i个候选待迁移虚拟机的目标物理主机。
仍沿用前例，假定vm1迁移至主机2-主机6对应的集群系统综合影响评估值分别为10、3、2、5和6。则将2作为vm1的集群系统综合影响度。而2对应的侯选目标物理主机为主机3，则主机3为vm1的目标物理主机。
S43、从候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机。
仍沿用前例，候选虚拟机集中共有3个候选待迁移虚拟机(vm1-vm3)，其集群系统综合影响度分别为2，2.5和3。则vm1将确定为目标待迁移虚拟机，后续会将vm1迁移至主机3。
更具体的，上述集群系统综合影响评估值可包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值。
其中，迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
本文下面将分别详细介绍迁移后集群系统的综合负载均衡值和迁移代价值如何获得。
在本发明其他实施例中，上述迁移后集群系统的综合负载均衡值可通过如下方式预测：
根据预测出的、迁移后的计算资源性能数据，以及预测出的、迁移后的网络资源性能数据，计算上述预测出的迁移后集群系统的综合负载均衡值。
举例来讲，假定集群系统中共6个物理主机，vm1为候选待迁移虚拟机，其源物理主机为主机1，主机2-主机6可作为目标物理主机。
在计算vm1迁移至主机2对应的集群系统综合影响评估值时，可预测vm1迁移至主机2后的计算资源性能数据和网络资源性能数据，进而计算得到vm1迁移至主机2后集群系统的综合负载均衡值。可以此类推，在此不作赘述。
上述预测出的、迁移后的计算资源性能数据可包括：预测出的、迁移后集群系统中各物理主机的CPU利用率数据以及集群系统中各物理主机的内存利用率数据。
上述预测出的、迁移后的网络资源性能数据可包括：预测出的、迁移后集群系统中各链路的带宽利用率，集群系统中各虚拟机对之间的路径长度，以及，集群系统中各虚拟机对之间的延迟时间。
在本发明其他实施例中，上述所有实施例中的“根据预测的、迁移后的计算资源性能数据，以及预测的、迁移后的网络资源性能数据，计算预测的迁移后集群的综合负载均衡值：可包括：
根据公式T＝ω1×σ(UtilCPU)+ω2×σ(UtilMEM)+ω3×σ(UtilNET)+ω4×δVM+ω5×ηVM计算预测的迁移后集群的综合负载均衡值。
其中，σ(UtilCPU)表示集群系统中各物理主机CPU利用率的方差，ω1表示CPU利用率权重；
σ(UtilMEM)表示集群系统中各物理主机内存利用率的方差，ω2表示内存利用率权重；
σ(UtilNET)表示集群系统拓扑结构中各链路的带宽利用率的方差，ω3表示带宽利用率权重；
δVM表示集群系统各虚拟机对的整体加权路径长度，ω4表示整体加权路径长度对应的系统权重；
ηVM表示集群系统各虚拟机对的整体加权延迟时间，ω5表示整体加权延迟时间对应的系统权重。
其中，ω1×σ(UtilCPU)+ω2×σ(UtilMEM)对应计算资源负载均衡值(计算资源维度)，而ω3×σ(UtilNET)+ω4×δVM+ω5×ηVM对应网络资源负载均衡值(网络资源维度)。
由于目标待迁移虚拟机是基于预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值而确定的，所以在目标待迁移虚拟机及其目标物理主机是基于综合维度(计算资源维度和网络资源维度)确定的。
前述预测的、迁移后的集群系统中各物理主机的CPU利用率数据以及集群系统中各物理主机的内存利用率数据，可分别用于计算公式中的σ(UtilCPU)和σ(UtilMEM)。
而前述预测的、迁移后的集群系统中各链路的带宽利用率，集群系统中各虚拟机对之间的路径长度，以及，集群系统中各虚拟机对之间的延迟时间可分别用于计算公式中的σ(UtilNET)、δVM和ηVM。
上述公式中，采用σ(UtilCPU)、σ(UtilMEM)、σ(UtilNET)、δVM(S)、cost(S)这五个参数计算负载均衡指标值，可以更加准确的反映集群系统的负载均衡程度。该公式计算出的T越小，表示负载均衡程度越优，T越大，表示负载均衡程度越差。
本发明一些实施例中，也可以不考虑ηVM。另一些实施例中，上述计算公式中还可以根据实际需要增添其它参数。又一些实施例中，也可以不用方差，而是利用标准差进行计算，则上述公式中的符号σ也可以是指标准差。
下面，以上面公式中的σ表示方差为例，进一步说明如何根据上述公式计算负载均衡指标值。
(1)计算σ(UtilCPU)：
假定，集群系统中的物理主机总数为M+1，其中，第m个物理主机的CPU实际使用量为am，容量为cm，则第m个物理主机的CPU利用率为Pm＝am/cm。
则集群系统中M+1台物理主机的CPU平均利用率为：
相应的，
(2)计算σ(UtilMEM)：
假定集群系统中的物理主机总数为M+1，其中，第m个物理主机的内存使用量为Bm，内存的可用容量为Dm，则第m个物理主机的内存利用率为PMm＝Bm/Dm。
则集群系统中M+1台物理主机的内存平均利用率为：
相应的，
(3)计算σ(UtilNET)
假定集群系统中核心链路的数量为E，其中第e条核心链路的带宽利用率为νe；边缘链路的数量为F，第f条边缘链路的带宽利用率为νf。
则核心链路的带宽利用率均值为边缘链路的带宽利用率均值为(core表示核心链路，edge表示边缘链路)。
核心链路的带宽利用率方差为：边缘链路的带宽利用率方差为：
则σ(UtilNET)＝σ(Utilcore)+σ(Utiledge)。
当然，对于BCube拓扑结构，由于没有核心链路，则σ(UtilNET)＝σ(Utiledge)。
(4)计算δVM
δVM可通过如下计算公式得到：
其中，vmj和vmk表示集群系统中的任一虚拟机对，并且，j≠k；δj,k表示vmj和vmk之间的路径长度；λj,k表示vmj和vmk之间的路径长度权重；λj,k×δj,k表示vmj和vmk之间的加权通信路径；表示集群系统所有虚拟机对的路径长度权重总和；表示集群系统中的所有虚拟机对的加权通信路径总和。
举例来讲，假定集群系统中共有4个虚拟机对，其对应的δj,k分别为2，4，6，8；其对应的λj,k分别为0，1，0，1。则
δj,k与虚拟机对之间的链路相关。对于λj,k，可设计虚拟机对之间有通信流量时为1，无通信流量时为0。或者，可设计λj,k与带宽利用率相关，带宽利用率越高，λj,k的取值越大。
具体内容可参见本文前述记载，在此不作赘述。
(5)计算ηVM
ηVM可通过如下计算公式得到：
其中，vmj和vmk表示集群系统中的任一虚拟机对，并且，j≠k；ηj,k表示vmj和vmk之间的延迟时间；γj,k表示vmj和vmk之间的延迟时间权重；γj,k×ηj,k表示vmj和vmk之间的加权延迟；表示集群系统中的所有虚拟机对的延迟时间权重总和；表示集群系统中的所有虚拟机对的加权延迟总和。
举例来讲，假定集群系统中共有4个虚拟机对，其对应的ηj,k分别为2，4，6，8；其对应的γj,k分别为2，2，2，2。则
需要说明的是，vmj向vmk发送数据包，vmk反馈收到，从发包到反馈之间的时间为这一次通信的延迟时间。ηj,k是统计的一段时间内的延迟时间平均值。
对于γj,k，可设计γj,k与虚拟机对之间的路径长度相关，路径长度越长，γj,k的取值越大。
进一步的，可设计γj,k与路径长度呈比例关系。
ω1至ω5的取值，可根据侧重方面的不同进行调整。例如，如侧重σ(UtilNET)的影响，则可将ω3的取值调大，如侧重δVM的影响，则可将ω4的取值调大，等等。本领域技术人员可根据实际需要进行调整和设计，在此不作赘述。
在本发明其他实施例中，上述所有实施例中的迁移代价值可通过如下公式计算得到：
其中，s表示集群系统中的第s个虚拟机，X表示集群系统中运行的虚拟机总数，PCs表示目标待迁移虚拟机迁移后对第s个虚拟机造成的性能损耗，PMCs表示目标待迁移虚拟机在迁移过程中对第s个虚拟机造成的性能损耗，PBs表示迁移后第s个虚拟机的性能提升。α表示第一权重，β表示第二权重。
更具体的，性能损耗中的性能可指CPU运算(反应)速度、内存能力、网络能力、业务延迟时间、I/O延迟等。
可有多种现有方式从多个角度计算性能损耗，在此不作赘述。
α和β可根据是侧重PCs，还是侧重PMCs和PBs之和进行调整，本领域技术人员可根据需要灵活设计，在此不作赘述。
需要说明的是，迁移后，由于物理机上虚拟机的变动，是会造成性能损耗的。例如，源主机上运行vm1和vm2，其中，vm2被确定为目标待迁移虚拟机；目标物理主机上运行vm3和vm4。迁移后，目标物理主机上运行vm2、vm3和vm4，这会对vm3、vm4，乃至vm2自己造成性能损耗(比如业务延迟时间变长)。
而在迁移过程中，目标待迁移虚拟机的内存页需要拷贝到目标物理主机，而在此期间，目标待迁移虚拟机还在工作，其运行的业务可能会因内存页的拷贝而中断。这样，会对目标待迁移虚拟机，乃至其他虚拟机造成性能损耗(比如业务延迟时间变长)。此外，如目标待迁移虚拟机的内存页数量较大，在拷贝过程中，可能会占用大量的带宽，也会对目标待迁移虚拟机，乃至其他虚拟机造成性能损耗。
当然，迁移后，也会带来性能提升。例如，目标待迁移虚拟机vm2与vm3通信频繁，在迁移前，两虚拟机需要通过边缘链路和核心链路通信，从而占用边缘链路和核心链路很多的带宽。迁移后，两虚拟机位于同一物理主机上，就不用占用边缘链路和核心链路带宽了，这为整个集群系统中的虚拟机带来了性能提升。
因此，在公式中考虑了PCs、PMCs和PBs。
此外，也可为cost分配迁移代价权重ω6。ω6的取值可为1，或者其他正数(例如1.5、2等)，本领域技术人员可根据实际需要进行灵活设计，在此不作赘述。
在本发明其他实施例中，上述所有实施例在步骤S1之前还可包括获取当前计算资源性能数据和当前网络资源性能数据的步骤。
相应的，步骤S1可具体包括：
根据当前计算资源性能数据和当前网络资源性能数据，计算集群系统当前的综合负载均衡值。
此外，在本发明其他实施例中，如步骤S1得到的综合负载均衡度小于均衡度阈值，则不再执行步骤S2-S5(或步骤S2-S5的细化步骤)，而是等待。在下一个采集周期获取到当前计算资源性能数据和当前网络资源性能数据时，再计算集群系统当前的综合负载均衡度。
更具体的，上述当前计算资源性能数据可包括集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据。
上述当前网络资源性能数据可包括集群系统对应的拓扑结构中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间。
集群系统中的物理主机可安装数据采集软件，将采集到本机的当前CPU利用率、当前内存利用率、以及本机上各虚拟机与其他主机上的虚拟机之间的当前延迟时间上传至管理节点。
此外，物理主机亦可采集(统计)集群系统中交换机的流量，并根据流量与带宽计算链路的当前带宽利用率时上传至管理节点。
至于集群系统中各虚拟机对之间的路径长度，在管理节点可预先存储集群系统的拓扑结构，根据拓扑结构可得到各虚拟机对之间的路径长度。
在本发明其他实施例中，上述所有实施例中的“根据当前计算资源性能数据和当前网络资源性能数据，计算集群系统当前的综合负载均衡值”可包括：
根据公式T＝ω1×σ(UtilCPU)+ω2×σ(UtilMEM)+ω3×σ(UtilNET)+ω4×δVM+ω5×ηVM计算集群系统当前的综合负载均衡值。
前述集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据，可分别用于计算公式中的σ(UtilCPU)和σ(UtilMEM)。
而前述集群系统对应的拓扑结构中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间可分别用于计算公式中的σ(UtilNET)、δVM和ηVM。
具体计算方式请参见本文前述记载，在此不作赘述。
上述公式中，采用σ(UtilCPU)、σ(UtilMEM)、σ(UtilNET)、δVM(S)、cost(S)这五个参数计算负载均衡指标值，可以更加准确的反映集群系统的负载均衡程度。该公式计算出的T越小，表示负载均衡程度越优，T越大，表示负载均衡程度越差。当T大于均衡度阈值时，就说明需要进行负载均衡控制了。
相对应，本发明实施例还要求保护管理节点200。该管理节点用于包括多个物理主机和上述管理节点200的集群系统，上述多个物理主机中的每个物理主机包括硬件层、运行在上述硬件层之上的宿主机、以及运行在上述宿主机之上的虚拟机。
请参见图9a，上述管理节点200可包括：
计算单元1，用于计算上述集群系统当前的综合负载均衡值。
上述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，上述综合负载均衡值用于表示上述集群系统的综合负载均衡状态，上述计算资源负载均衡值用于表示上述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示上述集群系统的网络资源负载均衡状态。
选择单元2，用于当上述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集。
选择单元2可细化包括第一选择单元和第二选择单元，其中，第一选择单元用于基于计算资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集，而第二选择单元用于基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集。
目标待迁移虚拟机确定单元3，用于基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机所宿主的目标物理主机。
上述综合维度包括计算资源维度和网络资源维度。
迁移通知单元4，用于通知上述目标待迁移虚拟机所宿主的源物理主机将上述目标待迁移虚拟机迁移至上述目标物理主机；上述源主机和目标物理主机均为上述集群系统中的物理主机。
具体细节请参见本文前述记载，在此不作赘述。
可见，在本发明实施例中，管理节点200是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点200和上述多个物理主机之间，以及上述多个物理主机之间通过网络相通信。
上述网络可包含核心层和边缘层；其中，边缘层中分布的交换机为边缘交换机，核心层中分布的交换机为核心交换机，边缘交换机通过边缘链路与物理主机直接相连；任一核心交换机通过核心链路与网络中的其他设备相连接。
在本发明其他实施例中，在基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集的方面，上述所有实施例中的选择单元2(或第二选择单元)可用于：
从上述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由上述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集，上述加权通信路径用于反映对核心链路负载的影响。
具体细节请参见本文前述记载，在此不作赘述。
由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
假定集群系统中的物理主机总数为M+1；候选虚拟机集中的候选待迁移虚拟机总数为N，1≤i≤N。
在本发明其他实施例中，在上述基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机的目标物理主机的方面，上述所有实施例中的目标待迁移虚拟机确定单元3可用于：
针对上述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算上述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；上述侯选目标物理主机为上述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为上述第i个候选待迁移虚拟机的集群系统综合影响度，上述集群系统综合影响度对应的侯选目标物理主机为上述第i个候选待迁移虚拟机的目标物理主机；
从上述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机；
上述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，上述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
具体细节请参见本文前述记载，在此不作赘述。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
在本发明其他实施例中，请参见图9b，上述管理节点200还可包括：
获取模块5，用于获取当前计算资源性能数据和当前网络资源性能数据。其中：
当前计算资源性能数据包括：集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据；
当前网络资源性能数据包括：集群系统中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间。
可根据上述当前计算资源性能数据和当前网络资源性能数据，计算所述当前的综合负载均衡值，具体内容请参见本文前述记载，在此不作赘述。
请参考图1，本发明实施例还提供一种集群系统，该集群系统包括多个计算节点(亦即物理主机)和管理节点，管理节点是如图9a或图9b实施例所示的管理节点。其中，计算节点可包括硬件层、运行在硬件层之上的宿主机(Host)、以及运行在宿主机之上的至少一个虚拟机；其中：
管理节点，用于计算所述集群系统当前的综合负载均衡值；当所述综合负载均衡值大于均衡度阈值的情况下，分别基于计算资源维度和网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；基于计算资源维度和网络资源维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；并通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机(所述源主机和目标物理主机均为所述集群系统中的物理主机)；
源物理主机，用于根据管理节点的通知，与目的物理主机进行交互，执行目标待迁移虚拟机的迁移操作；
目的物理主机，用于根据管理节点的通知，与源物理主机进行交互，执行目标待迁移虚拟机迁移操作。
该集群具体可以是数据中心或者虚拟化集群。
可见，在本发明实施例中，管理节点是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
管理节点的具体结构单元及相关介绍请参见图9a和图9b所示实施例，在此不作赘述。
请参考图10，是本发明实施例所应用的一个数据中心的示意图，该数据中心包括管理节点101和多个计算节点102(物理主机)。其中，若干个计算节点102可组成一个集群(Cluster)系统。
管理节点101的用于管理某集群系统的功能实体可以视为该集群系统的一部分，换句话说，可以认为每个集群系统也具有自己的管理节点。
另外，所说的管理节点101可以有两个，一个作为主用管理节点，另一个可作为备用管理节点。本发明实施例方法可用于整个数据中心(此时将整个数据中心视为一个集群系统)，也可以用于其中的一个集群系统。
集群系统是一个逻辑概念，由多个计算节点组成，并以此为粒度提供一些高级功能，例如资源调度、高可用等。计算节点为物理主机(即物理服务器)，提供单机虚拟化功能，其上通常会运行多个虚拟机。管理节点管理整个数据中心，提供计算节点和虚拟机生命周期管理、资源调度管理、运维等功能，是整个数据中心的大脑。计算节点和管理节点都是计算机设备。
如图11a所示，是管理节点101上部署的负载均衡控制装置1100的示意图，该负载均衡控制装置可包括：
性能数据采集模块1101，用于获取当前计算资源性能数据和当前网络资源性能数据，其中：当前计算资源性能数据包括：集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据；当前网络资源性能数据包括：集群系统中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间。该性能数据采集模块1101对应于图9b实施例中的获取模块5。
DRS控制模块1102，用于对其它模块进行控制和调度，以达到对数据中心或者其中的虚拟化集群的资源进行动态管理。例如，获取性能数据采集模块1101采集的性能数据，下发控制指令以及相应的性能数据给其它模块，指令其它模块进行相应的处理。DRS控制模块1102对应于图9a或9b实施例中的计算单元1。
负载均衡建议生成模块1103，可具体包括网络资源维度选择模块1103a和计算资源维度选择模块1103b，其中：网络资源维度选择模块1103a，用于对于不同的网络拓扑(Tree、VL2、Fat-Tree、BCube)负责识别出高负载的边缘链路，从该高负载链路相关的所有虚拟机中选择候选待迁移虚拟机。计算资源维度选择模块1103b，用于基于计算资源维度从集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机。负载均衡建议生成模块1103对应于图9a或9b实施例中选择单元2。
负载均衡建议执行模块1104，进行收益评估，例如计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值、预测迁移代价值，如果通过收益评估，则执行相应的虚拟机迁移操作。该负载均衡建议执行模块1104对应于图9a或9b实施例中的目标待迁移虚拟机确定单元3和迁移通知单元4。
如图11b所示，是本发明实施例中集群系统的管理节点101上运行的集群资源管理系统的示意图。本文上述的负载均衡装置的性能数据采集模块1101对应于图11b中的输入数据处理子系统，DRS控制模块1102对应于图11b中的控制子系统，负载均衡建议生成模块1103对应于图11b中的算法子系统(尤其是其中的负载均衡算法)，负载均衡建议执行模块1104对应于图11b中的输出子系统。
网络资源维度选择模块1103a，是本发明实施例新加入到集群资源管理系统的模块，也对应于图11b中的算法子系统。
由上可见，通过部署负载均衡装置1100，管理节点101可以对集群系统实施负载均衡控制管理。在本实施例中，管理节点具体是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点101和上述多个物理主机之间，以及上述多个物理主机之间通过网络相通信。
上述网络可包含核心层和边缘层；其中，边缘层中分布的交换机为边缘交换机，核心层中分布的交换机为核心交换机，边缘交换机通过边缘链路与物理主机直接相连；任一核心交换机通过核心链路与网络中的其他设备相连接。
在本发明其他实施例中，在基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集的方面，上述所有实施例中的负载均衡建议生成模块1103可用于：
从上述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由上述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集，上述加权通信路径用于反映对核心链路负载的影响。
具体细节请参见本文前述记载，在此不作赘述。
由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
假定集群系统中的物理主机总数为M+1；候选虚拟机集中的候选待迁移虚拟机总数为N，1≤i≤N。
在本发明其他实施例中，在上述基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机的目标物理主机的方面，上述所有实施例中的负载均衡建议执行模块1104可用于：
针对上述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算上述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；上述侯选目标物理主机为上述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为上述第i个候选待迁移虚拟机的集群系统综合影响度，上述集群系统综合影响度对应的侯选目标物理主机为上述第i个候选待迁移虚拟机的目标物理主机；
从上述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机；
上述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，上述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
具体细节请参见本文前述记载，在此不作赘述。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
请参见图12，本发明实施例还提供一种管理节点120。该管理节点120用于包括多个物理主机和上述管理节点120的集群系统，上述多个物理主机中的每个物理主机包括硬件层、运行在上述硬件层之上的宿主机、以及运行在上述宿主机之上的虚拟机。
上述管理节点120包括硬件层、运行在上述硬件层之上的宿主机Host121、以及运行在上述Host121之上的至少一个虚拟机(VM1-VMn)；
上述硬件层可包括网卡122、处理器123和内存124；其中，Host121可以包括管理节点120上的VMM和运行于该VMM上的特权虚拟机，虚拟机VM1-VMn为该管理节点120上除特权虚拟机之外的其他虚拟机。
其中，上述Host121或虚拟机VM1-VMn中的其中一个可用于：
计算上述集群系统当前的综合负载均衡值；上述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，上述综合负载均衡值用于表示上述集群系统的综合负载均衡状态，上述计算资源负载均衡值用于表示上述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示上述集群系统的网络资源负载均衡状态；
当上述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集；
基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机所宿主的目标物理主机；上述综合维度包括计算资源维度和网络资源维度；
通知上述目标待迁移虚拟机所宿主的源物理主机将上述目标待迁移虚拟机迁移至上述目标物理主机；上述源主机和目标物理主机均为上述集群系统中的物理主机。
可见，在本发明实施例中，管理节点120是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点120和上述多个物理主机之间以及上述多个物理主机之间通过网络相通信，上述网络包含核心层和边缘层；其中，上述边缘层中分布的交换机为边缘交换机，上述核心层中分布的交换机为核心交换机，上述边缘交换机通过边缘链路与上述物理主机直接相连；任一上述核心交换机通过核心链路与网络中的其他设备相连接。
在本发明其他实施例中，在上述基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集的方面，上述所有实施例中的Host121或虚拟机VM1-VMn中的其中一个可用于：
从上述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由上述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集，上述加权通信路径用于反映对核心链路负载的影响。
由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
假定上述集群系统中的物理主机总数为M+1；上述候选虚拟机集中的候选待迁移虚拟机总数为N；1≤i≤N。
在本发明其他实施例中，在上述基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机的目标物理主机的方面，上述所有实施例中的Host121或虚拟机VM1-VMn中的其中一个可用于：
针对上述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算上述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；上述侯选目标物理主机为上述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为上述第i个候选待迁移虚拟机的集群系统综合影响度，上述集群系统综合影响度对应的侯选目标物理主机为上述第i个候选待迁移虚拟机的目标物理主机；
从上述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机；
上述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，上述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
具体细节请参见本文前述记载，在此不作赘述。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
图13是本发明实施例提供的一种管理节点130的结构示意图。该管理节点130用于包括多个物理主机和上述管理节点130的集群系统，上述多个物理主机中的每个物理主机包括硬件层、运行在上述硬件层之上的宿主机、以及运行在上述宿主机之上的虚拟机。
管理节点130则可包括处理器131、存储器132、和输入/输出设备133(可选的)。
可选的，输入/输出设备133可包括网络交换设备，例如网卡。更具体的，网卡可以为支持RDMA功能的各种网卡，例如，可以为无线宽带(InfiniBand)卡或以太网(RDMA overConverged Ethernet，简称RoCE)卡等。
存储器132可以包括只读存储器和随机存取存储器，并向处理器131提供操作指令和数据。存储器132的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器132存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集:
宿主机134:作为管理层，用以完成硬件资源的管理、分配；为虚拟机呈现虚拟硬件平台；实现虚拟机的调度和隔离。其中，Host可能是虚拟机监控器(VMM)；此外，有时VMM和1个特权虚拟机配合，两者结合组成Host。其中，虚拟硬件平台对其上运行的各个虚拟机提供各种硬件资源，如提供虚拟处理器、内存、虚拟磁盘、虚拟网卡等等。其中，该虚拟磁盘可对应Host的一个文件或者一个逻辑块设备。虚拟机则运行在Host为其准备的虚拟硬件平台上，Host上运行一个或多个虚拟机。
虚拟机135：通过虚拟机软件可以在一台物理计算机上模拟出一台或者多台虚拟的计算机，而这些虚拟机就像真正的计算机那样进行工作，虚拟机上可以安装操作系统和应用程序，虚拟机还可访问网络资源。对于在虚拟机中运行的应用程序而言，虚拟机就像是在真正的计算机中进行工作。
在本发明实施例中，通过调用存储器132存储的操作指令(该操作指令可存储在操作系统中)，处理器131用于：
计算上述集群系统当前的综合负载均衡值；上述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，上述综合负载均衡值用于表示上述集群系统的综合负载均衡状态，上述计算资源负载均衡值用于表示上述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示上述集群系统的网络资源负载均衡状态；
当上述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集；
基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机所宿主的目标物理主机；上述综合维度包括计算资源维度和网络资源维度；
通知上述目标待迁移虚拟机所宿主的源物理主机将上述目标待迁移虚拟机迁移至上述目标物理主机；上述源主机和目标物理主机均为上述集群系统中的物理主机。
处理器131控制管理节点130的操作，处理器131还可以称为CPU(CentralProcessing Unit，中央处理单元)。存储器132可以包括只读存储器和随机存取存储器，并向处理器131提供指令和数据。存储器132的一部分还可以包括非易失性随机存取存储器(NVRAM)。具体的应用中管理节点130的各个组件通过总线系统136耦合在一起，其中总线系统136除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统136。
上述本发明实施例揭示的方法可以应用于处理器131中，或者由处理器131实现。处理器131可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器131中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器131可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器132，处理器131读取存储器132中的信息，结合其硬件完成上述方法的步骤。
可见，在本发明实施例中，管理节点130是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点130和上述多个物理主机之间以及上述多个物理主机之间通过网络相通信，上述网络包含核心层和边缘层；其中，上述边缘层中分布的交换机为边缘交换机，上述核心层中分布的交换机为核心交换机，上述边缘交换机通过边缘链路与上述物理主机直接相连；任一上述核心交换机通过核心链路与网络中的其他设备相连接。
在本发明其他实施例中，在上述基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集的方面，上述所有实施例中的处理器131可用于：
从上述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由上述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集，上述加权通信路径用于反映对核心链路负载的影响。
由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
假定上述集群系统中的物理主机总数为M+1；上述候选虚拟机集中的候选待迁移虚拟机总数为N；1≤i≤N。
在本发明其他实施例中，在上述基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机的目标物理主机的方面，上述所有实施例中的处理器131可用于：
针对上述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算上述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；上述侯选目标物理主机为上述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为上述第i个候选待迁移虚拟机的集群系统综合影响度，上述集群系统综合影响度对应的侯选目标物理主机为上述第i个候选待迁移虚拟机的目标物理主机；
从上述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机；
上述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，上述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
具体细节请参见本文前述记载，在此不作赘述。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
本发明实施例提供另一种管理节点140，参见图14，该管理节点140包括处理器1402、存储器1403，用于进行该管理节点140内部各设备之间的连接的至少一个通信总线1404，以实现各设备之间的连接和相互通信。可选的，该管理节点140还可以包括网卡1401。
其中，通信总线1404可以是工业标准体系结构(Industry StandardArchitecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，简称为EISA)总线等。该总线1404可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器1403可以包括随机存取存储器，并向处理器1402提供指令和数据。
处理器1402可以是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
网卡1401可以为支持RDMA功能的各种网卡，例如，可以为无线宽带(InfiniBand)卡或以太网(RDMA over Converged Ethernet，简称RoCE)卡等。
其中，通过读取存储器1403存储的指令，处理器1402用于，
计算上述集群系统当前的综合负载均衡值；上述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，上述综合负载均衡值用于表示上述集群系统的综合负载均衡状态，上述计算资源负载均衡值用于表示上述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示上述集群系统的网络资源负载均衡状态；
当上述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集；
基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机所宿主的目标物理主机；上述综合维度包括计算资源维度和网络资源维度；
通知上述目标待迁移虚拟机所宿主的源物理主机将上述目标待迁移虚拟机迁移至上述目标物理主机；上述源主机和目标物理主机均为上述集群系统中的物理主机。
可见，在本发明实施例中，管理节点140是基于计算资源维度(计算资源负载均衡值)和网络资源维度(网络资源负载均衡值)综合计算负载均衡值的。在综合负载均衡值大于均衡度阈值，又分别基于计算资源维度和网络资源维度选择候选待迁移虚拟机，之后再基于综合维度确定目标待迁移虚拟机及其目标物理主机进行迁移。因此，本发明实施例是综合各维度来进行负载均衡控制的。与基于计算资源维度来进行判决和调整的现有技术相比，本发明实施例所涉及维度更全面，达到的负载均衡效果也相对更好。
上述管理节点140和上述多个物理主机之间以及上述多个物理主机之间通过网络相通信，上述网络包含核心层和边缘层；其中，上述边缘层中分布的交换机为边缘交换机，上述核心层中分布的交换机为核心交换机，上述边缘交换机通过边缘链路与上述物理主机直接相连；任一上述核心交换机通过核心链路与网络中的其他设备相连接。
在本发明其他实施例中，在上述基于网络资源维度从上述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入上述候选虚拟机集的方面，上述所有实施例中的处理器1402可用于：
从上述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由上述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将上述虚拟机对中加权通信路径最大的虚拟机对，加入上述候选虚拟机集，上述加权通信路径用于反映对核心链路负载的影响。
由于路由策略的随机性，核心链路的流量很难进行准确的计算，其原因是：核心链路负载通过物理主机进行检测计算存在一定的难度，并且，复杂的拓扑结构中，两台物理主机之间存在多条路径，很难通过物理主机端检测的流量进行核心链路流量估算。
而在本发明实施例中，是查找高带宽利用率的边缘链路，即使在复杂的拓扑结构中，由于边缘链路直接与物理主机相连接，由物理主机端检测计算边缘链路的带宽利用率、流量相对也较为简单。
在筛选出虚拟机对后，又利用加权通信路径来选择候选待迁移虚拟机，而加权通信路径又用于反映对核心链路负载的影响，因此，虽然是在边缘链路中查找，但最终可筛选出对核心链路负载的影响最大的候选待迁移虚拟机。为后续的通过迁移虚拟机来达到降低网络核心链路的负载提供了良好的前提条件。
假定上述集群系统中的物理主机总数为M+1；上述候选虚拟机集中的候选待迁移虚拟机总数为N；1≤i≤N。
在本发明其他实施例中，在上述基于综合维度确定上述候选虚拟机集中的目标待迁移虚拟机以及上述目标待迁移虚拟机的目标物理主机的方面，上述所有实施例中的处理器1402可用于：
针对上述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算上述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；上述侯选目标物理主机为上述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从上述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为上述第i个候选待迁移虚拟机的集群系统综合影响度，上述集群系统综合影响度对应的侯选目标物理主机为上述第i个候选待迁移虚拟机的目标物理主机；
从上述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为上述目标待迁移虚拟机；
上述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，上述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
具体细节请参见本文前述记载，在此不作赘述。
本发明实施例中，使用集群系统综合影响评估值来评估候选虚拟机集中所有候选待迁移虚拟机迁移至不同的侯选目标物理主机对集群造成的不同影响(例如性能影响和负载均衡状态影响)，并从中选择影响最小的候选待迁移虚拟机及相应的目标物理主机，使得迁移后，对集群系统的综合影响最小。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件(例如处理器)来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种负载均衡控制方法，其特征在于，应用于管理节点，其中所述管理节点和多个物理主机包括在集群系统中，每一所述物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机，所述方法包括：
计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源物理主机和目标物理主机均为所述集群系统中的物理主机。
2.如权利要求1所述的负载均衡控制方法，其特征在于，
所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；
所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集包括：
从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
3.如权利要求1或2所述的负载均衡控制方法，其特征在于，所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；
所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机包括：
针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；
从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；
所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
4.如权利要求1所述的负载均衡控制方法，其特征在于，所述计算集群系统当前的综合负载均衡值包括：
根据当前计算资源性能数据和当前网络资源性能数据，计算所述当前的综合负载均衡值；
其中，所述当前计算资源性能数据包括：集群系统中当前各物理主机的CPU利用率数据以及集群系统中当前各物理主机的内存利用率数据；所述当前网络资源性能数据包括：集群系统中当前各链路的带宽利用率，集群系统中当前各虚拟机对之间的路径长度，以及，集群系统中当前各虚拟机对之间的延迟时间。
5.如权利要求3所述的负载均衡控制方法，其特征在于，所述预测出的迁移后集群系统的综合负载均衡值根据如下方式计算：
根据预测出的、迁移后的计算资源性能数据，以及预测出的、迁移后的网络资源性能数据，计算预测出的迁移后集群系统的综合负载均衡值；
其中，所述预测出的、迁移后的计算资源性能数据包括：预测出的、迁移后集群系统中各物理主机的CPU利用率数据以及集群系统中各物理主机的内存利用率数据；所述预测出的、迁移后的网络资源性能数据包括：预测出的、迁移后集群系统中各链路的带宽利用率，集群系统中各虚拟机对之间的路径长度，以及，集群系统中各虚拟机对之间的延迟时间。
6.一种管理节点，其特征在于，用于包括多个物理主机和所述管理节点的集群系统，所述多个物理主机中的每个物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机；所述管理节点包括：
计算单元，用于计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
选择单元，用于当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
目标待迁移虚拟机确定单元，用于基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
迁移通知单元，用于通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源物理主机和目标物理主机均为所述集群系统中的物理主机。
7.如权利要求6所述的管理节点，其特征在于，
所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；
在所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集的方面，所述选择单元用于：
从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由所述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
8.如权利要求6或7所述的管理节点，其特征在于，
所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；
在所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机的方面，所述目标待迁移虚拟机确定单元用于：
针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；
从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；
所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
9.一种管理节点，其特征在于，用于包括多个物理主机和所述管理节点的集群系统，所述多个物理主机中的每个物理主机包括硬件层、运行在所述硬件层之上的宿主机、以及运行在所述宿主机之上的虚拟机；所述管理节点包括硬件层、运行在所述硬件层之上的宿主机Host、以及运行在所述Host之上的至少一个虚拟机；其中，所述Host或虚拟机用于：
计算所述集群系统当前的综合负载均衡值；所述综合负载均衡值至少包括计算资源负载均衡值和网络资源负载均衡值；其中，所述综合负载均衡值用于表示所述集群系统的综合负载均衡状态，所述计算资源负载均衡值用于表示所述集群系统的计算资源负载均衡状态，网络资源负载均衡值用于表示所述集群系统的网络资源负载均衡状态；
当所述综合负载均衡值大于均衡度阈值的情况下，基于计算资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入候选虚拟机集；以及，
基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集；
基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机所宿主的目标物理主机；所述综合维度包括计算资源维度和网络资源维度；
通知所述目标待迁移虚拟机所宿主的源物理主机将所述目标待迁移虚拟机迁移至所述目标物理主机；所述源物理主机和目标物理主机均为所述集群系统中的物理主机。
10.如权利要求9所述的管理节点，其特征在于，
所述管理节点和所述多个物理主机之间以及所述多个物理主机之间通过网络相通信，所述网络包含核心层和边缘层；其中，所述边缘层中分布的交换机为边缘交换机，所述核心层中分布的交换机为核心交换机，所述边缘交换机通过边缘链路与所述物理主机直接相连；任一所述核心交换机通过核心链路与网络中的其他设备相连接；
在所述基于网络资源维度从所述集群系统内所有物理主机上运行的虚拟机中选择候选待迁移虚拟机加入所述候选虚拟机集的方面，所述Host或虚拟机用于：
从所述网络的所有边缘链路中筛选出高带宽利用率的边缘链路；
找出经由所述筛选出的高带宽利用率的边缘链路通信的虚拟机对；
将所述虚拟机对中加权通信路径最大的虚拟机对，加入所述候选虚拟机集，所述加权通信路径用于反映对核心链路负载的影响。
11.如权利要求9或10所述的管理节点，其特征在于，
所述集群系统中的物理主机总数为M+1；所述候选虚拟机集中的候选待迁移虚拟机总数为N；
在所述基于综合维度确定所述候选虚拟机集中的目标待迁移虚拟机以及所述目标待迁移虚拟机的目标物理主机的方面，所述Host或虚拟机用于：
针对所述候选虚拟机集中的第i个候选待迁移虚拟机，分别计算所述第i个候选待迁移虚拟机由源物理主机迁移至各侯选目标物理主机的集群系统综合影响评估值，得到M个集群系统综合影响评估值；1≤i≤N；所述侯选目标物理主机为所述集群系统中除第i个候选待迁移虚拟机所宿主的源物理主机外的其他M个物理主机；
从所述M个集群系统综合影响评估值中，选择最小的集群系统综合影响评估值作为所述第i个候选待迁移虚拟机的集群系统综合影响度，所述集群系统综合影响度对应的侯选目标物理主机为所述第i个候选待迁移虚拟机的目标物理主机；
从所述候选虚拟机集的N个候选待迁移虚拟机中，确定集群系统综合影响度最小的候选待迁移虚拟机为所述目标待迁移虚拟机；
所述集群系统综合影响评估值包含预测出的迁移代价值以及预测出的迁移后集群系统的综合负载均衡值，所述迁移代价值用于表征虚拟机迁移操作对整个集群系统性能的影响。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410465141.0A CN104270416B (zh) | 2014-09-12 | 2014-09-12 | 负载均衡控制方法及管理节点 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410465141.0A CN104270416B (zh) | 2014-09-12 | 2014-09-12 | 负载均衡控制方法及管理节点 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104270416A CN104270416A (zh) | 2015-01-07 |
| CN104270416B true CN104270416B (zh) | 2018-03-13 |
Family
ID=52161905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410465141.0A Expired - Fee Related CN104270416B (zh) | 2014-09-12 | 2014-09-12 | 负载均衡控制方法及管理节点 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104270416B (zh) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105025104A (zh) * | 2015-07-23 | 2015-11-04 | 浪潮(北京)电子信息产业有限公司 | 一种云桌面调度方法和系统 |
| US10645528B2 (en) * | 2015-09-18 | 2020-05-05 | Huawei Technologies Co., Ltd. | System and methods for reliable communication with mobility along a predictable route |
| CN106201659B (zh) | 2016-07-12 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 一种虚拟机热迁移的方法及宿主机 |
| CN106293871A (zh) * | 2016-07-22 | 2017-01-04 | 浪潮(北京)电子信息产业有限公司 | 一种集群虚拟机的资源调度方法 |
| CN106230997B (zh) * | 2016-09-30 | 2020-06-05 | 腾讯科技（北京）有限公司 | 一种资源调度方法和装置 |
| CN106502764B (zh) * | 2016-10-26 | 2019-08-02 | 广东浪潮大数据研究有限公司 | 一种自动迁移虚拟机的方法及装置 |
| US10320895B2 (en) * | 2016-11-15 | 2019-06-11 | Microsoft Technology Licensing, Llc | Live migration of load balanced virtual machines via traffic bypass |
| CN115344551A (zh) * | 2017-06-26 | 2022-11-15 | 华为技术有限公司 | 一种数据迁移的方法以及数据节点 |
| CN107395401B (zh) * | 2017-07-04 | 2021-02-19 | 华南师范大学 | 基于网络通信域和资源均衡度的多组件应用云部署方法 |
| CN107493205B (zh) * | 2017-07-13 | 2020-08-14 | 华为技术有限公司 | 一种设备集群扩容性能预测方法及装置 |
| CN107592370A (zh) * | 2017-10-31 | 2018-01-16 | 郑州云海信息技术有限公司 | 一种网络负载均衡方法及装置 |
| CN108499100B (zh) * | 2018-03-30 | 2021-02-19 | 南京工业大学 | 一种基于边缘计算的云游戏错误恢复方法及系统 |
| CN109039895B (zh) * | 2018-06-22 | 2020-09-29 | 河海大学常州校区 | 基于OpReduce系统的优化解耦设计的搜索系统及方法 |
| CN108924202B (zh) * | 2018-06-25 | 2021-12-03 | 郑州云海信息技术有限公司 | 一种分布式集群的数据容灾方法以及相关装置 |
| CN108984659A (zh) * | 2018-06-28 | 2018-12-11 | 山东浪潮商用系统有限公司 | 一种用于idfs的文件均衡方法 |
| CN110874248A (zh) * | 2018-08-31 | 2020-03-10 | 上海仪电（集团）有限公司中央研究院 | 一种云计算环境中虚拟机启动加速方法及系统 |
| CN110221779B (zh) * | 2019-05-29 | 2020-06-19 | 清华大学 | 分布式持久性内存存储系统的构建方法 |
| CN112565320B (zh) * | 2019-09-25 | 2021-11-02 | 大唐移动通信设备有限公司 | 负载均衡方法及装置 |
| CN110769059B (zh) * | 2019-10-28 | 2021-08-17 | 中国矿业大学 | 一种面向区域性边缘计算物联网的协作服务部署与业务分配方法 |
| CN111107144B (zh) * | 2019-12-17 | 2022-06-07 | 南京曦光信息科技有限公司 | 一种基于边缘计算的综合传感网测试平台 |
| CN111614746B (zh) * | 2020-05-15 | 2022-03-22 | 北京金山云网络技术有限公司 | 云主机集群的负载均衡方法、装置及服务器 |
| CN111813502B (zh) * | 2020-07-10 | 2023-08-29 | 重庆邮电大学 | 面向工业边缘节点的计算资源管理调度方法 |
| CN111970326B (zh) * | 2020-07-22 | 2023-06-09 | 深圳市欢太科技有限公司 | 集群流量平衡方法、装置、存储介质及终端 |
| CN112437129B (zh) * | 2020-11-10 | 2022-07-19 | 广州虎牙科技有限公司 | 集群的管理方法及集群的管理装置 |
| CN112764926A (zh) * | 2021-01-19 | 2021-05-07 | 汉纳森（厦门）数据股份有限公司 | 一种基于负载感知的数据流动态负载均衡策略分析方法 |
| CN113377496A (zh) * | 2021-05-18 | 2021-09-10 | 麒麟软件有限公司 | 一种虚拟机负载均衡方法 |
| CN114338696B (zh) * | 2022-03-14 | 2022-07-15 | 北京奥星贝斯科技有限公司 | 用于分布式系统的方法及装置 |
| CN115576732B (zh) * | 2022-11-15 | 2023-03-10 | 阿里云计算有限公司 | 根因定位方法以及系统 |
| CN116389288B (zh) * | 2023-06-05 | 2023-08-29 | 中电运行(北京)信息技术有限公司 | 一种用于电力网络安全的多靶场场景构建方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102082692A (zh) * | 2011-01-24 | 2011-06-01 | 华为技术有限公司 | 基于网络数据流向的虚拟机迁移方法、设备和集群系统 |
| CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
| CN103812895A (zh) * | 2012-11-12 | 2014-05-21 | 华为技术有限公司 | 调度方法、管理节点以及云计算集群 |
-
2014
- 2014-09-12 CN CN201410465141.0A patent/CN104270416B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102232282A (zh) * | 2010-10-29 | 2011-11-02 | 华为技术有限公司 | 一种实现数据中心资源负载均衡的方法及装置 |
| CN102082692A (zh) * | 2011-01-24 | 2011-06-01 | 华为技术有限公司 | 基于网络数据流向的虚拟机迁移方法、设备和集群系统 |
| CN103812895A (zh) * | 2012-11-12 | 2014-05-21 | 华为技术有限公司 | 调度方法、管理节点以及云计算集群 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104270416A (zh) | 2015-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104270416B (zh) | 负载均衡控制方法及管理节点 | |
| CN102866915B (zh) | 虚拟化集群整合方法、装置及虚拟化集群系统 | |
| CN104184813B (zh) | 虚拟机的负载均衡方法和相关设备及集群系统 | |
| CN104166594B (zh) | 负载均衡控制方法及相关装置 | |
| CN104484220B (zh) | 虚拟化集群的动态资源调度的方法及装置 | |
| CN103890714B (zh) | 涉及基于集群的资源池的主机感知资源管理的系统和方法 | |
| CN105446979B (zh) | 数据挖掘方法和节点 | |
| Ashish et al. | Parallel bat algorithm-based clustering using mapreduce | |
| CN103853596B (zh) | 用于在工作组之间迁移虚拟机的方法和系统 | |
| US20190394132A1 (en) | System and Method for Network Slicing for Service-Oriented Networks | |
| JP6381170B2 (ja) | 基数推定を介した結合パスの効率的な判定 | |
| CN104216784A (zh) | 热点均衡控制方法及相关装置 | |
| CN103814358A (zh) | 服务器群内的虚拟机放置 | |
| JP2015511345A (ja) | 仮定およびスキーマフリー構成管理のための要件メトリクスの反復シミュレーション | |
| WO2014208661A1 (ja) | 仮想マシン配置設計装置及び方法とシステム並びにプログラム | |
| CN103927216B (zh) | 用于管理虚拟装置的方法和系统 | |
| Mahini et al. | An evolutionary game approach to IoT task offloading in fog-cloud computing | |
| CN107967164A (zh) | 一种虚拟机热迁移的方法及系统 | |
| Guzek et al. | A holistic model for resource representation in virtualized cloud computing data centers | |
| Shakhovska et al. | The information model of cloud data warehouses | |
| CN109947531B (zh) | 超融合一体机的存储容量扩展方法、装置及存储介质 | |
| Rogeiro et al. | Running high resolution coastal models in forecast systems: Moving from workstations and HPC cluster to cloud resources | |
| CN108364327A (zh) | 一种图数据处理的方法及装置 | |
| CN104424012A (zh) | 用于提供自定义虚拟装置的方法和设备 | |
| Moody et al. | Reconfigurable network testbed for evaluation of datacenter topologies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180313 Termination date: 20200912 |