CN103399796B - 利用存储负载信息来平衡集群虚拟机 - Google Patents

Abstract

本公开涉及利用存储负载信息来平衡集群虚拟机。提供用于产生存储相关负载系数信息以用于可在多个物理处理器的集群（诸如刀片中心）中运行的多个虚拟机的负载平衡的方法和系统。在存储系统内产生关于存储系统的整体操作以及关于存储系统中的多个存储控制器中的每个的负载系数信息。在存储系统内这样产生的信息被传送到与多个虚拟机关联的负载平衡部件。该负载平衡部件然后利用存储相关负载系数信息（可选地与其它负载系数信息结合地利用）在多个物理处理器上分配或者重新分配多个虚拟机的操作。

Description

利用存储负载信息来平衡集群虚拟机

本申请是申请日为2007年9月21日、申请号为200780036450.4、发明名称为“利用存储负载信息来平衡集群虚拟机”的中国发明专利申请的分案申请。

技术领域

本发明一般涉及在集群计算环境中运行的多个虚拟机的负载平衡，更具体地讲，本发明涉及产生并且利用存储系统负载信息对可在诸如所谓的“刀片中心（bladecenter）”的集群的多个物理处理器上运行的多个虚拟机进行负载平衡的系统和方法。

背景技术

在计算行业中公知，提供在物理计算环境“之上”运行的虚拟机环境。也称作访客操作系统的虚拟机环境提供虚拟化层，从而使用户和/或应用程序可以进行操作，就好像它们正在利用具有均在虚拟化操作系统（“访客”操作系统）的控制下的关联的专用存储器、存储装置和I/O外围设备的专用物理处理器一样。因此，多个这种虚拟机可以同时（和/或并发地）在一个计算环境上运行，从而使多个用户和/或应用程序可以同时/并发地进行操作，就好像每个用户和/或应用程序正在使用专用物理计算环境一样。这种虚拟机计算技术在计算领域中已被公知了一段时间，包括例如IBM MVS（multiple virtual systems，多虚拟系统）计算环境以及包括最新的例子，诸如VMware族的虚拟机软件组件。

如上所述，在物理计算环境之上运行虚拟机的主要好处是允许在一个物理计算环境上同时/并发地运行多个这种虚拟机。每个虚拟机代表对应的一组用户和/或对应的一组应用程序运行。此外，由于集群计算已经发展成使多个物理处理器在“集群”中紧密耦合，虚拟机计算技术已经适于允许在这种集群中利用多个处理器。具体地讲，多个虚拟机计算环境可以同时/并发地运行并且分配到配置在集群计算环境中的多个物理处理器上。这里使用的集群计算应该被广义地理解为不仅包括通过短距离总线结构进行通信的紧密耦合的物理处理器，还包括更加宽广分配的网络计算，其中，利用公知的计算机网络通信协议和介质将多个处理器逻辑耦合成“集群”。具体地讲，这里使用的“集群”包括通常称作“刀片中心”的结构，其中，多个服务器（每个包括在操作系统的控制下的一个或多个全操作处理器以及存储器）通过共享结构和/或通过公共背板/中间板总线架构而紧密耦合。因此，集群可以表示共享用于进程间通信的结构连接或短距离总线结构的、物理上邻近的紧密耦合的多个物理处理器和/或处理器/存储器联合体（complex），并且可以包括利用计算机组网协议耦合多个处理器的更宽物理分配。另外，这里使用的“多个处理器”是指与在一个刀片/联合体上具有多个处理器的刀片或联合体中的一个处理器不同的、诸如刀片的处理器/存储器联合体。换言之，这里使用的“多个处理器”中的每个“处理器”包括通常在一个操作系统的控制下的处理器/存储器联合体。

在运行多个虚拟机的这种集群计算环境中，通常知道在该集群环境内提供负载平衡方法和/或组件，以允许在多个的处理器中的不同处理器上动态分配和重新分配多个虚拟机（即，访客操作系统）。换言之，当多个物理处理器之一（例如，一个刀片或者联合体）由于在其上运行的多个虚拟机的计算要求和/或存储要求而过载时，在过载的刀片/联合体上运行的一个或更多个虚拟机可以被重新分配到一个或更多个负载较轻的物理处理器。因此，集群环境识别的负载平衡组件或方法负责将虚拟机环境适当地分配或重新分配到集群环境中的多个物理处理器中的不同处理器（例如，不同的刀片或联合体），以避免或者减轻该集群的刀片/联合体的可能过载。

与在集群计算环境中运行的多个虚拟机相关的当前负载平衡系统和技术仅仅考虑从集群计算物理处理器本身得出的负载系数信息。换言之，当前的负载平衡系统和技术可以确定，在关联的物理处理器上运行多个虚拟机，可能使该物理处理器的特定CPU或者存储器计算过载。然而，通常的问题是：这种负载系数信息不能够解决虚拟机操作所强加的负载的其它方面。具体地讲，在集群计算环境中运行的多个虚拟机的当前负载平衡技术没有考虑与附接存储系统关联的负载系数信息。在集群计算环境中，多个物理处理器常常共享对存储系统的访问。该存储系统可以包括多个存储控制器，这些存储控制器都耦合到多个存储装置，用于代表附接物理处理器提供I/O请求处理，例如包括诸如RAID存储管理的存储管理技术。通常，多个虚拟机不会使任何特定物理处理器的CPU或主存储器显著过载。然而，由于共享将物理处理器耦合到存储系统的特定存储控制器的公共接口结构，多个虚拟机会形成集群系统的整体性能的瓶颈。因此，当前的负载平衡技术通常不能够检测这种负载平衡瓶颈并且由此不能够通过将一个或更多个虚拟机重新分配到其它物理处理器来补救这种瓶颈。

从以上讨论可以明显看出，需要对在集群计算环境中运行的多个虚拟机进行负载平衡的改进系统和方法。

发明内容

通过提供用于产生存储系统相关负载系数信息并且在用来重新分配在集群计算机环境中运行的多个虚拟机的负载的负载平衡技术中利用这种信息的系统和方法，本发明解决了以上和其它问题，由此推进了现有技术。

因此，本发明的第一特征提供了一种系统，该系统包括物理处理器的集群，其中，所述物理处理器中的每个与该集群的每个其它物理处理器通信地耦合。该系统还包括多个虚拟机，其中，每个虚拟机可在物理处理器的任何子集上运行，并且其中，所述多个虚拟机被分配以在多个物理处理器上运行。另外，该系统包括负载平衡器，与所述多个物理处理器通信地耦合，该负载平衡器适于基于负载系数信息将虚拟机从物理处理器的第一子集重新分配到物理处理器的不同子集。最后，该系统包括具有多个存储控制器的存储系统。该存储系统耦合到所述物理处理器并且包括适于产生与所述存储系统的存储控制器相关的存储系统负载系数信息的存储负载系数信息产生器。该负载系数信息产生器与该负载平衡器通信地耦合，从而将所述存储系统负载系数信息应用于所述负载平衡器，以在所述负载平衡器中用来重新分配虚拟机。

本发明的另一个特征提供了一种用于平衡在与存储系统耦合的多个物理处理器的集群中运行的多个虚拟机的负载的方法。该方法包括在所述存储系统内产生与所述存储系统中的多个存储控制器的负载相关的存储负载系数信息。该方法还包括将所述存储负载系数信息传送到与所述多个物理处理器关联的负载平衡器。该方法最后包括重新分配所述多个虚拟机中的一个或更多个以在所述集群中的不同物理处理器上运行从而平衡与存储控制器的使用相关联的物理处理器的负载。

本发明的另一个特征提供了一种用于多个虚拟机的负载平衡设备。所述设备和虚拟机可在具有刀片中心的系统中运行，所述刀片中心通过交换结构连接而耦合到存储系统。所述刀片中心包括多个处理器/存储器联合体，所述存储系统包括多个存储控制器。所述负载平衡设备包括存储系统负载系数信息产生器，其可在所述存储系统内运行以产生与所述多个存储控制器中的一个或更多个相关的存储负载系数信息。所述设备还包括负载平衡器，其可在所述刀片中心中运行并且与所述存储系统负载系数信息产生器通信地耦合。所述负载平衡器适于从所述产生器接收所述存储负载系数信息，并且还适于利用所述存储负载系数信息以在所述刀片中心的所述多个处理器/存储器联合体上分配所述多个虚拟机中的一个或更多个的操作。

附图说明

图1是根据本发明的特征和方面增强的示例性系统的框图，该系统用于产生存储相关负载系数信息并且将它传送到与在多个物理处理器上运行的多个虚拟机关联的负载平衡器。

图2和图3是描述根据本发明的特征和方面的集成在图1的系统的一个或更多个存储控制器内的存储相关负载系数信息产生器的示例性实施例的框图。

图4是描述根据本发明的特征和方面的示例性方法的流程图，该方法在存储系统内内产生存储相关负载系数信息并且将该产生的信息传送到负载平衡器以用于平衡可在多个物理处理器上运行的多个虚拟机的负载。

图5到图7是提供图4的方法的实施例的用于产生并且传送存储相关负载系数信息以供负载平衡器用来平衡可在多个物理处理器上运行的多个虚拟机的示例性附加细节的流程图。

具体实施方式

图1是示例性系统100的框图，该框图具体表达了系统100内的用于产生和利用存储相关负载系数信息的特征和方面。系统100可以包括集群计算环境102，该集群计算环境102包括多个物理处理器，即处理器A104、处理器B106和处理器C108。本领域公知的是，这种集群环境可以包括用于耦合多个处理器的背板或者中间板互连152（或者其它合适的互连结构）。这种互连152的例子包括各种PCI总线结构、AMB/AHB总线结构以及多种高速串行互连结构和协议，以允许各处理器104到108彼此进行通信。

多个虚拟机可以在集群102的处理器上运行。另外，多个虚拟机可以分布在集群102中的多个物理处理器中的一个或更多个上。例如，处理器A104指示：虚拟机V1和虚拟机V2当前在处理器A104上运行。处理器B106指示：虚拟机V3到V7利用该处理器运行。按照相似方式，处理器C108指示：它也被虚拟机V7利用（例如，V7分配在两个处理器106和108上）。

系统100还包括负载平衡器101，该负载平衡器101通过互连152与多个物理处理器104到108通信地耦合，以帮助均衡或者平衡在所述多个物理处理器上运行的虚拟机的负载。图1中通过例子将集群102的负载平衡器101示出为与集群102的各个处理器104到108不同的独立实体。本邻域普通技术人员会容易地认识到，负载平衡器101可以实现为集群102内的这种独立的不同的处理部件，或者可以集成在该集群的特定处理器内，或者可以分配为驻留在多个物理处理器中的每个中的协作通信进程。这些设计选择对于本邻域普通技术人员是公知的。

如上所述，当前实行的负载平衡技术和结构通常仅仅考虑与每个特定处理器关联并且由每个特定处理器可确定的利用率度量。例如，当前已知的负载平衡技术倾向于仅考虑特定物理处理器的CPU利用率、该特定处理器的存储器利用率、由处理器产生的I/O请求速率等（即，由每个处理器针对该处理器确定的度量）。如当前实行的，在多个物理处理器上运行的虚拟机的负载平衡技术没有考虑对诸如存储系统110的公共存储装置的共享访问，在存储系统110中，多个存储控制器112到116可用于操作。例如，当前的负载平衡技术无法实现使在物理处理器104到108中的一个或更多个上运行的几个虚拟机共享针对公共存储系统110的多个存储控制器112到116中的仅仅一个的访问。如果特定共享的存储控制器过载，则共享对该存储控制器的访问的对应虚拟机可能不是最佳地执行。例如，可以将虚拟机移动到集群102的不同处理器，从而允许共享对特定存储控制器的访问的一个或更多个虚拟机与存储系统110的多个存储控制器112到116中的不同存储控制器进行交互。然而，当前的负载平衡技术和结构不允许这种负载平衡，实际上一般没有与涉及存储系统操作的负载系数相关的有用信息用来进行这种确定。

根据存储系统110的特征和方面，存储系统110包括负载系数信息产生器部件118，该负载系数信息产生器部件118用于分析存储系统110的整体操作以及存储系统110的多个存储控制器112到116的操作。产生器118于是可以产生与各个存储控制器112到116的性能以及系统110的整体性能相关的负载系数信息。由部件118产生的这种负载系数信息然后被传送到可在集群102中运行的负载平衡器101，从而允许负载平衡器101在决定如何分配或者重新分配在集群102的多个物理处理器104到108上运行的多个虚拟机的负载时，考虑存储控制器和存储系统负载系数信息。

在现有技术中已公知，集群102的多个物理处理器104到108可以通过交换结构耦合150与存储系统110的各个存储控制器112到116进行通信。这种交换结构可以实现为串行连接SCSI（“SAS”）交换结构、光纤通道交换结构、或者其它几个其它已知的可买到的计算机和/或存储组网结构和协议中的任何一个。负载系数信息产生器118通常与存储控制器112到116中的每个通信地耦合，以收集存储相关负载系数信息并且经由存储控制器和交换结构150将该信息传送给集群102内的负载平衡器101。

通信路径154概括地表示允许负载系数信息产生器118从存储系统110的存储控制器112到116中的每个收集信息的任何合适的控制器间通信结构和协议。路径154还允许负载系数信息产生器118通过存储控制器112到116中的一个或更多个、经由结构150、通过一个或更多个处理器104到108，将产生的信息传送给集群102（具体地传送给负载平衡器101）。更具体地讲，负载系数信息产生器118可以表示任何合适的结构和/或进程间通信技术，用于从存储控制器112到116收集信息并且将这种收集的信息格式化为要发送到负载平衡器101的负载系数信息。因此，产生器118可以是存储系统110中与多个存储控制器112到116不同且分离的组件，或者可以集成在一个或更多个存储控制器内并且在其内中运行。

存储系统110的存储控制器112到116还可以通过交换结构耦合160与存储系统110的多个存储装置120到122进行通信。如上所述，串行连接SCSI（SAS）、并行SCSI、光纤通道、和其它公知的可买到的通信结构和协议可以用于将存储控制器112到116中的每个与存储装置120和122中的每个进行耦合。还可以通过交换结构耦合160将控制器间通信通道154简单实现为控制器到控制器的通信。优选的是，为了控制器间通信的目的，独立且不同的通信通道154将各个存储控制器112到116与产生器118进行耦合，从而留下交换结构耦合160的全部带宽以用于在存储控制器112到116与存储装置120和122之间交换数据。

如图1所示，耦合系统100的各个组件的交换结构150例如允许多个处理器（104到108）中的任何一个可控地耦合到存储系统110内的多个存储控制器（112到116）中的任何一个。串行连接SCSI（“SAS”）的使用例示了应用本技术的公共设计选择。然而，本领域普通技术人员将容易地认识到，利用可买到的产品以允许这种灵活连通的各种其它交换结构连通架构。此外，还可以实现如下的特征和方面，其中，处理器与存储控制器之间的连通不被切换，而是通过操作员的配置和安装进行静态确定。因此，尽管在图1中没有显示，但是这些特征和方面还可以应用于在处理器与存储控制器之间没有交换结构连通的系统中。在这种情况下，这里进一步讨论的负载系数信息可以从多个存储控制器中的特定一个发送到与其静态耦合的、多个存储控制器中的对应的特定一个。然后，接收处理器利用存储相关负载系数信息，会使得首先与其它处理器和/或与负载平衡器部件101共享该信息，从而使得可以重新分配在各个处理器上运行的一个或更多个虚拟机以更好地平衡所有的多个处理器上的负载。

如上所述以及如下面进一步描述的，产生的关于存储系统110的存储控制器112到116的操作的负载系数信息可以通过多种技术中的任何一种技术从存储系统110内的产生器118传送到集群102中的负载平衡器101。例如，关于存储系统110的负载系数信息可以关于任何I/O操作异步地产生，例如，周期性产生或者响应于检测到特定变化而产生，并且通过存储控制器112到116经由交换结构耦合150通过处理器104到108中的任何一个转发到负载平衡器101。因此，负载平衡器101可以包括专用管理应用，该专用管理应用在多个物理处理器104到108中的一个或更多个上运行并且适于接收反映存储系统110的当前负载信息的这种周期性或间歇性传输。此外，负载系数信息产生器118的操作可以与存储系统110的存储控制器112到116中的每个内的I/O处理紧密集成在一起。因此，与存储系统110以及其中的每个控制器（112到116）的操作相关的当前负载系数信息可以被提供作为与来自集群102的I/O请求的处理关联的返回状态信息的一部分。然后，通过与多个物理处理器104到108以及在其上运行的虚拟机的协作集成，负载平衡器101可以从返回状态信息中检索与存储系统110相关的这种负载系数信息。不管存储系统110内产生的负载系数信息被返回到集群102的方式为何，负载平衡器101利用关于存储系统110的这种负载系数信息来分配和/或重新分配在集群102的多个物理处理器上运行的多个虚拟机的负载。

本领域普通技术人员会容易地认识到图1所示之外的用于全功能系统100、集群102或者存储系统110的大量的等效和附加部件。因此，图1仅仅是在集群计算环境中实现用以基于关于与该集群耦合的存储系统内的多个存储控制器的负载系数信息，在该集群内的多个处理器上分配或者重新分配多个虚拟机（或者其它应用）的负载的特征和方面的示例。仅仅为了讨论的简化和简短，省去了图1中的这些附加特征。

如图1所示，负载系数信息产生器118被描述为相对于存储系统110内的多个存储控制器112到116分离且不同。但是如上所述，负载系数信息产生功能也可以紧密地集成在存储控制器的处理内。因此，图2示出了存储系统110的一个示例性实施例，其中，负载系数信息产生器218集成在多个存储控制器（212到216）的指定监督存储控制器212内。存储系统110的其它存储控制器214和216与监督存储控制器212协作运行，以与在监督存储控制器212内运行的负载系数信息产生器218交换负载系数信息。

以同样的方式，图3示出了另一个示例性实施例，其中，负载系数信息产生被分配到多个存储控制器的每个。图3的存储系统310由此示出了三个存储控制器312到316，其中的每个分别具有对应的集成负载系数信息产生器组件318（A）、318（B）和318（C）。

在图2和图3中，多个存储控制器212到216以及312到316可以利用几个已知的可买到的控制器间通信介质和协议中的任何一个进行通信。由此，任何一个或多个存储控制器可以收集与多个存储控制器中的任何一个或全部相关的负载系数信息。这种控制器间通信介质和协议例如可以包括InfiniBand、光纤通道、串行连接SCSI（SAS）、PCI总线结构（包括PCI标准的几种变型）等等。因此，本领域普通技术人员会容易地认识到多种等效结构，凭借这些等效结构，可以收集关于存储系统整体和/或关于存储系统内的各个存储控制器中的每个的负载系数信息并且将其传送到附接的集群计算环境中的适当部件。另外，本领域普通技术人员会容易地认识到，在全功能存储系统110中通常存在大量的附加部件。为了讨论的简化和简短，从图2和图3去除了这些附加部件。

图4是宽泛地描述根据可在诸如以上参照图1示出和描述的系统内运行的特征和方面的方法的流程图。首先，步骤400用于通过存储系统内的任何合适装置产生存储相关负载系数信息。如上所述，负载系数信息产生器部件可以在存储系统的任何或全部的存储控制器内运行，或者可以作为相对于存储控制器独立且不同并且与其耦合的组件来运行。这种负载系数信息可以包括相关存储系统和/或每个存储控制器的操作的任何数目的方面。例如，在与存储系统和/或存储控制器的操作相关的各种类型的负载系数信息之中有：

·当前与存储系统的每个存储控制器通信的虚拟机的数目；

·与多个存储控制器的任何一个耦合的任何一组限定的虚拟机的I/O请求处理速率；

·任何一组识别的存储控制器与可在多个处理器上运行的任何一组虚拟机之间的测量的数据吞吐率；

·在任何一组识别的存储控制器中未决的排队或未处理的I/O请求的数目；

·从任何一组识别的虚拟机产生的排队或未处理的I/O请求的数目；

·任何一组识别的存储控制器与可在多个处理器上运行的任何一组识别的虚拟机之间的可能通信路径的最大数目；

·当前与任何一组识别的虚拟机耦合的存储控制器的总数；以及

·物理处理器的总数。

在通过存储系统内的负载系数产生器部件的操作产生了这种存储相关负载系数信息后，步骤400还用于实现将产生的负载信息传送给与可在多个物理处理器上运行的多个虚拟机关联的负载平衡器部件。负载平衡器然后可以利用该存储相关负载系数信息（结合对于负载平衡确定有用的任何其它信息），来重新分配可在多个物理处理器上运行的虚拟机。通过利用该存储相关负载系数信息，虚拟机的重新分配可以更好地利用存储系统的处理和通信带宽以及物理处理器利用率的其它方面。

如上所述以及如下面进一步讨论的，产生的存储相关负载系数信息的传送可以利用几种技术和结构中的任何一种。此外，该产生的信息可以周期性产生以更新与多个虚拟机关联的负载平衡器，可以基于在存储系统内检测到的事件或者改变的条件间歇性产生，或者可以作为由存储系统从可在多个物理处理器上运行的一个或更多个虚拟机接收并处理的I/O请求的处理的一部分进行产生并返回。

因此，图4的步骤402表示与多个虚拟机关联的负载平衡器部件按需要在多个物理处理器上重新分配多个虚拟机中的一个或多个的处理。这种重新分配（如果存在的话）帮助实现多个物理处理器上的负载的更好平衡，并且由此提供多个虚拟机的更好的整体性能。

本领域普通技术人员会容易地认识到图4的处理的大量附加步骤和示例性详细实施例。将在下文参照图5到图7进一步讨论详细处理的一些示例性实施例。本领域普通技术人员会容易地明白其它实施例和附加步骤，并且为了讨论的简洁和简短，在这里省去了这些其它实施例和附加步骤。

图5是提供以上描述的图4的步骤的示例性详细处理的流程图。通常，仅当在存储系统内检测到基础状态的改变时，图5的处理产生关于存储系统的负载系数信息。因此，通过检测会影响负载系数信息的存储系统的状态的改变（可以包括由存储系统检测到的附接系统和虚拟机的改变），按需要间歇性产生负载系数信息。步骤500因此表示如下处理：确定从上一次产生负载系数信息开始任何存储系统状态是否改变。如果没有检测到显著改变，处理持续在步骤500循环直到诸如检测到相关改变时。然后，当检测到存储系统状态的这种改变时，步骤502用于产生反映存储系统中的负载系数相关信息的当前状态的更新的负载系数信息。然后，步骤504用于将产生的、更新的负载系数信息发送到与在多个物理处理器上运行的多个虚拟机关联的负载平衡器部件。因此，图5中详述的步骤400可用于在检测到存储系统的状态的任何显著改变时，产生负载系数信息并且将它从存储系统发送到负载平衡器部件。

图6是提供以上描述的图4的步骤的示例性详细处理的流程图。通常，图6的处理响应于对从虚拟机和/或物理处理器接收的由存储系统进行的I/O请求的接收和处理，产生并返回当前的负载系数信息。具体地讲，步骤600表示存储系统内的I/O请求的接收和正常处理。从可运行一个或更多个虚拟机的一个或更多个物理处理器接收到的这些I/O请求可以表示用于在存储系统中检索或存储信息的典型读或写请求。这些正常处理存储或者检索被请求的数据，并且通常产生要返回给发起该请求的请求虚拟机和/或物理处理器的状态响应。然后，步骤602用于产生与存储系统和/或存储系统的存储控制器相关的当前负载系数信息。产生的信息可以附加到通过步骤600表示的对I/O请求的处理产生的结果/状态信息或者与其整合。例如，完成的I/O请求的返回/状态信息通常包括指示成功完成码和错误完成码的位字段和/或值。可以对这种状态完成信息中的位或者值进行编码以向物理处理器和/或虚拟机表示：当前的存储相关负载系数信息已经被附加到I/O操作的返回状态码或者已与其整合。最后，步骤604用于将I/O请求状态信息与附加/整合的负载系数信息一起进行发送，从而与请求物理处理器关联的负载平衡器部件可以将存储相关负载系数信息包括在它的负载平衡确定中。因此，如图6所示的步骤400可以用于在处理来自可在附接集群中的多个物理处理器中的任何一个上运行的多个虚拟机中的任何一个的针对存储系统的I/O请求时，产生负载系数信息并将其从存储系统发送到负载平衡器部件。

图7是提供图4的步骤400的处理的示例性细节的流程图。通常，图7的处理用于在负载系数信息的值落在关联阈值的范围之外时，产生并发送存储相关负载系数信息。因此，首先，步骤700用于产生当前的负载系数信息。可以基于对各种特定事件的检测，周期性或者间歇性地执行该操作。步骤702然后表示如下的可选处理：产生用于与负载系数信息中的值进行比较的当前更新的阈值。如上所述，可以在制造存储系统时或者在存储系统建立和安装的配置步骤中静态地确定阈值，或者可以基于存储系统的改变操作动态地确定阈值。然后，步骤704用于利用当前阈值信息（不管是先前静态产生的还是通过步骤702的处理当前更新的）来确定通过步骤700产生的负载系数信息中的任何值是否落在由对应的阈值定义的范围之外。如果没有，则步骤400的处理完成。否则，将当前更新的存储相关负载系数信息发送到与附接集群中的多个虚拟机和多个物理处理器关联的负载平衡器部件。响应于接收到这种信息，负载平衡器部件然后可以选择将多个虚拟机中的一个或更多个重新分配到多个物理处理器中的其它物理处理器。因此，图7中详述的步骤400响应于检测到负载系数信息中的任何值落在由对应阈值定义的值的范围之外，产生并且发送更新的负载系数信息。另外，如上所述，可以静态地确定阈值，或者可以基于存储系统内的当前操作动态地更新阈值。示例性阈值可以对应于以上作为负载系数信息的代表而描述的示例性值。

本领域普通技术人员会容易地认识到在全功能实施方式中可以包括在图4到图7的方法中的等效和附加步骤。为了该讨论的简化和简短，在这里省去了这些附加特征和步骤。另外，本领域普通技术人员会认识到通过组合示例性详细方法的特征来实现以上方法的特征的其它详细方法。例如，仅当某些值落在定义的阈值范围之外时可以产生负载系数信息，并且如果这样产生，则可以返回完成I/O请求的完成状态。本领域普通技术人员将容易地想到大量其它等效步骤和方法。

尽管在以上附图和说明中例示和描述了本发明，但是这种例示和说明被认为是示例性的和非限制性的。已经显示和描述了本发明的一个实施例及其多个微小变型。期望对本发明的精神范围内的所有改变和变型进行保护。本领域技术人员会明白落入本发明的范围内的上述实施例的变型。具体地讲，本领域普通技术人员将容易地认识到，可以在电路中等效地实现这些特征和方面或者可以作为通用或专用处理器的合适编程的指令实现这些特征和方面。作为设计选择，本领域普通技术人员公知电路和编程设计的这种等效性。结果，本发明不限于上述讨论的特定例子和例示，而仅由权利要求及其等同物限定。

Claims (12)

1.一种虚拟机的负载平衡系统，包括：

物理处理器的集群，其中，所述物理处理器中的每个与所述集群中的每个其它物理处理器通信地耦合；

多个虚拟机，其中每个虚拟机可在所述物理处理器的任何子集上运行，并且其中所述多个虚拟机被分配以在多个所述物理处理器上运行；

负载平衡器，与多个所述物理处理器通信地耦合，所述负载平衡器适于基于负载系数信息将虚拟机从所述物理处理器的第一子集重新分配到与所述物理处理器的所述第一子集不同的所述物理处理器的另一子集；以及

存储系统，具有多个存储控制器，所述存储系统与所述物理处理器耦合，所述存储系统包括适于产生与所述存储系统的存储控制器相关的存储系统负载系数信息的存储负载系数信息产生器，其中，所述存储负载系数信息产生器与所述负载平衡器通信地耦合从而将所述存储系统负载系数信息应用于所述负载平衡器，以在所述负载平衡器中用来重新分配所述虚拟机。

2.如权利要求1所述的系统，

其中，每个物理处理器与所述存储系统的所述多个存储控制器的对应子集耦合。

3.如权利要求1所述的系统，

其中，所述物理处理器通过交换结构与所述存储控制器耦合。

4.如权利要求1所述的系统，

其中，所述物理处理器通过切换串行连接SCSI网络与所述存储控制器耦合。

5.如权利要求1所述的系统，

其中，所述多个存储控制器彼此耦合并且一个存储控制器被指定为监督控制器，其中，所述存储负载系数信息产生器可在所述监督控制器中运行以产生与所述多个存储控制器中的每个相关的存储负载系数信息。

6.如权利要求1所述的系统，

其中，所述存储系统还包括多个存储负载系数信息产生器，所述多个存储负载系数信息产生器中的每个可在所述多个存储控制器中的对应控制器中运行以产生用于该对应控制器的存储负载系数信息。

7.一种用于平衡在与存储系统耦合的多个物理处理器的集群中运行的多个虚拟机的负载的方法，该方法包括：

在所述存储系统内产生与所述存储系统中的多个存储控制器的负载相关的存储负载系数信息；

将所述存储负载系数信息传送到与所述多个物理处理器关联的负载平衡器；以及

重新分配所述多个虚拟机中的一个或更多个以在所述集群中的不同物理处理器上运行从而平衡与所述存储控制器的使用相关联的物理处理器的负载。

8.如权利要求7所述的方法，

其中，产生步骤还包括：

响应于感测到所述存储负载系数信息的改变，产生所述存储负载系数信息以更新所述负载平衡器。

9.如权利要求7所述的方法，

其中，产生步骤还包括：

产生所述存储负载系数信息作为对I/O请求的处理的返回状态信息的一部分，并且

其中，传送步骤还包括：

响应于完成的I/O请求，将所产生的存储负载系数信息作为状态信息返回。

10.如权利要求7所述的方法，还包括：

提供与存储负载系数信息中的信息相关的一个或更多个阈值，

其中，传送步骤还包括：

当所述存储负载系数信息中的值超过对应阈值时，将所述存储负载系数信息传送到所述负载平衡器。

11.如权利要求10所述的方法，

其中，提供步骤还包括：

动态地更新所述一个或更多个阈值。

12.如权利要求10所述的方法，

其中，提供步骤还包括：

提供从选自下面的度量所组成的组的一个或更多个度量导出的一个或更多个阈值：

当前与所述存储控制器中的每个进行通信的激活的虚拟机的数目；

任一组虚拟机的I/O请求处理速率；

存储控制器与任一组虚拟机之间的数据吞吐量；

存储控制器中的未处理I/O请求的数目；

来自一组虚拟机的未处理I/O请求的数目；

任一组存储控制器与任一组虚拟机之间的可能通信路径的数目；

与任一组虚拟机连接的存储控制器的总数；以及

物理处理器的数目。