CN102388350A - 确定优化实体利用率和资源功耗的状态分配 - Google Patents

Abstract

在一种确定多个实体的状态分配的方法中，开发了实体的至少一个实体功率模型和资源致动器的至少一个资源功率模型，该方法实质性地优化多个实体和多个资源致动器的总功耗。另外，公式化具有目标函数和至少一个约束的约束优化问题，并且通过对目标函数采用搜索工具、至少一个实体功率模型和至少一个资源功率模型以标识实体的状态分配来解决该问题，这导致优化的总功耗。

Description

确定优化实体利用率和资源功耗的状态分配

相关公开的交叉引用

本申请与待定日提交的美国专利申请S/N.待定(律师案号No.200802683-1)共享一些主题，其公开内容通过引用整体结合于此。

背景

功率是企业服务器和数据中心的设计和操作中的关键问题，并且预期因对服务器和数据中心不断增加的需求而有继续增加的重要性。冷却设备(例如，风扇和计算机室空调)所消耗的功率也已变成企业服务器和数据中心的设计和操作中的重要组成部分。作为示例，已知大数据中心(例如，30,000平方英尺、额定功率10MW)中的冷却设备仅每年的电力成本即达数百万美金。

功耗水平增加的相同趋势还正在变得越来越适用于更小的规模，例如，集群层级、或甚至单个服务器层级。更具体地，随着计算基础设施越来越密集和处理器越来越强大，已知服务器风扇消耗功率的量也越来越大。例如，已发现通过风扇和特定的刀片服务器的峰值用电高达2000W，其包括约23％的刀片式服务器的典型系统功率。

附图简述

从以下参考附图的描述中，本发明的特征对本领域技术人员将变得显而易见，在附图中：

图1A示出根据本发明一实施例的用于确定多个实体的状态分配的系统的简化框图，该系统实质性地优化了这些实体和被配置成将资源可变地提供给实体的多个资源致动器的总功耗；

图1B示出根据本发明一实施例的图1A中所示系统的更详细的示意性框图；

图2示出根据本发明一实施例的确定多个实体的状态分配的方法的流程图，该系统实质性地优化了多个实体和多个资源致动器的总功耗；

图3A和3B共同示出根据本发明一实施例的采用搜索工具来解决约束优化问题并由此标识多个实体的总功耗的状态工作负荷的方法的流程图，该方法导致实质性优化；以及

图4示出根据本发明一实施例的配置成实现或执行图1A和1B所示的优化器的计算装置的框图。

详细描述

为了简化和说明的目的，通过主要参考其示例性实施例来描述本发明。在以下描述中，阐述了许多具体细节以提供对本发明的透彻理解。然而，将对本领域技术人员显而易见的是，可实践本发明而不限于这些具体细节。在其他情况下，众所周知的方法和结构并未进行详细描述以免不必要地混淆本发明。

本文中公开了一种用于确定多个实体的状态分配的系统和方法，该系统和方法实质性地优化多个实体和被配置成将资源可变地提供给实体的多个资源致动器的总功耗。状态分配可包括例如工作负荷分配、开/关(on/off)设置、休眠/唤醒模式等。另外，如本文中以下更详细地讨论的，通过使用诸如模拟退火、爬坡等搜索工具来确定候选状态分配，从而确定对约束优化问题的目标函数的解决方案。此外，至少一个实体功率模型和至少一个资源功率模型用于确定候选状态分配对目标函数的影响。

基于关于实体和资源致动器的实时信息，根据候选状态分配确定导致优化的总功耗(实体功率和资源功率两者)的实体的功耗设置。在实体能够执行分配给实体的工作负荷，而基本上未违反任何性能或环境条件约束，同时满足预定功耗阈值或者同时针对至少一组候选状态分配最小化总功耗时，总功耗被认为是经优化的。

通过实现本文中公开的系统和方法，可优化实体在执行工作负荷时和资源致动器在将诸如冷却资源之类的资源提供给实体时所消耗的功率量以满足预定功耗阈值或最小总功耗水平。该优化的总功耗转换成节约操作成本和在特定实例中CO2排放两者。另外，因为通过基于物理学的基于模型的方法来作出工作负荷分配的确定，所以模型可与系统一起发展，由此导致稳健的控制系统。

首先参考图1A，示出根据一个示例的用于确定多个实体的状态分配的系统100的简化示意图，该系统实质性地优化实体和被配置成将资源可变地提供给实体的多个资源致动器的总功耗。应当理解，系统100(如图1A和1B所示)可包括附加元件并且可去除和/或修改此处描述的一些元件，而不脱离系统100(如图1A和1B所示)的范围。

如图所示，系统100包括优化器102，优化器102可包括软件、固件、和/或硬件并且被配置成确定多个实体160a-160n(图1B)的状态分配，该系统实质性地优化实体160a-160n和多个资源120a-120n(图1B)的总功耗。状态分配可包括例如工作负荷分配、开/关设置、休眠/唤醒模式等。资源致动器120a-120n被配置成影响一个或多个实体160a-160n处的一个或多个条件。由此，资源致动器120a-120n可被认为将诸如冷却或其他环境条件资源之类的共享资源提供给实体160a-160n，实体160a-160n可包括诸如电子芯片、服务器、电源、网联设备、存储设备等任何发热设备。

虽然资源致动器120a-120n和实体160a-160n可包括任何数量的不同的元件组合，但是提供以下示例以给予对资源致动器120a-120n和实体160a-160n之间的潜在关系的更清楚理解。作为第一特定示例，资源致动器120a-120n包括风扇并且实体160a-160n包括服务器，其中风扇和服务器被放置在一个外壳中。作为另一个特定示例，资源致动器120a-120n包括空调单元并且实体160a-160n包括容纳在机架中的服务器，其中空调单元和服务器被容纳在诸如数据中心之类的室内。作为又一个特定示例，资源致动器120a-120n包括放置在流体喷射设备的喷嘴中的发射致动器并且实体之一160a包括具有多个核的电子芯片。作为再一个特定示例，资源致动器120a-120n包括泵并且实体160a-160n包括空调单元，其中沿着被配置成将冷却流体提供给空调单元的各个管道来放置泵。

根据一个示例，当实体160a-160n和资源致动器120a-120n能够被操作以执行工作负荷需求而基本上未违反任何性能或环境条件约束、同时满足预定功耗阈值，或者同时针对至少一组候选工作负荷分配最小化总功耗时，实体160a-160n和资源致动器120a-120n的总功耗被认为是实质性地优化的。在特定实例中，可放弃一个或多个性能或环境条件约束。由此，例如，优化器102被配置成确定实体160a-160n的状态分配，该优化器导致实体160a-160n在满足工作负荷需求时所消耗的功率和资源致动器120a-120n在满足实体160a-160n的环境条件需求时所消耗的功率被最小化或满足预定功耗阈值。

如图1A所示，优化器102被描绘为从各个输入源130接收数据，本文中以下参考图1B更详细地描述输入源130。数据包括资源致动器120a-120n的功率电平132、资源致动器120a-120n的设置134、工作负荷需求136、实体160a-160n的利用率水平138、实体160a-160n的功率电平140、实体160a-160n的环境条件142。优化器102一般被配置成确定实体160a-160n之间的状态分配，该优化器导致基于从输入源130接收的数据而优化的总功耗。

现在转向图1B，示出根据一个示例的图1A所示的系统100的更详细示意框图。如此处所示，优化器102包括实体功率模型模块104、资源功率模型模块106、条件模型模块108、优化模块110、输入模块112和输出模块114。模块104-114被设计成使用从输入源130获得的数据来执行优化器102中的各个功能，如下所述。优化器102还被描绘为可任选地包括资源控制器180和组控制器182。

在优化器102包括软件的实例中，优化器102可被存储在计算机可读存储介质上并且由计算设备处理器(未示出)执行或实现。在这些实例中，模块104-114可包括被配置成执行下文描述的功能的软件模块或者其他程序或算法。在优化器102包括固件和/或硬件的实例中，优化器102可包括被配置成执行下文描述的功能的电路或其他装置。在这些实例中，模块104-114可包括被配置成执行这些功能的软件模块和硬件模块中的一个或多个。

除了优化器102、资源致动器120a-120n和实体160a-160n以外，系统100被描绘为包括多个传感器150a-150n。“n”表示每个先前讨论的附图标记中的大于或等于1的整数值，并且由此指示系统100可包括一个或多个资源致动器120a-120n、一个或多个传感器140a-140n、以及一个或多个实体150a-150b。

资源致动器120a-120n中的每一个一般可被定义为任何合理适当的设备，该设备能够改变对实体160a-160n中一个或多个实体的诸如冷却流体、空气、水等共享资源的供应。另外，资源致动器120a-120n中的每一个可具有多个设置(例如，除了“开”和“关”以外的设置)，以由此改变共享资源向多个层级的供应。此外，资源致动器120a-120n可包括同类的或非同类设备。作为非同类设备的一个示例，例如，资源致动器之一120a可被配置成改变气流的供应，而资源致动器中的另一个120b可被配置成改变提供给实体160a-160n中的一个或多个的液体冷却剂的供应。

同样，实体160a-160n中的每一个可被定义为被配置成执行工作负荷(诸如，运行应用程序、执行网络切换功能、执行数据存储操作、执行冷却功能(空调单元)等)的任何设备，该设备被放置成受资源致动器120a-120n中的一个或多个改变资源的供应的影响。另外，传感器150a-150n被配置成感测实体160a-160n周围或其中的一个或多个条件，诸如，温度、流体流量、流体流速、压力、湿度、热阻等。传感器150a-150n可具有与实体160a-160n一对一的相关性，或者可存在比实体160a-160n更多或更少的传感器150a-150n。

根据一个示例，传感器150a-150n中的每一个可与实体160a-160n中的一个或多个相关联，并且可由此被配置成检测提供给各自相关联的实体160a-160n的资源的一个或多个条件。由此，例如，第一传感器150a被配置成检测提供给第一实体160a的资源的条件，第二传感器150b被配置成检测提供给第二实体160b的资源的条件等。根据一个示例，第一传感器150a可被放置在第一实体160a的流体入口，第二传感器150b可被放置在第二实体160b的流体入口等。在另一个示例中，第一传感器150a可被放置在第一实体160a内，第二传感器150b可被放置在第二实体160b内等。在第二示例中，传感器150a-150n可被放置在相应的实体160a-160n内以例如检测包含在相应的实体160a-160n中的CPU的温度。

如图1B进一步所示，实体160a-160n通过各条电源线172从电源170接收功率。虽然未示出，优化器102、资源致动器120a-120n和传感器150a-150n还可从可与电源170相同或不同的电源接收功率。在任何方面，可通过任何适当的已知方式来跟踪实体160a-160n从电源170获取的功率的量。例如，实体160a-160n中的每一个可配备有被配置成测量实体160a-160n中的每一个消耗的功率量的功率计。作为另一个示例，功率计可沿着电源线172被放置在实体160a-160n外部以测量提供给实体160a-160n的功率。作为又一个示例，例如，可基于实体160a-160n正在操作的层级来计算实体160a-160n所消耗的功率量。作为实体160a-160n包括服务器的特定示例，处理器的操作层级可被用于计算服务器的功耗水平。

输入模块112被配置成从输入源130接收输入，在一个示例中，输入源130包括资源致动器120a-120n、传感器150a-150n和实体160a-160n。更具体地，输入模块112被配置成：经由致动器输入线122接收资源致动器120a-120n的设置134、经由传感器输入线152接收传感器150a-150n所感测的条件142、以及经由实体输入线162接收实体利用率138和功率电平148。输入模块112还可被配置成经由致动器输入线122接收资源致动器120a-120n的功耗水平。另外，优化器102被配置成通过输入模块112或通过另一个输入装置来接收要放置或目前正置于实体160a-160n上的工作负荷的工作负荷需求136的信息。

在其他示例中，输入模块112被配置成从被配置成跟踪资源致动器120a-120n和/或实体160a-160n的一个或多个操作条件的设备接收输入。这些设备可包括例如放置在资源致动器120a-120n内部或外部的设备，这些设备被配置成跟踪资源致动器120a-120n的设置。作为示例，这些设备可包括检测诸如天窗、泵组件、风扇组件等各个组件的位置的编码器，这些编码器被配置成通过资源致动器120a-120n来改变流体的流动。作为另一个示例，这些设备可包括被放置成检测通过资源致动器120a-120n所提供的流体流的特性(诸如，速度、压力、流量速率等)的传感器，这些传感器可用于确定资源致动器120a-120n的设置。

这些设备还可包括例如放置在实体160a-160n内部或外部的诸如功率计之类的设备，这些设备被配置成测量实体160a-160n的功耗水平。

优化器102可将通过输入模块112所接收的数据存储在数据存储器116中，优化器102可在执行以下所讨论的各个功能时访问数据存储器116。数据存储器116可包括易失性和/或非易失性存储器，诸如DRAM、EEPROM、MRAM、闪存等。另外地或替换地，数据存储器116可包括被配置成从可移动介质读出并写入其中的设备，诸如，软盘、CD-ROM、DVD-ROM、或者其他光学或磁性介质。

实体功率模型模块104被配置成开发至少一个实体功率模型，其中该至少一个实体功率模型表征实体160a-160n的利用率水平和功耗水平之间的关系。在实体160a-160n包括同类实体的实例中，实体功率模型模块104可开发单个实体功率模型。在实体160a-160n包括非同类实体的实例中，实体功率模型模块104可为每种类型的实体开发单独的实体功率模型。在任何方面，实体功率模型模块104被配置成通过使用任何合理适当的标准模型构造技术(诸如，基于物理学的模型、基于实验数据的经验模型、机器学习模型等)，例如通过使用经由输入模块112所接收的数据，来开发实体功率模型。

作为实体160a-160n包括刀片服务器的特定示例，实体功率模型模块104可开发实体功率模型，为：

等式(1)： $P_{B_j}=g_B*{\mathrm{Util}}_j+P_{B,\mathrm{idle}}.$

等式(1)一般涉及基于第j个刀片的利用率(Util_j)和刀片的空闲功率(P_B，idle)的第j个刀片(B)的功耗(P)，它是刀片(B)在空闲状态的功耗。可通过在空闲和活动两个状态收集关于实体160a-160n的利用率水平和实体160a-160n的功耗水平的实验数据以及通过使函数g_B拟合数据来确定系数g_B。更具体地，实体功率模型模块104可通过在不同加载条件下测量实体160a-160n的功耗水平并且使函数g_B拟合那些数据来为它们开发功率模型。根据一个基于实验数据的结果，发现功耗(P)为实体160a-160n的处理器或CPU的利用率的线性函数并且g_B为由数据标绘形成的直线的斜率。

应当注意，当实体160a-160n包括诸如网络交换机、存储阵列等其他类型的实体时，实体功率模型模块104可开发一个或多个不同的实体功率模型。由此，例如，等式(1)中的函数g_B可能取决于为其开发实体功率模型的具体类型的实体而改变。

资源功率模型模块106被配置成开发至少一个功率模型，该功率模型使资源致动器120a-120n的设置与资源致动器120a-120n的功耗水平相关。在资源致动器120a-120n包括同类资源致动器的实例中，资源功率模型模块106可开发单个资源功率模型。在资源致动器120a-120n包括非同类资源致动器的实例中，资源功率模型模块106可为每种类型的资源致动器开发单独的资源功率模型。在任何方面，资源功率模型模块104被配置成通过使用任何合理适当的标准模型构造技术(诸如，基于物理学的模型、基于实验数据的经验模型、机器学习模型等)来开发资源功率模型。

根据一个特定示例，资源模型模块106被配置成通过应用资源致动器120a-120n所消耗的功率和其设置之间的适当代数形式的关系来开发资源功率模型。适当形式的一个示例为：

等式(2)：P_i＝f_i(A_i)。

在等式(2)中，P_i为第i个资源致动器120a-120n所消耗的功率，A_i为第i个资源致动器120a-120n的设置，以及f_i为P_i与A_i的代数函数关系。另外，多个资源致动器120a-120n的总功耗(P)被定义为资源致动器120a-120n的总功耗水平之和，或者：

等式(3)：P＝∑P_i。

根据一个示例，资源致动器120a-120n的设置被表达为矢量。另外，可通过收集与资源致动器120a-120n的设置和它们的功耗水平有关的实验数据以及通过使函数f_i拟合实验数据来确定函数f_i。应当注意，等式(2)中的函数f_i可能取决于为其开发资源功率模型的资源致动器的具体类型而改变。

条件模型模块108被配置成开发条件模型，该条件模型使多个资源致动器120a-120n的设置与至少一个实体160a-160n的位置处的环境条件和至少一个实体160a-160n的功耗水平相关。在实体160a-160n包括同类实体并且资源致动器120a-120n包括同类资源致动器的实例中，条件模型模块108可开发单个条件功率模型。在实体160a-160n包括非同类实体和/或资源致动器120a-120n包括非同类资源致动器的实例中，条件模型模块108可为每种类型的实体和/或资源致动器开发单独的条件模型。在任何方面，条件模型模块108被配置成通过使用任何合理适当的标准模型构造技术(诸如，基于物理学的模型、基于实验数据的经验模型、机器学习模型等)来开发条件功率模型。

根据一特定示例，条件模型模块108被配置成通过应用资源致动器120a-120n的设置、所检测的环境条件和至少一个实体160a-160n所消耗的功率、至少一个实体160a-160n的材料特性(诸如，热阻等)之间的适当代数形式的关系来开发条件模型。虽然该形式的关系可取决于任何数量的各种因素来采用许多形式，但是适当形式的一个示例为：

等式(4)：EC_i＝g_i(A₁，...，A_n，PE_i)。

在等式(4)中，EC_i为第i个实体160a-160n处的条件，A_j为第j个资源致动器120a-120n的设置，PE_i为第i个实体160a-160n所消耗的功率，以及g_i为使条件与资源致动器设置和第i个实体160a-160n的功耗水平相关的代数函数。另外，可通过收集关于资源致动器120a-120n的设置、实体160a-160n的功耗水平和检测到的条件的实验数据以及通过使函数g_i拟合数据来确定函数g_i。应当注意，当实体160a-160n包括诸如刀片服务器、网络交换机、存储阵列等非同类实体时，函数g_i将取决于具体类型的实体。

优化器模块110被配置成公式化具有目标函数和至少一个约束的约束优化问题。根据一个示例，目标函数被配置成最小化实体160a-160n和资源致动器120a-120n的总功耗。用于最小化包含i个风扇和j个刀片的外壳中的功耗的适当目标函数的一个示例用以下等式表示：

等式(5)： $\min (\underset{i}{\mathrm{\Σ}}{P}_{F_i}+\underset{j}{\mathrm{\Σ}}{P}_{B_j}).$

在等式(5)中，

为风扇i所消耗的功率而

为刀片j所消耗的功率。

另外，至少一个约束包括多个实体160a-160n的位置处的设定点环境条件和最大实体160a-160n的资源利用率水平的至少之一。设定点环境条件可包括特定设定点或多个实体160a-160n旨在保持在其内的环境条件值的范围。在另一个示例中，设定点环境条件可包括实体160a-160n要保持小于或保持大于的参考条件。作为特定示例，如果环境条件包括温度，则要保持小于或等于参考温度(T_ref)的对每个实体160a-160n的温度值(T_j)的约束可由以下等式定义：

等式(6)：T_j≤T_ref。

同样，实体160a-160n的利用率水平(Util_j)应当保持在参考阈值(Util_ref)以下以实质性地防止对实体160a-160n的性能的负面影响。以下是定义该要求的等式：

等式(7)：Util_j≤Util_ref。

作为示例，至少一个约束捕捉每个实体160a-160n处的要求设定点环境条件的诸如温度、压力、湿度等条件设定点要求。根据实体160a-160n内部或外部的一个或多个位置处的阈值条件，可指定设定点环境条件。另外，优化模块110可采用条件模型来量化设定点条件要求。

优化模块110被配置成通过使用被配置成在较大空间中搜索优化问题的解决方案的搜索工具来解决以上讨论的由目标函数和至少一个约束构成的优化问题，其中该解决方案导致对多个实体160a-160n的状态分配的标识，从而产生优化的总功耗(实体功率和资源功率两者)。更具体地，例如，给定n个实体160a-160n和m个工作负荷向n个实体160a-160n的当前分配，优化模块110被配置成采用搜索工具来搜索较大空间的候选状态分配以确定m个工作负荷的新分配，以使总功率(实体功率和资源功率)实质性地被优化，例如，总功耗实质性地被最小化或被维持在预定功耗阈值水平内。适当的搜索工具的示例包括模拟退火、爬坡、本地定向搜索、遗传算法等。

对采用哪些搜索工具的选择可基于目标函数的性质(例如，它是线性的、二次的、还是三次的等)和至少一个约束的性质(例如，它是线性的还是非线性的)。

在任何方面，优化模块110被配置成采用实体功率模型和资源功率模型，同时解决约束优化问题以确定所标识候选状态分配对目标函数的影响。由此，例如，优化模块110可标识多个候选状态分配，并且可针对多个候选状态分配中的每一个，通过应用实体功率模型来确定实体160a-160n的功耗水平以及通过应用资源功率模型来确定资源致动器120a-120n的功耗水平。另外，优化模块110可从候选状态分配中标识实体160a-160n的状态分配，该优化模块110导致实质性优化的总功耗。

根据一个示例，优化模块110将约束优化问题的解决方案或所标识状态分配存储在数据存储器116中。根据另一个示例，优化模块110采用输出模块114来将解决方案或所标识状态分配输出到输出设备190，诸如，计算设备、显示屏、打印机、网络设备等。

根据优化器102被配置成控制实体160a-160n之间的工作负荷分发/再分发(包括诸如实体160a-160n的开/关、唤醒/休眠等状态)和资源致动器120a-120n的操作的又一个示例，优化器102还包括资源控制器180和组控制器182。资源控制器180被配置成控制资源致动器120a-120n的设置以实质性地确保实体160a-160n处的环境条件保持在可包括过载阈值的一个或多个预定义阈值以下。在待定日(律师案号No.200802683-1的专利申请)中公开了适当的资源控制器180的一个示例。在该方面，资源控制器180被配置成接收各个功率模型或条件模型以确定资源致动器120a-120n的优化设置，如那个专利申请中所述，并且可独立于组控制器182来操作。

组控制器180可被配置成基于优化模块110所标识的状态分配将虚拟机(VM)主存的工作负荷动态地分配给具体实体160a-160，在该示例中这些实体160a-160为刀片服务器。状态分配可包括，工作负荷在实体160a-160n之间的原始分发或工作负荷在实体160a-160n之间的再分发。另外，当优化模块110确定通过实体160a-160n的一个或多个被设置成空闲状态使总功耗减少或最小化时，组控制器可将实体160a-160n的一个或多个设置成空闲或关状态。

关于该示例所描述的工作负荷为诸如进程或一组紧密相关的进程之类的计算单位。由此，当组控制器182寻求将工作负荷从源实体160a再分发到目标实体160b时，组控制器180暂停源实体160a上工作负荷的执行并且恢复目标实体160b上的工作负荷。另外，组控制器180可使来自源实体160a的状态信息复制到目标实体160b。由此，在一方面，组控制器182可执行工作负荷在类似类型的实体160a-160n之间的迁移。

虽然未示出，例如在刀片服务器的情况下，实体160a-160n中的每一个可包括本地效率控制器(EC)，该本地效率控制器调整各个刀片服务器的功率状态以匹配其资源利用率。

现在将参考以下图2所示的方法200的流程图来描述可操作优化器102的方法的一个示例。更具体地，图2描绘根据一个示例的确定多个实体160a-160n的状态分配的方法200的流程图，该方法200实质性地优化多个实体160a-160n和被配置成将资源提供给多个实体160a-160n的多个资源致动器120a-120n的总功耗。对本领域技术人员应当显而易见的是，方法200表示一般化图示，并且可添加其他步骤或可去除、修改或重排现有步骤而不脱离方法200的范围。

参考图1A和1B所示的系统100对方法200作出描述，并且由此参考其中引用的元件。然而，应当理解，方法200不限于系统100中所阐述的元件。相反，应当理解，方法200可通过具有与系统100中所阐述配置不同的配置的系统来实践。

诸如处理器(未示出)之类的控制器可实现或执行优化器102以执行方法200中所描述的一个或多个步骤。另外，当接收新工作负荷时、当手动指示时等等，控制器可实现或执行优化器102从而以预定时间间隔执行方法200，。一方面，可在基本上连续的基础上执行方法200以基本上连续地优化实体160a-160n和资源致动器120a-120n所消耗的总功率。

在步骤202，实体功率模型模块104为多个实体160a-160n开发至少一个实体功率模型。如上所讨论的，所开发的实体功率模型的数量可取决于包含在多个实体160a-160n中的不同类型的实体的数量。另外，实体功率模型表征实体160a-160n的利用率水平和功耗水平之间的关系。

在步骤204，资源功率模型模块106为多个资源致动器120a-120n开发至少一个资源功率模型。如上所讨论的，所开发的资源功率模型的数量可取决于包含在多个资源致动器120a-120n中的不同类型的资源致动器的数量。另外，资源功率模型使多个资源致动器120a-120n的设置与多个资源致动器120a-120n的功耗水平相关。

在步骤206，条件模型模块108开发至少一个条件模型，该条件模型使多个资源致动器120a-120n的设置与至少一个实体160a-160n的位置处的环境条件和至少一个实体160a-160n的功耗水平相关。如上所讨论的，所开发的条件模型的数量可取决于包含在系统100中的不同类型的实体160a-160n和/或资源致动器120a-120n的数量。

在步骤208，优化模块110公式化具有目标函数的约束优化问题。如上所讨论的，目标函数可被配置成最小化实体160a-160n和资源基础设施120的功耗。另外，至少一个约束包括多个实体160a-160n的位置处的设定点环境条件(诸如，温度)和最大实体160a-160n资源利用率水平的至少一个。

在步骤210，优化器102接收基本上实时的条件。条件可包括，例如，传感器150a-150n所检测的条件、实体160a-160n的功率电平等。另外，条件被认为是基本上实时接收的以由此捕捉比较当前的条件。

在步骤212，优化模块110基于在步骤210所接收的基本上实时的条件来解决约束优化问题，其中约束优化问题的解决方案生成实体160a-160n的状态分配，该解决方案导致优化的总功耗。优化模块110被配置成使用诸如模拟退火、爬坡、本地定向搜索、遗传算法等搜索工具来找出目标函数的解决方案。换言之，优化模块110被配置成使用搜索工具来找出状态分配和资源致动器设置，该优化模块110最小化执行工作负荷所消耗的总功率。另外，优化模块110被配置成采用实体功率模型和资源功率模型，同时解决约束优化问题来确定所标识候选状态分配对目标函数的影响。

由此，作为示例，优化模块110可通过实现搜索工具来标识候选状态分配，并且可通过应用实体功率模型来确定实体160a-160n的功耗水平以及通过应用资源功率模型来确定资源致动器120a-120n的功耗水平。另外，优化模块110可从候选状态分配中标识实体160a-160n的状态分配，该优化模块110导致实质性优化的总功耗，诸如，实质性最小化的总功耗水平、以其他方式保持在预定义阈值功耗水平内的总功耗水平、或相对于所标识候选状态分配来最小化的总功耗水平。

在步骤214，优化模块110输出关于实体160a-160n的所标识状态分配的数据/指令。关于所标识状态分配的数据可被输出到数据存储器116、在显示设备上显示、由打印设备打印、传送到联网的计算设备或存储位置等。关于状态分配的指令可被传送到组控制器182。如上所讨论的，组控制器182被配置成根据从优化模块110接收到的指令将作为虚拟机的工作负荷动态地分配给具体实体160a-160n。另外，组控制器182可使实体160a-160n中的具体实体进入休眠、空闲或关模式。虽然组控制器182和优化模块110已被描绘为形成单独的组件，但是优化模块110可形成组控制器182的一部分而不脱离优化器102的范围。

还如上所讨论的，资源控制器180可操作来改变资源致动器120a-120n的操作以补偿工作负荷在实体160a-160n上的布置和实体160a-160n的状态条件。更具体地，例如，资源控制器180可如待定日(律师案号No.200802683-1的专利申请)中所公开地操作以确定资源致动器120a-120n的优化设置。由此，资源控制器180可独立于组控制器182来操作。另外，资源控制器180可被配置成以比组控制器182改变实体160a-160n上的工作负荷分配的间隔小的时间间隔确定和改变资源致动器120a-120n的操作。

现在转向图3A和3B，共同示出根据一个示例的采用搜索工具来解决约束优化问题并由此标识工作负荷在多个实体160a-160n上的分配的方法300的流程图，该方法300导致实质性优化的总功耗。对本领域技术人员应当显而易见的是，方法300表示一般化图示，并且可添加其他步骤或可去除、修改或重排现有步骤而不脱离方法300的范围。

优化模块110可实现解决约束优化问题的方法300。由此，方法300可被认为提供图2中步骤210的更详细描述。另外，方法300被描绘为采用模拟退火工具来搜索优化问题的解决方案。然而，应当理解，模拟退火工具已用于一个示例中，而其他类型的搜索工具还可有效地用于各种情形中。

在步骤302，标识虚拟机(VM)的当前布置(X0)。另外，基于VM的布置并且通过对当前正在实体160a-160n上运行的VM求和来标识实体160a-160n的当前利用率。从自资源致动器120a-120n接收的输入中标识资源致动器120a-120n的当前利用率，如以上所讨论的。另外，可通过使用先前开发的实体功率模型和资源功率模型基于当前利用率水平来确定实体160a-160n的当前功耗水平和资源致动器120a-120n的当前功耗水平。

在步骤304，计数器(i)设为0，并且标识模拟退火工具要运行的时间长度的初始计时变量(T0)被输入到模拟退火工具中。另外，VM布置(X)被设为当前VM布置(X0)，并且当前被认为是最优总功耗(E_opt)的当前总功耗被设为等于实体160a-160n的功耗水平和资源致动器120a-120n的功耗水平之和的能耗。

在步骤306，扰动当前工作负荷布置以标识相对接近当前VM布置(X)的另一个VM布置(X′)。更具体地，模拟退火工具查找相对接近系统的当前状态的随机搜索。由此，例如，工具可通过将VM从第一实体160a移动到第二实体160b来扰动系统。

在步骤308，工具执行检查以确定VM迁移(X0-X′)的总数是否落在最大迁移值(MAX_MIGR)内。可由用户定义的最大迁移值可用于维持工作负荷的稳定性，但被认为在各个实例中是可任选的。如果VM迁移的总数落在最大迁移值以下，则工具在步骤310确定新VM迁移布置(X′)是否违反了实体160a-160n的任何利用率阈值。一方面，执行该检查以实质性地确保工作负荷的布置未负面地影响实体160a-160n的性能。

如果工具确定新VM布置(X′)未违反实体160a-160n的利用率阈值中的任一个，则工具实现实体功率模型和资源功率模型以计算与新VM布置(X′)相关联的能耗(E(X′))，如在步骤312所指示的。换言之，在步骤312，工具确定能耗(E(X′))是否在先前步骤302所表示的最优能耗水平(E_opt)以下。如果工具确定能耗(E(X′))小于先前所表示的最优能耗水平(E_opt)，则工具将最优VM布置(X_opt)定义为新VM布置(X′)并且将最优能耗水平(E_opt)定义为能耗水平(E(X′))。

在步骤316，工具更改时问改变参数T的值，该参数T被称为模拟退火算法中的温度。根据一个示例，温度(T)的值改变较小的量(例如，5％)，其指示模拟退火温度正在呈指数地降低。

在步骤318，生成作为温度(T)、与新布置(E(X′))相关联的能量和与当前有效的VM布置(X′)相关联的能量的函数的概率。如果能量(E(X′))小于能量(E(X))，则概率为1。换言之，如果(E(X′)＜E(X))，则概率＝1。否则，它是E(X′)和E(X)之间的能量差的递减函数，并且还是温度(T)的递减函数。换言之，否则概率＝exp((E(X)-E(X′))/T。随后概率与随机生成数比较。如果概率超过随机概率，则在步骤320接受新VM布置(X′)。换言之，如果当前有效的VM布置(X)的能量与新VM布置(X′)相比新布置的能量(E(X′))减少了，则将用等于1的概率来接受新VM布置(X′)。一方面，这将帮助工具基本上避免变成固定在本地最优值。在步骤318和320中的任一个之后，工具将计数器(i)加1，如在步骤322所指示的。工具还在如上所讨论的步骤308和310的“否”条件之后执行步骤322。

另外，在步骤324，工具确定计数器(i)是否已达到可由用户定义的预定义最大迭代次数，如步骤324所所示。只作为特定示例，工具确定计数器是否超过8000次迭代。如果工具确定计数器已达到预定义最大迭代次数，则工具输出最近所标识的最优VM布置(X_opt)被标识为导致优化功耗水平的VM布置。

然而，如果工具在步骤324确定计数器(i)未达到预定义最大迭代次数，则工具找出相对接近先前所修改的VM布置(X)的另一个有效VM布置(X′)，如步骤306所指示的。另外，工具重复步骤308-324，直到计数器(i)指示已执行预定义最大次迭代，此时工具输出在先前迭代期间在步骤306或步骤320所标识的VM布置导致最低总能耗水平、同时保持在步骤308和310所阐述的约束内的指示。

现在将提供应用方法200和300的特定示例。在该特定示例中，优化器102被包含在组控制器182中，实体160a-160n包括包含在外壳中的刀片服务器，并且资源致动器120a-120n包括用于冷却刀片服务器的风扇。要在刀片服务器的位置处维持的环境条件为温度。另外，Xen VM用于刀片服务器之间的工作负荷迁移，并且模拟退火工具用作搜索算法。

组控制器182的输入为工作负荷要求、刀片利用率、当前VM到刀片的分配、刀片CPU温度和刀片环境温度。因为每个工作负荷主存在VM内，要求可用作各个VM的利用率。对组控制器182可用的主要致动器为VM迁移，即VM到刀片服务器160a-160n的分配和/或再分配以及更改刀片服务器160a-160n的其他状态分配(诸如，开/关、休眠/唤醒等分配)。由此，例如，组控制器182被配置成使没有驻留VM的所有刀片服务器160a-160n断电并且在VM被分配给那些刀片服务器160a-160n时使那些刀片服务器重新通电。另外，组控制器182可将刀片服务器160a-160n中的某些置于不同的休眠模式中，其可包括，例如，在那些刀片服务器160a-160n进入空闲状态时将一些刀片服务器160a-160n置于关状态中以保存更多量的功率。

如以上参考优化模块110所讨论的，组控制器182被配置成标识刀片服务器160a-160n之间的VM布置、功率状态(诸如，关条件等)，其优化刀片服务器160a-160n在执行所要求的工作负荷时以及风扇120a-120n在将刀片服务器160a-160n维持在预定义温度时所消耗的总功率。组控制器182的任务可被公式化为具有以上最小化由等式(5)给出的刀片和风扇功耗以及由等式(6)和(7)分别给出的温度和利用率约束的目标的优化问题。因为刀片服务器的利用率为离散变量并且不能连续地改变，所以该问题相对难以解决。

由于VM必须原子级地(atomically)迁移，因此利用率中的更改粒度(granularity)取决于VM的利用率水平和刀片服务器160a-160n的功率设置。这些差异使得优化问题用常规优化技术难以处理。由此，组控制器182被配置成使用能够跨大搜索空间优化的搜索工具。作为示例，因为如上参考方法300所讨论的模拟退火对离散搜索空间特别有用且不太可能固定在本地最小值，所以组控制器182可采用模拟退火。还如以上参考方法300所讨论的，模拟退火工具需要生成和比较候选解决方案以更接近更有效的解决方案。为了比较两个候选VM布置，组控制器182通过使用先前开发的实体和资源功率模型(例如，通过实体功率模型模块104和资源功率模型模块106)来计算刀片服务器160a-160n的功率和风扇120a-120n的功率两者。尽管从刀片服务器160a-160n的利用率值计算刀片服务器功率是相对容易的，但因为需要针对那个VM分配确定最优风扇速度设置，所以风扇120a-120n的功率相对更困难。这变成了类似于如待定日(律师案号No.200802683-1的专利申请)中所讨论的通过资源控制器180所解决的优化问题。

如那个专利申请所讨论的，风扇的功耗水平(风扇功率)为以每分钟转数(RPM)为单位的转子转速的三次函数。这个关系可通过手动地设置风扇速度(FS)并且随后纪录各个风扇的功耗水平来确定。根据一个示例，各个风扇(i)的风扇功率(P)使用三阶多项式来近似，如以下等式所示：

等式(8)： $P_{F,i}=a_0*{\mathrm{FS}}_i^3+a_1*{\mathrm{FS}}_i^2+a_2*{\mathrm{FS}}_i.$

在等式(8)中，参数a0、a1和a2可通过使这些参数拟合到实验数据来确定。然而，代替那个专利申请中所采用的瞬态模型，组控制器182可采用热稳态模型，该热稳态模型与那个专利申请中所采用的瞬态模型相比相对简单地解决优化问题。稳态模型被配置成预测作为利用率

风扇i的风扇速度(FS_i)和环境温度

的函数的稳态CPU温度

该稳态模型的一个示例在以下等式中示出：

等式(9)：

$T_{{\mathrm{CPU}}_j}=\underset{i}{\mathrm{\Σ}}{\mathrm{\η}}_{\mathrm{ij}}k(g{\mathrm{UTIL}}_j+P_{{\mathrm{CPU}}_{\mathrm{idle}}}){\mathrm{FS}}_i+C_R(g{\mathrm{UTIL}}_j+P_{{\mathrm{CPU}}_{\mathrm{idle}}})+T_{{\mathrm{amb}}_j}.$

在等式(9)中，η_ij为将风扇速度映射到刀片j中的流速的气流相关指数，k表示流速的加权因子并与流体和材料特性和几何形状相关，以及C_R近似地表示刀片服务器在0流速时的热电阻。

优化问题的约束(在步骤208公式化)可包括刀片服务器温度约束，例如，如以下等式所表示的：

等式(10)： $\underset{i}{\mathrm{\Σ}}{\mathrm{k\η}}_{\mathrm{ij}}{\mathrm{FS}}_i\≤\frac{C_{2,j}(T_{{\mathrm{CPU}}_j}^P-T_{{\mathrm{amb}}_j}^P)}{Q_j-\frac{C_{1,j}}{\mathrm{\Δt}}(T_{\mathrm{ref}}-T_{{\mathrm{CPU}}_j}^P)}-C_R.$

另外，优化问题的另一个约束可指定风扇(i)速度的上限(UB)和下限(LB)，例如，如以下等式所给出的：

等式(11)：LB_i≤FS_i≤UB_i。

等式(9)、(10)和(11)一起用三次目标函数和线性约束来描述优化问题。这是凸优化问题，并且组控制器182可使用常规数学工具(诸如，内点方法)来解决这个问题。另外，这个优化问题的解决方案为候选VM布置提供了风扇速度的最优设置。

另外，为了使搜索空间变窄并增加生成更好的候选解决方案的概率，组控制器182可采用启发式函数，因为低η_ij值暗示风扇i在刀片j的强大影响，所以该启发式函数选择具有与更低η_ij值相关联的刀片服务器160a-160n的VM分配。类似地，η_ij的更低值指示刀片i可以多种方式冷却并且由此存在标识风扇速度结合更低功耗的更大概率。

根据另一个实施例，虽然组控制器182的主要目标是最小化总功耗，但是如果存在具有等于或基本上等于功率成本的多个可行的VM分配，则组控制器182可选择具有最小数量VM迁移的VM分配以减少开销。这个要求在方法300中通过对VM分配中允许的VM迁移的数量设置上限来捕捉(步骤308)。

方法200和300中所阐述的部分或全部操作可作为实用工具、程序、或子程序包含在任何期望的计算机可访问介质中。另外，方法200和300可通过可以有源和无源两者的不同形式存在的计算机程序体现。例如，它们可作为由源代码、目标代码、可执行代码或其他形式的程序指令组成的软件程序存在。上述的任一个可体现在包括储存设备的计算机可读介质上。

示例性计算机可读存储设备包括常规计算机系统RAM、ROM、EPROM、EEPROM和磁盘或光盘或磁带。上述内容的具体示例包括分发CD ROM上或经由因特网下载的程序。因此，要理解，能够执行上述功能的任何电子设备都可执行以上列举的那些功能。

图4示出了根据一个示例的被配置成实现或执行图1A和1B所示的优化器102的计算装置400的框图。在这个方面，计算系统400可用作执行以上参考优化器102所描述的一个或多个功能的平台。

计算装置400包括处理器402，处理器402可实现或执行方法200和300中的任一方法或两者所描述的部分或全部步骤。来自处理器402的命令和数据在通信总线404上传送。计算装置400还包括诸如随机存取存储器(RAM)之类的主存储器406和辅助存储器408，在主存储器406中可在运行时期间执行处理器402的程序代码。辅助存储器408包括，例如，一个或多个硬盘驱动器410和/或表示软盘驱动器、磁带驱动器、压缩盘驱动器等可移动存储驱动器412，在辅助存储器408中可存储用于方法200和300中的任一方法或两者的程序代码的副本。

可移动存储驱动器410以公知方式从可移动存储单元114读取和/或对其写入。用户输入和输出设备可包括键盘416、鼠标418和显示器420。显示适配器422可与通信总线404和显示器420通过接口连接，并且可从处理器402接收显示数据且将该显示数据转换成显示器420的显示命令。另外，处理器402可通过网络适配器424经由网络(例如，因特网、LAN等)通信。

将对本领域技术人员显而易见的是，在计算装置400中可添加或替代其他已知的电子组件。还应当显而易见的是，图4所示的一个或多个组件(例如，用户输入设备、辅助存储器等)可以是可任选的。

在本文中已描述和示出的是，本发明的优选实施例及其某些变体。在本文中所使用的术语、描述和附图仅以例示的方式阐述并且没有限制的意思。本领域技术人员将认识到，在旨在由所附权利要求书及其等效物定义的本发明范围内许多变体是可能的，其中所有术语具有其最宽的合理含义，除非另有指示。

Claims (15)

1.一种嵌有一个或多个计算机程序的计算机可读存储介质，所述一个或多个计算机程序实现一种用于确定多个实体的状态分配的方法，所述方法实质性地优化所述多个实体和被配置成将资源可变地提供给所述多个实体的多个资源致动器的总功耗，所述一个或多个计算机程序包括一组指令，用以：

为所述多个实体开发至少一个实体功率模型；

为所述多个资源致动器开发至少一个资源功率模型；

公式化具有目标函数和至少一个约束的约束优化问题；以及

通过对所述目标函数采用搜索工具、所述至少一个实体功率模型和所述至少一个资源功率模型以标识所述多个实体的状态分配，来解决所述约束优化问题，这导致优化的总功耗。

2.如权利要求1所述的计算机可读存储介质，所述一个或多个计算机程序包括另一组指令，用以：

接收基本上实时的条件；以及

其中解决所述约束优化问题还包括基于所接收的基本上实时的条件来解决所述约束优化问题。

3.如权利要求1和2中任一项所述的计算机可读存储介质，其特征在于，解决所述约束优化问题还包括采用所述至少一个实体功率模型和至少一个资源功率模型来确定所标识状态分配对所述目标函数的影响，所述一个或多个计算机程序包括另一组指令，用以：

采用所标识状态分配的确定影响来标识状态分配，这导致实质性优化的总功耗。

4.如权利要求1和2中任一项所述的计算机可读存储介质，其特征在于，解决所述优化问题还包括标识多个候选状态分配、通过应用所述至少一个实体功率模型和至少一个资源功率模型来确定所述多个候选状态分配中的每一个的总功耗水平、以及选择与最小总功耗水平相关联的候选状态分配作为所标识状态分配，这导致实质性优化的总功耗。

5.如以上权利要求中任一项所述的计算机可读存储介质，所述一个或多个计算机程序包括另一组指令，用以：

开发至少一个条件模型，所述至少一个条件模型使所述多个资源致动器的设置与所述多个实体的位置处的环境条件和所述多个实体的功耗水平相关；以及

其中公式化所述约束优化问题还包括采用所述至少一个条件模型来公式化所述至少一个约束。

6.如以上权利要求中任一项所述的计算机可读存储介质，其特征在于，所述至少一个实体功率模型表征所述多个实体的利用率水平和功耗水平之间的关系，其中所述至少一个资源功率模型使所述多个资源致动器的设置与所述多个资源致动器的功耗水平相关，其中所述目标函数被配置成最小化实体和资源基础设施功耗，并且其中所述至少一个约束包括所述多个实体的位置处的设定点环境条件和最大实体资源利用率水平的至少一个。

7.如以上权利要求中任一项所述的计算机可读存储介质，其特征在于，解决所述约束优化问题还包括采用模拟退火、爬坡、本地定向搜索和遗传算法中的至少一个作为所述搜索工具。

8.如以上权利要求中任一项所述的计算机可读存储介质，所述一个或多个计算机程序包括另一组指令，用以：

将所述多个实体设置成具有根据所标识状态分配的功耗设置；

基于所述多个实体的状态分配来确定所述多个资源致动器的最优设置；以及

将所述多个资源致动器设置成所确定的最优设置。

9.一种用于确定多个实体的状态分配的计算机实现的优化器，所述优化器实质性地优化所述多个实体和被配置成将资源可变地提供给所述多个实体的多个资源致动器的总功耗，所述计算机实现的优化器包括：

输入模块，所述输入模块用于接收来自多个输入源的数据；

实体功率模型模块，所述实体功率模型模块被配置成根据所接收的数据开发所述多个实体的至少一个实体功率模型；

资源功率模型模块，所述资源功率模型模块被配置成根据所接收的数据开发所述多个资源致动器的至少一个资源功率模型；以及

优化模块，所述优化模块被配置成公式化具有目标函数和至少一个约束的约束优化问题，其中所述优化模块还被配置成通过对所述目标函数采用搜索工具、所述至少一个实体功率模型和至少一个资源功率模型以标识所述多个实体的状态分配来解决所述约束优化问题，这导致优化的总功耗。

10.如权利要求9所述的计算机实现的优化器，还包括：

输出模块，所述输出模块被配置成输出所标识状态分配。

11.如权利要求9和10中任一项所述的计算机实现的优化器，其特征在于，所述优化模块还被配置成通过采用所述至少一个实体功率模型和至少一个资源功率模型以确定所标识状态分配对所述目标函数的影响并且采用所确定的所标识状态分配的影响以标识状态分配来解决所述约束优化问题，这导致实质性优化的总功耗。

12.如权利要求9-11中任一项所述的计算机实现的优化器，其特征在于，所述优化模块还被配置成标识多个候选状态分配、通过应用所述至少一个实体功率模型和至少一个资源功率模型来确定所述多个候选状态分配中的每一个的总功耗水平、以及选择与最小总功耗水平相关联的候选状态分配作为所标识状态分配，这导致实质性优化的总功耗。

13.如权利要求9-12中任一项所述的计算机实现的优化器，还包括：

组控制器，所述组控制器被配置成将所述多个实体设置成具有根据所标识状态分配的功耗设置；以及

资源控制器，所述资源控制器被配置成基于所述多个实体的状态分配来确定所述多个资源致动器的最优设置，并且将所述多个资源致动器设置成所确定的最优设置。

14.如权利要求9-13中任一项所述的计算机实现的优化器，其特征在于，所述至少一个实体功率模型表征所述多个实体的利用率水平和功耗水平之间的关系，其中所述至少一个资源功率模型使所述多个资源致动器的设置与所述多个资源致动器的功耗水平相关，其中所述目标函数被配置成最小化实体和资源基础设施功耗，并且其中所述至少一个约束包括所述多个实体的位置处的设定点环境条件和最大实体资源利用率水平的至少一个。

15.一种计算装置，包括：

存储器存储代码，用以：

为所述多个实体开发至少一个实体功率模型；

为所述多个资源致动器开发至少一个资源功率模型；

公式化具有目标函数和至少一个约束的约束优化问题；以及

通过对所述目标函数采用搜索工具、所述至少一个实体功率模型和至少一个资源功率模型以标识所述多个实体的状态分配来解决所述约束优化问题，这导致优化的总功耗；以及

处理器，所述处理器用于执行存储在所述存储器中的代码以确定多个实体的状态分配，所述代码实质性地优化所述多个实体和被配置成将资源可变地提供给所述多个实体的多个资源致动器的总功耗。

Images