CN103221898B

CN103221898B - 数据中心控制

Info

Publication number: CN103221898B
Application number: CN201180055880.7A
Authority: CN
Inventors: J·W·范吉尔德; M·戴尔加斯; 张轩杭
Original assignee: American Power Conversion Corp
Current assignee: Schneider Electric IT Corp
Priority date: 2010-09-22
Filing date: 2011-09-21
Publication date: 2015-04-22
Anticipated expiration: 2031-09-21
Also published as: US20110077795A1; EP2619637A1; EP2619637B1; AU2011305487B2; AU2011305487A1; CN103221898A; WO2012040334A1; US8560677B2

Abstract

提供了用于数据中心控制的系统和方法。数据中心包括多个机架和至少一个冷却单元。机架包括至少一个服务器。关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息被接收到。

Description

数据中心控制

相关申请的交叉引用

本申请是2009年2月13日提交的标题为“Data Center Control”的美国申请序列号12/371,355的部分继续，且在35U.S.C.§120下要求该美国申请的利益，该美国申请特此通过引用被全部并入本文。本申请还特此通过引用将2009年2月13日提交的标题为“Power Supply and Data CenterControl”并转让给本申请的受让人的美国专利申请序列号12/370,969全部并入本文。所引用的申请总体上公开用于控制数据中心的系统和方法。

发明背景

1．发明领域

本发明的至少一个实施方式通常涉及控制设施活动，且更具体地涉及管理数据中心。

2．发明背景

作为对增加的工业要求、发展和基于信息的经济的响应，数据中心和信息技术网络继续在全球激增。这个扩张呈现各种形式，包括将在地理上无联系的计算资源链接在一起的广泛分配的计算机网络以及向各种应用提供功率、冷却和计算基础设施的数据中心。

一般数据中心包含需要功率、冷却和对外部通信设施的连接的设备的多个机架。在现代数据中心和网络房间中，在这些设施中使用的计算设备的增加的密度对其相关的电力系统加了负担。因为这个计算设备在操作中产生热，这些设施的冷却系统也被过分使用。

当数据中心的类型、尺寸和复杂性增长时，与其操作相关的成本也增长。这些成本包括与电力使用相关的能量成本、用于获取电子装置和基础设施的成本、相关的冷却或热耗散系统的成本、以及维护和管理人员的薪水。

发明概述

本发明的方面和实施方式目的在于数据中心控制的系统和方法。数据中心布局可被确定或修改，且资源可基于数据中心部件的机架功率消耗或冷却单元功率消耗而被分配或再分配以最小化数据中心的功率消耗。

至少一个方面目的在于计算机实现的数据中心控制方法。数据中心包括多个机架和至少一个冷却单元。机架包括至少一个服务器。该方法包括接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息的行动。该方法还接收基于机架的冷却度量阈值并确定数据中心的布局，该布局最小化多个机架和冷却单元的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。

至少一个其它方面目的在于包括多个机架和至少一个冷却单元的数据中心的数据中心控制系统。机架包括至少一个服务器。控制系统包括可接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息的数据中心控制器。数据中心控制器还可接收基于机架的冷却度量阈值，并可确定数据中心的布局。该布局最小化多个机架和冷却单元的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。

至少一个其它方面目的在于计算可读介质，其上存储有指令序列。指令使处理器接收关于至少一个冷却单元、服务器、多个机架和应用的信息。指令还使处理器接收基于机架的冷却度量阈值，并确定数据中心的布局，该布局最小化多个机架和冷却单元的总功率消耗，同时基于阈值将冷却性能维持在可接受的水平。

在各种实施方式中，确定在多个服务器之间的至少一个应用的工作负载分配。工作负载分配满足基于机架的冷却度量阈值。基于机架的冷却度量阈值可包括可被实时地确定的热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个。应用可基于热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个而分配到至少一个服务器。

在一些实施方式中，可基于多个机架中的每个的工作负载利用率来确定多个机架中的每个的单独功率消耗。也可基于至少一个冷却单元的冷却利用率来确定至少一个冷却单元的功率消耗，且可确定多个机架和至少一个冷却单元的总功率消耗。可基于总功率消耗、多个机架中的每个的功率消耗和至少一个冷却单元的功率消耗来确定数据中心的布局。

在一些实施方式中，可基于机架的工作负载利用率和冷却单元的冷却利用率中的至少一个来实时地确定数据中心的总功率消耗。工作负载可分配在多个服务器之间，而冷却负载可分配在多个冷却单元之间，同时基于阈值将冷却性能分配维持在可接受的水平处。应用可从一个服务器分配到第二机架的第二服务器。第二机架可定位在第一服务器所在的同一数据中心或定位在不同的数据中心。

可提供重新定位在数据中心内的机架或显示数据中心的布局的指令。在一些实施方式中，数据中心的布局是初始布局，且数据中心控制器可将工作负载从第一服务器分配到第二服务器，并可确定数据中心的第二布局。

在各种实施方式中，基于机架的冷却度量阈值包括热通道捕获指数阈值或冷通道捕获指数阈值，且数据中心控制器可确定热通道捕获指数阈值或冷通道捕获指数阈值，并可基于热通道捕获指数阈值或冷通道捕获指数阈值将应用分配到服务器。数据中心控制器还可基于多个机架中的每个的工作负载利用率来确定多个机架中的每个的单独功率消耗，并可基于至少一个冷却单元的冷却利用率来确定至少一个冷却单元的功率消耗。数据中心控制器还可确定多个机架和至少一个冷却单元的总功率消耗，并基于总功率消耗、多个机架中的每个的功率消耗和至少一个冷却单元的功率消耗来确定数据中心的布局。

在一些实施方式中，数据中心控制器可确定数据中心的集群的总功率消耗，并可识别最小化总功率消耗的集群的工作负载分配，该集群包括多个机架和至少一个冷却单元。在一个实施方式中，数据中心控制器可确定数据中心的总功率消耗。该确定可基于多个机架的工作负载利用率和冷却单元的冷却利用率，且数据中心控制器可在多个服务器之间分配工作负载，同时基于阈值将冷却性能维持在可接受的水平处。数据中心控制器还可将至少一个应用从至少一个服务器转移到第二服务器。冷却可包括行内冷却单元或基于房间的冷却单元。

从结合附图理解的下面的详细描述中，这些示例性方面和实施方式的其它方面、实施方式和优点将变得明显，附图仅作为例子示出本发明的原理。前述信息和下面的详细描述包括各种方面和实施方式的例证性例子，且旨在提供用于理解所主张的方面和实施方式的性质和特征的概述或框架。附图连同说明书的其余部分一起用来解释所述和所主张的方面和实施方式。

附图的简要说明

附图并没有被规定为按比例绘制。在附图中，在不同图中示出的每个相同或几乎相同的部件由相似的数字表示。为了清楚的目的，不是每个部件可都在每个附图中标出。当连同附图一起阅读时，从各种实施方式的下面描述中，将更充分理解本文公开的系统和方法的前述和其它目的、特征和优点，其中：

图1是描绘根据实施方式的数据中心的例子的顶视图；

图2是描绘根据实施方式的数据中心控制系统的例子的方框图；

图3是描绘根据实施方式的数据中心控制系统的例子的方框图；

图4是描绘根据实施方式的一个或多个数据中心中的服务器配置的例子的方框图；

图5是描绘根据实施方式的数据中心中的服务器配置的例子的方框图；

图6是示出根据实施方式的数据中心控制的示例性方法的流程图；

图7描绘根据实施方式的数据中心100的工作负载分配布局；

图8描绘根据实施方式的数据中心100的工作负载分配布局；

图9描绘示出根据实施方式的数据中心控制的示例性方法的流程图；

图10是根据实施方式的计算机系统的功能方框图；以及

图11是根据实施方式的存储系统的功能方框图。

详细描述

本文所述的系统和方法在其应用中不限于在描述中阐述或在附图中示出的部件的结构和布置的细节。本发明能够有其它实施方式并能够以各种方式被实践或实施。此外，本文使用的措辞和术语是为了描述的目的，且不应被视为限制性的。“包括（including）”、“包括（comprising）”、“具有”、“包含”、“涉及”及其变形在本文意指包括其后列出的项目和其等效形式以及额外的项目。

各种方面和实施方式目的在于数据中心控制。一个或多个数据中心的特征可经由网络由一个或多个数据中心控制器识别、监测和控制。数据中心可以是地理上无联系的，并可具有不同的特征和部件。数据中心控制器可评估数据中心的特征和可由数据中心部件执行的应用。这些评估可包括例如数据中心供应的评价（例如可用数据中心处理或冷却容量）或要求（例如，可由数据中心提供的应用的参数，用于执行）。至少部分地基于这些评估，数据中心控制器可将应用导向一个或多个数据中心用于执行。

本文所述的实施方式可用于设计、管理和改进数据中心，例如图1所示的数据中心100。数据中心100可包括支持或确保数据中心设备功能的资源、设备或装置。数据中心100的资源的例子包括电力、冷却、物理空间、重量支承、远程设备控制能力、物理和逻辑安全以及物理和逻辑网络连通性。电力数据中心资源可包括电力分配资源例如变压器、电力分配单元、电源插座和可用于分配的电力例如供应到数据中心100的公用事业电力、由外部发电机产生的电力和由电力分配单元供应的电力。数据中心100中的物理空间资源可包括数据中心占地空间和机架U空间。数据中心100中的冷却资源可包括冷却分配容量和冷却产生容量。数据中心100中的物理安全资源可包括安全摄像机和门锁。数据中心100中的逻辑网络连通性资源可包括虚拟局域网、域名服务器和动态主机配置协议服务。物理网络连通性资源可包括网络布线和插线板。数据中心100中的远程设备控制能力可包括键盘视频鼠标服务。

数据中心100是代表性数据中心，且本文描述的各种实施方式不限于数据中心，例如数据中心100。可使用例如不包括高架地板的各种其它数据中心和设施。数据中心100或其它数据中心可与容纳更多、更少或不同设备或除了计算设备以外的设备的设施——包括远程通信设施和其它设施——一起使用。在一个实施方式中，数据中心100包括由子系统支持的计算机。数据中心100可以但不需要是专用空间或房间。此外，数据中心设备布局不需要被整洁地布置，如图1所示。

数据中心100可包括行102、冷却单元104和至少一个高架地板106。行102可包括至少一个机架108，其在操作中可从机架108的前方抽入冷空气，并使暖空气返回到机架108的后部或顶部。在一个实施方式中，机架108可包含U空间位置，其例如设计成容纳安装在机架上的数据中心设备，例如服务器、计算机、冷却设备或网络连通性设备。

在一个实施方式中，数据中心100的行102可定位成产生交替的冷通道和热通道。如在图1的实施方式中所示的，通道110是热通道，而通道112是冷通道。为了向机架108提供冷却，在冷通道112中的每个机架108的前面，穿孔地板砖114可用于从高架地板106下提供冷空气。在数据中心100中，除了穿孔地板砖114以外，高架地板106还可包括实心地板砖。冷却单元104可向高架地板106下的区域提供冷空气，并可从与数据中心的天花板相邻的空间接收暖空气。冷却单元104还可朝着数据中心的天花板排出冷空气，并从数据中心的地板吸入暖空气。

在一个实施方式中，除了或代替冷却单元104，还可使用行内冷却单元，例如从罗德岛的West Kingston的美国电力转换（APC）公司可得到的冷却单元。在一个实施方式中，可使用具有例如12英寸的宽度的半机架行内冷却单元，该宽度为标准数据中心机架的宽度的大约一半。

数据中心100可包括多种不同类型的服务器。例如，服务器可以是物理服务器、专用服务器或虚拟服务器。物理服务器通常包括硬件，其中操作系统运行。专用服务器通常包括在物理服务器上运行的服务应用。例如，专用服务器可包括在操作系统上的网络服务或文件传输协议（FTP）服务，其中服务应用可耦合到物理服务器。虚拟服务器可包括独立于物理服务器硬件的服务。例如，虚拟服务器可包括将物理服务器划分为多个服务器，每个服务器具有好像它们正在其自己的专用服务器上运行一样的表现和能力。在一个实施方式中，可能有每物理服务器一个专用服务器操作系统和每物理服务器多个虚拟服务器。虚拟服务器可与专用服务器一起（例如在专用服务器之上）同时运行。多个服务器或机架108可形成集群以共同运行应用或程序。集群可具有至少一个专用冷却单元104，或多个集群可共享同一冷却单元104。

图2是根据实施方式的数据中心控制系统200的方框图。在一个实施方式中，系统200包括至少一个数据中心100。多个数据中心100可能与至少一个网络205和至少一个数据中心控制器210彼此相关。网络205可包括互连计算机例如互联网、任何广域网、局域网、城域网、无线网、电话网、蜂窝网、卫星网或其它区域网、或其组合中的至少一个网络。网络205可包括例如网络基础设施装置，例如服务器、路由器或交换机。在一个实施方式中，数据中心100的部件经由至少一个网络205彼此互连或与数据中心控制器210互连。数据中心100中的服务器和网络205的网络基础设施设备可被分组成网络区或集群，使得网络205的安全性在服务器添加或改变期间和之前保持完好无损。

在各种实施方式中，数据中心控制器210可位于一个或多个数据中心100内，或远离地位于数据中心100外部。例如，数据中心控制器210可位于数据中心100外部并经由网络205连接到数据中心100。在一个实施方式中，数据中心控制器210包括装置例如处理器、微芯片或电路以识别、管理和控制数据中心特征。在一个实施方式中，数据中心控制器210可接收关于至少一个数据中心100的数据。例如，数据中心控制器210可接收、测量或监测表示数据中心100的温度、容量、功率或电流消耗的数据或指示数据中心100及其部件的操作状态的其它数据。在一个实施方式中，数据中心控制器210可模拟数据中心100的操作。数据中心特征可基于模拟的或估计的数据中心条件——而不是测量的数据中心条件——例如温度、容量或能量数据。这个模拟数据可由数据中心控制器210产生或接收。

数据中心控制器210还可包含指示数据中心100的最大容限或容量的数据。在一个实施方式中，至少一个数据库215存储指示数据中心100的容限或最大容量的数据。数据库215可以是数据中心控制器210的部分，或可以位于其它地方并且是数据中心控制器210经由例如网络205可访问的。数据库215可包括来自多于一个数据中心100的数据。在一个实施方式中，每个数据中心100包括至少一个数据库215，其存储指示数据中心100的信息例如容限或容量范围的数据。数据中心控制器210在一个实施方式中可包括从罗得岛的West Kingston的美国电力转换公司可得到的管理或设计平台。

在一个实施方式中，数据中心控制器210评估来自一个或多个数据中心100的实时或接近实时数据。例如，数据中心控制器210可确定数据中心100是否以最大容量操作。数据中心控制器210还可确定或接收指示数据中心100的单独的装置、部件或子系统的操作状态的信息。例如，数据中心100可包括多个服务器。经由网络205，数据中心100可向数据中心控制器210提供指示数据中心100中的特定服务器不以最大容量操作的数据，且因此可能能够执行额外的应用。

在一个实施方式中，数据中心100包括一个或多个子系统。子系统的例子包括一个或多个设备子系统220、发电子系统225、不间断电源子系统230、冷却子系统235、安全子系统240、能量存储子系统245和通信子系统250。子系统通常包括被分派了功能任务的一个或多个数据中心100的装置。例如，如图1和2的实施方式中所示的，冷却子系统235可包括被分派了调节数据中心100的温度的任务的一个或多个冷却单元104。在另一例子中，设备子系统220可包括执行计算功能的服务器或其它逻辑装置。

在一个实施方式中，通信子系统250包括经由网络205向至少一个数据中心控制器210提供数据的计算机硬件。例如，通信子系统250可至少部分地基于例如在数据中心100上执行的冷却容量分析来指示数据中心100正以其容量的80%操作。在另一例子中，通信子系统250可指示特定的装置例如来自设备子系统220的服务器正以其处理容量的45%操作。在这个例子中，服务器可用于进一步的处理操作。在一个实施方式中，通信子系统250可向数据中心控制器210提供数据中心100、其相关子系统或单独数据中心部件或装置的最大、最小或容限和操作数据。通信子系统250还可指示数据中心100有或没有足够的物理空间用于额外部件的插入。在一个实施方式中，通信子系统250包括至少一个数据库215。

通信子系统250通常还可指示数据中心100或其相关子系统的状态。例如，通信子系统250可指示电源故障已出现。电源故障可能是由于例如本地电网的故障或数据中心100的装置或子系统的失灵。通信子系统250可接着向数据中心控制器210提供指示电源故障已出现的信息。

在一个实施方式中，数据中心控制器210连续或周期性地接收关于一个或多个数据中心100的信息。从这个信息中，数据中心控制器210可确定数据中心100作为整体以及其单独装置（例如，服务器）或子系统的操作状态、范围和容限。至少部分地基于所接收或监测的信息，数据中心控制器210可接着在一个或多个数据中心100之间再分配应用，识别一个或多个数据中心100作为运行应用的位置，或识别数据中心100中的位置作为添加新的硬件或可用于运行应用的虚拟服务器的位置。在一个实施方式中，所接收的信息包括模拟或估计的数据中心信息。

例如，第一数据中心100可以以大于其最大冷却容量的90%操作。该信息可从通信子系统250提供到数据中心控制器210。第二数据中心100可以以其最大冷却容量的30%操作，且这个信息也可被提供到数据中心控制器210。在本例中，数据中心控制器210，已经识别出第一和第二数据中心100的冷却容量参数后，可确定第二数据中心100可运行目前由第一数据中心100运行的应用。数据中心控制器210可接着指示应用从第一数据中心100转移到第二数据中心100。在本例中，将应用从第一数据中心100转移到第二数据中心100减小了第一数据中心活动，其可降低第一数据中心100的温度，并增加可用冷却容量和可用功率容量。

在一个实施方式中，数据中心控制器210可识别数据中心100之一作为执行新应用的位置。例如，一个或多个数据中心100可以以关于温度、功率或其它参数的各种容量操作。数据中心控制器210可评估一个或多个数据中心100的操作条件以确定适合于执行新应用的数据中心100。在各种实施方式中，该确定可基于温度、功率、电流、冷却、能量、安全性或其它数据中心100的参数例如位置的任何组合。例如，两个数据中心100可实质上消耗相同数量的功率，但可位于不同的地理位置上。数据中心控制器210可识别这两个数据中心100之一作为执行新应用的位置，因为例如数据中心控制器210评估指示在第二位置处的能量成本小于在第一位置处的能量成本的信息。在本例中，这两个数据中心100都能够执行新应用，然而能量成本使在第二位置处的数据中心100在本例中成为更合适的位置。

当数据中心控制器210识别运行应用的位置时，能量成本和其它外部因素不需要是确定性的。数据中心控制器210可评估一个或多个数据中心100的操作数据（例如，实时数据）、数据中心参数（例如，功率消耗、冷却容量、效率、可靠性、冗余性、备份运行时间、数据中心100、其子系统或单独部件的容限）以及外部因素（例如，当地能量、安全性或劳动力成本）的组合以识别一个或多个数据中心100作为运行应用的位置。数据中心控制器210可评估一个或多个数据中心100、其子系统或单独部件的模拟数据例如模拟功率消耗、模拟冷却容量、模拟效率、模拟冗余性和模拟备份运行时间的组合。

在图3中，示出了示例性数据中心控制系统200。在一个实施方式中，数据中心控制器210实时地和在计划的事件例如例程维护或非计划的事件例如断电或其它非计划的中断期间提供数据中心100的操作的概述。在一个实施方式中，数据中心控制器210包括可确定数据中心100的功率和冷却特征的变化和容量管理器305，如在2006年1月27日递交的、标题为“Methods and Systems for Managing Facility Power and Cooling”的美国专利申请序列号11/342,300中所述的，该专利申请通过引用被全部并入本文。变化和容量管理器305可确定数据中心100的容量。例如，变化和容量管理器305可包括处理器或逻辑装置例如识别数据中心容量的电路或微控制器。在一个实施方式中，通信子系统250向变化和容量管理器305提供关于数据中心100的容量的信息。例如，变化和容量管理器305可指示数据中心100的实时容量。显示器可向负责数据中心100的管理的技术人员或人提供该信息。

至少一个设备容量和状态管理器310可采样或监测数据中心100的设设备，并确定数据中心100的设备例如服务器的操作状态（例如，多个状态）和操作范围（例如，容量）。例如，设备容量和状态管理器310可指示数据中心100的特定机架中的虚拟服务器正以95%的容量操作。在另一例子中，参考图1和3，设备容量和状态管理器310可确定冷却单元104正以100%的容量操作，或例如冷却单元104在一段确定量的时间内正以大于90%的容量操作。在一个实施方式中，设备和容量管理器310向变化和容量管理器305提供信息用于进一步评估。

数据中心控制器210还可包括至少一个服务器和网络管理器315，其为了方便起见而被称为服务器管理器315。在一个实施方式中，服务器管理器315管理并监测位于数据中心100中的物理、专用或虚拟服务器的性能数据。例如，服务器管理器315可监测服务器性能并确定服务器正以其处理容量的某个百分比操作。在一个实施方式中，服务器管理器315维持并配置网络设备，使得服务器位于特定的网络、集群或区内。服务器管理器315还可指示服务器将被添加到一个或多个数据中心100、从一个或多个数据中心100移除，或从一个数据中心100移动到另一数据中心100。

在一个实施方式中，服务器管理器315可包括在多个虚拟服务器上运行的冗余应用。例如，为了备份目的，应用可具有冗余要求。这样的应用的例子包括工资单、会计、安全、投资、银行业务或其它应用，其中应用故障通常将被避免。在本例中，服务器管理器315可识别并管理一个或多个服务器的冗余能力。在一个实施方式中，服务器管理器315可在一个或多个物理位置上运行。服务器管理器315还可例如通过在不同的服务器上操作而在物理位置之间移动。

在另一例子中，服务器管理器315可在位于数据中心控制器210中或数据中心100中的专用硬件上实现。此外，服务器管理器315可指示应用被提供到特定的服务器用于响应于来自技术人员的输入而执行或例如在特定的时间执行。在一个实施方式中，服务器管理器315可指示应用的全部或部分从第一服务器移动到第二服务器。在这个例证性实施方式中，第一和第二服务器可位于相同或不同的数据中心100中。例如，服务器管理器315可指示应用分配在位于多于一个的数据中心100中的多个虚拟服务器中。

数据中心控制器210还可包括至少一个硬件管理器320。硬件管理器320通常通过监测设备参数、能量效率、拥有总成本、维护和灾难事件来优化数据中心100，以在数据中心100中和之间分配资源。在一个实施方式中，硬件管理器320联合变化和容量管理器305与服务器管理器315的功能。例如，硬件管理器320可评估来自变化和容量管理器305及服务器管理器315的信息以提供关于在哪里定位服务器的指令。硬件管理器320在识别一个或多个数据中心100中的服务器位置时考虑的因素包括电网断电、维护、环境变化、本地时间、现场员工的有空性、数据中心100的增加或减少的利用。其它因素可由例如变化和容量管理器305、设备容量和状态管理器310或服务器管理器315提供。

在一个实施方式中，技术人员可提供执行应用的指令或数据中心100的操作要求。例如，技术人员可将指示没有新的物理服务器将被添加到一个或多个数据中心100的指令输入到硬件管理器320。在本例中，硬件管理器320可识别执行应用的虚拟服务器位置。在另一例子中，由于向数据中心100供应电力的不可靠的本地电网，技术人员可为数据中心100提供最大功率消耗。在本例中，硬件管理器320可将应用时移或分配到其它数据中心100以将数据中心100的功率消耗保持在特定的最大功率消耗之下。

在一个实施方式中，硬件管理器320提供将服务器从第一数据中心100中的第一位置移动到第一或第二数据中心100中的第二位置的指令。例如，硬件管理器320可将服务器例如虚拟服务器从第一数据中心100中的第一位置自动移动到第一或第二数据中心100中的第二位置。在一个实施方式中，至少部分地基于数据中心100的信息，硬件管理器320可将服务器移动到数据中心100中的位置或提供将服务器移动到数据中心100中的位置的指令。数据中心100的信息可包括数据中心部件的状态和参数信息、拥有总成本因素例如劳动力和能量成本、安全性、可用性要求、以及动态要求例如电力、冷却、延长的运行时间和冗余性要求。硬件管理器320还可识别服务器、网络设备或数据中心100中的其它装置的可靠性或其它要求。这些要求的例子包括冗余性、运行时间、功率使用、处理速度或容量、热生成、安全性、电力供应、电力需量和与数据中心装置或应用相关的网络区。在一个实施方式中，在识别在一个或多个数据中心100内执行应用的位置时，硬件管理器320可评估待执行的应用的性质。

在一个实施方式中，硬件管理器320包括在与变化和容量管理器305、设备容量和状态管理器310以及服务器和网络管理器315中的一个或多个通信的客户端平台上的应用。例如，硬件管理器应用可与管理器305和310中的一个或多个交互作用以识别数据中心100的状态和位于数据中心100中的服务器的配置信息。硬件管理器应用还可识别形成网络205的部分的网络设备、拥有总成本因素、以及数据中心100的发电、存储和冷却信息。

在一个实施方式中，数据中心控制器210包括至少一个共享数据中心网络管理器325。共享数据中心网络管理器325可监测一个或多个网络205的要求和操作。例如，网络205的基础设施或设备可具有操作限制或功能要求。网络基础设施限制例如容量、可靠性或带宽可由网络管理器325确定并被提供到硬件管理器320或其它数据中心控制器210的部件，作为可在识别执行应用的位置时被考虑的因素。

数据中心控制器210不需要包括变化管理器305、设备容量和状态管理器310、服务器管理器315、硬件管理器320和共享数据中心网络管理器325的单独元件。数据中心控制器210可包括其它元件，例如可监测数据中心100及其部件——包括服务器——的参数、要求和使用的一个或多个处理器或电路。在一个实施方式中，响应于从数据中心接收的信息，数据中心控制器210识别至少一个数据中心100作为执行应用的位置。应用可在现有设备上执行，或新设备例如虚拟服务器可添加到数据中心100以执行应用。

在一个实施方式中，数据中心控制器210——包括其子系统和管理器305-325的任何组合——可识别并跟踪服务器的物理位置。例如，可给数据中心控制器210提供指示特定的服务器位于特定的数据中心100中的信息。数据中心控制器210可通过评估服务器、数据中心100和网络205的信息例如参数、要求和操作状态信息来优化数据中心内的服务器的位置。在一个实施方式中，数据中心控制器210请求虚拟、专用或物理服务器的移动、放置、添加或再定位。这可以是例如响应于应用要求、数据中心100的操作条件例如计划或非计划的服务或维护、或网络205的操作条件例如电网断电。对服务器移动的请求可响应于数据系统100的电力、冷却或容量操作条件。由数据中心控制器210请求的服务器移动可增加数据中心100的效率、可靠性和性能，并可减少操作成本。

在一个实施方式中，数据中心控制器210可识别服务器将被插入在其中的特定的数据中心100或特定的机架108。例如，数据中心控制器210可识别数据中心100中的现有物理服务器，并指示现有物理服务器被修改以包括虚拟或专用服务器。在一个实施方式中，数据中心控制器210评估来自多个数据中心100的信息，并识别可用于执行一个或多个应用或执行一个或多个操作的最小数量的虚拟服务器。这可包括虚拟服务器的集群。在这个例证性实施方式中，其余的数据中心100物理硬件可被关闭或置于较低功率待机模式中。这节省能量并减小数据中心100的冷却要求。

在一个实施方式中，数据中心控制器210提供电网断电、数据中心100的故障或其它中断的指示。例如，数据中心控制器210可识别电池断路、警告或数据中心100或网络205的其它问题。数据中心控制器120可向技术人员提供数据中心100的维护请求的指示。

在一个例子中，数据中心100可能布置成使得冷却单元104是无效或低效的。在本例中，基于从数据中心100接收的信息例如温度数据或冷却信息，数据中心控制器210可识别产生过多数量的热的一个或多个服务器（或其它装置）。继续这个例子，数据中心控制器210可用于识别服务器以再定位为较接近冷却单元104。数据中心控制器210也可将物理服务器识别为产生过多数量的热，且作为响应可将与该物理服务器相关的一个或多个虚拟服务器转移到在同一或不同的数据中心100中的不同位置。

可评估数据中心部件以提高数据中心性能或操作。例如，数据中心控制器210可识别低效地操作的服务器。在本例中，数据中心控制器210可识别硬件升级或软件升级。数据中心控制器210可接着继续进行安装或请求服务器的升级。

在一个实施方式中，数据中心控制器210可评估数据中心信息以识别或确定可用的数据中心容量。例如，数据中心控制器210可识别数据中心100作为整体或单独的数据中心部件例如服务器或机架108的可用容量。数据中心控制器210可指示可用数据中心容量可用来出租、租借或出售。在一个实施方式中，多余的数据中心容量的出租经由可识别并指示在一个或多个数据中心100中的容量的可用性的集中式数据中心容量出租系统而发生。在一个实施方式中，多余的数据中心容量可被分配到一个或多个数据中心100以增加数据中心100的性能或降低成本。数据中心控制器210还可指示对额外容量的需要以运行应用，并可从一个或多个数据中心100输入或输出数据中心容量。这个额外的容量可以起商品的作用。例如，像电和其它能量资源一样，数据中心容量可被出售、出租或预订。

数据中心100可使用三相电源，其中不间断电源子系统230包括三相不间断电源（UPS）。在本例中，三相UPS可将三相功率分配给数据中心100的电力分配单元（PDU）或断路器面板。从PDU中，电力经由一个或多个单相或三相分支电路输送到机架108。在本例中，通过数据中心装置（例如，子系统、服务器或设备）的电力利用可以是单相或三相的，或服务器或其它设备可能不知道它正使用的相。在一个实施方式中，数据中心控制器210可监测来自数据中心100的服务器的服务器报告的功率消耗值。在另一实施方式中，数据中心控制器210监测在数据中心100的三相电力系统内的相载荷。使用三相电力系统，除了指示功率消耗而没有指定相的任何服务器报告的功率消耗信息以外，还可给数据中心控制器210提供相特定的信息（例如，服务器连接到的相）。

在一个实施方式中，可确定机架108的可用的未被利用的UPS容量。在另一实施方式（其中例如三相UPS的可用的未被利用的容量未提供数据中心100的电力特征的足够准确的指示）中，可确定在UPS处、在PDU输入处和在分支电路处的单独相的负载。例如，在三相电力分配系统中，最有效地确定数据中心可用容量的电力容量测量可以是分支电路电力容量（例如，IT装置或其它数据中心设备连接到电源的点）。在本例中，数据中心设备可以是单相的，并连接到三相UPS电力系统的三相之一。

在一个实施方式中，除了在分支电路处的可用功率容量以外，数据中心控制器210还可确定或被提供在与分支电路相关的UPS处的相应相的可用电力容量数据或与分支电路相关的PDU处的相应相的可用电力容量数据。在一个实施方式中，当容量在分支电路本身和在与该分支电路相关的PDU和UPS处的其相应相处可得到时，在分支电路处的容量是可得到的。

容量可在PDU、UPS和分支电路之间变得无法被利用。一些数据中心100的装置可具有可用容量，但这个可用容量可能对由其它数据中心装置使用是难达到的。例如，机柜例如设备机架108之一可能没有IT负载，并可具有由三相UPS的相A提供的单相分支电路，其中UPS被装载到33%且这个负载的全部处于相A上。在本例中，没有对相A的剩余的UPS功率，且因此将没有对机架108的可用容量。在本例中，机架108可被重装电线以从不同的相提供相关的分支电路。

在另一例子中，没有IT负载的机架108可具有由相A提供的单相分支电路，其中相关的PDU被装载到33%且所有负载处于相A上。在本例中，没有对相A的剩余PDU功率，且因此将没有对机架108的可用容量。在本例中，机架108可被重装电线以从不同的相提供相关的分支电路。

在另一例子中，具有到机架108的、额定值为15kW的三相电力分配的机架108可装载有9kW容量的设备且9kW容量被在所有三相中同等地分配。在本例中，每相将具有2kW的可用容量，因为电力分配在这三相中平衡。在本例中，虽然可能看起来6kW的容量（即，15kW–9kW）是可用的，但由于平衡的分配，每相具有2kW的容量，且在本例中，大于2kW的装置不能够安装在机架108中。

数据中心设备可连接到230V分支电路。在北美，三相电力分配可连接负载，例如具有120V或208V的数据中心设备。在一个实施方式中，120V和208V负载可在数据中心100的分支电路上混合。120V和230V负载都可与特定的相相关，且208V负载可横跨两个相而连接，并可消耗在这两个相上的电流容量。因此，在数据中心100消耗来自北美电网的功率的一个实施方式中，可基于在分支电路以及在连接到负载的两个相关相上的其相关的UPS和PDU处的容量的可用性来确定在分支电路处的容量。

在各种实施方式中，数据中心100的控制包括关于数据中心100的电力供应和数据中心100的电力需量的信息。例如，数据中心控制器210可管理关于数据中心100的结构例如其电力分配系统、其与IT负载例如数据中心设备的连接、以及连接的相关相的信息。

在一个实施方式中，数据中心设备例如服务器可包括允许报告服务器电流和服务器功率消耗信息的仪器。此外，数据中心设备的物理位置可存储在与设备相关的数据库或另一数据库例如数据库215中。

在一个实施方式中，可基于所报告的设备和设备的功率消耗信息来确定机架108的功率消耗，数据库指示该设备位于机架108中。例如，数据中心控制器210可使用来自位于数据中心100的机架108中的服务器的服务器仪器的这个所报告的功率消耗来确定数据中心100的全部或部分的冷却容量。

设立于一些服务器内的服务器仪器可能提供不充分的信息以向数据中心控制器210指示它连接到哪个分支电路或相。在本例中，在没有这个信息的情况下，例如由于本文讨论的无法被利用的电力容量情况，数据中心控制器210可能不能识别服务器或机架108的可用电力容量。在本例中，仪器可被引入到数据中心100以向数据中心控制器210提供信息。

在一个实施方式中，可至少部分地基于设备制造商数据来确定机架108或其它数据中心设备的功率消耗。例如，当设备的相连接是已知的时，可至少部分地基于制造商提供的设备参数来确定分支电路、UPS和PDU容量。为了简化这些确定，在一个实施方式中，分支电路可专用于单个数据中心装置或单件设备，且分支电路电流负载也可被测量。在一个实施方式中，例如由于高数量的相连接和分支电路配置（其中分支电路可专用于单个装置），基于制造商数据的电力容量确定可能对一些较高密度的数据中心是不够的。

在一个实施方式中，仪器可在整个电力分配系统中实现。例如仪器可被引入到具有新装置的数据中心100中，或现有的数据中心设备可被改进。在一个实施方式中，电流可在数据中心100的电力分配系统的一个或多个分支电路、PDU输入和UPS输出处被测量，且这个信息可被提供给数据中心控制器210，其可至少部分地基于这个信息来量化数据中心100的电力需量。当例如数据中心控制器210包括数据中心100的机架108、PDU和UPS之间的互连的逻辑表示时，可为数据中心100的所有分支电路确定考虑相载荷效应的可用电力容量。

如所讨论的，数据中心控制器210可帮助新的数据中心设备、装置或IT装置的部署。在一个实施方式中，数据中心控制器210可识别数据中心100中的位置用于以平衡三相电源的相之间的负载的方式来放置装置。当数据中心设备被添加到数据中心或在数据中心内移动时，数据中心控制器210可指示设备将耦合到服务于数据中心100的电力系统的未充分使用的相。例如，以高于平均数据中心设计密度的电力密度操作的设备负载可由数据中心控制器210指引以耦合到未充分使用的相。类似地，以低于平均数据中心设计密度的电力密度操作的设备负载可由数据中心控制器210指引以耦合到过度使用的相。在一个实施方式中，对添加到数据中心100或在数据中心100内移动的装置重复这个基于相-利用的方法可优化相平衡和机架108的空间利用。

以平衡的方式部署数据中心设备的失败可导致无法被利用的电力容量，其看起来存在于一些数据中心设备例如PDU、分支电路或UPS中，但由于数据中心设备或电力系统的配置而不能被利用，因而减小数据中心100的效率和可被部署的设备的数量。

平衡三相电源的相利用可影响机架108的电力分配和数据中心100的电力密度。在一个实施方式中，数据中心控制器210可识别在数据中心100内的设备外壳的区。例如，行102可以是数据中心100的区。在本例中，数据中心控制器210可确定或指定每个区的平均机架功率或峰均机架比。继续这个例子，峰均比可影响可能存在的无法被利用的电力容量的量。在一个实施方式中，数据中心控制器210可将峰均比增加到比从一般机架108的变化预期的值大20%的值。这能减小由于分支电路之间的不平衡而导致的无法被利用的电力容量的量。

在一个实施方式中，到机架108的三相电力分配使数据中心控制器210能够将设备分派给该机架108的不同相，导致电力相的平衡应用。在具有到机架108的单相电力分配的实施方式中，数据中心控制器210可指导机架108之间的分支电路的再分配。

转到图4，示出了在数据中心100中的示例性服务器配置。在图4的例子中所示的每个服务器可包括至少一个物理、专用或虚拟服务器，且如图4所示的服务器可物理地位于一个或多于一个数据中心100中。在一个实施方式中，数据中心服务器可包括FTP服务器405、文件和备份服务器410、网络服务器415、订单服务器420、数据库服务器425、电子邮件服务器430和流式服务器435。该服务器配置是例子而不是限制性的。其它服务器功能、应用和配置是可能的。虽然在图4中被示为位于一个数据中心100内，图4的服务器配置和其它服务器配置可位于多于一个数据中心100中。

在一个实施方式中，将在图4所示的一个或多个服务器405到435上执行的不同应用可具有不同的可靠性参数。此外，将服务器插入服务器配置内可能需要不同的可靠性参数，并可改变现有的可靠性参数。如图4所示的，FTP服务器405以及文件和备份服务器410可具有低水平的可靠性，电子邮件服务器430和流式服务器435可具有中等水平的可靠性，且网络服务器415、订单服务器420和数据库服务器425可具有高水平的可靠性。其它配置和可靠性参数是可能的。

在一个实施方式中，连接在一个或多个数据中心100中的服务器的信息技术（IT）或网络基础设施设备可包括足以支持必要水平的可靠性的连接。例如，FTP服务器405可具有低可靠性参数。因此，FTP服务器405与在本例中也具有低可靠性要求的文件和备份服务器410相关可能就足够了。在一个实施方式中，具有例如中等可靠性参数的流式服务器435可被添加到图4的服务器配置。在本例中，所添加的流式服务器435可包括可执行流式应用的服务器。然而，所插入的流式服务器435将取决于文件和备份服务器410，其在本例中具有在本例中不足以执行中等可靠性流式应用的低可靠性参数。

参考图3和4，数据中心控制器210的部件例如服务器和网络管理器315可识别服务器之间的网络或IT连接。在本例中，服务器和网络管理器315可指示文件和备份服务器410或在所添加的流式服务器435以及文件和备份服务器410之间的连接将具有被视为执行流式应用的不足的可靠性。响应于这个确定，服务器和网络管理器315可指示文件和备份服务器410的可靠性增加到足以允许插入流式服务器435用于执行流式应用的水平。在一个实施方式中，在服务器或数据中心100或网络205的其它元件之间的相关性可由数据中心控制器210或相关部件识别以识别执行应用的位置，并识别可对数据中心100做出的修改来以低成本有效地执行应用。

在图5中，示出了在数据中心100中的服务器配置的例子。在一个实施方式中，图5包括第一服务器505和第二服务器510，参考图1，这两个服务器可位于一个或多个机架108中。第一服务器505和第二服务器510可每个包括一个或多个虚拟、物理或专用服务器。在一个实施方式中，第一服务器505和第二服务器510可以是形成网络205的部分的物理基础设施部件。

如图5所示，第二服务器510包括被实现为第二服务器510内的专用硬件的服务器和网络管理器315。在一个实施方式中，服务器和网络管理器315可在应用中实现，该应用在被包括在第一服务器505、第二服务器510或两者内的虚拟或物理服务器上运行。数据中心100可包括多于一个服务器和网络管理器315以提供足够水平的冗余性和可靠性。例如，如图5所示，第一服务器505位于不间断电源（UPS）区1中，而第二服务器510位于UPS区2中。在一个实施方式中，第一和第二服务器505和510都包括以虚拟或物理服务器应用的形式的服务器管理器315。在例如第一和第二区之一中的电力故障的情况下，具有服务器管理器315的第一和第二服务器505和510之一可保持在操作中。因此，服务器管理器315可跟踪并优化服务器的物理位置以识别或请求服务器在断电、服务或维护中断的情况下移动。

可给服务器和网络管理器315提供第二服务器510的参数、要求或操作信息以及第一服务器505或其它服务器的那些信息。在一个实施方式中，服务器和网络管理器315可指示第一和第二服务器505和510中的一个或多个至少部分地基于服务器或数据中心参数来执行应用。

图6是示出用于数据中心控制的示例性计算机实现的方法600的流程图。在一个实施方式中，方法600包括识别数据中心的参数的行动（行动605），其中每个数据中心包括至少一个装置。例如，识别数据中心参数（行动605）可包括识别数据中心功率消耗、能量使用、冷却容量、处理能力、操作容量、容限、要求或操作范围。识别数据中心参数（行动605）可包括总体上识别数据中心作为整体的参数以及识别数据中心部件例如服务器、机架或冷却单元的参数。识别数据中心参数（行动605）可包括识别与数据中心相关的一个或多个网络的参数。例如，多个数据中心可由一个或多个网络互连并由控制器控制。识别数据中心参数（行动605）可包括识别网络的参数，其中网络参数可限制数据中心操作。

在一个实施方式中，识别数据中心参数（行动605）包括识别选定数据中心装置的参数或特征。数据中心装置的例子包括冷却子系统、电力子系统、发电子系统、安全子系统、不间断电源、服务器、处理器和计算机。这个列表不是详尽的，以及数据中心装置包括例如其它部件和逻辑装置。识别数据中心参数（行动605）可包括识别或确定数据中心、其子系统和单独部件的单独的状态、要求、依从关系和操作信息。在一个实施方式中，识别数据中心参数（行动605）包括识别电网的电网参数，数据中心从电网消耗电力。也可识别其它这样的外部参数。例如，识别数据中心参数（行动605）可包括识别劳动力条件、政治或经济骚动、或可影响数据中心操作的其它外部因素。数据中心参数的另外的例子包括数据中心环境数据、数据中心内部的温度、数据中心外部的温度、电力成本、冷却成本、数据中心设施出租、租借或拥有成本、服务成本、维护成本和劳动力成本中的任一个。这些列表是例子而不是详尽的。在各种实施方式中，数据中心参数可包括当前或历史数据。在一个实施方式中，识别数据中心参数（行动605）可实时地或以周期性间隔出现。

识别数据中心参数（行动605）还可包括识别工厂提供的或内置装置容限数据。识别数据中心参数（行动605）可包括监测或采样数据中心或其设备以确定参数。在一个实施方式中，识别数据中心参数（行动605）包括接收识别参数的信息。在一个实施方式中，所识别（行动605）的数据中心参数可被存储用于随后在一个或多个数据库或存储器存储装置中取回。在一个实施方式中，识别数据中心参数（行动605）包括识别哪个数据中心或数据中心部件可用来执行额外的应用。例如，可用数据中心的列表可被提供并以可用容量的顺序或以操作费用的顺序排列。这样的列表可存储在数据库中，并在数据中心参数改变时实时地或周期性地更新。

在一个实施方式中，识别数据中心参数（行动605）包括确定任何添加的部件例如子系统、硬件或虚拟服务器对数据中心的影响。例如，识别数据中心参数（行动605）可包括任何添加的数据中心部件对数据中心冷却容量、功率消耗或性能的影响。

在一个实施方式中，方法600包括指示一个或多个数据中心的额外数据中心容量的行动（行动610）。例如，指示额外的数据中心容量（行动610）可包括向技术人员或向与具有较少的容量或没有额外容量的不同数据中心相关的逻辑装置提供额外的数据中心容量的指示。在一个实施方式中，指示额外的数据中心容量（行动610）包括数据中心操作容量或额外容量的实时图形显示。例如，指示额外的数据中心容量（行动610）可包括提供指示数据中心正以例如80%的容量操作且因此具有20%的额外数据容量的信息。通过再分配数据中心应用或关闭数据中心设备，额外的数据容量可被提供到其它数据中心、被减少或消除。

方法600还可包括探测应用故障的行动（行动615）。在一个实施方式中，探测应用故障（行动615）包括探测由于可用数据中心的缺乏、数据中心操作问题、维护、网络问题或电源问题而引起的应用故障。在一个实施方式中，在数据中心处的应用故障的指示可在应用故障出现的数据中心内部或远离该数据中心的位置处被探测到（行动615）。

在一个实施方式中，探测应用故障（行动615）包括定位与故障相关或被故障影响的数据中心或网络设备。例如，应用当在服务器上运行时可能不能如预期的执行。在本例中，服务器可被识别出，且识别信息可被提供给技术人员、控制器或与相同或不同的数据中心相关的逻辑。在一个实施方式中，在应用未能正确地在物理服务器上执行的一个实施方式中，在虚拟服务器之上运行的一个或多个虚拟服务器也可被识别出。虚拟服务器可接着被转移到同一数据中心内的不同位置或不同的数据中心。在一个实施方式中，响应于探测到应用故障（行动615），临时位置可被找到用于应用转移。这个临时位置可能不是对长期应用执行最适当的位置。例如，在临时位置处运行应用可能将对数据中心部件的负担增加到无法承受的水平。在本例中，应用可在临时位置处运行，直到更适当的位置可被识别出。

在一个实施方式中，探测应用故障（行动615）包括向技术人员提供关于故障的信息。该信息可识别例如出故障的数据中心或网络设备、转移的虚拟服务器、新硬件、维护操作和关闭信号。

方法600可包括产生将硬件添加到数据中心的请求的行动（行动620）。在一个实施方式中，响应于探测到应用故障（行动615），方法600包括产生添加硬件的请求（行动620）。例如，应用可能由于数据中心中的服务器处理容量的缺乏而失败。响应于探测到这个失败（行动615），方法600可产生将硬件添加到应用发生失败的数据中心的请求（行动620）。接着试图响应于请求（行动620）使用添加到数据中心的新硬件来执行失败的应用。产生将硬件添加到数据中心的请求（行动620）也可包括向数据中心技术人员提供请求。在一个实施方式中，所产生（行动620）的请求可显示在图形界面上。产生请求（行动620）可包括产生将虚拟服务器添加到数据中心的请求。

方法600可包括禁用一个或多个数据中心装置的行动（行动625）。在一个实施方式中，数据中心装置例如服务器或其它部件可以不在使用中，或可以以其容量的一部分被使用。禁用数据中心装置（行动625）可增加数据中心效率，减少功率消耗，并减少热生成，所有这些可降低数据中心操作的成本。禁用数据中心装置（行动625）可包括关闭装置、从数据中心移除装置例如物理或虚拟服务器、或将装置置于减少该装置的功率消耗的睡眠模式中。在一个实施方式中，禁用数据中心装置（行动625）包括在禁用该装置之前将在该数据中心装置上运行的应用转移到可位于同一或不同的数据中心中的不同装置。

在一个实施方式中，方法600包括监测网络设备参数（行动630）的行动。例如，网络限制可限制数据中心操作。这可包括形成网络的至少部分的网络基础设施设备的限制。监测网络设备（行动630）可包括接收网络设备要求、相关性、容量、速度、功能或带宽的指示的任一个。例子的这个列表不是详尽的。监测网络参数（行动630）可包括探测网络故障或中断，并可包括探测可向数据中心提供电力的电网的电网中断。在一个实施方式中，监测网络设备（行动630）包括监测单独网络元件、装置或部件例如服务器、交换机或路由器的状态。

方法600可包括接收警告消息的行动（行动635）。例如，接收警告消息（行动635）可包括接收计划或未计划的数据中心维护或在包括数据中心的场所上的电力中断的消息。在一个实施方式中，接收警告消息（行动635）可包括识别数据中心的问题。例如，接收警告消息（行动635）可包括接收数据中心部件或子系统正以最大容量或接近最大容量操作的消息。

在一个实施方式中，接收警告消息（行动635）可包括接收指示数据中心、其子系统（例如冷却单元）或部件（例如服务器）未充分使用的消息。例如，可接收（行动635）数据中心或其部件（例如装置）当前正使用其可用处理容量的5%的警告消息。响应于这个警告消息，数据中心可至少暂时关闭。在该数据中心运行的任何应用可停止，且技术人员可被警告。当多个数据中心同时操作时，这样的行动可增加总效率并降低成本。

在一个实施方式中，方法600包括接收执行应用的命令的行动（行动645）。接收执行应用的命令（行动645）可包括接收执行应用的请求。可从例如数据中心、与数据中心相关的网络或技术人员接收请求或命令（行动645）。在一个实施方式中，接收执行应用的命令（行动645）包括接收请求以在数据中心之间或在一个或多个数据中心的数据中心部件之间转移应用。在一个实施方式中，接收执行应用的请求（行动645）可响应于在一个或多个数据中心处探测到应用故障（行动615）的行动。在一个实施方式中，接收执行应用的请求（行动645）包括控制器产生请求。在一个实施方式中，接收执行应用的命令（行动645）包括在数据中心接收执行应用的命令，其中应用由不同的数据中心提供。

在一个实施方式中，方法600包括识别应用的要求的行动（行动650）。例如，识别应用的要求（行动650）可包括识别应用在其执行期间所使用的系统资源。系统资源可包括例如所使用的存储器或处理器容量以及所产生的热、控制产生的热所需的冷却容量、或用于运行、存储或执行应用的设备的功率消耗。在一个实施方式中，应用的要求响应于执行应用的所接收（行动645）的命令或连同该命令一起而被识别（行动650）。识别应用的要求（行动650）可包括识别应用将被执行的时间段。在一个实施方式中，识别应用的要求（行动650）包括识别应用的冗余性、准确性、可靠性或故障容忍要求。

在一个实施方式中，方法600包括识别作为运行应用的位置的数据中心（行动655）。这可包括至少部分地基于多个数据中心的参数的评估来从多个数据中心识别一个数据中心（行动655）。这些参数可包括例如数据中心作为整体、数据中心设备、和将控制器连接到一个或多个数据中心的网络的网络设备的电力、电流、能量、冷却和装置特征。识别数据中心（行动655）可包括识别数据中心或单独的部件或其子系统，例如服务器。在一个实施方式中，识别数据中心（行动655）包括至少部分地基于可在数据中心内执行的应用的要求来识别数据中心。

在一个例子中，多个数据中心可经由至少一个网络连接到彼此并也连接到至少一个控制器。这些数据中心可以在地理上是无联系的。第一数据中心可例如以其处理容量的35%操作，但可使用其冷却容量的98%，且因此可能消耗高数量的电力。第二数据中心可例如以其处理容量的90%操作，但可使用其冷却容量的60%，且在本例中可比第一数据中心消耗更少的电力。继续这个例子，控制器可评估这两个数据中心的容量和功率消耗数据，并将第二数据中心识别（行动655）为执行应用的位置。在本例中，应用可以是新应用，或可从第一数据中心转移到第二数据中心。识别数据中心（行动655）可包括多于数据中心处理、冷却和电力容量的评估。例如，当识别一个或多个数据中心以执行应用（行动655）时，网络设备和单独数据中心子系统和装置可被评估。

上面的例子不是限制性的，且其它因素、参数和要求可在识别数据中心（行动655）时被考虑。例如，两个或多个数据中心可消耗相等的电力，但数据中心之一可位于具有较不昂贵的电力的国家或地区中。在本例中，识别数据中心（行动655）可包括识别消耗来自较不昂贵的源的电力的数据中心，因为这降低了数据中心操作的总成本。在另一例子中，从环境上较安全的源（例如，太阳能、风、水力发电或原子核）产生的电力可能影响识别数据中心的行动（行动655）。地理和政治顾虑以及劳动力成本是当识别数据中心（行动655）时可考虑的因素的另外的例子。

在一个实施方式中，识别数据中心（行动655）可包括在包括数据中心的区域中的气候或当地天气条件的评估。例如，在冷气候中，可以用最小化冷却数据中心所必需的冷却设备的数量的方式来设计数据中心。在另一例子中，极端天气条件例如飓风或暴风雪的可能性可导致电网中断，并可在识别数据中心（行动655）时被考虑。

在一个实施方式中，识别数据中心（行动655）可包括将特定的数据中心子系统或设备装置识别为执行应用的至少部分的位置。例如，识别数据中心（行动655）可包括识别第一数据中心或其部件以运行应用的部分，并识别第一数据中心的不同部件以运行应用的另一部分。此外，应用的另一部分可在第二数据中心或其部件处运行。在一个实施方式中，识别数据中心（行动655）包括识别在一个或多个数据中心处执行应用的时间。例如，由于例如数据中心使用条件或运行应用所需的资源，在半夜在特定的数据中心处执行应用可能是最有成本效益的。

在一个实施方式中，将数据中心识别为执行应用的位置（行动655）包括识别应用对数据中心将有的影响，假定数据中心部件执行该应用。例如，数据中心可以以其容量的77%操作。将数据中心识别为执行应用的位置（行动655）可包括一确定：在所识别的数据中心处执行应用将使该数据中心以其服务器、机架、冷却或总容量的不同百分比操作。在另一例子中，识别数据中心（行动655）可包括如果应用在办公时间期间被执行则确定在数据中心上执行应用将引起数据中心功率消耗的0.5%的增加。可使用指示数据中心或网络功能的其它百分比或值。

在一个实施方式中，应用可能对数据中心有的影响的指示可被显示或提供给技术人员。在本例中，识别数据中心（行动655）可响应于来自技术人员的、指示应用对数据中的影响是可接受的指示而出现。在另一例子中，识别数据中心（行动655）可响应于来自控制器或任何数据中心的数据中心部件的、指示应用对数据中的影响是可接受的指示而出现。

在一个实施方式中，识别数据中心（行动655）包括识别具有足够容量（例如，服务器或冷却）以执行应用的多个数据中心。例如，所识别的数据中心参数可被评估以产生在一个或多个数据中心内执行应用的适当位置的列表。在本例中，该列表可被排序，使得至少一个位置被识别为主要位置。继续这个例子，在一个或多个数据中心内的多个服务器可按具有最低操作费用的服务器到具有最高操作费用的服务器来识别。数据中心本身或其单独的部件或子系统可被识别（行动655）。在一个实施方式中，在一个或多个数据中心中的虚拟服务器的集群可被识别（行动655）。

识别数据中心（行动655）可包括识别数据中心的虚拟服务器的位置，其中虚拟服务器具有足够的容量来执行应用。在一个实施方式中，识别数据中心（行动655）包括识别数据中心中的虚拟服务器，以及识别该虚拟服务器的适当的替代位置。这样的替代位置可以在具有比另一数据中心更低的操作费用或更低的拥有总成本的数据中心内。例如，能够执行应用的虚拟服务器可以在具有不可靠的电网的数据中心中，或虚拟服务器可依赖于不足或不可靠的其它数据中心部件。在本例中，识别数据中心（行动655）包括识别虚拟服务器的替代位置。替代位置可以在同一或不同数据中心中。虚拟服务器或虚拟服务器的集群可接着转移到替代位置以执行应用。

在一个实施方式中，识别数据中心（行动655）包括将数据中心识别为需要维护。在该例证性实施方式中，技术人员可同意在数据中心、其部件或其相关的网络或控制器上升级或执行维护的请求。例如，如果基本物理服务器的硬件被升级，则虚拟服务器性能可增加。在本例中，识别数据中心（行动655）可包括或响应于升级服务器硬件的请求。在一个实施方式中，当识别数据中心（行动655）时可考虑当升级设备或添加硬件时的硬件、维护或安装活动的成本。这可例如响应于将硬件添加（行动620）到数据中心的请求而出现。

特定的应用不需要被提供来在识别数据中心（行动655）之前执行。例如，识别数据中心（行动655）可包括识别具有例如可用服务器处理容量的多个数据中心。这些数据中心的列表可例如按照处理容量的数量、操作的成本、位置或其它因素来排列。该列表可周期性地或实时地更新。该列表可从它被存储的存储器存储单元或数据库取回。

在一个实施方式中，方法600可包括转移数据中心应用的行动（行动658）。数据中心应用可在一个数据中心内的设备之间或从第一数据中心到第二数据中心转移（行动658）。在一个实施方式中，转移数据中心应用可响应于从数据中心接收警告信息的行动（行动635）。在一个实施方式中，为了接收所转移（行动658）的应用的目的，部件例如虚拟、物理或专用服务器可被添加到数据中心。转移应用（行动658）可包括将应用转移到两个或多个物理或虚拟位置或虚拟服务器的集群。在一个实施方式中，转移应用（行动658）包括转移应用的一部分，而应用的另一部分保留在现有的物理或虚拟位置处。

在一个实施方式中，转移数据中心应用（行动658）包括将数据中心识别为能够执行当前被分配或指派给不同的数据中心的设备的应用。例如，多个数据中心可同时操作。多个数据中心之一可在一位置（在该位置，能量成本低于在其它数据中心的位置处的能量成本）上操作。在本例中，转移数据中心应用（行动658）包括将具有较低能量成本的数据中心识别为执行由具有较高能量成本的不同数据中心当前执行的应用的位置。在本例中，应用可以从具有较高能量成本的数据中心转移（行动658）到具有较低能量成本的数据中心。这减小了多个数据中心的总操作成本。能量成本的这个例子不是限制性的，因为当从数据中心转移（行动658）到执行应用的位置时，其它因素例如劳动力成本、维护、处理容量、可靠性或电网持久性可被评估。

在一个实施方式中，方法600包括向数据中心提供应用的行动（行动660）。例如，向数据提供应用（行动660）可包括经由网络将应用传输到数据中心或其部件，例如具有执行应用的足够容量的服务器。应用可以经由网络、另一数据中心、技术人员或控制器被提供（行动660）到数据中心。在一个实施方式中，向数据中心提供应用（行动660）包括向响应于产生添加硬件的请求（行动620）的行动而添加到数据中心的硬件提供应用。向数据中心提供应用（行动660）可改变数据中心操作特征和其它参数。

在一个实施方式中，方法600包括指示服务器或其它数据中心部件执行应用的行动（行动665）。例如，应用可被提供到数据中心（行动660）用于由服务器或其它数据中心部件立即执行。指示服务器执行应用（行动665）还可包括关于应用如何被执行的指令。例如，指令可包括可靠性或故障容忍规范。在各种实施方式中，指示数据中心执行应用（行动665）可响应于例如转移应用（行动658）、向数据中心提供应用（行动660）、向第二数据中心提供应用（行动680）或识别数据中心（行动655）。

在一个实施方式中，方法600包括使应用的执行时移的行动（行动670）。应用的时移执行（行动670）可包括使应用的执行延迟。例如，当识别应用的要求（行动650）时，可确定应用的执行不是时间敏感的。此外，数据中心可在某些天例如假日或周末或在一天的某些时间例如在股票市场被关闭之后或在工作时间之后具有额外的容量。在例如这些情况下，应用可被时移（行动670）以在减少的数据中心活动期期间使用数据中心。在一个实施方式中，执行应用（行动665）的指令包括使应用的执行时移（行动670）的指令。在一个实施方式中，应用的时移执行（行动670）可响应于数据中心参数的识别（行动605）。此外，应用的时移执行（行动670）可响应于警告消息的接收（行动635）。警告消息可指示例如数据中心或其部件在最大容量处或接近最大容量，数据中心维护被安排，与数据中心相关的电网被中断，有劳动力或安全忧虑，或其它因素。

方法600可包括确定第一数据中心容量的行动（行动675）。例如，确定第一数据中心容量（行动675）可包括确定所使用的数据中心容量的量、或可用的数据中心容量的量。所确定（行动675）的数据中心容量可包括数据中心作为整体或单独子系统或其中的元件的处理容量、电力容量或冷却容量。例如，识别第一数据中心（行动675）可包括将数据中心中的服务器识别为具有执行应用的足够容量。可基于第一数据中心或其设备所提供的信息来确定第一数据中心容量（行动675），或基于已知的设备容限和关于第一数据中心可正在执行的多个应用的信息通过外推法来确定。

确定第一数据中心容量（行动675）可包括将数据中心识别为具有额外或可用的容量。确定第一数据中心容量（行动675）还可包括确定数据中心正以最大容量操作。例如，数据中心可消耗其可用电力的100%，或数据中心冷却单元可以以最大容量操作。此外，服务器或其它部件可以以其最大处理容量操作，或存储器设备可以是满的。在一个实施方式中，识别数据中心参数（行动605）包括确定第一数据中心容量的行动（行动675）。

在一个实施方式中，确定第一数据中心容量（行动675）可通过参考数据中心模型实现。例如，在数据中心外部的数据中心控制器可模拟数据中心操作。在本例中，确定第一数据中心容量（行动675）可包括基于模拟数据中心数据——而不是测量数据中心数据——来确定数据中心容量。

在一个实施方式中，方法600包括向第二数据中心提供应用的行动（行动680）。向第二数据中心提供应用（行动680）可例如响应于下列操作中的至少一个而出现：确定第一数据中心容量（行动675）、接收警告消息（行动635）、探测到应用故障（行动615）、监测网络设备参数（行动630）、指示额外的数据中心容量（行动610）以及识别数据中心参数（行动605）。在一个实施方式中，向第二数据中心提供应用（行动680）包括向作为服务器的第二数据中心部件提供应用用于执行。在一个实施方式中，向第二数据中心提供应用（行动680）包括向第二数据中心提供应用的一部分。

可通过将工作负载合并到较少的机架108或在其中包括的服务器中来减少数据中心例如图1的数据中心100的能量消耗。例如，服务器可在空闲状态中可消耗其最大电力的大约一半，且使未使用的服务器和其它设备断电减少了总能量消耗。在多个机架108和服务器当中分配工作负载（例如，应用）也可减少服务器和机架108的功率消耗。在一个实施方式中，数据中心控制器210基于最小化单独的服务器功率消耗的服务器利用阈值来在服务器当中分配工作负载。例如，数据中心控制器210可将工作负载分配给多个服务器，使得它们以其总计算能力的大约68%操作。在0–100%之间的其它百分比是可能的。这合并一个或多个数据中心100的一些服务器上的工作负载，允许其它服务器断电。虽然这个例子最小化服务器（或机架108）功率消耗，在本例中的工作负载分配可主要基于服务器或机架电力利用，且不一定最小化冷却单元104的消耗或总数据中心100的功率消耗。

当工作负载分配不考虑冷却功率消耗时，冷却单元104可能必须消耗额外的电力来补偿在多个服务器当中的工作负载分配，或额外的冷却单元104可能是需要的。这可弥补服务器电力节省，并防止数据中心100在其最小总功率消耗处操作。在一个实施方式中，通过控制冷却单元和机架的功率消耗来最小化数据中心的总功率消耗。例如，数据中心控制器210可确定最小化数据中心100的总功率消耗的机架108（包括服务器）和冷却单元104的使用、操作状态和组合。也可通过将冷却单元负载合并到较少的冷却单元104中来减小数据中心能量消耗。机架108和冷却单元104可以被完全或部分地利用或断电。

数据中心100或其部件例如机架108和冷却单元104可分成多个区或集群。例如，机架108的集群可包括群集在数据中心100的区域中的多个机架108。这可相应于完整的行102、行102的一部分、或多行102的部分。冷却单元104的集群可包括基于房间的或包括在数据中心100的至少一行102中的一组设备。集群还可包括至少一个机架108和至少一个冷却单元104的组。

在一个实施方式中，数据中心控制器210确定至少一个机架108的实际或模拟利用率u_i ^R。这些确定可实时地进行。机架利用率u_i ^R表示被分配给每个机架的最大计算负载的部分。机架利用率u_i ^R可被表示为例如以每秒百万指令数（MIPS）的从0–100%的百分比，或被表示为在零和一之间的数字。数据中心控制器210还可确定至少一个冷却单元104的实际或模拟利用率u_i ^C，其表示由冷却器输送的最大空气流的部分。冷却利用率u_i ^C可例如被表示为在0%和100%之间的百分比，或被表示为大于最小阈值并小于或等于一的数字。在一个实施方式中，最小阈值大于零。

机架功率消耗P_i ^R由方程（1）表示，其中P₀ ^R表示在待机或空闲状态中的最小机架功率，P_max ^R表示最大机架功率，且u_i ^R表示机架利用率。

(1), P_{i}^{R} = P_{0}^{R} + (P_{\max}^{R} - P_{0}^{R}) \cdot (u_{i}^{R})

冷却单元功率消耗由P_i ^C由方程（2）表示，其中P₀ ^C表示在待机或空闲状态中的最小冷却单元功率（例如，对于具有1/2机架覆盖区的行内冷却单元104为50W），P_max ^C表示最大冷却单元功率，且u_i ^C表示冷却单元利用率。

(2), P_{i}^{C} = P_{0}^{C} + (P_{\max}^{C} - P_{0}^{C}) \cdot {(u_{i}^{C})}^{3}

数据中心控制器210可分配工作负载以最小化机架108和冷却单元104的总功率消耗，其中总功率消耗P_TOTAL由方程（3）表示。

(3), P_{TOTAL} = Σ_{i}^{n} P_{i}^{R} + Σ_{i}^{N} P_{i}^{C}

在一个实施方式中，数据中心控制器210基于模拟机架108和冷却单元104的功率消耗数据确定P_TOTAL。P_TOTAL可包括至少一个数据中心100或包括在其中的机架108和冷却单元104的集群的总功率消耗，其中n是机架的数量，且N是冷却单元的数量。机架108可包括至少一个服务器，且冷却单元104可以是基于房间的或位于行102中，并可具有全机架或半机架覆盖区。在一个实施方式中，最小化总功率消耗P_TOTAL的工作负载分配不超过集群的总的所需计算能力，其是集群中的数量为n的机架108的最大计算容量c_i ^max和机架利用率u_i ^R的乘积的和，该和由方程（4）表示。

数据中心控制器210可例如基于与冷却空气的供应或热空气从至少一个机架108的移除相关的气流模式来确定最小化P_TOTAL同时满足至少一个基于机架的冷却度量的工作负载分配。例如，数据中心控制器210可对数据中心100中的设备的集群执行冷却分析以识别机架108用于分配使用额外功率的应用。冷却所影响的机架108的额外的冷却空气流（例如，以cfm为单位）可基于对该机架108中的现有设备的平均流要求（例如，160cfm/kW）。在一个实施方式中，如在2008年1月24日提交的标题为“Systemand Method for Evaluating Equipment Rack Cooling”的美国专利申请12/019109和2006年1月27日提交的标题为“Methods and Systems forManaging Facility Power and Cooling”的美国专利申请序列号11/342,300中描述的，数据中心控制器210确定每个机架的捕获指数（CI），这两个申请都通过引用被全部并入本文。

数据中心控制器210可确定与至少一个机架108相关的冷通道112和热通道110的捕获指数，至少一个机架108在数据中心100中可位于热通道110和冷通道112之间。在一个实施方式中，冷通道112的捕获指数是从本地冷却资源例如穿孔地板砖114或冷却单元104起源的、机架108所吸取的空气的部分。热通道110的捕获指数可以是由机架108排出的空气的部分，其由本地提取物例如返回通风口或冷却单元104捕获。捕获指数可从0–100%变化，更好的冷却性能通常由较大的捕获指数值指示。例如，参考机架108和冷通道112，高捕获指数（例如，大于或等于大约90%）指示由机架108吸取的大部分空气起源于冷却资源而不是从一般数据中心100的房间环境或从可能已经从数据中心100的设备加热的空气抽取。在本例中，机架108的入口温度可通常跟踪穿孔地板砖114的气流以当穿孔地板砖114的气流在期望温度范围内时实现可接受的冷却。参考机架108和热通道110，高捕获指数指示来自机架108的排气以对数据中心100中的其周围环境的最少加热而在本地被捕获。

在一个实施方式中，高捕获指数指示良好的冷却性能。然而，低捕获指数不一定指示不可接受的冷却性能。例如，在基于机架的高架地板环境（其从周围房间环境而不是从穿孔地板114抽出大部分其空气流）中，机架108的冷通道捕获指数可能低；然而，如果周围数据中心100的环境足够冷，机架108的入口温度可能仍然是可接受的。在本例中，机架108的冷却要求可由数据中心100的外部环境而不是由来自包括机架108的集群内的穿孔地板砖114的气流满足。如果这个过程在整个数据中心100中重复很多次，则设施冷却将是复杂的，并可能是不可预测的。高捕获值导致数据中心100的内在可调整的集群布局和更可预测的房间环境。在一个实施方式中，当集群中的所有机架108的捕获指数大于90%时，集群的冷却性能是令人满意的。当较冷的供应和周围环境温度接近至少一个机架108的最大目标入口温度时，该阈值可增加。工作负载分配、冷却单元104的分配和数据中心布局也可基于其它机架或基于涉及计算流体动力学的其它冷却度量。

在图7和图8中描绘工作负载（例如，应用）被分配到数据中心设备的一个实施方式。图7描绘数据中心100的初始布局工作负载分配，且图8描绘具有所分配的工作负载来最小化总功率消耗P_TOTAL的数据中心100的布局。在一个实施方式中，数据中心控制器210在多个布局中循环以从初始或以前的布局例如图7的布局到达具有例如图8的最低总功率消耗的最佳布局。

图7示出包括位于两行102中的一个冷却单元104和多个机架108（a）到108（e）的数据中心100的集群。行102由通道705分离，其参考图1可以是热通道110或冷通道112。数据中心100中的设备的集群可包括比图7所示的设备更多或更少的设备，且集群可包括来自比两行102更多或更少的设备，且冷却单元104不需要在如图7所示的行102的端部处。

在图7的初始布局中，为每个机架108（a-e）指示利用率u_i、最大计算容量c_i ^max、功率消耗P_i和捕获指数（CI），且为冷却单元104指示利用率u_i和功率消耗P_i。初始数据中心布局可以是在数据中心100在其构造或组装之前在计划阶段中提出的布局，并可基于参数例如最接近冷却单元104的群集机架108或机架108的计算容量c_i ^max。图7的布局也可表示操作数据中心的模型。

在图7的例子中，初始数据中心设计参数促使每个机架108（a-e）以50%的利用率操作。如所示，冷却单元104具有100%的利用率u_i ^C，并使用1.05kW的功率消耗P_i ^C以最大容量操作。每个机架108（a-e）以50%的利用率u_i ^R以5.5kW的功率消耗操作。总功率消耗在本例中是冷却单元104和机架108（a-e）的功率消耗的和，该功率消耗是28.55kW。

在一个实施方式中，数据中心控制器210从图7的初始布局确定不同的工作负载分配，其通过维持例如正被利用的、例如未断电的每个机架108的至少90%的捕获指数来满足冷却目标。图8描绘具有被分配来最小化上述方程（3）的总功率消耗P_TOTAL的工作负载的数据中心100的集群。不是在机架108（a-e）中分配工作负载以满足以50%（或任何其它百分比）的利用率操作的每个机架108的用户定义的阈值，如在图7的例子中的，数据中心控制器210可提供如图8所示的最佳工作负载。通过最小化总功率消耗P_TOTAL同时满足冷却性能标准例如高捕获指数或其它冷却度量来确定最佳工作负载分配。

参考图7和8，一些工作负载在机架108（a-e）之间移动以最小化总功率消耗P_TOTAL。在本例中，机架108a和108c每个具有100%的利用率u_i ^R和10.0kW的功率容量P_i ^R（其相对于图7是双倍的），同时维持100%的捕获指数。在本例中，将工作负载集中在机架108a和108c中从机架108b和108e移除所有工作负载，使得这些机架可被关闭并具有0%的利用率u_i ^R和0.0kW的功率容量P_i ^R。这个例子还将机架108d的利用率u_i ^R和功率容量P_i ^R减小到17%和2.5KW。此外，这个配置将利用率u_i ^C减小到82%并将功率容量P_i ^C减小到0.6KW。虽然图7的工作负载分配具有28.55kW的总功率消耗，在如图8所示的被优化时，通过同一集群的相同工作负载的总功率消耗是冷却单元104和机架108（a-e）的功率消耗的和，该功率消耗是23.10kW，其相对于图7的工作负载分配是19.1%的功率节省。

在一个实施方式中，数据中心控制器210在计划或设计阶段确定服务器、机架108和冷却单元104的物理布局用于数据中心100的创建。例如，数据中心控制器210可根据基于机架的参数例如图7的50%利用率u_i ^R来确定预备数据中心100的布局，并可修改预备布局以识别优化布局，该优化布局最小化数据中心100或包括在其中的设备的一个或多个集群的总功率消耗，同时将机架和冷却利用率u_i以及总机架108的计算功率维持在100%处或之下，并同时将捕获指数CI维持在容限范围内或阈值水平之上。在一个实施方式中，数据中心控制器210对多个数据中心布局建模并在从总功率消耗角度到达最佳布局之前使用例如最陡下降的方法执行多次迭代。由数据中心控制器210以及数据中心100的其它逻辑装置进行的计算和确定可被实时地做出。

图9是示出用于数据中心控制的示例性计算机实现的方法900的流程图。方法900的行动可实时地进行。在一个实施方式中，方法900包括接收至少一个数据中心的数据中心设备信息的行动（行动905）。例如，接收信息（行动905）包括接收关于冷却单元、服务器或数据中心中的机架操作的信息。数据中心控制器可接收（行动905）利用率u_i，并确定机架和冷却单元的功率消耗P_i的信息。所接收（行动905）的信息还可包括机架计算容量信息，例如包括在其中的服务器的最大计算容量，以及机架冷却度量，例如捕获指数值。可从单独的数据中心部件或从可包括至少一个冷却单元和至少一个机架的部件的集群接收数据中心信息（行动905）。

在一个实施方式中，接收行动（行动905）包括接收关于数据中心冷却单元、机架、服务器或其它数据中心设备的操作、负载、计划或容限信息。接收信息（行动905）包括接收模拟信息或实际信息，例如实质上实时地测量的信息。接收信息（行动905）还可包括接收数据中心设备的容限信息，例如最大或最小容量。可电子地或经由用户接口接收信息（行动905）。

方法900包括确定至少一个机架的机架功率消耗的行动（行动910）。确定机架功率消耗（行动910）可包括确定机架部件例如服务器的功率消耗。至少一个机架的功率消耗P_i ^R可被确定（行动910）为待机机架功率消耗P₀ ^R加上机架利用率u_i ^R与最大P_max ^R待机P₀ ^R机架功率之间的差的乘积，如在上述方程（1）中所指示的。在一个实施方式中，方法900包括确定至少一个冷却单元的冷却单元功率消耗（行动915）的行动。至少一个冷却单元的功率消耗可被确定（行动915）为待机冷却功率消耗P₀ ^C加上冷却利用率的立方(u_i ^C)³与最大P_max ^C待机P₀ ^C冷却单元功率之间的差的乘积，如在上述方程（2）中所指示的。在一个实施方式中，通过对所确定的机架功率消耗（行动910）和所确定的冷气单元功率消耗（行动915）求和来确定至少一个机架和至少一个冷却单元的集群的总功率消耗。集群可包括数据中心的全部或部分设备。

方法900可包括确定冷却约束例如基于机架的冷却度量的行动（行动920）。在一个实施方式中，确定捕获指数（行动920），其指示起源于冷却单元或其它本地资源的机架所吸收的空气的百分比或由冷却单元或其它本地提取物捕获的机架所排出的空气的百分比。

在一个实施方式中，方法900包括确定数据中心工作负载分配的行动（行动925）。确定工作负载分配（行动925）可包括确定具有最小总功率消耗的机架和冷却单元的工作负载分配布局。例如，数据中心控制器可识别至少一个机架和至少一个冷却单元的集群的工作负载分配，其最小化该集群的总功率消耗。在本例中，应用可被分配（行动925）到至少一个机架或冷却单元，至少一个其它机架或冷却单元以减小的负载操作或被断电。工作负载可分配（行动925）在机架之间，同时满足基于机架的冷却度量或同时满足冷却和其它数据中心标准。例如，工作负载可被分配在一行或多行机架之间，或冷却负载可被分配在冷却单元之间，同时将机架计算能力c_i维持在其最大水平c_i ^max处或之下，或使得机架和冷却单元利用率保持在100%处或之下。在一个实施方式中，在机架当中的工作负载分配被确定，同时将至少一个机架的热通道或冷通道捕获指数维持在高水平处，例如高于90%。

确定工作负载分配（行动925）可包括识别包括在机架中的至少一个服务器用于应用的分配，并可包括识别工作负载用于在同一机架或不同机架的服务器之间转移。在一个实施方式中，确定工作负载分配（行动925）包括将机架物理地定位或重新定位在数据中心内的指令。确定工作负载分配（行动925）可包括识别用于负载调节的至少一个冷却单元，并可包括识别用于在冷却单元之间转移的冷却单元负载。在一个实施方式中，确定工作负载（行动925）包括将冷却单元物理地定位或重新定位在数据中心内的指令。

在行动900-925的第一次重复之后，数据中心部件的所确定的布局可处理所分配的工作负载，同时维持满足阈值的基于机架的冷却度量。在一个实施方式中，方法900包括行动900-925的至少一次另外的重复以确定进一步最小化总功率消耗的另一数据中心布局。确定继续进行另一次循环（行动930）可包括接收关于所确定的工作负载分配和数据中心布局的信息，包括数据中心设备和冷却单元负载信息。机架和冷却单元功率消耗可再次被确定，且第二工作负载分配可被确定。循环可重做多次，直到当与其它所识别的布局比较时识别具有最低功率消耗的一个数据中心布局，同时维持冷却约束例如基于机架的冷却度量。例如，可基于机架利用率、冷却利用率、计算要求、或机架、冷却单元或服务器的功率消耗来确定数据中心布局。这些特征中的一个或多个可被修改，新布局至少部分地基于修改的特征来确定。该过程可循环（行动930），一个或多个特征被修改，直到最佳工作负载分配和数据中心布局被确定。当不需要进一步的循环时，方法900可例如通过将工作负载分配到数据中心设备（行动935）或通过提供数据中心布局信息（行动940）来继续进行。

在一个实施方式中，分配负载（行动935）包括向数据中心提供应用或提供使服务器或其它数据中心部件执行应用的指令。分配负载（行动935）还可包括在部件（例如，机架、服务器）之间转移工作负载或在一个或多个数据中心的冷却单元之间转移冷却负载。

提供数据中心布局（行动940）可包括在数据中心计划阶段期间确定数据中心中的数据中心部件的物理布局。例如，可改变和顺序地分析数据中心内的数据中心特征例如行、机架或冷却单元布置，且可对每个布局确定工作负载分配。提供数据中心布局（行动940）可包括设计数据中心的初始布局或改变现有数据中心的布局。提供数据中心布局（行动940）还可包括在一个或多个冷却单元当中分配或重新分配冷却负载。这可包括向数据中心提供冷却单元或从数据中心移除冷却单元，识别其初始容量和功率要求，或例如基于冷却度量来调节容量和功率要求。可对不同的布局确定总功率消耗，包括机架、冷却单元或集群的功率消耗，到机架或冷却单元的工作负载分配例如基于具有最低总功率消耗的布局来确定。也可提供数据中心布局（行动940），使用预测或满足计划的能量利用、可用性和机架、服务器或冷却单元消耗标准。在一个实施方式中，提供数据中心布局（行动940）包括提供模拟布局。

方法900的行动与方法600兼容并补充方法600。例如，在方法600中描述的数据中心控制的行动可适用于在方法900中描述的数据中心控制的行动并可与在方法900中描述的数据中心控制的行动组合。方法600和方法900的各种单独的行动可被组合为同一实施方式的部分。此外，方法600和900可在公共数据中心控制器上被执行。

本文所述的各种方面和实施方式可在如上所述的一个或多个计算机系统上实现。例如，系统200可在单个计算机系统中或在多个计算机系统中实现。这些计算机系统可以是例如通用计算机，例如基于英特尔奔腾型处理器、摩托罗拉PowerPC、Sun UltraSPARC、Hewlett-Packard PA-RISC处理器或任何其它类型的处理器。

例如，各种方面可被实现为在通用计算机系统1000例如图10所示的计算机系统中执行的专用软件。计算机系统1000可包括连接到一个或多个存储器设备1010例如磁盘驱动器、存储器或用于存储数据的其它设备的处理器1005。存储器1010一般用于在计算机系统1000的操作期间存储程序和数据。计算机系统1000还可包括提供额外的存储容量的存储系统1015。计算机系统1000的部件可由互连机构1020耦合，互连机构1020可包括一个或多个总线（例如，在集成在同一机器内的部件之间）和/或网络（例如，在存在于单独的离散机器上的部件之间）。互连机构1020使通信（例如，数据、指令）能够在系统1000的系统部件之间交换。

计算机系统1000还包括一个或多个输入设备1025例如键盘、鼠标、跟踪球、麦克风、触摸屏以及一个或多个输出设备1030例如打印设备、显示屏、扬声器。此外，计算机系统1000可包含将计算机系统1000连接到通信网络（此外或作为对互连机构1020的备选方案）的一个或多个接口（未示出）。

在图11中更详细示出的存储系统1015一般包括计算机可读和可写非易失性记录介质805，其中存储定义由处理器执行的程序或存储介质1105上或中的信息以由程序处理来执行与本文所述的实施方式相关的一个或多个功能。介质可例如是磁盘或闪存。一般，在操作中，处理器使数据从非易失性记录介质1105读到另一存储器1110中，存储器1110允许通过处理器比介质1105访问信息更快地访问信息。该存储器1110一般是易失性随机存取存储器，例如动态随机存取存储器（DRAM）或静态存储器（SRAM）。它可位于如所示的存储系统1015中或存储器系统1010中。处理器1005通常操纵在集成电路存储器1010、1110内的数据，并在处理结束之后接着将数据复制到介质1105。各种机构可管理在介质1105和集成电路存储器元件1010、1110之间的数据移动，且本文提供的例子——包括示例性存储器系统1010和存储系统1015——不是限制性的。

本文实现的计算机系统可包括特别编程的专用硬件，例如专用集成电路（ASIC）。本文所述的各种方面可在软件、硬件或固件或其任何组合中实现。此外，这样的方法、行动、系统、系统元件和其部件可被实现为上述计算机系统的部分或实现为独立的部件。

虽然计算机系统1000作为例子被示为一种类型的计算机系统（在其上可实践本文描述的各种方面），方面和实施方式不限于在如图10所示的计算机系统上实现。可在具有在图10中示出的不同结构或部件的一个或多个计算机上实践各种方面。此外，在本文（或权利要求中）描述的实施方式的功能或过程在处理器或控制器上执行的场合，这样的描述包括使用多于一个处理器或控制器来执行功能的系统。

计算机系统1000可以是使用高级计算机编程语言可编程的通用计算机系统。还可以使用特殊编程的专用硬件来实现计算机系统1000。在计算机系统1000中，处理器1005可以是市场上可买到的处理器，例如从英特尔公司可得到的公知的奔腾类处理器。其它处理器是可用的，例如可执行操作系统的处理器，操作系统可以是例如可从微软公司得到的Windows95、Windows98、Windows NT、Windows2000（Windows ME）Windows XP、Windows Vista或Windows7操作系统、从苹果计算机公司可得到的MACOS系统X操作系统、从太阳计算机系统可得到的Solaris操作系统、或从各种源可得到的UNIX操作系统。可使用很多其它操作系统。

处理器和操作系统一起限定计算机平台，对于该计算机平台，应用程序用高级编程语言编写。本文所述的系统和方法的实施方式不限于特定的计算机系统平台、处理器、操作系统或网络。这些系统和方法不限于特定的编程语言或计算机系统。可使用其它编程语言和其它适当的计算机系统。

计算机系统的一个或多个部分可分布在耦合到通信网络的一个或多个计算机系统中。例如，如上所述，网络管理器315可位于远离变化和容量管理器305处。这些计算机系统也可以是通用计算机系统。例如，系统200的元件可以分布在一个或多个计算机系统当中，这些计算机系统配置成向一个或多个客户端计算机作为分布式系统的部分提供服务（例如，服务器），或执行总任务。例如，操作可在包括分布在一个或多个服务器系统当中的部件的客户端-服务器或多层系统上执行，其根据本文描述的各种实施方式执行各种功能。这些部件可以是可执行代码、中间代码（例如IL）或解释（例如Java）代码，其使用通信协议（例如TCP/IP）通过通信网络（例如互联网）进行通信。例如，一个或多个服务器可用于存储在设计布局中使用的设备数据，且一个或多个服务器可用于有效地执行与本文所述的实施方式相关的冷却计算。

本文描述的方面和实施方式不限于在任何特定的系统或系统组上执行。本文所述的方面和实施方式不限于任何特定的分布式结构、网络或通信协议。

各种方面和实施方式可使用面向对象编程语言，例如SmallTalk、Java、C++、Ada或C#（C-Sharp）。也可使用其它面向对象编程语言。可选地，可使用功能、脚本和/或逻辑编程语言。各种方面和实施方式可在非编程环境（例如，以HTML、XML或其它格式创建的语言，这些格式当在浏览器程序的窗口中被观看时再现图形用户界面（GUI）的方面或执行其它功能）中实现。各种方面和实施方式可被实现为编程或非编程元件或其任何组合。

在本文描述了为设备外壳提供剩余冷却容量的指示的系统和方法。剩余冷却容量的指示可以是从例如千瓦或每小时BTU方面来说剩余冷却的直接指示，或该指示可以是间接的，例如提供外壳可用的冷却的总容量连同例如从百分比方面来说冷却被使用多少的指示。此外，计算值——包括捕获指数和再循环指数——可用于确定特定设计的充分性并在警告或错误状况将产生之前确定额外的冷却容量。

在本文讨论的方面和实施方式中，分析的结果被描述为被实时地提供。术语“实时”可以但不需要表示结果是立即可用的。例如，结果可能变得很快过时，给设计者在短时间段例如大约数分钟内尝试很多不同的设计的能力。

注意，在图1到11中，所列举的项目被示为单独的元件。然而在本文所述的系统和方法的实际实现中，它们可以是其它电子设备例如数字计算机的不可分的部件。因此，上面描述的行动可至少部分地在软件中实现，软件可体现在包括程序存储介质的制造物品中。程序存储介质包括体现在载波、计算机磁盘（磁性或光学（例如CD或DVD或两者））、非易失性存储器、磁带、系统存储器和计算机硬盘的一个或多个中。

本文描述的方面和实施方式提供有效的数据中心控制。这些方面和实施方式能够接收关于冷却单元、机架、服务器和应用的信息。所接收的信息包括机架功率消耗、冷却单元功率消耗、机架和冷却单元的利用率、应用要求、机架和服务器计算能力信息、以及基于机架的冷却度量阈值例如捕获指数阈值。通过评估这些特征，方面和实施方式包括确定数据中心的布局，其最小化机架和冷却单元的集群的总功率消耗，同时基于冷却度量将冷却温度维持在可接受的水平。数据中心部件的所确定的布局和工作负载增加了数据中心效率和兼容性，节省了能量，并降低了操作成本。这些方面和实施方式可实时地出现。例如，评估和计算的实时执行指在大约几秒或更少时间而不是几分钟或更长时间内完成的过程，如可能对复杂计算发生的，例如涉及计算流体动力学（CFD）计算的计算。

本文所述的实施方式和方面适合于在具有很多设备机架的相对大的数据中心以及较小或非正式数据中心中使用和用在除了数据中心以外的设施上。分支电路容量和相平衡的估计可能在高密度数据中心中变得复杂。内部的服务器功率仪器可向数据中心控制器提供信息以识别冷却子系统容量。在各种实施方式例如利用三相电源或缺乏服务器仪器的实施方式中，电力分配系统仪器可提供用于确定负载消耗、可用容量和相平衡的信息。该信息可由数据中心控制器使用来将数据中心设备、子系统或设备分配或再分配给一个或多个数据中心或在一个或多个数据中心内分配或再分配数据中心设备、子系统或设备。这提高了数据中心操作和效率，并降低了操作成本。

对“前面”和“后面”、“左”和“右”、“顶部”和“底部”以及“上面”和“下面”的任何提及为了描述的方便，而不是将当前的系统和方法或其部件限制到任一个位置或空间方位。

对在本文中以单数形式提到的系统和方法的实施方式或元件或行动的任何提及也可包括包含多个这些元件的实施方式，且对本文的任何实施方式或元件或行动的以复数的任何提及也可包括只包含单个元件的实施方式。以单数或复数形式的提及并不预期限制目前公开的系统或方法、其部件、行动或元件。

本文公开的任何实施方式可与任何其它实施方式组合，且对“实施方式”、“一些实施方式”、“可选的实施方式”、“各种实施方式”、“一个实施方式”等的提及不一定是相互排他的，且预期指示关于实施方示描述的特定的特征、结构或特性可包括在至少一个实施方式中。如本文使用的这样的术语不一定都指同一实施方式。任何实施方式可以用符合本文所公开的目的的任何方式与任何其它实施方式组合。对“或”的提及可被解释为包括端点的，使得使用“或”描述的任何术语可指示所述项目的单个、多于一个和全部中的任一项。

在附图、详细描述或任何权利要求中的技术特征跟随有参考符号的场合，参考符号为了增加附图、详细描述和权利要求的可理解性的唯一目的而被包括。因此，参考符号及没有参考符号都对任何权利要求要件的范围没有任何限制性影响。

本领域中的技术人员将认识到，本文所述的系统和方法可体现在其它特定的形式中，而不偏离其精神或本质特征。例如，在地理上无联系的区域中的物理上分开的数据中心可被认为是一个分布式数据中心。在另一例子中，资源可在单个数据中心的一个或多个设备或子系统中分配或调节。此外，机架和冷却单元功率消耗、冷却约束、利用率、计算能力和冷却度量可包括估计或模拟值，且不需要是实际测量的值。冷却度量可以是基于机架的或不基于机架的。例如，冷却度量可基于数据中心的区域而与一个或多个机架的位置无关。冷却单元可以是基于行的或基于房间的。本文所述的行动和要件可实时地出现。前述实施方式因此将被认为在所有方面是所述系统和方法的例证而不是限制。本文所述的系统和方法的范围因此由所附权利要求而不是前述描述指示，且出现在权利要求的等效形式的意义和范围内的所有变化因此被规定为包括在其中。

Claims

1.一种计算机实现的数据中心控制方法，所述数据中心包括多个机架和至少一个冷却单元，所述机架包括至少一个服务器，所述方法包括：

接收关于所述至少一个冷却单元、所述至少一个服务器、所述多个机架和至少一个应用的信息，所述信息包括所述数据中心的工作负载；

接收基于机架的冷却度量阈值；

基于所述信息通过计算机系统来确定能够处理所述数据中心的所述工作负载的第一布局，同时基于所述基于机架的冷却度量阈值将冷却性能维持在可接受的水平；

通过确定第二布局来通过所述计算机系统修改所述数据中心的所述第一布局，所述第二布局最小化所述多个机架的总功率消耗，同时基于所述基于机架的冷却度量阈值将冷却性能维持在所述可接受的水平；

将所述工作负载合并到所述多个机架的较少的机架中以将所述工作负载集中到所述较少的机架中以最小化所述多个机架的总功率消耗；以及

使未使用的服务器或机架断电。

2.如权利要求1所述的方法，包括：

确定在满足所述基于机架的冷却度量阈值的多个服务器之间的所述至少一个应用的工作负载分配。

3.如权利要求1所述的方法，其中所述基于机架的冷却度量阈值包括热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个，所述方法包括：

确定热通道捕获指数和冷通道捕获指数中的至少一个；

实时地确定所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个；以及

基于所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个将所述至少一个应用分配到所述至少一个服务器。

4.如权利要求1所述的方法，包括：

基于所述多个机架中的每个的机架利用率来确定所述多个机架中的每个的单独功率消耗；

基于所述至少一个冷却单元的冷却利用率来确定所述至少一个冷却单元的功率消耗；

确定所述多个机架和所述至少一个冷却单元的总功率消耗；以及

基于所述总功率消耗、所述多个机架中的每个的功率消耗以及所述至少一个冷却单元的功率消耗来确定所述数据中心的所述第二布局。

5.如权利要求1所述的方法，包括：

基于所述多个机架中的每个的机架利用率和所述至少一个冷却单元的冷却利用率中的至少一个来实时地确定所述数据中心的总功率消耗；

在多个服务器之间分配所述工作负载和在多个冷却单元之间分配冷却负载，同时基于所述冷却度量阈值将冷却性能维持在所述可接受的水平。

6.如权利要求1所述的方法，包括：

将所述至少一个应用从所述至少一个服务器分配到第二机架的第二服务器，其中所述第二机架位于所述数据中心和第二数据中心之一中。

7.如权利要求1所述的方法，包括：

提供在所述数据中心内重新定位所述多个机架中的第一机架的指令。

8.如权利要求1所述的方法，包括：

显示所述数据中心的所述第一布局和所述第二布局中的至少一个。

9.一种包括多个机架和至少一个冷却单元的数据中心的数据中心控制系统，所述多个机架包括至少一个服务器，所述系统包括：

数据中心控制器，其配置成：

接收基于机架的冷却度量阈值；

基于所述信息来确定能够处理所述数据中心的所述工作负载的第一布局，同时基于所述基于机架的冷却度量阈值将冷却性能维持在可接受的水平；

通过确定第二布局来修改所述数据中心的所述第一布局，所述第二布局最小化所述多个机架的总功率消耗，同时基于所述基于机架的冷却度量阈值将冷却性能维持在所述可接受的水平；

使未使用的服务器或机架断电。

10.如权利要求9所述的系统，其中所述数据中心控制器配置成：

确定所述数据中心的工作负载分配；以及

将所述工作负载从所述至少一个服务器分配到第二服务器。

11.如权利要求9所述的系统，其中所述基于机架的冷却度量阈值包括热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个，且其中所述数据中心控制器配置成：

确定热通道捕获指数和冷通道捕获指数中的至少一个；

确定所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个；以及

12.如权利要求9所述的系统，其中所述数据中心控制器配置成：

13.如权利要求9所述的系统，其中所述数据中心控制器配置成：

确定所述数据中心的集群的总功率消耗，所述集群包括所述多个机架和所述至少一个冷却单元；以及

识别最小化所述总功率消耗的所述集群的工作负载分配。

14.如权利要求9所述的系统，其中所述数据中心控制器配置成：

基于所述多个机架中的至少一个的机架利用率和所述至少一个冷却单元的冷却利用率中的至少一个来确定所述数据中心的总功率消耗；以及

在多个服务器之间分配所述工作负载，同时基于所述冷却度量阈值将冷却性能维持在所述可接受的水平。

15.如权利要求9所述的系统，其中所述数据中心控制器配置成将所述至少一个应用从所述至少一个服务器转移到第二服务器。

16.如权利要求9所述的系统，其中所述至少一个冷却单元包括行内冷却单元。

17.一种被配置成控制数据中心的计算机实现的系统，所述数据中心包括多个机架和至少一个冷却单元，所述多个机架包括至少一个服务器，所述计算机实现的系统包括：

接收关于至少一个冷却单元、至少一个服务器、多个机架和至少一个应用的信息的模块，所述信息包括所述数据中心的工作负载；

接收基于机架的冷却度量阈值的模块；

基于所述信息来确定能够处理所述数据中心的所述工作负载的第一布局的模块，同时基于所述基于机架的冷却度量阈值将冷却性能维持在可接受的水平；以及

通过确定第二布局来修改所述数据中心的所述第一布局的模块，所述第二布局最小化所述多个机架的总功率消耗，同时基于所述基于机架的冷却度量阈值将冷却性能维持在所述可接受的水平；

将所述工作负载合并到所述多个机架的较少的机架中以将所述工作负载集中到所述较少的机架中以最小化所述多个机架的总功率消耗的模块；以及

使未使用的服务器或机架断电的模块。

18.如权利要求17所述的计算机实现的系统，还包括：

确定热通道捕获指数和冷通道捕获指数中的至少一个的模块；

确定热通道捕获指数阈值和冷通道捕获指数阈值中的至少一个的模块；以及

基于所述热通道捕获指数阈值和所述冷通道捕获指数阈值中的至少一个将所述至少一个应用分配到所述至少一个服务器的模块。

19.如权利要求17所述的计算机实现的系统，还包括：

基于所述多个机架中的每个的机架利用率来确定所述多个机架中的每个的单独功率消耗的模块；

基于所述至少一个冷却单元的冷却利用率来确定所述至少一个冷却单元的功率消耗的模块；

确定所述多个机架和所述冷却单元的总功率消耗的模块；以及

基于所述总功率消耗、所述多个机架中的每个的功率消耗以及所述至少一个冷却单元的功率消耗来确定所述数据中心的所述第二布局的模块。

20.如权利要求17所述的计算机实现的系统，还包括

将所述至少一个应用从所述多个机架中的第一机架的第一服务器分配到所述多个机架中的第二机架的第二服务器的模块。