CN102741833A - 用于数据中心的基于知识的模型 - Google Patents

Abstract

提供了用于数据中心分析的技术。在一个方面，提供了一种对数据中心中的热分布进行建模的方法。该方法包括以下步骤。针对数据中心中的多个位置获得垂直温度分布数据。将每个位置的垂直温度分布数据绘制成s曲线，其中垂直温度分布数据反映每个位置处的物理状况，其由s形曲线的形状反映。利用表征s形曲线的形状的参数集来表示每个s曲线，其中s曲线表示构成预定义s曲线类型的知识库模型，可据此分析数据中心中的多个位置的热分布以及相关联的物理状况。

Description

用于数据中心的基于知识的模型

技术领域

本发明涉及数据中心分析，并且更具体地，涉及用于数据中心中基于知识的热建模的技术。

背景技术

随着能量成本的增加，能量的供应和需求以及急需电力的信息和通信技术(ICT)设备的激增，电力和能耗已经成为数据中心的关键问题。数据中心消耗大约全部电力的2％或者说1830千瓦时的功率，并且这个消耗以每年12％的比率递增。由于很多关键原因，包括电力成本上升、电力需求增加、从电网获取电力成为很多数据中心的问题、能量使用造成数据中心中过量的热负荷、意识到绿色技术和碳足迹影响以及引入行为的行业范围码以及绿色信息技术(IT)的立法，能量效率现在成为数据中心管理者的关键工作参数。

在典型的数据中心中，电力使用可以被分解成ICT设备的工作使用的电力和基础设施(例如冷却器、加湿器、空气调节单元(ACU)、电力分配单元(PDU)、不间断电源(UPS)、光和电力分配设备)所需的电力。例如，在由电力生产和传送导致损失和冷却需求导致损失之后，仅供应到数据中心的约15％的电力用于IT/计算，其余是开销。参见P.Scheihing“Creating Energy-Efficient Data Centers，”DataCenter Facilities and Engineering Conference，Washington，DC(2007年5月18日)，其内容通过引用结合于此。

因此，需要用于提高数据中心能效的技术。

发明内容

本发明提供用于数据中心分析的技术。在本发明的一个方面，提供了一种对数据中心中的热分布进行建模的方法。该方法包括以下步骤。对于数据中心中的多个位置，获得垂直温度分布数据。每个位置的垂直温度分布数据被绘制成S曲线，其中垂直温度分布数据反映了每个位置处的物理状况，这通过s曲线的形状得以反映。每个s曲线由表征该s形曲线的形状参数集表示，其中s曲线表示构成预定义s曲线类型的知识库模型，可据此分析数据中心中多个位置的热分布以及相关联的物理状况。

可以获得时刻T＝0的垂直温度分布数据，并且该方法还可包括以下步骤。可以获得时刻T＝1的实时温度数据，其中该实时数据在空间密度上小于时刻T＝0获得的数据。可以将该实时数据插值到针对时刻T＝0获得的数据，以获得多个位置的更新垂直温度分布数据。每个位置的更新垂直温度分布数据可被绘制为S曲线，其中垂直温度分布数据反映了每个位置处的更新物理状况，这通过s曲线的形状得以反映。更新的s曲线可与知识库模型中预定义s曲线类型匹配。

通过参考下列详细说明和图将获得本发明更完整的理解以及本发明的其他特征和优点。

附图说明

图1是示出根据本发明实施方式的示例性数据中心的框图；

图2是示出根据本发明实施方式用于数据中心中热分布建模的示例性方法的框图；

图3A是示出根据本发明实施方式的作为用于完整Navier-Stokes计算流体动力学(NS-CFD)模型、简化物理模型和统计模型需要输入参数的数目的函数的计算速度/复杂度的图示；

图3B是示出根据本发明实施方式的作为用于完整NS-CFD模型、简化物理模型和统计模型的模型准确度的函数的数据中心的变化程度的图示；

图4是表示根据本发明实施方式的数据中心的移动测量技术(MMT)扫描的片段的图像；

图5是根据本发明实施方式的绘出图4中数据中心的12个服务器机架的入口温度的图示；

图6是绘出根据本发明实施方式的S曲线的示例性表示的图；

图7是绘出根据本发明实施方式的S曲线的另一示例性表示的图；

图8A-图8O是示出根据本发明实施方式的小型数据中心中15个服务器机架的垂直温度分布的图示；

图9是根据本发明实施方式的对图4的数据中心中12个服务器机架的入口温度应用当前S曲线表示的结果的示例性表；

图10A和图10B是示出根据本发明实施方式的用于对预定义S曲线的形状进行定型的示例性加权网络的框图；

图11是示出根据本发明实施方式的用于对预定义S曲线的形状进行定型的示例性神经网络的框图；

图12是示出根据本发明实施方式的用于建立知识库的模式的框图；

图13是示出根据本发明实施方式的如何将物理行为输入到模型中的框图；以及

图14是示出根据本发明实施方式的用于数据中心中热分布建模的示例性装置的框图。

具体实施方式

在此给出的是用于数据中心中的温度分布建模的技术。通过能够更好地理解数据中心中的热状况，可以实现最佳的能量实践，由此提高总能效。注意，虽然本技术在数据中心的上下文中被描述，但是在此提出的概念一般地适用于空间中的温度分布分析，例如建筑物、工厂(特别是半导体工厂)、或者建筑物的组合(城市)以及在数据中心中(位置被选择，例如，基于热密度，热量越多，管理能量越重要)。

图1是示出示例性数据中心100的框图。数据中心100具有服务器机架101和带有空气调节单元(ACU)102(也可称为机房空气调节(CRAC))的活动地板冷却系统，其吸入热空气(通常通过ACU中一个或多个空气回流而从上方吸入)并且将经冷却的空气排出到下面的下层地板通风道。流经数据中心100的热空气通过浅色箭头110表示，流经数据中心100的经冷却空气通过深色箭头112表示。在下文描述中，下层地板通风道上面的数据中心可简称为活动地板，并且下层地板通风道可简称为通风道。因此，仅通过举例，如图1所示，ACU从活动地板带入热空气并且将经冷却的空气排出到通风道中(见下)。

在图1中，服务器机架101使用“从前向后”冷却，并且定位在活动地板106上，下面是下层地板104。换言之，根据本方案，经冷却的空气通过每个机架的前方(入口)被吸入，并且热空气从每个机架的后方(出口)被排出。吸入机架前方的冷却空气被供应给其中的每个IT设备组件(例如，服务器)的空气入口。活动地板106与下层地板104之间的空间限定下层地板通风道108。下层地板通风道108充当用于将例如经冷却空气从ACU102输送到机架的通道。在适当组织的数据中心(例如，数据中心100)中，机架101按照“热通道-冷通道”配置而被布置，即，在交替的方向中具有空气入口和排气出口。换言之，冷却空气从下层地板通风道108通过活动地板106中被穿孔的地板砖114(也称为通风孔)被吹入冷通道。经冷却空气继而经由空气入口在机架的空气入口侧被吸入机架101中，并且经由排气出口在机架的排气出口侧被排出并且进入热通道。

ACU通常从冷却制冷设备(未示出)接收冷水。每个ACU通常包括鼓风电动机用以使空气循环通过ACU，并且将冷却的空气吹到例如下层地板通风道中。这样，在多数数据中心中，ACU是简单的热交换器，主要消耗将冷却的空气吹进下层地板通风道中所需的功率。通常，存在一个或多个功率配送单元(PDU)(未示出)，用于向服务器机架101配送功率。

图2是示出用于对数据中心(例如，上文结合图1描述的数据中心100)中的热分布进行建模的示例性方法200的框图。在步骤202，在数据中心的多个位置获得垂直温度分布数据。可以使用例如移动测量技术(MMT)来获得垂直分布数据。根据示例性实施方式，对服务器机架的空气入口侧的垂直温度轮廓进行建模(见下文)。因此，在这种情况下，在数据中心中的一个或多个服务器机架中的每一个的空气入口侧获得垂直温度分布数据。

如下文详述，MMT数据是空间密集的，但在时间上是稀疏的(读取通常仅大约一年一次，因为这种广泛的扫描需要相当长的时间完成)。因此，例如，通过例如MMT而获得时刻T＝0的垂直温度分布数据。但是，数据例如可以利用使用数据中心中的传感器获得的“实时”温度数据来进行更新(见下文)。如下文详述，这些实时传感器可提供时间上密集的读取，但是与MMT扫描相比在空间上是稀疏的(例如，每个机架一个传感器)。

在步骤204，每个位置处的垂直温度分布数据被绘制为S曲线。S曲线将在下文详细描述。然而一般地，本教导已经发现：当数据中心中例如机架入口侧的垂直温度轮廓被绘制为温度和高度的函数时，其展现s曲线形状，在顶部和底部是平坦的。有利地，垂直温度分布数据反映每个位置处的物理状况，其通过s曲线的形状得以反映。仅通过举例，数据中心中存在的可能影响s曲线形状的物理状况包括但不限于：数据中心中的服务器机架位置、服务器机架到空气调节单元的距离、服务器机架高度、热足迹、服务器机架暴露程度、天花板高度、到最近地砖的距离、从空气调节单元传递到服务器机架的气流、服务器机架中的开口、服务器的功耗以及服务器机架的气流需求。换言之，这些上述状况可能影响垂直温度轮廓，并且由此影响产生的s曲线的形状。如下详述，该发现允许利用精简参数集(例如，表征s曲线形状的参数)来表示物理状况。

为此，在步骤206，利用表征s曲线形状的参数集来表示每个s曲线。这些S曲线表示构成了预定义S曲线类型的知识库模型，可以由此分析热分布和数据中心中的多个位置的相关物理状况。根据示例性实施方式，参数包括以下一个或多个：s形曲线的下部平坦段、s形曲线的上部平坦段、s形曲线的上部的s形程度、s形曲线的下部的s形程度以及达到s形曲线中间点的高度。这些参数将在下文详述。参数集优选地还包括描述数据中心的特定位置的一个或多个参数，其中s形曲线是垂直温度分布的图形。参见下文。

在步骤208中，可以基于参数相似性对预定义s曲线类型分组。仅通过举例，s曲线类型可由50％点处的斜率而被分组，例如具有从10℃/英尺到20℃/英尺斜率的这些s曲线被分组在一起，具有从21℃/英尺到30℃/英尺斜率的s曲线被分组在一起，等等。由于，如以上所述，预定义s曲线类型反映数据中心中的物理状况，例如，服务器机架到空气调节单元的距离等等，因此，通过将这些s曲线类型分组在一起，模式(pattern)将会出现。此外，因为s曲线优选地与特定位置有关(即，通过描述数据中心中的特定位置的参数，其中s形曲线是垂直温度分布的图形，见上文)，模式也可与数据中心的特定区域关联。参见下文。

在步骤210，获取时刻T＝1的实时温度数据。如上所述，这些实时温度数据可从实时传感器获得。虽然从实时传感器获得的数据在空间密集度上不及例如从MMT扫描获得的数据，但是实时数据可用于更新MMT数据，从而反映数据中心中例如从时刻T＝0到时刻T＝1发生的任何变化。

在步骤212，实时数据被插值到在时刻T＝0获得的数据，以获得多个位置的更新垂直温度分布数据。下问将详述示例性插值技术。在步骤214，每个位置的更新垂直温度分布数据被绘制为s曲线。如上所述，垂直温度分布数据反映每个位置的物理状况(在此例中是更新的物理状况)，其通过s曲线的形状得以反映。在步骤216，更新的s曲线与知识库模型中预定义s曲线类型匹配。匹配/定型技术将在下文详述。

入口温度：如上所述，根据示例性实施方式，服务器机架的空气入口侧的垂直温度轮廓被建模。美国采暖、制冷与空气调节工程师学会(ASHRAE)将服务器机架空气入口温度描述为“进入数据通信设备的入口空气”的温度，参见2008 ASHRAE EnvironmentalGuidelines for Datacom Equipment，Expanding the RecommendedEnvironment Envelope。在数据中心中，入口温度是重要的，因为它们可能影响诸如服务器、网络、存储等ICT设备的可靠性。多数数据中心通常被过度冷却，以便将空气入口温度保持在所需的水平，这导致了能源浪费。在保持空气入口温度与其所需能量之间存在权衡。换言之，较低的入口温度意味着更多的制冷，这消耗更多能量；而较高的入口温度意味着较少的制冷，这消耗较少的能量。这是第二热力学定律的结果。

已采用很多方法和最佳实践来优化数据中心，使得比较容易保持空气入口温度同时保持成本最低，例如，热通道和冷通道隔离与封闭。封闭是把冷通道围起来的方法，这样热空气不能进入冷通道(这防止了“再循环”造成的热点)。

提供置信度(对空气入口温度的控制)以及向数据中心传递能量节省的关键是理解数据中心动力学，应对房间配置的变化以及能量节省主动性的系统化实现。如果可以理解数据中心动力学并且使风险被最小化或消除，则可以提升数据中心中的能量水平并且成本降低。建模是一种可用于理解数据中心动力学的技术。

数据中心建模：数据中心是非常动态的环境。为了理解数据中心的特征细节，需要高解析度的数据。例如，例如在授予Hamann等人的名为“Method  and  Apparatus  for Three-DimensionalMeasurements”的美国专利号7,366,632(此后称为“美国专利号7,366,632”)中描述的移动测量技术(MMT)是捕获高空间解析度数据以用于数据中心表征的一个示例，在此通过参考并入该专利的内容。利用MMT，安装在货车上的温度传感器网格被用于描绘例如数据中心的房间中的三维温度分布。传感器安装在距地板的各种高度，并且水平位置间隔小于一英尺。然而，数据MMT提供的仅仅是时间上的快照。随着ACU打开和关闭、服务器热负载变化、设备被添加、重配置或移除影响数据中心房间的行为(即，热分布或温度分布)，数据中心将随时变化。

由于在数据中心中永久布置高空间解析度传感设备是不可行的，因此需要通过生成模型形式的数据中心表示来理解数据中心的动力学。如果可以生成数据中心的有效模型，则可以引入较低空间解析度的传感(更频繁地获得)作为模型上的控制点或边界，同时利用高解析度数据(使用例如MMT较不频繁地获得)作为基础模型。有效的模型可以既是基础模型又是动态模型。术语“有效的模型”是指建立真实热分布的准确描述的模型。根据示例性实施方式，使用房间(即，数据中心)中稀疏布置的传感器(例如，每个服务器机架一个传感器)获得较低空间解析度的传感。数据中心中的变化可被这些稀疏布置的传感器检测到，并且模型可被调整以指示数据中心环境中的变化。此外，因为模型是计算机可存取的，因此可以向模型应用分析、警告和警报以便与用户交互。

建立数据中心的模型可采取多种形式，从复杂的基于数值物理的模型到统计模型。这是在准确性、灵活性和计算时间之间权衡的复杂任务。例如计算流体动力学(CFD)的模型可以利用最少的输入参数准确描述(仿真)数据中心并且对变化不敏感。但是，利用CFD模型计算是耗时的。另一方面，统计模型能很快求解，但是对变化非常敏感并且损失精度，即，如果发生变化或测试“假设分析(what-if)”情境，则统计模型无法很准确地做出预测。这些趋势如图3A-图B所示。图3A是图示300A，其示出了取决于针对完整NavierStokes(NS)-CFD模型、简化物理模型和统计模型的取决于所需输入参数的数目的计算速度/复杂性。图3B示出了图示300B，其示出了针对完整Navier Stokes(NS)-CFD模型、简化物理模型和统计模型的取决于模型精度的数据中心(DC)中的变化程度。

CFD方法使用数值方法和计算机算法来求解和分析支配流体流和热传递的物理方程。基础物理学由Navier Stokes方程给出，其描述任何单相流体流。用于流体流的这些方程可以通过移除描述粘度(产生欧拉方程)的项以及通过移除产生位势方程的描述涡度的项而被简化。这些位势方程可以被线性化。这里，优选求解这些线性位势方程(与利用CFD方法相比，这是更为简单也更快的计算)。一旦流场已被计算，热传导-对流方程使用与如下文献中描述的类似计算、数值方法求解：Hamann等人提交的标题为“Techniques forThermal Modeling of Data Centers to Improve Energy Efficiency”的美国专利申请序列号12/146,852(此后简称为美国专利申请序列号12/146,852)，其代理机构卷号为YOR920080114US1，在此通过引用并入其内容。

知识库模型：本技术涉及一种基于知识库对温度分布建模的新方法，它是使用大量实验数据建立的。这个“基于知识的模型”利用能量守恒等基本物理学原理以及实时数据进行补足，以便更新模型。而且，在一个示例性实施方式中，基于知识的模型被用作用于插值技术(例如Kriging)的趋势，其中稀疏传感器数据用于预测完整的温度场(更多信息参见Amemiya等人提交的标题为“Techniques toPredict Three-Dimensional Thermal Distributions in Real-Time”的美国专利申请序列号12/146,952(此后称为美国专利申请序列号12/146,952)，其代理机构卷号为YOR920080115US1，在此通过引用并入其内容)

本技术利用半经验的趋势以及测量温度分布的模式。知识库利用实验数据和基本物理学原理更新和加强。这个知识库的一个应用提供空间Kriging的趋势函数以基于稀疏传感器数据更准确地预测完整的温度场。

下面描述本技术的一个示例。数据中心的温度分布通过MMT获得，其例如在美国专利号7,366,632以及Hamann等人的“UncoveringEnergy-Efficiency Opportunities in Data Centers”，IBM Journal ofResearch and Development(2009)(此后称为“Hamann”)中描述，在此通过应用并入其内容。在此示例中，MMT数据馈送知识库。图4是表示数据中心的MMT扫描的片段的图像400，其中标出了12个服务器机架(即，1-12)。图5是绘出了去往这12个服务器机架的入口温度的垂直温度的图示500。特别地，在图示500中，到服务器机架底部的距离z(以英尺测量)画在x轴上，入口空气温度T_inlet(以摄氏度(℃)测量)画在y轴上。在图5下方提供服务器机架的图像，以示出服务器高度如何与热轮廓对齐。如图示500所示，服务器机架大约7英尺高并且包括12个节点(节点或称计算节点是服务器)。要对其入口温度分布进行建模并且准确保持的节点的高度(即，距离地面)大约1.5英尺到大约6英尺。电源和网络设备分别位于机架的顶部和底部。图5中的数据清楚地显示：存在某种趋势，其可用于建立基于知识的模型以及影响模型预测。如下所示，可使用基础物理原理(更准确地)来描述/表示这些趋势。

详细而言，图5中的所有温度轮廓显示了某种类型的“s形”行为-在底部和顶部具有平坦段。此行为此后称为s曲线，其用于描述跨服务器机架入口的垂直温度轮廓。注意，这个s曲线T(z)还是机架的横向位置的函数(T＝f(x，y))，将在下文详述。

来自MMT和/或其他测量的半经验趋势(例如，流测量，其可以是或不是MMT过程的一部分)被用于导出热轮廓(具有有限数目的参数)的表示(降低的级数)。参见下文。这些参数涉及数据中心的其他已知的物理状况，例如机架位置、机架到ACU的距离、机架高度、热足迹、机架暴露程度、天花板高度、到最近地砖的距离、从ACU传递到服务器机架的气流、服务器机架中的开口、服务器机架的功耗和气流需求。MMT数据包括三维温度分布T(x，y，z)。通常，MMT数据还包括数据中心的布局数据，例如坐标、所有机架的尺寸、天花板高度、墙壁、ACU等等。每个s曲线可以与机架相关。机架坐标和尺寸是已知的。因此，可以确定这些坐标如何与例如ACU坐标相关，因此稍后能够回想什么参数导致了给定的曲线形状。醒目显示部分502还示出：上部平坦段T_h/天花板温度的变化较低。参见下文详述。

这些s曲线的两个示例性描述/表示在图6和图7中给出。这些表示的参数被填写以建立知识库。换言之，图6是利用以下表示来表示s曲线的图示600：

γ＝(T_H-T_I)/2.0

T(z)＝T_H-γe xp(-β₁(z-μ))对于z＞μ    (1)

T(z)＝T_I-γe xp(β₂(z-μ))对于z≤μ其中z是到服务器机架底部的距离。

在图示600中，z画在x轴上(以英尺测量)，并且入口空气温度画在y轴上(以华氏度(℉)测量)。这些表示的参数是下部和上部平坦段(分别是T_l和T_h)，β1和β2因子是针对曲线的上部和下部的s形程度以及曲线在50％点处的斜率。参数μ是到达中点(50％点)的高度，即温度增加(从T_h到T_l)的中点。例如，如果T_h＝40且T_l＝20，参数μ将给我们在T＝30处的高度。

这些参数将从知识库获得。换言之，如上所述，开始时这些参数用于填写知识库。例如与每个机架相关联并且由此与每个参数集相关联的气流也被记录。最终，开始创建参数如何随气流改变的知识库，这将用于将来的“假设分析”情境，如下面进一步讨论的。如上所述，参数是T_l、T_h、β1、β2和μ，z是变量，并且T是函数的输出。

图7是基于以下方程呈现这些s曲线的另一(备选)示例性描述/表示的图示700：

$T\left(z\right)=T_I+\frac{T_h-T_l}{1+{10}^{(\log \×0-z)p}}---\left(2\right)$

在图示700中，z画在x轴上(以英尺测量)，并且入口空气温度T_inlet画在y轴上(以摄氏度测量(℃))。尽管上述方程1允许s曲线的上部和下部的s行为的不对称性，但是在此(在方程2中)该行为被忽略。log(x0)参数给出达到在下部平坦段和上部平坦段之间50％处的z值，并且以下方程给出50％处的斜率：

dT(z＝log(x0))/dz＝p·ln(10)·(T_h-T_l)

T_l和T_h可从实时测量获得(ACU的排风和回风温度)。ACU的排风温度确定T_l，因为它被供应到机架底部的空气-而回风温度与T_h有关，因为其代表服务器机架顶部的温度。数据中心热轮廓(即，垂直温度轮廓，例如图5所示)则用s形曲线表示。曲线的斜率和50％点处代表再循环和机架的气流特征。如下详述，斜率和50％点可以与再循环“水平”和气流特征有关。例如，如果服务器“需要”比通过穿孔砖供应的更多空气(通过服务器中的风扇吸入)，则在机架的前方形成低压，并且通常来自周围区域的较温暖空气移动到冷通道中。这将使50％点向较低值移动(意味着50％点发生在更接近服务器机架的底部)。

继而将参数拟合(此处x0和p)作为机架位置的函数。如下详述，参数x0和p将取决于机架在“哪里”。例如，在通道角落的机架更易于再循环，这意味着将发现低x0和可能较低的p值(例如参见下文描述的图9)。

注意，两种表示(见图6和图7)都利用基本物理原理，其在下面详解。两种表示使用描述下部和上部平坦段的参数，以及代表在这些平坦段之间不同z高度的s曲线斜率的参数(例如，曲线在50％点处的斜率)。虽然在整个数据中心中都存在垂直温度轮廓的s类型，但是这个s形概念在服务器入口的位置特别重要(因为需要在入口侧保持温度)。为了满足系统可靠性，需要提供正确的入口温度。

现在描述表示的参数。下部平坦段(T_低或T_l)由相应的通风道温度分布T_p(x，y)(即，通风道中的温度分布表示提供给机架底部的穿孔砖处的空气温度)支配。用于计算通风道温度分布的简单概念例如在如下文献中描述：美国专利申请序列号12/146,852；标题为“Methods and Techniques for Creating and Visualizing ThermalZones”、代理机构卷号为YOR920090157US1的美国专利申请序列号(此后称为代理卷号YOR920090157US1)，在此通过引用并入其内容；以及美国专利申请序列号12/146,952。然而一般地，注意到通风道温度分布可用多种方法和/或这些方法的组合来计算/估计。例如，在一个示例性实施方式中，使用来自(优选地)每个ACU和/或通风道温度传感器测量的(优选地，实时)排风温度的标准插值技术(反距离加权、空间kriging等)。在另一示例性实施方式(计算流体动力学)中，可使用CFD计算(优选二维而不是三维，因为二维计算执行地更快)，如美国专利申请序列号12/146,852以及代理卷号YOR920090157US1描述。这些计算的边界状况可从测量(优选，实时)的温度和气流值获得。特别地，气流值可从气压测量导出(优选地，实时)。与砖流阻抗(或者说打空砖对空气的阻力)相结合并且在知道压力差(通风道和上升流之间的压力差)的情况下，可以计算气流值(以及由此计算用于边界的输入值，从而求解物理方程)。

下部平坦段也可以使用方程3而从上部平坦段计算，如下所述(即，可以从T_h获得T_l，反之亦然，参见下文)。注意，可使用其他技术确定T_l。例如，可以根据知识库之间将T_l设置为常数，对于典型的数据中心，其可以是大约60℉。60℉通常是机房ACU的缺省值。

通风道温度分布T_p(x，y)确定砖排风温度。理想情况下，穿孔砖放置在服务器机架的入口侧，并且由此可以(直接)使特定服务器入口位置处的通风道温度等于T₁。但是通常，服务器入口位置和最近的穿孔砖之间存在一定的距离。在此使用知识库，其将T_l与最近的(或最近的一组)穿孔砖相关联，这例如是通过T_l＝T_p*t，其中t取决于该距离，并且还可能取决于服务器机架入口位置与最近的一块或一组穿孔砖之间的气流。在一个特定示例性实施方式中，来自穿孔砖的气流利用核函数进行卷积(例如，Lorentzian函数，其具有1/距离相关性)。

上部平坦段(T_高或T_h)由数据中心的相应天花板温度支配。如图5(上述)的醒目显示部分502所示，上部平坦段T_h/天花板温度的变化较低(这意味着不同轮廓的T_h值小于+/-2℃，还参见下文描述的图9)。这个平坦段可通过以下方法中任何一个或组合而估计。在一个示例性实施方式中，使用来自(优选地)每个ACU的测量的(优选地，实时)回风温度的标准插值技术(反距离加权、空间kirging等)和/或天花板温度传感器。仅通过举例，利用反距离方法，例如，对于三维的情况：

权重：

$W_{\mathrm{ij}}=\frac{1}{{(r_{\mathrm{ij}}+C)}^b}\·\exp (-\mathrm{mu}\·r_{\mathrm{ij}})$

距离：

$r_{\mathrm{ij}}=\sqrt{{(X_i-X_j)}^2+{(y_i-y_j)}^2}$

插值的z值：

$T_j(x,y)=\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}{Z}_i/\underset{i=0}{\overset{n-1}{\mathrm{\Σ}}}{W}_{\mathrm{ij}}$

其中：

在另一示例性实施方式中，使用CFD计算。此处，例如，线性位势方程可应用于计算一般气流场，接下来使用热传导-对流方程求解温度场。在又一个示例性实施方式中，通过使用以下物理关系，可以经由总功耗和气流将上部平坦段可与下部平坦段相关：

T_h-T_I＝3140[cfm ℉/k W]·功率/气流    (3)

为了说明方程3，例如假设数据中心具有一个ACU，其产生12000立方英尺每分钟(cfm)的气流，并且数据中心的总功耗是80千瓦(kW)。使用方程3，得到T_h-T_l＝21华氏度(℉)。例如，如果T_l＝60℉，T_h平均将为81℉。方程3还可用于估计例如气流被节流(即，节约能量)和/或功耗改变时的影响。

从物理的观点来看，由于在典型的数据中心中会出现某种程度的“再循环”这一事实，上部和下部平坦段之间的s形易于有理化。例如，如果没有足够的冷空气从穿孔砖喷出并且由此与服务器风扇的需求不匹配，来自天花板的空气将被吸入到机架的入口侧。如上所述，服务器风扇推动一定量的空气通过服务器-如果空气没有通过穿孔砖被供应，则在服务器前方形成一个低压区，并且来自周围区域的其他空气被引入，其通常较热-这种现象称为“再循环”。因此，对大多数部分，如果提供足够的冷空气，不会(或很少)发生再循环。根据这种不匹配，会发现不同的s形以及下部平坦段与上部平坦段之间不同的50％点。处于较长冷通道边缘的服务器机架可以更多地暴露于较温暖的空气。这个清楚的证据显示在如上所述的图4和图5中，其中服务器机架1、6、7和12显示较少步距的陡峭s曲线，这可归因于其更多地暴露于热空气，使得再循环更为可能。

图8A-图8O中提供了可以如何将物理状况与s形程度相关的附加证据。图8A-图O是示出小型数据中心中15个服务器机架的垂直温度分布的图示。每个图示对应于具有10个不同气流设置(参见下文)的数据中心中的一个特定服务器机架(即，图8A对应于机架#1，图8B对应于机架#2，以此类推)，键802显示在图示下方。在每个图示中，机架z的高度画在x轴上(以英尺测量)，并且入口温度画在y轴上(以华氏度测量(℉))。数据中心的布局804也描述在图示下方，布局中的机架编号对应于图中的机架编号。每个图具有10条迹线，其中对于情况1-10，数据中心中的气流分别从12,400、11,904、11,408、10,912、10,416、9,920、9,424、8,928、8,432和8,060立方英尺每分钟(cfm)降低。数据清楚地显示：s曲线朝着较小的z值偏移，并且当数据中心中的气流被节流时上部平坦段增加。更仔细的分析图8A-O中的数据表明：下部平坦段是恒定的，并且当气流被节流时上部平坦段增加，如上所述。

图9是对例如图5的图示500中绘制的12个服务器机架的垂直入口温度应用上述方程2并且拟合例如图5中所示的对应垂直温度迹线以开始创建知识库的结果的表900。在表900中，如上所述，距ACU(供应冷空气)最远并且完全暴露于长通道的两个机架(#7和#12)显示出了较低的50％点，这指示较强的再循环。机架#12似乎是较低的50％点的例外。此处，物理解释是：来自穿孔砖的相对低的流(因为太靠近ACU，其造成Bernoulli(或负压)效应)。

S曲线的定型：作为一个示例，为了建立知识库，每个垂直表征被定型。垂直表征基本上是s曲线，或者说高度z与该高度处的温度的关系。定型将实际的s曲线与预定义s曲线(预定义s曲线在此处也可称为“元素”并构成例如用已在知识库中的减少的参数集表示的s曲线)匹配。根据示例性实施方式，如上所述，使用MMT数据获得预定义s曲线。用于拟合垂直温度轮廓的数据(因此产生实际的s曲线)可以来自静态MMT数据和/或实时MMT数据。

每个定型元素拥有与物理世界行为和该行为发生的概率相关的若干属性。该属性对于行为发生的概率有所贡献，因为一旦具有描述s曲线的参数并且已经识别了属性(例如气流)，则这些参数对这些属性的相关性可以被实际地表示(使用任何种类的数学关系)。此处，这些属性可包括机架位置、机架到ACU的距离、机架高度、热足迹、机架暴露程度、天花板高度、到最近地砖的距离、从ACU传递到服务器机架的气流、服务器机架中的开口、功耗和服务器机架的气流需求。这些是影响s曲线的形状的属性。还提供了导出s曲线的方法(加权的网络示例图10A-图10B，如下所述)。

图10A和图10B分别是图示1000A和1000B，示出了提供定型预定义s曲线形状的简便方法的示例性加权网络。在这个加权网络示例中，在z＝4.5时温度T是控制温度，所有其他温度可以由此被估计。每个图示设置为具有从T4.5辐射出去的臂的星形，并且输出被给出为加权值之和。在图示1000A和1000B中，例如，链接T4.5和T5.5的数1.02是在4.5英尺和5.5英尺处的温度之间的关系。星形的臂的长度表明正确的比率。在图10A和图10B所示的星形图示中，中心T4.5是入口点温度(但是可以是在不同的高度)。如上所述，臂长度代表入口点温度与每个其他高度的温度的比率。因此，如果T4.5是20℃，T7.5是1.3*20℃＝26℃。其用途的一个示例将是：如果已知在一定高度的温度，例如T0.5(在穿孔砖的通风道温度)，并且已知预定义s曲线类型，则可以重建所有高度的温度梯度。

定型过程可以这样来进行：使用上述降低级数的表示来表征s曲线形状，或者通过如下所述的图11示出的神经网络来将s曲线形状(其由参数描述，参见上文方程1和2)与其物理属性(s曲线形状由参数描述(参见方程1和2))相关联。图11是示出示例性神经网络1100的框图，其提供了定型预定义s曲线形状的另一方便的方法。换言之，图11显示了可以如何实现神经网络以将实际温度数据(像绘制图一样显示)投射到预定义s曲线(输出)。神经网络可以很好地将输入映射到输出。有时，为此这样做，需要中间层或称隐藏层，其可被认为是表示相同数据的不同方法。神经网络是遍历所有高密度温度数据以及将其投射到减少数目的预定义s曲线类型的快速方法。

如上所述，基于已知创建n个预定义s曲线。该类型可具有描述它们的属性。例如，

预定义s曲线TYPE 1(类型1)

-_is_perf(穿孔)＝1

-_is_Inlet(为入口)＝1

-_RecirculationIndex(再循环索引)＝0

-_FlowIndex(流索引)＝.25

-_attributes_that_describe_knowledge(描述知识的属性)

预定义s曲线TYPE 2(类型2)

-_is_perf(穿孔)＝0

-_is_Inlet(为入口)＝1

-_RecirculationIndex(再循环索引)＝.5

-_FlowIndex(流索引)＝0

-_attributes_that_describe_knowledge(描述知识的属性)接下来，s曲线类型可以如下在知识库中被分组。

将s曲线类型分组为行为：通过使用降低级数的方法之一(即方程1、方程2或神经网络方法)将其投射到简化的类型来降低不同s曲线的可变性，这可以允许对s曲线类型的分组。利用不同的s曲线形状定型或表征，可以看到遍及数据中心中的不同类型s曲线的布置。这些s曲线类型由其在数据中心中的x和y位置参数来布置。换言之，前面已经描述的是入口温度z的高度以及该高度处的温度(s曲线图)。在整个数据中心中，在不同的x、y坐标(x和y是在水平地板上的坐标)存在这些高度到温度的s曲线。现在这些s曲线的分组被一起考虑。所以，在地板上的每个x、y坐标中，实际温度到高度数据被分析，并且被投射到预定义s曲线类型。实际上，现在存在不同的预定义s曲线的x、y网格，例如，类型1到20。继而可以找到从该网格新出现的预定义s曲线类型的模式或簇。它们在其本地邻近处展现的模式可以与数据中心的中的物理状况有关。

仅通过举例，s曲线可以利用减少级数的函数(上文的方程1或方程2)来表示，并且继而可以使用不同的范围对其进行分组。例如，在图9中(如上所述)，具有log(x0)＜4英尺的s曲线可以是一组，或者斜率从10℃/英尺到20℃/英尺以及从20℃/英尺到30℃/英尺以及从30℃/英尺到40℃/英尺可以代表不同的组。这些的组合也可以是其他组。注意，方程1和方程2中的参数可用于将实际温度数据投射到预定义s曲线类型而不使用神经网络方法。

一旦s曲线已被分组，可以找到一种类型的位置，并且可以确定某种类型的出现是否可与该位置相关。上面已给出很多关于s曲线怎样被再循环、空气供应不足、暴露(因为机架在通道的边缘等等)影响的实例。

图12是示出被用于建立知识库的新出现模式的框图。现在存在真实数据的知识库，其可与s曲线的模式匹配。在实时的数据中心中，放置实时传感器并且从其获得的数据利用例如kriging插值技术(如下所述)被插值到高解析度的MMT基础数据中。这将产生数据中心的新s曲线。这些新s曲线被定型以形成s曲线类型的新水平网格，其可被分析以得到来自当前数据中心环境的知识库的推荐或信息。

第二知识库可由这些s曲线类型模式相对于其展示的高级别状况而建立，用以解释数据中心环境。如上所述，某些类型将发生在特定物理状况下，例如，空气供应不足。例如，不如平均曲线陡峭的斜率以及较低的50％点的值可以指示空气供应不足，因为热空气将从天花板被吸入。

图13是示出物理行为可以由例如咨询者(即，可提出专业或专家意见的人)输入到模型中的框图。圆形显示物理行为与数据中心布局中的哪里相关。模型标记了对由咨询者输入的行为在圆形围绕的区域中由预定义s曲线类型的簇形成的模式。现在存在经表征的s曲线类型的水平阵列，基于MMT咨询者经验可以创建和传授新的网络。在每个数据中心被勘测之后，与数据中心的物理特征相关的信息或知识可应用于s曲线类型的模式。在图13中，示出了具有推荐的典型MMT输出。使用受控机器学习方法将圆形中的模式链接到推荐。换言之，如上所述的预定义s曲线类型的网格基本形成模式识别问题，其可被例如神经网络解决。学习可以这样来实现：在网格中定义咨询者可以将其与物理描述(见以上)相关的区域。所以可以识别预定义s曲线类型的簇形成的模式。模型可以由咨询者输入来传授。一旦被传授，当它识别了模式或由例如kriging调用的重投射导致的模式变化时，模型可做出预测。

在一个实施方式中，可以使用受控模式识别方法和机器学习技术来传授(teach)模型。基于不同数据中心中的真实经验，例如n个数据点的半径中的模式可被传授并且被存储在知识库中。加权的模式识别网络可模糊匹配模式到知识库。如上所述，图13描述了这个网络可怎样通过经验被传授，其中圆形代表链接到数据中心中的实际经验的s曲线类型的模式。当知识库建立时，模式的不同组合可链接到物理行为，从而提供预测并做出推荐和需要采取的动作。当模式不可识别时，定型s曲线的属性用于传授不受控模型。这些属性使得各个s曲线被理解以及编辑这些属性可与物理行为相关。

基于知识的模型和kriging：这里的基于知识的模型的一个应用是用于插值或kriging。参见例如Noel A.C.Cressie的“Statistics forSpatial Data”第3章，Wiley-Interscience出版(1991)，其内容通过引用结合于此。例如，在数据中心中，在几个(例如，实时的)传感器被布置在服务器机架前方的情况下，可能需要估计未布置传感器的服务器的入口温度。很明显，知识库与来自传感器的实时值的组合可提供非常好的估计。用于这个插值的好的数学架构包括kriging。Kriging是一种插值方法，根据在已知位置的测量数据预测/估计未知的值。特别地，它使用变量图以获得空间变化，以及然后使由预测值的空间分布估计的预测值的误差最小。Kriging可包括趋势函数，例如，s曲线作为x、y位置的函数，如上所述。具有基于知识的模型的kriging和经典kriging模型的区别是基于知识的模型在模型架构中被清楚地考虑(即，基于知识的模型结合并反映在kriging中)。该观点是温度场主要是被物理定律支配，所以如果反映该物理定律的合理模型已建立，则它应该是温度预测模型的建立框(buildingblock)，剩余要估计的是对这个物理模型的偏离。更具体地，假设f(z)是基于知识的模型，例如用z高度描述温度变化的s曲线函数。设Y(r)是位置r＝(x，y，z)处的观测温度。给定在r附近的几个空间位置观测的温度，将这些位置表示为r_i，其z坐标为z_i，则具有基于知识的模型的预测方程包含2个组成部分：f(z)和kriging模型，作为对该基于知识的模型的邻近位置的偏离的输入：为了模型的灵活性，包括了f(z)的系数：

Y(r)＝βf(z)+K(Y(r_i)-f(z_i)|i∈ne(r))

在实践中，邻近ne(r)的选择可以是某种启发式标准，例如距K最近的邻居或指定半径的区域。

现在参见图14，示出了根据本发明的一个实施方式的在数据中心中建模热分布的装置1400的框图。应当理解，装置1400代表用于实现图2的方法200的一个实施方式。

装置1400包括计算机系统1410和可拆卸介质1450。计算机系统1410包括处理器设备1420、网络接口1425、存储器1430、介质接口1435和可选显示器1440。网络接口1425使计算机系统1410连接到网络，而介质接口1435使计算机系统1410与介质交互，例如硬盘驱动器或可拆卸介质1450。

如本领域公知的，此处讨论的所述方法和装置可分布为制造的物品，其自身包括机器可读介质，包含一个或多个程序，当被执行时实现本发明的实施方式。例如，机器可读介质可包含程序，其配置用于：获得数据中心中的多个位置的垂直温度分布数据；绘制对于每个位置的垂直温度分布数据作为s曲线，其中垂直温度分布数据反映在每个位置的物理状况，这由s曲线的形状得以反映；以及代表具有表征s曲线形状的参数集的每个s曲线，其中s曲线表示组成预定义s曲线类型的知识库模型，可以据此分析热分布和在遍及数据中心的多个位置的相关联的物理状况。

机器可读介质可以是可记录介质(例如，软盘、硬盘驱动器、光盘，例如可拆卸介质1450或存储卡)或者可以是传输介质(例如，网络，包括光纤、全球网、缆或使用时分多址、码分多址的无线信道或其他射频信道)。可使用任何已知的或已开发的可存储信息适合与计算机系统一起使用的介质。

处理器设备1420可用于实现此处公开的所述方法、步骤和功能。存储器1430可以是分散的或本地的以及处理器1420可以是分散的或单独的。存储器1430可以实现为电的、磁的或光的存储器，或这些的任何组合或其他类型的存储设备。而且，词语“存储器”应该足够广义地理解以包括能从存储器设备1420存取的可寻址空间中的地址读和写的任何信息。利用这个定义，网络中的信息，通过网络接口1425可存取，仍在存储器1430中，因为处理器设备1420可从网络取回信息。应注意，每个组成处理器设备1420的分散的处理器一般包括其自己的可寻址存储器空间。还应注意，计算机系统1410的一些或全部可以结合到专用或通用集成电路中。

可选视频显示器1440可以是适合与装置1400的用户交互的任何类型的视频显示器。通常，视频显示器1440是计算机监视器或其他类似的视频显示器。

虽然此处已说明了本发明的图示实施方式，应理解本发明不限于这些精确的实施方式，以及本领域技术人员可做出各种其他改变和修改而不脱离本发明的范围。

Claims (17)

1.一种用于对数据中心中的热分布进行建模的方法，包括步骤：

获得所述数据中心中的多个位置的垂直温度分布数据；

将每个所述位置的所述垂直温度分布数据绘制为s曲线，其中所述垂直温度分布数据反映每个所述位置处的物理状况，其通过所述s曲线的形状来反映；以及

利用表征所述s曲线的形状的参数集来表示每个所述s曲线，其中s曲线表示构成预定义s曲线类型的知识库模型，以供分析所述数据中心中的所述多个位置的热分布以及相关联的物理状况。

2.根据权利要求1所述的方法，其中所述热分布数据使用移动测量技术(MMT)获得。

3.根据权利要求1所述的方法，其中所述参数包括以下一个或多个：所述s形曲线的下部平坦段，所述s形曲线的上部平坦段，所述s形曲线的上部中的s形程度，所述s形曲线的下部中的s形程度，以及到达所述s形曲线的中点处的高度。

4.根据权利要求1所述的方法，其中所述参数集还包括：描述所述数据中心中的特定位置的一个或多个参数，对于所述特定位置，所述s形曲线是所述垂直温度分布的图。

5.根据权利要求1所述的方法，其中所述数据中心包括服务器机架以及具有一个或多个计算机空气调节单元的活动地板冷却系统，其配置用于从所述服务器机架吸入热空气以及将经冷却的空气排出到下层地板通风道，所述经冷却的空气通过所述活动地板中的多个穿孔砖被递送到所述服务器机架。

6.根据权利要求5所述的方法，还包括步骤：

获得所述数据中心中的一个或多个服务器机架中的每一个服务器机架的空气入口侧的垂直温度分布数据。

7.根据权利要求5所述的方法，其中所述物理状况包括以下一个或多个：所述数据中心中的服务器机架位置，服务器机架与空气调节单元的距离，服务器机架高度，热足迹，服务器机架暴露程度，天花板高度，到最近地砖的距离，从所述空气调节单元递送到所述服务器机架的气流，所述服务器机架中的开口，所述服务器的功耗，以及所述服务器机架的气流需求。

8.根据权利要求1所述的方法，其中所述垂直温度分布数据针对时刻T＝0而获得，所述方法还包括步骤：

针对时刻T＝1获得实时温度数据，其中所述实时数据的空间密集度小于针对时刻T＝0获得的所述数据；以及

将所述实时数据插值到针对时刻T＝0获得的所述数据，以获得所述多个位置的更新垂直温度分布数据。

9.根据权利要求8所述的方法，还包括步骤：

将针对每个所述位置的所述更新垂直温度分布数据绘制为s曲线，其中所述垂直温度分布数据反映每个所述位置处的更新的物理状况，其由所述s曲线的形状反映；以及

将更新的s曲线与所述知识库模型中的所述预定义s曲线类型匹配。

10.根据权利要求1所述的方法，还包括步骤：

基于相似的参数对所述预定义s曲线类型进行分组。

11.一种用于对数据中心中的热分布进行建模的产品，包括机器可读介质，其包含一个或多个程序，当所述程序被执行时实现根据权利要求1所述的方法的步骤。

12.一种用于对数据中心中的热分布进行建模的装置，所述装置包括：

存储器；以及

至少一个处理器设备，耦合到所述存储器，操作用于：

获得所述数据中心中的多个位置处的垂直温度分布数据；

将每个所述位置的垂直温度分布数据绘制为s曲线，其中所述垂直温度分布数据反映每个所述位置处的物理状况，其由所述s曲线的形状反映；以及

利用表征所述s曲线的形状的参数集来表示每个所述s曲线，其中s曲线表示构成预定义s曲线类型的知识库模型，以供分析所述数据中心中的所述多个位置的热分布以及相关联的物理状况。

13.根据权利要求12所述的装置，其中所述数据中心包括服务器机架以及具有一个或多个计算机空气调节单元的活动地板冷却系统，其配置用于从所述服务器机架吸入热空气以及将经冷却的空气排出到下层地板通风道，所述经冷却的空气通过所述活动地板中的多个穿孔砖被递送到所述服务器机架。

14.根据权利要求13所述的装置，其中所述至少一个处理器设备还操作用于：

获得所述数据中心中的一个或多个服务器机架中的每一个服务器机架的空气入口侧的垂直温度分布数据。

15.根据权利要求12所述的装置，其中所述垂直温度分布数据针对时刻T＝0而获得，并且其中所述至少一个处理器设备还操作用于：

获得针对时刻T＝1的实时温度数据，其中所述实时数据的空间密集度小于针对时刻T＝0而获得的所述数据；以及

将所述实时数据插值到针对时刻T＝0而获得的所述数据，以获得所述多个位置的更新垂直温度分布数据。

16.根据权利要求15所述的装置，其中所述至少一个处理器设备还操作用于：

将针对每个所述位置的所述更新垂直温度分布数据绘制为s曲线，其中所述垂直温度分布数据反映每个所述位置处的更新的物理状况，其由所述s曲线的形状反映；以及

将更新的s曲线与所述知识库模型中的所述预定义s曲线类型匹配。

17.根据权利要求12所述的装置，其中所述至少一个处理器设备还操作用于：

基于相似的参数对所述预定义s曲线类型进行分组。

Images