CN109656336B - 数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器 - Google Patents

数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器 Download PDF

Info

Publication number
CN109656336B
CN109656336B CN201810916231.5A CN201810916231A CN109656336B CN 109656336 B CN109656336 B CN 109656336B CN 201810916231 A CN201810916231 A CN 201810916231A CN 109656336 B CN109656336 B CN 109656336B
Authority
CN
China
Prior art keywords
fan
pump
speed
optimization
liquid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810916231.5A
Other languages
English (en)
Other versions
CN109656336A (zh
Inventor
崔岩
高天翼
查尔斯·英格尔兹
阿里·海达里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of CN109656336A publication Critical patent/CN109656336A/zh
Application granted granted Critical
Publication of CN109656336B publication Critical patent/CN109656336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763—Liquid cooling without phase change
    • H05K7/20781—Liquid cooling without phase change within cabinets for removing heat from server blades
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20836—Thermal management, e.g. server temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/20—Cooling means
    • G06F1/206—Cooling means comprising thermal management
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20009—Modifications to facilitate cooling, ventilating, or heating using a gaseous coolant in electronic enclosures
    • H05K7/20136—Forced ventilation, e.g. by fans
    • H05K7/20172—Fan mounting or fan specifications
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218—Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • H05K7/20272—Accessories for moving fluid, for expanding fluid, for connecting fluid conduits, for distributing fluid, for removing gas or for preventing leakage, e.g. pumps, tanks or manifolds
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718—Forced ventilation of a gaseous coolant
    • H05K7/20736—Forced ventilation of a gaseous coolant within cabinets for removing heat from server blades
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/20—Indexing scheme relating to G06F1/20
    • G06F2200/201—Cooling arrangements using cooling fluid
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00—Constructional details common to different types of electric apparatus
    • H05K7/20—Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218—Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • H05K7/20254—Cold plates transferring heat from heat source to coolant

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Thermal Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)

Abstract

利用优化控制器，通过在满足与液体泵和制冷风扇相关的约束条件集的同时共同优化CDU的液体泵速度和制冷风扇的风扇速度来最小化CDU和制冷风扇的总能量消耗。总能量消耗包括液体泵能量成本和风扇能量成本。优化控制器将同时控制泵速度和风扇速度以最小化总能量成本，同时使用优化函数或优化模型将处理器温度保持在预定参考温度之下。优化模型包括液体冷却动力学和空气冷却动力学两者，并将动力学转换成凸优化问题。执行优化以确定一组泵速度和风扇速度，使得目标函数在满足约束条件的同时达到最小值。

Description

数据中心的电子器件机架的混合液体-空气冷却系统的优化 控制器
技术领域
本发明的实施方式总体上涉及数据中心。更具体地，本发明的实施方式涉及数据中心中的电子器件机架的混合液体-空气冷却系统的优化控制器。
背景技术
散热是计算机系统和数据中心设计中的重要因素。随着高性能电子组件(诸如，封装在服务器内部的高性能处理器)的数目稳步增加，从而使服务器的常规操作期间产生和消散的热量增加。如果允许服务器运行的环境随着时间而升高温度，则数据中心内使用的服务器的可靠性降低。保持合适的热环境对于数据中心中的这些服务器的正常运行以及服务器性能和寿命来说是至关重要的。这需要更有效和高效的散热解决方案，特别是在冷却这些高性能服务器的情况下尤其如此。
功率密集型处理器能够实现诸如深度学习的密集计算的解决方案。具有这种处理器(即，高功率中央处理单元(CPU)和/或通用处理单元(GPU))的电子服务器具有每体积空间的非常高的功率密度，并且因此，传统的简单空气冷却受到很大的挑战。与仅采用空气冷却方法相比，直接对芯片的液体冷却为那些功率密集型处理器提供了更好的冷却性能并节省了能量消耗。实际上，并非由处理器产生的所有热量均通过液体冷却消除，并且仍存在一定比例的热量是通过空气冷却消除的。因此，整个环境是混合液体-空气冷却系统。在混合液体-空气冷却系统中，经由冷却剂分配单元(CDU)中的泵速度控制来控制液体流动速率，并且经由电子器件机架的背面上的风扇速度控制来控制气流速率。传统的冷却系统已经不足以降低冷却系统的能量消耗。
发明内容
根据本申请的一个方面，提供了一种数据中心的电子器件机架，其包括：多个计算节点，所述多个计算节点堆叠布置，每个计算节点均包括附接到液体冷板的至少一个处理器；多个制冷风扇，所述制冷风扇中的每个均与所述计算节点中的一个对应，以向相应的计算节点提供空气冷却；冷却剂分配单元(CDU)，联接到所述计算节点中的每个，以经由相应的液体冷板向相应的处理器提供液体冷却，其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点的所述处理器产生的热量；以及机架管理控制器(RMC)，联接到所述冷却剂分配单元、所述制冷风扇和所述计算节点，其中，所述机架管理控制器配置成：从所述计算节点、所述制冷风扇和所述冷却剂分配单元中的每个收集实时运行数据，基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述优化函数的表示总功率消耗的输出达到最小值，基于所述最优泵速度控制所述液体泵的泵速度，以及分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
根据本申请的另一方面，提供了一种数据中心，其包括多个电子器件机架，其中，所述电子器件机架中的每个均包括：多个计算节点，所述多个计算节点以堆叠布置，每个计算节点均包括附接到液体冷板的至少一个处理器；多个制冷风扇，所述制冷风扇中的每个均与所述计算节点中的一个对应，以向相应的计算节点提供空气冷却；冷却剂分配单元(CDU)，联接到所述计算节点中的每个，以经由相应的液体冷板向相应的处理器提供液体冷却，其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点中的所述处理器产生的热量；以及机架管理控制器(RMC)，联接到所述冷却剂分配单元、所述制冷风扇和所述计算节点。所述机架管理控制器配置成：从所述计算节点、所述制冷风扇和所述冷却剂分配单元中的每个收集实时运行数据，基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述优化函数的表示总功率消耗的输出达到最小值，基于所述最优泵速度，控制所述液体泵的泵速度，以及分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
根据本申请的又一方面，提供了一种用于提供数据中心的电子器件机架的热量管理的方法，所述方法包括：从以堆叠布置的多个计算节点、多个制冷风扇和联接到所述计算节点中的每个的冷却剂分配单元(CDU)中的每个收集实时运行数据，每个计算节点均包括附接到液体冷板的至少一个处理器，其中，所述制冷风扇中的每个均与所述计算节点中的一个相关联，以向相应的计算节点提供空气冷却，其中，所述冷却剂分配单元配置成经由相应的液体冷板向相应的处理器提供液体冷却，以及其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点的所述处理器产生的热量；基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述优化函数的表示总功率消耗的输出达到最小值；基于所述最优泵速度控制，所述液体泵的泵速度；以及分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
附图说明
本发明的实施方式在附图的各图中以举例而非限制的方式示出，附图中的相同的参考数字指代相似的元件。
图1是示出根据一个实施方式的数据中心设施的示例的框图。
图2是示出根据一个实施方式的电子器件机架的示例的框图。
图3是示出根据另一实施方式的电子器件机架的示例的框图。
图4是示出根据一个实施方式的与可以在计算节点中使用的处理器相关的冷板的框图。
图5是示出根据另一实施方式的电子器件机架的示例的框图。
图6示出了根据一个实施方式的包含用于速度优化的变量的数据结构。
图7示出了根据一个实施方式的速度优化的算法。
图8示出了根据一个实施方式的用于速度优化的约束条件集。
图9是示出根据一个实施方式的用于操作电子器件机架的过程的流程图。
图10是示出根据一个实施方式的用于速度优化的过程的流程图。
具体实施方式
将参考以下所讨论的细节来描述本发明的各种实施方式和方面，并且附图将示出所述各种实施方式。下列描述和附图是对本发明的说明，而不应当解释为限制本发明。描述了许多特定细节以提供对本发明的各种实施方式的全面理解。然而，在某些情况下，并未描述众所周知的或常规的细节以提供对本发明的实施方式的简洁讨论。
本说明书中对“一个实施方式”或“实施方式”的提及意味着结合该实施方式所描述的特定特征、结构或特性可以包括在本发明的至少一个实施方式中。短语“在一个实施方式中”在本说明书中各个地方的出现不必全部指同一实施方式。
相应地，利用优化控制器，通过共同优化CDU的液体泵速度和制冷风扇的风扇速度来最小化CDU和制冷风扇的总能量消耗，同时满足与液体泵和制冷风扇相关的约束条件集。总能量消耗包括液体泵能量成本和风扇能量成本。处理器的温度受到液体冷却系统的液体流动速率和空气冷却系统的气流速率两者的影响。由于液体冷却动力学和空气冷却动力学的不同的性质，优化控制器对于同时控制泵速度和风扇速度以最小化总能量成本、同时保持处理器的温度低于预定参考温度来说是至关重要的。优化控制器使用混合液体-空气冷却系统的新的集总模型。优化模型包括将动力学转换成凸优化问题的液体冷却动力学和空气冷却动力学两者。目标函数表示总能量消耗，并且约束条件包括处理器的参考温度、最大泵速度和风扇速度、最小泵速度和风扇速度。执行优化以确定一组最优泵速度和最优风扇速度，使得在满足约束条件的同时目标函数达到最小值。
根据一个实施方式，能够在数据中心中使用的电子器件机架包括计算节点的堆叠、用于向计算节点提供空气冷却的多个制冷风扇、用于向计算节点提供液体冷却的CDU以及联接到计算节点、CDU和制冷风扇的机架管理控制器(RMC)。每个计算节点可表示具有附接到冷板的至少一个处理器的服务器。一个或多个制冷风扇例如通过安装在计算节点的后端与计算节点中的一个对应。制冷风扇配置成向计算节点提供空气冷却。CDU配置成经由附接到每个处理器的相应冷板向每个计算节点的一个或多个处理器提供液体冷却。CDU包括液体泵，液体泵配置成向每个冷板提供冷却液体以消除由每个计算节点的相关处理器产生的热量。
在一个实施方式中，RMC配置成从计算节点、制冷风扇和CDU收集实时运行数据。RMC使用预定优化函数或成本函数执行优化，以基于实时运行数据确定CDU的液体泵的最优泵速度和制冷风扇的最优风扇速度，使得表示液体泵和制冷风扇的总功率消耗的优化函数的输出达到最小值。然后，RMC使用最优泵速度控制液体泵的泵速度并使用最优风扇速度控制制冷风扇的风扇速度。
在一个实施方式中，使用优化函数协作地且同时优化泵速度和风扇速度，其中，泵速度和风扇速度是优化函数的一部分系数。根据约束条件集执行泵速度和风扇速度的优化，使得优化函数在满足约束条件集的同时达到最小值。约束条件集包括运行参数的范围，液体泵或制冷风扇被设计成在该运行参数的范围内运行，该运行参数可基于液体泵和制冷风扇的各自的设计规格而确定。
在一个实施方式中，执行优化使得液体泵以及所有制冷风扇的总功率消耗达到最小值，同时泵速度处于下泵速度极限和上泵速度极限内；每个制冷风扇的风扇速度同时处于其相应的下风扇速度极限和上风扇速度极限内；以及每个处理器的温度低于与相应的处理器参考温度。对于不同的制冷风扇，风扇速度极限可为相同的或不同的。类似地，对于不同的处理器，处理器参考温度可为相同的或不同的。
图1是示出根据一个实施方式的数据中心或数据中心单元的示例的框图。在本示例中，图1示出了数据中心的至少一部分的俯视图。参考图1，根据一个实施方式，数据中心系统100包括信息技术(IT)组件、设备或仪器101-102(例如，通过网络(例如，互联网)向多种客户端提供数据服务的计算机服务器或计算节点)的电子器件机架行。在本实施方式中，每行包括电子器件机架的阵列，诸如，电子器件机架110A-110N。然而，可实施更多行或更少行的电子器件机架。通常，行101-102平行对准，其中，前端彼此面对并且后端彼此背离，从而在行101-102中间形成通道103以允许管理人员在通道103中行走。然而，还可应用其它配置或布置。
在一个实施方式中，电子器件机架(例如，电子器件机架110A-110N)中的每个包括壳体以容纳在其中运行的IT组件的多个电子器件机架。电子器件机架可以包括散热液体歧管、多个服务器插槽以及能够插入服务器插槽中和从服务器狭槽移除的多个服务器刀片。每个服务器刀片表示具有一个或多个处理器、存储器和/或永久性储存设备(例如，硬盘)的计算节点。至少一个处理器附接至液体冷板以接收液体冷却。此外，一个或多个制冷风扇与服务器刀片相关，以向包含在服务器刀片中的计算节点提供空气冷却。应注意，散热系统120可联接到诸如数据中心系统400的多个数据中心。
在一个实施方式中，散热系统120包括连接到建筑物/房屋容器外部的冷却塔或干燥冷却器的外部液体回路。散热系统120可以包括但不限于蒸发冷却、自由空气、对大的热质量的排斥和废热回收设计。
在一个实施方式中，每个服务器刀片模块化地联接到散热液体歧管，使得可以从电子器件机架移除服务器刀片，而不影响电子器件机架上的剩余服务器刀片和散热液体歧管的运行。在另一实施方式中，每个服务器刀片通过快速释放联接组件联接到散热液体歧管(还被称为冷却液体歧管)，快速释放联接组件具有联接到柔性软管的第一液体入口连接器和第一液体出口连接器以将散热液体分配至处理器。第一液体入口连接器经由第二液体入口连接器从安装在电子器件机架的后端上的散热液体歧管接收散热液体。第一液体出口连接器经由第二液体出口连接器将携带有从处理器交换的热量的暖的或热的液体排出到散热液体歧管，并且然后回到电子器件机架内的CDU。
在一个实施方式中，设置在每个电子器件机架的后端上的散热液体歧管联接到液体供应线132以从散热系统120接收散热液体(还被称为冷却液体)。散热液体通过附接到其上安装有处理器的冷板的液体分配回路分配，以将热量从处理器移除。冷板配置成与散热器类似，其中，液体分配管附接到冷板或嵌入到冷板中。携带有从处理器交换的热量而产生的暖的或热的液体经由供应线131输送回到散热系统120。液体供应线131-132被称为数据中心液体供应线(例如，全局液体供应线)，其向行101-102中的所有电子器件机架供应散热液体。液体供应线132和液体回流线131联接到位于每个电子器件机架内的CDU的热交换器，从而形成主回路。热交换器的次级回路联接到电子器件机架中的每个服务器刀片，以将冷却液体输送至处理器的冷板。
在一个实施方式中，数据中心系统100还包括气流输送系统135，以产生气流使得气流行进通过电子器件机架的服务器刀片的空气空间，以交换由于计算节点(例如，服务器)的运行而由计算节点产生的热量，并将气流交换的热量排出到房屋/房间/建筑物外部的外部环境108。例如，空气供应系统135产生凉的/冷的空气气流以从通道103循环通过电子器件机架110A-110N，从而带走交换的热量。冷的气流通过电子器件机架的前端进入电子器件机架，并且暖的/热的气流从电子器件机架的后端离开电子器件机架。带有交换的热量的暖的/热的空气从房间/建筑物排出。因此，冷却系统是混合液体-空气冷却系统，其中由处理器产生的一部分热量经由相应冷板通过冷却液体消除，而由处理器产生的热量的剩余部分通过冷却气流消除。
根据一个实施方式，电子器件机架中的每个包括联接到CDU和电子器件机架的计算节点中的每个的RMC(未示出)。RMC周期性地或不断地监控CDU、计算节点和制冷风扇的运行状态。运行状态的运行数据可包括实时测量的每个处理器的运行温度、冷却液体和气流等。基于从多种组件接收的运行数据，RMC使用优化函数执行优化，以确定CDU的液体泵的最优泵速度和制冷风扇的最优风扇速度，使得液体泵和制冷风扇的功率消耗达到最小值，同时液体泵和制冷风扇根据其各自的规格正常运行(例如，液体泵和制冷风扇的速度在其各自的预先确定的范围内)。
即，通过同时优化所涉及的所有组件在全局级别上执行优化，使得：1)处理器的温度低于它们各自的参考温度，2)液体泵和制冷风扇的总功率消耗达到最小值，以及3)液体泵和制冷风扇中的每个在它们各自的规格内运行。然后，使用最优泵速度和最优风扇速度来配置液体泵和制冷风扇。因此，液体泵和制冷风扇的总功率消耗达到最小值，同时计算节点的处理器正常运行。
图2是示出根据一个实施方式的电子器件机架的框图。电子器件机架200可表示图1中示出的任意电子器件机架，例如，电子器件机架110A-110N。参考图2，根据一个实施方式，电子器件机架200包括但不限于CDU 201、机架管理单元(RMU)202以及一个或多个服务器刀片203A-203E(统称为服务器刀片203)。服务器刀片203可以分别从电子器件机架200的前端204或后端205插入到服务器插槽的阵列中。应注意，虽然在这里仅示出了五个服务器刀片203A-203E，但是可在电子器件机架200内保持更多或更少的服务器刀片。还应注意，CDU 201、RMU 202和服务器刀片203的特定位置仅出于说明的目的而示出；还可实施CDU201、RMU 202和服务器刀片203的其它布置或配置。应注意，只要制冷风扇可以产生从前端到后端的气流，电子器件机架200就可以对环境开放或由机架货柜部分地包含。
此外，对于服务器刀片203中的每个，风扇模块与服务器刀片相关联。在本实施方式中，统称为风扇模块231的风扇模块231A-231E分别与服务器刀片203A-203E相关联。风扇模块231中的每个包括一个或多个制冷风扇。风扇模块231可安装在服务器刀片203的后端上，以产生从前端204流动、行进通过服务器刀片203的空气空间并存在于电子器件机架200的后端205处的气流。
在一个实施方式中，CDU 201主要包括热交换器211、液体泵212和泵控制器(未示出)以及一些其它组件，诸如贮液器、电源、监控传感器等。热交换器211可为液体-液体热交换器。热交换器211包括具有入口端口和出口端口的第一回路，入口端口和出口端口具有联接到外部液体供应/返回线131-132的第一对液体连接器以形成主回路。联接到外部液体供应/返回线131-132的连接器可设置或安装在电子器件机架200的后端205上。液体供应/返回线131-132联接到一组房间歧管，一组房间歧管联接到如上所述的散热系统120。此外，热交换器211还包括具有两个端口的第二回路，两个端口具有联接到液体歧管225的第二对液体连接器以形成次级回路，次级回路可包括用于向服务器刀片203供应冷却液体的供应歧管和用于使暖的液体返回到CDU 201的返回歧管。应注意，CDU 201可以是市售的任何种类的CDU或定制的CDU。因此，将不在本文中描述CDU 201的细节。
服务器刀片203中的每个可包括一个或多个IT组件(例如，中央处理单元或CPU、图形处理单元(GPU)、存储器和/或储存设备)。每个IT组件可执行数据处理任务，其中，IT组件可包括安装在储存设备中、载入存储器中并且由一个或多个处理器执行的软件以执行数据处理任务。服务器刀片203可包括联接到一个或多个计算服务器(还称为计算节点，诸如CPU服务器和GPU服务器)的主机服务器(称为主机节点)。主机服务器(具有一个或多个CPU)通常通过网络(例如，互联网)与客户端交互，以接收诸如储存服务(例如，基于云的储存服务，诸如，备份和/或恢复)的特定服务的请求，进而执行应用以执行特定操作(例如，作为软件即服务或SaaS平台的一部分的图像处理、深度数据学习算法或建模等)。响应于请求，主机服务器将任务分配给由主机服务器管理的一个或多个性能计算节点或计算服务器(具有一个或多个GPU)。性能计算服务器执行实际任务，这可在运行期间产生热量。
电子器件机架200还包括RMU 202，RMU 202配置成提供和管理供应至服务器203、风扇模块231和CDU 201的电力。RMU 202可联接到电源单元(未示出)以管理电源单元的功率消耗。电源单元可包括必要的电路(例如，交流电(AC)到直流电(DC)电源转换器或直流到直流电源转换器、电池、变压器或调节器等)以向电子器件机架200的剩余组件提供电力。
在一个实施方式中，RMU 202包括优化模块221和机架管理控制器(RMC)222。RMC222可包括监控器以监控电子器件机架200内的多种组件(例如，计算节点203、CDU 201和风扇模块231)的运行状态。具体地，监控器从多种传感器接收表示电子器件机架200的运行环境的运行数据。例如，监控器可接收表示处理器、冷却液体和气流的温度的运行数据，处理器、冷却液体和气流的温度可经由多种温度传感器捕获和收集。监控器还可接收表示由风扇模块231和液体泵212产生的风扇功率和泵功率的数据，风扇功率和泵功率可与风扇和泵的各自速度成比例。这些运行数据被称为实时运行数据。应注意，监控器可实施为RMU 202内的单独模块。
基于运行数据，优化模块221使用预定优化函数或优化模型执行优化，以导出用于风扇模块231的一组最优风扇速度和用于液体泵212的最优泵速度，使得液体泵212和风扇模块231的总功率消耗达到最小值，同时与液体泵212以及风扇模块231的制冷风扇相关的运行数据在液体泵和制冷风扇各自的设计规格内。一旦已经确定最优泵速度和最优风扇速度，RMC 222基于最优泵速度和最优风扇速度配置液体泵212以及风扇模块231的制冷风扇。
作为示例，基于最优泵速度，RMC 222与CDU 201的泵控制器通信以控制液体泵212的速度，液体泵212的速度进而控制待分配给至少一些服务器刀片203的供应至液体歧管225的冷却液体的液体流动速率。类似地，基于最优风扇速度，RMC 222与风扇模块231中的每个通信以控制风扇模块231中的每个制冷风扇的速度，这进而控制风扇模块231的气流速度。应注意，风扇模块231中的每个可利用其特定的最优风扇速度单独进行控制，并且不同的风扇模块和/或相同的风扇模块内的不同的制冷风扇可具有不同的最优风扇速度。
图3是示出根据另一实施方式的电子器件机架的框图。电子器件机架300可实现为图2的电子器件机架200的一部分。参考图3，在本示例中，CDU 201包括泵控制器301以控制液体泵212的速度，其中，液体泵212配置成控制液体供应歧管302和液体返回歧管303的液体流动速率。计算节点203A-203E中的每个包含一个或多个处理器(例如，通用处理单元或GPU)。处理器中的至少一个安装在冷板上。液体供应歧管302和液体返回歧管303经由液体分配回路联接到冷板中的每个。例如，冷却液体经由液体供应歧管302供应，通过计算节点203A的处理器冷板311-314中的每个，然后退回到液体返回歧管303并返回到CDU 201的热交换器211。同时，风扇模块231中的每个安装在计算节点203中的每个的后端上以同时向处理器提供空气冷却。
图4是示出根据一个实施方式的处理器冷板配置的框图。处理器/冷板结构400可以表示任何处理器/冷板结构，诸如图3中示出的处理器冷板311-314。参考图4，处理器401焊接在联接到其它电气组件或电路的印刷电路板(PCB)402上。处理器401还附接至联接到液体供应线302和液体返回线303的冷板403。由处理器401产生的一部分热量通过冷却液体移除。热量的剩余部分进入到空气空间405中，热量的剩余部分可通过制冷风扇404产生的气流移除。
图5是示出根据一个实施方式的机架管理控制器的示例的框图。参考图5，RMC 202包括监控器501以监控多种组件(例如，CDU 201、计算节点203和风扇模块231)的运行状态。在一个实施方式中，监控器501与计算节点203中的每个的基板管理控制器(BMC)通信，诸如，BMC 503A-503E，统称为BMC 503。BMC 503可包括可以以软件、硬件或两者的组合实现的逻辑。
每个计算节点的BMC指的是在计算节点的母板上实现的、用于管理板上组件的本地控制器，包括从组件读取运行数据以及向组件发送信号或命令以控制组件的操作。在一个实施方式中，BMC可测量由处理器消耗的电压和电流，该电压和电流可用于导出由处理器产生的功率(例如，功率＝伏特×电流)。由处理器产生的功率与由处理器产生的热量成比例。BMC还可与温度传感器通信以测量处理器的温度、冷却液体的温度(例如，图4的液体温度411)和/或气流的温度(例如，图4的气流温度412)。
此外，监控器501与泵控制器301通信以获得CDU的泵运行数据。泵控制器301配置成控制液体泵212的运行(诸如，液体泵212的速度)，这进而控制供应至计算节点203的处理器的冷板的冷却液体的液体流动速率。在一个实施方式中，泵控制器301配置成测量液体泵212的泵速度，泵速度继而被提供至监控器501。此外，监控器501可联接到CDU 201内或CDU201附近的温度传感器以测量由液体泵212提供的冷却液体的液体温度。类似地，根据一个实施方式，监控器通信地联接到风扇模块231中的每个以获得包含在风扇模块231中的制冷风扇的风扇运行数据，诸如，制冷风扇的风扇速度和由制冷风扇产生的气流的气流温度。
根据一个实施方式，基于从BMC 503、CDU 201和风扇模块231收集的运行数据，优化模块502配置成根据与泵/风扇规格505相关的约束条件集、使用一个或多个优化函数或优化模型504对液体泵212的泵速度以及风扇模块231的制冷风扇的风扇速度执行优化。执行优化以确定液体泵212的一组最优泵速度和风扇模块231的最优风扇速度，使得液体泵212和风扇模块231的制冷风扇的总功率消耗达到最小值，同时所涉及的组件的运行数据满足预先确定的约束条件集。然后，泵配置器506和风扇配置器507使用最优泵速度和最优风扇速度以分别配置液体泵212和风扇模块231的制冷风扇的速度。
在一个实施方式中，使用优化函数504协同且同时优化液体泵212的泵速度和风扇模块231的制冷风扇的风扇速度，其中，泵速度和风扇速度是优化函数的一部分系数。根据预先确定约束条件集来执行泵速度和风扇速度的优化，使得优化函数在满足约束条件集的同时达到最小值。约束条件集包括运行参数的范围，液体泵或制冷风扇应该在该运行参数的范围内运行，该运行参数可根据液体泵和制冷风扇的各自的设计规格505获得。
在一个实施方式中，执行优化使得液体泵212以及风扇模块231中的所有制冷风扇的总功率消耗达到最小值，同时泵速度在下泵速度极限和上泵速度极限内；每个制冷风扇的风扇速度同时在其相应的下风扇速度极限和上风扇速度极限内；以及每个处理器的温度低于与特定处理器相关的相应处理器参考温度。
应注意，监控器501可与泵配置器506和风扇配置器507集成以分别监控液体泵212和风扇模块231的运行。此外，泵配置器506和风扇配置器507可集成为集成模块。此外，优化模块502还可与RMC202集成为集成控制器。优化模块502可实施为软件、硬件或两者的组合。例如，优化模块502可包括机器可读介质，该机器可读介质包含可执行指令以根据一个或多个优化算法集(诸如，优化函数504)执行操作。这类算法可由与优化模块502相关的处理逻辑执行，以执行优化操作。在本文中，还可应用其它配置。
如上所述，可以基于液体泵212以及与风扇模块231相关的每个制冷风扇的总功率消耗来配置优化函数(也称为目标函数)，其中，风扇模块231中的每个可包括一个或多个制冷风扇。在一个实施方式中，优化函数的配置如下：
Figure BDA0001763077220000131
其中，P指的是总功率，Pfan,i(也称为风扇(i)的风扇速度优化函数)指的是由风扇(i)消耗的功率，并且Ppump(也称为泵速度优化函数)指的是由液体泵消耗的功率。风扇(i)为风扇模块231中的一个制冷风扇。在一个实施方式中，风扇模块231中的不同的风扇模块的不同的制冷风扇或相同的风扇模块内的不同的制冷风扇可配置有相同的或不同的风扇速度。
根据实施方式，风扇速度优化函数Pfan,i和泵速度优化函数Ppump如下限定：
Figure BDA0001763077220000132
Figure BDA0001763077220000133
其中，vfan,i指的是风扇(i)的速度，并且vpump指的是待优化的液体泵的速度。在本实施方式中，风扇速度优化函数和泵速度优化函数实现为三次多项式函数，其中，a0、a1、a2、b0、b1和b2为预定系数。可实施其它配置。
在一个实施方式中，制定约束条件集以满足温度、风扇速度工作范围和泵速度工作范围的要求。例如，约束条件如下限定：
Figure BDA0001763077220000134
在本示例中，约束条件指定处理器温度应该小于处理器的规格规定的处理器参考温度。特定制冷风扇的风扇速度应该处于由该特定制冷风扇的风扇规格规定的下风扇速度极限和上风扇速度极限内。应注意，不同的制冷风扇可具有相同的或不同的风扇速度极限。液体泵的泵速度应该处于由液体泵的泵规格规定的下泵速度极限和上泵速度极限内。为了说明的目的，本申请中使用的某些变量或术语表在以下表格中定义，图6也示出了以下表格。
Figure BDA0001763077220000141
在以上实施方式中，风扇速度和泵速度约束条件限定为直接的。处理器温度的约束条件转换成具有附加物理动力学的风扇速度和泵速度的函数。返回参考图4，根据一个实施方式，特定处理器i的处理器温度可以如下限定：
Figure BDA0001763077220000151
变量α表示由冷却液体移除的热量的百分比，这可基于处理器温度与液体温度411之间的差而确定。热量的剩余部分通过空气冷却移除，这可基于处理器温度与气流温度412之间的差而确定。根据一个实施方式，由于预定耐热因子R的事实，物理模型可以如下限定：
Figure BDA0001763077220000152
其中，C1和C2是预定常数。R指的是处理器相对于液体冷却或空气冷却的耐热性。将这些等式带入以上等式中，可以如下限定新的约束条件模型，图7中也示出了该约束条件模型：
Figure BDA0001763077220000153
Qprocessor指的是由处理器产生的功率(例如，功率＝电压×电流)。以上约束条件表明考虑到任何时间点处的液体冷却和空气冷却，实时测量的处理器温度Tprocessor必须小于处理器的规格规定的相应处理器参考温度Tref，其中，处理器的实时温度Tprocessor可以与相应液体温度Tliquid和气流温度Tair有关。
在一个实施方式中，可以导出控制器的优化模型，例如通过将向量限定为泵速度和所有风扇速度，假设一共有n个风扇速度。
Figure BDA0001763077220000154
然后，根据一个实施方式如下限定目标函数：
Figure BDA0001763077220000161
优化函数f2是泵速度优化函数，并且优化函数f1是风扇速度优化函数。根据一个实施方式，约束条件转换成如下的一组不等式，图8也示出了该不等式组：
Figure BDA0001763077220000162
根据一个实施方式，在泵速度和风扇速度的优化期间，必须满足以上约束条件集，使得液体泵和制冷风扇的总功率消耗达到如下最小值：
Figure BDA0001763077220000163
由于证明目标函数f(x)是凸函数是可行的，因此控制器设计变为凸优化，并且通过找到全局最优点
Figure BDA0001763077220000164
来给出解(例如，最优泵速度和风扇速度)。然后，
Figure BDA0001763077220000165
是泵速度和所有单独的风扇托盘速度的全局最小向量。在电子器件机架的运行期间，周期性地或不断地执行以上优化过程。当系统开始运行时，RMC实时收集所有数据，计算优化控制器，然后将控制信号输出至泵和所有风扇，然后进入到下一采样周期。
图9是示出根据一个实施方式的向电子器件机架提供冷却的过程的流程图。过程900可由处理逻辑执行，处理逻辑可包括软件、硬件或它们的组合。例如，过程900可由图5的系统500执行。参考图9，在操作901中，处理逻辑将液体泵和制冷风扇配置并设置到相应的初始速度。在操作902中，启动计算节点。操作901-902可作为相应电子器件机架的启动的一部分同时执行。在操作903中，处理逻辑从多种组件收集运行数据，包括处理器的温度、气流温度(例如，空气入口温度)、液体温度(例如，液体供应温度)等。在操作904中，使用如上所述的一个或多个优化函数执行液体泵和制冷风扇的速度优化，这为液体泵和制冷风扇产生一组最优速度。在操作905中，使用最优速度来配置液体泵和制冷风扇，使得总功率消耗达到最小值，同时满足根据液体泵和制冷风扇的设计规格的约束条件集。迭代地执行操作903-904，直到系统关闭。
图10是示出根据另一实施方式的向电子器件机架提供冷却的过程的流程图。过程1000可作为图9的操作902-903的一部分执行。参考图10，在操作1001中，处理逻辑从电子器件机架的计算节点、制冷风扇和CDU中的每个收集实时运行数据。实时运行数据包括处理器温度、液体温度、气流温度和处理器功率等。在操作1002中，根据从相应的泵规格和风扇规格获得的预定的参考数据，处理逻辑基于实时运行数据、使用预定的优化函数执行优化以确定最优泵速度和每个制冷风扇或每个风扇模块的最优风扇速度。在操作1003中，使用最优泵速度来控制液体泵的后续速度，并且在操作1004中，使用最优风扇速度来控制制冷风扇的后续速度。
在一个实施方式中，液体冷却系统配置为移除通过服务器的较高的电力消耗部件(例如，CPU、GPU)产生的大部分热量，而空气冷却系统配置为移除通过液体冷却系统不可行的或无法可靠地移除的由较小的电力消耗部件(例如，存储器、存储设备、母板)产生的热量以及由较高的电力消耗部件辐射的热量。通过将液体冷却系统和空气冷却系统结合，可不需要常规地安装在服务器刀片或电子器件机架上的各个风扇。然而，如果需要，电子器件机架的电源单元和/或网络设备可能仍然需要利用风扇冷却。
应注意，上面描述的冷却方法可应用于各种不同类型的数据中心，例如，传统的托管数据中心、棕地数据中心(brownfield data center)、和新建数据中心(greenfielddata center)。托管数据中心是其中设备、空间和带宽适用于出租给零售客户的一类数据中心。托管设施为其他公司的服务器、存储装置和联网设备提供空间、电力、冷却和物理安全，并且以最小的成本和复杂性将它们联接至各种电信和网络服务提供者。新建数据中心是指在之前不存在的位置中构建和配置的数据中心。以上描述的方法还可应用于性能优化的数据中心(POD)、便携的按需式数据中心或货柜式(container)数据中心或者协同它们一起工作，在所述货柜式数据中心中，服务器的机架容纳在一个或多个单独的货柜、模块化空间或模块化壳体中。
前述附图中所描绘的过程或方法可以由处理逻辑来执行，所述处理逻辑包括硬件(例如，电路、专用逻辑等)、软件(例如，体现在非暂时性计算机可读介质上)或两者的组合。尽管所述过程或方法在上文是依据一些顺序操作来描述的，但是应当理解，所描述的操作中的一些可按不同的顺序执行。此外，一些操作可并行地执行而不是顺序地执行。
在以上的说明书中，已经参考本发明的具体示例性实施方式对本发明的实施方式进行了描述。将显而易见的是，在不脱离所附权利要求书中阐述的本发明的更宽泛精神和范围的情况下，可对本发明作出各种修改。因此，应当在说明性意义而不是限制性意义上来理解本说明书和附图。

Claims (21)

1.数据中心的电子器件机架，包括：
多个计算节点，所述多个计算节点堆叠布置，每个计算节点均包括附接到液体冷板的至少一个处理器；
多个制冷风扇，所述制冷风扇中的每个均与所述计算节点中的一个对应，以向相应的计算节点提供空气冷却；
冷却剂分配单元，联接到所述计算节点中的每个，以经由相应的液体冷板向相应的处理器提供液体冷却，其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点的所述处理器产生的热量；以及
机架管理控制器，联接到所述冷却剂分配单元、所述制冷风扇和所述计算节点，其中，所述机架管理控制器配置成：
从所述计算节点、所述制冷风扇和所述冷却剂分配单元中的每个收集实时运行数据，
基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述预定优化函数的表示总功率消耗的输出达到最小值，
基于所述最优泵速度控制所述液体泵的泵速度，以及
分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
2.根据权利要求1所述的电子器件机架，其中，执行所述优化，以同时优化所述液体泵的泵速度和所述制冷风扇的风扇速度，使得所述预定优化函数达到最小值，其中，所述泵速度和所述风扇速度是所述预定优化函数的部分系数。
3.根据权利要求1所述的电子器件机架，其中，根据与所述液体泵和所述制冷风扇相关的一组规格执行所述优化，其中，所述规格包括指定工作参数范围的信息，所述液体泵和所述制冷风扇在所述工作参数范围内运行。
4.根据权利要求1所述的电子器件机架，其中，所述预定优化函数包括：
泵优化函数，以对泵速度执行泵速度优化，使得泵功率消耗达到最小值；以及
多个风扇优化函数，每个风扇优化函数均与所述制冷风扇中的一个对应，其中，每个风扇优化函数均配置成对每个制冷风扇的风扇速度执行风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值。
5.根据权利要求4所述的电子器件机架，其中，所述泵优化和所述风扇速度优化同时优化，使得基于所述泵功率消耗和所述风扇功率消耗计算的总功率消耗达到最小值，同时实时测量的每个计算节点的每个处理器的处理器温度低于与所述处理器相关联的处理器参考温度。
6.根据权利要求4所述的电子器件机架，其中，执行所述泵速度优化，使得所述泵功率消耗达到最小值，同时所述实时运行数据中与所述液体泵相关的第一子集处于所述液体泵的第一组预定运行参考数据的相应范围内。
7.根据权利要求6所述的电子器件机架，其中，执行所述泵速度优化，使得所述泵功率消耗达到最小值，同时所述最优泵速度处于与所述液体泵相关联的下泵速度极限和上泵速度极限内。
8.根据权利要求4所述的电子器件机架，其中，为所述制冷风扇执行所述风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值，同时所述实时运行数据中与所述制冷风扇相关联的第二子集在所述制冷风扇的第二组预定运行参考数据的相应范围内。
9.根据权利要求8所述的电子器件机架，其中，执行每个制冷风扇的所述风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值，同时所述制冷风扇的最优风扇速度处于所述制冷风扇的下风扇速度极限和上风扇速度极限内。
10.数据中心，包括：
多个电子器件机架，其中，所述电子器件机架中的每个均包括：
多个计算节点，所述多个计算节点以堆叠布置，每个计算节点均包括附接到液体冷板的至少一个处理器；
多个制冷风扇，所述制冷风扇中的每个均与所述计算节点中的一个对应，以向相应的计算节点提供空气冷却；
冷却剂分配单元，联接到所述计算节点中的每个，以经由相应的液体冷板向相应的处理器提供液体冷却，其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点中的所述处理器产生的热量；以及
机架管理控制器，联接到所述冷却剂分配单元、所述制冷风扇和所述计算节点，其中，所述机架管理控制器配置成：
从所述计算节点、所述制冷风扇和所述冷却剂分配单元中的每个收集实时运行数据，
基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述预定优化函数的表示总功率消耗的输出达到最小值，
基于所述最优泵速度，控制所述液体泵的泵速度，以及
分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
11.根据权利要求10所述的数据中心，其中，执行所述优化，以同时优化所述液体泵的泵速度和所述制冷风扇的风扇速度，使得所述预定优化函数达到最小值，其中，所述泵速度和所述风扇速度是所述预定优化函数的部分系数。
12.根据权利要求10所述的数据中心，其中，根据与所述液体泵和所述制冷风扇相关联的一组规格执行所述优化，其中，所述规格包括指定工作参数范围的信息，所述液体泵和所述制冷风扇在所述工作参数范围内运行。
13.提供数据中心的电子器件机架的热量管理的方法，所述方法包括：
从以堆叠布置的多个计算节点、多个制冷风扇和联接到所述计算节点中的每个的冷却剂分配单元中的每个收集实时运行数据，每个计算节点均包括附接到液体冷板的至少一个处理器，其中，所述制冷风扇中的每个均与所述计算节点中的一个相关联，以向相应的计算节点提供空气冷却，其中，所述冷却剂分配单元配置成经由相应的液体冷板向相应的处理器提供液体冷却，以及其中，所述冷却剂分配单元包括液体泵，以提供冷却液体来移除由每个计算节点的所述处理器产生的热量；
基于所收集的实时运行数据，使用预定优化函数执行优化，以确定所述液体泵的最优泵速度和所述制冷风扇的最优风扇速度，使得所述预定优化函数的表示总功率消耗的输出达到最小值；
基于所述最优泵速度控制，所述液体泵的泵速度；以及
分别基于与所述制冷风扇对应的所述最优风扇速度，控制所述制冷风扇的风扇速度。
14.根据权利要求13所述的方法，其中，执行优化包括同时优化所述液体泵的泵速度和所述制冷风扇的风扇速度，使得所述预定优化函数达到最小值，其中，所述泵速度和所述风扇速度是所述预定优化函数的部分系数。
15.根据权利要求13所述的方法，其中，根据与所述液体泵和所述制冷风扇相关联的一组规格执行所述优化，其中，所述规格包括指定工作参数范围的信息，所述液体泵和所述制冷风扇在所述工作参数范围内运行。
16.根据权利要求13所述的方法，其中，执行优化包括：
使用泵优化函数对泵速度执行泵速度优化，使得泵功率消耗达到最小值；以及
使用多个风扇优化函数对所述制冷风扇中的每个的风扇速度执行风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值，其中，每个风扇优化函数与所述制冷风扇中的一个对应。
17.根据权利要求16所述的方法，其中，所述泵速度优化和所述风扇速度优化同时进行优化，使得基于所述泵功率消耗和所述风扇功率消耗计算的总功率消耗达到最小值，同时实时测量的每个计算节点的每个处理器的处理器温度低于与所述处理器相关联的处理器参考温度。
18.根据权利要求16所述的方法，其中，执行所述泵速度优化，使得所述泵功率消耗达到最小值，同时所述实时运行数据中与所述液体泵相关的第一子集处于所述液体泵的第一组预定运行参考数据的相应范围内。
19.根据权利要求18所述的方法，其中，执行所述泵速度优化，使得所述泵功率消耗达到最小值，同时所述最优泵速度处于与所述液体泵相关联的下泵速度极限和上泵速度极限内。
20.根据权利要求16所述的方法，其中，为所述制冷风扇执行所述风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值，同时所述实时运行数据中与所述制冷风扇相关联的第二子集处于所述制冷风扇的第二组预定运行参考数据的相应范围内。
21.根据权利要求20所述的方法，其中，执行每个制冷风扇的所述风扇速度优化，使得所述制冷风扇的风扇功率消耗达到最小值，同时所述制冷风扇的最优风扇速度处于所述制冷风扇的下风扇速度极限和上风扇速度极限内。
CN201810916231.5A 2017-10-10 2018-08-13 数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器 Active CN109656336B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/729,656 2017-10-10
US15/729,656 US10238011B1 (en) 2017-10-10 2017-10-10 Optimal controller for hybrid liquid-air cooling system of electronic racks of a data center

Publications (2)

Publication Number Publication Date
CN109656336A CN109656336A (zh) 2019-04-19
CN109656336B true CN109656336B (zh) 2022-08-09

Family

ID=63637684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810916231.5A Active CN109656336B (zh) 2017-10-10 2018-08-13 数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器

Country Status (5)

Country Link
US (1) US10238011B1 (zh)
EP (1) EP3471524B1 (zh)
JP (1) JP6667593B2 (zh)
KR (1) KR102126615B1 (zh)
CN (1) CN109656336B (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3286995A4 (en) * 2016-02-16 2018-05-02 Hewlett-Packard Enterprise Development LP Air and liquid cooling of electronic equipment
US10775860B2 (en) * 2018-05-07 2020-09-15 Hewlett Packard Enterprise Development Lp Base management controller interface
US11497145B2 (en) * 2018-08-21 2022-11-08 National University Of Singapore Server rack and data center including a hybrid-cooled server
US10905030B1 (en) * 2019-07-24 2021-01-26 Facebook, Inc. Liquid-cooling within an air-cooled facility
US10912229B1 (en) * 2019-08-15 2021-02-02 Baidu Usa Llc Cooling system for high density racks with multi-function heat exchangers
US11212946B2 (en) * 2019-09-18 2021-12-28 Baidu Usa Llc Performance-per-watt optimal control logic in liquid cooling solution for high performance machine-learning computing
US11140799B2 (en) * 2019-09-18 2021-10-05 Baidu Usa Llc InRow liquid cooling module
US11032949B2 (en) * 2019-09-30 2021-06-08 Baidu Usa Llc Method for deploying liquid cooling solution in an air-cooled data center room
US11271263B2 (en) * 2019-10-08 2022-03-08 Baidu Usa Llc Optimal control logic for cooling power in battery thermal management
US11349165B2 (en) * 2019-10-28 2022-05-31 Baidu Usa Llc Control logic for a battery cooling system
US11692744B2 (en) * 2019-11-15 2023-07-04 Baidu Usa Llc External cooling unit design for a data center with two phase fluid thermal loops
US11439046B2 (en) * 2019-11-15 2022-09-06 Baidu Usa Llc Electronic rack liquid cooling system
CN111124082B (zh) * 2019-11-21 2021-06-29 苏州浪潮智能科技有限公司 一种服务器的散热装置
US11751360B2 (en) * 2020-03-17 2023-09-05 International Business Machines Corporation Intelligently deployed cooling fins
US11740003B2 (en) * 2020-07-06 2023-08-29 Baidu Usa Llc Optimized air cooling unit
US11435794B2 (en) 2020-07-08 2022-09-06 Nvidia Corporation Intelligent repurposable cooling systems for mobile datacenter
US20220016990A1 (en) * 2020-07-15 2022-01-20 Lightening Energy Thermally control integrated high rate recharging station combined with data center and networking
US11753983B2 (en) * 2020-08-19 2023-09-12 Komatsu America Corp. Multi-fan cooling system
US11997830B2 (en) * 2020-10-29 2024-05-28 Nvidia Corporation Intelligent radiator-assisted power and coolant distribution unit for datacenter cooling systems
US11950396B2 (en) * 2020-12-30 2024-04-02 Nvidia Corporation Intelligent swappable modular unit for local cooling loops in a datacenter cooling system
US11477913B2 (en) * 2021-01-07 2022-10-18 Baidu Usa Llc Integrating thermal storage system in electronics cooling
KR102518900B1 (ko) * 2021-01-20 2023-04-10 현대모비스 주식회사 연료전지 시스템에서 성능의 최적화를 위한 방법
US11856729B2 (en) * 2021-03-19 2023-12-26 Baidu Usa Llc Compatible co-design for server and rack liquid interface
US11683916B2 (en) * 2021-03-25 2023-06-20 Baidu Usa Llc Efficient and robust system design and control method using thermoelectric cooling
US11723176B2 (en) * 2021-06-22 2023-08-08 Baidu Usa Llc Multi-tier cooling system without load perception
US20230106883A1 (en) * 2021-09-24 2023-04-06 Baidu Usa Llc Energy-efficient fluid distributor for server racks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105276880A (zh) * 2014-06-03 2016-01-27 特灵国际有限公司 控制冷却系统的系统和方法
US9398731B1 (en) * 2014-09-23 2016-07-19 Google Inc. Cooling electronic devices in a data center

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599761B2 (en) * 2005-01-19 2009-10-06 Hewlett-Packard Development Company, L.P. Cooling assist module
US7731299B2 (en) * 2008-04-28 2010-06-08 Torek Thompkins Spare tire assembly
US9027360B2 (en) * 2011-05-06 2015-05-12 International Business Machines Corporation Thermoelectric-enhanced, liquid-based cooling of a multi-component electronic system
US9043035B2 (en) * 2011-11-29 2015-05-26 International Business Machines Corporation Dynamically limiting energy consumed by cooling apparatus
US9107327B2 (en) * 2012-07-18 2015-08-11 International Business Machines Corporation Data center cooling method
JP5991088B2 (ja) * 2012-08-31 2016-09-14 富士通株式会社 電源制御装置、情報処理装置及び電源制御方法
US9218008B2 (en) * 2012-12-06 2015-12-22 International Business Machines Corporation Effectiveness-weighted control of cooling system components
US10653044B2 (en) * 2013-01-10 2020-05-12 International Business Machines Corporation Energy efficiency based control for a cooling system
US9313930B2 (en) * 2013-01-21 2016-04-12 International Business Machines Corporation Multi-level redundant cooling system for continuous cooling of an electronic system(s)
US9476657B1 (en) * 2013-03-13 2016-10-25 Google Inc. Controlling data center cooling systems
US9447983B2 (en) * 2013-08-20 2016-09-20 FlowEnergy, L.L.C. Building energy analysis and management system
US9668382B2 (en) * 2015-08-11 2017-05-30 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Coolant distribution unit for a multi-node chassis
US10146231B2 (en) * 2015-12-21 2018-12-04 Dell Products, L.P. Liquid flow control based upon energy balance and fan speed for controlling exhaust air temperature
US10248173B2 (en) * 2016-03-31 2019-04-02 Intel Corporation Determining thermal margins in a multi-die processor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105276880A (zh) * 2014-06-03 2016-01-27 特灵国际有限公司 控制冷却系统的系统和方法
US9398731B1 (en) * 2014-09-23 2016-07-19 Google Inc. Cooling electronic devices in a data center

Also Published As

Publication number Publication date
EP3471524B1 (en) 2022-03-16
US10238011B1 (en) 2019-03-19
EP3471524A1 (en) 2019-04-17
KR20190040449A (ko) 2019-04-18
JP2019083003A (ja) 2019-05-30
US20190110379A1 (en) 2019-04-11
CN109656336A (zh) 2019-04-19
KR102126615B1 (ko) 2020-06-24
JP6667593B2 (ja) 2020-03-18

Similar Documents

Publication Publication Date Title
CN109656336B (zh) 数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器
US11272642B2 (en) Liquid distribution unit design for liquid cooling of electronic racks of a data center
CN108733178B (zh) 基于工作负载的使用除热液的除热方法及系统
US11219141B2 (en) Fan-less chiller-less liquid-air cooling for electronic racks of IT components in data centers
CN110447315B (zh) 用于数据中心中的使it部件液体冷却的电子器件机架的液体冷却设计
US11019752B2 (en) Cooling module design for servers
US11547022B2 (en) Thermal management plate for critical processors
US20210051819A1 (en) Cooling system for high density racks with multi-function heat exchangers
US10727553B1 (en) Thermal management system design for battery pack
CN113660821A (zh) 用于数据中心it室的高度集成液体冷却系统设计
CN112533436A (zh) 数据中心的电子机架及用于确定液体泵的优化泵速的方法
CN113710054A (zh) 数据中心交付点布局和配置
US11528826B2 (en) Internal channel design for liquid cooled device
US11271262B2 (en) Shelf design for battery modules
US20230200025A1 (en) Prefabricated module for heterogeneous data centers
US11871547B2 (en) Two phase system for enclosure systems
CN115038291A (zh) 液体冷却设备、数据中心及调节电子设备的方法
US20220418167A1 (en) Rack architecture for multiple mixed thermal systems
US11740003B2 (en) Optimized air cooling unit
US11910575B2 (en) Rack systems and packaging for servers
US11516944B1 (en) Server rack cooling system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant