CN110446396B

CN110446396B - 用于数据中心的液体冷却系统

Info

Publication number: CN110446396B
Application number: CN201910031742.3A
Authority: CN
Inventors: 高天翼
Original assignee: Baidu USA LLC
Current assignee: Baidu USA LLC
Priority date: 2018-05-03
Filing date: 2019-01-14
Publication date: 2021-06-29
Anticipated expiration: 2039-01-14
Also published as: US10225958B1; CN110446396A

Abstract

实施方式公开了服务器机架，该服务器机架包括机架，机架适于容纳一个或多个服务器，每个服务器包括一个或多个部件。入口歧管定位在机架中或机架上，入口歧管包括嵌入式供应泵，嵌入式供应泵具有入口和出口，其中，入口联接于主供应线，并且出口联接于至少一个子回路供应线。出口歧管也定位在机架中或机架上，出口歧管包括嵌入式返回泵，嵌入式返回泵具有入口和出口，其中，泵入口联接于至少一个子回路返回线，并且泵出口联接于主返回线。针对液冷式电子机架和数据中心，提出了一种全液体冷却架构。

Description

用于数据中心的液体冷却系统

技术领域

所公开的实施方式总体上涉及冷却系统，并且具体地但非排他地涉及用于数据中心的液体冷却系统。

背景技术

散热是计算机系统和数据中心设计中的重要因素。高性能电子部件(诸如封装在服务器内的高性能处理器)的数量稳步增加，从而增加了在普通操作期间产生和散发的热量。由于处理器、服务器和机架功率密度的快速增长，数据中心热管理可能成为一项挑战。随着功率密度的增加，传统空气冷却系统中的气流和相应功耗可能大大增加。在高功率密度热管理要求超过空气冷却限制之前，需要适当的解决方案。

液体冷却需要将液体工作流体输送到冷却模块，如封装在服务器内的冷却板。这需要将液体输送到服务器和它们所处的机架。其结果，液体冷却系统与空气冷却系统是非常不同的。与通过空气冷却系统输送冷却空气相比，液体冷却系统需要更多的部件和硬件部来分配和输送冷却液体。因此，液体冷却系统的简化设计是可取的，并且能够带来若干益处，诸如提高可靠性、提高部署速度、降低成本等。

存在着用于数据中心液体冷却系统的若干设计。大多数使用两个冷却回路：主冷却回路(也称为外部回路)和次级冷却回路(也称为内部回路)。在大多数现有解决方案中，冷却剂分配单元(CDU)用于热联接外部回路和内部回路。热量从CDU内的内部回路传递到外部回路，并且CDU的外部回路连接到数据中心设施基础设施。设施基础设施可为制冷装置或诸如干式冷却系统或冷却塔系统的无制冷机冷却装置。CDU的内部回路连接到液体管道、液体分配歧管和单独的冷却模块。

发明内容

本申请的一个方面提供了一种服务器机架，其包括：

机架，所述机架适于容纳一个或多个服务器，每个服务器包括一个或多个部件；

入口歧管，所述入口歧管定位在所述机架中或所述机架上，所述入口歧管包括嵌入式供应泵，所述嵌入式供应泵具有入口和出口，其中，所述入口联接于主供应线，并且所述出口联接于至少一个子回路供应线；以及

出口歧管，所述出口歧管定位在所述机架中或所述机架上，所述出口歧管包括嵌入式返回泵，所述嵌入式返回泵具有入口和出口，其中，所述嵌入式返回泵的入口联接于至少一个子回路返回线，并且所述嵌入式返回泵的出口联接于主返回线。

本申请的又一方面提供了数据中心，包括：

设施；

多个服务器机架，所述多个服务器机架定位在所述设施内，每个服务器机架包括：

机架，所述机架中容纳有一个或多个服务器，每个服务器包括一个或多个部件；

入口歧管，所述入口歧管定位在所述机架中或所述机架上，所述入口歧管包括嵌入式供应泵，所述嵌入式供应泵具有入口和出口，其中，所述入口联接于主供应线，并且所述出口联接于至少一个子回路供应线；

出口歧管，所述出口歧管定位在所述机架中或所述机架上，所述出口歧管包括嵌入式返回泵，所述嵌入式返回泵具有入口和出口，其中，所述嵌入式返回泵的入口联接于至少一个子回路返回线，并且所述嵌入式返回泵的出口联接于主返回线，以及

其中，每个服务器上的至少一个部件联接到液冷冷却模块，每个液冷冷却模块联接到子回路供应线和子回路返回线，以使得每个液冷冷却模块及每个液冷冷却模块的子回路供应线和子回路返回线形成冷却子回路；

设施供应线，所述设施供应线联接到每个入口歧管的所述主供应线；

设施返回线，所述设施返回线联接到每个出口歧管的所述主返回线；

热交换器，所述热交换器定位在所述设施外部并且联接到所述设施供应线和所述设施返回线；以及

设施泵，所述设施泵联接在所述设施供应线中。

本申请的再一方面提供了服务器机架，包括：

出口歧管，所述出口歧管定位在所述机架中或所述机架上，所述出口歧管包括嵌入式返回泵，所述嵌入式返回泵具有入口和出口，其中，所述嵌入式返回泵的入口联接于至少一个子回路返回线，并且所述嵌入式返回泵的出口联接于主返回线；

其中，每个服务器上的至少一个部件联接到液冷冷却模块，每个液冷冷却模块联接到子回路供应线和子回路返回线，以使得每个液冷冷却模块及每个液冷冷却模块的子回路供应线和子回路返回线形成冷却子回路。

附图说明

参照以下附图对本发明的非限制性和非穷尽性实施方式进行描述，其中，除非另有说明，否则在各种视图中相同的附图标记表示相同部件。

图1是数据中心冷却系统的实施方式的示意图。

图2A至图2C是包括冷却部件的服务器机架的实施方式的示意图。

图3A至图3E是具有不同的子回路供给和子回路返回连接的服务器的实施方式的示意图。

图4是包括一个或多个服务器机架(诸如图2所示的一个服务器机架)的数据中心液体冷却系统的实施方式的示意图。

具体实施方式

描述了用于数据中心中的液体冷却的装置和系统的实施方式。描述了具体细节以提供对实施方式的理解，但是相关领域的技术人员将认识到，本发明能够在没有一个或多个所述细节的情况下或者用其它方法、部件、材料等来实施。在一些情况下，众所周知的结构、材料或操作未被详细示出或描述，但是仍包含在本发明的范围内。

在整个说明书中对“一个实施方式”或“实施方式”的引用意味着所描述的特征、结构或特性可包括在至少一个所描述的实施方式中，以使得“在一个实施方式中”或“在实施方式中”的出现不一定都是指同一个实施方式。此外，在一个或多个实施方式中，特定特征、结构或特征可以以任何适当的方式组合。

图1示出了现有液体冷却系统的实施方式。该系统包括数据通信设备中心内的内部回路和数据通信设备中心外部的外部回路。冷却液分配单元(CDU)连接内部回路与外部回路。CDU的主要功能是使工作流体通过内部回路进行循环，并将热量从内部回路传递到外部回路。在这些系统中，冷却基础设施中的现有CDU引入了若干不足之处，包括：

·成本较高；

·难以部署，尤其是超大规模部署；

·更多系统故障点，诸如CDU、CDU控制板等上的更多连接器；

·需要考虑设备冗余；

·降低冷却效率；CDU的温度升高将会增加对于冷却模块的供给液体温度；

·CDU需要额外的复杂通信和控制考虑；

·需要额外的维护；

·外部回路和内部回路需要两种不同的工作流体，并因此需要两种不同的流体。

图2示出了服务器机架200的实施方式。服务器机架200包括机架202，其中，机架202中定位有入口歧管204、出口歧管206和一个或多个服务器208(在附图中编号为208a至208e)。服务器208中的每个包括布置在其中的一个或多个信息技术(IT)部件。IT部件可包括能够在操作期间产生热量的一个或多个处理器、存储器和/或存储设备等。服务器208中的每个包括至少一个液冷冷却模块210—服务器208a包括冷却模块210a，服务器208b包括冷却模块210b等—至少一个液冷冷却模块210热联接到服务器上的电子部件以便从与之热联接的部件去除热量。在一个实施方式中，冷却模块210可为冷却板，但在其它实施方式中，它们可为另一种类型的液冷冷却模块。

在所示实施方式中，入口歧管204和出口歧管206竖直地定位在机架202的相对侧上，但是在其它实施方式中，入口歧管和出口歧管可定位成与所示出的不同。例如，在一个实施方式中，一个歧管可横跨机架的顶部水平地放置，而另一歧管横跨机架的底部水平地放置。在其它实施方式中，两个歧管可沿着机架的顶部水平地定位，或者两个歧管可沿着机架的底部水平地定位。在其它实施方式中，入口歧管204和出口歧管206两者均可在单个壳体中组合，其中在单个壳体中能够在机架中以任何位置在任何方向上定位。

所示实施方式具有五个服务器208(编号为208a至208e)，但在其它实施方式中，机架服务器机架200可包括比所示更多或更少的服务器208。每个服务器208上的每个冷却模块210通过子回路供应线220联接到入口歧管204，并且经由子回路返回线226联接到出口歧管206。因此，例如，服务器208a通过子回路供应线220a联接到入口歧管204，并通过子回路返回线226a连接到出口歧管206，并且相似地用于所示的其它服务器。服务器208可为任何类型的服务器，包括例如刀片服务器。每个服务器208上的一个或多个冷却模块210热联接到服务器上的被液体冷却的电子部件。在各种实施方式中，例如，电子部件可为微处理器、图形处理器或产生足够热量的其它类型的部件，而有益的或期望的是使用液体冷却来冷却它们。

入口歧管204包括壳体212，其中，壳体212内放置有嵌入式供应泵216、流体线218和一个或多个子回路供应线220。所示实施方式具有五个子回路供应线220a至220e，但是服务器机架200的其它实施方式可包括比所示更多或更少的子回路供应线。供应泵216的入口联接到主供应线214，并且其出口联接到流体线218。然后，子回路供应线220通过流体连接器222联接到流体线218。嵌入式泵216从主供应线214接收冷却工作流体并将其泵送到流体线218中，流体线218然后将接收到的流体分配到子回路供应线220中。在一个实施方式中，泵216为变速泵以使得其能够例如根据它们的温度(例如，如果在机架中感测到温度升高，则泵216能够加速以对冷却模块输送更多的工作流体)，用于控制对于冷却模块210的流体供应或服务器负载。但是在其它实施方式中，泵216不必是变速泵。在一些实施方式中，泵216可为高可靠性泵，即具有平均故障间隔时间(MTBF)的泵。泵216被称为嵌入式泵，因为其定位在歧管204的壳体212内并且因此形成歧管的一部分。

流体线218和子回路供应线220联接到嵌入式泵216的出口，以将冷却工作流体输送到冷却模块210。在一个实施方式中，流体线218可为联接到嵌入式泵216的出口的单个管道或管道的多个部分，但是在其它实施方式中，流体线218可为联接到嵌入式泵216的出口的单个软管或软管的多个部分。流体线218通过流体连接器222联接到子回路供应线220。在一个实施方式中，流体连接器222可为Y形配件、T形配件或一些其它类型的流体连接器。在其它实施方式中，例如，如果从机架去除服务器208及其对应的冷却模块210，则流体连接器222可为允许关闭某些子回路的阀。在各种实施方式中，流体连接器222不必都是相同类型。

入口歧管壳体212用于容纳入口歧管204的所有部件，包括嵌入式泵216、流体线218、流体连接器222和子回路供应线220a至220e的部分。在一个实施方式中，入口歧管壳体212可为防漏的或抗漏的，由此如果任何部件在其内发生泄漏，则在其可能损坏服务器208的情况下，壳体212能够用于减慢或防止泄漏扩散到服务器机架的其余部分。

出口歧管206的结构与入口歧管204的结构相似。出口歧管包括壳体213，在壳体213内定位有联接到流体线228的嵌入式返回泵224。流体线228又通过流体连接器230联接到子回路返回线226。所有描述的元件可具有与结合输入歧管204描述的类似元件相同的特性。然后，每个冷却模块210通过子回路供应线220联接到入口歧管212，并且通过子回路返回线226通过出口联接到出口歧管206。

在机架200的操作中，供应泵216将从主供应线214接收到的冷却工作流体泵送到流体线218中，然后流体线218经由流体连接器222将冷却工作流体分配到子回路供应线220中。然后，冷却工作流体流入冷却模块210中，其中，冷却工作流体从附接有冷却模块的部件吸收热量。由工作流体吸收的热量增加其温度，以使得在流过冷却模块210之后，其被认为是热工作流体而不是冷却工作流体。热工作流体通过子回路返回线226流出冷却模块210并且通过流体连接器230流入流体线228。然后，返回泵224将热工作流体从流体线228泵送到主返回线232中。

所示的具有供应泵和返回泵的双泵配置被认为是冗余设计。供应泵216和返回泵224的泵速可基于不同类型的控制信号来调节，这使得能够基于机架级冷却要求(机架热负载)更精确地控制通过机架的流体流动。而且，由于泵嵌入歧管中，因此它们的响应可能更快。歧管泵控制的另一种功能在于当单个机架由于来自机架热负载的不同冷却要求而需要不同的流体流率量时，歧管泵能够相应且精确地被调节。这使得本地化控制能够实现。

图2B示出了服务器机架225的替换实施方式。服务器机架225在大多数方面与服务器机架200相似。在服务器机架225中，供应泵216和返回泵224联接到与服务器机架200中的流体连接相同的流体连接。服务器机架225和200之间的主要区别在于在服务器机架225中，供应泵216和返回泵224定位在它们各自的歧管壳体212和213外部，但仍处于服务器机架202内。

图2C示出了服务器机架250的替换实施方式。服务器机架250在大多数方面与服务器机架225相似。服务器机架250和225之间的主要区别在于在服务器机架250中，供应泵216仍联接到主供应线214，但定位在歧管壳体212外部和服务器机架202外部。相似地，返回泵224联接到主返回线232中，并且定位在歧管壳体213外部和服务器机架202外部。

图3A至图3B示出了冷却模块配置及其与子回路供应线和子回路返回线的相应连接的实施方式，当然尽管除了所示的那些或者除了所示的那些以外的其它配置也是可能的。在图2中所示的实施方式中，每个服务器具有一个冷却模块，并且在服务器、供应线和返回线之间存在着一对一的对应关系，即，在图2中，每个服务器联接到一个子回路供应线220和一个子回路返回线226。但是在其它实施方式中，每个服务器可包括多个冷却模块，并且在服务器与子回路供应线之间不需要一对一的对应关系，在服务器与子回路返回线之间也不需要一对一的对应关系。换言之，在其它实施方式中，服务器208可具有多于一个的冷却模块，并且可由多于一个的子回路供应线220和/或多于一个的子回路返回线226来提供服务。在又一些实施方式中，与服务器208相关联的子回路供应线220的数量不必相同于与相同的服务器相关联的子回路返回线226的数量。

图3A示出了包括衬底302(例如，印刷电路板)的服务器300的实施方式。电子部件304a和304b安装在衬底302上，并且每个部件304具有与其热联接的冷却模块306：部件304a联接到冷却模块306a，并且部件304b联接到冷却模块306b。每个冷却模块306具有入口、出口和通道，其中，工作流体能够在每个冷却模块306内部通过通道从入口流到出口。冷却模块306与部件304的热联接有助于将热量从部件传递到流过每个冷却模块的工作流体。在所示的配置中，冷却模块306a和306b串联地流体联接。单个子回路供应线220a向两个冷却模块306a至306b供应工作流体，并且单个子回路返回线226a从两个冷却模块提取工作流体，以便在供应线与服务器之间存在有一对一的对应关系以及在返回线与服务器之间存在有一对一的对应关系。

图3B示出了服务器的另一实施方式。如图3A中所示，每个部件304热联接到相应的冷却模块306。冷却模块306a至306c以混合的并联/串联布置联接。单个子回路供应线220a向所有三个冷却模块306a至306c供应工作流体，并且单个子回路返回线226a从所有三个冷却模块提取工作流体，以便在供应线与服务器之间存在有一对一的对应关系以及在返回线与服务器之间存在有一对一的对应关系，尽管服务器上存在有多个冷却模块。

图3C示出了服务器的另一实施方式。如图3A中所示，每个部件304热联接到相应的冷却模块306。单个子回路供应线220a向冷却模块306a供应工作流体，并且单个子回路供应线220b向冷却模块306b供应工作流体。相似地，单个子回路返回线226a从冷却模块306a提取工作流体，并且单个子回路返回线226b从冷却模块306b提取工作流体，以便在供应线与服务器之间存在有多对一的对应关系以及在返回线与和服务器之间存在有多对一的对应关系。

图3D示出了服务器的另一实施方式。如图3B中所示，每个部件304热联接到相应的冷却模块306。冷却模块306a至306c以混合的并联/串联布置联接。单个子回路供应线220a向所有三个冷却模块306a至306c供应工作流体，但是多个子回路返回线226a和226b从冷却模块提取工作流体，以便在子回路供应线与服务器之间存在有一对一的对应关系，但是在子回路返回线与服务器之间存在有多对一的对应关系。

图3E示出了服务器的另一实施方式。如图3D中所示，每个部件304热联接到相应的冷却模块306。冷却模块306a至306c以混合的并联/串联布置进行联接。多个子回路供应线220a和220b将工作流体供应到冷却模块306，并且单个子回路返回线226a从所有三个冷却模块306a至306c中提取工作流体，以便在子回路供应线与服务器之间存在有多对一的对应关系，但是在子回路返回线与服务器之间存在有一对一的对应关系。

图4示出了单回路数据中心冷却系统400的实施方式。在冷却系统400中，如服务器机架200(参见图2)的多个服务器机架定位在设施402内部。设施402可为完整的建筑物、建筑物的子集(例如，建筑物内的房间或隔间)、或一些其它类型的外壳。热交换器404定位在设施402外部。在所示实施方式中，热交换器404为液体对大气热交换器，其将来自通过服务器机架200而循环的工作液体的热量传递到大气中。但是在其它实施方式中，热交换器404可为不同类型的热交换器，例如，液体对液体热交换器。在热交换器404为液体对液体热交换器的实施方式中，诸如海水或湖水的天然水资源可由热交换器使用。在热交换器404为液体对空气热交换器的实施方式中，热交换器404可为干式冷却器、冷却塔或蒸发冷却器。

设施泵406的入口联接到热交换器404的液体出口，并且其出口联接到设施供应线408。然后，每个服务器机架200的主供应线214联接到设施供应线408。设施返回线410联接到每个服务器机架200的主返回线232，并且也联接到热交换器404的液体入口。不同的数据中心基础设施可能需要对设施液体管道稍作修改，但无论如何，冷却系统400为单回路冷却系统。

在各种实施方式中，设施泵406可封装在热交换器404内或设计为外部部件。在该图中，以虚线示出以指示它们为选择性的设施泵403、405和407示出了能够替代泵406或者除了泵406之外，放置设施泵的位置。例如，在一些实施方式中，设施泵405可定位在设施供应线408中和/或设施泵407可定位在设施返回线410中。在其它实施方式中，设施泵403可定位在热交换器内。其它实施方式可具有多个设施泵，用于冗余或高流率或高压要求。系统流体流率可由设施泵和歧管泵一起控制。基本上，设施泵为系统中流动的流体提供主要驱动力，并且歧管泵具有两个主要功能：提供额外的驱动力以及基于机架热负载来控制流率量。能够开发出用于设施泵和歧管泵的不同控制策略。

在操作中，设施泵406将冷却工作流体从热交换器404泵送到设施供应线408中，其然后将冷却工作流体供应到每个服务器机架200的主供应线214。每个服务器机架200的入口歧管内的嵌入式供应泵将冷却工作流体泵送到子回路供应线中，其然后将冷却工作流体输送到服务器上的冷却模块。随着工作流体通过服务器上的冷却模块进行循环，其吸收热量并变得更热，使得热工作流体通过子回路返回线并进入出口歧管中。然后，出口歧管内的嵌入式返回泵将热工作流体泵送到设施返回线410中，设施返回线410将热工作流体返回到热交换器404。随着热工作流体循环通过热交换器404进行循环，例如来自大气的冷空气通过热交换器404进行循环并且从热工作流体去除热量，以使得其能够再次由设施泵406通过服务器机架200进行循环。

所公开的实施方式提供了用于数据中心的液体冷却系统。冷却系统设计仅使用一个传热回路以从数据中心内部的电子设备去除热量，并且将热量传递到数据中心外部，例如传递到大气中。该系统包括外部冷却装置、机架式歧管和冷却模块。该系统只需要一个传热回路，因此其消除了传统系统的制冷机和CDU。CDU中使用的泵由嵌入在歧管中的设施泵和机架泵(即，供应泵和返回泵)代替。CDU的热交换功能由外部冷却单元代替。诸如流体控制和流体过滤的CDU的其它功能可由整个系统代替。而且，嵌入歧管中的泵可实现高级流量管理。这能够实现若干潜在的优点，其中包括：

1、简化设计：需要再次提到的是整个液体系统中只有一个传热回路；消除了冷却液分配单元。

2、高能效：无制冷机设计意味着无需制冷压缩机功耗；只有一个传热回路意味着对于从环境(冷却源)供应到冷却模块的冷却水的温度上升被最小化；由于简化了系统流网络，因此泵功耗降低；能够基于冷却需求或机架热负载/热密度来调节歧管泵速。

3、高可靠性：消除了CDU及其附件的若干潜在故障可能性；机架歧管泵上的冗余设计；显著减少系统中使用的流体连接部的量。

4、降低成本：这种新颖性设计可提供降低系统的初始成本的若干可能性；能够节省一些空间。

5、单个流体规格要求：由于只有一个液体冷却回路，因此对流体规格的要求被消除到一个。

6、部署快速且简便，易于维护。

7、兼容于不同类型的数据中心。

8、模块化设计概念。

实施方式的上述描述并不旨在穷举或将本发明限制于所描述的形式。在本文中出于说明性目的描述了本发明的具体实施方式和实例，但是进行各种修改是可能的。

Claims

1.服务器机架，包括：

入口歧管，所述入口歧管定位在所述机架中或所述机架上，所述入口歧管包括嵌入式供应泵，其中，所述嵌入式供应泵定位在所述入口歧管的壳体内并且因此形成所述入口歧管的一部分，所述嵌入式供应泵具有入口和出口，其中，所述入口联接于主供应线，并且所述出口联接于至少一个子回路供应线；以及

出口歧管，所述出口歧管定位在所述机架中或所述机架上，所述出口歧管包括嵌入式返回泵，所述嵌入式返回泵具有入口和出口，其中，所述嵌入式返回泵的入口联接于至少一个子回路返回线，并且所述嵌入式返回泵的出口联接于主返回线，

其中，每个服务器上的至少一个部件联接到液冷冷却模块，每个液冷冷却模块联接到子回路供应线和子回路返回线，并经由所述子回路供应线联接到所述嵌入式供应泵且经由所述子回路返回线联接到所述嵌入式返回泵，以使得每个液冷冷却模块及每个液冷冷却模块的子回路供应线和子回路返回线形成冷却子回路。

2.如权利要求1所述的服务器机架，还包括：

入口歧管壳体，所述入口歧管壳体内定位有所述入口歧管；以及

出口歧管壳体，所述出口歧管壳体内定位有所述出口歧管。

3.如权利要求1所述的服务器机架，还包括：

单个壳体，所述单个壳体内定位有所述入口歧管和所述出口歧管。

4.如权利要求1所述的服务器机架，还包括：

一个或多个服务器，所述一个或多个服务器定位在所述机架中。

5.如权利要求1所述的服务器机架，其中，所述嵌入式供应泵和所述嵌入式返回泵是变速泵，以使得所述嵌入式供应泵和所述嵌入式返回泵能够控制通过每个冷却子回路的工作流体的流率。

6.如权利要求1所述的服务器机架，其中，所述主供应线从所述机架外部延伸到所述嵌入式供应泵，并且所述主返回线从所述嵌入式返回泵延伸到所述机架外部。

7.数据中心，包括：

设施；

入口歧管，所述入口歧管定位在所述机架中或所述机架上，所述入口歧管包括嵌入式供应泵，其中，所述嵌入式供应泵定位在所述入口歧管的壳体内并且因此形成所述入口歧管的一部分，所述嵌入式供应泵具有入口和出口，其中，所述入口联接于主供应线，并且所述出口联接于至少一个子回路供应线；

其中，每个服务器上的至少一个部件联接到液冷冷却模块，每个液冷冷却模块联接到子回路供应线和子回路返回线，并经由所述子回路供应线联接到所述嵌入式供应泵且经由所述子回路返回线联接到所述嵌入式返回泵，以使得每个液冷冷却模块及每个液冷冷却模块的子回路供应线和子回路返回线形成冷却子回路；

设施泵，所述设施泵联接在所述设施供应线中。

8.如权利要求7所述的数据中心，其中，所述热交换器为液体对液体热交换器或液体对大气热交换器。

9.如权利要求7所述的数据中心，其中，每个服务器机架还包括：

出口歧管壳体，所述出口歧管壳体内定位有所述出口歧管。

10.如权利要求7所述的数据中心，其中，每个服务器机架还包括：

11.如权利要求7所述的数据中心，其中，所述嵌入式供应泵和所述嵌入式返回泵是变速泵，以使得所述嵌入式供应泵和嵌入式返回泵能够控制通过每个冷却子回路的工作流体的流率。

12.如权利要求7所述的数据中心，其中，所述主供应线从所述机架外部延伸到所述嵌入式供应泵，并且所述主返回线从所述嵌入式返回泵延伸到所述机架外部。

13.服务器机架，包括：

14.如权利要求13所述的服务器机架，还包括：

出口歧管壳体，所述出口歧管壳体内定位有所述出口歧管。

15.如权利要求13所述的服务器机架，还包括：

16.如权利要求15所述的服务器机架，其中，所述嵌入式供应泵和所述嵌入式返回泵是变速泵，以使得所述嵌入式供应泵和嵌入式返回泵能够控制通过每个冷却子回路的工作流体的流率。

17.如权利要求13所述的服务器机架，其中，所述主供应线从所述机架外部延伸到所述嵌入式供应泵，并且所述主返回线从所述嵌入式返回泵延伸到所述机架外部。