CN112822909A - 电子机架液体冷却系统 - Google Patents
电子机架液体冷却系统 Download PDFInfo
- Publication number
- CN112822909A CN112822909A CN202011232406.4A CN202011232406A CN112822909A CN 112822909 A CN112822909 A CN 112822909A CN 202011232406 A CN202011232406 A CN 202011232406A CN 112822909 A CN112822909 A CN 112822909A
- Authority
- CN
- China
- Prior art keywords
- vapor
- heat exchanger
- liquid
- cooling
- manifold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/208—Liquid cooling with phase change
- H05K7/20818—Liquid cooling with phase change within cabinets for removing heat from server blades
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/208—Liquid cooling with phase change
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H5/00—Buildings or groups of buildings for industrial or agricultural purposes
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K5/00—Casings, cabinets or drawers for electric apparatus
- H05K5/02—Details
- H05K5/0217—Mechanical details of casings
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2029—Modifications to facilitate cooling, ventilating, or heating using a liquid coolant with phase change in electronic enclosures
- H05K7/20318—Condensers
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2029—Modifications to facilitate cooling, ventilating, or heating using a liquid coolant with phase change in electronic enclosures
- H05K7/20327—Accessories for moving fluid, for connecting fluid conduits, for distributing fluid or for preventing leakage, e.g. pumps, tanks or manifolds
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/208—Liquid cooling with phase change
- H05K7/20827—Liquid cooling with phase change within rooms for removing heat from cabinets, e.g. air conditioning devices
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20836—Thermal management, e.g. server temperature control
-
- E—FIXED CONSTRUCTIONS
- E04—BUILDING
- E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
- E04H5/00—Buildings or groups of buildings for industrial or agricultural purposes
- E04H2005/005—Buildings for data processing centers
Landscapes
- Engineering & Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Physics & Mathematics (AREA)
- Thermal Sciences (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Architecture (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
本发明涉及一种电子机架冷却系统、一种数据中心的电子机架和一种数据中心。电子机架冷却系统包括:液体歧管、蒸气歧管、冷板、热交换器和流体控制单元。冷板被配置为安装在一件IT设备的处理器上用于液体冷却。冷板联接到液体歧管以接收冷却液。蒸气歧管联接到冷板以接收蒸气,该蒸气是当由处理器产生的热量被冷板传递到冷却液中从而导致冷却液中至少一些变成蒸气时由冷板产生的。热交换器联接到蒸气歧管以接收蒸气并被配置为将蒸气冷凝回冷却液。流体控制单元联接在液体歧管与热交换器之间以产生热交换回路,并且被配置为通过抽吸由热交换器冷凝的冷却液并将冷却液提供至液体歧管来在热交换回路内循环冷却液。
Description
技术领域
本公开的实施例总体上涉及一种用于电子机架的冷却系统。
背景技术
对于包括多个有源电子机架的数据中心,热管理对于确保机架中操作的服务器和其他IT设备(例如,执行IT服务)的正常性能至关重要。然而,如果没有适当的热管理,机架内的热环境(例如温度)可能会超过热操作阈值,这可能会导致不良后果(例如服务器故障等)。管理热环境的一种方法是使用冷却空气来冷却IT设备。使用冷却单元来再循环冷却空气,冷却单元提取由冷却空气俘获的热量。一种常用的冷却单元是计算机房空调(CRAC)单元,它是一种吸入热排气空气并向数据中心供应供冷却空气以维持数据中心热环境的装置。CRAC是一种空气冷却单元,广泛用于现有的空气冷却式数据中心,还有许多其他类型的空气冷却式数据中心解决方案。此外,大多数现有数据中心都是空气冷却的。
最近,数据中心部署了更多高功率密度电子机架,将更多高密度芯片更紧凑地封装在一起,以提供更高的处理能力。由于人工智能(AI)和基于云的服务的发展,这种情况尤其如此,它们需要高性能和高功率密度的处理器,例如控制处理单元(CPU)和图形处理单元(GPU)。通过保持适当的热环境来冷却这些高密度机架可能是现有冷却系统(如CRAC单元)的一个问题。例如,尽管CRAC单元可以维持更常规(或更低密度)的机架的热环境,但是该单元可能无法有效地冷却高功率密度的机架,因为它们可能由于更高密度的电子器件而以更高的速率产生热负荷。在某些情况下,在高功率密度或高热通量的情况下,液体冷却成为更高效和可行的冷却解决方案。
当IT设备设计用于液体冷却时,数据中心基础设施应该能够支持液体冷却,或者能够支持在空气冷却的环境中操作液体冷却的设备。然而,这对许多采用空气冷却的现有数据中心来说是一个挑战。此外,大多数数据中心和冷却基础设施都是被设计用于有限的时间段(例如,十年的寿命)。改造使用空气冷却的数据中心可能会花费大量资金,并因施工而影响正常操作。
附图说明
在附图的视图中,这些方面是通过示例而非限制的方式示出的,在附图中,相似的附图标记表示相似的元件。应当注意,对本公开的“一”或“一个”方面的提及不一定是指同一个方面,而是指至少一个方面。此外,为了简明和减少图的总数,给定的图可以用于说明多于一个方面的特征,并且对于给定的方面,不是图中的所有元件都是必需的。
图1是示出根据一个实施例的用于电子机架的冷却系统的示例的框图。
图2是示出根据一个实施例的电子机架冷却系统的另一示例的框图。
图3是示出根据一个实施例的电子机架冷却系统的流体控制单元的示例的框图。
图4是示出根据一个实施例的电子机架冷却系统的流体控制单元的另一示例的框图。
图5是根据一个实施例的具有冷却系统的电子机架的示例。
图6示出了根据一个实施例的电子机架的另一视图。
图7是根据一个实施例的具有冷却系统的电子机架的示例。
图8是根据一个实施例的具有冷却系统的电子机架的示例。
图9是根据一个实施例的具有冷却系统的电子机架的示例。
图10是根据一个实施例的具有冷却系统的电子机架的另一个示例。
图11是根据一个实施例的具有冷却系统的电子机架的另一个示例。
图12是示出根据一个实施例的数据中心信息技术(IT)室的框图,该数据中心信息技术(IT)室安装有具有冷却系统的电子机架。
具体实施方式
现在参照附图解释本公开的几个方面。只要在给定方面中描述的组件的形状、相对位置和其他方面没有被明确定义,这里公开的范围就不仅仅局限于所示的组件,这些组件仅仅是为了说明的目的。此外,虽然阐述了许多细节,但是应当理解,没有这些细节也可以实现一些方面。在其他情况下,没有详细示出公知的电路、结构和技术,以免模糊对本说明书的理解。此外,除非含义明显相反,否则本文阐述的所有范围都被认为包括每个范围的端点。
说明书中对“一个实施例”或“实施例”的提及意味着结合该实施例描述的特定特征、结构或特性可以包括在本公开的至少一个实施例中。说明书中不同地方出现的短语“在一个实施例中”不一定都指同一实施例。
本公开解决了在空气冷却式数据中心中部署液体冷却的IT设备的问题。当前公开中提出的解决方案提供了一种用于在空气冷却式数据中心环境中部署液体冷却的环境的设计。具体而言,本公开描述了一种电子机架冷却系统,其液体冷却包含在其中的IT设备,其可以直接部署在现有的空气冷却式数据中心内。电子机架冷却系统包括使用气-液热交换器的两相热交换回路。热交换器通过将热量传递给由空气冷却式数据中心供应的冷却空气来冷却机架中的IT设备。因此,具有本申请公开的液体冷却IT设备的冷却系统的电子机架可以部署在现有的空气冷却式数据中心内,而不需要这些中心升级它们的基础设施。此外,电子机架冷却系统可以用在混合环境中,在该环境中,空气冷却式IT设备和液体冷却式IT设备可以共存于同一机架中。
根据一个实施例,电子机架冷却系统包括液体歧管和蒸气歧管。该系统还包括冷板,该冷板被配置为安装在一件信息技术(IT)设备的处理器上用于液体冷却。冷板联接到液体歧管以接收冷却液。蒸气歧管联接到冷板,以接收当处理器产生的热量被冷板传递到冷却液中从而导致冷却液中至少一些变成蒸气时由冷板产生的蒸气。该系统还包括热交换器,该热交换器联接到蒸气歧管以接收蒸气,并被配置成将蒸气冷凝回冷却液。该系统还包括流体控制单元,该流体控制单元联接在液体歧管与热交换器之间以产生热交换回路,并且被配置为通过抽吸由热交换器冷凝的冷却液并将冷却液提供给液体歧管来在热交换回路内循环冷却液。
在一个实施例中,流体控制单元包括将热交换器的出口供应端口联接到液体歧管的冷却液路径。冷却液路径包括储液器和液体泵,储液器被配置成储存由热交换器冷凝的冷却液,液体泵被配置成从储液器抽吸冷却液并将抽吸的冷却液经由液体歧管推送到冷板。在另一个实施例中,流体控制单元通过具有将热交换器的入口返回端口联接到蒸气歧管的蒸气路径而联接在蒸气歧管和热交换器之间。蒸气路径包括蒸气泵,该蒸气泵被配置成从蒸气歧管抽吸蒸气并将抽吸的蒸气推送到热交换器。
在一个实施例中,流体控制单元和热交换器是集成单元。在另一个实施例中,热交换器是两相气-液热交换器,其将从蒸气歧管接收的蒸气携带的潜热传递给冷却空气。在一些实施例中,该系统还包括至少一个风扇,该风扇被配置成将冷却空气移动到热交换器中。
根据另一个实施例,电子机架包括几件IT设备,IT设备布置成堆,用于提供数据处理服务,每件IT设备包括一个或多个处理器,处理器中的至少一个在其顶部安装有冷板。该电子机架包括类似于前述的电子机架冷却系统。
在一个实施例中,电子机架包括机架框架,该机架框架容纳几件IT设备、液体歧管、蒸气歧管和流体控制单元。热交换器是联接到机架框架后端的机架门热交换器。在另一个实施例中,机架门热交换器包括在靠近机架框架的一侧上的空气入口和在远离机架框架的一侧上的空气出口。机架门热交换器主要是两相气-液热交换器盘管,其将从蒸气歧管接收的蒸气携带的热量传递给进入空气入口的冷却空气,以产生从空气出口离开的热排气。在一个实施例中,电子机架还包括至少一个风扇,该风扇被配置成将冷却空气推入热交换器的空气入口。根据另一个实施例,数据中心包括几个电子机架,其中电子机架中每一个类似于前面描述的电子机架。
图1是示出根据一个实施例的用于电子机架的冷却系统的示例的框图。具体而言,该图示出了用于电子机架的液体冷却IT设备的电子机架冷却系统10(以下可称为“冷却系统”)。该系统包括至少一个冷板1或任何其他类型的液体冷却装置(无论是组件级还是服务器级),液体歧管2,流体控制单元3,热交换器4,以及蒸气歧管5。
如本文所使用的,将一个组件“联接到”另一个组件可以指将两个组件流体联接在一起,以允许流体,例如冷却液和/或蒸气,在两个组件之间流动。例如,系统10的组件中每一个可以联接到至少一个其他组件,以便创建热交换回路。具体地,冷板1联接到液体歧管2,液体歧管2联接到流体控制单元3,流体控制单元3联接到热交换器4,热交换器4联接到蒸气歧管,蒸气歧管也联接到冷板。系统组件的联接创建了如本文所述的热交换回路9。例如,冷却液经由液体歧管和流体控制单元从热交换器流向冷板。冷板被配置成热地联接到一件IT设备的组件(例如至少一个处理器),例如安装在电子机架中的刀片服务器。在一个实施例中,冷板是该件IT设备的一部分(例如,其中集成有冷板)。当处理器工作时,产生热量,热量被传递到在冷板内流动的冷却液中,从而导致冷却液中至少一些变成蒸气。为了完成回路,冷板产生的蒸气经由蒸气歧管流向热交换器。在一个实施例中,热交换器被配置成将蒸气冷凝回冷却液,然后冷却液被再循环回冷板。
在一个实施例中,冷却系统10可以包括与一个或多个冷板相关联的一个或多个热交换回路。具体而言,液体歧管2和蒸气歧管5被配置成联接到一个或多个冷板,以在系统10内创建单独的热交换回路。液体歧管将从热交换器接收的冷却液分配到冷板,蒸气歧管收集冷板产生的蒸气并将蒸气提供给热交换器。在一个实施例中,热交换器是两相气-液热交换器,其被配置成将从蒸气歧管接收的蒸气中所包含的热量传递给冷却空气,以便将蒸气冷凝成冷却液。例如,热交换器可以包括冷凝盘管,蒸气通过冷凝盘管行进。冷却空气进入热交换器的入口并经过盘管,将热量从盘管带走,并产生热排气,该热排气从出口热交换器排出,产生冷凝的冷却液。
在一个实施例中,冷却液可以是任何类型的导热电介质液体。在另一个实施例中,液体可以是无毒液体。在一些实施例中,液体可以被设计和操作为具有低沸点(例如,对于要安装在电子机架中的IT设备的主要组件中的至少一些,例如处理器,低于阈值操作温度)。
流体控制单元3被配置成通过抽吸由热交换器冷凝的冷却液并将冷却液提供(或推送)到液体歧管2来使冷却液在热交换回路9内循环。具体地,该单元包括冷却液路径6,该冷却液路径6将热交换器的出口供应端口(例如,经由供应管线)联接到液体歧管,并且冷却液通过该冷却液路径6流过该单元。这里描述了关于流体控制单元如何循环冷却液的更多信息。
在一个实施例中,即使流体控制单元出现故障,系统10可以在一段时间内保持工作。例如,当流体控制单元包括机械组件时,例如配置成循环冷却液的泵,当泵失效时,该单元可能失效。响应于流体控制单元故障,热交换回路可保持工作,以通过利用(或允许)相变自然对流传热从安装冷板的处理器带走热量。具体而言,处理器产生的热量通过自然对流(流体或蒸气通过密度差和重力循环)传递,无需机械泵。结果,由热传递产生的蒸气可能流向蒸气歧管并进入冷凝器。
图2是示出根据一个实施例的电子机架冷却系统的另一示例的框图。具体地,该图示出了类似于冷却系统10的电子机架冷却系统20,除了该系统包括将液体歧管2和蒸气歧管5(分别地)联接到热交换器4的流体控制单元21。与仅包括冷却液路径6的图1的流体控制单元3相比,该单元还包括蒸气路径22。蒸气路径将热交换器的入口返回端口(例如,经由蒸气返回回路)联接到蒸气歧管。单元21经由冷却液路径6将冷却液从热交换器循环至液体歧管2,并且经由蒸气路径22将蒸气从蒸气歧管5循环至热交换器4。因此,热交换回路9以相反的方向穿过流体控制单元21两次。在一个实施例中,流体控制单元可以联接在系统20内的不同组件之间。例如,流体控制单元21可以联接在冷板1与蒸气歧管5之间。在另一个实施例中,流体控制单元3可以包括在流体控制单元21内包含的组件中的至少一些组件,例如本文所述的液体泵和储液器。这里描述了关于流体控制单元如何循环冷却液的更多信息。
图3是示出根据一个实施例的电子机架冷却系统的流体控制单元的示例的框图。具体地,该图提供了流体控制单元21的更多细节。如图所示,单元21包括液体泵23、储液器25、蒸气泵24和控制器26。在一个实施例中,流体控制单元21可以包括更多或更少的组件。例如,单元21可以包括多个液体泵(例如,一个泵在储液器的上游,另一个泵在储液器的下游)。作为另一个示例,流体控制单元21可以不包括控制器26,而是可以从单独的控制器接收控制信号。这里描述了关于控制器的更多信息。
液体泵23和储液器25是冷却液路径6的一部分。储液器被配置成储存由热交换器冷凝的冷却液。液体泵被配置成从储液器抽吸冷却液,并经由液体歧管将抽吸的冷却液推送到冷板1。在一个实施例中,液体泵可以是任何类型的机械泵。在一个实施例中,冷凝的冷却液可以从热交换器4流入(或滴落)到储液器中。例如,流体控制单元(的冷却液路径)的输入端口可以经由供应管线(或管道)联接到热交换器的输出供应端口。冷凝的冷却液可以从输出供应端口通过供应管线流入流体控制单元。在一个实施例中,流体控制单元(或者更确切地说,储液器)可以定位成低于热交换器的输出供应端口。在另一个实施例中,储液器可以独立于流体控制单元21。在一些实施例中,流体控制单元可以不包括储液器。在这种情况下,液体泵可以直接从热交换器抽吸冷凝的冷却液。
蒸气泵24是蒸气路径22的一部分。蒸气泵被配置成从蒸气歧管5抽吸蒸气并将抽吸的蒸气推入热交换器4。在一个实施例中,蒸气泵可以是能够循环气体的任何类型的泵,例如空气压缩机。具体地,流体控制单元(的蒸气路径)的输出端口可以经由返回管线(或管道)联接到热交换器的入口返回端口,该返回管线将蒸气从控制单元运送到热交换器。
在一个实施例中,当前提出的设计还使得冷却系统10能够运行一段时间,即使流体控制单元或其任何内部组件出现故障。例如,在这些故障情况下,系统可以切换到自然对流冷却模式,并继续保持冷却一段时间。因此,如本文所述,当系统部署在电子机架上时,被系统液体冷却的IT设备可以继续保持工作,即使当存在这样的故障时。
控制器26可以是专用处理器,例如专用集成电路(ASIC)、通用微处理器、现场可编程门阵列(FPGA)、数字信号控制器或一组硬件逻辑结构(例如,滤波器、算术逻辑单元和专用状态机)。在一个实施例中,控制器可以是具有模拟元件(例如,电阻器、电容器、电感器等)和/或数字元件(例如,基于逻辑的元件,如晶体管等)的组合的电路。控制器还可以包括存储器。在一个实施例中,控制器可以是流体控制单元21(和/或流体控制单元6)中的一部分或集成在流体控制单元21(和/或流体控制单元6)中。在另一个实施例中,控制器可以是安装在电子机架中的这些IT设备中的一件,如本文所描述。
在一个实施例中,控制器26通信联接(例如,有线和/或无线连接)到液体泵23和/或蒸气泵24。控制器被配置成控制泵中至少一个(例如,通过将控制信号传输到泵的控制电路,例如电子开关),以便激活热交换回路9。具体地,控制器可以监测某些标准,以确定冷却液是否应该被推送到冷板和/或蒸气是否应该被泵送到热交换器。例如,控制器可以使用联接到冷板的温度传感器来监测温度(例如,表面温度),以确定安装了冷板的组件(例如,处理器)是否可操作或者冷板是否被正确安装。如果温度超过阈值温度,控制器可以激活液体泵和/或蒸气泵来更快地驱动流体再循环,以获得更好的热传递。在另一个实施例中,控制器可以监测芯片温度,例如芯片壳温度。在一个实施例中,控制器可以通过调节液体泵推送冷却液的速率和/或蒸气泵推送蒸气的速率来调节热交换回路内的冷却液和/或蒸气的流速。控制器可以基于这里提到的标准来调节速率。例如,液体泵操作的流速可以基于温度读数(例如,更高的读数可以导致更高的冷却液流速)。
图4是示出根据一个实施例的电子机架冷却系统的流体控制单元的另一示例的框图。具体地,该图示出了流体控制单元21和热交换器4是一个箱柜41内的集成单元。例如,流体控制单元可以是热交换器的一部分(例如,在箱柜内),反之亦然。在一个实施例中,将流体控制单元与热交换器集成减少了形成热交换回路所需的端口(或连接点)的数量。特别地,所示的箭头中每一个可以代表液体(或蒸气)管线,并且箭头与组件相交的每个点可以是管线联接的端口。这里描述了关于管线和端口的更多信息。
在该图中,有四条(外部)管线,联接冷板、液体歧管和集成单元的两条液体管线;以及联接冷板、蒸气歧管和集成单元的两条蒸气管线。因为流体控制单元和热交换器是集成单元,所以控制单元的蒸气和液体路径可以分别直接联接到热交换器内的冷凝器盘管的入口和出口。这与这里描述的其他系统形成对比。例如,冷却系统10包括五条管线(三条液体管线和两条蒸气管线),冷却系统20包括六条管线(三条液体管线和三条蒸气管线)。在一个实施例中,减少将系统的组件联接在一起的管线的数量减少了系统内泄漏的机会。高组件级集成提高了解决方案的可靠性。
该图中还示出了一个或多个风扇42,其被配置成将环境空气推入热交换器。例如,风扇可以将环境空气推入热交换器的空气入口。在一个实施例中,当风扇位于下游时,风扇可以将热排气从热交换器的空气出口抽出。在一个实施例中,风扇可以是热交换器4的一部分(集成到热交换器4中)。在另一个实施例中,风扇可以独立于热交换器。例如,风扇可以通过一个或多个空气导管联接到热交换器的空气入口。在一个实施例中,控制器26可以通信地联接到风扇42,并且可以被配置成基于本文描述的标准来调节(或设置)风扇速度。
图5是根据一个实施例的具有冷却系统的电子机架的示例。具体地,该图示出了电子机架50的透视图,该电子机架50包括电子机架冷却系统,例如图1的冷却系统10。机架50包括机架框架57和后门热交换器51。在一个实施例中,机架50可以是被配置为在框架57内的一个或多个槽中容纳一件或多件IT设备的任何类型的电子机架。如图所示,框架57包括几件IT设备52a-52n,它们布置成堆,用于提供数据处理服务,每件IT设备可以包括一个或多个处理器。这些IT设备中每一件包括冷板1(例如,用于设备52a的为1a,用于设备5n的为1n),冷板1可以安装在至少一个相应的处理器上。
框架57还包括液体歧管2、蒸气歧管5和流体控制单元3。两个歧管至少延伸机架框架高度的一部分。机架包括一对或多对歧管端口55。每对歧管端口包括用于液体歧管的供应端口和用于蒸气歧管的相应蒸气端口。在此示例中,机架包括三对歧管端口,其中顶部的两对端口联接到多件IT设备。因此,供应端口联接到一件IT设备52a以允许液体流入冷板1a,返回端口联接到这件IT设备52a以允许冷板1a产生的蒸气进入蒸气歧管。在一个实施例中,歧管端口55可以直接联接到冷板。
还示出了,流体控制单元3联接到液体歧管2端部的端口,当联接时,该端口允许冷却液从流体控制单元(的液体路径)流入歧管2。
后门热交换器51包括入口返回端口58、输出供应端口65、空气入口56和空气出口61(如图6所示)。如图所示,在靠近机架框架的一侧59(例如,当门关闭时是机架框架内侧的一侧),后门包括两种端口和空气入口。在远离机架框架的一侧(例如,如图6所示的一侧64,当门关闭时,该侧是机架框架的外侧),后门包括空气出口。在一个实施例中,空气入口和空气出口可以是能够使空气流入(或流出)后门热交换器的结构。例如,入口/出口可以是百叶窗。作为另一个示例,入口/出口可以是通风口或筛网。入口返回端口58联接到返回管线54,返回管线54联接到蒸气歧管(或蒸气歧管的一部分)。出口供应端口65联接到供应管线53,供应管线53联接到流体控制单元3(的端口)。在操作期间,冷却空气从电子机架50的前部流过机架,并经由空气入口进入后门热交换器。冷却空气经过后门内的冷凝盘管,并作为热排气离开空气出口61。
在一个实施例中,本文描述的端口中每一个可以包括(或者是)连接器,其被配置为将本文描述的组件可移除地联接在一起。例如,歧管端口55、出口供应端口65和入口返回端口58可以是连接器,例如无滴盲配快速断开器。例如,这些端口中的每一个都可以是阴无滴连接器。在这种情况下,联接到相应的供应端口和返回端口的供应管线53的端部和返回管线54的端部可以具有阳无滴连接器。类似地,这些IT设备可以包括用于联接到歧管端口55的相应的阳无滴连接器。在一个实施例中,连接器可以是使技术人员能够将组件联接在一起的任何类型的连接器。因此,输出供应端口65和入口返回端口58使得后门热交换器能够连接到热交换回路/从热交换回路断开,断开可能发生在维护期间。在一个实施例中,流体控制单元3可以包括类似的连接器。
在一个实施例中,供应管线53和返回管线54(以及歧管)可以由任何材料组成。例如,管线可以由金属(例如铜)、聚合物(例如EPDM橡胶)和/或塑料组成。在一个实施例中,管线可以由柔性材料例如橡胶构成。例如,两条管线都可以是柔性的,以允许后门打开/关闭。在一个实施例中,返回管线可以不同于供应管线。例如,返回管线的直径可以大于供应管线的直径。类似地,蒸气歧管可以由直径大于液体歧管的管线/管道的直径的管线/管道组成。
图6是示出根据一个实施例的电子机架的示例的框图。具体地,该图显示了机架50的侧视图(剖视图)。电子机架50可以包括一个或多个服务器插槽,以分别容纳一个或多个服务器。每个服务器包括具有一件或多个电子组件(例如,处理器、存储器、存储设备、网络接口)的一件或多件IT设备。根据一个实施例,电子机架50包括但不限于机架管理单元(RMU)802(可选)、一件或多件IT设备(可以是任何类型的IT设备,例如服务器刀片)和流体控制单元3。这些IT设备中每一件包括联接到液体歧管和蒸气歧管的一个或多个冷板。设备503可以分别从电子机架50的前端804或后端805插入服务器插槽阵列。
需要注意的是,虽然这里仅示出了五件IT设备,但是更多或更少的IT设备可以被保持在电子机架50内。还需要注意的是,组件在机架中的特定位置仅用于说明的目的;也可以执行这些组件的其他布置或配置。应当注意,电子机架50可以对环境开放,或者部分地容纳在机架箱柜中,只要冷却风扇(例如风扇63)能够产生从前端到后端的气流。因此,在该示例中,风扇将环境空气从前端吸入后门热交换器51的空气入口。
在一个实施例中,机架50可以包括至少一个风扇63,其可以与这些IT设备件中的至少一件相关联。在另一个实施例中,机架门可以包括至少一个风扇。例如,风扇63可以集成在后门51内。然而,在该实施例中,风扇安装在后门51的后端,以产生从前端804流出的气流,该气流穿过设备的空气空间,进入空气入口56,并从电子机架50的后端805处的空气出口61离开。在一个实施例中,风扇可以安装在前端804上。在另一个实施例中,风扇可以安装在其他IT设备中至少一些的后端。
这些IT设备中的每一件可以包括一个或多个IT组件(例如,中央处理单元或CPU、图形处理单元(GPU)、存储器和/或存储装置)。每个IT组件可以执行数据处理任务,其中IT组件可以包括安装在存储装置中、加载到存储器中、并由一个或多个处理器执行以实现数据处理任务的软件。如本文所述,这些IT组件中的至少一些可以附连到冷板。一件IT设备可以包括联接到一个或多个计算服务器(也称为计算节点,例如CPU服务器和GPU服务器)的主机服务器(称为主机节点)。主机服务器(具有一个或多个CPU)通常通过网络(例如,因特网)与客户端交接,以接收对特定服务的请求,例如存储服务(例如,基于云的存储服务,例如备份和/或恢复),执行应用以实现特定操作(例如,图像处理、深度数据学习算法或建模等,作为软件即服务或SaaS平台的一部分)。响应于该请求,主机服务器将任务分配给由主机服务器管理的一个或多个性能计算节点或计算服务器(具有一个或多个GPU)。性能计算服务器执行实际任务,这可能会在操作过程中产生热量。
电子机架50还包括可选的RMU 802,其被配置为提供和管理供应给设备、至少一个风扇和/或流体控制单元3的电力。优化模块821和RMC 822可以在一些应用中与控制器(例如,控制器22)通信。
在一个实施例中,RMU 802包括优化模块821和机架管理控制器(RMC)822。RMC 822可以包括监视器,以监视电子机架50内的各种组件的操作状态,例如设备(的冷板)和一个或多个风扇。具体地,监视器从代表电子机架50的操作环境的各种传感器接收操作数据。例如,监视器可以接收表示处理器、冷却液和气流的温度的操作数据,这些数据可以通过各种温度传感器被捕获和收集。监视器还可以接收表示由风扇产生的风扇功率和由流体控制单元的液体泵和/或蒸气泵产生的泵功率的数据,其可以与它们相应的速度成比例。这些操作数据被称为实时操作数据。需要注意的是,监视器可以在RMU 802中实施为单独的模块。
基于操作数据,优化模块821使用预定的优化函数或优化模型来执行优化,以导出流体控制单元的一个或多个风扇的一组最佳风扇速度和液体泵和/或蒸气泵的最佳泵速度,使得泵/风扇的总功耗达到最小,同时与泵/风扇相关联的操作数据在它们相应的设计规格内。一旦已经确定了最佳泵速和最佳风扇速度,RMC 822可以向控制器22发送控制信号,然后控制器22调节泵速。在一个实施例中,RMC 822可以直接调节泵速。
在一个实施例中,机架50可以包括附加组件。例如,机架可以包括电源单元(PSU)和/或电池备用单元(BBU)。PSU可以包括必要的电路(例如,交流(AC)到直流(DC)或DC到DC功率转换器、备用电池、变压器或调节器等)向电子机架50的其余组件供电。在一个实施例中,BBU可以被配置成当(主)电源(由PSU提供)不可用时(例如停电),向电子设备提供电池备用电源。
在一个实施例中,空气入口56和空气出口61可以基于期望的空气流量和/或期望的机架配置而不同地定位。图7-9显示了不同热交换器机架门配置的示例。例如,图7示出了空气入口56在远侧64,而空气出口61在近侧59。因此,为了冷凝蒸气,冷却空气首先通过门51从后向前流动,然后穿过机架框架并流出机架的前端804。
在一个实施例中,机架50可以包括前门热交换器,而不包括后门热交换器,或除了后门热交换器外还包括前门热交换器。图8和9示出了包括前门热交换器的机架50的示例。在图8中,空气入口56在机架门的远侧64上,空气出口61在门的近侧59上。因此,冷却空气流入机架门71,通过机架内侧,并从后端805出来。在图9中,空气入口和空气出口被切换。因此,在该示例中,冷却空气在位于近侧59的空气入口56处进入机架门71之前首先穿过机架的内部。
图10是根据一个实施例的具有冷却系统的电子机架的另一个示例。具体而言,该图示出了电子机架60的透视图,该电子机架60包括电子机架冷却系统,例如图2和3的冷却系统20。如本文所述,流体控制单元21联接到蒸气歧管和液体歧管,并且联接到后门热交换器。因此,流体控制单元21包括两对端口,一对联接到歧管,而另一对联接到供应管线和返回管线,供应管线和返回管线又联接到后门热交换器的入口返回端口和出口供应端口。在一个实施例中,流体控制单元可以不同地定位在机架内。例如,由于蒸气上升,流体控制单元可以位于这些IT设备方。
图11是根据一个实施例的具有冷却系统的电子机架的另一个示例。具体而言,该图示出了电子机架70的后视图,该电子机架70包括电子机架冷却系统,例如图4的冷却系统40。在该图中,热交换器4和流体控制单元21容纳在机架框架内(例如,在箱柜41内)。在一个实施例中,流体控制单元可以独立于热交换器4容纳在机架框架内。如图所示,热交换器包括一个或多个风扇42,风扇42被配置成从机架的前端抽吸环境空气,通过热交换器,并从后端出来。在一个实施例中,机架70可以包括前(和后)门,其允许环境空气通过进入(和离开)机架。
图12是示出根据一个实施例的空气冷却式数据中心信息技术(IT)室的框图,该数据中心信息技术(IT)室具有带冷却系统的电子机架。具体而言,该图说明了(数据中心的)数据中心信息技术室80,它有两个IT POD,POD A83a和POD B 83b。每个POD被冷通道82包围,并且在POD的中间具有热通道81。两个IT POD在热通道的每一侧都装有八个电子机架50,每个机架包括后门热交换器51。因此,各机架从冷通道82抽吸冷空气,以便将包含在后门热交换器51的冷凝器盘管中的蒸气中的热量传递到冷空气中,从而产生热排气,推送至热通道81。除了与机架内的电子机架冷却系统的冷板联接的液体冷却组件之外,这种设计还能冷却机架内的空气冷却组件。在一个实施例中,机架中的至少一些可以包括前门热交换器。在另一个实施例中,安装在数据中心IT室内的至少一些机架可以是这里描述的机架中的任何机架(例如,机架50、60和/或70)。
如前所解释,本公开的实施例可以是(或包括)其上存储有指令的非暂时性机器可读介质(例如微电子存储器),该指令对一个或多个数据处理组件(这里统称为“处理器”)进行编程,以执行冷却操作,例如这里所描述的一个或多个液体泵和/或一个或多个蒸气泵的流速。在其他实施例中,这些操作中的一些可以由包含硬连线逻辑的特定硬件组件来执行。这些操作也可以由编程数据处理组件和固定硬连线电路组件的任意组合来执行。
在前述说明书中,已经参考其特定示例性实施例描述了本公开的实施例。显而易见的是,在不脱离如所附权利要求中阐述的本公开的更广泛的精神和范围的情况下,可以对其进行各种修改。因此,说明书和附图被认为是说明性的,而不是限制性的。
虽然在附图中已经描述和示出了某些方面,但是应当理解,这些方面仅仅是说明性的,而不是对广泛公开的限制,并且本公开不限于所示出和描述的具体构造和布置,因为本领域普通技术人员可以想到各种其他修改。因此,该描述被认为是说明性的而不是限制性的。
在一些方面,本公开可以包括语言,例如,“[元件A]和[元件B]中的至少一个”。这种语言可以指一个或多个元件。例如,“A和B中的至少一个”可以指“A”、“B”或“A和B”。具体地,“A和B中的至少一个”可以指“A中的至少一个和B中的至少一个”,或者“A或B中的至少一个”。在一些方面,本公开可以包括语言,例如,“[元件A]、[元件B]、和/或[元件C]”。这种语言可以指元件中的任何一个或其任意组合。例如,“A、B和/或C”可以指“A”、“B”、“C”、“A和B”、“A和C”、“B和C”或“A、B和C”。
Claims (12)
1.一种电子机架冷却系统,包括:
液体歧管和蒸气歧管;
冷板,其被配置为安装在一件信息技术(IT)设备的处理器上用于液体冷却,其中所述冷板联接到所述液体歧管以接收冷却液,其中所述蒸气歧管联接到所述冷板以接收蒸气,所述蒸气是当由所述处理器产生的热量被所述冷板传递到所述冷却液中从而导致所述冷却液中至少一些变成蒸气时由所述冷板产生的;
热交换器,其联接到所述蒸气歧管以接收所述蒸气,并被配置为将所述蒸气冷凝回冷却液;和
流体控制单元,其联接在所述液体歧管与所述热交换器之间以产生热交换回路,并且被配置为通过抽吸由所述热交换器冷凝的所述冷却液并将所述冷却液提供至所述液体歧管来在所述热交换回路内循环所述冷却液。
2.根据权利要求1所述的电子机架冷却系统,其中所述流体控制单元包括将所述热交换器的出口供应端口联接到所述液体歧管的冷却液路径,其中所述冷却液路径包括
储液器,其被配置为储存由所述热交换器冷凝的冷却液,以及
液体泵,其被配置为从所述储液器抽吸冷却液,并经由所述液体歧管将抽吸的所述冷却液推送到所述冷板。
3.根据权利要求1或2所述的电子机架冷却系统,其中所述流体控制单元通过具有将所述热交换器的入口返回端口联接到所述蒸气歧管的蒸气路径而联接在所述蒸气歧管与所述热交换器之间,其中所述蒸气路径包括蒸气泵,所述蒸气泵被配置为从所述蒸气歧管抽吸蒸气并将所抽吸的蒸气推送到所述热交换器。
4.根据权利要求1或2所述的电子机架冷却系统,其中所述流体控制单元和所述热交换器是集成单元。
5.根据权利要求1或2所述的电子机架冷却系统,其中所述热交换器是两相气-液热交换器,其将从所述蒸气歧管接收的所述蒸气携带的热量传递给冷却空气。
6.根据权利要求5所述的电子机架冷却系统,还包括至少一个风扇,所述至少一个风扇被配置成将所述冷却空气推入所述热交换器。
7.一种数据中心的电子机架,包括:
根据权利要求1至6中任一项所述的电子机架冷却系统,和
多件IT设备,布置成堆,用于提供数据处理服务,每件IT设备包括一个或多个处理器,所述处理器中的至少一个安装在所述冷板上。
8.根据权利要求7所述的电子机架,还包括机架框架,所述机架框架容纳所述多件IT设备、所述液体歧管、所述蒸气歧管和所述流体控制单元,其中所述热交换器是联接到所述机架框架后端的机架门热交换器。
9.根据权利要求8所述的电子机架,其中所述机架门热交换器包括在靠近所述机架框架的一侧上的空气入口和在远离所述机架框架的一侧上的空气出口,其中所述机架门热交换器是两相气-液热交换器,其将所述蒸气携带的热量传递给进入所述空气入口的冷却空气,以产生离开所述空气出口的热排气。
10.根据权利要求7至9中任一项所述的电子机架,其中所述热交换器包括至少一个风扇,所述至少一个风扇被配置成将冷却空气推入所述热交换器的空气入口。
11.一种数据中心,包括多个根据权利要求7至10中任一项所述的数据中心的电子机架。
12.根据权利要求11所述的数据中心,其中响应于所述流体控制单元故障,所述热交换回路保持工作,以在一段时间内通过允许自然对流冷却来从所述处理器带走热量。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/685,718 | 2019-11-15 | ||
US16/685,718 US11439046B2 (en) | 2019-11-15 | 2019-11-15 | Electronic rack liquid cooling system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112822909A true CN112822909A (zh) | 2021-05-18 |
Family
ID=75854347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011232406.4A Pending CN112822909A (zh) | 2019-11-15 | 2020-11-06 | 电子机架液体冷却系统 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11439046B2 (zh) |
CN (1) | CN112822909A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI785789B (zh) * | 2021-09-10 | 2022-12-01 | 英業達股份有限公司 | 散熱系統以及電子裝置 |
TWI804981B (zh) * | 2021-09-13 | 2023-06-11 | 英業達股份有限公司 | 冷凝器與開放式兩相冷卻系統 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11638365B2 (en) * | 2020-08-06 | 2023-04-25 | Baidu Usa Llc | Hybrid data center rack |
US11829215B2 (en) * | 2020-11-30 | 2023-11-28 | Nvidia Corporation | Intelligent and redundant liquid-cooled cooling loop for datacenter cooling systems |
US11822398B2 (en) * | 2020-11-30 | 2023-11-21 | Nvidia Corporation | Intelligent and redundant air-cooled cooling loop for datacenter cooling systems |
US20220236779A1 (en) * | 2021-01-22 | 2022-07-28 | Nvidia Corporation | Intelligent rear door heat exchanger for local cooling loops in a datacenter cooling system |
US20220361375A1 (en) * | 2021-05-04 | 2022-11-10 | Nvidia Corporation | Server unit with built-in flow distribution |
US11812589B2 (en) * | 2021-05-12 | 2023-11-07 | Nvidia Corporation | Intelligent refrigerant distribution unit for datacenter cooling systems |
US20230209774A1 (en) * | 2021-12-23 | 2023-06-29 | Baidu Usa Llc | Apparatus and system for two-phase server cooling |
US20230240052A1 (en) * | 2022-01-24 | 2023-07-27 | Nvidia Corporation | Three-way flow controller paths for single-phase and two-phase cooling in datacenter cooling systems |
US20230247795A1 (en) * | 2022-01-28 | 2023-08-03 | The Research Foundation For The State University Of New York | Regenerative preheater for phase change cooling applications |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6519955B2 (en) * | 2000-04-04 | 2003-02-18 | Thermal Form & Function | Pumped liquid cooling system using a phase change refrigerant |
US6550530B1 (en) * | 2002-04-19 | 2003-04-22 | Thermal Corp. | Two phase vacuum pumped loop |
US8077462B2 (en) * | 2009-09-02 | 2011-12-13 | International Business Machines Corporation | Stress relieved hose routing to liquid-cooled electronics rack door |
US8687364B2 (en) * | 2011-10-28 | 2014-04-01 | International Business Machines Corporation | Directly connected heat exchanger tube section and coolant-cooled structure |
US8760863B2 (en) * | 2011-10-31 | 2014-06-24 | International Business Machines Corporation | Multi-rack assembly with shared cooling apparatus |
US9042098B2 (en) * | 2012-11-12 | 2015-05-26 | International Business Machines Corporation | Air-cooling and vapor-condensing door assembly |
US10162396B2 (en) * | 2017-04-18 | 2018-12-25 | Baidu Usa Llc | Method and system for removing heat using heat removal liquid based on workload of server components of electronic racks |
US10765039B2 (en) * | 2017-05-25 | 2020-09-01 | Intel Corporation | Two-phase liquid-vapor computer cooling device |
US10238011B1 (en) * | 2017-10-10 | 2019-03-19 | Baidu Usa Llc | Optimal controller for hybrid liquid-air cooling system of electronic racks of a data center |
US10905030B1 (en) * | 2019-07-24 | 2021-01-26 | Facebook, Inc. | Liquid-cooling within an air-cooled facility |
-
2019
- 2019-11-15 US US16/685,718 patent/US11439046B2/en active Active
-
2020
- 2020-11-06 CN CN202011232406.4A patent/CN112822909A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI785789B (zh) * | 2021-09-10 | 2022-12-01 | 英業達股份有限公司 | 散熱系統以及電子裝置 |
TWI804981B (zh) * | 2021-09-13 | 2023-06-11 | 英業達股份有限公司 | 冷凝器與開放式兩相冷卻系統 |
Also Published As
Publication number | Publication date |
---|---|
US20210153391A1 (en) | 2021-05-20 |
US11439046B2 (en) | 2022-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112822909A (zh) | 电子机架液体冷却系统 | |
US11272642B2 (en) | Liquid distribution unit design for liquid cooling of electronic racks of a data center | |
CN109656336B (zh) | 数据中心的电子器件机架的混合液体-空气冷却系统的优化控制器 | |
KR102126141B1 (ko) | 데이터 센터 내의 it 부품들의 전자 랙들을 위한 팬리스 칠러리스 액체-기체 냉각 | |
CN110447315B (zh) | 用于数据中心中的使it部件液体冷却的电子器件机架的液体冷却设计 | |
US9668382B2 (en) | Coolant distribution unit for a multi-node chassis | |
CN112533438B (zh) | InRow液体冷却模块 | |
US11252844B2 (en) | Liquid distribution for electronic racks | |
JP4199018B2 (ja) | ラックマウントサーバシステム | |
US9273906B2 (en) | Modular pumping unit(s) facilitating cooling of electronic system(s) | |
US10912229B1 (en) | Cooling system for high density racks with multi-function heat exchangers | |
CN112804854A (zh) | 用于浸入式冷却it设备的冷却系统 | |
CN110557925A (zh) | 用于数据中心电子机架的液体冷却的泄漏检测和响应系统 | |
US20120286514A1 (en) | Fluid-driven, electricity-generating system and method for a data center | |
GB2496020A (en) | System for cooling an electronics rack comprising a fluidly connected air-to-liquid heat exchanger and at least one cooling plate | |
US20210360821A1 (en) | highly integrated liquid cooling system design for data center IT room | |
CN112543579A (zh) | 用于电子机架的混合多功能门设计 | |
US11445641B1 (en) | Advanced fluid connection design for multiple phase system | |
CN113710054A (zh) | 数据中心交付点布局和配置 | |
CN113453487A (zh) | 具有多个相变回路的冷却系统及电子机架 | |
CN116266980A (zh) | 用于数据中心的电子设备机架、装置和数据中心系统 | |
US20230061283A1 (en) | Data center system for various electronic rack architectures | |
CN115529781A (zh) | 用于多重混合热系统的机架架构 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |