CN113764367B - 用于异构封装的模块化的基于热电的冷却设备 - Google Patents
用于异构封装的模块化的基于热电的冷却设备 Download PDFInfo
- Publication number
- CN113764367B CN113764367B CN202011437682.4A CN202011437682A CN113764367B CN 113764367 B CN113764367 B CN 113764367B CN 202011437682 A CN202011437682 A CN 202011437682A CN 113764367 B CN113764367 B CN 113764367B
- Authority
- CN
- China
- Prior art keywords
- channels
- cooling
- housing
- channel
- cooling apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001816 cooling Methods 0.000 title claims abstract description 86
- 238000012546 transfer Methods 0.000 claims abstract description 58
- 239000007788 liquid Substances 0.000 claims abstract description 51
- 239000002184 metal Substances 0.000 claims abstract description 14
- 229910052751 metal Inorganic materials 0.000 claims abstract description 14
- 239000004020 conductor Substances 0.000 claims abstract description 5
- 230000008878 coupling Effects 0.000 claims abstract description 4
- 238000010168 coupling process Methods 0.000 claims abstract description 4
- 238000005859 coupling reaction Methods 0.000 claims abstract description 4
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 claims description 11
- 229910052802 copper Inorganic materials 0.000 claims description 11
- 239000010949 copper Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 6
- 238000013461 design Methods 0.000 abstract description 20
- 239000000110 cooling liquid Substances 0.000 description 22
- 238000007726 management method Methods 0.000 description 9
- 238000004806 packaging method and process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000007599 discharging Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 239000012212 insulator Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000002470 thermal conductor Substances 0.000 description 2
- 101710149792 Triosephosphate isomerase, chloroplastic Proteins 0.000 description 1
- 101710195516 Triosephosphate isomerase, glycosomal Proteins 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002826 coolant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000002918 waste heat Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
- H05K7/20772—Liquid cooling without phase change within server blades for removing heat from heat source
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L23/00—Details of semiconductor or other solid state devices
- H01L23/34—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
- H01L23/38—Cooling arrangements using the Peltier effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/20—Cooling means
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L23/00—Details of semiconductor or other solid state devices
- H01L23/34—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
- H01L23/46—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids
- H01L23/467—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids by flowing gases, e.g. air
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L23/00—Details of semiconductor or other solid state devices
- H01L23/34—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements
- H01L23/46—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids
- H01L23/473—Arrangements for cooling, heating, ventilating or temperature compensation ; Temperature sensing arrangements involving the transfer of heat by flowing fluids by flowing liquids
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
- H05K7/20436—Inner thermal coupling elements in heat dissipating housings, e.g. protrusions or depressions integrally formed in the housing
- H05K7/20445—Inner thermal coupling elements in heat dissipating housings, e.g. protrusions or depressions integrally formed in the housing the coupling element being an additional piece, e.g. thermal standoff
- H05K7/20463—Filling compound, e.g. potted resin
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
- H05K7/20436—Inner thermal coupling elements in heat dissipating housings, e.g. protrusions or depressions integrally formed in the housing
- H05K7/20445—Inner thermal coupling elements in heat dissipating housings, e.g. protrusions or depressions integrally formed in the housing the coupling element being an additional piece, e.g. thermal standoff
- H05K7/20472—Sheet interfaces
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
- H05K7/20509—Multiple-component heat spreaders; Multi-component heat-conducting support plates; Multi-component non-closed heat-conducting structures
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/20709—Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
- H05K7/20763—Liquid cooling without phase change
- H05K7/20781—Liquid cooling without phase change within cabinets for removing heat from server blades
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/20—Indexing scheme relating to G06F1/20
- G06F2200/201—Cooling arrangements using cooling fluid
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/20—Modifications to facilitate cooling, ventilating, or heating
- H05K7/2039—Modifications to facilitate cooling, ventilating, or heating characterised by the heat transfer by conduction from the heat generating element to a dissipating body
- H05K7/20518—Unevenly distributed heat load, e.g. different sectors at different temperatures, localised cooling, hot spots
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Thermal Sciences (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Power Engineering (AREA)
- Human Computer Interaction (AREA)
- Cooling Or The Like Of Electrical Apparatus (AREA)
Abstract
制造用于异构微芯片的冷却设备,使得可以为不同的芯片提供不同的冷却分布。壳体由导热材料制成,该壳体具有形成在其中的多个通道。电触点设置在通道中的每个内。每个通道均可装配热电冷却设备或金属块,以提供不同的冷却分布和设计要求。冷却设备插入液体冷板与芯片之间,以调节和增强从芯片到冷板的热传递。可替代地,冷板本身可用作具有通道的壳体,在这种情况下,壳体设置有用于液体管或软管的联接器。
Description
技术领域
本发明的实施方式总体涉及封装的半导体器件的冷却。更具体地,本发明的实施方式涉及半导体器件的异构封装的冷却。
背景技术
冷却是计算机系统和数据中心设计中的突出因素。诸如封装在服务器内的高性能处理器的高性能电子部件的数量已稳定地增加,从而增加了在服务器的普通操作期间产生和耗散的热量。如果允许服务器运行的环境随时间温度增加,则数据中心内使用的服务器的可靠性降低。维护适当的热环境对于这些服务器在数据中心中的正常操作以及服务器性能和寿命是至关重要的。它需要更有效和高效的冷却解决方案,特别是在冷却这些高性能服务器的情况下。
微芯片封装的最新进展包括异构集成或异构封装。异构集成是指将多个单独制造的部件组装和封装到单个芯片上,以便改善功能性和增强操作特性。异构集成允许封装具有不同功能性、不同工艺技术(例如,工艺节点)、不同热属性和特性以及有时单独的制造商的部件。组合器件可在功能(例如,处理器、信号处理器、高速缓存、传感器、光子、RF和MEMS)和技术(例如,一个优化用于管芯尺寸,另一个优化用于低功率)上变化。
然而,由于组合器件中的每个都具有不同的功耗和散热特性,因此将它们封装在单个外壳中对这种封装的热管理提出了挑战。此外,封装可包括也具有不同散热特性的辅助电源单元。因此,在正常操作期间,整个封装可处于非均匀的热条件中。
此外,封装部件中的每个均可具有不同的热规范/要求,诸如用于正常操作的结温度或外壳温度。满足对于热管理解决方案的这些要求是至关重要的,特别是当对于各种封装器件这些要求不同时。
适当的热设计需要满足异构封装内所有部件的热管理规范。因此,即使这种操作仅偶尔发生,该设计也必须考虑在峰值功耗下工作的温度最敏感的部件。
封装内的每个器件的封装位置和覆盖区主要基于除热管理之外的技术考虑来确定。技术考虑可基于例如实际拓扑、通信要求、这样的I/O结构距离等。因此,热设计应足够灵活以适应封装要求。
另一方面,为每个不同的封装提供不同的热管理解决方案增加了制造的成本和复杂性。标准设计或产品对于降低成本以及开发具有多个供应商的生态系统是重要的。然而,仅具有一个通用产品和规格以满足不同类型的异构封装并解决所提及的热挑战是一种挑战。
发明内容
第一方面,本公开提供了一种用于异构微芯片的冷却设备,包括:壳体,其由导热材料制成,该壳体具有形成于其中的多个通道;电触点,其设置在所述多个通道中的每个内;至少一个热电冷却设备(TEC),其插入所述通道中的一个中;以及至少一个金属块,其插入所述通道中的一个中。
第二方面,本公开提供了一种用于向具有异构芯片的服务器节点提供冷却的方法,包括:提供其中形成有多个通道的冷却设备;获取异构芯片的热分布规范,并根据该规范在所述通道中的至少一个中插入至少一个热电冷却(TEC)元件,以及在剩余的空通道中插入金属块;以及将冷却设备附接至异构芯片。
第三方面,本公开提供了一种服务器节点,包括:母板;异构芯片,其固定至母板;传热设备,其附接至异构芯片的盖,该传热设备包括:壳体,其由导热材料制成,该壳体具有形成于其中的多个通道;电触点,其设置在多个通道中的每个内;至少一个热电冷却设备(TEC),其插入所述通道中的一个中;以及至少一个金属块,其插入所述通道中的一个中。
附图说明
本发明的实施方式在附图中以示例而非限制的方式示出,在附图中,相同的附图标记表示类似的元件。
图1是示出根据一个实施方式的数据中心设施的示例的框图。
图2是示出根据一个实施方式的电子机架的示例的框图。
图3是示出根据一个实施方式的冷板构造的示例的框图。
图4A和图4B是根据实施方式的传热设备的顶视图,其中,图4A示出没有传热元件的设备,以及图4B示出插入了传热元件的设备。
图4C示出根据实施方式的传热设备的前视图。
图5A和图5B示出根据实施方式的间隙的详细功能及其设计要求。
图5C至图5E是示出用于制造传热设备的封装部件的不同实施方式的横截面。
图6示出使用传热设备的实施方式的系统级集成部件封装的侧视图。
图7示出使用传热设备的实施方式的系统级集成部件封装的侧视图。
图8示出使用集成到冷板中的传热设备的实施方式的系统级集成部件封装的侧视图。
图9是示出根据实施方式的用于制造冷却设备的过程的流程图。
具体实施方式
将参考下面讨论的细节描述本发明的各种实施方式和方面,并且附图将示出各种实施方式。下面的描述和附图是对本发明的说明,并不构成对本发明的限制。描述了许多具体细节以提供对本发明的各种实施方式的透彻理解。然而,在某些情况下,为了提供对本发明的实施方式的简洁讨论,没有描述公知的或常规的细节。
在说明书中提及“一个实施方式”或“实施方式”意味着结合该实施方式描述的特定特征、结构或特性可包括在本发明的至少一个实施方式中。在说明书的各个地方出现的短语“在一个实施方式中”不一定都指同一实施方式。
本公开介绍了一种使用热电冷却设备的模块化设计和封装方法,其可有效地解决热问题。本公开的各方面提供一种模块化设计,其可用于冷却不同类型和设计的封装,并为异构封装中不同位置处的高度非均匀电源和热条件提供热冷却。
所公开的实施方式提供了一种能够在异构封装上的不同位置处放置不同类型的热导体的冷却层。可根据在封装的不同空间位置处的热传递要求来选择不同的热导体。例如,诸如铜块的金属块可在某些位置使用,而热电冷却(TEC)设备可在需要增强热传导的位置使用。
在讨论不同实施方式的细节之前,本说明书提供了关于可实现实施方式的示例性环境的一些背景。图1是示出根据一个实施方式的数据中心或数据中心单元的示例的框图。在该示例中,图1示出了数据中心的至少一部分的顶视图。参照图1,根据一个实施方式,数据中心系统100包括信息技术(IT)部件、装备或仪器101至102的一行或多行电子机架,信息技术(IT)部件、装备或仪器101至102例如为通过网络(例如,因特网)向各种客户端提供数据服务的计算机服务器或计算节点。在该实施方式中,每行均包括诸如电子机架110A至110N的电子机架阵列。然而,可实现更多行或更少行的电子机架。通常,行101至102平行对齐,其前端彼此面对,后端彼此背对,在它们之间形成过道103,以允许管理人员在其中行走。然而,也可应用其它配置或布置。例如,两行电子机架可背对背地彼此面对,而不在它们之间形成过道,同时它们的前端彼此背对。电子机架的后端可以联接至房间冷却液体歧管。
在一个实施方式中,电子机架(例如,电子机架110A至110N)中的每个均包括壳体,以容纳布置在其中操作的堆栈中的多个IT部件。电子机架可包括冷却液体歧管、多个服务器插槽(例如,配置有相同或类似形状因子的标准搁架或底盘)、以及能够插入到服务器插槽中和从服务器插槽中移除的多个服务器底盘(也称为服务器叶片或服务器搁架)。每个服务器搁架均表示具有一个或多个处理器、存储器和/或永久存储设备(例如,硬盘)的计算节点,其中,计算节点可包括在其中操作的一个或多个服务器。处理器中的至少一个附接至液体冷板(也称为冷板组件)以接收冷却液体。此外,一个或多个可选的冷却风扇与服务器搁架相关联,以向其中包含的计算节点提供空气冷却。应注意,冷却系统120可联接至多个数据中心系统,诸如数据中心系统100。
在一个实施方式中,冷却系统120包括外部液体回路,该外部液体回路连接至建筑物/壳体容器外部的冷却塔或干式冷却器。冷却系统120可包括但不限于蒸发冷却、自由空气、拒绝大的热质量以及废热回收设计。冷却系统120可包括提供冷却液体的冷却液体源或连接至提供冷却液体的冷却液体源。
在一个实施方式中,每个服务器底盘模块化地联接至冷却液体歧管,使得服务器底盘可从电子机架中移除,而不影响冷却液体歧管和电子机架中的剩余服务器底盘的操作。在另一实施方式中,每个服务器底盘均通过快速释放联接组件联接至冷却液体歧管,该快速释放联接组件具有服务器液体入口连接器和服务器液体出口连接器,该服务器液体入口连接器和服务器液体出口连接器连接至柔性软管以将冷却液体分配到处理器。服务器液体入口连接器经由机架液体入口连接器从安装在电子机架后端的冷却液体歧管接收冷却液体。服务器液体出口连接器经由机架液体出口连接器将携带从处理器交换的热量的较暖和或较热的液体传输至冷却液体歧管,然后返回到电子机架内的冷却剂分配单元(CDU)。CDU也可以是独立的单元,而不是安置在服务器机架上。
在一个实施方式中,设置在每个电子机架的后端上的冷却液体歧管联接至液体供应管线132(也称为房间供应歧管),以接收来自冷却系统120的冷却液体。冷却液体通过附接至冷板组件的液体分配回路分配,在冷板组件上安装有处理器,以去除来自处理器的热量。冷板配置成类似于其中附有或嵌入有液体分配管的散热器。所得到的携带有从处理器交换的热量的较暖和或较热的液体经由液体返回管线131(也称为房间返回歧管)传输回冷却系统120。
液体供应/返回管线131至132被称为数据中心或房间液体供应/返回管线(例如,全局液体供应/返回管线),其向行101至102的所有电子机架供应冷却液体。液体供应管线132和液体返回管线131联接至位于电子机架中的每个内的CDU的热交换器,形成主回路。热交换器的次级回路联接至电子机架中的服务器底盘中的每个,以将冷却液体输送至处理器的冷板。冷板是广泛用于液体冷却的部件,尽管其它类型的液体冷却部件也可连接至液体冷却次级回路。
在一个实施方式中,数据中心系统100还包括可选的气流输送系统135,该气流输送系统135用于产生气流,以使气流行进通过电子机架的服务器底盘的空气空间,从而交换由于计算节点(例如,服务器)的操作而由计算节点产生的热量,并将经气流交换的热量排放到外部环境或冷却系统(例如,空气-液体热交换器),以降低气流的温度。例如,空气供应系统135产生凉/冷空气的气流,以从过道103循环通过电子机架110A至110N,从而带走交换的热量。
凉气流通过它们的前端进入电子机架,而暖/热气流从它们的后端离开电子机架。具有交换的热量的暖/热空气从房间/建筑物排出或使用单独的诸如空气-液体热交换器的冷却系统冷却。因此,冷却系统是混合液体-空气冷却系统,其中由处理器产生的一部分热量经由相应的冷板由冷却液体去除,而由处理器(或其它电子设备或处理设备)产生的其余部分热量通过气流冷却去除。
图2是示出根据一个实施方式的电子机架的框图。电子机架200可表示如图1所示的电子机架中的任一个,例如,电子机架110A至110N中的任一个。参照图2,根据一个实施方式,电子机架200包括但不限于CDU 201、机架管理单元(RMU)202和一个或多个服务器底盘203A至203E(统称为服务器底盘203)。服务器底盘203可分别从电子机架200的前端204或后端205插入到服务器插槽(例如,标准搁架)的阵列中。应注意,尽管这里示出了五个服务器底盘203A至203E,但是可在电子机架200内维护更多或更少的服务器底盘。还应注意,CDU201、RMU 202和/或服务器底盘203的特定位置仅出于说明的目的而示出;也可实现CDU201、RMU 202和/或服务器底盘203的其它布置或配置。在一个实施方式中,电子机架200可对环境开放或者部分地由机架容器容纳,只要冷却风扇可产生从前端到后端的气流即可。
此外,对于服务器底盘203中的至少一些,可选的风扇模块(未示出)与服务器底盘相关联。风扇模块中的每个均包括一个或多个冷却风扇。风扇模块可安装在服务器底盘203的后端或电子机架上,以产生从前端204流出、行进通过服务器底盘203的空气空间,并存在于电子机架200的后端205的气流。
在一个实施方式中,CDU 201主要包括热交换器211、液体泵212和泵控制器(未示出)、以及一些其它部件,诸如贮液器,电源,监测传感器等。热交换器211可以是液体到液体的热交换器。热交换器211包括具有入口端口和出口端口的第一回路,该入口端口和出口端口具联接至外部液体供应/返回管线131至132以形成主回路的第一对液体连接器。联接至外部液体供应/返回管线131至132的连接器可设置或安装在电子机架200的后端205上。液体供应/返回管线131至132也称为房间液体供应/返回管线,可联接至如上所述的冷却系统120。
此外,热交换器211还包括具有两个端口的次级回路,该两个端口具有联接至液体歧管225(也称为机架歧管)以形成次级回路的第二对液体连接器,该次级回路可包括供应歧管(也称为机架液体供应管线或机架供应歧管)和返回歧管(也称为机架液体返回管线或机架返回歧管),供应歧管将冷却液体供应到服务器底盘203,返回歧管将较暖的液体返回到CDU 201。应注意,CDU 201可以是任何种类的市场上可买到的或定制的CDU。因此,这里将不描述CDU 201的细节。
服务器底盘203中的每个均可包括一个或多个IT部件(例如,中央处理单元或CPU、通用/图形处理单元(GPU)、存储器和/或存储设备)。每个IT部件均可执行数据处理任务,其中IT部件可包括安装在存储设备中、加载到存储器中并且由一个或多个处理器执行以执行数据处理任务的软件。服务器底盘203可包括联接至一个或多个计算服务器(也称为计算节点,例如CPU服务器和GPU服务器)的主机服务器(称为主机节点)。主机服务器(具有一个或多个CPU)通常通过网络(例如,因特网)与客户端对接,以接收对诸如存储服务(例如,基于云的存储服务,诸如备份和/或恢复)的特定服务的请求、执行应用程序以执行某些操作(例如,图像处理、深度数据学习算法或建模等,作为软件即服务或SaaS平台的一部分)。响应于该请求,主机服务器将任务分配给由主机服务器管理的计算节点或计算服务器(具有一个或多个GPU)中的一个或多个。计算服务器执行实际任务,其可在操作期间产生热量。
电子机架200还包括可选的RMU 202,其配置为提供和管理提供给服务器203和CDU201的电力。RMU 202可联接至电源单元(未示出)以管理电源单元的功耗。电源单元可包括必要的电路(例如,交流(AC)到直流(DC)或DC到DC功率转换器、电池、变压器或调节器等),以向电子机架200的其余部件提供电力。
在一个实施方式中,RMU 202包括优化模块221和机架管理控制器(RMC)222。RMC222可包括监控器以监控电子机架200内的各种部件的操作状态,例如计算节点203、CDU201和风扇模块。具体地,监控器从各种传感器接收表示电子机架200的操作环境的操作数据。例如,监控器可接收表示处理器、冷却液体和气流的温度的操作数据,这些数据可经由各种温度传感器来捕获和收集。监控器还可接收表示由风扇模块和液体泵212产生的风扇功率和泵功率的数据,其可与它们各自的速度成比例。这些操作数据被称为实时操作数据。应注意,监控器可实施为RMU 202内的单独模块。
基于操作数据,优化模块221使用预定的优化函数或优化模型执行优化,以导出用于风扇模块的一组最佳风扇速度和用于液体泵212的最佳泵速度,使得液体泵212和风扇模块的总功耗达到最小,同时与液体泵212和风扇模块的冷却风扇相关联的操作数据在它们各自的设计规范内。一旦确定了最佳泵速度和最佳风扇速度,RMC 222基于最佳泵速度和风扇速度配置液体泵212和风扇模块的冷却风扇。
作为示例,基于最佳泵速度,RMC 222与CDU 201的泵控制器通信以控制液体泵212的速度,其进而控制供应到液体歧管225的、以分配到服务器底盘203中的至少一些的冷却液体的液体流速。类似地,基于最佳风扇速度,RMC 222与风扇模块中的每个通信以控制风扇模块的每个冷却风扇的速度,其进而控制风扇模块的气流速率。应注意,风扇模块中的每个均可用其特定的最佳风扇速度单独控制,并且不同的风扇模块和/或相同风扇模块内的不同冷却风扇可具有不同的最佳风扇速度。
应注意,图2所示的机架配置仅为了说明的目的而示出和描述;也可应用其它配置或布置。例如,CDU 201可以是可选单元。服务器底盘203的冷板可联接至机架歧管,该机架歧管可直接联接至房间歧管131至132,而不使用CDU。尽管未示出,电源单元可设置在电子机架200内。电源单元可实施为与服务器底盘相同或类似的标准底盘,其中,电源底盘可插入到标准搁架中的任一个中,以代替服务器底盘203中的任一个。此外,电源底盘还可包括备用电池单元(BBU),以在主电源不可用时向服务器底盘203提供电池电力。BBU可包括一个或多个电池组,并且每个电池组包括一个或多个电池单元,以及用于对电池单元进行充电和放电的必要的充电和放电电路。
图3是示出根据一个实施方式的处理器冷板配置的框图。处理器/冷板组件300可表示如图2所示的服务器底盘203的处理器/冷板结构中的任一个。参照图3,处理器芯片301被插入到安装在联接至数据处理系统或服务器的其它电子部件或电路的印刷电路板(PCB)或母板302上的处理器插座上。处理器芯片301还包括与其附接的冷板303,该冷板303联接至机架歧管,机架歧管联接至液体供应管线132和/或液体返回管线131。由处理器芯片301产生的一部分热量经由冷板303由冷却液体除去。热量的剩余部分进入下面或上面的空气空间,该空气空间可被由冷却风扇304产生的气流去除。在其它实施方式中,冷板303可以是其它类型的冷却设备的形式,诸如空气冷却散热器、两相冷却设备等。为了简洁起见,在以下描述中,使用冷板作为示例,但是所公开的实施方式中的每个均可使用任何其它冷却设备来实现。
在图3中,当处理器芯片301是异构封装时,在封装表面上产生的热量是不均匀的。因此,在图3中,传热设备305插入到封装的处理器芯片301与冷板303之间,以从封装301提取热量,并在封装301的表面上以不同的速率将热量传递到冷板303。在所公开的实施方式中,传热设备305是模块化的,并且可装配到在其表面上具有不同热分布的不同封装上。图3的示例示出了与冷板303分离的传热设备305;然而,在其它实施方式中,传热设备305可与冷板303成一体。
所公开的实施方式提供了利用传热元件(包括热电冷却设备)的复合结构,用于异构封装的处理器的热管理。在传热设备中使用一个或多个热电冷却器,任选地与其它传热元件(诸如铜块)组合使用。具有特定空间的专用层用于组装传热元件,例如热电冷却器,以增强从封装芯片到冷板的热传递。传热设备包括一个或几个特定的空间,其中可插入不同的传热元件。示例包括用于不同设计目标的TEC单元或无源传导铜块。空间中的每个内均设计有电连接,用于为任何插入的TEC提供DC电源。绝缘体用于多个位置以及铜块上。公开了一种完整的复合封装结构。
所公开的创新结构设计能够容易地安装和拆卸一个或多个TEC单元和铜块,并且一旦插入,它们与壳体良好地接触以消除间隙,以便确保适当的热管理。在一个实施方式中,层可设计为诸如冷板或散热器的冷却设备与异构ASIC封装之间的分离的单元封装。在其它实施方式中,它可集成到冷却设备中。
图4A和图4B是根据实施方式的传热设备的顶视图,其中,图4A示出了没有传热元件的设备,以及图4B示出了插入有传热元件的设备。如图所示,传热设备400具有包括多个通道405的包装或壳体402,通道405可称为增强通道,因为它们起到增强传热的作用。在该具体示例中,示出了五个通道405,但是可形成任意数量的通道。根据具体的传热要求,这些通道405用于以不同的组合将TEC单元410和铜块415插入其中。如果通道405填充有TEC410,则通道和TEC的占地区旨在完全或部分地覆盖需要增强热传递的特定部件的表面的顶部。该特定部件可指高功率部件、高温敏部件、需要更好冷却条件的部件、位于没有完全被冷板主冷却区域覆盖的位置的部件等。当使用规则块415时,其指示在与该位置处的封装的表面垂直的方向上不需要增强的冷却。在公开的实施方式中,传热块415的材料与传热设备400的包装402相同,以便不会降低热传递。
电端子焊盘420和422以及电线424预先组装在传热设备400内。一旦TEC 410插入,它就自动地连接至电端子焊盘420和422,并准备好接收DC电源。电端子焊盘具有用于通道405中的每个的正极侧420和负极侧422,使得每个通道均可填充TEC。在底部示出绝缘体426以将包装402与电源隔离。电端口428用于连接至外部DC电源。在一个实施方式中,正极端口和负极端口可切换,或者可使用多个电源端口来切换TEC的冷侧和热侧。当铜块插入时,其在端部处绝缘以防止其连接至电端子焊盘。
图4B示出了组装的传热设备,其中TEC 410和无源块415插入通道405中。在所示的具体示例中,TEC 410插入两个端部通道405中,而实心块415插入中间的三个通道中。该示例是特别针对异构封装的两个端部区域需要增强的热传递的情况,其中,两个TEC 410的占地区覆盖了温敏部件所占据的区域。当然,这只是一个示例,通道405可根据需要填充不同数量和配置的TEC和块。附带地,在块上需要绝缘体427以使它们与电端子焊盘420和422绝缘。
图4C示出了根据实施方式的传热设备400的前视图。在所示示例中,传热设备400还没有完全组装,并且没有传热元件插入通道405中。如图所示,在这种情况下,在包装402的上部与下部之间存在非常小的间隙。间隙404结构可在不同的机械设计中实现,例如,机械加工间隙或将包装制成两个部分。该间隙404用于根据需要容易地插入或拔出TEC或块。热界面材料(TIM)可在插入任何TEC或块之前预先填充在通道内,以确保适当的导热性。
如迄今为止所公开的,在此介绍的特征包括设计的模块化、组装的简易性、以及均匀的DC电源连接。设计的模块化能够由通道实现,其中,每个通道均可装载TEC或金属块,以适合不同的规格。可闭合的间隙能够在间隙打开时容易地组装和移除TEC和金属块,但是在间隙闭合时则提供良好的导热性。通道内壁上的TIM也有助于良好的导热性。通过在每个通道中具有DC端子,并且在TEC上具有匹配端子,能够实现通用DC连接,使得TEC在插入通道中时自动地连接至DC端子。这使得实现TEC端子的均匀设计,该TEC端子可用于任何异构封装规范。
图5A和图5B示出了根据实施方式的间隙的详细功能及其设计要求。图5A示出了组装和固定之前的传热设备500,而图5B示出了用压力载荷组装和固定之后的传热设备500。可看出,当单元已进行组装和压力加载时,图5A所示的间隙504在图5B中是闭合的。为了提高图5A和图5B所示设备的导热性,可实施以下步骤。铜块和TEC构建成具有相同的尺寸,并且在图5A和图5B中,高度h表示TEC或块的高度。
为了降低制造成本,TEC和块的形状因子是固定的。高度a表示组装前包装502的总高度,以及高度a1表示组装后的高度。高度b表示组装前通道505的高度,以及高度b1表示组装后的高度,其中,高度b1理论上等于高度h。高度d表示通道的高度b与TEC或块的高度h之间的差的一半。高度c表示组装前间隙504的高度。在这个位置,理论上c=2d,但是实际上c略小于2d。理论上,组装后的高度c1和d1为零;然而,在实践中,推荐在通道内衬有TIM(热界面材料),以在组装之后填充包装与TEC或块之间的任何间隙。
从图5A可理解,包装502可制造成一个机加工部分或两个区段502a和502b。图5C是示出其中包装502由两个镜像部分502a和502b制成的实施方式的横截面。当没有施加压力迫使两个区段压缩弹性元件并闭合间隙504时,这些部分可组装在一起,同时例如O形环的弹性元件503保持间隙。此外,通道505的内壁衬有TIM 506,以在包装与传热元件之间提供更好的导热性。另外,DC端子520和522设置在每个通道中并连接至电端口528。因此,存在用于将TEC连接至DC电源的单一均匀设计,并且在TEC插入到通道中时自动实现连接。具体地,TEC制造成具有在插入时与端子520和522配合的电端子。相反,金属块在DC端子的相同物理位置处设置有绝缘,使得它们不会使端子短路。
图5D是示出其中包装502由两个不同部分制成的实施方式的横截面。具体地,在该示例中,部分502b形成具有通道505的主块。部分502a形成盖,其可以是板的形式,而没有通道的任何部分。此外,在该实施方式中,空腔505的内壁衬有TIM 506。盖面向主块502b的表面衬有TIM 507,TIM 507可与TIM 506相同,或者可以是将盖粘附到主块502b的粘合剂TIM。
图5E是示出其中包装502由(例如,由铜块机加工而成的)单个块制成的实施方式的横截面。在该示例中,通道505和间隙504由块加工而成,使得在传热元件插入通道505中之后,两个区段502a和502b可压缩在一起。这可通过例如创建皱褶区域507来实现,该皱褶区域507也可用作弹性元件,以在去除压缩力之后使间隙返回到其原始方位。
在所公开的示例中,包装502的部分由与块415相同的材料制成,例如铜。通道505的内壁衬有TIM。一旦了解了要冷却的芯片的热需求,就决定将TEC插入哪个通道505以及将块插入哪个通道。在TEC和块已插入到选定的通道中之后,这两个区段放在一起并被压缩,从而产生图5B所示的布置。应注意,如图5A所示,可首先将两个区段放在一起,然后将TEC和块插入相应的通道中。
图6示出了使用传热设备600的实施方式的系统级集成部件封装的侧视图。在这个具体示例中,TEC 610插入到所有的通道605中。传热设备600压缩在冷板603与异构封装设备660之间。如图6所示,由于TEC增强了来自封装660的热传递,所以冷板603可较小,具有较小的传热面积,同时仍然满足散热要求。
图7示出了使用传热设备700的实施方式的系统级集成部件封装的侧视图。在该示例中,TEC 710插入两个端部通道705中,并且块715插入中间通道中。这样做是为了将热量从封装760的边缘传递到冷板比在中心更快。
图8示出了其中传热设备800与冷板803集成为一个完整单元的实施方式。实质上,冷板803形成传热设备800的壳体,使得通道805直接形成在冷板803中。冷板可经由液体联接器808进行液体冷却。在该具体示例中,通道中的每个均填充有TEC。
图8中还示出了从传热设备800的电端口828到母板801的电连接870,并且这可在虽然没有示出的其它实施方式中的任一个中实现。也可从其他源施加电源,但是从母板获得电源很方便,因为它就在附近。
图9是示出根据实施方式的用于制造冷却设备的过程的流程图。在框900中,根据本文中公开的实施方式中的任一个,制造具有通道和间隙的封装。在框905中,在通道内安装电触点和布线。在框910中,将通道的内壁衬有TIM或涂有TIM。在框915中,根据异构封装的传热要求,将一个或多个TEC设备和一个或多个金属块插入通道中。在步骤900至915期间,冷却设备还没有组装在冷板和异构封装内,因此间隙能够容易地插入TEC和金属块。而且,当TEC插入通道中的一个时,它自动地连接至通道内的电端子。在框920处,压缩封装以闭合间隙。这可与步骤925一起完成,在步骤925中,冷却设备与异构封装和冷板组装在一起。
在前面的说明书中,已经参考本发明的具体示例性实施方式描述了本发明的实施方式。显而意见的是,可对其进行各种修改,而不背离如所附权利要求书中所阐述的本发明的更宽的精神和范围。因此,说明书和附图被认为是说明性的,而不是限制性的。
Claims (19)
1.一种用于异构微芯片的冷却设备,包括:
壳体,由导热材料制成,所述壳体具有形成于其中的多个通道;
电触点,设置在所述多个通道中的每个内;
至少一个热电冷却设备,插入所述通道中的一个中,并与该通道内的电触点自动地连接以接收电源;以及
至少一个金属块,插入所述通道中的未插入所述热电冷却设备的一个中。
2.如权利要求1所述的冷却设备,其中,所有的所述多个通道具有相同的尺寸。
3.如权利要求2所述的冷却设备,还包括设置在所述通道的内壁上的热界面材料。
4.如权利要求2所述的冷却设备,其中,所述壳体还包括形成在所述通道之间的可压缩间隙。
5.如权利要求4所述的冷却设备,其中,所述可压缩间隙将所述壳体分成两部分。
6.如权利要求4所述的冷却设备,其中,所述通道的高度减去所述间隙的高度等于所述热电冷却设备的高度。
7.如权利要求4所述的冷却设备,还包括保持所述间隙处于打开位置的弹性元件。
8.如权利要求2所述的冷却设备,还包括设置在所述多个通道中的每个内的直流电端子。
9.如权利要求2所述的冷却设备,其中,所述壳体和所述金属块由铜制成。
10.一种用于向具有异构芯片的服务器节点提供冷却的方法,包括:
提供其中形成有多个通道的冷却设备;
获取所述异构芯片的热分布规范,并根据所述规范在所述通道中的至少一个中插入至少一个热电冷却元件,以及在剩余的空通道中插入金属块;
在所述多个通道中的每个中安装电触点,使得将所述热电冷却元件插入所述通道中的一个中时自动地接合所述电触点,以向所述热电冷却元件供应直流电源;以及
将所述冷却设备附接至所述异构芯片。
11.如权利要求10所述的方法,其中,附接步骤包括在所述异构芯片与冷板之间压缩所述冷却设备。
12.如权利要求11所述的方法,其中,所述冷却设备设置有与所述多个通道相交的间隙,以及其中,压缩步骤闭合所述间隙。
13.如权利要求10所述的方法,还包括:用热界面材料涂覆所述通道的内壁。
14.如权利要求10所述的方法,其中,还包括:将液体联接器固定至所述冷却设备。
15.一种服务器节点,包括:
母板;
异构芯片,固定至所述母板;
传热设备,附接至所述异构芯片的盖,所述传热设备包括:
壳体,由导热材料制成,所述壳体具有形成于其中的多个通道;
电触点,设置在所述多个通道中的每个内;
至少一个热电冷却设备,插入所述通道中的一个中,并与该通道内的电触点自动地连接以接收电源;以及
至少一个金属块,插入所述通道中的未插入所述热电冷却设备的一个中。
16.如权利要求15所述的服务器节点,还包括将所述电触点连接至所述母板的引线。
17.如权利要求15所述的服务器节点,还包括附接在所述壳体顶部上的冷板。
18.如权利要求15所述的服务器节点,还包括设置在所述通道的内壁上的热界面材料。
19.如权利要求15所述的服务器节点,还包括联接至所述壳体的冷却管。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/894,487 | 2020-06-05 | ||
US16/894,487 US11178795B1 (en) | 2020-06-05 | 2020-06-05 | Modular thermoelectric-based cooling device for heterogeneous packages |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113764367A CN113764367A (zh) | 2021-12-07 |
CN113764367B true CN113764367B (zh) | 2024-06-07 |
Family
ID=78524326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011437682.4A Active CN113764367B (zh) | 2020-06-05 | 2020-12-11 | 用于异构封装的模块化的基于热电的冷却设备 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11178795B1 (zh) |
CN (1) | CN113764367B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW540293B (en) * | 2001-06-01 | 2003-07-01 | Active Cool Ltd | High power active cooling system for a CPU or other heat sensitive element |
CN109247082A (zh) * | 2017-05-05 | 2019-01-18 | 百度时代网络技术(北京)有限公司 | 用于数据中心中的it部件的电子机架的无风扇无冷却器式液-气冷却装置 |
CN110381696A (zh) * | 2018-04-12 | 2019-10-25 | 百度(美国)有限责任公司 | 用于数据中心电子机架的液体冷却的液体分配单元设计 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6424533B1 (en) * | 2000-06-29 | 2002-07-23 | International Business Machines Corporation | Thermoelectric-enhanced heat spreader for heat generating component of an electronic device |
US8058724B2 (en) * | 2007-11-30 | 2011-11-15 | Ati Technologies Ulc | Holistic thermal management system for a semiconductor chip |
US8164901B2 (en) * | 2008-04-16 | 2012-04-24 | Julius Neudorfer | High efficiency heat removal system for rack mounted computer equipment |
DE102014214285A1 (de) * | 2014-07-22 | 2016-02-11 | Mahle International Gmbh | Temperiervorrichtung, insbesondere für eine Batterie eines Kraftfahrzeugs |
CN107690558A (zh) * | 2015-06-10 | 2018-02-13 | 金瑟姆股份有限公司 | 用于运载工具电池的具有隔热特征的热电模块 |
US10485143B2 (en) * | 2018-03-10 | 2019-11-19 | Baidu Usa Llc | Cold plate assembly for server liquid cooling of electronic racks of a data center |
US10681846B2 (en) * | 2018-04-19 | 2020-06-09 | Google Llc | Cooling electronic devices in a data center |
US10736240B2 (en) * | 2018-05-24 | 2020-08-04 | Baidu Usa Llc | High reliability cooling module design for IT and data center liquid cooling |
-
2020
- 2020-06-05 US US16/894,487 patent/US11178795B1/en active Active
- 2020-12-11 CN CN202011437682.4A patent/CN113764367B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW540293B (en) * | 2001-06-01 | 2003-07-01 | Active Cool Ltd | High power active cooling system for a CPU or other heat sensitive element |
CN109247082A (zh) * | 2017-05-05 | 2019-01-18 | 百度时代网络技术(北京)有限公司 | 用于数据中心中的it部件的电子机架的无风扇无冷却器式液-气冷却装置 |
CN110381696A (zh) * | 2018-04-12 | 2019-10-25 | 百度(美国)有限责任公司 | 用于数据中心电子机架的液体冷却的液体分配单元设计 |
Also Published As
Publication number | Publication date |
---|---|
US20210385977A1 (en) | 2021-12-09 |
CN113764367A (zh) | 2021-12-07 |
US11178795B1 (en) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200275579A1 (en) | Liquid Distribution Unit Design for Liquid Cooling of Electronic Racks of a Data Center | |
CN112118704B (zh) | 用于服务器的冷却模块 | |
CN112399775B (zh) | 具有多功能热交换器的用于高密度机架的冷却系统 | |
US11606885B2 (en) | Composite multiple channel liquid component for liquid cooled electronics | |
US10905031B1 (en) | Universal cooling baseboard module | |
US20200404805A1 (en) | Enhanced cooling device | |
US10916818B2 (en) | Self-activating thermal management system for battery pack | |
US11528826B2 (en) | Internal channel design for liquid cooled device | |
US11602041B2 (en) | Cooling packages for heterogenous chips | |
US20220272874A1 (en) | Advanced fluid connection design for multiple phase system | |
CN113727574A (zh) | 基于高弹性部署的电子机架冷却系统 | |
CN112448065A (zh) | 电池组喷射冷却 | |
CN112259852A (zh) | 用于电池模块的架设计 | |
US20230200025A1 (en) | Prefabricated module for heterogeneous data centers | |
CN113764367B (zh) | 用于异构封装的模块化的基于热电的冷却设备 | |
US11627687B2 (en) | Multiple phase multiple system architecture | |
US11758693B2 (en) | Connection module for fluid management in liquid cooled electronics system | |
US11740003B2 (en) | Optimized air cooling unit | |
CN114080140A (zh) | 用于电子机架的混合冷却系统 | |
US20220377942A1 (en) | Multiple channels based cooling device for chips | |
CN113809428B (zh) | 用于单元密集布置的热电冷却器级联封装 | |
CN115500045A (zh) | 用于冷板液体冷却的泄漏保护 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |