CN112202157A - 用于动态可重配置的电源平面的超导体网络 - Google Patents
用于动态可重配置的电源平面的超导体网络 Download PDFInfo
- Publication number
- CN112202157A CN112202157A CN202011090546.2A CN202011090546A CN112202157A CN 112202157 A CN112202157 A CN 112202157A CN 202011090546 A CN202011090546 A CN 202011090546A CN 112202157 A CN112202157 A CN 112202157A
- Authority
- CN
- China
- Prior art keywords
- power
- cable network
- servers
- power source
- superconducting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000002887 superconductor Substances 0.000 title abstract description 5
- 238000012423 maintenance Methods 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000011144 upstream manufacturing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 229910052802 copper Inorganic materials 0.000 description 4
- 239000010949 copper Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J1/00—Circuit arrangements for dc mains or dc distribution networks
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/18—Packaging or power distribution
- G06F1/189—Power distribution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/263—Arrangements for using multiple switchable power supplies, e.g. battery and AC
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J1/00—Circuit arrangements for dc mains or dc distribution networks
- H02J1/10—Parallel operation of dc sources
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J3/00—Circuit arrangements for ac mains or ac distribution networks
- H02J3/38—Arrangements for parallely feeding a single network by two or more generators, converters or transformers
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
- H05K7/00—Constructional details common to different types of electric apparatus
- H05K7/14—Mounting supporting structure in casing or on frame or rack
Landscapes
- Engineering & Computer Science (AREA)
- Power Engineering (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
- Supply And Distribution Of Alternating Current (AREA)
Abstract
本申请涉及用于动态可重配置的电源平面的超导体网络。一种系统,所述系统包括:超导电缆网络,所述超导电缆网络被配置成向布置在建筑物的空间内的多个服务器机架供应电力;第一电源连接,所述第一电源连接被配置成将第一电源从所述建筑物的第一侧连接到所述超导电缆网络并且被配置成向所述超导电缆网络的第一区段供应电力;第二电源连接,所述第二电源连接被配置成将第二电源从所述建筑物的与所述第一侧不同的第二侧连接到所述超导电缆网络并且被配置成向所述超导电缆网络的第二区段供应电力;以及多个母线管道,每个母线管道被配置成将所述超导电缆网络连接到所述多个服务器机架中的一个或多个。
Description
技术领域
本公开涉及用于动态可重配置的电源平面的超导体网络。
背景技术
大规模数据中心包括需要电力来操作的许多服务器机架。数据中心建筑物可以具有若干地板层,每个地板层在其上具有服务器机架。对于每层地板,可以使服务器机架保持在地板上,同时经由被定位在服务器机架上方、在服务器机架下面或在服务器机架旁边的地板水平面上的母线槽将电力路由到服务器机架。提供给数据中心的单个地板层的电力可以是大约数十兆瓦,并且提供给数据中心的建筑物的电力可以是大约数百兆瓦。
电力是从一个或多个电源提供的。通常,电力从一侧被路由到建筑物中,并且经由母线槽的分支网络在服务器机架的各过道之间被划分。在一个示例系统中,可以通过分流电连接来将电力从一个或多个电源馈送到数据中心的一个或多个地板层,并且该电连接连接到并行的母线槽。母线槽将电力从建筑物的第一侧递送到建筑物的第二侧。每个母线槽可以沿着建筑物内的并行过道连接到服务器机架。
电力分配经受若干缺点。因为仅从建筑物的第一侧提供电力,所以所提供的电力的电流密度在第一侧比在第二侧高得多。然而,母线槽通常被均匀地设计,这导致更靠近建筑物的第二侧的母线槽的导电材料的利用不足。也需要复杂且昂贵的基础设施,包括转换开关和断路器,以使电源分流到各母线槽且到数据中心的多个过道的各服务器机架。
单向电力分配的另一问题是发生故障的上游装备能够导致下游装备停机。需要冗余母线槽和附加基础设施以便为在上游装备发生故障时提供备用配电解决方案,以及在不使系统的其余部分脱机的情况下适应系统的一个区段的维护。
附加地,因为数据中心的每个过道被设计成接收相同量的电力,所以有必要使数据中心在母线槽与过道之间的服务器机架平衡,使得一个母线槽或过道的功率密度不会与另一母线槽或过道的功率密度不平衡。为了避免不平衡,必须在数据中心中各处分配需要相对较高的电流密度的服务器,诸如机器学习数据目录(MLDC)服务器,并且需要仔细的提前计划以避免这些高功率密度服务器集中在建筑物的单个部分中。
发明内容
本公开提供了一种包括在动态可配置的电源平面中以用于给诸如数据中心的大规模系统供电的超导电缆网络。电源平面可以被布置成从建筑物的多个侧接收电力,并且超导电缆可以控制所接收到的电力在整个建筑物中的方向和分布。
本公开的一个方面涉及一种系统,该系统包括:超导电缆网络,该超导电缆网络被配置成向布置在建筑物的空间内的多个服务器机架供应电力;第一电源连接,该第一电源连接被配置成将第一电源从建筑物的第一侧连接到超导电缆网络并且被配置成向超导电缆网络的第一区段供应电力;第二电源连接,该第二电源连接被配置成将第二电源从建筑物的与第一侧不同的第二侧连接到超导电缆网络并且被配置成向超导电缆网络的第二区段供应电力;以及多个母线管道,每个母线管道被配置成将超导电缆网络连接到所述多个服务器机架中的一个或多个。
在一些示例中,第一侧和第二侧可以是建筑物的相对侧。
在一些示例中,系统可以进一步包括多个开关控制器。每个开关控制器可以被配置成控制第一电源连接和第二电源连接中的至少一个与至少一个服务器机架之间的电连接。
在一些示例中,所述多个开关控制器可以包括超导开关,该超导开关被定位在超导电缆网络的第一区段与第二区段之间并且可以被配置成控制超导电缆网络的第一区段与第二区段之间的电连接。
在一些示例中,所述多个开关控制器可以包括电开关,该电开关被定位在第一母线管道处并且可以被配置成控制第一母线管道与连接到第一母线管道的一个或多个服务器机架之间的电连接。
在一些示例中,所述多个开关控制器可以包括电开关,该电开关被定位在第一服务器机架处并且可以被配置成控制连接到第一服务器机架的多个母线管道与第一服务器机架之间的电连接。
在一些示例中,可以将所述多个服务器机架划分成多个分立部分,其中,每个分立部分被连接到第一电源和第二电源中的每一个。所述多个开关控制器可以被配置成使所述多个服务器机架的各分立部分中的任何一个与第一电源和第二电源断开连接,同时所述多个服务器机架的其他部分保持连接到第一电源或第二电源中的至少一个。
在一些示例中,超导电缆网络可以被布置成允许电力以蛇形配置从中流过。
在一些示例中,超导电缆网络可以被布置成允许电力以环形配置从中流过。
在一些示例中,超导电缆网络可以被布置成允许电力以网状配置从中流过。
在一些示例中,超导电缆网络可以被定位在所述多个服务器机架正上方。
在一些示例中,建筑物的空间可以包括:第一区段,其包含被指派了相对较高的优先级的第一部分服务器;和第二区段,其包含被指派了相对较低的优先级的第二部分服务器。
在一些示例中,第一部分服务器可以包括机器学习服务器或网络设备中的至少一个。
在一些示例中,超导电缆可以被配置成发送介于约1kV与40kV之间的直流(DC)电压。
在一些示例中,超导电缆可以被配置成发送介于约10kA与30kA之间的DC电流。
本公开的另一方面涉及一种数据中心,该数据中心包括:根据本文描述的实施例中的任何一个的系统;和布置在建筑物的空间内的多个服务器机架。
本公开的又一方面涉及一种用于更新数据中心内的部分服务器的服务器维护方法,该数据中心包括超导电缆网络,该超导电缆网络被配置成从第一电源和第二电源中的每一个向布置在建筑物的空间内的多个服务器机架供应电力。超导电缆网络可以经由定位在建筑物的第一侧的第一电源连接而连接到第一电源并且经由定位在建筑物的与第一侧不同的第二侧的第二电源连接而连接到第二电源。一个或多个控制器可以被配置成控制第一电源和第二电源与多个服务器机架之间的电连接。该方法可以包括:从所述一个或多个控制器提供第一控制信号,用于使第一部分服务器与第一电源和第二电源电力地断开连接而不使第二部分服务器与第一电源和第二电源断开连接;对第一部分服务器进行维护;从所述一个或多个控制器提供第二控制信号,用于将第一部分服务器电力地重新连接到第一电源和第二电源而不使第二部分服务器与第一电源和第二电源断开连接;从所述一个或多个控制器提供第三控制信号,用于使第二部分服务器与第一电源和第二电源电力地断开连接而不使第一部分服务器与第一电源和第二电源断开连接;对第二部分服务器进行维护;以及从所述一个或多个控制器提供第四控制信号,用于将第二部分服务器电力地重新连接到第一电源和第二电源而不使第一部分服务器与第一电源和第二电源断开连接。第一部分服务器和第二部分服务器可以根据相应的机密性等级被划分或分段。
在一些示例中,第一控制信号可以使超导电缆网络的第一区段与超导电缆网络的第二区段电力地断开连接,而第二控制信号可以使超导电缆网络的第一区段电力地重新连接到超导电缆网络的第二区段。
在一些示例中,第一控制信号可以在被配置成从超导电缆网络向第一部分服务器提供电力的一个或多个直流母线管道处使第一部分服务器与超导电缆网络电力地断开连接,而第二控制信号可以在所述一个或多个直流母线管道处将第一部分服务器电力地重新连接到超导电缆网络。
在一些示例中,第一控制信号可以使第一部分服务器的第一服务器机架与第一直流母线管道和第二直流母线管道中的每一个电力地断开连接,其中所述第一直流母线管道被配置成从第一电源向第一服务器机架提供电力、而所述第二直流母线管道被配置成从第二电源向第一服务器机架提供电力,并且第二控制信号可以将第一服务器机架电力地重新连接到第一直流母线管道和第二直流母线管道。
附图说明
图1是根据本公开的各方面的示例数据中心系统的电连接的示意图。
图2是根据本公开的各方面的电源平面与服务器基础设施之间的示例电连接的示意图。
图3和图4是根据本公开的各方面的图2的示例电连接的示例实现方式。
图5是根据本公开的各方面的电源平面与服务器基础设施之间的另一示例电连接的示意图。
图6是根据本公开的各方面的图6的示例电连接的示例实现方式。
图7是根据本公开的各方面的电源平面与服务器基础设施之间的另一示例电连接的示意图。
图8和图9是根据本公开的各方面的图8的示例电连接的示例实现方式
图10是根据本公开的各方面的示例服务器维护例程的流程图。
具体实施方式
概述
技术一般地涉及一种用于在诸如数据中心的大规模系统中分配电力的超导体电缆网络,并且更具体地涉及一种用于给诸如数据中心的大规模系统供电的动态可配置的电源平面的开关网络。
可以通过电力母线将电力分配给大规模系统。电力母线可以包括用于承载电力的母线槽。电力母线可以包括若干连接元件,包括用于将电力母线连接到数据中心中的服务器机架排的母线槽连接,以及用于在多个点处将电力母线连接到一个或多个电源的电源连接。开关网络可以包括多个开关,这多个开关被包括在电力母线中并且被配置成在电源与母线槽连接之间引导电力,以便向所有服务器机架提供电力。
可以使用控制信号来控制开关以便于以期望的方式在整个数据中心中分配电力。例如,电力可以从数据中心的一区段分流,同时数据中心的其余部分继续接收电力并保持运行。这可以被进行以便在数据中心的其余部分保持运行的同时对数据中心的已断开连接的区段执行维护。
系统可以被布置成控制电力母线内的电力的集中。例如,电源连接可以位于数据中心的不同象限或侧。附加地,可以在电力母线内提供双向和多向开关以方便在整个系统中重新引导电力。此类配置避免了电流从数据中心的高电流密度侧到低电流密度侧的单向流动。因此,可以能够在整个数据中心中实现更均匀的电流密度,而同时使得高功率密度能够被按需引导到数据中心的特定位置。
本文描述的布置提供了优于从“上游”母线元件向“下游”元件提供单向电流流动的常规数据中心电力母线的许多优点。例如,常规数据中心电力母线可能要求在不同电流密度下的服务器机架之间平衡,具有上游故障导致下游断电的风险,并且通常对下游母线元件的利用不足,因为电流密度随着与电源相距的距离增加而减小。相比之下,本公开的电力母线和开关网络布置允许实现双向和多向电流流动,从而意味着母线元件彼此不是“上游的”或“下游的”,可以在整个数据中心中使电流密度平衡,并且母线元件不会利用不足。
示例系统
图1图示用于在大规模数据中心110中分配电力的示例系统100。数据中心110可以从建筑物的不止一侧接收电力。例如,建筑物的第一侧112可以包括至少第一电源122与电力母线130之间的电连接,而建筑物的第二侧114可以包括至少第二电源124与电力母线130之间的电连接。
电力母线130可以是由超导电缆组成的母线槽。超导电缆可以被配置成承载介于约10kA至30kA之间的直流(DC)电。由于超导电缆的低电阻,在超导电缆的给定点处的电压可以介于1kV至40kV之间。
每条超导电缆可以连接到一个或多个服务器机架140。电力母线130可以是定位在服务器机架140正上方的电源平面,以便在数据中心地板处留出空间。或者,考虑到超导电缆与标准电力母线的传导母线槽元件比较相对较小的尺寸,可以将电源平面布线在服务器机架140正下方,这也可以在数据中心地板处留出空间。作为另一个替代方案,超导电缆可以在服务器机架140旁边的地板水平面上,而不占用过多的空间。
电力母线130可以被配置成通过母线区段网络在整个建筑物中转移并引导电力。由于超导电缆中的低电阻,从建筑物的第一侧112提供的电力能够以由于电阻而导致的最小损失通过超导电缆传递到建筑物的第二侧。这意味着高电流密度可以容易地集中在数据中心建筑物的任何给定位置处,所以能够在任何位置处满足对高电流密度的需求。满足高电流密度需求的能力包括即使当数据中心的分立区段中的两个或更多个服务器机架同时要求高电流密度时也是如此。
在图1的示例中,建筑物的第一侧112和第二侧114是建筑物的相对侧。然而,在其他示例中,第一侧和第二侧可以是建筑物的相邻侧或非相对侧,只要电力不沿单个下游方向贯穿建筑物即可。附加地,可以向建筑物提供不止两个电源。在图1的示例中,示出了四个电源,但是在其他示例中,可以连接更多或更少的电源。也应该理解,在其他示例中,电源可以从建筑物的任何侧连接到母线槽元件。此外,尽管图1示出数据中心的仅一个地板层的示意布局,但是应该理解,数据中心可以包括多个地板层,每个地板层包括附加服务器和服务器机架,它们可以具有与图1中所示的地板层相同或类似的布局。
图2图示数据中心的超导电缆电源平面与服务器机架之间的示例电连接。在图2的系统200中,数据中心建筑物210从建筑物210的相对侧连接到电源A 222和电源B 224中的每一个。通过在建筑物210的相对端的电源连接,两个电源连接到建筑物内部的超导电缆网络230。在图2的示例中,两个电源222、224都连接到相同的超导电缆,使得可以将来自两个电源222、224的电力引导到超导电缆网络230内的任何点。服务器机架242、244、246可以通过到超导电缆的连接电连接到两个电源222、224。
在图2的示例中,电源平面230被示出为包括用于向DC母线管道260提供DC电源的接口250。DC母线管道260可以将电力从电源平面承载到已连接的服务器机架1-N、242、244、246中的每一个。可以以各种配置中的任一种布置电源平面,各种配置包括但不限于网状配置、环形配置和蛇形配置。附加地,在本文的一些示例布置中,可以在电源平面内提供一个或多个控制器以通过电源平面引导或分配电力,这继而可以控制电源平面的配置。因此,通过电源平面中的控制器,电源平面可以从网状配置到环形配置或者反之亦然,或者介于其他示例配置中的任一种之间。
接口250可以被设计成将电源平面230的超导电缆对接到DC母线管道260中包括的铜导体的铜板。超导电缆通常被设计成在非常低温度下运行以便维持低电阻性能。相比之下,铜导体被设计成在室温下或室温附近导电。因此,接口250被专门地设计成提供非常低温度的超导电缆与相对较热的母线管道之间的电连接,同时维持温度差并且避免超导电缆处的电阻增加或效率降低。附加地,超导电缆可以具有数千伏特的高电压和数千安培的高电流,然而DC母线管道可以被配置成承载数大约数百伏特的中等电压,诸如介于110至440伏特之间,并且承载相对较低的电流,诸如商品级电流,诸如约20A。因此,接口250也被专门地设计成提供诸如超导电缆的高电压线与诸如铜DC母线管道的中等电压线之间的电连接。此类接口已经在其他应用中得以高效地且在没有超导电缆降级的情况下发展,诸如在应用CERN的大型强子对撞机的电力传输中,并且能被以类似的方式应用于将电力分配给数据中心的服务器机架。DC母线管道260可以通过一个或多个相应的抽头连接器262、264、266进一步连接到多个服务器机架1-N、242、244、246。
尽管出于图示的目的在图2中示出了仅一个DC母线管道260,但是应该理解,数据中心包括多个DC母线管道,每个母线管道在分布在整个电源平面中的各种接口点处连接到电源平面。每个DC母线管道与电源平面比较可以具有相对较短的长度,并且可以连接到有限数目的服务器机架。例如,DC母线管道可以具有介于约10米与100米之间的长度,并且可以连接到数百个服务器机架。短DC母线管道的使用为配置数据中心提供了高度的灵活性,使得可以在不同的DC母线管道之间并在建筑物的不同区段之间提供宽范围的功率密度。
电源平面230、DC母线管道260和服务器机架242、244、246之间的电连接可以由一个或多个控制器(未示出)控制。在一些示例中,控制器可以是可从数据中心建筑物内访问的手动操作的物理开关。物理开关可以分布在整个建筑物中,集中在具体位置中,或二者的某种组合。在其他示例中,控制器可以包括具有一个或多个处理器、用于存储要由该一个或多个处理器执行的指令操作的存储器和输入/输出组件的一个或多个计算系统。处理器可以是公知处理器或其他鲜为人知类型的处理器,并且可以是诸如ASIC的专用控制器。存储器可以是一种能够存储可由处理器访问的信息的非暂时性计算机可读介质,诸如硬盘驱动器、固态驱动器、磁带驱动器、光学存储装置、存储卡、ROM、RAM、DVD、CD-ROM、可写和只读存储器。输入/输出组件可以能够发送和接收数据,诸如接收诸如用户输入的输入信号或关于数据中心的监视数据、以及发送要控制接口250和抽头连接器262、264、266中的一者或两者的控制信号。
图3图示诸如在图2的系统200中那样使用超导电缆的配电系统300的示例实现方式。在图3的示例中,每个服务器机架342、344、346、348通过接口350、DC母线管道360和如关于图2描述的抽头连接而连接到电源平面330。控制器310沿着DC母线管道360定位,以便控制打开和关闭DC母线管道360与服务器机架之间的连接。因此,控制器被配置成通过DC母线管道360向接口350和各个抽头连接器提供控制信号,从而控制从电源平面330到各个服务器机架342、344、346、348的电力分配。在图3的示例中,数据中心的每个DC母线管道可以被提供有单独的控制器,以便控制从电源到连接到该DC母线管道的服务器机架的电力分配。
图4图示诸如在图2的系统200中那样使用超导电缆的配电系统400的替代示例实现方式。在图4的示例中,每个服务器机架442、444、446、448通过接口450、DC母线管道460和如关于图2描述的抽头连接而连接到电源平面430。相应的控制器412、414、416、418被定位在对应的服务器机架442、444、446、448处。每个控制器被配置成控制打开和关闭DC母线管道460与控制器对应的服务器机架之间的连接。因此,每个控制器被配置成管理从各个抽头连接DC母线管道460到相应的服务器机架的电力分配,继而控制从电源平面430到各个服务器机架442、444、446、448的电力分配。在图4的示例中,每个服务器机架可以被提供有单独的控制器。或者,服务器机架的集群可以被提供有单个控制器,从而在逐集群基础上控制电力分配。
在图2-4的示例中,每个服务器机架通过单个超导电缆连接而连接到两个电源。然而,在其他示例中,服务器机架可以通过相应的超导电缆连接而连接到不同的电源。
图5图示数据中心的超导电缆电源平面与服务器机架之间的另一示例电连接。在图5的系统500中,数据中心建筑物510从建筑物510的相对侧连接到电源A 522和电源B 524中的每一个。电源A 522通过在建筑物510的第一侧的第一电源连接而连接到建筑物内部的第一电源平面超导电缆网络532。电源B 524通过在建筑物510的相对的第二侧的第二电源连接而连接到建筑物内部的第二电源平面超导电缆网络534。
在图5的示例中,超导电缆网络532、534彼此未连接,使得电源522、524被连接到不同的超导电缆。然而,两个网络可以被布置成彼此并行地运行,以便从任何一个电源向建筑物510内的任何点提供电力。在其他示例布置中,建筑物可以包括用于将两个网络彼此连接以便形成单个网络的连接。这可能导致超导电缆网络具有至少一些冗余电缆。
服务器机架542、544、546可以从并行电源平面网络532、534通过到相应的超导电缆的连接电连接到两个电源522、524。在图5的示例中,第一电源平面532被示出为包括用于向第一DC母线管道562提供DC电源的接口552。第一DC母线管道562可以将电力从第一电源平面532承载到已连接的服务器机架1-N、542、544、546中的每一个。并行地,第二电源平面534被示出为包括用于向第二DC母线管道564提供DC电源的接口554。第二DC母线管道564可以将电力从第二电源平面534承载到已连接的服务器机架1-N、542、544、546中的每一个。因此,每个服务器机架可以包括多个连接以便连接到多个电源。
图6图示诸如在图5的系统500中那样使用连接到相应的电源的多个超导电缆网络的配电系统600的示例实现方式。在图6的示例中,每个服务器机架642、644、646、648通过第一接口652、第一DC母线管道662和如关于图5所描述的抽头连接而连接到第一电源平面632。相应的控制器612、614、616、618被定位在对应的服务器机架642、644、646、648处。每个控制器被配置成控制打开和关闭DC母线管道662、664与控制器对应的服务器机架之间的连接。因此,每个控制器被配置成管理从每个DC母线管道662、664的各个抽头连接到相应的服务器机架的电力分配,继而控制从两个电源平面632、634到各个服务器机架642、644、646、648的电力分配。与图3的示例一样,每个服务器机架可以被提供有单独的控制器,或者服务器机架的集群可以被提供有单个控制器,从而在逐集群基础上控制电力分配。
在其他示例中,可以提供控制器来代替或补充图6中所示的控制器612、614、616、618,例如,可以沿着第一DC母线管道662定位第一控制器以便控制打开和关闭第一DC母线管道662与服务器机架之间的连接,并且可以沿着第二DC母线管道664定位第二控制器以便控制打开和关闭第二DC母线管道664与服务器机架之间的连接。此布置类似于关于图3描述的布置,但是被适配成控制通过单独的超导电缆电源平面网络从多个电源接收的电力。
在图2-图6的示例中,每个DC母线管道连接到相应的超导电缆。然而,在其他示例中,DC母线管道可以包括多个超导电缆连接以便连接到多个电源平面,或更特别地连接到多个电源。
图7图示数据中心的超导电缆电源平面与服务器机架之间的另一示例电连接。在图7的系统700中,数据中心建筑物710从建筑物710的相对侧连接到电源A 722和电源B 724中的每一个。电源A 722通过在建筑物710的第一侧的第一电源连接而连接到建筑物内部的超导电缆732的第一电源平面网络。电源B 724通过在建筑物710的相对的第二侧的第二电源连接而连接到建筑物内部的第二电源平面超导电缆网络734。与图6的示例系统一样,超导电缆网络732、734彼此不连接,但是可以被布置成从任何一个电源向建筑物710内的任何点提供电力。
与图5的示例一样,服务器机架742、744、746可以从并行电源平面网络732、734通过到相应的超导电缆的连接电连接到两个电源722、724。然而,在图7的示例中,第一电源平面732和第二电源平面734都被连接到单个DC母线管道760以便向服务器机架742、744、746提供电力。每个电源平面632、634包括用于向单个DC母线管道760提供DC电源的相应的接口752、754。因此,每个服务器机架可以包括单个DC母线管道连接以便连接到单独的电源平面。
图8图示诸如在图7的系统700中那样使用连接到相应的电源的多个超导电缆网络的配电系统800的示例实现方式。在图8的示例中,每个服务器机架842、844、846、848通过单个DC母线管道860连接到第一电源平面832和第二电源平面834两者。单个DC母线管道860包括用于连接到第一电源平面832和第二电源平面834的相应的接口852、854。相应的控制器812、814被定位在相应的电源平面832、834的超导电缆处以便控制是否从每个相应的电源向DC母线管道860提供电力。
图9图示诸如在图7的系统700中那样使用连接到相应的电源的多个超导电缆网络的配电系统900的另一示例实现方式。在图9的示例中,每个服务器机架942、944、946、948通过单个DC母线管道960连接到第一电源平面932和第二电源平面934两者。单个DC母线管道960包括用于连接到第一电源平面932和第二电源平面934的相应的接口952、954。单个控制器910被定位在单个DC母线管道960处以便控制打开和关闭DC母线管道960与服务器机架942、944、946、948之间的连接。因此,控制器910被配置成通过DC母线管道960向每个相应的接口952、954并向服务器机架的各个抽头连接器提供控制信号,从而控制从每个电源平面932、934到各个服务器机架942、944、946、948的电力分配。在图9的示例中,数据中心建筑物的每个DC母线管道可以被提供有单独的控制器以便控制从电源到连接到DC母线管道的服务器机架的电力分配。
在其他示例中,可以提供控制器来补充或代替图8和图9中所示的控制器。例如,每个服务器机架或服务器机架的每个集群可以包括它自己的用于控制服务器机架与DC母线管道之间的连接的控制器,与图4和图6的示例布置中所示的控制器相当。
应该理解,图3、图4、图6、图8和图9的示例布置仅作为示例被提供,并且可以在其他示例布置中采用来自一个示例的构思。例如,如图8的示例中所示,图3、图4、图6和图9的示例布置可以被适配成在相应的超导电缆处包括控制器。
以上示例涉及具有DC组件的配电元件,诸如DC超导电缆和DC母线管道。然而,应该领会,可以将相同的构思应用于交流(AC)组件,诸如AC超导电缆和AC母线管道。因此,示例系统可以被布置以便使用AC电源或DC电源来向服务器机架递送电力。
因为示例系统被连接到在建筑物的多个侧的电源,所以不存在建筑物的所有电流流过的一侧。因此,不能将电力母线的任何特定侧或组件表征为从另一侧或组件为“上游的”或“下游的”。某些组件和侧相对于单个电源可以是“上游的”,但是相对于不同电源可以是“下游的”。这提供了优于具有上游元件、下游元件和单向电流流动的典型布置的若干优点。这可以在数据中心中各处导致更均匀的电流密度。提供均匀的电流密度继而可以避免对电源平面中配电元件的利用不足,诸如当常规电源平面的母线管道具有预定义容量的电力但是在电流密度最低的下游利用不足时。另外,如果由于在建筑物的一侧的配电组件的故障而从一个电源切断了电力,则服务器机架可以仍然通过在建筑物的另一侧的配电元件从连接到建筑物的另一侧的电源接收电力。
本文描述的系统提供了对按需向数据中心的特定位置提供高功率密度的改进控制。在不可能向具体位置提供高电流密度的常规数据中心中,常常有必要将具有高电流密度的各个服务器机架分散在数据中心建筑物空间中各处,而不是将高密度的服务器机架一起集中在诸如建筑物的过道或象限的分立位置中。例如,高电流密度可能是包括网络设备的服务器机架或执行诸如机器学习数据目录中的机器学习操作的服务器机架所需要的。为了使整个建筑物中的电力需要平衡可能有必要分散高电流密度的服务器机架,因为电力分配在其可配置性方面受到限制。然而,必须分散高电流密度的服务器机架需要提前计划,并且使得难以在不破坏先前配置的情况下在以后的时间添加更多的高电流密度或低电流密度的服务器机架。提前计划和破坏服务器机架配置增加维护操作的成本和时间。附加地,一些高电流密度的服务器机架可以包括机密数据,这些机密数据将最好在建筑物的分立角落或区段中隔开,而不是分散在建筑物中各处。
相比之下,在不必使功率密度平衡的情况下向具体位置提供高电流密度的能力避免了事先计划服务器机架配置的需要。新的高密度服务器可以一起聚集在建筑物的单个区域或区段中,并且电源平面的超导电缆可以以高电流密度向该区域或区段供应足够的电力,而不沿着导体元件遭受电损耗。此方法可以继而允许需要高电流密度和高机密性的服务器机架诸如MLDC服务器机架集中在建筑物的分立部分内。可以授予对低机密性服务器的访问,诸如以进行维护操作,然而对高机密性服务器的访问仍然受限制。
类似地,新的低密度服务器可以聚集在单个区域中,并且可以控制电力母线的分流器开关以做出在新的服务器机架的位置中提供低电流密度的电源配置。
以上构思同样地适用于在首次建立数据中心时最初在其之内布置高电流密度和低电流密度的服务器机架以及在已经建立了数据中心之后随后添加新的服务器机架。
示例方法
图10是依照本申请的示例维护例程1000的流程图。例程可以允许在单独的时间对数据中心的单独的区段进行维修。数据中心的第一区段可以包括第一部分服务器机架,而数据中心的第二区段可以包括第二部分服务器机架。这些区段可以在物理上彼此分开,使得一个区段可以与多个电源断开连接而不影响多个电源与另一区段之间的连接。这对于对一部分服务器机架进行维护而不影响另一部分服务器机架的操作来说可以是有利的。应该理解,本文描述的例程仅仅是示例,并且在其他示例中,可以添加、减去、替换或重新排序某些步骤。
在框1010处,可以从控制器提供第一控制信号,用于控制第一部分服务器以使第一部分服务器与已连接的电源电力地断开连接。可以自动地或手动地提供控制信号。附加地,可以在不用使另外的第二部分服务器与电源断开连接的情况下完成第一部分服务器的断开连接。在框1020处,可以对已断开连接的第一部分服务器进行维护。在框1030处,可以从控制器提供第二控制信号,用于控制第一部分服务器以将第一部分服务器电力地重新连接到电源。与框1010的断开连接过程一样,可以在不用使第二部分服务器与电源断开连接的情况下完成在框1030处重新连接第一部分服务器。在完成例程1000的框1010-1130时,针对第一部分服务器的维护完成。
在一些示例中,可以以与第一部分服务器相同的方式维护第二部分服务器。框1040-1160描述第二部分服务器的维护。在框1040处,可以从控制器提供第三控制信号,用于控制第二部分服务器以使第二部分服务器与已连接的电源电力地断开连接。可以在不用断开第一部分服务器的情况下完成第二部分服务器的断开连接。在框1050处,可以对已断开连接的第二部分服务器进行维护。在框1060处,可以从控制器提供第四控制信号,用于控制第二部分服务器以将第二部分服务器电力地重新连接到电源,再一次地,不用在过程中使第一部分服务器与电源断开连接。
在维护例程1000的任何时候,“上游”元件的断开连接不会引起“下游”元件的断开连接。这是因为本公开的系统提供了多向电流流动,并且缺少可以被绝对表征为“上游”和“下游”的元件。
附加地,维护例程1000允许基于高机密性服务器和低机密性服务器基于其位置的分开维护,因为在上述示例系统中,可以基于如机密性这样的性质使服务器聚集,而无需担心负载平衡或提前布局计划。如上所述,常规数据中心通常需要高电流密度的服务器机架分散在数据中心建筑物的物理空间内以便在建筑物的配电元件之间提供适当的负载平衡。相比之下,本公开的示例布置允许高电流密度的服务器机架集中在数据中心建筑物的分立物理位置中。通过扩展,可以使诸如MLDC或网络设备的具有高机密性等级的服务器机架集中在建筑物的更安全区段中,由此可以提供对较低机密性服务器机架的访问,同时维持对较高机密性服务器机架的受限访问。
尽管已经参考特定实施例描述了本文中的技术,但是应当理解,这些实施例仅是本技术的原理和应用的说明。因此,应当理解,在不脱离由所附权利要求限定的本技术的精神和范围的情况下,可以对说明性实施例进行多种修改,并且可以设计其他布置。
大多数上述替代示例不是相互排斥的,而是可以被按照各种组合实现以实现独特的优点。因为可在不脱离由权利要求所限定的主题的情况下利用上面讨论的特征的这些及其它变化和组合,所以应该通过图示而不是通过限制由权利要求所限定的主题来进行实施例的上述描述。作为示例,不必以上述精确次序执行前面的操作。相反,可以不同的次序(诸如相反的或同时地)来处理各个步骤。除非另外陈述,否则还可省略步骤。此外,本文描述的示例的提供以及用短语表示为“诸如”、“包括”等的条款不应该被解释为将权利要求的主题限于具体示例;相反,这些示例旨在图示许多可能的实施例中的仅一个。另外,不同的附图中的相同的附图标记可识别相同或类似的元素。
Claims (20)
1.一种系统,所述系统包括:
超导电缆网络,所述超导电缆网络被配置成向布置在建筑物的空间内的多个服务器机架供应电力;
第一电源连接,所述第一电源连接被配置成将第一电源从所述建筑物的第一侧连接到所述超导电缆网络,并且被配置成向所述超导电缆网络的第一区段供应电力;
第二电源连接,所述第二电源连接被配置成将第二电源从所述建筑物的与所述第一侧不同的第二侧连接到所述超导电缆网络,并且被配置成向所述超导电缆网络的第二区段供应电力;以及
多个母线管道,每个母线管道被配置成将所述超导电缆网络连接到所述多个服务器机架中的一个或多个。
2.根据权利要求1所述的系统,其中,所述第一侧和所述第二侧是所述建筑物的相对侧。
3.根据权利要求1所述的系统,进一步包括多个开关控制器,每个开关控制器被配置成控制所述第一电源连接和所述第二电源连接中的至少一个与至少一个服务器机架之间的电连接。
4.根据权利要求3所述的系统,其中,所述多个开关控制器包括超导开关,所述超导开关被定位在所述超导电缆网络的第一区段与第二区段之间并且被配置成控制所述超导电缆网络的所述第一区段与所述第二区段之间的电连接。
5.根据权利要求3所述的系统,其中,所述多个开关控制器包括电开关,所述电开关被定位在第一母线管道处并且被配置成控制所述第一母线管道与连接到所述第一母线管道的一个或多个服务器机架之间的电连接。
6.根据权利要求3所述的系统,其中,所述多个开关控制器包括电开关,所述电开关被定位在第一服务器机架处并且被配置成控制连接到所述第一服务器机架的多个母线管道与所述第一服务器机架之间的电连接。
7.根据权利要求3所述的系统,其中,所述多个服务器机架被划分成分立部分,其中,每个分立部分被连接到所述第一电源和所述第二电源中的每一个,并且其中,所述多个开关控制器可配置成使所述多个服务器机架的分立部分中的任何一个与所述第一电源和所述第二电源断开连接,同时所述多个服务器机架中的其他部分保持连接到所述第一电源和所述第二电源中的至少一个。
8.根据权利要求1所述的系统,其中,所述超导电缆网络被布置成允许电力以蛇形配置从中流过。
9.根据权利要求1所述的系统,其中,所述超导电缆网络被布置成允许电力以环形配置从中流过。
10.根据权利要求1所述的系统,其中,所述超导电缆网络被布置成允许电力以网状配置从中流过。
11.根据权利要求1所述的系统,其中,所述超导电缆网络被定位在所述多个服务器机架的正上方。
12.根据权利要求1所述的系统,其中,所述建筑物的空间包括:第一区段,所述第一区段包含被指派了相对较高的优先级的第一部分服务器;和第二区段,所述第一区段包含被指派了相对较低的优先级的第二部分服务器。
13.根据权利要求12所述的系统,其中,所述第一部分服务器包括机器学习服务器和网络设备中的至少一个。
14.根据权利要求1所述的系统,其中,所述超导电缆网络被配置成发送介于1kV与20kV之间的直流(DC)电压。
15.根据权利要求14所述的系统,其中,所述超导电缆网络被配置成发送介于10kA与20kA之间的DC电流。
16.一种数据中心,包括:
根据权利要求1所述的系统;和
布置在建筑物的空间内的所述多个服务器机架。
17.一种用于更新数据中心内的部分服务器的服务器维护方法,所述数据中心包括超导电缆网络以及一个或多个控制器,所述超导电缆网络被配置成从第一电源和第二电源中的每一个向布置在建筑物的空间内的多个服务器机架供应电力,其中,所述超导电缆网络经由定位在所述建筑物第一侧的第一电源连接而连接到所述第一电源并且经由定位在所述建筑物的与所述第一侧不同的第二侧的第二电源连接而连接到所述第二电源,所述一个或多个控制器被配置成控制所述第一电源和所述第二电源与所述多个服务器机架之间的电连接,所述方法包括:
从所述一个或多个控制器提供第一控制信号,所述第一控制信号用于使第一部分服务器与所述第一电源和所述第二电源电力地断开连接而不使第二部分服务器与所述第一电源和所述第二电源断开连接;
对所述第一部分服务器进行维护;
从所述一个或多个控制器提供第二控制信号,所述第二控制信号用于将所述第一部分服务器电力地重新连接到所述第一电源和所述第二电源而不使所述第二部分服务器与所述第一电源和所述第二电源断开连接;
从所述一个或多个控制器提供第三控制信号,所述第三控制信号用于使所述第二部分服务器与所述第一电源和所述第二电源电力地断开连接而不使所述第一部分服务器与所述第一电源和所述第二电源断开连接;
对所述第二部分服务器进行维护;以及
从所述一个或多个控制器提供第四控制信号,所述第四控制信号用于将所述第二部分服务器电力地重新连接到所述第一电源和所述第二电源而不使所述第一部分服务器与所述第一电源和所述第二电源断开连接,
其中,所述第一部分服务器和所述第二部分服务器是根据相应的机密性等级划分的。
18.根据权利要求17所述的服务器维护方法,其中,所述第一控制信号使所述超导电缆网络的第一区段与所述超导电缆网络的第二区段电力地断开连接,并且所述第二控制信号将所述超导电缆网络的所述第一区段电力地重新连接到所述超导电缆网络的所述第二区段。
19.根据权利要求17所述的服务器维护方法,其中,所述第一控制信号在被配置成从所述超导电缆网络向所述第一部分服务器提供电力的一个或多个直流母线管道处使所述第一部分服务器与所述超导电缆网络电力地断开连接,并且其中,所述第二控制信号在所述一个或多个直流母线管道处将所述第一部分服务器电力地重新连接到所述超导电缆网络。
20.根据权利要求17所述的服务器维护方法,其中,所述第一控制信号使所述第一部分服务器的第一服务器机架与第一直流母线管道和第二直流母线管道中的每一个电力地断开连接,其中所述第一直流母线管道被配置成从所述第一电源向所述第一服务器机架提供电力、而所述第二直流母线管道被配置成从所述第二电源向所述第一服务器机架提供电力,并且其中,所述第二控制信号将所述第一服务器机架电力地重新连接到所述第一直流母线管道和所述第二直流母线管道。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/923,482 | 2020-07-08 | ||
US16/923,482 US20220014020A1 (en) | 2020-07-08 | 2020-07-08 | Superconductor network for dynamically reconfigurable power plane |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112202157A true CN112202157A (zh) | 2021-01-08 |
Family
ID=73694722
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011090546.2A Pending CN112202157A (zh) | 2020-07-08 | 2020-10-13 | 用于动态可重配置的电源平面的超导体网络 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220014020A1 (zh) |
EP (1) | EP3937602A1 (zh) |
CN (1) | CN112202157A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150378408A1 (en) * | 2014-06-25 | 2015-12-31 | Amazon Technologies, Inc. | Redundant secondary power support system |
CN106602566A (zh) * | 2017-03-07 | 2017-04-26 | 四川师范大学 | 一种具有高供电品质的超导交直流定制电力系统 |
CN107800133A (zh) * | 2017-11-28 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种数据中心供电方法及结构 |
CN112260391A (zh) * | 2020-07-08 | 2021-01-22 | 谷歌有限责任公司 | 用于动态可重配置的电源平面的切换网络 |
CN112421603A (zh) * | 2020-07-08 | 2021-02-26 | 谷歌有限责任公司 | 用于数据中心园区的高压超导体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7492057B2 (en) * | 2004-11-10 | 2009-02-17 | Baldwin Mark H | High reliability DC power distribution system |
US9658665B2 (en) * | 2009-09-29 | 2017-05-23 | Zonit Structured Solutions, Llc | Parallel redundant power distribution |
US8638008B2 (en) * | 2009-12-22 | 2014-01-28 | Direct Power Tech Ip, Llc | 380 volt direct current power distribution system for information and communication technology systems and facilities |
US8423103B2 (en) * | 2011-07-12 | 2013-04-16 | Michael J. Hennessy | Energy efficient data center |
US9778717B2 (en) * | 2014-05-15 | 2017-10-03 | Amazon Technologies, Inc. | Flexible power support redundancy busway system |
US9997955B1 (en) * | 2015-11-05 | 2018-06-12 | Amazon Technologies, Inc. | Multi-input uninterruptible power system |
US10175737B1 (en) * | 2015-12-22 | 2019-01-08 | Amazon Technologies, Inc. | Managing electrical resiliency in a datacenter |
US11048311B1 (en) * | 2018-01-29 | 2021-06-29 | Amazon Technologies, Inc. | Power system for multi-input devices with shared reserve power |
-
2020
- 2020-07-08 US US16/923,482 patent/US20220014020A1/en active Pending
- 2020-10-13 CN CN202011090546.2A patent/CN112202157A/zh active Pending
- 2020-12-01 EP EP20211006.0A patent/EP3937602A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150378408A1 (en) * | 2014-06-25 | 2015-12-31 | Amazon Technologies, Inc. | Redundant secondary power support system |
CN106602566A (zh) * | 2017-03-07 | 2017-04-26 | 四川师范大学 | 一种具有高供电品质的超导交直流定制电力系统 |
CN107800133A (zh) * | 2017-11-28 | 2018-03-13 | 郑州云海信息技术有限公司 | 一种数据中心供电方法及结构 |
CN112260391A (zh) * | 2020-07-08 | 2021-01-22 | 谷歌有限责任公司 | 用于动态可重配置的电源平面的切换网络 |
CN112421603A (zh) * | 2020-07-08 | 2021-02-26 | 谷歌有限责任公司 | 用于数据中心园区的高压超导体 |
Non-Patent Citations (1)
Title |
---|
AMSC: "Superconductor LVDC Data Center Power Cables", pages 2, Retrieved from the Internet <URL:https://www.amsc.com/wp-content/uploads/LVDC_BRO_0412_web.pdf> * |
Also Published As
Publication number | Publication date |
---|---|
EP3937602A1 (en) | 2022-01-12 |
US20220014020A1 (en) | 2022-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9857855B2 (en) | Redundant secondary power support system | |
US10568232B2 (en) | Modular uninterruptible power supply apparatus and methods of operating same | |
US10198056B2 (en) | Flexible power support redundancy busway system | |
JP6250186B2 (ja) | データセンタ向けの電力ルーティングアセンブリ | |
US10164464B1 (en) | Modular uninterruptible power supply | |
US9209622B2 (en) | Rack power distribution unit with detachable cables | |
US11048311B1 (en) | Power system for multi-input devices with shared reserve power | |
WO2019217211A1 (en) | Dc bus architecture for datacenters | |
US20230315170A1 (en) | Switching Network For Dynamically Reconfigurable Power Plane | |
US8994231B1 (en) | Medium voltage power distribution | |
CN112202157A (zh) | 用于动态可重配置的电源平面的超导体网络 | |
US11083104B2 (en) | Variable reliability and capacity data center design | |
US10386903B1 (en) | Rack power shelf migration between single-phase and three-phase power | |
US10476298B1 (en) | Elevated automatic transfer switch cabinet | |
EP2869679A1 (en) | Power supply system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039468 Country of ref document: HK |