JP2022040161A

JP2022040161A - 冷却システム

Info

Publication number: JP2022040161A
Application number: JP2021208147A
Authority: JP
Inventors: ティエンイーガオ，; Tianyi Gao
Original assignee: Baidu USA LLC
Current assignee: Baidu USA LLC
Priority date: 2021-01-07
Filing date: 2021-12-22
Publication date: 2022-03-10
Anticipated expiration: 2041-12-22
Also published as: US11477913B2; EP3965543A2; EP3965543A3; JP7223831B2; US20220217867A1; EP3965543B1; CN114745898A

Abstract

【課題】冷却システムの提供。【解決手段】冷却システムは、１つまたは複数の電子機器に接続される入口ポートおよび出口ポートと、メインループと、緩衝ループとを備える。メインループは、入口ポートおよび出口ポートに接続される熱交換器を有し、熱交換器は、入口ポートから流体を受け取り、電子機器によって生成され、流体によって運ばれる熱を交換し、流体を出口ポートを介して電子機器に戻す。緩衝ループは、入口ポートとメインループとに接続される。緩衝ループは、緩衝ユニットと、貯留のために流体を緩衝ユニットへ流入させ、熱交換のために流体を緩衝ユニットから排出してメインループに流入させるように制御するための第１弁とを有する。緩衝ユニットは、空気を貯留するための空気部と、流体の一部を貯留するための緩衝部とを備える。空気部は、熱交換器に設けられる温度センサから得られた温度と、入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するためのものである。【選択図】図３

Description

本出願の実施例は、主にデータセンターの冷却に関する。より具体的には、本出願の実施例は、データセンター、ＩＴおよびサーバ等の電子機器を冷却するための緩衝ユニットの設計に関する。

冷却は、コンピュータシステムとデータセンターの設計における重要な要素である。サーバ内部に搭載される高性能プロセッサなどの高性能電子部品の数は、着実に増加しており、それによってサーバの通常動作時に発生して放散される熱の量が増加している。サーバが動作する環境が時間の経過に伴って温度の上昇が許容される場合に、データセンター内で使用されるサーバの信頼性が低下する。適切な熱環境を維持することは、データセンターにおけるこれらのサーバの正常な動作、並びにサーバの性能および寿命にとって重要である。特にこれらの高性能サーバを冷却する場合には、より効果的で効率的な冷却方案が求められている。

本出願の一態様では、冷却システムであって、
１つまたは複数の電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成される冷却システムを提供する。

本出願の他の態様では、データセンターの電子機器ラックであって、
１つまたは複数のサーバとして動作する１つまたは複数の電子機器と、
前記１つまたは複数の電子機器に接続される冷却システムと、を備え、
前記冷却システムは、
前記電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成されるデータセンターの電子機器ラックを提供する。

本出願の更なる別の態様では、データセンターシステムであって、
それぞれ１つまたは複数のサーバを備える複数の電子機器ラックと、
前記電子機器ラックに接続され、前記サーバを液冷する冷却システムと、を備え、
前記冷却システムは、
電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成されるデータセンターシステムを提供する。

本出願の実施例は、限定的ではなく例示的な形態で示され、同様の符号が同様の要素を示す。

本出願の実施例に係るデータセンター施設の一例を示すブロック図である。本出願の実施例に係る電子機器ラックの一例を示すブロック図である。本出願の実施例に係る例示的な冷却システムを示す。本出願の実施例に係る冷却システムの他の例を示す。本出願の実施例に係る冷却システムの他の例を示す。本出願の実施例に係る冷却システムの他の例を示す。本出願の実施例に係る冷却システムの他の例を示す。本出願の実施例に係る冷却システムの他の例を示す。本出願の実施例に係る、ＩＴに例示的に接続される冷却システムに統合された緩衝システムを示す。本出願の実施例に係る冷却システムの例示的なプロセスを示すフローチャートである。本出願の実施例に係る冷却システムの例示的なプロセスを示すもう一つのフローチャートである。本出願の実施例に係る冷却システムの例示的なプロセスを示すもう一つのフローチャートである。

以下、説明の詳細を参照しながら本出願の様々な実施例および態様を説明し、かつ添付図面には様々な実施例が示される。下記の記述および図面は、本出願を説明するためのもので、本出願を限定するものとして解釈すべきではない。本出願の様々な実施例を全面的に理解するために、多くの特定の詳細を説明する。しかしながら、特定の例において、本出願の実施例の簡潔な議論を提供するために、周知のまたは従来の詳細は記載されていない。

本明細書において、「一実施例」または「実施例」とは、該実施例を参照しながら説明された特定の特徴、構造または特性が本出願の少なくとも１つの実施例に包含されてもよいことを意味する。明細書の様々な箇所に記載されている「一実施例において」とは、必ずしも同一の実施例を指すものではない。

通常の動作と機能を保証する以外に、多くの理由から、冷却はＩＴのハードウェア業界にとって極めて重要である。例えば、業務競争力、サービス品質、可用性に重要な役割を果たす。さらに重要なのは、インフラストラクチャＴＣＯの主要部分である。組織の利益と関係がある。これは、インターネット大手、クラウドコンピューティングサービスプロバイダ、ならびにコンピューティング、ストレージ、その他のＩＴハードウェアプラットフォームおよびインフラストラクチャを設計、構築、運用するハイパフォーマンスコンピューティングおよびＡＩコンピューティングに関連するビジネスサービスユーザーとプロバイダのコア競争力の１つである。ハイパースケールの所有者の大多数は、これらのハードウェアシステムのフルスタックをカスタマイズしている。例えば、急速に成長するクラウドコンピューティングビジネスでは、ハードウェアシステム、クラスター、およびインフラストラクチャの性能とコスト（資本コストと運用コストの両方）を計算および保存するには、サービスプロバイダがニーズに最適なカスタムシステムを作成する必要がある。これらの市場は、効率的なシステム設計および運用を必要とし、サービスプロバイダに長期的な利益をもたらす可能性がある。より柔軟で、より効率的で、費用対効果の良い方案とアーキテクチャの取得が急務である。

本出願で提案する方案は、ＩＴおよびサーバの冷却のための高度な冷却システム設計および運用方法を提供することを目的としている。本方案が解決しようとする鍵となる課題は、通常または異常な動作条件の間で起こり得る様々な状況で、熱負荷およびＩＴの変化並びに冷却条件の変化に伴い、サーバおよびＩＴに冷却を提供することである。同時に、効率化とシステム制御設計の簡素化を目指す。

冷却システムを設計する際の１つの課題は、内部ループと外部ループの両方の制御戦略である。複数のループを制御して動作条件を達成する場合、正しい制御戦略の設計、正しい制御信号の使用、および最適な変数の制御は課題となる。複数の伝熱ループが存在する場合、より困難になる。本出願は、このような課題を解決するためのシステムおよび対応する制御を設計することを目的としている。

前の段落で述べたように、ＩＴが発生する電力および冷却条件は日中から夜間にかけて著しく異なる。人間のサービスやアプリケーションがトラフィックおよび計算に大きく影響するため、そのようなシステムに対しては本質的な違いが生じる。そのため、日中に発生する熱量は夜間よりもはるかに高くなる可能性がある。同様に、冷却条件も日中と夜間で大きく異なる。この方案は、熱緩衝の概念とそれに対応する動作を導入することで課題を解決するように設計されている。また、熱負荷と公称冷却の不整合を解消することにより、システムの信頼性と効率を向上させることができる。

現在の設計のもう１つの焦点は、システムの信頼性と安定性の向上である。これにより、冷却システムの性能を向上させ、様々な場面でのシステムの使いやすさを向上させることができる。

従来の方案は、熱負荷および冷却能力の変化に対処するために複雑な制御を必要とする恐れがある。これらの制御方案は、異なるシステムに合わせて調整する必要がある場合があり、１つの方案ですべての可能な変化をカバーすることはできない場合がある。

本出願は、異なるタイプの変動を緩衝するための緩衝システムと、単相流体冷却システムまたは二相／相変化に基づく冷却システムなどの冷却システムに緩衝システムをうまく統合するための双方向ループとマルチループの設計と、弁の調節可能な制御設定点の値を含む、圧力に基づくシステム制御と、異なるシーンのためのカスタム緩衝設計と対応するループと、緩衝システム内の圧力調整と、並列システム設計と、革新的な緩衝ループ設計との特徴を説明する。

本出願の実施例は、電子機器を冷却するための冷却システムに組み込まれる熱緩衝ユニットに焦点を当てている。一実施例において、緩衝ユニットは、空気部と、流体の一部を貯留するための緩衝部とを含む複数の部分を有する。例えば、空気部は、流体がシステムに流入する際の空気圧を調整するために用いられる。一実施例において、緩衝期間において、空気部が低圧条件下で設定される。排出期間中、一実施例において、空気部の体積が小さくなるため、空気部内の圧力が高くなり、空気部の圧力の増加により緩衝部から緩衝流体が排出される。本出願の実施例は、単相流体、相変化流体、および混合相流体のために提案された、緩衝ユニットを冷却システムに統合するための異なるシステム設計を含む。システム内で測定された圧力は、ループ上の弁を制御して開弁設定値を調整し、これらの動作中に異なるタイプの動作および対応する流体制御を可能にするために使用される。

一実施例において、冷却システムは、１つまたは複数の電子機器に接続される入口ポートおよび出口ポートと、入口ポートおよび出口ポートに接続される熱交換器を有するメインループと、入口ポートおよびメインループに接続される緩衝ループとを含む。例えば、メインループは、入口ポートから流体を受け取り、電子機器によって生成され、流体によって運ばれる熱を交換し、出口ポートを介して電子機器に流体を戻すための熱交換器を有する。

一実施例において、冷却システムは、緩衝ユニットと、貯留のために流体を緩衝ユニットへ流入させ、熱交換のために流体を緩衝ユニットから排出してメインループに流入させるように制御するための第１弁とを有する緩衝ループを含む。

一実施例において、冷却システムは、緩衝ユニットを有する緩衝ループを備え、該緩衝ユニットは、空気を貯留するための空気部と、流体の一部を貯留するための緩衝部とを備え、空気部は、熱交換器に設けられる温度センサから得られた温度と、入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成される。一実施例において、主冷却側の冷却能力の変化を示す位置に温度測定値を選択して設定する。

一実施例において、冷却システムは、温度が所定の温度よりも高く、かつ、流体の圧力が所定の圧力よりも高いと判断されたことに応答して、緩衝ユニットに流体を貯留させることを可能にする、第１弁を有する緩衝ループを備える。一実施例において、温度が所定の温度よりも低いか、または、緩衝ユニットの空気部の空気圧が所定の空気圧よりも高いと判断されたことに応答して、熱交換のために、貯留された流体を緩衝ユニットから熱交換器に排出する。一実施例において、緩衝ユニットの空気部の空気圧が所定の空気圧よりも高いと判断されたことに応答して、熱交換のために、貯留された流体を緩衝ユニットから熱交換器に排出する。一実施例において、緩衝ユニットの空気部の空気圧が所定の空気圧を超えていても、冷却システムが緩衝モードまたは排出モードに切り替わることはない。一実施例において、緩衝ユニットは、空気を空気部に圧送して排出期間中に緩衝ユニットから流体の流出を補助する圧力を提供する圧力調整弁をさらに備えている。

一実施例において、冷却システムは、緩衝ユニットを出口ポートに接続するための第２弁をさらに備える緩衝ループを備え、第２弁は、緩衝ユニットの緩衝部から熱交換器をバイパスして出口ポートに流体を流れることを可能にする。例えば、第２弁は、緩衝ユニットの空気部内の空気圧に基づいて、緩衝ユニットから出口ポートへの流速を制御する圧力制御弁である。一実施例において、出口ポートからの流体は、熱交換器を出る流体に合流してもよい。一実施例において、出口ポートからの流体および熱交換器から出る流体は、異なる温度を有することができるが、同じ液相にある。

一実施例において、冷却システムは、入口ポートと熱交換器との間に接続される第３弁をさらに備える緩衝ループをさらに備え、第３弁は、熱交換器への流速を制御するために使用される。

一実施例において、流体は、相変化プロセスの間に蒸気に変換される二相流体である。

一実施例において、緩衝ループは、供給ラインと還流ラインとをさらに含む。供給ラインは、例えば、入口ポートから流体を受けて緩衝ユニットに貯留するために、入口ポートと緩衝ユニットとの間に接続される。一実施例において、緩衝ユニットと熱交換器の入口との間に接続される還流ラインは、貯留された流体を熱交換器に戻す。

一実施例において、冷却システムは、入口ポートと出口ポートとの間に接続される第３弁を有する第３ループをさらに含む。例えば、第３ループはバイパスループとして動作し、流体の少なくとも一部を入口ポートから出口ポートに直接送り、熱交換器および緩衝ユニットをバイパスする。

図１は、一実施例に係るデータセンターまたはデータセンターユニットの一例を示すブロック図である。この例では、図１は、データセンターの少なくとも一部の上面図を示している。図１を参照すると、一実施例によれば、データセンターシステム１００は、情報技術（ＩＴ）コンポーネント、デバイス、または機器１０１～１０２の一列または複数列の電子機器ラックを備え、例えば、ネットワーク（例えば、インターネット）を介して様々なクライアントにデータサービスを提供するコンピュータサーバまたはコンピューティングノードが挙げられる。一実施例において、各列は、電子機器ラック１１０Ａ～１１０Ｎなどの電子機器ラックのアレイを含む。しかし、より多くのまたはより少ない列の電子機器ラックを実現することも可能である。通常、列１０１～１０２は、フロントエンドが互いに向き合い、バックエンドが互いに向き合うように平行に整列され、管理者がその中を歩くことができるように間に通路１０３を形成する。しかし、他の構成または配置を適用することも可能である。例えば、２列の電子機器ラックは、それらの間に通路を形成することなく、それらの先端が離れて背中合わせに配置していてもよい。電子機器ラックのバックエンドは、部屋の冷却液マニホールドに接続されていてもよい。

一実施例において、電子機器ラック（例えば、電子機器ラック１１０Ａ～１１０Ｎ）のそれぞれは、その中で動作する、積み重ねて配置された複数のＩＴコンポーネントを収容するためのハウジングを含む。電子機器ラックは、冷却液マニホールド、複数のサーバスロット（例えば、同一または類似のフォームファクタで構成された標準的な棚またはシャーシ）、およびサーバスロットへの挿入およびサーバスロットからの取り外しが可能な複数のサーバシャーシ（サーバブレードまたはサーバ棚とも呼ばれる）を含むことができる。各サーバシャーシは、１つまたは複数のプロセッサ、メモリ、および／または永続性記憶装置（例えば、ハードディスク）を有するコンピューティングノードを表し、コンピューティングノードは、その中で動作する１つまたは複数のサーバを含むことができる。プロセッサの少なくとも１つは、冷却液体を受け取るために液体冷却板（冷却板アセンブリとも呼ばれる）に取り付けられる。また、サーバシャーシには、内部に収容されたコンピューティングノードを空冷するための１つまたは複数の任意の冷却ファンが関連付けられている。なお、冷却システム１２０は、データセンターシステム１００などの複数のデータセンターシステムに接続されてもよい。

一実施例において、冷却システム１２０は、冷却塔に接続される外部液体ループ、または建物／住宅コンテナの外側にあるドライクーラーを含む。冷却システム１２０は、蒸発冷却、自由空気、高熱質量拒絶、および排熱回収設計を含むことができるが、これらに限定されない。冷却システム１２０は、冷却液を供給する冷却液源を含んでもよく、または冷却液源に接続されてもよい。

一実施例において、各サーバシャーシは、冷却液マニホールドにモジュール式に接続され、その結果、サーバシャーシは、電子機器ラック内の残りのサーバシャーシおよび冷却液マニホールドの動作に影響を与えることなく、電子機器ラックから取り外すことができる。別の実施例において、各サーバシャーシは、プロセッサに冷却液を分配するために可撓性ホースに接続されたサーバ給液口コネクタおよびサーバ排液口コネクタを有するクイックレリーズカップリングアセンブリを介して冷却液マニホールドに接続される。サーバ給液口コネクタは、電子機器ラックのバックエンドに取り付けられた冷却液マニホールドからラック給液口コネクタを介して冷却液を受け取るためのものである。サーバ排液口コネクタは、ラック排液口コネクタを介して、プロセッサから交換された高温のより暖かいまたはより熱い液体を冷却液マニホールドに排出し、その後、電子機器ラック内の冷却液分配ユニット（ＣＤＵ）に戻すために使用される。

一実施例において、各電子機器ラックのバックエンドに設置された冷却液マニホールドは、冷却システム１２０から冷却液を受け取るために、液体供給ライン１３２（部屋供給マニホールドとも呼ばれる）に接続される。冷却液は、冷却板アセンブリに取り付けられた液分配ループを介して分配され、プロセッサから熱を除去するために、プロセッサが該冷却板アセンブリに取り付けられる。冷却板は、液体分配管が取り付けられているか埋め込まれているヒートシンクと同様に構成されている。プロセッサから交換された熱を運ぶ、最終的により暖かいまたはより熱い液体は、液体還流ライン１３１（部屋還流マニホールドとも呼ばれる）を介して冷却システム１２０に送り返される。

給液ライン／液体還流ライン１３１～１３２は、データセンターまたは部屋給液ライン／部屋液体還流ライン（例えば、グローバル給液ライン／グローバル液体還流ライン）と呼ばれ、列１０１～１０２の全ての電子機器ラックに冷却液を供給する。給液ライン１３２および液体還流ライン１３１が各電子機器ラック内のＣＤＵの熱交換器に接続されて、一次ループを形成する。熱交換器の二次ループは、電子機器ラック内の各サーバラックに接続され、プロセッサの冷却板に冷却液を供給する。

一実施例において、データセンターシステム１００は、コンピューティングノード（例えば、サーバ）の動作によってコンピューティングノードによって生成された熱を交換するために、電子機器ラックのサーバシャーシの空気空間を通って空気流を移動させるための空気流を生成し、空気流の温度を低下させるために空気流の交換による熱を外部環境または冷却システム（例えば、空気－液体熱交換器）に排出するための任意の空気供給システム１３５をさらに含む。例えば、空気供給システム１３５は、通路１０３から電子機器ラック１１０Ａ～１１０Ｎを循環して熱交換された熱を奪う冷却空気／冷気の気流を発生させる。

冷い空気の流れは、電子機器ラックのフロントエンドから電子機器ラックに入り、暖／熱空気の流れは、電子機器ラックのバックエンドから電子機器ラックから出る。熱交換された熱を有する暖／熱空気は、部屋／建物から排出されたり、空気－液体熱交換器などの独立した冷却システムを用いて冷却されたりする。このように、冷却システムは、プロセッサで発生した熱の一部を対応する冷却板を介して冷却液で除去し、プロセッサ（または他の電子機器や処理装置）で発生した熱の残りを空気流で冷却して除去する混合式液気冷却システムである。

図２は一実施例に係る電子機器ラックを示すブロック図である。電子機器ラック２００は、図１に示すようなあらゆる電子機器ラックであってもよく、例えば、電子機器ラック１１０Ａ～１１０Ｎなどである。図２を参照すると、一実施例による電子機器ラック２００は、ＣＤＵ２０１、ラック管理ユニット（ＲＭＵ）２０２、および１つまたは複数のサーバシャーシ２０３Ａ～２０３Ｅ（まとめてサーバシャーシ２０３と呼ばれる）を含むが、これらに限定されない。サーバシャーシ２０３は、それぞれ電子機器ラック２００のフロントエンド２０４またはバックエンド２０５からサーバスロット（例えば、標準棚）のアレイに挿入することができる。なお、ここでは、５つのサーバシャーシ２０３Ａ～２０３Ｅのみが示されているが、電子機器ラック２００内のサーバシャーシの数は、これよりも多くても少なくてもよい。なお、ＣＤＵ２０１、ＲＭＵ２０２、および／またはサーバシャーシ２０３の特定の位置は、説明のみを目的として示されている。ＣＤＵ２０１、ＲＭＵ２０２、および／またはサーバシャーシ２０３の他の配置または構成も実装され得る。一実施例において、冷却ファンがフロントエンドからバックエンドまで空気流を発生させることができる限り、電子機器ラック２００は、環境に対して開放されていてもよいし、ラック容器に部分的に収容されていてもよい。

また、サーバシャーシ２０３の少なくとも一部には、オプション的なファンモジュール（図示せず）がサーバシャーシに関連付けられている。各ファンモジュールは、１つまたは複数の冷却ファンを含む。ファンモジュールは、サーバシャーシ２０３のバックエンドまたは電子機器ラックに取り付けられて、フロントエンド２０４から流れ出てサーバシャーシ２０３の空気空間を通過し、電子機器ラック２００のバックエンド２０５に存在する空気流を発生させることができる。

一実施例において、ＣＤＵ２０１は、主に、熱交換器２１１と、液体ポンプ２１２と、ポンプコントローラ（図示せず）と、液体リザーバ、電源、監視センサなどの他のコンポーネントとを含む。熱交換器２１１は、液体から液体への熱交換器であってもよい。熱交換器２１１は、第１対の液体コネクタを有する入口ポートと出口ポートとを有する第１ループを備えている。該第１対の液体コネクタは、外部液体供給／還流ライン１３１～１３２に接続されて一次ループを形成する。外部液体供給／還流ライン１３１～１３２に接続されるコネクタが電子機器ラック２００のバックエンド２０５に設けられていてもよいし、取り付けられていてもよい。上述したように、給液ライン／液体還流ライン１３１～１３２（部屋給液ライン／液体還流ラインとも呼ばれる）は冷却システム１２０に接続されてもよい。

さらに、熱交換器２１１は、２つのポートを有する第２ループを含み、これらの２つのポートは、第２対の液体コネクタを有し、該第２対の液体コネクタは液体マニホールド２２５（ラックマニホールドとも呼ばれる）に接続されて二次ループを形成し、該二次ループは、冷却液体をサーバシャーシ２０３に供給するための供給マニホールド（ラック給液ラインまたはラック供給マニホールドとも呼ばれる）と、より暖かい液体をＣＤＵ２０１に戻すための還流マニホールド（ラック液体還流ラインまたはラック還流マニホールドとも呼ばれる）とを含んでもよい。なお、ＣＤＵ２０１は、市販またはカスタマイズされた任意の種類のＣＤＵであってもよい。したがって、ＣＤＵ２０１の詳細については、ここでは説明しない。

各サーバシャーシ２０３は、１つまたは複数のＩＴコンポーネント（例えば、中央処理装置またはＣＰＵ、汎用／グラフィックス処理装置（ＧＰＵ）、メモリ、および／または記憶装置）を含んでもよい。各ＩＴコンポーネントは、データ処理タスクを実行することができ、ＩＴコンポーネントは、記憶装置にインストールされ、メモリにロードされ、データ処理タスクを実行するために１つまたは複数のプロセッサによって実行されるソフトウェアを含んでもよい。サーバシャーシ２０３は、１つまたは複数のコンピュータサーバ（ＣＰＵサーバおよびＧＰＵサーバなどのコンピューティングノードとも呼ばれる）に接続されたホストサーバ（ホストノードとも呼ばれる）を含んでもよい。ホストサーバ（１つまたは複数のＣＰＵを有する）は、通常、ネットワーク（例えば、インターネット）を介してクライアントとインターフェースし、ストレージサービスなどの特定のサービス（例えば、バックアップおよび／または復元などのクラウドベースのストレージサービス）の要求を受信し、アプリケーションを実行して特定の動作（例えば、サービスとしてのソフトウェアまたはＳａａＳプラットフォームの一部としての画像処理、深層データ学習アルゴリズム、またはモデリングなど）を実行する。この要求に応答して、ホストサーバは、ホストサーバによって管理されている（１つまたは複数のＧＰＵを有する）１つまたは複数のコンピューティングノードまたはコンピュータサーバにタスクを割り当てる。コンピュータサーバが実際のタスクを実行すると、動作中に熱が発生する可能性がある。

電子機器ラック２００は、さらに、サーバ２０３およびＣＤＵ２０１に供給される電力を供給および管理するように構成されたオプション的なＲＭＵ２０２を含んでもよい。ＲＭＵ２０２は、電源ユニットの電力消費を管理するために、電源ユニット（図示せず）に接続してもよい。電源ユニットは、電子機器ラック２００の残りのコンポーネントに電力を供給するために必要な回路（例えば、交流（ＡＣ）から直流（ＤＣ）へ、またはＤＣからＤＣへのコンバータ、バッテリ、変圧器またはレギュレータなど）を含んでもよい。

一実施例において、ＲＭＵ２０２は、最適化モジュール２２１およびラック管理コントローラ（ＲＭＣ）２２２を含む。ＲＭＣ２２２は、電子機器ラック２００内のコンピューティングノード２０３、ＣＤＵ２０１、ファンモジュール等の様々なコンポーネントの動作状態を監視するモニタを含んでもよい。具体的には、モニタは、電子機器ラック２００の動作環境を示す各種センサから動作データを受信する。例えば、モニタは、プロセッサ、冷却液、空気流の温度を示す動作データを受信し、この動作データを各種の温度センサで取得して収集してもよい。また、モニタは、ファンモジュール２３１および液体ポンプ２１２によって生成されたファン電力およびポンプ電力を表すデータを受信してもよく、そのデータは、それぞれの速度に比例してもよい。これらの動作データは、リアルタイム動作データと呼ばれる。なお、モニタは、ＲＭＵ２０２内の独立したモジュールとして実装されてもよい。

最適化モジュール２２１は、液体ポンプ２１２およびファンモジュール２３１の総消費電力が最小となり、液体ポンプ２１２およびファンモジュール２３１の冷却ファンに関連付けられる動作データがそれぞれの設計仕様内となるように、動作データに基づいて、所定の最適化関数または最適化モデルを用いて最適化を行い、ファンモジュール２３１のための最適ファン速度および液体ポンプ２１２のための最適ポンプ速度の組を導出する。ＲＭＣ２２２は、最適ポンプ速度および最適ファン速度が確定されると、最適ポンプ速度およびファン速度に基づいて、液体ポンプ２１２およびファンモジュール２３１の冷却ファンを構成する。

例えば、最適なポンプ速度に基づいて、ＲＭＣ２２２は、ＣＤＵ２０１のポンプコントローラと通信して、液体ポンプ２１２の速度を制御し、これにより、液体マニホールド２２５に供給されてサーバシャーシ２０３の少なくとも一部に分配される冷却液の流速を制御する。同様に、最適なファン速度に基づいて、ＲＭＣ２２２は、各ファンモジュールと通信し、ファンモジュール２３１の各冷却ファンの速度を制御し、ファンモジュールの空気流速を制御する。なお、各ファンモジュールは、その特定の最適ファン速度で個別に制御されてもよく、同一ファンモジュール内の異なるファンモジュールおよび／または異なる冷却ファンは、異なる最適ファン速度を有してもよい。

なお、図２に示すラック構成は、説明のためだけに図示して説明したものであり、他の構成や構造を適用してもよい。ＣＤＵ２０１は、例えば、任意のユニットであってもよい。なお、サーバシャーシ２０３の冷却板をラックマニホールドに接続されてもよく、該ラックマニホールドをＤＣＵを用いずにルームマニホールド１３１～１３２に直接接続してもよい。なお、図示していないが、電源ユニットは電子機器ラック２００の内部に設けられてもよい。なお、電源ユニットは、サーバシャーシ２０３に代えて、電源シャーシをあらゆる標準棚に挿入可能な、サーバシャーシと同一または類似の標準シャーシとして構成されてもよい。また、電源シャーシは、主電源が使用できない場合に、バッテリ電源をサーバシャーシ２０３に供給するためのバッテリバックアップユニット（ＢＢＵ）を備えてもよい。ＢＢＵは、１つまたは複数のバッテリパックを含み、各バッテリパックは、１つまたは複数のバッテリセルと、バッテリセルを充放電するために必要な充放電回路とを含む。

図３は、本出願の一実施例に係る冷却システム４００を示している。例えば、図３は、液冷を電子機器に提供するための冷却システム設計の概略図を示す。冷却システムは、図１に示す冷却システム１２０の一部、または図２に示す電子機器ラック２００のＣＤＵ２０１の一部として実現することができる。一実施例において、緩衝ユニット４０１は、熱交換器４３７、ポンプ４１９、弁４１１等からなる冷却ループ４３３に統合されている。緩衝ユニット４０１は、主冷却ループ４３３と並列に接続されている。緩衝ループ４１３では、主なコンポーネントは緩衝ユニット４０１と、緩衝ユニット４０１をシステム４００に統合するための対応するループ４１３である。

一実施例において、緩衝ユニット４０１は、空気部４０３と、メイン緩衝部４０５とを備えている。例えば、空気部では、圧力センサ４３５を用いて内部の空気圧を検知または測定し、調整／充填弁４１５を用いて空気部側に空気を注入または放出したり、空気部側から空気を注入または放出したりする。弁４１５は、熱交換器４３７の外部流体の温度に基づいて空気を注入または放出するように構成されており、この温度は、温度センサ４３１によって検知または測定されてもよい。例えば、流体温度が所定の閾値を下回ると、熱交換器４３７が冷却能力を有することを示す。これに応答して、弁４０７が開き、弁４１５を介して緩衝ユニット４０１の空気部に余分な空気を注入する。緩衝ユニット４０１に貯留された流体は、流路４１３、４３３を介して熱交換器４３７に排出され、冷却される。または、緩衝ユニット４０１の空気部の空気圧が圧力センサ４３５で検知可能な所定の閾値よりも高い場合には、弁４０９を開いて流路４１７を介して出口ポート４２３に流体を排出する。

一実施例において、緩衝ループ４１３は双方向ループとして設計されており、これは流体がいずれの方向にも流れることができることを意味する。例えば、入口ポート４２１から緩衝ユニット４０１に流体を流してもよいし、緩衝ユニット４０１から熱交換器４３７に流体を流してもよい。一実施例において、弁４０７は、双方向ループ４１３の動作に対応するように圧力制御される双方向弁である。例えば、双方向ループ４１３は、圧力センサ４２９によって検出された流体圧および／または圧力センサ４３５によって検出された空気圧に基づいて、流体がいずれかの方向に流れることを可能にする。流体は、単相流体でも多相流体（二相流体とも呼ばれる）でもよい。多相流体は、流体の温度によって、液体状態と蒸気状態とに切り換えられる。液体状態の流体の温度が所定の閾値を超えて上昇すると、流体は蒸発して蒸気となり、温度が所定の閾値を下回ると、蒸気は液体状態に戻る。

緩衝ユニット４０１の目的の１つは、入口ポート４２１から受け取った流体の一部を一時的に移送して貯留することであり、これは、圧力センサ４２９および／または圧力センサ４３５から供給される圧力データに基づいて、弁４０７によって制御することができる。このため、熱交換器４３７に流入する流体の圧力を低下させることができる。この動作を緩衝モードと呼ぶ。

一実施例において、直接還流ループ４１７は、緩衝ユニット４０１の出口と熱交換器側４３７の出口とを接続している。緩衝ユニット４０１で緩衝された流体は、経路４１７を介して出口ポート４２３に排出される。なお、緩衝ユニットを冷却システムに統合するために使用できる様々なタイプのループ設計が存在する。例えば、図３に示す設計は、主に単相液体動作に用いられる。一実施例において、圧力センサＰ１４２９がシステム入口の圧力を測定し、圧力センサＰ２４３５が空気部の圧力を測定する。

図４は、本出願の一実施例に係る別の例のシステム５００を示している。例えば、図４は、排出モードにおける冷却システム５００を示している。一実施例において、ループ４１３は、排出モード期間中に、緩衝ユニット４０５内の流体が双方向ループ４１３および緩衝ユニット４０１からポート４２９への弁４０７を介して冷却システムに還流していることを示している。一実施例において、図４に示すように、弁４０９が閉じている。

図５は、本出願の一実施例に係る別の例のシステム５００を示している。例えば、図５は、一実施例による、複数のループ（例えば、４１３および４１７）を使用する排出モードにおける冷却システム５００を示す。一実施例において、双方向ループ４１３および直接還流ループ４０９の両方が、緩衝部４０５に貯留された流体を放出するために使用される。このとき、調整弁４１５は、例えば、空気部４０３により多くの空気を圧送して圧力Ｐ２４３５を上昇させ、ポンプ４１９とともに流体を駆動するために用いられる。２つのループ（すなわち、４１３および４１５）で流体を放出する理由は、冷却システム出口における流体温度をよく制御するためである。一実施例において、流体は熱交換器４３７を介して双方向流路４１３から流出するが、直接還流ループ４１７から流出しない。したがって、実施例に係る設計条件に基づいて柔軟なシステム制御を実現することができる。一実施例において、直接還流ループ４１７からの流体は、熱交換器４３７を出る流体よりも高い温度を有してもよい。

図６Ａは、本出願の一実施例に係る別の例のシステム６００を示している。例えば、図６Ａは、一実施例に係る緩衝ユニット４０１を冷却システム６００に統合するための別の冷却システムの設計を示している。緩衝ユニット４０１は、先の図と異なることがわかる。なお、緩衝ユニット４０１は、以前と同様の設計で用いることができるが、特に、蒸気の貯留または流体と蒸気の混合に使用される緩衝部の動作には、異なるカスタマイズが必要となる場合がある。図６Ａは、蒸気ベースのシステム設計を示す。１つの双方向ループ４１３のみが、蒸気の取り込みおよび放出の両方に使用される。なお、緩衝ユニットの詳細な内部設計は図示していない。図６Ａにおいて、弁４０７の開弁圧を調整することにより、弁をいずれの方向にも開くことができる。例えば、圧力Ｐ１が圧力Ｐ２よりも大きい場合に、システムは緩衝ユニットへの充填を開始するようにしてもよい。排出モードでは、弁４０７は、他の方向から開くようにトリガされる。例えば、Ｐ１とＰ２とは、排出期間中において同様の値を有していてもよい。

図６Ｂは、本出願の一実施例に係る別の例のシステム６１０を示している。例えば、図６Ｂは、一実施例に係る緩衝ユニット４０１を冷却システム６１０に統合した他の冷却システムの設計を示している。一実施例において、緩衝ユニット４０１を熱交換器４３７の入口に接続する二方弁６０３を有する独立した還流ループ６０１が存在する。例えば、前述したように、蒸気がポンプ４１９を通過する前に冷却する必要があるため、図６Ｂに示す設計は図５に示す設計とは異なる。なお、冷却システム６１０では、独立した還流ループ６０１が用いられており、双方向ループ４１３は、図６Ｂに示すように、双方向ループであってもよい。

図６Ｃは、本出願に係る実施例を示す別の例を示す。例えば、図６Ｃは、複雑な状況に対処するための別のシステムの設計を示す。一実施例において、双方向ループ４１３は、緩衝期間中に液体および蒸気の両方を取得するために使用される。例えば、液体と蒸気の両方が緩衝ユニット４０１に貯留されているので、排出期間中に、双方向ループ４１３が蒸気を放出し、液体ループ４１７が液体を放出するように構成される。一実施例において、排出期間中に、緩衝部の圧力Ｐ２４３５は、Ｐ１４２９よりも若干高く制御され、弁４１１は、最大開度位置に制御される。一実施例において、冷却システム６２０は、潜熱を除去することで蒸気を液体に回復させる必要があるため、混合相流体を緩衝して独立して排出するように設計されている。

図７は、本出願の実施例に係る、ＩＴ７０１に例示的に接続される冷却システムに統合された緩衝システムを示している。例えば、図７において、冷却システムは、弁７０３を有するバイパスループ７０５を含み、バイパスループ７０５を通って流体が流れることを可能にする。いくつかの実施例において、熱交換器を有するメインループおよび／または緩衝ループが故障した場合、またはメンテナンスが必要な場合に、他のＩＴコンポーネント７０１との干渉を最小限にして、または全く干渉せずに、流体を流すことができる。

図８は、本出願の実施例による、冷却システムの緩衝期間中の例示的なプロセス８００のフローチャートである。例えば、図８は、緩衝部に流体を貯留して熱を緩衝するための詳細な動作設計および制御方法を示している。

動作８０１において、緩衝ユニット４０１は、低冷却能力、冷却障害等を含むピーク電力シナリオの間に、一定量の熱流を一時的に貯留してもよい。動作８０３において、制御弁４０７は、ループ４１３を一方向に開いて、緩衝ユニット４０１への流体の流れを補助することができる。動作８０５において、制御弁４０７は、緩衝システムが飽和しているとき、および／または上述のシナリオがもはや存在しないとき、ループ４１３を閉じることができる。

図９は、本出願の一実施例による、冷却システムの排出期間中の例示的なプロセス９００のフローチャートである。例えば、図９は、緩衝部に貯留された流体を排出するための詳細な動作設計および制御方法を示している。

動作９０１において、メイン発熱率が低い場合または冷却能力が高い場合には、緩衝ユニット４０１はメインループシステムに貯留された流体または熱負荷を放出してもよい。動作９０３において、制御弁４０７は、逆方向にループを開いて、緩衝ユニット４０１からの流体の排出を補助してもよい。動作９０５において、緩衝ユニット４０１の充填弁４１５は、排出プロセス９００を補助するために空気圧を増加することができる。動作９０７において、制御弁４０７はループを閉じることができる。動作９０９において、緩衝ユニット４０１の充填弁４１５から空気側圧力Ｐ２４３５を放出することができる。

図１０は、本出願の実施例に係る冷却システムの例示的なプロセス１０００を示すフローチャートである。動作１００１において、冷却システムは、１つまたは複数のセンサを介して外部流体の温度および流体圧を受信することができる。動作１００３において、緩衝ユニット４０１に流体を貯留することができる。動作１００５において、外部流体の温度が正常値以上である場合、動作１００１に戻り、外部流体の温度が正常値未満である場合、動作１００７に進む。

動作１００７において、圧力が高設定点値以上である場合、動作１００１に戻り、圧力が高設定点値未満である場合（すなわち、冷却能力が高くても熱負荷が高くないことを確保する）、動作１００９に進む。動作１００９において、冷却システムは、弁の開弁圧力値を既存の空気側圧力に一致させる。動作１０１１において、排出弁を調整することで空気側圧力を増加させる。動作１０１３において、圧力トリガ弁は、流体が緩衝ユニット４０１から熱交換器４３７へ流れるように圧力を上昇させる。

動作１０１５において、外部流体の温度が正常値未満である場合、または空気圧が最大値に達していない場合、動作１００９に戻り、外部流体の温度が正常値以上である場合、または空気圧が最大値に達した場合、動作１０１７に進む。動作１０１７において、冷却システムは充填を停止し、弁を閉じる。動作１０１９において、充填弁によって圧力放出が開始される。

本明細書において、本出願の実施形態は、その具体的な例示的な実施形態を参照しながら説明されてきた。当然のことながら、添付の特許請求の範囲に記載された本出願のより広い精神および範囲から逸脱することなく、様々な変更を加えることができる。したがって、明細書および図面は、例示的なものであり、限定的なものではないと考えられるべきである。

Claims

冷却システムであって、
１つまたは複数の電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成される冷却システム。
前記第１弁は、前記温度が所定の温度よりも高く、かつ、前記流体圧が所定の圧力よりも高いと判断されたことに応答して、前記緩衝ユニットに前記流体を貯留させることを可能にするように構成される請求項１に記載の冷却システム。
前記温度が前記所定の温度よりも低いこと、または、前記緩衝ユニットの前記空気部の空気圧が所定の空気圧よりも高いことに応答して、熱交換のために、貯留した流体を前記緩衝ユニットから前記熱交換器に排出する請求項２に記載の冷却システム。
前記緩衝ユニットは、排出期間中に前記流体を前記緩衝ユニットから流出させるように、前記空気部に空気を圧送して圧力を提供するための圧力調整弁をさらに備える請求項３に記載の冷却システム。
前記第２ループは、前記緩衝ユニットを前記出口ポートに接続するための第２弁をさらに備え、前記第２弁は、前記流体が前記緩衝ユニットの前記緩衝部から前記熱交換器をバイパスして前記出口ポートまで流れることを可能にするように構成される請求項１に記載の冷却システム。
前記第２弁は、前記緩衝ユニットの前記空気部内の空気圧に基づいて、前記緩衝ユニットから前記出口ポートへの流速を制御する圧力制御弁である請求項５に記載の冷却システム。
前記入口ポートと前記熱交換器との間に接続されて、前記熱交換器へ流入する流速を制御するための第３弁をさらに備える請求項５に記載の冷却システム。
前記第２ループに流入する前記流体は、液体および蒸気の両方を含む二相流体である請求項１に記載の冷却システム。
前記二相流体が前記緩衝ユニットに貯留されており、前記第２ループは、緩衝期間中に前記液体および前記蒸気を受けるように構成され、前記第２ループは、排出期間中に前記蒸気を放出するように構成され、前記緩衝ユニットと前記出口ポートとの間に接続される液体ループは、前記排出期間中に前記液体を放出するように構成される請求項８に記載の冷却システム。
前記入口ポートと前記出口ポートとの間に接続される第３弁を有する第３ループをさらに備え、前記第３ループは、前記流体の少なくとも一部を前記入口ポートから前記熱交換器および前記緩衝ユニットをバイパスして前記出口ポートに直接送るバイパスループとして動作する請求項１に記載の冷却システム。
データセンターの電子機器ラックであって、
１つまたは複数のサーバとして動作する１つまたは複数の電子機器と、
前記１つまたは複数の電子機器に接続される冷却システムと、を備え、
前記冷却システムは、
前記電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成されるデータセンターの電子機器ラック。
前記第１弁は、前記温度が所定の温度よりも高く、かつ、前記流体圧が所定の圧力よりも高いと判断されたことに応答して、前記緩衝ユニットに前記流体を貯留させることを可能にするように構成される請求項１１に記載の電子機器ラック。
前記温度が前記所定の温度よりも低いこと、または、前記緩衝ユニットの前記空気部の空気圧が所定の空気圧よりも高いことに応答して、熱交換のために、貯留した流体を前記緩衝ユニットから前記熱交換器に排出する請求項１２に記載の電子機器ラック。
前記緩衝ユニットは、排出期間中に前記流体を前記緩衝ユニットから流出させるように、前記空気部に空気を圧送して圧力を提供するための圧力調整弁をさらに備える請求項１３に記載の電子機器ラック。
前記第２ループは、前記緩衝ユニットを前記出口ポートに接続するための第２弁をさらに備え、前記第２弁は、前記流体が前記緩衝ユニットの前記緩衝部から前記熱交換器をバイパスして前記出口ポートまで流れることを可能にするように構成される請求項１１に記載の電子機器ラック。
前記第２弁は、前記緩衝ユニットの前記空気部内の空気圧に基づいて、前記緩衝ユニットから前記出口ポートへの流速を制御する圧力制御弁である請求項１５に記載の電子機器ラック。
前記冷却システムは、前記入口ポートと前記熱交換器との間に接続されて、前記熱交換器へ流入する流速を制御するための第３弁をさらに備える請求項１５に記載の電子機器ラック。
前記第２ループに流入する前記流体は、液体および蒸気の両方を含む二相流体である請求項１１に記載の電子機器ラック。
前記二相流体が前記緩衝ユニットに貯留されており、前記第２ループは、緩衝期間中に前記液体および前記蒸気を受けるように構成され、前記第２ループは、排出期間中に前記蒸気を放出するように構成され、前記緩衝ユニットと前記出口ポートとの間に接続される液体ループは、前記排出期間中に前記液体を放出するように構成される請求項１８に記載の電子機器ラック。
データセンターシステムであって、
それぞれ１つまたは複数のサーバを備える複数の電子機器ラックと、
前記電子機器ラックに接続され、前記サーバを液冷する冷却システムと、を備え、
前記冷却システムは、
電子機器に接続される入口ポートおよび出口ポートと、
前記入口ポートおよび前記出口ポートに接続される熱交換器を有する第１ループであって、前記熱交換器は、前記入口ポートから流体を受け取り、前記電子機器によって生成され、前記流体によって運ばれる熱を交換し、前記流体を前記出口ポートを介して前記電子機器に戻す第１ループと、
前記入口ポートと前記第１ループとに接続される第２ループであって、緩衝ユニットと、貯留のために前記流体を前記緩衝ユニットへ流入させ、熱交換のために前記流体を前記緩衝ユニットから排出して前記第１ループに流入させるように制御するための第１弁とを有する双方向の第２ループと、を備え、
前記緩衝ユニットは、空気を貯留するための空気部と、前記流体の一部を貯留するための緩衝部とを備え、前記空気部は、前記熱交換器に設けられる温度センサから得られた温度と、前記入口ポートの近傍に設けられる圧力センサから得られた流体圧とに基づいて空気圧を調整するように構成されるデータセンターシステム。