JP2017502382A - モジュラー型スーパーコンピューター・アーキテクチャー - Google Patents

モジュラー型スーパーコンピューター・アーキテクチャー Download PDF

Info

Publication number
JP2017502382A
JP2017502382A JP2016531016A JP2016531016A JP2017502382A JP 2017502382 A JP2017502382 A JP 2017502382A JP 2016531016 A JP2016531016 A JP 2016531016A JP 2016531016 A JP2016531016 A JP 2016531016A JP 2017502382 A JP2017502382 A JP 2017502382A
Authority
JP
Japan
Prior art keywords
card
cooling
electronic
cards
modular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531016A
Other languages
English (en)
Other versions
JP6422494B2 (ja
Inventor
マウロ ロッシ
マウロ ロッシ
ディルク プライター
ディルク プライター
パウルス ペトルス ベルナルデュス アーツ
パウルス ペトルス ベルナルデュス アーツ
ジャンピエトロ テッキオッリ
ジャンピエトロ テッキオッリ
ティロ ウェティグ
ティロ ウェティグ
Original Assignee
ユーロテック ソシエタ ペル アチオニ
ユーロテック ソシエタ ペル アチオニ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユーロテック ソシエタ ペル アチオニ, ユーロテック ソシエタ ペル アチオニ filed Critical ユーロテック ソシエタ ペル アチオニ
Publication of JP2017502382A publication Critical patent/JP2017502382A/ja
Application granted granted Critical
Publication of JP6422494B2 publication Critical patent/JP6422494B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/18Packaging or power distribution
    • G06F1/183Internal mounting support structures, e.g. for printed circuit boards, internal connecting means
    • G06F1/185Mounting of expansion boards
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20218Modifications to facilitate cooling, ventilating, or heating using a liquid coolant without phase change in electronic enclosures
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20763Liquid cooling without phase change
    • H05K7/20772Liquid cooling without phase change within server blades for removing heat from heat source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/20Indexing scheme relating to G06F1/20
    • G06F2200/201Cooling arrangements using cooling fluid

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Thermal Sciences (AREA)
  • Power Engineering (AREA)
  • Cooling Or The Like Of Electrical Apparatus (AREA)
  • Percussion Or Vibration Massage (AREA)
  • Executing Machine-Instructions (AREA)

Abstract

【課題】【解決手段】モジュラー型スーパーコンピューター(10)は、各々ネットワークで通信を行い、そして水冷式である複数の電子計算モジュール(12)を備える。【解決手段】各電子計算モジュール(12)は、計算ノード(40)と、一つ以上の独立した液体冷却装置(60)と、電源装置(74)と、計算ノード(40)、電源装置(74)および一つ以上の液体冷却装置(60)と、内部に、少なくとも、計算ノード(40)と電源装置(74)と一つ以上の独立した液体冷却装置(60)とを含みそして保護するボックス状コンテナと、を含む。各電子計算モジュール12は、ネットワーク通信および機械的に、少なくとも他の電子計算モジュール12から流体回路からも電気的に独立している。そして、通電状態で、挿脱または交換できる。【選択図】図7

Description

本発明は、モジュール型のスーパー計算アーキテクチャー(スーパーコンピューター)に関する。
例えば、国際公開公報第2012/014058号、または国際公開公報第2012/066414号、または国際公開公報第2013/050813号に記載されるように、水冷式(液冷式)のモジュラー型スーパーコンピューターを作製することは公知である。
公知のモジュラー型スーパーコンピューターには、この種のアーキテクチャのアクティビティ時間(別名「アップタイム(動作可能時間)」)に悪影響を及ぼし減少させるリスクがあり、保守、設置および/または修理に関して制約や欠点が存在しうる。これらは最小限にすべき不必要なコストとなる。水冷式のアーキテクチャの場合、冷却液の流体回路の管理、信頼性および安全性の課題なども関連してくるので更にその制約は大きくなる。
システムの考えられる動作条件において、ユーザビリティを最小限に保とうとする公知の解決策では、例えば米国特許出願公開第2006/065874号にあるように、裏接続面を有する冷却板および相互接続(いわゆる「ブレード」構成)を備える計算モジュール(別名ノードカード)を提供する。しかしながらいずれの場合も、特に前記ブレードの設置や保守または修理をする状況において、損耗、応力および機械的摩擦といった課題があり、結果的には、冷却液が漏出したり電気的接続が不安定になったり、最終的には有効な計算能力の低下したり(これはスーパーコンピュータアーキテクチャの重大な問題であるが、)といったリスクを伴う。
そのため、現在の技術水準におけるデメリットの内の少なくとも1つを克服できるモジュール型のスーパーコンピュータアーキテクチャを完成させる必要がある。
国際公開公報第2012/014058号 国際公開公報第2012/066414号 国際公開公報第2013/050813号 米国特許出願公開第2006/065874号
特に、本発明の1つの目的は、スケーラビリティ性にすぐれ、管理が容易で、そして、保守、設置および/または修理の必要が生じた場合でもシステムの処理能力を低下させることなく、とりわけ水冷式(liquid cooling)の場合でも、容易かつ迅速に対処できるモジュラー型スーパーコンピューターを得ることである。
本発明の別の目的は、個々の電子計算モジュールが、システムの他のモジュールの有無に関係なく使用可能である、モジュラー型スーパーコンピューターを得ることである。
本発明の別の目的は、互換性のある商業用の電子カード間(規格上のフォームファクタ)での機能性が保証されている適切な規格を備える電子カードを電子計算モジュール内部で使用しても、上記目的を達成できるスーパーコンピュータアーキテクチャを得ることである。
技術水準の欠点を克服して、これらの目的とその他の目的および利点を得るために、出願人は、本発明を考案して、テストして、実施した。
独立クレームが、本発明を記載して特徴付け、従属クレームが、本発明の他の特徴、又は本発明の主要な着想に対する変形例を表す。
上記の目的に従い、現在の技術水準の限界を克服し、その欠点を除去するモジュラー型スーパーコンピューターが提供される。
いくつかの実施形態によれば、モジュラー型スーパーコンピューターは、相互にネットワークで通信を行い、そして水冷式である複数の電子計算モジュールを含む。本発明によると、各電子計算モジュールは、1つの計算ノードと、その計算ノードから独立した一つ以上の液体冷却装置と、電源装置と、その少なくとも1つの計算ノードと電源装置と一つ以上の液体冷却装置とをその内部に収容し保護するボックス状のコンテナと、を含む。
本発明によると、各電子計算モジュールは、ネットワーク通信の点で、流体的にも、また電気的にも、そして機械的にも、少なくとも他の電子計算モジュールから、独立している。そして、通電状態のままこのアーキテクチャにモジュールの挿脱(取り付け及び取り外し)または交換(ホットスワップ)ができる。
このようにして、電源および流体に接続するための外部インターフェースが電源および冷却液源に適切に接続されることで、各電子計算モジュールは正常に作動することができる。
いくつかの実施形態によれば、各電子計算モジュールは、
ベース基板と、前記ベース基板に並べてまとめられ配置される複数の電子カードと、を備える計算ノードと、
サンドイッチ構造体にあるカードの一つ以上の冷却群を定める、計算ノードの前記電子カードの中間に配置される一つ以上の独立した液体冷却装置と、
電源装置と、
少なくとも計算ノードと、サンドイッチ構造体にあるカードの前記一つ以上の冷却群を定める一つ以上の液体冷却装置と、電源装置と、をその内部に含みそして保護するボックス状コンテナと、を含む。
結果、各電子計算モジュールは、ネットワーク通信の点で、流体的にも、また電気的にも、そして機械的にも、少なくとも他の電子計算モジュールから、独立している。そして、通電状態のままこのアーキテクチャにモジュールの挿脱又は交換ができる。
本開示内容の、これらおよび他の態様、特徴および利点は、以下の説明、図面および添付の請求の範囲を参照してよりよく理解される。一体化され本明細書の一部をなす図面は、いくつかの本発明の実施形態を示し、明細書と共に、本開示内容の原理を説明することを目的とする。
本発明に記載されるさまざまな態様および特徴は、可能な場合は、個々でそれぞれ適用することができる。これらの個々の態様(例えば添付の従属クレームに記載されている態様および特徴)は、分割出願の対象であることができる。
特許プロセスの間にすでに公知であると発見された、いかなる態様または特徴も、請求されず、そしてディスクレームの対象であるものと理解される。
本発明のこれらの特徴および他の特徴は、いくつかの実施形態の以下の説明から明らかになる。そして、添付の図面を参照して非限定的な例として与えられる。
ここで記載される実施形態によるモジュラー型スーパーコンピューターの正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの一部の、上から見た平面図である。 図2の正面図である。 図2の側面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの斜視図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの分離部品の正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの分離部品の背面図である。 本発明による電子計算モジュールの部品の相互接続の概略図である。図8(B)および(C)は、ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの一部の斜視図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの概略正面図である。 ここで記載される実施形態の形によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの、上から見た概略平面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの概略正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの実施形態の概略正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの一部の概略正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの実施形態の概略正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの他部分における実施形態の概略正面図である。 ここで記載される実施形態によるモジュラー型スーパーコンピューターの、電子計算モジュールの計算ノードの冷却装置に接続する冷却回路の実施形態の概略斜視図である。
理解を容易にするために、可能な場合は同じ参照番号を、図面における一致する共通な要素を識別するために用いる。実施形態の一形態の要素及び特性は、さらなる説明がなくても、実施形態の他の形態に好適に組み込むことができることを理解されたい。
我々は、本発明のさまざまな実施形態を詳細に参照し、一つ以上の実施例が添付の図面に示される。各実施例は、本発明の例証として提供され、限定するものと理解されない。例えば、それらが1つの実施形態の一部として示されるかまたは記載される特徴は、他の実施形態を生じる他の実施形態に採用されるか関連することができる。本発明がこの種全ての変更および変形例を含むものと理解される。
ここで記載される実施形態は、各々ネットワークで通信を行い、そして水冷(liquid cooling)される複数の電子計算モジュール12を含むモジュラー型スーパーコンピューター10に関連する。
いくつかの実施形態によれば、各電子計算モジュール12は、ベース基板42と、ベース基板42上にまとめて並置される複数の電子カード44、46、48と、を備える計算ノード40と、サンドイッチ構造体64、65にあるカードの一つ以上の冷却群を定める、計算ノード40の前記電子カード44、46、48の間に配置される一つ以上の独立した液体冷却装置60と、電源装置74と、少なくとも計算ノード40と、サンドイッチ構造体64,65にある冷却カードの前記一つ以上の冷却群を定める一つ以上の液体冷却装置60と、電源装置74と、をその内部に含みそして保護するボックス状コンテナと、を含む。
本発明によれば、各電子計算モジュール12は、ネットワーク通信の点で、流体的にも、また電気的にも、そして機械的にも、少なくとも他の電子計算モジュールから、独立している。そして、通電状態のままこのアーキテクチャにモジュールの挿脱または交換(ホットスワップ)ができる。
図1を、ここで記載されるすべての実施形態と組み合わせ可能な、本発明によるモジュラー型スーパーコンピューター10の実施形態を説明するために用いる。特に、ここで記載される実施形態は、1ペタフロップより高い計算能力レベルを有するスケーラブル・モジュラー型スーパーコンピューター10、または、大容量処理システムまたはスーパー計算機(以下HPC―高性能コンピュータ)に関し、それは、集約計算のさまざまな応用分野(例えば量子物理学の分野)や、流体熱力学(fluidothermodynamic)シミュレーションや、または高い処理容量が必要とされる他の算出シナリオにおいて、使用可能である。
モジュラー型スーパーコンピューター10は、複数の前記電子算出モード12または電子処理モジュールを含む。
モジュラー型スーパーコンピューター10で実行されるアプリケーションが必要とする全体の処理は、個々の電子計算モジュール12(アプリケーションが必要とするサブグループの動作を実行する)と連動して送り出されることができる。
それぞれの電子計算モジュール12は、予め定義された一群の計算及び処理を実行するために設けられる。電子計算モジュール12は、処理を行うために入力部でデータを受取り、一つ以上の処理ユニットへ処理の結果に関する出力データ(システムの管理および調整に関する情報と同様に)を出力部から出力できるように、通信装置またはネットワークアーキテクチャを用いて相互に接続することができる。
ネットワーク接続は、柔軟かつ、実行される特定のアプリケーションに適するように、処理をいくつかの電子計算モジュール12間で分配できるようにし、モジュラー型スーパーコンピューター10の処理能力の利用を最適にする。
並列計算の最新のシステムは、全体の計算力がペタフロップオーダー(1ペタフロップ=1015のオペレーション/秒)まで発展していることを考えれば、モジュラー型スーパーコンピューター10は、一回のインストールで多数の計算モジュール12の利用を可能にする。例えば、約1ペタフロップの全計算力のため、256の電子計算モジュールが4つのキャビネットにインストールされる。
上記のように、考えられる実施形態では、モジュラー型スーパーコンピューター10を形成する異なる電子計算モジュール12の間で通信するのに使用可能な、ネットワークアーキテクチャを設けることができる。そして、それは公知のタイプであり、高速および低消費電力(例えばInfiniband(登録商標)規格)であってもよい。考えられるネットワークアーキテクチャの一つの実施例は、本出願人の名において国際公開第2012/066414号に記載されており、参照することにより全てここに組み込まれる。
考えられる実施形態では、電子計算モジュール12は、ライン(行)とカラム(列)の構成に従い、配置され、空間的に分類することができる。例えば、電子計算モジュール12の各ラインは、2、3、4、5もしくは5以上の電子計算モジュール12を含むことができる。さらに例えば、電子計算モジュール12の一つだけのラインを設けることができるか、または、例えば電子計算モジュール12のラインの異なる垂直レベル(段)を定めるために、電子計算モジュール12の複数のラインを積み重ねて設けることができる。考えられる例示の実施例において、2、3、4、5、6、7、8、もしくは8ライン以上の電子計算モジュール12を設けることができる。そして、電子計算モジュール12のそれぞれの垂直レベル13を定める。この配列は、スペース内で繰り返すことができ、例えば、電子計算モジュール12の2つのカラムを前後の配列で設けることができ、しかしまた、前後に隣接して、3、4、5、6、もしくは6以上のカラムも、設けることができる。
例えば図1を参照して記載される、考えられる実施形態において、モジュラー型スーパーコンピューター10は、例えば上記のように群にまとめられる、電子計算モジュール12を保持するために、収容キャビネットまたはラック14を含むことができる。本モジュラー型スーパーコンピューター10のモジュールの拡張に従って、それぞれ自身の電子計算モジュール12を含む複数の収容キャビネット14を設けることもできる。例えば、選択的に着脱可能な方法で、収容キャビネット14に各電子計算モジュール12を挿入することができる。この目的のために、各電子計算モジュール12には、収容キャビネット14へまたは収容キャビネット14から電子計算モジュール12の挿入又は取り外しおよび位置決めを行うための、収容キャビネット14のカウンタガイド(例えばレール)と協働するように構成されるスライディングガイドを、例えば外部側面に沿って設けることができる。また、後に詳述するように、各電子計算モジュール12を収容キャビネット14に挿入することができ、そうすることによって必然的に電源および冷却液供給源に電気的に及び流体的に接続され、また外部のデータ通信ネットワークにも接続される。
実際、これは、本明細書によれば、モジュラー型スーパーコンピューター10のモジュール性を実現する。なぜなら、各電子計算モジュール12は、アーキテクチャ(建物)を実現するためのレンガと比喩的にも考えられるものであるが、”n”個の電子計算モジュール12とスケーラブルな方法で結合でき、有利には上限がなく、少なくとも電気的接続、冷却、また、外部とのデータ通信の要求にも満足するからである。
さらにまた、そのモジュール性を前提として、各電子計算モジュール12は、修理、保守または制御のために容易に取り外すことができ、更に、完全にまたは一時的に交換可能である。上記のように実質上、各電子計算モジュール12は他のモジュールとは独立しており、そして、素早く通電状態で(「ホットスワップ」状態で、)すなわち、電源を落としたり、またはシステムを停止させることなく、接続または取り外しできる。
この目的のために考えられる実施形態では、各電子計算モジュール12は、ホットスワップタイプの供給インターフェース電気回路と、迅速に切り離しできる流体回路と、外部とのインターフェース接続の要素数を、例えば4つの要素に(電源接続、データネットワーク接続、冷却回路の入力および出力を含む)、減少させるために最適化された内部相互接続と、を提供することができる。さらにまた、迅速に接続および切り離し(切断)ができる電子計算モジュール12を得る目的で、アーキテクチャ10の電子計算モジュール12と接続/切断ための動作の安全性を最大限にするような、インターフェース接続の機械的、空間的構成がなされる。
図1を参照して記載される考えられる実施形態では、モジュラー型スーパーコンピューター10は、さまざまな電子計算モジュール12と通信するための複数のネットワーク通信スイッチ16を含むことができる。例えば、いくつかのネットワーク通信スイッチ16を電子計算モジュール12間の前面−後面(フロント−バック)通信のために提供することができる一方で、残りは電子計算モジュール12間の後面−前面(バック−フロント)の通信のために提供することができる。例えばネットワーク通信スイッチ16は、FDR Infiniband(登録商標)規格、以下IBと称す、に従い、ネットワーク通信を広帯域(56Gbps/1node)および低いレイテンシー(約1マイクロ秒未満)で実行することができる。例えば、ネットワーク通信スイッチ16は、FDR IBスイッチ(例えば1、2、3、4または4以上)を含むことができ、各スイッチは複数のゲート(例えば36のゲート)を有する。例えば、各FDR IBスイッチは、複数の内部IBゲート(等しい数の電子計算モジュール12のIBゲートに接続されている)と、複数の外部IBゲート(外部インターコネクトのために外部コネクタに提供されている)と、を含むことができる。図1を参照すると、例えば、さまざまな電子計算モジュール12間で通信するためのネットワーク通信スイッチ16を、収容キャビネット14の外壁の1つに載置することができる。
図1を参照して記載される考えられる実施形態では、モジュラー型スーパーコンピューター10は、外部とのネットワーク通信のために、複数のEthernetスイッチ18を含むことができる。例えば、1、2、3、4または4つ以上のEthernetスイッチ18を設けることができる。例えば図1を参照して、Ethernetスイッチ18は、上方部分に、例えば収容キャビネット14内部の、電子計算モジュール12のそれぞれのカラムより上に配置することができる。
図1を参照して記載される、考えられる実施形態では、モジュラー型スーパーコンピューター10は、複数の電源ユニット(PSU)20を含むことができる。電源ユニット20を、電子計算モジュール12に対する、また、使用可能なネットワーク通信スイッチ16およびEthernetスイッチ18に対する接続および電源のために構成することができる。例えば図1を参照すると、電源ユニット20は、収容キャビネット14内で、電子計算モジュール12のそれぞれのカラムの最上部と前記Ethernetスイッチ18との間に配置することができる。特に、後述するように、各電子計算モジュール12は各々自身の電源システムを備えている。
ここで記載されるすべての実施形態と組み合わせ可能な、図1を用いて記載される実施形態に関して、電子計算モジュール12によって生じる熱を放熱するために、モジュラー型スーパーコンピューター10は、水冷システムを提供することができる。具体的には、後述するように、各電子計算モジュール12は自身の水冷システムを備えている。ここで記載される実施形態によれば、そのため、各電子計算モジュール12は他の電子計算モジュール12に対して、少なくとも電源と冷却の点では独立である。
図2、3および4は、群(グループ)になっている実施形態、例えば、ここで記載されるモジュラー型スーパーコンピューター10の、或る垂直レベル13の電子計算モジュール12の2つの群(前部の一つと後部の一つ)、について説明するために用いる。図2を参照して、例えば4つの前部の電子計算モジュール12を一列に設け、そして、4つの後部電子計算モジュール12も一列に設けることができる。
図2を使用して記載される実施形態(ここで記載されるすべての実施形態と組み合わせ可能)に関して、モジュラー型スーパーコンピューター10は、例えば、電子計算モジュール12の垂直レベル13ごとに、キャビネット14に挿入されると、それぞれのレベルの電子計算モジュール12の電気接続が繋がる、1つ、2つ、またはそれ以上の数の主電気コネクタ22を備えることができる。前面(フロント)の主電気コネクタ22を、前面(フロント)の電子計算モジュール12のために提供することができ、そして、後面(バック)の主電気コネクタ22を、後面(バック)の電子計算モジュール12のために提供することができる。例えば4つの電子計算モジュール12を接続するために例として示される場合には、主電気コネクタ22を例えば12Vdc 1000Aの供給のために備えることができる。
図2を使用して記載される実施形態に関して(ここで記載されるすべての実施形態と組み合わせ可能であってもよい)、モジュラー型スーパーコンピューター10は、例えば、電子計算モジュール12の垂直レベルごとに、少なくとも2つ以上の主冷却水コネクタ24(少なくとも送りのための1つと戻りのための1つ)を提供することができる。そして、それぞれのレベルの電子計算モジュール12の各々の液体冷却装置60の流体回路への接続、例えば流体コネクタ56は、主冷却水コネクタ24に繋がる。以下に更に詳細に記載する。
一対の前面の主冷却水コネクタ24は前面の電子計算モジュール12のために提供することができ、そして、一対の後面の主冷却水コネクタ24は、後面の電子計算モジュール12のために提供する。例えば、主冷却水コネクタ24は素早く取り外す(ディスコネクト)ことができ、漏れがない。例えば、主冷却水コネクタ24はクイックディスコネクト・ゼロ流出タイプであってもよく、そして、例えばそれは二重閉弁を備えており、機械的に切り離す(ディスコネクトする)際にそれぞれの流体回路を遮断し、結果として熱媒体(冷却水)の流出を防ぐことができる。
さらにまた、ここで記載されるすべての実施形態と組み合わせ可能である、本発明による実施形態で、各電子計算モジュール12は自身の電源装置74(図7を参照)を含む。そして、例えば、それは主電源コネクタ76を備えることができ、以下に、いくつかの考えられる実施形態を例として後述する。
ここで記載されているモジュラー型スーパーコンピューター10で使用可能な電子計算モジュール12の実施形態(ここで記載されるすべての実施形態と組み合わせ可能)を記載するために、図5、6および7を用いる。電子計算モジュール12は、それぞれの計算ノード40を含む、ボックス状コンテナ32を含むことができ、本質的に電子計算モジュール12の計算ユニットを実現する。
本発明によると、電子計算モジュール12および、具体的に計算ノード40は、複数の電子カードおよび/またはその機能に適した他の電子部品を含むことができ、そして、それは以下で更に詳細に後述する。
考えられる実施形態では、電子カードまたは部品(コンポーネント)は、特に、必要とされる目的を満たし、そしてそれ故に、最適な方法で、計算ノード40の統合、従って全体の容量の最大化およびその結果として、その全体の性能を最大化する。
他の有利な実施形態では、本発明による電子計算モジュール12は、電気モジュールをより簡単に実施するよう、それらの主要な特徴(例えば規格上のフォームファクタおよび電気および機械インターフェース)を決定する所定の商業規格を満たす電子カードおよび電子部品を用いることができる。
このようにして、例えばコストを抑えるだけでなく、現行のスーパー計算システムのモジュール性を単純化し容易にするための、絶えず増加する要求をも満たすことが可能である。この目的のためには、市場で利用できる電子カードおよび部品を使用し、ほんの少しの非限定的例であるが、PCIエクスプレス(PCIe)、COMエクスプレス(COMe)、VersaModuleEurocard(VME)等といった、目的に適した公認の国際規格を満たすようにする。
これらの場合において、予め定められた規格が厳守されると、計算ノード40の個々の電子カードおよび部品(コンポーネント)のサイズ、規格のフォームファクタおよびインターフェースは、義務的に決定される特徴となり、電子計算モジュール12の集積化およびパフォーマンスを最大にするために採用されるソリューションを制約することができる。
考えられる実施形態では、計算ノード40は、例えばボックス状コンテナ32で区切られる、それぞれの内部収容室38に挿入されることができる。そして、前面の挿入開口39からアクセスされる。ボックス状コンテナ32は、計算ノード40を含み、そして、外部環境から保護するように構成する。例えば、入口開口部39を閉じるために配置可能な前面の封止パネル34、または後面の封止壁、またはパネル36を設けることができる。前面のパネル34は、例えば計算ノード40を挿入/抜去ができるよう、また、例えば内部収容室38に収納する計算ノード40上の保守、制御および修理ができるように着脱可能である。
あるいは、ボックス状コンテナ32は、電子計算モジュール12のすべての内部の要素、電子カードまたは類似の電子部品に完全にアクセスするために、電子計算モジュール12(実質的に計算ノード40により代表される)に含まれている電子機器からボックス状コンテナ32を引き出すことにより取り外すことができる。
いくつかの実施形態によれば、各計算ノード40の電子カード44、46、48は、少なくとも1つの中央処理カード46、少なくとも一つのネットワークカード48、一つ以上の演算アクセラレーターカード44、および場合によってはあり得るI/Oカード50である。
具体的に、考えられる実施形態によれば、各計算ノード40は、少なくとも一つの中央処理カード(Central Prossesing Card)またはCPC46を含むことができる。
さらにまた、各計算ノード40は、少なくとも一つのネットワークカードまたはコントローラ48(例えばInfiniband(登録商標)(IB)コントローラ)を含むことができ、それは、例えば約56Gbpsの全最大帯域を有することができる。
さらにまた、各計算ノード40は一つ以上の演算アクセラレーターカードまたはCAC44を含むことができる。そして、それは有利には並列処理を加速させる。例えば、2、3、4または4つ以上の演算アクセラレーターカード44を設けることができる。
いくつかの実施形態において、中央処理カードCPU46、ネットワークカード48、および演算アクセラレーターカードCAC44は、カスタマイズタイプであることができる。すなわち、具体的に言うと、モジュラー型スーパーコンピューター10のための電子計算モジュール12の特定の利用に関する機能を実行するために作製されうる。
有利な実施形態で、中央処理カードCPC46、ネットワークカード48、および演算アクセラレーターカードCAC44は、公認の国際規格に従って作製することができ、それ故、市場で利用可能な部品として購入可能である。
具体的には、中央処理カードCPC46、ネットワークカード48、および演算アクセラレーターカードCAC44は、有利には同一の規格に帰属して選択することができる。例えばPCIエクスプレスタイプのカードのみを使用する。あるいは、適合性、市場での利用可能性、または採用される技術的解決の観点から、いくつかの電子カード(例えば中央処理カードCPC46およびネットワークカード48)は標準のPCIeタイプとし、その一方で、一つ以上の演算アクセラレーターカードCAC44はCOMe規格に属するものとすることができる。
例えば、CPC46および一つ以上の演算アクセラレーターカードCAC44(例えばネットワークカード48または存在する他の使用可能なカードの類)は、冷却すべきホットスポットを表す電子部品89を有しうる(例えば図9、10および11を参照)。
考えられる実施形態では、各計算ノード40は、例えば、計算ノード40をモニタおよび/または維持するために、付加的なネットワーク接続と、ビデオポートと他の使用可能なインターフェースとを供給するように構成された、I/Oカード50を少なくとも含むことができる。
本発明の有利な実施形態は、外部に対し(例えば、ネットワーク通信、入出力信号、および電源の管理に関して)、電子計算モジュール12内の考えられる複雑な、またはいずれにせよ、複数の電子カードを”マスク”する要求に対応するために、設けることができる。
具体的には、電子計算モジュール12が外部から、異なる電子カードと可変で複雑な部品(コンポーネント)と出力との1つの群(グループ)としてではなく、例えばモジュール方式の観点から、効率的に管理することができる同型の出力を供給する単一の本体(エンティティ)としてみなされることができる。
具体的には、本発明は、群(グループ)で構成され、そして電子計算モジュール自体に対応付けられた複数の部品と電子カードが、外部に対して、より多いあるいは少ない複雑さを有する単一の計算モジュールと同等とすることができる。これは、具体的に、問題のモジュラー型スーパーコンピューター10の本当のモジュール方式の要件を満たすことである。
この目的に対し、本発明の実施形態は、電子計算モジュール12内部および特定の計算ノード40内部での適切な通信網95の選択肢を提供することができる。そして、それは、各種要素と電子カードの間の通信を効率的にし、そして、外部に対して、個別の複雑でない計算モジュールが有する出力と、同等または類似の信号出力を利用可能とする。
考えられる実施形態によると、各計算ノード40は、電力(電源)と、計算ノード40のカードおよび部品間の内部通信と、外部への計算ノード40のネットワーク通信とに、少なくとも接続できるように構成される、ベース基板または中間基板42を含むことができる。例えば、ベース基板42を配置し、ボックス状コンテナ32の底部33に取り付けても良い(例えば図6および9を参照)。
従って、ベース基板42は、計算ノード40を構成するカードに基本機能を供給するように構成される。具体的には、ベース基板42は、主(一次)電源およびネットワーク接続を受けることができ、それらを調整しそして計算ノード40の個々のカードに分配することができる。具体的には、ベース基板42は電源装置74を含むことができる。例えば、ベース基板42は、電源装置74の主電源コネクタ76(有利には後面配置)のような、電子計算モジュール12のカードまたは部品まで、外部から電力を供給するために必要な有効な電子回路を提供することができる。(例えば図7を参照)
例えば図8Bおよび8Cを参照して記載の、考えられる実施形態によると、主電源コネクタ76は、例えば、取付けられる電子計算モジュール12に対応するハードウェアアドレスを設定するために、場合によりアドレスセレクタ78を含むこともできる、ベース基板42の後部側に設けられている後部ミニカード77に配置することができる。具体的には、アドレスセレクタ78は、所望のハードウェアアドレス情報をコード化するために、最適にセット可能な複数のディップスイッチ79を含むことができる。この情報は、他の専用のピンによって、例えば主電源コネクタ76を有する電子計算モジュール12に供給されることができる。ベース基板42の電子回路は、場合によって、カードに分配される電気接続の論理管理部品(コンポーネント)および、消費電力をモニタするための部品(コンポーネント)およびホットプラグ部品(コンポーネント)を含むこともできる。
有利には、ベース基板42は、計算ノード40の部品および電子カード間で、前述の内部通信網95を実装することができる。例えば、計算ノード40を構成するさまざまなカードと、カード用の支持および電気接続コネクタ62と、内部通信網95の必要な管理、制御および監視論理との間で通信バスを管理するための部品(コンポーネント)を設けることができる。
計算ノード40(例えばPCIeタイプ)を形成する電子カードのみを使用する事例では、内部通信網95の効果的なアーキテクチャは、図8Aに示されるものであることができ、そして、例えば少なくとも一つのコントローラおよびPCIeスイッチ87およびコネクタ62(例えば標準PCIeコネクタ75)を必要とすることができる。
コネクタ62がベース基板42に取付けられ、そして、次にベース基板42が取付けネジ63でボックス状コンテナ32の底部33に接続される(例えば図9を参照)。例えば、使用可能なネットワークカードのようなCPC46またはコントローラ48、そして、一つ以上の演算アクセラレーターカード44を、カードコネクタ62でベース基板42に接続することができる。
考えられる実施形態において、二組の演算アクセラレーターカード44を、各々隣接し計算ノード40の両側に配置し設けることができる。そして、中間位置に、使用可能なIOカード50と共に、CPC46およびネットワークカード48により形成される一組のカードを、まとめて左右に配置して、設けることができる。
適切な電気接続コネクタおよびケーブルにより、計算ノード40は外部の電源供給と接続することができる(例えば前記主電気コネクタ22に繋がる)。ケーブルを介して物理的に計算ノード40を電源に接続するために、ボックス状コンテナ32に電気接続窓54を設けることができる(例えば後部壁36に作られる)。そして、電気接続窓54はベース基板42の主電源コネクタ76を外側にさらすように構成され、主電源コネクタ76は電気接続窓54と通常同一面上であるか、あるいはわずかに突出している。
考えられる実施形態では、電子計算モジュール12の水冷システムのために、流体接続窓52をボックス状コンテナ32に設けることができる(例えば後部壁36に作られる)。例えば、支持具58(ブラケットまたはその類)を、流体コネクタ56のために、液体接続窓52に設けることができる。流体コネクタ56は、一端は計算ノード40の冷却システムからパイプへと、そして他端は、上記のように例えば主冷却水コネクタ24に接続されているパイプまたはコネクタへ、接続することができる。流体コネクタ56はまた、上記のように迅速接続(クイックコネクション)型かつドリップレスであることができる。
有利には、流体コネクタ56はボックス状コンテナ22のボディから突出する位置に設けることができ、電源装置74については、ベース基板42の主電源コネクタ76同様、反対に後退した位置にあり、そして例えば電気接続ウィンドウ54に露出することができる。
例えば、流体コネクタ56の所望の突起または突出位置は、支持体58を十分な長さにすることによって獲得することができ、後部壁36より外に伸びる。
この技術的解決は、非常に有利であり得る。なぜなら、流体コネクタ56が突出した幾何学的位置にあるので、キャビネット14の電子計算モジュール12への挿入で、最初に流体コネクタ56が冷却液のソースに接続し、そして、その後に初めて、流体接続が確立し、封止され、安全が確保され、電源が、(後退した位置にある)主電源コネクタ76に接続されることとなり、その結果、システムの安全性は最大となる。このことは、電子計算モジュール12が抜き取られ接続が絶たれる場合にも適応する。なぜなら、まず初めに挿入動作の反対の動作によって、電源が絶たれ、その後初めて流体回路の接続が絶たれる。従って、一義的な空間形態を、例えば右は冷却回路への接続のための突出部分、そして、左は電気接続のための後退部分と定めることができ、それは、上記のように安全性を保証するだけでなく、電子計算モジュール12のための正しく一義的な挿入位置を識別する。
ボックス状コンテナ32が、例えば流体接続窓52および電気接続窓54を開いている実施形態は、経済コストに関して有利であり、重大な箇所や危険な箇所以外の取付け場所の解決策に適することができる。
これに反して、例えば、ボックス状コンテナ32が完全に閉じる実施形態(流体接続窓52および電気接続窓54がない)では、制御されない箇所、重大な箇所、危険な箇所(電子計算モジュール12のカードおよび他の部品の高レベルの保護が保証されなければならない箇所)において設けることができる。
図9、10および11は、本発明による電子計算モジュール12に設けられる、考えられる液体冷却システムの実施形態(ここで記載される他の全ての実施形態と組み合わせることが可能)を説明するために用いる。具体的に、冷却システムは電子計算モジュール12のための一つ以上の前記液体冷却装置60を含むことができる。そして、例えばそれぞれを計算ノード40のそれぞれの部品(コンポーネント)専用とすることができる。具体的に、液体冷却装置60を、電子カード44、46、48の間に配置することができ、そして、例えば、液体冷却装置60を、CPC46に隣接して配置することができる。同様に、液体冷却装置60は、演算アクセラレーターカード44に隣接して、更に、場合によりネットワークカード48に配置することができる。例えば、液体冷却装置60は、2つの演算アクセラレーターカード44の間に、そして、CPC46とネットワークカード48との間に設けることができる。
従って、考えられる実施形態では、サンドイッチ構造体64、65のカードの冷却群は、それぞれ一つ以上の液体冷却装置60を含む、サンドイッチ構造体64の演算アクセラレーターカードの冷却群および/またはサンドイッチ構造体65の中央処理/ネットワークカードの冷却群を含むことができ、そして、計算ノード40のベース基板42に配置されるそれぞれ対応する一つ以上の演算アクセラレーターカード44および/または中央処理カード46およびネットワークカード48と連結され、すなわち、面と面とで隣接もしくは合わされ、具体的にはこの場合、ベース基板42により定められる面に対して、すべて同じ側に(横断方向に)配置されており、より具体的には垂直に配置される。
例えば、各液体冷却装置60と、それぞれの演算アクセラレーターカード44、またはCPC46およびネットワークカード48のための積層またはサンドイッチ構造体64、65を備えたカードの冷却群(グループ)を提供することができる。例えば、サンドイッチ構造体64の演算アクセラレーターカードの冷却群を設けることができ、それは、2つの対向する演算アクセラレーターカード44と、その間に液体冷却装置60とを含む。サンドイッチ構造体64の演算アクセラレーターカードの冷却群は、同じものが計算ノード40の両側にも作られる。同様に、サンドイッチ構造体65に中央処理/ネットワークカードまたはCPC/ネットワークカードの冷却群を設けることができ、そして、その冷却群は、互いに対向するCPC46およびネットワークカード48と、その真ん中に液体冷却装置60とを含む。サンドイッチ構造体65のCPC/ネットワークカードのこの冷却群は、サンドイッチ構造体64の演算アクセラレーターカードの2つの冷却群との間にあり、計算ノード40において例えば中間であってもよい。
いくつかの実施形態において、サンドイッチ構造体64、65のカードの各冷却群は、それぞれの液体冷却装置60および、前記中央処理カード46とネットワークカード48と一つ以上の演算アクセラレーターカード44と協働する放熱板67と接続することができる。ここで記載される実施形態に関して、各放熱板67は、カードが液体冷却装置60と接触していない側の、したがって液体により放熱されない、電子部品89によって生成される熱(ホットスポット)を少なくとも部分的に分散させ、分配し、取り除くように構成される。
考えられる実施形態において、放熱板67は、冷却される各カードのために、それぞれサンドイッチ構造体65のCPC/ネットワークカードの冷却群グループまたはサンドイッチ構造体64の演算アクセラレーターカードの冷却群において、対応するカード(例えばCPU46およびI/Oカード50、または演算アクセラレーターカード44)と接触して横に連結される単一の放熱板を含むことができる。
図9を用いて記載される実施形態で、2枚の対抗する側面のサポート壁69を定めるために、それ自体後ろに曲げられるプレートで放熱板67を例えば形成することができる。そして場合により、接続部分72で接続され、ハウジング73を確定し、その中に、それぞれの液体冷却装置60、および使用可能な演算アクセラレーターカード44またはCPC46およびネットワークカード48を挿入する(例えば図9を参照)。接続部分72およびこのように定められるハウジング73は、使用中に放熱板67と接触してカードの冷却を保持するようなサイズであることができる。
例えば、放熱板67を構成しうる湾曲したプレートは、原則的にさかさまのUのような形であり、そして、例えば単一のプレートまたはシートを湾曲することにより得られる考えられる実施形態では、例えば目的に適したアルミニウムまたは類似の熱伝導金属または合金で作製することができる。
具体的には、液体冷却装置60を、放熱板67の内側で、上述のように、例えばハウジング73中の、放熱板67の内面に対して、例えば中央に、挿入することができる。
例えば放熱板67の接続部分72は、液体冷却装置60が挿入されるゾーンを上部で閉じることができ、一方でサポート壁69は側面の境界を定める。
液体冷却装置60を、例えばCPC46および/またはネットワークカード48に、または演算アクセラレーターカード44に、そして、放熱板67に、特にサポート壁69に押しつけるために、取付部材66(例えばネジ)を設けることができる(図15を参照)。
CPC46およびネットワークカード48、または演算アクセラレーターカード44は、放熱板67の内側に、具体的には放熱板67の内部面に接触して側面に沿って配置することができる。この場合も、CPC46およびネットワークカード48、または演算アクセラレーターカード44を押しつけ、放熱板67と接触させるため、取付部材68を設けることができる。
ここで記載されるすべての実施形態と組み合わせ可能である、図10および11を使用して記載される考えられる形で、液体冷却装置60と、CPC46およびネットワークカード48の間で、各種要素間の高さの違いを相殺するために、例えば通常は一方の面はそれぞれのCPC46に接触し、他方の面は液体冷却装置60に、接触して配置される、「ローカルサーマルリンク(Local Thermal Links)」とも呼ばれる、一つ以上の突出する放熱および熱交換ブロック70を設けることができる。突出する放熱および熱交換ブロック70は、例えば、放熱板67と演算アクセラレーターカード44の間に配置されることもできる(例えば図10を参照)。
ここで記載されるすべての実施形態と組み合わせ可能である、いくつかの実施形態によれば、突出した放熱および熱交換ブロック70は、冷却すべき部品(またはホットスポット)、演算アクセラレーターカード44、CPC46および/またはネットワークカード48の位置に調整して配置することができ、そして、熱が作用している間に抜き取られる電子部品に合わせた形状およびサイズを有する。
いくつかの実施形態において、例えば公知のタイプの、放熱材71(TIM(Thermal Interface Material)とも呼ばれている)の一つ以上の層を設けることができる。一つ以上の層の放熱材71は、液体冷却装置60の熱伝導による伝熱効率を上げるように、1つの冷却装置60と、例えば演算アクセラレーターカード44、CPC46、および/またはネットワークカード48の、それぞれの冷却すべき電子部品89との間に配置することができ、そして/または、一つ以上の突出する放熱および熱交換ブロック70に接続、または近接して、例えば演算アクセラレーターカード44と対応している突出する放熱および熱交換ブロック70の間に配置できる。
例えば、放熱材料71の層および/または突出する放熱および熱交換ブロック70は、使用時に、関連する部品またはホットスポットに直接または間接的に接触するような断面の厚みを有することができる。
本発明によると、そして、ここで記載されるすべての実施形態と組み合わせ可能である、例えば図9を用いて記載される実施形態を参照して、各計算ノード40が電子計算モジュール12のボックス状コンテナ32により完全に囲まれ保護されていることは明白である。このようにして、計算ノード40またはその部品に、修理、保守、交換または制御のための何らかの介入が必要な場合、スイッチをオフにしたりシステムを停止させることなく、そして、安全に、設置されている場所からボックス状コンテナ32を完全に抜き取ることにより、その対応する電子計算モジュール12を新しいものおよび/または交換品に交換することができ、そして閉じて、保護されている状態で、ボックス状コンテナ32を適切な場所、有利には、設置場所よりも好ましく安全な作業環境の、別の場所に運び、修理、保守、交換または管理といった必要な作業を実行できる。
従って、サービスを中断せずに、システム動作可能時間を最大にすることができる。さらにまた、電子計算モジュール12およびモジュラー型スーパーコンピューター10が、例えば汚染、塵、動作温度、クリーニングまたはそういったものに関して、極端なまたは好ましくない環境に設置されている場合であっても、上記の作業を行うために、抜き取り、運び、そして空けている間、電子計算モジュール12の中身にダメージを与える危険がない。
さらにまた、ここで記載されるすべての実施形態と組み合わせ可能である、図9、10および11を使用して記載される実施形態に関して、各液体冷却装置60は常に、計算ノード40の他の液体冷却装置60に対して、「熱い」部品(例えば演算アクセラレーターカード44、CPC46、ネットワークカード48)と交互にあり、液体冷却装置60が、直接隣接するかまたは互いに並ぶのを避ける。このようにして、計算ノード40の構成は順応性が高くそして、さまざまな電子カード(例えば演算アクセラレーターカード44、CPC46、ネットワークカード48、より近いI/Oカード50)を、2つの向かい合う水冷却回路の間に干渉を受けずに配置する。さらにまた、このように液体冷却装置60の生産を単純化することができる。すなわち、液体冷却装置60は、冷却されるいずれのカードに対しても1種類だけを作製し、電子計算モジュール12に対して常に同じ方向を向くようにし、すべて冷却液の供給および排出を電子計算モジュール12の同じ側(例えば後部側)に配置し、それにより、取り扱いおよび接続がより簡単になるようにする。
図12、13および14は本発明による使用可能な液体冷却装置60の実施形態(ここで記載されるすべての実施形態と組み合わせ可能である)を記載するために用い、そして、冷却板80を含む。例えば、冷却板80は、2枚の隣接する冷却壁81で形成することができる。例えば冷却板80は、互いに対向し向き合う冷却壁81を定める、それ自体が折り曲げられるプレートで作製することができる。
他の実施形態(例えば、図12、13および14を使用して記載される)において、冷却板80は、冷却されるカードまたは部品の両側で、各々隣接して、2つの別個の壁またはプレートにより形成することができる。
シンプルなサンドイッチ構造を定めるために、冷却板80および放熱板67を、冷却されるカードの両側で、それぞれの別個の隣接した壁またはプレートにより形成する、考えられる実施形態は、本出願人の名においてVI2013A000273でイタリアにおいて出願される産業発明の特許出願に、例えば、記載されている。
例えば、図12、13および14を使用して記載され、ここで記載されるすべての実施形態と組み合わせ可能である、いくつかの実施形態において、液体冷却装置60は、組み入れられ、統合され、はめ込まれるかいずれかのケース内部にあり、そして、冷却板80に含まれ、そして、1つまたは2つの入口と、1つ以上の出口の間に展開する冷却回路で構成される、複数の冷却パイプ82を含むこともできる。例えば、冷却板80の各々の冷却壁81は、その冷却液の入口および、冷却液の出口を有し、その冷却パイプ82によって形成される流体の冷却回路を有することができる。冷却パイプ82は、冷却液を受け取り、それがこのように冷却パイプ82の中を流れ、所望の冷却が得られるように構成されている。
本発明による考えられる実施形態において、冷却板80は、例えば、上述のように、原則的に逆のU字のように成形することができる曲がる金属板によって、そして、例えば対向している2枚の冷却壁81と上部の接続部分85を有して、製造されることができる(例えば図12を参照)。考えられる実装では、特に目的に適した熱交換特性を有する、例えば使用に適したアルミニウムまたは類似の熱伝導金属または合金でできている単一のプレートまたはシートを例えば曲げることによって、冷却板80を得ることができる。
さもなければ、上述のように、他の考えられる実装では、冷却されるカードの側で、冷却板80を、2枚の別個の壁またはプレートで形成することができる。
ここで記載されるすべての実施形態と組み合わせ可能である、考えられる実施形態において、液体冷却装置60は、通常は、熱交換を有するアルミニウムパネルまたは同等の金属材料を使用して、例えばロールボンド技術により作製されることができる。そして、加工されそして相互に連結され、内部の冷却液のための回路を作製する。
考えられる実装は、例えばサンドイッチ構造体65のCPC/ネットワークカードの冷却群に関して記載されているが、例えばサンドイッチ構造体64の演算アクセラレーターカードの冷却群にも適用でき、下端で、冷却板80は屈曲基礎冷却ブレード83を備えることができる。そして、それは同じ熱伝導材質で作製することができ、そして熱伝導によりベース基板42の冷却に役立つ。ベース基板42と直接的または間接的に接触できる屈曲基礎冷却ブレード83は、例えばネジ63で、ベース基板42自体に取付けることもできる(例えば図15を参照)。
そして、ここで記載されるすべての実施形態と組み合わせ可能である、図15を使用して記載される実施形態、例えばCPC46とネットワークカード48とのケース、に関して、屈曲基礎冷却ブレード83は、ベース基板42に存在する電子部品(例えばコントローラPCIe87)が発生する熱を放熱させるために、用いることができる。
図16は、本発明による液体冷却装置60を使用して、電子計算モジュール12の冷却システムの実施態様(ここで記載されるすべての実施形態と組み合わせ可能である)を記載するために用いる。そして、図16は、有利には各液体冷却装置60に繋がる冷却液のための単一の供給コレクタ88および、冷却液の単一の排出コレクタ90を提供する。具体的には、供給コレクタ88および排出コレクタ90はすべての電子計算モジュール12の液体冷却装置60(例えば3つ)のために構成される。そして、例えば、通常はサンドイッチ構造体65の、中間または中心の、CPC/ネットワークカードの冷却群の両側に、2つのサンドイッチ構造体64の演算アクセラレーターカードの冷却群を形成する。
考えられる実装では、供給コレクタ88は、排出コレクタ90と同様に、それぞれの主供給コネクタ92およびそれぞれの主排出コネクタ94を備えることができる。このようにして、供給コレクタ88は主供給コネクタ92によって冷却液の供給元に結合することができ、その一方で、排出コレクタ90は主排出コネクタ94によって使用された冷却液の放出部に結合され、そして戻され、温度を下げられる。例えば、主供給コネクタ92は、主排出コネクタ94と同様に、モジュラー型スーパーコンピューター10の主冷却水コネクタ24に、適切なパイプで接続することができる(例えば図2および4を参照)。
ここに記載されるいくつかの実施形態によれば、上記の流体コネクタ56を実現し、電子計算モジュール12の内部とアーキテクチャ10の液体冷却システムの主回路の主冷却水コネクタ24間の機械的結合および流体接続の界面を堅固なものとするため、主供給コネクタ92および主排出コネクタ94は、ボックス状コンテナ32の後部封止壁またはパネル36に取り付けることができる。
ここで記載されるすべての実施形態と組み合わせ可能である、ここに記載されるいくつかの実施形態によれば、主供給コネクタ92および主排出コネクタ94は、液漏れのないタイプまたはクイックディスコネクト・ゼロ流出であることができる。
考えられる実装では、それぞれの液体冷却装置60に冷却液を供給するために、供給コレクタ88は、供給パイプ84を備えることができる。そして具体的には、各液体冷却装置60のために一つ以上の供給パイプ84が用いられる。例えば、それぞれの内部冷却パイプ82を有する2枚の冷却壁81が形成する冷却板80を含む液体冷却装置60の場合、2本の供給パイプ84が設けられ、液体冷却装置60の冷却壁81それぞれにパイプが一本ずつ設けられる。
同様に、考えられる実装では、排出コレクタ90は、使用後の冷却液をそれぞれの液体冷却装置60から受け取り抽出するために、排出パイプ86を備えることができる。例えば、各液体冷却装置60のために一つ以上の排出パイプ86が用いられる。
例えば、それぞれの内部冷却パイプ82を有する2枚の冷却壁81が形成する冷却板80を含む液体冷却装置60の場合、2本の排出パイプ84が設けられ、液体冷却装置60の冷却壁81それぞれにパイプが一本ずつ設けられる。
考えられる実装において、供給パイプ84および/または排出パイプ86は、例えば銅―アルミニウム製の、コネクタパイプとして作製されることができ、そのコネクタパイプは、それぞれの冷却パイプ82に対応して、一方の側を、例えばそれぞれの冷却壁81の各冷却板80に、そしてもう一方の側を、供給コレクタ88および排出コレクタ90にそれぞれ溶接される。
以上記載されたモジュラー型スーパーコンピューター10に対し、本発明の分野および範囲から逸脱することなく、部品の変更または追加を実施し得ることは明白である。
いくつかの具体例を参照して本発明を説明したが、当業者がモジュラー型スーパーコンピューターの、以降の請求項で述べられている特徴を有する、多くの他の同等の形状を確実に達成することができることは、明白であり、故にすべて、これにより定められる保護範囲内となる。
上記は本発明の実施形態に関連しているが、他の実施形態も主な保護範囲から逸脱することなく設けることができる。そして、それは以下の請求項により定義される。

Claims (12)

  1. 各々ネットワークで通信を行い、そして液冷式である複数の電子計算モジュール(12)を備えたモジュラースーパーコンピュータアーキテクチャであって、
    前記各電子計算モジュール(12)は、
    基板(42)と、前記基板(42)に並べてまとめられ配置される複数の電子カード(44、46、48)と、を設ける計算ノード(40)と、
    前記計算ノード(40)の前記電子カード(44、46、48)の中間に配置され、サンドイッチ構造体(64、65)にあるカードの一つ以上の冷却群を定める、一つ以上の自律液体冷却デバイス(60)と、
    電力装置74と、
    少なくとも前記計算ノード(40)と、前記サンドイッチ構造体(64,65)にある前記カードの一つ以上の冷却群を定める前記一つ以上の液体冷却デバイス(60)と、前記電力装置(74)と、をその内部に含みそして保護するボックス状コンテナ(32)と、を備え、
    前記各電子計算モジュール(12)は、ネットワーク通信および機械的に、少なくとも他の電子計算モジュールから、液圧的に、電気的に、独立しており、そして、ホットに前記アーキテクチャに挿入および/または抜取りすること、または、ホットスワップすることができる、ことを特徴とするモジュラースーパーコンピュータアーキテクチャ。
  2. 前記計算ノード(40)を含み、前面の挿入開口(39)と、前面の封止パネル(34)と、後部封止壁36とを設ける内部収容室(38)を、前記ボックス状コンテナ(32)が確定することを特徴とする請求項1に記載のモジュラースーパーコンピュータアーキテクチャ。
  3. 前記電子カード(44、46、48)は、少なくとも一つの中央処理カード(46)、少なくとも一つのネットワークカード(48)、一つ以上のコンピューター加速カード(44)、および、場合によりI/Oカード(50)であることを特徴とする、請求項1または2に記載のモジュラースーパーコンピュータアーキテクチャ。
  4. 前記サンドイッチ構造体(64、65)の前記カードの各冷却群が、それぞれ、前記中央処理カード(46)、前記ネットワークカード(48)、前記一つ以上のコンピューター加速カード(44)の各々に配置される、前記複数の液体冷却デバイス(60)を提供することを特徴とする請求項3に記載のモジュラースーパーコンピュータアーキテクチャ。
  5. 前記計算ノード(40)の前記基板(42)に配置される、それぞれの前記一つ以上のコンピューター加速カード(44)と、前記中央処理カード(46)および前記ネットワークカード(48)とに結合される前記一つ以上の液体冷却デバイス(60)を含む、
    前記サンドイッチ構造体(64)の前記コンピューター加速カードの冷却群と、前記サンドイッチ構造体(65)の前記中央処理カードおよび前記ネットワークカードとの冷却群を、前記サンドイッチ構造体(64、65)の前記カードの各冷却群が備えることを特徴とする請求項3または4に記載のモジュラースーパーコンピュータアーキテクチャ。
  6. 前記各計算ノード(40)の前記基板(42)が少なくとも、前記電力装置(74)による電力のための接続と、内部通信網(95)による前記計算ノード(40)内部の通信と、外部への前記計算ノード(40)のネットワーク通信と、を許容するよう構成されることを特徴とする、請求項3、4または5に記載のモジュラースーパーコンピュータアーキテクチャ。
  7. 前記サンドイッチ構造体(64、65)の前記カードの各冷却群が、前記それぞれの液体冷却デバイス(60)、前記中央処理カード(46)、前記ネットワークカード(48)および前記一つ以上のコンピューター加速カード(44)と協働する、プレートを有する熱分散デバイス(67)に接続されることを特徴とする、請求項3、4、5または6に記載のモジュラースーパーコンピュータアーキテクチャ。
  8. 前記各液体冷却デバイス(60)が、液冷却回路を定める複数の冷却パイプ(82)を設けた、冷却板(80)を有するデバイスを備えることを特徴とする、請求項1乃至7いずれか一項に記載のモジュラースーパーコンピュータアーキテクチャ。
  9. 前記サンドイッチ構造体(64、65)の前記カードの各冷却群の前記液体冷却デバイス(60)の各々に繋がった、冷却液の単一の供給コレクタ(88)および冷却液の単一の排出コレクタ(90)を前記各電子計算モジュール(12)が備えることを特徴とする、請求項1乃至8いずれか一項に記載のモジュラースーパーコンピュータアーキテクチャ。
  10. 前記供給コレクタ(88)および前記排出コレクタ(90)がそれぞれのメイン供給コネクタ(92)およびそれぞれのメイン排出コネクタ(94)を備えており、
    前記後部の封止壁(36)に取り付けられ、
    メイン水圧コネクタ(24)に、機械的に取付および液圧接続するための水圧コネクタ(56)を備えることを特徴とする、請求項2および9に記載のモジュラースーパーコンピュータアーキテクチャ。
  11. 前記水圧コネクタ(56)が前記電力装置(74)よりも、ボックス状コンテナ(32)から突出する位置にあることを特徴とする、請求項10に記載のモジュラースーパーコンピュータアーキテクチャ。
  12. 選択的に着脱可能な方法で、自律的に電気的かつ液圧的に、それぞれの電源および冷却液供給に結合する前記電子計算モジュール(12)が挿入される収容キャビネット(14)を少なくとも備えることを特徴とする、請求項1乃至11いずれか一項に記載のモジュラースーパーコンピュータアーキテクチャ。
JP2016531016A 2013-11-15 2014-11-14 モジュラー型スーパーコンピューター・アーキテクチャー Active JP6422494B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT000151A ITUD20130151A1 (it) 2013-11-15 2013-11-15 Architettura di supercalcolo modulare
ITUD2013A000151 2013-11-15
PCT/IB2014/066047 WO2015075611A1 (en) 2013-11-15 2014-11-14 Modular super-calculation architecture

Publications (2)

Publication Number Publication Date
JP2017502382A true JP2017502382A (ja) 2017-01-19
JP6422494B2 JP6422494B2 (ja) 2018-11-14

Family

ID=49958631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531016A Active JP6422494B2 (ja) 2013-11-15 2014-11-14 モジュラー型スーパーコンピューター・アーキテクチャー

Country Status (5)

Country Link
US (1) US20160291651A1 (ja)
EP (1) EP3069587B1 (ja)
JP (1) JP6422494B2 (ja)
IT (1) ITUD20130151A1 (ja)
WO (1) WO2015075611A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022068340A (ja) * 2021-03-03 2022-05-09 バイドゥ ユーエスエイ エルエルシー ブラインド結合適合ユニット
JP7487550B2 (ja) 2020-05-13 2024-05-21 マツダ株式会社 移動体用演算装置の冷却構造

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807905B2 (en) 2015-11-25 2017-10-31 General Electric Company Adapter cooling apparatus and method for modular computing devices
IT201800002318A1 (it) * 2018-02-01 2019-08-01 Eurotech S P A Struttura di alloggiamento per schede elettroniche
FR3137161A1 (fr) * 2022-06-28 2023-12-29 Qarnot Computing Chaudière numérique à panneau vertical pivotant.

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60207918A (ja) * 1984-03-30 1985-10-19 Shin Meiwa Ind Co Ltd プログラマブルコントロ−ラ
JP2004246615A (ja) * 2003-02-13 2004-09-02 Hitachi Ltd 電子装置とその筐体、並びにそのための電子モジュール
US20080158818A1 (en) * 2006-12-29 2008-07-03 Google Inc. Motherboards with Integrated Cooling
JP2011518395A (ja) * 2008-04-21 2011-06-23 ハードコア コンピューター、インク. 配列接続された電子装置の液体浸漬冷却用ケース及びラックシステム
US20130194745A1 (en) * 2012-01-27 2013-08-01 International Business Machines Corporation Liquid-cooled memory system having one cooling pipe per pair of dimms
JP2013533635A (ja) * 2010-07-30 2013-08-22 ユーロテック ソシエタ ペル アチオニ 特に高性能処理装置用の電子カードのための液体冷却装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812374A (en) * 1996-10-28 1998-09-22 Shuff; Gregg Douglas Electrical circuit cooling device
EP2244289B1 (en) * 2000-04-19 2014-03-26 Denso Corporation Coolant cooled type semiconductor device
US6853554B2 (en) * 2001-02-22 2005-02-08 Hewlett-Packard Development Company, L.P. Thermal connection layer
US7420804B2 (en) * 2004-06-30 2008-09-02 Intel Corporation Liquid cooling system including hot-swappable components
US7380409B2 (en) * 2004-09-30 2008-06-03 International Business Machines Corporation Isolation valve and coolant connect/disconnect assemblies and methods of fabrication for interfacing a liquid cooled electronics subsystem and an electronics housing
US7952873B2 (en) * 2006-06-26 2011-05-31 Raytheon Company Passive conductive cooling module
US7957134B2 (en) * 2007-04-10 2011-06-07 Hewlett-Packard Development Company, L.P. System and method having evaporative cooling for memory
US8422218B2 (en) * 2007-04-16 2013-04-16 Stephen Samuel Fried Liquid cooled condensers for loop heat pipe like enclosure cooling
US20130322012A1 (en) * 2012-05-29 2013-12-05 Birchbridge Incorporated Scalable Brain Boards For Data Networking, Processing And Storage
JP5737244B2 (ja) * 2012-09-03 2015-06-17 日立金属株式会社 通信モジュールの冷却構造及び通信装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60207918A (ja) * 1984-03-30 1985-10-19 Shin Meiwa Ind Co Ltd プログラマブルコントロ−ラ
JP2004246615A (ja) * 2003-02-13 2004-09-02 Hitachi Ltd 電子装置とその筐体、並びにそのための電子モジュール
US20080158818A1 (en) * 2006-12-29 2008-07-03 Google Inc. Motherboards with Integrated Cooling
JP2011518395A (ja) * 2008-04-21 2011-06-23 ハードコア コンピューター、インク. 配列接続された電子装置の液体浸漬冷却用ケース及びラックシステム
JP2013533635A (ja) * 2010-07-30 2013-08-22 ユーロテック ソシエタ ペル アチオニ 特に高性能処理装置用の電子カードのための液体冷却装置
US20130194745A1 (en) * 2012-01-27 2013-08-01 International Business Machines Corporation Liquid-cooled memory system having one cooling pipe per pair of dimms

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7487550B2 (ja) 2020-05-13 2024-05-21 マツダ株式会社 移動体用演算装置の冷却構造
JP2022068340A (ja) * 2021-03-03 2022-05-09 バイドゥ ユーエスエイ エルエルシー ブラインド結合適合ユニット
JP7434384B2 (ja) 2021-03-03 2024-02-20 バイドゥ ユーエスエイ エルエルシー ブラインド結合適合ユニット

Also Published As

Publication number Publication date
JP6422494B2 (ja) 2018-11-14
EP3069587B1 (en) 2018-11-07
EP3069587A1 (en) 2016-09-21
WO2015075611A1 (en) 2015-05-28
US20160291651A1 (en) 2016-10-06
ITUD20130151A1 (it) 2015-05-16

Similar Documents

Publication Publication Date Title
CN114097311A (zh) 用于电子模块的冷却系统
JP6422494B2 (ja) モジュラー型スーパーコンピューター・アーキテクチャー
US7911793B2 (en) Case and rack system for liquid submersion cooling of electronic devices connected in an array
US11963338B2 (en) Cooling system for electronic modules
EP2294496B1 (en) Graphics card thermal interposer
US20170127576A1 (en) Drawer-level immersion-cooling with hinged, liquid-cooled heat sink
US20170177041A1 (en) Information handling system having fluid manifold with embedded heat exchanger system
JP6317135B2 (ja) 液圧分配器
JP6744719B2 (ja) 冗長性を備える冷却システム
TW201247087A (en) Container data center
US10881030B1 (en) Electrical and liquid cooling midplane
CN216017551U (zh) 一种液冷散热系统及一体化液冷机箱
US20140268554A1 (en) Stackable Computing System
CN211745074U (zh) 服务器机柜及服务器用换热设备柜
JP2020154360A (ja) サーバ冷却装置、サーバシステム及びサーバの冷却方法
CN114554785A (zh) 用于液体冷却设备的内部通道设计
CN115119470A (zh) 用于外围装置的液体冷却单元
US11096302B2 (en) Server
WO2024017328A1 (zh) 服务器及服务器系统
JP7317160B2 (ja) ヘテロジニアスコンピューティングアーキテクチャ用冷却システム
CN213750905U (zh) 液冷虚拟货币挖矿机及液冷散热装置
TWI840055B (zh) 浸沒冷卻裝置
TW202236942A (zh) 電子裝置之熱交換組件
CN114518787A (zh) 液冷虚拟货币挖矿机及液冷散热装置
Pereira et al. Data Center Power and Cooling Issues and Future Designs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171026

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181016

R150 Certificate of patent or registration of utility model

Ref document number: 6422494

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250