JP2016502714A - 高密度クラスタラー化コンピュータシステムのためのツインサーバブレード - Google Patents

Abstract

複数の計算ブレードを伴う高性能計算シテスムは、１つ以上の計算ボードと、計算ボードのいずれかの側面に配置された２つのサイドレールを含む少なくとも１つの計算ブレードを有する。各サイドレールは、計算ボードを計算ブレード内に保持するように構成されているボード整列要素を有し、その結果として、計算ボードの上部は、ボード整列要素の部分に結合され、かつ、それに隣接する。本発明は、概して、マルチノードコンピュータシステムにおけるブレード構成に関し、より特定すると、本発明は、高密度クラスタラー化コンピュータシステムのためのツインサーバ構成に関する。

Description

関連出願への相互参照
本出願は、２０１３年６月２８日に出願された米国特許出願第１３／９３１，７４８号への優先権を主張し、その米国特許出願は、２０１２年１１月８日に出願された米国仮特許出願第６１／７２４，２７４号への優先権を主張し、これらの開示はそれらの全体が本明細書に参照によって援用される。

本出願は、「ＯＮ−ＢＬＡＤＥ ＣＯＬＤ ＳＩＮＫ ＦＯＲ ＨＩＧＨ−ＤＥＮＳＩＴＹ ＣＬＵＳＴＥＲＥＤ ＣＯＭＰＵＴＥＲ ＳＹＳＴＥＭ」と題される２０１３年６月２８日に出願された米国特許出願第１３／９３４，７３０号、および、「ＣＬＯＳＥＤ−ＬＯＯＰ ＣＯＯＬＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＨＩＧＨ−ＤＥＮＳＩＴＹ ＣＬＵＳＴＥＲＥＤ」と題される２０１３年６月２８日に出願された米国特許出願第１３／９３４，７５４号に関連し、これら開示は、それらの全体が本明細書に参照によって援用される。

技術分野
本発明は、概して、マルチノードコンピュータシステムにおけるブレード構成に関し、より特定すると、本発明は、高密度クラスタラー化コンピュータシステムのためのツインサーバ構成に関する。

背景技術
高性能計算システム（「ＨＰＣ」）がよりパワフルになっていくにつれ、物理的制約および密度要件が、高密度クラスタラー化コンピュータ構成の多くのアスペクトを駆動している。効率的なスーパーコンピューティングアーキテクチャは最新のテクノロジを同時に可能にしなければならない一方で、相互接続、パワー、および、冷却に関して最大限のフレキシビリティを提供しなければならない。しかし、標準的なブレードおよび冷却構成は、高密度クラスターについて現在要求されるスケールおよび密度要件を十分に取り扱うことができない。したがって、新たなコンピュータブレード設計が、要求の厳しい高密度クラスター化コンピュータ設備における物理的および性能密度要件に対応するために必要とされている。

種々の実施形態の要旨
本発明の種々の実施形態は、高性能計算（「ＨＰＣ」）システムで使用される計算ブレードのための特有の物理的パッケージングおよび据え付けの解決法を提供する。本発明の１つの実施形態では、少なくとも１つの計算ブレードが、１つ以上の計算ボード、および、上記計算ボードのいずれかの側面に配置された２つのサイドレールを含む。各サイドレールが、上記計算ボードを上記計算ブレード内に保持するように構成されたボード整列要素を有し、その結果として、上記計算ボードの上部が、上記ボード整列要素のボード取り付け部分に結合され、かつ、隣接している。

関連する実施形態では、上記ボード整列要素が、上記サイドレールに実質的に垂直である上部ボード取り付け部分および下部ボード取り付け部分を伴って実質的にｃ字形状であり得、上記計算ボードが、上記上部ボード取り付け部分および上記下部ボード取り付け部分の外側側面に隣接し得る。上記計算ブレードが、２つの別個の計算ノードとして構成された２つの計算ボードを含み得、各ボードの上部が、上記ボード整列要素の対応するボード取り付け部分に結合し、かつ、隣接し得る。上記２つの計算ボードは、１つの計算ボードの上部がもう一方の計算ボードの上部に面するように互いの上部の上に配置され得る。各計算ボードが、ベース計算セクションを有し得、上記ベース計算セクションにおける構成要素のレイアウトが、上記２つの計算ボードにおいて実質的に同じであり得る。各計算ボードが、ベース計算セクションを有し得、１つの計算ボード上のベース計算セクションにおけるいくつかの構成要素が、もう一方の計算ボード上のベース計算セクションにおける対応する構成要素間に交互配置され得る。上記計算ブレードがさらに、１つ以上の空冷ヒートシンクを含み得、各々のヒートシンクが、上記２つの計算ボード間に配置される。

他の関連する実施形態では、上記ＨＰＣシステムはさらに、上記複数の計算ブレードを保持するように構成された１つ以上のブレードエンクロージャを備え得、上記ブレードエンクロージャが、上記サイドレールを保持するように構成された少なくとも２つの側面マウントを有し得る。上記計算ブレードが、２つの計算ボードを含み得、上記ブレードエンクロージャが、流体冷却マニホールドを含み得る。上記システムがさらに、１つ以上の冷却プレートであって、各冷却プレートは、上記２つの計算ボード間に配置される、1つ以上の冷却プレートと、上記冷却プレートに結合され、上記流体冷却マニホールドと流体連通している流体接続とを含み得る。上記流体冷却マニホールドは、上記ブレードエンクロージャの背面に沿っても、上記ブレードエンクロージャの側面に沿ってもよく、上記２つの計算ボード間にある各冷却プレートに接続するように構成されてもよい。上記２つの冷却プレートが、横に並んだ構成で上記２つの計算ボード間に配置されてもよく、上記２つの計算ボード間の１つのプレートが、上記計算ブレードの１つの領域にあり、上記２つの計算ボード間のもう一方のプレートが、上記計算ブレードの別の領域にあってもよい。あるいは、４つの冷却プレートが、上記２つの計算ボード間に配置されてもよく、上記２つの計算ボード間の２つのプレートが、上記計算ブレードの１つの領域にあり、上記２つの計算ボード間のもう一方の２つのプレートが、上記計算ブレードの別の領域にあってもよい。上記冷却マニホールドは、供給ラインおよび戻りラインを含んでいてもよい。

他の関連する実施形態では、上記システムはさらに、上記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットを含み得る。この外部冷却分配ユニットがさらに、上記流体接続の一部分と接触している液冷熱交換器と、上記流体接続内の液体を上記冷却マニホールドから上記液冷熱交換器に移動させるように構成されている１つ以上のポンプとを含んでいてもよい。上記ブレードエンクロージャが、２つの計算ラックにおいて構成され、上記システムがさらに、第１の計算ラックの側面および第２の計算ラックの側面に隣接する冷却タワーを含んでもよい。この冷却タワーは、少なくとも１つの水冷熱交換器と、上記側面から上記第１の計算ラックおよび上記第２の計算ラックの背面に向かって上記水冷熱交換器を横切って暖かい空気を引き込み、かつ、冷却された空気を上記第１の計算ラックおよび上記第２の計算ラックの前面に向かって側面に循環するように構成された１つ以上のブロワとを有してもよい。計算ラックおよび冷却タワーは、上記ハウジング内の閉鎖ループ空気流れを提供するように、ハウジング内に囲われてもよい。上記ボード整列要素が、上記ボード取り付け部分を超えて延びる据え付けセクションを含んでもよく、上記据え付けセクションが、上記ボード整列要素と係合し、かつ、上記ボード整列要素を上記サイドレールに結合するように構成されてもよい。

当業者は、直下に要約される図面を参照して議論される下記の「例示的な実施形態」から、本発明の種々の実施形態の利点をより完全に認識するはずである。

図１は、本発明の実施形態とともに使用される例示的なＨＰＣシステムの論理図を概略的に示す。

図２は、図１のＨＰＣシステムの物理図を概略的に示す。

図３は、図１のＨＰＣシステムの例示的なブレードシャーシの詳細を概略的に示す。

図４Ａおよび４Ｂは、本発明の実施形態に従う、コンピュータブレードの上部の前方斜視図および底部の後方斜視図をそれぞれ概略的に示す。 図４Ａおよび４Ｂは、本発明の実施形態に従う、コンピュータブレードの上部の前方斜視図および底部の後方斜視図をそれぞれ概略的に示す。

図４Ｃおよび４Ｄは、本発明の実施形態に従う、コンピュータブレードの上部の前方斜視図および底部の前方斜視図の分解図をそれぞれ概略的に示す。 図４Ｃおよび４Ｄは、本発明の実施形態に従う、コンピュータブレードの上部の前方斜視図および底部の前方斜視図の分解図をそれぞれ概略的に示す。

図５は、本発明の実施形態に従う、サイドレールにおける１つのボード整列要素の前面図を示し、図６は、本発明の実施形態に従う、ボード整列要素の代替構成を示す。 図５は、本発明の実施形態に従う、サイドレールにおける１つのボード整列要素の前面図を示し、図６は、本発明の実施形態に従う、ボード整列要素の代替構成を示す。

図７Ａおよび７Ｂは、本発明の実施形態に従う、空冷ヒートシンクを伴う２ノードブレードにおける、２ノードの平面図と、組み立てられた２ノードの側面図とを概略的に示す。 図７Ａおよび７Ｂは、本発明の実施形態に従う、空冷ヒートシンクを伴う２ノードブレードにおける、２ノードの平面図と、組み立てられた２ノードの側面図とを概略的に示す。

図８Ａおよび８Ｂは、本発明の実施形態に従う、オンブレードコールドシンクを伴うブレードの斜視図と分解図とをそれぞれ示す。 図８Ａおよび８Ｂは、本発明の実施形態に従う、オンブレードコールドシンクを伴うブレードの斜視図と分解図とをそれぞれ示す。

図９Ａは、本発明の実施形態に従う、二重コールドシンクプレート構成の上方斜視図を概略的に示し、図９Ｂは、本発明の実施形態に従う、単一のコールドシンクプレート構成の上方斜視図を概略的に示す。 図９Ａは、本発明の実施形態に従う、二重コールドシンクプレート構成の上方斜視図を概略的に示し、図９Ｂは、本発明の実施形態に従う、単一のコールドシンクプレート構成の上方斜視図を概略的に示す。

図１０Ａおよび１０Ｂは、本発明の実施形態に従う、単一のコールドシンク構成を伴う２ノードブレードにおける、２ノードの平面図と、組立てられた２ノードの側面図とを概略的に示す。 図１０Ａおよび１０Ｂは、本発明の実施形態に従う、単一のコールドシンク構成を伴う２ノードブレードにおける、２ノードの平面図と、組立てられた２ノードの側面図とを概略的に示す。

図１１Ａおよび１１Ｂは、本発明の実施形態に従う、二重コールドシンク構成を伴う２ノードブレードにおける、２ノードの平面図と、組み立てられた２ノードの側面図を概略的に示す。 図１１Ａおよび１１Ｂは、本発明の実施形態に従う、二重コールドシンク構成を伴う２ノードブレードにおける、２ノードの平面図と、組み立てられた２ノードの側面図を概略的に示す。

図１２は、本発明の実施形態に従う、オンブレードコールドシンクを伴うブレードの側面図を概略的に示す。

図１３Ａおよび１３Ｂは、本発明の実施形態とともに使用されるＭラック構成の前面図と前方斜視図とをそれぞれ概略的に示す。 図１３Ａおよび１３Ｂは、本発明の実施形態とともに使用されるＭラック構成の前面図と前方斜視図とをそれぞれ概略的に示す。

図１４は、本発明の実施形態に従う、ブレード内のコールドシンクプレートの整列と、流体冷却マニホールドへのそれらの取り付けを概略的に示す。

図１５は、本発明の実施形態に従う、１つのコンピュータラックと、外部冷却分配ユニット（ＣＤＵ）との間の水の流れを概略的に示す。

図１６は、本発明の実施形態とともに使用されるための、ハウジングの一部が取り外されている外部冷却分配ユニット（ＣＤＵ）を概略的に示す。

図１７は、本発明の実施形態に従う、外部冷却分配ユニット（ＣＤＵ）を伴う閉鎖ループセル冷却セル構成を概略的に示す。

例示的な実施形態の説明
本発明の実施形態は、コンピュータブレードのためのコンパクトな物理的パッケージング構成を提供し、これは、パンまたはキャリアの代わりに、サイドレールを使用し、かつ、計算ボードの上部側から離れて取り付ける。このアプローチは、バックプレーンへのブラインド嵌合コネクタのより良好な位置制御、および、設計者がより広い範囲のプリント回路ボード（ＰＣＢ）の厚みを（それゆえ、層カウントも）考慮するためのより大きなフレキシビリティを提供する。これは、設計者が、より厚いボードとより大きな背側構成要素高さとの間のトレードオフを評価することを可能にする。しかし、これら考慮のいずれも、ボードの上側上の重要なコネクタの基本的位置を変えない。パンまたはキャリアをなくして、サイドレールは、ブレードの重量および使用材料を最小にし、それゆえ、全体ＨＰＣシステムの重量を低減する。さらに、このサイドレールは、引き込み（ｌｅａｄ−ｉｎ）特徴、整列特徴を提供し、典型的になされるように、ボードの底部に代わってボードの上部とインターフェース接続するボードのための取り付け用意を取り入れる。

上側取り付けはまた、ボード間の間隔のより良好な制御を可能にし、ブレードにおける全てのボードのより良好なボード対シャーシ整列を可能にし、ボード対ボード間隔、または、ボード対シャーシ整列を変更することなく支持されるべきより広い範囲のボード厚を可能にする。さらに、サイドレールは、ＰＣＢを保護するための離隔絶縁子として作用し、パンまたはトレイよりも有意に軽く、より低いコストである。ブレード構成の実施形態は、両方のノードボードを横切る１つのデザインに梃子入れすることによって、より単純な設計を可能し、また、よりコンパクトな構成および空間節約のための構成要素の交互配置を可能にする。

ＨＰＣシステムの実施形態は、ファンおよび空冷ヒートシンクを利用するラックレベルの冷却よりも大きな冷却能力（例えば、６００ワットを超えるプロセッサのための）を提供するオンブレード冷却システムをさらに含み得る。さらなる冷却は、ブレードを保持するブレードエンクロロージャーの外部にある冷却分配ユニットを備えたシステム中でブレードに提供され得る。さらに、ブレードは、冷却タワーを備えた閉鎖ループ空気流れ配列を使用してさらに空冷され得る。例示的な実施形態は、下記で議論される。

システムアーキテクチャ
図１は、本発明の例示的な実施形態とともに使用され得る例示的な高性能計算システム１００の論理図を概略的に示す。詳細には、当業者に公知であるように、「高性能計算システム」または「ＨＰＣシステム」は、ハードウェア相互接続を使用してタイトに結合されている複数のモジュール式計算リソースを有する計算システムであり、その結果として、プロセッサは、共通のメモリアドレススペースを使用して遠隔データに直接アクセスし得る。

ＨＰＣシステム１００は、計算リソースを提供するための多くの論理計算パーティション１２０、１３０、１４０、１５０、１６０、１７０と、この複数のパーティション１２０〜１７０を管理するためのシステムコンール１１０とを含む。ＨＰＣシステムにおける「計算パーティション（または「パーティション）」は、単一のオペレーティングシステムインスタンスを走らせるコンピュータリソースの管理用割り当てであり、共通メモリアドレススペースを有する。パーティション１２０〜１７０は、論理通信ネットワーク１８０を使用してシステムコンソール１１０と通信し得る。計算を実施することを望む科学者、エンジニア、または、技術者のようなシステムユーザは、システムコンソール１１０を使用することによりこれらのリソースを割り当て、管理するシステムオペレータからの計算リソースを要求し得る。パーティションへの計算リソースの割り当ては、下記で説明される。このＨＰＣシステム１００は、下記でより詳細に説明されるように、管理用に指定される任意の数の計算パーティションを有し得、しばしば、利用可能な計算リソースの全てを包含するただ１つのパーティションを有する。したがって、この図は、本発明の実施形態の範囲を限定するものとして見られるべきではない。

パーティション１６０のような各計算パーティションは、それがデスクトップコンピュータに似通った単一の計算デバイスであるかのように論理的に見られ得る。それゆえ、パーティション１６０は、当該技術分野で一緒に使用されるような基本入出力システム（「ＢＩＯＳ」）１９２を使用する単一オペレーティングシステム（「ＯＳ」）インスタンス１９１と、１以上のシステムユーザのためのアプリケーションソフトウェァ１９３とを含むソフトウェアを実行し得る。

したがって、図１にまた示されるように、計算パーティションは、システムオペレータによってそれに割り当てられた種々のハードウェアを有し得、それは、１つ以上のプロセッサ１９４、揮発性メモリ１９５、不揮発性ストレージ１９６、ならびに、入力および出力（「Ｉ／Ｏ」）デバイス１９７（例えば、ネットワークカード、ビデオディスプレイデバイス、および、キーボードなど）を含む。しかし、図１における実施形態のようなＨＰＣシステムにおいて、各計算パーティションは、典型的なデスクトップコンピュータよりも多量のプロセッシンパワーおよびメモリを有する。ＯＳソフトウェアは、例えば、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔ ＣｏｒｐｏｒａｔｉｏｎによるＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、または、Ｌｉｎｕｘ（登録商標）オペレーティングシステムを含み得る。さらに、ＢＩＯＳは、カリフォルニア州サンタクララのＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎのようなハードウェア製造業者によるファームウェアとして提供され得るが、それは、典型的に、下記でより詳細に記載されるように、高性能計算をサポートするように、ＨＰＣシステム設計者のニーズに応じてカスタマイズされる。

そのシステム管理役割の一部として、システムコンソール１１０は、計算パーティション１２０〜１７０の計算能力と、システムオペレータまたは他の計算システムとの間のインターフェースとして作用する。その目的のために、システムコンソール１１０は、システムオペレータのために、とりわけ、１）ハードウェアをブートすること、２）システム計算リソースを計算パーティションに分割すること、３）パーティションを初期化すること、４）各パーティションおよびその中で生じさせられる任意のハードウェアまたはソフトウェアのエラーの健全性をモニタすること、５）オペレーティングシステムおよびアプリケリーションソフトウェアを種々のパーティションに分配すること、６）オペレーティングシステムおよびソフトウェアを実行させること、７）パーティションまたはその中のソフトウェアの状態をバックアップすること、８）アプリケーションソフトウェアをシャトダウンすること、および、９）計算パーティションまたは全体のＨＰＣシステム１００をシャトダウンすることを可能にするコマンドを、ＨＰＣシステムハードウェアおよびソフトウェアに発する。これらの特定機能は、「システムオペレーション」と題される下記のセクションでより詳細に記載される。

図２は、図１の実施形態に従う、高性能計算システム１００の物理図を概略的に示す。図１のＨＰＣシステム１００を含むハードウェアは、点線によって取り囲まれている。このＨＰＣシステム１００は、ユーザアクセスを容易にするために、企業データネットワーク２１０に接続されている。

このＨＰＣシステム１００は、システムコンソール１１０の機能を実施するシステム管理ノード（「ＳＭＮ」）２２０を含む。この管理ノード２２０は、デスクトップコンピュータ、サーバコンピュータ、または、企業もしくはＨＰＣシステム設計者のいずれかによって提供される他の類似の計算デバイスとして実行され得、ＨＰＣシステム１００を制御するために必要なソフトウェア（すなわち、システムコンソールソフトウェア）を含み得る。

ＨＰＣシステム１００は、企業ローカルエリアネットワーク（「ＬＡＮ」）、仮想私設網（「ＶＰＮ」）、インターネットなど、または、これらネットワークの組み合わせのような、当該技術分野で公知の任意のデータネットワークを含み得るデータネットワーク２１０を使用してアクセス可能である。これらのネットワークのうちの任意のものは、多くのユーザが、ＨＰＣシステムリソースに、遠隔から、かつ／または、同時にアクセスすることを可能にし得る。例えば、管理ノード２２０は、Ｗｉｎｄｏｗ（登録商標）Ｒｅｍｏｔｅ Ｄｅｓｋｔｏｐ ＳｅｒｖｉｃｅｓまたはＵｎｉｘ（登録商標） ｓｅｃｕｒｅ ｓｈｅｌｌのような当該技術分野で公知のツールを使用する遠隔ログインを介して、企業コンピュータ２３０によってアクセスされ得る。企業がそのような気になると、ＨＰＣシステム１００へのアクセスは、遠隔コンピュータ２４０に提供され得る。遠隔コンピュータ２４０は、まさに記載されたように管理ノード２２０へのログインを介して、または、当業者に公知であるようなゲートウェイまたはプロキシシステムを使用して、ＨＰＣシステムにアクセスし得る。

ＨＰＣシステム１００のハードウェア計算リソースは（例えば、図１に示されるプロセッサ、メモリ、不揮発性ストレージ、および、Ｉ／Ｏデバイス）、図２に示されるブレードシャーシ２５２、２５４、２５６、２５８のような１つ以上の「ブレードシャーシ」によって集合的に提供され、それらは、管理され、かつ、計算パーティションに割り当てられる。ブレードシャーシは、「ブレード（ｂｌａｄｅ）」と呼ばれる複数のスタック可能なモジュール式電子回路ボード間の高速度データ通信を収容し、それに出力を与え、それを提供するように構成されている電子シャーシである。各ブレードは、独立型の計算サーバとして作用するために十分な計算ハードウェアを含む。ブレードシャーシのこのモジュール式の設計は、ブレードが、最小の配線と垂直スペースを伴って電源およびデータラインに接続されることを可能にする。

したがって、各ブレードシャーシ、例えばブレードシャーシ２５２は、計算リソースを提供するために、ブレードシャーシ２５２、および、多くのブレード２６２、２６４、２６６におけるシステム機能を管理するためのシャーシ管理コントローラ２６０（「シャーシコントローラ」または「ＣＭＣ」とも称される）を有する。各ブレード、例えばブレード２６２は、そのハードウェア計算リソースをＨＰＣシステム１００の集合的な全体リソースに寄与させる。システム管理ノード２２０が、シャーシコントローラ２６０のようなシャーシコントローラを使用して、全体のＨＰＣシステム１００のハードウェア計算リソースを管理する一方で、各シャーシコントローラは、そのブレードシャーシにおける適切なブレードについてのリソースを管理する。シャーシコントローラ２６０は、下記でより詳細に記載されるように、ローカル管理バス２６８によってブレードシャーシ２５２の内側でブレード２６２〜２６６に物理的かつ電気的に結合される。他のブレードシャーシ２５４〜２５８におけるハードウェアは、同様に構成される。

シャーシコントローラは、管理接続２７０を使用して互いと通信する。管理接続２７０は、例えば、イーサネット（登録商標）通信プロトコル、または、他のデータバスを稼働させるための高速度ＬＡＮであり得る。対照的に、ブレードは、計算接続２８０を使用して互いと通信する。その目的のために、計算接続２８０は、カリフォルニア州フレモントのＳｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｒｐによって開発されたＮｕｍａＬＩｎｋのような、高バンド幅、低待ち時間システム相互接続を例示的に有する。

シャーシコントローラ２６０は、ＨＰＣシステムの残りにシステムハードウェア管理機能を提供する。例えば、シャーシコントローラ２６０は、ＳＭＮ２００からシステムブートコマンドを受け取り得、ローカル管理バス２６８を使用して、ブレード２６２〜２６６の各々にブートコマンドを発することによって応答する。同様に、シャーシコントローラ２６０は、ブレード２６２〜２６６のうちの１つ以上からハードウェアエラーデータを受け取り得、他のシャーシコントローラによって記憶されたエラーデータと組み合わせて、後の分析のためにこの情報を記憶し得る。いくつの実施形態では、図２に示されるもののように、ＳＭＮ２２０または企業コンピュータ２３０は、システム管理コマンドを処理することによりＨＰＣシステム１００を制御し、かつ、これらのコマンドを他のシャーシコントローラに転送する単一のマスターシャーシコントローラ２６０へのアクセスを提供される。しかし、他の実施形態では、ＳＭＮ２２０は、管理接続２７０に直接結合され、各シャーシコントローラにコマンドを個々に発する。当業者は、同じタイプの機能性を可能にするこれらの設計の改変例を企図し得るが、明瞭さのためにこれらの設計のみが本明細書に提示されている。

ブレードシャーシ２５２、そのブレード２６２〜２６６、および、ローカル管理バス２６８は、当該分野で公知であるように提供され得る。しかし、シャーシコントローラ２６０は、ＨＰＣシステム設計者によって提供されるハードウェア、ファームウェア、または、ソフトウェアを使用して実装され得る。各ブレードは、独立型のコンピュータサーバの技術分野で公知の、ある程度の量のプロセッサ、揮発性メモリ、不揮発性ストレージ、および、Ｉ／Ｏデバイスを備えたＨＰＣシステム１００を提供する。しかし、各ブレードはまた、「システムオペシーション」と題されるセクションでより詳細に下記で説明されるように、これら計算リソースが、一緒にグループ化されて、計算パーティションとして集合的に扱われることを可能にするためのハードウェア、ファームウェア、および／または、ソフトウェアを有する。

図２は、各シャーシ中に４つのシャーシおよび３つのブレードを有するＨＰＣシステム１００を示しているが、シャーシとブレードとの任意の組み合わせが使用され得、これらの図は、本発明の実施形態の範囲を限定しないことが認識されるべきである。例えば、ＨＰＣシステムは、数十のシャーシおよび数百のブレードを有し得、実際、ＨＰＣシステムは、しばしば、所望される。なぜなら、それらは、非常に大きな量のしっかりと結合された計算リソースを提供するからである。

図３は、単一ブレードのシャーシ２５２をより詳細に概略的に示す。この図では、この場での説明に関連しないパーツが省略されている。シャーシコントローラ２６０は、システム管理ノード２２０への、および、管理接続２７０へのその接続とともに示されている。シャーシコントローラ２６０は、シャーシ管理データを記憶するためのシャーシデータ記憶装置３０２を提供される。シャーシデータ記憶装置３０２は、揮発性ランダムアクセスメモリ（「ＲＡＭ」）であり得、シャーシデータ記憶装置３０２におけるケースデータは、計算パーティションのうちの１つ以上が（例えば、ＯＳクラッシュに起因して）故障するか、または、ブレードが誤作動した場合でさえ、電力がブレードシャーシ２５２に印加されている限り、ＳＭＮ２２０によってアクセス可能である。シャーシデータ記憶装置３０２は、ハードディスクドライブ（「ＨＤＤ」）またはソリッドステートドライブ（「ＳＳＤ」）のような不揮発性ストレージであり得る。この場合、シャーシデータ記憶装置３０２におけるデータは、ＨＰＣシステムがパワーダウンして再ブートされた後にアクセス可能である。

図３は、議論の目的のためのブレード２６２および２６４の詳細な実装の関連する部分を示す。ブレード２６２は、シャーシレベルでシャーシコントローラによって実施される機能に類似の様式で、ブレードレベルでシステム管理機能を実行するブレード管理コントローラ３１０（「ブレードコントローラ」または「ＢＭＣ」とも呼ばれる）を含む。シャーシコントローラおよびブレードコントローラの動作に関するより詳細については、下記の「システムオペレーション」と題されるセクションを参照のこと。ブレードコントローラ３１０は、ＨＰＣシステム設計者によってシャーシコントローラ２６０との通信を可能にするように設計されたカスタムハードウェアとして実装され得る。さらに、ブレードコントローラ３１０は、それ自体のＲＡＭ３１６を有することによりその管理機能を実施し得る。シャーシコントローラ２６０は、図３および先の図に示されるように、ローカル管理バス２６８を使用して各ブレードのブレードコントローラと通信する。

ブレード２６２はまた、ＲＡＭ３２４、３２６に接続される１つ以上のプロセッサ３２０、３２２を含む。ブレード２６２は、当該分野で公知であるように、複数のプロセッサが単一のバス上で共通セットのＲＡＭにアクセスし得るように、交互に構成され得る。プロセッサ３２０、３２２は、当該技術分野で公知であるように、任意の数の中央プロセッシングユニット（「ＣＰＵ」）またはコアを含み得ることも、認識されるべきである。ブレード２６２におけるプロセッサ３２０、３２２は、Ｉ／Ｏデバイス３３２と通信するデータバス、不揮発性ストレージ３３４と通信するデータバス、および、スタンドアローン計算システムで共通に見出される他のバスのような他のアイテムに接続され得る（明瞭さのために、図３は、プロセッサ３２０からこれら他のデバイスへの接続のみを示す）。プロセッサ３２０、３２２は、例えば、Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎによって製造されるＩｎｔｅｌ（登録商標）Ｃｏｒｅ^ＴＭプロセッサであり得る。Ｉ／Ｏバスは、例えば、ＰＣＩまたはＰＣＩ Ｅｘｐｒｅｓｓ（「ＰＣＩｅ」）バスであり得る。ストレージは、例えば、ＳＡＴＡ、ＳＣＳＩ、または、ファイバチャネルバスであり得る。他のバス標準、プロセッサタイプ、および、プロセッサ製造業者が本発明の例示的な実施形態とともに使用され得ることが、認識される。

各ブレード（例えば、ブレード２６２および２６４）は、その機能性の多くを制御するアプリケーション特定用途向けＩＣ３４０（「ＡＳＩＣ」、「ハブチップ」、または、「ハブＡＳＩＣ」とも称される）を含み得る。より詳細には、プロセッサ３２０、３２２、ＲＡＭ３２４、３２６、および、他のデバイス３３２、３３４を論理的に一緒に接続することにより、管理された複数プロセッサの同期共有分散メモリ（ｍａｎａｇｅｄ， ｍｕｌｔｉ−ｐｒｏｃｅｓｓｏｒ， ｃｏｈｅｒｅｎｔｌｙ−ｓｈａｒｅｄ ｄｉｓｔｒｉｂｕｔｅｄ−ｍｅｍｏｒｙ）ＨＰＣシステムを形成するために、プロセッサ３２０、３２２は、ハブＡＳＩＣ３４０に電気的に接続される。それゆえ、このハブＡＳＩＣ３４０は、ＳＭＮ２２０によって生じさせられるＨＰＣシステム管理機能、シャーシコントローラ２６０、および、ブレードコントローラ３１０と、ブレード２６２の計算リソースとの間のインターフェースを提供する。

この接続では、ハブＡＳＩＣ３４０は、集積回路間に信号を通過させるための書き換え可能ゲートアレイ（「ＦＰＧＡ」）３４２または類似のプログラム可能なデバイスによって、ブレードコントローラ３１０と接続する。特に、シャーシコントローラ２６０によって発せられたコマンドに応答して、信号が、ブレードコントローラ３１０の出力ピン上に生じさせられる。これらの信号は、ＦＰＧＡ３４２によって、ハブＡＳＩＣ３４０の特定の入力ピンのためのコマンドに翻訳され、その逆も起こる。例えば、シャーシコントローラ２６０からブレードコントローラ３１０によって受け取られる「パワーオン」信号は、とりわけ、ハブＡＳＩＣ３４０上の特定のピンに「パワーオン」電圧を提供することを要求し、このＦＰＧＡ３４２は、このタスクを容易にする。

ＦＰＧＡ３４２の書き換え可能性質は、ブレードコントローラ３１０とＡＳＩＣ３４０との間のインターフェースが、製造後に再プログラム可能であることを可能にする。それゆえ、例えば、ブレードコントローラ３１０とＡＳＩＣ３４０は、特定の包括的な機能を有するように設計され得、ＦＰＧＡ３４２は、アプリケーション特異的な様式でこれら機能の使用をプログラムするために有利に使用され得る。ブレードコントローラ３１０とＡＳＩＣ３４０との間の通信インターフェースはまた、いずれかのモジュールでハードウェア設計エラーが発見された場合、アップデートされ得、新たなハードウェアが製造される必要なしで迅速なシステム修復を可能にする。

また、計算リソースとシステム管理との間のインターフェースとしての役割と関連して、ハブＡＳＩＣ３４０は、高速プロセッサ相互接続３４４によってプロセッサ３２０、３２２に接続される。１つの実施形態では、プロセッサ３２０、３２２は、この目的のためにＩｎｔｅｌ（登録商標）ＱｕｉｃｋＰａｔｈ Ｉｎｔｅｒｃｏｎｎｅｃｔ（「ＱＰＴ」）を提供するＩｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎによって製造され、ハブＡＳＩＣ３４０は、ＱＰＩを使用してプロセッサ３２０、３２２と通信するためのモジュールを含む。他の実施形態は、他のプロセッサ相互接続構成を使用し得る。

各ブレードにおけるハブチップ３４０はまた、高バンド幅、低待ち時間のデータ通信のための他のブレードへの接続を提供する。それゆえ、ハブチップ３４０は、異なるブレードシャーシを接続する計算接続２８０へのリンク３５０を含む。このリンク３５０は、例えば、ネットワークケーブルを使用して実装される。ハブＡＳＩＣ３４０はまた、同じブレードシャーシ２５２における他のブレードへの接続を含む。ブレード２６２のハブＡＳＩＣ３４０は、シャーシ計算接続３５２によって、ブレード２６４のハブＡＳＩＣ３４０に接続する。シャーシ計算接続３５２は、ネットワークケーブルを使用するのではなく、ブレードシャーシ２５２のバックプレーン上のデータバスとして実装され得、有利なことに、高性能計算タスクのために要求されるブレード間超高速データ通信を可能にする。シャーシ間計算接続２８０およびシャーシ内計算接続３５２の両方におけるデータ通信は、ＮｕｍａＬｉｎｋプロトコルまたは類似のプロトコルを使用して実装され得る。

システムオペレーション
システム管理コマンドは、概して、ＳＭＮ２２０から、管理接続２７０を通り、ブレードシャーシ（およびそれらのシャーシコントローラ）に、次いで、ブレード（およびそれらのブレードコントローラ）に、最終的に、システム計算ハードウェアを使用してコマンドを実装するハブＡＳＩＣＳに伝搬する。

例えば、ＨＰＣシステムをパワーオンするプロセスを考える。ＨＰＣシステム１００は、システムオペレータがＳＭＮ２２０から「パワーオン」コマンドを発するとき、パワーが与えられる。ＳＭＮ２２０は、ブレードシャーシ２５２におけるシャーシコントローラ２６０のようなそれらの個々のシャーシコントローラによって、このコマンドをブレードシャーシ２５２〜２５８の各々に伝搬する。次いで、各シャーシコントローラは、ブレード２６２のブレードコントローラ３１０のような、それらのそれぞれのブレードコントローラによって、そのブレードシャーシにおけるそれぞれのブレードの各々に「パワーオン」コマンドを発する。ブレードコントローラ３１０は、「パワーオン」コマンドを、ハブチップ３４０を初期化するハブチップのピンのうちの１つに信号を提供するＦＰＧＡ３４２を使用して、その対応するハブチップ３４０に発する。他のコマンドも同様に伝搬される。

ＨＰＣシステムがパワーオンされると、その計算リソースは、計算パーティションに分割され得る。各計算パーティションに割り当てられる計算リソースの量は、管理者決定である。例えば、企業は、完成すべき多くのプロジェクトを有し得、各プロジェクトは、特定量の計算リソースを要求するように企画される。異なるプロジェクトは、異なる比率の処理パワー、メモリ、および、Ｉ／Ｏデバイス使用を要求し得、異なるブレードは、インストールされる異なる量のリソースを有し得る。ＨＰＣシステム管理者は、ＨＰＣシステム１００の計算リソースをパーティション化するときにこれらを考慮する。計算リソースをパーティション化することは、各ブレードのＲＡＭ３１６をプログラムすることによって達成され得る。例えば、ＳＭＮ２２０は、システムコンフィグレーションファイルを読み取った後に、適切なブレードプログラミングコマンドを発し得る。

ＨＰＣシステム１００の集合的ハードウェア計算リソースは、任意の管理者ニーズにしたがって、計算パーティションに分割され得る。それゆえ、例えば、単一の計算パーティションは、１つのブレードシャーシ２５２のブレードのうちのいくつかまたは全て、複数のブレードシャーシ２５２および２５４のブレードのうちの全て、１つのブレードシャーシ２５２のブレードのうちのいくつか、および、ブレードシャーシ２５４のブレードのうちの全ての計算リソース、全体のＨＰＣシステム１００の計算リソースのうちの全て、または、他の類似の組み合わせを含み得る。ハードウェア計算リソースは、統計的にパーティションに区切られ、この場合、全体のＨＰＣシステム１００の再ブートは、ハードウェアを再割り当てすることが必要とされる。あるいは、かつ、好ましくは、ＨＰＣシステム１００がパワーオンされる間に、ハードウェア計算リソースは、動的にパーティション化される。このようにして、割り当てられないリソースは、他のパーティションの動作を中断することなくパーティションに指定され得る。

ＨＰＣシステム１００が適切にパーティション化されると、各パーティションは、スタンドアローンの計算システムとして作用すると考えられ得ることが、注記されるべきである。それゆえ、２つ以上のパーティションは、ＨＰＣシステム１００の内側で、論理的計算グループを形成するように組み合わされ得る。このようなグルーピングは、例えば、特定の計算タスクが、単一のオペレーティングシステムが制御し得るよりも多くのプロセッサまたはメモリに割り当てられる場合、必要であり得る。例えば、単一のオペレーティングシステムが６４のプロセッサのみを制御し得るが、特定の計算タスクが２５６のプロセッサの組み合わされたパワーを必要とする場合は、４つのパーティションが、このようなグループにおいてタスクを割り当てられる。このグルーピングは、各計算パーティションに同じソフトウェアをインストールすること、および、パーティションにＶＰＮを提供することのような当該分野で公知の技法を使用して達成され得る。

少なくとも１つのパーティションが作成されると、このパーティションは、ブートされ得、その計算リソースは初期化される。パーティション１６０のような各計算パーティションは、単一のＯＳ １９１および単一のＢＩＯＳ１９２を有するように論理的に見られ得る。当該分野で公知のように、ＢＩＯＳは、利用可能なハードウェアを電気的に探り、かつ、ＯＳがブート可能であるような既知状態にそれを初期化する命令の集合であり、典型的に、各物理的サーバ上のファームウェアチップ上に提供されている。しかし、単一の論理的計算パーティション１６０は、いくつかのブレードにまたがり得、または、いくつかのブレードシャーシにさえまたがり得る。ブレードは、特定のパーティションへのその割り当てを強調するために「計算ノード」または単に「ノード」と称され得るが、物理的ブレードは、それが複数のプロセッサ３２０、３２２およびメモリ３２４、３２６を有する場合、１つよりも多い計算ノードを含み得ることが、理解される。

パーティションをブートすることは、標準ブレードシャーシに多くの改変がなされることを要求し得る。特に、各ブレードにおけるＢＩＯＳは、同じブレードまたはブレードシャーシにおけるものではない同じ計算パーティションにおける他のハードウェアリソースを決定するように改変される。ＳＭＮ２２０によってブートコマンドが発せられた後、ハブＡＳＩＣ３４０は、適切な信号をプロセッサ３２０に最終的に提供することにより、ＢＩＯＳ命令を使用してブートプロセスを開始する。ＢＩＯＳ命令は、次いで、パーティションにおける識別（ノード）番号、ノード相互接続トポロジー、パーティションにおける他のノード中に存在するデバイスのリスト、および、パーティションにおける全てのノードによって使用されるマスタークロック信号などのような、ハブＡＳＩＣ３４０からのパーティション情報を得る。この情報で武装させられて、プロセッサ３２０は、ブレード２６２を初期化するために要求されるいかなるステップをも取り得、これは、１）Ｉ／Ｏデバイス３３２および不揮発性ストレージ３３４を初期化することのような非ＨＰＣ特異的ステップと、２）また、ローカルハードウェアクロックをマスタークロック信号に同期すること、所与のノードにおけるＨＰＣ特化型ハードウェアを初期化すること、パーティションにおける他のノードがそのＲＡＭにアクセスした情報を含むメモリディレクトリを管理すること、および、パーティション幅の物理的メモリマップを準備することなどのＨＰＣ特異的ステップとを含む。

この点で、各物理的ＢＩＯＳは、パーティションのそれ自体のビュー（ｖｉｅｗ）を有し、各ノードにおける計算リソースの全ては、ＯＳがロードするために準備される。次いで、ＢＩＯＳは、ＯＳイメージを読み取り、マルチプロセッサシステムの分野で公知の技法にしたがって、それを実行する。ＢＩＯＳは、ハードウェア自体が複数ブレードシャーシおよびブレードの間に分散させられているとしても、ＯＳにパーティションハードウェアのビューを、それが単一の非常に大きな計算デバイス中に存在する全てであるかのように提示する。このようにして、単一のＯＳインスタンスは、それ自体を、そのパーティションに指定されているブレードシャーシおよびブレードのいくつかまたは好ましくは全てを横切って広がる。異なるオペレーティングシステムが種々のパーティションにインストールされ得る。ＯＳイメージが存在しない場合、例えばパーティションが作成された直後には、パーティションブートの前に当該分野で公知のプロセッサを使用してＯＳイメージがインストールされ得る。

ＯＳが安全に実行していると、そのパーティションは、単一の論理的計算デバイスとして動作させられ得る。所望の計算処理を実行するためのソフトウェアは、ＨＰＣシステムオペレータによって種々のパーティションにインストールされ得る。ユーザは、次いでＳＭＮ２２０にログインする。ＳＭＮ２２０からのそれらのそれぞれのパーティションへのアクセスは、例えば、ログイン資格証明書に基づいたボリュームマウンティングおよびディレクトリ許可を使用して制御され得る。システムオペレータは、各パーティションの健全性をモニタし得、ハードウェアまたはソフトウェアのエラーが検出されるとき、矯正ステップをとる。長期実行アプリケーションプログラムの現在の状態は、定期的、または、システムオペレータまたはアプリケーションユーザのコマンドのいずれかで、不揮発性ストレージにセーブされることにより、システムまたはアプリケーションのクラッシュの事象で作業を失うことに対する保護を行う。システムオペレータまたはシステムユーザは、アプリケーションソフトウェアをシャットダウンするためのコマンドを発し得る。ＨＰＣパーティションの他のオペレーションは、当業者に公知であり得る。管理者が要求するとき、システムオペレータは、計算パーティションを完全にシャットダウンし得、パーティションにおける計算リソースを再割り当てもしくは割り当て解除し得、または、全体のＨＰＣシステム１００をパワーダウンし得る。

ツインサーバブレード構成
図４Ａ〜４Ｄは、本発明の実施形態にしたがって、ＨＰＣシステム１００中で使用され得る計算ブレード１２の種々の図を概略的に示す。計算ブレード１２は、１つ以上の計算ボード１４と、計算ボード１４のいずれかの側面に配置された２つのサイドレール１６とを含む。図４Ｃおよび４Ｄに示されるように、各サイドレール１６は、計算ブレード１２内に計算ボード１４を保持するように構成された１つ以上のボード整列要素１８を有する。図５により詳細に示されるように、ボード整列要素１８は、計算ボード１４の上部１４ａがボード取り付け部分１８ａに隣接するように、計算ボード１４に結合するように構成されているボード取り付け部分１８ａを含む。サイドレール１６およびボード整列要素１８のこの構成の利点は、それが広範な種々の機能的ボードアセンブリが使用されることを可能にするからである。なぜなら、このボード取り付け特徴は、ボード１４の底部１４ｂよりもむしろ、ボードの上部整列のために構成されているからである。これは、ブレード整列可能許容差のより良好な制御を可能にし、使用されるべきボード厚みのより広い範囲を可能にする。さらに、計算ボード１４をブレード１２内にマウントするためのサイドレール１６およびボード整列要素１８の使用は、パンまたはキャリアトレイの必要性をなくし、このことは、ブレード１２で使用される重量および材料を最小にし、それゆえ、全体のＨＰＣシステム１００の重量を低減する。

サイドレール１６およびボード整列要素１８は、種々の方法で構成され得る。好ましくは、ボード取り付け部分１８ａは、サイドレール１６の主要部分に実質的に垂直である比較的平坦な領域を含み、その結果として、計算ボード１４は、ブレード１２内で互いに実質的に垂直に保持される。例えば、図５に示されるように、ボード整列要素１８は、サイドレール１６に実質的に垂直である上部ボード取り付け部分および下部ボード取り付け部分１８ａを伴ってｃ字形状であり得、その結果として、計算ボード１４の上部１４は、ボード取り付け部分１８ａの外側側面に隣接し、それに結合される。あるいは、ボード整列要素１８はまた、図６に示されるように、他の形状を有し得る。ボード整列要素１８はまた、図６に示されるように、ボード取り付け部分１８ａを超えて延びる据え付けセクション１８ｂを含み得る。据え付けセクション１８ｂは、スナップ嵌め構成にあるように、ボード整列要素１８をサイドレール１６に係合しかつ結合するような構成され得る。

サイドレール１６およびボード整列要素１８構成を使用してブレード１２内の側面上に計算ボード１４をマウントする別の利点は、２つ以上の計算ボード１４が、図４Ａ〜４Ｄおよび７Ｂに示されるように、ブレード１２内で互いの上部上に容易に積み重ねられ得ることである。この構成は、１つの計算ボード１４の上部１４ａが、他の計算ボード１４の上部１４ａに面することを可能にし、これは、この２つのボード１４がブレード１２内の構成要素を共有することを可能にする。例えば、図７Ａおよび７Ｂに示されるように、空冷ヒートシンク２０が、対向する計算ボード１４上で２つのプロセッサ２２の間に配置され得る。

計算ボード１４は、ＭＩＣ（多数の一体化されたコア）またはＣＰＵ（グラフィックスプロセッシングユニット）の密集形態ファクタカードを含み得る。好ましくは、各計算ボード１４は、別個の計算ノードとして構成され得、その結果として、計算ブレード１２は、２つの計算ノードを含み、それらの計算ノードは、論理的には独立ではあるが、下記の図１３Ａおよび１３Ｂに示されるように、ブレードエンクロージャにおける単一のスロットを共有するために、物理的には一緒に繋ぎ合わされ、種々のハードウェア構成要素を共有する。このようにして、１つの計算ボード１４の損失が、全体の計算ブレード１２を動作不能にはしない。このツインノード構成は、存在する単一ノードブレード構成を上回る達成可能な計算密度を効率的に倍増させる。

本発明の実施形態に従う計算ブレード１２構成の別の利点は、共通のレイアウトまたはインフラストラクチャーが、図７Ａに示されるような、ベース計算セクションにおいて、ベースノード（「Ａノード」と指定される）および中二階（ｍｅｚｚａｎｉｎｅ）ノード（「Ｂノード」と指定される）の両方上で使用され得ることである。このブレード構成はまた、構成要素（例えば、メモリ２４）の交互配置（ｉｎｔｅｒｌｅａｖｉｎｇ）を可能にし、これは、よりコンパクトな構成を規定し、空間を節約し、また、ベース計算セクションにおける両方のボード１４を横切る１つの設計に梃子入れことによって、より単純な設計を可能にする。

さらに、このブレード１２構成は、種々の冷却システムを可能にする。例えば、ブレード１２は、下記の「オンブレード冷却システム」および「ＣＤＵとの閉鎖ループ冷却セル構成」と題されるセクションでより詳細に説明されるように、空冷されても、液冷されても、または、それら２つの組み合わせであってもよい。

オンブレード冷却システム
図８Ａおよび８Ｂは、オンブレード冷却システムを含む計算ブレード１２構成を概略的に示す。このオンブレード冷却システムは、１つ以上の冷却プレート２６と、この冷却プレート２６に結合されて（図１３Ａおよび１３Ｂに示されるような）ブレードエンクロージャ３２における冷却マニホールド３０と流体連通している流体接続２８とを含む。１つ以上の冷却プレート２６は、２つの計算ボード１４間に配置され、かつ、上部および下部計算ボード１４上のプロセッサコア２２間に位置させられるように構成される。この構成に応じて、オンブレード冷却システムは、計算ブレード１２における個々のデュアルソケットノードによって散逸させられる熱の約５０〜６０％を吸収し得る。

このオンブレード冷却システムは、図９Ａに示されるような、互いの上部に配置された１つ以上の冷却プレート２６、または、図９Ｂに示されるような、横に並んだ構成における１つ以上の冷却プレート２６を含み得る。好ましくは、図８Ｂに示されるように、２つの冷却プレート２６は、計算ブレード１２の１つの領域における２つの計算ボード間に配置され、２つの冷却プレート２６は、計算ブレード１２の別の領域における２つの計算ボード間に配置され、その結果として、計算ボード１４中の各プロセッサ２２は、それ自体の冷却プレート２６を有する。計算ブレード１２のバルクヘッドまたは前面プレート３６は、計算ブレード１２の内側部分へのアクセスを可能にするために容易に除去され得、ブレードを分解することなしの冷却プレート２６の設置および除去を可能にし得る。さらに、前面パネル３６は、内部計算ブレード構成要素と外部環境との間の電磁妨害（ＥＭＩ）バリアを提供し得る。

図９Ｂにより詳細に示されるように、冷却プレート２６は、内部通路３４を有し得、これは、冷却流体（例えば、水）が、冷却プレート２６における熱を除去するためにこの通路を通って流れることを可能にする。熱は、計算ブレード１２におけるプロセッサ２２によって発生させられ、冷却プレート２６によって吸収される。オンブレード冷却システムおよび冷却プレート２６構成のさらなる詳細は、「ＯＮ−ＢＬＡＤＥ ＣＯＬＤ ＳＩＮＫ ＦＯＲ ＨＩＧＨ−ＤＥＮＳＩＴＹ ＣＬＵＳＴＥＲＥＤ ＣＯＭＰＵＴＥＲ ＳＹＳＴＥＭ」と題される米国特許出願第１３／９３１，７３０号に見出されることができ、この出願は、その全体が本明細書に参照によって援用される。

冷却プレート２６は、計算ブレード１２内のプロセッサとともに典型的に使用されるヒートシンクを置き換え得る。例えば、図１０Ａおよび１０Ｂは、単一セットの冷却プレート２６が対向するボード１４間に配置される計算ブレード１２構成を示し、図１１Ａおよび１１Ｂは、２セットの冷却プレート２６が対向するボード１４間に配置される結果として各プロセッサ２２がそれ自体の冷却プレート２６に隣接している計算ブレード１２構成を示す。

あるいは、冷却プレート２６は、図１２に示されるように、空冷ヒートシンクと組み合わせて使用され得る。例えば、計算ブレード１２の１つの領域（例えば、領域１２ａ）において、ヒートシンク２０は、計算ボード１４のいずれかの側面上に配置され得、次いで、冷却プレート２６は、ヒートシンク２０のうちの1つ以上に隣接して配置され得る。任意のさらなる熱は、ラックの後部に位置させられるファンによって空冷され得るか、または、下記の「ＣＤＵとの閉鎖ループ冷却セル構成」と題されるセクションにおいてより詳細に議論されるような閉鎖ループ空気流れ構成によって空冷され得る。

図１３Ａおよび１３Ｂは、オンブレード冷却システムを使用するＨＰＣシステム１００を概略的に示す。冷却プレート２６および流体接続２８に加え、このオンブレード冷却システムは、冷却マニホールド３８を有し、かつ、複数の計算ブレード１２を保持するように構成された１つ以上のブレードエンクロージャ３２を含む。冷却マニホールド３８は、専用の供給ライン３８ａおよび戻りライン３８ｂを含み得、これらは、流体接続２８のそれぞれの供給ライン２８ａおよび戻りライン２８ｂに流体的に結合され得る。冷却マニホールド３８は、図１３Ａおよび１３Ｂに示されるように、ブレードエンクロージャ３２の側面に沿って垂直に配置され得、または、水平および垂直に配置され得る。しかし、冷却マニホールド３８の流体接続２８への接続をブレードエンクロージャ３２の前面に向かって配置することは、何らかの漏れの場合に流体接続２８の視覚的検査を容易に可能にする。

１つ以上の冷却プレート２６を使用するとしても、各計算ブレード１２のための冷却プレート２６（単数または複数）は、流体コネクタ４２（図１４にファントムで示される）を介して流体冷却マニホールド３８に接続される。流体コネクタ４２は、流体接続２８の端部、例えば可撓性ホースの端部に取り付けられる。この構成は、冷却流体が、冷却マニホールド３８から、実質的に互いと平行である計算ブレード１２の各々のための流体接続２８の各々を通って（それゆえ、所与の計算ブレード１２内の冷却プレート２６の各セットを通って）流れることを可能にする。

動作において、冷却液体は、流体接続４０を通り、ブレードエンクロージャ３２中の冷却マニホールド３８における供給ライン３８ａに流れ、次いで、各個々のブレード１２を冷却マニホールド３８に接続する流体接続２８の供給ライン２８ａを通って流れる。次いで、冷却流体は、冷却マニホールド３８における戻りライン２８ｂを通って戻りライン３８ｂに流れ、暖められた冷却流体は、流体接続４０を介して戻る。流体接続４０は、この流体接続４０に接続されるさらなる外部冷却ユニットとともに、または、それなしで、供給ライン４０ａおよび戻りライン４０ｂを介して広範な設備供給冷却水に接続され得る。さらなる冷却が必要である状況では、液体 対 水熱交換器が、下記の「オンブレード冷却との冷却分配ユニット」と題されるセクションでさらに詳細に議論されるように、流体接続４０に接続され得る。

オンブレード冷却との冷却分配ユニット
図１５に示されるように、オンブレードコールドシンクシステムは、特定のタイプの計算ブレード、例えばカリフォルニア州フレモントのＳｉｌｉｃｏｎ Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｒｐ．によって販売されている７２０Ｗ Ｇｅｍｉｎｉ Ｔｗｉｎ計算ブレードのための増加した冷却要件をサポートするために、ブレードエンクロージャ（単数または複数）３２を保持する計算ラック４６の外部にある冷却分配ユニット（ＣＤＵ）４４のような外部冷却システムとともに使用され得る。例えば、計算ブレード１２によって生成される熱の量が約６００ワットを超えるとき、ＣＤＵ４４は、上記のオンブレードコールドシンクシステムとともに使用され得る。このＣＤＵ４４は、１つが供給ライン４０ａを有し、かつ、１つが戻りライン４０ｂを有する流体接続（例えば、ホース）４０のセットを介して、図１５に示されるように、１つ以上のブレードエンクロージャ３２に接続され得る。

図１６をまた参照して、このＣＤＵ４４は、熱交換器５０と、他の制御、バルブ、および、配管に加えて１つ以上の循環ポンプ（単数または複数）５２とを取り囲むハウジング４８を含む。図１５は、ＣＤＵ４４から、ブレードエンクロージャ３２の側面に位置させられる冷却マニホールド３８のセットへの冷却剤経路を示す。動作において、１つ以上の循環ポンプ５２は、流体接続４０の供給ライン４０ａ内の冷却流体を冷却マニホールド３８に移動させ、次いで、各個々のブレード１２を冷却マニホールド３８に接続する流体接続２８を通って移動させるように構成される。冷却流体が、冷却プレート２６における通路３４を通って流れ、ブレード１２におけるプロセッサ２２によって生成された熱を除去した後、次いで、冷却流体は、冷却マニホールド３８における戻りラインに流れ、暖まった冷却流体は、流体接続４０の戻りライン４０ｂを介してＣＤＵ４４に戻される。このＣＤＵ４４は、流体接続５４を介して設備供給冷却水を用いて冷却される熱交換器５０を介して冷却液体から熱を除去し、次いで、このＣＤＵ４４は、冷却された冷却液体を冷却マニホールド３８に戻すようにポンプ輸送する。

ＣＤＵ４４から冷却マニホールド３８への冷却剤経路は、閉鎖ループシステムであり、これは、流体接続２８または４０で漏れが生じた場合に失われる液体の量を最小にすることを支援する。例えば、この閉鎖ループシステムは、水処理溶液、例えば約１リットルとともに、約５５ガロンの蒸留水を保持し得る。使用され得る好適な水処理溶液は、バージニア州リッチモンドのＣｈｅｍｔｒｅａｔ，Ｉｎｃ．から商業的に入手可能であるもののような、水酸化ナトリウム溶液を含む。

ＣＤＵ４４は、ビルディング冷水システムと、計算ラック４６内の冷却マニホールド３８との間でインターフェース接続され、冷却マニホールド３８への冷水を循環させて制御するように設計されている。この目的のために、ＣＤＵ４４は、部屋条件をモニタし得、冷却マニホールド３８にポンプ輸送されている冷水を部屋の露点を超える温度に維持することによってコイル結露を防ぐ。（利用可能な場合）ポンプをスイッチすること、水温を制御することのような、ＣＤＵ４４内の全ての機能は、自動化され得る。ＣＤＵ４４は、流体接続５４によってビルディング供給および戻り配管に接続され、また、流体接続４０によって冷却マニホールド３８に結合される。

ＣＤＵとの閉鎖ループ冷却セル構成
オンブレードコールドシンクシステムはまた、図１７に示されるように、２つの計算ラック４６と、計算ラック４６間の冷却タワー６２とを含む閉鎖ループ冷却セル構成とともに使用され得る。各計算ラック４６は、上記で議論されるような冷却マニホールド３８とオンブレード冷却システムを有する少なくとも１つのブレードエンクロージャ３２を含む。例えば、冷却タワー６２は、冷却マニホールド３８を含むＭ−Ｒａｃｋおよびワイド−ラック構成とともに使用され得る。

冷却タワー６２は、１つ以上の水冷熱交換器、および、水背面に向かう計算ラックの側面からの暖まった空気を、冷熱交換器を横切って引き込み、かつ、冷却された空気を前面に向かって計算ラックの側面に循環させるように構成された１つ以上のブロワを含む。この閉鎖ループ冷却セル構成はさらに、計算ラック４６および冷却タワー６２を取り囲むハウジング６４を含むことにより、ハウジング６４内に閉鎖ループ空気流れを提供する。閉鎖ループ冷却セル構成のさらなる詳細は、「ＣＬＯＳＥＤ−ＬＯＯＰ ＣＯＯＬＩＮＧ ＳＹＳＴＥＭ ＦＯＲ ＨＩＧＨ−ＤＥＮＳＩＴＹ ＣＬＵＳＴＥＲＥＤ ＣＯＭＰＵＴＥＲ ＳＹＳＴＭＥＭ」と題される米国特許出願第１３／９３１，７５４に見出されることができ、この出願は、その全体が本明細書に参照によって援用される。

上記の議論は、本発明の種々の例示的な実施形態を開示しているが、当業者が、本発明の真の範囲から逸脱することなく、本発明の利点のいくつかを達成する種々の改変をなし得ることは、明らかである。

Claims (19)

1. 複数の計算ブレードを有する高性能計算（ＨＰＣ）システムであって、少なくとも１つの計算ブレードは、
   １つ以上の計算ボードと、
   前記計算ボードのいずれかの側面に配置された２つのサイドレールであって、各サイドレールは、前記計算ボードを前記計算ブレード内に保持するように構成されたボード整列要素を有し、その結果として、前記計算ボードの上部は、前記ボード整列要素のボード取り付け部分に結合され、かつ、それに隣接している、サイドレールと
   を備える、ＨＰＣシステム。
2. 前記ボード整列要素は、前記サイドレールに実質的に垂直である上部ボード取り付け部分および下部ボード取り付け部分を伴って実質的にｃ字形状であり、前記計算ボードは、前記上部ボード取り付け部分および前記下部ボード取り付け部分の外側側面に隣接している、請求項１に記載のＨＰＣシステム。
3. 前記計算ブレードは、２つの別個の計算ノードとして構成された２つの計算ボードを含み、各ボードの上部は、前記ボード整列要素の対応するボード取り付け部分に結合し、かつ、それに隣接している、請求項１に記載のＨＰＣシステム。
4. 前記２つの計算ボードは、１つの計算ボードの上部がもう一方の計算ボードの上部に面するように互いの上部上に配置される、請求項３に記載のＨＰＣシステム。
5. 各計算ボードは、ベース計算セクションを有し、前記ベース計算セクションにおける構成要素のレイアウトは、前記２つの計算ボードにおいて実質的に同じである、請求項４に記載のＨＰＣシステム。
6. 各計算ボードは、ベース計算セクションを有し、１つの計算ボード上のベース計算セクションにおけるいくつかの構成要素は、もう一方の計算ボード上のベース計算セクションにおける対応する構成要素間に交互配置される、請求項４に記載のＨＰＣシステム。
7. 前記計算ブレードは、
   １つ以上の空冷ヒートシンクであって、各ヒートシンクは、前記２つの計算ボード間に配置される、ヒートシンク
   をさらに含む、請求項４に記載のＨＰＣシステム。
8. 前記複数の計算ブレードを保持するように構成された１つ以上のブレードエンクロージャをさらに備え、前記ブレードエンクロージャは、前記サイドレールを保持するように構成された少なくとも２つの側面マウントを有する、請求項１に記載のＨＰＣシステム。
9. 前記計算ブレードは、２つの計算ボードを含み、前記ブレードエンクロージャは、流体冷却マニホールドを含み、前記システムは、
   １つ以上の冷却プレートであって、各冷却プレートは、前記２つの計算ボード間に配置される、冷却プレートと、
   前記冷却プレートに結合され、前記流体冷却マニホールドと流体連通している流体接続と
   をさらに含む、請求項８に記載のＨＰＣシステム。
10. 前記流体冷却マニホールドは、前記ブレードエンクロージャの背面に沿っていて、前記２つの計算ボード間にある各冷却プレートに接続するように構成されている、請求項９に記載のＨＰＣシステム。
11. 前記冷却マニホールドは、前記ブレードエンクロージャの側面に沿っていて、前記２つの計算ボード間にある各冷却プレートに接続するように構成されている、請求項９に記載のＨＰＣシステム。
12. ２つの冷却プレートは、横に並んだ構成で前記２つの計算ボード間に配置され、前記２つの計算ボード間の１つのプレートは、前記計算ブレードの１つの領域にあり、前記２つの計算ボード間のもう一方のプレートは、前記計算ブレードの別の領域にある、請求項９に記載のＨＰＣシステム。
13. ４つの冷却プレートは、前記２つの計算ボード間に配置され、前記２つの計算ボード間の２つのプレートは、前記計算ブレードの１つの領域にあり、前記２つの計算ボード間のもう一方の２つのプレートは、前記計算ブレードの別の領域にある、請求項９に記載のＨＰＣシステム。
14. 前記冷却マニホールドは、供給ラインおよび戻りラインを含む、請求項９に記載のＨＰＣシステム。
15. 前記冷却マニホールドと流体連通している流体接続を有する外部冷却分配ユニットをさらに備える、請求項９に記載のＨＰＣシステム。
16. 前記外部冷却分配ユニットは、
    前記流体接続の一部分と接触している液冷熱交換器と、
    前記流体接続内の液体を前記冷却マニホールドから前記液冷熱交換器に移動させるように構成されている１つ以上のポンプと
    をさらに含む、請求項１５に記載のＨＰＣシステム。
17. 前記ブレードエンクロージャは、２つの計算ラックにおいて構成され、前記システムは、
    前記第１の計算ラックの側面および前記第２の計算ラックの側面に隣接する冷却タワーであって、前記冷却タワーは、少なくとも１つの水冷熱交換器と１つ以上のブロワとを有し、前記1つ以上のブロワは、前記側面から前記第１の計算ラックおよび前記第２の計算ラックの背面に向かって前記水冷熱交換器を横切って暖かい空気を引き込み、かつ、冷却された空気を前記第１の計算ラックおよび前記第２の計算ラックの前面に向かって前記側面に循環させるように構成される、冷却タワーと、
    前記第１の計算ラックと、前記第２の計算ラックと、前記冷却タワーとを取り囲むことにより、前記ハウジング内の閉鎖ループ空気流れを提供するハウジングと
    をさらに含む、請求項１６に記載のＨＰＣシステム。
18. 前記複数の計算ブレードを保持するように構成されている１つ以上のブレードエンクロージャをさらに備え、前記ブレードエンクロージャは、２つの計算ラックにおいて構成され、前記システムは、
    前記第１の計算ラックの側面および前記第２の計算ラックの側面に隣接する冷却タワーであって、前記冷却タワーは、少なくとも１つの水冷熱交換器と１つ以上のブロワとを有し、前記1つ以上のブロワは、前記側面から前記第１の計算ラックおよび前記第２の計算ラックの背面に向かって前記水冷熱交換器を横切って暖かい空気を引き込み、かつ、冷却された空気を前記第１の計算ラックおよび前記第２の計算ラックの前面に向かって前記側面に循環させるように構成される、冷却タワーと、
    前記第１の計算ラックと、前記第２の計算ラックと、前記冷却タワーとを取り囲むことにより、前記ハウジング内の閉鎖ループ空気流れを提供するハウジングと
    をさらに含む、請求項１に記載のＨＰＣシステム。
19. 前記ボード整列要素は、前記ボード取り付け部分を超えて延びる据え付けセクションを含み、前記据え付けセクションは、前記ボード整列要素と係合し、かつ、前記ボード整列要素を前記サイドレールに結合するように構成されている、請求項１に記載のＨＰＣシステム。