JP2013503385A - 統合された共有リソースを有する高密度マルチノードコンピュータ - Google Patents

Abstract

複数のノード、システム制御ユニット、及びキャリアボードを備えるマルチノードコンピュータシステム。複数のノードの各ノードは、プロセッサ、及びメモリを備える。システム制御ユニットは、電力管理、冷却、作業負荷プロビジョニング、ネイティブストレージサービス、及びＩ／Ｏの責任を負う。キャリアボードは、システムファブリック、及び複数の電気接続を備える。電気接続は、電力、管理制御、システム制御ユニットと複数のノードとの間のシステム接続、及びユーザインフラストラクチャへの外部ネットワーク接続を複数のノードに提供する。システム制御ユニット及びキャリアボードは、複数のノードに対して統合された共有リソースを提供する。マルチノードコンピュータシステムは、単一のエンクロージャに設けられる。
【選択図】図６

Description

関連出願の相互参照

[001]本出願は、２００９年８月２８日に出願された米国特許仮出願第６１／２３８，０８４号、弁理士整理番号ＰＣＵＢＥ−Ｐ００１．ＰＲＯの優先権を主張する。

[002]本発明は、一般にコンピュータシステムに関し、より詳細には、電力、スペース、及び冷却の改良を提供するサブ５Ｗ低電力プロセッサを含む家電の構成要素を使用するネットワーク中心のコンピュータアーキテクチャに関する。

背景

[003]ペーパーレス技術の人気及び利点の増加により、データセンタの使用によるデジタル情報の格納及び情報管理が商業、通信、教育、及び政府の機能のおそらく重要な一部として台頭してきた。データセンタ又はサーバファームは、データ処理、データの格納、電気通信、及びインターネット接続に必要とされる必要なコンピュータシステムを提供する。データセンタは、至るところにあり、２、３例を挙げると、バンキング、エンターテインメント、ニュースアウトレット、先端技術産業、大学、及び政府機関にある。これら及び他のものは、こうしたデータセンタを動作させ、又は使用して、商取引、情報管理、電気通信、データ処理の要求を助ける。

[004]ペーパーレス技術の人気及び使用の増加により、データセンタの使用も増加した。多くの要因のうちのほんの数例に過ぎないが、バンキングでの電子トランザクションの使用の増加、インターネット通信及びエンターテインメントの人気、電子医療記録の使用の増加、及び電子商取引に見られる成長によって、データセンタの要求は増加している。２０００年以降、ＥＰＡの議会報告（ＥＰＡ ｒｅｐｏｒｔ ｔｏ Ｃｏｎｇｒｅｓｓ）によると、コンピュータリソースの需要の増加は、データセンタサーバ数のかなりの増加、並びにこれらのサーバ及びこうしたサーバをサポートする電力及び冷却インフラストラクチャによって使用されるエネルギーの推定５倍の増加につながった。ＥＰＡの報告は、エネルギーの使用のこの５倍の増加が、エネルギーコストの増加、発電による放出の増加とそれに伴う温室効果ガス排出と共に、この電力の増加の要件を満たすことを要求される現在の電力グリッドに対する追加の圧力、言うまでもなく現在のデータセンタ能力の拡張に必要な追加の資本費用、及び新しいデータセンタの建設と関連したコストを招くことを指摘する。

[005]したがって、社会のすべてのセクタのエネルギー効率の向上に対する関心の高まりと共に、データセンタのエネルギー効率の向上に対する関心も増えている。エネルギー効率のソリューションを提供するいくつかの新しい技術には、ブレードサーバ及び適応型冷却などがある。インターナショナルデータコーポレーション（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｄａｔａ Ｃｏｒｐｏｒａｔｉｏｎ：ＩＤＣ）によると、ブレードサーバの出荷数は、２０１３年までに世界的なサーバの出荷数の４０％を超える。しかし、すべての改良は、漸進的で段階的である。消費電力を２０００年のレベルまで低下させるには、システム技術及びアーキテクチャでの新しい躍進が必要であることは明白である。

[006]本発明の一実施形態において、マルチノードコンピュータシステムは、複数のノード、システム制御ユニット、及びキャリアボードを備える。複数のノードの各ノードは、プロセッサ、及びメモリを備える。システム制御ユニットは、電力管理、冷却制御、作業負荷プロビジョニング、ネイティブストレージサービス（ｎａｔｉｖｅ ｓｔｏｒａｇｅ ｓｅｒｖｉｃｉｎｇ）、及びＩ／Ｏの責任を負う。キャリアボードは、システムファブリック、及び複数の電気接続を備える。電気接続は、電力、管理制御、システム制御ユニットと複数のノードとの間のシステム接続、及びユーザインフラストラクチャへの外部ネットワーク接続を複数のノードに提供する。システム制御ユニット及びキャリアボードは、複数のノードに対して統合された共有リソースを提供する。マルチノードコンピュータシステムは、単一のエンクロージャに設けられる。

[007]本発明の別の実施形態において、マルチノードコンピュータシステムは、単一システムの電源をさらに備える。キャリアボードは、複数の電気接続をさらに備え、複数のノードは、それぞれの電気接続に対してキャリアボード上に配置される。電源は、複数のノードに単一の電圧レベルを提供し、各ノードが電圧を個々に変換する。

[008]本発明の別の実施形態において、複数のノードは、キャリアボード上のノードの第１の行及びノードの第２の行に垂直に配置される。ノードの第１の行は、ノードの第２の行とは異なるように配向される。ノードの行は、ノード間のチャネルを形成する。複数のチャネルは複数のゾーンに分割され、各ゾーンは少なくとも１つのチャネルを備える。複数のファンは、チャネルに空気を強制的に流し込むことによって複数のノードを冷却するための空気をファンで強制的に送り、各ファンは、少なくとも１つのゾーンに空気をファンで強制的に送る。

[009]本発明の別の実施形態において、マルチノードコンピュータシステムのノードは、５ワット未満を必要とするプロセッサと、メモリと、メモリコントローラと、Ｉ／Ｏチップセットと、システム相互接続と、サービスプロセッサとを備える。ノードは、５０ワット未満を使用し、独立した動作ができない。ノードは、単一のエンクロージャ内のマルチノードコンピュータシステムの複数のノードの１つとして、キャリアボードに接続される。各ノードは、個々のエンクロージャを有していない。

本発明の一実施形態によるマルチノードコンピュータを示す簡略ブロック図である。 本発明の一実施形態によるナノコンピュートユニット（ＮａｎｏＣｏｍｐｕｔｅ Ｕｎｉｔ：ＮＣＵ）を示すブロック図である。 本発明の一実施形態による２チップナノコンピュートユニット（ＮＣＵ）の実装を示すブロック図である。 本発明の一実施形態によるシステム制御ユニット（Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ｕｎｉｔ：ＳＣＵ）を示すブロック図である。 本発明の一実施形態による２チップシステム制御ユニット（ＳＣＵ）を示すブロック図である。 本発明の一実施形態によるナノコンピュートセンタソフトウェア設計／アーキテクチャの実装を示すブロック図である。 本発明の一実施形態によるグリーンマシンキャリアボード（ＧｒｅｅｎＭａｃｈｉｎｅ Ｃａｒｒｉｅｒ：ＧＭＣ）を示すブロック図である。 本発明の一実施形態による２０−ＮＣＵグリーンマシン実装の３Ｄ分解図である。 本発明の一実施形態による従来技術の電源分配の実装を示すブロック図である。 本発明の一実施形態による単一の電圧ソースの分配の実装を示すブロック図である。 本発明の一実施形態によるナノコンピュートユニット間に冷却チャネルを作るためのナノコンピュートユニットの配置をそれぞれ示す側面図及び平面図である。 本発明の一実施形態によるナノコンピュートユニット間に冷却チャネルを作るためのナノコンピュートユニットの配置をそれぞれ示す側面図及び平面図である。 本発明の一実施形態によるアップグレード可能なＮＣＵを組み込むラップトップコンピュータを示す図である。 本発明の一実施形態によるグリーンマシンの縮小バージョンをホームゲートウェイ機器として示す図である。 本発明の一実施形態による１２のグリーンマシンのラックフレームパッケージの３Ｄの例を示す図である。 本発明の一実施形態によるグリーンマシンメモリベースのファブリックアーキテクチャの実装を示す図である。 本発明の一実施形態によるグリーンマシンメモリベースのファブリックアーキテクチャの実装を示す図である。 本発明の一実施形態によるグリーンマシンメモリベースのファブリックアーキテクチャの実装を示す図である。 本発明の一実施形態によるグリーンマシンメモリベースのファブリックアーキテクチャの実装を示す図である。

詳細な説明

[025]次に、添付の図面にその例が示されている本発明の好ましい実施形態を詳しく説明する。本発明は、好ましい実施形態との関連で説明するが、本発明をこれらの実施形態に限定するものではないことを理解されたい。これに対して、本発明は、代替、修正、及び均等物をカバーするものであり、こうした代替、修正、及び均等物は、添付の特許請求の範囲に定義される本発明の精神及び範囲内に含まれ得る。さらに、本発明の実施形態の以下の詳細な説明において、本発明を完全に理解できるようにするために、多数の具体的な詳細が記載される。しかし、これらの具体的な詳細なしで本発明を実践できることを当業者であれば認識されよう。他の例では、周知の方法、手順、構成要素、及び回路については、本発明の実施形態の態様を不必要に不明瞭にしないように、詳しくは記載しない。

表記及び用語：
[026]以下の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットの操作の手順、ステップ、ロジックブロック、処理、及び他の象徴的表現に関して示される。これらの説明及び表現は、データ処理技術の当業者によって、他の当業者に最も効果的にその仕事の要旨を伝えるために使用される手段である。手順、コンピュータで実行されるステップ、ロジックブロック、プロセスなどは、ここでは、及び一般的に、所望の結果をもたらす首尾一貫した一連のステップ又は命令であると考えられる。ステップは、物理量の物理的操作を必要とするものである。必ずしもそうではないが、通常、これらの量は、コンピュータシステムにおける格納、転送、結合、比較、及びそうでなければ操作が可能な電気又は磁気信号の形をとる。これらの信号をビット、値、要素、記号、文字、項、数字などと呼ぶことは、主として一般的な用法という理由で、時として便利であることがわかっている。

[027]しかし、これら及び類似の用語はすべて、適切な物理量に関連付けられるものであり、単にこうした物理量に適用される便利なラベルに過ぎないことに留意されたい。以下の説明から明らかなように明記されない限り、本発明全体にわたって、「処理する」、「アクセスする」、「実行する」、「格納する」、又は「レンダリングする」などの用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ、並びに他のコンピュータ可読媒体内の物理（電子）量として表されるデータを操作し、コンピュータシステムメモリ若しくはレジスタ又は他のこうした情報ストレージ、伝送デバイス、又はディスプレイデバイス内の物理量として同じように表される他のデータに変換するコンピュータシステム（例えば、図１のマルチノードコンピュータシステム１０）又は類似の電子コンピューティングデバイスの動作及びプロセスを指すことを理解されたい。１つの構成要素がいくつかの実施形態に現れるとき、同じ参照番号の使用は、その構成要素が最初の実施形態に示されるのと同じ構成要素であることを示す。

[028]この４０年間に、コンピューティングアーキテクチャの波がいくつかあった。メインフレームからミニコンピュータ、ＲＩＳＣワークステーション及びサーバ、そして現在のｘ８６システムまで、新しいそれぞれの波は、性能、価格、及び電力のかなりの向上を送り出した。例えばアイフォン（ｉＰｈｏｎｅ）（商標）、ネットブック、モバイルインターネットデバイス（ｍｏｂｉｌｅ ｉｎｔｅｒｎｅｔ ｄｅｖｉｃｅ：ＭＩＤ）、及びデジタルビデオカメラなど、消費者デバイス対象の低電力プロセッサ及びフラッシュメモリのための技術開発に使われた巨大な投資を考慮して、次の波がこれらの基本的な家電技術に基づくことが明らかになりつつある。

グリーンマシン
[029]グリーンマシン（ＧｒｅｅｎＭａｃｈｉｎｅ）（商標）のマルチノードコンピュータシステムは、電力、スペース、及び冷却において現在のコンピュータアーキテクチャより１０倍以上の向上を目標とするＩ／Ｏ及びネットワーク中心のアーキテクチャである。マルチノードコンピュータシステムは、ユーザごとに個々の、複数のノードを備える。１人のユーザが一度に単一ノード又はいくつかのノードを使用／制御する可能性がある。各ノードは、ランダムアクセスメモリ、及び個々のノードの能力によって定義される別々の処理リソースを備える。グリーンマシンの（各ノードの）処理サブシステムは、スマートフォン／モバイルインターネットデバイスにある低電力プロセッサのタイプ、及びフラッシュメモリ技術に基づく。Ｉ／Ｏ、低電力要件、及び計算性能のため、最初の対象の市場は、クラウドコンピューティングである。グリーンマシンは、シンクライアント／仮想デスクトップ、データベース、データウェアハウス、ビジネスインテリジェンス及びビジネスアナリティクス、並びに高性能コンピューティング（ＨＰＣ）を含めて、他の主要なバーティカル（ｖｅｒｔｉｃａｌｓ）に配備され得る。

[030]図１は、本発明の一実施形態によるマルチノードコンピュータシステム１０を示す。各グリーンマシンマルチノードコンピュータシステム１０は、グリーンマシンキャリア（ＧｒｅｅｎＭａｃｈｉｎｅ Ｃａｒｒｉｅｒ：ＧＭＣ）（商標）６００と呼ばれるデュアル冗長スケーラブルシステムファブリックを使用するキャリアボードを介して相互接続される、ナノコンピュートユニット（ＮａｎｏＣｏｍｐｕｔｅ Ｕｎｉｔ：ＮＣＵ）（商標）１００と呼ばれるモジュール式の構築ブロック（ｍｏｄｕｌａｒ ｂｕｉｌｄｉｎｇ ｂｌｏｃｋ）から成る。ＮＣＵ１００は、マルチノードコンピュータシステムの個々のノードである。本発明において、各ノードはそれ自体の物理的に別々のプロセッサ及びメモリを備える「別々の」コンピュータシステムとして機能し、一方、以下でさらに説明するように、他のリソース（例えば電力、冷却、Ｉ／Ｏなど）はノード間で共有される。システム制御ユニット（ＳＣＵ）３００と呼ばれる管理サブシステムは、電力管理、冷却、作業負荷プロビジョニング、ネイティブストレージサービス、及びＩ／Ｏの責任を負う。ＧＭＣ６００は、電力、管理制御、及びＳＣＵ３００とＮＣＵ１００との間のシステム接続、並びにユーザインフラストラクチャへの外部ネットワーク接続を提供する。ＳＣＵ３００及びＧＭＣ６００は、複数のＮＣＵ１００に対して統合された共有リソースを提供する。

[031]グリーンマシンマルチノードコンピュータシステム１０との外見上の類似点を特徴とする２つの既存のタイプのコンピュータシステムがある。ブレードサーバのクラスタも、システムファブリックを介して接続されるモジュール式の計算構築ブロックから成り、管理サブシステムも含むことも多い。しかし、グリーンマシン１０は、以下の点、すなわち１）すべての構築ブロックは、個々に収納された構成要素の集まりであることに対して、単一のエンクロージャ内に収納される、及び２）グリーンマシンエンクロージャ全体は、等しく搭載されたブレードシステムの電力、スペース、及びコストを必要とする、という点で一意に異なる。あまり一般的でないマルチノードコンピュータも、単一のエンクロージャ内部の複数のモジュール式のコンピューティング要素から成り得る。しかし、グリーンマシンマルチノードコンピュータ１０と既存のマルチノードコンピュータとの間にいくつかの違いがある。第１に、グリーンマシン１０は、外部配線及び追加のスイッチを必要とすることなく、ＧＭＣ６００内のその複数のＮＣＵ１００を相互接続するための機構を含む。さらに、グリーンマシン１０は、ノードの操作及び使いやすさを容易にするための管理サブシステムを含む。また、最後に、グリーンマシン１０は、今日の任意の他のマルチノードコンピュータと比較して、数倍の数のノードを含むが、電力をあまり消費せず、スペースがより少ない。グリーンマシン１０は、初めてこうしたコンパクトな電力、スペース、及びコストのフットプリントにおいてその特徴及び機能を提供するマルチノードコンピュータである。

[032]また、複数のユーザの仮想環境を使用する従来のコンピュータシステムより、グリーンマシン１０が享受する利点がいくつかある。グリーンマシン下の各ユーザには、仮想コンピュータとして全処理リソースを分割した一部ではなく、個々のＮＣＵ１００が提供されるので、整合性があり、かつ、改善された障害分離がある。ユーザ数に関係なく、グリーンマシン１０上のユーザが利用できる処理リソースは変わらないが、仮想コンピューティング環境を使用しているユーザが利用できるリソースは、ユーザの集約された処理要求に基づいて変わり得る。さらに、プロセッサが仮想コンピューティング環境において故障した場合、複数のユーザが影響を受ける可能性があるが、グリーンマシンシステム１０では、ＮＣＵ１００が故障したとき、１人のユーザのみが影響を受ける。

[033]次に、グリーンマシン１０（例えばＮＣＵ１００、ＳＣＵ２００、及びＧＭＣ６００）の様々な構成要素について、より詳細に説明する。グリーンマシン１０の構成要素の詳細な説明の次に、アーキテクチャ、物理アセンブリ、効果的な冷却の実装、及びグリーンマシンの単一ソース電源分配について説明し、次いでさらなるグリーンマシンの実施形態について説明する。

ナノコンピュートユニット（ＮＣＵ）
[034]図２は、本発明の一実施形態によるナノコンピュートユニット（ＮＣＵ）１００を示す。ＮＣＵ１００は、メインプロセッサ１０２と、メモリコントローラ１０４と、ランダムアクセスメモリ１０５と、チップセット１０６と、システム相互接続１０８と、サービスプロセッサ１１０とを備える。別の実施形態において、ＮＣＵメインプロセッサ１０２をオフロードし、アプリケーションの性能を強化するために、コプロセッサ１１２（例えばグラフィックプロセッサユニット及び浮動小数点演算ユニット）及び／又はネットワークプロセッサ１１４が含まれ得る。ＮＣＵ１００は、プロセッサに依存していない。ＮＣＵ１００は、サブ５Ｗプロセッサ、例えばインテル（Ｉｎｔｅｌ）のアトム（Ａｔｏｍ）（商標）及びＡＲＭプロセッサなどをサポートする。チップセット１０６は、メインプロセッサ１０２をメモリ１０４に接続する。サービスプロセッサ１１０は、例えばキーボード、マウス、及びＤＶＤ／ＣＤ−ＲＯＭなど、リモートクライアントデバイスに、ビデオ及びＵＳＢを有するシステムコンソールアクセスを提供する。ネットワーク相互接続は、イーサネット（Ｅｔｈｅｒｎｅｔ）ネットワークインターフェース（ＮＩＣ）を介して実装される。任意選択で、イーサネットネットワークインターフェースは、ネットワークプロセッサ１１４を含む。ネットワークプロセッサ１１４は、ネットワークプロトコールオフロードエンジンでＮＣＵメインプロセッサ１０２をオフロードする。信頼性のために、各ＮＣＵ１００は、イーサネットネットワークインターフェース上に少なくとも２つの高速システムインターフェース（１Ｇｂｐ以上）を備える。これらのインターフェースは、ネットワーク相互接続（例えばイーサネット）又はＩ／Ｏ相互接続（例えばＰＣＩｅ）とすることができる。サービスプロセッサ１１０は、システム制御ユニット（ＳＣＵ）３００に接続され、専用ネットワークインターフェース又はＩＰＭＢを介してΙΡΜΙ２．０管理を提供する。ＮＣＵ１００についてのＫＶＭ及びＵＳＢリダイレクションは、サービスプロセッサ１１０上の専用ネットワークインターフェースを介して提供される。サービスプロセッサ１１０は、グリーンマシンキャリア６００を介して外部ネットワークに接続する単一の専用ネットワークインターフェースを有する内蔵のイーサネットコントローラを含む。標準のコンピュータのように、各ＮＣＵ１００は、それ自体のオペレーティングシステムインスタンスを稼働させる。リモートクライアントデバイスと結合されて、各ＮＣＵ１００は、マルチノードコンピュータシステム１０の単一ノードとして機能する。ＮＣＵ１００ローカル接続又はＩ／Ｏポートは、グリーンマシン１０の外部に露出されない。

[035]スタンドアロンコンピュータ又は多くのサーバブレード構成とは異なり、（例えば、統合された電源、ファン、及びストレージがない）スタンドアロンコンピュータとして独立して機能せず、ベアボーンのＮＣＵ１００は、低ワット要件閾値の利益を得る。サブ５Ｗプロセッサを使用すると、プロセッサのさらに低減した処理要件では、各個々のＮＣＵ１００は、わずか３５〜５０ワットしか使用しない。

[036]現在の傾向は、家電の波を刺激している高密度プロセス技術（例えば３２ナノメートル）を導入しているメインプロセッサにメモリコントローラなどの主要なチップセット機能を組み込むことである。ＮＣＵは、シングルチップ又は２チップソリューションとして実装することできる。図３は、本発明の一実施形態による２チップＮＣＵ２００を示す。ＮＣＵ２００は、メモリコントローラ１０４、ランダムアクセスメモリ１０５、及びＧＰＵ１２２をメインプロセッサ１０２と統合する第１のチップ２１０を備え、Ｉ／Ｏチップセット１０６、サービスプロセッサ１１０、システム相互接続１０８、及びネットワークプロセッサ１１４を備えるＮＣＵ２００の残りの構成要素が第２のチップ２２０に統合される２チップソリューションとして実装される。また、第２のチップは、ブートデバイス（例えばハードドライブ又は他の記憶媒体）に接続されたＩ／Ｏチップセット１０６を介して、又はサービスプロセッサ１１０のネットワークインターフェースを介してリモートブートデバイスに接続されたネットワークプロセッサによってブートサポートを提供する。

システム制御ユニット（ＳＣＵ）
[037]システム制御ユニット（ＳＣＵ）は、電力管理、冷却制御、作業負荷プロビジョニング、ネイティブストレージサービス、及びＩ／Ｏの責任を負う。ＳＣＵは、ナノコンピュートセンタ（ＮＣＣ）と呼ばれるカスタムシステムファームウェアを稼働させる。図４は、本発明の一実施形態によるシステム制御ユニット３００を示す。ＳＣＵ３００は、メインプロセッサ３０２と、メモリコントローラ３０４と、ランダムアクセスメモリ３０５と、チップセット３０６と、システム相互接続３０８とを備える。別の実装において、サービスプロセッサ３１０も設けられる。別の実装において、ＮＣＵメインプロセッサ１０２をオフロードし、アプリケーションの性能を強化するために、ネットワークプロセッサ３１２も含まれ得る。ネットワークのオフロードは、アプリケーションの性能を間接的に強化する。ネットワークのオフロードは、ＳＣＵが例えば共有ストレージなどのサービスをＮＣＵに提供するのを助ける。より高品質のサービスは、アプリケーションの性能の向上につながる。さらに、ＳＣＵ３００は、Ｉ／Ｏチップセット１０６（例えばＳＡＴＡ）を介した内部ストレージインターフェース、Ｉ／Ｏチップセット１０６に配置されるシリアルポートを介したシステムスイッチファブリック（ｓｙｓｔｅｍ ｓｗｉｔｃｈ ｆａｂｒｉｃｓ）管理インターフェース、ネットワークプロセッサ１１４のネットワークインターフェースを介した高速ストレージネットワークインターフェース、及びＩ／Ｏチップセット１０６を介した外部でアクセス可能なＩ／Ｏポート（例えばＶｉｄｅｏ、ＵＳＢなど）を提供する。

[038]現在の傾向は、家電の波を刺激している高密度プロセス技術（例えば３２ナノメートル）を導入しているメインプロセッサにメモリコントローラなどの主要なチップセット機能を組み込むことである。したがって、ＳＣＵも、シングルチップ又は２チップソリューションとして実装することできる。図５に示すように、ＳＣＵ４００は、メモリコントローラ３０４及びランダムアクセスメモリ１０５をメインプロセッサ３０２と統合する第１のチップ４１０を備え、チップセット３０６、サービスプロセッサ３１０、システム相互接続３０８、及びネットワークプロセッサ３１２を備えるＳＣＵ４００の残りの構成要素が第２のチップ４２０に統合される２チップソリューションとして実装され得る。第２のチップ４２０も、ブートサポートを提供する。

ナノコンピュートセンタ（ＮＣＣ）
[039]ＳＣＵ３００は、ナノコンピュートセンタ（ＮＣＣ）（商標）と呼ばれるカスタムシステムファームウェアを稼働させる。図６に、本発明の一実施形態による、主要なソフトウェア及びファームウェア構成要素、及びそれらの副構成要素を示す。ソフトウェア及びファームウェア構成要素及び副構成要素は、ＮＣＣのために特に開発されるオープンソース、サードパーティソフトウェア、及びソフトウェアを備える。ナノコンピュートセンタは、ＢＡＳＨ／ＳＳＨＤユーティリティと、Ａｐａｃｈｅ Ｈｔｔｐｄサーバと、コマンドラインインターフェース（Ｃｏｍｍａｎｄ Ｌｉｎｅ Ｉｎｔｅｒｆａｃｅ：ＣＬＩ）と、グラフィカルユーザインターフェース（ＧＵＩ）と、ＣｅｎｔＯＳ ５ Ｌｉｎｅｘ＋ナノコンピュートセンタと、ＮＣＣコアとを備える。ＮＣＣコアは、以下のモジュール、すなわちＮＣＣ、ＳＣＵ、及びＮＣＵの構成ファイル／オブジェクト、ナノブレードブート（ＮａｎｏＢｌａｄｅ Ｂｏｏｔ）と、ＮＣＵインターフェース／アクセスと、ＮＣＵアップデートと、ＳＣＵアップデートと、ＮＢＣ／シャーシマネージャ（Ｃｈａｓｓｉｓ Ｍａｎａｇｅｒ）とを備える。ナノブレードブートは、ロジカルボリュームマネージャ（Ｌｏｇｉｃａｌ Ｖｏｌｕｍｅ Ｍａｎａｇｅｒ：ＬＶＭ）と、ＤＨＣＰサーバと、ｉＳＣＳＩ−ＳＣＳＴターゲットとを備える。ｉＳＣＳＩ−ＳＣＳＴターゲットは、アプリケーション及びオペレーティングシステムを備えるＮＣＵソフトウェアと通信する。ＮＣＵインターフェース／アクセスは、ＩＰＭＩクライアント及びＫＶＭ／ｖＭｅｄｉａクライアントを備え、両方ともＮＣＵファームウェアのサービスプロセッサと通信する。ＮＣＵアップデートは、アップデートディレクタ及びメンテナンスＯＳを備え、メンテナンスＯＳはＮＣＵファームウェアのＢＩＯＳ及びオプションのＲＯＭと通信する。ＳＣＵアップデートは、ファームウェアツール及び画像ｄｄ／Ｇｒｕｂアプリケーションを備える。ファームウェアツールはＧＭファームウェアのＳＣＵ ＢＩＯＳと通信し、画像ｄｄＧｒｕｂアプリケーションはＣｅｎｔＯＳ ５ Ｌｉｎｕｘ＋ナノコンピュートセンタと通信する。ＮＢＣ／シャーシマネージャはスイッチマネージャ及びシャーシマネージャを備え、スイッチマネージャはＧＭファームウェアのスイッチＥＥＰＲＯＭ／ＳＤＫと通信する。

グリーンマシンキャリア（ＧＭＣ）
[040]ＮＣＵ１００及びＳＣＵ３００は、電気接続を含む、ＧＭＣ６００上のスロットに物理的に接続する。各スロットは、電力、管理制御、ＳＣＵ３００とＮＣＵ１００との間のシステム接続、及びユーザインフラストラクチャへの外部ネットワーク接続を提供する。図７に示すように、３スイッチ実装は、複数のＮＣＵ１００及びＳＣＵ３００とのシステム接続のための２つの高速スイッチファブリックＳ１、Ｓ２、及びサービスプロセッサネットワークのためのスイッチファブリックＳ３を含む。３つのスイッチファブリックＳ１、Ｓ２、Ｓ３は、物理層（ＰＨＹ）を介したＧｉｇ−Ｅｓ（ギガビットイーサネット、時として１０００ベースＴとして知られる）及び１０ｇイーサネットとのさらなる接続を提供する。物理層は、スイッチファブリックＳ１、Ｓ２、及びＳ３と高速ネットワーク接続との間のインターフェースを提供する。

[041]企業のロバスト性のために、管理プロセッサ６０４は、ＧＭＣスイッチファブリックＳ１、Ｓ２、Ｓ３を制御する。管理プロセッサ６０４は、それ自体のファームウェアを稼働させ、ＱｏＳ、ＡＣＬ、及び他のファブリックポリシーを構成することができる。ＳＣＵ３００上のＳＣＵシステムスイッチ管理インターフェースは、ＧＭＣスイッチ管理プロセッサ６０４に接続される。

[042]システムスイッチファブリック管理インターフェースは、簡単なＲＳ２３２又はネットワークインターフェース（例えばイーサネット）又はＩ／Ｏバスインターフェース（例えばＰＣＩ、ＰＣＩｅ）で実装することができ、これらのインターフェースはいずれも、管理プロセッサ６０４に接続される。ＳＣＵ３００のＩ／Ｏチップセット３０６に接続されるＳＣＵ管理バスは、ＮＣＵサービスプロセッサ１１０に接続されるＩＰＭＢマルチマスタモードで動作している。

[043]したがって、グリーンマシン１０は、単一のデスクトップ／サーバサイズのエンクロージャのマルチノードコンピュータのノードに内蔵の高帯域、冗長相互接続を提供する。追加の外部配線及びスイッチがネットワークにおけるそれらのノードと相互接続することを必要とする標準マルチノードコンピュータとは異なり、グリーンマシン１０は、エンクロージャ内部のＧＭＣ６００上においてデュアル冗長スイッチファブリックＳ１、Ｓ２を統合する。各グリーンマシン１０は、他のグリーンマシン１０及び外部ネットワークに直接接続するための高速外部アップリンクポート（例えばＧｉｇ−Ｅｓ及び１０ＧのＳＦＰ＋）も含む。

[044]グリーンマシン１０は、単一のデスクトップ／サーバエンクロージャにおけるマルチノードコンピュータのリモートクライアントアクセスを提供する。従来のマルチノードコンピュータの各ノードは、それ自体のキーボード、マウス、及びビデオポートを含む。これらのキーボード、マウス、及びビデオポートは、個々の外部デバイスに接続されているか、外部スイッチを介して集約される。グリーンマシン１０は、通常ハイエンドサーバ及びブレードシステムだけに見つかるリモート管理技術を一意に集約する。各ＮＣＵ１００は、やはりグリーンマシン１０に内蔵の専用のスイッチファブリックＳ３に接続されているＫＶＭ−ｏｖｅｒ−ＩＰマイクロコントローラを含む。マイクロコントローラは、ビデオ及びＵＳＢを圧縮し、例えばデスクトップ、ラップトップ、又はシンクライアントなどのデバイスが、あたかもそれらがローカルであるかのように、ＮＣＵ１００にアクセスし、ＮＣＵ１００と対話することができる。この設計も、ＧＭに接続されているモニタ、キーボード、及び周辺機器の単一の組がすべてのＮＣＵ１００にアクセスできるようにする。

グリーンマシンレイアウト
[045]グリーンマシン１０アーキテクチャ（例えば先例のない電力、スペース、及び計算効率）の他に例をみない利点は、高密度マルチコンピュータシステムパッケージの結果である。図８Ａは、２０−ＮＣＵグリーンマシン１０の実装を示す。ＮＣＵ１００及びＳＣＵ３００は、通常互いに同じ平面上に水平に設けられる従来のマルチノードコンピュータのボードとは異なり、下部平面方向に、ＧＭＣボード６００に垂直につながれるカードとして表される。ブレードサーバとは異なり、グリーンマシンカード１００、３００はすべて、ほぼ標準デスクトップコンピュータのサイズである単一シャーシ７１８に含まれる。ＮＣＵ１００は、個々のエンクロージャを有していない。したがって、各カード１００は、隣接するカード１００からわずか２、３センチメートル離れて配置され得る。本発明の一実施形態において、各カード１００は、隣接するカード１００から約２センチメートル離れている。複数の垂直方向のＣＰＵカード用の機械式ハーネス７０２は、各カード１００の個々のエンクロージャが存在しない状態では、剛性を提供する。カード１００は、冷却、電力、ネットワーク、及びこれもまた同じシャーシ７１８内に含まれるストレージサブシステムを共有する。他に例をみないこの手法を介した高密度パッキングの提供に加えて、グリーンマシン１０の設計は、ＮＣＵ１００とのケーブルのない接続、及びツールのないサービスを提供する。後述するように、単一電源７１６は、単一の電圧をすべてのグリーンマシン構成要素に分配し、シャーシ７１８内の低ＲＰＭファン７０８は、非常に効率の良い冷却を提供し、ファンがシャーシ７１８に固定された前面板７２０を介して空気を通す。最後に、機械式ハーネス７０２上に設けられている上蓋７２２と、ＧＭＣ６００上のネットワークへのアクセス、及びＩ／Ｏ接続を提供している後部パネル７２４と、シャーシ７１８とが、グリーンマシンマルチノードコンピュータシステム１０全体を単一のエンクロージャ内に密閉する。

効率的な共有ストレージ
[046]別の実施形態において、グリーンマシンは、単一のデスクトップ／サーバサイズのエンクロージャのマルチノードコンピュータにおいて動的に再構成可能で非常に効率的な統合ストレージ機能を提供する。標準マルチノードコンピュータ、ブレードサーバ、及び他の既存のタイプのコンピュータは、ノードごとに固定の直接接続されたストレージ、又は柔軟に割り当てられた外部ストレージをサポートする。グリーンマシンは、単一のエンクロージャにおけるマルチノードシステムの独特の特徴である、そのエンクロージャにおけるＮＣＵ１００用のｉＳＣＳＩストレージサーバとしてＳＣＵ３００を使用することによって動的な内部ストレージ構成を可能にする。さらに図８Ａに示されるように、ＳＣＵ３００は、ディスク７０６の配列に直接接続され、そこから論理ボリューム（ナノディスク）を作成し、論理ボリュームをＮＣＵ１００に割り当てることができる。グリーンマシン１０は、Ｃｏｐｙ−Ｏｎ−Ｗｒｉｔｅ（ＣＯＷ）ナノディスククローン（Ｎａｎｏ Ｄｉｓｋ Ｃｌｏｎｅ）技術によってそのＮＣＵ１００中での物理的ストレージの共有の効率を大幅に向上させる。この技術は、複数のＮＣＵ１００が類似のオペレーティングシステム及びアプリケーションを稼働させるときのディスクスペースの使用及びアクセス性能を最適化する。ＳＣＵ３００が作成するナノディスクごとに、この技術は、任意選択で複数のＮＣＵ１００からのアクセスを可能にすることができる。各ＮＣＵ１００は、あたかも専用の、非共有リソースであるかのように、ナノディスクにアクセスすることができる。認可されたＮＣＵ１００ごとに、ＳＣＵ３００は、最初のナノディスク及び非常に小さい書き込み可能なボリュームからなる仮想記憶装置を作る。ＮＣＵ１００がデータを書き込むとき、ＳＣＵ３００は、変更されたデータブロックをその書き込み可能なボリュームにリダイレクトする。ＮＣＵ１００がデータを読み込むとき、ＳＣＵ３００は、必要に応じて、最初のナノディスクと書き込み可能なボリュームとの組み合わせからデータを提供する。さらに、ＳＣＵ３００は、固体ディスク７０６の特性に合わせて最適化されるアルゴリズムを使用する。

単一ソース配電
[047]上記した利点は、単一のデスクトップ／サーバエンクロージャにおけるマルチノードコンピュータ１０の効率的な共有配電方式によってさらに向上する。電源及びＡＣ−ＤＣ変換の数を低減し、システム全体にわたって電力回路の長さを最適化することによって、グリーンマシンマルチノードコンピュータ１０は、他のシステム設計では実行可能でない優れた電力効率を達成する。エンクロージャ当たり単一の（又は冗長性のため２つの）電源は、ＧＭＣ６００のすべてのＮＣＵ１００、ＳＣＵ３００、及び構成要素に単一システム電圧を供給する。次いで、この同一の電圧は、各個々の負荷の時点で電力の変換を受ける。図８Ｂに示すように、単一電源７１６は、各ＮＣＵ１００に単一システム電圧を供給し、ＤＣ−ＤＣコンバータ７３０は、各ＮＣＵ１００の負荷の時点で単一の電圧を変換する。

[048]図８Ｃは、複数の電圧レベルをシステム構成要素に分配する電源を使用する従来の先行技術のシステム設計を示す。システム構成要素７５６に提供される複数のシステム電圧７５４（例えば３．３Ｖ及び５Ｖのレール）を有する従来のＡＴＸフォームファクタの電源７５２を使用すると、電源７５２の各レールによって提供される負荷の数に対する制限が必要となり、レール７５４ごとの電力定格によって変化する合成が要求される。換言すれば、複数のＡＴＸ電源７５２は、結果として消費電力が増加し、図８Ｂに示すように、本発明の単一電源よりもむしろ、電力を２０−ＮＣＵ１００グリーンマシン１０に供給することが必要となる。

グリーンマシンの電力効率
[049]グリーンマシン１０は、必要なときのみ、スタンバイ電力を構成要素に供給することによって、電力消耗をさらに減らす。このスタンバイ電力方式は、マイクロコントローラによって動作される電力ＦＥＴを含む管理サブシステム６０４によって可能になる。また、グリーンマシン１０は、ＮＣＵ１００ごとにリアルタイムクロックバックアップバッテリを提供するよりはむしろ、各ＮＣＵ１００上のリアルタイムクロックを同期するためにマイクロコントローラを使用することによって、ＣＭＯＳバッテリなど種々の電力デバイスを不要にする。

[050]グリーンマシンは、単一のデスクトップ／サーバエンクロージャのマルチノードコンピュータ１０に高度な電力管理をさらに提供する。グリーンマシン１０は、以前はハイエンドのブレードシステムのみにあった電力管理能力を、デスクトップ／ワークステーションサイズのマルチノードシステムが効果的に利益を得ることができる形に圧縮する。コンパクトなＳＣＵ３００ブロードをグリーンマシン１０に組み込むことによって、これが達成され、電力共有、電力シーケンス及び最適化が知的に調整され得る。

超高効率の冷却
[051]別の態様において、グリーンマシン１０は、単一のデスクチップ／サーバサイズのエンクロージャのマルチノードコンピュータに超高効率の冷却設計を提供する。図８Ａ、８Ｄ、及び８Ｅに示すように、グリーンマシン１０の実装の物理的設計によって、最小数の低価格で静かな低ＲＰＭファン７０８がエンクロージャにおけるすべてのカード１００を適切に冷却することができる。密にパッケージされたＮＣＵ１００は、追加の配管を必要とすることなく、薄い自然空気チャネル７１０の行を形成する。空気チャネル７１０は、２センチメートル幅であり、これはＮＣＵ１００の間の間隔を表す。冷却チャネル７１０がＮＣＵ１００の行の間に形成されて、冷却チャネル７１０を介してＮＣＵ１００を流れる空気の有効な層が設けられる。さらに、図８Ａに示すように、第１の行のＮＣＵ１００がＮＣＵ１００の次の行に熱を容易に伝えないように、ＮＣＵ１００はカード１００の２つの行の間では向きが反転されている。より多くの気流、より冷たい気流、配管又は熱配管で使用する追加の材料、又は上記のすべてを必要とする他の機械設計とは対照的に、図８Ｄ及び８Ｅに示される各チャネル７１０の薄型放熱器７１２によって、気流のボリューム全体が重要な構成要素から熱を効果的に放出できるようにする。最適量の空気分子が放熱器面７１２に効率的に接触することができるので、薄型放熱器７１２を有する冷却チャネル７１０は非常に効率的な冷却環境を提供する。

[052]ＧＭＣ６００上のマイクロコントローラは、グリーンマシン１０の冷却の効率をさらに最適化する。マイクロコントローラは、あらゆる冷却チャネル７１０にある温度センサ７１４を読み取り、独立したチャネル７１０、又はチャネル７１０のゾーンＺ１、Ｚ２にそれぞれ供給するよう複数のファン７０８を制御することができる。センサ７１４は、ＮＣＵ１００自体に、又はＧＭＣ６００上の各ＮＣＵ１００スロットの近くに配置することができる。最高の精度のために、温度センサ７１４は、ＮＣＵ１００に直接配置される。

[053]この超高効率の冷却設計は、複数の独立した冷却／ゾーン及びファン７１４を制御する単一の冷却サブシステムを特徴としない標準のマルチノード、デスクトップ、サーバ、又はワークステーション冷却設計と異なる。内部エリアをゾーンＺ１、Ｚ２に分割することによって、マイクロコントローラは、特定のゾーンＺ１、Ｚ２の冷却チャネル７１０の温度センサ７１４に基づいて特定のゾーンＺ１、Ｚ２の冷却要件を満たすために個々のファン７０８のＲＰＭを増加させると共に、他のファン７０８のＲＰＭを、それらが割り当てられたゾーンＺ１、Ｚ２の冷却要件が可能にするだけ、低下させることによって、グリーンマシン１０の冷却を効率的に制御することができる。

ノイズの低減
[054]別の実施形態において、グリーンマシン１０は、ノイズの低減を単一のデスクトップ／サーバサイズのエンクロージャのマルチノードコンピュータに提供する。標準マルチノードコンピュータ、サーバ、及びブレードシステムは、通常、データセンタのためのものであり、したがって、それらの設計はノイズを低減する取り組みをほとんどしていない。ＮＣＵ１００の高密度はノイズの回避不能な増加を示唆するが、グリーンマシン１０の設計は、ノイズを単一の静かなデスクトップのものまで比類なく低減する特性を特徴とする。２５度の室温を有する保守的なシミュレーションにおいて、ノイズレベルは、４０ｄＢ未満だった。４０度の室温を有する別のシミュレーションにおいて、ノイズレベルは、約５５ｄＢまで増加した。薄型空気チャネル７１０は、効率を最適化するだけでなく、空気の乱流も低減する。独立したゾーンＺ１、Ｚ２によって、冷却システムは、必要なときのみ、個々のファン７０８の速度を上げることができる。最後に、共有電源７１６によって、必要とされるファン７０８の全体数が低減する。全体として、これらの属性によって、グリーンマシン１０を、他のコンピュータアーキテクチャが適していないノイズに弱い環境で使用することができる。

グリーンマシンクラスタコンピューティング
[055]別の実施形態において、グリーンマシン１０は、単一のデスクトップ／サーバサイズのエンクロージャのマルチノードコンピュータの高性能クラスタ処理能力を提供する。相当する物理的サイズ、消費電力、又はコストのマルチノードコンピュータを含む他のシステムとは異なり、グリーンマシン１０は、単一のコンパクトなエンクロージャの中に含まれる高性能な計算クラスタとして使用することができる。グリーンマシン１０は、そのモジュール式のナノコンピュートユニット１００の設計、統合された高帯域幅のネットワークファブリック、及びクラスタ化ソフトウェア生産技術によりこれを達成する。上記のように、各ＮＣＵ１００は、任意選択で、グラフィクス、ビデオ、及び浮動小数点演算のオフロードのための組み込み型ＧＰＵ１１２、及び通信及びストレージネットワークのオフロードための組み込み形ネットワークプロセッサ１１４を含む。これらの構成要素は、各ＮＣＵ１００の効率を最大にするが、複数のＮＣＵ１００を使用する高性能のクラスタコンピューティングにも理想的である。各ＮＣＵ１００は、任意選択で、組み込み型ＧＰＵ１１２を有する。組み込み型ＧＰＵ１１２は、ＣＵＤＡ又はＯｐｅｎＣＬを介して浮動小数点演算のオフロードのための低レベルのサポートを提供する。

別のグリーンマシンの実装：
[056]その設計上の利点をさらに最大にするために、グリーンマシン設計を追加の変形に適用することができる。図９〜図１２は、上記の利点をさらに最大にするためのいくつかの可能な変形を示す。

[057]図９に示すように、ＮＣＵ１００は、環境に優しい再利用可能なラップトップコンピュータ９００のためのモジュール方式のアップグレード可能な処理サブシステムとして実装することができる。サイズが小型であるため、個々のＮＣＵ１００は、ノート型コンピュータエンクロージャ９００にパッケージし直すことができる。このパッケージによって、ケーシング、スクリーン、キーボード、及びポートを再利用すると共に、ノート型コンピュータ９００の主要な構成要素をアップグレードすることができる。

[058]図１０に示すように、ＮＣＵ１００は、例えばホームゲートウェイ機器など、特定の用途のための他の構成にパッケージし直すこともできる。これによって、上記の利点を特定の作業負荷及び目的に合わせてさらに微細に最適化することができる。

[059]図１１に示すように、データセンタインフラストラクチャにおける複数のグリーンマシンのためのラックフレームパッケージアーキテクチャを実装することができる。６つのグリーンマシンを、ラック側に配電、及び下から上への空冷設計を有する３×２行の構成にパッケージすることができる。図１１は、各レベルが６つのグリーンマシンを含む３×２行の構成を使用する標準３１．５インチのラックのために構成された１２のＧＭを示す。ラックのオープンなシャーシ構造は、示されていない。

[060]グリーンマシン１０の低エネルギー要件は、グリーンマシン１０が、例えば様々な家電デバイスなどにおいてバッテリによって給電される追加の構成を可能にする。構成要素の選択及び電力管理による低電力消費に加えて、グリーンマシン配電設計は、バッテリを介して給電されるラップトップコンピュータの外部でのシステム設計を可能にし、電気自動車及び他の用途のバッテリの研究に使用されてきた巨大な投資が活用される。バッテリパックは、ラップトップと類似のグリーンマシン電源モジュール又は外部接続のバッテリステーションと同じスペースに適合するように設計されてもよい。バッテリで給電されるグリーンマシンは、ソーラー／他のエネルギー充電、ピークのエネルギー使用の最適化、フォールトトレランスの増加、及び可搬性を利用することが可能である。

ＰＣＩｅベースのメモリファブリック：
[061]別の実施形態において、グリーンマシン１０は、動的なマルチノードコンピュータシステムのＰＣＩｅベースのメモリファブリックと共に実装され得る。イーサネットネットワークファブリックをＰＣＩｅメモリファブリックに置き換えることは、単一のエンクロージャのコンピュータシステムの一意の特徴である。これは、ＮＣＵ１００とデバイスとの間のすべてのタイプの通信のかなり高い帯域幅及び短い待ち時間を可能にする。また、追加のリソース共有、電力の節約、及びコストの最適化も可能にする。

[062]図１２Ａ〜１２Ｄに示すように、メモリファブリック１２００統合グリーンマシンは、システム管理及び制御のための統合ＳＣＵ３００と、ストリーム内処理（例えばメモリコピー、暗号化、自動データマイグレーション）のための組み込み型ファブリックプロセッサ１２０２と、ＮＣＵ１００のためのファブリックプロセッサ１２０２を介した拡張メモリサポートと、同期のための原子複合体（ａｔｏｍｉｃ ｃｏｍｐｌｅｘ：ＡＣ）ロック機能１２０４と、階層的な異種のメモリインフラストラクチャのための自動データマイグレーションと、（ＴＣＰ／ＩＰメモリベースの機能１２０６がメモリファブリックを使用することができるように、各ＮＣＵ１００によって使用されるソフトウェアドライバによって実施される）ノード間通信のためのＴＣＰ／ＩＰメモリベースの機能１２０６と、物理的Ｉ／Ｏデバイス共有（例えばＶＮＩＣ、ＶＨＢＡなど）のための仮想Ｉ／Ｏ１２０８実装と、リモートシンクライアントのためのＮＣＵネイティブＩ／Ｏコンソール１２１０トラフィック（ビデオ、ＵＳＢ、音声）とを備える。ＰＣＩｅメモリファブリック１２００は、任意のタイプのコモディティコンピュータシステムに一意の以下の特徴、すなわち複数のハードウェアキャッシュコヒーレンスＮＣＵ１００を動的マルチプロセッサノード（Ｄｙｎａｍｉｃ Ｍｕｌｔｉ−Ｐｒｏｃｅｓｓｏｒ：ＤＭＰ）に集約するためのクロック及び配電設計、及び複数のＮＣＵ１００をＤＭＰノードに集約するための反射型記憶機構を可能にするために使用することができる。

[063]さらに、図１２Ｄに示すように、ロックステップデュアルＮＣＵタンデムフォールトトレランスノード構成（Ｔａｎｄｅｍ Ｆａｕｌｔ Ｔｏｌｅｒａｎｃｅ：ＴＦＴ）、及びトリプルＮＣＵ冗長フォールトトレランス（Ｔｒｉｐｌｅ ＮＣＵ Ｒｅｄｕｎｄａｎｔ Ｆａｕｌｔ Ｔｏｌｅｒａｎｃｅ）ノード構成のためのクロック同期が実装され得る。ＮＣＵ１００の使用に固有のコスト削減及び効率がＮＣＵ冗長フォールトトレランス構成に導入され、冗長フォールトトレランスを実施するために２台のＮＣＵ１００（デュアル用）又は３台のＮＣＵ１００（トリプル用）が使用される。２台又は３台のＮＣＵ１００が結果を処理した後、ファブリックプロセッサ１２０２による投票を介して、処理の障害又はエラーを識別し、破棄することができ、正しい結果のみがメモリ１２０８に送信される。

[064]別の実施形態において、グリーンマシン１０は、動的な分散されたストレージのサポートのために仮想化されたローカルストレージをマルチノードコンピュータシステムに組み込むことができる。（実際の又は仮想の）ＰＣＩデバイスを複数のＮＣＵ１００に接続することができるＰＣＩｅメモリファブリック１２００を使用することによって、（上記のような）集中化、共有、仮想化、及びネットワーク化されたストレージの使用を、仮想化されたローカルディスクを提供するように拡張することができる。これには、オペレーティングシステムをよりよくサポートする、性能がより高い、及び複雑さが低減するという効果がある。また、例えばキャッシュ、フラッシュメモリ、及び標準ＨＤＤを含む異種ストレージ階層などの仮想化された共有ストレージ、及び外部ストレージ（ｉＳＣＳＩ、ＦＣ）の一意のサポート及び使用を可能にする。グリーンマシンの実装は、完全な隔離、安全なクライアントアクセス、及びアクセス待ち時間及び性能について最適化するためにストレージレベル間でデータを移動することによる自動データマイグレーションを特徴とする。

[065]別の実施形態において、グリーンマシンは、単一のエンクロージャの構成要素内のシステム負荷バランスのために休止状態／チェックポイント／再開技術の使用を組み込むことができる。通常、ハイエンドのフォールトトレラントシステム、又は個別の処理ジョブが何日もかかり得る高性能コンピューティングクラスタに、休止状態、チェックポイント、及び再開技術が配置される。グリーンマシンアーキテクチャによって、この技術は、グリーンマシンマルチノードコンピュータシステム１０のための休止状態／チェックポイント／再開技術の一意の適合を必要とせず、複数の作業負荷をサポートする動的なリソースの割り振りの目的で、単一の自己内蔵型マシン内で有用となることができるようになる。この実装において、ＳＣＵ３００は、アイドルのＮＣＵ１００を検出し、それらの状態をチェックポイントすることになる。作業負荷は、後で別のＮＣＵ１００に保存又は移動され得る。ＳＣＵ３００は、チェックポイントされた画像と共に、ＭＡＣアドレスなどのハードウェアアイデンティティも移動させる。ハードウェアアドレスリロケーションは、ファームウェア管理によって、又はアドレス仮想化によって達成することができる。

[066]別の実施形態において、グリーンマシンは、単一のエンクロージャを超えて拡大、縮小することができる。こうしたスケーリングは、複数のグリーンマシン、エラー回復及び障害隔離（Ｆａｕｌｔ Ｃｏｎｔａｉｎｍｅｎｔ）、及びドメインパーティションをサポートするＮＣＣを含む。

Claims (49)

1. コンピュータシステムであって、
   プロセッサ及びメモリを備える複数のノードであり、前記複数のノード、マルチノードコンピュータシステムのノードである、複数のノードと、
   システム制御ユニットと、
   キャリアボードであり、前記キャリアボードがシステムファブリック及び複数の電気接続を備え、前記電気接続が、電力、管理制御、前記システム制御ユニットと前記複数のノードとの間のシステム接続、及びユーザインフラストラクチャへの外部ネットワーク接続を前記複数のノードのそれぞれ１つに提供し、前記システムファブリックが、前記システム接続を制御する少なくとも２つの高速スイッチ、及びサービスプロセッサネットワークのための第３のスイッチを備える、キャリアボードと
   を備え、前記システム制御ユニット及び前記キャリアボードが、前記複数のノードに対して統合された共有リソースを提供し、前記コンピュータシステムが単一のエンクロージャに設けられる
   コンピュータシステム。
2. 前記システム制御ユニットが、電力管理、冷却、作業負荷プロビジョニング、ネイティブストレージサービス、及びＩ／Ｏを制御する請求項１に記載のコンピュータシステム。
3. 前記システムファブリックが、デュアル冗長スケーラブルシステムファブリックである請求項１に記載のコンピュータシステム。
4. 前記複数のノードが前記キャリアボードに垂直に配置され、前記キャリアボードが外部配線なしに前記複数のノード接続を提供する請求項１に記載のコンピュータシステム。
5. 前記複数のノードに剛性を提供する機械式ハーネスをさらに備え、前記複数のノードが個々のエンクロージャを備えておらず、前記機械式ハーネスが、前記複数のノード上に、前記複数のノード上と接触して配置される請求項４に記載のコンピュータシステム。
6. ノードがシングルチップとして統合される請求項１に記載のコンピュータシステム。
7. ノードが第１のチップ及び第２のチップとして統合される請求項１に記載のコンピュータシステム。
8. 各ノードがサブ５ワットプロセッサをさらに備える請求項１に記載のコンピュータシステム。
9. 各ノードがナノコンピュートユニットである請求項１に記載のコンピュータシステム。
10. 各ノードが５０ワット未満を必要とする請求項１に記載のコンピュータシステム。
11. 各ノードが３５〜５０ワットを必要とする請求項１に記載のコンピュータシステム。
12. 単一システムの電源をさらに備え、前記電源が前記複数のノードに単一の電圧レベルを提供し、各ノードが前記電圧を個々に変換する請求項１に記載のコンピュータシステム。
13. 各ノードが電力変換器をさらに備える請求項１２に記載のコンピュータシステム。
14. 前記単一の電圧レベルが１２ボルトである請求項１２に記載のコンピュータシステム。
15. 前記複数のノードが、前記キャリアボード上のノードの第１の行及びノードの第２の行に垂直に配置され、前記ノードの第１の行が、前記ノードの第２の行とは異なるように配向される請求項１に記載のコンピュータシステム。
16. 前記ノードの第１の行が、前記ノードの第２の行と比べて向きが１８０度反転される請求項１５に記載のコンピュータシステム。
17. 前記ノードの行が前記ノード間の複数のチャネルを形成し、前記複数のチャネルが複数のゾーンに分割され、各ゾーンが少なくとも１つのチャネルを備え、複数のファンが、前記チャネルに空気を強制的に流し込むことによって前記複数のノードを冷却するための空気をファンで強制的に送り、各ファンが、少なくとも１つのゾーンに空気をファンで強制的に送る請求項１５に記載のコンピュータシステム。
18. ３つの低ＲＰＭファンが空気をファンで強制的に送る請求項１７に記載のコンピュータシステム。
19. マイクロコントローラをさらに備え、前記マイクロコントローラが、前記複数のファンの各ファンの前記ＲＰＭを個々に制御する請求項１７に記載のコンピュータシステム。
20. 前記複数のチャネルの各チャネルに温度センサをさらに備え、各温度センサが、前記マイクロコントローラに温度測定値を伝え、前記マイクロコントローラが、前記複数のチャネルの前記温度に基づいて前記複数のファンの各ファンの前記ＲＰＭを制御する請求項１９に記載のコンピュータシステム。
21. 前記マイクロコントローラが、前記少なくとも１つの対応するゾーンの各温度センサからの前記集約された温度測定値に基づいて前記複数のファンの各ファンの前記ＲＰＭを制御する請求項２０に記載のコンピュータシステム。
22. 前記エンクロージャの前面の板が前記複数のファンに空気を誘導する請求項１７に記載のコンピュータシステム。
23. 前記ノードが前記複数のチャネルに複数の薄型放熱器をさらに備え、前記複数の薄型放熱器及び前記複数のノードの前記間隔が前記ファンで強制的に送られる空気のための前記複数のチャネルを通る低乱流パスを設け、前記ファンで強制的に送られる空気が前記複数のノードを効率的に冷却する請求項１７に記載のコンピュータシステム。
24. 前記マルチノードコンピュータシステムの前記ノイズレベルが４０ｄＢ未満である請求項１７に記載のコンピュータシステム。
25. コンピュータシステムであって、
    プロセッサ及びメモリを備える複数のノードであり、前記複数のノード、マルチノードコンピュータシステムのノードである、複数のノードと、
    システム制御ユニットと、
    単一システムの電源と、
    複数の電気接続を備えるキャリアボードであり、前記複数のノードが、それぞれの電気接続に対して前記キャリアボード上に配置され、前記電源が前記複数のノードに単一の電圧レベルを提供し、各ノードが前記電圧を個々に変換する、キャリアボードと
    を備え、前記システム制御ユニット及び前記キャリアボードが、前記複数のノードに対して統合された共有リソースを提供し、前記コンピュータシステムが単一のエンクロージャに設けられる
    コンピュータシステム。
26. 各ノードが電力変換器をさらに備える請求項２５に記載のコンピュータシステム。
27. 前記単一の電圧レベルが１２ボルトである請求項２５に記載のコンピュータシステム。
28. バックアップ単一ソース電源をさらに備える請求項２５に記載のコンピュータシステム。
29. 前記システム制御ユニット及びキャリアボードがスタンバイ電力を提供し、必要なときに前記スタンバイ電力のみが供給される請求項２５に記載のコンピュータシステム。
30. ノードであって、
    ５ワット未満を必要とするプロセッサと、
    メモリと、
    メモリコントローラと、
    Ｉ／Ｏチップセットと、
    システム相互接続と、
    サービスプロセッサであり、前記ノードが５０ワット未満を使用し、前記ノードは、独立した動作ができず、前記ノードが、単一のエンクロージャ内のマルチノードコンピュータシステムの複数のノードの１つとして、キャリアボードに接続される、サービスプロセッサと
    を備える、ノード。
31. 前記ノードが個々のエンクロージャを有していない請求項３０に記載のノード。
32. ＧＰＵと浮動小数点演算ユニットとを備えるコプロセッサと、
    ネットワークプロセッサと
    をさらに備える請求項３０に記載のノード。
33. 前記ノードがナノコンピュートユニットである請求項３０に記載のノード。
34. 前記ノードの前記構成要素がシングルチップに統合される請求項３０に記載のノード。
35. 前記メインプロセッサ及び前記メモリコントローラが第１のチップに統合され、前記システム相互接続、Ｉ／Ｏチップセット、及びサービスプロセッサが第２のチップに統合される請求項３０に記載のノード。
36. 前記第１のチップがコプロセッサをさらに備え、前記第２のチップがネットワークプロセッサをさらに備える請求項３５に記載のノード。
37. コンピュータシステムであって、
    プロセッサ及びメモリを備える複数のノードであり、前記複数のノード、マルチノードコンピュータシステムのノードである、複数のノードと、
    システム制御ユニットと、
    前記複数のノードのための複数の電気接続を備えるキャリアボードであり、前記複数のノードが、前記キャリアボード上のノードの第１の行及びノードの第２の行に垂直に配置され、前記ノードの第１の行が前記ノードの第２の行とは異なるように配向される、キャリアボードと
    を備え、前記ノードの行が前記ノード間のチャネルを形成し、前記複数のチャネルが複数のゾーンに分割され、各ゾーンが少なくとも１つのチャネルを備え、複数のファンが、前記チャネルに空気を強制的に流し込むことによって前記複数のノードを冷却するための空気をファンで強制的に送り、各ファンが、少なくとも１つのゾーンに空気をファンで強制的に送り、
    前記システム制御ユニット及び前記キャリアボードが、前記複数のノードに対して統合された共有リソースを提供し、前記コンピュータシステムが単一のエンクロージャに設けられる
    コンピュータシステム。
38. 前記複数のファンが３つの低ＲＰＭファンを備える請求項３７に記載のコンピュータシステム。
39. 前記マルチノードコンピュータシステムの前記ノイズレベルが４０ｄＢ未満である請求項３７に記載のコンピュータシステム。
40. 前記ノードの第１の行が、前記ノードの第２の行と比べて向きが１８０度反転される請求項３７に記載のコンピュータシステム。
41. マイクロコントローラが、前記複数のファンの各ファンの前記ＲＰＭを個々に制御する請求項３７に記載のコンピュータシステム。
42. 前記複数のチャネルの各チャネルの温度センサが、前記マイクロコントローラに温度測定値を伝え、前記マイクロコントローラが、前記複数のチャネルの前記温度に基づいて前記複数のファンの各ファンの前記ＲＰＭを制御する請求項４１に記載のコンピュータシステム。
43. 前記マイクロコントローラが、前記少なくとも１つの対応するゾーンの各チャネルの各温度センサからの前記集約された温度測定値に基づいて前記複数のファンの各ファンの前記ＲＰＭを制御する請求項４２に記載のコンピュータシステム。
44. 前記エンクロージャの前面の板が空気を前記複数のファンに誘導する請求項３７に記載のコンピュータシステム。
45. 前記ノードが前記複数のチャネルに複数の薄型放熱器をさらに備え、前記複数の薄型放熱器及び複数のノードの前記間隔が、前記ファンで強制的に送られる空気のための前記複数のチャネルを通る低乱流パスを設け、前記ファンで強制的に送られる空気が前記複数のノードを効率的に冷却する請求項３７に記載のコンピュータシステム。
46. コンピュータシステムであって、
    プロセッサ及びメモリを備える複数のノードであり、前記複数のノード、マルチノードコンピュータシステムのノード、各ノードが５０ワット未満を必要とし、前記複数のノードは、独立した動作ができず、前記複数のノードが個々のエンクロージャを備えていない、複数のノードと、
    システム制御ユニットであり、前記複数のノードに、電力管理、冷却、作業負荷プロビジョニング、ネイティブストレージサービス、及びＩ／Ｏ接続を提供する、システム制御ユニットと、
    単一システムの電源と、
    システムファブリックと、
    複数の電気接続であり、前記電気接続が、電力、管理制御、前記システム制御ユニットと前記複数のノードとの間のシステム接続、及びユーザインフラストラクチャへの外部ネットワーク接続を前記複数のノードのそれぞれ１つに提供し、前記システムファブリックが、システム接続を提供する少なくとも２つの高速スイッチ、及びサービスプロセッサネットワークのための第３のスイッチを備える、複数の電気接続と
    を備えるキャリアボードと、
    を備え、前記電源が前記複数のノードに単一の電圧レベルを提供し、各ノードが前記電圧を変換し、
    前記複数のノードが、前記キャリアボード上のノードの第１の行及びノードの第２の行に垂直に配置され、前記ノードの第１の行が前記ノードの第２の行とは異なるように配向され、前記ノードの行が前記ノード間のチャネルを形成し、前記複数のチャネルが複数のゾーンに分割され、ゾーンが少なくとも１つのチャネルを備え、複数のファンが、前記チャネルに空気を強制的に流し込むことによって前記複数のノードを冷却するための空気をファンで強制的に送り、各ファンが、少なくとも１つのゾーンに空気をファンで強制的に送り、
    前記システム制御ユニット及び前記キャリアボードが、前記複数のノードに対して統合された共有リソースを提供し、前記コンピュータシステムが単一のエンクロージャに設けられる
    コンピュータシステム。
47. 前記マルチノードコンピュータシステムがグリーンマシンである請求項４６に記載のコンピュータシステム。
48. 前記ＮＣＵがナノコンピュートユニットである請求項４６に記載のコンピュータシステム。
49. 前記キャリアボードがグリーンマシンキャリアである請求項４６に記載のコンピュータシステム。

Images