JP2003506788A - 冗長システム・コントローラを試験する診断ケージ・モード - Google Patents

Abstract

(57)【要約】 通常のシステム動作と干渉せずに冗長構成部品の試験を可能にするために、該冗長構成部品をケージする装置および方法を採用したマルチプロセッサ・システムを開示する。一実施形態において、マルチプロセッサ・システムは少なくとも２つのシステム・コントローラと、ネットワークによって相互接続された一連の処理ノードとを備えている。システム・コントローラはシステム・リソースを割り振って構成し、処理ノードはそれぞれ、該ノードをシステム・コントローラに連結するノード・インターフェースを含む。ノード・インターフェースは、ケージ・モードおよびアンケージ・モードにおいて個々別々に構成することができる。アンケージ・モードにおいて、ノード・インターフェースは、システム・コントローラの何れかからの情報を処理ノードの他の構成部品に伝達する。ケージ・モードにおいて、ノード・インターフェースは、システム・コントローラのうち少なくとも１つからの情報を検閲する。全てのノード・インターフェースが共通システム・コントローラからの情報を検閲すると、このシステム・コントローラは効果的に「ケージされ」、それによってこのシステム・コントローラからの通信は他のノード構成部品に到達することを妨げられる。これによって、システムの通常の動作と干渉することなく、ケージされたシステム・コントローラを全てのそれに関連づけられた相互接続と共に試験することが可能になる。通常のシステム構成タスクは、アンケージされたシステム・コントローラによって処理される。アンケージされたシステム・コントローラは、試験が成功裏に完了した場合に、ケージされたシステム・コントローラをアンケージするようにノード・インターフェースに命令することができる。

Description

【発明の詳細な説明】

【０００１】 （発明の背景） （発明の分野） 本発明は固有の冗長度を備えたマルチプロセッサ・コンピュータ・システムの
分野に関し、特に通常のシステムの動作中に冗長機能構成部品を試験するシステ
ムおよび方法に関する。

【０００２】 （関連技術の説明） マルチプロセッサ・コンピュータ・システムは、演算タスクを行うために採
用することができる２個以上のプロセッサを備えている。特定の演算タスクは、
関連する演算タスクを他のプロセッサが行う間に１つのプロセッサ上で行うこと
ができる。あるいは、特定の演算タスクの成分を多数のプロセッサの間で分散し
て、演算タスク全体を遂行するのに必要な時間を削減することもできる。プロセ
ッサは、多くの場合にユーザ提供の入力データに応じて、プログラムされた命令
を実行して所望の出力信号を生成する装置である。

【０００３】 市販のマルチプロセッサ・コンピュータ・システムにおいて普及しているアー
キテクチャは、シンメトリック・マルチプロセッサ（ＳＭＰ）アーキテクチャで
ある。通常、ＳＭＰコンピュータ・システムは、キャッシュ階層を介して共有バ
スにそれぞれ接続された多数のプロセッサを含む。また、メモリも共有バスに接
続されており、システムのプロセッサの間で共有されている。メモリ内のあらゆ
る特定のメモリ・ロケーションへのアクセスは、他のあらゆる特定のメモリ・ロ
ケーションへのアクセスと同様の時間内に発生する。メモリ内の各ロケーション
には一様の方法でアクセスできるので、この構造は一様メモリ・アーキテクチャ
（ＵＭＡ）と呼ばれることが多い。

【０００４】 マルチプロセッサ・コンピュータ・システム用の別のアーキテクチャは、分散
共有メモリ・アーキテクチャである。分散共有メモリ・アーキテクチャは、それ
ぞれが１つまたは複数のプロセッサおよび何らかのローカル・メモリを備えた多
数のノードを有する。多数のノードはネットワークによって一体に連結されてい
る。多数のノード内に備えられたメモリは、集合的に全体として考えると、コン
ピュータ・システム用の共有メモリを形成する。

【０００５】 分散共有メモリ・システムは、共有バス・アーキテクチャを備えたシステムよ
りもスケーラブルである。プロセッサ・アクセスの多くはノード内で完了するの
で、ノードは通常、同じ数のプロセッサが共有バスに課すよりも遙かに低い帯域
幅要件をネットワークに課す。ノードは高いクロック周波数と帯域幅で動作して
、必要な場合にのみネットワークにアクセスすることができる。ノードのローカ
ルな帯域幅に影響を与えることなく、追加のノードをネットワークに付加するこ
とができる。代わりに、ネットワークの帯域幅のみが影響を受ける。

【０００６】 高性能故に、マルチプロセッサ・コンピュータ・システムは、商業市場におけ
る多数の異なった種類のミッション・クリティカルなアプリケーションに用いら
れる。これらのシステムにとっては、ダウンタイムが収益に甚大で不都合な影響
を及ぼし得る。そのため、システム設計は、信頼性があり、必要なときに使用可
能であり、診断および修理が容易な演算プラットフォームとすることにより、か
かるミッション・クリティカルなアプリケーションのアップタイムの要求を満た
さなければならない。

【０００７】 この種のシステムのアップタイムの要求を満たす１つの方法は、機械設計の初
めから、故障許容、冗長度および信頼性をもたせて設計することである。ほとん
どのマルチプロセッサ・コンピュータ・システムに組み込まれた信頼性の特徴は
、環境モニタリング、誤り訂正コード（ＥＣＣ）データ保護およびモジュラ・サ
ブシステム設計を含む。さらに進歩した故障許容マルチプロセッサ・システムは
、フル・ハードウエア冗長度、故障許容パワーおよびクーリング・サブシステム
、停電後の自動復帰ならびに高度システム・モニタリング・ツールなどの、いく
つかの付加的な特徴も有する。

【０００８】 トランザクション処理、決定支援システム、通信サービス、データ保管および
ファイル・サービングなどのミッション・クリティカルなアプリケーションにつ
いては、システムのハードウエア故障が処理を中断させてシステム全体をダウン
させるべきではない。あらゆる故障がユーザにトランスペアレントであって、シ
ステムによって迅速に分離されることが理想的である。補修活動を行ってコンピ
ュータ・システムを１００％動作可能な状態にバックアップできるように、シス
テム管理者には故障が通知されなければならない。システム・ダウンすることな
く、回復処理を行えることが好ましい。

【０００９】 多くの現在のマルチプロセッサ・システムにおいては、欠陥のあるプロセッサ
を特定してシャットダウンし、それらのタスクを他の機能しているプロセッサに
割り当てることにより、故障許容を実現している。しかし、故障はプロセッサに
限定されず、たとえば、相互接続トレースやコネクタ・ピンなどの、システムの
他の部分においても発生する場合がある。これらはシステムが始動すると容易に
試験されるが、システムが動作中に故障があるかどうか試験することは遙かに大
きな難題である。これは、「ホット・スワップ可能な」システム、すなわち、シ
ステムを補修中であっても常にシステムをユーザが利用可能であるように、通常
の動作中にボードを取り外して交換できるようにするシステムにおいて特に重要
な問題になるであろう。

【００１０】 また、マルチプロセッサ・システムには多様なタスクの間でリソース（プロセ
ッサおよびメモリ）を編成して割り振る専用プロセッサまたはサブシステムであ
るシステム・コントローラを含むものがある。これらのシステムのための故障許
容は、「バックアップ」システム・コントローラの形態で実現できる。主システ
ム・コントローラおよび冗長システム・コントローラにとっては、他方に故障が
あると判断された場合に、その割り込みを制御する能力をそれぞれが有すること
が望ましい。さらに、通常のシステム・オペレーションを中断させることなく、
通常のシステムの動作中に２つのサブシステムの何れかを試験できることが望ま
しい。このことは、システム・コントローラがホット・スワップになることを許
容するシステムにとって特に有用である。

【００１１】 （発明の要約） したがって、冗長成分をケージして、通常のシステム・オペレーションと干渉
することなく冗長成分の試験を可能にする装置および方法を採用した、マルチプ
ロセッサ・システムを本明細書において開示する。一実施態様において、マルチ
プロセッサ・システムは、少なくとも２つのシステム・コントローラとネットワ
ークによって相互接続された一連の処理ノードとを含む。システム・コントロー
ラはシステム・リソースを割り振り、かつ構成し、処理ノードはそれぞれ、ノー
ドをシステム・コントローラに連結するノード・インターフェースを備えている
。ノード・インターフェースを、ケージ・モードおよびアンケージ・モードで個
々別々に構成することができる。アンケージ・モードにおいて、ノード・インタ
ーフェースはシステム・コントローラの何れかからの情報を処理ノード内の他の
構成部品に伝達する。ケージ・モードにおいては、ノード・インターフェースは
システム・コントローラの少なくとも１つからの情報を検閲する。全てのノード
・インターフェースが共通のシステム・コントローラからの情報を検閲すると、
このシステム・コントローラは効果的に「ケージされて」、それによってこのシ
ステム・コントローラからの通信は他のノード構成部品に到達することを妨げら
れる。これによって、システムの通常のオペレーションと干渉することなく、ケ
ージされたシステム・コントローラを、それと関連づけられた全ての相互接続と
共に試験することが可能になる。通常のシステム構成タスクは、ケージされてい
ないシステム・コントローラによって扱われる。ケージされていないシステム・
コントローラは、試験が成功裏に完了した場合に、ケージされたシステム・コン
トローラをアンケージするようにノード・インターフェースに命令することがで
きる。

【００１２】 付属の図面を参照して好適な実施形態に関する以下の詳細な説明を検討すれば
、本発明をさらによく理解できる。

【００１３】 本発明は様々な変形や代替的形態が可能であるが、その具体的な実施形態を図
面において例示し、本明細書において詳細に説明する。しかし、図面および以下
の詳細な説明は、本発明を開示した特定の形態に限定することを意図してはおら
ず、逆に、添付の特許請求の範囲によって定義された本発明の主旨および範囲の
中に入る全ての変形、均等物および代替的形態を包含することを意図しているこ
とを理解されたい。

【００１４】 （発明の詳細な説明） ここで図面を参照すると、図１はマルチプロセッサ・システムのブロック図を
示している。このシステムは、Ｎ個のノード（指定されたノード０からノードＮ
−１）をネットワーク・バス（図示せず）と相互接続するセンタプレーン１０２
を備えている。ネットワーク・バスはクロスバー・ネットワークであることが好
ましい。ノードはそれぞれ、一方が「スロット０ボード」１０６と指定され他方
が「スロット１ボード」１０８と指定された最大２つのボードを受け入れるノー
ド・インターフェース・ボード１０４を備えていることが好ましい。スロット０
ボードは、バスによって相互接続された４個のプロセッサ、メモリ・モジュール
およびシステム・インターフェースならびに、各種の支持チップをそれぞれ有す
るマルチプロセッサ・ボードであることが好ましい。スロット１ボードは、シリ
アル・ポートおよびパラレル・ポート、ディスク・ドライブ、モデム、プリンタ
などの各種周辺機器と接続するＩ／Ｏボードであることが好ましい。説明した種
類のスロット０およびスロット１ボードに加えて、他のボードの種類を用いるこ
とができ、各種ノード間における各種のボードの種類の混合は変更可能であるこ
とが好ましい。

【００１５】 このシステムは、好ましくは対応するシステム・コントローラ支持ボード１１
２によってセンタプレーン１０２に連結された、少なくとも２つのシステム・コ
ントローラ１１０も備えている。センタプレーン１０２は、ノードのメンテナン
ス、モニタリングおよび構成のために、支持ボード１１２からノードへのバスを
構成することが好ましい。センタプレーン１０２は、ノードへの通信特権をシス
テム・コントローラ１１０に調停させるアービトレーション・バス１１４も用意
している。

【００１６】 ミッション・クリティカルなシステムについては、システムをダウンさせるこ
となく欠陥のある構成部品を取り外して交換できるように、各種構成部品がホッ
ト・スワップ可能であることが必要である。したがって、ノード・インターフェ
ース・ボード１０４および支持ボード１１２のそれぞれは、システムが動作中に
それらに従属するボードと共に取り外して交換できる。挿入は比較的失敗の可能
性が高いイベントであるので、新たに挿入された構成部品は、実在するタスクに
ついてそれらを信用する前に、それらのシステムへの物理的インターフェースと
共に試験することが望ましい。以下の説明はシステム・コントローラ１１０およ
び支持ボード１１２の試験に焦点を合わせているが、ノードも同様に試験できる
ことを認識されたい。

【００１７】 図２はノードのそれぞれに共通の選択された構成部品を示している。ノード・
インターフェース・ボード１０４はシステム・データ・インターフェース・チッ
プ２０２を含み、各ボード１０６、１０８は、システム・データ・インターフェ
ース・チップ２０２を介してシステム・コントローラから受け取った情報に従っ
て、ボード上に様々な構成部品を構成して監視するように動作するシステム・デ
ータ・コントローラ・チップ２０４を備えている。システム・データ・インター
フェース・チップは、システム・コントローラから受けた通信に従って、ノード
・インターフェース１０４において様々な構成部品を構成して監視するようにも
動作する。チップ２０２および２０４は両方とも、アドレス情報をパースして、
システム・コントローラからの通信をそのアドレス情報によって示された構成部
品にルート設定できることが好ましい。チップ２０２、２０４はさらに通信を如
何なる形態にも変換することができ、あるいは、宛先構成部品がメッセージを理
解するためにバス・プロトコルが必要とされる場合もある。

【００１８】 図１および図２を同時に参照すると、システム・データ・インターフェース・
チップ２０２はシステム・コントローラ１１０のそれぞれのための専用ポートを
有しているので、所与のシステム・コントローラとの全ての通信は関連づけられ
たポートを介して行われる。システム・データ・インターフェース（ＳＤＩ）チ
ップ２０２は、何らかの誤り検出および通知回路も備えている。ＳＤＩチップ２
０２は、所与のシステム・コントローラからの通信が汚染されていることを検出
した場合に、エラー通知をそのシステム・コントローラに伝えることができる。
しかし、エラー源を判断できない場合（たとえば、異なったシステム・コントロ
ーラから対立する通信を受信したとき）には、ＳＤＩチップ２０２は、システム
・コントローラにエラー・イベントを気づかせるためにシステム中断信号をアサ
ートすることができる。

【００１９】 ＳＤＩチップ２０２は、いくつかの状態レジスタ、構成レジスタおよび試験レ
ジスタを備えている。状態レジスタは、たとえばエラー状態を判断するためにシ
ステム・コントローラによって読み取られる。構成レジスタの１つは、「アンケ
ージ(uncage)された」システム・コントローラによってのみアサートされデアサ
ートすることができる「ケージ(cage)」モード・ビットを含む。アンケージされ
たシステム・コントローラは、そのインターフェースの１つまたは全てをケージ
・モードにすることができるが、アンケージされたシステム・コントローラはそ
れらをアンケージ・モードに戻すことを要求される。両方のインターフェースが
ケージされているか、ケージされたシステム・コントローラが、ケージを退出せ
よとのコマンドに応じることができない状況においては、何れかのシステム・コ
ントローラ（ケージされていてもいなくても）がバス・リセットを開始すること
ができ、それによってモード・インターフェースはアンケージ・モードに戻され
る。

【００２０】 システム・コントローラの何れも、関連づけられたケージ・モード・ビットの
アサーションによってケージすることができる。ケージ・モード・ビットのアサ
ーションは、システム・コントローラの１つが個々のケージ・メッセージをノー
ドのそれぞれに書き込むことによって果たすことができる。ノードのそれぞれに
おけるＳＤＩチップ２０２はケージ・メッセージを解釈して、指定されたシステ
ム・コントローラに関するケージ・モード・ビットをアサートする。ノード・イ
ンターフェースへのケージ・メッセージにおいて指定されたシステム・コントロ
ーラを、以下ではそのノード・インターフェースに関するケージされたシステム
・コントローラと呼ぶ。逆に、ノード・インターフェースにおけるケージ・モー
ド・ビットがアサートされていないシステム・コントローラを、以下ではそのノ
ード・インターフェースに関するアンケージされたシステム・コントローラと呼
ぶ。

【００２１】 システム・コントローラの何れも、そのインターフェースの１つまたは複数を
、当該ノード・インターフェースにケージ・イネーブル・メッセージを書き込む
ことによってケージさせることができる。全てのノード・インターフェースが同
じシステム・コントローラ・インターフェースをケージされている場合には、シ
ステム・コントローラは完全にケージされていると言われる。全てのノード・イ
ンターフェースが同じシステム・コントローラ・インターフェースをケージされ
ているのでなければ、システム・コントローラは不完全にケージされており、そ
れがアンケージされているインターフェースと通信することを許容される。

【００２２】 ケージ・モード・ビットのアサーションは、ケージされたシステム・コントロ
ーラから受けたあらゆる通信をＳＤＩチップ２０２に検閲させる。ＳＤＩチップ
２０２は、たとえば汚染された通信に関するエラー通知などの応答を、ケージさ
れたシステム・コントローラに伝えることができる。ＳＤＩチップ２０２は、ケ
ージされたシステム・コントローラからの通信を処理すること、たとえば、試験
レジスタに値を記憶することもできる。しかし、ＳＤＩチップ２０２は、ケージ
されたシステムから受けた通信に応答して、他のダウンストリームの構成部品に
メッセージを送ることはない。これは、ボード１０６、１０８に関する構成メッ
セージならびに、モード・インターフェース・ボード１０４上の他の構成部品に
関するメッセージを含む。ＳＤＩチップは、他のシステム・コントローラから受
け取ったメッセージと対立する、ケージされたシステム・コントローラからのメ
ッセージによって通常引き起こされるプロトコル・エラー中断などの、ケージさ
れたシステム・コントローラからの通信によって誘発される中断も抑制する。

【００２３】 マルチプロセッサ・コンピュータ・システムが最初に始動されると、主システ
ム・コントローラは、そのシステム・コントローラ上の構成部品の全てを試験し
て、マルチプロセッサ・システムの他のボード／構成部品への相互接続の全てを
試験するパワーオン・セルフ・テスト（ＰＯＳＴ）を受ける。どのユーザ・アプ
リケーションも活動状態ではないので、深刻または決定的なエラーがサービスの
中断を引き起こすことはない。しかし、マルチプロセッサ・システムがユーザ・
アプリケーションを実行しており、補助システム・コントローラを試験する必要
がある場合には、主システム・コントローラがハードウエアにサービスを提供し
、試験に必要な全てのメンテナンス・バスを制御し続けている間に補助システム
・コントローラを試験するために、ケージ・モードを採用することができる。ケ
ージ・モードは、試験中のシステム・コントローラが活動状態のハードウエアの
状態情報を誤って破壊したり、分離することができず、試験中の構成部品からの
システム・エラーとして報告されるエラーを引き起こしたりすることを防止する
。そのような行為は、マルチプロセッサ・システムをダウンさせるものである。

【００２４】 図１を参照すると、システム・コントローラ１１０が取り付けられた、新たに
挿入されたシステム・コントローラ支持ボード１１２が、そのノード・インター
フェースの全てをケージ・モードにすることによってケージされている。これは
、新たに挿入されたシステム・コントローラまたは常駐システム・コントローラ
によって行うことができる。そして、ケージされたシステム・コントローラ上で
実行される試験工程は、オンボードの構成部品の機能性だけでなく、支持ボード
１１２、センタプレーン１０２およびＳＤＩチップ２０２の部分の構成部品の機
能性をも検証できる。システム・コントローラ１１０、支持ボード１１２、セン
タプレーン１０２およびノード・インターフェース１０４の間の相互接続もこの
試験工程によって検証されることに留意されたい。アンケージされたシステム・
コントローラは、たとえば、ケージされたシステム・コントローラにおける状態
レジスタおよび／またはＳＤＩチップ２０２における状態レジスタを読み取るこ
とによって、試験工程が成功裏に完了したかどうかをチェックし、試験工程が成
功裏に完了したと判断された場合には、アンケージ・メッセージをＳＤＩチップ
２０２にブロードキャストすることができる。

【００２５】 それ自体を試験することに加えて、ケージされたシステム・コントローラは、
動作中のソフトウエア・アプリケーションおよび主システム・コントローラと干
渉する懸念なく、オフボードの相互接続を試験できる。この能力がなければ、ケ
ージされたシステム・コントローラはシステムの他の部分との不完全な相互接続
を検出できない。挿入されたシステム・コントローラへの未試験の相互接続が不
完全な場合に、このことは主システム・コントローラが故障した後まで分からな
い。その時点で欠陥が現れて、システムはおそらくクラッシュするであろう。主
システム・コントローラの故障前に相互接続の欠陥を検出することによって、通
知および補修活動のための時間ができる。

【００２６】 全てのノード・インターフェースをケージ・モードにすることによって冗長シ
ステム・コントローラを試験することに、議論を集中してきたことに留意された
い。しかし、説明した実施形態は、ノード・インターフェースを個々別々にケー
ジ・モードにすることも許容する。これによって、システム・コントローラが他
のところでその効率を維持している間に、個々のバス接続の試験を行うことが可
能になる。

【００２７】 本発明の一実施形態を上記で概略的に説明した。以下の議論は、説明を目的と
して、１つの特定の好適な実施の多様な詳細を説明している。しかし、本発明は
そのように限定されるわけではない。

【００２８】 本発明は、次世代のＵｌｔｒａＳＰＡＲＣ ＩＩＩベースのハイエンド・エン
タプライズ・サーバ・システムで採用することができる。システム・コントロー
ラは、多くのグローバルなリソースをマルチプロセッサ・ハードウエアの全てに
提供する、単一のプロセッサ・ベースのサブシステムであってもよい。システム
・コントローラは、全てのハードウエアへの完全なアクセスを得るために、多様
なバスを採用することができる。２つ以上のシステム・コントローラがあらゆる
所与の時間に存在するが、１つだけが活動状態であることが好ましい。主システ
ム・コントローラでハードウエア故障が発生した場合に、第２のシステム・コン
トローラはスタンバイ・モードで待機することが好ましい。

【００２９】 他のハードウエアへのシステム・コントローラの相互接続は、Ｉ２Ｃ（Inter-
Integrated Circuit）、ＪＴＡＧ（Joint Test Activity Group)およびコンソー
ル・バスなどの様々なバスを介して発生する。通常の（アンケージされた）動作
モードでは、モード・インターフェースが両方のシステム・コントローラのコン
ソール・バスを多重して、ハードウエアを分離しない。そのため、システム内の
全てのボードおよび構成部品には、全てのトランザクションが何れかのシステム
・コントローラから生ずる。ケージ・モードにおいては、ノード・インターフェ
ースがシステム・コントローラと様々なハードウエア・ボードへのそのコンソー
ル・バス相互接続とを分離して、欠陥やプロトコル・エラーが広がることを防止
する。これによって、完全なシステム・クラッシュを引き起こさずに、システム
が、ユーザ・アプリケーション・プログラムを実行している間にシステム・コン
トローラ・ボードを適切に試験することが可能になる。

【００３０】 センタプレーンは、サンマイクロシステムズ社のＧｉｇａｐｌａｎｅ−ＸＢな
どの１６×１６クロスバー相互接続ネットワークにすることができる。このセン
タプレーンは、それぞれ最大８個のシステム・ボードを備えることができる２つ
の対称な側面、支持ボードおよびシステム・コントローラ・ボードを含む。シス
テム・ボードは、Ｉ２Ｃバスおよびコンソール・バスを介してセンタプレーンに
接続したノード・インターフェース・ボードに常駐している。Ｉ２Ｃバスは、ツ
ーライン・インターフェースからなる、フィリップス・コーポレーションによっ
て開発されたシリアル・データ・バスである。一方のラインは入力および出力機
能用のデータ・ピンからなり、他方のラインは参照および制御用のクロックであ
る。

【００３１】 コンソール・バスはサンマイクロシステムズ社によって開発されたバスであり
、全てのシステム機能の状態および制御用のパスウェイとして、システム・コン
トローラによって用いられる。システム・データ・インターフェース（ＳＤＩ）
チップは、全てのシステム機能の状態モニタリングおよび構成制御用のパスウェ
イとして、システム・コントローラによって用いられるコンソール・バス・イン
ターフェースを含む。コンソール・バスは主システム制御／診断バスであり、シ
ステムが動作状態にある間は常に正確に動作することを要求される。各システム
・コントローラに１つずつあるデュアル・コンソール・バス・インターフェース
は、冗長度のために用意される。

【００３２】 その決定的な重要性故に、ＳＤＩは、２つのコンソール・バス・インターフェ
ースの一方の診断試験を、他方のコンソール・バス・インターフェースがモニタ
リングおよび構成機能用のシステムによって積極的に用いられている間に容易に
行うために、コンソール・バス・ケージ・メカニズムも含む。また、ＳＤＩチッ
プの両インターフェースは、必要に応じて（たとえば、新たなノードが動作シス
テムに挿入されたときに）、独立してケージして試験することができる。コンソ
ール・バス・ケージは、ケージされたコンソール・バスにアクセスしている間に
発生するあらゆるイベント（正しいか誤っている）が、システムの他の部分の正
常な機能、特に他のコンソール・バス動作に影響しないことを確実にするように
動作する。ケージされ試験された後のシステム・コントローラが正しく機能して
いない場合に、アンケージされたシステム・コントローラは、エラーの性質を判
断するために、診断識別情報を含むＳＤＩ状態レジスタにアクセスできる。

【００３３】 通常の動作中に、ＳＤＩチップのアンケージされたコンソール・バス・インタ
ーフェースは、ノード・インターフェース・ボードから常駐スロット０およびス
ロット１ボードの何れかへの、要求されたあらゆるアドレス変換を処理する。こ
のモードにおいて、単一の状態機はＳＤＩコンソール・バス・ポートの間で共有
できる。ケージ・モードにおいては、第２の状態機を用いてケージされたシステ
ム・コントローラとのトランザクションを処理できる。アンケージ・モードから
ケージ・モードへの移行は、いつでも発生し得る。しかし、プロトコル・エラー
を回避するために、ケージ・モードからアンケージされたモードへの移行は、ア
ンケージ・モードの状態機が静止中であるときにのみ発生し得る。ケージ制御レ
ジスタは、状態機の活動を示すビットおよび、システム・コントローラをケージ
するケージ・モード・ビットを含む。

【００３４】 ケージされたシステム・コントローラからの全てのアクセスは、それらが状態
レジスタおよび試験レジスタに関するアドレスの許容範囲内にあるかどうかを判
断するために吟味される。この範囲外のアクセスは、違法アクセス・エラー受信
確認を返されて中止される。エラー通知はエラー（状態）レジスタに記入するこ
とができるが、ケージされたトランザクションによって中断は引き起こされない
。

【００３５】 システムに採用することができるスロット０ボードの例は、支持レベル２のキ
ャッシュを備えた、４個のサンマイクロシステムズのＵｌｔｒａＳＰＡＲＣ Ｉ
ＩＩマイクロプロセッサを有するマルチプロセッサ・システム・ボードである。
システムに採用することができるスロット１ボードの例は、ネットワーキング用
スロットを有する多数のＰＣＩインターフェースおよびＩ／Ｏアダプタを備えた
Ｉ／Ｏボードである。ＰＣＩバスは、データ、命令よび制御情報を論理回路間で
伝達するためにコンピュータ・システムにおいて用いられる標準バスである。

【００３６】 システム・コントローラ支持ボードは、コンソール・バスおよびＩ２Ｃバスを
介してシステム・コントローラをセンタプレーンに接続している。システム・コ
ントローラ支持ボードは中継器である。すなわち、これらはシステム・コントロ
ーラ・ボードからの出力信号を増幅し逓倍し、ノード・インターフェース・ボー
ドへの出力のためにセンタプレーンに送信する。システム・コントローラ・ボー
ドは、システム・クロック・ジェネレータ、温度および気流監視回路ならびに、
診断、ブート、シャットダウンおよび環境モニタリングを処理するコンピュータ
・システムへのＰＣＩインターフェースを備えた、何らかのシステム・レベル・
ロジックを含む。マルチプロセッサ・コンピュータ・システムは、適切な動作の
ために、１つのシステム・コントロール・ボードを必要とするだけである。しか
し、より高いレベルのシステム利用性のために、第２のオプションのシステム・
コントロール・ボードを取り付けることができる。

【００３７】 システム・コントロール・ボードに含まれたコンピュータ・システムは、Ｕｌ
ｔｒａＳＰＡＲＣ ＩＩＩマイクロプロセッサならびに、マルチプロセッサ・コ
ンピュータ・システムにおけるハードウエアの構成および試験用のソフトウエア
を含む、各種のプログラム可能読み取り専用メモリ（ＰＲＯＭ）を備えている。
システム・レベル・ロジックは、ＰＣＩ信号をＩ２Ｃバスおよびコンソール・バ
スに変換して、支持ボードの増幅および逓倍の後に、これらの信号をセンタプレ
ーンに送信する。システム・レベル・ロジックは、マルチプロセッサ・コンピュ
ータ・システムのセンタプレーンおよび全てのハードウエア・ボードを通って接
続するＪＴＡＧスキャン・チェーンも制御する。ＪＴＡＧ試験アクセス・ポート
は、マルチプロセッサ・コンピュータ・システムのセンタプレーンおよび各種ボ
ードの全体にわたって存在し、システム・コントローラがＰＯＳＴを行うときに
、システム・ボードのより高い可視性および検証を可能にする。

【００３８】 マルチプロセッサ・コンピュータ・システムの動作中に、代替マイクロプロセ
ッサ・ボードまたはＩ／Ｏボードは、挿入された後に、ハードウエアの他の部分
に電気的に結合されなければならない。構成部品は、コンピュータ・システムに
存在する他のハードウエアから分離され、取り付けの前および取り付け中に試験
されなければならない。最後に、ハードウェア・コンポーネントは、動作中のマ
ルチプロセッサ・コンピュータ・システムに論理的に組み込まれて、オペレーテ
ィング・システムを動作させてユーザ用のアプリケーション・プログラムを実行
しなければならない。

【００３９】 一実施形態において、代替マイクロプロセッサまたはＩ／Ｏボードは、マルチ
プロセッサ・コンピュータ・システムのセンタプレーンに挿入された後に、ダイ
ナミック・システム・ドメインの一部になる。ダイナミック・システム・ドメイ
ンは、マルチプロセッサ・コンピュータ・システムが多数のコンピュータにダイ
ナミックに小分割されることを可能にするソフトウエア・パーティションである
。ダイナミック・システム・ドメインは１つまたは複数のシステム・ボードから
構成できる。各ドメインは、サンマイクロシステムズのソラリスなどの、マルチ
プロセッサ・オペレーティング・システムのそれ自体のローカル・コピーを実行
する別個の共有メモリＳＭＰシステムであり、それ独自のディスク・ストレージ
およびネットワーク接続を有する。個々のシステム・ドメインは他のシステム・
ドメインから論理的に分離されているので、ハードウエアおよびソフトウエアの
エラーは、それらが発生したドメインの範囲内にとどめられ、システムの他の部
分には影響しない。システム管理者が特定のドメイン構成を要求した後に、シス
テム・コントローラは、様々なマイクロプロセッサ・ボードおよびＩ／Ｏボード
を、マルチプロセッサ・コンピュータ・システムにおけるダイナミック・システ
ム・ドメインに構成する。

【００４０】 マルチプロセッサ・コンピュータ・システムが動作中に、ドメインのハードウ
エア構成に対する変更が必要になる場合がある。ダイナミック・システム・ドメ
イン構成におけるランタイムの変更を容易にするために、システム管理者はドメ
イン間でシステム・ボードをダイナミックに切り換えるか、試験、アップグレー
ドまたは修理のために活動状態のドメインからそれらを取り外すことができるべ
きである。試験または修理の後に、ハードウエア・ボードは、システム動作を中
断することなく活動状態のドメインの１つに容易に再導入されることが理想的で
ある。各システム・ドメインは、全てのドメインを制御するシステム・コントロ
ーラを介して管理される。システム・コントローラは、ＳＰＡＲＣワークステー
ションあるいは、マイクロソフトのＷｉｎｄｏｗｓ（登録商標）ＮＴまたはマイ
クロソフトのＷｉｎｄｏｗｓ ９８、サンマイクロシステムズのソラリス、ＩＢ
ＭのＡＩＸ、ヒューレットパッカードのＵＸまたは何らかの類似の均等物などの
標準的なオペレーティング・システムおよび、一連の診断プログラムおよび管理
プログラムを実行する同等なコンピュータ・システム・ボードに接続することが
できる。外部コンピュータ・システムは、イーサネット（登録商標）などのネッ
トワーク・インターフェース・カードを介して、マルチプロセッサ・コンピュー
タ・システムに設けられたシステム・コントローラに接続することができる。シ
ステム・コントローラ・ボードのマクロプロセッサは、ネットワーク・インター
フェース・カード（たとえば、ＴＣＰ／ＩＰイーサネット）のトラフィックを解
釈して、それを符号化された制御情報に変換する。

【００４１】 上記の開示が一旦完全に理解されれば、多数の変形および変更が当業者には明
白になるであろう。特許請求の範囲が全てのかかる変形および変更を包含するも
のと解釈されることを意図している。

【図面の簡単な説明】

【図１】 マルチプロセッサ・システムの機能ブロック図である。

【図２】 プロセッサ・ノードの機能ブロック図である。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１３年９月１３日（２００１．９．１３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１３

【補正方法】変更

【補正の内容】

【００１３】 本発明は様々な変形や代替的形態が可能であるが、その具体的な実施形態を図
面において例示し、本明細書において詳細に説明する。しかし、図面および以下
の詳細な説明は、本発明を開示した特定の形態に限定することを意図してはおら
ず、逆に、添付の特許請求の範囲によって定義された本発明の範囲の中に入る全
ての変形、均等物および代替的形態を包含することを意図していることを理解さ
れたい。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ， ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ，ＡＴ， ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＢＺ，Ｃ Ａ，ＣＨ，ＣＮ，ＣＲ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ， ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，Ｋ Ｅ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ，ＭＫ，ＭＮ， ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，Ｒ Ｕ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，ＹＵ， ＺＡ，ＺＷ (72)発明者 グラフ，エリック・ユージーン アメリカ合衆国・97123・オレゴン州・ヒ ルズボロ・サウスイースト アスター コ ート・2121 (72)発明者 メイヤー，ダグラス・ビイ アメリカ合衆国・92111・カリフォルニア 州・サン ディエゴ・オールド コッブル コート・3456 Ｆターム(参考） 5B034 AA01 DD03 5B045 BB12 BB28 GG01 GG06 JJ02 JJ06 JJ12 JJ26 5H209 DD20 GG20 HH13 SS01 SS08 【要約の続き】 ジされ」、それによってこのシステム・コントローラか らの通信は他のノード構成部品に到達することを妨げら れる。これによって、システムの通常の動作と干渉する ことなく、ケージされたシステム・コントローラを全て のそれに関連づけられた相互接続と共に試験することが 可能になる。通常のシステム構成タスクは、アンケージ されたシステム・コントローラによって処理される。ア ンケージされたシステム・コントローラは、試験が成功 裏に完了した場合に、ケージされたシステム・コントロ ーラをアンケージするようにノード・インターフェース に命令することができる。

Claims (18)

【特許請求の範囲】
1. 【請求項１】 システム・リソースを割り振って構成するようにそれぞれ構
   成可能な第１および第２のシステム・コントローラと、 通信リンクによって相互接続された複数の処理ノードであって、それぞれがさ
   らに前記第１および第２のシステム・コントローラの両方に連結された複数の処
   理ノードとを含み、 前記処理ノードのそれぞれは、ケージ・モードとアンケージ・モードとの間で
   構成可能なノード・インターフェースを含み、ノード・インターフェイスは、前
   記アンケージ・モードのときにのみ前記システム・コントローラの何れかからの
   情報を他のノード構成部品に伝達し、ケージ・モードのときには前記システム・
   コントローラのうち選択されたものからの情報を検閲する、 マルチプロセッサ・コンピュータ・システム。
2. 【請求項２】 前記ノード・インターフェースのそれぞれは、アンケージ・
   モードからケージ・モードに切り換えられて、前記選択されたシステム・コント
   ローラをケージする請求項１に記載のマルチプロセッサ・コンピュータ・システ
   ム。
3. 【請求項３】 前記ノード・インターフェースはさらに接続モードと分離モ
   ードとの間で構成可能であり、接続モードのときには他のノード構成部品からの
   情報を前記通信リンクに伝達し、前記分離モードのときには他のノード構成部品
   からの情報を除去する請求項１に記載のマルチプロセッサ・コンピュータ・シス
   テム。
4. 【請求項４】 前記ノード・インターフェースはそれぞれ、前記選択された
   システム・コントローラからの情報を記憶するように構成可能であり、前記記憶
   された情報を前記システム・コントローラのうち要求するものに伝達するように
   構成可能である１つまたは複数のレジスタを含む請求項１に記載のマルチプロセ
   ッサ・システム。
5. 【請求項５】 前記通信リンクは、前記処理ノードを形成する回路ボードを
   相互接続するセンタプレーンによって実現される請求項１に記載のマルチプロセ
   ッサ・システム。
6. 【請求項６】 前記処理ノードのうち１つまたは複数は、多数のプロセッサ
   を有するプロセッサ・ボードと、共有バス・アーキテクチャにおいて構成された
   メモリ・モジュールとを備えており、前記多数のプロセッサは前記プロセッサ・
   ボード上に設けられたバス・ブリッジを介して前記センタプレーンと通じている
   請求項５に記載のマルチプロセッサ・システム。
7. 【請求項７】 前記１つまたは複数の処理ノードは、前記プロセッサ・ボー
   ドと前記センタプレーンとの間に連結されたノード・インターフェース・ボード
   をさらに備えており、前記ノード・インターフェース・ボードは前記ノード・イ
   ンターフェースを有する請求項６に記載のマルチプロセッサ・システム。
8. 【請求項８】 前記１つまたは複数の処理ノードは、前記ノード・インター
   フェース・ボードに連結されたＩ／Ｏボードをさらに含む請求項７に記載のマル
   チプロセッサ・システム。
9. 【請求項９】 前記システム・コントローラはそれぞれ、システム・コント
   ローラ支持ボードによって前記センタプレーンに連結されており、さらに、前記
   センタプレーンおよび前記システム・コントローラ支持ボードを介して、アービ
   トレーションのために互いに連結されている請求項７に記載のマルチプロセッサ
   ・システム。
10. 【請求項１０】 前記第１のシステム・コントローラは、前記ノード・イン
    ターフェースに前記ケージ・モードに入るように命令して、前記第２のシステム
    ・コントローラが、関連づけられたシステム・コントローラ支持ボード、センタ
    プレーンおよびノード・インターフェース・ボードの接続の試験を行う前に、前
    記第２のシステム・コントローラからの情報を検閲する請求項９に記載のマルチ
    プロセッサ・システム。
11. 【請求項１１】 前記第１のシステム・コントローラは、前記ノード・イン
    ターフェースに前記ケージ・モードに入るように命令して、前記第１のシステム
    ・コントローラが前記第２のシステム・コントローラに欠陥があると判断した場
    合に、前記第２のシステム・コントローラからの情報を検閲する請求項１に記載
    のマルチプロセッサ・システム。
12. 【請求項１２】 前記アンケージ・モードのときに、前記ノード・インター
    フェースは、前記システム・コントローラの何れか１つから受け取った情報のエ
    ラーを検出した時点でシステム中断をアサートするように構成されており、ケー
    ジ・モードのときに、前記ケージされたシステム・コントローラから受け取った
    情報のエラーに応じてシステム中断をアサートしない請求項１に記載のマルチプ
    ロセッサ・システム。
13. 【請求項１３】 システム動作中に構成部品の機能性を検証する方法であっ
    て、 前記システムの冗長部分を、前記システムの該冗長システム部分と残りの部分
    との間のインターフェース要素をケージ・モードに置くことによりケージするス
    テップであって、前記インターフェース要素は、前記ケージ・モードのときに前
    記冗長構成部品からの通信を遮断するように構成されており、さらに、アンケー
    ジ・モードのときには前記システムの前記残りの部分への前記冗長構成部品から
    の通信を伝達するように構成されているステップと、 前記残りのシステム部分で通常の工程が動作し続けている間に、前記冗長シス
    テム部分で試験工程を開始するステップとを含む方法。
14. 【請求項１４】 前記システムの前記冗長部分は、 システム・リソースを割り振って構成するように構成可能なシステム・コント
    ローラと、 前記システム・コントローラとセンタプレーンとの間に連結されたシステム・
    コントローラ・インターフェースと、 前記システム・コントローラ・インターフェースと関連づけられた、前記セン
    タプレーン上のバス・ラインと、 前記バス・ラインに連結されたノード・インターフェース・ボード・コネクタ
    とを備えている請求項１３に記載の方法。
15. 【請求項１５】 前記インターフェース要素は、前記センタプレーンと個々
    のプロセッサ・ボードとの間に連結されたノード・インターフェース・ボードで
    ある請求項１４に記載の方法。
16. 【請求項１６】 前記冗長システム部分をケージする前に、前記冗長システ
    ム部分の構成部品の挿入を検出することと、 前記冗長部分が機能的であることを前記試験工程が示した場合に、前記冗長シ
    ステム部分をアンケージすることとをさらに含む請求項１３に記載の方法。
17. 【請求項１７】 システム・リソースを割り振って構成するリソース割り振
    り手段と、 割り当てられたタスクを達成する複数の処理手段であって、通信手段によって
    相互接続されており、それぞれがさらに前記リソース割り振り手段に連結された
    複数の処理手段とを含み、 各処理手段は、前記リソース割り振り手段からの信号に応じて該処理手段の構
    成部品を構成するインターフェース手段を含み、インターフェース手段は、ケー
    ジ・モードとアンケージ・モードとの間で構成可能であり、前記アンケージ・モ
    ードで構成されたときにのみ、前記リソース割り振り手段からの信号を該処理手
    段の前記構成部品に伝達し、前記ケージ・モードのときに前記リソース手段割り
    振り手段からの情報を検閲する、 冗長システム。
18. 【請求項１８】 前記インターフェース手段はそれぞれ、前記リソース割り
    振り手段からの情報を記憶するように構成可能であり、該記憶された情報を要求
    するリソース割り振り手段に伝達するように構成可能である１つまたは複数のレ
    ジスタを含む請求項１７に記載の冗長システム。