JP2000076130A - リモ―ト資源管理システム - Google Patents

Abstract

(57)【要約】 【課題】 対称マルチプロセッサ・システムにおける、
高速リモート記憶クラスタ・インタフェース制御装置を
提供すること。 【解決手段】 対称多重処理において、資源を管理する
リモート資源管理システムが、対称マルチプロセッサ・
システムのクラスタ・ノード間のインタフェースを有す
る、対称マルチプロセッサの複数のクラスタを含み、そ
の各々が、ローカル・インタフェース及びインタフェー
ス制御装置を有する。それぞれがローカル・インタフェ
ース制御装置を有する、リモート記憶制御装置、及びロ
ーカル−リモート間データ・バスが存在する。リモート
資源マネージャが、対称マルチプロセッサの２つのクラ
スタ間のインタフェースを管理し、リモート記憶制御装
置により資源を管理し、所望のオペレーションを実行す
るエージェントとして作用するリモート制御装置に作業
を分配し、リモート・リクエスタが作業処理のために使
用可能な場合にだけ転送される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はコンピュータ・シス
テムに関して、特に、高速リモート記憶クラスタ・イン
タフェース制御装置に関する。

【０００２】

【従来の技術】歴史的に、システム設計者は、大規模な
密結合対称マルチプロセッサ（ＳＭＰ）・コンピュータ
・システムにおいて、高性能を達成するために、様々な
手段を使用してきた。そうした手段は、個々のプロセッ
サまたはプロセッサ・クラスタを、１つの共用システム
・バスを介して結合するものから、プロセッサをクラス
タとして一緒に結合し、クラスタがクラスタ−クラスタ
間インタフェースを用いて通信するもの、更に、多数
（すなわち３２乃至１０２４）のプロセッサから構成さ
れる並列システムが、中央スイッチ（すなわちクロスバ
ー・スイッチ）を介して相互接続される、集中的に相互
接続されたネットワークに及ぶ。

【０００３】共用バス方法は、通常、最も廉価なシステ
ム設計を提供する。なぜなら、単一バス・プロトコル
が、複数のタイプの資源をサービスするからである。更
に、追加のプロセッサ、クラスタまたは周辺装置が経済
的にバスに接続され、システムを発展させる。しかしな
がら、大規模なシステムでは、調停オーバヘッドと結合
されるシステム・バス上の輻輳（congestion）が、全体
システム性能を劣化させ、低ＳＭＰ効率を生成する傾向
がある。これらの問題は、５００ＭＨｚを超える周波数
で実行されるプロセッサを使用する対称マルチプロセッ
サ・システムでは侮り難い。

【０００４】集中的に相互接続されるシステムは通常、
システム内の全てのプロセッサに対して、共用資源に対
する等しい待ち時間の利点を提供する。理想的なシステ
ムでは、等しい待ち時間は、システム構造またはメモリ
階層の事前知識無しに、複数のアプリケーション、また
はアプリケーション内の並列スレッドが、使用可能なプ
ロセッサ間で分散されることを可能にする。これらのタ
イプのシステムは一般に、１つ以上の大規模クロスバー
・スイッチを用いて実現され、データをプロセッサとメ
モリの間で転送する。基礎を成す設計はしばしば、大規
模ピン・パッケージング要求、及び高価なコンポーネン
ト・パッケージングの必要性を生じ得る。更に、有効な
共用キャッシュ構造を実現することは困難である。

【０００５】密結合クラスタ化方法は、妥協策として作
用する。本願では、用語"クラスタ"は、１つの主メモリ
を共用するプロセッサの集合を指し示し、従って、特定
のクラスタへの親和性に関係なく、システム内の任意の
プロセッサが、主メモリの任意の部分をアクセスするこ
とができる。非一様メモリ・アクセス（ＮＵＭＡ）・ア
ーキテクチャと異なり、ここでの例で参照されるクラス
タは、メモリと各クラスタ内に配置される第２レベル・
キャッシュ間のデータ・コヒーレンスを維持するため
に、専用のハードウェアを使用し、それにより、メモリ
階層またはメモリ・バンク・インタリーブなどの物理区
分の無い、統一された１つのイメージをソフトウェアに
提供する。これらのシステムの１つの利点は、クラスタ
内の密結合プロセッサの性質が、データがそれを必要と
するプロセッサの近くに存在するとき、優れた性能を提
供することである。例えば、データがクラスタの第２レ
ベル・キャッシュ内、またはそのクラスタに接続される
メモリ・バンク・インタリーブ内に存在する場合であ
る。更に、通常、中央相互接続システム内で見い出され
る大規模Ｎウェイ・クロスバー・スイッチと比較し、よ
りコスト効率の良いパッケージングを実現する。しかし
ながら、クラスタ化方法は、プロセッサが頻繁に他のク
ラスタからデータを要求する場合、低性能を生じ得、続
く待ち時間が増大したり帯域幅が不十分になる。

【０００６】中央相互接続システムに関連する多くの高
価な問題が廉価に解決されるまで、市場は共用バスまた
はクラスタ設計にもとづく経済的なシステムとして存在
し続けることであろう。本発明は従来のインタフェース
設計の多くの欠点を除去し、高価なハイ・レベル・パッ
ケージまたは過度なオンボード・キャッシュの必要無し
に、システムがプロセッサ性能を最大化するものであ
る。本発明に関連する分野の従来技術は、廉価な高周波
記憶制御装置を設計する全体的な問題の、孤立した側面
だけを解決する様々なアプローチを教示する。しかしな
がら、以下の例で示されるように、それらは本発明で掲
げられる目的を満足する完全な解決策を提供するには及
ばない。

【０００７】対称マルチプロセッサの２つのクラスタか
らなるシステムが、Krygowskiらによる１９８５年３月
５日付けの米国特許第４５０３４９７号で述べられてい
る。この発明は、専用のストアイン・キャッシュを有す
るプロセッサ間の、キャッシュ・コヒーレンスを維持す
る改善された方法を教示する。しかしながら、これはク
ラスタ内に存在し、そのクラスタに接続される全てのプ
ロセッサにより共用される、ストアイン・パイプライン
化レベル２（Ｌ２）キャッシュに関連する様々な問題を
解決しない。この方法はまた、全てのタイプのオペレー
ション（プロセッサ、Ｉ／Ｏ、メモリ、同報通信、相互
クラスタ同期など）に対して、クラスタ・インタフェー
スの総効率を最大化することに着目していない。

【０００８】超大規模ＳＭＰシステムの例が、Millerら
による１９９２年１２月１日付けの米国特許第５１６８
５４７号、及びChenらによる１９９３年３月２３日付け
の米国特許第５１９７１３０号で開示されている。両者
は多数のクラスタを含むコンピュータ・システムについ
て述べており、各々のクラスタが、多数の（すなわち３
２個の）プロセッサ及び外部インタフェース手段を有す
る。各プロセッサは、全てのクラスタ内の全ての共用資
源に対して対称アクセスを有する。コンピュータ・シス
テムは、大規模クロスバー・スイッチと、高度インタリ
ーブド共用主メモリと、出所と宛先間の経路が使用可能
になるまでトランザクションをステージするための、一
連のインバウンド・キュー及びアウトバウンド・キュー
と、データの同期及び共用のために使用される、クラス
タ調停手段内の大域資源のセットとの組み合わせに頼る
ことにより、その性能目標を達成する。この開示はま
た、階層メモリ・システム（第２レベル・キャッシュを
含む）を使用すること無く、複数の並列プロセッサ間で
ジョブを区分する、より効率的な手段を実現するアーキ
テクチャを教示する。

【０００９】複数のＩ／Ｏ装置をクラスタ化し、それら
を高機能制御装置により管理することにより、全体シス
テム性能を向上するための幾つかの方法が考案された。
Rawlingsらによる１９７９年５月２９日付けの米国特許
第４１５６９０７号、同じくRawlingsらによる１９８０
年４月２９日付けの米国特許第４２００９３０号は、ホ
スト・システムからのデータ転送及びメッセージ転送を
オフロードするための、ファームウェアにより使用可能
になるＩ／Ｏプロセッサを含む、改善されたアダプタ・
クラスタ・モジュール及びデータ通信サブシステムを教
示する。この発明は無数の伝送プロトコルを用いて、様
々なリモート周辺装置とのインタフェースを可能にす
る。アダプタ・クラスタ・モジュールは主に、プロトコ
ルが不一致の下で作用する"バイト"・トラフィックを、
単一プロトコルを用いて、より効率的にホスト・システ
ムに伝送される全メッセージに変換することに関わる。
この発明はまた、ホスト・システムが機能停止を生じる
ときでも、通信サブシステムがリモート周辺伝送を処理
し続けることを可能にする、幾つかの信頼性機構及び可
用性機構を使用する。そこで開示される技術は、確かに
Ｉ／Ｏサブシステム・レベルにおける性能問題を改善す
るが、それらはホスト・コンピュータ・システム内の２
つのプロセッサ間の、または１つのプロセッサと主メモ
リ間の高速データ転送の必要性を解決しない。

【００１０】本発明により解決される全体的な問題の断
片を解決する幾つかの発明が存在するが、どれも全ての
側面を解決しない。より重要な点は、これらの発明で開
示される概念の集結が、本発明により提供される全体効
率の度合いを与えないことである。例えば、Barucchiら
による１９９５年２月２１日付けの米国特許第５３９２
４０１号は、２つのプロセッサ間でデータを転送する改
善された方法を教示する。しかしながら、この発明はク
ロスバー・スイッチの使用に頼り、共用第２レベル・キ
ャッシュのキャッシュ・コヒーレンスを教示しない。Fl
etcherによる１９８４年４月２４日付けの米国特許第４
４４５１７４号は、専用キャッシュ及び共用レベル２
（Ｌ２）キャッシュによりプロセッサをインタロックす
る手段を教示するが、クラスタ−クラスタ間インタフェ
ースに関連する帯域幅及び待ち時間の問題を解決しな
い。Chinnaswamyらによる１９９３年２月９日付けの米
国特許第５１８５８７５号は、データをキャッシュにロ
ードするのと同時に、データを被要求プロセッサに転送
することにより、記憶制御ユニット間のデータ転送待ち
時間を低減する方法を教示する。類似の技術が今日、コ
ンピュータ・システム設計において広く使用されている
が、この発明は、記憶制御ユニットがキャッシュへのア
クセスを要求する各システム資源（Ｉ／Ｏ及びメモリを
含む）に対して、専用ピン・インタフェースを提供でき
ない場合に生じる問題を解決しない。Keeleyによる１９
８８年１１月１５日付けの米国特許第４７８５３９５号
は、少なくとも１対のプロセッサの間でキャッシュを共
用する方法を教示する。しかしながら、この特許は、全
てのプロセッサがキャッシュを等しい待ち時間でアクセ
スすることを仮定する。

【００１１】幾つかの発明が、共用バス・システムにお
いてトラフィックを調停する技術について述べており、
そこでは、個々のプロセッサまたはプロセッサのクラス
タが、共用バスを介して、主メモリ及び外部Ｉ／Ｏ装置
と通信する。例えば、Fischerによる１９８８年１１月
１５日付けの米国特許第４７８５３９４号は、共用バス
の使用を調停する方法について述べている。その技術
は、応答者にイニシエータよりも高い優先権を与え、た
とえ受信モジュールが使用中であっても、要求が受信モ
ジュールに対して開始されることを可能にする。本発明
は、リモート側の資源が作業に順応できる場合にだけ、
クラスタ−クラスタ間インタフェースを使用中にするこ
とにより、この調停オペレーションを改善する。更に、
応答者とイニシエータ間の調停が、各サイクル毎に固定
の優先権無しに動的に実行される。Tetrickらによる１
９８６年２月１１日付けの米国特許第４５７０２２０号
は、シリアル・バス及びパラレル・バスの組み合わせに
よりシステム・バスを構成する。バスが幾つかの"エー
ジェント"により共用され、エージェントはハンドシェ
ーク・シーケンスに従事し、バスの使用権を獲得しなけ
ればならない。本発明は任意のタイプのバス交渉を実行
する必要無しに、１クロック・サイクルで新たな要求を
動的に開始できるように、リモート資源を追跡する。

【００１２】

【発明が解決しようとする課題】本発明の目的は、対称
マルチプロセッサ・システムにおける、高速リモート記
憶クラスタ・インタフェース制御装置を提供することで
ある。

【００１３】

【課題を解決するための手段】本発明は、双節（bi-nod
al）ＳＭＰシステム内の２つのクラスタ間のインタフェ
ースを管理する手段について述べる。好適な実施例が、
複数の中央プロセッサを含む対称多重処理システム内に
組み込まれる。各中央プロセッサは、専用Ｌ１キャッシ
ュ、複数のＩ／Ｏアダプタ、及び主メモリを有し、任意
のプロセッサまたはＩ／Ｏアダプタが、メモリの任意の
部分をアクセスできる。プロセッサ及びＩ／Ｏアダプタ
の総数は、２つのクラスタに等しく分割される。更に、
主メモリがバンクまたはインタリーブから構成され、そ
の半分が各クラスタに接続される。

【００１４】各クラスタ内には記憶制御装置が存在し、
これは共用第２レベル・キャッシュ、様々な制御装置、
及びあらゆるプロセッサ、Ｉ／Ｏアダプタ、及び主メモ
リとの個別のインタフェース（またはポート）を含む。
本実施例で表されるキャッシュは、複数のバンクまたは
インタリーブからなり、その内容が８ウェイ・アソシア
ティブ・ディレクトリにより管理される。図１に示され
る記憶制御装置は、主要機能要素を表し、更に好適な実
施例に関連して詳述される。しかしながら、１クラスタ
内の記憶制御装置の概要は、本発明の側面を理解する上
で有益である。

【００１５】記憶制御装置の主要機能は、プロセッサ及
びＩ／Ｏアダプタからの、主メモリに対するデータ・フ
ェッチ要求及びストア要求を処理することである。記憶
制御装置は、ソフトウェア及びオペレーティング・シス
テムからは体系的に見えない共用第２レベル・キャッシ
ュを含むので、記憶制御装置はディレクトリ・アクセス
及びキャッシュ・アクセスを実行する役目をする。全て
の入来要求が記憶制御装置上のポートに入力し、そこで
中央プロセッサ（ＣＦＡＲ）またはＩ／Ｏ制御装置によ
り受信される。これらの制御装置は中央優先ユニットに
要求を生成し、中央優先ユニットが要求を調停し、リク
エスタの１つをそのアドレスにもとづき選択し、２つの
マルチステージ・パイプラインの１つに入力する。パイ
プラインの各ステージの間、リクエスタはキャッシュ、
ローカル・キャッシュ・フェッチ／ストア制御装置、デ
ータ経路制御、データ経路ＦＩＦＯバッファ、リモート
・キャッシュ・フェッチ／ストア制御装置などの、様々
な資源をアクセスし、それらを予約する。

【００１６】要求がパイプラインから出力するとき、ロ
ーカル・フェッチ／ストア制御装置の１つが、完了を通
じてオペレーションを管理する役目をする。しばしばこ
れは、パイプラインを通じる追加の経路を要求し、それ
によりローカル・フェッチ／ストア制御装置は、中央優
先調停にも参加しなければならず、リクエスタとも見な
される。本実施例では、ローカル・フェッチ／ストア制
御装置の一部として、キャッシュ制御装置及び主メモリ
制御装置を含み、それらの間で、次のオペレーション、
すなわち、キャッシュ・インタリーブからのデータのア
クセス、キャッシュ・ミス発生時における主メモリへの
データ・アクセスの処理、キャッシュ・インタリーブへ
のストア・オペレーションの実行、及び主メモリ・アク
セスからの入来データのための空間を確保するために、
（最長未使用法による）キャッシュから主メモリへの時
効データの追放のために必要な全ての資源（ＦＩＦＯバ
ッファ及びクロスポイント・スイッチなどのデータ経路
要素）を含む。

【００１７】前述のように、主メモリ・バンクは双節Ｓ
ＭＰシステムの２つのクラスタ間で物理的に分散され
る。しかしながら、主メモリは、ＳＭＰシステム内のど
こかに配置される任意のプロセッサまたはＩ／Ｏアダプ
タにとって、１つの統一されたエンティティとして現れ
る。従って、本実施例は、リモート・フェッチ／ストア
制御装置として知られる、追加の制御装置のセットを組
み込む。記憶制御装置は、各クラスタ上で、メモリ・バ
ンクに割当てられる主メモリ・アドレスを追跡する。デ
ータ・アクセス（フェッチ要求）が、ローカル・クラス
タ上でキャッシュ・ミスを発生する度に（ここで用語"
ローカル"は、発信元プロセッサまたはＩ／Ｏアダプタ
が接続されるクラスタを指し示す）、ローカル・フェッ
チ／ストア制御装置はリモート（または"他の"）・クラ
スタに、データがそのキャッシュ内に存在するか否かを
問い合わさなければならない。これらのリモート問い合
わせは、リモート・フェッチ制御装置により処理され、
それらはローカル・フェッチ／ストア制御装置と同様
に、要求を中央優先ユニットに発行し、資源をアクセス
する。

【００１８】更に、データ・アクセスがリモート・キャ
ッシュにおいてミスするが、アドレスがそのアドレスが
リモート・クラスタに接続されるメモリ・バンクに属す
ることを示す場合、リモート・フェッチ／ストア制御装
置がまた、主メモリ制御装置と相互作用し、主メモリ・
アクセスを開始する。メモリへのデータの記憶を必要と
するオペレーション（時効データのキャッシュからの追
放など）のために、アドレスが再度、ローカル・フェッ
チ／ストア制御装置がオペレーション全体を処理できる
か否か、或いはリモート・ストア・オペレーションが双
節インタフェースを介して開始されなければならないか
を判断する。この状況では、リモート・ストア・オペレ
ーションがリモート・ストア制御装置により処理され、
後者が主メモリ制御装置と相互作用し、データを主メモ
リ・インタリーブに記憶する。ローカル・フェッチ／ス
トア制御装置同様、リモート・フェッチ／ストア制御装
置も、クラスタ間オペレーションを処理するために必要
な全ての資源（データ経路、ＦＩＦＯバッファ、及びク
ロスポイント・スイッチを含む）を含む。

【００１９】本発明は、前述のリモート・フェッチ／ス
トア制御装置を含む資源を管理し、これらのリモート・
フェッチ／ストア制御装置に作業を分配するリモート管
理システムに関する。リモート・フェッチ／ストア制御
装置は、エージェントとして動作し、作業要求を開始し
たリクエスタに関する知識を要求すること無く、所望の
オペレーションを実行する。対称マルチプロセッサの複
数のクラスタ間の絶え間の無い通信の必要無しに、作業
を処理するためにリモート資源が使用可能なときにだけ
作業が分配される。従って、最小のインタフェース通信
信号が使用される。

【００２０】本発明のリモート資源管理システムは、対
称マルチプロセッサの２つのクラスタ間のインタフェー
スを、少ない数の入出力ピンを用いて、効率的に管理す
る。ピン制限を克服し、その上、Ｓ／３９０エンタープ
ライズ・サーバなどの非常に複雑なコンピュータ・シス
テム内に統合することを可能にするため、幾つかの技術
が使用される。ここでＳ／３９０サーバでは、１クラス
タが複数の超高速プロセッサ、共用Ｌ２キャッシュ、複
数のＩ／Ｏアダプタ手段、及び主メモリを含み得る。こ
うしたシステムでは、性能が際だって優れ、キャッシュ
・ミスに関連付けられる待ち時間が最小化されなければ
ならない。従って、本発明はパッケージング・コストを
最小化する一方で、全体システム性能を最大化すること
を探究する。

【００２１】まず第１に、各クラスタ上の１つのインタ
フェース・ユニットが、インタフェースの完全な制御を
担う。こうした制御には、待ち行列化された要求を優先
順位付けするステップ、インタフェースを通じて新たな
オペレーションを送信するステップ、他の側からの返却
応答を処理するステップ、及びクラスタ間の全てのデー
タの転送を監視するステップが含まれる。制御Ｉ／Ｏの
数の制限により、本発明はリモート資源管理と、コマン
ド再マップ化との新たな組み合わせにより、伝送される
必要がある情報の量を最小化する。ローカル・インタフ
ェース制御装置は、作業要求をリモート側に開始するだ
けでなく、リモート側のフェッチ／ストア制御装置を管
理し、それにより新たなオペレーションを使用可能な制
御装置に即時経路指定する。リモート・フェッチ／スト
ア制御装置は単に、ローカル・インタフェース制御装置
のために作業するエージェントとなり、ローカル・イン
タフェース制御装置がリクエスタのために作業する。こ
のように活動することにより、オペレーションの所有者
を識別する情報を送信する必要性を排除する。なぜな
ら、リモート側はそれを知る必要性を有さないからであ
る。

【００２２】リモート制御装置の更なる単純化が、コマ
ンド再マップ化オペレーションを通じて達成され、それ
により幾つかのローカル・オペレーションが、１つのア
トミック・リモート・オペレーションに結合される。例
えば、データの読出し専用コピーに対するプロセッサ・
フェッチ要求、及び記憶保護キーを含む読出し専用デー
タに対するフェッチ要求が、リモート・クラスタ上のフ
ェッチ制御装置が、同一の状態図及びキャッシュ管理オ
ペレーションを使用することを要求する。従って、イン
タフェース制御装置はこれらの両方を、読出し専用ライ
ン・フェッチとして知られる、１つの単純化されたリモ
ート記憶クラスタ（ＲＳＣ）・インタフェース制御装置
コマンドに再マップし、それによりリモート記憶クラス
タ・インタフェース制御装置（ＲＳＣ）により処理され
なければならないオペレーションの数を低減する。

【００２３】この再マップ化オペレーションの追加の利
点は、不要なデータ転送を除去することにより、インタ
フェース・データ経路をより効率的に管理する能力であ
る。６４バイトのＩ／Ｏストアについて鑑みると、入来
する６４バイトが主メモリに記憶される以前に、同一の
データ・ラインの最も最近のコピーと併合されることが
要求される。このオペレーションは、ターゲット主記憶
アドレス及び現キャッシュ状態に依存して、次の３つの
異なる状況を生じ得る。 １．データがリモート側の主メモリをターゲットとし、
ローカル・キャッシュにおいてミスする場合、Ｉ／Ｏス
トア・データが他の側に送信され、併合されなければな
らない。このことはＲＳＣインタフェース制御装置（Ｒ
ＳＣ ＩＣ）が、ローカル・クラスタからリモート・ク
ラスタにストア・オペレーションを実行することを必要
とする。 ２．データがローカル・メモリをターゲットとするが、
リモート・キャッシュにおいてヒットする場合、リモー
ト側からラインが検索され、ローカル・クラスタ上で併
合が実行される必要がある。このことは可能なデータ・
フェッチと共に、リモート側との相互問い合わせを必要
とする。 ３．ラインのコピーが両方のキャッシュ内に存在する場
合、リモート側のラインを無効にするアクションだけが
要求される。なぜなら、入来する６４バイトは、ローカ
ル・キャッシュ内のコピーと併合されるからである。

【００２４】より単純な設計は、インタフェースを介し
て、Ｉ／Ｏストア・コマンドを無条件に６４バイトのデ
ータと一緒に送信することである。すると、他の側のリ
モート・フェッチ／ストア制御装置が、ディレクトリ・
ステータスにもとづき、必要なアクションを実行する。
しかしながら、３つのケースの内の２つにおいて、スト
ア・データの転送は、不必要にローカル−リモート間デ
ータ・バスを拘束する。ディレクトリ情報を送信するた
めに、追加の制御ラインも要求され得る。本発明は、最
後の２つのケースを、それぞれ"強制追放（force cast
out）"コマンド及び"読出し専用無効（read-only inval
idate）"コマンドに再マップする、高機能インタフェー
ス制御装置を使用する。

【００２５】コマンド再マップ化は幾つかの利点を提供
する。第１に、それはリモート・フェッチ／ストア制御
装置の設計を単純化する。なぜなら、多くのオペレーシ
ョンが、単純なアトミック・インタフェース・オペレー
ションのサブセットにマップされるからである。第２
に、クラスタ間でディレクトリ情報を送信するために、
追加の制御Ｉ／Ｏが要求されない。第３に、待ち時間の
増加を防止するために、コマンド再マップ化が、新たな
コマンドがインタフェースを横断するための優先順位が
発行されるのと同一サイクル内に実行される。

【００２６】リモート管理システムは、１つのまたは複
数のパイプライン化レベル２キャッシュをサービスする
ための、多数のフェッチ制御装置及びストア制御装置を
含む、ハイエンド記憶サブシステムとインタフェースす
るように設計される。一連の優先ステーションが、イン
タフェースを介して送信される要求を究極的に選択する
ために使用される。複数のパイプが関与するが、各パイ
プ内の優先ステーションは、フェッチ要求またはストア
要求の１つを選択し、ＲＳＣ ＩＣに転送する。同一の
サイクルの間、ＲＳＣ ＩＣは高性能優先オペレーショ
ンを使用し、コマンド・タイプ及び資源可用性にもとづ
き、最適な要求を選択する。複数のパイプが任意の所与
のサイクルにおいて、インタフェースの使用を要求でき
るので、リモート・フェッチ制御装置が使用可能である
限り、オペレーションはストアよりもフェッチを優先す
る。それ以外では、リモート・ストア制御装置が使用可
能である限り、ストアが実行され、データ経路がそれら
のストア・オペレーションにとって使用可能になる。両
方の要求がフェッチであり、両方が使用可能な資源を有
する場合、単純なラウンド・ロビンが優遇される方の要
求を決定する。両方の要求がストアの場合、どちらのパ
イプが使用可能な資源を有するかにより、勝者が決定さ
れる。再度、両方共に使用可能な資源を有する場合、単
純なラウンド・ロビンが使用される。この方法は事実
上、作業要求及び使用可能な資源が存在する限り、コマ
ンドが伝送されることを保証する。更に、プロセッサ・
フェッチに与えられる優先処置が、全体システム性能を
向上させる。最後に、ローカル・インタフェース制御装
置内のリモート資源の管理により、インタフェース・サ
イクルがリモート側で結局、待ち行列化される作業の伝
送のために浪費されないように保証される。

【００２７】更に、Ｌ１キャッシュ・ミスによるプロセ
ッサのデータ・アクセス待ち時間を低減するために、Ｒ
ＳＣ ＩＣは、フェッチ制御装置またはストア制御装置
がインタフェースの使用を要求していないサイクルの
間、"高速路指定（fast-pathing）"技術を使用する。こ
れらのサイクルの間、全てのパイプが有効なＣＰフェッ
チのためにモニタされる。もしそれが見い出されると、
即時リモート側にディスパッチされ、その間、ローカル
・キャッシュ・フェッチ制御装置が並列にロードされ
る。これはフェッチ要求が、リモート側への１サイクル
のヘッド開始を獲得することを可能にし、それにより返
却データの待ち時間を低減する。

【００２８】リモート・キャッシュをヒットするデータ
・フェッチの最良の待ち時間と、ローカル主メモリから
のデータ・アクセスとの間には、大きな相違が存在する
ので、ＲＳＣ ＩＣは、リモート・キャッシュ・ヒット
をローカル・フェッチ制御装置に伝達する能力を有し、
それにより、主記憶アクセスの取り消しを可能にする。
このことは別の要求のためにメモリ・バンクを解放する
ことにより、システム性能全体に寄与する。

【００２９】ＲＳＣ ＩＣは同期応答バス及び非同期応
答バスの両方を使用し、キャッシュ・コヒーレンスを維
持する一方、性能を最大化する。要求がリモート側のキ
ャッシュ状態をテストする以前に、オペレーションを完
了するための正確なパイプ・サイクル数を決定すること
は不可能であるので、非同期応答バスが全ての最終応答
に対して使用される。これらの応答は、リモート・オペ
レーションの公式の終りをマークし、しばしばオリジナ
ル・リクエスタに転送される。更に、最終応答はデータ
変更情報（ライン変更ステータス）によりタグ付けさ
れ、これがローカル・ディレクトリが適切な最終状態に
より更新されることを可能にする。最終応答は、単一の
最終応答インタフェース・バスの競合により遅延され得
るので、初期リモート・キャッシュ相互問い合わせ（Ｘ
Ｉ：cross interrogation）の結果を、それが知れるや
否や報告することにより性能が改善され得る。ＲＳＣは
常に、このＸＩ結果を同期ＸＩ応答バスを用いて、最小
の時間フレーム内に報告できる。これが可能な理由は、
記憶クラスタ（ＳＣ）の中央優先ステーションが、リモ
ート側から受信される新たな要求が、即時適切なパイプ
ラインに受け入れられるように保証するからである。初
期ディレクトリ検索が固定パイプ・サイクル内に実行さ
れ、結果がＸＩ応答バスを介して返送される。オペレー
ションを開始したインタフェース制御装置は、ＸＩ応答
が将来の固定サイクル数以内に使用可能であることを知
り、従って、単純なステージング機構が、ヒット／ミス
結果を要求フェッチ／ストア制御装置に転送するために
使用される。

【００３０】制御インタフェースを管理することに加
え、ＲＳＣ ＩＣは全てのクラスタ−クラスタ間データ
・フローを管理する。本発明は、各パイプが双方向に１
サイクル当たり１６バイトを転送することを可能にす
る、十分なデータ・フローＩ／Ｏを含み、ＲＳＣ ＩＣ
は潜在的に、１サイクル当たり６４バイトの最大スルー
プットを使用することができる。２つの単方向データ経
路が存在するが、所与のデータ経路が、クラスタＡから
クラスタＢに転送されるストア・データ、及びクラスタ
ＢからクラスタＡに返却されるフェッチ・データのため
の、コンジット（conduit）として作用しなければなら
ない。ＲＳＣ ＩＣは衝突を回避するだけでなく、予め
バスを予約すること無くそれを実行する。このことはＲ
ＳＣ ＩＣが、ローカル・ストア制御装置からの要求
を、常駐リモート・フェッチ制御装置からの要求と比較
し、フェッチ・データを返却することを可能にする。両
者がデータ経路を競合するサイクルの間、優先権が返却
フェッチ・データに与えられる。再度、これは全体シス
テム性能を支援する。更に、フェッチ・データがリモー
ト主メモリから獲得される場合、データがメモリ・バン
クからアクセスされるとき、ＲＳＣ ＩＣが対応するデ
ータ経路をモニタする。ＲＳＣデータ経路が使用可能な
場合、データがリモート・フェッチ・バッファをバイパ
スし、それにより、データの一時的バッファリングに関
連付けられる正規の待ち時間を低減する。

【００３１】本発明は、全体システム・スループットを
改善するために複製される、リモート記憶制御装置の資
源の管理を改善する方法を証明した。例えば、リモート
・キャッシュをヒットする、連続的フェッチ要求の効率
を最大化するために使用される１つの技術は、複製のリ
モート・フェッチ資源の間で、作業要求を交互すること
である。全てのフェッチが、転送されるデータの最初の
１６バイトに相当する最終応答により終了する。これに
関する利点は、リモート・フェッチ制御装置のバッファ
がまだ空の間に、リモート・フェッチ資源が即時新たな
作業に割当てられることである。逆に欠点は、新たな作
業の一部が、リモート・キャッシュをヒットするデータ
・フェッチである場合に生じる。バッファはまだ空であ
ろうから、リモート・フェッチ制御装置はバッファが使
用可能になるまで、要求をパイプを通じてリサイクルし
なければならない。ＲＳＣ ＩＣは、複製のリモート・
フェッチ制御装置が使用可能であれば、第２のフェッチ
要求をその複製のリモート・フェッチ制御装置に送信す
ることにより、この状況を緩和する。それにより、第１
のバッファがまだそのデータ転送を完了している間、第
２のリモート・フェッチ制御装置が、そのバッファのロ
ードを開始できる。このことは、第１のバッファの転送
の完了時に、第２のバッファが即時、そのデータをイン
タフェースを介して転送することを可能にする。

【００３２】リモート・インタフェースはまた、オペレ
ーションがリモート側で成功裡に完了し得ない場合に、
多くのオペレーションが再試行されるようにすることに
より、高い信頼性及び可用性を示す。これらのタイプの
問題は、２つの主なカテゴリ、すなわち拒絶とインタフ
ェース・エラーとに分類される。オペレーションは、潜
在的な相互クラスタ・デッドロックを回避するため、リ
モート・クラスタにより拒絶され得る。これらのデッド
ロックは、記憶サブシステム・フェッチ制御装置及びス
トア制御装置の数が、それらにサービスするＲＳＣ資源
の数よりも多い場合に発生し得る。リモート・フェッチ
制御装置及びストア制御装置は、相互クラスタ・デッド
ロックを生じ得るオペレーション・シーケンスをモニタ
するように設計される、デッドロック回避機構を含む。
こうした状況の検出に際して、制御装置は特殊な拒絶応
答を開始クラスタに返却することにより、保留のオペレ
ーションを拒絶する。ＲＳＣ ＩＣが次に、拒絶を発信
元フェッチ／ストア制御装置に転送し、オペレーション
が再試行される。デッドロック窓が消えるまで、オペレ
ーションは連続的に拒絶され、再試行される。新たなＲ
ＳＣオペレーションに付随する任意の制御情報に対し
て、インタフェース・パリティ・エラーが検出されると
き、他のタイプの回復が発生する。コマンドが送信され
た後、固定サイクル数以内にインタフェース・エラー・
ステータスを伝送するために、同期インタフェースが使
用される。エラーの場合、発信元フェッチ／ストア制御
装置がそれを通知され、実質的に回復の適格性を決定す
る。ＲＳＣ ＩＣは自動的に対応するＲＳＣ資源をリセ
ットし、オペレーションが再度要求されることを可能に
する。これらの及び他の改善が、以下で詳述される。本
発明の利点及び特徴をより理解するため、以下の説明及
び図面を参照されたい。

【００３３】本発明は好適な実施例に関連して述べられ
るが、当業者であれば、ここで開示される概念が３つ以
上のクラスタを含み、本実施例とは異なる記憶クラスタ
を使用するシステムにも適用可能であることが理解でき
よう。更に、本発明は、異なる数及び構成の機能ユニッ
トを有する、代替の記憶制御装置の実施例についても考
慮する。これらには、キャッシュ構造、主メモリ構成、
データ経路資源（バッファ、制御バスなど）の数及びサ
イズ、様々な制御装置の構成、及びパイプラインの数及
びサイズなどが含まれる。

【００３４】

【発明の実施の形態】図１は、双節対称マルチプロセッ
サ・システムの１つの記憶制御装置クラスタを示す。本
発明はリモート記憶クラスタ・インタフェース制御装置
（ＲＳＣ ＩＣ）１０として表され、これは１対のロー
カル・フェッチ／ストア制御装置１１、リモート・フェ
ッチ／ストア制御装置１２、及び集中型マルチステージ
・パイプライン１３のセットと相互作用する。これらの
パイプラインは、中央優先１４ステーションにより供給
され、これはＮ個の中央処理ユニット制御装置１５また
はＮ個のＩ／Ｏアダプタ制御装置１６から発生する非同
期の作業要求を優先順位付けする。各ＣＰＵ制御装置
は、ＳＭＰシステム内の特定の中央プロセッサ（ＣＰ
Ｕ）と親和性を有する。パイプラインは共用レベル２ス
トアイン・キャッシュを含み、それに対して、全ての中
央処理ユニット、Ｉ／Ｏアダプタ及びローカル・フェッ
チ／ストア制御装置及びリモート・フェッチ／ストア制
御装置が、読出しアクセス及び書込みアクセスを有す
る。好適な実施例で使用されるキャッシュ・コヒーレン
ス・オペレーションは、データが読出し専用状態または
排他的所有状態でキャッシュ内に存在することを可能に
する。ここで読出し専用状態では、両方のクラスタ上の
全てのプロセッサ及びＩ／Ｏアダプタが、データのコピ
ーをアクセスすることができ、排他的所有状態では、１
つのプロセッサだけが任意の時刻にデータを所有でき
る。たとえ別のプロセッサが現在所与のデータを所有し
ていようと、任意のクラスタ上の任意のプロセッサが、
任意の時刻にそのデータの所有権を要求し得る。

【００３５】好適な実施例はデュアル・パイプライン設
計を使用し、そこでは中央パイプライン１３、リモート
・フェッチ／ストア制御装置１２、及びローカル・フェ
ッチ／ストア制御装置１１が全て重複される。本発明で
開示される概念は、記憶制御装置（ＳＣ）の周囲の構造
に独立であり、３つ以上のパイプラインを使用する従来
的または新たな単一パイプラインＳＣ設計により効果的
に実現され得る。当業者であれば、ＲＳＣ ＩＣ１０の
インタフェース方法、及び内部機能ブロック図が、ほと
んどのＳＣ構造に当てはまるように、容易にスケーリン
グされ得ることが理解できよう。

【００３６】ＲＳＣインタフェース制御装置１０は、様
々なＳＣ機能ユニットと相互作用する幾つかのサブユニ
ットから構成される。パイプライン１３及びフェッチ／
ストア制御装置１１、１２の１対のセットからの要求を
サービスする、１つのリモート記憶クラスタ・インタフ
ェースだけしか存在しないので、唯一のＲＳＣ ＩＣ
が、複数のローカル・インタフェース、及びクラスタ−
クラスタ間インタフェースに順応しなければならない。
更に、ＲＳＣ ＩＣは、ローカル・クラスタからリモー
ト・クラスタへの、及びその逆のトラフィック・フロー
を管理しなければならない。図２は、詳細なインタフェ
ースと、ＲＳＣ ＩＣ１０を含むサブユニットを示す。

【００３７】好適な実施例の記憶制御装置の性質によ
り、大半の要求はローカル・フェッチ／ストア制御装置
１１から到来する。これらの要求は、ＬＦＡＲ要求とし
て知られるフェッチ要求と、ＬＳＡＲ要求として知られ
るストア要求とに分けられる。好適な実施例では、各パ
イプラインに対して、４つのＬＦＡＲ要求及び４つのＬ
ＳＡＲ要求が存在し、従って、ＲＳＣインタフェースの
使用を競合する、合計１６の可能なＬＦＳＡＲ要求が存
在する。ＬＦＳＡＲ制御装置内の事前優先（pre-priori
ty）ステーションは、各パイプから１つのリクエスタを
選択し、高々２つの要求を１クロック・サイクルでＲＳ
Ｃ ＩＣに転送する。再度、本発明の趣旨は、任意の数
のＬＦＡＲリクエスタ及びＬＳＡＲリクエスタが、任意
の数のパイプラインの間で分配されることを可能にす
る。更に、ＬＦＳＡＲ制御装置１１内の事前優先ステー
ションが、ＲＳＣ ＩＣ内のコマンド優先ユニットに直
接組み込まれ得る。

【００３８】ＬＦＳＡＲ制御装置１１とＲＳＣ ＩＣ１
０間のインタフェースに注意を向けると、１パイプライ
ンに関連付けられる制御装置の各セットに対して、１つ
のインタフェースが存在する。各インタフェースは、要
求バス、Ｃ３コマンド・バス、Ｃ３リクエスタＩＤバ
ス、及びＣ３アドレス・バスを含む。８ビット要求バス
は、ＬＦＡＲリクエスタ及びＬＳＡＲリクエスタの各々
に対して１ビットを含み、１ビットだけが任意のサイク
ルで活動化され得る。このビットは、事前優先ステーシ
ョンによりそのサイクルにおいて選択される、ＬＦＡＲ
制御装置またはＬＳＡＲ制御装置のＩＤを示す。対応す
るバスが、パイプラインにコマンドを開始したＣＰＵ、
Ｉ／ＯアダプタまたはＳＣ制御装置の、コマンド、アド
レス及びＩＤを伝達する。この情報の全てが、パイプラ
インの第３ステージに相当するＣ３サイクルで、ＲＳＣ
ＩＣに提供される。ＲＳＣ ＩＣがＬＦＳＡＲ要求
を、それが提供されるサイクルにおいて優遇することが
できない場合、ＬＦＳＡＲ制御装置は同一の要求を提供
し続けるか、次のサイクルで新たな要求を動的に選択し
得る。

【００３９】ＬＦＳＡＲ制御装置に加え、パイプライン
１３自身もまた、高速路指定と呼ばれるオペレーション
を可能にするリクエスタとして作用する。高速路指定
は、フェッチが要求され、いずれのＬＦＳＡＲ制御装置
１１からも保留の作業が存在しない場合、ＲＳＣが両方
のパイプをモニタし、リモート・フェッチ・オペレーシ
ョンを発行することを可能にする。Ｃ１コマンド、Ｃ１
アドレス、及びＣ１リクエスタＩＤが、各パイプの第１
ステージ（Ｃ１サイクル）から獲得され、ＲＳＣＩＣの
ＲＳＣ優先２１サブユニット内の事前優先ステーション
に送信される。事前優先ステーションの出力が、主優先
ステーション（同様にＲＳＣ優先２１サブユニット内に
配置される）に転送され、そこでＬＦＳＡＲ制御装置１
１からの要求と競合する。

【００４０】各サイクルごとに、ＲＳＣ優先２１ステー
ションは保留の作業要求を調査し、高性能オペレーショ
ンにより、インタフェースを横断することを許可される
要求を決定する。要求の選択に際して、選択されたオペ
レーションのパイプラインに対応するＬＦＳＡＲ制御装
置１１に、グラント（許可）が送信される。グラントは
選択されたオペレーションが、ＬＦＳＡＲ制御装置１１
からの保留の要求であったか、或いはパイプライン１３
から開始された高速路オペレーションであったかを示
す。グラントがＬＦＳＡＲ制御装置に発行されている
間、選択されたコマンドが、その関連アドレス、リクエ
スタＩＤ、及びＲＳＣ資源を示すタグ・ラインと共に、
ＲＳＣインタフェースを介して、リモート・クラスタに
送信される。

【００４１】全てのＲＳＣオペレーションが、リモート
・クラスタから特定のタイプの完了応答を要求する。更
に、データ・フェッチは、要求されたデータがリモート
・キャッシュ内に存在するか否かを示す相互問い合わせ
（ＸＩ）応答を要求する。全ての応答がＲＳＣ ＩＣ１
０を通じて処理され、オリジナル・リクエスタに直接的
に、または間接的に転送される。大半の時間、応答が復
号され、適切なステータス、解放及びキャッシュ・コヒ
ーレンス情報が、ＬＦＡＲ制御装置またはＬＳＡＲ制御
装置に転送される。しかしながら、多くのオペレーショ
ンが、応答をオリジナルＣＰＵ制御装置（ＣＦＡＲ）１
５に返送することに携わる。応答の最終的な宛先に関わ
らず、ＲＳＣ ＩＣはあらゆるオペレーションにとって
必要な全ての情報を追跡し、それにより、全てのＲＳＣ
オペレーションにおける応答情報が、１つの符号化応答
バス上で多重化され得る。ＲＳＣ ＩＣは、応答ハンド
ラ２２への入来応答を受信する。応答ハンドラのジョブ
は、応答を復号し、適切な情報をＬＦＳＡＲ制御装置１
１またはＣＰＵ制御装置１５に伝送することである。

【００４２】図２はまた、リモート・フェッチ／ストア
制御装置１２とＲＳＣ ＩＣとの間のインタフェースを
示す。リモート・フェッチ／ストア制御装置は、別々の
リモート・フェッチ制御装置（ＲＦＡＲ）１２ａ及びリ
モート・ストア制御装置（ＲＳＡＲ）１２ｂに分けられ
る。リモート・フェッチ制御装置１２ａは、他のクラス
タからフェッチ要求を受信し、それらをパイプライン１
３を通じて処理し、（可能であれば）データを必要な応
答情報と一緒に返却する役目をする。リモート・ストア
制御装置１２ｂは、入来ストア・オペレーション（及び
任意の付随データ）を受信し、それらをパイプライン１
３を通じて処理し、必要な応答情報を返却する。各パイ
プラインは、自身に関連付けられるＲＦＡＲ１２ａ制御
装置及びＲＳＡＲ１２ｂ制御装置を有する。従って、所
与のサイクル内に最大４つの要求がＲＳＣ ＩＣに提供
され、情報が符号化応答バス上に返却される。ＲＳＣ
ＩＣ内の応答優先２３サブユニットが、これらの要求を
調停し、符号化応答バス上のトラフィックを管理する。
ＲＦＡＲ制御装置がフェッチ・データを返却する必要が
ある場合、応答優先２３ステーションがＲＳＣ優先２１
ステーション及びクロスポイント（ＸＰＴ）制御装置２
５と通信し、データ経路が使用可能になるように保証す
る。

【００４３】本発明の重要な側面の１つは、資源レジス
タ２４を使用し、ローカル側の全てのリモート活動を追
跡することである。インタフェースＩ／Ｏを最小化し、
スループットを最大化するために、ＲＳＣ ＩＣは、ロ
ーカル側のオリジナル・リクエスタのためのエージェン
トとして作用する。ＲＳＣ ＩＣはリモート側のＲＦＡ
Ｒ資源及びＲＳＡＲ資源を追跡し、絶え間の無いクラス
タ−クラスタ間通信の必要性を除去する。資源レジスタ
２４はＲＳＣ優先２１ステーションと相互作用し、ＲＳ
Ｃ資源が使用可能な場合にだけ、オペレーションが開始
されるように保証する。オペレーションの開始に際し
て、ＲＳＣ ＩＣは選択されたＲＦＡＲまたはＲＳＡＲ
を"使用中（in use）"とマークし、その資源は、オペレ
ーションの完了を示す応答が受信されるまで使用中であ
り続ける。これらの応答は次に、資源をリセットし、そ
れを新たなオペレーションのために使用可能にするため
に使用される。

【００４４】好適な実施例では、合計８つのＲＳＣ資源
レジスタ２４が存在し、各パイプラインに対して、２つ
のＲＦＡＲ及び２つのＲＳＡＲが存在する。２つのＲＦ
ＡＲ／ＲＳＡＲの各々は、互いに同一であり、複数のリ
モート・フェッチ及びストア・オペレーションが、各パ
イプにより同時に処理されることを可能にすることによ
り、主に性能を向上するために存在する。再度、本発明
は１パイプ当たり、２つのＲＦＡＲ及び２つのＲＳＡＲ
を要求したり、それに制限されるものではない。全ての
リモート資源は、存在する数に関係無しに、同様に追跡
される。

【００４５】オペレーションの選択に先立ち、オリジナ
ル・パイプライン・コマンドがＲＳＣコマンドに変換さ
れる。多くの場合、結果のＲＳＣコマンドはオリジナル
・コマンドと同一であるが、特定の場合では、コマンド
・コード・ポイントが再マップされ、類似のオペレーシ
ョンが１つのＲＳＣコード・ポイントを共用することを
可能にする。このステップは、全てのＲＳＣフェッチ・
コマンドが連続範囲内（好適な実施例では'０１'ｘ乃
至'１Ｆ'ｘ）に収まる一方、全てのストア・コマンド
が、異なる連続範囲内（好適な実施例では'２０'ｘ乃
至'３Ｆ'ｘ）に収まることを保証する。オペレーション
の開始に際して、ＲＳＣ ＩＣは２つの選択ビットを使
用し、他の側に対して８つの資源の内で、新たに選択さ
れたオペレーションをサービスする資源を示す。２つの
ビットは、パイプラインと、そのパイプライン内の１対
の資源の内で、コマンドを処理すべき方の資源を示す。
コマンドのビット０は、コマンドがフェッチ・タイプ
（ビット０＝０）か、ストア・タイプ（ビット０＝１）
かを決定する。全てのフェッチ・コマンドはＲＦＡＲに
よりサービスされ、ストア・コマンドはＲＳＡＲにより
処理される。コマンド及びアドレスが常に伝送されなけ
ればならないので、このアプローチは両方の側を同期す
るために、２つの追加のインタフェース制御ビットが１
度だけ伝送されることを必要とする。ここで好適な実施
例は、コマンド、アドレス及び選択ラインに加え、要求
ＩＤを伝送するためのＲＳＣインタフェース・バスを示
す。この要求ＩＤは純粋に、ＲＳＣインタフェースを通
じて、リモート側のＣＰＵ制御装置またはＩ／Ｏアダプ
タ制御装置などのリクエスタに転送される情報である。
本発明が使用する技術は、その目的を達成するために、
オリジナル・リクエスタのＩＤの知識を必要としない。

【００４６】最後のサブユニットは、クロスポイント
（ＸＰＴ）制御装置２５であり、これはクラスタを接続
する４つのデータ経路を管理する役目をする。好適な実
施例では、各パイプに対して、２つの単方向データ経路
が存在し、同時に４つのデータ転送が発生することを可
能にする。各データ経路は、４つのオペレーションが同
時に発生し得るように、それ自身のＸＰＴバスを有す
る。データ経路は１６バイト幅であり、各サイクルにつ
き４倍長ワード（１６バイト）を転送することができ
る。

【００４７】ＲＳＣコマンド変換：本発明の目的の１つ
は、リモート資源管理を用い、クラスタ−クラスタ間イ
ンタフェースを介して交換されなければならない情報の
量の他に、リモート・フェッチ／ストア制御装置１２の
サイズ及び複雑度を最小化することである。複雑な記憶
制御装置を有するハイエンドＳＭＰシステムでは、事実
上、ローカル・クラスタ内で開始され得るあらゆるコマ
ンドが、リモート・クラスタ上で処理されるために、イ
ンタフェースを介して送信され得る。これらのコマンド
が一連のアトミック・オペレーションに分解されると
き、リモート側のＲＳＣフェッチ／ストア制御装置１２
が、同一の状態マシンを用い、幾つかの類似のコマンド
を処理することができる。従って、ＲＳＣ設計を単純化
するために、ローカル側のオリジナル・コマンドのある
ものは、等価な"基本（base）"ＲＳＣコマンドに再マッ
プされる。例えば、"記憶保護キーを有する排他的フェ
ッチ"は、"キーの無い排他的フェッチ"と同一のパイプ
ライン・シーケンス及びディレクトリ更新アクションを
生じる。従って、ＲＳＣインタフェース制御装置は、キ
ーを有する排他的フェッチ・コマンド（'０６'ｘ）を、
それをインタフェースを介して送信する以前に、単純な
排他的フェッチ・コマンド（'０２'ｘ）に再マップす
る。

【００４８】好適な実施例は、図３に示されるハードウ
ェアにより、コマンド変換を実現する。オリジナル・コ
マンドが、フリップ・ビット発生器２６に入力する。こ
こでフリップ・ビット発生器は、コマンド変換テーブル
２８のフリップ・ビット列を実現するために要求される
論理ゲートから構成される。オリジナル・コマンドがデ
ィレクトリ・ステータス及びターゲットＬ３と結合さ
れ、フリップされる必要があるビットを決定する。結果
のフリップ・ビットがＸＬＡＴ２７ブロックにおいて、
オリジナル・コマンドと排他的論理和され、コマンド変
換テーブル２８のＲＳＣコマンド列内に示される所望の
ＲＳＣ基本コマンドを生成する。ＲＳＣコマンド変換器
は、１クロック・サイクル内に変換を実行するように設
計される、独立な機能ユニットである。従って、当業者
であれば、これが使用され得る柔軟性を理解することが
できよう。例えば、コマンド変換器は物理的に、ＲＳＣ
インタフェース制御装置１０の一部として実現される
か、或いはＲＳＣに作業要求を開始する制御装置内に含
まれ得る。更に、コマンド変換器は、ＲＳＣコマンド優
先ステーションと同一の論理サイクルに統合されるか、
オリジナル・コマンドが使用可能な場合、前のサイクル
で実行されてもよい。例えば、好適な実施例では、パイ
プライン高速路コマンドが第２のパイプライン・ステー
ジ（Ｃ２）で使用可能であり、従って、ＲＳＣコマンド
優先サイクル以前に変換され得る。

【００４９】コマンド変換の使用は、幾つかの点でイン
タフェース効率を向上する。まず第１に、多くのオペレ
ーションがリモート側に、所望のデータがローカル・キ
ャッシュ内に存在するか否かを問い合わせる必要がな
い。従って、コマンド変換器はディレクトリ・ステータ
スを用い、これらのタイプのオペレーションを、ＲＳＣ
インタフェースの使用を要求するものから除外する。第
２に、コマンド変換は、データが１度転送され、処理さ
れ、次にオリジナル側に返却されるのではなく、データ
転送が１方向にだけ送信されればよいことを保証する。
例えば、Ｉ／Ｏストア６４バイト（コマンド２８）は、
変換が無い場合、たとえデータの最終的な宛先がローカ
ルＬ３メモリであっても、６４バイトのデータの無条件
伝送を生じる。このことは、６４バイトがリモート側に
転送され、ターゲット・ラインに併合され、更新された
ラインがインタフェースを介して再度返却され、ローカ
ル・クラスタに接続されるＬ３メモリに記憶されなけれ
ばならないことを意味する。本発明は、宛先アドレスが
リモートＬ３メモリであり、データがキャッシュ内に存
在しない場合、ローカルＬ３及びディレクトリ・ステー
タスを用いて、インタフェースを介して６４バイトを送
信するだけにより、データ転送を最適化する。データが
キャッシュ・ミスを生じ、ターゲットＬ３がローカル側
であり、更にデータがリモート・キャッシュ内でヒット
する場合、それをリモート・キャッシュから転送するよ
うに要求する問い合わせが、他の側に送信される。この
状況では、初期データ転送は発生せず、ターゲット・ラ
インがリモート・キャッシュ内に保持されている場合、
データがインタフェースを介して戻されるだけである。
たとえデータがリモート・キャッシュ内に存在しても、
オペレーション全体は、リモート側からローカル側への
１度のデータ転送を必要とするだけであり、ローカル側
でデータがＩ／Ｏストア・データと併合され、ローカル
Ｌ３メモリ内に記憶される。最後に、Ｉ／Ｏストアの第
３の可能な状況は、ターゲット・データが両方のキャッ
シュ内に読出し専用状態で存在する場合である。再度、
この場合、Ｉ／Ｏストア・データがデータのローカル・
コピーと併合され、インタフェースを介してデータを転
送する必要がない。代わりに、オリジナル・コマンドが
読出し専用無効コマンドに変換され、それがリモート・
フェッチ制御装置１２ａに転送され、リモート・キャッ
シュ内のデータのコピーが無効とマークされる。

【００５０】ＲＳＣ優先ステーション：作業要求をでき
るだけ効率的且つ好都合に処理するために、ＲＳＣイン
タフェース制御装置１０が多重レベル高機能優先ステー
ションを使用する。図４は、全体的な優先ステーション
を示し、これは主コマンド優先ステーション３３と、そ
れに供給するパイプライン事前優先ステーション３２と
を含む。パイプライン事前優先ステーションは、両方の
パイプラインの第１ステージ（Ｃ１）をモニタし、高速
路候補を探索する。任意のＣＰＵフェッチ・コマン
ド（'０１'ｘ乃至'０７'ｘ）が、高速路指定の候補と見
なされる。いずれかのパイプ・コマンドが候補の場合、
それが事前優先ステーション３２に入力し、他のパイプ
ライン・コマンドと共に、Ｃ２ステージング・エリアへ
の選択を競合する。１つのパイプだけがそのサイクルに
おいて有効な候補を有する場合、それが自動的に選択さ
れる。両方のパイプが有効な候補を有する場合、単純な
ラウンド・ロビンが次の順番のものを決定する。

【００５１】パイプ・コマンドがＣ２ステージング・エ
リアに選択されると、それが第２パイプライン・ステー
ジ（Ｃ２）に関連付けられる様々なインタフェース信号
と比較される。これらのＣ２拒絶信号には、様々なＣＰ
Ｕ制御装置１５からのディレクトリ・ステータス、拒絶
信号、及びＬＦＳＡＲ制御装置１１からの高速路阻止信
号が含まれる。これらの信号の組み合わせが、Ｃ２ステ
ージング・エリア内の現オペレーションが、完全に拒絶
されるべきか、或いは主コマンド優先ステーション３３
に転送されるべきかを決定する。オペレーションを拒絶
する可能な原因には、次のものが含まれる。 ○リモート側にデータを問い合わす必要性を否定する適
切な状態を有する、ローカル・ディレクトリをヒットす
るＣＰＵフェッチ ○任意のＣＰＵ ＣＦＡＲ制御装置１５からの拒絶信号 ○Ｃ２パイプライン有効のリセット ○ＬＦＳＡＲ制御装置１１からの高速路阻止信号 ○Ｌ３メモリ構成アレイからの無効アドレス指示

【００５２】拒絶条件が存在しない場合、コマンドは主
コマンド優先ステーション３３に転送され、そこで両方
のＬＦＳＡＲ制御装置１１からの要求と競合する。

【００５３】図４に示されるように、コマンド優先ステ
ーション３３は、パイプライン事前優先ステーション３
２から転送されるパイプライン高速路情報の他に、各Ｌ
ＦＳＡＲ制御装置１１から信号のセットを受信する。更
に、コマンド優先ステーションは、８つの資源レジスタ
２４及びＸＰＴ制御装置２５とインタフェースし、知能
的に好適なオペレーションを選択する。

【００５４】基本的に、オペレーションは、ＬＦＳＡＲ
オペレーションが保留でＲＳＣ資源が使用可能な場合、
常にＬＦＳＡＲオペレーションを選択しようとする。１
つのＬＦＳＡＲ制御装置１１だけが要求しており、ＲＳ
Ｃ資源が使用可能な場合、そのＬＦＳＡＲが選択され
る。両方のＬＦＳＡＲ制御装置１１が要求しており、一
方だけが使用可能な資源を有する場合、そのＬＦＳＡＲ
が選択される。両方のＬＦＳＡＲ制御装置１１が要求し
ており、両方が使用可能な資源を有する場合、フェッチ
・タイプのオペレーションがストア・タイプよりも優先
される。両方の要求が同一のタイプの場合、単純なラウ
ンド・ロビンが次の順番を決定する。最後に、ＬＦＳＡ
Ｒ制御装置１１が要求していない場合、或いはＬＦＳＡ
Ｒ要求を優遇する資源が使用可能でない場合、高速路要
求が選択される。

【００５５】資源の可用性は、オペレーションのタイプ
に依存して変化する。フェッチは最も単純な場合であ
る。なぜなら、要求される資源が、フェッチ・オペレー
ションを処理するパイプラインに対応するリモート・フ
ェッチ制御装置（ＲＦＡＲ）１２ａだけであるからであ
る。ＲＦＡＲは、それらが他のフェッチ・オペレーショ
ンを処理するために使用中であるか、或いは、資源ディ
セーブル・スイッチが活動化され得るために使用不能で
あり得る。コマンド優先ステーション３３は、各ＲＳＣ
資源のディセーブル・スイッチ及び有効ビットをモニタ
し可用性を判断する。

【００５６】システム性能を更に向上させるために、優
先オペレーションが応答ハンドラ２２と協働し、リモー
ト・フェッチの効率を最大化する。通常、フェッチは次
の使用可能なＲＦＡＲ制御装置１２ａにディスパッチさ
れる。リモート・クラスタ上のＲＦＡＲが、パイプライ
ン内のフェッチ要求を処理し、そのデータ・バッファの
ロードを開始する。同時に、それはインタフェースを介
してリモート側のＲＳＣ ＩＣ１０に、最終応答及びデ
ータを返却するように要求を発行する。最終応答が伝送
されるや否や、そのＲＦＡＲ資源が使用可能と見なさ
れ、新たな作業を受諾することが可能になる。新たな非
データ・オペレーションがそのＲＦＡＲに送信される場
合、ＲＦＡＲはそれを、以前のフェッチからの後続バイ
トがまだデータ・バッファから読出されている間に処理
することができる。しかしながら、新たなオペレーショ
ンが第２のデータ・フェッチの場合、そのオペレーショ
ンはバッファが使用可能になるまで、リモート側のパイ
プラインを通じて、連続的にリサイクルされる。

【００５７】本発明は、第２のフェッチ要求が到来する
とき、両方の資源が使用可能であれば、連続的なデータ
・フェッチが交互のＲＦＡＲ制御装置に送信されるよう
に保証することにより、この状況を回避する。例えば、
ＲＦＡＲ Ａ０が第１のフェッチを処理しており、ＲＦ
ＡＲ Ａ０がまだ使用中の間に、第２のフェッチが到来
する場合、（ＲＦＡＲ Ａ１が使用可能と仮定して、）
第２のフェッチがＲＦＡＲ Ａ１に経路指定される。更
に、最終応答が伝送され、ＲＦＡＲ Ａ０が使用可能に
なり、第２のフェッチが到来する場合にも、（ＲＦＡＲ
Ａ０バッファがまだデータを転送しているので、）第
２のフェッチはＲＦＡＲ Ａ１に経路指定される。しか
しながら、ＲＦＡＲ Ａ０がまだ使用中の間に、読出し
専用無効のような非データ・オペレーションが到来した
場合、それはＲＦＡＲ Ａ１に経路指定される。これに
データ・フェッチに相当する第３のオペレーションが続
く場合、ＲＦＡＲ Ａ０が使用可能であれば、たとえバ
ッファがまだ後続バイトの転送のために使用中であって
も、この新たなデータ・フェッチがＲＦＡＲ Ａ０に送
信される。換言すると、要求を異なるＲＦＡＲに交互に
渡す機構は、１対のいずれかの資源の可用性に従う。

【００５８】図５は、前述の機構と、ＲＳＣ優先ステー
ション２１との間の相互作用を示す論理ブロック図であ
る。ＲＳＣ資源２４の各対に対して、資源トグル機能が
ＲＳＣ ＩＣ内に存在する。パイプラインＡに対するＲ
ＦＡＲ対を表す１つの資源トグル器３５が、図５に示さ
れる。これは各ＲＦＡＲ資源（Ａ０及びＡ１）から可用
性信号を受信する。これらの可用性信号は、他の６つの
ＲＳＣ資源からのそれらと一緒に、ＲＳＣ優先ステーシ
ョン２１にも供給される。更に、パイプＡフェッチ・グ
ラント信号が、ＲＳＣ優先ステーションにより生成さ
れ、資源トグル器３５に供給される。最後に、適切な条
件が存在する場合、資源トグル器がトグル保持ラッチ３
６を介して、次のオペレーションに割当てられる資源対
の一方を制御する。資源トグル器は１つの選択信号を生
成し、これがフェッチ・グラント信号と２度論理積さ
れ、ロードＲＦＡＲ Ａ０信号及びロードＲＦＡＲ Ａ
１信号が生成される。そして、これらがＲＦＡＲ Ａ０
資源レジスタ及びＡ１資源レジスタに転送される。

【００５９】図５に示されるトグル器真理値表３７は、
選択信号及びトグル保持ラッチ３６が更新される様子を
示す。２つの資源の一方だけが使用可能な場合、選択信
号はトグル保持ラッチ３６の状態に関係無しに、使用可
能な資源をデフォルト指定する。両方の資源が使用可能
で、フェッチ・グラントがこのパイプラインに対して発
行された場合、トグル保持ラッチの現状態が選択信号を
駆動する。更に、トグル保持ラッチが次のサイクル
で、"他の"資源に仕向けられる続くフェッチを見越して
更新される（但し、他の資源が使用可能な場合）。トグ
ル器真理値表３７の最下部に示されるように、使用可能
信号は資源有効ビット５９ａと、ディセーブル・ビット
５９ｆと、最終応答がこの資源に対して受信済みで、そ
れがこのサイクルで"使用可能"と見なされることを示す
ＲＳＴ＿ＲＦＡＲ＿Ａ０ラッチとの関数である。

【００６０】ストア・タイプ・オペレーションは、コマ
ンドを伴う初期データ転送を含み得るので、フェッチよ
りも複雑である。コマンド優先ステーション３３が、デ
ィセーブル・スイッチ及び有効ビットをテストすること
により、ＲＦＡＲと同様に、リモート・ストア制御装置
（ＲＳＡＲ）１２ｂの可用性の一部を決定する。コマン
ド優先ステーション３３がＲＳＣ基本コマンドを復号
し、それがデータ転送を要求するか否かを見分ける。コ
マンドがデータ転送を要求する場合、データ・バスの可
用性がテストされなければならない。このテストを合格
するためには、次の２つの条件が満たされなければなら
ない。 １．ストアを発行するパイプラインに対応するデータ・
バスが、データ転送のために使用中でないこと。 ２．対応するＲＦＡＲ制御装置１２ａが、他のクラスタ
から発行されたフェッチ・オペレーションに対するデー
タの返却のために、データ経路の使用を要求していない
こと。

【００６１】両方の条件が満たされる場合、またはＩＳ
Ｋオペレーション（コマンド３０）など、ストア・コマ
ンドがデータ経路の使用を要求しない場合、ストア・オ
ペレーションの資源基準が満足される。

【００６２】前述の優先オペレーションは、資源が使用
可能である限り、新たなオペレーションがリモート側に
転送されることを保証する。更に、ＬＦＳＡＲ制御装置
１１を優先化することにより、ＬＦＳＡＲ資源のスルー
プットを向上し、それにより、互いに競合のために待機
し、インタロックされる資源により引き起こされる資源
輻輳及びデッドロックを低減する。一旦オペレーション
が選択されると、コマンド（そのオリジナルのまたは再
マップされたコードポイントによる）がＲＳＣインタフ
ェースを介して、２７ビットのフル・アドレスと一緒に
送信される。リモート側のＲＳＣコマンド・ディストリ
ビュータが、Ｃ０＿Ｃ１＿ＣＭＤコマンド・バスのビッ
ト０の値に従い、コマンドをＲＦＡＲまたはＲＳＡＲに
経路指定する。更に、Ｃ０＿Ｃ１＿ＰＩＰＥ＿ＳＥＬ及
びＣ０＿Ｃ１＿ＲＥＱ＿ＲＥＧ＿ＳＥＬが、コマンドを
オペレーションを処理するパイプラインに関連付けられ
る選択ＲＦＳＡＲ制御装置１２ａまたは１２ｂに仕向け
るために使用される。このリモート資源管理技術は、複
数のパイプライン間で広がる非常に多数の記憶制御装置
の資源が、限られた数のＩ／Ｏを用いて、共用ＲＳＣイ
ンタフェースを使用することを可能にする。

【００６３】前述したように、Ｃ０＿Ｃ１＿ＲＥＱＩＤ
は、インタフェースを介して送信される発信元リクエス
タのＩＤであるが、リモート管理オペレーションには参
加しない。このＩＤは純粋に、リモート側に転送され、
それを必要とする記憶制御装置の資源に渡される情報と
して扱われる。

【００６４】新たなＲＳＣオペレーションを発行すると
き、コマンド優先ステーション３３はグラントを対応す
るＬＦＳＡＲ制御装置１１に発行する。好適な実施例で
は、このグラントを１サイクル遅延することにより、ク
リティカルなタイミング経路を緩和する。しかしなが
ら、この遅延は、ＬＦＳＡＲ制御装置からの要求ライン
が、必要とされるよりも１サイクル長く活動状態である
ことを意味する。ＲＳＣ優先ステーションはこれを考慮
して、次のオペレーションのために要求を分析し、その
同一のオペレーションを再度選択してサイクルを浪費し
ないように保証する。２つのタイプのグラントが各ＬＦ
ＳＡＲ制御装置１１に発行され、それらは何がＲＳＣ優
先ステーション内で生じたかを明示する。正規のグラン
トはＬＦＳＡＲ要求が選択されるとき発行され、特殊な
高速路グラントは、パイプライン高速路コマンドが選択
されるとき発行される。

【００６５】ＲＳＣ資源レジスタ：一旦ＲＳＣ優先ステ
ーション２１が、インタフェースを介して送信するコマ
ンドを選択すると、コマンド及びその関連情報（ＬＦＳ
ＡＲ ＩＤ、リクエスタＩＤ、及びＬＦＳＡＲバッファ
ＩＤ）が、適切なＲＳＣ資源レジスタにロードされる。
図６は、コマンドが適切な保持レジスタにステージされ
る様子を示す。ＣＬＣコマンド４２及びＣ３パイプ・コ
マンド４３ステージング・レジスタの目的は、図６の右
上の３ウェイ多重化４１を通じて、クリティカル経路上
のタイミングを緩和することである。全てのＣＬＣコマ
ンドがＬＦＳＡＲ制御装置１１から発生し、タイミング
的にクリティカルである。全体システム性能を向上する
ために、リモート・オペレーションがインタフェースを
介して、１サイクルで送信される。この同一のコマンド
は、優先論理及び小さなクロスポイント・スイッチを横
断し、適切なＲＳＣ資源レジスタに達しなければならな
いので、これは困難な経路を提供する。好適な実施例
は、入来するＣＬＣコマンド及びパイプ・コマンドをク
ロスポイント・スイッチを介して送信する前にステージ
ングすることにより、これを解決する。

【００６６】図６を再度参照すると、各ＬＦＳＡＲ制御
装置１１要求に関連付けられるコマンドは、ＣＬＣコマ
ンド・ステージング・レジスタ４２にステージされる。
それと並列に、パイプライン事前優先ステーション３２
により選択されるＣ２パイプライン・コマンドが、Ｃ３
パイプ・コマンド・ステージング・レジスタ４３にステ
ージされる。更に並列に、ＣＬＣ及びパイプ・コマンド
・フローが、３ウェイ多重化４１を介して転送される。
この多重化は、コマンド優先ステーション３３から来る
グラント・ラインにより制御される。各ＣＬＣコマンド
は、ＣＬＣパイプラインに関連付けられる２つのＲＦＡ
Ｒコマンド４５レジスタまたはＲＳＡＲコマンド４７レ
ジスタのいずれかにロードされる。このことは、各ＣＬ
Ｃコマンドが４つの可能な宛先を有することを意味す
る。高速路コマンドはＣＰＵフェッチ・オペレーション
に制限されるので、それらは２つのＲＦＡＲコマンド４
５レジスタだけにロードされ得る。コマンドは、２ウェ
イ多重化４４及びゲートウェイ４６から成るクロスポイ
ント・スイッチを介して経路指定される。２ウェイ多重
化は、ＣＬＣコマンド４２及びＣ３パイプ・コマンド４
３レジスタ間を選択する信号により制御される。ゲート
ウェイ４６は、ＣＬＣコマンド４２の通過を許可する信
号ゲート・ラインにより制御される。これらの全ての制
御信号は直交し、選択ＲＳＣオペレーションのグラント
を、次の使用可能な資源を選択する優先論理に結合する
ことにより生じる。

【００６７】ＲＳＣは８つの資源レジスタ２４を含み、
これらが全ての相互クラスタ・オペレーションを処理す
る。このことは、各パイプラインに対する２つのフェッ
チ及び２つのストア・オペレーションが、同時に発生す
ることを可能にする。オペレーション全体は、ローカル
ＲＳＣインタフェース制御装置１０により追跡されるの
で、オペレーションを完了するために要求される全ての
情報は、資源レジスタ２４内に保持されなければならな
い。図７は、１セットの資源レジスタ５９の詳細図を示
し、これはディセーブル・ビット、有効ビット、コマン
ド・レジスタ、オリジナル・リクエスタＩＤレジスタ、
ＬＦＳＡＲ制御装置ＩＤレジスタ、及びＬＦＳＡＲバッ
ファ・レジスタを含む。好適な実施例では、ＬＦＳＡＲ
制御装置１１内の各パイプに対して、２つのＬＦＡＲ及
び２つのＬＳＡＲが存在するが、各パイプに対して、２
つのＬＦＳＡＲバッファだけしか存在しない。従って、
ＬＦＳＡＲ制御装置１１は新たなオペレーションの度
に、２つのバッファの一方を各ＬＦＳＡＲ ＩＤに動的
に割当てなければならない。従って、バッファＩＤが各
新たな要求と共に、ＲＳＣ ＩＣ１０に伝達されなけれ
ばならない。

【００６８】当業者であれば、ＬＦＳＡＲ資源、バッフ
ァの総数、及びそれらのお互いの関係が本発明に影響を
及ぼさないことが理解できよう。バッファの数がＬＦＳ
ＡＲ資源の数に等しく、固定の関係に従う場合、ＲＳＣ
ＩＣはこの情報を追跡するために余分な資源レジスタ
を要求しない。しかしながら、ＲＳＣ ＩＣが、好適な
実施例で示される以外の追加の情報を追跡する必要があ
る他の実施例も存在し得る。資源レジスタ内で追跡され
なければならない情報の量に関係無しに、ここで開示さ
れる原理は当てはまるものである。

【００６９】図７に戻り、この図は多少より複雑なＲＦ
ＡＲ資源の詳細を示す。なぜなら、ＲＦＡＲが、Ｃ３高
速路ステージング・レジスタ５５ａ及びＣＬＣステージ
ング・レジスタ５５ｂの両方を含むからである。図６
は、資源レジスタのコマンド部分だけを示したが、８つ
の全ての資源レジスタを示した。それに対して図７は、
１つの資源だけを示すが、所与のＲＳＣオペレーション
を追跡するために要求される全ての情報が、資源レジス
タにロードされる様子を示す。全ての制御信号はコマン
ド優先ステーション３３から発生する。この図では、優
先グラント（実際に使用される信号のサブセット）だけ
を用い、様々な資源レジスタをロードする論理タイミン
グを示す。

【００７０】まず第１に、オペレーションがグラントを
発行された後のサイクルで、有効ビット５９ａがロード
される。ＯＲゲート５４が、オペレーションが正規のＣ
ＬＣオペレーションか、パイプライン高速路オペレーシ
ョンかに関わらず、有効ビットがロードされるように保
証する。有効ビットは、資源が使用可能か否かを決定す
る上で重要な役割をするので、これは資源が次の優先サ
イクルにおいて、使用不能とマークされることを保証す
る。グラントを資源レジスタ５９のセット全体にファン
アウトすることにより生じる、タイミング・クリティカ
ル経路を緩和するために、本発明は、残りの情報がロー
ド以前に遅延可能である事実を利用する。

【００７１】ＬＦＳＡＲ制御装置１１から発行されるＣ
ＬＣオペレーションは、論理タイミングに関して最も単
純である。これらのオペレーションのために、ステージ
されたＣＬＣグラント５３が、ＯＲゲート５４を介し
て、２ウェイ多重化５６及びゲートウェイ５８を制御す
る。それにより、このグラントが活動状態のとき、ＣＬ
Ｃステージング・レジスタ５５ｂを含む全ての情報が、
有効ビット５９ａのロードに続くサイクルで、資源レジ
スタの残りのセット５９ｂ乃至５９ｄにロードされる。

【００７２】パイプライン高速路オペレーションは、Ｃ
３高速路ステージング・レジスタ５５ａにステージさ
れ、そこにはＣ３コマンド及びリクエスタＩＤレジスタ
だけが存在する。この状況では、ステージされた高速路
グラントＬＣ５２ａが、２ウェイ多重化５６を介して、
Ｃ３パイプライン・コマンド及びリクエスタＩＤを選択
し、それらをコマンド５９ｂ及びリクエスタＩＤ５９ｃ
資源レジスタにロードする。これらの高速路オペレーシ
ョンがパイプラインの第３ステージに達すると、それら
がＬＦＡＲ資源にロードされ、ＬＦＡＲバッファに割当
てられる。これは多くのＣＰＵフェッチ・オペレーショ
ンが複数のパイプライン・パスを要求し、ＬＦＡＲがフ
ェッチ・オペレーション全体を管理することが要求され
るために必要である。従って、一旦この割当てが知れる
と、ＬＦＳＡＲ制御装置１１が、パイプライン高速路オ
ペレーションの直後のサイクルで、特殊な要求をＲＳＣ
ＩＣ１０に提示する。要求と一緒に、ＬＦＳＡＲイン
タフェースは、ＬＦＡＲ ＩＤ及びＬＦＡＲバッファＩ
Ｄを含む。ＲＳＣ ＩＣは高速路グラントＬＣ２トリガ
により、情報がＣＬＣ ＢＦＲレジスタ及びＣＬＣ Ｒ
ＥＱレジスタ５５ｂ内で使用可能になるタイミングを示
す。これによりコマンド５９ｂ及びリクエスタＩＤ５９
ｃレジスタに続くサイクルで、この情報がゲートウェイ
５８を介してゲートされ、ＬＦＳＡＲバッファ５９ｄ及
びＬＦＳＡＲ ＩＤ５９ｅレジスタにロードされる。

【００７３】好適な実施例は更に、エンコーダ５７の使
用を示し、これはＣＬＣ ＲＥＱレジスタ内に存在する
８つの要求信号の８対３符号化を実行し、ＩＤを３ビッ
ト値として、ＬＦＳＡＲ ＩＤレジスタ５９ｅに記憶す
る。更に、ディセーブル・レジスタ５９ｆとして示され
る追加の１ビットが、完全性のために含まれる。この１
ビット・レジスタは走査可能なレジスタであり、好適な
実施例のＵＢＵＳを介してロードされ得る。各ＲＳＣ資
源レジスタは、こうしたディセーブル・ビットを有し、
これはマイクロコードやファームウェア・ロード、また
はシステム・リセットなどを通じて、資源が永久にまた
は一時的に使用禁止になることを可能にする。このビッ
トは、ＲＳＣ ＩＣ１０の通常のシステム・オペレーシ
ョンでは何の役割も演じないが、エンジニアリング・デ
バッグ及びインタフェース性能分析において有用であ
る。

【００７４】応答処理：図２に示される応答ハンドラ２
２は、リモート・クラスタから返却される全ての応答ト
ラフィックを処理し、適切な完了信号をイニシエータに
送信する役目をする。ＲＳＣ ＩＣ１０により受信され
る、２つの主な応答のタイプが存在する。ＲＳＣオペレ
ーションの多くは、データがリモート・キャッシュ内に
存在するか否かを決定するための、リモート相互問い合
わせ（ＸＩ）を含む。これらのオペレーションの１つが
呼び出されると、コマンドが他の側で受信され、保証さ
れた優先レベルによりリモート・パイプに入力する。パ
イプへのこの保証付きのエントリは、オペレーションが
インタフェースを介して発せられる時点と、ヒット／ミ
ス結果が知れる時点との間に、同期関係が存在すること
を可能にする。本実施例では、コマンドがＲＳＣインタ
フェースに提供されてから４サイクル後に、ＸＩ応答が
返却される。

【００７５】ＲＳＣ優先２１サイクルで始まり、応答ハ
ンドラ２２は図８に示されるステージング機構を用い
て、ＸＩ応答を追跡する。ローカル・キャッシュでミス
を発生する特定のタイプのフェッチの性能を向上するた
めに、ＲＳＣ ＩＣは、同期インタフェースに結合さ
れ、フェッチがローカルＬ３メモリまたはリモートＬ３
メモリのいずれをターゲットとするかを示すアドレス・
ビットにより、自動的にオペレーションを退けるか否か
を決定する。例えば、フェッチがリモートＬ３メモリを
ターゲットとする場合、ＲＳＣ資源はオペレーションが
完了するまで、有効に維持されなければならない。なぜ
なら、所望のデータがリモート・キャッシュまたはリモ
ートＬ３メモリのいずれかから到来するからである。し
かしながら、アドレスがローカルＬ３メモリをターゲッ
トとし、データがリモート・キャッシュ内に存在しない
場合には、データ・フェッチがローカルＬＦＡＲ制御装
置により処理されるので、資源が新たなオペレーション
のために解放され得る。

【００７６】毎サイクルごとに、ＣＬＣコマンド・レジ
スタ５５ｂの各々がデコーダ６１により分析され、それ
が相互問い合わせ（ＸＩ）を要求するフェッチ・コマン
ドの１つであるか否かが見分けられる。この結果が、Ｃ
ＬＣローカルＬ３ビット６０と、このＣＬＣオペレーシ
ョンがグラントを発行されたことを示すＲＳＣ優先ステ
ーション２１からの信号と結合される。並列に、Ｃ３パ
イプ・ローカルＬ３ビットが、高速路オペレーションが
グラントを発行されたことを示す、ＲＳＣ優先ステーシ
ョン２１からの類似の信号と結合される。定義上、全て
の高速路オペレーションは、相互問い合わせを要求す
る。グラントは相互に排他的なので、１つの分岐だけが
任意のサイクルにおいて活動化され得る。これらの信号
が、２ウェイＡＮＤ／ＯＲ多重化６３内で図示のように
結合され、条件が真であれば、４ビットＬ３ステージン
グ・パイプライン６４の１ビットをロードする。このパ
イプラインは、各サイクルに対して、４ビット・ステー
ジング・レジスタを含み、ステージ２から開始し、ステ
ージ６で終了する。４ビットの各々は、ＲＦＡＲ資源１
２ａの１つを表す。図８では示されていないが、前述し
た機能を成す全ての要素が、４回複製され、結果の出力
がステージ２のビットの各々に供給される。再度、これ
らのＲＦＡＲ資源の１つだけが、任意の所与のサイクル
でロードされるので、Ｌ３ステージング・パイプライン
６４内の各ステージの４ビットは直交する。パイプライ
ンのステージ６は、ＸＩ応答が応答ハンドラ２２により
受信されるときのサイクルに対応する。４ビットのいず
れかが活動状態で、ＸＩ応答がミスの場合、有効ビット
５９ａをオフにすることにより、対応するＲＳＣ資源レ
ジスタがリセットされる。

【００７７】データ・フェッチのサブセットの間にだけ
ロードされる特殊Ｌ３ステージング・パイプライン６４
に加え、図８はＲＦＳＡＲステージング・パイプライン
６７を示し、これは新たに開始されたあらゆるＲＳＣオ
ペレーションによりロードされる。各ＲＳＣ資源レジス
タ２４は、資源が最後のサイクルでロードされたことを
示す１ビット・ラッチを含む。これらの８つの資源ロー
ド・ラッチ６５は直交する。なぜなら、各サイクルにお
いて、１資源だけが新たなオペレーションによりロード
され得るからである。これらの８つのレジスタの出力
は、８対３エンコーダ６６により符号化され、３ビット
符号化値が、ＲＦＳＡＲステージング・パイプ６７内に
記憶される。このパイプラインもまたステージ２から開
始し、ステージ６で終了する。３ビットＲＳＣ資源ＩＤ
は有効ビットと結合され、ステージ６に達するまで、各
サイクルごとにステージを通じてパイプライン処理され
る。論理タイミングに関しては、このＩＤは、ＸＩ応答
及びリモート・インタフェース・エラー信号が受信され
るのと同一サイクルのステージ６に到来する。

【００７８】インタフェース・エラーの場合、３ビット
ＲＦＳＡＲ ＩＤが復号され、オペレーションに関わる
ＲＳＣ資源レジスタ２１をリセットするために使用され
る。更に、ハードウェア・ルックアップ・テーブル６８
を用いて、３ビットＲＳＣＩＤにより、資源レジスタの
ＬＦＳＡＲ ＩＤ５９ｅレジスタを指標化する。ＬＦＳ
ＡＲ ＩＤレジスタの内容が更に復号され、インタフェ
ース・エラー信号を適切なＬＦＡＲ制御装置またはＬＳ
ＡＲ制御装置に送信するために使用される。例えば、Ｒ
ＦＳＡＲステージング・パイプライン６７のステージ６
が、値"０１０"を含む場合、これはパイプＡのＲＳＡＲ
０がＲＳＣ資源であることを示す。ルックアップ・テー
ブル６８はこの時、パイプＡ ＲＳＡＲ０資源内のＬＦ
ＳＡＲ ＩＤレジスタを復号し、その値がこの特定のオ
ペレーションに関連付けられるＬＳＡＲを指し示す。所
与のオペレーションを、対応するローカルＬＦＡＲ制御
装置またはＬＳＡＲ制御装置に関連付ける能力は、多く
のＲＳＣオペレーションの再試行を可能にする。しばし
ば、インタフェース・エラーは断続的に発生し、従って
オペレーションを再試行する能力が、不要なシステム機
能停止を阻止する。

【００７９】ＲＦＳＡＲステージング・パイプライン６
７を使用する追加のシステム性能改善は、高速読出し専
用無効（FAST READ-ONLY INVALIDATE）である。ＲＳＣ
オペレーションの１つは読出し専用無効であり、キャッ
シュ内に存在するデータの読出し専用コピーが、リモー
ト側で無効にされなければならない。これは例えば、Ｃ
ＰＵが排他的所有権により、データのフェッチを希望
し、他のＣＰＵがデータの読出し専用コピーを有すると
きに発生する。他のＣＰＵがリモート側に存在する場
合、ＲＳＣ ＩＣは読出し専用無効コマンドを送信し、
他のクラスタ上のリモート・フェッチ制御装置１２ａが
それを処理する。通常、これはディレクトリ・エントリ
を無効にする単純なパイプライン・パスを生じる。時
々、これらの初期パイプライン・パスは、リモートＣＰ
Ｕのために同一のラインのアクセスを試みる別の制御装
置とのアドレス比較を生成する。これらの衝突が発生す
るとき、衝突を完全に解決する以前に、排他的所有権を
要求しているＣＰＵにデータを所有させることが安全な
場合がある。本発明におけるリモート・フェッチ制御装
置１２ａは、初期パイプライン・パスの間に、これら
の"安全な"状況を検出し、同期ＸＩ応答バスを介して、
ＲＳＣ ＩＣに安全に進行可能であることを知らせる能
力を有する。

【００８０】図９は、読出し専用無効ステージング・パ
イプライン７５を示し、これは前述の他の２つのステー
ジング・パイプラインと同様に作用する。両方のパイプ
ラインのＣＬＣコマンド・レジスタ５５ｂが、読出し専
用無効オペレーションを除外するＲＯＩデコーダ７３に
より復号される。これがＣＬＣグラント５３と結合さ
れ、有効な読出し専用オペレーションが開始されたこと
を示す。再度、これらの内の１つだけが、任意の所与の
サイクルで開始され得る。結果がＲＯＩ多重化７４に供
給され、読出し専用無効ステージング・パイプライン７
５のステージ２をセットするために使用される。このビ
ットは下流のステージ６にパイプライン処理され、そこ
で応答ハンドラ２２に受信されたＸＩ応答と提携する。
ＲＯ無効ステージ６ビットが活動状態で、ＸＩ応答がミ
スの場合、ＲＦＳＡＲステージ６レジスタ６７及びＬＦ
ＳＡＲルックアップ・テーブル６８が、関連するＬＦＡ
Ｒ制御装置を解放するために使用され、初期オペレーシ
ョンの完了を可能にする。リモート・フェッチ制御装置
は読出し専用無効を処理し続け、従ってＲＳＣ資源有効
ビットが活動状態に維持される。一旦リモート・フェッ
チ制御装置１２ａがオペレーションを完了すると、それ
は最終応答を返却し、これがオペレーションを退け、資
源が新たな作業を受諾することを可能にする。その間、
読出し専用無効に関連付けられるＬＦＡＲが、新たなオ
ペレーションを開始したかもしれない。読出し専用無効
に対する最終応答が、新たなＬＦＡＲオペレーションに
対する最終応答と間違えられないようにするため、ＲＳ
Ｃ ＩＣは各ＲＦＡＲ資源に対する保持レジスタを含
む。高速読出し専用無効機構がＬＦＡＲを解放するため
に使用される都度、適切な保持レジスタがセットされ、
今度の最終応答がそのＬＦＡＲに知らされることを防止
する。一旦最終応答が受信され、オペレーションが公式
に完了されると、保持レジスタが残りの資源レジスタと
一緒にリセットされる。

【００８１】相互問い合わせ以外の、リモート・オペレ
ーションに関わる本発明の全てのオペレーションは、符
号化最終応答により終了する。応答ハンドラ２２が符号
化応答ＩＤバスを用い、応答をオペレーションを開始し
たＬＦＳＡＲ ＩＤと突き合わせる。最低限、ＲＳＣ
ＩＣ１０は発信元ＬＦＳＡＲ制御装置に、オペレーショ
ンが完了したことを知らせ、後者は資源を解放すること
ができる。データがリモート側からフェッチされる場
合、データ・アドバンス（advance）が対応するローカ
ルＬＦＡＲ制御装置に送信され、ＬＦＡＲ制御装置はロ
ーカル・ディレクトリ・ステータスを更新できる。更
に、ＲＳＣ ＸＰＴコードポイントがデータ・フロー・
チップに送信されるように、信号がＸＰＴ制御措置２５
に送信される。

【００８２】リモート・オペレーションのサブセットは
また、全応答コードがＣＦＡＲ制御装置１５に転送され
るように要求する。例えば、ＣＦＡＲ制御装置はこの信
号応答により、早期応答及び最終応答を中央処理ユニッ
トに返送しなければならない。本発明で定義される７つ
の応答ビットの内、ビット０及びビット１は、実際の応
答値内に含まれない。代わりに、それらは次の特殊な意
味を有する。 ○ビット０は、通常、デッドロック状況を回避するため
に、リモート・オペレーションが拒絶されたことを示
す。このビットにより、再試行信号が適切なＬＦＳＡＲ
に送信される。ＬＦＳＡＲはオペレーションを後に再試
行しようとする。 ○ビット１は、ラインが変更状態のリモート・キャッシ
ュをヒットしたことを示す。この情報は、データ・フェ
ッチの間にＬＦＡＲにより、ローカル・ディレクトリの
最終状態を計算するために使用される。

【００８３】残りのビットは、開始オペレーションに依
存して、様々な完了コードを示すために符号化される。

【００８４】応答優先：リモート側から返却される応答
を処理することに加え、ＲＳＣ ＩＣは応答優先機能を
用い、応答をリモート側に送信する。これらの応答は相
互問い合わせ（ＸＩ）形式であり、リモート・クラスタ
から開始され、ローカル・クラスタ上で処理されるオペ
レーションの最終応答である。（合計４つのリクエスタ
に対する）各パイプラインからのローカルＲＦＡＲ１２
ａ制御装置及びＲＳＡＲ１２ｂ制御装置が、最終応答を
ＲＳＣ ＩＣ１０に送信するためのＸＩ応答及び要求を
提示する。相互問い合わせはフェッチ・オペレーション
だけに関与するので、ＲＦＡＲ制御装置１２ａだけがＸ
Ｉ応答を提示できる。更に、１つの相互問い合わせだけ
がリモート側により１度に開始され得、それらがパイプ
ラインを通じて、固定サイクル数で処理されることが保
証されているので、４つの可能なＲＦＡＲＸＩ応答の１
つだけが、任意の所与のサイクルにおいて活動状態であ
り得る。従って、応答優先２３論理は単に４つのＸＩ応
答を一緒に論理和し、出力をインタフェースに転送す
る。

【００８５】最終応答要求は、ＲＦＡＲ１２ａ制御装置
及びＲＳＡＲ１２ｂ制御装置から生じ得、リモート・オ
ペレーションが長さ的に大きく変化するので、応答は非
同期に発生する。応答優先２３論理がＲＳＣ優先ステー
ション２１と相互作用し、いずれかの最終応答要求が優
遇され得るかを判断する。データ・フェッチ以外のオペ
レーションでは、応答論理は単純な優先オペレーション
を用い、４つのＲＦＳＡＲの１つを選択し、応答をイン
タフェースを介して転送する。２つ以上のＲＦＳＡＲが
要求を同一のサイクルに発行する場合、オペレーション
はＲＦＡＲをＲＳＡＲよりも優先する。このことは、Ｃ
ＰＵにより要求されるフェッチ・データが、不必要にＲ
ＳＡＲ応答トラフィックにより遅延されないように保証
することにより、システム性能を向上させる。両方のＲ
ＦＡＲが同一サイクルにおいて要求を提示する場合、オ
ペレーションはラウンド・ロビンを用い、ＲＦＡＲの一
方を選択する。優遇されるＲＦＡＲが存在せず、２つ以
上のＲＳＡＲが要求している場合、単純なラウンド・ロ
ビンがＲＳＡＲを選択する。

【００８６】本発明の新規の側面の１つは、共用データ
・バスの効率を最大化するための、応答優先機能２３と
ＲＳＣ優先ステーション２１間の相互作用である。（遠
隔的に開始されたフェッチに関する）フェッチ・データ
の返却は、局所的に開始されたストア・オペレーション
と同一のデータ経路を共用しなければならないので、ス
トア転送の完了を待機している間に、フェッチが遅延さ
れる潜在性が存在する。応答優先は、フェッチ・データ
を返却しようとする最終応答要求のために、次のステッ
プを実行することにより、この潜在性を低減する。 １．要求元ＲＦＡＲのパイプラインに対応するデータ経
路が、使用可能か否かをチェックする。使用可能でない
場合、ＲＳＡＲ要求が保留であれば、優先論理が即時そ
のＲＳＡＲ要求を選択する。 ２．データ経路が使用可能な場合、優先論理がＲＦＡＲ
を選択し、ＲＳＣ優先ステーションに、データ転送を含
む保留のＬＳＡＲストア・オペレーションの選択を阻止
するように伝える。

【００８７】両方の優先機能２１及び２３内のオペレー
ションは、周期的に動的であり、これはそれらが各サイ
クルごとに現環境を評価し、１サイクル内に全ての判断
を下すことを意味する。従って、データ経路が使用不能
なために、要求が遅延される場合、その要求は自身がサ
ービスされ得る最初のサイクルにおいてサービスされ
る。インタフェースを介する伝送のための要求が選択さ
れる都度、グラントが要求元ＲＦＳＡＲに送信され、要
求元ＲＦＳＡＲは現要求を取り下げ、新たな要求を次の
サイクルで発行できる。実際の応答に加え、ＲＳＣ Ｉ
Ｃはまた、応答を返却しているＲＦＳＡＲを示す３ビッ
ト符号化応答ＩＤバスを送信する。他の側の応答ハンド
ラ２２がこの３ビットのＩＤを復号し、リセットされる
必要のあるＲＳＣ資源レジスタを解析する。

【００８８】全ての応答がＲＳＣインタフェースを１サ
イクル内に横断するが、２つのオペレーションは追加の
情報のために応答バスを使用する。キー・オペレーショ
ンの間、実際のキーが応答の直後に続く。テスト・バイ
ト・アブソリュート（ＴＢＡ）・オペレーションの間に
は、更にＴＢＡステータスが次のサイクルで応答に続
く。いずれの場合も、ＲＦＳＡＲ制御装置が、応答要求
に付随して、これが２サイクル・オペレーションである
ことを示す特殊な信号を、ＲＳＣ ＩＣに送信する。そ
れにより応答優先２３は、第２のサイクルの間に、新た
なＲＦＳＡＲ最終応答を選択するのを回避する。

【００８９】クロスポイント（ＸＰＴ）制御装置：好適
な実施例のＲＳＣインタフェースは、合計４つの４倍長
ワード（ＱＷ）・データ経路をサポートする。各パイプ
に対して、各方向（ローカルからリモート、及びリモー
トからローカルの方向）に１つのデータ経路が存在す
る。物理的に、各データ経路はその実現に２つのＳＣＤ
チップを要求し、各データ・チップがダブル・ワード
（ＤＷ）を伝搬する。この設計は共用バス構造と、真に
専用のポイント−ポイント間データ・フローとの間の妥
協案である。各方向において、単方向データ経路が存在
するが、各データ経路は、インタフェースの両側から開
始されたデータを多重化しなければならない。例えば、
リモートＳＣをローカルＳＣに接続するデータ経路は、
局所的に開始されたフェッチ要求に応答して、データを
返却するためにいつでも使用されるか、或いはリモート
側により開始されたストア・オペレーションに伴うスト
ア・データを伝送するために使用され得る。理想的に
は、これらのオペレーションは別々のデータ経路により
分離されるべきであるが、パッケージ化制限がこれを阻
む。しかしながら、各パイプに対して、単方向バスが両
方向に存在する事実が、１サイクルにつき４つのＱＷ
（すなわち６４バイト）の同時移動を可能にする。

【００９０】ＲＳＣ ＩＣは、４つの全てのデータ経路
を監視するクロスポイント（ＸＰＴ）制御装置２５を含
む。実際、各データ経路の半分が、各クラスタ上のＸＰ
Ｔ制御装置により制御される。例えば、ローカルＳＣか
らリモートＳＣに転送されるデータは、ローカルＲＳＣ
ＩＣにより駆動され、リモートＲＳＣ ＩＣにより受
信される。従って、ＸＰＴバスの駆動部分はローカルＲ
ＳＣ ＩＣから発生する一方、受信部分はリモートＲＳ
Ｃ ＩＣから到来する。４つの全てのデータ経路が１１
ビット制御バスにより制御され、ここでビット（０：
５）は受信側を制御し、ビット（６：１０）は駆動側を
制御する。これらの部分的ＸＰＴバスは、以下では、受
信ＸＰＴ（ＲＣＶ ＸＰＴ）及び駆動ＸＰＴ（ＤＲＶ＿
ＸＰＴ）と呼ばれる。

【００９１】図１０は、１つのＲＳＣ ＩＣ内の１パイ
プラインの受信ＸＰＴ及び駆動ＸＰＴの内部論理を示
す。クリティカル・タイミング経路を緩和するために、
ＸＰＴ情報が可能であれば事前にセット・アップされ
る。ＸＰＴ発生器８１ａ論理の役割は、ＲＳＣ資源情報
と外部信号との組み合わせを用い、適切なデータ経路制
御をセット・アップすることである。トリガ８２ａ及び
８２ｂは、転送データに関して、ＸＰＴ情報を正に正確
な時間にＲＳＣ ＸＰＴバス上に解放するゲートとして
作用する。ＲＳＣ ＸＰＴバスのビットは、データ・チ
ップ上の様々なバッファ制御装置及びクロスポイント・
スイッチにより受信される。この論理は単純なデコーダ
を含み、これらがバッファ・アドレス及び書込み制御、
更にセレクタを活動化する。データ・チップは、データ
転送の背後の論理オペレーションの知識を有さないの
で、ＲＳＣ ＸＰＴバスが、各ＱＷの転送に対して１
度、"パルス駆動"されなければならない。従って、デー
タのラインが転送を要求する場合、ＲＳＣ ＩＣは適切
な値を１６連続サイクルの間、ＲＳＣ ＸＰＴバス上に
保持しなければならない。

【００９２】ＸＰＴ制御装置２５のＲＣＶ＿ＸＰＴ部分
に注目すると、ＲＣＶ ＸＰＴ発生器８１ａ論理が、Ｒ
ＦＡＲ資源レジスタ、ブロックＸＰＴ信号、及びＲＳＣ
＿ＣＭＤにより供給されるように示される。前述のよう
に、データは２つの理由のために、すなわち、局所的に
開始された要求からの返却フェッチ・データ、または遠
隔的に開始されたストア・オペレーションからの入来ス
トア・データのために、このＳＣにより受信され得る。
前者の場合、このＲＳＣ ＩＣがフェッチ・オペレーシ
ョンを担当し、ＲＦＡＲ資源レジスタのセット内に全て
の情報を有する。ＸＰＴ発生器論理は、コマンド５９
ｂ、要求ＩＤ５９ｃ、ＬＦＡＲバッファ５９ｄ、及びＬ
ＦＡＲ ＩＤ５９ｅレジスタ内の情報を使用し、ＲＣＶ
＿ＸＰＴの値を計算し、データ転送長を決定する。長さ
が１ＱＷよりも大きい場合、ＸＰＴ制御装置８３が適切
なサイクル数によりロードされる。これは全て、コマン
ドがインタフェースを介してディスパッチされた少し後
で発生する。データが返却されるとき、第１のＱＷは常
に、符号化応答'０３'ｘ、'２３'ｘ、'０５'ｘ、また
は'１８'ｘ乃至'１Ｂ'ｘを伴う。（マッチングenc_resp
_idを有する）これらの応答の１つをトリガ論理８２ａ
に受信すると、ＲＣＶ＿ＸＰＴがＲＳＣ＿ＸＰＴバス上
に解放される。複数のＱＷが含まれる場合、ＸＰＴ制御
装置はカウントが尽きるまで、ＲＣＶ＿ＸＰＴ値を供給
し続ける。ＲＣＶ＿ＸＰＴはオペレーションに従い、デ
ータを適切なＣＰＵポート、Ｉ／Ｏポート、ＬＳＡＲバ
ッファ、またはＬＦＡＲバッファ（後にキャッシュに含
むため）に仕向ける。特定の状況の下では、ローカルＣ
ＰＵに仕向けられるデータが、最後の瞬間、ＣＰＵに送
信されるのを阻止しなければならない。ＲＳＣ ＩＣ
は、各ＬＦＡＲ１１制御装置及びＣＦＡＲ１５制御装置
から、トリガを抑制するために使用される幾つかの阻止
信号を受信する。

【００９３】ＲＣＶ＿ＸＰＴバスの使用に関する第２の
状況は、リモート・クラスタから開始されたストア・デ
ータの受信に関わる。これは完全に非同期な事象である
ので、ＸＰＴ発生器８１ａ及びトリガ論理８２ａが同時
に呼び出される。ＲＳＣ ＩＣは、ローカルＲＳＡＲ制
御装置１２ｂからのデータ・アドバンス・トリガと同様
に、入来ＲＳＣ＿ＣＭＤバスの一部をモニタする。ＲＳ
ＡＲ＿ＤＡＤＶが活動状態で、コマンドのサブセットが
適切な値に復号される場合、ＲＣＶ＿ＸＰＴがセット・
アップされて、ＲＳＣ＿ＸＰＴバスに提供され、それに
よりローカル・データ経路チップが入来データを受諾
し、それをＲＳＡＲバッファに経路指定するように指示
される。

【００９４】駆動ＸＰＴ（ＤＲＶ＿ＸＰＴ）は類似に作
用する。再度、２つの状況がこのデータ経路の使用を要
求する。第１の状況は、局所的に開始されたストア・オ
ペレーションに関わる。この場合、ＲＳＡＲ資源レジス
タが、必要に応じてＤＲＶ＿ＸＰＴをセット・アップ
し、ＸＰＴ制御装置８３をロードするために必要な全て
の情報を保持する。トリガ論理８２ｂにより受信される
ＲＳＡＲ＿ＳＴ＿ＯＰ信号が、インタフェースを介する
コマンドの発行に関して、データが転送され始めるタイ
ミングを制御する。他の側のＲＳＡＲがリモートＲＳＣ
ＩＣにＲＳＡＲ＿ＤＡＤＶを活動化し、後者が"起動
（wake up）"し、ストア・データを受諾し得る。ＲＳＡ
Ｒ＿ＳＴ＿ＯＰ信号は、単にＲＳＡＲコマンド５９ｂレ
ジスタの復号であり、現オペレーションがストア・デー
タ転送を要求するか否かを判断する。全てのストア・デ
ータはローカル側のＬＳＡＲバッファから発生し、ＤＲ
Ｖ＿ＸＰＴがこれらのバッファの読出しを制御する。

【００９５】他の状況は、他の側により要求されたフェ
ッチ・データの返却に関わる。このデータの源はＲＦＡ
Ｒバッファ、ＰＭＡインタフェースまたは任意のＣＰＵ
リモート・センス・レジスタであるので、ＸＰＴ発生器
８１ｂ論理が、ＭＢＡ＿ＩＤに加え、ＲＦＡＲ制御装置
１２ａからの信号の組み合わせを使用する。非０のＭＢ
Ａ＿ＩＤは、データがそのＩＤに対応するリモート・セ
ンス・レジスタから到来することを示す。ＩＤが０の場
合、データがＲＦＡＲバッファまたはＰＭＡインタフェ
ースのいずれから到来するかを決定するために、様々な
ＲＦＡＲ信号が使用される。これらの信号の１つである
ＰＭＡ＿ＤＡＴＡ＿ＲＤＹ信号は、データがＬ３メモリ
から記憶制御装置に転送されている時間窓の間に、ＲＦ
ＡＲ制御装置１２ａにより生成される。この窓の間に、
応答優先２３がＲＦＡＲ符号化応答要求を処理できる場
合、データがＲＦＡＲバッファをバイパスし、直接ＲＳ
Ｃインタフェースに転送され得る。他方、応答優先２３
がグラントを要求元ＲＦＡＲに発行する以前に窓の終り
に達する場合、ＰＭＡ＿ＤＡＴＡ＿ＲＤＹ信号が取り下
げられる。この時、ＸＰＴ発生器８１ｂ論理が、ＲＳＣ
インタフェースが使用可能になり、データをバッファか
らインタフェースに転送できるようになるまで、データ
をバッファに経路指定する。本発明のこの側面は、リモ
ート・クラスタへのＣＰフェッチの間、不要なバッファ
・ロード及びアンロードを排除することにより、一層シ
ステム性能を向上させる。

【００９６】ＤＲＶ＿ＸＰＴのセット・アップに加え、
ＲＦＡＲ制御装置１２ａからの幾つかの信号が、データ
転送長の導出を可能にするＣＲＦ＿ＸＦＲ＿ＬＥＮバス
を構成する。返却データの場合、トリガ論理８２ｂ
が、"返却フェッチ・データ"を示すＥＮＣ＿ＲＥＳＰ値
に結合される、応答優先ステーションからのＲＦＡＲグ
ラントにより活動化される。これはＤＲＶ＿ＸＰＴが、
ＲＳＣ＿ＸＰＴバスの別の半分上に解放されることを可
能にする。再度、転送長が１ＱＷよりも大きい場合、Ｘ
ＰＴ制御装置８３はカウンタが尽きるまで、連続的にＲ
ＳＣ＿ＸＰＴを活動化する。

【００９７】ここでＲＳＣの非同期の性質は、頻繁な衝
突を導く点に注意を要する。こうした衝突は例えば、ロ
ーカルＲＳＣがストア・オペレーションを開始しようと
する一方で、リモート・フェッチ・オペレーションのた
めに、同時にデータを返却しようとするなどである。デ
ータ経路上で衝突を回避する一方、性能を最大化するた
めに、ＸＰＴ制御装置２５は優先ステーションと密接に
相互作用し、常に可能であれば、返却フェッチ・データ
が優先権を有するように保証する。また、一旦データ経
路が使用中になると、優先ステーションは即時、データ
経路を要求しない新たなオペレーションの開始に集中
し、常に作業がクラスタ間で転送され続けるように努力
する。

【００９８】ディセーブル・スイッチ：ＲＳＣ資源レジ
スタの各々は、図７に示される１ビットのディセーブル
・ラッチ５９ｆを含む。このラッチが'１'に走査される
と、資源のあらゆる組み合わせが永久に禁止される。更
に、これらのラッチはＵＢＵＳレジスタ内の４つのビッ
トを用いてセットされ得る。好適な実施例で示される記
憶制御装置は、一連のこれらのＵＢＵＳレジスタを含
み、それらはファームウェア及びＣＰミリコードを通じ
て、読出され、書込まれ、変更され得る。ディセーブル
・ラッチは、これらのミリコード制御式ＵＢＵＳレジス
タの１つを介して制御されるので、ＲＳＣ資源の動的な
ディセーブル化（すなわち使用不能にすること）が、ミ
リコード・ルーチンまたは一時的パッチの一部として達
成され得る。こうした用途の１つは、様々な作業負荷に
対する複製資源の効果を決定する比較性能分析である。

【００９９】下位のコード・ポイント'１'ｘ乃至'６'ｘ
は、コード・ポイント'８'ｘ乃至'Ｆ'ｘとは異なって作
用する。コード・ポイント'８'ｘ乃至'Ｆ'ｘの呼び出し
は、ＲＳＣ ＩＣ内の関連ディセーブル・ビットを活動
化することにより、単に選択資源をディセーブルする。
複数の資源の任意の所望の組み合わせの使用を禁止する
ため、連続的なＵＢＵＳ書込みオペレーションが使用さ
れ得る。下位コード・ポイントはディセーブル状況を生
じ、それによりＲＳＣ ＩＣ内の優先論理がディセーブ
ル・モードをモニタし、インタフェース活動を適宜制限
する。例えば、モード'２'ｘが選択される場合、優先論
理は、第１のオペレーションが完了するまで、第２のオ
ペレーションが開始されないように保証する。

【０１００】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１０１】（１）対称多重処理環境において資源を管
理するリモート資源管理システムであって、対称マルチ
プロセッサ・システムのクラスタ・ノード間のインタフ
ェースを有する、対称マルチプロセッサの複数のクラス
タと、ローカル・インタフェース及びローカル・インタ
フェース制御装置と、それぞれが前記ローカル・インタ
フェース制御装置を有する１つ以上のリモート記憶制御
装置と、ローカル−リモート間データ・バスと、複数の
プロセッサ、共用キャッシュ・メモリ、複数のＩ／Ｏア
ダプタ及び主メモリをそれぞれが有する、前記対称マル
チプロセッサの２つの前記クラスタ間のインタフェース
を管理するリモート資源マネージャとを含み、前記リモ
ート資源マネージャがリモート記憶制御装置により資源
を管理し、作業要求を開始したリクエスタの知識を必要
とすること無く、所望のオペレーションを実行するエー
ジェントとして作用する前記リモート制御装置に前記作
業を分配し、前記対称マルチプロセッサの前記クラスタ
間の絶え間の無い通信の必要無しに、リモート・リクエ
スタが作業処理のために使用可能な場合にだけ、前記作
業が転送される、リモート資源管理システム。 （２）待ち行列化された要求を優先順位付けするステッ
プと、新たなオペレーションを前記インタフェースを介
して送信するステップと、他の側からの返却応答を処理
するステップと、前記クラスタ間の全てのデータの転送
を監視するステップとを含む、インタフェース・タスク
の制御を担う各クラスタ上の１つのインタフェース・マ
クロを有し、前記ローカル・インタフェース制御装置
が、前記作業要求を前記リモート側に開始するだけでな
く、前記リモート側のフェッチ／ストア制御装置を管理
することにより、新たなオペレーションを使用可能な前
記リモート制御装置に即時経路指定し、それにより前記
リモート制御装置が、前記ローカル・インタフェース制
御装置のために作用するエージェントとなり、前記ロー
カル・インタフェース制御装置がリクエスタのために作
用し、オペレーションの所有者を識別する情報を送信す
る必要性を排除する、前記（１）記載のリモート資源管
理システム。 （３）幾つかのローカル・オペレーションが１つのアト
ミック・リモート・オペレーションと結合されることを
可能にする、コマンド再マップ化オペレーションを有す
る、前記（２）記載のリモート資源管理システム。 （４）データの読出し専用コピーのためのプロセッサ・
フェッチ要求、及び記憶保護キーを含む読出し専用デー
タのためのフェッチ要求が、前記リモート・クラスタ上
の前記フェッチ制御装置が、同一の状態図及びキャッシ
ュ管理オペレーションを使用するように要求し、前記イ
ンタフェース制御装置が前記両方の要求を、読出し専用
ライン・フェッチとして知られる、１つの単純化された
リモート記憶クラスタ（ＲＳＣ）・インタフェース制御
装置コマンドに再マップすることにより、前記ＲＳＣイ
ンタフェース制御装置（ＲＳＣ ＩＣ）により処理され
なければならないオペレーションの数を低減する、前記
（３）記載のリモート資源管理システム。 （５）ストア・データの転送が不必要にローカル−リモ
ート間データ・バスを拘束し、ディレクトリ情報を送信
するために追加の制御ラインが要求される場合、前記イ
ンタフェース制御装置がディレクトリ・ステータスにも
とづき、転送コマンドを"強制追放"コマンドまたは"読
出し専用無効"コマンドに再マップする、前記（４）記
載のリモート資源管理システム。 （６）１つ以上のパイプライン階層レベル・キャッシュ
をサービスする多数のフェッチ・リモート制御装置及び
ストア・リモート制御装置を含む、ハイエンド記憶サブ
システムを有するインタフェースを有し、一連の優先ス
テーションがインタフェースを介して送信される要求を
選択し、複数のパイプが関わる場合、各パイプ内の事前
優先ステーションが、ＲＳＣ ＩＣに転送されるフェッ
チ要求またはストア要求を選択し、同一のサイクルの
間、前記リモート記憶制御装置の前記インタフェース制
御装置が、優先オペレーションを用い、コマンド・タイ
プ及び資源可用性にもとづき、最適な要求を選択する、
前記（１）記載のリモート資源管理システム。 （７）前記優先オペレーションにおいて、前記複数のパ
イプが任意の所与のサイクルにおいて、前記インタフェ
ースの使用を要求できるので、リモート・フェッチ制御
装置が使用可能な限り、前記オペレーションがストアよ
りもフェッチを優先し、それ以外では、リモート・スト
ア制御装置が使用可能な限り、ストアが実行され、デー
タ経路を要求するこれらのストア・オペレーションのた
めに前記データ経路が使用可能となり、両方の要求がフ
ェッチで、両者が使用可能な資源を有する場合、ラウン
ド・ロビンが優遇される方の要求を決定し、両方の要求
がストアの場合、どちらのパイプが使用可能な資源を有
するかにより勝者が決定され、両方の要求が全て使用可
能な資源を有する場合、ラウンド・ロビンが使用され
る、前記（６）記載のリモート資源管理システム。 （８）各ローカル・インタフェース制御装置内に、リモ
ート側で待ち行列化される作業の送信のために、インタ
フェース・サイクルが浪費されないように保証する、リ
モート資源のマネージャを有する、前記（６）記載のリ
モート資源管理システム。 （９）各リモート記憶制御装置の前記ローカル・インタ
フェース制御装置が、同期応答バス及び非同期応答バス
の両方を用いて、キャッシュ・コヒーレンスを維持する
一方、性能を最大化し、非同期応答バスが、前記リモー
ト・オペレーションの公式な終了を示し、しばしばオリ
ジナル・リクエスタに転送される全ての最終応答のため
に使用され、前記最終応答が、ローカル・ディレクトリ
を適切な最終状態により更新することを可能にする変更
ライン情報によりタグ付けされる、前記（６）記載のリ
モート資源管理システム。 （１０）前記リモート制御装置のインタフェース制御装
置マネージャが、全てのクラスタ−クラスタ間データ・
フローを管理し、前記ローカル・ストア制御装置からの
要求を、フェッチ・データを返却しようとする常駐リモ
ート・フェッチ制御装置からの要求と比較し、両者が前
記データ経路を競合するサイクルの間、優先権が返却フ
ェッチ・データに与えられ、フェッチ・データが前記リ
モート主メモリから獲得される場合、前記リモート制御
装置の前記インタフェース制御装置マネージャが、デー
タがメモリ・バンクからアクセスされるとき、対応する
前記データ経路をモニタ及び管理し、前記リモート記憶
制御装置のデータ経路が使用可能なとき、データが前記
リモート・フェッチ・バッファをバイパスし、データの
一時的バッファリングに関連付けられる正規の待ち時間
を低減する、前記（９）記載のリモート資源管理システ
ム。 （１１）全体システム・スループットを向上するために
複製されたリモート記憶制御装置の資源の管理を向上す
るために、前記リモート制御装置の前記インタフェース
制御装置マネージャが、前記複製のリモート・フェッチ
資源の間の交互の作業要求により、リモート・キャッシ
ュをヒットする連続フェッチ要求を管理し、第２のフェ
ッチ要求を複製のリモート制御装置に、もしそれが使用
可能であれば送信し、前記複製のリモート制御装置がそ
のバッファのロードを開始することを可能にし、その
間、第１のリモート制御装置のバッファはまだそのデー
タ転送を完了中であり、前記第１のバッファ転送の完了
時に、第２のバッファが即時そのデータをインタフェー
スを介して転送することを可能にする、前記（９）記載
のリモート資源管理システム。 （１２）前記リモート制御装置の前記インタフェース制
御装置マネージャが、相互クラスタ・デッドロックを生
じ得るオペレーション・シーケンスをモニタするために
設計されたデッドロック回避機構を管理し、こうした状
況を検出すると、前記リモート制御装置の前記インタフ
ェース制御装置マネージャが、特殊な拒絶応答を発信元
クラスタに返却することにより、保留のオペレーション
を拒絶し、前記リモート制御装置の前記インタフェース
制御装置が前記拒絶を発信元フェッチ／ストア制御装置
に転送し、それにより前記オペレーションが再試行さ
れ、前記デッドロック窓が消滅するまで連続的に拒絶さ
れ、再試行される、前記（９）記載のリモート資源管理
システム。 （１３）新たなリモート記憶制御装置オペレーションを
伴う任意の制御情報において、インタフェース・パリテ
ィ・エラーが検出されるとき、同期インタフェースを用
いコマンドが送信された後、固定サイクル数以内にイン
タフェース・エラー・ステータスを送信し、エラーの場
合、発信元フェッチ／ストア制御装置がそれを通知さ
れ、続いて回復の適格性を決定し、前記リモート記憶制
御装置の前記インタフェース制御装置が自動的に対応す
るリモート記憶制御装置の資源をリセットし、前記オペ
レーションが再度要求されることを可能にする、前記
（９）記載のリモート資源管理システム。 （１４）前記システムが、コマンドのスーパセットをよ
り小さく効率的なサブセットに再マップすることによ
り、前記リモート制御装置の複雑度を軽減し、不要なデ
ータ転送を回避することにより、インタフェース効率を
向上させる、コマンド再マップ化機構を含む、前記
（１）記載のリモート資源管理システム。 （１５）前記コマンド再マップ化がフリップ・ビットを
用いて、要求されるゲート数を低減し、更に機能が１論
理サイクル内に実行されるようにすることにより、シス
テム性能を向上させる、前記（１４）記載のリモート資
源管理システム。 （１６）局所的に開始されたオペレーションと、アウト
バウンド・データ及びインバウンド・データが前記デー
タ・バスを共用することを可能にするリモート・リター
ンを処理する統一制御を提供することにより、インタフ
ェースＩ／Ｏを低減する一方、全体システム性能に関し
て、前記バスが高効率に管理されることを可能にする、
前記（６）記載のリモート資源管理システム。 （１７）前記優先オペレーションが、前記要求及び前記
リモート記憶制御装置の資源を毎サイクルごとに動的に
分析し、フェッチ要求をストア要求に優先させ、局所的
に開始された要求及び遠隔的に開始されたオペレーショ
ンへの応答の両方、及びデータ経路を要求するオペレー
ションのデータ経路可用性を考慮し、適切な資源が使用
可能な場合にだけ、オペレーションが前記インタフェー
スを介して送信されるようにすることにより、システム
性能とインタフェース利用とを効率的に均衡させる、前
記（６）記載のリモート資源管理システム。 （１８）前記リモート資源管理マネージャが、リモート
・キャッシュ内のディレクトリ・ミスに際して、資源を
固定時間内に自動的に解放するための同期相互問い合わ
せと、ＲＳＣ ＩＣがＣＰフェッチを探索中のパイプラ
インをモニタするための、前記ＣＰフェッチのためのパ
イプ高速路指定とを提供し、前記ＣＰフェッチの発見に
際して、該フェッチが前記ＲＳＣ ＩＣに提供される以
前に、ＬＦＡＲ制御装置にロードされなければならない
正規の場合よりも、前記フェッチを１サイクル前に開始
し、前記相互問い合わせが前記インタフェースを介して
送信されるのと同時に、ローカルＰＭＡがデータのフェ
ッチを開始する早期ＰＭＡフェッチ／取り消しをサポー
トし、前記リモート・キャッシュ内のヒットに際して、
前記ＲＳＣ ＩＣが前記ローカルＬＦＡＲ制御装置に、
前記早期ＰＭＡフェッチを取り消し、メモリ・インタリ
ーブを解放するように指示し、前記フェッチ・バッファ
が階層キャッシュ・アクセスをバイパスし、データが前
記階層キャッシュ（ＰＭＡ）から受信されている間、前
記ＲＳＣ ＩＣがクラスタ−クラスタ間データ経路をモ
ニタし、前記データ経路が使用可能な場合、データが自
動的に前記フェッチ・バッファをバイパスし、前記ＰＭ
Ａ受信ポートから直接ＲＳＣインタフェースに転送され
る、前記（１）記載のリモート資源管理システム。 （１９）前記リモート資源管理マネージャが、１つのク
ロスポイント制御装置により、４ウェイ同時データ転送
が可能な４つのデータ経路を管理し、各前記データ経路
が、局所的に開始されるオペレーション及び遠隔的に開
始されるオペレーションを多重化することにより、前記
データ経路の可用性が、次のディスパッチ・オペレーシ
ョンを決定するために優先機構に伝送される、前記
（１）記載のリモート資源管理システム。 （２０）前記リモート資源管理マネージャが、前記リモ
ート側が読出し専用無効において要求される全てのステ
ップを完了する以前に、前記ローカルＬＦＡＲ制御装置
を解放し、前記ＬＦＡＲ制御装置が、リモート・オペレ
ーション及び続く読出し専用無効の送信を含む、新たな
オペレーションを開始できるようにする加速読出し専用
無効オペレーションと、インタフェース・パリティ・エ
ラーの場合、ＲＳＣ資源を自動的にリセットし、関連す
るＬＦＡＲ制御装置またはＬＳＡＲ制御装置がオペレー
ションを再試行できるように前記制御装置へ通知する、
同期インタフェース・チェックの使用と、前記リモート
ＲＦＡＲ制御装置またはＲＳＡＲ制御装置が潜在的デッ
ドロックを検出し、対応するＬＦＡＲ制御装置またはＬ
ＳＡＲ制御装置に拒絶応答を送信し、前記制御装置がオ
ペレーションを再試行することを可能にする、相互クラ
スタ・デッドロック回避手段と、連続的なデータ・フェ
ッチが、ＲＦＡＲ資源またはＲＳＡＲ資源対の交互の資
源に分配されるようにし、前記資源対の両方のメンバが
使用可能な場合、先のフェッチの後続バイトがまだ他の
バッファ内で処理されている間に、後のフェッチがロー
ドを開始するためのリモート・バッファを有することを
保証する、ＲＳＣ資源対の使用とを提供する、前記
（１）記載のリモート資源管理システム。

【図面の簡単な説明】

【図１】双節対称マルチプロセッサ・システムの１つの
記憶制御装置クラスタを示す図である。

【図２】リモート・クラスタから返却される全ての応答
トラフィックを処理する応答ハンドラ、詳細なインタフ
ェース、及びリモート記憶制御装置ＲＳＣ ＩＣ１０を
含むサブユニットと、リモート・フェッチ／ストア制御
装置１２とＲＳＣ ＩＣ間のインタフェースを示す図で
ある。

【図３】コマンド変換のハードウェアの好適な実施例を
示す図である。

【図４】主コマンド優先ステーション３３と、それに供
給するパイプライン優先ステーション３２を含む、全体
優先ステーションを示す図である。

【図５】前述の機構とＲＳＣ優先ステーション２１との
相互作用を示す論理ブロック図である。

【図６】コマンドが適切な資源保持レジスタにステージ
される様子を示す図である。

【図７】ディセーブル・ビット、有効ビット、コマンド
・レジスタ、オリジナル・リクエスタＩＤレジスタ、Ｌ
ＦＳＡＲ制御装置ＩＤレジスタ、及びＬＦＳＡＲバッフ
ァ・レジスタを提供する、資源レジスタ５９の１つのセ
ットの詳細図である。

【図８】ステージング機構と、応答ハンドラ２２がステ
ージング機構を用い、ＸＩ応答を追跡する様子を示す図
である。

【図９】他のステージング・パイプラインと同様に作用
する、読出し専用無効ステージング・パイプライン７５
を示す図である。

【図１０】ＲＳＣ ＩＣ内のクロスポイントを受信及び
駆動する１パイプラインの内部論理図である。

【符号の説明】

１０ リモート記憶クラスタ・インタフェース制御装置
（ＲＳＣ ＩＣ） １１ ローカル・フェッチ／ストア制御装置 １２ リモート・フェッチ／ストア制御装置 １５ 中央処理ユニット制御装置 １６ Ｉ／Ｏアダプタ制御装置 ２２ 応答ハンドラ ２３ 応答優先 ２４、５９ 資源レジスタ ２５ クロスポイント（ＸＰＴ）制御装置 ２６ フリップ・ビット発生器 ３２ パイプライン事前優先ステーション ３３ コマンド優先ステーション ３５ 資源トグル器 ４１ ３ウェイ多重化 ４４、５６ ２ウェイ多重化 ４６、５８ ゲートウェイ ５３ ＣＬＣグラント ５４ ＯＲゲート ６５ 資源ロード・ラッチ ７４ ＲＯＩ多重化

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マイケル・エイ・ブレイク アメリカ合衆国12590、ニューヨーク州ワ ッピンガーズ・フォールズ、セントラル・ アベニュー ３ (72)発明者 パク−キン・マク アメリカ合衆国12603、ニューヨーク州ポ キプシ、トロッター・レーン ７

Claims (20)

【特許請求の範囲】
1. 【請求項１】対称多重処理環境において資源を管理する
   リモート資源管理システムであって、 対称マルチプロセッサ・システムのクラスタ・ノード間
   のインタフェースを有する、対称マルチプロセッサの複
   数のクラスタと、 ローカル・インタフェース及びローカル・インタフェー
   ス制御装置と、 それぞれが前記ローカル・インタフェース制御装置を有
   する１つ以上のリモート記憶制御装置と、 ローカル−リモート間データ・バスと、 複数のプロセッサ、共用キャッシュ・メモリ、複数のＩ
   ／Ｏアダプタ及び主メモリをそれぞれが有する、前記対
   称マルチプロセッサの２つの前記クラスタ間のインタフ
   ェースを管理するリモート資源マネージャとを含み、前
   記リモート資源マネージャがリモート記憶制御装置によ
   り資源を管理し、作業要求を開始したリクエスタの知識
   を必要とすること無く、所望のオペレーションを実行す
   るエージェントとして作用する前記リモート制御装置に
   前記作業を分配し、前記対称マルチプロセッサの前記ク
   ラスタ間の絶え間の無い通信の必要無しに、リモート・
   リクエスタが作業処理のために使用可能な場合にだけ、
   前記作業が転送される、リモート資源管理システム。
2. 【請求項２】待ち行列化された要求を優先順位付けする
   ステップと、新たなオペレーションを前記インタフェー
   スを介して送信するステップと、他の側からの返却応答
   を処理するステップと、前記クラスタ間の全てのデータ
   の転送を監視するステップとを含む、インタフェース・
   タスクの制御を担う各クラスタ上の１つのインタフェー
   ス・マクロを有し、前記ローカル・インタフェース制御
   装置が、前記作業要求を前記リモート側に開始するだけ
   でなく、前記リモート側のフェッチ／ストア制御装置を
   管理することにより、新たなオペレーションを使用可能
   な前記リモート制御装置に即時経路指定し、それにより
   前記リモート制御装置が、前記ローカル・インタフェー
   ス制御装置のために作用するエージェントとなり、前記
   ローカル・インタフェース制御装置がリクエスタのため
   に作用し、オペレーションの所有者を識別する情報を送
   信する必要性を排除する、請求項１記載のリモート資源
   管理システム。
3. 【請求項３】幾つかのローカル・オペレーションが１つ
   のアトミック・リモート・オペレーションと結合される
   ことを可能にする、コマンド再マップ化オペレーション
   を有する、請求項２記載のリモート資源管理システム。
4. 【請求項４】データの読出し専用コピーのためのプロセ
   ッサ・フェッチ要求、及び記憶保護キーを含む読出し専
   用データのためのフェッチ要求が、前記リモート・クラ
   スタ上の前記フェッチ制御装置が、同一の状態図及びキ
   ャッシュ管理オペレーションを使用するように要求し、
   前記インタフェース制御装置が前記両方の要求を、読出
   し専用ライン・フェッチとして知られる、１つの単純化
   されたリモート記憶クラスタ（ＲＳＣ）・インタフェー
   ス制御装置コマンドに再マップすることにより、前記Ｒ
   ＳＣインタフェース制御装置（ＲＳＣ ＩＣ）により処
   理されなければならないオペレーションの数を低減す
   る、請求項３記載のリモート資源管理システム。
5. 【請求項５】ストア・データの転送が不必要にローカル
   −リモート間データ・バスを拘束し、ディレクトリ情報
   を送信するために追加の制御ラインが要求される場合、
   前記インタフェース制御装置がディレクトリ・ステータ
   スにもとづき、転送コマンドを"強制追放"コマンドまた
   は"読出し専用無効"コマンドに再マップする、請求項４
   記載のリモート資源管理システム。
6. 【請求項６】１つ以上のパイプライン階層レベル・キャ
   ッシュをサービスする多数のフェッチ・リモート制御装
   置及びストア・リモート制御装置を含む、ハイエンド記
   憶サブシステムを有するインタフェースを有し、一連の
   優先ステーションがインタフェースを介して送信される
   要求を選択し、複数のパイプが関わる場合、各パイプ内
   の事前優先ステーションが、ＲＳＣ ＩＣに転送される
   フェッチ要求またはストア要求を選択し、同一のサイク
   ルの間、前記リモート記憶制御装置の前記インタフェー
   ス制御装置が、優先オペレーションを用い、コマンド・
   タイプ及び資源可用性にもとづき、最適な要求を選択す
   る、請求項１記載のリモート資源管理システム。
7. 【請求項７】前記優先オペレーションにおいて、前記複
   数のパイプが任意の所与のサイクルにおいて、前記イン
   タフェースの使用を要求できるので、リモート・フェッ
   チ制御装置が使用可能な限り、前記オペレーションがス
   トアよりもフェッチを優先し、それ以外では、リモート
   ・ストア制御装置が使用可能な限り、ストアが実行さ
   れ、データ経路を要求するこれらのストア・オペレーシ
   ョンのために前記データ経路が使用可能となり、両方の
   要求がフェッチで、両者が使用可能な資源を有する場
   合、ラウンド・ロビンが優遇される方の要求を決定し、
   両方の要求がストアの場合、どちらのパイプが使用可能
   な資源を有するかにより勝者が決定され、両方の要求が
   全て使用可能な資源を有する場合、ラウンド・ロビンが
   使用される、請求項６記載のリモート資源管理システ
   ム。
8. 【請求項８】各ローカル・インタフェース制御装置内
   に、リモート側で待ち行列化される作業の送信のため
   に、インタフェース・サイクルが浪費されないように保
   証する、リモート資源のマネージャを有する、請求項６
   記載のリモート資源管理システム。
9. 【請求項９】各リモート記憶制御装置の前記ローカル・
   インタフェース制御装置が、同期応答バス及び非同期応
   答バスの両方を用いて、キャッシュ・コヒーレンスを維
   持する一方、性能を最大化し、非同期応答バスが、前記
   リモート・オペレーションの公式な終了を示し、しばし
   ばオリジナル・リクエスタに転送される全ての最終応答
   のために使用され、前記最終応答が、ローカル・ディレ
   クトリを適切な最終状態により更新することを可能にす
   る変更ライン情報によりタグ付けされる、請求項６記載
   のリモート資源管理システム。
10. 【請求項１０】前記リモート制御装置のインタフェース
    制御装置マネージャが、全てのクラスタ−クラスタ間デ
    ータ・フローを管理し、前記ローカル・ストア制御装置
    からの要求を、フェッチ・データを返却しようとする常
    駐リモート・フェッチ制御装置からの要求と比較し、両
    者が前記データ経路を競合するサイクルの間、優先権が
    返却フェッチ・データに与えられ、フェッチ・データが
    前記リモート主メモリから獲得される場合、前記リモー
    ト制御装置の前記インタフェース制御装置マネージャ
    が、データがメモリ・バンクからアクセスされるとき、
    対応する前記データ経路をモニタ及び管理し、前記リモ
    ート記憶制御装置のデータ経路が使用可能なとき、デー
    タが前記リモート・フェッチ・バッファをバイパスし、
    データの一時的バッファリングに関連付けられる正規の
    待ち時間を低減する、請求項９記載のリモート資源管理
    システム。
11. 【請求項１１】全体システム・スループットを向上する
    ために複製されたリモート記憶制御装置の資源の管理を
    向上するために、前記リモート制御装置の前記インタフ
    ェース制御装置マネージャが、前記複製のリモート・フ
    ェッチ資源の間の交互の作業要求により、リモート・キ
    ャッシュをヒットする連続フェッチ要求を管理し、第２
    のフェッチ要求を複製のリモート制御装置に、もしそれ
    が使用可能であれば送信し、前記複製のリモート制御装
    置がそのバッファのロードを開始することを可能にし、
    その間、第１のリモート制御装置のバッファはまだその
    データ転送を完了中であり、前記第１のバッファ転送の
    完了時に、第２のバッファが即時そのデータをインタフ
    ェースを介して転送することを可能にする、請求項９記
    載のリモート資源管理システム。
12. 【請求項１２】前記リモート制御装置の前記インタフェ
    ース制御装置マネージャが、相互クラスタ・デッドロッ
    クを生じ得るオペレーション・シーケンスをモニタする
    ために設計されたデッドロック回避機構を管理し、こう
    した状況を検出すると、前記リモート制御装置の前記イ
    ンタフェース制御装置マネージャが、特殊な拒絶応答を
    発信元クラスタに返却することにより、保留のオペレー
    ションを拒絶し、前記リモート制御装置の前記インタフ
    ェース制御装置が前記拒絶を発信元フェッチ／ストア制
    御装置に転送し、それにより前記オペレーションが再試
    行され、前記デッドロック窓が消滅するまで連続的に拒
    絶され、再試行される、請求項９記載のリモート資源管
    理システム。
13. 【請求項１３】新たなリモート記憶制御装置オペレーシ
    ョンを伴う任意の制御情報において、インタフェース・
    パリティ・エラーが検出されるとき、同期インタフェー
    スを用いコマンドが送信された後、固定サイクル数以内
    にインタフェース・エラー・ステータスを送信し、エラ
    ーの場合、発信元フェッチ／ストア制御装置がそれを通
    知され、続いて回復の適格性を決定し、前記リモート記
    憶制御装置の前記インタフェース制御装置が自動的に対
    応するリモート記憶制御装置の資源をリセットし、前記
    オペレーションが再度要求されることを可能にする、請
    求項９記載のリモート資源管理システム。
14. 【請求項１４】前記システムが、コマンドのスーパセッ
    トをより小さく効率的なサブセットに再マップすること
    により、前記リモート制御装置の複雑度を軽減し、不要
    なデータ転送を回避することにより、インタフェース効
    率を向上させる、コマンド再マップ化機構を含む、請求
    項１記載のリモート資源管理システム。
15. 【請求項１５】前記コマンド再マップ化がフリップ・ビ
    ットを用いて、要求されるゲート数を低減し、更に機能
    が１論理サイクル内に実行されるようにすることによ
    り、システム性能を向上させる、請求項１４記載のリモ
    ート資源管理システム。
16. 【請求項１６】局所的に開始されたオペレーションと、
    アウトバウンド・データ及びインバウンド・データが前
    記データ・バスを共用することを可能にするリモート・
    リターンを処理する統一制御を提供することにより、イ
    ンタフェースＩ／Ｏを低減する一方、全体システム性能
    に関して、前記バスが高効率に管理されることを可能に
    する、請求項６記載のリモート資源管理システム。
17. 【請求項１７】前記優先オペレーションが、前記要求及
    び前記リモート記憶制御装置の資源を毎サイクルごとに
    動的に分析し、フェッチ要求をストア要求に優先させ、
    局所的に開始された要求及び遠隔的に開始されたオペレ
    ーションへの応答の両方、及びデータ経路を要求するオ
    ペレーションのデータ経路可用性を考慮し、適切な資源
    が使用可能な場合にだけ、オペレーションが前記インタ
    フェースを介して送信されるようにすることにより、シ
    ステム性能とインタフェース利用とを効率的に均衡させ
    る、請求項６記載のリモート資源管理システム。
18. 【請求項１８】前記リモート資源管理マネージャが、リ
    モート・キャッシュ内のディレクトリ・ミスに際して、
    資源を固定時間内に自動的に解放するための同期相互問
    い合わせと、ＲＳＣ ＩＣがＣＰフェッチを探索中のパ
    イプラインをモニタするための、前記ＣＰフェッチのた
    めのパイプ高速路指定とを提供し、前記ＣＰフェッチの
    発見に際して、該フェッチが前記ＲＳＣ ＩＣに提供さ
    れる以前に、ＬＦＡＲ制御装置にロードされなければな
    らない正規の場合よりも、前記フェッチを１サイクル前
    に開始し、前記相互問い合わせが前記インタフェースを
    介して送信されるのと同時に、ローカルＰＭＡがデータ
    のフェッチを開始する早期ＰＭＡフェッチ／取り消しを
    サポートし、前記リモート・キャッシュ内のヒットに際
    して、前記ＲＳＣ ＩＣが前記ローカルＬＦＡＲ制御装
    置に、前記早期ＰＭＡフェッチを取り消し、メモリ・イ
    ンタリーブを解放するように指示し、前記フェッチ・バ
    ッファが階層キャッシュ・アクセスをバイパスし、デー
    タが前記階層キャッシュ（ＰＭＡ）から受信されている
    間、前記ＲＳＣ ＩＣがクラスタ−クラスタ間データ経
    路をモニタし、前記データ経路が使用可能な場合、デー
    タが自動的に前記フェッチ・バッファをバイパスし、前
    記ＰＭＡ受信ポートから直接ＲＳＣインタフェースに転
    送される、請求項１記載のリモート資源管理システム。
19. 【請求項１９】前記リモート資源管理マネージャが、１
    つのクロスポイント制御装置により、４ウェイ同時デー
    タ転送が可能な４つのデータ経路を管理し、各前記デー
    タ経路が、局所的に開始されるオペレーション及び遠隔
    的に開始されるオペレーションを多重化することによ
    り、前記データ経路の可用性が、次のディスパッチ・オ
    ペレーションを決定するために優先機構に伝送される、
    請求項１記載のリモート資源管理システム。
20. 【請求項２０】前記リモート資源管理マネージャが、 前記リモート側が読出し専用無効において要求される全
    てのステップを完了する以前に、前記ローカルＬＦＡＲ
    制御装置を解放し、前記ＬＦＡＲ制御装置が、リモート
    ・オペレーション及び続く読出し専用無効の送信を含
    む、新たなオペレーションを開始できるようにする加速
    読出し専用無効オペレーションと、 インタフェース・パリティ・エラーの場合、ＲＳＣ資源
    を自動的にリセットし、関連するＬＦＡＲ制御装置また
    はＬＳＡＲ制御装置がオペレーションを再試行できるよ
    うに前記制御装置へ通知する、同期インタフェース・チ
    ェックの使用と、 前記リモートＲＦＡＲ制御装置またはＲＳＡＲ制御装置
    が潜在的デッドロックを検出し、対応するＬＦＡＲ制御
    装置またはＬＳＡＲ制御装置に拒絶応答を送信し、前記
    制御装置がオペレーションを再試行することを可能にす
    る、相互クラスタ・デッドロック回避手段と、 連続的なデータ・フェッチが、ＲＦＡＲ資源またはＲＳ
    ＡＲ資源対の交互の資源に分配されるようにし、前記資
    源対の両方のメンバが使用可能な場合、先のフェッチの
    後続バイトがまだ他のバッファ内で処理されている間
    に、後のフェッチがロードを開始するためのリモート・
    バッファを有することを保証する、ＲＳＣ資源対の使用
    とを提供する、請求項１記載のリモート資源管理システ
    ム。