JP2003044456A - マルチノード・コンピュータ・システムにおけるメモリ・ディレクトリ管理 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 排他アクセス操作のメモリ・アクセス時間を
改善するＮＵＭＡアーキテクチャを提供する。 【解決手段】 ＮＵＭＡコンピュータ・システム５０
は、ノード相互接続スイッチ５５により結合され、ノー
ド５２を２つ以上有している。各ノード５２は同一であ
り、各ノードがローカル相互接続５８に結合される１つ
以上の処理ユニット５４とローカル相互接続５８とノー
ド相互接続スイッチ５５との間に結合されるノード制御
装置５６とを含む。各ノード制御装置５６はローカル相
互接続５８上で受信される選択命令をノード相互接続５
５を介して他のノード５２に伝送することにより、ま
た、受信された選択命令をローカル相互接続５８に伝送
することにより、他のノード５２のためのローカル・エ
ージェントとして機能する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般にデータ処理シ
ステムに関し、特に、改善されたキューイング、通信及
び記憶効率を有する不均等メモリ・アクセス（ＮＵＭ
Ａ：non-uniform memory access）及び他のマルチプロ
セッサ・データ処理システムに関する。

【０００２】

【従来の技術】コンピュータ技術では、複数の個々のプ
ロセッサの処理能力をタンデムに結合することにより、
偉大なコンピュータ・システム性能が達成されることが
知られている。マルチプロセッサ（ＭＰ）コンピュータ
・システムは、多数の異なるトポロジにより設計され、
各アプリケーションの性能要求及びソフトウェア環境に
応じて、様々なトポロジが特定のアプリケーションにと
って、より好適となり得る。１つの一般的なＭＰコンピ
ュータ・トポロジは、対称マルチプロセッサ（ＳＭＰ）
構成であり、そこでは複数のプロセッサの各々が、シス
テム・メモリや入出力（Ｉ／Ｏ）サブシステムなどの、
共通資源のプール（pool）を共用する。これらの共通資
源は一般に、共用システム相互接続に結合される。こう
したコンピュータ・システムは対称型と呼ばれる。なぜ
なら、ＳＭＰコンピュータ・システム内の全てのプロセ
ッサが、理想的には、共用システム・メモリ内に記憶さ
れるデータに対して、同一のアクセス待ち時間を有する
からである。

【０００３】ＳＭＰコンピュータ・システムは、比較的
単純なプロセッサ間通信及びデータ共用方式の使用を可
能にするが、ＳＭＰコンピュータ・システムは限られた
スケーラビリティを有する。換言すると、典型的なＳＭ
Ｐコンピュータ・システムの性能は、一般に、スケール
（すなわち、より多くのプロセッサの追加）に伴い改善
されると期待されるが、これらの共用資源の利用が最適
化されるインプリメンテーション依存のサイズを超え
て、ＳＭＰをスケーリングしても、固有バス、メモリ、
及び入出力（Ｉ／Ｏ）の帯域幅制限が、大きな利点の獲
得を阻害する。従って、システムのスケールが増大する
とき、ＳＭＰトポロジそのものがある程度の帯域幅制限
を受け、これは特にシステム・メモリにおいて顕著であ
る。ＳＭＰコンピュータ・システムはまた、容易に拡張
することができない。例えば、ユーザは一般に、２個ま
たは４個のプロセッサを有するＳＭＰコンピュータ・シ
ステムを購入し、後に処理要求が増加したときに、シス
テムを８個または１６個のプロセッサに拡張することが
できない。

【０００４】結果的に、ＳＭＰコンピュータ・システム
のスケーラビリティ及び拡張性に関する制限を解決する
ために、不均等メモリ・アクセス（ＮＵＭＡ）として知
られるＭＰコンピュータ・システム・トポロジが登場し
た。図１に示されるように、従来のＮＵＭＡコンピュー
タ・システム８は、スイッチ１２により接続される多く
のノード１０を含む。各ノード１０は、ＳＭＰシステム
として実現され、多くの処理ユニット１４が接続される
ローカル相互接続１１を含む。処理ユニット１４は各
々、中央処理ユニット（ＣＰＵ）１６及び関連キャッシ
ュ階層１８を含む。揮発性メモリ階層の最下レベルにお
いて、ノード１０は更にシステム・メモリ２２を含み、
これは各ノード１０内で集中化されるか、図示のように
処理ユニット１４の間で分散される。ＣＰＵ１６はメモ
リ制御装置２０を通じて、メモリ２２をアクセスする。

【０００５】各ノード１０は更に、それぞれのノード制
御装置２４を含み、これがデータ・コヒーレンスを維持
し、スイッチ１２を介するノード１０間での要求及び応
答の通信を容易にする。各ノード制御装置２４は、他の
ノード１０にキャッシュされるローカル・システム・メ
モリ２２からのデータを識別する関連ローカル・メモリ
・ディレクトリ（ＬＭＤ）２６と、リモート・システム
・メモリから検索されるデータを一時的にキャッシュす
るリモート・メモリ・キャッシュ（ＲＭＣ）２８と、Ｒ
ＭＣ２８の内容のディレクトリを提供するリモート・メ
モリ・ディレクトリ（ＲＭＤ）３０とを有する。

【０００６】本発明は、図１に示される従来のＮＵＭＡ
アーキテクチャが、従来のＳＭＰアーキテクチャに勝る
改善されたスケーラビリティ及び拡張性を提供できる
が、従来のＮＵＭＡアーキテクチャが多数の欠点を被る
ことを認識する。第１に、ローカル相互接続１１を介す
る通信に比較して、ノード間の通信に多大な待ち時間を
要し、このことはノード間通信の削減が性能を改善しが
ちであることを意味する。結果的に、大規模なリモート
・メモリ・キャッシュ２８をインプリメントすることに
より、ノード１０間で通信されなければならないデータ
・アクセス要求の数を制限することが所望されることに
なる。しかしながら、従来のスタティック・ランダム・
アクセス・メモリ（ＳＲＡＭ）によるＲＭＣ２８のイン
プリメンテーションは高価であり、実用的なＲＭＣ２８
のサイズを制限する。その結果、各ノードは他のノード
からの限られた量のデータだけをキャッシュでき、従っ
て、頻繁な高待ち時間ノード間データ要求を必要とする
ことになる。

【０００７】ノード間通信待ち時間に関連する従来のＮ
ＵＭＡコンピュータ・システムの第２の欠点は、不要な
ノード間コヒーレンス通信に起因する、要求のサービス
過程における遅延である。例えば、図１に示されるよう
な従来のＮＵＭＡコンピュータ・システムは、一般に、
リモート・ノードが未変更キャッシュ・ラインを黙って
割当て解除することを可能にする。換言すると、リモー
ト・ノード内のキャッシュが、キャッシュ・ラインがチ
ェックアウトされたホーム・ノードのローカル・メモリ
・ディレクトリに通知することなく、別のノードから検
索される共用キャッシュ・ラインまたは無効キャッシュ
・ラインを割当て解除することができる。従って、ホー
ム・ノードのローカル・メモリ・ディレクトリは、どの
リモート・ノードが関連システム・メモリからのキャッ
シュ・ラインを保持するかに関して、不正確な指示を保
持するだけである。その結果、あるノードでストア要求
が受信されるとき、そのノードは、ホーム・ノードのロ
ーカル・メモリ・ディレクトリ内において、ターゲット
・キャッシュ・ラインを保持すると示される他の全ての
ノードに、それらがターゲット・キャッシュ・ラインの
コピーを依然キャッシュしているか否かに拘わらず、フ
ラッシュ（すなわち無効化）命令を同報しなければなら
ない。ある動作状況では、不要なフラッシュ命令がスト
ア要求のサービスを遅延させ、システム性能に悪影響を
及ぼすことになる。

【０００８】第３に、ＮＵＭＡコンピュータ・システム
８などの従来のＮＵＭＡコンピュータ・システムは、シ
ステム全体に渡り分散される様々なノード制御装置、メ
モリ制御装置、及びキャッシュ制御装置内に、深いキュ
ー（すなわち項目数の多いキュー）をインプリメントす
る傾向があり、ノード間通信に影響を及ぼす長い待ち時
間を生成し得る。各個々のキューのインプリメンテーシ
ョンは安価ではあるが、従来のＮＵＭＡコンピュータ・
システム全体に渡りインプリメントされる深いキュー
は、システム全体コストの大きな要素を表す。従って、
本発明はＮＵＭＡコンピュータ・システムのキュー内の
命令のペンデンシ（pendency）を低減し、またキューの
利用度を向上させることにより、キュー項目数、従って
システム・コストを低減することが有利であると認識す
るものである。

【０００９】

【発明が解決しようとする課題】従来のＮＵＭＡコンピ
ュータ・システムの前述の及びその他の欠点を鑑み、本
発明は、改善されたキューイング、記憶、及び通信効率
を有するＮＵＭＡアーキテクチャを提供することが有用
且つ望ましいものと認識する。

【００１０】

【課題を解決するための手段】本発明は、メモリ・ディ
レクトリ管理を通じて、排他アクセス操作のメモリ・ア
クセス時間を改善する不均等メモリ・アクセス（ＮＵＭ
Ａ）コンピュータ・システム及び関連操作方法を提供す
ることにより、従来技術の前述の及びその他の欠点を克
服する。

【００１１】本発明の好適な実施例によれば、コンピュ
ータ・システムが、ノード相互接続により結合されるホ
ーム・ノードと１つ以上のリモート・ノードとを含む。
ホーム・ノードは、ローカル相互接続と、ローカル相互
接続とノード相互接続との間に結合されるノード制御装
置と、ホーム・システム・メモリと、複数のエントリを
含むメモリ・ディレクトリと、ローカル相互接続、ホー
ム・システム・メモリ及びメモリ・ディレクトリに結合
されるメモリ制御装置とを含む。メモリ・ディレクトリ
が複数のエントリを含み、各エントリは、ホーム・シス
テム・メモリ内の関連データ・グラニュールが、少なく
とも１つのリモート・ノード内に保持される対応するキ
ャッシュ・ラインを有するか否かの指示を提供する。メ
モリ制御装置は要求時無効化回路を含み、これがホーム
・システム・メモリ内の要求データ・グラニュールに対
するデータ要求に応答して、メモリ・ディレクトリ内の
関連エントリを読出し、要求データ・グラニュールに対
応するキャッシュ・ラインを保持する少なくとも１つの
リモート・ノードに、無効化コマンドを発行する。更
に、メモリ制御装置はディレクトリ消し込み論理を含
み、これはデータ要求とは無関係に、メモリ・ディレク
トリ内のエントリを周期的に読出し、エントリが少なく
とも１つのリモート・ノードが、関連データ・グラニュ
ールに対応するキャッシュ・ラインを保持すると示すこ
とに応答して、フラッシュ照会をその少なくとも１つの
リモート・ノードに発行し、関連データ・グラニュール
に対応するキャッシュ・ラインの割当て解除を要求す
る。

【００１２】本発明の前述の及びその他の目的、特徴及
び利点が、以下の詳細な説明から明らかとなろう。

【００１３】

【発明の実施の形態】図２を参照すると、本発明に従う
ＮＵＭＡコンピュータ・システム５０の典型的な実施例
が示される。図示の実施例は、例えばワークステーショ
ン、サーバ、またはメインフレーム・コンピュータとし
て実現される。本発明は基本的に、ＮＵＭＡコンピュー
タ・システム５０に関連して述べられるが、当業者であ
れば、本発明の多くのフィーチャが、ＳＭＰアーキテク
チャを含む他のコンピュータ・システム・アーキテクチ
ャにも適用可能であることが理解できよう。

【００１４】図示のように、ＮＵＭＡコンピュータ・シ
ステム５０は、図示のようにスイッチとして実現される
ノード相互接続５５により結合される、２つ以上のノー
ド５２を含む。本発明により要求される訳ではないが、
図示の実施例では、各ノード５２が実質的に同一であ
り、各ノードが、ローカル相互接続５８に結合される１
つ以上の処理ユニット５４と、ローカル相互接続５８と
ノード相互接続５５との間に結合されるノード制御装置
５６とを含む。各ノード制御装置５６は、ローカル相互
接続５８上で受信される選択命令を、ノード相互接続５
５を介して、他のノード５２に伝送することにより、及
びノード相互接続５５を介して受信された選択命令を、
ローカル相互接続５８上に伝送することにより、他のノ
ード５２のためのローカル・エージェントとして機能す
る。

【００１５】処理ユニット５４はＣＰＵ６０を含み、Ｃ
ＰＵ６０はレジスタ、命令フロー論理、及び実行ユニッ
トを有し、これらはソフトウェア命令を実行するために
利用される。各処理ユニット５４は更に、１つ以上のレ
ベルのオンチップ・キャッシュを含むキャッシュ階層６
２を含み、これはＮＵＭＡコンピュータ・システム５０
全体に渡るデータ記憶から関連ＣＰＵ６０への、データ
をステージするために使用される。キャッシュ階層６２
内で使用される好適なキャッシュ・アーキテクチャが、
図５に関連して後述される。更に、処理ユニット５４の
各々は、処理ユニット５４とローカル相互接続５８との
間で、アドレス、データ及びコヒーレンス命令の通信を
処理するインタフェース・ユニット６５を有し、また後
述するように、ローカル相互接続５８に上に発行される
命令に対する様々なスヌープ応答からの、組み合わせ応
答を決定する応答論理６３を含む。最後に、処理ユニッ
ト５４の各々は、メモリ制御装置６４を含み、これは処
理ユニット５４の間で分散される物理システム・メモリ
６６の関連するものへのアクセスを制御する。本発明の
別の実施例では、各ノード内のシステム・メモリが、単
一のシステム・メモリとしてインプリメントされ、ロー
カル相互接続５８に結合される関連メモリ制御装置によ
り制御される。

【００１６】本明細書では、"システム・メモリ"が物理
データ記憶装置として定義され、（エラー状態が存在し
なければ、）物理データ記憶装置内のそれぞれの保管場
所に永久に関連付けられる固有のアドレスを用いてアド
レス指定される。ＮＵＭＡコンピュータ・システム５０
全体を通じて、固有にデータを識別するために使用され
るアドレスに関連付けられる、システム・メモリ６６内
の保管場所にデータを記憶するノード５２が、そのデー
タのホーム・ノードと定義される。他方、他のノード５
２はそのデータのリモート・ノードと定義される。

【００１７】図２及び図３に示されるように、ノード５
２間でのデータの共用をサポートするために、メモリ制
御装置６４はローカル・メモリ・ディレクトリ（ＬＭ
Ｄ）７２及びリモート・メモリ・キャッシュ（ＲＭＣ）
７０を使用し、後者は関連リモート・メモリ・ディレク
トリ（ＲＭＤ）７４を有する。ここでは、ローカル・メ
モリ・ディレクトリ（ＬＭＤ）７２は、関連システム・
メモリに内在するデータのためのディレクトリとして定
義され、データが１つ以上のリモート・ノードにキャッ
シュされているか否かの指示を記憶する。逆に、リモー
ト・メモリ・ディレクトリ（ＲＭＤ）７４は、他のノー
ド内のシステム・メモリからのどのデータが、関連リモ
ート・メモリ・キャッシュ（ＲＭＣ）７０にキャッシュ
されているかを示すディレクトリとして定義される。便
宜上、関連システム・メモリ６６内のホーム・ノード・
データへのアクセスを制御するメモリ制御装置６４の回
路は、ここではシステム・メモリ制御装置７１と称さ
れ、ＲＭＣ７０へのアクセスを制御するメモリ制御装置
６４の回路は、ＲＭＣ制御装置７３と称される。

【００１８】もちろん、ＮＵＭＡコンピュータ・システ
ム５０は、更に、本発明の理解には必要でなく、従っ
て、本発明をわかりにくくすることを回避するために、
ここでは省略される追加の装置を含み得る。例えば、任
意のノード５２がＩ／Ｏアダプタ及びネットワーク・ア
ダプタや、オペレーティング・システム及びアプリケー
ション・ソフトウェアを記憶する不揮発性記憶装置、及
びネットワークまたは接続装置への接続のためのシリア
ル・ポート及びパラレル・ポートをサポートしてもよ
い。

【００１９】メモリ構成：ＮＵＭＡコンピュータ・シス
テム５０の性能は、とりわけデータ・アクセス待ち時間
により影響される。ノード内データ要求のためのアクセ
ス待ち時間は、一般に、ノード間データ要求のためのア
クセス待ち時間よりも遙かに少ないので、処理ユニット
５４を含む各ノード５２が大きなデータ記憶容量を装備
すれば、システム性能は一般に改善され、ノード間デー
タ要求が最小化される。例えば、ＮＵＭＡコンピュータ
・システム５０が４つのノードを含み、各ノードが４つ
の処理ユニット５４と４つのシステム・メモリ６６とを
含む典型的な実施例では、４つのシステム・メモリ６６
の各々が、８ギガバイト（ＧＢ）またはそれ以上の容量
を有し、１２８ＧＢまたはそれ以上の総システム・メモ
リ記憶容量を提供する。大容量のシステム・メモリのた
めに、コスト検討の面で、システム・メモリ６６をダイ
ナミック・ランダム・アクセス・メモリ（ＤＲＡＭ）な
どの、１バイト当たりのコストが安価な記憶技術により
実現しがちである。

【００２０】本発明によれば、システム・メモリ６６の
記憶容量が、（例えばＮＵＭＡコンピュータ・システム
５０のオペレーティング・システムにより、）１つ以上
のアドレス空間に区画化される。図２に示される実施例
では、各システム・メモリ６６がシステム・メモリ・ア
ドレス空間６８を含み、これがＮＵＭＡコンピュータ・
システム５０のオペレーティング・システムにより、様
々なオペレーティング・システム及びアプリケーション
・プロセスに、命令及びデータの記憶のために割当てら
れる。更に、プロセッサ・ユニット５４を含む各ノード
５２内の少なくとも１つのシステム・メモリ６６が、１
つ以上の他のノード５２のシステム・メモリ６６に内在
するデータに対応するデータを記憶するＲＭＣ７０を含
む。従って、図１に示されるように、単一のスタンドア
ロンのリモート・メモリ・キャッシュ２８をインプリメ
ントする代わりに、本発明は各ノード５２において、１
つのまたはことによると複数のシステム・メモリ６６内
に、リモート・メモリ・キャッシュを組み込む。ＲＭＣ
７０が複数のシステム・メモリ６６の間で分散される実
施例では、少なくとも同一ノード５２内の任意のＣＰＵ
によりアクセス可能なキャッシュ・ラインが、好適には
特定のＲＭＣ７０にマップされる。これはそのキャッシ
ュ・ラインに関連付けられる物理アドレスまたは論理ア
ドレスをハッシュすることにより行われる。

【００２１】リモート・メモリ・キャッシュは高価なＳ
ＲＡＭではなく、安価なＤＲＡＭによりインプリメント
されるので、ＲＭＣ７０の１バイト当たりのコストは従
来技術と比較して、劇的に低減される。このことは追加
のコストをほとんど伴わずに、または全く伴わずに、そ
のサイズが大幅に増加され得ることを意味する。更に、
同一ノード内の複数のシステム・メモリの間で、リモー
ト・メモリ・キャッシュを分散することにより、従来技
術のように単一のノード制御装置ではなしに、複数のメ
モリ制御装置６４に渡り、アクセス制御が分散されるよ
うになり、従来技術に比べて、帯域幅の大幅な改善が達
成される。

【００２２】本発明の特定の実施例では、オペレーティ
ング・システムが、１つ以上のノード内の物理システム
・メモリの一部または全部を、リモート・メモリ・キャ
ッシュに割当てる一方、物理システム・メモリをシステ
ム・メモリ・アドレス空間には割当てないように選択す
る。こうした実施例では、システム・メモリ・アドレス
空間が１つ以上のノード内でローカライズされて、例え
ばラック・システム内のディスク・メモリ・ドロワーと
してインプリメントされ、処理ユニットを含む他のノー
ド内の物理システム・メモリが、リモート・メモリ・キ
ャッシュとして割当てられる。

【００２３】前述のように、ＲＭＣ７０の少なくとも一
部を保持するように割当てられるシステム・メモリ６６
に関連付けられる各メモリ制御装置６４は、当該メモリ
制御装置がＲＭＣ７０のその関連部分の内容を記録する
ＲＭＤ７４を提供される。従来のキャッシュ・ディレク
トリと同様、ＲＭＤ７４は好適にはＲＭＣ７０内のデー
タに関連するアドレス情報だけでなく、コヒーレンス情
報、置換情報、及び任意的に追加の状態情報（例えば包
含関係）も記憶する。

【００２４】メモリ制御装置６４によるＲＭＤ７４の迅
速なアクセスをサポートするために、ＲＭＤ７４は図２
に示されるように、高速ＳＲＡＭでインプリメントされ
てもよい。このインプリメンテーションは、要求に応答
して、迅速なディレクトリ検索を推進することにより、
アクセス待ち時間を有利に低減する。しかしながら、Ｒ
ＭＣ７０と同様、ＲＭＤのためのＳＲＡＭの使用は高価
であり、実際のシステムにおいて、ＲＭＤ７４のサイズ
（従ってＲＭＣ７０のサイズ）を制限する。こうした問
題を解決するために、２つの異なるアプローチが採用さ
れてもよい。

【００２５】第１に、ＲＭＤ７４がＳＲＡＭ（または他
の高価な記憶技術）によりインプリメントされる場合、
ＲＭＤ７４はＳＲＡＭ記憶容量の利用が最適化されるよ
うに、大きなセクタをインプリメントできる（すなわ
ち、大きなデータ・ブロックを、タグ及び状態情報の各
セットに関連付ける）。第２のアプローチは、図３のＮ
ＵＭＡコンピュータ・システム５０'により例示される
ように、ＲＭＤ７４をＲＭＣ７０と一緒に、システム・
メモリ６６内に組み込む。このようにして、ＲＭＤ７４
をインプリメントするコストが大幅に削減されるか、Ｒ
ＭＤ７４及びＲＭＣ７０のサイズが追加のコストを伴わ
ずに、大幅に増加される。システム・メモリ６６のＤＲ
ＡＭ内へのＲＭＤ７４の組込みは、ディレクトリ・アク
セス時間を遅らせるが、この追加のディレクトリ・アク
セス待ち時間が、図４に示されるように、ＲＭＣ制御装
置７３内に、最近アクセスされた（従ってアクセスされ
る可能性が高い）ディレクトリ・エントリを含む小ディ
レクトリ・キャッシュ７５を装備することにより緩和さ
れる。

【００２６】ＮＵＭＡコンピュータ・システム５０のオ
ペレーティング・システムにより、ＲＭＤ７４及びＲＭ
Ｃ７０に割当てられるシステム・メモリ６６の量は、性
能上の重要な考慮事項である。なぜなら、より大きなＲ
ＭＣ７０及びＲＭＤ７４の割当ては、必然的にシステム
・メモリ・アドレス空間６８を低減するからである。好
適な実施例では、ＲＭＣ７０及びＲＭＤ７４に割当てら
れるシステム・メモリ６６の、システム・メモリ・アド
レス空間６８に占める割合が、実行されるアプリケーシ
ョンのニーズに応じて動的に可変される。例えば、オペ
レーティング・システムが、アプリケーションがそれが
実行されるノード５２内のメモリをアクセスするだけで
足りると判断すると、オペレーティング・システムはＲ
ＭＣ７０（及びその関連ＲＭＤ７４）を、システム・メ
モリ・アドレス空間６８に比較して、かなり小さな空間
だけ割当てる。逆に、オペレーティング・システムが、
アプリケーションがリモート・メモリへの多くのアクセ
スを要求すると判断すると、オペレーティング・システ
ムはシステム・メモリの大きな部分をＲＭＣ７０（及び
その関連ＲＭＤ７４）に割当てる。

【００２７】ＲＭＣ７０（及びＲＭＤ７４）は、少なく
とも２つの代替方法に従い、取り込まれる。第１に、Ｒ
ＭＣ７０は、ローカル・キャッシュ階層６２内に保持さ
れる、他のノードからのデータのスーパセットを集合的
に記憶する、包含（または擬似包含）キャッシュとして
インプリメントされる。この実施例では、要求キャッシ
ュ・ラインが他のノード５２から受信されるとき、キャ
ッシュ・ラインがノード５２のＲＭＣ７０にロードされ
る。或いは、ＲＭＣ７０が、ローカル・キャッシュ階層
６２から割当て解除された、共用のまたは変更済みコヒ
ーレンス状態のリモート・データのキャッシュ・ライン
だけを保持する、"犠牲キャッシュ"としてインプリメン
トされる。

【００２８】メモリ・コヒーレンス：各システム・メモ
リ６６内に記憶されるデータは、一般に、ＮＵＭＡコン
ピュータ・システム５０内のＣＰＵ６０により要求さ
れ、アクセスされ、変更されるので、ＮＵＭＡコンピュ
ータ・システム５０（または５０'）は、１つ以上の互
換性のあるキャッシュ・コヒーレンス・プロトコルをイ
ンプリメントし、ノード５２内のキャッシュ階層６２と
ＲＭＣ７０との間のコヒーレンス（すなわち、システム
・メモリ・アドレス空間６８の集約内容のコヒーレント
・ビュー）を維持する。従って、ＮＵＭＡコンピュータ
・システム５０はＣＣ−ＮＵＭＡコンピュータ・システ
ムとして適切に分類される。キャッシュ・コヒーレンス
・プロトコルはインプリメンテーションに依存し、例え
ば、周知のModified、Exclusive、Shared、Invalid（Ｍ
ＥＳＩ）プロトコル、またはそれらの変形を含む。当業
者には理解できるように、キャッシュ階層６２により使
用されるコヒーレンス・プロトコルは、ローカル相互接
続５８及びノード相互接続５５を介して、様々なインプ
リメンテーション依存のメッセージを伝送する必要があ
り、これは例えば、ＣＰＵ６０により実行される命令の
キャッシュ階層６２を通知したり、必要なデータ及び命
令を獲得したり、変更データをシステム・メモリ６６に
書戻したり、コヒーレンスを維持するために必要とされ
る他の機能を実行するために必要とされる。

【００２９】ノード間のコヒーレンスを維持するため
に、システム・メモリ制御装置７１はＬＭＤ７２内に、
関連システム・メモリ・アドレス空間６８からリモート
・ノード５２にチェックアウトされたデータ（すなわち
キャッシュ・ライン）の、システム・メモリ・アドレス
の指示を記憶する。コンパクトなディレクトリを保持す
ることが重要なローエンド・インプリメンテーションで
は、ＬＭＤ７２が各データ・グラニュールに、そのデー
タ・グラニュールが少なくとも１つのリモート・ノード
５２にチェックアウトされるか否かの不正確な指示だけ
を関連付けているかもしれない。或いは、ハイエンド・
インプリメンテーションでは、ＬＭＤ７２は好適には、
各データ・グラニュールに関連して、各リモート・ノー
ド５２におけるキャッシュ・ラインのコヒーレンス状態
の指示を記憶する。本発明の典型的な実施例に従う、Ｌ
ＭＤ７２のエントリに含まれるノードごとのコヒーレン
ス状態には、表１に示される項目が含まれる。

【００３０】

【表１】 ＜コヒーレンス・ ＜ローカル・キャッシュ内 ＜リモート・キャッシュ内 ＜意味＞テ゛ィレクトリ 状態＞ で可能な状態＞ で可能な状態＞ Modified(Ｍ) Ｉ Ｍ、Ｅ又はＩ （注１参照） Shared(Ｓ) Ｓ又はＩ Ｓ又はＩ （注２参照） Invalid(Ｉ) Ｍ、Ｅ、Ｓ又はＩ Ｉ （注３参照） 注１）ホーム・ノードのシステム・メモリに関連して、キャッシュ・ラインが リモート・ノードで変更され得る。 注２）キャッシュ・ラインがリモート・ノードで非排他的に保持され得る。 注３）キャッシュ・ラインがリモート・ノードにより保持されない。

【００３１】表１に示されるように、ハイエンド・イン
プリメンテーションでも、リモート処理ノードにより保
持されるキャッシュ・ラインのコヒーレンス状態の理解
が、ある程度の不正確さをもって指定される。図８及び
図９に関連して後述するように、不正確さの度合いは、
コヒーレンス・プロトコルのインプリメンテーション
が、ホーム・ノードのＬＭＤ７２に通知することなく、
遠隔的に保持されるキャッシュ・ラインがＳからＩへ、
若しくはＥからＩへ、またはＥからＭへ遷移することを
許可するか否かに依存する。

【００３２】本発明の好適な実施例では、図２及び図３
に示されるように、ＬＭＤ７２が高速ＳＲＡＭによりイ
ンプリメントされる。しかしながら、ＬＭＤ７２が代わ
りに、ＲＭＣ７０及びＲＭＤ７４と一緒に、システム・
メモリ６６内に組み込まれてもよい。しかしながら、Ｌ
ＭＤ７２をシステム・メモリ６６に組み込むことは、あ
まり推奨できない。なぜなら、そうすることはより大規
模なＲＭＣ７０及びＲＭＤ７４を助長させ、平均リモー
ト・メモリ・アクセス待ち時間を低減しないからであ
る。更に、ＬＭＤ７２をシステム・メモリ６６に組み込
むことは、システム・メモリへのアクセス時間をほぼ倍
加する。なぜなら、最初のアクセス時間が、ＬＭＤ７２
を探索するために要求され、第２の等価なアクセス時間
が、システム・メモリ・アドレス空間６８から要求デー
タを獲得するために要求されるからである。

【００３３】キャッシュ構成：図５を参照すると、キャ
ッシュ階層６２内にインプリメントされる典型的な低レ
ベル・キャッシュ１３２のブロック図が示される。キャ
ッシュ階層６２内の他の高レベル・キャッシュについて
も、同様に構成される。

【００３４】図示のように、キャッシュ１３２はデータ
記憶１３０、キャッシュ・ディレクトリ１４０及びキャ
ッシュ制御装置１５６を含む。データ記憶１３０は好適
には、多数の合同クラスとして編成されるセット・アソ
シエイティブ・アレイとしてインプリメントされ、各合
同クラスが複数のキャッシュ・ラインを含む。キャッシ
ュ・ディレクトリ１４０はデータ記憶１３０の内容及び
関連状態情報を記録し、データ記憶１３０内の合同クラ
スにそれぞれが対応する多数のセット１４２を含む。各
セット１４２は多数のディレクトリ・エントリ１４４を
含み、これらはセット１４２が関連付けられるデータ記
憶１３０の合同クラス内の、対応キャッシュ・ラインの
アドレス・タグ及びコヒーレンス状態を記憶する。

【００３５】キャッシュ・ディレクトリ１４０は関連Ｌ
ＲＵ論理１５０を有し、これはデータ記憶１３０の各合
同クラス内の各エントリが、どのくらい最近アクセスさ
れたかの指示を記憶する。従って、各合同クラスに関連
付けられるＬＲＵ論理１５０内の指示は、最低アクセス
頻度のメンバ、２番目に低いアクセス頻度のメンバ、及
び３番目に低いアクセス頻度のメンバなどを示す。

【００３６】キャッシュ１３２は、キャッシュ・オペレ
ーション要求に関連付けられる要求アドレスを、（恐ら
く高レベル・キャッシュを介して、）その関連ＣＰＵ６
０と、ローカル相互接続５８の両方から受信する。要求
アドレスは高位のタグ・ビット、中位のインデックス・
ビット、及び下位のオフセット・ビットを含む。図５に
示されるように、キャッシュ１３２により受信される各
要求アドレスのインデックス・ビットは、キャッシュ・
ディレクトリ１４０及びＬＲＵ論理１５０の両方に入力
される。インデックス・ビットの受信に応答して、ＬＲ
Ｕ論理１５０はデコードされたCASTOUT_VICTIM信号１５
２を出力する。この信号は、ことによるとキャッシュ・
オペレーション要求に応答して置換されているかもしれ
ない、選択合同クラスのメンバを示す。CASTOUT_VICTIM
信号１５２は、キャッシュ制御装置１５６及びマルチプ
レクサ１５４の両方に入力される。

【００３７】要求アドレスのインデックス・ビットは、
キャッシュ・ディレクトリ１４０内のセット１４２を選
択する。次に、比較器１４６を用いて、選択セット１４
２の各エントリ１４４内に記憶されるタグ（Ｔ）が、要
求アドレスのタグ・ビットと個々に比較され、各比較器
が１ビット・マッチ指示を生成する。比較器１４６によ
り出力されるビットは、デコードされたＨＩＴ／ＭＩＳ
Ｓ信号１４８を形成し、これがキャッシュ制御装置１５
６、マルチプレクサ１５４、及びＯＲゲート１５３に入
力される。ＯＲゲート１５３は、ＨＩＴ／ＭＩＳＳ信号
１４８を論理的に組み合わせることにより、選択信号を
生成し、この選択信号がヒットに応答して、ＨＩＴ／Ｍ
ＩＳＳ信号１４８をマルチプレクサ１５４の出力として
選択し、ミスに応答して、CASTOUT_VICTIM信号１５２を
マルチプレクサ１５４の出力として選択する。マルチプ
レクサ１５４の出力は、デコードされたＳＥＬＥＣＴ信
号１５５を形成する。

【００３８】比較器１４６によるタグ・ビットの比較と
並行して、選択セット１４２の各エントリに記憶される
コヒーレンス状態（ＣＳ）及びタグ（Ｔ）が、マルチプ
レクサ１４７に入力される。ＳＥＬＥＣＴ信号１５５が
次に、もし要求アドレスがキャッシュ・ディレクトリ１
４０内でヒットした場合、マルチプレクサ１４７の出力
として、マッチング・メンバに関連付けられるコヒーレ
ンス状態及びタグを選択し、要求アドレスがキャッシュ
・ディレクトリ１４０内でミスした場合、ＬＲＵメンバ
に関連付けられるコヒーレンス状態及びタグを選択す
る。次に、選択コヒーレンス状態及びタグ１４９が、キ
ャッシュ制御装置１５６に入力される。

【００３９】キャッシュ・オペレーション要求、ＨＩＴ
／ＭＩＳＳ信号１４８、コヒーレンス状態及びタグ１４
９、及びCASTOUT_VICTIM信号１５２の受信に応答して、
キャッシュ制御装置１５６は要求を要求キュー１３４の
１つにエンキューし、適切なデータ処理及びディレクト
リ更新操作を実行する。例えば、関連ＣＰＵ６０による
読出しタイプの要求が、キャッシュ・ディレクトリ１４
０内でミスしたことに応答して、キャッシュ制御装置１
５６は、要求アドレスを含むキャッシュ・ラインを求め
る要求を、ローカル相互接続５８上に出力し、ローカル
・キャッシュ階層６２、ローカル・システム・メモリ６
８、または他のノード５２からの要求データの受信に際
して、要求データを関連ＣＰＵ６０に提供し、要求キャ
ッシュ・ラインを、CASTOUT_VICTIM信号１５２により指
定される合同クラス・メンバに記憶する。或いは、関連
ＣＰＵ６０による読出し要求のキャッシュ・ディレクト
リ１４０内でのヒットに応答して、キャッシュ制御装置
１５６が要求データをデータ記憶１３０から読出し、そ
のデータを関連ＣＰＵ６０に提供する。キャッシュ・オ
ペレーション要求のサービスが、キャッシュ・ラインの
アクセスまたはキャッシュ・ラインの置換を要求する度
に、キャッシュ制御装置１５６はLRU_UPDATE信号１５８
を生成し、この信号がＬＲＵ論理１５０により、アクセ
スされた合同クラスに関連付けられるＬＲＵ指示を更新
するために使用される。後述するように、キャッシュ制
御装置１５６は、ローカル相互接続５８上のスヌーピン
グ・オペレーションに応答して、スヌープ・キュー１３
５を参照することにより、同様にキャッシュ更新及びデ
ータ処理操作を実行する。

【００４０】リモート読出しタイプ命令：図６を参照す
ると、本発明に従い、ＣＰＵロードまたはストア要求を
サービスする方法のハイレベル論理フローチャートが示
される。図６に示されるプロセスはブロック１００で開
始し、次にブロック１０１に進み、ＮＵＭＡコンピュー
タ・システム５０（または５０'）のあるノード５２内
の最下レベル・キャッシュ１３２が、関連ＣＰＵ６０か
ら、データまたは命令（以下では単にデータと称す）の
要求を受信する。最下レベル・キャッシュ１３２での要
求の受信は、要求がキャッシュ階層６２の高レベル・キ
ャッシュにおいて、ミスしたことを示す。

【００４１】前述のように、要求の受信に応答して、最
下レベル・キャッシュ１３２は、ブロック１０２で、要
求が最下レベル・キャッシュ１３２内でヒットするか否
かを判断する。ヒットする場合、ブロック１０３で、キ
ャッシュ制御装置１５６がＣＰＵ６０に要求データを提
供されることにより、要求をサービスし、プロセスはブ
ロック１１８で終了する。しかしながら、ブロック１０
２で、要求が最下レベル・キャッシュ１３２内でミスし
たと判断されると、ブロック１０４で、最下レベル・キ
ャッシュ１３２のキャッシュ制御装置１５６が、そのロ
ーカル相互接続５８上に、要求データをターゲットとす
る読出しタイプの要求（例えばロード要求のためのＲＥ
ＡＤ、またはストア要求のためのＲＷＩＴＭ（read-wit
h-intent-to-modify））を発行する。

【００４２】図７は、本発明に従う読出しタイプの要求
の典型的な実施例を示す。図示のように、読出しタイプ
の要求は、発信元及び宛先タグ・フィールド１１９、１
２０、アドレス及びパリティ・フィールド１２１、１２
２、及び命令のサイズ及びタイプ（例えばＲＥＡＤまた
はＲＷＩＴＭ）を示すトランザクション記述子フィール
ド１２４などの、従来のフィールドを含む。更に、読出
しタイプの要求は、図１７乃至図１９に関連して後述す
るプリフェッチ（ＰＦ）フィールド１２８を含む。更
に、本発明によれば、読出しタイプの要求は、その読出
しタイプの要求がローカル・ノード制御装置５６のキュ
ー５７の１つにエンキューされるべきか否かを示す、ノ
ード制御装置キュー（ＮＣＱ）フラグ１２６を含む。本
発明によれば、ノード制御装置５６のキュー５７内の命
令のペンデンシが、最初に、ＮＣＱフィールド１２６が
０にセットされた読出しタイプの要求を発行し（図６の
ブロック１０４参照）、それによりノード制御装置５６
に読出しタイプの要求をエンキューしないように命令す
ることにより低減される。

【００４３】図６に戻り、プロセスはブロック１０４か
らブロック１０６に進み、ここで他のローカル・キャッ
シュ階層６２、メモリ制御装置６４、及びノード制御装
置５６の全てが、読出しタイプの要求をスヌープし、適
切なスヌープ応答を提供する。可能なスヌープ応答は、
好適には表２に示される項目を含む。

【００４４】

【表２】＜スヌープ応答とその意味＞ 再試行：要求の発信元が要求を再発行しなければならな
い。 変更介入：ラインがキャッシュ内で変更され、キャッシ
ュからリクエスタに発信される。 共用介入：ラインがキャッシュ内で変更されず（ことに
よると共用される）、キャッシュからリクエスタに発信
される。 リモート・アドレス：ラインのホーム・ノードが別のノ
ード（ノード制御装置だけ）である。 共用：ラインがキャッシュ内で共用状態に保持される。 ヌル：ラインがキャッシュ内で無効である。

【００４５】重要な点は、ローカル・ノード制御装置５
６が、ホーム・ノードとして別のノードを有するデータ
に対する読出しタイプの要求に対して、"リモート・ア
ドレス"・スヌープ応答を提供するが、ノード制御装置
５６はこうした読出しタイプの要求を、リモート・ノー
ドへの伝送のために、そのキュー５７の１つに即時エン
キューしないことである。なぜなら、読出しタイプの要
求のＮＣＱフィールド１２６が、０にセットされている
からである。

【００４６】ブロック１０８で示されるように、読出し
タイプの要求を発行したインタフェース・ユニット６５
内の応答論理６３が、全てのスヌープ応答を組み合わ
せ、要求がどのようにサービスされるかを示す組み合わ
せ応答を生成する（例えば、最も優先順位の高いスヌー
プ応答を示すことによる）。インタフェース・ユニット
６５はこの組み合わせ応答を、要求元キャッシュ階層６
２を含む、ローカル相互接続５８上の各スヌーパに提供
する。組み合わせ応答が、要求アドレスが要求データの
発信元として役立つローカル・キャッシュ階層６２また
はＲＭＣ７０内でヒットしたことを示す場合、プロセス
はブロック１０８からブロック１１０に進み、読出しタ
イプの要求がローカル・キャッシュ階層６２またはＲＭ
Ｃ７０によりサービスされる。その後、プロセスはブロ
ック１１８で終了する。

【００４７】ブロック１０８に戻り、読出しタイプの要
求に対する組み合わせ応答が、ローカル・キャッシュ階
層６２またはＲＭＣ７０が要求データの発信元として役
立たないことを示す"リモート・アドレス"組み合わせ応
答の場合、ブロック１１２で示されるように、要求キャ
ッシュ階層６２内の最下レベル・キャッシュ１３２のキ
ャッシュ制御装置１５６が、読出しタイプの要求を、Ｎ
ＣＱフラグ１２６が１にセットされた状態で、ローカル
相互接続５８上に再発行する。既に述べたように、各々
のスヌーパが読出しタイプの要求に対してスヌープ応答
を提供し、インタフェース・ユニット６５が組み合わせ
応答を提供する。しかしながら、ブロック１１４に示さ
れるように、読出しタイプの要求がノード制御装置５６
により再度スヌープされるとき、ノード制御装置５６
は、今度はＮＣＱフィールド１２６が１にセットされて
いるので、要求アドレスのホーム・ノード５２への伝送
のために、要求をそのキュー５７の１つにエンキューす
る。読出しタイプの要求をエンキューした後、ノード制
御装置５６は第２の組み合わせ応答を待機することな
く、読出しタイプの要求をそのサービスのために、ホー
ム・ノード５２に転送する。（ノード制御装置５６は組
み合わせ応答を受信するために待機する必要がない。な
ぜなら、既にＮＣＱフィールド１２６により、ノード制
御装置５６が読出しタイプの要求のサービスを処理しな
ければならないことが示されているからである。）ブロ
ック１１６で示されるように、ホーム・ノード５２が要
求データをノード相互接続５５を介して、ノード制御装
置５６に提供することにより、要求をサービスする。次
に、ノード制御装置５６はローカル相互接続５８を介し
て、要求データを要求元キャッシュ階層６２に（及び包
含キャッシュとしてインプリメントされる場合、ＲＭＣ
７０にも）提供する。その後、プロセスはブロック１１
８で終了する。

【００４８】図６に示されるプロセスは、ノード制御装
置５６内のキュー５７の項目数が、図１の従来のノード
制御装置２４内のキュー３２の項目数よりも、遙かに浅
いことを可能にする。このようにキューの項目数を低減
できる理由は、エンキューされる読出しタイプの要求の
数及びキューイング期間が、大幅に減少されるからであ
る。

【００４９】図１の従来のＮＵＭＡコンピュータ・シス
テム８では、ノード制御装置２４がキュー３２内に、リ
モート・データを求めてスヌープされた各読出しタイプ
の要求をエンキューする。これは後に、ローカル組み合
わせ応答が、その読出しタイプの要求が別のノード１０
によりサービスされなければならないことを示す場合に
備えるためである。従って、ノード制御装置２４は不必
要にたくさんの読出しタイプの要求をエンキューし、そ
れらが後に組み合わせ応答により示されるときに、（例
えばＲＭＣ２８から）局所的にサービスされるようにす
る。更に、ノード制御装置２４は、要求アドレスがスヌ
ープされる時点から、組み合わせ応答が受信される時点
まで、読出しタイプの要求をエンキューする（これは例
えば８０サイクル以上を費やす）。この長いインターバ
ルの間、従来のノード制御装置２４内のキュー３２は、
ローカル相互接続１１及びノード相互接続１２上の命令
を、キュー３２に対してスヌープすることにより、全て
のインバウンド命令及びアウトバウンド命令のグローバ
ル・コヒーレンスを、キュー３２内に保持するように要
求される。

【００５０】それに対して、図６の方法に従えばノード
制御装置５６は、サービスのために他のノード５２に送
信されなければならない読出しタイプの要求をエンキュ
ーするだけである。更に、キュー５７内にエンキューさ
れる読出しタイプの要求が、ＮＣＯフィールド１２６が
１にセットされて再発行される読出しタイプの要求の受
信と、ノード相互接続５５上での読出しタイプの要求の
伝送との間のインターバルの間だけ、エンキューされ
る。従って、キュー５７の項目数が、アドレス指定から
組み合わせ応答までの待ち時間に依存しない。

【００５１】もちろん、キュー項目数のこの有利な低減
は、アドレス指定から組み合わせ応答までの待ち時間の
延長を、ノード５２間で伝送されなければならない読出
しタイプの要求のサービスのために追加する代償として
獲得される。しかしながら、大容量のＲＭＣ７０を仮定
すると、こうした要求は希である。加えて、ホーム・ノ
ードに転送されなければならない要求のサービスに関連
付けられる待ち時間は一般に非常に長く、リモート・ノ
ードにおけるアドレス指定から組み合わせ応答までの追
加の待ち時間の招へいは、性能に大きな影響を与えな
い。

【００５２】最後に、当業者には明らかなように、図６
の方法はＮＵＭＡコンピュータ・システムに限られるも
のではない。代わりに、本発明は一般に、階層相互接続
アーキテクチャを有するＳＭＰコンピュータ・システ
ム、及びスヌーパ間の通信待ち時間が均一でない他のコ
ンピュータ・システムにも適用可能である。

【００５３】キャッシュ・ライン割当て解除：図６のブ
ロック１１４及び１１６に示されるように、キャッシュ
・ラインが要求され、別のノード５２から受信されると
き、そのキャッシュ・ラインが要求元キャッシュ階層６
２またはＲＭＣ７０から割当て解除され、新たなキャッ
シュ・ラインを収容できるようにしなければならない。
リモート・ノードが常に未変更のキャッシュ・ラインを
黙って割当て解除する、前述の従来のＮＵＭＡコンピュ
ータ・システムとは異なり、本発明に従うＮＵＭＡコン
ピュータ・システムは、好適には、リモート・ノード
が、ホーム・ノードからチェックアウトされたキャッシ
ュ・ラインを割当て解除するとき、リモート・ノードが
ホーム・ノードにそのことを通知するように、割当て解
除操作をインプリメントする。従って、本発明はＬＭＤ
７２が、リモート・ノード５２に保持される関連システ
ム・メモリ・アドレス空間６８からのデータに関して、
より正確な情報を含むことを可能にする。

【００５４】次に図８及び図９を参照すると、本発明の
好適な実施例に従い、ＲＭＣ７０からのキャッシュ・ラ
インの割当て解除を示すハイレベル論理フローチャート
が示され、そこではＲＭＣ７０が、ローカル・キャッシ
ュ階層６２から割当て解除されたリモート・データを記
憶する"犠牲キャッシュ（victim cache）"として実現さ
れる。しかしながら、当業者であれば理解できるよう
に、図示の割当て解除プロセスは、ＲＭＣ７０がローカ
ル・キャッシュ階層６２内に保持されるリモート・デー
タを含む実施例にも適用可能である。

【００５５】最初に図８を参照すると、プロセスはブロ
ック１７０で開始し、その後、ブロック１７２に進み、
ここでＲＭＣ７０を制御するメモリ制御装置６４のＲＭ
Ｃ制御装置７３が、犠牲キャッシュ・ラインを割当て解
除のために選択する。この選択は、例えば、どのキャッ
シュ・ラインが最低使用頻度（ＬＲＵ）か、或いは最も
最近使用されたか（ＭＲＵ）、またはランダム選択や他
の犠牲選択基準にもとづき行われる。ブロック１７４で
示されるように、ＲＭＣ制御装置７３は犠牲キャッシュ
・ラインを、ＲＭＤ７４に記憶されるそのコヒーレンス
状態に従い割当て解除する。ＲＭＤ７４が犠牲キャッシ
ュ・ラインのコヒーレンス状態が無効であると示す場
合、ホーム・ノード５２に何の通知も提供することな
く、犠牲キャッシュ・ラインが単に要求データにより上
書きされる。従って、プロセスはブロック１７４から直
接ブロック１９０に移行し終了する。

【００５６】他方、ＲＭＤ７４が、選択犠牲キャッシュ
・ラインがホーム・ノード５２のシステム・メモリ・ア
ドレス空間６８に内在する対応データに関連して、変更
済みであると示す場合、メモリ制御装置６４は変更デー
タに対して割当て解除プロセスを開始し、これがブロッ
ク１７６で示され、図９に関連して以下で詳述される。
最後に、ＲＭＤ７４が、犠牲キャッシュ・ラインが共用
コヒーレンス状態であると示す場合（すなわち、キャッ
シュ階層６２内に局所的にキャッシュされているかもし
れず、その場合、ホーム・ノード５２のシステム・メモ
リ６６に関連して変更済みである）、メモリ制御装置６
４は、割当て解除されるキャッシュ・ラインのコピーを
含むシステム・メモリ６６に関連付けられるホーム・ノ
ードのメモリ制御装置６４に通知する。こうした通知
は、たとえそれがコヒーレンスを維持するために、厳密
には必要でなくても行われる。

【００５７】ブロック１７８で示されるように、メモリ
制御装置６４は、アドレス専用割当て解除命令をローカ
ル相互接続５８上に発行することにより、共用犠牲キャ
ッシュ・ラインをリモート・メモリ・キャッシュ７０か
ら割当て解除するプロセスを開始する。アドレス専用割
当て解除命令のスヌープに応答して、ノード制御装置５
６は命令をエンキューし、ローカル・キャッシュ階層６
２及び他のスヌーパが、ブロック１８０で示されるよう
に、割当て解除命令に対して、そのキャッシュ階層６２
に関連して、犠牲キャッシュ・ラインのコヒーレンス状
態（一般に共用状態または無効状態）を示すスヌープ応
答を提供する。これらのスヌープ応答は、割当て解除命
令を発行したインタフェース・ユニット６５内の応答論
理により組み合わされ、組み合わせ応答が生成される。
この組み合わせ応答が次に、ローカル相互接続５８に結
合される全てのスヌーパに提供される。ブロック１８２
で示されるように、組み合わせ応答が、１つ以上のロー
カル・キャッシュ階層６２が共用状態の犠牲キャッシュ
・ラインを記憶することを示す場合、プロセスはブロッ
ク１９０で終了し、この場合、ホーム・ノード５２に通
知することなく、犠牲キャッシュ・ラインがＲＭＣ７０
から割当て解除される。ホーム・ノード５２に通知が提
供されない理由は、ホーム・ノードのＬＭＤ７２の更新
が必要でないからである。

【００５８】しかしながら、組み合わせ応答が、犠牲キ
ャッシュ・ラインが局所的に共用状態でキャッシュされ
ていないことを示す場合（すなわち組み合わせ応答がヌ
ル）、ブロック１８４で、ローカル・ノード制御装置５
６はエンキューされたアドレス専用割当て解除命令をホ
ーム・ノード５２のノード制御装置５６に送信し、割当
て解除命令をデキューする。ホーム・ノード５２のノー
ド制御装置５６は次に、アドレス専用割当て解除命令を
そのローカル相互接続５８上に発行する。ブロック１８
６で示されるように、犠牲キャッシュ・ラインのアドレ
スの担い手であるメモリ制御装置６４が、ＬＭＤ７２内
の犠牲キャッシュ・ラインに対応する共用状態のエント
リを無効状態に更新し、犠牲キャッシュ・ラインがもは
やその特定のリモート・ノード５２にキャッシュされて
いないことを示す。その後、図８に示されるプロセスは
ブロック１９０で終了する。

【００５９】次に図９を参照すると、本発明に従いＲＭ
Ｃ７０から変更キャッシュ・ラインを割当て解除する典
型的な方法が示される。図示の実施例では、キャッシュ
階層６２及びＲＭＣ７０によりインプリメントされるコ
ヒーレンス・プロトコルが、タグ付き（Ｔ）コヒーレン
ス状態を含む周知のＭＥＳＩプロトコルの変形である。
米国特許出願第０９／０２４３９３号で述べられるよう
に、タグ付き（Ｔ）コヒーレンス状態は、１）キャッシ
ュ・ラインがシステム・メモリに関連して変更されてい
ること、２）キャッシュ・ラインが、異なる処理ユニッ
トに関連付けられる複数のキャッシュ内に保持されてい
るかもしれないこと、及び３）Ｔ状態のキャッシュ・ラ
インを保持するキャッシュが、現在そのキャッシュ・ラ
インをシステム・メモリに書戻す責任があることを示
す。

【００６０】図９に示されるプロセスは、図８のブロッ
ク１７２乃至１７４で示されるように、割当て解除のた
めに選択されたＲＭＣ７０内の犠牲キャッシュ・ライン
が、変更キャッシュ・ラインであると判断された後に、
ブロック２００で開始する。プロセスは次にブロック２
０２に進み、ＲＭＣ７０に関連付けられるＲＭＣ制御装
置７３が、ローカル相互接続５８上にキャストアウト書
込み命令を発行する。

【００６１】図１０に示されるように、本発明に従う典
型的なキャストアウト書込み命令２４０は、発信元及び
宛先タグ・フィールド２４１、２４２、アドレス及びア
ドレス・パリティ・フィールド２４３、２４４、及び命
令のサイズ及びタイプを示すトランザクション記述子フ
ィールド２４６などの、従来のフィールドを含む。更
に、後述のように、キャストアウト書込み命令は共用
（Ｓ）フラグ２４８を含み、これはキャストアウト書込
み命令がローカル相互接続５８上に発行されたとき、共
用スヌープ応答を受信したか否かを示すようにセットさ
れる。最後に、キャストアウト書込み命令は、変更犠牲
キャッシュ・ラインを含むデータ・フィールド２５０、
及び関連データ・パリティ・フィールド２５２を含む。

【００６２】ブロック２０４で示されるように、キャス
トアウト書込み命令のスヌープに応答して、ローカル相
互接続５８に結合されるスヌーパの各々は、キャッシュ
階層６２のために、各スヌーパでの犠牲キャッシュ・ラ
インのコヒーレンス状態を示すスヌープ応答を提供す
る。更に、ノード制御装置５６がキャストアウト書込み
をキュー５７にエンキューする。前述のように、キャス
トアウト書込み命令を発行したメモリ制御装置６４に関
連付けられるインタフェース・ユニット６５内の応答論
理６３が、スヌープ応答を組み合わせ、組み合わせ応答
を生成し、これが全てのスヌーパに提供される。組み合
わせ応答が再試行組み合わせ応答の場合、プロセスは前
述したブロック２０２に戻る。しかしながら、組み合わ
せ応答が再試行以外の応答の場合、ノード制御装置５６
は組み合わせ応答に従い、キャストアウト書込み命令内
の共用フラグ２４８をセットする。従って、ブロック２
０８で示されるように、組み合わせ応答が共用の場合、
キャッシュ階層６２の１つが、タグ付き（Ｔ）コヒーレ
ンス状態により許可されるように、変更犠牲キャッシュ
・ラインのコピーを保持することを示し、従って、ノー
ド制御装置５６は共用フラグ２４８を１にセットする。
他方、犠牲キャッシュ・ラインの有効なコピーを保持す
るローカル・キャッシュ階層６２が存在しない場合、ノ
ード制御装置５６はヌル組み合わせ応答を受信し、従っ
て、ブロック２１０で共用フラグ２４８を０にセットす
る。

【００６３】ノード制御装置５６はその後、ブロック２
１２で示されるように、キャストアウト書込み命令をデ
キューし、それを犠牲キャッシュ・ラインのホーム・ノ
ード５２に送信する。ホーム・ノード５２でのキャスト
アウト書込み命令の受信に続き、ホーム・ノード５２の
ノード制御装置５６が、キャストアウト書込み命令をホ
ーム・ノード５２のローカル相互接続５８上に発行す
る。ブロック２１３で示されるように、キャストアウト
書込み命令に応答して、犠牲キャッシュ・ライン・アド
レスの担い手であるメモリ制御装置６４が、システム・
メモリ・アドレス空間６８をキャストアウト・データに
より更新する。更に、メモリ制御装置６４は共用フラグ
２４８の状態に従い、ＬＭＤ７２内の、リモート・ノー
ド５２の関連コヒーレンス状態を更新する。従って、ブ
ロック２１８で示されるように、共用フラグ２４８が１
にセットされている場合、メモリ制御装置６４は、キャ
ストアウトを発行したリモート・ノード５２での犠牲キ
ャッシュ・ラインのコヒーレンス状態を、共用にセット
する。他方、共用フラグ２４８が０にセットされている
場合、ブロック２１６で示されるように、メモリ制御装
置６４がリモート・ノード５２の犠牲キャッシュ・ライ
ンのコヒーレンス状態を無効に更新する。その後、図９
に示される割当て解除プロセスがブロック２２０で終了
する。

【００６４】図８及び図９に示される割当て解除プロセ
スの一方または両方をインプリメントすることにより、
ホーム・ノード５２のメモリ制御装置６４が、（例えば
ＲＷＩＴＭ要求に応答して、）不必要な無効命令をリモ
ート・ノード５２に送信する可能性が大幅に減少する。
その結果、複数のノード５２間で時々共用されるキャッ
シュ・ラインに対する、ストア命令の平均性能が改善さ
れる。また、図８に示されるアドレス専用割当て解除命
令が、弱い命令（すなわち不正確な命令）としてインプ
リメントされる。例えば、アドレス専用割当て解除命令
を発信するメモリ制御装置６４が、所定数以上の再試行
スヌープ応答を受信する場合、メモリ制御装置６４は割
当て解除命令の再試行を中断する。このように、再試行
組み合わせ応答を招く動的条件（例えばキャッシュ・デ
ィレクトリがビジー）の下でも、性能的な影響を受けな
い。

【００６５】ローカル・メモリ・ディレクトリ保守：本
発明の一部の実施例では、図８及び図９に示される方法
に加え、遠隔的に保持されるキャッシュ・ラインを割当
て解除する、代わりのまたは追加の方法をインプリメン
トすることが望ましい。特に、図８及び図９の割当て解
除方法がインプリメントされないか、ＲＭＣ７０が非常
に大規模な場合、リモート・ノードがキャッシュ・ライ
ンのアクセスを要求するのをやめたずっと後で、そのキ
ャッシュ・ラインがリモート・ノードに保持されてもよ
い（或いは、少なくともホーム・ノードのＬＭＤ７２
に、リモート・ノードに保持されていることが示されて
もよい）。結果的に、本発明は非要求時フラッシュ命令
をリモート・ノードに発行することにより、排他命令
（例えばＲＷＩＴＭ要求）が、リモート・ノードに保持
されるデータの無効化により遅延される頻度を低減す
る、特定の機構をインプリメントすることが望ましいこ
とを認識する。

【００６６】本発明の好適な実施例に従い、また図４に
示されるように、メモリ制御装置６４のシステム・メモ
リ制御装置７１内に、ディレクトリ"消し込み（scrubbi
ng）"論理（ＳＬ）６１なる機構がインプリメントされ
る。このディレクトリ消し込み論理（ＳＬ）６１は、関
連ＬＭＤ７２内の各エントリを周期的に読出し、エント
リが、特定のキャッシュ・ラインが１つ以上のリモート
・ノード５２に"キャッシュアウト"されていることを示
す場合、システム・メモリ制御装置７１が"弱い"アドレ
ス専用フラッシュ照会を、それらのリモート・ノードに
発行する。

【００６７】フラッシュ照会は"弱い（weak）"と称され
る。なぜなら、フラッシュ照会を受信するリモート・ノ
ード５２は、それを遵守する必要がないからである。通
常状態では、フラッシュ照会がデータのコピーを保持す
るリモート・ノード５２内のキャッシュ階層６２により
スヌープされるとき、キャッシュ階層６２はキャッシュ
内のアドレス指定ラインを無効化し、もしキャッシュ・
ラインが変更済みの場合、キャッシュ・ライン・データ
をホーム・ノード５２に書戻す。しかしながら、データ
が依然リモート・ノード５２内で活発に使用されている
か、キャッシュ階層のスヌープ・キューが全てビジーの
場合、フラッシュ照会が無視されてもよい。

【００６８】次に図１１を参照すると、本発明の好適な
実施例に従い、ディレクトリ消し込み論理６１を操作す
る典型的な方法のハイレベル論理フローチャートが示さ
れる。図示のように、プロセスはブロック２６０で開始
し、ブロック２６２に進み、ディレクトリ消し込み論理
６１がカウントダウン・カウンタを選択カウント値によ
りリセットし、このカウント値が、ＬＭＤ７２内のディ
レクトリ・エントリが消し込まれる頻度を決定する。カ
ウンタの初期値はハードウェアにより決定されるか、ソ
フトウェア・プログラマブルである。次に、ブロック２
６４で、カウンタにより保持されるカウントが０か否か
が判断される。０でない場合、カウンタはブロック２６
６で減分され、プロセスはブロック２６４に戻る。

【００６９】ブロック２６４で、カウンタが０にカウン
トダウンしたと判断されると、プロセスはブロック２６
８に進み、システム・メモリ制御装置７１が、ディレク
トリ・エントリ・ポインタにより示されるＬＭＤ７２内
のディレクトリ・エントリを読出す。ＬＭＤ７２内のデ
ィレクトリ・エントリが、関連データがどのリモート・
ノード５２内にも保持されていないと示す場合（例えば
ＬＭＤ７２内で無効状態）、プロセスは直接、後述のブ
ロック２７４に移行する。しかしながら、ＬＭＤ７２か
ら読出されるディレクトリ・エントリが、少なくとも１
つのリモート・ノード５２が関連データのコピーを保持
すると示す場合、プロセスはブロック２７０からブロッ
ク２７２に進む。ブロック２７２では、システム・メモ
リ制御装置７１がアドレス専用フラッシュ照会を、その
ローカル相互接続５８上に発行する。フラッシュ照会は
ローカル・ノード制御装置５６によりスヌープされ、ノ
ード制御装置５６により、ＬＭＤ７２のエントリに含ま
れる情報量に応じて、フラッシュ照会内で指定される各
リモート・ノード５２に、或いは全てのリモート・ノー
ド５２に送信される。ブロック２７２に続き、ブロック
２７４でシステム・メモリ制御装置７１はディレクトリ
・エントリ・ポインタを増分し、ＬＭＤ７０内の次のエ
ントリを指し示す。その後、プロセスはブロック２６２
に戻り、再度繰り返される。

【００７０】次に図１２を参照すると、本発明の好適な
実施例に従い、リモート・ノード５２のＲＭＣ制御装置
７３が、ホーム・ノード５２から発行されたアドレス専
用フラッシュ照会を処理する典型的な方法のハイレベル
論理フローチャートが示される。プロセスはブロック３
００で開始し、その後ブロック３０２に進み、そこでメ
モリ制御装置６４がアドレス専用フラッシュ照会をスヌ
ープするまで繰り返される。アドレス専用フラッシュ照
会のスヌープに応答して、プロセスはブロック３０４に
進み、メモリ制御装置６４がそのＲＭＤ７４から、フラ
ッシュ照会内のアドレスにより識別されるディレクトリ
・エントリを読出す。ディレクトリ・エントリ内で示さ
れるコヒーレンス状態にもとづき、メモリ制御装置６４
はＲＭＣ７０が、フラッシュ照会アドレスに関連付けら
れる有効データを保持するか否かを判断する。保持しな
い場合、プロセスは前述のブロック３０２に戻る。

【００７１】ブロック３０６に戻り、ＲＭＤ７４内のデ
ィレクトリ・エントリが、ＲＭＣ７０がフラッシュ照会
アドレスに関連付けられる有効キャッシュ・ラインを保
持すると示すことに応答して、メモリ制御装置６４は次
に、ブロック３０８及び３１０により示されるように、
そのキャッシュ・ラインを割当て解除するか否かを判断
する。この判断は、例えば、キャッシュ・ラインがリモ
ート・ノード５２において、活発に使用されているか否
か、或いは、メモリ制御装置６４が使用可能なスヌープ
・キューまたは他のファクタを有するか否かなどにもと
づく。ＲＭＣ７０が、ローカル・キャッシュ階層６２に
より保持されるリモート・データを含むようにインプリ
メントされる本発明の実施例では、メモリ制御装置６４
は、ＲＭＤ７４から読出されるディレクトリ・エントリ
内のいずれかの包含ビットが、セットされているか否か
を判断することにより、示されるキャッシュ・ラインが
依然活発に使用されているか否かを判断できる。メモリ
制御装置６４が、フラッシュ照会内で識別されるキャッ
シュ・ラインを割当て解除しないと判断する場合（例え
ば、キャッシュ・ラインが依然使用されているか、スヌ
ープ・キューが使用可能でないことによる）、識別され
たキャッシュ・ラインは割当て解除されず、プロセスは
単に前述のブロック３０２に戻る。

【００７２】他方、リモート・ノード５２内のメモリ制
御装置６４が、キャッシュ・ラインが割当て解除される
と判断すると、プロセスはキャッシュ・ライン割当て解
除プロセスを表すブロック３１２乃至３１６を実行す
る。図示の割当て解除プロセスに従い、メモリ制御装置
６４は、単にＲＭＤ７４内のディレクトリ・エントリを
更新することにより、未変更のキャッシュ・ラインを割
当て解除する。その際、ホーム・ノード５２へは何の通
知も行われない。それに対して、変更キャッシュ・ライ
ンはＲＭＤ７４内で無効化され、従来通りホーム・ノー
ド５２に書戻される。もちろん当業者であれば、図８及
び図９に示される割当て解除方法が、ブロック３１２乃
至３１６に示される割当て解除プロセスの代わりに、イ
ンプリメントされ得ることが理解できよう。キャッシュ
・ライン割当てプロセスに続き、図１２に示されるプロ
セはブロック３０２に戻る。

【００７３】図１１及び図１２に示されるＬＭＤ消し込
みプロセスは、ローエンド及びハイエンドＮＵＭＡコン
ピュータ・システムの両方に対して利点を提供する。コ
ストが重点課題であるローエンドＮＵＭＡコンピュータ
・システムでは、ＬＭＤが比較的小規模であることが有
利である。従って、キャッシュ・ラインのリモート・コ
ピーをキャッシュするノードの特定のノードＩＤは、一
般にＬＭＤ内に保持されない。その結果、ホーム・ノー
ドのメモリ制御装置が、キャッシュ・ラインへの排他ア
クセスの要求に応答して、そのキャッシュ・ラインを無
効化するように要求されるとき（更にそのキャッシュ・
ラインが変更済みの場合、ホーム・ノードへのデータの
書戻しを強要されるとき）、メモリ制御装置はフラッシ
ュ・コマンドを他の全てのノードに同報しなければなら
ない。なぜなら、メモリ制御装置は、どのノードが実際
にそのキャッシュ・ラインをアクセスしたかの記録を有
さないからである。図１１及び図１２に示されるディレ
クトリ消し込み方法は、新たなリクエスタがデータを待
機している間に、要求時フラッシュ・コマンドが同報さ
れなければならない機会を低減することにより、ローエ
ンド・システムの性能を向上させる。本発明のローエン
ド・インプリメンテーションは、依然フラッシュ照会を
全てのノードに同報する必要があるが、こうした同報
は、排他アクセスが続くリクエスタにより要求されるよ
りずっと前に実行される傾向がある。

【００７４】非常に大規模なＲＭＣを有するハイエンド
ＮＵＭＡコンピュータ・システムでは、フラッシュ照会
を用いて、遠隔的に保持される不要なキャッシュ・ライ
ンを割当て解除することによる利点が、ＲＭＣの管理に
より大きく起因する。ハイエンド・システムは一般に非
常に大規模なＲＭＣを有するので、特定のノード内の処
理ユニットによりもはや要求されないキャッシュ・ライ
ンが、そのノードのＲＭＣ内に非常に長い時間留まるか
もしれず、ときとして決して割当て解除されないかもし
れない。このような場合、本発明を除くと、キャッシュ
・ラインがキャッシュから強制退去される唯一の方法
は、そのキャッシュ・ラインへの排他アクセスの要求に
応答して、ホーム・ノードが要求時フラッシュ・コマン
ドを発行することである。従って、本発明はリモート・
ノードが、現在ＬＭＤ内で追跡されているキャッシュ・
ラインのコピーを無効化することを、"弱く（weakly）"
強いるものであり、ホーム・ノードがそのキャッシュ・
ラインの新たなアクセス要求を受信するとき、関連メモ
リ制御装置が最初に要求時フラッシュ・コマンドを１つ
以上のリモート・ノードに発行する必要なく、キャッシ
ュ・ラインがシステム・メモリから即時送信される可能
性が高くなる。

【００７５】本発明の一部の実施例では、フラッシュ照
会がスヌープされ、キャッシュ階層６２のキャッシュ制
御装置１５６により作用される。しかしながら、フラッ
シュ照会のターゲット・キャッシュ・ラインのキャッシ
ュ階層６２内での存在は、データが続いてアクセスされ
ることを示すので、フラッシュ照会を遵守する利点は、
ターゲット・キャッシュ・ラインが保持されるキャッシ
ュ階層６２内の上位階層（higher-up）を縮小させる。
従って、例えばターゲット・キャッシュ・ラインがＬ３
キャッシュ内にのみ保持される場合、フラッシュ照会に
従うことが賢明であるが、ターゲット・キャッシュ・ラ
イン（またはその一部）が、関連Ｌ２またはＬ１キャッ
シュ内に保持される場合には、フラッシュ照会を無視す
ることが賢明である。

【００７６】非集中グローバル・コヒーレンス管理：前
述のように、本発明は、別のノード５２におけるサービ
スを要求する読出しタイプの命令が、ノード制御装置５
６によりエンキューされる時間を低減することにより、
ノード制御装置５６内で要求されるキュー５７の数を有
利に低減する。本発明は更に、ノード制御装置５６から
グローバル・コヒーレンス管理の責任を除去することに
より、ノード制御装置５６内で要求されるアドレス、デ
ータ及びコマンド・キュー５７の数を低減する。

【００７７】図１のＮＵＭＡコンピュータ・システム８
などの従来システムでは、フラッシュ・コマンドがノー
ド相互接続１２上で受信されるとき、ノード制御装置２
４が、フラッシュ・コマンドがそのノード１０内で成功
裡に完了されることを保証する責任を負う。従って、フ
ラッシュ・コマンドがノード相互接続１２を介して受信
されたときから、全てのローカル・キャッシュ階層１８
及びＲＭＣ２８がターゲット・キャッシュ・ラインのコ
ピーを無効化し、変更データが存在する場合、それらを
ホーム・ノードに書戻すまで、ノード制御装置２４はそ
のキュー３２の１つに、フラッシュ・コマンドを保持し
なければならない。当然のことながら、このプロセス
は、ノード相互接続１２を介する通信の待ち時間を考慮
すると、２５００サイクル以上を要する。従って、従来
のノード制御装置２４は一般に、深いすなわち項目数の
多いキュー３２を装備されるにも拘わらず、コヒーレン
ス・トラフィックがかなり多い場合には、キュー３２は
依然性能上の障害となる。この性能上の障害を解決する
ために、本発明の好適な実施例はＲＭＣ制御装置７３を
用いて、コヒーレンス管理を非集中化する。

【００７８】図１３を参照すると、本発明に従い、非集
中コヒーレンス管理を用いて、フラッシュ・コマンドが
処理される好適な方法のハイレベル論理フローチャート
が示される。図示の実施例では、各ノード５２内のＲＭ
Ｃ７０が、ローカル・キヤッシュ階層６２内にキャッシ
ュされる他のノード５２からの全てのデータをまとめて
含むものと仮定される。

【００７９】図示のように、図１３に示されるプロセス
はブロック２６０で開始し、その後ブロック２６２に進
み、リモート・ノード５２のノード制御装置５６が、リ
モート・ノード５２内で無効化されるキャッシュ・ライ
ンのフラッシュ・アドレスを指定するフラッシュ・コマ
ンドを受信し、変更データが存在する場合、それがホー
ム・ノード５２に書戻される。前述のように、こうした
フラッシュ・コマンドは一般に、ホーム・ノード５２の
メモリ制御装置６４により、次のような事象に応答し
て、すなわち、ＬＭＤ７２内で、１つ以上のリモート・
ノード５２にチェックアウト済みと示されるキャッシュ
・ラインに対するＲＷＩＴＭ要求の受信に応答して発行
される。フラッシュ・コマンドの受信に応答して、リモ
ート・ノード５２のノード制御装置５２は、フラッシュ
・コマンドをキュー５７にエンキューし、ブロック２６
４で示されるように、フラッシュ・コマンドをそのロー
カル相互接続５８上に送信する。

【００８０】フラッシュ・コマンドのスヌープに応答し
て、ローカル・メモリ制御装置６４の各々は、スヌープ
応答を提供する。ブロック２６６で示されるように、タ
ーゲット・アドレスがマップされたＲＭＣ７０に関連付
けられるメモリ制御装置６４（以下、責任メモリ制御装
置）が、自身がフラッシュ・コマンドのコヒーレンス管
理責任を受諾することを示すスヌープ応答（これは単に
ヌル・スヌープ応答であってもよい）を提供し、フラッ
シュ・コマンドをそのキュー７７の１つにエンキューす
る。これらのスヌープ応答がノード制御装置５６により
組み合わされ、"フラッシュ受諾"組み合わせ応答（例え
ばヌル組み合わせ応答）が生成され、これがノード制御
装置５６により全てのスヌーパに提供される。重要な点
は、組み合わせ応答により、責任メモリ制御装置６４
が、フラッシュ・コマンドがこのリモート・ノード５２
で完了されることを保証する責任を受諾したことが示さ
れるので、ノード制御装置５６はブロック２６８で、フ
ラッシュ・コマンドに割当てられたキュー５７を割当て
解除し、この資源を他の命令のために解放する。

【００８１】次に、ブロック２７０で、責任メモリ制御
装置６４のＲＭＣ制御装置７３が、そのＲＭＤ７４内の
包含関係情報を参照することにより、フラッシュ・アド
レスに関連付けられるキャッシュ・ラインの有効コピー
が、いずれかのローカル・キャッシュ階層６２内に保持
されるか否かを判断する。保持される場合、プロセスは
ブロック２７２に移行し、ＲＭＣ制御装置７３がフラッ
シュ・コマンドをローカル相互接続５８上に再発行し、
フラッシュ・アドレスに関連付けられるキャッシュ・ラ
インの局所的に保持されるコピーの無効化を強要する。
フラッシュ・コマンドのスヌープに応答して、キャッシ
ュ階層６２及び他のメモリ制御装置６４がスヌープ応答
を提供する。前述のように、ターゲット・キャッシュ・
ラインの有効コピーを保持しないキャッシュ階層６２
は、ヌル・スヌープ応答を提供し、ターゲット・キャッ
シュ・ラインの有効コピーを保持するキャッシュ階層６
２は、ターゲット・キヤッシュラインが無効化され、変
更データが存在する場合、それがホーム・ノードに書戻
されるまで、フラッシュ・コマンドに対して再試行スヌ
ープ応答を提供する。これらのスヌープ応答は、責任メ
モリ制御装置６４に関連付けられるインタフェース・ユ
ニット６５内の応答論理６３により組み合わされる。ブ
ロック２７４で示されるように、組み合わせ応答が再試
行組み合わせ応答の場合、少なくとも１つのキャッシュ
階層６２が依然、ターゲット・キャッシュ・ラインのコ
ピーを無効化処理中か、変更データをホーム・ノード５
２に書戻し処理中であることを示し、プロセスは前述の
ブロック２７２に戻る。しかしながら、ヌル組み合わせ
応答が受信される場合には、フラッシュ・プロセスがリ
モート・ノード５２において完了したことを示し、プロ
セスはブロック２７４からブロック２７５に進む。

【００８２】ブロック２７５では、ＲＭＣ制御装置７３
がＲＭＤ７４を参照して、その関連ＲＭＣ７０が、フラ
ッシュ・アドレスにより識別されるキャッシュ・ライン
の有効コピーを保持するか否かを判断する。保持しない
場合、プロセスは後述のブロック２７６に進む。しかし
ながら、ＲＭＣ７０がフラッシュ・コマンドのターゲッ
ト・キャッシュ・ラインの有効コピーを保持する場合、
ＲＭＣ制御装置７３はＲＭＣ７０内のターゲット・キャ
ッシュ・ラインを無効化し、ブロック２７７で示される
ように、変更データが存在する場合、それをホーム・ノ
ード５２のシステム・メモリに書戻す。

【００８３】プロセスは次にブロック２７７からブロッ
ク２７６に進み、ＲＭＣ制御装置７３がフラッシュ命令
の局所的完了を示すフラッシュＡＣＫ命令をローカル相
互接続５８上に発行し、フラッシュ・コマンドの処理に
割当てられたキュー７７を割当て解除する。ブロック２
７８で示されるように、ノード制御装置５６はフラッシ
ュＡＣＫ命令を一時的にエンキューし、それをホーム・
ノード５２に転送し、ホーム・ノードのメモリ制御装置
６４に、フラッシュ命令がリモート・ノード５２におい
て完了したことを示す。その後、図１３に示されるプロ
セスはブロック２８０で完了する。

【００８４】図１３のプロセスにより示されるように、
本発明は、グローバル・コヒーレンス管理の責任をノー
ド制御装置からメモリ制御装置に譲渡することにより、
ノード制御装置設計の単純化を可能にする一方で、同時
にサービスされるグローバル・コヒーレンス管理命令の
数を増加させる。このインプリメンテーションは、ＲＭ
Ｃ制御装置７３により提供されるキューの大きなプール
の存在を仮定すると、非常に多数の同時コヒーレンス管
理命令のサポートを可能にするだけでなく、処理ユニッ
ト５４の数の増加に伴い、スケーリングし、それにより
潜在的な性能障害を解決する。

【００８５】分散グローバル・コヒーレンス管理：本発
明は、ノード制御装置による集中コヒーレンス管理では
なく、メモリ制御装置による非集中コヒーレンス管理を
推進するだけでなく、選択命令に対するグローバル・コ
ヒーレンス管理の責任を、複数の制御装置の間で分散す
ることにより、キュー資源の効率的な利用を推進する。

【００８６】図１のＮＵＭＡコンピュータ・システム８
などの、従来のＮＵＭＡコンピュータ・システムでは、
読出しタイプの要求（例えばＲＥＡＤ、ＲＷＩＴＭな
ど）がリモート・ノードから受信されてから、要求キャ
ッシュ・ラインがリモート・ノードにより成功裡に受信
されるまで、ホーム・ノードのノード制御装置２４内の
コヒーレンス管理キュー３２が、その読出しタイプの要
求に割当てられる。ノード制御装置はこの期間を通じ
て、キュー割当てを保持しなければならない。なぜな
ら、ノード制御装置２４は、前の要求のターゲット・キ
ャッシュ・ラインがリモート・ノードに配信されるま
で、同じキャッシュ・ラインをターゲットとするフラッ
シュ命令をホーム・ノードから発行できないからであ
る。換言すると、従来のＮＵＭＡコンピュータ・システ
ムでは、グローバル・コヒーレンスを維持するために、
ホーム・ノードのノード制御装置が、最初の要求、及び
続く要求によるフラッシュ命令に応答して、リモート・
ノードへのデータ配信を厳密に順序付ける責任を負い、
従って、要求データが成功裡にリモート・ノードに配信
されるまで、第１の要求へのキューの割当てを維持しな
ければならない。

【００８７】本発明は、特殊コマンド（以下Ｎｕｍａｆ
ｙコマンドと称す）をインプリメントすることにより、
前述の従来のコヒーレンス管理手法を改善する。このコ
マンドは、グローバル・コヒーレンス管理の責任を制御
装置間で譲渡し、それにより、従来のＮＵＭＡコンピュ
ータ・システムの性能を妨げる順序付け及びキューイン
グ要件を排除する。本発明のＮｕｍａｆｙコマンドの典
型的な利用のタイミング図が図１４に示される。

【００８８】図１４を参照すると、リモート・ノードに
よる読出しタイプの要求をサービスするために使用され
る、ＮＵＭＡコンピュータ・システム５０のリモート・
ノード及びホーム・ノードのローカル相互接続上の命令
を示す時間−空間図が示される。図示のプロセスは、図
６に関連して前述した革新的な読出し再発行方向を採用
する。

【００８９】図示のように、リモート・ノード５２（図
１４ではノード１として示される）内の低レベル・キャ
ッシュ１３２のキャッシュ制御装置１５６が、別のノー
ドがホーム・ノード５２であるキャッシュ・ラインの排
他アクセスを得るために、読出しタイプの要求（この場
合ＲＷＩＴＭ要求３００）を、そのローカル相互接続５
８上に発行するときプロセスは開始する。前述のよう
に、キャッシュ制御装置１５６が、そのキャッシュ・デ
ィレクトリ１４０内でのＣＰＵストア要求のミスに応答
して、ＲＷＩＴＭ要求３００を発行する。ＲＷＩＴＭ要
求３００内では、ＮＣＱフィールド１２６が初期に０に
セットされ、従って、ローカル・ノード制御装置５６
は、ＲＷＩＴＭ要求３００が局所的にサービスされない
と決定されるまで、ＲＷＩＴＭ要求３００をエンキュー
しない。ＲＷＩＴＭ要求はまた、キャッシュ制御装置１
５６の要求キュー１３４の１つにエンキューされる。

【００９０】ＲＷＩＴＭ要求３００のスヌープに応答し
て、ローカル相互接続５８に結合されるスヌーパ（すな
わちキャッシュ制御装置１５６、メモリ制御装置６４、
及びノード制御装置５６）が、スヌープ応答３０２を提
供し、これらがＲＷＩＴＭ要求３００を発信したインタ
フェース・ユニット６５内の応答論理６３により組み合
わされて、組み合わせ応答３０４が生成され、全てのス
ヌーパに提供される。図１４に示される典型的な動作状
況は、ノード１内のスヌーパがターゲット・キャッシュ
・ラインへの排他アクセスを提供できず、ＲＷＩＴＭ要
求３００のターゲット・アドレスがリモート・アドレス
であると、組み合わせ応答３０４が示すと仮定する。組
み合わせ応答３０４に応答して、ターゲット・キャッシ
ュ・ラインの共用コピーを有する他のローカル・キャッ
シュ階層６２またはＲＭＣ７０が、ターゲット・キャッ
シュ・ラインのそのコピーの無効化プロセスを開始し、
キャッシュ制御装置１５６がＮＣＱフィールド１２６が
１にセットされたＲＷＩＴＭ要求３０６を再発行する。
ローカル相互接続５８に結合されるスヌーパが、スヌー
プ応答３０８を提供することにより、再発行されたＲＷ
ＩＴＭ要求３０６に応答し、これらが組み合わされて、
第２の組み合わせ応答３１０が生成される。

【００９１】図６に関連して述べたように、ノード１の
ノード制御装置５６はＲＷＩＴＭ要求を、そのサービス
のためにノード２（すなわちターゲット・キャッシュ・
ラインのホーム・ノード）に転送し、ノード制御装置応
答を組み合わせ応答３１０を介して、キャッシュ１３２
に提供することにより要求が転送されたことを示す。組
み合わせ応答３１０の受信に際して、キャッシュ制御装
置１５６は、要求されたＲＷＩＴＭ要求に関連付けられ
るローカル・フラグ１３６（図５参照）をセットする。
ローカル・フラグ１３６は、このキャッシュ１３２がタ
ーゲット・キャッシュ・ラインの局所的所有権を獲得し
たことを示し、従って、保護ウィンドウＴ０の間に、キ
ャッシュ・ラインを要求する他のローカル・リクエスタ
が存在する場合、そうした要求に対して再試行スヌープ
応答を提供することにより、彼らからターゲット・キャ
ッシュ・ラインの所有権を保護する。しかしながら、キ
ャッシュ制御装置１５６がホーム・ノードからのフラッ
シュ命令をスヌープする場合、キャッシュ制御装置１５
６はフラッシュ命令を無視する。なぜなら、キャッシュ
１３２はまだターゲット・キャッシュ・ラインの有効コ
ピー、またはターゲット・キャッシュ・ラインのグロー
バル所有権を有さないからである。この時点で、キャッ
シュ制御装置１５６はホーム・ノードから、１）ターゲ
ット・キャッシュ・ラインと、２）ターゲット・キャッ
シュ・ラインのグローバル所有権が付与されたことを示
すＮｕｍａｆｙコマンドの受信を待機する。動的動作状
態に応じて、キャッシュ制御装置１５６はターゲット・
キャッシュ・ライン及びＮｕｍａｆｙコマンドを任意の
順序で受信する。

【００９２】図示のように、ノード相互接続５５を介す
るＲＷＩＴＭ要求の受信に応答して、ノード２のノード
制御装置５６は、対応するＲＷＩＴＭ要求３２０をノー
ド２のローカル相互接続５８上に発行する。ノード２内
のスヌーパが適切なスヌープ応答３２２を提供し、これ
らがノード制御装置５６により組み合わされて、ＲＷＩ
ＴＭ要求３２０が、ターゲット・キヤッシュライン・デ
ータが存在するシステム・メモリ・アドレス空間６８に
関連付けられるメモリ制御装置６４によりサービスされ
ることを示す組み合わせ応答３２４が生成される。一旦
メモリ制御装置６４がＲＷＩＴＭ要求３２０を受諾し、
そのメモリ制御装置６４のシステム・メモリ制御装置７
１が、ＲＷＩＴＭ要求３２０をそのコヒーレンス管理キ
ュー７９にエンキューすると、ＬＭＤ７２によりターゲ
ット・キャッシュ・ラインのコピーを保持することが示
される、ノード１以外の各リモート・ノード５２に対し
て、システム・メモリ制御装置７１がフラッシュ・コマ
ンド３３０を発行する。更に、システム・メモリ制御装
置７１がアドレス専用Ｎｕｍａｆｙコマンド３２６をノ
ード１に発行し、メモリ読出しキューをディスパッチし
て、要求データをノード１に提供する。ＬＭＤ７２が、
ターゲット・キャッシュ・ラインがリモート・ノード５
２からフラッシュ・バックされる必要がないと示す場
合、システム・メモリ・アドレス空間６８の読出しが即
時開始し、Ｎｕｍａｆｙコマンド３２６が発行される前
に、ターゲット・キャッシュ・ライン・データ３３２が
ノード１に提供される。

【００９３】一旦Ｎｕｍａｆｙコマンド３２６が発行さ
れると、要求されたあらゆるフラッシュ命令が完了し、
システム・メモリ読出し操作が開始される。そして、シ
ステム・メモリ制御装置７１がＲＷＩＴＭ要求３２０が
サービスされるべきとみなし、たとえノード１がまだタ
ーゲット・キャッシュ・ライン・データを受信していな
くても、ＲＷＩＴＭ要求３２０に割当てられたコヒーレ
ンス管理キュー７９を、続く要求に再割当てする。従っ
て、本発明によれば従来技術とは異なり、キャッシュ・
ラインのグローバル所有権の付与、及びキャッシュ・ラ
イン・データ３３２の配信が分離される。

【００９４】ノード相互接続５５を介するアドレス専用
Ｎｕｍａｆｙコマンドの受信に応答して、ノード１のノ
ード制御装置５６は、アドレス専用Ｎｕｍａｆｙコマン
ド３４０をローカル相互接続５８上に発行する。ノード
１の要求元キャッシュ制御装置１５６がアドレス専用Ｎ
ｕｍａｆｙコマンド３４０をスヌープするとき、キャッ
シュ制御装置１５６は、ＲＷＩＴＭ要求に関連付けられ
るグローバル・フラグ１３８をセットする。セットされ
たグローバル・フラグ１３８は、要求元キャッシュ１３
２がターゲット・キャッシュ・ラインのグローバル所有
権を受信したこと、従って、第２の保護ウィンドウＴ１
の間に、ターゲット・キャッシュ・ラインを、他のロー
カル・リクエスタからだけではなく、ホーム・ノードか
らのあらゆるフラッシュまたはクリーン・コマンドから
も保護しなければならないことを示す。それ故、保護ウ
ィンドウＴ１の間、要求元キャッシュ制御装置１５６
は、局所的に受信される、またはホーム・ノード（すな
わちノード２）から受信されるあらゆるフラッシュ、ク
リーンまたは他の類似の命令に対して、再試行スヌープ
応答を提供しなければならない。尚、保護ウィンドウＴ
１は、要求元キャッシュ制御装置１５６がＲＷＩＴＭ要
求のサービスを完了したとき閉じられる。

【００９５】一旦要求元キャッシュ制御装置１５６がタ
ーゲット・キャッシュ・ライン・データ３４２を受信す
ると、キャッシュ制御装置１５６が保留のＣＰＵストア
要求をサービスし、そのキャッシュ・ディレクトリ１４
０内のターゲット・キャッシュ・ラインのコヒーレンス
状態を、変更コヒーレンス状態に更新する。この時点
で、ＲＷＩＴＭ要求のサービスが完了し、キャッシュ制
御装置１５６がローカル・フラグ１３６及びグローバル
・フラグ１３８の両方をリセットする。続いて、キャッ
シュ制御装置１５６は、ターゲット・キャッシュ・ライ
ンをターゲットとするフラッシュまたはクリーン・コマ
ンドに対して、再試行スヌープ応答を提供するが、代わ
りに、変更データをホーム・ノードにプッシュ・バック
し、更にフラッシュ・コマンドに対しては、キャッシュ
・ラインのコピーを無効化することにより、こうした要
求を遵守してもよい。

【００９６】このように、図１４は、グローバル・コヒ
ーレンス管理をＮＵＭＡコンピュータ・システム内の制
御装置間で分散させる方法を示し、これはシステムワイ
ドなコヒーレンス管理の責任を、要求データの配信から
分離することにより、システム・メモリ制御装置のコヒ
ーレンス管理キューのより効率的な利用を推進する。そ
の結果、システム・メモリ制御装置内のキュー資源が、
システム・メモリ制御装置が要求のサービスに関わって
いるときだけ、その要求に割当てられ、その後、従来シ
ステムに比較して遙かに早く、他の要求のサービスのた
めに使用可能になる（すなわち、２０００サイクル以上
を費やす、少なくともノード相互接続５５の待ち時間の
期間が短縮される）。結果的に、所与の性能レベルをサ
ポートするために、少ない数のコヒーレンス管理キュー
が要求される。

【００９７】ＬＭＤデータ所有権ヒストリ：図１４に示
されるように、システム・メモリ制御装置７１がリモー
ト・ノードからＲＷＩＴＭ要求を受信すると、システム
・メモリ制御装置７１はＲＷＩＴＭ要求をサービスする
ために、要求元ノードにターゲット・キャッシュ・ライ
ンのシステムワイドな排他所有権を付与しなければなら
ない。しかしながら、システム・メモリ制御装置７１が
ターゲット・キャッシュ・ラインのＲＥＡＤ要求を受信
する場合、システム・メモリ制御装置７１はターゲット
・キャッシュ・ラインの共用所有権か排他所有権のいず
れかを付与する。

【００９８】図１に示されるような従来のＮＵＭＡコン
ピュータ・システムでは、ＬＭＤ２６が、ターゲット・
キャッシュ・ラインがいずれかのリモート・ノード１０
にチェックアウトされていると示すとき、リモート・ノ
ードからのＲＥＡＤ要求に応答して、一般に排他所有権
がホーム・ノードにより付与される。このように、リモ
ート・ノードにおけるターゲット・キャッシュ・ライン
の共用コピーの不必要な無効化が回避される。しかしな
がら、ＬＭＤ２６が、ターゲット・キャッシュ・ライン
がリモート・ノード１０にチェックアウトされてないと
示す場合には、２つの異なるインプリメンテーションが
採用された。

【００９９】第１の従来のインプリメンテーションで
は、常にホーム・ノードがＲＥＡＤ要求に応答して、タ
ーゲット・キャッシュ・ラインの非排他所有権をリモー
ト・ノードに付与する。このインプリメンテーション
は、ターゲット・キャッシュ・ラインの遠隔的に保持さ
れるコピーの不必要な無効化を生じないが、同じキャッ
シュ・ラインをターゲットとする続くストア命令に、大
きな待ち時間が生じる。なぜなら、ＲＥＡＤ要求を発行
したリモート・ノードが、ターゲット・キャッシュ・ラ
インへの排他アクセスを獲得するために、ＲＷＩＴＥ要
求を発行しなければならないからである。リモート・デ
ータをターゲットとするストア命令は、長い待ち時間
（例えば２０００サイクル以上）を被ることになる。

【０１００】第２の従来のインプリメンテーションによ
れば、ＬＭＤ２６が、ターゲット・キャッシュ・ライン
がリモート・ノードにチェックアウトされてないと示す
場合、ＲＥＡＤ要求に応答して、ターゲット・キャッシ
ュ・ラインの排他所有権を常にリモート・ノードに付与
することにより、ストア命令の性能ペナルティが排除さ
れる。しかしながら、この第２のインプリメンテーショ
ンも問題を有する。なぜなら、第１のリモート・ノード
が実際にキャッシュ・ラインを変更したか否かに拘わら
ず、ホーム・ノードが第２のリモート・ノードによる続
くＲＥＡＤ要求に応答して、常にクリーン命令（すなわ
ち、キャッシュ・ラインが変更済みの場合、その無効化
は強要しないが、書戻しを強要する命令）を、排他所有
権を有するリモート・ノードに発行しなければならない
からである。従って、多くの場合、クリーン命令が完了
するまで続くＲＥＡＤ要求が不必要に遅延される。

【０１０１】本発明は、各ＬＭＤエントリに対して、ノ
ードごとのヒストリ情報を保持することにより、従来技
術の欠点を解決する。ヒストリ情報は、リモート・ノー
ドによるＲＥＡＤ要求に応答して、関連キャッシュ・ラ
インの排他所有権または非排他所有権のいずれを付与す
べきかを示す。例えば、図１５に示される好適な実施例
では、ＬＭＤ７２内の各ディレクトリ・エントリ３６０
が、ノードごとのコヒーレンス状態情報３６２と、ノー
ドごとのヒストリ情報３６４の両方を含む。

【０１０２】当業者であれば明らかなように、ノードご
とのヒストリ情報３６４は、非常に多数の好適な方法の
いずれかに従い、システム・メモリ制御装置７１により
更新される。図１６は、ヒストリ情報３６４を更新する
現在好適な１方法の状態図を示す。図示の実施例では、
システム・メモリ制御装置７１が各リモート・ノードに
対して、２ビット・ヒストリ指示を保持し、図１６に示
される４つの可能な状態、すなわち状態Ａ、Ｂ、Ｃ及び
Ｄを表す。システム・メモリ制御装置７１が、リモート
・ノード５２から受信される各読出しタイプの要求（例
えばＲＥＡＤまたはＲＷＩＴＭ）に応答して、そのリモ
ート・ノードのヒストリ状態を更新する。リモート・ノ
ード５２が、関連システム・メモリ・アドレス空間６８
に内在するデータのキャッシュ・ラインに対するＲＥＡ
Ｄ要求を発行するとき、システム・メモリ制御装置７１
は、そのキャッシュ・ライン及びリモート・ノードのヒ
ストリ状態を参照することにより、キャッシュ・ライン
の非排他所有権または排他所有権のいずれを付与すべき
かを決定する。システム・メモリ制御装置７１により付
与される所有権のタイプは、例えば、所有権を付与する
ために使用されるＮｕｍａｆｙコマンド内の排他フラグ
により示される。

【０１０３】図１６に示されるように、システム・メモ
リ制御装置７１は、ＬＭＤ７２の各ディレクトリ・エン
トリ３６０内の各リモート・ノード５２のヒストリ状態
を、ヒストリ状態Ａに初期化する。その後、状態Ａから
状態Ｂへの遷移、及び状態Ｂでのループにより示される
ように、システム・メモリ制御装置７１は、リモート・
ノード５２がＲＷＩＴＭ要求を発行することにより、キ
ャッシュ・ラインの排他所有権を獲得するまで、そのキ
ャッシュ・ラインの非排他所有権をそのリモート・ノー
ド５２に付与する。

【０１０４】ＲＷＩＴＭ要求の受信に応答して、システ
ム・メモリ制御装置７１はターゲット・キャッシュ・ラ
インの排他所有権を付与し、要求元リモート・ノードの
ヒストリ状態を、任意の可能なヒストリ状態Ａ乃至Ｄか
ら、状態Ｃに更新する。状態ＣとＤの間、及び状態Ｄと
Ｂの間の可能な遷移により示されるように、システム・
メモリ制御装置７１はその後、同一のリモート・ノード
５２による２つまでの順次ＲＥＡＤ要求に応答して、キ
ャッシュ・ラインの排他所有権を付与する。同一のキャ
ッシュ・ラインに対する第３の順次ＲＥＡＤ要求が、同
一のリモート・ノードから受信される場合、システム・
メモリ制御装置７１は、リモート・ノードがそのキャッ
シュ・ラインに対して再度ＲＷＩＴＭを発行するまで、
非排他所有権を付与するだけである。

【０１０５】ノードごとのヒストリ状態情報を用いて、
リモート・ノードからのＲＥＡＤ要求に関わるターゲッ
ト・キャッシュ・ラインの、排他所有権または非排他所
有権の付与を決定することにより、従来技術に比較し
て、同一のリモート・ノード内の続くストア命令に関連
付けられる、または他のリモート・ノードによるＲＥＡ
Ｄ要求に関連付けられる不必要な待ち時間が、大幅に低
減される。結果的に、ＮＵＭＡコンピュータ・システム
５０の全体性能が改善される。

【０１０６】データ及び命令のプリフェッチ：図１のＮ
ＵＭＡコンピュータ・システム８などの、従来のＮＵＭ
Ａコンピュータ・システムでは、データ及び命令のプリ
フェッチ要求が、ＣＰＵのプリフェッチ・エンジンによ
り開始され、次にＣＰＵの最下レベルのインライン・キ
ャッシュのキャッシュ制御装置により、プリフェッチさ
れる各キャッシュ・ラインに対して、１つのＲＥＡＤ要
求がローカル相互接続上に発行される。深いプリフェッ
チ・アルゴリズムでは、この従来のプリフェッチ手法
は、キャッシュ制御装置に非常に多くの読出しキューを
装備することが要求される。大規模なマルチプロセッサ
・システムでは、これらの資源のコストが、もちろんＣ
ＰＵチップの数だけ乗算され、従って、総システム・コ
ストの大きな割合を占めることになる。

【０１０７】プリフェッチ・データの発信元（例えばロ
ーカル・システム・メモリか、または別のノードのシス
テム・メモリか）に応じて、プリフェッチ要求に割当て
られる読出しキューは、長い期間アクティブ（ビジー）
でいられる。明らかに、性能的観点から、要求時読出し
要求のサービスを遅延することは望ましくない。なぜな
ら、全ての読出しキューがプリフェッチ要求に割当てら
れているからである。要求時読出し要求とプリフェッチ
読出し要求との間の、読出し要求の競合を解決するため
に、プリフェッチ読出しキューの別のセットを生成する
ことが可能である。しかしながら、これは追加のコスト
及び複雑化を招き、読出し要求をプリフェッチするため
に割当てられたキューがビジーでいる期間を低減しな
い。

【０１０８】本発明は、従来技術における前述の欠点
を、改善されたプリフェッチ手法を導入することにより
解決し、そこではプリフェッチ命令がキャッシュ制御装
置ではなく、メモリ制御装置により作成される。本発明
によれば、初期要求時データ・ロードまたは命令フェッ
チが要求元処理ユニットにより発行されるとき、プリフ
ェッチ・ヒント情報がＲＥＡＤ命令に付加される。この
ヒント情報が例えば、プリフェッチする多数のキャッシ
ュ・ラインと、キャッシュ・ライン間のストライドを含
む。読出しの受信に応答して、メモリ制御装置が要求デ
ータまたは命令を送信し、次にプリフェッチ・ヒントを
用いて、任意的にＷＲＩＴＥ命令により、プリフェッチ
・データを要求元処理ユニットに送信する。

【０１０９】次に図１７を参照すると、本発明のプリフ
ェッチ手法に従い、低レベル・キャッシュ１３２のキャ
ッシュ制御装置１５６が、付加されたプリフェッチ・ヒ
ントを有する要求時ＲＥＡＤ要求を発行する典型的な方
法のハイレベル論理フローチャートが示される。図示の
ように、プロセスはブロック３８０で開始し、その後、
キャッシュ制御装置１５６が、その関連ＣＰＵ６０から
ロード要求を受信するまでブロック３８２に留まる。ロ
ード要求の受信に応答して、キャッシュ制御装置１５６
はブロック３８４で、ロード要求がそのキャッシュ・デ
ィレクトリ１４０内でヒットするか否かを判断する。ヒ
ットする場合、ブロック３８６で、キャッシュ制御装置
１５６は要求データをデータ記憶１３０から読出し、要
求データをＣＰＵ６０に提供する。プロセスはその後ブ
ロック３８２に戻る。

【０１１０】ブロック３８４に戻り、キャッシュ制御装
置１５６が、ロード要求がキャッシュ・ディレクトリ１
４０内でミスしたと判断すると、ブロック３９０及び３
９２で示されるように、キャッシュ制御装置はそのロー
ド要求にもとづき、ＲＥＡＤ要求を生成し、プリフェッ
チ要求に含まれるプリフェッチ・ヒントが存在する場
合、それをＲＥＡＤ要求に付加するか、ＲＥＡＤ要求内
に含む。図７に示されるように、プリフェッチ・ヒント
はＲＥＡＤ要求内のプリフェッチ（ＰＦ）フィールド１
２８により伝達され、プリフェッチされるキャッシュ・
ラインの数、及びプリフェッチ・キャッシュ・ライン間
のアドレス・ストライドを指定する。次に、キャッシュ
制御装置１５６が要求キュー１３４をＲＥＡＤ要求に割
当て、ブロック３９４で示されるように、ＲＥＡＤ要求
をそのローカル相互接続５８上に発行し、その後ブロッ
ク３９６で、要求データの返却を待機する。図７に関連
して前述したように、ＲＥＡＤ要求は好適には、発行元
キャッシュ制御装置１５６またはその処理ユニット５４
を識別する発信元タグ・フィールド１１９を含む。

【０１１１】ブロック３９８で示されるように、ＲＥＡ
Ｄ要求のターゲットである要求キャッシュ・ラインが受
信されると、キャッシュ制御装置１５６はキャッシュ・
ラインをデータ記憶１３０内に記憶し、キャッシュ・デ
ィレクトリ１４０を更新し、ＲＥＡＤ要求に割当てられ
た要求キュー１３４を割当て解除し、ロード要求により
要求されたデータを関連ＣＰＵ６０に提供する。その
後、図１７に示されるプロセスは前述のブロック３８２
に戻る。

【０１１２】次に図１８を参照すると、本発明に従い、
メモリ制御装置６４がプリフェッチ・ヒントを含むＲＥ
ＡＤ要求に応答する典型的な方法のハイレベル論理フロ
ーチャートが示される。図示のように、プロセスはブロ
ック４００で開始し、その後ブロック４０２で、メモリ
制御装置６４が、より詳細にはシステム・メモリ制御装
置７１がＲＥＡＤ要求（図１７のブロック３９４で発行
される）を受信するまで繰り返される。ＲＥＡＤ要求の
受信に応答して、プロセスはブロック４０４に進み、こ
こでシステム・メモリ制御装置７１がＬＭＤ７２を参照
して、ＲＥＡＤ要求のターゲット・キャッシュ・ライン
が、リモート・ノード５２により排他的に保持されるか
否かを判断する。否定の場合、プロセスは直接ブロック
４０８に進む。しかしながら、ＬＭＤ７２がターゲット
・キャッシュ・ラインが遠隔的に排他的に保持されると
示す場合、システム・メモリ制御装置７１は、好適には
図１３に関連して前述したプロセスに従い、リモート・
ノードからそのキャッシュ・ラインをフラッシュする。

【０１１３】次にブロック４０８で、システム・メモリ
制御装置７１がターゲット・キャッシュ・ラインを関連
システム・メモリ・アドレス空間６８から読出し、要求
キャッシュ・ラインを要求元キャッシュ１３２に発信す
る。更に、ブロック４１０で示されるように、システム
・メモリ制御装置７１は、ＲＥＡＤ要求がそのプリフェ
ッチ・フィールド１２８にプリフェッチ・ヒントを含む
か否かを判断する。含まない場合、ＲＥＡＤ要求のサー
ビスが完了し、プロセスは前述のブロック４０２に戻
る。しかしながら、ＲＥＡＤ要求がそのプリフェッチ・
フィールド１２８にプリフェッチ・ヒントを含む場合に
は、システム・メモリ制御装置７１はブロック４１２
で、プリフェッチ要求に割当てられ得るそのキュー７９
の１つが使用可能か否か、或いは、こうした全てのプリ
フェッチ・キューがビジーか否かを判断する。プリフェ
ッチ要求に割当てられ得る全てのキューがビジーの場
合、システム・メモリ制御装置７１はプリフェッチ・ヒ
ントを無視し、プロセスはブロック４０２に戻る。従っ
て、システム・メモリ制御装置７１がプリフェッチ・デ
ータを提供するオプションを有するが、プリフェッチ・
ヒントが無視される場合、ＲＥＡＤ要求を再試行しない
という点で、システム・メモリ制御装置７１によるプリ
フェッチ要求のサービスは、好適には不正確である。

【０１１４】ブロック４１２に戻り、キュー７９の１つ
がプリフェッチ要求への割当てのために使用可能と仮定
すると、プロセスはブロック４１４に進み、システム・
メモリ制御装置７１がキュー７９の中から、プリフェッ
チ要求をサービスするためのプリフェッチ・キューを割
当てる。ブロック４１６及び４１８で示されるように、
システム・メモリ制御装置７１は次に、プリフェッチ・
フィールド１２８内のプリフェッチ・ヒントにより指定
されるプリフェッチ・データの１つ以上のキャッシュ・
ラインを、関連システム・メモリ・アドレス空間６８か
ら読出し、それらを要求元キャッシュ１３２に送信す
る。ここで重要な点は、各キャッシュ・ラインが読出し
データとしてではなく、図１０に示されるそれと類似の
プリフェッチ（ＰＦ）ＷＲＩＴＥ命令において、要求元
キャッシュ１３２に送信されることであり、それによ
り、プリフェッチ要求を管理するための読出しキューの
使用が排除される。プリフェッチＷＲＩＴＥ命令の正確
なルーティングを保証するために、システム・メモリ制
御装置７１はＲＥＡＤ要求の発信元タグ・フィールド１
１９の内容を、プリフェッチＷＲＩＴＥ命令のアドレス
部分の宛先タグ・フィールド２４２に配置する。プリフ
ェッチ・データのキャッシュ・ラインを要求元キャッシ
ュ階層６２に送信後、システム・メモリ制御装置７１は
ブロック４２０で、割当てられたプリフェッチ・キュー
を、キュー７９の中から割当て解除する。その後、プロ
セスはブロック４０２に戻る。

【０１１５】次に図１９を参照すると、本発明に従い、
要求元キャッシュがスヌープされたプリフェッチＷＲＩ
ＴＥ命令を処理する典型的な方法のハイレベル論理フロ
ーチャートが示される。図示のように、プロセスはブロ
ック４３０で開始し、その後ブロック４３２で、キャッ
シュ階層６２の１つ内の最下レベル・キャッシュ１３２
が、プリフェッチ（ＰＦ）ＷＲＩＴＥ命令をそのローカ
ル相互接続５８上でスヌープするまで繰り返される。ロ
ーカル相互接続５８上でのプリフェッチＷＲＩＴＥ命令
のスヌープに応答して、キャッシュ１３２のキャッシュ
制御装置１５６は、プリフェッチＷＲＩＴＥ命令の宛先
タグ・フィールド２４２を調査し、それがプリフェッチ
ＷＲＩＴＥ命令のターゲットか否かを判断する。ターゲ
ットでない場合、プロセスは終了しブロック４３２に戻
る。

【０１１６】ブロック４３４に戻り、宛先タグ・フィー
ルド２４２が、キャッシュ１３２がスヌープされたプリ
フェッチＷＲＩＴＥ命令のターゲットであると示す場
合、キャッシュ制御装置１５６は、そのスヌープ・キュ
ー１３５（図５参照）の１つが、プリフェッチＷＲＩＴ
Ｅ命令への割当てのために使用可能か否かを判断する。
プリフェッチＷＲＩＴＥ命令に割当てられ得る全てのス
ヌープ・キュー１３５がビジーの場合、プロセスは終了
しブロック４３２に戻る。これはすなわち、スヌープ・
キュー１３５が使用不能な場合、キャッシュ制御装置１
５６がプリフェッチ・データを受諾しないか、再試行ス
ヌープ応答を発行しないことを示す。しかしながら、ス
ヌープ・キュー１３５の１つがプリフェッチＷＲＩＴＥ
命令への割当てのために使用可能な場合、キャッシュ制
御装置１５６はブロック４３８で、スヌープ・キュー１
３５の１つをプリフェッチＷＲＩＴＥ命令に割当て、次
にブロック４４０で、プリフェッチ・データのキャッシ
ュ・ラインの配信を待機する。次に、プリフェッチ・デ
ータのキャッシュ・ラインの受信に応答して、キャッシ
ュ制御装置１５６がプリフェッチ・データをデータ記憶
１３０に記憶し、適宜キャッシュ・ディレクトリ１４０
を更新する。その後、キャッシュ制御装置１５６は、プ
リフェッチＷＲＩＴＥ命令に割当てられたスヌープ・キ
ュー１３５を割当て解除し、プロセスは前述のブロック
４３２に戻る。

【０１１７】図１７乃至図１９に示されるプリフェッチ
方法は、従来技術に回る多くの利点を提供する。第１
に、本発明のプリフェッチ方法は、要求元処理ユニット
内のプリフェッチ読出しキューを排除することにより、
全体的なシステム・キューのコストを削減する。プリフ
ェッチＷＲＩＴＥ命令を処理するためのメモリ制御装置
キューの付随的な追加は、一般にコストがかからず、あ
らゆる低レベル・キャッシュ内にキューを提供するより
も少ないキューしか要求しない。第２に、プリフェッチ
が不正確な命令によりインプリメントされるので、メモ
リ制御装置またはキャッシュ制御装置のいずれかがビジ
ーの場合、プリフェッチ・ヒントが安全に無視される。
その結果、再試行応答に応答して再発行されるプリフェ
ッチ命令によるバス・トラフィックが排除される。第３
に、本発明では、キューがより効率的に使用される。な
ぜなら、プリフェッチＷＲＩＴＥ命令をサービスするた
めに割当てられる、要求元キャッシュ制御装置のスヌー
プ・キューが、従来技術において使用されるプリフェッ
チ読出しキューよりも遙かに短い期間ビジーであるから
である。換言すると、プリフェッチＲＥＡＤ要求が発行
されてから、要求プリフェッチ・データがシステム・メ
モリから受信されるまで、アクティブに維持されなけれ
ばならない従来のプリフェッチ読出しキューと異なり、
本発明では、プリフェッチＷＲＩＴＥ命令がスヌープさ
れるまで、キャッシュ制御装置のスヌープ・キューが割
当てられない。

【０１１８】結論：以上述べたように、本発明は、改善
されたデータ記憶、キューイング、及び通信効率を有す
るＮＵＭＡコンピュータ・システム及びその操作方法を
提供する。本発明は特に、好適な実施例に関連して述べ
られてきたが、当業者であれば、その形態及び詳細にお
ける様々な変更が、本発明の趣旨及び範囲から逸れるこ
となく可能であることが理解できよう。例えば、ここで
はＮＵＭＡアーキテクチャの多数の改良が組み合わされ
て示されたが、改良がそれぞれ独立に、或いは部分的に
組み合わされてインプリメントされてもよい。

【０１１９】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１２０】（１）ノード相互接続により結合されるホ
ーム・ノードと１つ以上のリモート・ノードとを含むコ
ンピュータ・システムを操作する方法であって、前記ホ
ーム・ノードのメモリ・ディレクトリ内の複数のエント
リの各々に、前記ホーム・ノードのホーム・システム・
メモリ内の関連データ・グラニュールが、少なくとも１
つの前記リモート・ノード内に保持される対応するキャ
ッシュ・ラインを有するか否かを記録するステップと、
前記ホーム・システム・メモリ内の要求データ・グラニ
ュールに対するデータ要求に応答して、前記メモリ・デ
ィレクトリ内の関連エントリを読出し、前記要求データ
・グラニュールに対応するキャッシュ・ラインを保持す
る少なくとも１つの前記リモート・ノードに、無効化コ
マンドを発行するステップと、データ要求とは無関係
に、前記メモリ・ディレクトリ内のエントリを周期的に
読出し、前記エントリが少なくとも１つの前記リモート
・ノードが、関連データ・グラニュールに対応するキャ
ッシュ・ラインを保持すると示すことに応答して、フラ
ッシュ照会を前記少なくとも１つのリモート・ノードに
発行し、前記関連データ・グラニュールに対応する前記
キャッシュ・ラインの割当て解除を要求するステップと
を含む方法。 （２）前記メモリ・ディレクトリ内のエントリを周期的
に読出すステップが、前記メモリ・ディレクトリ内のエ
ントリを周期的且つ順次的に読出すステップを含む、前
記（１）記載の方法。 （３）前記メモリ・ディレクトリ内のエントリを周期的
に読出すステップが、タイマにより指示される一定間隔
で、前記メモリ・ディレクトリ内のエントリを周期的に
読出すステップを含む、前記（１）記載の方法。 （４）前記記録ステップが、前記複数のエントリの各々
に、前記関連データ・グラニュールに対応するキャッシ
ュ・ラインを保持する各リモート・ノードの識別を記録
するステップを含む、前記（１）記載の方法。 （５）前記リモート・ノードでの前記フラッシュ照会の
受信に応答して、前記リモート・ノードにおいて、前記
フラッシュ照会に応答して、動的動作条件にもとづき、
フラッシュを実行するか否かを決定するステップと、フ
ラッシュの実行の決定に応答して、前記リモート・ノー
ド内の前記キャッシュ・ラインを無効化し、変更データ
が存在する場合、該変更データを前記ホーム・ノードに
伝送するステップとを含む、前記（１）記載の方法。 （６）前記動的動作条件にもとづき、フラッシュを実行
するか否かを決定するステップが、リソースの可用性及
び前記キャッシュ・ラインの活用の少なくともいずれか
にもとづき、フラッシュを実行するか否かを決定するス
テップを含む、前記（５）記載の方法。 （７）前記キャッシュ・ラインが保持される前記リモー
ト・ノードのキャッシュ階層内のレベルにもとづき、前
記キャッシュ・ラインの活用を決定するステップを含
む、前記（６）記載の方法。 （８）フラッシュが前記リモート・ノードにおいて実行
されたことを示す指示の受信に応答して、前記ホーム・
ノード内の前記メモリ・ディレクトリを更新するステッ
プを含む、前記（１）記載の方法。 （９）ノード相互接続によりホーム・ノードに結合され
る１つ以上のリモート・ノードを含む、マルチノード・
コンピュータ・システムの前記ホーム・ノード内で使用
されるメモリ制御装置であって、前記ホーム・ノードが
ホーム・システム・メモリと関連メモリ・ディレクトリ
とを含むものにおいて、前記メモリ・ディレクトリ内の
複数のエントリの各々に、前記ホーム・システム・メモ
リ内の関連データ・グラニュールが、少なくとも１つの
前記リモート・ノード内に保持される対応するキャッシ
ュ・ラインを有するか否かを記録する手段と、前記ホー
ム・システム・メモリ内の要求データ・グラニュールに
対するデータ要求に応答して、前記メモリ・ディレクト
リ内の関連エントリを読出し、前記要求データ・グラニ
ュールに対応するキャッシュ・ラインを保持する少なく
とも１つの前記リモート・ノードに、無効化コマンドを
発行する手段と、データ要求とは無関係に、前記メモリ
・ディレクトリ内のエントリを周期的に読出し、前記エ
ントリが少なくとも１つの前記リモート・ノードが、関
連データ・グラニュールに対応するキャッシュ・ライン
を保持すると示すことに応答して、フラッシュ照会を前
記少なくとも１つのリモート・ノードに発行し、前記関
連データ・グラニュールに対応する前記キャッシュ・ラ
インの割当て解除を要求する手段とを含むメモリ制御装
置。 （１０）前記メモリ・ディレクトリ内のエントリを周期
的に読出す手段が、前記メモリ・ディレクトリ内のエン
トリを周期的且つ順次的に読出す手段を含む、前記
（９）記載のメモリ制御装置。 （１１）前記メモリ・ディレクトリ内のエントリを周期
的に読出す手段が、タイマにより指示される一定間隔
で、前記メモリ・ディレクトリ内のエントリを周期的に
読出す手段を含む、前記（９）記載のメモリ制御装置。 （１２）前記記録手段が、前記複数のエントリの各々
に、前記関連データ・グラニュールに対応するキャッシ
ュ・ラインを保持する各リモート・ノードの識別を記録
する手段を含む、前記（９）記載のメモリ制御装置。 （１３）フラッシュが前記リモート・ノードにおいて実
行されたことを示す指示の受信に応答して、前記メモリ
・ディレクトリを更新する手段を含む、前記（９）記載
のメモリ制御装置。 （１４）ノード相互接続によりホーム・ノードに結合さ
れる１つ以上のリモート・ノードを含む、マルチノード
・コンピュータ・システムの前記ホーム・ノードのため
のメモリ・システムであって、前記（９）記載のメモリ
制御装置と、前記メモリ・システムに結合されるホーム
・システム・メモリと、前記メモリ制御装置に結合され
るメモリ・ディレクトリとを含むメモリ・システム。 （１５）マルチノード・コンピュータのノードであっ
て、ローカル相互接続と、前記ローカル相互接続に結合
されるノード制御装置と、前記ローカル相互接続に結合
される、前記（１４）記載のメモリ・システムとを含む
ノード。 （１６）ノード相互接続により結合されるホーム・ノー
ドと１つ以上のリモート・ノードとを含むコンピュータ
・システムであって、前記ホーム・ノードが、ローカル
相互接続と、前記ローカル相互接続と前記ノード相互接
続との間に結合されるノード制御装置と、ホーム・シス
テム・メモリと、複数のエントリを含むメモリ・ディレ
クトリと、前記ローカル相互接続、前記ホーム・システ
ム・メモリ、及び前記メモリ・ディレクトリに結合され
るメモリ制御装置とを含み、前記メモリ制御装置が、前
記メモリ・ディレクトリ内の複数のエントリの各々に、
前記ホーム・システム・メモリ内の関連データ・グラニ
ュールが、少なくとも１つの前記リモート・ノード内に
保持される対応するキャッシュ・ラインを有するか否か
を記録する手段と、前記ホーム・システム・メモリ内の
要求データ・グラニュールに対するデータ要求に応答し
て、前記メモリ・ディレクトリ内の関連エントリを読出
し、前記要求データ・グラニュールに対応するキャッシ
ュ・ラインを保持する少なくとも１つの前記リモート・
ノードに、無効化コマンドを発行する手段と、データ要
求とは無関係に、前記メモリ・ディレクトリ内のエント
リを周期的に読出し、前記エントリが少なくとも１つの
前記リモート・ノードが、関連データ・グラニュールに
対応するキャッシュ・ラインを保持すると示すことに応
答して、フラッシュ照会を前記少なくとも１つのリモー
ト・ノードに発行し、前記関連データ・グラニュールに
対応する前記キャッシュ・ラインの割当て解除を要求す
る手段とを含むコンピュータ・システム。 （１７）前記メモリ・ディレクトリ内のエントリを周期
的に読出す手段が、前記メモリ・ディレクトリ内のエン
トリを周期的且つ順次的に読出す手段を含む、前記（１
６）記載のコンピュータ・システム。 （１８）前記メモリ・ディレクトリ内のエントリを周期
的に読出す手段が、タイマにより指示される一定間隔
で、前記メモリ・ディレクトリ内のエントリを周期的に
読出す手段を含む、前記（１６）記載のコンピュータ・
システム。 （１９）前記記録手段が、前記複数のエントリの各々
に、前記関連データ・グラニュールに対応するキャッシ
ュ・ラインを保持する各リモート・ノードの識別を記録
する手段を含む、前記（１６）記載のコンピュータ・シ
ステム。 （２０）前記メモリ制御装置が、フラッシュが前記リモ
ート・ノードにおいて実行されたことを示す指示の受信
に応答して、前記メモリ・ディレクトリを更新する手段
を含む、前記（１６）記載のコンピュータ・システム。 （２１）前記リモート・ノードが、前記データ・グラニ
ュールに対応する前記キャッシュ・ラインを保持するキ
ャッシュ階層と、前記フラッシュ照会の受信に応答し
て、動的動作条件にもとづき、フラッシュを実行するか
否かを決定し、フラッシュの実行の決定に応答して、前
記キャッシュ・ラインを無効化し、変更データが存在す
る場合、該変更データを前記メモリ制御装置に伝送する
キャッシュ制御装置とを含む、前記（１６）記載のコン
ピュータ・システム。 （２２）前記キャッシュ制御装置が、リソースの可用性
及び前記キャッシュ・ラインの活用の少なくともいずれ
かにもとづき、フラッシュを実行するか否かを決定す
る、前記（２１）記載のコンピュータ・システム。 （２３）前記キャッシュ制御装置が、前記キャッシュ・
ラインが保持される前記キャッシュ階層内のレベルにも
とづき、前記キャッシュ・ラインの活用を決定する、前
記（２２）記載のコンピュータ・システム。

【図面の簡単な説明】

【図１】従来技術によるＮＵＭＡコンピュータ・システ
ムのブロック図である。

【図２】システム・メモリ内に組み込まれるリモート・
メモリ・キャッシュ（ＲＭＣ）を有する、本発明に従う
ＮＵＭＡコンピュータ・システムの典型的な実施例を示
す図である。

【図３】システム・メモリ内に組み込まれるリモート・
メモリ・キャッシュ（ＲＭＣ）及び関連リモート・メモ
リ・ディレクトリ（ＲＭＤ）を有する、本発明に従うＮ
ＵＭＡコンピュータ・システムの典型的な実施例を示す
図である。

【図４】図２または図３のＮＵＭＡコンピュータ・シス
テム内のメモリ制御装置の詳細ブロック図である。

【図５】図２または図３のＮＵＭＡコンピュータ・シス
テム内の低レベル・キャッシュの詳細ブロック図であ
る。

【図６】本発明に従い、ＮＵＭＡコンピュータ・システ
ムの別のノードからデータを要求する、読出しタイプ要
求を発行する典型的な方法のハイレベル論理フローチャ
ートである。

【図７】本発明に従う典型的な読出しタイプ要求を示す
図である。

【図８】本発明に従い、リモート・ノードから、共用コ
ヒーレンス状態の犠牲キャッシュ・ラインを割当て解除
する典型的な方法のハイレベル論理フローチャートであ
る。

【図９】本発明に従い、ＮＵＭＡコンピュータ・システ
ムのリモート・ノードから、変更済みコヒーレンス状態
の犠牲キャッシュ・ラインを割当て解除する典型的な方
法のハイレベル論理フローチャートである。

【図１０】図９の方法で使用される典型的なキャストア
ウト書込み命令を示す図である。

【図１１】本発明に従い、フラッシュ照会により、ＮＵ
ＭＡコンピュータ・システムのリモート・ノード内に保
持されるキャッシュ・ラインの割当て解除を要求するハ
イレベル論理フローチャートである。

【図１２】本発明に従い、フラッシュ照会により、ＮＵ
ＭＡコンピュータ・システムのリモート・ノード内に保
持されるキャッシュ・ラインの割当て解除を要求すハイ
レベル論理フローチャートである。

【図１３】本発明に従い、非集中コヒーレンス管理を用
いて、ＮＵＭＡコンピュータ・システムのリモート・ノ
ード内で、フラッシュ命令を実行する典型的な方法のハ
イレベル論理フローチャートである。

【図１４】Ｎｕｍａｆｙコマンドの使用により、読出し
タイプの命令のターゲット・キャッシュ・ラインのグロ
ーバル・コヒーレンス管理の責任を譲渡する、時間−空
間図である。

【図１５】図２または図３のＮＵＭＡコンピュータ・シ
ステム内のローカル・メモリ・ディレクトリ（ＬＭＤ）
の典型的なディレクトリ・エントリを示す図である。

【図１６】ＮＵＭＡコンピュータ・システムのシステム
・メモリ制御装置が、読出しタイプの要求に応答して、
ローカル・メモリ・ディレクトリ（ＬＭＤ）内のリモー
ト・ノードのヒストリ情報を更新する典型的な方法を示
す状態図である。

【図１７】本発明の好適な実施例に従い、ＮＵＭＡコン
ピュータ・システムのシステム・メモリ制御装置がデー
タ及び命令のプリフェッチを制御する典型的な方法を示
すハイレベル論理フローチャートである。

【図１８】本発明の好適な実施例に従い、ＮＵＭＡコン
ピュータ・システムのシステム・メモリ制御装置がデー
タ及び命令のプリフェッチを制御する典型的な方法を示
すハイレベル論理フローチャートである。

【図１９】本発明の好適な実施例に従い、ＮＵＭＡコン
ピュータ・システムのシステム・メモリ制御装置がデー
タ及び命令のプリフェッチを制御する典型的な方法を示
すハイレベル論理フローチャートである。

【符号の説明】

１１、５８ ローカル相互接続 ２０、６４ メモリ制御装置（ＭＣ） ２２、６６ システム・メモリ（Ｍ） ２４、５６ ローカル・ノード制御装置（ＮＣ） ２６、７２ ローカル・メモリ・ディレクトリ（ＬＭ
Ｄ） ２８、７０ リモート・メモリ・キャッシュ（ＲＭＣ） ３０、７４ リモート・メモリ・ディレクトリ（ＲＭ
Ｄ） ３２、５７ キュー ６１ ディレクトリ消し込み論理（ＳＬ） ６３ 応答論理（ＲＬ） ６８ システム・メモリ・アドレス空間 ７７ キュー ７９ コヒーレンス管理キュー １４２ 合同クラスのセット １４４ ディレクトリ・エントリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ラビ・クマー・アリミリ アメリカ合衆国78759、テキサス州オース ティン、スパイスブラッシュ・ドライブ 9221 (72)発明者 ジョン・スティーブン・ドッドソン アメリカ合衆国78660、テキサス州フルガ ービル、ベル・ロック・サークル 1205 (72)発明者 ジェームス・スティーブン・フィールズ・ ジュニア アメリカ合衆国78717、テキサス州オース ティン、ポコノ・ドライブ 16420 Ｆターム(参考） 5B005 JJ11 KK14 MM01 MM22 MM25 NN45 NN53 PP11 PP21 UU31 5B045 DD12 EE02 EE36

Claims (23)

【特許請求の範囲】
1. 【請求項１】ノード相互接続により結合されるホーム・
   ノードと１つ以上のリモート・ノードとを含むコンピュ
   ータ・システムを操作する方法であって、 前記ホーム・ノードのメモリ・ディレクトリ内の複数の
   エントリの各々に、前記ホーム・ノードのホーム・シス
   テム・メモリ内の関連データ・グラニュールが、少なく
   とも１つの前記リモート・ノード内に保持される対応す
   るキャッシュ・ラインを有するか否かを記録するステッ
   プと、 前記ホーム・システム・メモリ内の要求データ・グラニ
   ュールに対するデータ要求に応答して、前記メモリ・デ
   ィレクトリ内の関連エントリを読出し、前記要求データ
   ・グラニュールに対応するキャッシュ・ラインを保持す
   る少なくとも１つの前記リモート・ノードに、無効化コ
   マンドを発行するステップと、 データ要求とは無関係に、前記メモリ・ディレクトリ内
   のエントリを周期的に読出し、前記エントリが少なくと
   も１つの前記リモート・ノードが、関連データ・グラニ
   ュールに対応するキャッシュ・ラインを保持すると示す
   ことに応答して、フラッシュ照会を前記少なくとも１つ
   のリモート・ノードに発行し、前記関連データ・グラニ
   ュールに対応する前記キャッシュ・ラインの割当て解除
   を要求するステップとを含む方法。
2. 【請求項２】前記メモリ・ディレクトリ内のエントリを
   周期的に読出すステップが、前記メモリ・ディレクトリ
   内のエントリを周期的且つ順次的に読出すステップを含
   む、請求項１記載の方法。
3. 【請求項３】前記メモリ・ディレクトリ内のエントリを
   周期的に読出すステップが、タイマにより指示される一
   定間隔で、前記メモリ・ディレクトリ内のエントリを周
   期的に読出すステップを含む、請求項１記載の方法。
4. 【請求項４】前記記録ステップが、前記複数のエントリ
   の各々に、前記関連データ・グラニュールに対応するキ
   ャッシュ・ラインを保持する各リモート・ノードの識別
   を記録するステップを含む、請求項１記載の方法。
5. 【請求項５】前記リモート・ノードでの前記フラッシュ
   照会の受信に応答して、前記リモート・ノードにおい
   て、前記フラッシュ照会に応答して、動的動作条件にも
   とづき、フラッシュを実行するか否かを決定するステッ
   プと、 フラッシュの実行の決定に応答して、前記リモート・ノ
   ード内の前記キャッシュ・ラインを無効化し、変更デー
   タが存在する場合、該変更データを前記ホーム・ノード
   に伝送するステップとを含む、請求項１記載の方法。
6. 【請求項６】前記動的動作条件にもとづき、フラッシュ
   を実行するか否かを決定するステップが、リソースの可
   用性及び前記キャッシュ・ラインの活用の少なくともい
   ずれかにもとづき、フラッシュを実行するか否かを決定
   するステップを含む、請求項５記載の方法。
7. 【請求項７】前記キャッシュ・ラインが保持される前記
   リモート・ノードのキャッシュ階層内のレベルにもとづ
   き、前記キャッシュ・ラインの活用を決定するステップ
   を含む、請求項６記載の方法。
8. 【請求項８】フラッシュが前記リモート・ノードにおい
   て実行されたことを示す指示の受信に応答して、前記ホ
   ーム・ノード内の前記メモリ・ディレクトリを更新する
   ステップを含む、請求項１記載の方法。
9. 【請求項９】ノード相互接続によりホーム・ノードに結
   合される１つ以上のリモート・ノードを含む、マルチノ
   ード・コンピュータ・システムの前記ホーム・ノード内
   で使用されるメモリ制御装置であって、前記ホーム・ノ
   ードがホーム・システム・メモリと関連メモリ・ディレ
   クトリとを含むものにおいて、 前記メモリ・ディレクトリ内の複数のエントリの各々
   に、前記ホーム・システム・メモリ内の関連データ・グ
   ラニュールが、少なくとも１つの前記リモート・ノード
   内に保持される対応するキャッシュ・ラインを有するか
   否かを記録する手段と、 前記ホーム・システム・メモリ内の要求データ・グラニ
   ュールに対するデータ要求に応答して、前記メモリ・デ
   ィレクトリ内の関連エントリを読出し、前記要求データ
   ・グラニュールに対応するキャッシュ・ラインを保持す
   る少なくとも１つの前記リモート・ノードに、無効化コ
   マンドを発行する手段と、 データ要求とは無関係に、前記メモリ・ディレクトリ内
   のエントリを周期的に読出し、前記エントリが少なくと
   も１つの前記リモート・ノードが、関連データ・グラニ
   ュールに対応するキャッシュ・ラインを保持すると示す
   ことに応答して、フラッシュ照会を前記少なくとも１つ
   のリモート・ノードに発行し、前記関連データ・グラニ
   ュールに対応する前記キャッシュ・ラインの割当て解除
   を要求する手段とを含むメモリ制御装置。
10. 【請求項１０】前記メモリ・ディレクトリ内のエントリ
    を周期的に読出す手段が、前記メモリ・ディレクトリ内
    のエントリを周期的且つ順次的に読出す手段を含む、請
    求項９記載のメモリ制御装置。
11. 【請求項１１】前記メモリ・ディレクトリ内のエントリ
    を周期的に読出す手段が、タイマにより指示される一定
    間隔で、前記メモリ・ディレクトリ内のエントリを周期
    的に読出す手段を含む、請求項９記載のメモリ制御装
    置。
12. 【請求項１２】前記記録手段が、前記複数のエントリの
    各々に、前記関連データ・グラニュールに対応するキャ
    ッシュ・ラインを保持する各リモート・ノードの識別を
    記録する手段を含む、請求項９記載のメモリ制御装置。
13. 【請求項１３】フラッシュが前記リモート・ノードにお
    いて実行されたことを示す指示の受信に応答して、前記
    メモリ・ディレクトリを更新する手段を含む、請求項９
    記載のメモリ制御装置。
14. 【請求項１４】ノード相互接続によりホーム・ノードに
    結合される１つ以上のリモート・ノードを含む、マルチ
    ノード・コンピュータ・システムの前記ホーム・ノード
    のためのメモリ・システムであって、 請求項９記載のメモリ制御装置と、 前記メモリ・システムに結合されるホーム・システム・
    メモリと、 前記メモリ制御装置に結合されるメモリ・ディレクトリ
    とを含むメモリ・システム。
15. 【請求項１５】マルチノード・コンピュータのノードで
    あって、 ローカル相互接続と、 前記ローカル相互接続に結合されるノード制御装置と、 前記ローカル相互接続に結合される、請求項１４記載の
    メモリ・システムとを含むノード。
16. 【請求項１６】ノード相互接続により結合されるホーム
    ・ノードと１つ以上のリモート・ノードとを含むコンピ
    ュータ・システムであって、前記ホーム・ノードが、 ローカル相互接続と、 前記ローカル相互接続と前記ノード相互接続との間に結
    合されるノード制御装置と、 ホーム・システム・メモリと、 複数のエントリを含むメモリ・ディレクトリと、 前記ローカル相互接続、前記ホーム・システム・メモ
    リ、及び前記メモリ・ディレクトリに結合されるメモリ
    制御装置とを含み、前記メモリ制御装置が、 前記メモリ・ディレクトリ内の複数のエントリの各々
    に、前記ホーム・システム・メモリ内の関連データ・グ
    ラニュールが、少なくとも１つの前記リモート・ノード
    内に保持される対応するキャッシュ・ラインを有するか
    否かを記録する手段と、 前記ホーム・システム・メモリ内の要求データ・グラニ
    ュールに対するデータ要求に応答して、前記メモリ・デ
    ィレクトリ内の関連エントリを読出し、前記要求データ
    ・グラニュールに対応するキャッシュ・ラインを保持す
    る少なくとも１つの前記リモート・ノードに、無効化コ
    マンドを発行する手段と、 データ要求とは無関係に、前記メモリ・ディレクトリ内
    のエントリを周期的に読出し、前記エントリが少なくと
    も１つの前記リモート・ノードが、関連データ・グラニ
    ュールに対応するキャッシュ・ラインを保持すると示す
    ことに応答して、フラッシュ照会を前記少なくとも１つ
    のリモート・ノードに発行し、前記関連データ・グラニ
    ュールに対応する前記キャッシュ・ラインの割当て解除
    を要求する手段とを含むコンピュータ・システム。
17. 【請求項１７】前記メモリ・ディレクトリ内のエントリ
    を周期的に読出す手段が、前記メモリ・ディレクトリ内
    のエントリを周期的且つ順次的に読出す手段を含む、請
    求項１６記載のコンピュータ・システム。
18. 【請求項１８】前記メモリ・ディレクトリ内のエントリ
    を周期的に読出す手段が、タイマにより指示される一定
    間隔で、前記メモリ・ディレクトリ内のエントリを周期
    的に読出す手段を含む、請求項１６記載のコンピュータ
    ・システム。
19. 【請求項１９】前記記録手段が、前記複数のエントリの
    各々に、前記関連データ・グラニュールに対応するキャ
    ッシュ・ラインを保持する各リモート・ノードの識別を
    記録する手段を含む、請求項１６記載のコンピュータ・
    システム。
20. 【請求項２０】前記メモリ制御装置が、フラッシュが前
    記リモート・ノードにおいて実行されたことを示す指示
    の受信に応答して、前記メモリ・ディレクトリを更新す
    る手段を含む、請求項１６記載のコンピュータ・システ
    ム。
21. 【請求項２１】前記リモート・ノードが、 前記データ・グラニュールに対応する前記キャッシュ・
    ラインを保持するキャッシュ階層と、 前記フラッシュ照会の受信に応答して、動的動作条件に
    もとづき、フラッシュを実行するか否かを決定し、フラ
    ッシュの実行の決定に応答して、前記キャッシュ・ライ
    ンを無効化し、変更データが存在する場合、該変更デー
    タを前記メモリ制御装置に伝送するキャッシュ制御装置
    とを含む、請求項１６記載のコンピュータ・システム。
22. 【請求項２２】前記キャッシュ制御装置が、リソースの
    可用性及び前記キャッシュ・ラインの活用の少なくとも
    いずれかにもとづき、フラッシュを実行するか否かを決
    定する、請求項２１記載のコンピュータ・システム。
23. 【請求項２３】前記キャッシュ制御装置が、前記キャッ
    シュ・ラインが保持される前記キャッシュ階層内のレベ
    ルにもとづき、前記キャッシュ・ラインの活用を決定す
    る、請求項２２記載のコンピュータ・システム。