JP2003216597A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【課題】キャッシュ・コヒーレンシ一貫性制御の必要な
メインメモリからのデータの読み込みの処理時間を短縮
する。 【解決手段】データを要求するノードと、当該データの
ディレクトリ情報の保持するノードが異なるノードであ
った場合、データを要求するノードは当該データのディ
レクトリ情報を保持するノードからディレクトリ情報を
取得して、キャッシュ・コヒーレンシ一貫性制御結果の
処理を行い、キャッシュ・コヒーレンシ一貫性制御完了
後、ディレクトリ情報を当該データのディレクトリ情報
を保持するノードに書き戻す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数のプロセッサを
有するマルチプロセッサシステムに関する。

【０００２】

【従来の技術】従来から、計算機システムの処理速度を
向上させるために、キャッシュメモリの使用が有効であ
ることがよく知られている。キャッシュメモリは、プロ
セッサとメインメモリの間に位置する高速で小容量のメ
モリである。キャッシュメモリは、メインメモリのデー
タの一部を保持し、メインメモリの代わりにプロセッサ
とのデータの送受信を行い、メインメモリよりも高速な
データアクセスを実現する。

【０００３】このようなキャッシュメモリを使用した計
算機システムではプロセッサがリード要求を発行したと
きにキャッシュメモリにデータが格納されていれば（ヒ
ットすれば）キャッシュメモリ内のデータが直ちにプロ
セッサに送信され、高速な動作が期待できる。プロセッ
サからのメインメモリへのリード要求に対してキャッシ
ュメモリにそのデータがなかった（ミスした）場合、キ
ャッシュメモリはプロセッサが要求したデータをメイン
メモリから読み込んで、これをプロセッサに供給する。

【０００４】複数のキャッシュメモリを有する計算機シ
ステムにおいては、メインメモリからキャッシュメモリ
にデータを読み込む際にキャッシュ・コヒーレンシ一貫
性制御が要求される。キャッシュ・コヒーレンシ一貫性
制御とは、メインメモリ上の同一アドレスのデータのコ
ピーを二つ以上のキャッシュメモリが保持する場合には
必ず同一の値を持つこと（キャッシュ・コヒーレンシ一
貫性）を保証するための制御である。

【０００５】従来のキャッシュ・コヒーレンシ一貫性制
御の例としてはたとえば特開平１１−２１９３４３号公
報に詳細な構成、および制御方式が記されている。

【０００６】図１５は従来のキャッシュ・コヒーレンシ
一貫性制御を説明するためのマルチプロセッサシステム
の構成を図示したものである。

【０００７】図１５のシステムはノード（１００）を複
数（ｘＮＤ０〜ｘＮＤｎ）有し、それらは相互結合網
（１１１）で互いに接続されている。

【０００８】ノード（１００）はプロセッサ（１０１）
とキャッシュメモリ（１０３）、メインメモリ（１０
４）、ディレクトリ（１０５）とキャッシュ・メインメ
モリ制御装置（１０２）を有する。

【０００９】キャッシュ・メインメモリ制御装置（１０
２）は、プロセッサ（１０１）や相互結合網（１１１）
を介した他ノードからの要求に応じて、キャッシュメモ
リ（１０３）、メインメモリ（１０４）、ディレクトリ
（１０５）のデータの読み出し、書き込みを行う。

【００１０】また、キャッシュ・メインメモリ制御装置
（１０２）はよく知られたＭＥＳＩキャッシュ・コヒー
レンシ・プロトコルに従ったキャッシュ・コヒーレンシ
一貫性制御を行うものとする。

【００１１】すなわち、キャッシュ状態として、（ａ）
Ｉｎｖａｌｉｄ（当該データは無効）、（ｂ）Ｓｈａｒ
ｅｄ−Ｕｎｍｏｄｉｆｉｅｄ（当該データは他のプロセ
ッサのキャッシュメモリ内にも存在し、主記憶内のデー
タと同一）、（ｃ）Ｅｘｃｌｕｓｉｖｅ‐Ｍｏｄｉｆｉ
ｅｄ（当該データは、当該キャッシュメモリ内にのみ存
在し、しかも主記憶内のデータとは同一ではない）、
（ｄ）Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ（当
該データは、当該キャッシュメモリ内にのみ存在し、主
記憶内のデータとは同一）を定義する。

【００１２】図１６はこのようなシステムにおいて、メ
インメモリからキャッシュメモリにデータを読み込み、
プロセッサにそのデータを供給する動作を図示するタイ
ミングチャートである。ただし、データを要求したノー
ドはｘＮＤ０であり、要求されるデータを保持するメイ
ンメモリを有するノード（データのホームノード）はｘ
ＮＤ１であり、ｘＮＤ２はこのｘＮＤ０が要求したデー
タをキャッシュメモリにＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎ
ｍｏｄｉｆｉｅｄ）のステータスで保有しているものと
した。

【００１３】図１６においては、縦方向には動作に関係
する各ノードが配置され、横方向は各ノードの動作の時
間軸を示す。また、図１６ではｘＮＤ０〜ｘＮＤ２の３
ノードの構成としている。

【００１４】まずノードｘＮＤ０のプロセッサが、ある
アドレスに対してメモリリード要求を発行する。この要
求のアドレスに対応するデータが自ノードのキャッシュ
メモリにおいては、キャッシュ状態がＩｎｖａｌｉｄ、
すなわちキャッシュミスを起こしたとする。ここで、ｘ
ＮＤ０のキャッシュ・メインメモリ制御装置がプロセッ
サの要求するデータのホームノードがｘＮＤ１であると
判定したとする。

【００１５】すると、ｘＮＤ０のキャッシュ・メインメ
モリ制御装置は相互結合網を介してＮＤ１にこのアドレ
スに対するデータを要求するリード・トランザクション
を発行する。ｘＮＤ１はこのリード・トランザクション
を受信すると、ディレクトリを検索し、リード要求のア
ドレスのデータがシステム内のキャッシュ上に格納され
ているかを調べる。その結果、ｘＮＤ２のノードが要求
されたアドレスのデータを保有していると判定されたと
する。

【００１６】次に、ｘＮＤ１はｘＮＤ２に相互結合網を
介してキャッシュ・コヒーレンシ一貫性制御の要求（ス
ヌープ要求）を行うスヌープ・トランザクションを発行
する。スヌープ・トランザクションを受けたｘＮＤ２は
キャッシュメモリを検索し、その結果、キャッシュ内に
要求されたアドレスのデータがステータスＥ（Ｅｘｃｌ
ｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）で格納されていた
とする。ｘＮＤ２はこのデータのステータスをＳＨ（Ｓ
ｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）に更新するととも
に、キャッシュ・コヒーレンシ一貫性制御の結果（スヌ
ープ結果）として、ＡｃｋＳＨトランザクションをスヌ
ープ要求元のｘＮＤ１に送信する。

【００１７】スヌープ結果ＡｃｋＳＨトランザクション
を受信したｘＮＤ１は、メモリから要求されたデータを
読み出し、相互結合網を介してこのデータをデータリタ
ーン・トランザクションとしてｘＮＤ０に送信する。そ
の際、このデータリターン・トランザクションには、こ
のデータがＳＨ（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅ
ｄ）のステータスでキャッシュに登録されるべきデータ
であることを示す情報が埋め込まれる（Ｄａｔａ（Ｓ
Ｈ））。その後、ｘＮＤ１はディレクトリを更新して、
ｘＮＤ０がこのアドレスに対するデータを保有している
という情報を書き込む。

【００１８】データリターン・トランザクションを受信
したｘＮＤ０はこのデータをキャッシュメモリにＳＨ
（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）のステータス
で登録し、データをプロセッサに供給して、リードの処
理を完了する。

【００１９】次に、図１７でｘＮＤ０がデータを要求し
たとき、ｘＮＤ２が要求されたデータをキャッシュメモ
リにＭ（Ｅｘｃｌｕｓｉｖｅ‐Ｍｏｄｉｆｉｅｄ）のス
テータスで保有していたときの動作を示す。要求される
データのホームノードはｘＮＤ１であるとする。

【００２０】ｘＮＤ０のプロセッサがあるアドレスに対
してメモリリード要求を発行する。リード要求はｘＮＤ
０のキャッシュでキャッシュミスを起こし、データのホ
ームノードはｘＮＤ１であると判定されたとする。する
と相互結合網を介してｘＮＤ１にリード・トランザクシ
ョンが発行される。

【００２１】リード・トランザクションを受信したｘＮ
Ｄ１はディレクトリを検索した結果、ｘＮＤ２がこのア
ドレスのデータをキャッシュに保有していると判定した
とする。ｘＮＤ１はｘＮＤ２に相互結合網を介してスヌ
ープ要求を行うスヌープ・トランザクションを発行す
る。スヌープ・トランザクションを受けたｘＮＤ２はキ
ャッシュメモリを検索し、その結果、キャッシュ内に要
求されたアドレスのデータがステータスＭ（Ｅｘｃｌｕ
ｓｉｖｅ‐Ｍｏｄｉｆｉｅｄ）で格納されていたとす
る。ｘＮＤ２はこのデータをキャッシュメモリから読み
出し、データ転送を実行するＡｃｋＤａｔａトランザク
ションとしてこのキャッシュメモリから読み出したデー
タをデータのホームノードｘＮＤ１に送信する。その
後、ｘＮＤ２はキャッシュメモリ上のこのデータのステ
ータスをＩ（Ｉｎｖａｌｉｄ）に変更する。

【００２２】ＡｃｋＤａｔａトランザクションを受信し
たｘＮＤ１は、このデータを当該アドレスの更新された
最新データとしてメインメモリに書き込む。その後、メ
インメモリよりデータを読み出して、このデータをデー
タリターン・トランザクションとして相互結合網を介し
てｘＮＤ０に送信する。その際、このデータリターン・
トランザクションにはこのデータがＥｘｃｌｕｓｉｖｅ
−Ｕｎｍｏｄｉｆｉｅｄとしてキャッシュに登録される
べきデータであることを示す情報が埋め込まれる（Ｄａ
ｔａ（Ｅ））。その後、ｘＮＤ１はディレクトリを更新
して、ｘＮＤ０がこのアドレスに対するデータを保有し
ているという情報を書き込む。

【００２３】データリターン・トランザクションを受信
したｘＮＤ０はこのデータをキャッシュメモリにＥ（Ｅ
ｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）のステータ
スで登録し、データをプロセッサに供給して、リードの
処理を完了する。

【００２４】

【発明が解決しようとする課題】このように、特開平１
１−２１９３４３号公報で示される方式では、スヌープ
結果をデータのホームノードが受け取って、その後にメ
インメモリのデータを読み出して、データの要求元のノ
ードに送信するため、プロセッサがリードの要求を発行
してからデータを受け取るまでの時間（レイテンシ）が
長くなりすぎ、システムの性能を落としているという問
題があった。

【００２５】本発明の主目的は、スヌープ要求を必要と
するメインメモリアクセス処理において、メインメモリ
アクセスのレイテンシの改善されたマルチプロセッサシ
ステムを提供することである。

【００２６】

【課題を解決するための手段】本発明は、第一の手段と
して、各ノードは他ノードの発行した自ノードのメイン
メモリの保持するデータに対するリード要求を受信した
際に、メインメモリから読み出された要求されたデータ
とディレクトリ記憶手段から読み出されたそのデータに
対応するディレクトリ情報を、リード要求を発行したノ
ードに送信する手段を有する。

【００２７】また、第二の手段として、各ノードは他ノ
ードの発行した自ノードのメインメモリの保持するデー
タに対するリード要求を受信した際に、要求されたデー
タに対応するディレクトリ情報から、そのデータのコピ
ーを保持するキャッシュメモリを有するノードがあると
判定したときは、そのノードにキャッシュ・コヒーレン
シ一貫性制御を要求するスヌープ要求を発行し、かつこ
のキャッシュ・コヒーレンシ一貫性制御の結果であるス
ヌープ結果をリード要求を発行したノードに送信するよ
う指示する手段を有する。

【００２８】また、第三の手段として、各ノードは前記
他ノードからのリード要求を受信したノードがこのリー
ド要求に応じて発行したスヌープ要求を受信したとき、
このスヌープ要求に対するスヌープ結果を前記第二の手
段で指示されるノードへ送信する手段を有する。

【００２９】また、第四の手段として、各ノードは他ノ
ードの有するメインメモリの保持するデータに対するリ
ード要求を行った際に、前記第一の手段によって送信さ
れるディレクトリ情報と、前記第三の手段によって送信
されるスヌープ結果のいずれか、または双方を受信し
て、前記リード要求のデータに対するディレクトリ情報
を更新するために必要な情報を、前記リード要求のデー
タを保持するメインメモリを有するノードに送信する手
段を有する。

【００３０】また、各第五の手段として、ノードは前記
第四の手段で送信されたディレクトリ情報を更新するた
めの情報を受信した際に、これに応じて自ノードのディ
レクトリ情報記憶手段のディレクトリ情報を更新する手
段を有する。

【００３１】上記、第一から第五の手段によって、要求
したデータのホームノードでスヌープ結果を待ち受ける
ことなく、データを要求したノードで直接スヌープ結果
を待ち受けることが可能となり、かつデータのホームノ
ードはデータに対する要求を受けた時点で、メインメモ
リのデータ読み出しと、要求元へのデータ転送を開始す
るので、メインメモリのデータをプロセッサに供給する
ケースにおいては、非常に高速な動作が期待できる。

【００３２】一方において、要求されたデータに対する
更新された最新データ（ダーティ・データ）を保持する
キャッシュメモリがあった場合は、このダーティ・デー
タが要求元ノードに供給されて、メインメモリからのデ
ータは無視されなければならない。このようなケースが
多発する状況においてメインメモリからの無駄なデータ
転送を削減するために、以下の手段を有してもよい。

【００３３】すなわち前述の第二の手段に替え、第六の
手段として、各ノードは他ノードの発行した自ノードの
メインメモリの保持するデータに対するリード要求を受
信した際に、要求されたデータに対応するディレクトリ
情報を自ノードのディレクトリ情報記憶手段から読み出
して、要求されるデータのコピーを保持するキャッシュ
メモリを有するノードにスヌープ要求を発行するとき
に、スヌープ要求に対する応答であるスヌープ結果をい
ずれのノードに送信すべきかを下記のように決定して指
定する手段を有してもよい。スヌープ結果をいずれのノ
ードに送信すべきかの決定はすなわち、(ａ)要求される
データのコピーを保持するキャッシュメモリを有するノ
ードがシステム内でたかだか一つのノードであると判定
した場合は、要求されたデータのホームノードにスヌー
プ結果が戻るものとし、(ｂ)要求されるデータのコピー
を保持するキャッシュメモリを有するノードがシステム
内で複数ある可能性があると判定した場合は、リード要
求を発行したノードにスヌープ結果が戻るものとする。

【００３４】ＭＥＳＩキャッシュ・コヒーレンシ・プロ
トコルにおいては、ダーティ・データを保持するキャッ
シュメモリがあった場合、その他のキャッシュメモリは
そのデータのコピーを有することは許されていない。す
なわち、前述の第六の手段における記述の（ａ）のケー
スに当たる。第六の手段のように、この様な場合はスヌ
ープ結果をデータのホームノードに送信することによ
り、データのホームノードはメインメモリのデータを転
送する必要があるか否かの判定が可能となり、さらには
不要なメインメモリデータの転送を削減することが可能
となる。

【００３５】

【発明の実施の形態】以下、図面を参照しながら本発明
における実施の形態の一例について詳細に説明する。

【００３６】図１は、本発明の一実施の形態であるマル
チプロセッサシステムの全体構成の一例を示す概念図で
ある。図１に例示されるように、本実施の形態のマルチ
プロセッサシステムは、複数のノードＮＤ０〜ＮＤ７
（１０）が、相互結合網（２０）を介して結合された構
成となっている。本実施の形態ではノード数は８とす
る。

【００３７】図２はノード（１０）の構成を示す概念図
である。図２に例示されるように、個々のノード１０
は、例えば汎用のマイクロプロセッサ等で構成されるプ
ロセッサ１１と、メインメモリ１７と、このプロセッサ
１１とメインメモリ１７またはノード１０の外部との間
で授受されるデータを一時的に保持するキャッシュメモ
リ１６と、キャッシュメモリ１６とメインメモリ１７を
制御するキャッシュ・メインメモリ制御部１２と、プロ
セッサ１１の要求に応じて実行されるリード処理を管理
するためのリクエスト管理テーブル１８と、リクエスト
管理テーブル１８を制御するためのリクエスト管理テー
ブル制御部１３と、メインメモリ１７のデータがシステ
ム上のいずれのノードの保持するキャッシュメモリ上に
コピーされたかを記憶する手段であるディレクトリ１９
と、ディレクトリ１９を制御するディレクトリ制御部１
４と、キャッシュ・メインメモリ制御部１２とリクエス
ト管理テーブル１３とディレクトリ制御部１４がノード
１０の外部との間で授受する情報の流れを制御するクロ
スバスイッチインタフェース１５とメモリライト設定手
段３０で構成される。

【００３８】本実施の形態においては、メモリライトが
発生したとき、後述する二通りの処理方式のいずれかに
よってこれを処理することが可能となっている。処理方
式の一方はスループット優先モードであり、もう一方は
転送優先モードである。メモリライト設定手段３０はプ
ロセッサ１１の制御により、上記二つの処理方式のう
ち、いずれが設定されたかを保持して、この情報をディ
レクトリ制御部１４に伝える。各々のモードにおける動
作の詳細は後述する。なお、本実施形態においては、キ
ャッシュ・メインメモリ制御部１２は従来のＭＥＳＩキ
ャッシュ・コヒーレンシ・プロトコルに従ったキャッシ
ュ・コヒーレンシ一貫性制御を行うものとする。

【００３９】任意のノードにてリード要求が発生し、当
該データが自ノード内のキャッシュメモリに無い（リー
ドミス）の場合には、当該データを保持するメインメモ
リに対するリード要求が発行される。当該データを保持
するメインメモリが他ノードのメインメモリであった場
合、相互結合網（２０）にリード・トランザクションが
発行され、当該データを保持するメインメモリを有する
ノード（当該データのホームノード）がそれを受信す
る。

【００４０】当該データのホームノードは、要求された
データに対応するディレクトリ情報を自ノードのディレ
クトリ１９から読み出す。当該データのホームノードは
このディレクトリ情報を元に、要求されたデータのコピ
ーを保持するノードを判定し、それらのノードに要求さ
れたデータに対するキャッシュ・コヒーレンシ一貫性制
御の要求（スヌープ要求）を発行する。

【００４１】スヌープ要求を受信したノードは自ノード
のキャッシュメモリを検索し、このとき、要求されたデ
ータに対する更新された最新データを保持するノードが
あった場合は、このデータはデータのホームノードに送
信されたのち、データの要求元のノードに転送される。
一方、いずれのノードも更新された最新データを保持し
ていなかった場合は、メインメモリからデータリターン
を行う。

【００４２】本実施の形態では、キャッシュメモリはメ
インメモリを６４バイト毎のブロックとして扱い、メイ
ンメモリ６４バイト毎に対応するディレクトリ情報がデ
ィレクトリ１９に保持されているものとする。各ブロッ
クに対応するディレクトリ情報は８ビットで構成され、
８ビットの各ビットがシステムに接続された８ノードの
各ノードに対応している。すなわち、メインメモリ内の
あるブロックに対応しているディレクトリのあるビット
が１であった場合、そのビットに対応するノードがその
ブロックのコピーを取得したことを示す。０は、そのビ
ットに対応するノードはそのブロックのコピーを取得し
ていないことを示す。

【００４３】図３は相互結合網（２０）を説明するため
の概念図である。

【００４４】図３に例示されるように、相互結合網２０
は、各ノードが接続されるポート２２ａ、２２ｂの間の
接続を切り替えることにより、各ノード間で、１：１ま
たは１：多（同報送信）の接続制御を行うスイッチ結合
論理２３と、各ポート２２ａ、２２ｂに設けられたトラ
ンザクションキュー２１ａ、２１ｂを備えている。

【００４５】図４はリクエスト管理テーブル１８を説明
する概念図である。図４に示すように、リクエスト管理
テーブル１８は、複数のレジスタで構成される。これら
のレジスタは、プロセッサの要求に応じて行われたメモ
リアクセスに関する情報を保持する。本実施の形態で
は、リクエスト管理テーブル１８は全１６のエントリで
構成され、各エントリは以下のフィールドを備えてい
る。

【００４６】（ａ）Ｖ：エントリが有効な情報を保持し
ていることを示すバリッドビットである。１なら有効、
０なら無効であることを示す。 （ｂ）Ａｄｒ（３９−０）：プロセッサの要求するデー
タのアドレスを保持するフィールドである。本実施の形
態ではアドレスは４０ビットであるとする。 （ｃ）Ｈ（２−０）：要求されたデータを保持するメイ
ンメモリを有するノード番号が格納される。本実施の形
態ではノードは８ノードであり、０〜７を識別する３ビ
ットで示される。ＮＤ０であれば値０、ＮＤ７であれば
値７とする。 （ｄ）ＤＶ：後述するＤｉｒ（７−０）が有効な値を保
持していることを示すバリッドビットである。１なら有
効。０なら無効であることを示す。 （ｅ）Ｄｉｒ（７−０）：プロセッサの要求するデータ
のディレクトリ情報を保持するフィールドである。前述
のように本実施の形態ではディレクトリ情報は８ビット
とする。 （ｆ）Ａｃｋ（７−０）：スヌープ結果の受信を監視す
るためのフィールドである。詳細な制御方法は後述す
る。 （ｇ）Ｄ：リード処理に対して、後述するＡｃｋＤａｔ
ａトランザクションを受信したかどうかを記録するビッ
トである。１なら受信した、０なら受信しなかったこと
を示す。

【００４７】図５はリクエスト管理テーブル制御部１３
を説明する概念図である。リード発行部１３ｈは、パス
１２ｃ（ｒｅａｄ）を介してキャッシュ・メインメモリ
制御部１２からリード要求を受ける。リード要求には要
求されるデータのアドレスと、要求を識別するためのＩ
Ｄ（０〜１５）が含まれている。リード発行部１３ｈは
リード要求をリクエスト管理テーブル１８に登録する。
登録するエントリは指定されたＩＤ（０〜１５）に等し
い番号のエントリとなる。Ｖに１、Ａｄｒ（３９−０）
にリード要求の要求するデータのアドレスを登録する。

【００４８】リード発行部１３ｈは、要求されたデータ
のアドレスからそのデータを保持するメインメモリを有
するノード（データのホームノード）を判定する。本実
施の形態では、アドレスの値から一意にノード番号を算
出できるようになっているものとする。リクエスト管理
テーブル１８のＨ（２−０）にはホームノードの番号が
設定される。その他のフィールドは下記のように初期化
される。ＤＶは０に設定される。Ｄｉｒ（７−０）は自
ノードに対応するビットのみ０に設定され、その他のビ
ットは１に設定される。例えば自ノードがＮＤ１であっ
た場合、Ｄｉｒ（１）のみ０に設定され、その他のビッ
トは１であるから、Ｄｉｒ（７−０）＝１１１１１１０
１である。Ａｃｋ（７−０）＝００００００００、Ｄ＝
０とそれぞれ設定される。

【００４９】この後、リード発行部１３ｈは要求された
データのホームノードが自ノードに等しければ、パス１
３ｅ（Ｌｒｄ）を介してディレクトリ制御部１４にリー
ド要求を発行する。ホームノードが自ノードと等しくな
ければ、パス１３ａ（ｒｅａｄ）に後述するリード・ト
ランザクションが発行される。リード・トランザクショ
ンの行き先には当該リード要求の要求するデータのホー
ムノードが指定される。パス１３ａ（ｒｅａｄ）に送信
されたリード・トランザクションはクロスバインタフェ
ース１５と相互結合網２０を介して、指定されたホーム
ノードに配信される。

【００５０】Ｍバッファ１３ｉは、クロスバスイッチイ
ンタフェース１５からパス１３ｂ（Ｄｒｅｔ）を介し
て、後述するデータリターン・トランザクションを受信
する。データリターン・トランザクションは、リード・
トランザクションに対してホームノードが返送したディ
レクトリ情報とメインメモリデータを含んでいる。Ｍバ
ッファ１３ｉはこのデータリターン・トランザクション
のメインメモリデータを保持し、後述するＤｉｒ制御部
１３ｍの指示で、セレクタ１３ｎを介して、このデータ
をパス１２ｅ（ｄａｔａ）に送信する。

【００５１】Ｄバッファ１３ｊはパス１３ｃ（Ａｃｋ）
より、後述するＡｃｋＤａｔａトランザクションを受信
する。ＡｃｋＤａｔａトランザクションはスヌープ要求
に対し、他ノードのキャッシュ・メインメモリ制御部１
２の発行する更新された最新データを含むトランザクシ
ョンであり、Ｄバッファ１３ｊはこの更新された最新デ
ータを保持し、後述するＤｉｒ制御部１３ｍの指示で、
このデータをセレクタ１３ｎを介して、パス１２ｅ（ｄ
ａｔａ）に送信する。

【００５２】Ｄｉｒ登録部１３ｋはパス１３ｂ（Ｄｒｅ
ｔ）またはパス１３ｆ（ｄｉｒ）から受信したディレク
トリ情報をリクエスト管理テーブル１８に登録する。パ
ス１３ｂ（Ｄｒｅｔ）は、パス１３ａ（ｒｅａｄ）を介
して他ノードに発行されたリード・トランザクションの
応答であるデータリターン・トランザクションを受信
し、パス１３ｆ（ｄｉｒ）はパス１３ｅ（Ｌｒｄ）を介
して自ノードのディレクトリ制御部１４に対して発行さ
れたリード要求の応答を受信し、いずれも要求したデー
タのディレクトリ情報を含んでいる。本実施の形態では
ディレクトリ情報は８ビットであり、Ｄｉｒ登録部１３
ｋはリクエスト管理テーブル１８のリード要求に対応す
るエントリのＤｉｒ（７−０）を読み出して、受信した
ディレクトリ情報とＡＮＤ演算を行った後、この結果を
同エントリのＤｉｒ（７−０）フィールドに記録する。
また、同時にＤｉｒ（７−０）に有効な値が格納された
ことを示す同エントリのＤＶビットに１を設定する。

【００５３】Ｄｉｒ制御部１３ｍはスヌープ要求に応じ
て発行されたスヌープ結果を受信して、キャッシュ・メ
インメモリ制御部１２へのデータの応答、ディレクトリ
情報の更新、ディレクトリ情報の書き戻しのための送信
を行う。Ｄｉｒ制御部１３ｍはパス１３ｃ（Ａｃｋ）か
ら後述するＡｃｋＩトランザクション、ＡｃｋＳＨトラ
ンザクション、ＡｃｋＤａｔａトランザクションのいず
れか、または複数を受信する。受信したトランザクショ
ンに応じて、Ｄｉｒ制御部１３ｍは下記のようにリクエ
スト管理テーブル１８を制御する。

【００５４】（ａ）ＡｃｋＩトランザクションを受信し
た場合：ＡｃｋＩトランザクションはリード要求に応じ
て発行されたスヌープ要求のスヌープ結果であり、スヌ
ープ要求を受けたノードが要求されたデータをキャッシ
ュメモリに保持していないことを示す。このトランザク
ションにはＩＤと発行元情報が埋め込まれている。ＩＤ
にはこのスヌープ結果に対応するリード要求のリード・
トランザクションのＩＤが埋め込まれており、発行元情
報にはこのスヌープ結果を送信したノードのノード番号
が埋め込まれている。Ｄｉｒ制御部１３ｍはこのトラン
ザクションに埋め込まれたＩＤ情報から対応するリクエ
スト管理テーブル１８のエントリ番号を識別し、同エン
トリのＤｉｒ（７−０）の値を下記のように書き換え
る。すなわち、ＡｃｋＩトランザクションに埋め込まれ
た発行元情報から、対応するＤｉｒ（７−０）のビット
を０に設定する。たとえば、発行元情報が‘２’であっ
た場合、Ｄｉｒ（７−０）の２ビット目、すなわちＤｉ
ｒ（２）が０に設定される。

【００５５】（ｂ）ＡｃｋＳＨトランザクションを受信
した場合：ＡｃｋＳＨトランザクションはリード要求に
応じて発行されたスヌープ要求のスヌープ結果であり、
スヌープ要求を受けたノードが要求されたデータをキャ
ッシュメモリにステータスＳＨ（Ｓｈａｒｅｄ−Ｕｎｍ
ｏｄｉｆｉｅｄ）で保持していることを示す。このトラ
ンザクションにはＩＤと発行元情報が埋め込まれてい
る。ＩＤと発行元情報の意味はＡｃｋＩトランザクショ
ンと同様である。Ｄｉｒ制御部１３ｍはこのトランザク
ションに埋め込まれたＩＤ情報から対応するリクエスト
管理テーブル１８のエントリ番号を識別し、同エントリ
のＡｃｋ（７−０）の値を下記のように書き換える。す
なわち、ＡｃｋＳＨトランザクションに埋め込まれた発
行元情報から、対応するＡｃｋ（７−０）のビットを１
に設定する。たとえば、発行元情報が‘２’であった場
合、Ａｃｋ（７−０）の２ビット目、すなわちＡｃｋ
（２）が１に設定される。

【００５６】（ｃ）ＡｃｋＤａｔａトランザクションを
受信した場合：ＡｃｋＤａｔａトランザクションはリー
ド要求に応じて発行されたスヌープ要求のスヌープ結果
であり、スヌープ要求を受けたノードが要求されたデー
タをキャッシュメモリにステータスＭ（Ｅｘｃｌｕｓｉ
ｖｅ‐Ｍｏｄｉｆｉｅｄ）で保持していて、このデータ
をメインメモリに書き戻して、キャッシュメモリの当該
データのステータスをＩ（Ｉｎｖａｌｉｄ）に変更した
ことを示す。このトランザクションにはＩＤと発行元情
報と発行元ノードが保持していたステータスＭのデータ
が含まれている。ＩＤと発行元情報の意味はＡｃｋＩト
ランザクションと同様である。Ｄｉｒ制御部１３ｍはこ
のトランザクションに埋め込まれたＩＤ情報から対応す
るリクエスト管理テーブル１８のエントリ番号を識別
し、同エントリのＤｉｒ（７−０）の値を下記のように
書き換える。すなわち、ＡｃｋＤａｔａトランザクショ
ンに埋め込まれた発行元情報から、対応するＤｉｒ（７
−０）のビットを０に設定する。たとえば、発行元情報
が‘２’であった場合、Ｄｉｒ（７−０）の２ビット
目、すなわちＤｉｒ（２）が０に設定される。さらに、
同エントリのＤビットが１に設定される。

【００５７】上記に示されるリクエスト管理テーブル１
８操作の結果、リクエスト管理テーブル１８の有効なエ
ントリのうち、Ｄｉｒ（７−０）の値とＡｃｋ（７−
０）の値が等しくなったエントリが生じると、Ｄｉｒ制
御部１３ｍは当該エントリに対するリード要求がキャッ
シュ・コヒーレンシ一貫性制御を終えたものと判定し、
キャッシュ・メインメモリ制御部１２に対してリード要
求に対する応答を行う。リード要求に対する応答はパス
１２ｄ（ｓｔａｔ）、パス１２ｆ（ＩＤ）、パス１２ｅ
（ｄａｔａ）を介して行われる。パス１２ｆ（ＩＤ）に
は応答を行うリクエスト管理テーブル１８のエントリ番
号が送信される。

【００５８】１２ｅ（ｄａｔａ）にはＭバッファ１３
ｉ、Ｄバッファ１３ｊの保持するデータのうち、応答を
行うリクエスト管理テーブル１８のエントリに対応する
データで、セレクタ１３ｎで指示される一方のデータが
送信される。Ｄｉｒ制御部１３ｍはデータリターンを行
うリクエスト管理テーブル１８のエントリのＤビットに
応じて、Ｄビットが１ならＤバッファ１３ｊを、０なら
Ｍバッファ１３ｉを選択するようセレクタ１３ｎに指示
する。

【００５９】１２ｄ（ｓｔａｔ）にはリード要求に対す
るリード応答の種類が送信される。リード応答には下記
の６種類がある。

【００６０】（ａ）ＧＭＥ：パス１２ｅ（ｄａｔａ）に
有効なデータ値を送信し、かつ、このデータをＥ（Ｅｘ
ｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）でキャッシュ
メモリ１６に登録すべきであることを示す。 （ｂ）ＧＭＤ：パス１２ｅ（ｄａｔａ）に有効なデータ
値を送信し、かつ、このデータをＥ（Ｅｘｃｌｕｓｉｖ
ｅ−Ｕｎｍｏｄｉｆｉｅｄ）でキャッシュメモリ１６に
登録し、さらに、このデータを自ノードのメインメモリ
１７にライトする必要があることを示す。 （ｃ）ＧＭＳ：パス１２ｅ（ｄａｔａ）に有効なデータ
値を送信し、かつ、このデータをＳＨ（Ｓｈａｒｅｄ−
Ｕｎｍｏｄｉｆｉｅｄ）でキャッシュメモリ１６に登録
すべきであることを示す。 （ｄ）ＬＭＥ：パス１２ｅ（ｄａｔａ）には有効なデー
タ値を送信せず、メインメモリ１７から読み出したデー
タを使用すべきであり、かつ、そのデータをＥ（Ｅｘｃ
ｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）でキャッシュメ
モリ１６に登録すべきであることを示す。 （ｅ）ＬＭＳ：パス１２ｅ（ｄａｔａ）には有効なデー
タ値を送信せず、メインメモリ１７から読み出したデー
タを使用すべきであり、かつ、そのデータをＳＨ（Ｓｈ
ａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）でキャッシュメモリ
１６に登録すべきであることを示す。 （ｆ）ＲＴＹ：応答するリクエスト管理テーブル１８の
エントリに対応するリード処理が途中で中止されたた
め、プロセッサにこのリード処理の再実行を要求するこ
とを示す。

【００６１】図６で１２ｄ（ｓｔａｔ）に送信される信
号とその条件を示した。すなわち、リクエスト管理テー
ブル１８のエントリがＤｉｒ（７−０）＝００００００
００かつＨ（２−０）＝他ノードなら１２ｄ（ｓｔａ
ｔ）にはＧＭＥの信号が送信される。同様にＤｉｒ（７
−０）＝００００００００かつＨ（２−０）＝自ノード
かつＤ＝１ならＧＭＥ、Ｄｉｒ（７−０）＝０００００
０００かつＨ（２−０）＝自ノードかつＤ＝０ならＬＭ
Ｅ、Ｄｉｒ（７−０）≠００００００００かつＨ（２−
０）＝他ノードならＧＭＳ、Ｄｉｒ（７−０）≠０００
０００００かつＨ（２−０）＝自ノードならＬＭＳであ
る。例外として、パス１３ｐ（Ｒｔｙ）から当該エント
リに対するリトライ・トランザクション（後述）を受信
したとき、またはパス１４ｒ（Ｒｔｙ）から当該エント
リに対するリトライ指示の信号を受信したときは、Ｄｉ
ｒ（７−０）やＡｃｋ（７−０）の値に関わらず、直ち
にパス１２ｄ（ｓｔａｔ）にＲＴＹ信号が送信される。

【００６２】Ｄｉｒ制御部１３ｍはキャッシュ・メイン
メモリ制御部１２に対する応答を終えると、ディレクト
リ情報の送信を行う。ただし、応答がＲＴＹであったと
きに限りこの処理は行われない。ＲＴＹ以外であった場
合、リクエスト管理テーブル１８のエントリのフィール
ドＨ（２−０）に応じて、ディレクトリ情報の送信が行
われる。Ｈ（２−０）＝他ノードなら、１３ｄ（ＣＭ
Ｐ）を介して、後述するコンプリーション・トランザク
ションが送信される。コンプリーション・トランザクシ
ョンはリード処理の完了の通知とディレクトリ情報の更
新を指示するトランザクションで、リクエスト管理テー
ブル１８の同エントリのＡｄｒ（３９−０）とＤｉｒ
（７−０）の値が埋め込まれて送信される。ただし、こ
の際、Ｄｉｒ（７−０）のうち、自ノードに対応するビ
ットが１に書き換えられてから埋め込まれる。例えば、
Ｄｉｒ（７−０）＝００１００１００で、自ノードがＮ
Ｄ０であった場合、Ｄｉｒ（０）＝１、すなわち、Ｄｉ
ｒ（７−０）＝００１００１０１と書き換えられてか
ら、コンプリーション・トランザクションに埋め込まれ
る。Ｈ（２−０）＝自ノードなら、パス１３ｇ（ＣＭ
Ｐ）を介して、自ノードのディレクトリ制御部１４にＡ
ｄｒ（３９−０）とＤｉｒ（７−０）の値が送信され
て、ディレクトリの更新が指示される。ただし、このと
きもＤｉｒ（７−０）のうち、自ノードに対応するビッ
トが１に書き換えられてから送信される。

【００６３】ディレクトリ情報の送信が完了した、また
はＲＴＹの応答が１２ｄ（ｓｔａｔ）に送信されると、
Ｄｉｒ制御部１３ｍはリクエスト管理テーブル１８の当
該エントリのＶを０に設定して、当該エントリの登録を
抹消する。

【００６４】図７はディレクトリ制御部１４を説明する
概念図である。Ｌｒｅａｄ処理部１４ｉはリクエスト管
理テーブル処理部１３からパス１３ｅ（Ｌｒｄ）を介し
てリード要求を受信する。リード要求には要求されるデ
ータのアドレスが含まれており、Ｌｒｅａｄ処理部１４
ｉは後述するディレクトリ管理部１４ｑに要求されるデ
ータのアドレスを登録するよう指示する。

【００６５】このとき、ディレクトリ管理部１４ｑはＬ
ｒｅａｄ処理部１４ｉに登録の成功、または失敗の応答
を返す。登録が成功ならば、Ｌｒｅａｄ処理部１４ｉは
ディレクトリ１９から当該アドレスのデータに対応する
ディレクトリ情報を取得して、パス１３ｆ（ｄｉｒ）を
介して、キャッシュ・メインメモリ制御部１２にディレ
クトリ情報を送信する。さらに、Ｌｒｅａｄ処理部１４
ｉはこのディレクトリ情報を後述するＳＮＰ発行部１４
ｎに送信してスヌープ要求の処理を指示する。また、登
録失敗の応答を受けたときは、パス１４ｒ（Ｒｔｙ）を
介して、キャッシュ・メインメモリ制御部１２にリトラ
イ指示を送信する。

【００６６】Ｇｒｅａｄ処理部１４ｊはクロスバスイッ
チインタフェース１５からパス１４ａ（ｒｅａｄ）を介
して後述するリード・トランザクションを受信する。リ
ード・トランザクションには要求されるデータのアドレ
スが含まれており、Ｇｒｅａｄ処理部１４ｊは後述する
ディレクトリ管理部１４ｑに要求されるデータのアドレ
スを登録するよう指示する。このとき、ディレクトリ管
理部１４ｑはＧｒｅａｄ処理部１４ｊに登録の成功、ま
たは失敗の応答を返す。

【００６７】登録が成功ならば、Ｇｒｅａｄ処理部１４
ｊはディレクトリ１９から当該アドレスのデータに対応
するディレクトリ情報を取得して、後述するＤｒｅｔ発
行部１４ｍとＳＮＰ発行部１４ｎに送信する。これと同
時に、Ｇｒｅａｄ処理部１４ｊはパス１４ｅ（ＬＭＲ）
を介して、キャッシュ・メインメモリ制御部１２に当該
アドレスのデータをメインメモリから読み出すよう指示
する。登録が失敗なら、Ｇｒｅａｄ処理部１４ｊはパス
１４ｂ（Ｒｔｙ）を介して、後述するリトライ・トラン
ザクションをリード・トランザクション発行元のノード
へ送信する。

【００６８】Ｄｒｅｔ発行部１４ｍはパス３０ａで指定
される動作モードに従って、異なる動作を行う。 （ａ）パス３０ａが指定する動作モードが転送優先モー
ドであった場合：Ｄｒｅｔ発行部１４ｍはＧｒｅａｄ処
理部１４ｊが取得したディレクトリ情報、および１４ｅ
（ＬＭＲ）を介してＧｒｅａｄ処理部１４ｊが指示した
メインメモリ読み出しの戻り値をパス１４ｆ（ＬＭＤ）
から受けると、パス１４ｂ（Ｄｒｅｔ）を介して、後述
するデータリターン・トランザクションを送信する。デ
ータリターン・トランザクションはメインメモリから読
み出したデータと、そのデータに対応するディレクトリ
情報が埋め込まれており、リード・トランザクション発
行元のノードへと送信される。

【００６９】（ｂ）パス３０ａがする動作モードがスル
ープット優先モードであった場合：Ｄｒｅｔ発行部１４
ｍはＧｒｅａｄ処理部１４ｊが取得したディレクトリ情
報を受けると、このディレクトリ情報に対応するデータ
のコピーを取得したノードの数を算出する。ただし、こ
のデータを要求したノードは数に含めない。

【００７０】（ｂ−１）データのコピーを取得したノー
ドが無かったか、または複数であった場合は、転送優先
モードと同様の動作を行う。すなわち、パス１４ｅ（Ｌ
ＭＲ）を介してＧｒｅａｄ処理部１４ｊが指示したメイ
ンメモリ読み出しの戻り値をパス１４ｆ（ＬＭＤ）から
受けて、パス１４ｂ（Ｄｒｅｔ）を介して、データリタ
ーン・トランザクションをリード・トランザクションの
発行元ノードへと送信する。

【００７１】（ｂ−２）一方、データのコピーを取得し
たノードが一つであった場合は、以下の動作を行う。Ｄ
ｒｅｔ発行部１４ｍはパス１４ｅ（ＬＭＲ）を介してＧ
ｒｅａｄ処理部１４ｊが指示したメインメモリ読み出し
の戻り値をパス１４ｆ（ＬＭＤ）から受けると、これを
Ｄｒｅｔ発行部１４ｍ内のバッファに保持する。その
後、パス１３ｃ（Ａｃｋ）から後述するＡｃｋＩトラン
ザクションかＡｃｋＳＨトランザクションを受信する
か、またはパス１５ｃ（ＭＷ）から後述するメモリライ
ト・トランザクションを受信するか、またはパス１４ｇ
（ＳＮＰ）からスヌープ結果を受信するのを待つ。Ｄｒ
ｅｔ発行部１４ｍは受信した信号に応じて、下記の動作
を行う。

【００７２】（ｂ−２−１）パス１３ｃ（Ａｃｋ）から
ＡｃｋＩトランザクションを受信した、またはパス１４
ｇ（ＳＮＰ）からスヌープ結果‘Ｉ’の信号を受信した
場合：バッファに保持していたメインメモリのデータを
データリターン・トランザクションに埋め込んで、リー
ド・トランザクションの発行元ノードへと送信する。同
時に、ディレクトリ情報として‘００００００００’を
埋め込む。

【００７３】（ｂ−２−２）パス１３ｃ（Ａｃｋ）から
ＡｃｋＳＨトランザクションを受信した、またはパス１
４ｇ（ＳＮＰ）からスヌープ結果‘ＳＨ’の信号を受信
した場合：バッファに保持していたメインメモリのデー
タをデータリターン・トランザクションに埋め込んで、
リード・トランザクションの発行元ノードへと送信す
る。データリターン・トランザクションに埋め込むディ
レクトリ情報はディレクトリ１９から読み出した値を使
用する。

【００７４】（ｂ−２−３）パス１５ｃ（ＭＷ）からメ
モリライト・トランザクションを受信した、またはパス
１４ｇ（ＳＮＰ）からスヌープ結果‘Ｍ’の信号とデー
タを受信した場合：メモリライト・トランザクションに
埋め込まれていたデータ、またはパス１４ｇ（ＳＮＰ）
から受信したデータをデータ・リターン・トランザクシ
ョンに埋め込んで、リード・トランザクションの発行元
ノードへと送信する。同時に、ディレクトリ情報として
‘００００００００’を埋め込む。

【００７５】ＳＮＰ発行部１４ｎはＬｒｅａｄ処理部１
４ｉ、またはＧｒｅａｄ処理部１４ｊからディレクトリ
情報を受けて、スヌープ要求の発行を行う。ディレクト
リ情報から、リード要求で要求されたデータのコピーを
所有していると推測されるノードを判定し、パス１４ｃ
（ＳＮＰ）を介して、当該ノードに後述するスヌープ・
トランザクションを発行する。ただし、リード要求元の
ノードに対してはスヌープ要求は送信されないよう制御
される。

【００７６】複数のノードがコピーを所有していると判
定された場合は順次、各々のノードに向けてスヌープ・
トランザクションが発行される。ただし、自ノードのキ
ャッシュメモリにスヌープ要求を行う場合には、パス１
４ｇ（ＳＮＰ）を介して、キャッシュ・メインメモリ制
御部１２にスヌープ要求を送信する。この場合も、自ノ
ードのプロセッサがリード要求元であった場合、自ノー
ドのキャッシュメモリにはスヌープ要求は送信されな
い。また、いずれのノードもリード要求で要求されたデ
ータのコピーを所有していないと判断された場合は、ス
ヌープ・トランザクションも、スヌープ要求も発行され
ない。

【００７７】上記パス１４ｃ（ＳＮＰ）を介して送信さ
れるスヌープ・トランザクション、またはパス１４ｇ
（ＳＮＰ）を介して送信されるスヌープ要求に埋め込ま
れる一部の情報は、パス３０ａで指定される動作モード
に従って異なる。

【００７８】（ａ）パス３０ａが指定する動作モードが
転送優先モードであった場合：スヌープ結果の戻り先情
報として、リード要求元のノードが指定される。 （ｂ）パス３０ａが指定する動作モードがスループット
優先モードであった場合：スヌープ結果の戻り先情報と
して、スヌープ要求を発行したノードが指定される。

【００７９】ディレクトリ更新部１４ｐはパス１３ｇ
（ＣＭＰ）を介してリクエスト管理テーブル制御部１３
からディレクトリの更新を指示された場合と、パス１４
ｄ（ＣＭＰ）を介して後述するコンプリーション・トラ
ンザクションを受信したとき動作する。パス１３ｇ（Ｃ
ＭＰ）から送信されるディレクトリ更新の指示も、パス
１４ｄ（ＣＭＰ）から送信されるコンプリーション・ト
ランザクションも、更新するディレクトリ情報とそのア
ドレスを含んでいる。ディレクトリ更新部１４ｐはディ
レクトリ１９の対応するアドレスのディレクトリ情報を
受信したディレクトリ情報に書き換える。そして、後述
するディレクトリ管理部１４ｑにアドレスを送って、登
録の抹消を指示する。

【００８０】ディレクトリ管理部１４ｑはアドレス値を
保持するためのレジスタとアドレス値が有効であること
を示すバリッドビットのレジスタを複数エントリと、そ
れらの制御論理を有している。本実施の形態では１６エ
ントリのアドレス値を保持できるものとする。ディレク
トリ管理部１４ｑはＬｒｅａｄ処理部１４ｉまたはＧｒ
ｅａｄ処理部１４ｊからアドレスの登録要求を受ける。
このとき、ディレクトリ管理部１４ｑは有効なアドレス
値を保持するエントリを検索して、同一メモリブロック
に対するアドレスが既に登録されていないかどうかをチ
ェックする。

【００８１】要求されるアドレスと同一メモリブロック
に対応するアドレスが既に登録されていたならば、ディ
レクトリ管理部１４ｑはアドレスの登録要求に対して、
登録失敗の応答を返す。要求されるアドレスと同一メモ
リブロックに対応するアドレス登録されていなかったな
ら、ディレクトリ管理部１４ｑは空きエントリに要求さ
れたアドレスを登録して、登録成功の応答を返す。ただ
しこの時、空きエントリがなかったなら、登録失敗の応
答を返すものとする。また、ディレクトリ管理部１４ｑ
はディレクトリ更新部１４ｐからアドレス値登録抹消の
指示を受けると、エントリを検索し、指示されたアドレ
スに対応するエントリのバリッドビットに無効を示す値
を設定して、アドレス登録の抹消を行う。

【００８２】図８はクロスバスイッチインタフェース１
５を説明する概念図である。クロスバスイッチインタフ
ェース１５はパス１５ｂを介して、後述する各種トラン
ザクションを相互結合網２０から受信し、キュー１５ｄ
を介して、ノード内の各制御部にトランザクションを配
信する。また、ノード内の各制御部からトランザクショ
ンを受信して、これをキュー１５ｅとパス１５ａを介し
て相互結合網２０に送信する。

【００８３】受信部１５ｈはキュー１５ｄからトランザ
クションを取り出して、スヌープ・トランザクションは
１２ａ（ＳＮＰ）へ、データリターン・トランザクショ
ンは１３ｂ（Ｄｒｅｔ）へ、リード・トランザクション
は１４ａ（ｒｅａｄ）へ、コンプリーション・トランザ
クションは１４ｄ（ＣＭＰ）へ送信する。ＡｃｋＩ、Ａ
ｃｋＳＨ、ＡｃｋＤａｔａの三種のトランザクションは
１３ｃ（Ａｃｋ）、後述するメモリライト・トランザク
ションは１５ｃ（ＭＷ）へ送信する。

【００８４】送信部１５ｉは、キュー１５ｅを介して、
１２ｂ（Ａｃｋ）、１３ａ（ｒｅａｄ）、１３ｄ（ＣＭ
Ｐ）、１４ｂ（Ｄｒｅｔ）、１４ｃ（ＳＮＰ）、および
ＡｃｋＤａｔａ転送部１５ｇから受けたトランザクショ
ンを相互結合網２０に送信する。

【００８５】図２におけるキャッシュ・メインメモリ制
御部１２は下記のように動作する。プロセッサ１１から
リード要求を受けると、キャッシュ・メインメモリ制御
部１２はキャッシュメモリ１６を検索する。キャッシュ
メモリ１６内に要求されたデータが登録されていたら、
当該データをプロセッサに返して、リード処理を完了す
る。キャッシュメモリ１６内に要求されたデータが登録
されていなかったなら、キャッシュ・メインメモリ制御
部１２はパス１２ｃ（ｒｅａｄ）を介してリクエスト管
理テーブル制御部１３にリード要求を発行する。

【００８６】リード要求の応答は１２ｄ（ｓｔａｔ）、
１２ｅ（ｄａｔａ）、１２ｆ（ＩＤ）を介して返され
る。１２ｄ（ｓｔａｔ）の応答がＧＭＥまたはＧＭＤま
たはＧＭＳであった場合、キャッシュ・メインメモリ制
御部は１２ｅ（ｄａｔａ）から受信したデータを指定さ
れたステータス（応答がＧＭＥまたはＧＭＤならＥｘｃ
ｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ、ＧＭＳならＳｈ
ａｒｅｄ−Ｕｎｍｏｄｅｘｉｆｉｅｄ）でキャッシュメ
モリに登録し、このデータをプロセッサ１１に供給す
る。ＧＭＤのときはさらに、このデータをメインメモリ
１７にライトする。

【００８７】１２ｄ（ｓｔａｔ）の応答がＬＭＥまたは
ＬＭＳであった場合、メインメモリ１７からデータを読
み込んで、これをキャッシュメモリ１６に指定されたス
テータス（応答がＬＭＥならＥｘｃｌｕｓｉｖｅ−Ｕｎ
ｍｏｄｉｆｉｅｄ、ＬＭＳならＳｈａｒｅｄ−Ｕｎｍｏ
ｄｅｘｉｆｉｅｄ）でキャッシュメモリに登録し、この
データをプロセッサ１１に供給する。１２ｄ（ｓｔａ
ｔ）の応答がＲＴＹであった場合、プロセッサ１１にリ
ード要求の再実行を要求して、リード処理を完了する。

【００８８】キャッシュ・メインメモリ制御部１２はパ
ス１４ｅ（ＬＭＲ）からメインメモリのリード要求を受
けると、要求されたアドレスのデータをメインメモリ１
７から読み出して、パス１４ｆ（ＬＭＤ）に送信する。
また、キャッシュ・メインメモリ制御部１２はパス１５
ｃ（ＭＷ）から後述するデータライト・トランザクショ
ンを受信すると、トランザクションに埋め込まれたアド
レスをライトアドレスとして、トランザクションに付随
するデータをメインメモリ１７にライトする。

【００８９】キャッシュ・メインメモリ制御部１２はパ
ス１２ａ（ＳＮＰ）から後述するスヌープ・トランザク
ションを受信するか、またはパス１４ｇ（ＳＮＰ）から
スヌープ要求を受けると、スヌープ・トランザクショ
ン、またはスヌープ要求に埋め込まれたアドレスに対応
するデータのコピーがキャッシュメモリ１６に登録され
ているかを検索する。

【００９０】（ａ）有効なデータのコピーが登録されて
いなかった場合：スヌープ・トランザクション、または
スヌープ要求に埋め込まれた戻り先情報のノードへ、パ
ス１２ｂを介してＡｃｋＩトランザクションのスヌープ
結果を送信する。ただし、戻り先のノードが自ノードに
等しかった場合はＡｃｋＩトランザクションの発行は行
わず、パス１４ｇ（ＳＮＰ）を介してスヌープ結果
‘Ｉ’の信号をディレクトリ制御部１４に送信する。

【００９１】（ｂ）ステータスＥ（Ｅｘｃｌｕｓｉｖｅ
−Ｕｎｍｏｄｉｆｉｅｄ）で登録されていた場合：ま
ず、このキャッシュメモリ上のデータのステータスをＳ
Ｈ（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）に更新す
る。その後、スヌープ・トランザクション、またはスヌ
ープ要求に埋め込まれた戻り先情報のノードへ、パス１
２ｂを介してＡｃｋＳＨトランザクションのスヌープ結
果を送信する。ただし、戻り先のノードが自ノードに等
しかった場合はＡｃｋＳＨトランザクションの発行は行
わず、パス１４ｇ（ＳＮＰ）を介してスヌープ結果‘Ｓ
Ｈ’の信号をディレクトリ制御部１４に送信する。

【００９２】（ｃ）ステータスＳＨ（Ｓｈａｒｅｄ−Ｕ
ｎｍｏｄｉｆｉｅｄ）で登録されていた場合：スヌープ
トランザクション、またはスヌープ要求に埋め込まれた
戻り先情報のノードへ、パス１２ｂを介してＡｃｋＳＨ
トランザクションのスヌープ結果を送信する。ただし、
戻り先のノードが自ノードに等しかった場合はＡｃｋＳ
Ｈトランザクションの発行は行わず、パス１４ｇ（ＳＮ
Ｐ）を介してスヌープ結果‘ＳＨ’の信号をディレクト
リ制御部１４に送信する。

【００９３】（ｄ）ステータスＭ（Ｅｘｃｌｕｓｉｖｅ
−Ｍｏｄｉｆｉｅｄ）で登録されていたなら、データの
要求元ノードとデータのホームノードとスヌープ結果の
戻り先情報に応じて、下記の動作を行う。 （ｄ−１）データの要求元ノードとデータのホームノー
ドが異なり、かつスヌープ結果の戻り先としてデータの
要求元ノードが指定されていた場合：まず、このステー
タスＭで登録されているデータを埋め込んだＡｃｋＤａ
ｔａトランザクションをパス１２ｂ（Ａｃｋ）に発行す
る。ＡｃｋＤａｔａトランザクションの行き先は戻り先
情報で指定されたノードが指定される。続いて、同デー
タを埋め込んだメモリライト・トランザクションをパス
１５ｊ（ＭＷ）に送信する。メモリライト・トランザク
ションの行き先はデータのホームノードが指定される。
ただし、ホームノードが自ノードに等しかった場合は、
このメモリライト・トランザクションは発行されず、キ
ャッシュ・メインメモリ制御部１２が自ノードのメイン
メモリ１７に同データのメモリライトを行う。最後に、
このキャッシュメモリ上のデータのステータスをＭから
Ｉ（Ｉｎｖａｌｉｄ）に更新する。

【００９４】（ｄ−２）データの要求元ノードとデータ
のホームノードが異なり、かつスヌープ結果の戻り先と
してデータのホームノードが指定されていた場合：この
ステータスＭで登録されているデータを埋め込んだメモ
リライト・トランザクションをパス１５ｊ（ＭＷ）に送
信する。メモリライト・トランザクションの行き先はデ
ータのホームノードが指定される。ただし、ホームノー
ドが自ノードに等しかった場合は、このメモリライト・
トランザクションは発行されず、キャッシュ・メインメ
モリ制御部１２が自ノードのメインメモリ１７に同デー
タのメモリライトを行った上、パス１４ｇ（ＳＮＰ）を
介してディレクトリ制御部１４へスヌープ結果‘Ｍ’
と、同データを送信する。最後に、このキャッシュメモ
リ上のデータのステータスをＭからＩ（Ｉｎｖａｌｉ
ｄ）に更新する。

【００９５】（ｄ−３）データの要求元ノードとデータ
のホームノードが等しかった場合：このステータスＭで
登録されているデータを埋め込んだＡｃｋＤａｔａトラ
ンザクションをパス１２ｂ（Ａｃｋ）に発行する。Ａｃ
ｋＤａｔａトランザクションの行き先は戻り先情報で指
定されたノードが指定される。最後に、このキャッシュ
メモリ上のデータのステータスをＭからＩ（Ｉｎｖａｌ
ｉｄ）に更新する。

【００９６】次に、本実施の形態で使用されるトランザ
クションのタイプを図９と図１０を参照して説明する。

【００９７】図９の（ａ）は、リード要求元のノードか
ら、要求されるデータのホームノードに送信されるリー
ド・トランザクションを示している。８ビット幅のタイ
プフィールドには、本トランザクションがリード・トラ
ンザクションであることを示すビットパターンが設定さ
れる。

【００９８】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドにはこのリード・トランザクションの発行元ノード
のノード番号が設定される。次の３ビットのホームフィ
ールドにはリード要求の要求するデータのホームノード
の番号が記されている。次の３ビットは未使用である。
次の４ビットのＩＤフィールドにはリード要求が登録さ
れたリクエスト管理テーブル１８のエントリ番号が設定
される。次の４０ビットのアドレスフィールドにはリー
ド要求のアドレスが設定される。

【００９９】図９の（ｂ）は、リード・トランザクショ
ンの要求するデータのホームノードがリード要求元のノ
ードにメインメモリのデータとディレクトリ情報を転送
するためのデータリターン・トランザクションを示して
いる。８ビット幅のタイプフィールドには、本トランザ
クションがデータリターン・トランザクションであるこ
とを示すビットパターンが設定される。

【０１００】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドとその次の３ビットのホームフィールドには、この
トランザクションに対応するリード・トランザクション
の要求元フィールドとホームフィールドに設定されてい
た値と同じものが設定される。

【０１０１】次の３ビットは未使用である。次の４ビッ
トのＩＤフィールドにはこのトランザクションに対応す
るリード・トランザクションのＩＤフィールドに設定さ
れていた値と同じものが設定される。次の８ビットのＤ
ＩＲフィールドにはディレクトリ情報が設定される。残
りの３２ビットは未使用である。サイクル２以降にメイ
ンメモリから読み出したデータが設定される。本実施の
形態では６４バイトのデータを６４ビットずつ、８サイ
クルにわたって転送する。

【０１０２】図９の（ｃ）は、リード要求の要求するデ
ータのホームノードがディレクトリ情報に応じて、キャ
ッシュ・コヒーレンシ一貫性制御の要求（スヌープ要
求）を行うスヌープ・トランザクションを示している。
８ビット幅のタイプフィールドには、本トランザクショ
ンがスヌープ・トランザクションであることを示すビッ
トパターンが設定される。

【０１０３】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドにはリード要求元ノードの番号が設定され、その次
の３ビットのホームフィールドにはリード要求の要求す
るデータのホームノードのノード番号が設定される。

【０１０４】次の３ビットの戻り先フィールドには、キ
ャッシュ・コヒーレンシ一貫性制御の結果であるスヌー
プ結果をいずれのノードに送信すべきかを示す戻り先情
報が設定される。次の４ビットのＩＤフィールドには、
リード要求の要求元ノードがこのリード要求をリクエス
ト管理テーブル１８に登録したときのエントリ番号が設
定される。他ノードから受信したリード・トランザクシ
ョンを受けて発行されたスヌープ・トランザクションで
あった場合、このリード・トランザクションのＩＤフィ
ールドに設定されていた値と同じものが設定される。次
の４０ビットのアドレスフィールドにはキャッシュ・コ
ヒーレンシ一貫性制御の対象データのアドレスが設定さ
れる。

【０１０５】図９の（ｄ）は、スヌープ・トランザクシ
ョンを受けたノードが自ノードのキャッシュメモリを検
索した結果、自ノード内のキャッシュメモリに要求され
たデータが格納されていなかったときにキャッシュ・コ
ヒーレンシ一貫性制御の結果（スヌープ結果）として発
行するＡｃｋＩトランザクションを示している。８ビッ
ト幅のタイプフィールドには、本トランザクションがＡ
ｃｋＩトランザクションであることを示すビットパター
ンが設定される。

【０１０６】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドとその次の３ビットのホームフィールドには、この
トランザクションに対応するスヌープ・トランザクショ
ンの要求元フィールドとホームフィールドに設定されて
いた値と同じものが設定される。

【０１０７】次の３ビットの発行元フィールドにはこの
トランザクションを発行したノードのノード番号が設定
される。次の４ビットのＩＤフィールドと４０ビットの
アドレスフィールドにはこのトランザクションに対応す
るスヌープ・トランザクションのＩＤフィールドとアド
レスフィールドに設定されていた値と同じものが設定さ
れる。

【０１０８】図９の（ｅ）は、スヌープ・トランザクシ
ョンを受けたノードが自ノードのキャッシュメモリを検
索した結果、自ノード内のキャッシュメモリに要求され
たデータがステータスＳＨ（Ｓｈａｒｅｄ−Ｕｎｍｏｄ
ｉｆｉｅｄ）で格納されていたとき、またはステータス
Ｅ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）で格
納されていて、これをステータスＳＨに書き換えたとき
にスヌープ結果として発行するＡｃｋＳＨトランザクシ
ョンを示している。

【０１０９】８ビット幅のタイプフィールドには、本ト
ランザクションがＡｃｋＳＨトランザクションであるこ
とを示すビットパターンが設定される。次のに続く５６
ビットのフィールドにはＡｃｋＩトランザクションと同
様の値が設定される。

【０１１０】図１０の（ｆ）は、スヌープ・トランザク
ションを受けたノードが自ノードのキャッシュメモリを
検索した結果、自ノード内のキャッシュメモリに要求さ
れたデータがＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉｆｉｅ
ｄ）で格納されていて、これをメインメモリに書き戻し
て、キャッシュ状態をＩ（Ｉｎｖａｌｉｄ）に書き換え
るときにスヌープ結果として発行するＡｃｋＤａｔａト
ランザクションを示している。

【０１１１】８ビット幅のタイプフィールドには、本ト
ランザクションがＡｃｋＤａｔａトランザクションであ
ることを示すビットパターンが設定される。次のに続く
５６ビットのフィールドにはＡｃｋＩトランザクション
と同様の値が設定される。サイクル２以降にはメインメ
モリに書き戻すデータが設定される。本実施の形態では
６４バイトのデータを６４ビットずつ、８サイクルにわ
たって転送する。

【０１１２】図１０の（ｇ）は、リード処理の完了時
に、リードしたデータのホームノードのディレクトリ情
報更新のために送信されるコンプリーション・トランザ
クションを示している。８ビット幅のタイプフィールド
には、本トランザクションがコンプリーション・トラン
ザクションであることを示すビットパターンが設定され
る。

【０１１３】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドにはこのトランザクションを発行したノードのノー
ド番号が設定される。次の２ビットは未使用である。次
の８ビットのＤＩＲフィールドには新しいディレクトリ
情報が設定される。残りの４０ビットにはこのディレク
トリ情報に対応するデータのアドレスが設定される。

【０１１４】図１０の（ｈ）は、リード・トランザクシ
ョンを受けたノードがこのリード処理の中止と再実行を
要求するために発行するリトライ・トランザクションを
示している。８ビット幅のタイプフィールドには、本ト
ランザクションがリトライ・トランザクションであるこ
とを示すビットパターンが設定される。

【０１１５】次の３ビットの行き先フィールドには、こ
のトランザクションが送信されるべき行き先のノードの
ノード番号が設定される。次の３ビットの要求元フィー
ルドとその次の３ビットのホームフィールドには、この
トランザクションに対応するリード・トランザクション
の要求元フィールドとホームフィールドに設定されてい
た値と同じものが設定される。

【０１１６】次の３ビットには未使用である。次の４ビ
ットのＩＤフィールドと４０ビットのアドレスフィール
ドにはこのトランザクションに対応するリード・トラン
ザクションのＩＤフィールドとアドレスフィールドに設
定されていた値と同じものが設定される。

【０１１７】図１０の（ｉ）は、キャッシュメモリが保
持する更新された最新データをメインメモリに書き戻す
ために発行されるメモリライト・トランザクションを示
している。８ビット幅のタイプフィールドには、本トラ
ンザクションがメモリライト・トランザクションである
ことを示すビットパターンが設定される。次の３ビット
の行き先フィールドには、このトランザクションが送信
されるべき行き先のノードのノード番号が設定される。

【０１１８】次の３ビットには未使用である。次の３ビ
ットのホームフィールドには書き戻されるデータのホー
ムノードの番号が記されている。次の３ビットの発行元
フィールドにはこのトランザクションを発行したノード
のノード番号が設定される。次の４ビットは未使用であ
る。次の４０ビットのアドレスフィールドには書き戻さ
れるデータのアドレスが設定される。サイクル２以降に
はメインメモリに書き戻すデータが設定される。本実施
の形態では６４バイトのデータを６４ビットずつ、８サ
イクルにわたって転送する。

【０１１９】ノード間の情報の授受は、基本的には、図
９、図１０に例示される６４ビット幅のデータ単位（ト
ランザクション）を相互結合網（２０）の動作サイクル
単位に時系列的に、相互結合網（２０）に送り出し、あ
るいは、相互結合網（２０）から受け取ることによって
行われる。

【０１２０】以下、図１１と図１２、図１３のタイミン
グチャートを参照して、本実施の形態のマルチプロセッ
サシステムおよびトランザクション制御の作用の一例を
説明する。なお、図１１と図１２、図１３において、縦
方向には、動作に関係する各ノードまたはノード内の構
成要素が配置され、横方向は各ノードの動作の時間軸を
示す。

【０１２１】図１１はＮＤ０のプロセッサが自ノードの
メインメモリ上のデータを取得するときのタイミングチ
ャートである。ただし、システムのいずれのキャッシュ
メモリも、当該データのコピーを保持していないものと
する。また、メモリライト設定手段３０には転送優先モ
ードが設定されているものとする。

【０１２２】ＮＤ０のプロセッサ１１がキャッシュ・メ
インメモリ制御部１２にリード要求を発行する。キャッ
シュ・メインメモリ制御部１２はキャッシュメモリ１６
を検索した結果、このリード要求の要求するデータがキ
ャッシュメモリ内に登録されていなかったとする（キャ
ッシュミス）。キャッシュ・メインメモリ制御部１２は
リクエスト管理テーブル制御部１３にリード要求を発行
する。

【０１２３】リード要求を受信したリクエスト管理テー
ブル制御部１３のリード発行部１３ｈは、リクエスト管
理テーブル１８のエントリにリード要求を登録する。当
該エントリのフィールドは、それぞれ、Ｖ＝１、Ａｄｒ
（３９−０）＝要求されたアドレス、Ｈ（２−０）＝
０、ＤＶ＝０、Ｄｉｒ（７−０）＝１１１１１１１０、
Ａｃｋ（７−０）＝００００００００、Ｄ＝０と設定さ
れる。要求されたデータがＮＤ０のメインメモリ上のデ
ータであるので、リード発行部１３ｈはディレクトリ制
御部１４にリード要求を送る。

【０１２４】リード要求を受けたディレクトリ制御部１
４のＬｒｅａｄ処理部１４ｉは、要求されたアドレスを
ディレクトリ管理部１４ｑに登録し、ディレクトリ１９
から当該アドレスのディレクトリ情報を取得する。この
とき、ディレクトリ情報が‘００００００００’、すな
わち、いずれのノードのキャッシュもデータのコピーを
有していない状態であったとする。Ｌｒｅａｄ処理部１
４ｉはこのディレクトリ情報をリクエスト管理テーブル
処理部１３に送信する。ＳＮＰ発行部１４ｎは、スヌー
プ要求もスヌープ・トランザクションも発行しない。

【０１２５】ディレクトリ情報を受けたリクエスト管理
テーブル処理部１３のＤｉｒ登録部１３ｋは、受信した
ディレクトリ情報とリクエスト管理テーブル１８の当該
エントリのＤｉｒ（７−０）のＡＮＤ演算を計算し、リ
クエスト管理テーブル１８に書き戻す。受信したディレ
クトリ情報は‘００００００００’であったので、Ｄｉ
ｒ（７−０）＝００００００００となる。Ｄｉｒ（７−
０）＝Ａｃｋ（７−０）となったので、Ｄｉｒ制御部１
３ｍはキャッシュ・メインメモリ制御部１２に対して、
リード要求の応答を行う。リクエスト管理テーブル１８
の当該エントリがＤｉｒ（７−０）＝０００００００
０、Ｈ（２−０）＝０（自ノード）、Ｄ＝０であるの
で、図６に従い、リード応答としてＬＭＥの信号（メイ
ンメモリからデータを読み出して、キャッシュメモリに
ステータスＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉ
ｅｄ）で登録するよう指示する信号）がリード要求の応
答としてキャッシュ・メインメモリ制御部１２に送られ
る。

【０１２６】ＬＭＥの応答を受信したキャッシュ・メイ
ンメモリ制御部１２はメインメモリ１７のデータを読み
出して、ステータスＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏ
ｄｉｆｉｅｄ）でこのデータをキャッシュメモリ１６に
登録し、同データをプロセッサ１１に供給する。

【０１２７】Ｄｉｒ制御部１３ｍはリクエスト管理テー
ブル１８の当該エントリのＡｄｒ（３９−０）とＤｉｒ
（７−０）をアドレス、ディレクトリ情報としてディレ
クトリ制御部１４に送信して、ディレクトリの更新を指
示する。ただし、Ｄｉｒ（７−０）のうち、自ノードに
対応するビットは１に設定されてから送信されるため、
ディレクトリ情報の値として、０００００００１が送信
される。

【０１２８】ディレクトリ制御部１４のディレクトリ更
新部１４ｐは、指定されたアドレスとディレクトリ情報
でディレクトリ１９を更新し、ディレクトリ管理部１４
ｑのアドレス登録を抹消して、処理を完了する。

【０１２９】次に、ＮＤ０のプロセッサがＮＤ１のメイ
ンメモリ上のデータを取得するときの処理を説明する。
ただし、同データのコピーをＮＤ２のキャッシュメモリ
がステータスＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆ
ｉｅｄ）で所有していたとする。また、メモリライト設
定手段３０には転送優先モードが設定されていたとす
る。まず、図１２のタイミングチャートで、この処理に
よってノード間でやりとりされるトランザクションの流
れを説明する。その後、各ノード内で行われる動作の詳
細を説明する。

【０１３０】図１２には、各ノード内で実行される動作
の概略と、ノード間でやりとりされるトランザクション
のみが記されている。まず、ＮＤ０内のプロセッサがＮ
Ｄ１のメインメモリ上のデータを要求し、ＮＤ０内のキ
ャッシュメモリでキャッシュミスを起こしたとする。す
ると、ＮＤ０からＮＤ１へリード・トランザクションが
発行される。

【０１３１】ＮＤ１はリード・トランザクションを受信
すると、要求されたデータをメインメモリから読み出
し、また、データのディレクトリ情報をディレクトリか
ら読み出す。そして、データとディレクトリ情報をデー
タリターン・トランザクションとして、ＮＤ０に送信す
る。ＮＤ１はまた、ディレクトリ情報によってＮＤ２の
キャッシュメモリが要求されたデータのコピーを保持し
ていることを判定し、要求されたデータのアドレスに対
するスヌープ・トランザクションをＮＤ２に送信する。
メモリライト設定手段３０には転送優先モードが設定さ
れているとしているので、スヌープ・トランザクション
の戻り先フィールドにはデータの要求元であるＮＤ０の
ノード番号、‘０’が埋め込まれている。

【０１３２】スヌープ・トランザクションを受信したＮ
Ｄ２は、自ノード内のキャッシュメモリを検索する。こ
こで、ＮＤ２はスヌープ・トランザクションで指定され
たアドレスのデータをＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍ
ｏｄｉｆｉｅｄ）でキャッシュメモリに保持していたと
する。ＮＤ２はこのキャッシュメモリ上のデータのステ
ータスをＳＨ（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）
に変更し、スヌープ結果としてＡｃｋＳＨトランザクシ
ョンを送信する。ＡｃｋＳＨトランザクションの行き先
は対応するスヌープ・トランザクションの戻り先フィー
ルドで指定されたノードとなるため、ＮＤ０となる。

【０１３３】ＮＤ０は、ＮＤ１からデータリターン・ト
ランザクションを受信し、ＮＤ２からＡｃｋＳＨトラン
ザクションを受信する。この結果、ＮＤ０はデータリタ
ーン・トランザクションに埋め込まれていたＮＤ１のメ
インメモリのデータをステータスＳＨ（Ｓｈａｒｅｄ−
Ｕｎｍｏｄｉｆｉｅｄ）で自ノードのキャッシュメモリ
に登録し、同データをプロセッサに供給する。ＮＤ０は
また、データリターン・トランザクションに埋め込まれ
ているディレクトリ情報を更新し、この更新された新し
いディレクトリ情報をコンプリーション・トランザクシ
ョンに埋め込んで、データのホームノードのＮＤ１に送
信する。コンプリーション・トランザクションを受信し
たＮＤ１は更新された新しいディレクトリ情報でディレ
クトリを更新し、処理を終了させる。

【０１３４】図１２で示される処理の間、図２、図４、
図５、図６、図７、図８で示されるノード内の要素が行
う動作の詳細を以下に示す。

【０１３５】ＮＤ０のプロセッサ１１がキャッシュ・メ
インメモリ制御部１２に、ＮＤ１をホームノードとする
データに対するリード要求を発行する。キャッシュ・メ
インメモリ制御部１２はキャッシュミスを起こし、リク
エスト管理テーブル処理部１３にリード要求を発行す
る。

【０１３６】リクエスト管理テーブル処理部１３のリー
ド発行部１３ｈはリクエスト管理テーブル１８のエント
リにリード要求を登録する。リクエスト管理テーブル１
８の当該エントリのフィールドはそれぞれ、Ｖ＝１、Ａ
ｄｒ（３９−０）＝要求されたデータのアドレス、Ｈ
（２−０）＝１、ＤＶ＝０、Ｄｉｒ（７−０）＝１１１
１１１１０、Ａｃｋ（７−０）＝００００００００、Ｄ
＝０と設定される。リード発行部１３ｈは要求されたデ
ータのアドレスから、当該データのホームノードがＮＤ
１、すなわち他ノードのメインメモリ上のデータである
ことを判定してクロスバスイッチインタフェース１５、
相互結合網２０を介して、ＮＤ１にリード・トランザク
ション（ｒｅａｄ）を送信する。

【０１３７】ＮＤ１に送信されたリード・トランザクシ
ョンはディレクトリ制御部１４のＧｒｅａｄ処理部１４
ｊに送られる。Ｇｒｅａｄ処理部１４ｊは当該アドレス
をディレクトリ管理部１４ｑに登録し、ディレクトリ１
９から当該アドレスのディレクトリ情報を取得する。デ
ィレクトリ情報の値は‘０００００１００’、すなわ
ち、ＮＤ２がデータのコピーを取得していることを示す
内容であったとする。

【０１３８】また、キャッシュ・メインメモリ制御部１
２から、当該アドレスのメインメモリのデータを取得す
る。ディレクトリ情報とメインメモリのデータからデー
タリターン・トランザクション（Ｄｒｅｔ）が生成さ
れ、Ｄｒｅｔ発行部１４ｍから発行される。行き先はリ
ード要求元のＮＤ０となる。また、ＳＮＰ発行部１４ｎ
はＮＤ２にスヌープ・トランザクション（ＳＮＰ）を送
信する。

【０１３９】ＮＤ０に送信されたデータリターン・トラ
ンザクションはリクエスト管理テーブル制御部１３に送
られ、データはＭバッファ１３ｉに格納される。ディレ
クトリ情報はＤｉｒ登録部１３ｋが受けて、リクエスト
管理テーブル１８の当該エントリを更新する。いま、リ
クエスト管理テーブル１８の当該エントリのＤｉｒ（７
−０）は‘１１１１１１１０’であり、受け取ったディ
レクトリ情報は‘０００００１００’であるから、ＡＮ
Ｄ演算の結果、Ｄｉｒ（７−０）＝０００００１００に
更新する。

【０１４０】一方、ＮＤ２に送られたスヌープ・トラン
ザクションはキャッシュ・メインメモリ制御部１２が受
けて、キャッシュメモリ１６の検索が行われる。ＮＤ２
のキャッシュメモリ１６には当該アドレスのデータがス
テータスＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅ
ｄ）で格納されていたとする。キャッシュ・メインメモ
リ制御部１２はこのステータスをＳＨ（Ｓｈａｒｅｄ−
Ｕｎｍｏｄｉｆｉｅｄ）に変更して、ＡｃｋＳＨトラン
ザクションをＮＤ０に送信する。

【０１４１】ＮＤ０に送信されたＡｃｋＳＨトランザク
ションはリクエスト管理テーブル制御部１３のＤｉｒ制
御部１３ｍが受けて、リクエスト管理テーブル１８を更
新する。ＮＤ２のＡｃｋＳＨトランザクションを受けた
ので、リクエスト管理テーブル１８の当該エントリのＡ
ｃｋ（２）が１に設定される。すると、Ａｃｋ（７−
０）＝０００００１００となり、Ｄｉｒ（７−０）と等
しくなったのでＤｉｒ制御部１３ｍはリード要求に対す
る応答を行う。

【０１４２】リクエスト管理テーブル１８の当該エント
リはＤｉｒ（７−０）＝０００００１００、Ｈ（２−
０）＝１（他ノード）であるので、図６に従いキャッシ
ュ・メインメモリ制御部１２には応答としてパス１２ｄ
（ｓｔａｔ）にＧＭＳの信号（パス１２ｅ（ｄａｔａ）
を介して送るデータをキャッシュメモリ１６にステータ
スＳＨ（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ）で登録
するよう指示する信号）と、パス１２ｅ（ｄａｔａ）に
Ｍバッファに格納されたデータを送信する。キャッシュ
・メインメモリ制御部１２はこのデータをキャッシュメ
モリ１６にステータスＳＨ（Ｓｈａｒｅｄ−Ｕｎｍｏｄ
ｉｆｉｅｄ）で格納し、同データをプロセッサ１１に供
給する。

【０１４３】Ｄｉｒ制御部１３ｍは、コンプリーション
・トランザクション（ＣＭＰ）をＮＤ１に発行する。リ
クエスト管理テーブル１８の当該エントリはＤｉｒ（７
−０）＝０００００１００であるので、自ノードのビッ
ト（ビット０）を１とした‘０００００１０１’がディ
レクトリ情報として、このコンプリーション・トランザ
クションに埋め込まれる。

【０１４４】コンプリーション・トランザクションはＮ
Ｄ１のディレクトリ制御部１４のディレクトリ更新部１
４ｐに送られ、ディレクトリ更新部１４ｐは指定された
アドレスとディレクトリ情報でディレクトリ１９を更新
し、ディレクトリ管理部１４ｑのアドレス登録を抹消し
て、処理を完了する。

【０１４５】次に、ＮＤ０のプロセッサがＮＤ１のメイ
ンメモリ上のデータを取得しようとしたとき、同データ
のコピーをＮＤ２のキャッシュメモリがステータスＭ
（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉｆｉｅｄ）で所有して
いた場合の処理を説明する。ただし、メモリライト設定
手段３０には転送優先モードが設定されているものとし
た。まず、図１３のタイミングチャートで、この処理に
よってノード間でやりとりされるトランザクションの流
れを説明する。その後、各ノード内で行われる動作の詳
細を説明する。

【０１４６】図１３においては、各ノード内で実行され
る動作の概略と、ノード間でやりとりされるトランザク
ションのみが記されている。まず、ＮＤ０内のプロセッ
サがＮＤ１のメインメモリ上のデータを要求し、ＮＤ０
内のキャッシュメモリでキャッシュミスを起こしたとす
る。すると、ＮＤ０からＮＤ１へリード・トランザクシ
ョンが発行される。

【０１４７】ＮＤ１はリード・トランザクションを受信
すると、要求されたデータをメインメモリから読み出
し、また、データのディレクトリ情報をディレクトリか
ら読み出す。いま、メモリライト設定手段３０には転送
優先モードが設定されているので、データとディレクト
リ情報をデータリターン・トランザクションとして、Ｎ
Ｄ０に送信する。ＮＤ１はまた、ディレクトリ情報によ
ってＮＤ２のキャッシュメモリが要求されたデータのコ
ピーを保持していることを判定し、要求されたデータの
アドレスに対するスヌープ・トランザクションをＮＤ２
に送信する。このとき、メモリライト設定手段３０には
転送優先モードが設定されているので、スヌープ・トラ
ンザクションの戻り先フィールドにはデータの要求元で
あるＮＤ０のノード番号、‘０’が埋め込まれている。

【０１４８】スヌープ・トランザクションを受信したＮ
Ｄ２は自ノード内のキャッシュメモリを検索する。ここ
で、ＮＤ２はスヌープ・トランザクションで指定された
アドレスのデータをＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉ
ｆｉｅｄ）でキャッシュメモリに保持していたとする。
すると、ＮＤ２はこのキャッシュメモリ上のデータを埋
め込んだＡｃｋＤａｔａトランザクションとメモリライ
ト・トランザクションを発行する。このＡｃｋＤａｔａ
トランザクションの行き先フィールドにはリード要求元
であるＮＤ０のノード番号０が設定され、メモリライト
・トランザクションには当該データのホームノードであ
るＮＤ１のノード番号１がそれぞれ設定される。その
後、キャッシュメモリ上の当該データのステータスをI
（Ｉｎｖａｌｉｄ）に変更する。

【０１４９】メモリライト・トランザクションを受信し
たＮＤ１はこのトランザクションに埋め込まれたアドレ
スとデータで、メモリライトを行う。

【０１５０】ＮＤ０は、ＮＤ１からデータリターン・ト
ランザクションを受信し、ＮＤ２からＡｃｋＤａｔａト
ランザクションを受信する。この結果、ＮＤ０はＡｃｋ
Ｄａｔａトランザクションに埋め込まれていたＮＤ２の
キャッシュメモリからのデータをステータスＥ（Ｅｘｃ
ｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）で自ノードのキ
ャッシュメモリに登録し、同データをプロセッサに供給
する。ＮＤ０はまた、データリターン・トランザクショ
ンに埋め込まれているディレクトリ情報を更新し、この
更新された新しいディレクトリ情報をコンプリーション
・トランザクションに埋め込んで、データのホームノー
ドのＮＤ１に送信する。

【０１５１】コンプリーション・トランザクションを受
信したＮＤ１は更新された新しいディレクトリ情報でデ
ィレクトリを更新し、処理を終了させる。

【０１５２】図１３で示される処理の間、図２、図４、
図５、図６、図７、図８で示されるノード内の要素が行
う動作の詳細を以下に示す。

【０１５３】ＮＤ０のプロセッサ１１がキャッシュ・メ
インメモリ制御部１２に、ＮＤ１をホームノードとする
データに対するリード要求を発行する。キャッシュ・メ
インメモリ制御部１２はキャッシュミスを起こし、リク
エスト管理テーブル処理部１３にリード要求を発行す
る。

【０１５４】リクエスト管理テーブル処理部１３のリー
ド発行部１３ｈはリクエスト管理テーブル１８のエント
リにリード要求を登録する。リクエスト管理テーブル１
８の当該エントリのフィールドはそれぞれ、Ｖ＝１、Ａ
ｄｒ（３９−０）＝要求されたデータのアドレス、Ｈ
（２−０）＝１、ＤＶ＝０、Ｄｉｒ（７−０）＝１１１
１１１１０、Ａｃｋ（７−０）＝００００００００、Ｄ
＝０と設定される。リード発行部１３ｈは要求されたデ
ータのアドレスから、当該データのホームノードがＮＤ
１、すなわち他ノードのメインメモリ上のデータである
ことを判定してクロスバスイッチインタフェース１５、
相互結合網２０を介して、ＮＤ１にリード・トランザク
ション（ｒｅａｄ）を送信する。

【０１５５】ＮＤ１に送信されたリード・トランザクシ
ョンはディレクトリ制御部１４のＧｒｅａｄ処理部１４
ｊに送られる。Ｇｒｅａｄ処理部１４ｊは当該アドレス
をディレクトリ管理部１４ｑに登録し、ディレクトリ１
９から当該アドレスのディレクトリ情報を取得する。デ
ィレクトリ情報の値は‘０００００１００’、すなわ
ち、ＮＤ２がデータのコピーを取得していることを示す
内容であったとする。また、キャッシュ・メインメモリ
制御部１２から、当該アドレスのメインメモリのデータ
を取得する。ディレクトリ情報とメインメモリのデータ
からデータリターン・トランザクション（Ｄｒｅｔ）が
Ｄｒｅｔ発行部１４ｍから発行される。行き先はリード
要求元のＮＤ０となる。また、ＳＮＰ発行部１４ｎはＮ
Ｄ２にスヌープ・トランザクション（ＳＮＰ）を送信す
る。

【０１５６】ＮＤ０に送信されたデータリターン・トラ
ンザクションはリクエスト管理テーブル制御部１３に送
られ、データはＭバッファ１３ｉに格納される。ディレ
クトリ情報はＤｉｒ登録部１３ｋが受けて、リクエスト
管理テーブル１８の当該エントリを更新する。いま、リ
クエスト管理テーブル１８の当該エントリのＤｉｒ（７
−０）は‘１１１１１１１０’、受け取ったディレクト
リ情報は‘０００００１００’であるから、ＡＮＤ演算
の結果、Ｄｉｒ（７−０）＝０００００１００に更新す
る。

【０１５７】一方、ＮＤ２に送られたスヌープ・トラン
ザクションはキャッシュ・メインメモリ制御部１２が受
けて、キャッシュメモリ１６の検索が行われる。ＮＤ２
のキャッシュメモリ１６には当該アドレスのデータがス
テータスＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉｆｉｅｄ）
で格納されていたとする。キャッシュ・メインメモリ制
御部１２はキャッシュメモリのデータを読み出して、Ａ
ｃｋＤａｔａトランザクションとして、このデータをＮ
Ｄ０に送信する。また、同データをメモリライト・トラ
ンザクションとして、ＮＤ１に送信する。その後、キャ
ッシュメモリ１６の当該データのステータスをＩ（Ｉｎ
ｖａｌｉｄ）に変更する。

【０１５８】メモリライト・トランザクションを受信し
たＮＤ１はトランザクションに埋め込まれたアドレスと
データでメインメモリ１７にメモリライトを行う。

【０１５９】ＮＤ０に送信されたＡｃｋＤａｔａトラン
ザクションはリクエスト管理テーブル制御部１３に送ら
れ、トランザクションのデータはＤバッファ１３ｊに格
納される。また、Ｄｉｒ制御部１３ｍもこのトランザク
ションを受けて、リクエスト管理テーブル１８を更新す
る。ＮＤ２のＡｃｋＤａｔａトランザクションを受けた
ので、リクエスト管理テーブル１８の当該エントリのＤ
ｉｒ（２）が０に設定される。さらにリクエスト管理テ
ーブル１８の当該エントリのＤを１に設定する。する
と、Ｄｉｒ（７−０）＝００００００００となり、Ａｃ
ｋ（７−０）と等しくなったのでＤｉｒ制御部１３ｍは
リード要求に対する応答を行う。

【０１６０】いま、リクエスト管理テーブル１８の当該
エントリはＤｉｒ（７−０）＝００００００００、Ｈ
（２−０）＝１（他ノード）であるので、図６に従いキ
ャッシュ・メインメモリ制御部１２に応答としてパス１
２ｄ（ｓｔａｔ）にはＧＭＥの信号（パス１２ｅを介し
て送るデータをキャッシュメモリ１６にステータスＥ
（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）として
登録するよう指示する信号）と、パス１２ｅ（ｄａｔ
ａ）にはＤバッファ１３ｊに格納されたデータが送られ
る。キャッシュ・メインメモリ制御部１２はこのデータ
をキャッシュメモリ１６にステータスＥ（Ｅｘｃｌｕｓ
ｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）で格納し、同データを
プロセッサ１１に供給する。

【０１６１】Ｄｉｒ制御部１３ｍはコンプリーション・
トランザクション（ＣＭＰ）をＮＤ１に発行する。リク
エスト管理テーブル１８の当該エントリはＤｉｒ（７−
０）＝００００００００であるので、自ノードのビット
（ビット０）を１とした‘０００００００１’がディレ
クトリ情報として、このコンプリーション・トランザク
ションに埋め込まれる。

【０１６２】コンプリーション・トランザクションはＮ
Ｄ１のディレクトリ制御部１４のディレクトリ更新部１
４ｐに送られ、ディレクトリ更新部１４ｐは指定された
アドレスとディレクトリ情報でディレクトリ１９を更新
し、ディレクトリ管理部１４ｑのアドレス登録を抹消し
て、処理を完了する。

【０１６３】次に、メモリライト設定手段３０にスルー
プット優先モードが設定されている状態で、ＮＤ０のプ
ロセッサがＮＤ１のメインメモリ上のデータを取得しよ
うとしたとき、同データのコピーをＮＤ２のキャッシュ
メモリがステータスＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉ
ｆｉｅｄ）で所有していた場合の処理を説明する。ま
ず、図１４のタイミングチャートで、この処理によって
ノード間でやりとりされるトランザクションの流れを説
明する。その後、各ノード内で行われる動作の詳細を説
明する。

【０１６４】図１４においては、各ノード内で実行され
る動作の概略と、ノード間でやりとりされるトランザク
ションのみが記されている。まず、ＮＤ０内のプロセッ
サがＮＤ１のメインメモリ上のデータを要求し、ＮＤ０
内のキャッシュメモリでキャッシュミスを起こしたとす
る。すると、ＮＤ０からＮＤ１へリード・トランザクシ
ョンが発行される。

【０１６５】ＮＤ１はリード・トランザクションを受信
すると、要求されたデータをメインメモリから読み出
し、また、データのディレクトリ情報をディレクトリか
ら読み出す。いま、メモリライト設定手段３０にはスル
ープット優先モードが設定されている。ＮＤ１はディレ
クトリ情報からＮＤ２のみが要求されたデータのコピー
を保持していると判定したとする。すると、ここでデー
タリターン・トランザクションは発生しない。ＮＤ１は
要求されたデータのアドレスに対するスヌープ・トラン
ザクションをＮＤ２に送信する。このとき、メモリライ
ト設定手段３０にはスループット優先モードが設定され
ているので、スヌープ・トランザクションの戻り先フィ
ールドにはデータのホームノードであるＮＤ１のノード
番号、‘１’が埋め込まれている。

【０１６６】スヌープ・トランザクションを受信したＮ
Ｄ２は自ノード内のキャッシュメモリを検索する。ここ
で、ＮＤ２はスヌープ・トランザクションで指定された
アドレスのデータをＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉ
ｆｉｅｄ）でキャッシュメモリに保持していたとする。
すると、ＮＤ２はこのキャッシュメモリ上のデータを埋
め込んだメモリライト・トランザクションを発行する。
一方、ＡｃｋＤａｔａトランザクションは発行されな
い。メモリライト・トランザクションには当該データの
ホームノードであるＮＤ１のノード番号１が設定され
る。その後、キャッシュメモリ上の当該データのステー
タスをI（Ｉｎｖａｌｉｄ）に変更する。

【０１６７】メモリライト・トランザクションを受信し
たＮＤ１はこのトランザクションに埋め込まれたアドレ
スとデータでメモリライトを行うと同時に、同データを
埋め込んだデータリターン・トランザクションをＮＤ０
に対して送信する。

【０１６８】ＮＤ０は、ＮＤ１からデータリターン・ト
ランザクションを受信し、ＮＤ０はこのトランザクショ
ンに埋め込まれていたＮＤ２のキャッシュメモリからの
データをステータスＥ（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏ
ｄｉｆｉｅｄ）で自ノードのキャッシュメモリに登録
し、同データをプロセッサに供給する。ＮＤ０はまた、
データリターン・トランザクションに埋め込まれている
ディレクトリ情報を更新し、この更新された新しいディ
レクトリ情報をコンプリーション・トランザクションに
埋め込んで、データのホームノードのＮＤ１に送信す
る。

【０１６９】コンプリーション・トランザクションを受
信したＮＤ１は更新された新しいディレクトリ情報でデ
ィレクトリを更新し、処理を終了させる。

【０１７０】図１３で示される処理の間、図２、図４、
図５、図６、図７、図８で示されるノード内の要素が行
う動作の詳細を以下に示す。

【０１７１】ＮＤ０のプロセッサ１１がキャッシュ・メ
インメモリ制御部１２に、ＮＤ１をホームノードとする
データに対するリード要求を発行する。キャッシュ・メ
インメモリ制御部１２はキャッシュミスを起こし、リク
エスト管理テーブル処理部１３にリード要求を発行す
る。リクエスト管理テーブル処理部１３のリード発行部
１３ｈはリクエスト管理テーブル１８のエントリにリー
ド要求を登録する。リクエスト管理テーブル１８の当該
エントリのフィールドはそれぞれ、Ｖ＝１、Ａｄｒ（３
９−０）＝要求されたデータのアドレス、Ｈ（２−０）
＝１、ＤＶ＝０、Ｄｉｒ（７−０）＝１１１１１１１
０、Ａｃｋ（７−０）＝００００００００、Ｄ＝０と設
定される。リード発行部１３ｈは要求されたデータのア
ドレスから、当該データのホームノードがＮＤ１、すな
わち他ノードのメインメモリ上のデータであることを判
定してクロスバスイッチインタフェース１５、相互結合
網２０を介して、ＮＤ１にリード・トランザクション
（ｒｅａｄ）を送信する。

【０１７２】ＮＤ１に送信されたリード・トランザクシ
ョンはディレクトリ制御部１４のＧｒｅａｄ処理部１４
ｊに送られる。Ｇｒｅａｄ処理部１４ｊは当該アドレス
をディレクトリ管理部１４ｑに登録し、ディレクトリ１
９から当該アドレスのディレクトリ情報を取得する。デ
ィレクトリ情報の値は‘０００００１００’、すなわ
ち、ＮＤ２がデータのコピーを取得していることを示す
内容であったとする。また、キャッシュ・メインメモリ
制御部１２から、当該アドレスのメインメモリのデータ
を取得する。

【０１７３】いま、メモリライト設定手段３０にはスル
ープット優先モードが設定されている。Ｄｒｅｔ発行部
１４ｍはディレクトリ情報‘０００００１００’から、
要求されたデータのコピーを保持するノードがＮＤ２の
みであることを判定する。すると、Ｄｒｅｔ発行部１４
ｍはここで、データリターン・トランザクションを発行
せず、スヌープ結果の受信を待つ。一方、ＳＮＰ発行部
１４ｎはＮＤ２にスヌープ・トランザクション（ＳＮ
Ｐ）を送信する。スヌープ・トランザクションの戻り先
フィールドには、スヌープ・トランザクションの発行元
のＮＤ１が設定される。

【０１７４】ＮＤ２に送られたスヌープ・トランザクシ
ョンはキャッシュ・メインメモリ制御部１２が受けて、
キャッシュメモリ１６の検索が行われる。ＮＤ２のキャ
ッシュメモリ１６には当該アドレスのデータがステータ
スＭ（Ｅｘｃｌｕｓｉｖｅ−Ｍｏｄｉｆｉｅｄ）で格納
されていたとする。いま、スヌープ・トランザクション
の要求元フィールドはＮＤ０、ホームフィールドはＮＤ
１、戻り先フィールドはＮＤ１となっている。キャッシ
ュ・メインメモリ制御部１２はキャッシュメモリのデー
タを読み出して、メモリライト・トランザクションとし
て、ＮＤ１に送信する。このとき、ＡｃｋＤａｔａトラ
ンザクションは発行されない。その後、キャッシュメモ
リ１６の当該データのステータスをＩ（Ｉｎｖａｌｉ
ｄ）に変更する。

【０１７５】メモリライト・トランザクションを受信し
たＮＤ１のキャッシュ・メインメモリ制御部１２はトラ
ンザクションに埋め込まれたアドレスとデータでメイン
メモリ１７にメモリライトを行う。これと同時に、ＮＤ
１のディレクトリ制御部１４もこのメモリライト・トラ
ンザクションを受信する。ディレクトリ制御部１４のＤ
ｒｅｔ発行部１４ｍはこのメモリライト・トランザクシ
ョンを受信して、このトランザクションに埋め込まれた
データを使って、データリターン・トランザクションを
生成する。データリターン・トランザクションのディレ
クトリ情報には、‘００００００００’が埋め込まれ
る。このデータリターン・トランザクションはＮＤ０に
送信される。

【０１７６】ＮＤ０に送信されたメモリライト・トラン
ザクションはリクエスト管理テーブル制御部１３に送ら
れ、トランザクションのデータはＭバッファ１３ｉに格
納される。ディレクトリ情報はＤｉｒ登録部１３ｋが受
けて、リクエスト管理テーブル１８の当該エントリを更
新する。いま、リクエスト管理テーブル１８の当該エン
トリのＤｉｒ（７−０）は‘１１１１１１１０’、受け
取ったディレクトリ情報は‘００００００００’である
から、ＡＮＤ演算の結果、Ｄｉｒ（７−０）＝００００
００００に更新する。すると、Ａｃｋ（７−０）と等し
くなったのでＤｉｒ制御部１３ｍはリード要求に対する
応答を行う。いま、リクエスト管理テーブル１８の当該
エントリはＤｉｒ（７−０）＝００００００００、Ｈ
（２−０）＝１（他ノード）であるので、図６に従いキ
ャッシュ・メインメモリ制御部１２に応答としてパス１
２ｄ（ｓｔａｔ）にはＧＭＥの信号（パス１２ｅを介し
て送るデータをキャッシュメモリ１６にステータスＥ
（Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）として
登録するよう指示する信号）と、パス１２ｅ（ｄａｔ
ａ）にはＭバッファ１３ｉに格納されたデータが送られ
る。キャッシュ・メインメモリ制御部１２はこのデータ
をキャッシュメモリ１６にステータスＥ（Ｅｘｃｌｕｓ
ｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ）で格納し、同データを
プロセッサ１１に供給する。Ｄｉｒ制御部１３ｍはコン
プリーション・トランザクション（ＣＭＰ）をＮＤ１に
発行する。リクエスト管理テーブル１８の当該エントリ
はＤｉｒ（７−０）＝００００００００であるので、自
ノードのビット（ビット０）を１とした‘００００００
０１’がディレクトリ情報として、このコンプリーショ
ン・トランザクションに埋め込まれる。

【０１７７】コンプリーション・トランザクションはＮ
Ｄ１のディレクトリ制御部１４のディレクトリ更新部１
４ｐに送られ、ディレクトリ更新部１４ｐは指定された
アドレスとディレクトリ情報でディレクトリ１９を更新
し、ディレクトリ管理部１４ｑのアドレス登録を抹消し
て、処理を完了する。

【０１７８】なお、上記実施形態では、システム内のノ
ードの数を８ノードとしたが、８ノード以外のノード数
を持つシステムでも、本発明は適用可能である。また、
ノード内のプロセッサ数を１としたが、ノード内に複数
のプロセッサを有するシステムでも、本発明は適用可能
である。また、アドレス幅を４０ビットとしたが、４０
ビット以外のアドレス幅を持つシステムでも、本発明は
適用可能である。また、キャッシュメモリはメインメモ
リを６４バイト毎のブロックとして扱うものとしたが、
６４バイト以外の大きさを単位として制御する場合で
も、本発明は適用可能である。また、ディレクトリ情報
をメインメモリとは別の記憶手段で保持するものとして
いるが、メインメモリ上にデータとディレクトリ情報を
混在させる方式においても本発明は適用可能である。

【０１７９】

【発明の効果】本発明によれば、スヌープ要求を必要と
するメインメモリのデータリード処理において、要求さ
れるデータをダーティ・データとして保持するノードが
無いことが明らかな場合のみ、リードで要求されるデー
タのホームノードでスヌープ結果を待ち受ける必要を無
くしているので、無駄なデータ転送を生じることなく、
プロセッサに高速に要求されたデータを供給できるマル
チプロセッサシステムを得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施の形態であるマルチプロセッサ
システムの全体の構成の一例を示す概念図である。

【図２】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノードの構成の一例を詳細に例示した
概念図である。

【図３】本発明の一実施の形態であるマルチプロセッサ
システムにおける相互結合網の構成の一例を詳細に例示
した概念図である。

【図４】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のリクエスト管理テーブルの
一例を例示した概念図である。

【図５】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のリクエスト管理テーブル制
御部の一例を例示した概念図である。

【図６】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のリクエスト管理テーブル制
御部内のＤｉｒ制御部がリード要求に対する応答として
発行する信号１２ｄ（ｓｔａｔ）の信号の種類と発行条
件の一例を例示した概念図である。

【図７】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のディレクトリ制御部の一例
を例示した概念図である。

【図８】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のクロスバスイッチインタフ
ェースの一例を例示した概念図である。

【図９】本発明の一実施の形態であるマルチプロセッサ
システムに用いられるトランザクションの構成の一例を
示す概念図である（２０ａ〜２０ｅ）。

【図１０】本発明の一実施の形態であるマルチプロセッ
サシステムに用いられるトランザクションの構成の一例
を示す概念図である（２０ｆ〜２０ｉ）。

【図１１】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（自ノ
ード内メモリリード）。

【図１２】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（他ノ
ードのメインメモリのデータを取得）。

【図１３】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（他ノ
ードのキャッシュメモリのデータを取得、転送優先モー
ド）。

【図１４】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（他ノ
ードのキャッシュメモリのデータを取得、スループット
優先モード）。

【図１５】従来技術を説明するためのマルチプロセッサ
システムの全体の構成の一例を示す概念図である。

【図１６】従来技術を説明するためのマルチプロセッサ
システムにおけるメモリリード処理の動作を示すタイミ
ングチャートである（他ノードのメインメモリのデータ
を取得）。

【図１７】従来技術を説明するためのマルチプロセッサ
システムにおけるメモリリード処理の動作を示すタイミ
ングチャートである（他ノードのキャッシュメモリのデ
ータを取得）。

【符号の説明】

１０…ノード（ＮＤ０〜ＮＤｎ）、１１…プロセッサ、
１２…キャッシュ・メインメモリ制御装置、１２ａ（Ｓ
ＮＰ）…クロスバスイッチインタフェースがスヌープ・
トランザクションをキャッシュ・メインメモリ制御部に
送信するパス、１２ｂ（Ａｃｋ）…キャッシュ・メイン
メモリ制御部がクロスバスイッチインタフェースにスヌ
ープ結果のトランザクションを送信するパス、１２ｃ
（ｒｅａｄ）…キャッシュ・メインメモリ制御部がリク
エスト管理テーブル制御部にリード要求を送信するパ
ス、１２ｄ（ｓｔａｔ）…リクエスト管理テーブル制御
部がキャッシュ・メインメモリ制御部にリード要求に対
する応答信号を送信するパス、１２ｅ（ｄａｔａ）…リ
クエスト管理テーブル制御部がキャッシュ・メインメモ
リ制御部にリード要求に対する応答データを送信するパ
ス、１２ｆ（ＩＤ）…リクエスト管理テーブル制御部が
キャッシュ・メインメモリ制御部にリード要求に対する
応答のＩＤを送信するパス、１３…リクエスト管理テー
ブル制御部、１３ａ（ｒｅａｄ）…リクエスト管理テー
ブル制御部がクロスバスイッチインタフェースにリード
・トランザクションを送信するパス、１３ｂ（Ｄｒｅ
ｔ）…クロスバスイッチインタフェースがリクエスト管
理テーブル制御部にデータリターン・トランザクション
を送信するパス、１３ｃ（Ａｃｋ）…クロスバスイッチ
インタフェースがリクエスト管理テーブル制御部にスヌ
ープ結果のトランザクションを送信するパス、１３ｄ
（ＣＭＰ）…リクエスト管理テーブル制御部がクロスバ
スイッチインタフェースにコンプリーション・トランザ
クションを送信するためのパス、１３ｅ（Ｌｒｄ）…リ
クエスト管理テーブル制御部がディレクトリ制御部にリ
ード要求を送信するためのパス、１３ｆ（ｄｉｒ）…デ
ィレクトリ制御部がリクエスト管理テーブル制御部にデ
ィレクトリ情報を送信するためのパス、１３ｇ（ＣＭ
Ｐ）…リクエスト管理テーブル制御部がディレクトリ更
新の指示を送信するためのパス、１３ｈ…リード発行
部、１３ｉ…データリターン・トランザクションのデー
タを保持するバッファ、１３ｊ…ＡｃｋＤａｔａトラン
ザクションのデータを保持するバッファ、１３ｋ…Ｄｉ
ｒ登録部、１３ｍ…Ｄｉｒ制御部、１３ｎ…セレクタ、
１３ｐ（Ｒｔｙ）…クロスバスイッチインタフェースが
リクエスト管理テーブル制御部にリトライ・トランザク
ションを送信するパス、１４…ディレクトリ制御部、１
４ａ（ｒｅａｄ）…クロスバスイッチインタフェースが
ディレクトリ制御部にリード・トランザクションを送信
するパス、１４ｂ（Ｄｒｅｔ）…ディレクトリ制御部が
クロスバスイッチインタフェースにデータリターン・ト
ランザクションを送信するパス、１４ｃ（ＳＮＰ）…デ
ィレクトリ制御部がクロスバスイッチインタフェースに
スヌープ・トランザクションを送信するパス、１４ｄ
（ＣＭＰ）…クロスバスイッチインタフェースがディレ
クトリ制御部がコンプリーション・トランザクションを
送信するパス、１４ｅ（ＬＭＲ）…ディレクトリ制御部
がキャッシュ・メインメモリ制御部にメインメモリのデ
ータを要求するためのパス、１４ｆ（ＬＭＤ）…キャッ
シュ・メインメモリ制御部がディレクトリ制御部にメイ
ンメモリのデータを送信するためのパス、１４ｇ（ＳＮ
Ｐ）…ディレクトリ制御部がキャッシュ・メインメモリ
制御部にスヌープ要求を送信し、また、スヌープ結果を
受信するパス、１４ｈ（Ｒｔｙ）…ディレクトリ制御部
がクロスバスイッチインタフェースにリトライ・トラン
ザクションを送信するパス、１４ｉ…Ｌｒｅａｄ処理
部、１４ｊ…Ｇｒｅａｄ処理部、１４ｍ…Ｄｒｅｔ発行
部、１４ｎ…ＳＮＰ発行部、１４ｐ…ディレクトリ更新
部、１４ｑ…ディレクトリ管理部、１４ｒ（Ｒｔｙ）…
ディレクトリ制御部がリクエスト管理テーブル制御部に
リトライ指示の信号を送信するためのパス、１５…クロ
スバスイッチインタフェース、１５ａ…クロスバスイッ
チインタフェースが相互結合網へトランザクションを送
信するためのパス、１５ｂ…クロスバスイッチインタフ
ェースが相互結合網からトランザクションを受信するた
めのパス、１５ｃ（ＭＷ）…クロスバスイッチインタフ
ェースが更新された最新データをメインメモリに書き込
むためのメモリライト・トランザクションをキャッシュ
・メインメモリ制御部に送信するパス、１５ｄ…受信キ
ュー、１５ｅ…送信キュー、１５ｈ…受信部、１５ｉ…
送信部、１５ｊ…キャッシュ・メインメモリ制御部が更
新された最新データをメインメモリに書き込むためのメ
モリライト・トランザクションをクロスバスイッチイン
タフェースに送信するパス１６…キャッシュメモリ、１
７…メインメモリ、１８…リクエスト管理テーブル、１
９…ディレクトリ、２０…相互結合網（ＸＢ）、２０ａ
…リード・トランザクション、２０ｂ…データリターン
・トランザクション、２０ｃ…スヌープ・トランザクシ
ョン、２０ｄ…ＡｃｋＩトランザクション、２０ｅ…Ａ
ｃｋＳＨトランザクション、２０ｆ…ＡｃｋＤａｔａト
ランザクション、２０ｇ…コンプリーション・トランザ
クション、２０ｈ…リトライ・トランザクション、２０
ｉ…メモリライト・トランザクション、２１ａ…トラン
ザクション受信キュー、２１ｂ…トランザクション送信
キュー、２２ａ…トランザクション受信ポート、２２ｂ
…トランザクション送信ポート、２３…スイッチ結合論
理、３０…メモリライト設定手段、３０ａ…メモリライ
ト設定手段に設定された設定情報をディレクトリ制御部
に通知するパス、１００…ノード（ｘＮＤ０〜ｘＮＤ
ｎ）、１０１…プロセッサ、１０２…キャッシュ・メイ
ンメモリ制御部、１０３…キャッシュメモリ、１０４…
メインメモリ、１０５…ディレクトリ、１１１…相互結
合網

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/16 ６４５ Ｇ０６Ｆ 15/16 ６４５ (72)発明者 中島 敦 神奈川県海老名市下今泉810番地 株式会 社日立製作所インターネットプラットフォ ーム事業部内 (72)発明者 對馬 雄次 東京都国分寺市東恋ヶ窪一丁目280番地 株式会社日立製作所中央研究所内 Ｆターム(参考） 5B005 JJ12 KK03 KK14 MM01 PP03 PP11 PP26 5B045 BB28 DD12

Claims (3)

【特許請求の範囲】
1. 【請求項１】プロセッサとキャッシュメモリとメインメ
   モリと前記メインメモリのデータを格納するキャッシュ
   メモリを識別するディレクトリ情報を記憶するディレク
   トリを備える複数のノードと、前記複数のノードを相互
   に接続する結合手段を有するマルチプロセッサシステム
   において、前記複数のノードの各々は、自ノードに対し
   て前記複数のノードの一つである第一のノードが要求し
   たデータに対する前記複数のノードの一つである第二の
   ノードが送信したスヌープ要求を受信する第一の受信部
   と、受信した前記スヌープ要求に関するデータのステー
   タスを制御する第一の制御部と、前記制御部によるスヌ
   ープ結果を前記第一のノードに対して送信する第一の送
   信部を有することを特徴とするマルチプロセッサシステ
   ム。
2. 【請求項２】請求項１に記載のマルチプロセッサシステ
   ムにおいて、前記第二のノードは、前記第一のノードか
   ら自ノード内のメインメモリに対するデータ要求を受信
   する第二の受信部と、要求されたデータに関するディレ
   クトリ情報を抽出する第二の制御部と、前記抽出したデ
   ィレクトリ情報を前記第一のノードに送信する第二の送
   信部を有することを特徴とするマルチプロセッサシステ
   ム。
3. 【請求項３】それぞれプロセッサとキャッシュメモリと
   メインメモリと前記メインメモリのデータをいずれのキ
   ャッシュメモリが読み込んだかを識別するためディレク
   トリ情報を記憶する手段であるディレクトリを有する複
   数のノードと、前記複数のノードを相互に接続する結合
   手段からなるマルチプロセッサシステムにおいて、前記
   複数のノードの各々は、自ノードのメインメモリに対す
   るデータ要求を前記複数のノードのいずれかから受信し
   たときには、前記データを要求したノードに前記自ノー
   ドのメインメモリから読み出した前記要求されたデータ
   と前記ディレクトリから読み出した前記要求されるデー
   タのディレクトリ情報を送信する第一の制御論理と、前
   記要求されたデータのディレクトリ情報から前記複数の
   ノードのうち要求されるデータのコピーを保持するキャ
   ッシュメモリを有するノードがあると判定したときは、
   前記要求されたデータのキャッシュ・コヒーレンシ一貫
   性を保持するためのスヌープ要求を前記要求されるデー
   タのコピーを保持するキャッシュメモリを有するノード
   に送信し、当該ノードに対して前記データ要求を行った
   ノードに前記スヌープ要求の応答であるスヌープ結果を
   送信するよう指示する第二の制御論理と、前記メインメ
   モリに対するデータ要求を受信したノードが発行する前
   記要求されたデータに対するスヌープ要求を受信したと
   き、スヌープ要求に対する応答であるスヌープ結果を前
   記第二の制御論理によって指示されるノードに送信する
   第三の制御論理と、前記メインメモリに対するデータ要
   求を行ったノードが前記要求されるデータを保持するメ
   インメモリを有するノードから前記第一の制御論理によ
   り送信されるディレクトリ情報を受信したときは、前記
   複数のノードの内のいずれかまたは複数のノードが前記
   第三の制御論理により送信するスヌープ結果に応じて、
   更新された新しいディレクトリ情報を生成し、前記要求
   されるデータを保持するメインメモリを有するノードへ
   前記新しいディレクトリ情報を送信する第四の制御論理
   と、前記メインメモリに対するデータ要求を行ったノー
   ドが前記第四の制御論理により送信された更新された新
   しいディレクトリ情報を受信したときは、この更新され
   た新しいディレクトリ情報をその中のディレクトリに書
   き込む第五の制御論理を有することを特徴とするマルチ
   プロセッサシステム。