JP2003150573A - マルチプロセッサシステム - Google Patents

Abstract

(57)【要約】 【課題】 複数のキャッシュメモリが時間的に近接して
メインメモリからのデータの読み込みの処理を実行した
場合にも、正しいキャッシュ・コヒーレンシ一貫性制御
を実現し、かつ、処理の沈み込みを防ぐ。 【解決手段】 データの読み込みに伴うキャッシュ・コ
ヒーレンシ一貫性制御を他ノードのキャッシュメモリに
要求する際に、データのアドレスをリクエスト管理テー
ブルに保持し、他キャッシュからのキャッシュ・コヒー
レンシ一貫性制御要求がこれと競合したなら、データの
読み込みの中止と再実行（リトライ）を要求するキャッ
シュ・コヒーレンシ一貫性制御結果を応答する。リトラ
イを要求するキャッシュ・コヒーレンシ一貫性制御結果
はスターベーション管理部に保持され、キャッシュメモ
リがデータの読み込みの再実行を実行中の場合には、そ
の他のキャッシュメモリは該アドレスに対するデータの
読み込みを抑止する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は複数のプロセッサを
有するマルチプロセッサシステムに関する。

【０００２】

【従来の技術】計算機システムの処理速度を向上させる
ために、キャッシュメモリの使用が有効であることはよ
く知られている。キャッシュメモリは、プロセッサとメ
インメモリの間に位置する高速、小容量のメモリのこと
をいう。キャッシュメモリは、メインメモリのデータの
一部を保持し、メインメモリの代わりにプロセッサとの
データの送受信を行い、メインメモリよりも高速なデー
タアクセスを実現する。

【０００３】このようなキャッシュメモリを使用した計
算機システムでは、プロセッサがリード要求を発行した
ときにキャッシュメモリにデータが格納されている（す
なわちヒットした）場合、キャッシュメモリ内のデータ
が直ちにプロセッサに送信され、高速な動作を実現する
ことができる。

【０００４】プロセッサからのメインメモリへのリード
要求に対し、キャッシュメモリにそのデータがなかった
（すなわちミスした）場合は、キャッシュメモリはプロ
セッサが要求したデータをメインメモリから読み込ん
で、これをプロセッサに供給する。

【０００５】ここで、複数のキャッシュメモリを有する
計算機システムにおいては、メインメモリからキャッシ
ュメモリにデータを読み込む際にキャッシュ・コヒーレ
ンシ一貫性制御が要求される。キャッシュ・コヒーレン
シ一貫性制御とは、メインメモリ上の同一アドレスにあ
るデータのコピーを二つ以上のキャッシュメモリが保持
する場合に同一の値を持つこと（キャッシュ・コヒーレ
ンシ一貫性）を保証するための制御である。

【０００６】キャッシュ・コヒーレンシ一貫性制御の例
を図１２に示されるシステムで説明する。図１２のシス
テムは、ノード（１００）を複数（ｘＮＤ０〜ｘＮＤ
ｎ）有し、それらが相互結合網１（１１１）と相互結合
網２（１１２）によって相互に接続されている構成であ
る。

【０００７】ノード（１００）は、プロセッサ（１０
１）とキャッシュメモリ（１０３）、キャッシュタグ
（１０４）、メインメモリ（１０５）とキャッシュ・メ
インメモリ制御装置（１０２）を有する。キャッシュ・
メインメモリ制御装置（１０２）は、プロセッサ（１０
１）や相互結合網１（１１１）を介した他ノードからの
要求に応じて、キャッシュメモリ（１０３）、キャッシ
ュタグ（１０４）、メインメモリ（１０５）のデータの
読み出し、書き込みを行なう。

【０００８】キャッシュ・メインメモリ制御装置（１０
２）は、よく知られたＭＥＳＩキャッシュ・コヒーレン
シ・プロトコルに従ったキャッシュ・コヒーレンシ一貫
性制御を行なうものとする。すなわち、キャッシュ状態
として、（ａ）Ｉｎｖａｌｉｄ（当該データは無効）、
（ｂ）Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅｄ（当該デー
タは他のプロセッサのキャッシュメモリ内にも存在し、
主記憶内のデータと同一）、（ｃ）Ｅｘｃｌｕｓｉｖｅ
‐Ｍｏｄｉｆｉｅｄ（当該データは、当該キャッシュメ
モリ内にのみ存在し、しかも主記憶内のデータとは同一
ではない）、（ｄ）Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉ
ｆｉｅｄ（当該データは、当該キャッシュメモリ内にの
み存在し、主記憶内のデータとは同一）を定義する。任
意のノードにおいてリード要求が発生し、当該データが
自ノード内のキャッシュメモリにない（リードミス）の
場合には、相互結合網１にリード・トランザクションを
ブロードキャスト（同報送信）し、全ノードがそれを受
信する。

【０００９】この時、いずれかのノード内キャッシュメ
モリにヒットした場合には、当該ノードから要求元のノ
ードにデータを転送する。一方、いずれのノード内のキ
ャッシュメモリにもヒットしなかった場合には、要求さ
れたデータを保持するメインメモリからデータリターン
を行なう。また、キャッシュメモリ内の置換（キャッシ
ュメモリ内に空き領域を作るために既存のデータを追い
出す操作）対象となったデータラインがＥｘｃｌｕｓｉ
ｖｅ‐Ｍｏｄｉｆｉｅｄの場合には、メインメモリに反
映させるべく、相互結合網１にライト・トランザクショ
ンを送出する。

【００１０】相互結合網１はノード間でやり取りされる
トランザクションを配信する。相互結合網２は、リード
・トランザクションを受信したノードがキャッシュ・コ
ヒーレンシ一貫性制御を行なう際の応答メッセージをノ
ード間で配信する。

【００１１】図１３は、このようなシステムにおいて、
メインメモリからキャッシュメモリにデータを読み込
み、プロセッサにそのデータを供給する動作を図示する
タイミングチャートである。図１３において、縦方向は
動作に関係する各ノードまたはノード内の構成要素を示
し、横方向は各ノードの動作の時間軸を示す。また、図
１３におけるシステムは、ｘＮＤ０〜ｘＮＤ２の３ノー
ドの構成とする。

【００１２】図１３において、まず、ノードｘＮＤ０の
プロセッサがメモリリード要求を発行する。この要求の
データが自ノードのキャッシュメモリにおいて、キャッ
シュ状態Ｉｎｖａｌｉｄであり、すなわちキャッシュミ
スを起こしたとする。すると、ｘＮＤ０のキャッシュ・
メインメモリ制御装置は、相互結合網１にこのアドレス
のデータを要求するリード・トランザクションを発行す
る。相互結合網１はこのリード・トランザクションを全
ノードに配信する。

【００１３】ｘＮＤ１とｘＮＤ２はこのリード・トラン
ザクションを受信すると、リード要求のアドレスのデー
タが自ノードのキャッシュ上にどのような状態で格納さ
れているかを調べる。ｘＮＤ１、ｘＮＤ２ともに要求さ
れたデータは自ノードのキャッシュ上でＩｎｖａｌｉｄ
状態であったとすると、ｘＮＤ１とｘＮＤ２はそれぞ
れ、キャッシュ・コヒーレンシ一貫性制御結果として、
メッセージ’Ｉｎｖ’を相互結合網２に送信する。ここ
で、’Ｉｎｖ’は要求されたデータが自ノードのキャッ
シュ上でＩｎｖａｌｉｄ状態であることを示すメッセー
ジであるとする。相互結合網２はこの’Ｉｎｖ’メッセ
ージをｘＮＤ０に配信する。

【００１４】’Ｉｎｖ’を受信したｘＮＤ０は、他ノー
ドのキャッシュ状態が全てＩｎｖａｌｉｄ状態であるこ
とを判定し、メインメモリからのデータを使用すること
を決定する。要求されたデータがｘＮＤ０のメインメモ
リのデータであるとすると、ｘＮＤ０のキャッシュ・メ
インメモリ制御装置は自ノードのメインメモリから要求
されたデータを読み出し、これをキャッシュメモリにＥ
ｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態で格納
し、プロセッサにこのデータを供給して、リードの処理
を完了させる。

【００１５】このようなキャッシュ・コヒーレンシ一貫
性制御の例としては、例えば特開平１０−１６１９３０
号公報に示されるようなシステムが知られている。特開
平１０−１６１９３０号公報では、複数のキャッシュメ
モリを有する計算機システムにおいて、あるキャッシュ
メモリからメインメモリへの書き込み要求と、同一メイ
ンメモリアドレスからの他のキャッシュへの読み出し要
求が時間的に近接して発生した場合に、キャッシュ一貫
性を保証しつつ、この競合を解決する方法について示し
ている。

【００１６】

【発明が解決しようとする課題】特開平１０−１６１９
３０号公報では、ライトとリードが競合したときの解決
方法を示しているが、リードと同一アドレスに対する別
のリードが競合したときの解決方法については何も述べ
ていない。前述の従来技術の場合には、リードと同一ア
ドレスに対する別のリードが時間的に近接して発行され
るような場合に、キャッシュ一貫性に問題が生じる可能
性がある。これを示したのが図１４である。

【００１７】図１４はｘＮＤ０のプロセッサがデータの
リードを発行し、その処理が完了する前にｘＮＤ１のプ
ロセッサも同じアドレスのデータのリードを発行したと
きの動作を示している。図１4において、縦方向は動作
に関係する各ノードまたはノード内の構成要素を示し、
横方向は各ノードの動作の時間軸を４つのフェーズに分
けたものを示している。

【００１８】（フェーズ１）ｘＮＤ０のプロセッサがリ
ード要求を発行する。要求されたデータのキャッシュ状
態はＩｎｖａｌｉｄであり、キャッシュミスを起こす。
キャッシュ・メインメモリ制御装置は相互結合網１にリ
ード・トランザクションを発行する。相互結合網１は全
ノードにリード・トランザクションを配信する。ｘＮＤ
１とｘＮＤ２はリード・トランザクションを受けると、
自ノードのキャッシュ状態を調べ、Ｉｎｖａｌｉｄ状態
であることを示すメッセージ’Ｉｎｖ’を相互結合網２
に送信したとする。相互結合網２はｘＮＤ１とｘＮＤ２
から送信された’Ｉｎｖ’メッセージをｘＮＤ０に送信
する。

【００１９】（フェーズ２）ｘＮＤ１のプロセッサがリ
ード要求を発行する。リード要求のアドレスは（フェー
ズ１）でｘＮＤ０のプロセッサが発行したリード要求の
アドレスと同一であるとする。ｘＮＤ１はキャッシュミ
スを起こす。キャッシュ・メインメモリ制御装置は相互
結合網１にリード・トランザクションを発行する。相互
結合網１は全ノードにリード・トランザクションを配信
する。ｘＮＤ０とｘＮＤ２はリード・トランザクション
を受けると、自ノードのキャッシュ状態を調べ、Ｉｎｖ
ａｌｉｄ状態であることを示すメッセージ’Ｉｎｖ’を
相互結合網２に送信する。相互結合網２はこの’Ｉｎ
ｖ’メッセージをｘＮＤ１に配信する。

【００２０】（フェーズ３）ｘＮＤ０は（フェーズ１）
のリード要求の処理を継続し、メインメモリからのデー
タを受信する。ｘＮＤ０は（フェーズ１）においてｘＮ
Ｄ１とｘＮＤ２の双方からキャッシュ・コヒーレンシ一
貫性制御の結果のメッセージ’Ｉｎｖ’を受信している
ので、このメインメモリからのデータをキャッシュメモ
リにＥｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態で
登録して、プロセッサにデータを供給して、リード処理
を完了する。

【００２１】（フェーズ４）ｘＮＤ１は（フェーズ２）
のリード要求の処理を継続し、メインメモリからのデー
タを受信する。ｘＮＤ０も（フェーズ２）においてｘＮ
Ｄ０とｘＮＤ２の双方からキャッシュ・コヒーレンシ一
貫性制御の結果のメッセージ’Ｉｎｖ’を受信している
ので、このメインメモリからのデータをキャッシュメモ
リにＥｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態で
登録して、プロセッサにデータを供給して、リード処理
を完了する。

【００２２】このように、Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍ
ｏｄｉｆｉｅｄの状態でデータを保持するキャッシュは
システム内でただひとつでなければならないにもかかわ
らず、上記の動作では二つのキャッシュメモリがＥｘｃ
ｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄの状態でデータを
保持することになる。従って以後のプロセッサのデータ
書き込み動作によってはキャッシュ一貫性が保証されな
い可能性がある。

【００２３】上記の問題はキャッシュメモリがメインメ
モリからのデータの読み込みの処理を実行中であり、キ
ャッシュの状態が確定していないにもかかわらず、別の
キャッシュメモリからのキャッシュ・コヒーレンシ一貫
性制御要求に応答して、キャッシュ・コヒーレンシ一貫
性制御結果を出力してしまうことにより発生する。

【００２４】本発明の目的は複数のキャッシュメモリが
時間的に近接してメインメモリからのデータの読み込み
の処理を実行した場合にも、正しいキャッシュ・コヒー
レンシ一貫性制御を実現することが可能なマルチプロセ
ッサシステムを提供することである。

【００２５】また、本発明の別の目的はキャッシュ・コ
ヒーレンシ一貫性を保つために、キャッシュ・コヒーレ
ンシ一貫性制御要求に対する中止と再実行を要求して
も、キャッシュ・コヒーレンシ一貫性制御要求の沈み込
みを防ぐことが可能なマルチプロセッサシステムを提供
することにある。 その他の目的については、以下の説
明であきらかになるであろう。

【００２６】

【課題を解決するための手段】本発明では、各ノードは
システムにおいて発信されたリードアクセス要求に関す
る情報を備える。各ノードは、自ノードにおいてキャッ
シュミスが生じた場合に、この情報を参照して、必要と
するデータに対して現在すでにリードアクセス要求がさ
れているかどうかを判断し、自ノードがリード要求する
ことができるかどうかを判断する。

【００２７】また、本発明では、このリードアクセス要
求に関する情報には、自ノードが発信したアクセス要求
の状態情報を含む。他ノードから発信されたリードアク
セス要求を受信すると、この情報を参照して自ノードに
おいてすでにリードアクセス要求をしたものであるかど
うかを判断し、その結果を出力する。

【００２８】また、本発明では、このリードアクセス要
求に関する情報には、各リードアクセス要求が行なわれ
る優先順位についての情報も含まれる。これらの情報を
用いて、次に行なわれるリードアクセス要求が決定され
る。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００３０】図１は、本発明に関する第１の実施の形態
であるマルチプロセッサ１１システムの全体構成の一例
を示す概念図である。

【００３１】図１に例示されるように、本実施の形態の
マルチプロセッサ１１システムは、複数のノードＮＤ０
〜ＮＤｎ（１０）が、相互結合網A（２０）と相互結合
網Ｂ（３０）を介して結合された構成となっている。ノ
ードとは、各々が独立してデータ処理を行なうプロセッ
サ１１モジュールのことをいう。本実施例において、各
ノードＮＤＯ〜ＮＤｎは、クロスバスバスイッチによっ
て実現するものとするが、これに限らず、バスを用いる
構成としてもよいことはいうまでもない。

【００３２】図２はノード（１０）の構成を示す概念図
である。図２に例示されるように、個々のノード１０
は、プロセッサ１１、キャッシュ・メインメモリ制御部
１２、キャッシュメモリ１３ａ、キャッシュタグ１３
ｂ、メインメモリ１３ｃ、リクエスト管理テーブル１
４、ＣＣＣ受信部１５、トランザクション受信部１６、
ＣＣＣ送信部１７、トランザクション送信部１８、スタ
ーベーション管理部１９を備えている。

【００３３】プロセッサ１１は、各種データを演算する
ものであり、汎用のマイクロプロセッサ１１で構成され
るものである。メインメモリ１３ｃは、プロセッサ１１
が処理するためのデータ、プログラムがロードされる。
キャッシュメモリ１３ａは、このプロセッサ１１とメイ
ンメモリ１３ｃまたはノード１０の外部との間で授受さ
れるデータを一時的に保持する。キャッシュ・メインメ
モリ制御部１２は、メインメモリ１３ｃ、キャッシュメ
モリ１３ａのデータ転送等の制御を行なう。キャッシュ
タグ１３ｂは、キャッシュ・メインメモリ制御部１２が
キャッシュメモリ１３ａを制御する際に用いる制御情報
を格納する。トランザクション受信部１６、トランザク
ション送信部１８は、相互結合網A（２０）を介して他
のノードとの間における情報の授受を行なう。ＣＣＣ受
信部１５、ＣＣＣ送信部１７は、相互結合網Ｂ（３０）
を介してキャッシュ・コヒーレンシ一貫性制御結果（Ｃ
ＣＣ）を送信又は受信をする。

【００３４】さらに個々のノード（１０）は、自ノード
が相互結合網Aを介してノードに発行したメモリアクセ
スを管理するためのリクエスト管理テーブル部（１４）
と、キャッシュ・コヒーレンシ一貫性制御結果がリトラ
イとなったメモリアクセス要求のアドレスと要求元を記
録するためのスターベーション管理部（１９）を備えて
いる。

【００３５】なお、本実施形態においては、キャッシュ
・メインメモリ制御部１２はよく知られたＭＥＳＩキャ
ッシュ・コヒーレンシ・プロトコルに従ったキャッシュ
・コヒーレンシ一貫性制御を行なうものとする。すなわ
ち、キャッシュ状態として、（ａ）Ｉｎｖａｌｉｄ（当
該データは無効）、（ｂ）Ｓｈａｒｅｄ−Ｕｎｍｏｄｉ
ｆｉｅｄ（当該データは他のプロセッサ１１のキャッシ
ュメモリ１３ａ内にも存在し、主記憶内のデータと同
一）、（ｃ）Ｅｘｃｌｕｓｉｖｅ‐Ｍｏｄｉｆｉｅｄ
（当該データは、当該キャッシュメモリ１３ａ内にのみ
存在し、しかも主記憶内のデータとは同一ではない）、
（ｄ）Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ（当
該データは、当該キャッシュメモリ１３ａ内にのみ存在
し、主記憶内のデータとは同一）を定義する。

【００３６】任意のノードにおいてリード要求が発生
し、当該データが自ノード内のキャッシュメモリ１３ａ
にない（リードミスの）場合には、相互結合網A（２
０）にリード・トランザクションをブロードキャスト
（同報送信）し、他のノード（ＮＤ）がそれを受信す
る。この時、ノード内キャッシュメモリ１３ａにヒット
した場合には、当該ノードから要求元のノードにデータ
を転送し、一方、いずれのノード内のキャッシュメモリ
１３ａにもヒットしなかった場合には、メインメモリか
らデータリターンが行なわれる。また、キャッシュメモ
リ１３ａ内の置換（キャッシュメモリ１３ａ内に空き領
域を作るために既存のデータを追い出す操作）対象とな
ったデータラインがＥｘｃｌｕｓｉｖｅ‐Ｍｏｄｉｆｉ
ｅｄの場合には、メインメモリに反映させるべく、相互
結合網Aにライト・トランザクションを送出する。

【００３７】図３は相互結合網A（２０）の構成図であ
る。図３に例示されるように、相互結合網A（２０）
は、各ノード間で、１：１または１：多（同報送信）の
接続制御を行なうスイッチ結合論理２３を有する。スイ
ッチ結合論理２３と各ノードとは、各ポート２２ａ、２
２ｂで接続される。各ノードが接続されるポート２２
ａ、２２ｂの間の接続を切り替えることにより、１：１
または１：多（同報送信）の接続制御が行なわれる。ま
た、各ポート２２ａ、ｂには、トランザクションキュー
２１ａ、２１ｂを備えている。

【００３８】図４は相互結合網Ｂ（３０）の構成図であ
る。図４に例示されるように、ノードから出力されたＣ
ＣＣ信号を受信するＣＣＣ受信キュー３１ａと、各ノー
ドから受信したＣＣＣ信号をまとめてノード全体のコヒ
ーレンシ一貫性制御の結果を集計する集計論理部（３
３）、集計されたＣＣＣ信号を各ノードに送信するＣＣ
Ｃ送信キュー３１ｂで構成される。

【００３９】ここで、ノードの出力するＣＣＣ信号とし
ては、次の４種を定義する。 ‘Ｉｎｖ’：要求されたデータ（キャッシュライン）は
当該ノード内では無効（ＩＮＶＡＬＩＤ）である。 'Ｓｕｐ'：要求されたキャッシュラインは自キャッシュ
メモリ１３ａに"ＥＸＣＬＵＳＩＶＥ−ＭＯＤＩＦＩＥ
Ｄ"で存在し、当該データを要求元に転送供給（ＳＵＰ
ＰＬＹ）し、転送した当該キャッシュラインは"ＩＮＶ
ＡＬＩＤ"とする。要求元のノードは、当該キャッシュ
ラインを受領後"ＥＸＣＬＵＳＩＶＥ−ＭＯＤＩＦＩＥ
Ｄ"として扱う。 'Ｓｈｒ'：要求されたデータ（キャッシュライン）は当
該ノード内では（Ｓｈａｒｅｄ−Ｕｎｍｏｄｉｆｉｅ
ｄ）である。 'Ｒｔｙ'：要求されたデータ（キャッシュライン）は他
のトランザクションによるキャッシュ・コヒーレンシ一
貫性制御を実行中であり、キャッシュ状態が確定してい
ないため、データ要求の中止と再実行を要求する。

【００４０】上記４種のＣＣＣ信号を各ノードから受信
して、ＣＣＣ信号が集まったところで（キャッシュ・コ
ヒーレンシ一貫性制御を要求したノードを除く）、集計
論理部（３３）は集計結果を決定する。その方法は下記
の通りである。 全てのＣＣＣ信号が’Ｉｎｖ’であったとき：集計結果
は’Ｉｎｖ’。 'Ｓｈｒ'がひとつ以上存在し、'Ｒｔｙ'が含まれていな
かったとき：集計結果は 'Ｓｈｒ'。 'Ｓｕｐ'が含まれていたとき：集計結果は'Ｓｕｐ'。 'Ｒｔｙ'が含まれていたとき：集計結果は'Ｒｔｙ'。た
だし、同時に'Ｓｕｐ'が含まれていたときは'Ｓｕｐ'を
優先し、集計結果は'Ｓｕｐ'になるものとする。

【００４１】上記以外の組み合わせが出現しないように
キャッシュは制御される。集計論理部（３３）の出力し
た集計結果は、ＣＣＣ送信キュー３１ｂを経由して、全
ノードに同報送信される。ＣＣＣ信号はイン・オーダで
処理するものとする。

【００４２】図５は、リクエスト管理テーブル部１４の
構成図である。図５に示されるように、リクエスト管理
テーブル部１４は、自ノード外のメモリに対して自ノー
ドのキャッシュ・メインメモリ制御部１２が行なったア
クセスリクエストのアドレスを保持する複数のレジスタ
１４ｂで構成され、キャッシュ・メインメモリ制御部１
２により、パス１４ａを介して、アドレスの登録、アド
レス登録の抹消などが行われる。

【００４３】図６はトランザクション受信部１６を説明
するための構成図である。図６で示されるように、トラ
ンザクション受信部１６は、バス１６aを介して、相互
結合網Ａから他ノードが発信したトランザクションを受
信する。また受信したトランザクションを、キャッシュ
・メインメモリ制御部１２へ送信する。トランザクショ
ン受信部１６は、キャッシュ・コヒーレンシ一貫性制御
を要求するトランザクションを格納するキュー１６ｄ、
キュー１６ｄのライトポインタ１６ｆとリードポインタ
１６ｅを有する。

【００４４】ライトポインタ１６ｆは、キャッシュ・コ
ヒーレンシ一貫性制御を要求するトランザクションを順
次キュー１６ｄへの格納する制御に用いられるものであ
る。リードポインタ１６ｅは、ＣＣＣ受信部１５からＣ
ＣＣ信号が到着したことを示す信号１５ｃを受け、その
ＣＣＣ信号に対応するトランザクションをスターベーシ
ョン管理部１９にパス１６ｃを介して送信する制御に用
いられる。このＣＣＣ信号は、図４を用いて説明したよ
うに、各モードからのＣＣＣ信号結果を集約したもので
ある。

【００４５】本実施の形態においては、このリクエスト
管理テーブルを参照することによって、自ノードが発行
したリード・トランザクションが、発行されているの
か、発行されていないのか、処理中であるのか、などの
ステータス情報を他ノードに提供することが可能とな
る。

【００４６】図７は、スターベーション管理部１９の構
成図である。図７に示されるように、スターベーション
管理部１９はスターベーション・レジスタ１９ｃ、スタ
ーベーション・レジスタ読み出し制御部１９ｄとスター
ベーション・レジスタ書き込み制御部１９ｅを有する。
スターベーション・レジスタ１９ｃは、ノード毎にリー
ド・トランザクションが要求するデータのアクセス先で
あるアドレスを保持するレジスタ１９ｃｂと保持された
値の有効性を示すバリッドビット１９ｃａを有する。

【００４７】本実施の形態におけるスターベーション・
レジスタ書き込み制御部１９ｅは、主に他のノードが発
信したトランザクションの管理を行なうものである。パ
ス１５ｂからＣＣＣ信号を、そのＣＣＣ信号に対応する
トランザクションをパス１６ｃから受信する。このと
き、スターベーション・レジスタ書き込み制御部１９ｅ
は以下のように動作する。 ＣＣＣ信号がＲｔｙの場合：パス１６ｃから受け取った
トランザクションに埋め込まれた情報からトランザクシ
ョンの発行元ノードを判定し、そのノードに対応するバ
リッドビット１９ｃａを読み出す。バリッドビッドが点
灯していない場合は点灯させ、トランザクションに埋め
込まれているアドレスをレジスタ１９ｃｂに書き込む。
バリッド信号の点灯は、対象となるアドレスについて、
このノードがリトライ待機中であるということを示す。
リトライ待機中のノードとは、現在処理中の他ノードの
リード・トランザクションが終了後に、そのデータに関
する次のリード・トランザクションのリトライをするノ
ードのことをいう。 ＣＣＣ信号がＲｔｙ以外の場合：パス１６ｃから受け取
ったトランザクションに埋め込まれた情報からトランザ
クションの発行元ノードを判定し、そのノードに対応す
るバリッドビット１９ｃａとレジスタ１９ｃｂを読み出
す。バリッドが点灯していたなら、レジスタ１９ｃｂか
ら読み出した値と、トランザクションに埋め込まれてい
るアドレスとを比較し、一致したなら、バリッドビット
１９ｃａを消灯させる。ＣＣＣ信号がＲｔｙではないこ
とは、発行元のノードによるトランザクションのリトラ
イが成功したことを意味する。従って、バリッドビッド
１９ｃａを消灯は、次にリトライすべきノードの特定を
解除するためのものである。

【００４８】本実施の形態のスターベーション・レジス
タ読み出し制御部１９ｄは、主に自ノードがキャッシュ
ミスをした後に、リード・トランザクション発行する際
に必要な処理を行なうものである。すなわち、プロセッ
サからリクエストが出されたデータに関してキャッシュ
ミスが生じた場合に、そのデータに関する各ノードのス
テータスをチェックするものである。その際のスターベ
ーション・レジスタ読み出し制御部１９ｄの動作は、以
下の通りである。

【００４９】キャッシュ・メインメモリ制御部１２（１
２）からパス１９ｂを経由して、発信しようとしている
リード・トランザクションの対象となるアドレス値を受
信する。まず、自ノードに対応するバリッドビット１９
ｃａとレジスタ１９ｃｂを読み出す。バリッドビットが
消灯しているか、または自ノードのレジスタ１９ｃｂと
パス１９ｂから受けたアドレスが一致しない場合は、対
象となるデータに対してまだ自ノードからリード・トラ
ンザクションが発行されていないか、もしくは、リトラ
イ待ちでない状態を示す。次に、自ノード以外のレジス
タ１９ｃｂの中にパス１９ｂから受けたアドレスと一致
するレジスタがないかどうか検索する。もし一致するレ
ジスタがあり、さらにそのレジスタのバリッドビット１
９ｃａが点灯している場合は、そのレジスタのノード
が、そのアドレスに対してリトライ待機中であることを
意味する。従って、パス１９ｂを介して受けたアドレス
に対し、プロセッサ１１に対してリトライをすべき旨を
示す信号を、１９ａを経由してキャッシュ・メインメモ
リ制御部１２に送信する。キャッシュ・メインメモリ制
御部１２は、その旨をプロセッサ１１に対して通知す
る。

【００５０】次に、本実施の形態で使用されるトランザ
クションのタイプについて、図８を参照して説明する。
ノード間の情報の授受は、基本的には、図８に例示され
る６４ビット幅のデータ単位（トランザクション）を相
互結合網Ａ（２０）の動作サイクル単位に時系列的に、
相互結合網Ａ（２０）に送り出し、あるいは、相互結合
網Ａ（２０）から受け取ることによって行われる。各ト
ランザクションのデータ構成は、各トランザクションの
タイプを示す領域（ＴＹＰＥ）、各々のトランザクショ
ンに関係するノード（要求元、転送先等）の識別情報等
が格納される領域（ＰＯＲＴ）、相手先で各々のトラン
ザクションを処理するときに使用される情報が格納され
る領域（ＭＩＳＣ）、リードアクセス対象のアドレスを
格納する領域（ＡＤＤＲＥＳＳ）、さらに必要に応じて
伝送されるデータを格納する領域（ＤＡＴＡ）を有して
いる。次に、各々のトランザクションのデータ構成につ
いて説明する。

【００５１】図８の（ａ）は、メモリモジュールと全プ
ロセッサ１１モジュールにブロードキャスト（同報送
信）されるリード・トランザクションを示している。８
ビット幅のＴＹＰＥフィールドには、本トランザクショ
ンがリード・トランザクションであることを示すビット
パターンが設定される。次の８ビットのＰＯＲＴフィー
ルドには、宛て先情報として、要求先のメインメモリを
保持するノードのポート番号と同時に他の全てのノード
に同報送信すべきことを相互結合網A（２０）に指示す
る特定のビットパターンが設定される。次の１６ビット
のＭＩＳＣフィールドには、たとえば、要求元であるノ
ードのポート番号等の識別情報が設定さる。残りの３２
ビットのＡＤＤＲＥＳＳフィールドは、リード対象のア
ドレスが設定される。

【００５２】図８の（ｂ）は、メインメモリから読み出
したデータを要求元に返すためのリターン・トランザク
ションを示す。ＴＹＰＥフィールドには、リターン・ト
ランザクションを示す特定のビットパターンが設定さ
れ、ＰＯＲＴフィールドにはリード要求元のノードのポ
ート番号が設定され、ＭＩＳＣフィールドには、たとえ
ばデータ長（サイクル数）等のパラメータが設定され、
残りのフィールドは未使用である。

【００５３】図８の（ｃ）は、リード要求に対して、他
ノードのキャッシュメモリ１３ａが更新された最新デー
タを保持していたときに、これをリード要求元に転送す
る転送トランザクションを示している。ＴＹＰＥフィー
ルドには、転送トランザクションを示す特定のビットパ
ターンが設定され、ＰＯＲＴフィールドには転送先のノ
ードのポート番号が設定され、ＭＩＳＣフィールドに
は、たとえばデータ長（サイクル数）等のパラメータが
設定され、残りのフィールドは未使用である。

【００５４】図８の（ｄ）は、メモリライトを要求する
ライト・トランザクションを示している。ＴＹＰＥフィ
ールドには、ライト・トランザクションを示す特定のビ
ットパターンが設定され、ＰＯＲＴフィールドには要求
先のメインメモリを保持するノードのポート番号が設定
され、ＭＩＳＣフィールドには、たとえばデータ長（サ
イクル数）等のパラメータが設定され、残りのフィール
ドは未使用である。

【００５５】次に図９、図１０、図１１のタイミングチ
ャートを参照して、本実施の形態のマルチプロセッサ１
１システムおよびトランザクション制御の作用の一例を
説明する。なお、図９と図１０、図１１において、縦方
向には、動作に関係する各ノードまたはノード内の構成
要素が配置され、横方向は各ノードの動作の時間軸を示
す。時間軸は、行なわれる処理のまとまり毎に、フェー
ズ１〜６に区切られている。本実施の形態におけるマル
チプロセッサ１１システムのノード数はＮＤ０〜ＮＤ２
の３ノードとする。また、初期状態として、全ノードの
リクエスト管理部１４に登録はなく、またスターベーシ
ョン管理部１９のバリッドビット１９ｃａは全て消灯し
ているものとする。

【００５６】（フェーズ１）図９において、ＮＤ０のプ
ロセッサ１１がリード要求を発行する。要求されたデー
タのキャッシュ状態はＩｎｖａｌｉｄであり、キャッシ
ュミスを起こす。キャッシュ・メインメモリ制御装置
は、アドレスをリクエスト管理テーブル１４に登録し、
相互結合網Aにリード・トランザクションを発行する。
相互結合網Aは全ノードにＮＤ０の発行したリード・ト
ランザクションを配信する。ＮＤ１とＮＤ２はリード・
トランザクションを受けると、自ノードのキャッシュ状
態を調べ、Ｉｎｖａｌｉｄ状態であることを示すメッセ
ージ’Ｉｎｖ’を相互結合網Ｂに送信する。相互結合網
ＢはＮＤ１とＮＤ２から送信された’Ｉｎｖ’メッセー
ジを受信し、これを集計して、集計結果’Ｉｎｖ’メッ
セージを全ノードに配信する。

【００５７】（フェーズ２）ＮＤ１のプロセッサ１１が
リード要求を発行する。リード要求のアドレスは（フェ
ーズ１）でＮＤ０のプロセッサ１１が発行したリード要
求のアドレスと同一であるとする。従って、フェーズ１
は、リード・トランザクションが処理中の状態におい
て、同じアクセスに対するリード要求が発行された場合
の具体的な処理を示している。

【００５８】ＮＤ１はキャッシュミスを起こす。キャッ
シュ・メインメモリ制御装置はアドレスをリクエスト管
理テーブル１４に登録し、相互結合網Aにリード・トラ
ンザクションを発行する。相互結合網Aは全ノードにＮ
Ｄ１の発行したリード・トランザクションを配信する。
ＮＤ２は、トランザクション受信部１６において、リー
ド・トランザクションを受ける。受け取った結果、キャ
ッシュ・メインメモリ制御部１２が自ノードのキャッシ
ュ状態を調べ、Ｉｎｖａｌｉｄ状態であることを示すメ
ッセージ’Ｉｎｖ’を、ＣＣＣ送信部１７から相互結合
網Ｂに送信する。

【００５９】一方、このリード・トランザクションをト
ランザクション受信部１６で受信したＮＤ０は、キャッ
シュ・メインメモリ制御部１２がリクエスト管理テーブ
ル１４を調べ、要求されたデータのアドレスが登録され
ているか否かをチェックする。ＮＤ０にはフェーズ１で
要求されたデータのアドレスに対して、リード・トラン
ザクションを発信しているため、このアドレスが登録さ
れており、同一アドレスに対する自ノードのリード処理
が実行中であることが判明する。ＮＤ０のリード処理は
実行途中であり、キャッシュの状態が確定していないた
め、ＮＤ１のリード要求に対してキャッシュの状態を応
答することができない。

【００６０】この問題に対しては、たとえば、キャッシ
ュメモリ１３ａがメインメモリからのデータの読み込み
の処理を実行中で、キャッシュの状態が確定していない
場合には、別のキャッシュメモリ１３ａからのキャッシ
ュ・コヒーレンシ一貫性制御要求に対してはキャッシュ
・コヒーレンシ一貫性制御要求の中止と再実行（リトラ
イ）を要求する方法が考えられる。

【００６１】このとき、次のような問題が生じる。例え
ば、ある第一のキャッシュメモリ１３ａがメインメモリ
からのデータの読み込みの処理を実行中であり、第二の
キャッシュメモリ１３ａからのキャッシュ・コヒーレン
シ一貫性制御要求に対してリトライを要求したとする。
ここで、第一のキャッシュメモリ１３ａの処理が完了
し、第二のキャッシュメモリ１３ａがキャッシュ・コヒ
ーレンシ一貫性制御要求を再実行する直前に第三のキャ
ッシュメモリ１３ａがキャッシュ・コヒーレンシ一貫性
制御要求を発行したとする。すると、これより遅れてキ
ャッシュ・コヒーレンシ一貫性制御要求の再実行をした
第二のキャッシュメモリ１３ａは第三のキャッシュメモ
リ１３ａによって再びリトライを要求される。このよう
なことが繰り返されると、第二のキャッシュメモリ１３
ａのキャッシュ・コヒーレンシ一貫性制御要求がいつま
でも処理されず、沈み込み（スターベーション）を起こ
す可能性がある。この問題に関しては、（フェーズ４）
で本発明により解決方法が示されるであろう。

【００６２】ＮＤ０はキャッシュ・コヒーレンシ一貫性
制御の結果として、ＮＤ１のリード要求の中止と再実行
（リトライ）を要求するメッセージ'Ｒｔｙ'をＣＣＣ送
信部１７から相互結合網Ｂに送信する。このように、各
ノードは、自ノードの発信したリード・トランザクショ
ンが処理中の状態であるかどうかということに関して、
他ノードにその情報を通知する。

【００６３】次に、相互結合網Ｂは、ＮＤ２の発行し
た’Ｉｎｖ’メッセージとＮＤ０の発行した'Ｒｔｙ'
メッセージを集計して、集計結果'Ｒｔｙ'メッセージを
全ノードに配信する。

【００６４】各ノードのＣＣＣ受信部１５は、このＣＣ
Ｃ信号を受け取り、スターベーション管理部１９に出力
する。スターベーション管理部１９では、前述のよう
に、ＮＤ１の発行したリード・トランザクションが送信
されている。この処理では、前述のスターベーション・
レジスタ書込み制御部１９ｅが処理を行なう。スターベ
ーション・レジスタ書込み制御部１９ｅがスターベーシ
ョン・レジスタ１９ｃのＮＤ１のバリッドビット１９ｃ
ａを点灯させ、レジスタ１９ｃｂにリード・トランザク
ションのアドレスを登録する。このようにして、スター
ベーション・管理部を参照すれば、格納されたリード・
トランザクションのアドレスに対して、現在処理中のＮ
Ｄ０のリード・トランザクションが終了した場合、次に
ＮＤ１のリード・トランザクションが処理される予定で
あることを、処理中のリード・トランザクションを発行
したＮＤ０、リトライを要求されたリード・トランザク
ションを発行したＮＤ１を含めた各々のノードで把握す
ることが可能となる。

【００６５】一方、ＮＤ１は'Ｒｔｙ'メッセージを受信
すると、プロセッサ１１に対してリード要求の再実行
（リトライ）を要求し、リクエスト管理テーブル１４の
アドレスの登録を抹消して、リード処理を完了する。そ
の後、プロセッサ１１からリトライがされると、再度リ
ード・トランザクションが実行されることとなる。

【００６６】このように、ＮＤ０がリード処理を実行中
であり、リクエスト管理テーブル１４に登録されている
アドレスへの他ノードのリード要求に対して'Ｒｔｙ'を
返答することにより、キャッシュメモリ１３ａの状態が
確定していないアドレスに対して誤ったキャッシュ・コ
ヒーレンシ一貫性制御結果を返答することを防ぐことが
でき、さらには正しくキャッシュ一貫性を保つことがで
きる。

【００６７】（フェーズ３）ＮＤ０は（フェーズ１）の
リード要求の処理を継続し、メインメモリのデータをキ
ャッシュメモリ１３ａにＥｘｃｌｕｓｉｖｅ−Ｕｎｍｏ
ｄｉｆｉｅｄ状態で登録して、プロセッサ１１にデータ
を供給する。また、リクエスト管理テーブル１４のアド
レスの登録を抹消して、リード処理を完了する。

【００６８】（フェーズ４）図１０は図９の処理の続き
を図示している。図１０のタイミングチャートの開始時
点では、全ノードのスターベーション・レジスタ１９ｃ
のＮＤ１に対応するバリッドビット１９ｃａが点灯して
おり、またレジスタ１９ｃｂには（フェーズ２）でＮＤ
１のプロセッサ１１が要求したリードアドレスが登録さ
れている。

【００６９】ここで、ＮＤ２のプロセッサ１１がリード
要求を発行する。リード要求のアドレスは（フェーズ
１）でＮＤ０のプロセッサ１１が発行したリード要求の
アドレスおよび、（フェーズ２）でＮＤ１のプロセッサ
１１が発行したリード要求のアドレスと同一であるとす
る。従って、リトライ待機中のノードがある場合に、そ
れ以外のノードのプロセッサ１１が、同じアドレスに対
してリクエストをした場合の説明である。

【００７０】ＮＤ２のキャッシュはキャッシュミスを起
こす。ＮＤ２のキャッシュ・メインメモリ制御部１２は
パス１９ｂを経由して、スターベーション管理部１９に
対して、リード要求のアドレスを送信する。ここで、図
７で説明したように、スターベーション管理部１９のス
ターベーション・レジスタ読み出し制御部１９ｄはパス
１９ｂから受信したアドレスに対して、スターベーショ
ン・レジスタ１９ｃの検索を行なう。ＮＤ２に対応する
バリッドビットは点灯しておらず、ＮＤ１に対応するバ
リッドビットが点灯し、さらにレジスタ１９ｃａに登録
されているアドレスはパス１９ｂから受信したアドレス
に一致する。

【００７１】上記の判定から、ＮＤ２のスターベーショ
ン管理部１９はパス１９ａを経由して、キャッシュ・メ
インメモリ制御部１２を経由して、プロセッサ１１から
当該アドレスへのアクセスの中止および再実行（リトラ
イ）を要求する信号を送信する。パス１９ａからリトラ
イの要求を受けたＮＤ２のキャッシュ・メインメモリ制
御部１２は相互結合網Aにリード・トランザクションを
発行することなく、プロセッサ１１に対してリード要求
の再実行を要求して、リード処理を完了する。

【００７２】（フェーズ５）次に、リード要求のリトラ
イを要求されたＮＤ１のプロセッサ１１は再び、同一ア
ドレスに対するリード要求を発するものとする。これ
は、次に処理される予定のリード・トランザクションを
発行するべきノードが、リトライをする処理を示すもの
である。

【００７３】ＮＤ１はキャッシュミスを起こす。キャッ
シュ・メインメモリ制御装置はアドレスをリクエスト管
理テーブル１４に登録し、相互結合網Aに向かってリー
ド・トランザクションを発行する。

【００７４】相互結合網Aは全ノードにリード・トラン
ザクションを配信する。ＮＤ２はリード・トランザクシ
ョンを受けると、自ノードのキャッシュ状態を調べ、Ｉ
ｎｖａｌｉｄ状態であることを示すメッセージ’Ｉｎ
ｖ’を相互結合網Ｂに送信する。

【００７５】リード・トランザクションを受信したＮＤ
０は自ノードのキャッシュ状態を調べ、要求されたデー
タがＥｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態で
登録されていることを認識する。ＮＤ０のキャッシュ・
メインメモリ制御部１２はキャッシュの状態をＩｎｖａ
ｌｉｄに変更した後、キャッシュ・コヒーレンシ一貫性
制御結果として、’Ｉｎｖ’メッセージを相互結合網Ｂ
に送信する。また、ＮＤ０はリード・トランザクション
の要求するアドレスが自ノードのメインメモリのデータ
を要求していることを判定し、メインメモリからデータ
を読み出して、相互結合網Aに送信する。

【００７６】相互結合網ＢはＮＤ０とＮＤ２の’Ｉｎ
ｖ’メッセージを集計して、集計結果’Ｉｎｖ’メッセ
ージを全ノードに配信する。

【００７７】このとき、各ノードのスターベーション管
理部１９にはこの’Ｉｎｖ’メッセージとＮＤ１の発行
したリード・トランザクションが送信されている。各ノ
ードのスターベーション管理部１９はスターベーション
・レジスタ１９ｃのＮＤ１のバリッドビット１９ｃａが
点灯していることと、レジスタ１９ｃｂに登録されてい
るアドレスがリード・トランザクションのアドレスと一
致することを判定し、ＮＤ１のバリッドビット１９ｃａ
を消灯する。

【００７８】相互結合網Ｂからの’Ｉｎｖ’メッセージ
と、ＮＤ０からのデータを受信したＮＤ１は、データを
Ｅｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態でキャ
ッシュメモリ１３ａに登録して、プロセッサ１１にデー
タを供給する。また、リクエスト管理テーブル１４のア
ドレスの登録を抹消して、リード処理を完了する。

【００７９】このように、スターベーション管理部１９
に'Ｒｔｙ'のキャッシュ・コヒーレンシ一貫性制御結果
を受けたアドレスとメモリアクセスの要求元を登録し
て、該要求元以外からの該アドレスに対するメモリアク
セスを抑止することによって、該要求元の優先度を上げ
て、要求の沈み込みを防ぐことができる。

【００８０】（フェーズ６）図１１は図１０の処理の続
きを図示している。図１１のタイミングチャートの開始
時点では、全ノードのスターベーション・レジスタのバ
リッドビット１９ｃａは全て消灯しており、また、どの
ノードでもリクエスト管理テーブル１４部にアドレスの
登録はない。

【００８１】リード要求のリトライを要求されたＮＤ２
のプロセッサ１１は再び、同一アドレスに対するリード
要求を発する。これは、次に処理されるべきリード・ト
ランザクションがある場合に、リード・トランザクショ
ンを発行しなかったノードが、リトライをする処理を示
す。

【００８２】ＮＤ２はキャッシュミスを起こす。（フェ
ーズ４）においては、ＮＤ２のキャッシュ・メインメモ
リ制御部１２はスターベーション管理部１９のリトライ
指示により、相互結合網Aにリード・トランザクション
を発行することなく、プロセッサ１１に対してリード要
求の再実行を要求して、リード処理を完了した。ここで
は、スターベーション・レジスタのバリッドビットは点
灯していないため、キャッシュ・メインメモリ制御部１
２はアドレスをリクエスト管理テーブル１４に登録し、
相互結合網Aにリード・トランザクションを発行する。

【００８３】相互結合網Aは全ノードにリード・トラン
ザクションを配信する。

【００８４】ＮＤ０はリード・トランザクションを受け
ると、自ノードのキャッシュ状態を調べ、Ｉｎｖａｌｉ
ｄ状態であることを示すメッセージ’Ｉｎｖ’を相互結
合網Ｂに送信する。リード・トランザクションを受信し
たＮＤ１は自ノードのキャッシュ状態を調べ、要求され
たデータがＥｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ
状態で登録されていることを判定する。ＮＤ１のキャッ
シュ・メインメモリ制御部１２はキャッシュの状態をＩ
ｎｖａｌｉｄに変更した後、キャッシュ・コヒーレンシ
一貫性制御結果として、’Ｉｎｖ’メッセージを相互結
合網Ｂに送信する。また、ＮＤ０はリード・トランザク
ションの要求するアドレスが自ノードのメインメモリの
データを要求していることを判定し、メインメモリから
データを読み出して、相互結合網Aに送信する。

【００８５】相互結合網ＢはＮＤ０とＮＤ１の’Ｉｎ
ｖ’メッセージを集計して、集計結果’Ｉｎｖ’メッセ
ージを全ノードに配信する。

【００８６】相互結合網Ｂからの’Ｉｎｖ’メッセージ
とＮＤ０からのデータを受信したＮＤ２は、データをＥ
ｘｃｌｕｓｉｖｅ−Ｕｎｍｏｄｉｆｉｅｄ状態でキャッ
シュメモリ１３ａに登録して、プロセッサ１１にデータ
を供給する。また、リクエスト管理テーブル１４のアド
レスの登録を抹消して、リード処理を完了する。

【００８７】このように、本実施の形態では、各ノード
は、自ノードが発行したリード・トランザクションにつ
いてはリクエスト管理テーブル１４を用いて管理する。
このリクエスト管理テーブル１４を用いて、他ノードか
らのリード・トランザクションを受け取った場合に、自
ノードの発行状態を通知することが可能となる。また、
相互結合網においては、いずれかのノードから発行され
たリード・トランザクションに対応して各ノードから自
己のキャッシュ状態に関する情報を集計し、いずれかの
ノードが発行したトランザクションが処理中であるかど
うかを決定し、その決定結果を各ノードに通知する。こ
のようにして、あるノードに対するリード・トランザク
ションが処理中であるのに、別のノードからリード・ト
ランザクションが発行され、そのノードに対してキャッ
シュメモリが応答してしまうという事態を防止すること
が可能となる。

【００８８】本実施の形態においては、さらに、相互結
合網からの通知は、アドレスとともに各ノードのスター
ベーション管理部１９に登録され、次にリード・トラン
ザクションをすることが可能なノードを決めることでき
る。さらには、このスターベーション管理部１９を用い
て、自ノードからリード・トランザクションを発行すべ
きか否かを判断することが可能となる。このように、処
理中のリード・トランザクションがある場合に、次に処
理されるべきノードを定めることができ、それ以外のノ
ードは、そのノードの処理が完了するまでは、同一アド
レスに対するリード・トランザクションを発行しないこ
とにより、処理の沈みこみを防ぐことができる。

【００８９】なお、本実施の形態においては、リクエス
ト管理テーブル１４を参照し、自ノードのＣＣＣ信号と
して‘Ｒｔｙ’を出力する場合に、併せてスターベーシ
ョン・レジスタ１９ｃに対する登録を行なうようにして
もよい。すなわち、一つでも‘Ｒｔｙ’が出力される場
合は、各ノードがその旨を認識する必要があるので、集
計結果を出さずに、そのまま他のノードに対して‘Ｒｔ
ｙ’信号を出力する構成としてもよい。または、自ノー
ドのスターベーション・レジスタ１９ｃに対してはすぐ
に書き込みを行なうような構成とすることも可能であ
る。

【００９０】次に、第二の実施の形態について説明す
る。第一の実施の形態では、自ノードが発行したトラン
ザクションに関しては、リクエスト管理テーブル１４を
参照するようにしていたが、スターベーション管理部１
９を併用する構成としてもよい。この場合は、リクエス
ト管理テーブル１４の構成を全くなくし、リクエスト管
理テーブル１４で行なう処理をすべてスターベーション
管理部１９で統括させる構成としてもよいし、他ノード
からのトランザクションを受け取った場合にどのＣＣＣ
信号を出力するかを決める場合にのみスターベーション
管理部１９を用いる構成としてもよい。

【００９１】前者の構成では、図９〜１１において、リ
クエスト管理テーブルへのアドレスの登録、抹消処理
は、すべてスターベーション管理部１９で行なわれるこ
ととなる。その場合は、バリッドビッド19のほかに、各
々のノードに対して、処理中であることを示すペンディ
ングビットを格納する構成とする。受信したＣＣＣ信号
が’Ｉｎｖ’であったときは、その他にそのアドレスが
あり、そのレジスタのバリッドビッド１９ｃが点灯して
ない場合に、自ノードのレジスタにそのアドレスを格納
し、対応するペンティングビットを立てる。このように
して、現在トランザクションが処理中であることが各ノ
ードにおいて登録される。自ノードが発行したトランザ
クションが終了した場合は、ペンディングビッドを倒
し、レジスタの値を消去する。

【００９２】また、後者の場合は、自ノードのみ処理中
であることを把握しておけばよいので、前者のような構
成でなく、第一の実施の形態においてリクエスト管理テ
ーブル１４にアドレスを格納するのに合わせて、スター
ベーション・レジスタの自ノードのレジスタにそのアド
レスを格納し、ペンディングビットを立てる構成とす
る。

【００９３】このように、スターベーション・レジスタ
を処理中のノードとリトライ待機中のノードを登録する
構成とした場合の、各ノードにおけるキャッシュ・コヒ
ーレンシ一貫性制御について説明する。本実施の形態で
は、図９のフェーズ２において、他ノードからのトラン
ザクションを受けると、スターベーション・レジスタを
用いて、自ノードのトランザクションが処理中であるか
否かを識別する点が異なる。自ノードに対して、他ノー
ドのトランザクションのアドレスと同一アドレスに対し
て、ペンディングビットがたっている場合は、ＣＣＣ信
号として‘Ｒｔｙ’信号を出力する。このような構成に
より、自ノードが処理中の場合であるのに関わらず、キ
ャッシュメモリが別のキャッシュメモリからのキャッシ
ュ・コヒーレンシ一貫性要求に応答してしまうことを防
止することができる。

【００９４】また、本実施の形態において、前者の構
成、すなわち、処理中のリード・トランザクションを全
てのノードのスターベーション・レジスタに登録可能な
構成においては、図９のフェーズ２において自ノードが
トランザクションを発行する場合に、スターベーション
・レジスタを参照し、すでに処理中のリード・トランザ
クションがあることを認識することが可能となる。従っ
て、自ノードがトランザクションを発行する前に参照す
ることで、第二のトランザクションが発行されることを
防ぐことができる。その場合は、リトライ待機中のノー
ドに対しては、沈み込みは防止することができないが、
相互結合網の不要なトランザクションを削減することが
可能となる。

【００９５】次に、第３の実施の形態について説明す
る。本実施の形態では、スターベーション・レジスタに
おいて、リトライ待機中のノードを複数登録することが
できるものとする。すなわち、スターベーション管理部
１９を、各ノードのエントリに対して、優先順位をつけ
るための領域を有する構成とする。このようにして、処
理されるべきリード・トランザクションを複数個登録す
るものとする。次に、本実施の形態における処理を説明
する。

【００９６】まず、複数個のノードを登録可能とするた
めに、本実施の形態においては、プロセッサ１１からリ
クエストが出され、スターベーション・レジスタにリト
ライ待機中のノードがあったとしても、プロセッサ１１
に対してリトライを要求するのではなく、他ノードに対
してリード・トランザクションを発行する構成となる。
また、本実施の形態では、他ノードからのトランザクシ
ョンを受け取った場合に、リクエスト管理テーブル１４
だけでなく、スターベーション管理部１９が、スターベ
ーション・レジスタも参照するものとする。

【００９７】例えば、図１０のフェーズ４を例に説明す
ると、ＮＤ２がキャッシュミスを起こした場合にスター
ベーション・レジスタを参照すると、ＮＤ１がリトライ
待機中であることが判明する。その場合に、リード・ト
ランザクションを発行すると、ＮＤ０は、リクエスト管
理テーブル１４とスターベーション・レジスタの自ノー
ドのレジスタを確認し、自ノードが、処理中又はリトラ
イ待機中であるか否かを判断する。ＮＤ０の場合は、処
理中でも、リトライ待機中でもないので、ＣＣＣ信号と
して’Ｉｎｖ’信号を出力する。ＮＤ１は、リクエスト
管理テーブル１４を参照すると自ノードが処理中でない
ことがわかるが、スターベーション・レジスタを参照す
ると、自ノードがリトライ待機中であることが判明す
る。この場合に、ＮＤ１は、‘Ｒｔｙ’信号をＣＣＣ信
号として出力する。すると、相互結合網の集計結果によ
り、‘Ｒｔｙ’信号が通知され、ＮＤ２についてもリト
ライ待機中であることを各ノードで判断することが可能
である。ＮＤ２がリトライ待機中であることをスターベ
ーション・レジスタに登録する場合に、現状のスターベ
ーション・レジスタに登録されているリトライ待機中の
ノードを計数し、ＮＤ２は優先順位を格納するビットに
その中で最後の優先順位を登録するものとする。このよ
うな構成により、複数のリトライ待機中のノードを登録
することが可能となる。

【００９８】次に、リトライ待機中であってノードがリ
トライを行なう場合の処理について説明する。優先順位
をきめて複数個のリトライ待機中のノードを登録可能と
する場合は、リトライ待機中のノードの優先順位に従っ
て処理を行なわないと、沈み込みを防止することができ
ない。まず、自ノードのプロセッサ１１からリトライが
リクエストされた場合に、スターベーション・レジスタ
を参照する。本実施の形態のスターベーション・レジス
タにおいては、自ノードのリトライ待機中のノードが、
各優先順位とともに登録されている。従って、リトライ
待機中の他のノードが登録されていたとしても、自ノー
ドの優先順位が最優先となっている場合は、リード・ト
ランザクションを出力する。反対に、自ノードよりも、
他のノードの方が高い優先順位の場合は、第１の実施の
形態におけるフェーズ４と同様に、プロセッサへリトラ
イの指示をだす。このような構成により、本実施の形態
においては、複数のリトライ待機中の他ノード間での、
スターベーションを防止することが可能となる。

【００９９】

【発明の効果】本発明によれば複数のキャッシュメモリ
が時間的に近接してメインメモリからのデータの読み込
みの処理を実行した場合にも、正しいキャッシュ・コヒ
ーレンシ一貫性制御を実現することが可能なマルチプロ
セッサシステムを得ることができる。

【０１００】また、本発明によればキャッシュ一貫性を
保つために、キャッシュ・コヒーレンシ一貫性制御要求
に対する中止と再実行を要求しても、キャッシュ・コヒ
ーレンシ一貫性制御要求の沈み込みを防ぐことが可能な
マルチプロセッサシステムを得ることができる。

【０１０１】また、本発明によればリトライの要求を受
けたプロセッサがメモリアクセスの再実行を行なう間、
該メモリアクセスのアドレスに対するその他のプロセッ
サのメモリアクセス要求が相互結合網に発行されること
を抑止するので、相互結合網が処理するトランザクショ
ン数を削減する効果もある。

【図面の簡単な説明】

【図１】本発明の一実施の形態であるマルチプロセッサ
システム全体の構成の一例を示す構成図である。

【図２】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノードの構成の一例を詳細に例示した
構成図である。

【図３】本発明の一実施の形態であるマルチプロセッサ
システムにおける相互結合網Aの構成の一例を詳細に例
示した構成図である。

【図４】本発明の一実施の形態であるマルチプロセッサ
システムにおける相互結合網Ｂの構成の一例を詳細に例
示した構成図である。

【図５】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のリクエスト管理テーブル部
の一例を例示した構成図である。

【図６】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のトランザクション受信部の
一例を例示した構成図である。

【図７】本発明の一実施の形態であるマルチプロセッサ
システムにおけるノード内のスターベーション管理部の
一例を例示した構成図である。

【図８】本発明の一実施の形態であるマルチプロセッサ
システムに用いられるトランザクションの構成の一例を
示す構成図である。

【図９】本発明の一実施形態におけるメモリリード処理
の作用の一例を示すタイミングチャートである（フェー
ズ１〜３）。

【図１０】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（フェ
ーズ４〜５）。

【図１１】本発明の一実施形態におけるメモリリード処
理の作用の一例を示すタイミングチャートである（フェ
ーズ６）。

【図１２】従来技術を説明するためのマルチプロセッサ
システム全体の構成の一例を示す構成図である。

【図１３】従来技術を説明するためのマルチプロセッサ
システムにおけるメモリリード処理の動作を示すタイミ
ングチャートである。

【図１４】従来技術を説明するためのマルチプロセッサ
システムにおいて、二つのプロセッサが同一アドレスに
対するリード処理を時間的に近接して行なうときの動作
を示すタイミングチャートである。

【符号の説明】

１０…ノード（ＮＤ０〜ＮＤｎ） １１…プロセッサ １２…キャッシュ・メインメモリ制御部 １３ａ…キャッシュメモリ １３ｂ…キャッシュタグ １３ｃ…メインメモリ １４…リクエスト管理テーブル部 １４ａ…キャッシュ・メインメモリ制御部とリクエスト
管理テーブル間のパス １４ｂ…アドレス登録レジスタ １５…ＣＣＣ受信部 １５ａ…相互結合網ＢからＣＣＣ受信部へのパス １５ｂ…ＣＣＣ受信部からキャッシュ・メインメモリ制
御部とスターベーション管理部へのパス １５ｃ…ＣＣＣ受信部からトランザクション受信部への
パス １６…トランザクション受信部 １６ａ…相互結合網Aからトランザクション受信部への
パス １６ｂ…トランザクション受信部からキャッシュ・メイ
ンメモリ制御部へのパス １６ｃ…トランザクション受信部からスターベーション
管理部へのパス １６ｄ…キャッシュ・コヒーレンシ一貫性制御を要求す
るトランザクションを保持するキュー １６ｅ…キュー（１６ｄ）のリードポインタ １６ｆ…キュー（１６ｄ）のライトポインタ １７…ＣＣＣ送信部 １７ａ…ＣＣＣ送信部から相互結合網Ｂへのパス １７ｂ…キャッシュ・メインメモリ制御部からＣＣＣ送
信部へのパス １８…トランザクション送信部 １８ａ…トランザクション送信部から相互結合網Aへの
パス １８ｂ…キャッシュ・メインメモリ制御部からトランザ
クション送信部へのパス １９…スターベーション管理部 １９ａ…スターベーション管理部からキャッシュ・メイ
ンメモリ制御部へのパス １９ｂ…キャッシュ・メインメモリ制御部からスターベ
ーション管理部へのパス、 １９ｃ…スターベーション・レジスタ １９ｃａ…スターベーション・レジスタのバリッドレジ
スタ １９ｃｂ…スターベーション・レジスタのアドレスレジ
スタ １９ｄ…スターベーション・レジスタ読み出し制御部 １９ｅ…スターベーション・レジスタ書き込み制御部 ２０…相互結合網A（ＸＢ１） ２０ａ…リード・トランザクション ２０ｂ…リターン・トランザクション ２０ｃ…転送トランザクション ２０ｅ…ライト・トランザクション ２１ａ…トランザクション受信キュー ２１ｂ…トランザクション送信キュー ２２ａ…トランザクション受信ポート ２２ｂ…トランザクション送信ポート ３０…相互結合網Ｂ（ＸＢ２） ３１ａ…ＣＣＣ信号受信キュー ３１ｂ…ＣＣＣ信号送信キュー ３２ａ…ＣＣＣ信号受信キューから集計論理部へのパ
ス、 ３２ｂ…集計論理部からＣＣＣ信号送信キューへのパス ３３…集計論理部 １００…ノード １０１…プロセッサ １０２…キャッシュ・メインメモリ制御部 １０３…キャッシュメモリ １０４…キャッシュタグ １０５…メインメモリ １１１…相互結合網A １１２…相互結合網Ｂ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/08 ５５１ Ｇ０６Ｆ 12/08 ５５１Ｃ ５７５ ５７５ 15/16 ６４５ 15/16 ６４５ (72)発明者 藤原 至誠 神奈川県海老名市下今泉810番地 株式会 社日立製作所インターネットプラットフォ ーム事業部内 (72)発明者 小柳 勝 神奈川県海老名市下今泉810番地 株式会 社日立製作所インターネットプラットフォ ーム事業部内 (72)発明者 村上 祥基 神奈川県海老名市下今泉810番地 株式会 社日立製作所インターネットプラットフォ ーム事業部内 Ｆターム(参考） 5B005 JJ01 KK03 KK14 MM01 NN43 NN45 NN53 NN72 NN75 PP11 PP26 5B045 BB16 BB28 DD12 EE03 EE12

Claims (7)

【特許請求の範囲】
1. 【請求項１】複数のノードと、前記複数のノードを接続
   する相互結合網と、前記複数のノードがアクセスするメ
   インメモリを有するマルチプロセッサシステムにおい
   て、前記複数のノードの各々は、自ノードが行なった前
   記メインメモリに対するリード要求のステータス情報を
   出力し前記メインメモリに対する前記他ノードのリード
   要求に関する第1の情報を受信する第1の通信部と、前記
   受信した第一の情報を格納する記憶部と、自ノードが前
   記記憶部に格納した情報を参照し前記メインメモリに対
   するリード要求を行なうか否かを決定する制御部を備え
   ることを特徴とするマルチプロセッサシステム。
2. 【請求項２】請求項１に記載のマルチプロセッサシステ
   ムにおいて、前記複数のノードの各々は、前記メインメ
   モリとの間で授受されるデータを保持するキャッシュメ
   モリを有し、前記第1の通信部は、前記第1の情報を格納
   した後に前記ステータス情報もしくは前記リード要求が
   されたデータに対する自ノードのキャッシュ状態情報を
   出力し、前記相互結合網は前記複数のノードの各々から
   前記第1の通信部が出力した前記ステータス情報もしく
   はキャッシュ状態情報を受信する第２通信部と、前記第
   ２の受信部が受信した前記ステータス情報もしくはキャ
   ッシュ状態情を集約する論理部とを備え、前記第２の通
   信部は前記論理部が集約した集約結果を前記複数のノー
   ドに通知することを特徴とするマルチプロセッサシステ
   ム。
3. 【請求項３】請求項２に記載のマルチプロセッサシステ
   ムにおいて、前記第1の通信部は前記集約結果を受信
   し、前記記憶部は前記集約結果を更新することを特徴と
   するマルチプロセッサシステム。
4. 【請求項４】請求項１に記載のマルチプロセッサシステ
   ムにおいて、前記リード要求に関する第1の情報は前記
   リード要求を出力したノードに識別情報と、前記リード
   要求がされたメモリのアクセス先アドレスであることを
   特徴とするマルチプロセッサシステム。
5. 【請求項５】請求項４に記載のマルチプロセッサシステ
   ムにおいて、前記記憶部は同一のアドレスに対して複数
   のリード要求がされている場合に、前記複数のリード要
   求の優先順位をさらに格納することを特徴とするマルチ
   プロセッサシステム。
6. 【請求項６】複数のプロセッサモジュールであって、前
   記複数のプロセッサモジュールの各々は、データ処理を
   行なうプロセッサと、自モジュール及び他モジュールの
   プロセッサが処理するデータを格納するメインメモリ
   と、前記プロセッサが処理するデータを一時格納するキ
   ャッシュメモリと、リード処理要求を行なったモジュー
   ルと前記リード処理要求に関する情報を格納する第1の
   記憶部と、前記他モジュールが行なったリード処理要求
   に対する自キャッシュメモリ情報を出力し、自モジュー
   ルのプロセッサが前記キャッシュメモリに格納されてい
   ないデータを要求する場合に前記第1の記憶部に格納さ
   れている情報を参照してリード要求をするか否かを判断
   するキャッシュメモリ制御部を有する複数のプロセッサ
   モジュールと、前記複数のプロセッサモジュールを接続
   する相互結合網であって、前記複数のプロセッサモジュ
   ールが出力したキャッシュメモリ情報を集約し前記複数
   のプロセッサモジュールに集約結果を出力する相互結合
   網を有することを特徴とするマルチプロセッサシステ
   ム。
7. 【請求項７】相互結合網を介して接続された他のノード
   とメインメモリを共有し、前記メインメモリのデータを
   一時格納するキャッシュメモリと、ノードが行なったリ
   ード要求の状態を保持する記憶部を有する複数のノード
   に対するキャッシュ・コヒーレンシ制御方法において、
   前記キャッシュメモリにデータがない場合には、前記記
   憶部に格納した情報を参照し、前記他のノードが前記デ
   ータに対するリード要求を行なっている場合は自ノード
   からのリード要求を中止し、前記他のノードが前記デー
   タに対するリード要求を行なっていない場合はリード要
   求を発行し、自ノードのリード要求の処理状態を前記記
   憶部に保持することを特徴とするキャッシュ・コヒーレ
   ンシ制御方法。