JP2000298653A - 並列計算機システムにおけるキャッシュ一貫性保証方法及びその並列計算機 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 他プロセッサノードとのキャッシュ一致制御
の頻度を少くし、システムのメモリアクセススループッ
トを向上させる 【解決手段】 アクセス権メモリ及びアクセス権制御回
路をノード制御回路内に設け、自ノードからのメモリア
クセス時に、まずアクセス権メモリをチェックし、自ノ
ードが既にアクセス権を持っている場合に他ノードのキ
ャッシュ一致制御を省略する。また、アクセス権メモリ
の各エントリに、当該ラインが他ノード内のアクセス権
メモリに登録されている可能性があることを示すＣＣビ
ットを設け、自ノードのアクセス発行時にアクセス権メ
モリをチェックした結果、当該ラインがアクセス権メモ
リに登録されているにも係らず自ノードにアクセス権が
存在しない場合、ＣＣビットが１であるノードのみにキ
ャッシュ一致制御要求を発行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機システムに
おけるキャッシュメモリの一貫性制御に係り、特に、並
列計算機システムにおいて複数プロセッサ間のキャッシ
ュメモリ間の一貫性制御を行う方法に関する。

【０００２】

【従来の技術】大規模集積回路の設計プロセス微細化に
よる周波数向上、方式改良による処理効率向上に伴っ
て、マイクロプロセッサの性能は年々向上している。こ
れに伴い、マイクロプロセッサに接続するメモリシステ
ムのアクセススループット向上、及び、アクセスレイテ
ンシ短縮の必要性が高まっている。

【０００３】メモリシステムの性能を向上させる方法と
して、キャッシュメモリを用いる方式が一般化してい
る。キャッシュメモリは、主メモリと比較して小容量で
はあるが、アクセススループットが高くアクセスレイテ
ンシの短いメモリである。キャッシュメモリをプロセッ
サと主メモリの間に配置し、主メモリの内容の一部をキ
ャッシュメモリに一時的に保持させる。プロセッサのメ
モリアクセス処理時に、キャッシュメモリ内に保持され
たデータについてはキャッシュメモリからデータを供給
することで、主メモリからデータを供給する場合と比較
し高スループット、低レイテンシでデータ供給が可能と
なる。

【０００４】単一プロセッサで実現できない計算機性能
を得るためには、以上に述べたプロセッサ複数をバス又
はネットワークで接続したマルチプロセッサシステムを
構成する。マルチプロセッサシステムでは、複数のプロ
セッサが共通のメモリ（共有メモリ）をアクセスし、処
理を進める。この様なシステムでは、あるプロセッサが
メモリアクセスを発行すると、他の全プロセッサのキャ
ッシュ上で最新データの存在等のチェックを行い、全プ
ロセッサのキャッシュの一貫性を保証しなければならな
い。この処理は、キャッシュ一致制御（スヌープ）と呼
ばれる。

【０００５】参考文献「ＳＣＡＬＡＢＬＥ ＳＨＡＲＥ
Ｄ−ＭＥＭＯＲＹ ＭＵＬＴＩＰＲＯＣＥＳＳＩＮＧ
（ＤＡＮＩＥＬ Ｅ． ＬＥＮＯＳＫＩ他、Ｍｏｒｇａ
ｎ Ｋａｕｆｍａｎｎ Ｐｕｂｌｉｓｈｅｒｓ発行）」
のｐ．１６〜ｐ．１９には、複数プロセッサを結合する
システムにおいてキャッシュ一致制御を行う方法が記載
されている。この例では、あるプロセッサが発行したメ
モリアクセスを全てのプロセッサへと転送し、全プロセ
ッサのキャッシュ上で最新データの存在等のチェックを
行い、キャッシュの一貫性を保証する。

【０００６】

【発明が解決しようとする課題】従来技術によるマルチ
プロセッサシステムでは、キャッシュの一貫性を保証す
るために、プロセッサのメモリアクセスを全プロセッサ
にブロードキャストし、システム内の全プロセッサでキ
ャッシュ一致制御処理を行う必要がある。

【０００７】特に、マルチプロセッサシステムのプロセ
ッサ台数が増加すると、各プロセッサが受けるキャッシ
ュ一致制御要求量はプロセッサ台数に比例して増大す
る。このため、各プロセッサのキャッシュ一致制御処理
量が増大し、プロセッサのキャッシュアクセスが阻害さ
れる点、及び、システム内の全プロセッサを接続するネ
ットワーク上で転送されるキャッシュ一致制御要求が増
大し、ネットワークが飽和する点の問題が生じる。

【０００８】このため、システム内で発行されるキャッ
シュ一致制御要求量を削減する方式が必要となる。

【０００９】

【課題を解決するための手段】上記目的を達成するため
の本発明の特徴は、複数のプロセッサまたは複数のＩ／
Ｏデバイスからアクセスされる共有メモリを有し、前期
プロセッサまたはＩ／Ｏデバイスは複数のノードに分割
されいる並列計算機システムのキャッシュ一貫性保証方
法であって、共有メモリ上のあるブロックに対するアク
セス権が自ノードに存在することを示すアクセス権エン
トリを複数登録する、各ノード毎に準備されたアクセス
権メモリを用い、複数プロセッサ又は複数Ｉ／Ｏデバイ
スからアクセスされる共有メモリのアクセス権を制御す
るキャッシュ一貫性保証装置であって、前記キャッシュ
一貫性保証装置は、システム内の全プロセッサ又はＩ／
Ｏデバイスを複数のノードに分割した各ノード毎に、共
有メモリ上のあるブロックに対するアクセス権が自ノー
ドに存在することを示すアクセス権エントリを複数登録
するアクセス権メモリをノード毎に持ち、キャッシュ一
致制御を必要とするプロセッサ又はＩ／Ｏデバイスの共
有メモリアクセス時に、当該プロセッサ又はＩ／Ｏデバ
イスを含むノードがアクセス対象の共有メモリブロック
のアクセス権を保持する場合には、他ノード上のキャッ
シュメモリのキャッシュ一致制御を行うことなく共有メ
モリブロックをアクセスし、キャッシュ一致制御を必要
とするプロセッサ又はＩ／Ｏデバイスの共有メモリアク
セス時に、当該プロセッサ又はＩ／Ｏデバイスを含むノ
ードがアクセス対象の共有メモリブロックのアクセス権
を保持しない場合には、他ノード上のキャッシュメモリ
のキャッシュ一致制御を行うと共に、必要に応じて共有
メモリブロックをアクセスするようにしたことにある。

【００１０】また、より詳細には、前記アクセス権メモ
リは、共有メモリのブロックアドレスの一部をアクセス
権エントリアドレス、共有メモリのブロックアドレスの
うち、アクセス権エントリアドレス以外の部分をアクセ
ス権エントリタグとし、アクセス権エントリタグ及びア
クセス権状態を格納するアクセス権エントリを一又は複
数をアクセス権メモリの同一アクセス権エントリアドレ
スに記憶するようにしている。

【００１１】また、前記キャッシュ一貫性保証装置は、
アクセス権メモリのアクセス時に、共有メモリのブロッ
クアドレスから求めたアクセス権エントリアドレスを用
いてアクセス権メモリを読み出し、当該アクセス権エン
トリアドレス内の複数アクセス権エントリ内に存在する
アクセス権エントリタグ部と、共有メモリのブロックア
ドレスから求めたアクセス権エントリタグが一致したア
クセス権エントリに存在するアクセス権状態を当該ノー
ドが有するようにしている。

【００１２】また、前記キャッシュ一貫性保証装置にお
いて、前記アクセス権状態は、アクセス権無、共有アク
セス権有、排他アクセス権有の３状態を有するようにし
ている。この場合、プロセッサ又はＩ／Ｏデバイスがキ
ャッシュ一致制御を必要とする共有メモリ読み出しを発
行した時に、当該プロセッサ又はＩ／Ｏデバイスを有す
るノードのアクセス権メモリを検索し、共有メモリのア
クセス対象ブロックに対応するアクセス権エントリが存
在しない場合、又は、共有メモリのアクセス対象ブロッ
クに対応するアクセス権エントリが存在し、当該アクセ
ス権エントリのアクセス権状態がアクセス権無の場合、
他の全ノード上のプロセッサ及びＩ／Ｏデバイスに存在
するキャッシュの一致制御を行い、共有メモリのアクセ
ス対象ブロックに対応するアクセス権エントリが存在
し、当該アクセス権エントリのアクセス権状態が共有ア
クセス権有又は排他アクセス権有の場合、他のノード上
のプロセッサ及びＩ／Ｏデバイスに存在するキャッシュ
の一致制御を行わないこととしている。

【００１３】さらに、他ノードから共有メモリ読み出し
によるキャッシュ一致制御要求を受けた時に、自ノード
上のプロセッサ及びＩ／Ｏデバイスに存在するキャッシ
ュの一致制御を行うと共に、当該ノードのアクセス権メ
モリを検索し、キャッシュ一致制御要求の対象ブロック
に対応するアクセス権エントリが存在し、当該アクセス
権エントリのアクセス権状態が共有アクセス権有又は排
他アクセス権有の場合、当該アクセス権状態をアクセス
権無に変更するか、他ノードから共有メモリ読み出しに
よるキャッシュ一致制御要求を受けた時に、自ノード上
のプロセッサ及びＩ／Ｏデバイスに存在するキャッシュ
の一致制御を行うと共に、当該ノードのアクセス権メモ
リを検索し、キャッシュ一致制御要求の対象ブロックに
対応するアクセス権エントリが存在し、当該アクセス権
エントリのアクセス権状態が排他アクセス権有の場合、
当該アクセス権状態を共有アクセス権有に変更すること
としている。

【００１４】プロセッサ又はＩ／Ｏデバイスがキャッシ
ュ一致制御を必要とする共有メモリ読み出しを発行し、
他ノードのキャッシュ一致制御要求を発行した結果他の
全ノードが当該共有メモリブロックのアクセス権を持た
ない場合に、自ノードのアクセス権を排他アクセス権有
としてアクセス権メモリに登録し、他ノードのキャッシ
ュ一致制御要求を発行した結果他の最低１つのノードが
当該共有メモリブロックの共有アクセス権を持つ場合
に、自ノードのアクセス権を共有アクセス権有としてア
クセス権メモリに登録することとしている。

【００１５】また、プロセッサ又はＩ／Ｏデバイスがキ
ャッシュ一致制御を必要とする共有メモリ書込み又は無
効化を伴う読み出しを発行した時に、当該プロセッサ又
はＩ／Ｏデバイスを有するノードのアクセス権メモリを
検索し、共有メモリのアクセス対象ブロックに対応する
アクセス権エントリが存在しない場合、又は、共有メモ
リのアクセス対象ブロックに対応するアクセス権エント
リが存在し、当該アクセス権エントリのアクセス権状態
がアクセス権無又は共有アクセス権有の場合、他の全ノ
ード上のプロセッサ及びＩ／Ｏデバイスに存在するキャ
ッシュの一致制御を行い、共有メモリのアクセス対象ブ
ロックに対応するアクセス権エントリが存在し、当該ア
クセス権エントリのアクセス権状態が排他アクセス権有
の場合、他のノード上のプロセッサ及びＩ／Ｏデバイス
に存在するキャッシュの一致制御を行わないこととして
いる。

【００１６】他ノードから共有メモリ書込み又は無効化
を伴う読み出しによるキャッシュ一致制御要求を受けた
時に、自ノード上のプロセッサ及びＩ／Ｏデバイスに存
在するキャッシュの一致制御を行うと共に、当該ノード
のアクセス権メモリを検索し、キャッシュ一致制御要求
の対象ブロックに対応するアクセス権エントリが存在す
る場合、当該アクセス権状態をアクセス権無に変更する
こととしている。

【００１７】また、プロセッサ又はＩ／Ｏデバイスがキ
ャッシュ一致制御を必要とする共有メモリ書込み又は無
効化を伴う読み出しを発行し、他ノードのキャッシュ一
致制御要求を発行した結果他の全ノードが当該共有メモ
リブロックのアクセス権を持たない場合に、自ノードの
アクセス権を排他アクセス権有としてアクセス権メモリ
に登録することとしている。

【００１８】また、アクセス権状態は、アクセス権無、
共有アクセス権有の２状態を有することとしてもよい。
この場合、プロセッサ又はＩ／Ｏデバイスがキャッシュ
一致制御を必要とする共有メモリ読み出しを発行した時
に、当該プロセッサ又はＩ／Ｏデバイスを有するノード
のアクセス権メモリを検索し、共有メモリのアクセス対
象ブロックに対応するアクセス権エントリが存在しない
場合、又は、共有メモリのアクセス対象ブロックに対応
するアクセス権エントリが存在し、当該アクセス権エン
トリのアクセス権状態がアクセス権無の場合、他の全ノ
ード上のプロセッサ及びＩ／Ｏデバイスに存在するキャ
ッシュの一致制御を行い、共有メモリのアクセス対象ブ
ロックに対応するアクセス権エントリが存在し、当該ア
クセス権エントリのアクセス権状態が共有アクセス権有
の場合、他のノード上のプロセッサ及びＩ／Ｏデバイス
に存在するキャッシュの一致制御を行わないこととして
いる。

【００１９】他ノードから共有メモリ読み出しによるキ
ャッシュ一致制御要求を受けた時に、自ノード上のプロ
セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
制御を行うと共に、当該ノードのアクセス権メモリを検
索し、キャッシュ一致制御要求の対象ブロックに対応す
るアクセス権エントリが存在し、当該アクセス権エント
リのアクセス権状態が共有アクセス権有の場合、当該ア
クセス権状態を共有アクセス権有のまま保つこととして
いる。

【００２０】プロセッサ又はＩ／Ｏデバイスがキャッシ
ュ一致制御を必要とする共有メモリ読み出しを発行し、
他ノードのキャッシュ一致制御要求を発行した結果、自
ノードのアクセス権を共有アクセス権有としてアクセス
権メモリに登録することとしている。

【００２１】また、前記アクセス権状態は、アクセス権
無、排他アクセス権有の２状態を有することとしてもよ
い。この場合、プロセッサ又はＩ／Ｏデバイスがキャッ
シュ一致制御を必要とする共有メモリ読み出しを発行し
た時に、当該プロセッサ又はＩ／Ｏデバイスを有するノ
ードのアクセス権メモリを検索し、共有メモリのアクセ
ス対象ブロックに対応するアクセス権エントリが存在し
ない場合、又は、共有メモリのアクセス対象ブロックに
対応するアクセス権エントリが存在し、当該アクセス権
エントリのアクセス権状態がアクセス権無の場合、他の
全ノード上のプロセッサ及びＩ／Ｏデバイスに存在する
キャッシュの一致制御を行い、共有メモリのアクセス対
象ブロックに対応するアクセス権エントリが存在し、当
該アクセス権エントリのアクセス権状態が排他アクセス
権有の場合、他のノード上のプロセッサ及びＩ／Ｏデバ
イスに存在するキャッシュの一致制御を行わないことと
している。

【００２２】他ノードから共有メモリ読み出しによるキ
ャッシュ一致制御要求を受けた時に、自ノード上のプロ
セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
制御を行うと共に、当該ノードのアクセス権メモリを検
索し、キャッシュ一致制御要求の対象ブロックに対応す
るアクセス権エントリが存在し、当該アクセス権エント
リのアクセス権状態が排他アクセス権有の場合、当該ア
クセス権状態をアクセス権無に変更することとしてい
る。

【００２３】プロセッサ又はＩ／Ｏデバイスがキャッシ
ュ一致制御を必要とする共有メモリ読み出しを発行し、
他ノードのキャッシュ一致制御要求を発行した結果他の
全ノードが当該共有メモリブロックのアクセス権を持た
ない場合に、自ノードのアクセス権を排他アクセス権有
としてアクセス権メモリに登録することとしている。

【００２４】プロセッサ又はＩ／Ｏデバイスがキャッシ
ュ一致制御を必要とする共有メモリ書込みを発行した時
に、当該プロセッサ又はＩ／Ｏデバイスを有するノード
のアクセス権メモリを検索し、共有メモリのアクセス対
象ブロックに対応するアクセス権エントリが存在しない
場合、又は、共有メモリのアクセス対象ブロックに対応
するアクセス権エントリが存在し、当該アクセス権エン
トリのアクセス権状態がアクセス権無の場合、他の全ノ
ード上のプロセッサ及びＩ／Ｏデバイスに存在するキャ
ッシュの一致制御を行い、共有メモリのアクセス対象ブ
ロックに対応するアクセス権エントリが存在し、当該ア
クセス権エントリのアクセス権状態が排他アクセス権有
の場合、他のノード上のプロセッサ及びＩ／Ｏデバイス
に存在するキャッシュの一致制御を行わないこととして
いる。

【００２５】他ノードから共有メモリ書込みによるキャ
ッシュ一致制御要求を受けた時に、自ノード上のプロセ
ッサ及びＩ／Ｏデバイスに存在するキャッシュの一致制
御を行うと共に、当該ノードのアクセス権メモリを検索
し、キャッシュ一致制御要求の対象ブロックに対応する
アクセス権エントリが存在する場合、当該アクセス権状
態をアクセス権無に変更することとしている。

【００２６】プロセッサ又はＩ／Ｏデバイスがキャッシ
ュ一致制御を必要とする共有メモリ書込みを発行し、他
ノードのキャッシュ一致制御要求を発行した結果他の全
ノードが当該共有メモリブロックのアクセス権を持たな
い場合に、自ノードのアクセス権を排他アクセス権有と
してアクセス権メモリに登録することとしている。

【００２７】また、前記キャッシュ一貫性保証装置は、
各アクセス権エントリに当該共有メモリブロックが自ノ
ード内の一又は複数のプロセッサ又はＩ／Ｏデバイスに
キャッシングされていることを示すビットを設けること
ができる。

【００２８】また、各アクセス権エントリに、当該共有
メモリブロックが自ノード内の一又は複数のプロセッサ
又はＩ／Ｏデバイスにキャッシングされていること、及
び、当該共有メモリブロックのキャッシング状態を示す
フィールドを設けることができる。

【００２９】また、各アクセス権エントリに、当該共有
メモリブロックをアクセス権メモリに登録している可能
性があるか、又は、当該共有メモリブロックをキャッシ
ングしている可能性がある他ノードを特定するフィール
ドを設け、自ノード内のプロセッサ又はＩ／Ｏデバイス
がキャッシュ一致制御を必要とする共有メモリアクセス
を発行した時に、自ノードのアクセス権メモリを検索
し、共有メモリのアクセス対象ブロックに対応するアク
セス権エントリが存在し、かつ、他ノードのキャッシュ
一致制御が必要となった場合に、前記フィールドの情報
に基づき、当該共有メモリブロックをアクセス権メモリ
に登録している可能性があるか、又は、当該共有メモリ
ブロックをキャッシングしている可能性がある他ノード
のみにキャッシュ一致制御要求を発行することも可能で
ある。

【００３０】さらに、各アクセス権エントリに設けた当
該共有メモリブロックをアクセス権メモリに登録してい
る可能性があるか、又は、当該共有メモリブロックをキ
ャッシングしている可能性がある他ノードを特定するフ
ィールドは、自ノード内プロセッサ又はＩ／Ｏデバイス
が当該共有メモリブロックをアクセスし、他ノードにキ
ャッシュ一致制御要求を送付した結果、キャッシュ一致
制御要求を受けた他ノードが各々当該共有メモリブロッ
クをアクセス権メモリに登録していること、又は、当該
共有メモリブロックをキャッシングしていることを示す
情報を返送し、これらの情報を集めて生成されることと
している。

【００３１】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。

【００３２】（実施の形態例１）まず、本発明の第１の
実施の形態を図１〜６を用いて説明する。

【００３３】図１は、本発明に係る並列計算機を示す。
図１の並列計算機は、８個のプロセッサノード１００ａ
〜１００ｂ、４個のメモリノード１７５ａ〜１７５ｂ、
4個のＩ／Ｏノード１８５ａ〜１８５ｂをネットワーク
１７０で接続した構成をとる。

【００３４】プロセッサノード１００ａ〜１００ｂは、
ＣＰＵバス１１５で接続された複数のプロセッサ１０５
ａ−１〜１０５ａ−２、プロセッサノード制御回路１５
０、アクセス権メモリ１２５から構成される。

【００３５】各プロセッサは、プロセッサ内部（又はプ
ロセッサ外部であって、プロセッサコアからＣＰＵバス
１１５以外の信号線を介した一時記憶装置）にキャッシ
ュメモリ１１０ａ−１〜１１０ａ−２を有する。

【００３６】プロセッサノード制御回路１５０は、プロ
セッサとの信号の授受を行うＣＰＵバスインターフェイ
ス１１８、ネットワーク１７０との信号の授受を行うネ
ットワークインターフェイス１５５、アクセス権メモリ
１２５の制御を行うアクセス権制御回路１２０からな
る。

【００３７】メモリノード１７５ａ〜１７５ｂは、並列
計算機の主記憶装置を構成する。並列計算機内の物理メ
モリアドレス空間は、全プロセッサノード１００ａ〜１
００ｂにより共有される。物理メモリアドレス空間は４
分割され、分割された各領域が各メモリノード１７５ａ
〜１７５ｂに分散して配置される。

【００３８】Ｉ／Ｏノード１８５ａ〜１８５ｂは、並列
計算機の入出力装置を構成する。並列計算機内の物理Ｉ
／Ｏアドレス空間は、全プロセッサノード１００ａ〜１
００ｂにより共有される。物理Ｉ／Ｏアドレス空間は４
分割され、分割された各領域が各Ｉ／Ｏノード１８５ａ
〜１８５ｂに分散して配置される。

【００３９】各プロセッサノード１００ａ〜１００ｂ上
の各プロセッサ１０５ａ−１〜１０５ａ−２は、メモリ
及びＩ／Ｏをアクセスしながらプログラムの処理を進め
る。Ｉ／Ｏノード１８５ａ〜１８５ｂは、Ｉ／Ｏアクセ
スによって渡されるプロセッサ１０５ａ−１〜１０５ａ
−２の指示に従い、必要に応じてメモリをアクセスしな
がらＩ／Ｏ処理を行う。プロセッサ１０５ａ−１〜１０
５ａ−２は、メモリの内容を内部キャッシュメモリ１１
０ａ−１〜１１０ａ−２にキャッシング可能である。

【００４０】本実施の形態例では、プロセッサノード１
００ａ〜１００ｂが、メモリノード１７５ａ〜１７５ｂ
上のメモリをアクセスする場合にのみ当該メモリライン
のアクセス権を得ることができるものとする。このた
め、本発明が適用されるのは、プロセッサノードがメモ
リノードをアクセスする場合のみとなる。よって、以後
Ｉ／Ｏノードに対するアクセス処理は除外して説明す
る。

【００４１】また、本実施の形態例では、Ｉ／Ｏノード
はアクセス権メモリを持たないものとする。このため、
Ｉ／Ｏノードがメモリの内容をアクセスする場合、必ず
プロセッサノード内のキャッシュメモリの一致制御を行
う。Ｉ／Ｏノードは、アクセス権を持たないプロセッサ
ノードと同様のメモリアクセストランザクションを用い
てこれを実現する。よって、以後Ｉ／Ｏノードからのア
クセス処理は除外して説明する。

【００４２】一方、Ｉ／Ｏノードがアクセス権メモリを
持つ場合には、プロセッサノードと同様の動作を行えば
よい。

【００４３】本実施の形態例では、内部キャッシュ１１
０ａ−１〜１１０ａ−２は公知の方式であるＭＥＳＩプ
ロトコルに基づき動作するものとする。ＭＥＳＩプロト
コルでは、複数のプロセッサがメモリの同一ラインを共
有状態（Ｓｈａｒｅｄ）でキャッシング可能である。一
方、最新のライン（Ｍｏｄｉｆｉｅｄ）、又は、排他ラ
イン（Ｅｘｃｌｕｓｉｖｅ）は、いずれか１つのプロセ
ッサのみがキャッシング可能であり、他のプロセッサは
当該ラインをキャッシングできない（Ｉｎｖａｌｉ
ｄ）。

【００４４】これを実現するために、対象ラインのアク
セス権を持たないプロセッサノード上のプロセッサが発
行する全てのメモリアクセス要求は、要求元以外の全プ
ロセッサノード及びアクセス対象のメモリノードに配布
され、それぞれのプロセッサノードでキャッシュ一致制
御、対象メモリノードでメモリアクセスが行われる。次
に各プロセッサノード内のキャッシュ一致制御結果がま
とめられて全プロセッサノードのキャッシュ一致制御結
果が生成され、要求元プロセッサノードに送付される。

【００４５】例えば、メモリ読み出しの場合、全プロセ
ッサノードがメモリ読み出し要求を受け、プロセッサノ
ード内の全プロセッサのキャッシュ一致制御を行う。す
なわち、各プロセッサは、キャッシュ内に最新ライン
（Ｍｏｄｉｆｉｅｄ）が存在する場合、当該ラインを書
き戻して当該ラインを無効化（Ｉｎｖａｌｉｄ）し、排
他ライン（Ｅｘｃｌｕｓｉｖｅ）が存在する場合、当該
ラインを共有ライン（Ｓｈａｒｅｄ）に変更する。この
結果、全プロセッサにおける当該ラインの状態はＩｎｖ
ａｌｉｄ又はＳｈａｒｅｄとなる。要求元プロセッサノ
ードは他の全プロセッサのキャッシュ状態がＩｎｖａｌ
ｉｄとなった場合、自プロセッサのキャッシュ状態をＥ
ｘｃｌｕｓｉｖｅとする。一方、いずれかのプロセッサ
のキャッシュ状態がＳｈａｒｅｄとなった場合、自プロ
セッサのキャッシュ状態をＳｈａｒｅｄとする。

【００４６】また、プロセッサがメモリ書込み命令を実
行する時に発行されるメモリ読み出し＆無効化要求（詳
細は後述）の場合、全プロセッサノードがメモリ読み出
し＆無効化要求を受け、プロセッサノード内の全プロセ
ッサのキャッシュ一致制御を行う。すなわち、各プロセ
ッサは、キャッシュ内に最新ライン（Ｍｏｄｉｆｉｅ
ｄ）が存在する場合、当該ラインを書き戻して無効化
（Ｉｎｖａｌｉｄ）し、共有ライン（Ｓｈａｒｅｄ）ま
たは排他ライン（Ｅｘｃｌｕｓｉｖｅ）が存在する場
合、当該ラインを無効化（Ｉｎｖａｌｉｄ）する。この
結果、全プロセッサにおける当該ラインの状態はＩｎｖ
ａｌｉｄとなる。要求元プロセッサノードは、自プロセ
ッサノードのキャッシュ状態をＥｘｃｌｕｓｉｖｅと
し、その後書込みを行ってＭｏｄｉｆｉｅｄに変更す
る。

【００４７】本実施の形態例では、以上と同じ機能を効
率良く実現するために、各プロセッサノード１００ａに
おけるラインのアクセス権を、アクセス権メモリ１２５
に登録する。アクセス権は、アクセス権無、共有アクセ
ス権、排他アクセス権の３種類が存在する。

【００４８】アクセス権無は、自プロセッサノードが当
該ラインのアクセス権を持たず、他プロセッサノード上
のプロセッサが当該ラインをＳｈａｒｅｄ、Ｅｘｃｌｕ
ｓｉｖｅ、Ｍｏｄｉｆｉｅｄのいずれかの状態でキャッ
シングしている可能性があることを示す。従って、自プ
ロセッサノードのメモリアクセス時に、他プロセッサノ
ードのキャッシュ一致制御を行う必要がある。

【００４９】共有アクセス権は、自プロセッサノードは
当該ラインのアクセス権を持つが、他プロセッサノード
上のプロセッサが当該ラインをＳｈａｒｅｄ状態でキャ
ッシングしている可能性があることを示す。従って、自
プロセッサノードのメモリ読み出し時には、他プロセッ
サノードのキャッシュ一致制御を省略できる。一方、自
プロセッサノードのメモリ書込み時には、他プロセッサ
ノード上のプロセッサのキャッシュ一致制御を行う必要
がある。

【００５０】排他アクセス権は、自プロセッサノードが
当該ラインのアクセス権を持ち、他プロセッサノード上
のプロセッサは当該ラインをキャッシングしていないこ
とを示す。従って、自プロセッサノードのメモリアクセ
ス時に、他プロセッサノード上のプロセッサのキャッシ
ュ一致制御は不要である。

【００５１】以下に、プロセッサのメモリアクセス処理
を、メモリ読み出し命令を例に概説する（詳細な説明は
後述）。

【００５２】(1) プロセッサ（１０５ａ−１とする）は
メモリ読み出し命令の実行時に、内部キャッシュ１１０
ａ−１にこの命令に対応するラインが存在するかどうか
をチェックする。内部キャッシュ１１０ａ−１に対応す
るラインが存在する場合、このライン内の当該データを
読み出し結果として使用する（終了）。内部キャッシュ
に対応するラインが存在しない場合、 プロセッサ１０
５ａ−１はＣＰＵバス１１５を介してメモリ読み出し要
求をプロセッサノード制御回路１５０に発行する。(2)
プロセッサノード制御回路１５０は、メモリ読み出し要
求を受けるとアクセス権メモリ１２５（アクセス権制御
回路１２０により制御される）内に対応するラインのア
クセス権が存在するかどうかチェックする。アクセス権
メモリ内に対応するラインのアクセス権が存在する場
合、プロセッサ制御回路はネットワーク１７０を介して
メモリ読み出し要求をアクセスアドレスに対応するメモ
リノード（１７５ａ）に発行する（(3) は実行しな
い）。アクセス権メモリ１２５内に対応するラインが存
在しない場合、プロセッサ制御回路１５０は、ネットワ
ーク１７０を介してメモリ読み出し要求を他プロセッサ
ノード１００ｂ及びアクセスアドレスに対応するメモリ
ノード（１７５ａとする）に発行する。

【００５３】・アクセス権メモリ１２５をアクセスし、
当該プロセッサノードに当該ラインのアクセス権が保持
されているかをチェックする。アクセス権が保持されて
いる場合、アクセス権を共有又は無効状態に変更する。

【００５４】・当該プロセッサノード１００ｂ内のＣＰ
Ｕバス１１５へキャッシュ一致制御を発行する。この
後、アクセス権及びプロセッサのキャッシュ一致制御結
果からプロセッサノード１００ｂのキャッシュ一致制御
結果を生成し、ネットワーク１７０に報告する。

【００５５】・上記において、当該メモリ読み出し要求
に対応する最新ラインがプロセッサノード１００ｂ内の
内部キャッシュに存在した場合、ネットワーク１７０を
介して要求元プロセッサノード１００ａに最新ラインを
転送する。

【００５６】(4) メモリ読み出し要求を受けたメモリノ
ード１７５ａは、メモリ読み出し要求のアドレスに対応
するラインをメモリから読み出し、ネットワーク１７０
を介して要求元プロセッサノード１００ａに転送する。

【００５７】(5) ネットワーク１７０は、全プロセッサ
ノードから受けたキャッシュ一致制御結果をまとめ、こ
れを要求元プロセッサノード１００ａに転送する。ま
た、(3)、(4)で示した最新ライン及びメモリデータの転
送を行う。

【００５８】(6) 要求元プロセッサノード１００ａは、
キャッシュ一致制御結果に応じて共有又は占有アクセス
権をアクセス権メモリ１２５に登録すると共に、ＣＰＵ
バス１１５を介してプロセッサ１０５ａ−１に送出す
る。プロセッサ１０５ａ−１は、このラインを内部キャ
ッシュ１００ａ−１に登録すると共に、ライン内の読み
出しデータを使用する。（終了）本実施の形態例では、
プロセッサノード１００ａ内にアクセス権メモリ１２５
及びアクセス権制御回路１２０を設け、ラインに対する
以前のキャッシュ一致制御結果をアクセス権メモリ１２
５に登録しておき、自プロセッサノード１００ａがメモ
リアクセスを行う際に、まずアクセス権メモリ１２５を
チェックし、自プロセッサノード１００ａがアクセス権
を保持しており他プロセッサノードのキャッシュ一致制
御が不要な場合には、他プロセッサノードのキャッシュ
一致制御を行わずにメモリアクセスを行うことで、ネッ
トワーク１７０上で転送されるメモリアクセストランザ
クションのトラフィック量、及び、各プロセッサノード
が受けるキャッシュ一致制御処理の頻度を低下させる点
に特徴がある。これにより、同一ネットワーク１７０を
用いた時に、従来と比較しより多くのトランザクション
をネットワーク１７０を介して転送可能となり、システ
ムの実効スループットを向上することができる。

【００５９】また、従来と比較しプロセッサバス１１５
に発行されるキャッシュ一致制御処理の頻度を削減可能
であり、プロセッサバスの実効スループットを向上する
ことができる。

【００６０】以下、本実施の形態例を詳しく説明する。

【００６１】本実施の形態例の並列計算機は、３２ｂｉ
ｔアドレス空間（４ＧＢ）を持つ。内部キャッシュメモ
リ及び外部キャッシュメモリのキャッシュラインサイズ
は３２Ｂであり、アクセス権メモリ１２５の容量は４Ｍ
Ｂとする。内部キャッシュメモリの容量はプロセッサノ
ード内で合計１ＭＢとする。アクセス権メモリは２ウェ
イセットアソシアティブ方式を採用する。このため、ラ
インアドレスは１６ｂｉｔ（３２Ｂ×６４Ｋエントリ×
２ウェイ＝４ＭＢ）となる。

【００６２】プロセッサ外部においては、メモリ領域
（メモリノード０〜３上のアドレス空間）は キャッシ
ュライン単位でアクセスされる。プロセッサの発行する
メモリアクセスには、メモリ読み出し（ＲＤ：Ｒｅａ
Ｄ）トランザクション、メモリ読み出し＆無効化（Ｒ
Ｉ：Ｒｅａｄ ａｎｄ Ｉｎｖａｌｉｄａｔｅ）トランザ
クション、メモリ書き戻し（ＷＢ：Ｗｒｉｔｅ Ｂａｃ
ｋ）トランザクションの３種類が存在する。これらのト
ランザクションを以下に説明する。

【００６３】（メモリ読み出しトランザクション）プロ
セッサ１０５ａ−１〜１０５ａ−２のメモリ読み出し命
令（ＬＤ命令）実行時に内部キャッシュ１００ａ−１〜
１００ａ−２に当該ラインが格納されていない場合、当
該プロセッサはメモリ読み出し（ＲＤ）トランザクショ
ンをＣＰＵバス１１５に対して発行する。

【００６４】ＲＤトランザクションには、メモリ読み出
し対象アドレスが付加されている。システムは、メモ
リ、又は、他プロセッサノード上のキャッシュメモリか
ら当該ラインを読み出し、発行元プロセッサに返送す
る。

【００６５】ＲＤトランザクション発行の結果、発行元
プロセッサノードの当該ラインに対するアクセス権は、
共有又は排他アクセス権となる。

【００６６】ＲＤトランザクション受付の結果、発行元
以外のプロセッサノードの当該ラインに対するアクセス
権は、アクセス権無又は共有アクセス権となる。

【００６７】（メモリ読み出し＆無効化トランザクショ
ン）プロセッサ１０５ａ−１〜１０５ａ−２のメモリ書
込み命令（ＳＴ命令）実行時に内部キャッシュ１００ａ
−１〜１００ａ−２に当該ラインが格納されていない場
合、または、当該ラインがＳ状態で格納されている場
合、当該プロセッサはメモリ読み出し＆無効化（ＲＩ）
トランザクションを発行する。

【００６８】ＲＩトランザクションは、他プロセッサ上
のキャッシュに格納された当該ラインを無効化すると共
に、発行元プロセッサに当該ラインの読み出し結果を返
すトランザクションであり、発行元プロセッサは、ＲＩ
トランザクションで排他的に読み出した当該ラインに対
して内部キャッシュ１００ａ−１〜１００ａ−２上で書
込みを行うことができる。

【００６９】ＲＩトランザクションにはメモリ読み出し
＆無効化対象アドレスが付加される。システムは、メモ
リ、又は、他プロセッサノード上のキャッシュから当該
ラインを読み出し、発行元プロセッサに返送すると共
に、他のプロセッサ上の内部キャッシュ１１０ａ−１〜
１１０ａ−２に格納されている当該ラインを無効化す
る。

【００７０】ＲＩトランザクション発行の結果、発行元
プロセッサノードの当該ラインに対するアクセス権は、
排他アクセス権となる。

【００７１】ＲＩトランザクション受付の結果、発行元
以外のプロセッサノードの当該ラインに対するアクセス
権は、アクセス権無となる。

【００７２】（メモリ書き戻しトランザクション）プロ
セッサ１０５ａ−１〜１０５ａ−２が以前に書込みを行
ったキャッシュラインをメモリに書き戻す場合（キャッ
シュラインのリプレース）、当該プロセッサはメモリ書
き戻し（ＷＢ）トランザクションを発行する。

【００７３】ＷＢトランザクションには書き戻し対象ア
ドレス及び書き戻しラインデータが付加されており、シ
ステムはメモリに書き戻しラインデータを格納する。

【００７４】ＲＩトランザクション発行の結果、発行元
プロセッサノードの当該ラインに対するアクセス権は、
変更されない。

【００７５】図２に図１の並列計算機で用いるアドレス
値を示す。キャッシュラインサイズが３２Ｂのため、ア
ドレスの最下位５ｂｉｔ（２２０）はライン内アドレス
フィールドとなる。ラインアドレスフィールド２１０は
アクセス権メモリ１２５のエントリを指定する１６ｂｉ
ｔのフィールドであり、ライン内アドレスフィールド２
２０の上位に配置される。ラインアドレスフィールド２
１０の上位１１ｂｉｔはタグフィールド２００となる。
タグフィールド２００の上位３ｂｉｔは、アクセス対象
のメモリノード０〜３（０００ｂ〜０１１ｂ、ただし０
１１ｂは２進数で０１１［１０進数で３］を示す）、又
は、アクセス対象のI/Oノード０〜３（１００ｂ〜１１
１ｂ）の指定に使用される。

【００７６】タグフィールド２００の使用方法は後述す
る。

【００７７】アクセス権メモリ１２５は、ラインアドレ
スフィールド２１０をアドレスとしてアクセスされるメ
モリである。図３にアクセス権メモリ１２５の各エント
リを示す。

【００７８】本実施例では、アクセス権メモリは２ウェ
イセットアソシアティブ方式を採用する。このため、ア
クセス権メモリ１２５には２ウェイ分のアクセス権情報
が格納される。

【００７９】ＬＲＵビット３００は、当該ラインアドレ
スの２ウェイの内、最近使用したエントリを示す。ＬＲ
Ｕビット３００が０の場合、ウェイ０が最近使用された
ことを示す。ＬＲＵビット３００が１の場合、ウェイ１
が最近使用されたことを示す。

【００８０】状態ビット３１０ａ、３１０ｂは、アクセ
ス権の状態（００ｂ：Ｉｎｖａｌｉｄ（アクセス権
無）、１０ｂ：Ｓｈａｒｅｄ（共有アクセス権）、１１
ｂ：Ｅｘｃｌｕｓｉｖｅ（排他アクセス権））を記録す
る。

【００８１】タグ３３０ａ、３３０ｂは、アクセス権メ
モリの当該ラインアドレスに登録されたラインアクセス
権のタグフィールド２００の値を記録する。あるアドレ
スＡのラインアドレスフィールド２１０に対応するアク
セス権メモリのエントリにおいて、状態ビット３１０
ａ、３１０ｂが００ｂ以外、かつ、タグ３３０ａ、３３
０ｂのいずれかがタグフィールド２００と一致する場
合、アドレスＡに対応するラインアクセス権が当該ウェ
イに格納されている。

【００８２】図４にプロセッサノード上のネットワーク
インターフェイス１５５、メモリノード１７５ａ〜１７
５ｂ、Ｉ／Ｏノード１８５ａ〜１８５ｂとネットワーク
１７０間で授受されるトランザクションの構成を示す。

【００８３】発行ノード６００は、要求トランザクショ
ンを発行したノード番号を示すフィールドである。発行
ノード番号０〜７は各々プロセッサノード０〜７、発行
ノード番号８〜１１はＩ／Ｏノード０〜３を示す。メモ
リノード１７５ａ〜１７５ｂは要求トランザクションを
発行しないため、発行ノード番号は割当てられない。

【００８４】発行側識別子６１０は、要求トランザクシ
ョンを発行したノード内におけるトランザクションの識
別子を示すフィールドである。

【００８５】処理状態６３０は、トランザクションの状
態（キャッシュ一致制御付アクセス要求、一致制御要
求、一致制御応答、アクセス応答、キャッシュ一致制御
無アクセス要求のいずれか）を示すフィールドである。
各状態の使用方法は後述する。

【００８６】命令種類６４０は、要求トランザクション
の種類（ＲＤ、ＲＩ、ＷＢ）を示すフィールドである。

【００８７】キャッシュ状態６５０は、各プロセッサノ
ードのキャッシュ一致制御結果（Ｉｎｖａｌｉｄ、Ｍｏ
ｄｉｆｉｅｄ、Ｓｈａｒｅｄ、Ｒｅｔｒｙ）を示すフィ
ールドである。Ｉｎｖａｌｉｄ及びＳｈａｒｅｄは、プ
ロセッサノードがキャッシュ一致制御の結果、キャッシ
ュラインの状態をＩｎｖａｌｉｄ又はＳｈａｒｅｄに変
更したことを示す。Ｍｏｄｉｆｉｅｄは、プロセッサノ
ードがキャッシュ一致制御の結果、最新のラインをＷＢ
トランザクションを用いて書き戻した後、キャッシュラ
インの状態をＩｎｖａｌｉｄに変更したことを示す。Ｒ
ｅｔｒｙは、あるプロセッサノードが当該ラインに対す
るアクセス権を使用中であり、本トランザクションをリ
トライする必要があることを示す。

【００８８】対象アドレス６６０は、アクセス対象のア
ドレスを示すフィールドである。データ第０〜３ワード
は、アクセス対象ラインの転送時に使用されるフィール
ドである。

【００８９】以下に、本実施の形態例の並列計算機にお
けるメモリアクセス動作の詳細を示す。

【００９０】（プロセッサのメモリ読み出し） (1) プロセッサのメモリ読み出し（ＲＤ）トランザクシ
ョン発行 プロセッサ（１０５ａ−１とする）はアドレスＡへのメ
モリ読み出し命令の実行時に、内部キャッシュ１１０ａ
−１に対応するラインが存在するかどうかをチェックす
る。内部キャッシュに対応するラインが存在する場合、
このライン内の当該データを読み出し結果として使用す
る（終了）。内部キャッシュに対応するラインが存在し
ない場合、プロセッサ１０５ａ−１はアドレスＡへのＲ
ＤトランザクションをＣＰＵバス１１５に発行する。

【００９１】(2) ＣＰＵバス上のキャッシュ一致制御 プロセッサ１０５ａ−１と同一ＣＰＵバス１１５に接続
されたプロセッサ１０５ａ−２は、アドレスＡへのＲＤ
トランザクションを受けて内部キャッシュ１１０ａ−２
のキャッシュ一致制御を行う。

【００９２】(2-1) プロセッサ１０５ａ−２がアドレス
Ａに対応するラインを保持していない場合、プロセッサ
１０５ａ−２は、ＣＰＵバス１１５に対しキャッシュ状
態Ｉｎｖａｌｉｄを返答する。

【００９３】(2-2) プロセッサ１０５ａ−２がアドレス
Ａに対応するラインをＳｈａｒｅｄ状態、又は、Ｅｘｃ
ｌｕｓｉｖｅ状態で保持している場合、プロセッサ１０
５ａ−２は、ＣＰＵバス１１５に対しキャッシュ状態Ｓ
ｈａｒｅｄを返答する。当該ラインがＥｘｃｌｕｓｉｖ
ｅ状態の場合、Ｓｈａｒｅｄ状態に変更する。

【００９４】(2-3) プロセッサ１０５ａ−２がアドレス
Ａに対応するラインをＭｏｄｉｆｉｅｄ状態で保持して
いる場合、プロセッサ１０５ａ−２は、ＣＰＵバス１１
５に対しキャッシュ状態Ｍｏｄｉｆｉｅｄを返答する。
また、当該キャッシュラインをＷＢトランザクションを
用いて返送し、当該ラインをＩｎｖａｌｉｄ状態に変更
する。プロセッサ１０５ａ−１は、ＣＰＵバス１１５か
らＭｏｄｉｆｉｅｄ状態の通知を受けると、プロセッサ
１０５ａ−２が発行したＷＢトランザクションを受けて
内部キャッシュ１１０ａ−１に書込み、Ｅｘｃｌｕｓｉ
ｖｅ状態とする。（終了、ただし、ＷＢトランザクショ
ンの処理を行う） (3) アクセス権メモリのヒットチェック ＣＰＵバスインターフェイス１１８は、(1)のＲＤトラ
ンザクション、(2-1)〜(2-3)のキャッシュ状態返答、Ｗ
Ｂトランザクションを受け取る。

【００９５】ＣＰＵバスインターフェイス１１８は、信
号線１６０−１を通してＲＤトランザクション、キャッ
シュ状態返答をアクセス権制御回路１２０に転送する。

【００９６】アクセス権制御回路１２０は、(1)のＲＤ
トランザクションを受け、 アクセス権メモリ１２５内
のアドレスＡのラインアドレスフィールド２１０（Ａｌ
ａとする）に対応するエントリ（Ｔｌａ）を読み出す。
その後、Ｔｌａの２つのウェイについてタグ３３０ａ、
３３０ｂとアドレスＡのタグフィールド２００（Ａｔａ
とする）が一致し、状態ビット３１０ａ、３１０ｂが０
０ｂでないウェイ（ＷａｙＡとする）を検索する。

【００９７】(3-1) Ｗａｙ Ａが存在しない場合 メモリ読み出し対象ラインのアクセス権を格納するウェ
イを決定し、Ｗａｙ Ａとする。決定方法は以下の通り
である。

【００９８】・状態ビットが００ｂのウェイが存在する
場合、このウェイを使用する。

【００９９】・状態ビットが００ｂのウェイが存在しな
い場合、ＬＲＵビットが０ならウェイ１を使用する。Ｌ
ＲＵビットが１ならウェイ０を使用する。この時、使用
するウェイの状態ビットは００ｂ（Ｉｎｖａｌｉｄ）と
し、ＬＲＵビットは反転させる。

【０１００】以後、アクセス権制御回路１２０は、トラ
ンザクションの完了までこのウェイを使用する自プロセ
ッサノードからのトランザクションをリトライさせる。

【０１０１】(3-1)により、Ｗａｙ Ａを確保した後、
(4)へ進む。

【０１０２】(3-2)Ｗａｙ Ａが存在する場合 Ｗａｙ Ａの状態ビットは、１０ｂ（Ｓｈａｒｅｄ）又
は１１ｂ（Ｅｘｃｌｕｓｉｖｅ）のいずれかである。こ
の時、他プロセッサノードのアクセス権、及び、他プロ
セッサノード上のプロセッサの内部キャッシュ状態は、
Ｓｈａｒｅｄ又はＩｎｖａｌｉｄであるため、他プロセ
ッサノードのキャッシュ一致制御無しにメモリアクセス
可能である。

【０１０３】以後、アクセス権制御回路１２０は、Ｗａ
ｙ Ａのアクセス権を使用中とし、トランザクションの
完了までこのウェイを使用する自他プロセッサノードか
らのトランザクションをリトライさせる。

【０１０４】(4) ネットワークにメモリ読み出し要求ト
ランザクションを発行 アクセス権制御回路１２０は、信号線１６０−５を介し
てネットワークインターフェイス１５５にアドレスＡを
送付しＲＤ要求トランザクションの発行を指示する。

【０１０５】ネットワークインターフェイス１５５は、
ネットワーク１７０にＲＤ要求トランザクションを発行
する。ＲＤ要求トランザクションは、図６の各フィール
ドに、発行ノード番号６００に自ノードの番号、発行側
識別子６１０にネットワークインターフェイス１５５で
定めたトランザクションの識別子、処理状態６３０に０
又は４（アクセス要求）、命令種類６４０に０（Ｒ
Ｄ）、対象アドレス６６０にアドレスＡを格納したトラ
ンザクションである。処理状態６３０は、(3)でＷａｙ
Ａが存在し、状態ビットが１０ｂ（Ｓｈａｒｅｄ）又は
１１ｂ（Ｅｘｃｌｕｓｉｖｅ）であった場合、キャッシ
ュ一致制御無アクセス要求とする。これ以外の場合、キ
ャッシュ一致制御付アクセス要求とする。

【０１０６】(5)ネットワークによるメモリ読み出し要
求トランザクションの転送 ネットワーク１７０は、対象アドレス６６０の最上位３
ビットから対象メモリノードを得て、対象メモリノード
にＲＤ要求トランザクションを転送する。

【０１０７】また、処理状態６３０がキャッシュ一致制
御付アクセス要求の場合、ＲＤ要求トランザクションの
処理状態６３０を１とし、ＲＤキャッシュ一致制御要求
トランザクションに変更して発行元以外の全プロセッサ
ノードに転送する。

【０１０８】(6)他プロセッサノードにおけるキャッシ
ュ一致制御要求受付 (4)で要求元プロセッサノードがキャッシュ一致制御付
アクセス要求を発行した場合、他プロセッサノード１０
０ａ〜１００ｂのネットワークインターフェイス１５５
は、ネットワーク１７０からＲＤキャッシュ一致制御要
求トランザクションを受付ける。

【０１０９】ネットワークインターフェイス１５５は、
信号線１６０―６を介してアドレスＡをアクセス権制御
回路１２０に転送し、ＲＤキャッシュ一致制御処理を指
示する。

【０１１０】(7)他プロセッサノードにおけるアクセス
権メモリのチェック アクセス権制御回路１２０は、ＲＤキャッシュ一致制御
を受けると、アドレスＡのラインアドレスフィールド２
１０に対応するアクセス権エントリをアクセス権メモリ
１２５から読み出し、(3)と同様にアクセス権のヒット
チェックを行う。

【０１１１】(7-1)当プロセッサノードが当該ウェイの
アクセス権を使用したメモリアクセスを発行中である場
合 アクセス権制御回路１２０は、信号線１６０−２を介し
てＣＰＵバスインターフェイス１１８にＲＤキャッシュ
一致制御、及び、アクセス権状態Ｒｅｔｒｙを転送す
る。

【０１１２】(7-2)アクセス権メモリにアドレスＡが格
納されていない場合 アクセス権制御回路１２０は、信号線１６０−２を介し
てＣＰＵバスインターフェイス１１８にＲＤキャッシュ
一致制御、及び、アクセス権状態Ｉｎｖａｌｉｄを転送
する。

【０１１３】(7-3)アクセス権メモリ１２５にアドレス
Ａが格納されており、当該ウェイの状態ビット３１０ａ
又は３１０ｂがＳｈａｒｅｄの場合 当プロセッサノードは、アドレスＡの共有アクセス権
（Ｓｈａｒｅｄ）を保持している。アクセス権制御回路
１２０は、信号線１６０−２を介してＣＰＵバスインタ
ーフェイス１１８にＲＤキャッシュ一致制御、及び、ア
クセス権状態Ｓｈａｒｅｄを転送する。

【０１１４】(7-4)アクセス権メモリ１２５にアドレス
Ａが格納されており、当該ウェイの状態ビット３１０ａ
又は３１０ｂがＥｘｃｌｕｓｉｖｅの場合 当プロセッサノードは、アドレスＡの排他アクセス権
（Ｅｘｃｌｕｓｉｖｅ）を保持している。アクセス権制
御回路１２０は、信号線１６０−２を介してＣＰＵバス
インターフェイス１１８にＲＤキャッシュ一致制御、及
び、アクセス権状態Ｓｈａｒｅｄを転送し、アクセス権
メモリ１２５の当該Ｗａｙのアクセス権を共有アクセス
権（Ｓｈａｒｅｄ）に変更する。

【０１１５】(8)他プロセッサノードにおけるプロセッ
サのキャッシュ一致制御 アクセス権制御回路１２０からＲＤキャッシュ一致制御
を受けると、ＣＰＵバスインターフェイス１１８は当該
プロセッサノード上のプロセッサのキャッシュ一致制御
を行う。

【０１１６】i) ＣＰＵバスインターフェイス１１８
は、アクセス権制御回路１２０から受けたアクセス権状
態がＲｅｔｒｙ以外の場合、ＣＰＵバス１１５にＲＤト
ランザクションを発行する。

【０１１７】ii) ＣＰＵバス１１５に接続された全プロ
セッサ１０５ａ−１〜１０５ａ−２は、ＲＤキャッシュ
一致制御を行う。すなわち、アドレスＡの最新ラインを
Ｍｏｄｉｆｉｅｄ状態で保持するプロセッサは、ＣＰＵ
バス１１５を介して最新ラインをＷＢトランザクション
によりＣＰＵバスインターフェイス１１８に転送する。
アドレスＡをＥｘｃｌｕｓｉｖｅ状態、又は、Ｓｈａｒ
ｅｄ状態で保持するプロセッサは、アドレスＡのキャッ
シュ状態をＳｈａｒｅｄに変更し、キャッシュ状態とし
てＳｈａｒｅｄを返す。アドレスＡを保持しないプロセ
ッサは、キャッシュ状態としてＩｎｖａｌｉｄを返す。

【０１１８】iii) ＣＰＵバスインターフェイス１１８
は、以下に示す様に当該プロセッサノードのキャッシュ
状態を生成する。

【０１１９】・アクセス権状態がＲｅｔｒｙの場合、キ
ャッシュ状態をＲｅｔｒｙとする。

【０１２０】・プロセッサのキャッシュ状態がＭｏｄｉ
ｆｉｅｄの場合、キャッシュ状態をＭｏｄｉｆｉｅｄと
する。

【０１２１】・アクセス権状態又はプロセッサのキャッ
シュ状態のいずれかがＳｈａｒｅｄの場合、キャッシュ
状態をＳｈａｒｅｄとする。

【０１２２】・アクセス権状態及びプロセッサのキャッ
シュ状態の両方がＩｎｖａｌｉｄの場合、キャッシュ状
態をＩｎｖａｌｉｄとする。

【０１２３】iv) ＣＰＵバスインターフェイス１１８
は、信号線１６０−７を介してキャッシュ状態をネット
ワークインターフェイス１５５に転送する。また、ＣＰ
Ｕバス１１５から最新ラインを受けた場合、信号線１６
０―９を介してネットワークインターフェイス１５５に
最新ラインを転送する。

【０１２４】(9)他プロセッサノードによるキャッシュ
一致制御結果の返送 ネットワークインターフェイス１５５は、信号線１６０
―７よりキャッシュ状態を受け、i)又はii)の処理を行
う。

【０１２５】i) キャッシュ状態がＭｏｄｉｆｉｅｄの
場合 ネットワークインターフェイス１５５は、ＲＤキャッシ
ュ一致制御応答トランザクションを用いて最新ラインを
ネットワーク１７０に転送する。ここで使用するＲＤキ
ャッシュ一致制御応答トランザクションは、ＲＤキャッ
シュ一致制御要求トランザクションの処理状態６３０を
一致制御応答、キャッシュ状態６５０をＭｏｄｉｆｉｅ
ｄに変更し、データ６７０ａ〜６７０ｄに最新ラインを
付加したトランザクションである。

【０１２６】ii)キャッシュ状態がＭｏｄｉｆｉｅｄで
ない場合ネットワークインターフェイス１５５は、ＲＤ
キャッシュ一致制御応答トランザクションをネットワー
ク１７０に転送する。ここで使用するＲＤキャッシュ一
致制御応答トランザクションは、ＲＤキャッシュ一致制
御要求トランザクションの処理状態６３０を一致制御応
答、キャッシュ状態６５０を信号線１６０−７から受け
たキャッシュ状態に変更したトランザクションである。

【０１２７】(10)メモリノードによるメモリデータの返
送 (5)でネットワーク１７０からＲＤ要求トランザクショ
ンを受けた対象メモリノードは、アドレスＡのキャッシ
ュラインを読み出しＲＤ返答トランザクションをネット
ワーク１７０に返送する。ＲＤ返答トランザクション
は、ＲＤ要求トランザクションの処理状態６３０をアク
セス応答、データ６７０ａ〜６７０ｄを読み出したライ
ンとしたトランザクションである。

【０１２８】(11)ネットワークによるキャッシュ一致制
御結果、メモリデータの返送 ネットワーク１７０は、対象メモリノードからＲＤ返答
トランザクションを受け、発行ノード６００で指定され
る発行元プロセッサノードへ転送する。

【０１２９】また、キャッシュ一致制御付ＲＤ要求トラ
ンザクションの場合には、全プロセッサノードからＲＤ
キャッシュ一致制御応答トランザクションを受けて、キ
ャッシュ一致制御結果をまとめてキャッシュ状態６５０
に書込み、発行ノード６００で指定される発行元プロセ
ッサノードにＲＤキャッシュ一致制御返答トランザクシ
ョンを転送する。

【０１３０】あるプロセッサノードのキャッシュ一致制
御応答トランザクションのキャッシュ状態６５０がＲｅ
ｔｒｙの場合、このトランザクションをキャッシュ一致
制御返答トランザクションとする。

【０１３１】あるプロセッサノードのキャッシュ一致制
御応答トランザクションのキャッシュ状態６５０がＭｏ
ｄｉｆｉｅｄの場合、このトランザクションをキャッシ
ュ一致制御返答トランザクションとする。

【０１３２】あるプロセッサノードのキャッシュ一致制
御応答トランザクションのキャッシュ状態６５０がＳｈ
ａｒｅｄの場合、キャッシュ状態６５０をＳｈａｒｅｄ
とする。

【０１３３】上記以外の場合、キャッシュ状態６５０を
Ｉｎｖａｌｉｄとする。

【０１３４】(12)アクセス権の更新 i) 発行元のネットワークインターフェイス１５５は、
ＲＤキャッシュ一致制御応答トランザクション、及び、
ＲＤ応答トランザクションを受け、信号線１６０―１１
を介してアクセス権制御回路１２０にキャッシュ状態を
報告すると共に、信号線１６０―８を介してキャッシュ
状態をＣＰＵバスインターフェイス１１８に転送する。
また、トランザクションのデータ６７０ａ〜６７０ｄ
は、信号線１６０−１０を介してＣＰＵバスインターフ
ェイスに転送される。ここで、キャッシュ状態がＭｏｄ
ｉｆｉｅｄの場合、ＲＤキャッシュ一致制御応答トラン
ザクションのデータ６７０ａ〜６７０ｄをアクセスした
ラインとして使用する。キャッシュ状態がＭｏｄｉｆｉ
ｅｄ以外の場合、ＲＤ応答トランザクションのデータ６
７０ａ〜６７０ｄをアクセスしたラインとして使用す
る。

【０１３５】ii) ネットワーク１５５から受けたキャッ
シュ状態がＲｅｔｒｙ以外の場合、アクセス権制御回路
１２０は、アドレスＡをＷａｙ Ａに登録する。この
時、状態ビット３１０ａ又は３１０ｂ、タグ３３０ａ又
は３３０ｂをアドレスＡのタグフィールド２００を設定
する。状態ビット３１０ａは、ネットワーク１５５から
受けたキャッシュ状態がＩｎｖａｌｉｄ又はＭｏｄｉｆ
ｉｅｄの場合Ｅｘｃｌｕｓｉｖｅ、Ｓｈａｒｅｄの場合
Ｓｈａｒｅｄに設定する。

【０１３６】(13)発行元プロセッサへのメモリ読み出し
結果返送 ＣＰＵバスインターフェイス１１８は、キャッシュ状態
がＲｅｔｒｙ以外の場合、対象ラインをＣＰＵバス１１
５に送出しメモリ読み出しの返答を行う。この時、キャ
ッシュ状態がＩｎｖａｌｉｄなら、プロセッサのキャッ
シュ状態をＥｘｃｌｕｓｉｖｅとする。キャッシュ状態
がＳｈａｒｅｄなら、プロセッサのキャッシュ状態をＳ
ｈａｒｅｄとする。キャッシュ状態がＲｅｔｒｙの場
合、当該トランザクションをリトライさせる。

【０１３７】（プロセッサのメモリ読み出し＆無効化） (1) プロセッサのメモリ読み出し＆無効化（ＲＩ）トラ
ンザクション発行 プロセッサ（１０５ａ−１とする）はアドレスＡへのメ
モリ書込み命令の実行時に、内部キャッシュ１１０ａ−
１にこの命令に対応するラインが存在するかどうかをチ
ェックする。内部キャッシュに対応するラインがＥｘｃ
ｌｕｓｉｖｅ又はＭｏｄｉｆｉｅｄ状態で存在する場
合、このライン内の当該データに書込みを行う。内部キ
ャッシュに対応するラインが存在しない場合、又は、内
部キャッシュに対応するラインが存在するがＳｈａｒｅ
ｄ状態の場合、プロセッサ１０５ａ−１はアドレスＡへ
のＲＩトランザクションをＣＰＵバス１１５に発行す
る。

【０１３８】(2)ＣＰＵバス上のキャッシュ一致制御 プロセッサ１０５ａ−１と同一ＣＰＵバス１１５に接続
されたプロセッサ１０５ａ−２は、アドレスＡへのＲＩ
トランザクションを受けて内部キャッシュ１１０ａ−２
のキャッシュ一致制御を行う。

【０１３９】(2-1)プロセッサ１０５ａ−２がアドレス
Ａに対応するラインを保持していない場合 プロセッサ１０５ａ−２は、ＣＰＵバス１１５に対しキ
ャッシュ状態Ｉｎｖａｌｉｄを返答する。

【０１４０】(2-2)プロセッサ１０５ａ−２がアドレス
Ａに対応するラインをＳｈａｒｅｄ状態、又は、Ｅｘｃ
ｌｕｓｉｖｅ状態で保持している場合 プロセッサ１０５ａ−２は、ＣＰＵバス１１５に対しキ
ャッシュ状態Ｉｎｖａｌｉｄを返答する。この後、当該
ラインの状態をＩｎｖａｌｉｄ状態に変更する。

【０１４１】(2-3)プロセッサ１０５ａ−２がアドレス
Ａに対応するラインをＭｏｄｉｆｉｅｄ状態で保持して
いる場合 プロセッサ１０５ａ−２は、ＣＰＵバス１１５に対しキ
ャッシュ状態Ｍｏｄｉｆｉｅｄを返答する。また、当該
キャッシュラインをＷＢトランザクションを用いて返送
し、当該ラインをＩｎｖａｌｉｄ状態に変更する。プロ
セッサ１０５ａ−１は、ＣＰＵバス１１５からＭｏｄｉ
ｆｉｅｄ状態の通知を受けると、プロセッサ１０５ａ−
２が発行したＷＢトランザクションを受けて内部キャッ
シュ１１０ａ−１に書込む。この後、メモリ書込み命令
に伴う書込みを内部キャッシュ１１０ａ−１上で行い、
キャッシュ状態をＭｏｄｉｆｉｅｄ状態とする。（終
了、ただし、ＷＢトランザクションの処理を行う） (3) アクセス権メモリのヒットチェック ＣＰＵバスインターフェイス１１８は、(1)のＲＩトラ
ンザクション、(2-1)〜(2-3)のキャッシュ状態返答、Ｗ
Ｂトランザクションを受け取る。ＣＰＵバスインターフ
ェイス１１８は、信号線１６０−１を通してＲＩトラン
ザクション、キャッシュ状態返答をアクセス権制御回路
１２０に転送する。

【０１４２】アクセス権制御回路１２０（構成の詳細は
後述する）は、(1)のＲＩトランザクションを受け、ア
クセス権メモリ１２５内のアドレスＡのラインアドレス
フィールド２１０（Ａｌａとする）に対応するエントリ
（Ｔｌａ）を読み出す。その後、Ｔｌａの２つのウェイ
についてタグ３３０ａ、３３０ｂとアドレスＡのタグフ
ィールド２００（Ａｔａとする）が一致し、状態ビット
３１０ａ、３１０ｂが００ｂでないウェイ（Ｗａｙ Ａ
とする）を検索する。

【０１４３】(3-1) Ｗａｙ Ａが存在しない場合 メモリ読み出し対象のラインのアクセス権を格納するウ
ェイを決定し、ＷａｙＡとする。決定方法は以下の通り
である。

【０１４４】・状態ビットが００ｂのウェイが存在する
場合、このウェイを使用する。

【０１４５】・状態ビットが００ｂのウェイが存在しな
い場合、ＬＲＵビットが０ならウェイ１を使用する。Ｌ
ＲＵビットが１ならウェイ０を使用する。この時、使用
するウェイの状態ビットは００ｂ（Ｉｎｖａｌｉｄ）と
し、ＬＲＵビットは反転させる。

【０１４６】以後、アクセス権制御回路１２０は、トラ
ンザクションの完了までこのウェイを使用する自プロセ
ッサノードからのトランザクションをリトライさせる。

【０１４７】(3-1)により、Ｗａｙ Ａを確保した後、
(4)へ進む。

【０１４８】(3-2) Ｗａｙ ＡがＥｘｃｌｕｓｉｖｅ状
態で存在する場合 この時、他プロセッサノードのアクセス権、及び、他プ
ロセッサノード上のプロセッサの内部キャッシュ状態
は、Ｉｎｖａｌｉｄであるため、他プロセッサノードの
キャッシュ一致制御無しにメモリアクセス可能である。

【０１４９】以後、アクセス権制御回路１２０はＷａｙ
Ａのアクセス権を使用中とし、トランザクションの完
了までこのウェイを使用する自他プロセッサノードから
のトランザクションをリトライさせる。

【０１５０】(4) ネットワークにメモリ読み出し＆無効
化要求トランザクションを発行 アクセス権制御回路１２０は、信号線１６０−５を介し
てネットワークインターフェイス１５５にアドレスＡを
送付しＲＩ要求トランザクションの発行を指示する。

【０１５１】ネットワークインターフェイス１５５は、
ネットワーク１７０にＲＩ要求トランザクションを発行
する。ＲＩ要求トランザクションは、図６の各フィール
ドに、発行ノード番号６００に自ノードの番号、発行側
識別子６１０にネットワークインターフェイス１５５で
定めたトランザクションの識別子、処理状態６３０に０
又は４（アクセス要求）、命令種類６４０に１（Ｒ
Ｉ）、対象アドレス６６０にアドレスＡを格納したトラ
ンザクションである。処理状態６３０は、(3)でＷａｙ
Ａが存在し、状態ビットが１１ｂ（Ｅｘｃｌｕｓｉｖ
ｅ）であった場合、キャッシュ一致制御無アクセス要求
とする。これ以外の場合、キャッシュ一致制御付アクセ
ス要求とする。

【０１５２】(5)ネットワークによるメモリ読み出し＆
無効化要求トランザクションの転送 ネットワーク１７０は、対象アドレス６６０の最上位３
ビットから対象メモリノードを得て、対象メモリノード
にＲＩ要求トランザクションを転送する。また、処理状
態６３０がキャッシュ一致制御付アクセス要求の場合、
ＲＩ要求トランザクションの処理状態６３０を１とし、
ＲＩキャッシュ一致制御要求トランザクションに変更し
て他プロセッサノードに転送する。

【０１５３】(6)他プロセッサノードにおけるキャッシ
ュ一致制御要求受付 (4)で要求元プロセッサノードがキャッシュ一致制御付
アクセス要求を発行した場合、他プロセッサノード１０
０ａ〜１００ｂのネットワークインターフェイス１５５
は、ネットワーク１７０からＲＩキャッシュ一致制御要
求トランザクションを受付ける。ネットワークインター
フェイス１５５は、信号線１６０−６を介してアドレス
Ａをアクセス権制御回路１２０に転送し、ＲＩキャッシ
ュ一致制御を指示する。

【０１５４】(7)他プロセッサノードにおけるアクセス
権メモリのチェック アクセス権制御回路１２０は、ＲＩキャッシュ一致制御
を受けると、アドレスＡのラインアドレスフィールド２
１０に対応するアクセス権エントリをアクセス権メモリ
１２５から読み出し、(3)と同様にアクセス権のヒット
チェックを行う。

【０１５５】(7-1)当プロセッサノードが当該ウェイの
アクセス権を使用したメモリアクセスを発行中である場
合 アクセス権制御回路１２０は、信号線１６０−２を介し
てＣＰＵバスインターフェイス１１８にＲＩキャッシュ
一致制御、及び、アクセス権Ｒｅｔｒｙを転送する。

【０１５６】(7-2) アクセス権メモリにアドレスＡが格
納されていない場合 アクセス権制御回路１２０は、信号線１６０−２を介し
てＣＰＵバスインターフェイスにＲＩキャッシュ一致制
御、及び、アクセス権状態Ｉｎｖａｌｉｄを転送する。

【０１５７】(7-3) アクセス権メモリ１２５にアドレス
Ａが格納されており、当該ウェイの状態ビット３１０ａ
又は３１０ｂがＳｈａｒｅｄ又はＥｘｃｌｕｓｉｖｅの
場合 当プロセッサノードは、アドレスＡの共有アクセス権
（Ｓｈａｒｅｄ）又は排他アクセス権（Ｅｘｃｌｕｓｉ
ｖｅ）を保持している。アクセス権制御回路１２０は信
号線１６０―２を介してＣＰＵバスインターフェイス１
１８にＲＩキャッシュ一致制御、及び、アクセス権状態
Ｉｎｖａｌｉｄを転送する。また、アクセス権メモリ１
２５の当該ウェイの状態ビット３１０ａ又は３１０ｂを
００ｂ（Ｉｎｖａｌｉｄ）に変更し、キャッシュタグメ
モリ１２５に書き戻す。

【０１５８】(8)他プロセッサノードにおけるプロセッ
サのキャッシュ一致制御 アクセス権制御回路１２０からＲＩキャッシュ一致制御
を受けると、ＣＰＵバスインターフェイス１１８は当該
プロセッサノード上のプロセッサのキャッシュ一致制御
を行う。

【０１５９】i) ＣＰＵバスインターフェイス１１８
は、アクセス権制御回路１２０から受けたアクセス権状
態がＲｅｔｒｙ以外の場合、ＣＰＵバス１１５にＲＩト
ランザクションを発行する。

【０１６０】ii) ＣＰＵバス１１５に接続された全プロ
セッサ１０５ａ−１〜１０５ａ−２は、ＲＩキャッシュ
一致制御を行う。すなわち、アドレスＡの最新ラインを
Ｍｏｄｉｆｉｅｄ状態で保持するプロセッサは、ＣＰＵ
バス１１５を介して最新ラインをＣＰＵバスインターフ
ェイス１１８に転送する。アドレスＡをＥｘｃｌｕｓｉ
ｖｅ状態、又は、Ｓｈａｒｅｄ状態で保持するプロセッ
サは、アドレスＡのキャッシュ状態をＩｎｖａｌｉｄに
変更し、キャッシュ状態としてＩｎｖａｌｉｄを返す。
アドレスＡを保持しないプロセッサは、キャッシュ状態
としてＩｎｖａｌｉｄを返す。

【０１６１】iii) ＣＰＵバスインターフェイス１１８
は、以下に示す様に当該プロセッサノードのキャッシュ
状態を生成する。

【０１６２】・アクセス権状態がＲｅｔｒｙの場合、キ
ャッシュ状態をＲｅｔｒｙとする。

【０１６３】・プロセッサのキャッシュ状態がＭｏｄｉ
ｆｉｅｄの場合、キャッシュ状態をＭｏｄｉｆｉｅｄと
する。

【０１６４】・上記以外の場合、キャッシュ状態をＩｎ
ｖａｌｉｄとする。

【０１６５】iv) ＣＰＵバスインターフェイス１１８
は、キャッシュ状態をネットワークインターフェイス１
５５に転送する。また、ＣＰＵバス１１５から最新ライ
ンを受けた場合、信号線１６０−９を介してネットワー
クインターフェイス１５５に最新ラインを転送する。

【０１６６】(9)他プロセッサノードによるキャッシュ
一致制御結果の返送 ネットワークインターフェイス１５５は、信号線１６０
―７よりキャッシュ状態を受け、i)又はii)の処理を行
う。

【０１６７】i) キャッシュ状態がＭｏｄｉｆｉｅｄの
場合 ネットワークインターフェイス１５５は、ＲＩキャッシ
ュ一致制御応答トランザクションを用いて最新ラインを
ネットワーク１７０に転送する。ＲＩキャッシュ一致制
御応答トランザクションは、ＲＩキャッシュ一致制御要
求トランザクションの処理状態６３０を一致制御応答、
キャッシュ状態６５０をＭｏｄｉｆｉｅｄに変更し、デ
ータ６７０ａ〜６７０ｄに最新ラインを付加したトラン
ザクションである。

【０１６８】ii) キャッシュ状態がＭｏｄｉｆｉｅｄ
でない場合 ネットワークインターフェイス１５５は、ＲＩキャッシ
ュ一致制御応答トランザクションをネットワーク１７０
に転送する。ＲＩキャッシュ一致制御応答トランザクシ
ョンは、ＲＩキャッシュ一致制御要求トランザクション
の処理状態６３０を一致制御応答、キャッシュ状態６５
０を信号線１６０−７から受けたキャッシュ状態に変更
したトランザクションである。

【０１６９】(10)メモリノードによるメモリデータの返
送 (5)でネットワーク１７０からＲＩ要求トランザクショ
ンを受けた対象メモリノードは、アドレスＡのキャッシ
ュラインを読み出しＲＩ返答トランザクションをネット
ワーク１７０に返送する。ＲＩ返答トランザクション
は、ＲＩ要求トランザクションの処理状態６３０をアク
セス応答、データ６７０ａ〜６７０ｄを読み出したライ
ンとしたトランザクションである。

【０１７０】(11)ネットワークによるキャッシュ一致制
御結果、メモリデータの返送 ネットワーク１７０は、対象メモリノードからＲＩ返答
トランザクションを受け、発行ノード６００で指定され
る発行元プロセッサノードへ転送する。

【０１７１】また、キャッシュ一致制御付ＲＩ要求トラ
ンザクションの場合には、全プロセッサノードからＲＩ
キャッシュ一致制御応答トランザクションを受けて、キ
ャッシュ一致制御結果をまとめてキャッシュ状態６５０
に書込み、発行ノード６００で指定される発行元プロセ
ッサノードにＲＩキャッシュ一致制御返答トランザクシ
ョンを転送する。

【０１７２】あるプロセッサノードのキャッシュ一致制
御応答トランザクションのキャッシュ状態６５０がＲｅ
ｔｒｙの場合、このトランザクションをキャッシュ一致
制御返答トランザクションとする。

【０１７３】あるプロセッサノードのキャッシュ一致制
御応答トランザクションのキャッシュ状態６５０がＭｏ
ｄｉｆｉｅｄの場合、このトランザクションをキャッシ
ュ一致制御返答トランザクションとする。

【０１７４】上記以外の場合、キャッシュ状態６５０を
Ｉｎｖａｌｉｄとする。

【０１７５】(12)アクセス権の更新 i) 発行元のネットワークインターフェイス１５５は、
ＲＩキャッシュ一致制御応答トランザクション、及び、
ＲＩ応答トランザクションを受け、信号線１６０―１１
を介してアクセス権制御回路１２０にキャッシュ状態を
報告すると共に、信号線１６０―８を介してキャッシュ
状態をＣＰＵバスインターフェイスに転送する。トラン
ザクションのデータ６７０ａ〜６７０ｄは、信号線１６
０−１０を介してＣＰＵバスインターフェイス１１８に
転送される。ここで、キャッシュ状態がＭｏｄｉｆｉｅ
ｄの場合、ＲＩキャッシュ一致制御応答トランザクショ
ンのデータ６７０ａ〜６７０ｄをアクセスしたラインと
して使用する。キャッシュ状態がＭｏｄｉｆｉｅｄ以外
の場合、ＲＩ応答トランザクションのデータ６７０ａ〜
６７０ｄをアクセスしたラインとして使用する。

【０１７６】ii) ネットワーク１５５から受けたキャッ
シュ状態がＲｅｔｒｙ以外の場合、アクセス権制御回路
１２０は、アドレスＡをＷａｙ Ａに登録する。この
時、状態ビット３１０ａ又は３１０ｂにアクセス権、タ
グ３３０ａ又は３３０ｂにアドレスＡのタグフィールド
２００を設定する。状態ビット３１０ａは、Ｅｘｃｌｕ
ｓｉｖｅに設定する。

【０１７７】(13)発行元プロセッサへのメモリ読み出し
＆無効化結果返送 ＣＰＵバスインターフェイス１１８は、キャッシュ状態
がＲｅｔｒｙ以外の場合、対象ラインをＣＰＵバス１１
５に送出しメモリ読み出し＆無効化の返答を行う。キャ
ッシュ状態がＲｅｔｒｙの場合、当該トランザクション
をリトライさせる。

【０１７８】（プロセッサのメモリ書き戻し） (1)プロセッサのメモリ書き戻し（ＷＢ）トランザクシ
ョン発行 プロセッサ（１０５ａ−１とする）は内部キャッシュ１
１０ａ−１のリプレース時に、リプレース対象のライン
のＷＢトランザクションをＣＰＵバス１１５に発行す
る。

【０１７９】(2)ＣＰＵバス上のキャッシュ一致制御 ＷＢトランザクションの対象はプロセッサ１０５ａ−１
に格納されたＭｏｄｉｆｉｅｄ状態のラインである。従
って、他のプロセッサ１０５ａ−２等は当該ラインを保
持していない。

【０１８０】(3) ネットワークにメモリ書き戻しトラン
ザクションを発行 ＣＰＵバスインターフェイス１１８は、(1)のＷＢトラ
ンザクションを受け取る。すると、ＣＰＵバスインター
フェイス１１８は、信号線１６０−１を通してＷＢトラ
ンザクションのアドレスＡをアクセス権制御回路１２０
に転送する。アクセス権制御回路１２０（構成の詳細は
後述する）は、信号線１６０−５を介してＷＢトランザ
クションをネットワークインターフェイス１５５に転送
する。 (4) ネットワークにＷＢ要求トランザクションを発行ネ
ットワークインターフェイス１５５は、ネットワーク１
７０にＷＢ要求トランザクションを発行する。ＷＢ要求
トランザクションは、図４の各フィールドに発行ノード
番号６００に自ノートの番号、発行側識別子６１０にネ
ットワークインターフェイス１５５で定めたトランザク
ションの識別子、処理状態６３０に０（アクセス要
求）、命令種類６４０に２（ＷＢ）、対象アドレス６６
０にアドレスＡ、データ第０〜３ワード６７０ａ〜６７
０ｄにＣＰＵバスインターフェイス１１８から信号線１
６０−９を介して受けたライトバック対象ラインを格納
したトランザクションである。

【０１８１】(4) ネットワークによるＷＢ要求トランザ
クションの転送 ネットワーク１７０は、対象アドレス６６０の最上位３
ビットから対象メモリノードを得て、対象メモリノード
にＷＢ要求トランザクションを転送する。

【０１８２】(5) メモリノードによるライトバック処理 (5)でネットワークからＷＢ要求トランザクションを受
けた対象メモリノードは、アドレスＡにデータ第０〜第
３ワードを書込む。

【０１８３】以上の処理における内部キャッシュの状態
遷移を図５にまとめる。図５におけるｒｍｔ ＲＤ、ｒ
ｍｔ ＲＩは外部からのキャッシュ一致制御、ＲＤ、Ｒ
Ｉ、ＷＢは、プロセッサ内部のアクセス、ｒｅｐｌａｃ
ｅは、内部キャッシュのリプレースを示す。

【０１８４】図５において、 Ｉｎｖａｌｉｄ→Ｉｎｖａｌｉｄは、ＲＤ(7-2)、ＲＤ
(8)、ＲＩ(7-2)、ＲＩ(8)、 Ｉｎｖａｌｉｄ→Ｅｘｃｌｕｓｉｖｅは、ＲＤ(13)、Ｒ
Ｉ(13)、 Ｉｎｖａｌｉｄ→Ｓｈａｒｅｄは、ＲＤ(13)、 Ｉｎｖａｌｉｄ→Ｍｏｄｉｆｉｅｄは、ＲＩ(13)、 Ｅｘｃｌｕｓｉｖｅ→Ｉｎｖａｌｉｄは、ＲＩ(8)、 Ｅｘｃｌｕｓｉｖｅ→Ｅｘｃｌｕｓｉｖｅは、ＲＤ
(1)、ＲＩ(1)、ＲＩ(2-2)、 Ｅｘｃｌｕｓｉｖｅ→Ｓｈａｒｅｄは、ＲＤ(2-2)、Ｒ
Ｄ(8)、 Ｅｘｃｌｕｓｉｖｅ→Ｍｏｄｉｆｉｅｄは、ＲＩ(1)、
ＲＩ(13)、 Ｓｈａｒｅｄ→Ｉｎｖａｌｉｄは、ＲＩ(8)、 Ｓｈａｒｅｄ→Ｅｘｃｌｕｓｉｖｅは、ＲＩ(13)、 Ｓｈａｒｅｄ→Ｍｏｄｉｆｉｅｄは、ＲＩ(13)、 Ｍｏｄｉｆｉｅｄ→Ｉｎｖａｌｉｄは、ＲＤ(2-3)、Ｒ
Ｄ(8)、ＲＩ(2-3)、ＲＩ(8)、 Ｍｏｄｉｆｉｅｄ→Ｍｏｄｉｆｉｅｄは、ＲＤ(1)、Ｒ
Ｉ(1)で述べた状態遷移を示す。

【０１８５】図６にアクセス権制御回路１２０の構成を
示す。

【０１８６】アクセス権制御回路１２０は、アクセス権
チェックを必要とする各種トランザクションを受け、一
旦格納するトランザクションバッファ７００、複数個の
アクセス権エントリを一時的に格納するアクセス権バッ
ファ７４０、トランザクションバッファ７００内のトラ
ンザクションに応じてアクセス権のチェックを行うアク
セス権チェック回路７１０、トランザクションの種類及
びアクセス権の状態に応じてＣＰＵバスインターフェイ
ス１１８、ネットワークインターフェイス１５５へトラ
ンザクションの処理方法を指示するトランザクションル
ータ７２０、アクセス権チェック回路７１０の指示に従
いアクセス権メモリ１２５とアクセス権バッファ７４０
の間でアクセス権エントリの転送を行うアクセス権メモ
リアクセス回路７３０アクセス権チェック回路７１０の
指示に従いアクセス権バッファ７４０の状態を変更する
アクセス権変更回路７５０からなる。

【０１８７】自プロセッサノード内のプロセッサからの
要求トランザクションは、ＣＰＵバスインターフェイス
１１８から信号線１６０―１を介してトランザクション
バッファ７００に格納される。

【０１８８】他プロセッサノードからのキャッシュ一致
制御要求トランザクションは、ネットワークインターフ
ェイス１５５から信号線１６０―６を介してトランザク
ションバッファ７００に格納される。

【０１８９】自プロセッサノード内のプロセッサから発
行した要求トランザクションに対応する応答トランザク
ションは、ネットワークインターフェイス１５５から信
号線１６０−１１を介してトランザクションバッファ７
００に格納される。

【０１９０】アクセス権チェック回路７１０は、アクセ
ス権バッファ７４０内のトランザクションを受けて、ト
ランザクションに対応するアクセス権エントリのアクセ
ス権状態をチェックする。アクセス権状態のチェックに
おいては、アクセス権バッファ７４０（詳細は後述）を
使用する。アクセス権状態のチェックが完了するとアク
セス権状態をトランザクションルータ７２０に転送す
る。

【０１９１】トランザクションルータ７２０は、トラン
ザクションバッファ７００からトランザクション、アク
セス権チェック回路７１０からトランザクションに対応
するアクセス権状態を受け、先に各トランザクションの
処理で示した通りに信号線１６０―２を介してＣＰＵバ
スインターフェイス１１８、信号線１６０―５を介して
ネットワークインターフェイス１５５にトランザクショ
ンの処理を指示する。

【０１９２】アクセス権バッファ７４０は、複数のアク
セス権エントリを一時的に格納するバッファであり、有
効ビット（Ｖ）、更新ビット（Ｍ）、エントリ使用ビッ
ト（Ｕ）、アクセス権使用ビット（Ｌ）、アクセス権ア
ドレス、アクセス権データのフィールドからなる。有効
ビットは、アクセス権バッファ７４０の当該エントリが
有効であることを示すビットである。更新ビットは、ア
クセス権バッファ７４０の当該エントリが変更されてお
り、アクセス権メモリ１２５に書き戻す必要があること
を示すビットである。エントリ使用ビットは、アクセス
権バッファ７４０の当該エントリを自プロセッサノード
からのトランザクションが使用中、すなわち、当該アク
セス権エントリを使用するトランザクションを発行した
が、このトランザクションが未完了であることを示すビ
ットである。アクセス権使用ビットは、自プロセッサノ
ードから当該エントリのアクセス権を使用するキャッシ
ュ一致制御無トランザクションを発行中であることを示
すビットである。

【０１９３】アクセス権アドレスは、アクセス権バッフ
ァ７４０に格納しているアクセス権メモリエントリのラ
インアドレスを示す。アクセス権データは、アクセス権
バッファ７４０に格納しているアクセス権メモリエント
リの全ビット（図３の全ビット）を格納する。

【０１９４】アクセス権回路７１０は、アクセス権状態
のチェック時に有効ビットが１かつトランザクションの
ラインアドレスフィールド２１０とアクセス権アドレス
が等しいアクセス権エントリをアクセス権バッファ７４
０内から検索する。

【０１９５】(1)一致するエントリがアクセス権バッフ
ァ７４０内に存在しない場合 i) アクセス権チェック回路７１０は信号線７６０―３
を使用してアクセス権メモリアクセス回路７３０にアク
セス権メモリ１２５の読み出しを指示する。

【０１９６】ii) アクセス権メモリアクセス回路７３０
は、アクセス権バッファ７４０に空きエントリを確保す
る。すなわち、有効ビットが０のエントリが存在する場
合、このエントリを使用する。有効ビットが０のエント
リが存在しない場合、エントリ使用ビットが０のエント
リを選択し、これを使用する。この時、更新ビットが１
の場合、当該エントリをアクセス権メモリ１２５に書き
戻す。

【０１９７】iii) アクセス権メモリアクセス回路７３
０は、信号線１６０―３にラインアドレスフィールド２
１０及び読み出しコマンドを出力してアクセス権メモリ
１２５を読み出し、読み出したエントリを信号線１６０
―４を介して受け取る。

【０１９８】iv) アクセス権メモリアクセス回路７３０
は、読み出したエントリをアクセス権バッファ７４０の
アクセス権データ部に格納し、有効ビットを１、更新ビ
ットを０、エントリ使用ビットを０、アクセス権使用ビ
ットを０、アクセス権アドレスをラインアドレスとす
る。

【０１９９】v) この後、(2)の処理に進む。

【０２００】(2)一致するエントリがアクセス権バッフ
ァ７４０内に存在する場合 i) トランザクションが要求トランザクションかつエン
トリ使用ビットが１の場合、当該トランザクションのリ
トライをＣＰＵバスインターフェイス１１８に通知す
る。この時、以下の処理は行わない。

【０２０１】ii) トランザクションがキャッシュ一致制
御要求トランザクションかつアクセス権使用ビットが１
の場合、当該トランザクションのアクセス権状態をＲｅ
ｔｒｙとし、ＣＰＵバスインターフェイス１１８に通知
する。この時、以下の処理は行わない。

【０２０２】iii) トランザクションが要求トランザク
ションの場合、エントリ使用ビットを１とする。トラン
ザクションが応答トランザクションの場合、エントリ使
用ビットを０とする。

【０２０３】iv) アクセス権データ部に変更がある場
合、アクセス権チェック回路７１０は信号線７６０―４
を介してアクセス権変更回路７５０にアクセス権の変更
を指示する。アクセス権変更回路７５０はこれを受けて
アクセス権バッファ７４０のアクセス権データ部を変更
し、更新ビットを１とする。

【０２０４】図６に示したアクセス権制御回路１２０の
構成を採ることで、プロセッサノード内のプロセッサか
らメモリへの要求トランザクション発行時に、当該ライ
ンのアクセス権が既にアクセス権メモリ１２５に設定さ
れていた場合、当該要求トランザクションのキャッシュ
一致制御は既に完了しているものと見なし、メモリアク
セスのみを行うことができる。

【０２０５】これにより、当該要求トランザクションを
全プロセッサノードにブロードキャストしキャッシュ一
致制御を行う処理を省くことができ、ネットワーク１７
０上のキャッシュ一致制御トランザクション、及び、各
プロセッサノードにおけるキャッシュ一致制御処理を削
減することができる。

【０２０６】本実施例ではアクセス権メモリによりアク
セス権が設定可能な領域は最大４ＭＢ（６４Ｋエントリ
×２Ｗａｙ×３２Ｂ）である。例えば、プロセッサノー
ド内の全プロセッサで、内部キャッシュメモリ容量合計
が１ＭＢであった場合、全プロセッサにキャッシングさ
れる領域の４倍の領域にアクセス権が設定される。ここ
で、プロセッサ内部キャッシュでミスしたトランザクシ
ョンの５０％にアクセス権が存在すると仮定すると、ネ
ットワーク１７０上のキャッシュ一致制御トランザクシ
ョン、及び、各プロセッサノードにおけるキャッシュ一
致制御処理を１／２に削減することができる。

【０２０７】アクセス権メモリ１２５の容量を増やせ
ば、トランザクション当りのアクセス権の存在確率は更
に高くなると考えられる。

【０２０８】以上が本発明の実施の形態例１である。

【０２０９】アクセス権メモリ１２５及びアクセス権制
御回路１２０をプロセッサノード制御回路１５０内に設
け、自プロセッサノードからのメモリアクセスについて
は、まずアクセス権メモリ１２５をチェックし、自プロ
セッサノードが既にアクセス権を持っている場合に他プ
ロセッサノードのキャッシュ一致制御を省略すること
で、ネットワーク１７０上で転送されるキャッシュ一致
制御トランザクション数、及び、他プロセッサノードの
キャッシュ一致制御の頻度を低下させることができる。
これにより、同一ネットワーク及び同一プロセッサノー
ドを用いた時に、従来と比較しより多くのメモリアクセ
ス処理がシステム内で可能となり、システムのメモリア
クセススループットを向上させることができる。

【０２１０】（実施の形態例２）本発明の第２の実施の
形態を説明する。

【０２１１】実施の形態例２は、実施の形態例１の変形
であるため、相違点についてのみ説明する。本実施の形
態例は、各プロセッサノードにおけるラインのアクセス
権を、アクセス権無、共有アクセス権の２種類とする点
が異なる。

【０２１２】以下、本実施の形態例におけるメモリアク
セス動作の詳細を、実施の形態例１との相違点を中心に
説明する。

【０２１３】（プロセッサのメモリ読み出し）アクセス
権メモリ１２５の各エントリの状態ビットは、００ｂ
（Ｉｎｖａｌｉｄ）又は１０ｂ（Ｓｈａｒｅｄ）のいず
れかである。このため、状態ビットが１１ｂ（Ｅｘｃｌ
ｕｓｉｖｅ）の場合の処理は存在せず、又、状態ビット
を１１ｂ（Ｅｘｃｌｕｓｉｖｅ）とする処理は行わな
い。よって、実施の形態例１のプロセッサのメモリ読み
出しと以下の点が異なる。

【０２１４】(3-2)、(4)、(7-4)、(8)において、Ｗａｙ
Ａの状態ビットは、００ｂ（Ｉｎｖａｌｉｄ）又は１
０ｂ（Ｓｈａｒｅｄ）であり、１１ｂ（Ｅｘｃｌｕｓｉ
ｖｅ）にはなり得ない。

【０２１５】(12)上記ii)において、ネットワーク１５
５から受けたキャッシュ状態に関わらず、Ｗａｙ Ａの
状態ビット３１０ａをＳｈａｒｅｄに設定する。

【０２１６】(13)において、キャッシュ状態に関わらず
プロセッサのキャッシュ状態をＳｈａｒｅｄとする。

【０２１７】（プロセッサのメモリ読み出し＆無効化）
アクセス権メモリ１２５の各エントリの状態ビットは、
００ｂ（Ｉｎｖａｌｉｄ）又は１０ｂ（Ｓｈａｒｅｄ）
のいずれかである。このため、状態ビットが１１ｂ（Ｅ
ｘｃｌｕｓｉｖｅ）の場合の処理は存在せず、又、状態
ビットを１１ｂ（Ｅｘｃｌｕｓｉｖｅ）とする処理は行
わない。よって、実施の形態例１のプロセッサのメモリ
読み出し＆無効化と以下の点が異なる。

【０２１８】(3-2)、(4)、(7-3)、(8)において、Ｗａｙ
Ａの状態ビットは、１０ｂ（Ｓｈａｒｅｄ）であり、
１１ｂ（Ｅｘｃｌｕｓｉｖｅ）にはなり得ない。特に、
(4)においてＷａｙ Ａの状態ビットは００ｂ（Ｉｎｖ
ａｌｉｄ）又は１０ｂ（Ｓｈａｒｅｄ）であることか
ら、メモリ読み出し＆無効化では必ずキャッシュ一致制
御有のアクセス要求が発行される。

【０２１９】本実施の形態例により、アクセス権メモリ
１２５の状態ビット３１０ａ、３１０ｂは、１ビット幅
に削減できる（例えば、０ｂはアクセス権無、１ｂは共
有アクセス権）。これにより、アクセス権メモリ１２５
の容量（総ビット数）が削減でき、又、実施の形態例１
と比較しメモリアクセス処理を簡単にできる。一方、プ
ロセッサからのメモリアクセス処理時にキャッシュ一致
制御を省略できる可能性は低くなる。

【０２２０】以上が本発明の実施の形態例２である。

【０２２１】（実施の形態例３）本発明の第３の実施の
形態を説明する。

【０２２２】実施の形態例３は、実施の形態例１の変形
であるため、相違点についてのみ説明する。本実施の形
態例は、各プロセッサノードにおけるラインのアクセス
権を、アクセス権無、排他アクセス権の２種類とする点
が異なる。

【０２２３】以下、本実施の形態例におけるメモリアク
セス動作の詳細を、実施の形態例１との相違点を中心に
説明する。

【０２２４】（プロセッサのメモリ読み出し）アクセス
権メモリ１２５の各エントリの状態ビットは、００ｂ
（Ｉｎｖａｌｉｄ）又は１１ｂ（Ｅｘｃｌｕｓｉｖｅ）
のいずれかである。このため、状態ビットが１０ｂ（Ｓ
ｈａｒｅｄ）の場合の処理は存在せず、又、状態ビット
を１０ｂ（Ｓｈａｒｅｄ）とする処理は行わない。よっ
て、実施の形態例１のプロセッサのメモリ読み出しと以
下の点が異なる。

【０２２５】(3-2)、(4)、(7-3)において、Ｗａｙ Ａ
の状態ビットは、００ｂ（Ｉｎｖａｌｉｄ）又は１１ｂ
（Ｅｘｃｌｕｓｉｖｅ）であり、１０ｂ（Ｓｈａｒｅ
ｄ）にはなり得ない。

【０２２６】(7-4)において、アクセス権制御回路１２
０は、信号線１６０―２を介してＣＰＵバスインターフ
ェイス１１８にＲＩキャッシュ一致制御、及び、アクセ
ス権Ｉｎｖａｌｉｄを転送し、アクセス権メモリ１２５
の当該Ｗａｙのアクセス権をアクセス権無（Ｉｎｖａｌ
ｉｄ）に変更する。

【０２２７】(8)は、（プロセッサのメモリ読み出し＆
無効化）(8)と同じ処理を行う。

【０２２８】(12) ii)において、Ｗａｙ Ａの状態ビッ
ト３１０ａをＥｘｃｌｕｓｉｖｅに設定する。

【０２２９】(13)において、プロセッサのキャッシュ状
態をＥｘｃｌｕｓｉｖｅとする。

【０２３０】（プロセッサのメモリ読み出し＆無効化）
アクセス権メモリ１２５の各エントリの状態ビットは、
００ｂ（Ｉｎｖａｌｉｄ）又は１１ｂ（Ｅｘｃｌｕｓｉ
ｖｅ）のいずれかである。このため、状態ビットが１０
ｂ（Ｓｈａｒｅｄ）の場合の処理は存在せず、又、状態
ビットを１０ｂ（Ｓｈａｒｅｄ）とする処理は行わな
い。よって、実施の形態例１のプロセッサのメモリ読み
出し＆無効化と以下の点が異なる。

【０２３１】(7-3)、(8)において、Ｗａｙ Ａの状態ビ
ットは、１１ｂ（Ｅｘｃｌｕｓｉｖｅ）であり、１０ｂ
（Ｓｈａｒｅｄ）にはなり得ない。

【０２３２】本実施の形態例により、アクセス権メモリ
１２５の状態ビット３１０ａ、３１０ｂは、１ビット幅
に削減できる（例えば、０ｂはアクセス権無、１ｂは排
他アクセス権）。これにより、アクセス権メモリ１２５
の容量（総ビット数）が削減でき、又、実施の形態例１
と比較しメモリアクセス処理を簡単にできる。一方、プ
ロセッサからのメモリアクセス処理時にキャッシュ一致
制御を省略できる可能性は低くなる。

【０２３３】以上が本発明の実施の形態例３である。

【０２３４】（実施の形態例４）本発明の第４の実施の
形態を図７を用いて説明する。

【０２３５】実施の形態例４は、実施の形態例１の変形
であるため、相違点についてのみ説明する。本実施の形
態例は、アクセス権メモリ１２５の各エントリに、当該
ラインが自プロセッサノード１００ａ〜１００ｂ内のい
ずれかのプロセッサ１０５ａ−１〜１０５ａ−２にキャ
ッシングされている可能性があることを示すＣＰＵビッ
トを設ける点、及び、プロセッサノード１００ａ〜１０
０ｂは、自プロセッサノード１００ａ〜１００ｂ内のい
ずれかのプロセッサ１０５ａ−１〜１０５ａ−２にキャ
ッシングされているラインが必ずアクセス権メモリ１２
５に登録されていることを保証できる様に動作する点が
異なる。

【０２３６】これにより、他プロセッサノード（１００
ｂとする）からキャッシュ一致制御要求を受けた場合、
アクセス権メモリ１２５をチェックした時点で対象ライ
ンがアクセス権メモリ１２５に登録されていない、又
は、対象ラインがアクセス権メモリに登録されているが
ＣＰＵビットが０ならば、ＣＰＵバス１１５へのキャッ
シュ一致制御トランザクション発行を省略できる。よっ
て、ＣＰＵバス１１５のビジー率を低下させ、システム
のメモリアクセス性能を向上できる。

【０２３７】以下、実施の形態例４を、実施の形態例１
との相違点を中心に詳しく説明する。

【０２３８】本実施の形態例では、アクセス権メモリ１
２５の各エントリを、実施の形態例１の図３に代わって
図７に示す構成とする。すなわち、各エントリ毎に、当
該ラインが自プロセッサノード１００ａ〜１００ｂ内の
いずれかのプロセッサ１０５ａ−１〜１０５ａ−２にキ
ャッシングされている可能性があることを示すＣＰＵビ
ット７２０ａ、７２０ｂを追加する。

【０２３９】ＣＰＵビット７２０ａ、７２０ｂが０の場
合、当該エントリに登録されたラインは自プロセッサノ
ード内のいずれのキャッシュ１１０ａ−１〜１１０ａ−
２にもキャッシングされていないことを示す。ＣＰＵビ
ット７２０ａ、７２０ｂが１の場合、当該エントリに登
録されたラインは自プロセッサノード内のいずれかのキ
ャッシュ１１０ａ−１〜１１０ａ−２にキャッシングさ
れている可能性があることを示す。

【０２４０】本実施の形態例では、アクセス権メモリは
自プロセッサノード１００ａ〜１００ｂ内のいずれかの
プロセッサ１０５ａ−１〜１０５ａ−２にキャッシング
されているラインを全て登録していることを保証する。
このため、実施の形態例１のメモリアクセス動作と以下
の点が異なる。

【０２４１】（プロセッサのメモリ読み出し及びプロセ
ッサのメモリ読み出し＆無効化）(3-1)で状態ビット０
０ｂのウェイが存在しない場合、以下の処理を行う。

【０２４２】i)ＬＲＵビットが０ならウェイ１を使用す
る。ＬＲＵビットが１ならウェイ０を使用する。

【０２４３】ii)選択したウェイのＣＰＵビットが０の
場合、iii)以降の処理は行わない。

【０２４４】iii)選択したウェイのＣＰＵビットが１の
場合、アクセス権制御回路１２０はこのウェイに登録さ
れているアドレス（Ｂとする）へのＲＩキャッシュ一致
制御をＣＰＵバスインターフェイス１１８に発行する。

【０２４５】iv)ＣＰＵバスインターフェイス１１８
は、ＣＰＵバス１１５にＲＩトランザクションを発行す
る。

【０２４６】アドレスＢをＥｘｃｌｕｓｉｖｅ状態、又
は、Ｓｈａｒｅｄ状態で保持するプロセッサは、アドレ
スＢのキャッシュ状態をＩｎｖａｌｉｄに変更する。

【０２４７】vi)v)の処理により、アドレスＢは自プロ
セッサノード内のいずれのプロセッサにも保持されてい
ないことが保証される。この後、選択したウェイの状態
ビットを００ｂ（Ｉｎｖａｌｉｄ）とし、ＬＲＵビット
は反転させる。

【０２４８】(7)でアクセス権制御回路１２０は、信号
線１６０−２を介してＣＰＵバスインターフェイス１１
８にＲＤ又はＲＩキャッシュ一致制御、アクセス権状態
に加え、当該ウェイのＣＰＵビットを転送する。

【０２４９】(8)上記i)でＣＰＵバスインターフェイス
１１８は、アクセス権制御回路１２０から受けたアクセ
ス権状態がＲｅｔｒｙ以外、かつ、ＣＰＵビットが１の
場合、ＣＰＵバス１１５にキャッシュ一致制御トランザ
クションを発行する。

【０２５０】(8)上記iii)でＣＰＵバスインターフェイ
ス１１８は、ＣＰＵビットが０の場合プロセッサのキャ
ッシュ状態をＩｎｖａｌｉｄと見なしてプロセッサノー
ドのキャッシュ状態を生成する。ＣＰＵビットが１の場
合、実施の形態例１と同様にプロセッサノードのキャッ
シュ状態を生成する。

【０２５１】(12)上記ii)でアクセス権制御回路１２０
は、アドレスＡをＷａｙ Ａに登録する時に、ＣＰＵビ
ットを１とする。

【０２５２】本実施の形態例では、アクセス権メモリ１
２５の各エントリにＣＰＵビットを追加し、自プロセッ
サノード１００ａ〜１００ｂ内のいずれかのプロセッサ
１０５ａ−１〜１０５ａ−２にキャッシングされている
ラインが必ずアクセス権メモリ１２５に登録されている
ことを保証できる様に動作することで、他プロセッサノ
ード（１００ｂとする）からキャッシュ一致制御要求を
受けた場合、アクセス権メモリ１２５をチェックした時
点で対象ラインがアクセス権メモリ１２５に登録されて
いない、又は、対象ラインがアクセス権メモリに登録さ
れているがＣＰＵビットが０ならば、ＣＰＵバス１１５
へのキャッシュ一致制御トランザクション発行を省略で
きる。これにより、ＣＰＵバス１１５のビジー率を低下
させ、システムのメモリアクセス性能を向上できる。ま
た、本実施の形態例の変形例として、アクセス権メモリ
１２５の各エントリに、ＣＰＵビットの代わりに自プロ
セッサノードの各プロセッサキャッシュの状態を登録す
る方法も考えられる。

【０２５３】以上が、本発明の実施の形態例４である。

【０２５４】（実施の形態例５）本発明の第５の実施の
形態を図８〜９を用いて説明する。

【０２５５】実施の形態例５は、実施の形態例４の変形
であるため、相違点についてのみ説明する。

【０２５６】本実施の形態例は、アクセス権メモリ１２
５の各エントリに、当該ラインが他プロセッサノード１
００ａ〜１００ｂ内のアクセス権メモリに登録されてい
る可能性があることを示すビットマップ（ＣＣビット）
を設け、プロセッサのアクセス発行時にアクセス権メモ
リ１２５をチェックした結果、当該ラインがアクセス権
メモリ１２５に登録されているにも係らず自プロセッサ
ノードにアクセス権が存在しない場合、ＣＣビットが１
であるプロセッサノードのみにキャッシュ一致制御要求
を発行する点が異なる。

【０２５７】これにより、自プロセッサノードにアクセ
ス権が存在しない場合にも、当該ラインがアクセス権メ
モリ１２５に登録されているならば、一部のプロセッサ
ノードのみにキャッシュ一致制御要求を発行すればよ
く、実施の形態例４と比較しネットワーク１７０上で転
送されるキャッシュ一致制御トランザクション数、及
び、他プロセッサノードのキャッシュ一致制御の頻度を
低下させることができる。

【０２５８】以下、実施の形態例５を、実施の形態例４
との相違点を中心に詳しく説明する。

【０２５９】本実施の形態例では、アクセス権メモリ１
２５の各エントリを、実施の形態例４の図７に代わって
図８に示す構成とする。すなわち、各エントリ毎に、当
該ラインが他プロセッサノードのアクセス権メモリに登
録されている可能性があることを示すＣＣビット８２５
ａ、８２５ｂを追加する。ＣＣビットは８ｂｉｔのビッ
トマップで構成され、各ビットは対応するプロセッサノ
ードが当該ラインをアクセス権メモリ１２５に登録して
いる可能性があることを示す。すなわち、ＣＣビットの
ｂｉｔ０が１ならば、プロセッサノード０は当該ライン
をアクセス権メモリ１２５に登録している可能性があ
り、以下同様にｂｉｔ７が１ならばプロセッサノード７
は当該ラインをアクセス権メモリ１２５に登録している
可能性がある。

【０２６０】本実施の形態例では、プロセッサノード上
のネットワークインターフェイス１５５、メモリノード
１７５ａ〜１７５ｂ、Ｉ／Ｏノード１８５ａ〜１８５ｂ
とネットワーク１７０間で授受されるトランザクション
の構成を、実施の形態例４の図４に代わって、図９に示
す構成とする。すなわち、第０ワードにＣＣビット９５
５を追加し、キャッシュ状態９５０のＩｎｖａｌｉｄ状
態をＩｎｖａｌｉｄ ｈｉｔ状態、Ｉｎｖａｌｉｄ Ｍｉ
ｓｓ状態に分ける点が異なる。

【０２６１】以下に、メモリアクセス動作における実施
の形態例４と本実施の形態例との相違点を示す。

【０２６２】（プロセッサのメモリ読み出し、又はプロ
セッサのメモリ読み出し＆書込み）(3-1)で状態ビット
が００ｂのウェイが存在しない場合、ＣＣビットを全ビ
ット１として以後の処理を行う。

【０２６３】(3-2)でＷａｙ Ａの状態ビットが００ｂ
（Ｉｎｖａｌｉｄ）、０１ｂ（Ｓｈａｒｅｄ、メモリ読
み出し＆書込みのみ）の場合、ＣＣビットが１のプロセ
ッサノードのみキャッシュ一致制御を行う必要がある。

【０２６４】(4)において、(3)でＷａｙ Ａが存在し、
かつ、状態ビットが００ｂ（Ｉｎｖａｌｉｄ）、０１ｂ
（Ｓｈａｒｅｄ、メモリ読み出し＆書込みのみ）であっ
た場合、ＣＣビットが１のプロセッサノードのキャッシ
ュ一致制御要求を発行する。

【０２６５】(5)でネットワーク１７０は、この要求元
プロセッサノードから受けたＣＣビット９５５に従い、
キャッシュ一致制御要求トランザクションを転送するプ
ロセッサノードを選択する。

【０２６６】(9)でキャッシュ一致制御要求トランザク
ションを受けた各プロセッサノードは、キャッシュ一致
制御結果と共に、当該ラインがアクセス権メモリ１２５
に登録されているかを示す情報をネットワーク１７０に
返送する。すなわち、キャッシュ一致制御結果Ｉｎｖａ
ｌｉｄ Ｈｉｔ、Ｓｈａｒｅｄ、Ｍｏｄｉｆｉｅｄの場
合、当該ラインはアクセス権メモリ１２５に登録されて
いることを示す。一方、Ｉｎｖａｌｉｄ Ｍｉｓｓの場
合、当該ラインはアクセス権メモリ１２５に登録されて
いないことを示す。

【０２６７】また、アクセス権メモリ１２５に当該ライ
ンが登録されている場合、ＣＣビット８２５ａ、８２５
ｂの要求元プロセッサノードに対応するビットを１とす
る。

【０２６８】(11)でネットワーク１７０は、キャッシュ
一致制御結果から要求元プロセッサノードのアクセス権
メモリ１２５に登録するＣＣビット８２５ａ、８２５ｂ
を生成する。すなわち、キャッシュ一致制御要求に対し
てＩｎｖａｌｉｄ Ｈｉｔ、Ｓｈａｒｅｄ、Ｍｏｄｉｆ
ｉｅｄを返したプロセッサノードに対応するビットのみ
１とする。このＣＣビットをキャッシュ一致制御応答ト
ランザクションのＣＣビットとして要求元プロセッサノ
ードに転送する。

【０２６９】(12)で要求元プロセッサノードは、ネット
ワーク１７０から受けたＣＣビットの自プロセッサノー
ドに対応するビットを１とし、アクセス権メモリ１２５
の当該エントリに登録する。

【０２７０】図１０に、本実施の形態例におけるプロセ
ッサノード間のキャッシュ一貫性保証動作を示す。本説
明では、説明の便宜上プロセッサノード数を４とし、プ
ロセッサノードのキャッシュ一致制御処理のみを示す。
従ってメモリノード、Ｉ／Ｏノードの動作は示さない。

【０２７１】図１０では、あるアドレスＡが複数プロセ
ッサノードからアクセスされた時のシステムの動作、及
び、アクセス権メモリの当該エントリの状態を示す。シ
ステムの初期状態は、全プロセッサノードがアドレスＡ
をアクセス権メモリに登録していないものとする。

【０２７２】以下、図１０のキャッシュ一貫性保証動作
を示す。

【０２７３】(1)プロセッサノード０がＲＤ発行 プロセッサノード０内のプロセッサがＲＤトランザクシ
ョンを発行する。この時、アクセス権メモリにアドレス
Ａが登録されていないため、ＣＣビット＝１１１１と見
なして全プロセッサノードにキャッシュ一致制御要求ト
ランザクションが発行される。

【０２７４】プロセッサノード１〜３は、アクセス権メ
モリにアドレスＡを登録していないため、キャッシュ状
態＝Ｉｎｖａｌｉｄ Ｍｉｓｓを返答する。

【０２７５】ネットワークは、プロセッサノード１〜３
のＩｎｖａｌｉｄ Ｍｉｓｓを受け、要求元プロセッサ
ノードにキャッシュ状態＝Ｉｎｖａｌｉｄ、ＣＣビット
＝００００を返答する。

【０２７６】プロセッサノード０は、キャッシュ状態Ｉ
ｎｖａｌｉｄ、ＣＣビット＝００００を受けて、アクセ
ス権メモリにアドレスＡを登録し、アクセス権メモリの
状態ビット＝Ｅｘｃｌｕｓｉｖｅ（排他アクセス権）、
ＣＣビット＝１０００とする。

【０２７７】プロセッサノード２がＲＤ発行 プロセッサノード２内のプロセッサがＲＤトランザクシ
ョンを発行する。この時、アクセス権メモリにアドレス
Ａが登録されていないため、ＣＣビット＝１１１１と見
なして全プロセッサノードにキャッシュ一致制御要求ト
ランザクションが発行される。

【０２７８】プロセッサノード０は、アクセス権メモリ
にアドレスＡを登録しており、排他アクセス権を持つ。
キャッシュ一致制御要求トランザクションを受けると、
排他アクセス権を共有アクセス権に変更し、キャッシュ
状態＝Ｓｈａｒｅｄを返答する。又、自プロセッサノー
ド内アクセス権メモリの当該エントリを、状態ビット＝
Ｓｈａｒｅｄ、ＣＣビット＝１０１０に変更する。

【０２７９】プロセッサノード１、３は、アクセス権メ
モリにアドレスＡを登録していないため、キャッシュ状
態＝Ｉｎｖａｌｉｄ Ｍｉｓｓを返答する。

【０２８０】ネットワークは、プロセッサノード０、
１、３のＳｈａｒｅｄ及びＩｎｖａｌｉｄ Ｍｉｓｓを
受け、要求元プロセッサノードにキャッシュ状態＝Ｓｈ
ａｒｅｄ、ＣＣビット＝１０００を返答する。

【０２８１】プロセッサノード０は、キャッシュ状態Ｓ
ｈａｒｅｄ、ＣＣビット＝１０００を受けて、アクセス
権メモリにアドレスＡを登録し、アクセス権メモリの状
態ビット＝Ｓｈａｒｅｄ（共有アクセス権）、ＣＣビッ
ト＝１０１０とする。

【０２８２】(1)プロセッサノード０がＲＩ発行 プロセッサノード０内のプロセッサがＲＩトランザクシ
ョンを発行する。この時、アクセス権メモリにアドレス
Ａが登録されているが、排他アクセス権が存在しないた
め、ＣＣビット＝１０１０と見なしてプロセッサノード
２にキャッシュ一致制御要求トランザクションが発行さ
れる。

【０２８３】プロセッサノード２は、アクセス権メモリ
にアドレスＡを登録しており、共有アクセス権を持つ。
キャッシュ一致制御要求トランザクションを受けると、
共有アクセス権をアクセス権無に変更し、キャッシュ状
態＝Ｉｎｖａｌｉｄ Ｈｉｔを返答する。又、自プロセ
ッサノード内アクセス権メモリの当該エントリを、状態
ビット＝Ｉｎｖａｌｉｄに変更する。

【０２８４】プロセッサノード１、３は、キャッシュ一
致制御要求を受けない。

【０２８５】ネットワークは、プロセッサノード２のＩ
ｎｖａｌｉｄ Ｈｉｔを受け、要求元プロセッサノード
にキャッシュ状態＝Ｉｎｖａｌｉｄ、ＣＣビット＝００
１０を返答する。

【０２８６】プロセッサノード０は、キャッシュ状態Ｉ
ｎｖａｌｉｄ、ＣＣビット＝００１０を受けて、アクセ
ス権メモリにアドレスＡを登録し、アクセス権メモリの
状態ビット＝Ｅｘｃｌｕｓｉｖｅ（排他アクセス権）と
する。

【０２８７】(2)プロセッサノード０が当該エントリ置
換え後、プロセッサノード２がＲＤ発行 プロセッサノード０がアクセス権メモリのアドレスＡに
対応するエントリを置き換える。その後、プロセッサノ
ード２内のプロセッサがＲＤトランザクションを発行す
る。この時、アクセス権メモリにアドレスＡが登録され
ているが、アクセス権が存在しないため、ＣＣビット＝
１０１０と見なしてプロセッサノード０にキャッシュ一
致制御要求トランザクションが発行される。

【０２８８】プロセッサノード０は、アクセス権メモリ
にアドレスＡを登録していないため、キャッシュ状態＝
Ｉｎｖａｌｉｄ Ｍｉｓｓを返答する。

【０２８９】プロセッサノード１、３は、キャッシュ一
致制御要求を受けない。

【０２９０】ネットワークは、プロセッサノード０のＩ
ｎｖａｌｉｄ Ｍｉｓｓを受け、要求元プロセッサノー
ドにキャッシュ状態＝Ｉｎｖａｌｉｄ、ＣＣビット＝０
０００を返答する。

【０２９１】プロセッサノード２は、キャッシュ状態Ｉ
ｎｖａｌｉｄ、ＣＣビット＝００００を受けて、アクセ
ス権メモリにアドレスＡを登録し、アクセス権メモリの
状態ビット＝Ｅｘｃｌｕｓｉｖｅ（排他アクセス権）、
ＣＣビット＝００１０とする。

【０２９２】本実施の形態例では、あるプロセッサノー
ドでアクセス権メモリ１２５からアドレスＡが別アドレ
スに置き換えられ、他プロセッサノードが当該プロセッ
サノードにキャッシュ一致制御要求を発行した場合にの
み、要求元プロセッサノードのＣＣビットにおける当該
プロセッサノードに対応するビットが０となる。

【０２９３】本実施の形態例の変形例として、アクセス
権メモリにあるラインが登録されている場合でも、ある
条件を満たせば登録されていないものと見なし、ＣＣビ
ットが１となる確率を低下させる方法も考えられる。こ
の条件の一例として、以下のものが考えられる。

【０２９４】・ＣＣビット内の１のビット数が一定以上
の場合、当該エントリは登録されていないものと見な
す。

【０２９５】・アクセス権メモリの各エントリに状態ビ
ットがカウンタを付加し、状態ビットがＩｎｖａｌｉｄ
の時に他プロセッサノードから当該エントリにキャッシ
ュ一致制御要求を受けた回数をカウントする。このカウ
ンタ値が一定以上になった場合、当該エントリは登録さ
れていないものと見なす。

【０２９６】以上が、本発明の実施の形態例５である。

【０２９７】アクセス権メモリ１２５の各エントリに、
当該ラインが他プロセッサノード１００ａ〜１００ｂ内
のアクセス権メモリに登録されている可能性があること
を示すＣＣビットを設け、プロセッサのアクセス発行時
にアクセス権メモリ１２５をチェックした結果、当該ラ
インがアクセス権メモリ１２５に登録されているにも係
らず自プロセッサノードにアクセス権が存在しない場
合、ＣＣビットが１であるプロセッサノードのみにキャ
ッシュ一致制御要求を発行する点が異なる。

【０２９８】これにより、自プロセッサノードにアクセ
ス権が存在しない場合にも、当該ラインがアクセス権メ
モリ１２５に登録されているならば、一部のプロセッサ
ノードのみにキャッシュ一致制御要求を発行すればよ
く、実施の形態例４と比較しネットワーク１７０上で転
送されるキャッシュ一致制御トランザクション数、及
び、他プロセッサノードのキャッシュ一致制御の頻度を
低下させることができる。

【０２９９】

【発明の効果】本発明によれば、アクセス権メモリ及び
アクセス権制御回路をプロセッサノード制御回路内に設
け、自プロセッサノードからのメモリアクセスについて
は、まずアクセス権メモリをチェックし、自プロセッサ
ノードが既にアクセス権を持っている場合に他プロセッ
サノードのキャッシュ一致制御を省略することができ
る。

【０３００】これにより、ネットワーク上で転送される
キャッシュ一致制御トランザクション数、及び、他プロ
セッサノードのキャッシュ一致制御の頻度を低下させる
ことができ、同一ネットワーク及び同一プロセッサノー
ドを用いた時に、従来と比較しより多くのメモリアクセ
ス処理がシステム内で可能となり、システムのメモリア
クセススループットを向上させることができる。

【０３０１】また、アクセス権メモリの各エントリにＣ
ＰＵビットを追加し、自プロセッサノード内のいずれか
のプロセッサにキャッシングされているラインが必ずア
クセス権メモリに登録されていることを保証できる様に
動作することで、他プロセッサノードからキャッシュ一
致制御要求を受けた場合、アクセス権メモリをチェック
した時点で対象ラインがアクセス権メモリ１２５に登録
されていない、又は、対象ラインがアクセス権メモリに
登録されているがＣＰＵビットが０ならば、ＣＰＵバス
１１５へのキャッシュ一致制御トランザクション発行を
省略できる。これにより、ＣＰＵバスのビジー率を低下
させ、システムのメモリアクセス性能を向上できる。

【０３０２】また、アクセス権メモリの各エントリに、
当該ラインが他プロセッサノード内のアクセス権メモリ
に登録されている可能性があることを示すＣＣビットを
設け、プロセッサのアクセス発行時にアクセス権メモリ
をチェックした結果、当該ラインがアクセス権メモリに
登録されているにも係らず自プロセッサノードにアクセ
ス権が存在しない場合、ＣＣビットが１であるプロセッ
サノードのみにキャッシュ一致制御要求を発行する。

【０３０３】これにより、自プロセッサノードにアクセ
ス権が存在しない場合にも、当該ラインがアクセス権メ
モリに登録されているならば、一部のプロセッサノード
のみにキャッシュ一致制御要求を発行すればよく、ネッ
トワーク上で転送されるキャッシュ一致制御トランザク
ション数、及び、他プロセッサノードのキャッシュ一致
制御の頻度を低下させることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態例１に係る並列計算機の構
成を示す図。

【図２】本発明の実施の形態例１に係る並列計算機で使
用するアドレス値を示す図。

【図３】本発明の実施の形態例１に係る並列計算機のア
クセス権メモリに格納される各エントリの構成を示す
図。

【図４】本発明の実施の形態例１に係る並列計算機のネ
ットワークで転送されるトランザクションの構造を示す
図。

【図５】本発明の実施の形態例１に係る並列計算機のプ
ロセッサキャッシュメモリに格納されるラインの状態遷
移を示す図。

【図６】本発明の実施の形態例１に係る並列計算機のア
クセス権制御回路の構成を示す図。

【図７】本発明の実施の形態例４に係る並列計算機のア
クセス権メモリに格納される各エントリの構成を示す
図。

【図８】本発明の実施の形態例５に係る並列計算機のア
クセス権メモリに格納される各エントリの構成を示す
図。

【図９】本発明の実施の形態例５に係る並列計算機のネ
ットワークで転送されるトランザクションの構造を示す
図。

【図１０】本発明の実施の形態例５に係る並列計算機の
キャッシュ一致制御動作を示す図。

【符号の説明】

１００ａ、１００ｂ…プロセッサノード、 １０５ａ−１、１０５ａ−２…プロセッサ、 １１０ａ−１、１１０ａ−２…キャッシュ、 １１５…ＣＰＵバス、 １１８…ＣＰＵバスインターフェイス、 １２０…アクセス権制御回路、 １２５…アクセス権メモリ、 １５０…プロセッサノード制御回路、 １５５…ネットワークインターフェイス、 １６０―１、１６０―２、１６０―３、１６０―４、１
６０―５、１６０―６、１６０―７、１６０―８、１６
０―９、１６０―１０、１６０―１１…信号線、 １６５ａ−１、１６５ａ−２、１６５ｂ−１、１６５ｂ
−２…プロセッサノードとネットワーク間の信号線、 １８０ａ−１、１８０ａ−２、１８０ｂ−１、１８０ｂ
−２…メモリノードとネットワーク間の信号線、 １９０ａ−１、１９０ａ−２、１９０ｂ−１、１９０ｂ
−２…Ｉ／Ｏノードとネットワーク間の信号線、 １７０…ネットワーク、 １７５ａ、１７５ｂ…メモリノード、 １８５ａ、１８５ｂ…Ｉ／Ｏノード、 ２００…タグフィールド、 ２１０…ラインアドレスフィールド、 ２２０…ライン内アドレスフィールド、 ３００…ＬＲＵビット、 ３１０ａ、３１０ｂ…アクセス権状態ビット、 ３２０ａ、３２０ｂ…ＣＰＵビット（ＣＰＵ内にキャッ
シングされていることを示す）、 ３３０ａ、３３０ｂ…タグフィールド ４００…発行ノード番号、 ４１０…発行側識別子、 ４３０…トランザクションの処理状態、 ４４０…命令種類、 ４５０…キャッシュ状態、 ４６０…対象アドレス、 ４７０ａ、４７０ｂ、４７０ｃ、４７０ｄ…トランザク
ションのデータ第０〜第３ワード、 ６００…トランザクションバッファ、 ６１０…アクセス権チェック回路、 ６２０…トランザクションルータ、 ６３０…アクセス権メモリアクセス回路、 ６４０…アクセス権バッファ、 ６５０…アクセス権変更回路、 ６６０−１、６６０―２、６６０―３、６６０―４…信
号線、 ７００…ＬＲＵビット、 ７１０ａ、７１０ｂ…アクセス権状態ビット、 ７２０ａ、７２０ｂ…ＣＰＵビット（ＣＰＵ内にキャッ
シングされていることを示す）、 ７３０ａ、７３０ｂ…タグフィールド、 ８００…ＬＲＵビット、 ８１０ａ、８１０ｂ…アクセス権状態ビット、 ８２０ａ、８２０ｂ…ＣＰＵビット（ＣＰＵ内にキャッ
シングされていることを示す）、 ８２５ａ、８２５ｂ…ＣＣビット（当該ラインをアクセ
ス権メモリに登録している可能性があるノードを示
す）、 ８３０ａ、８３０ｂ…タグフィールド、 ９００…発行ノード番号、 ９１０…発行側識別子、 ９３０…トランザクションの処理状態、 ９４０…命令種類、 ９５０…キャッシュ状態、 ９５５…ＣＣビット、 ９６０…対象アドレス、 ９７０ａ、９７０ｂ、９７０ｃ、９７０ｄ…トランザク
ションのデータ第０〜第３ワード。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 哲彦 神奈川県海老名市下今泉810番地 株式会 社日立製作所サーバ開発本部内 Ｆターム(参考） 5B005 KK02 KK13 MM01 NN43 NN53 PP00 PP21 QQ02 UU41 5B045 DD01 DD12 GG11

Claims (27)

【特許請求の範囲】
1. 【請求項１】複数のプロセッサまたは複数のＩ／Ｏデバ
   イスからアクセスされる共有メモリを有し、前期プロセ
   ッサまたはＩ／Ｏデバイスは複数のノードに分割されい
   る並列計算機システムのキャッシュ一貫性保証方法であ
   って、共有メモリ上のあるブロックに対するアクセス権
   が自ノードに存在することを示すアクセス権エントリを
   複数登録する、各ノード毎に準備されたアクセス権メモ
   リを用い、キャッシュ一貫性保証を必要とするプロセッ
   サ又はＩ／Ｏデバイスの共有メモリアクセス時にアクセ
   ス権メモリをアクセスしてアクセス権状態を決定し、当
   該プロセッサ又はＩ／Ｏデバイスを含むノードがアクセ
   ス対象の共有メモリブロックのアクセス権を保持する場
   合には、他ノード上のキャッシュメモリのキャッシュ一
   致制御を行うことなく共有メモリブロックをアクセス
   し、当該プロセッサ又はＩ／Ｏデバイスを含むノードが
   アクセス対象の共有メモリブロックのアクセス権を保持
   しない場合には、他ノード上のキャッシュメモリのキャ
   ッシュ一致制御を行うと共に、必要に応じて共有メモリ
   ブロックをアクセスすることを特徴とするキャッシュ一
   貫性保証方法。
2. 【請求項２】前記アクセス権メモリは、共有メモリのブ
   ロックアドレスの一部をアクセス権エントリアドレス、
   共有メモリのブロックアドレスのうち、アクセス権エン
   トリアドレス以外の部分をアクセス権エントリタグと
   し、アクセス権エントリタグ及びアクセス権状態を格納
   するアクセス権エントリを一又は複数をアクセス権メモ
   リの同一アクセス権エントリアドレスに記憶することを
   特徴とする請求項１記載のキャッシュ一貫性保証方法。
3. 【請求項３】アクセス権メモリのアクセス時に、共有メ
   モリのブロックアドレスから求めたアクセス権エントリ
   アドレスを用いてアクセス権メモリを読み出し、当該ア
   クセス権エントリアドレス内の複数アクセス権エントリ
   内に存在するアクセス権エントリタグ部と、共有メモリ
   のブロックアドレスから求めたアクセス権エントリタグ
   が一致したアクセス権エントリに存在するアクセス権状
   態を当該ノードが有することを特徴とする請求項２記載
   のキャッシュ一貫性保証方法。
4. 【請求項４】前記アクセス権状態は、アクセス権無、共
   有アクセス権有、排他アクセス権有の３状態を有するこ
   とを特徴とする請求項１乃至３のいずれかに記載のキャ
   ッシュ一貫性保証方法。
5. 【請求項５】プロセッサ又はＩ／Ｏデバイスがキャッシ
   ュ一貫性保証を必要とする共有メモリ読み出しを発行し
   た時に、当該プロセッサ又はＩ／Ｏデバイスを有するノ
   ードのアクセス権メモリを検索し、共有メモリのアクセ
   ス対象ブロックに対応するアクセス権エントリが存在し
   ない場合、又は、共有メモリのアクセス対象ブロックに
   対応するアクセス権エントリが存在し、当該アクセス権
   エントリのアクセス権状態がアクセス権無の場合、他の
   全ノード上のプロセッサ及びＩ／Ｏデバイスに存在する
   キャッシュの一致制御を行い、共有メモリのアクセス対
   象ブロックに対応するアクセス権エントリが存在し、当
   該アクセス権エントリのアクセス権状態が共有アクセス
   権有又は排他アクセス権有の場合、他のノード上のプロ
   セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
   制御を行わないことを特徴とする請求項４記載のキャッ
   シュ一貫性保証方法。
6. 【請求項６】他ノードから共有メモリ読み出しによるキ
   ャッシュ一致制御要求を受けた時に、自ノード上のプロ
   セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
   制御を行うと共に、当該ノードのアクセス権メモリを検
   索し、キャッシュ一致制御要求の対象ブロックに対応す
   るアクセス権エントリが存在し、当該アクセス権エント
   リのアクセス権状態が共有アクセス権有又は排他アクセ
   ス権有の場合、当該アクセス権状態をアクセス権無に変
   更することを特徴とする請求項４又は５のいずれかに記
   載のキャッシュ一貫性保証方法。
7. 【請求項７】他ノードから共有メモリ読み出しによるキ
   ャッシュ一致制御要求を受けた時に、自ノード上のプロ
   セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
   制御を行うと共に、当該ノードのアクセス権メモリを検
   索し、キャッシュ一致制御要求の対象ブロックに対応す
   るアクセス権エントリが存在し、当該アクセス権エント
   リのアクセス権状態が共有アクセス権有又は排他アクセ
   ス権有の場合、当該アクセス権状態を共有アクセス権有
   とすることを特徴とする請求項４又は５のいずれかに記
   載のキャッシュ一貫性保証方法。
8. 【請求項８】プロセッサ又はＩ／Ｏデバイスがキャッシ
   ュ一致制御を必要とする共有メモリ読み出しを発行し、
   他ノードのキャッシュ一致制御要求を発行した結果他の
   全ノードが当該共有メモリブロックのアクセス権を持た
   ない場合に、自ノードのアクセス権を排他アクセス権有
   としてアクセス権メモリに登録し、他ノードのキャッシ
   ュ一致制御要求を発行した結果他の最低１つのノードが
   当該共有メモリブロックの共有アクセス権を持つ場合
   に、自ノードのアクセス権を共有アクセス権有としてア
   クセス権メモリに登録することを特徴とする請求項４乃
   至７のいずれかに記載のキャッシュ一貫性保証方法。
9. 【請求項９】プロセッサ又はＩ／Ｏデバイスがキャッシ
   ュ一致制御を必要とする共有メモリ書込み又は無効化を
   伴う読み出しを発行した時に、当該プロセッサ又はＩ／
   Ｏデバイスを有するノードのアクセス権メモリを検索
   し、共有メモリのアクセス対象ブロックに対応するアク
   セス権エントリが存在しない場合、又は、共有メモリの
   アクセス対象ブロックに対応するアクセス権エントリが
   存在し、当該アクセス権エントリのアクセス権状態がア
   クセス権無又は共有アクセス権有の場合、他の全ノード
   上のプロセッサ及びＩ／Ｏデバイスに存在するキャッシ
   ュの一致制御を行い、共有メモリのアクセス対象ブロッ
   クに対応するアクセス権エントリが存在し、当該アクセ
   ス権エントリのアクセス権状態が排他アクセス権有の場
   合、他のノード上のプロセッサ及びＩ／Ｏデバイスに存
   在するキャッシュの一致制御を行わないことを特徴とす
   る請求項４乃至７のいずれかに記載のキャッシュ一貫性
   保証方法。
10. 【請求項１０】他ノードから共有メモリ書込み又は無効
    化を伴う読み出しによるキャッシュ一致制御要求を受け
    た時に、自ノード上のプロセッサ及びＩ／Ｏデバイスに
    存在するキャッシュの一致制御を行うと共に、当該ノー
    ドのアクセス権メモリを検索し、キャッシュ一致制御要
    求の対象ブロックに対応するアクセス権エントリが存在
    する場合、当該アクセス権状態をアクセス権無に変更す
    ることを特徴とする請求項４乃至７のいずれかに記載の
    キャッシュ一貫性保証方法。
11. 【請求項１１】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ書込み又は無効化
    を伴う読み出しを発行し、他ノードのキャッシュ一致制
    御要求を発行した結果他の全ノードが当該共有メモリブ
    ロックのアクセス権を持たない場合に、自ノードのアク
    セス権を排他アクセス権有としてアクセス権メモリに登
    録することを特徴とする請求項４乃至７のいずれかに記
    載のキャッシュ一貫性保証方法。
12. 【請求項１２】前記アクセス権状態は、アクセス権無、
    共有アクセス権有の２状態を有することを特徴とする請
    求項１乃至３のいずれかに記載のキャッシュ一貫性保証
    方法。
13. 【請求項１３】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ読み出しを発行し
    た時に、当該プロセッサ又はＩ／Ｏデバイスを有するノ
    ードのアクセス権メモリを検索し、共有メモリのアクセ
    ス対象ブロックに対応するアクセス権エントリが存在し
    ない場合、又は、共有メモリのアクセス対象ブロックに
    対応するアクセス権エントリが存在し、当該アクセス権
    エントリのアクセス権状態がアクセス権無の場合、他の
    全ノード上のプロセッサ及びＩ／Ｏデバイスに存在する
    キャッシュの一致制御を行い、共有メモリのアクセス対
    象ブロックに対応するアクセス権エントリが存在し、当
    該アクセス権エントリのアクセス権状態が共有アクセス
    権有の場合、他のノード上のプロセッサ及びＩ／Ｏデバ
    イスに存在するキャッシュの一致制御を行わないことを
    特徴とする請求項１２記載のキャッシュ一貫性保証方
    法。
14. 【請求項１４】他ノードから共有メモリ読み出しによる
    キャッシュ一致制御要求を受けた時に、自ノード上のプ
    ロセッサ及びＩ／Ｏデバイスに存在するキャッシュの一
    致制御を行うと共に、当該ノードのアクセス権メモリを
    検索し、キャッシュ一致制御要求の対象ブロックに対応
    するアクセス権エントリが存在し、当該アクセス権エン
    トリのアクセス権状態が共有アクセス権有の場合、当該
    アクセス権状態を共有アクセス権有のまま保つことを特
    徴とする請求項１２又は１３のいずれかに記載のキャッ
    シュ一貫性保証方法。
15. 【請求項１５】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ読み出しを発行
    し、他ノードのキャッシュ一致制御要求を発行した結
    果、自ノードのアクセス権を共有アクセス権有としてア
    クセス権メモリに登録することを特徴とする請求項１２
    乃至１４のいずれかに記載のキャッシュ一貫性保証方
    法。
16. 【請求項１６】前記アクセス権状態は、アクセス権無、
    排他アクセス権有の２状態を有することを特徴とする請
    求項１乃至３のいずれかに記載のキャッシュ一貫性保証
    方法。
17. 【請求項１７】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ読み出しを発行し
    た時に、当該プロセッサ又はＩ／Ｏデバイスを有するノ
    ードのアクセス権メモリを検索し、共有メモリのアクセ
    ス対象ブロックに対応するアクセス権エントリが存在し
    ない場合、又は、共有メモリのアクセス対象ブロックに
    対応するアクセス権エントリが存在し、当該アクセス権
    エントリのアクセス権状態がアクセス権無の場合、他の
    全ノード上のプロセッサ及びＩ／Ｏデバイスに存在する
    キャッシュの一致制御を行い、共有メモリのアクセス対
    象ブロックに対応するアクセス権エントリが存在し、当
    該アクセス権エントリのアクセス権状態が排他アクセス
    権有の場合、他のノード上のプロセッサ及びＩ／Ｏデバ
    イスに存在するキャッシュの一致制御を行わないことを
    特徴とする請求項１６記載のキャッシュ一貫性保証方
    法。
18. 【請求項１８】キャッシュ一貫性保証装置であって、他
    ノードから共有メモリ読み出しによるキャッシュ一致制
    御要求を受けた時に、自ノード上のプロセッサ及びＩ／
    Ｏデバイスに存在するキャッシュの一致制御を行うと共
    に、当該ノードのアクセス権メモリを検索し、キャッシ
    ュ一致制御要求の対象ブロックに対応するアクセス権エ
    ントリが存在し、当該アクセス権エントリのアクセス権
    状態が排他アクセス権有の場合、当該アクセス権状態を
    アクセス権無に変更することを特徴とする請求項１６又
    は１７のいずれかに記載のキャッシュ一貫性保証方法。
19. 【請求項１９】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ読み出しを発行
    し、他ノードのキャッシュ一致制御要求を発行した結果
    他の全ノードが当該共有メモリブロックのアクセス権を
    持たない場合に、自ノードのアクセス権を排他アクセス
    権有としてアクセス権メモリに登録することを特徴とす
    る請求項１６乃至１８のいずれかに記載のキャッシュ一
    貫性保証方法。
20. 【請求項２０】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ書込みを発行した
    時に、当該プロセッサ又はＩ／Ｏデバイスを有するノー
    ドのアクセス権メモリを検索し、共有メモリのアクセス
    対象ブロックに対応するアクセス権エントリが存在しな
    い場合、又は、共有メモリのアクセス対象ブロックに対
    応するアクセス権エントリが存在し、当該アクセス権エ
    ントリのアクセス権状態がアクセス権無の場合、他の全
    ノード上のプロセッサ及びＩ／Ｏデバイスに存在するキ
    ャッシュの一致制御を行い、共有メモリのアクセス対象
    ブロックに対応するアクセス権エントリが存在し、当該
    アクセス権エントリのアクセス権状態が排他アクセス権
    有の場合、他のノード上のプロセッサ及びＩ／Ｏデバイ
    スに存在するキャッシュの一致制御を行わないことを特
    徴とする請求項１６乃至１９のいずれかに記載のキャッ
    シュ一貫性保証方法。
21. 【請求項２１】他ノードから共有メモリ書込みによるキ
    ャッシュ一致制御要求を受けた時に、自ノード上のプロ
    セッサ及びＩ／Ｏデバイスに存在するキャッシュの一致
    制御を行うと共に、当該ノードのアクセス権メモリを検
    索し、キャッシュ一致制御要求の対象ブロックに対応す
    るアクセス権エントリが存在する場合、当該アクセス権
    状態をアクセス権無に変更することを特徴とする請求項
    １６乃至２０のいずれかに記載のキャッシュ一貫性保証
    方法。
22. 【請求項２２】プロセッサ又はＩ／Ｏデバイスがキャッ
    シュ一致制御を必要とする共有メモリ書込みを発行し、
    他ノードのキャッシュ一致制御要求を発行した結果他の
    全ノードが当該共有メモリブロックのアクセス権を持た
    ない場合に、自ノードのアクセス権を排他アクセス権有
    としてアクセス権メモリに登録することを特徴とする請
    求項１６乃至２１のいずれかに記載のキャッシュ一貫性
    保証方法。
23. 【請求項２３】各アクセス権エントリに当該共有メモリ
    ブロックが自ノード内の一又は複数のプロセッサ又はＩ
    ／Ｏデバイスにキャッシングされていることを示すビッ
    トを設けることを特徴とする請求項１乃至２２のいずれ
    かに記載のキャッシュ一貫性保証方法。
24. 【請求項２４】各アクセス権エントリに、当該共有メモ
    リブロックが自ノード内の一又は複数のプロセッサ又は
    Ｉ／Ｏデバイスにキャッシングされていること、及び、
    当該共有メモリブロックのキャッシング状態を示すフィ
    ールドを設けることを特徴とする請求項１乃至２２のい
    ずれかに記載のキャッシュ一貫性保証方法。
25. 【請求項２５】各アクセス権エントリに、当該共有メモ
    リブロックをアクセス権メモリに登録している可能性が
    あるか、又は、当該共有メモリブロックをキャッシング
    している可能性がある他ノードを特定するフィールドを
    設け、自ノード内のプロセッサ又はＩ／Ｏデバイスがキ
    ャッシュ一致制御を必要とする共有メモリアクセスを発
    行した時に、自ノードのアクセス権メモリを検索し、共
    有メモリのアクセス対象ブロックに対応するアクセス権
    エントリが存在し、かつ、他ノードのキャッシュ一致制
    御が必要となった場合に、前記フィールドの情報に基づ
    き、当該共有メモリブロックをアクセス権メモリに登録
    している可能性があるか、又は、当該共有メモリブロッ
    クをキャッシングしている可能性がある他ノードのみに
    キャッシュ一致制御要求を発行することを特徴とする点
    が異なる請求項１乃至２４のいずれかに記載のキャッシ
    ュ一貫性保証方法。
26. 【請求項２６】各アクセス権エントリに設けた当該共有
    メモリブロックをアクセス権メモリに登録している可能
    性があるか、又は、当該共有メモリブロックをキャッシ
    ングしている可能性がある他ノードを特定するフィール
    ドは、自ノード内プロセッサ又はＩ／Ｏデバイスが当該
    共有メモリブロックをアクセスし、他ノードにキャッシ
    ュ一致制御要求を送付した結果、キャッシュ一致制御要
    求を受けた他ノードが各々当該共有メモリブロックをア
    クセス権メモリに登録していること、又は、当該共有メ
    モリブロックをキャッシングしていることを示す情報を
    返送し、これらの情報を集めて生成されることを特徴と
    する請求項２５記載のキャッシュ一貫性保証方法。
27. 【請求項２７】請求項１乃至２６に記載のキャッシュ一
    致性保証方法を実行する機構を備えたことを特徴とする
    並列計算機。