JPH0830568A - 分散メモリ型並列計算機のキャッシュ制御方式 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、分散メモリ型並列計算機において、
各ＰＥに分散して存在している主メモリをシステム全体
で１つの広大なメモリ空間が存在しているように動作さ
せる分散共有メモリシステムにおいて、前記主メモリの
一部をキャッシュ領域とすることによりキャッシュ領域
を拡大してリモートＰＥからデータを転送する確率を減
少させることにより動作を高速化する方式を提供するこ
とを目的とする。 【構成】プロセッサ１はアドレスバス２を介してアドレ
スをキャッシュ領域アクセス部３内のアドレス検出手段
４に転送する。前記アドレス検出部４においてタグがヒ
ットした場合には、アドレス変換部１０で生成されたア
ドレスは主メモリ制御装置６に転送される。主メモリ８
の一部には前述したキャッシュ領域９が設けられる。こ
のキャッシュ領域９は主メモリ８の領域の一部を分割し
て構成されるが、この主メモリ８とキャッシュ領域９と
が主メモリ制御装置６によってアクセスされる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は分散メモリ型並列計算機
に係り、特に各並列計算機に設けられたキャッシュメモ
リのキャッシュ制御方式に関する。

【０００２】

【従来の技術】近年、各ＰＥに分散して存在しているメ
モリを各ＰＥが共有して使用することにより、システム
全体で１つの広大なメモリ空間が存在しているように動
作させる分散共有メモリ機構が用いられるようになって
きた。並列計算機における分散共有メモリ機構は、プロ
グラミングが難しいとされてきた並列計算機のソフトウ
ェア開発において、従来のプログラムからの移行を容易
にする、あるいは並列化コンパイラの実現を容易にする
などの利点をもたらす。

【０００３】しかしながら、ネットワークを介して分散
されたメモリのアクセスはプロセッサの通常の動作に比
べて遅く、システム全体のＰＥを効率良く動作させるこ
とは難しい。

【０００４】この問題点に対し、各ＰＥに高速、小容量
のキャッシュメモリを置き、それをうまく制御して、分
散されたメモリへのアクセス回数を減らし、メッセージ
通信の頻度を減少させて、プロセッサを効率よく動作さ
せる手法がいくつかある。

【０００５】ところが、これら方法は、専用のキャッシ
ュメモリと、プロセッサからみたキャッシュメモリの内
容の一貫性を保つキャッシュコヒーレンシと呼ばれる極
めて複雑な機構とメッセージ通信プロトコルを必要とし
ていた。また、汎用性を重視したその複雑な操作のため
に、アプリケーションの性質、すなわちメモリのload／
store のパターンによっては、システム全体の性能が十
分発揮できない場合もあった。

【０００６】

【発明が解決しようとする課題】分散型並列計算機シス
テムでは、loadの場合にはHit すると外部キャッシュか
らそのデータを読み出せばよいが、Missの場合はアクセ
ス例外を発生し対応するリモートＰＥから自ＰＥの外部
キャッシュにアドレスとその内容とを転送し、いったん
外部キャッシュにstore してから再度アクセスを実行す
るので、リモートＰＥから該当データを自ＰＥの外部キ
ャッシュに転送しなければならない。従来の外部キャッ
シュの容量は小さいので、loadの場合にMissする確率が
多く、リモートＰＥからデータを転送することが頻繁に
起こった。このため、従来の分散共有メモリ型並列計算
機においてはリモートloadの場合に、時間がかかるとい
う問題がある。

【０００７】また、Missする場合を少なくするために外
部キャッシュの容量を増やそうとするとコストがかかる
という問題がある。本発明は分散共有メモリ型並列計算
機において外部キャッシュメモリに代えてキャッシュ領
域を主メモリの領域に提供することによりキャッシュの
容量を拡大し、これによってリモートＰＥよりデータを
もってくる確率を減らし、並列計算機の演算速度を向上
することを目的とする。

【０００８】

【課題を解決するための手段】第１図は本発明のプロセ
シングエレメント（ＰＥ）の原理ブロック図である。プ
ロセッサ１はアドレスバス２を介してアドレスをキャッ
シュ領域アクセス部３内のアドレス検出手段４に転送す
るとともに、データバス５を介してデータを主記憶メモ
リ制御装置６に転送する。

【０００９】このアドレス検出手段４はプロセッサ１か
ら発生されるアドレスのタグ部とタグメモリ７のタグ部
とを比較してHit の検出が行われる。このアドレス比較
の結果Miss Hitした場合には、このMiss Hitしたアドレ
スは他ＰＥに転送されリモートload要求を行う。ここ
で、アドレスのタグ部はＰＥ番号と主メモリ１８のキャ
ッシュ領域９のアドレスの一部とからなる。

【００１０】このアドレス検出部４においてタグがHit
した場合には、アドレス変換部１０で生成されたアドレ
スは主メモリ制御装置６に転送される。主メモリ８のロ
ーカル空間の一部には前述したキャッシュ領域９が設け
られる。このキャッシュ領域９は主メモリ８の領域の一
部を分割して構成されるが、この主メモリ８とキャッシ
ュ領域９とが主メモリ制御装置６によってアクセスされ
る。

【００１１】

【作用】第１図に示した本発明の原理図によれば、外部
キャッシュメモリを廃止して主メモリ８の一部の領域を
キャッシュ領域９として構成したので、キャッシュ領域
９の容量を、外部キャッシュメモリに比較して数段と大
きくすることができる。これによりキャッシュMissの確
率を減らし、リモートプロセッサエレメントからloadす
る頻度を減少して、並列計算機の演算速度を向上でき
る。

【００１２】さらに、従来は外部キャッシュメモリにア
クセスするための外部キャッシュメモリ専用のキャッシ
ュメモリ制御装置が必要であったが、本発明においては
キャッシュ領域を主メモリ領域の一部に構成したので、
外部キャッシュメモリ専用のメモリ制御装置が不要とな
った。言い換えれば、メモリ制御装置はリードコントロ
ーラ、ライトコントローラ、アドレスデコーダ、マルチ
プレクサ等からなるので１つの主メモリ制御装置６によ
って主メモリ８のキャッシュ領域９にも主メモリのキャ
ッシュ領域９以外にもアクセス可能となることにより、
構成の簡単化を図れる。

【００１３】

【実施例】図２は本発明にかかる分散メモリ型並列計算
機のシステム構成図を示す。プロセシングエレメントＰ
Ｅはプロセッサ１と主メモリ８とより成る。例えば１０
２４台のＰＥが相互結合網２１を介して接続されてい
る。

【００１４】図３は前記分散型メモリ計算機の分散共有
メモリ空間の説明図である。物理アドレス３１は０乃至
２４ビットのメモリアドレス空間と２５〜３４ビットの
ＰＥ番号と３５ビットに設けられた共有メモリ空間か
（０）あるいはローカル空間か（１）を示すビットから
構成される。

【００１５】ＰＥ番号０のメモリ空間は、ローカル空間
と共有空間とから成り、その共有空間のうちのＰＥ番号
０用の共有空間はメモリ（ＰＥ０）であり、ＰＥ番号１
のプロセシングエレメントに設けられた共有メモリ空間
は共有メモリ（ＰＥ＝１）であり、・・・以下同様にＰ
Ｅ番号Ｎ−１のプロセシングエレメントに設けられた共
有メモリ空間は共有メモリ（ＰＥ＝Ｎ−１）を有する。
各プロセシングエレメントＰＥ＝０・・・Ｎ−１のメモ
リに設けられた共有空間は他のＰＥからもアクセス可能
であり、その意味において共有メモリが各ＰＥに対して
分散して設けられていることになる。

【００１６】図４は本発明の一実施例の各プロセシング
エレメントＰＥの内部構成図である。プロセシングエレ
メントＰＥはプロセッサ１と主メモリ８とを有し、プロ
セッサ１がキャッシュ領域アクセス部３を制御するとと
もに、キャッシュ領域アクセス部３は主メモリ８を制御
する。メッセージコントローラ２２はデータの転送の場
合にはプロセッサ１から直接制御されるとともに、キャ
ッシュ領域アクセス部３からアドレス信号が入力され
る。メッセージコントローラ２２の出力はプロセシング
エレメントＰＥの外部に送出され相互結合網２１を介し
て転送される。

【００１７】キャッシュ領域アクセス部３はプロセッサ
１からのアドレスを検出するアドレス検出部４、アドレ
ス検出部４で検出されたアドレスはタグメモリ７に転送
されてタグメモリ７に記憶されているアドレスと比較さ
れ、Hit した場合にはアドレス変換部１０を介して変換
されたアドレスにより主メモリ８内に設けられたキャッ
シュ領域９へのアクセスを行う。アドレス検出部４で検
出されたアドレスとタグメモリ７に記憶されたアドレス
との比較の結果、loadの時は Miss をした場合、store
のときはHit とMissの場合ともに、リモートプロセッサ
エレメントＰＥをアクセスすることとなる。

【００１８】図４に示した本発明の実施例のプロセシン
グエレメントＰＥの動作をより具体的に説明する。ま
ず、リモートstore は、プロセッサ１が発行したstore
命令のアドレス部の上位数ビットを宛先ＰＥの番号と
し、残りの下位ビットを当該ＰＥのメモリアドレスとす
るリモートstore コマンドメッセージをメッセージコン
トローラ２２が発生し、そのメッセージを受け取ったＰ
Ｅのメッセージコントローラがそのコマンドを解釈し
て、メモリにメッセージのデータをストアすることで実
現される。

【００１９】次にリモートloadは、プロセッサ１が発行
したload命令のアドレス部の上位数ビットを宛先ＰＥの
番号とし、残りの下位ビットを当該ＰＥのメモリアドレ
スとするリモートloadコマンドメッセージをメッセージ
コントローラ２２が発生し、そのメッセージを受け取っ
たＰＥのメッセージコントローラがそのコマンドを解釈
して、メモリのデータを読み出してコマンドを発行した
ＰＥに結果のメッセージを返送し、それを受け取った元
のＰＥのメッセージコントローラがそのメッセージのデ
ータをプロセッサに通知することで実現される。

【００２０】これらのリモートload／store が実現され
ることにより、全てのＰＥにおいて、あるアドレスへの
メモリアクセスが、あるＰＥのローカルメモリのあるア
ドレスに一意に決まってなされるので、システム全体と
して１つの共有メモリが存在しているように見える、分
散共有メモリが構築される。

【００２１】このようにして実現された分散共有メモリ
において、キャッシュ領域アクセス部３に設けられたリ
モートアクセスのアドレスを検出する手段４とタグメモ
リ７によってそのアドレスに対応するデータのコピーが
ローカルメモリのある部分すなわちキャッシュ領域に存
在していることを検出することができる。主メモリ８に
コピーが存在していることを検出するための、コピーの
存在を記憶するタグメモリ７をプロセッサ１が読み出
し、更新することができる。

【００２２】リモートloadを行った時、アドレス検出手
段４によりそのアドレスに対応するデータのコピーが主
メモリ８に存在していることが検出された時、リモート
loadのアドレスを対応している主メモリ８に存在するコ
ピーのアドレスに変換するアドレス変換手段１０を用い
てそのコピーを読み出し、リモートアクセスの代わりに
プロセッサに結果を返す。

【００２３】リモートloadを行った時、アドレス検出手
段４によりそのアドレスに対応するデータのコピーが主
メモリ８に存在していないことが検出された時、プロセ
ッサに例外処理を要求し、その例外処理では、アドレス
変換手段１０によって生成されるべきメモリアドレスに
リモートのＰＥのデータの領域をネットワークを通して
転送し、タグメモリ７を更新してコピーが存在すること
を示すようにする。

【００２４】プロセッサ１がプリフェッチ機能によりリ
モートメモリのプリフェッチを行った時、アドレス検出
手段４によりそのアドレスに対応するデータのコピーが
主メモリ８に存在していることが検出された時、プリフ
ェッチのアドレスを対応している主メモリ８に存在する
コピーのアドレスに変換するアドレス変換手段１０を用
いてそのコピーを読み出し、プロセッサに結果を返す。

【００２５】プロセッサがプリフェッチ機能によりリモ
ートメモリのプリフェッチを行った時、アドレス検出手
段４によりそのアドレスに対応するデータのコピーが主
メモリ８に存在していないことが検出された時、プロセ
ッサに例外処理を要求し、その例外処理では、アドレス
変換手段１０によって生成されるべきメモリアドレスに
リモートのＰＥのデータの領域をネットワークを通して
転送し、タグメモリ７を更新してコピーが存在すること
を示すようにする。

【００２６】リモートstore を行った時、アドレス検出
手段４によりそのアドレスの内容のコピーが主メモリ８
に存在していることが検出された時、リモートstore の
アドレスを対応している主メモリ８に存在するコピーの
アドレスに変換するアドレス変換手段１０を用いてその
コピーが存在するアドレスのメモリにデータを書き込む
とともに、メッセージコントローラ２２にリモートstor
e の発行を要求する。

【００２７】さらに、リモートstore を行った時、アド
レス検出手段４によりそのアドレスに対応するデータの
コピーが主メモリ８に存在していないことが検出された
時、メッセージコントローラ２２にリモートstore の発
行を要求する。

【００２８】図５はライトスルーの場合のＰＥ０の主メ
モリ８に設けられたキャッシュ領域９とリモートstore
が行われるＰＥ１の主メモリ８との関係を示す。図５に
おいてプロセシングエレメントＰＥ０においてそのタグ
メモリ７のタグとプロセッサ１から送られてきたアドレ
スとの比較を行う。リードがHit のときは、ＰＥ０の主
メモリ８のキャッシュ領域９からリードが行われ、リー
ドがMissHitのときは、例外処理を実行してリモートＰ
Ｅ１から該当アドレスの内容を転送してきて、タグメモ
リ７に該当アドレスを格納するとともに、キャッシュ領
域９にそのアドレスの内容を格納する。

【００２９】ライトのHit が生じた場合にはそのアドレ
スに対応するアドレスがプロセシングエレメントＰＥ０
の主メモリ８のキャッシュ領域９に存在することになる
ので、そのキャッシュ領域９に対してライトが行われ
る。そして、ライトスルー動作に従ってリモートのプロ
セシングエレメントＰＥ１の主メモリ８の共有メモリ空
間に対してリモートstore が行われる。ライトのMiss H
itのときは、プロセシングエレメントＰＥ１の主メモリ
８の共有メモリ空間に対してライトが行われる。

【００３０】図６は図４におけるキャッシュ領域アクセ
ス部３をより具体的に示したものである。プロセッサの
アドレス空間は３６ビット（６４Ｇバイト）であると
し、その半分の空間３５ビット（３２Ｇバイト）を分散
共有メモリ空間として動作させる。もし、システムのＰ
Ｅ数が１０２４台であったなら、この３５ビットの上位
１０ビットがＰＥ番号を表し、残り２５ビット（３２Ｍ
バイト）がそれぞれのＰＥの分散共有メモリのためのア
ドレスとなる。

【００３１】リモートメモリのコピーを持つための領域
は、２Ｍバイトで、ローカルメモリの分散共有メモリと
して使っている領域とは重ならないアドレスを確保す
る。そのためのアドレスの先頭をＷＴＰＢＡＳＥに設定
しておく。その２Ｍバイトを２０４８個の１Ｋバイトの
領域に分割し、その１Ｋバイトの範囲で、リモートメモ
リの内容のコピーを保持することになる。

【００３２】物理アドレスの０乃至１１ビットは１ペー
ジ分のデータすなわち４Ｋバイトのデータを示し、１２
ビット〜２０ビットまでの９ビット５１２エントリはタ
グメモリ７のアドレスを示し、２１ビット〜３４ビット
はＰＥ番号とそのＰＥにおける主メモリのアドレスを含
むアドレスを示し、３５ビットはローカルメモリ領域か
共有メモリ領域かを示す。

【００３３】タグメモリ７は、１４ビットの上位アドレ
ス部と４ビットのサブラインを１ワードとする、５１２
ワードのＲＡＭで構成される。図６を用いて、ライトス
ルーページ方式でライトがHit した場合について説明す
る。アドレス検出手段４は比較器３１とアンド回路３２
とからなる。まずアドレス検出手段４はプロセッサ１か
ら前記３６ビットの物理アドレスを入力し、３５ビット
の分散共有メモリアドレスの内の上位１４ビットのアド
レスとそこから下位の９ビットのアドレスとするタグメ
モリ７から引き出されたアドレスの内容とを比較器３１
で比較する。さらに１０ビットおよび１１ビットの２ビ
ットをデコードした値とタグメモリ７の４本のサブライ
ンの値とを比較する（図示せず）。言い換えれば、３５
ビットの分散共有メモリ空間の、上位１４ビットと、そ
こから下位９ビットをアドレスとするタグメモリのワー
ドの上位アドレス部を比較器３１で比較し、値が一致し
て、さらに４Ｋバイトを４つに分割した領域に対応する
サブラインのビットが１であった場合、アンド回路３２
の出力は１となり、そのアクセスはHit した（コピーが
主メモリ８のキャッシュ領域９に存在している）とす
る。アドレス部が一致しない、または一致してもサブラ
インのビットが１になっていないならば、そのアクセス
はMissした（コピーが主メモリ８のキャッシュ領域９に
存在していない）とする。

【００３４】アンド回路３２の出力のHit/Miss信号によ
ってキャッシュヒットまたはミスヒットを判定し、主メ
モリ８内のキャッシュ領域９をアクセスするか否かを決
定する。

【００３５】ヒットの場合には、４ＫＢからなるページ
を示す１２bit と５１２エントリを示す９bit とで示さ
れるアドレスのうちの１つのアドレスと、キャッシュ領
域アクセス手段３内に設定されている９ビットのＷＴＰ
ＢＡＳＥアドレスとの値とをアドレス変換手段１０に設
けられた加算器３３によって加えあわせ、その加えあわ
せられたアドレスによって１ページ分のメモリ領域（４
ＫＢ）の内の１ＫＢのアドレス領域のうち１つのアドレ
スを特定することとなる。このようにして主メモリ８の
中のキャッシュ領域９を主メモリ制御装置６を用いてア
クセスすることが可能となる。

【００３６】そしてライトスルーであるから主メモリ８
のキャッシュ領域９に書き込んだ後には再びリモートst
ore のアドレスが自ＰＥの共有メモリ空間を指している
場合には自ＰＥの主メモリ８の共有メモリ空間をアクセ
スするととなる。もちろん、共有メモリ空間が他ＰＥに
存在するときには自ＰＥの主記憶の中のキャッシュ領域
に書き込んだ後に他ＰＥの該当するアドレス領域にデー
タを書き込むこととなる。

【００３７】上述したload／store 、およびHit ／Miss
の組み合せの動作の詳細を、表１に示す。

【００３８】

【表１】

【００３９】動作をまとめると、store に関しては、コ
ピーが存在する場合、コピーを更新してかつリモートst
ore を行い、コピーが存在しない場合、リモートstore
のみを行う（write-through 動作）。load／プリフェッ
チに関しては、コピーが存在する場合、そのコピーから
データを読み出し、コピーが存在しない場合、プロセッ
サの例外処理によってソフトウェアでデータを転送して
メモリにコピーを作る。

【００４０】本発明によると、単にリモートload／stor
e のみを行う分散共有メモリと比べると、一度コピーを
作成したキャッシュ領域内の以降のloadは、リモートlo
adにならずに自身のメモリから読み込まれるので、デー
タの処理速度は格段に速くなる。すなわち、データは自
ＰＥの外部キャッシュメモリに存在する場合が一番高速
にアクセスできるのであるが、外部キャッシュメモリの
容量は大きくできないので、多数のプロセシングエレメ
ントを結合した並列計算機システムにあってはリモート
load／store を行う頻度が多くなってしまうが、本発明
によって、キャッシュ領域を自ＰＥの主メモリ内に設定
したので、キャッシュ領域を大きく設定でき、リモート
load／store の動作が起こる確率を低下できるので、シ
ステム全体としては格段と高速化が図れることとなっ
た。

【００４１】ただし、この方式においては、一度コピー
が作られた領域への書き込みは、そのままでは、自身の
ＰＥの書き込みしか反映されない。すなわち、あるメモ
リ領域が書き換えられたとして、他のＰＥでその領域の
コピーを持っている場合は、そのコピーへは書き換え結
果は反映されない。これが反映されていないことは、プ
ログラム作成者の責任において、認識されていると仮定
している。ある実行時点で、他のＰＥの書き込みを反映
させたい場合には、プログラムで表メモリの当該ワード
をクリアしてコピーを破棄したことを示せば良い。多く
の並列プログラムのアプリケーションは、このような反
映の時点を適切に選ぶことで並列化の効率を高めるもの
であり、このようなプログラム構造を期待する本方式に
よって、不必要なリモートメモリのloadや、複雑なキャ
ッシュメモリのコンシステンシ制御を一切行わずに、分
散共有メモリシステムを効率良く動作させることを可能
とする。

【００４２】本発明の上記実施例においてはライトスル
ーページについて説明したが、ライトバックの場合であ
っても主記憶にキャッシュ領域を設けたことはキャッシ
ュヒットの確率を向上させることができる。

【００４３】

【発明の効果】本発明によれば、主記憶装置の一部にキ
ャッシュ領域を設けたので、外部キャッシュメモリを不
要とし、したがって外部キャッシュメモリ用のメモリ制
御装置も不要となるうえに、該キャッシュ領域の容量を
大きるすることができ、従って、キャッシュにおけるヒ
ットの確率が増えるので並列計算機システムにおいて他
ＰＥの主記憶からデータを転送させてくる確率が減少す
るので、並列計算機の演算速度を格段と高速化すること
ができる。さらに、外部キャッシュを不要としたので、
外部キャッシュ用メモリ制御装置も不要となり、構成の
簡単化を図れる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】分散メモリ型並列計算機の構成図である。

【図３】分散共有メモリ空間の説明図である。

【図４】本発明に係るプロセシングエレメントの実施例
の構成図である。

【図５】本発明におけるライトスルーページの動作説明
図である。

【図６】図４のキャッシュ領域アクセス部の具体的構成
図である。

【符号の説明】

１ プロセッサ ２ アドレスバス ３ キャッシュ領域アクセス部 ４ アドレス検出手段 ５ データバス ６ 主メモリ制御装置 ７ タグメモリ ８ 主メモリ ９ キャッシュ領域 １０ アドレス変換手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 清水 俊幸 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (72)発明者 石畑 宏明 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内

Claims (13)

【特許請求の範囲】
1. 【請求項１】 プロセッサと主メモリからなるプロセシ
   ングエレメント（ＰＥ）が相互結合網で多数接続された
   分散メモリ型並列計算機において、 前記主メモリを制御する主メモリ制御手段と、 前記主メモリの一部に設けられたキャッシュ領域を前記
   主メモリ制御手段を介してアクセスするキャッシュ領域
   アクセス手段とを具備することを特徴とする分散メモリ
   型並列計算機のキャッシュ制御方式。
2. 【請求項２】 前記キャッシュ領域アクセス手段は、 ＰＥ番号と前記キャッシュ領域に記憶されたデータのア
   ドレスの一部からなるタグを記憶するタグメモリと、 前記プロセッサから出力されるアドレスの一部であるタ
   グと前記タグメモリのタグとを比較してキャッシュヒッ
   トを判定するアドレス検出手段と、 前記プロセッサから出力されるアドレスを前記キャッシ
   ュ領域にアクセスするためのアドレスに変換するアドレ
   ス変換手段とを有することを特徴とする請求項１記載の
   分散メモリ型並列計算機のキャッシュ制御方式。
3. 【請求項３】 前記アドレス変換手段は前記プロセッサ
   から出力されるキャッシュ領域に対応するアドレスにキ
   ャッシュ領域アクセス手段の内部に設定されているベー
   スアドレスを加えて前記主メモリ上での前記キャッシュ
   領域のアドレスを生成することを特徴とする請求項１記
   載の分散メモリ型並列計算機のキャッシュ制御方式。
4. 【請求項４】 前記主メモリ制御手段は主メモリのキャ
   ッシュ領域のアクセスと主メモリのキャッシュ領域以外
   の領域へのアクセスとを兼用して行うことを特徴とする
   請求項１記載の分散メモリ型並列計算機のキャッシュ制
   御方式。
5. 【請求項５】 プロセッサと主メモリからなるプロセシ
   ングエレメント（ＰＥ）が相互結合網で多数接続された
   分散メモリ型並列計算機において、 プロセッサが発行したstore 命令のアドレス部の上位数
   ビットを宛先ＰＥの番号とし、残りの下位ビットを当該
   ＰＥの主メモリアドレスとするリモートstoreコマンド
   メッセージを発生し、そのメッセージを受け取ったＰＥ
   がそのコマンドを解釈して、主メモリにメッセージのデ
   ータをストアすることで、リモートstore を実行する手
   段と、 プロセッサが発行したload命令のアドレス部の上位数ビ
   ットを宛先ＰＥの番号とし、残りの下位ビットを当該Ｐ
   Ｅのメモリアドレスとするリモートloadコマンドメッセ
   ージを発生し、そのメッセージを受け取ったＰＥのがそ
   のコマンドを解釈して、メモリのデータを読み出してコ
   マンドを発行したＰＥのプロセッサに結果のメッセージ
   を返送することで、リモートloadを実行する手段と、 前記リモートstore 実行手段あるいは前記リモートload
   実行手段がリモートアクセスを行う際に、リモートアク
   セスのアドレスに対応するデータのコピーが主メモリの
   キャッシュ領域に存在していることを検出するキャッシ
   ュ領域アクセス手段を備えることを特徴とする並列計算
   機のキャッシュ制御方式。
6. 【請求項６】 前記キャッシュ領域アクセス手段は、主
   メモリのキャッシュ領域にリモートアクセスのアドレス
   に対応するデータのコピーが存在していることを検出す
   るために、コピーの存在を記憶するタグメモリを備える
   ことを特徴とする請求項５記載の並列計算機のキャッシ
   ュ制御方式。
7. 【請求項７】 前記キャッシュ領域アクセス手段は、 リモートloadを行った時、そのアドレスに対応するデー
   タのコピーが主メモリのキャッシュ領域に存在している
   ことを検出する手段と、 リモートloadのアドレスを対応している主メモリのキャ
   ッシュ領域に存在するコピーのアドレスに変換する手段
   を備え、そのコピーを読み出し、リモートアクセスの代
   わりにプロセッサに結果を返すことを特徴とする請求項
   ５記載の並列計算機のキャッシュ制御方式。
8. 【請求項８】 前記キャッシュ領域アクセス手段は、 リモートloadを行った時、そのアドレスの内容のコピー
   が主メモリのキャッシュ領域に存在していないことを検
   出する手段と、 このとき、主メモリのキャッシュ領域へのリモートＰＥ
   のデータの領域のネットワークを通しての転送に伴って
   更新されるタグメモリとを有することを特徴とする請求
   項５記載の並列計算機のキャッシュ制御方式。
9. 【請求項９】 前記キャッシュ領域アクセス手段は、 プロセッサがプリフェッチ機能によりリモートメモリの
   プリフェッチを行った時、そのアドレスの内容のコピー
   が主メモリのキャッシュ領域に存在していることを検出
   する手段と、 プリフェッチのアドレスを対応している主メモリのキャ
   ッシュ領域に存在するコピーのアドレスに変換する手段
   を備えて、そのコピーを読み出し、プロセッサに結果を
   返すことを特徴とする請求項５記載の並列計算機のキャ
   ッシュ制御方式。
10. 【請求項１０】 前記キャッシュ領域アクセス手段は、 プロセッサがプリフェッチ機能によりリモートメモリの
    プリフェッチを行った時、そのアドレスの内容のコピー
    が主メモリに存在していないことを検出する手段と、 このとき、主メモリのキャッシュ領域のリモートＰＥの
    データの領域のネットワークを通しての転送に伴って更
    新されるタグメモリとを有することを特徴とする請求項
    ５記載の並列計算機のキャッシュ制御方式。
11. 【請求項１１】 前記キャッシュ領域アクセス手段は、 リモートstore を行った時、そのアドレスの内容のコピ
    ーが主メモリに存在していることを検出する手段と、 リモートstore のアドレスを対応している主メモリのキ
    ャッシュ領域に存在するコピーのアドレスに変換する手
    段とを備えて、そのコピーが存在するアドレスの主メモ
    リにデータを書き込むとともに、リモートstore を発行
    することを特徴とする請求項５記載の並列計算機のキャ
    ッシュ制御方式。
12. 【請求項１２】 前記キャッシュ領域アクセス手段は、 リモートstore を行った時、そのアドレスの内容のコピ
    ーが主メモリに存在していないことを検出する手段を有
    し、 このとき、リモートstore を発行することを特徴とする
    請求項５記載の並列計算機のキャッシュ制御方式。
13. 【請求項１３】 ライトバック動作において、主メモリ
    のキャッシュ領域にリモートアクセスアドレスの内容の
    コピーを記憶する請求項５記載の並列計算機のキャッシ
    ュ制御方式。