JP2000076205A

JP2000076205A - マルチプロセッサ

Info

Publication number: JP2000076205A
Application number: JP10242862A
Authority: JP
Inventors: Toshiaki Tarui; 俊明垂井; Toshio Okochi; 俊夫大河内; Keimei Fujii; 啓明藤井; Yoshiko Yasuda; 淑子保田; Shigekazu Inohara; 茂和猪原
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1998-08-28
Filing date: 1998-08-28
Publication date: 2000-03-14
Also published as: EP0982660A2; EP0982660A3

Abstract

(57)【要約】【課題】ページ初期化時等のキャッシュプロトコルオ
ーバヘッドを削減する。【解決手段】各ノードに、初期化中のページを指示す
るためのレジスタ、及び、ＯＳがページを回収した際
に、他のノードのキャッシュ上のデータをページ毎に無
効化することを指示するためのレジスタをもうける。前
者で指定されたページに初期化等のための書込みが起こ
った際には、他のノードからのライン転送を抑止し、他
のノードのキャッシュ上のデータを無効化する手段を設
ける。後者で指定されたページに対しては、他のノード
にページを一括して無効化するコマンドを発行する。さ
らに、ノード内の主記憶の各ページに対応して、ページ
が排他であることを記憶する手段を設け、後者のコマン
ドの実行が終了した時点で、該当するページの状態を排
他にする手段を持つ。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ（ＰＣ）、ワークステーション（ＷＳ）、サーバ
機等の情報処理装置に関し、特に、複数のプロセッサが
メモリを共有するマルチプロセッサに関係する。

【０００２】

【従来の技術】近年ＰＣ，ＷＳでは、主記憶共有型のマ
ルチプロセッサ構成が広まっている。主記憶共有マルチ
プロセッサの構成方式としては、複数のＣＰＵに対し
て、集中的に主記憶を配置するＵＭＡ（Ｕｎｉｆｏｒｍ
ＭｅｍｏｒｙＡｃｃｅｓｓ）方式、各ＣＰＵと主記
憶の一部を組にして配置するＮＵＭＡ（ＮｏｎＵｎｉ
ｆｏｒｍＭｅｍｏｒｙＡｃｃｅｓｓ）方式がある。
初期の主記憶共有マルチプロセッサは、ＵＭＡが主流で
あったが、最近は、ＮＵＭＡ方式が、実装の容易さ、ス
ケーラビリティの良さ等の理由から、特に多数台のプロ
セッサを接続するために用いられるようになってきてい
る。

【０００３】以下では、主記憶共有マルチプロセッサを
構成する要素プロセッサをノードと呼ぶ。複数のノード
を接続機構で接続し、システムが構成される。ノードは
１以上のＣＰＵ、キャッシュ、主記憶（ＮＵＭＡの場
合）を持つ。

【０００４】複数台のＣＰＵを接続し、主記憶共有マル
チプロセッサを構成する方法としては、各プロセッサの
キャッシュの間を共有バスにより接続し、スヌープキャ
ッシュプロトコルを用いてデータをやり取りする方式が
広く用いられている。各プロセッサのキャッシュにおい
て、バス上に出される他のプロセッサのバスコマンドを
モニタし、キャッシュラインの排他／共有状態を管理す
ることにより、キャッシュの一貫性が保たれる。

【０００５】マルチプロセッサのキャッシュ方式の一例
は「ＡＬＯＷ−ＯＶＥＲＨＥＡＤＣＯＨＥＲＥＮＣＥ
ＳＯＬＵＴＩＯＮＦＯＲＭＵＬＴＩＰＲＯＣＥＳ
ＳＯＲＳＷＩＴＨＰＲＩＶＡＴＥＣＡＣＨＥＭ
ＥＭＯＲＩＥＳ」第１１回ＩＳＣＡ予稿集３４８ページ
から３５４ページ迄に開示されている。これらの方式で
は、各プロセッサのキャッシュ（ライトバック型）のＴ
ＡＧにおいて、排他／共有等のデータの共有状態を記憶
し、バス上にデータ読み出し、無効化等のコマンドを出
すことにより、キャッシュの一貫性が保たれる。あるプ
ロセッサでキャッシュミスがおこった場合には、バス上
にデータ要求のためのコマンドが出され、主記憶もしく
は、他のプロセッサが持つキャッシュ（該当するプロセ
ッサのキャッシュが最新のデータを持っていた場合）よ
りデータがライン転送される。あるプロセッサで共有状
態のラインに書込みが行われた場合には、他のプロセッ
サのキャッシュ上のデータを無効化するためのコマンド
がバス上に出される。このキャッシュ制御プロトコルを
用いることにより、複数のプロセッサのキャッシュ上の
データの一貫性を厳密に保つことができ、プログラマ
は、キャッシュがあることを意識せずにプログラミング
を行うことができる。

【０００６】ところが、上記のキャッシュ一致制御プロ
トコルは、プログラムの意味とは無関係に、キャッシュ
の一致制御を機械的にかつ厳密に行うために、時とし
て、非常に無駄な処理を行ってしまう場合がある。その
典型的な例として、ページの初期化のためページ全体に
０を書き込む場合を考える。この処理は、ＯＳ、ミドル
ウェアが使用済みのページを回収し、再割り当てする場
合に生じる。この場合、従来のキャッシュ一貫性プロト
コルに従うと、ページ内の全てのラインについて、以下
のように処理が行われる（ここでは、該当するライン
は、初期化を行うプロセッサにはキャッシングされてい
ないと仮定する）。

【０００７】（１）ＣＰＵが該キャッシュラインに０を
書き込もうとし、キャッシュミスが起こる。（２）キャッシュは、他の全てのノードのキャッシュお
よび主記憶に対してＦｅｔｃｈａｎｄＩｎｖａｌｉ
ｄａｔｅ命令を発行する。（３）他キャッシュもしくは主記憶は、アクセスするラ
インを、要求元のＣＰＵにライン転送する（他キャッシ
ュ上のデータは無効化される）。（４）該当するラインが要求元のＣＰＵに入った後、要
求元のＣＰＵは、キャッシュ上のデータに０を書込む。ここで注意しなければならないのは、ページは使用済み
のため、いままで該当するページに入っていたデータは
全く不要である（二度とアクセスされることは無い）、
ということである。実際に（４）においては、せっかく
ライン転送してきたデータにＡＬＬ０を上書きしてい
る。したがって、（３）における他のノードからのライ
ン転送は全く不要であり、（３）により、初期化のため
の書き込みレーテンシが増大し、無駄なトラフィックを
招くという問題点がある。本来なら、（３）において
は、他ノードからラインを転送することなく、他のキャ
ッシュのラインを無効化するだけにとどめ、（４）にお
いてはキャッシュ上にＡＬＬ０のラインをアロケートす
るだけで十分である。

【０００８】上記の問題を解決する手法として、ＣＰＵ
の特殊命令ＤａｔａＣａｃｈｅＢｌｏｃｋｓｅｔ
ｔｏＺｅｒｏ（ＤＢＣＺ）が、「ＴｈｅＰｏｗｅｒ
ＰＣＡｒｃｈｉｔｅｃｔｕｒｅ」３４７ページにおい
て述べられている。ＤＢＣＺにおいては、キャッシュに
ＡＬＬ０のラインをアロケートすると同時に他のキャ
ッシュを無効化する。これにより、上の（３）で述べ
た、他のノードからの無駄なデータの転送をなくすこと
ができ、バストラフィックを削減することができる。

【０００９】

【発明が解決しようとする課題】一般に、ページクリア
をする場合、該当するページはかなり長い間使用されて
いなかったため、システムプログラムに回収されてしま
っているページなので、該当するページのデータが自Ｃ
ＰＵのキャッシュに登録されている可能性は少ない。し
かし、ＣＰＵが上記従来技術のＤＢＣＺ命令を行った場
合で、自キャッシュに該当するラインがキャッシングさ
れていない場合は、該ラインが他のノードにキャッシン
グされている可能性があるため、他のノードのキャッシ
ュ上のデータを無効化するために、無効化コマンドを出
す必要がある。また、自キャッシュに該当するラインが
あっても、共有状態の場合はやはり他のノードへの無効
化コマンドが必要になる。このように、ＤＢＣＺ命令を
用いてページのクリアを実現する場合、ほとんどの場合
に他のノードへの無効化コマンドを出す必要があり、下
記が生じる。

【００１０】（１）多数のバスコマンドが必要になり、
バストラフィックが増大する。（２）バスコマンドの出力に伴う、ＣＰＵの待ち時間が
生じ、ＣＰＵオーバヘッドが増大する。（３）（２）に伴い、ページクリアーのレーテンシが増
大するため、ページ割り当てルーチンのオーバヘッドが
増大する。又、ＣＰＵによっては、ＤＢＣＺ命令をサポ
ートしていない場合がある。従って、ＣＰＵの命令セッ
トによらずに、従来型のキャッシュプロトコルを用いた
場合でも、初期化の処理を削減するアーキテクチャが求
められる。

【００１１】更に、従来の方式では、ページを使い終わ
った後、ページがクリアされるまでの間、ページのデー
タは、どこからもアクセスされない。そのため、書き込
みが行われたキャッシュラインは、書き込みの行われた
ノードのキャッシュに（Ｒｅｐｌａｃｅで追い出される
までの間）Ｍｏｄｉｆｉｅｄ状態で残り、キャッシュを
無駄に占有することになる。

【００１２】上述の課題は、初期化だけでなく、ページ
コピー、Ｉ／Ｏ等における、ページ全体への書込みの際
にも問題になる。これらの場合の書込み処理において
も、今までページに書込まれていた古いデータは全く使
用されないため、ＤＢＣＺと同様の手法を用い、他のノ
ードから古いデータをライン転送すること無しに、新し
いデータを書込むことができるアーキテクチャが求めら
れる。さらに、（１）〜（３）に述べた課題も解決され
なければならない。

【００１３】更に又、ＮＵＭＡアーキテクチャにおい
て、自ノード内の主記憶を読み出す場合には、従来のキ
ャッシュプロトコルをそのまま用いると、他の全てのノ
ードに対してＦｅｔｃｈコマンドでチェックしてから後
に、自ノードの主記憶をアクセスしなければならない。
なぜなら、該当するデータが他のノードのキャッシング
されている可能性があるからである。書き込み時の主記
憶読み出しでも、全く同一の問題が生じる。ＮＵＭＡの
場合、通常は、ページの初期化／回収は該当するページ
を持つノードのプロセッサが行う。その場合、ページの
初期化が終了した後には、該当するページは他のどのノ
ードにもキャッシングされていないことが保証されてい
る。したがって、次回該当するページ内のデータをアク
セスする場合は、他のノードのキャッシュチェックは省
略できるはずである。

【００１４】本発明の目的は、ページ初期化時等、ペー
ジへの一括書き込みが行われるときに必要な、ノード間
に出されるキャッシュコヒーレントコマンドのトラフィ
ックを減らすと同時に、ページ初期化に必要なＣＰＵオ
ーバヘッドを減らすことである。

【００１５】本発明の他の目的は、ＮＵＭＡ型の共有メ
モリシステムにおいて、初期化が終わり、他のノードに
はキャッシングされていないことが明らかなページに対
して、他のノードへのキャッシュコヒーレントコマンド
を出すことなく、アクセスを行うことである。

【００１６】本発明のもう一つの他の目的は、使用済み
になり、アクセスされることがなくなったページのデー
タが、キャッシュを無駄に占有することをなくすことで
ある。

【００１７】本発明のもう一つの他の目的は、ページ初
期化等において、他のキャッシュからデータを転送する
オーバヘッドを削減する機能を、ＣＰＵの命令セットに
よらずに実現することである。

【００１８】

【課題を解決するための手段】上記目的を達成するため
に、主記憶共有マルチプロセッサの各ノードにおいて、
リモートノードのページの無効化を指示するためのレジ
スタを設け、該レジスタに書き込みが起ったことを全て
のノードに通知する手段を持つ。さらに、他のノードか
ら受けた該通知により、ノード内の該ページに属するキ
ャッシュライン全てを該ノードのＣＰＵキャッシュから
追い出すためのコマンドを発行する手段、該ページに属
する全てのキャッシュラインを追い出した後、要求元の
ノードにページの無効化が終了したことを通知する手段
を持つ。さらに、主記憶のページ毎に該ページが排他状
態か共有状態かを記憶するためのビットを設け、上記ペ
ージの無効化が終了したページに対しては、該ビットを
排他状態に設定する手段を持つ。該ページは、他のノー
ドから該ページへのアクセスが行われたときに共有状態
に設定する。各ノードでは、該ページ排他ビットが排他
状態であるページに対してはノード外へのキャッシュコ
ヒーレントコマンドを出さない。

【００１９】プログラムがページを使い終わった時に、
該ページを主記憶上に持つ、ＯＳ、ミドルウェアは上記
ページ無効化指示レジスタにページ番号を書き込む。こ
れにより、他のノード上の該ページに属するキャッシュ
ラインは全てキャッシュから追い出され、ページの属性
を排他にする事ができる。それにより、後刻、該ページ
に対する初期化／一括書き込みが行われる場合、ノード
外へのコマンドを出さずに行うことができる。

【００２０】以上により、他のノードのキャッシュ上の
データをページ毎に無効化することができる。以上の処
理のために必要なノード間コマンドは、ページ一括書き
込みコマンドとそれに対する返答だけであるため、ノー
ド間のコマンド数を削減することができる。また、ペー
ジ無効化指示レジスタへ書き込んだ後の処理は全てハー
ドウェアにより行われるため、ＣＰＵオーバヘッドを削
減することができる。

【００２１】さらに、上記目的を達成するため、主記憶
のページへのアクセスが初期化等の一括書き込みである
ことを指示するための手段を設け、該ページに対する他
のノードへのＦｅｔｃｈａｎｄＩｎｖａｌｉｄａｔ
ｅコマンドがＣＰＵから出された場合、他のノードへは
Ｉｎｖａｌｉｄａｔｅのみを送り、Ｆｅｔｃｈに対して
はダミーデータを返す手段を設ける。以上により、他の
ノードからの無駄なデータ転送要求をＣＰＵの特殊命令
を使うことなく削減することができる。

【００２２】

【発明の実施の形態】以下、本発明に係る主記憶共有型
マルチプロセッサを、図１〜図９に示した実施の形態を
参照してさらに詳細に説明する。

【００２３】＜実施例＞（１）装置の概要図１は、本発明に係る主記憶共有型マルチプロセッサの
ブロック図である。本システムは８ノードのシステムで
あり、複数のノード、例えば１００、２００（これらは
ノード０〜ノード７と呼ぶことがある）が、バス９００
により接続される。各ノードは同じ構造を有する。すな
わち、各ノードは、ＣＰＵ１１０、（部分）主記憶１２
１、内部バス１９０等により構成される。１１０、１９
０、９００については、公知の技術であるので内部の説
明は省略する。

【００２４】主記憶１２１は、このシステムに共通の主
記憶の一部を構成し、各ノードで実行されるプログラム
およびデータの一部を保持するもので、このシステムは
ＮＵＭＡ型の並列計算機システムである。ＣＰＵはロー
カルキャッシュ１１００を持つ。図ではノード内のＣＰ
Ｕ、ノード間はバスにより接続されているが、バス以外
の結合方式、例えば一対一結合、スイッチによる結合で
もよい。これらノード内外の接続方法、キャッシュ管理
のためのプロトコルについては公知の技術であるので内
部構造の詳細な説明は行わない。

【００２５】回路１２０は、ＣＰＵから送られてきたバ
スコマンドの受信／バスコマンドの分類を行うための回
路である。１２０は公知の技術であるので内部の詳細は
省略する。

【００２６】回路１３０は、ノード内の主記憶１２１の
各ページに対して、該ページが排他か共有か（他のノー
ドにキャッシングされているかどうか）を記憶するＲＡ
Ｔ（ＲｅｍｏｔｅＡｃｃｅｓｓＴａｂｌｅ）であ
る。回路１３１は、該ノード内のＣＰＵが出した他ノー
ドへのアクセスに対してＲＡＴをチェックし、コマンド
の送出の有無を判断する。回路１３２は、他のノードか
らアクセスされたページに対してＲＡＴを共有状態に書
き換える回路である。図９は、ＲＡＴの構成を示す。Ｒ
ＡＴはページ番号を用いてアクセスされる。ＲＡＴ＝０
は排他、ＲＡＴ＝１は共有をあらわし、システムの立ち
上げ時にはＲＡＴの全ビットは排他状態にセットされ
る。

【００２７】図１にもどり、回路１４０は該ノード内の
ＣＰＵがページ初期化などのページの一括書き込みを行
っていることをハードウェアに指示するための一括書込
ページ指示レジスタであり、ＣＰＵのソフトウェア（Ｏ
Ｓ等）によりページ番号が書き込まれる。図７は、一括
書込ページレジスタ１４０の構成を示す。同レジスタは
一括書込み中のページアドレス１４０１と、書込まれた
値が有効であることを示すＥｎａｂｌｅビット１４０２
により構成されている。

【００２８】図１にもどり、回路１４１は一括書き込み
中のページに対するＣＰＵ１１０からのアクセス要求コ
マンドを変換する。回路１４２は一括書き込み中のペー
ジに対するＣＰＵ１１０からのアクセス要求に対してダ
ミーデータを返送する回路である。これらの回路１３
０、１３１、１３２、１４０、１４１、１４２は本発明
に特有の回路である。

【００２９】回路１５０は、該ノード内の主記憶のペー
ジに対し、他のノードのキャッシュに記憶されたデータ
をキャッシュから追い出すことを指示するための、リモ
ートページ無効化回路である。リモートページ無効化回
路１５０は、ページの開放、プロセスの終了等、ＣＰＵ
がページを使い終わった際に、ソフトウェア（ＯＳ等）
によってページ番号が書き込まれる。回路１５２は、Ｒ
ＡＴを検査してページ無効化コマンドが必要かどうかを
判断するＲＡＴチェック回路２である。回路１５１は、
他のノードからのページ無効化コマンド（ＰＩ）１７０
ｃを受け、該ノードのＣＰＵのキャッシュ１１００にキ
ャッシングされている該ページのデータを無効化するペ
ージ無効化カウンタである。回路１６０は、ページ無効
化の終了を判断し、ＲＡＴを排他状態に戻すＡＣＫ待ち
回路である。これらの回路１５０、１５２、１５１、１
６０も本発明に特有の回路である。

【００３０】回路１７０は、ノード間バスへコマンドを
やり取りするコマンド送受回路である。回路１７０も公
知の技術であるので内部の詳細は省略する。

【００３１】（２）バスコマンドの説明ＣＰＵのキャッシュ１１００はスヌーピングキャッシュ
機構をサポートする。ノード内外のバス上では、キャッ
シュコヒーレンスを保持するため、以下の５つのコマン
ドが使われる。括弧内はこの実施例で使われる略号であ
る。

【００３２】・Ｆｅｔｃｈ（Ｆ）データのライン転送を要求する。ＣＰＵの読み出しコマ
ンドがミスした場合に出される。・Ｆｅｔｃｈ＆Ｉｎｖａｌｉｄａｔｅ（ＦＩ）データのライン転送と同時に、他のキャッシュ上のデー
タの無効化を要求する。ＣＰＵの書き込みコマンドがミ
スした場合に出される。・Ｉｎｖａｌｉｄａｔｅ（Ｉ）他のキャッシュ上のデータの無効化を要求する。ＣＰＵ
が、他のキャッシュと共有されているキャッシュライン
に対して書き込み要求を出した場合に出される。・Ｄａｔａ（Ｄ）Ｆ，ＦＩコマンドへの返答である。アクセスされたデー
タをアクセス元のＣＰＵに転送する。・ＷｒｉｔｅＢａｃｋ（ＷＢ）キャッシュラインの書き戻しを要求する。リプレースに
より、データが追い出されたときに生じる。・ＰａｇｅＩｎｖａｌｉｄａｔｉｏｎ（ＰＩ）ページ無効化コマンド。他の全てのノードに対し、指定
されたページに含まれるラインを全てキャッシュから追
い出すことを要求する。本発明に特有のコマンドであ
る。・ＰａｇｅＩｎｖａｌｉｄａｔｉｏｎＡＣＫ（ＰＩ
Ａ）ＰＩコマンドの実行が終了したことを要求元のノードに
通知する。本発明に特有のコマンドである。バス上で
は、コマンドに付随して、アドレスが転送され、さらに
ＷＢ，Ｄコマンドではデータ（キャッシュライン）が転
送される。

【００３３】（３）ＣＰＵのからのアクセスに対する動
作以下では、ＣＰＵからのアクセスに対する動作を場合に
分けて順に説明する。

【００３４】（Ａ）基本動作最初に、（２）でのべたバスコマンドに対する対する基
本的な動作を述べる。この場合、一括書込ページ指示レ
ジスタ１４０、リモートページ無効化回路１５０には何
もセットされていないと仮定する。ここで述べる動作
は、ＲＡＴに関係する動作以外は、従来のバスベースの
スヌーピングキャッシュであり、公知の技術である。

【００３５】（Ａ１）ＦコマンドＣＰＵの読み出し要求に対してキャッシュミスが生じる
と、Ｆコマンドは内部バス１９０を通じてアクセス分別
回路１２０に伝えられる。回路１２０は、アクセスアド
レスが自ノードの主記憶１２１に属する（ローカル）か
他のノードの主記憶に属する（リモート）かを判断す
る。何れの場合も、要求出力１２０ｂよりＦコマンドが
出力され、ＲＡＴチェック回路１（１３１）に伝えられ
る。

【００３６】（Ａ１−１）ローカル主記憶へのＦコマン
ド図２は、ＲＡＴチェック回路１（１３１）の詳細を示
す。この場合、アクセスアドレス分別回路１３１０はロ
ーカル側１３１０ｂにＦコマンドを出す。コマンド中の
アクセスアドレス１３１１ａよりページ番号取得回路１
３１１によりページ番号が求められ、ＲＡＴ読み出し回
路１３１２により、アクセスされたページのＲＡＴの値
が読み出され、値判定回路１３１３により、アクセスさ
れたページが排他か共有かが判断される。

【００３７】（Ａ１−１−１）ＲＡＴが共有（ＲＡＴ＝
１）の場合アクセスされたページが共有の場合、スイッチゲート１
３１４を通じてＦコマンドが１３１ａに出される。図３
は、コマンド変換回路１４１の詳細を示す。この場合、
一括書込ページ指示レジスタ１４０には何もセットされ
ていないため、Ｅｎａｂｌｅビット１４０２は０であ
り、信号１４１０ｃは０である。したがって、回路１４
１０、信号１４１０ａを通じてＦコマンドはそのまま１
４１ａに出力される。コマンド送受回路１７０はＦコマ
ンドをバス９００に出力し、他のノードはＦコマンドを
受け取る。

【００３８】Ｆ要求コマンドを受け取ったノードでは、
コマンド送受回路１７０は信号１７０ｂにＦコマンドを
出力する。Ｆコマンドはアクセス判定回路１３２に伝え
られる。図４は、アクセス判定回路１３２の詳細を示
す。Ｆコマンドは信号１３２ｂに伝えられると同時に、
アドレスがローカルアクセス判定回路１３２０に入力さ
れる。この場合は、アクセスされたアドレスは、アクセ
ス元のノードのローカル主記憶であり、該ノードのロー
カルアドレスではないので、１３２は何も行わない。１
３２ｂに出力されたＦコマンドは回路１２０、バス１９
０を伝わり、ＣＰＵ１１０に伝えられる。ＣＰＵではＦ
ｅｔｃｈされたアドレスのデータがローカルキャッシュ
１１００に排他状態でキャッシングされているか検査す
る。

【００３９】（Ａ１−１−１−１）他ノードのＣＰＵに
排他状態でキャッシングされている場合アクセスされたデータを含むキャッシュラインはＤコマ
ンドとして、バス１９０、回路１２０に伝えられる。Ｄ
コマンドは返答なので、Ｄコマンドは、回路１２０、信
号１２０ｃ、回路１７０を通じてノード間バス９００を
通じてアクセス元のノードにデータを返送する。アクセ
ス元ノードでは、回路１７０、信号１２０ｄ、回路１２
０、バス１９０を通じてアクセスされたデータがアクセ
ス元のＣＰＵ１１０に返送される。以上の手順によりＦ
コマンドで要求されたデータが他のノードのキャッシュ
よりキャッシュ間データ転送で供給される。

【００４０】（Ａ１−１−１−２）他の何れのノードの
ＣＰＵにも排他状態でキャッシングされていない場合この場合、どのＣＰＵからも、Ｄコマンドが返送されな
い。アクセス元のＣＰＵのアクセス分別回路１２０は、
どのＣＰＵからもＤコマンドが返送されないと判断する
と、自ノードの主記憶１２１よりキャッシュラインを読
み出す。回路１２０はバス１９０を通じでＣＰＵ１１０
にアクセスされたデータを返送する。これにより、Ｆコ
マンドで要求されたデータが、自ノードの主記憶より読
み出される。

【００４１】（Ａ１−１−２）ＲＡＴが排他（ＲＡＴ＝
０）の場合アクセスされたページが排他の場合、ＲＡＴチェック回
路１３１において、スイッチゲート１３１４により、外
部へのＦコマンドの出力が抑止される。したがって、他
のノードへコマンドは出されず、当然他ノードからのデ
ータの返答は無い。

【００４２】したがって（Ａ１−１−１−２）と同様
に、アクセス分別回路１２０は自ノード内の主記憶１２
１のデータを読み出し、バス１９０を通じ、ＣＰＵ１１
０に返送する。

【００４３】（Ａ１−２）リモート主記憶へのＦコマン
ドこの場合、リモートへのＦコマンドは、ＲＡＴチェック
回路１３１において、回路１３１０、信号１３１０ａを
通じて信号１３１ａにそのまま出力される。リモートへ
のＦ要求は、コマンド変換回路１４１でも、回路１４１
０より信号１４１０ａを経由して、信号１４１ａにその
まま出力される。その後、他のノードにコマンドが伝え
られ、他のノードでアクセスされたデータがＣＰＵキャ
ッシュにキャッシングされているかどうかを検査すると
ころは（Ａ１−１−１）とほぼ同様である。

【００４４】ここで、（Ａ１−１−１）との違いはＨｏ
ｍｅノード（アクセスされたデータのアドレスを主記憶
上に持つノード）におけるアクセス判定回路１３２の動
作である。この場合、Ｈｏｍｅノードではローカルアク
セス判定回路１３２０は、アクセスされたアドレスはロ
ーカルアドレスと判断し、信号１３２０ｂにアクセスア
ドレスを出力する。ページ番号取得回路１３２１では、
アクセスアドレスのページ番号を回路１３２２に伝え
る。回路１３２２では、ＲＡＴ１３０のアクセスされた
ページに該当するビットに１を書込む。これにより、他
のノードからアクセスされたページの状態を排他から共
有に変更する事ができる。

【００４５】（Ａ１−２−１）他ノードのＣＰＵに排他
状態でキャッシングされている場合この場合は（Ａ１−１−１−１）と同様にアクセスされ
たデータを含むキャッシュラインがＤコマンドを用いて
キャッシュ間データ転送で返送される。

【００４６】（Ａ１−２−２）他の何れのノードのＣＰ
Ｕにも排他状態でキャッシングされていない場合この場合、Ｈｏｍｅノード以外のどのノードからもＤコ
マンドは返送されない、Ｈｏｍｅノードのアクセス分別
回路１２０は他のノードからＤコマンドが返送されず、
かつ自ノードのＣＰＵからもＤコマンドが返送されない
と判断すると、自ノードの主記憶１２１上のアクセスさ
れたデータを含むラインを読み出し、Ｄコマンドで信号
１２０ｃに出力する。その後、Ｄコマンドは（Ａ１−１
−１−１）と同様にアクセス元ＣＰＵに返送される。以
上の手順により、Ｈｏｍｅノードの主記憶上のデータを
読み出すことができる。

【００４７】（Ａ２）ＦＩコマンドＣＰＵの書込み処理でキャッシュミスが生じると、ＦＩ
コマンドが出される。この場合のリモートアクセス動作
は（Ａ１）のＦコマンドの場合とほぼ同様である。違い
は、キャッシュ間のデータ転送が行われた後の他ノード
のＣＰＵのキャッシュ上のデータが無効化されることで
ある。

【００４８】（Ａ３）ＩコマンドＣＰＵのキャッシュ上で共有状態のデータに対して書込
みが生じると、Ｉコマンドが出される。Ｉコマンドは内
部バス１９０を通じてアクセス分別回路１２０を経由し
て、ＲＡＴチェック回路１（１３１）に伝えられる。同
回路では（Ａ−１−１）と同様の手順でＲＡＴの値がチ
ェックされる。

【００４９】（Ａ３−１）ＲＡＴが共有（ＲＡＴ＝１）
の場合アクセスされたページが共有の場合、スイッチゲート１
３１４を通じてＩコマンドが１３１ａに出される。この
場合も、一括書込ページ指示レジスタ１４０には何もセ
ットされていないため、Ｅｎａｂｌｅビット１４０２は
０であり、回路１４１においては、信号１４１０ｃは０
である。したがって、回路１４１０、信号１４１０ａを
通じてＩコマンドはそのまま１４１ａに出力される。コ
マンド送受回路１７０はＩコマンドをバス９００に出力
し、他のノードはＩコマンドを受け取る。

【００５０】Ｉ要求コマンドを受け取ったノードでは、
コマンド送受回路１７０は信号１７０ｂにＩコマンドを
出力する。Ｉコマンドはアクセス判定回路１３２に伝え
られる。

【００５１】ここで、アクセス判定回路１３２では、Ｆ
コマンドの場合と同様にアクセスアドレスがチェックさ
れ、ＩコマンドによりアクセスされたアドレスのＨｏｍ
ｅノードにおいては、ＲＡＴに１が書込まれ、Ｈｏｍｅ
ノード以外では何も行われない。

【００５２】１３２ｂに出力されたＩコマンドは回路１
２０、バス１９０を伝わり、ＣＰＵ１１０に伝えられ
る。ＣＰＵではＩコマンドで指定されたキャッシュライ
ンを無効化する。

【００５３】（Ａ３−２）ＲＡＴが排他（ＲＡＴ＝０）
の場合アクセスされたページが排他の場合、ＲＡＴチェック回
路１３１において、スイッチゲート１３１４により、外
部へのＦコマンドの出力が抑止される。したがって、他
のノードへのＩコマンドは出力されない。

【００５４】（Ａ４）ＷＢコマンドＣＰＵ１１０のキャッシュ１１００でリプレースが生じ
ると、追い出されたキャッシュラインがＷＢコマンドに
よりバス１９０を通じてアクセス分別回路１２０に伝え
られる。アクセス分別回路１２０では、アクセスされた
アドレスがローカルかリモートか判断する。

【００５５】（Ａ４−１）ローカルへのＷＢコマンドの
場合アクセス分別回路１２０は自ノード内の主記憶１２１に
キャッシュラインを書き戻す。

【００５６】（Ａ４−２）リモートへのＷＢコマンドの
場合アクセス分別回路１２０は信号１２０ｂを通じてＷＢコ
マンドをＲＡＴチェック回路１（１３１）に伝える。同
回路では、リモートアクセスなので、コマンドはそのま
ま信号１３１ａに伝えられ、コマンド変換回路１４１に
送られる。コマンド変換回路１４１でも、リモートへの
ＷＢコマンドは、そのまま信号１４１ａに出力され、コ
マンド送受回路１７０、ノード間バス９００を通じてＨ
ｏｍｅノードに伝えられる。

【００５７】ＷＢコマンドを受け取ったＨｏｍｅノード
では、コマンド送受回路１７０、信号１７０ｂを通じて
ＷＢコマンドをアクセス判定回路１３２に伝える。アク
セス判定回路１３２では、ＷＢコマンドはローカルへの
アクセスなので、ローカルアクセス判定回路１３２０は
ＷＢされたアドレスをページ番号取得回路１３２１に出
力し、回路１３２２はＲＡＴ１３０のアクセスされたペ
ージに該当するビットに１（共有）を書込む。それと同
時にＷＢコマンドは信号１３２ｂを経由してアクセス分
別回路１２０に伝えられる。アクセス分別回路１２０は
主記憶１２１にキャッシュラインを書き戻す。

【００５８】以上により、他のノードへのＷＢが行われ
る。

【００５９】（Ｂ）一括書込ページが指示されている場
合次に、本発明のマルチプロセッサシステムにおいて、O
S、ミドルウェアが自ノード内の主記憶のページに対
し、ページの初期化等のページ全体への書込み（ページ
一括書込）を行う場合の処理方式を述べる。図１０にＯ
Ｓがページを初期化する場合の、図１１にＯＳがページ
コピーを行う場合の処理フローを示す。ここで、データ
アクセスのローカリティを向上するために、初期化、コ
ピー等で、一括書込みを行うページは、必ず自ノードの
主記憶上であるとする。

【００６０】ページ初期化の場合、初期化に先立ち、Ｏ
Ｓは、初期化するページ番号を一括書込中ページアドレ
スレジスタに書込むとともに、Ｅｎａｂｌｅビット１４
０２に１を書込む（ステップ８００１）。ＯＳはその後
ページ内の全てのワードに０を書込む（ステップ８００
２）。初期化が終了すると、ＯＳはＥｎａｂｌｅビット
１４０２に０を書込む（ステップ８００３）。

【００６１】ページコピーの場合も同様に、ＯＳは、ペ
ージコピーの前に、コピーのＤｅｓｔｉｎａｔｉｏｎ側
（データを書く側）のページの番号を一括書込中ページ
アドレスレジスタに書込むとともに、Ｅｎａｂｌｅビッ
ト１４０２に１を書込む（ステップ８１０１）。ＯＳは
その後ページコピーを行い（ステップ８１０１）、最後
にＥｎａｂｌｅビット１４０２に０を書込む（ステップ
８１０３）。

【００６２】ミドルウェアにより、ページのコピー、ク
リアを行うアルゴリズムも同様であるが、この場合は、
図１０、図１１のルーチンは、システムコールで実現さ
れる。この場合は、図１０、図１１の処理の前に、仮想
アドレスから実アドレスへのアドレス変換を行い、ペー
ジのプロテクションを検査するルーチンが挿入される。

【００６３】以下では、上記のステップ８００１、８１
０１でのページへの書込み時にハードウェアがどのよう
に動作するかを詳細に説明する。

【００６４】初期化、ページコピー等では、該当するペ
ージ内のアドレスに対して、書込みアクセスが生じる。
その場合、ＣＰＵのキャッシュ１１００の状態によっ
て、以下の３つの場合が考えられる。

【００６５】（Ｂ１）排他状態のラインにヒットする場
合キャッシュ上１１００のラインに書込みを行うだけでＯ
Ｋである。

【００６６】（Ｂ２）共有状態のラインにヒットする場
合ＣＰＵはＩコマンドを発行する。Ｉコマンドは（Ａ３）
と同じ手順でＲＡＴチェック回路１（１３１）に伝えら
れ、ＲＡＴの値がチェックされる。

【００６７】（Ｂ２−１）ＲＡＴが共有（ＲＡＴ＝１）
の場合アクセスされたページが共有の場合、スイッチゲート１
３１４を通じてＩコマンドが１３１ａに出され、回路１
４１に伝えられる。回路１４１においては、Ｅｎａｂｌ
ｅ信号１４１０ｃが１であり、かつ、ローカルへのアク
セス要求であるので、アクセス要求は１４１０ｂに出力
される。ここで、アクセス要求は、アドレス（１４１１
ａ）、コマンド（１３１５ｃ）、それ以外（１４１０
ｃ）に分けられる。アドレスからは、ページ番号部分が
切り出され（回路１４１１）、信号１４０ａ、１４１２
ｃにより伝えられた、一括書込中ページアドレス１４０
１と比較される（比較器１４１２）。回路１４１では、
この比較結果（１４１２ａ、１４１２ｂ）及びデコーダ
１４１３によるコマンドのデコード結果（１４１３ａ、
１４１３ｂ、１４１３ｃ）を、ゲート１４１５、１４１
６、１４１７で処理することにより、出力すべきコマン
ドが決定される。この場合は、入力がＩコマンドなの
で、信号１４１３ｂがアクティブであることより、信号
１４１７ａのみがアクティブになり、コマンドエンコー
ダ１４１４によりＩコマンドが再び出力される（Ｉコマ
ンドの場合は、比較器１４１の結果は使用されない）。
従って、信号１４１ａからは元と同じくＩコマンドが出
力される。その後の動作は（Ａ３−１）と同じであり、
他のノードにキャッシングされているデータが無効化さ
れる。

【００６８】（Ｂ２−２）ＲＡＴが排他（ＲＡＴ＝０）
の場合この場合は（Ａ３−２）と同様にIコマンドはＲＡＴチ
ェック回路から出力されない。

【００６９】（Ｂ３）ＣＰＵキャッシュがミスする場合ＣＰＵはＦＩコマンドを発行する。ＦＩコマンドは、Ｒ
ＡＴチェック回路１に伝えられ、（Ａ１−１）と同様の
手法で、ＲＡＴの値がチェックされる（Ｂ３−１）ＲＡＴが共有（ＲＡＴ＝１）の場合この場合も１（Ｂ２−１）と同様に、Ｅｎａｂｌｅが１
でかつローカルアドレスへのアクセス要求なので、アク
セスコマンドは１４１０ｂに出力される。その後、ペー
ジ番号の比較（回路１４１２）、コマンドのデコードが
行われる（１４１３）。この場合、一括書込中ページア
ドレス１４０１には、ステップ８００１もしくは８１０
１で、現在アクセス中のページ番号が書込まれているた
め、アクセスページ番号１４１１ｂはページ番号１４１
２ｃと一致する。従って、信号１４１２ａと信号（ＦＩ
コマンドを表わす）１４１３ｃがアクティブになるた
め、信号１４１bがアクティブになる。

【００７０】従って、ゲート１４１７、信号１４１７
ａ、コマンドエンコーダ１４１４を通じて信号１４１ａ
にはＩコマンドが出力される。従って、コマンド変換回
路１４１において、ＦＩコマンドがＩコマンドに変換さ
れる。その後（Ａ３−１）と同様に、Ｉコマンドによ
り、他ノードにキャッシングされているデータが無効化
される。

【００７１】Ｉコマンドの出力と並行して、信号１４１
ｂを通じて回路１４２がアクティブになり、信号１４２
ａに、ダミーライン（この場合、返送されたキャッシュ
ラインに含まれているデータは、全て上書きされること
が、保証されているため、ダミーラインに含まれるデー
タは任意である。例えば、ＡＬＬ０のデータを持つラ
インが使われる。）が出力される。ダミーラインは信号
１２０ｄ、回路１２０、内部バス１９０を通じて、ＣＰ
Ｕ１１０に返送される。

【００７２】以上の手順により、初期化中、ページコピ
ー等で、一括書込みを行うページへのＦＩコマンドに対
し、他のノードからのデーター転送を行わずに、データ
を返送することができる。さらに、他のノードにＩコマ
ンドを送ることにより、他のノードにキャッシングされ
ているデータを無効化し、キャッシュのコヒーレントを
保つことができる。

【００７３】（Ｂ３−２）ＲＡＴが排他（ＲＡＴ＝０）
の場合この場合は（Ａ１−１−２）と同様にＦIコマンドはＲ
ＡＴチェック回路から出力されない。

【００７４】（Ｂ４）一括書込が行われているページ以
外がアクセスされた場合。

【００７５】ここで、ＣＰＵからの、一括書込が行われ
ているページ以外へのアクセスに対する、コマンド変換
回路１４１の動作について補足して説明する。回路１４
１に、初期化中のページ以外へのアクセスが到来する場
合、比較器１４１２の比較結果は不一致であり、信号１
４１２ｂがアクティブになる。従って、コマンドデコー
ド回路１４１３の出力はそのまま、コマンドエンコード
回路１４１４に伝えられるため、コマンドの変換は行わ
れない。また信号１４１ｂはインアクティブであり、ダ
ミーラインの返送も行われない。

【００７６】従って、コマンド変換回路１４１は、一括
書込み中ページアドレスレジスタ１４０１にセットされ
たページ以外へのアクセスには、全く影響を与えず、通
常通りのアクセスが行われる。従って、ノード内がマル
チプロセッサ構成になっている等の理由で、ページ初期
化、ページコピー等と並行して他の領域がアクセスされ
た場合でも、正常に動作する。

【００７７】（Ｃ）リモートページ無効化が指示されて
いる場合最後に、本発明のマルチプロセッサシステムにおいて、
アプリケーション等がページを使い終わり、OS、ミドル
ウェアが自ノード内の主記憶のページを回収する際の処
理について述べる。ここでは、データアクセスのローカ
リティを考慮すると、ページを回収するプロセッサは、
必ずＨｏｍｅノードでなければならない。図１２は、Ｏ
Ｓがページを回収する場合の処理フローを示す。

【００７８】ページの回収に先立ち、ＯＳは、回収する
ページ番号をリモート無効化ページアドレスレジスタ１
５０１に書込みむ（ステップ８２０１）。その後実際に
ページを回収する（回収したページをフリーページリス
トに入れる等の処理をおこなう）（ステップ８２０
２）。ミドルウェアにより、ページの回収を行うアルゴ
リズムも同様であるが、この場合は、図１２のルーチン
は、システムコールで実現される。この場合は、図１２
の処理の前に、仮想アドレスから実アドレスへのアドレ
ス変換を行い、ページのプロテクションを検査するルー
チンが挿入される。

【００７９】以下では、上記のステップ８２０１でのリ
モート無効化ページアドレスレジスタ１５０１書込み時
にハードウェアがどのように動作するかを詳細に説明す
る。リモート無効化ページアドレスレジスタ１５０１に
書込まれると、まず、回路１５０２により、回収するペ
ージに対するＰＩ命令が発生され、信号１５０ａを通じ
てＲＡＴチェック回路２（１５２）に伝えられる。それ
と同時に信号１５０ａを通じて、ＰＩコマンドを送出し
たことが、ＡＣＫ待ち回路１６０に伝えられる。

【００８０】まずＰＩコマンドの動作について述べる。
ＲＡＴチェック回路２（１５２）は、ＲＡＴチェック回
路１（１３１）（図２）と同様の回路である。ただし、
この場合はアクセスアドレスは必ずローカルアドレスな
ので、アクセスアドレス分別回路１３１０は省略されて
いる（回路１５２においては入力信号１５０ａはすぐに
信号１３１０ａに相当する信号に接続されている）。回
路１５２では、回収されたページに相当するＲＡＴの値
をチェックし、ＲＡＴが排他なら、ＰＩコマンドの出力
を抑止する。ＲＡＴが共有なら、信号１５２ａを通じて
ＰＩコマンドをコマンド送受回路１７０に送る。コマン
ド送受回路１７０は、ノード間バス９００を通じ、他の
全てのノードにＰＩコマンドを送付する。

【００８１】次にＰＩコマンドを受け取ったノードの動
作を述べる。ＰＩコマンドは、コマンド送受回路１７０
を介して、ページ無効化カウンタ１５１に送付される。
図５は、ページ無効化カウンタの構成を示す。ページ無
効化カウンタ１５１は、無効化アドレス発生回路１５
２、ＡＣＫコマンド（ＰＩＡコマンド）発生回路１５１
２、無効化コマンド送出回路１５１１からなる。ＰＩコ
マンドが到来すると無効化アドレス発生回路１５２内の
カウンタ１５２０がトリガされ、０から順にラインサイ
ズのストライドでカウントアップをはじめる。カウンタ
１５２０の出力はページ内アドレス１５２０ａとして、
ＰＩコマンドで送られたページ番号１５２ａとともに、
無効化コマンド送出回路１５１１に送られる。無効化コ
マンド送出回路１５１１は、信号１５１０ａで送られて
きたアドレスに対し、Ｉコマンドを発生する。発生され
たＩコマンドは、信号１５１ｂ、信号１２０ｄ、アクセ
ス分別回路１２０、ノード内バス１９０を通じて、ＣＰ
Ｕ１１０に伝えられる。これにより、ページの最初のラ
インに対するＩコマンドが送られ、該ラインは無効化さ
れる。カウンタ１５２０は、ラインサイズのストライド
でカウントアップを続け、それに呼応して、無効化コマ
ンド送出回路１５１１は、ページ内の各ラインに対し
て、順にＩコマンドを送出する。カウンタの出力１５２
０ａがページサイズ−ラインサイズになると（つまり、ページの一番最後のラインに到達す
ると）比較回路１５２１は終了信号１５２１ａをアクテ
ィブにし、Ｉコマンドの送出は終了する。以上により、
ＰＩコマンドで指定されたページ内の全ラインが無効化
される。

【００８２】終了信号１５２１ａがアクティブになる
と、ＡＣＫコマンド（ＰＩＡ）送出回路１５１２ａがＥ
ｎａｂｌｅされ、信号１５１ｃに、ＰＩにより指示され
たページに対する、ＰＩＡコマンドが出される。ＰＩＡ
コマンドは、コマンド送受回路１７０、ノード間バス９
００を介して、アクセス元ノード（ページを回収したノ
ード）に返送される。

【００８３】次に、ＰＩコマンドを出した後の、アクセ
ス元ノードの処理を述べる。アクセス元のノードでは、
ＰＩコマンドを送出したことが、信号１５２ａを通じて
ＡＣＫ待ち回路１６０に伝えられる。図６は、ＡＣＫ待
ち回路１６０の詳細を示す。ＰＩコマンドが到来する
と、ページ番号（回収されたページ番号）が、ＡＣＫ待
ちページアドレスレジスタ１６０１に保持され、ＰＩＡ
コマンドの到来を待ち合わせる。他ノードからＰＩＡコ
マンドが到来すると、コマンドはコマンド送受回路１７
０、信号１７０ｄを通じてＡＣＫ待ち回路１６０に送ら
れる。ＡＣＫ待ち回路では、ＰＩＡコマンドのアドレス
（ページ番号）１６０３ａとＡＣＫ待ちページアドレス
レジスタ１６０１の内容と比較される（回路１６０
２）。比較の結果アドレス（ページ番号）が一致した場
合は、ＡＣＫ数カウンタ１６０４がカウントアップされ
る。これにより、ＰＩコマンドに対して返送されてきた
ＰＩＡコマンドの数を数えることができる。ＡＣＫ数カ
ウンタ１６０４の出力は、システム内の全ノード数かよ
り１少ない値（１６０５）と比較される（比較器１６０
６）。これにより、他の全てのノードからＰＩＡが到来
した（言い換えると、他の全てのノードでＰＩにより要
求されたページの無効化処理が終了した）ことが判定で
きる。他の全ノードからＰＩＡコマンドが到来すると、
信号１６０６ａがアクティブになり、回路１６０３によ
り、信号１６０ｂを通じて、ＲＡＴ１３０の該当するペ
ージのビットに０を書込む。これにより、該当するペー
ジの状態を排他に戻すことができる。

【００８４】以上の処理により、ＯＳ等が回収したペー
ジに対し、他のノードのキャッシュ上に保持されている
データを全て無効化し、ページを排他状態（他のどのノ
ードのキャッシュにも無いことが保証されている状態）
にもどすことができる。従って、後に、該ノードがペー
ジをクリアし、使用する際には、他のノードへのキャッ
シュコヒーレントコマンドを出さずにページをアクセス
することができる。

【００８５】＜変形例＞本発明は以上の実施の形態に限
定されるのではなくいろいろの変形例にも適用可能であ
る。以下に変形例を記述する。

【００８６】（１）ＦＬＵＳＨによる他キャッシュから
のデータの追い出し以上においては、ページの開放時に、プログラムが使い
終わったページのデータを他のノードのキャッシュから
追い出すために、無効化コマンドを使用している。この
場合、以前キャッシングされていたＤｉｒｔｙなデータ
は捨てられるため、無駄なノード間データ転送が避けら
れるという利点がある。この方法は、開放されるページ
上のデータは保存されないため、開放されるページ上の
データは二度とアクセスされないことをシステムソフト
ウェアが保証する必要がある（通常は、一旦開放された
ページのデータがアクセスされることはない）。

【００８７】それに対して、他のノードのキャッシュか
らデータを追い出す手段として、ＦＬＵＳＨコマンドを
用いる方法が考えられる。ここで言うＦＬＵＳＨコマン
ドとは、キャッシュ上のデータを無効化するとともに、
キャッシュラインが変更されていた場合には、データを
主記憶に書き戻すことを要求するコマンドである。この
場合、キャッシュ上の変更されているデータは全てＨｏ
ｍｅノードの主記憶に書き戻されるため、ノード間のト
ラフィックが増える（従来方式と同等になる）という欠
点がある。しかし、開放されたページのデータは完全に
保存されるため、ＯＳのページリクレーム等の最適化に
より、一旦開放されたページのデータが再利用される可
能性がある場合は、ＦＬＵＳＨによるプロトコルを使う
必要がある。この場合も、ＲＡＴのページの状態はは排
他に戻すことができる。

【００８８】ＦＬＵＳＨを用いた場合でも、上記の実施
例とほぼ同等のハードウェアで実現できる。変更しなけ
ればならない部分は、ページ無効化カウンタ１５１のＩ
コマンドを出力する部分１５１１を、ＦＬＵＳＨコマン
ドを出力するように変更するだけである。

【００８９】さらに、無効化とＦＬＵＳＨの２つの機能
をあわせて持ち、開放されるページの属性に応じて両者
を使い分ける（再利用される可能性のあるデータのみＦ
ＬＵＳＨを使う）方法も可能である。この場合リモート
ページ無効化回路１５０、ページ無効化カウンタ１５１
に、無効化とＦＬＵＳＨを区別する信号を追加すればよ
い。

【００９０】（２）ページのゼロクリアもハードで行う
方式以上においては、ページが開放された際に、他のノード
にキャッシングされているデータを無効化するだけであ
り、ページのゼロクリアはソフトウェアで実行する必要
があった（ページは排他なので、初期化はノード内のみ
で実行できる）。それに対して、ページのゼロクリアも
ハードウェアで行えば、後にＯＳがページをクリアする
手間を省くことができ、更なる高速化を達成できる。

【００９１】図１３、図１４は、ゼロクリアをハードウ
ェアで行う場合の構造を示す。図１３は、主記憶共有マ
ルチプロセッサの全体構成である。各ノードがページク
リアカウンタ１５５を持つところが図１との違いであ
る。各プロセッサにおいて、ＯＳ等が自ノードの主記憶
に置かれたページを回収し、リモートページ無効化レジ
スタがセットされると。ページ無効化コマンドがページ
クリアカウンタ１５５に送られる（ページクリアカウン
タ１５５はＲＡＴの値によらず動作しなければならな
い）。

【００９２】図１４は、ページクリアカウンタ１５５の
詳細図を示す。ページクリアカウンタ１５５の動作の概
略は図５で示したページ無効化カウンタ１５１の動作と
同じである。ページクリアアドレス発生回路のカウンタ
１５６において、ページ内の各ラインのアドレスが発生
され、回路１５５１に送られる。回路１５５１では、該
当する主記憶上のラインにＡＬＬ０を書込むと同時に
ノード内のキャッシュ１１００を無効化するためのコマ
ンドを発生する（これらのコマンドはアクセス分別回路
１２０により、それぞれ主記憶１２１、ＣＰＵ１１０に
送られる）。ページクリアカウンタ１５５により、リモ
ートページ無効化回路１５０で指示されたページの内容
を０クリアすることができる。

【００９３】以上の処理により、ページが開放された際
に、開放されたページの内容をハードウェアで０クリア
できるため、後にページをアロケートする際のソフトウ
ェアオーバヘッドを大幅に削減することができる。さら
に、他のノードのキャッシュ上のデータはページ毎に一
括して無効化するため、ノード間のバストラフィックは
増加しない。

【００９４】（３）ノード内マルチプロセッサ以上においては、ノード内のＣＰＵの数は１つであった
が、ノード内をマルチプロセッサ構成にすることも可能
である。その場合、一括書込ページレジスタ１４０、リ
モートページ無効化回路１５０、ＡＣＫ待ち回路１６０
は、ＣＰＵの数だけ複数個持たなくてはならない。

【００９５】（４）ノード内の外部キャッシュの活用以上においては、ノード内のＣＰＵにのみキャッシュを
持っていたが、ＣＰＵに外付けのキャッシュを各ノード
に設けることも可能である。この場合、外付けキャッシ
ュとＣＰＵキャッシュの間で包含関係が成り立つ場合
は、外付けキャッシュのＴＡＧの情報を用いて、無効化
コマンドの数を削減することが可能である。

【００９６】図１５、図１６を用いてノード内キャッシ
ュを持った場合の構成を説明する。図１５は、主記憶共
有マルチプロセッサの全体構成である。各ノードが外部
キャッシュ管理回路１８０、ＣａｃｈｅＤＡＴＡ１
８１、ＣａｃｈｅＴＡＧ１８２を持ち、ページ無効化
カウンタ１５１が１５１ｄにより、ＣａｃｈｅＴＡＧ
１８２をアクセスできるようにするところが図１との
違いである。Ｃａｃｈｅ管理回路１８０等の動作は公知
の技術であるので詳細説明は省略する。また、図１５は
（３）で述べたノード内マルチプロセッサ構成になって
おり、一括書込ページレジスタ１４０、リモートページ
無効化回路１５０、ＡＣＫ待ち回路１６０は、ＣＰＵの
数だけ複数個持つ。

【００９７】図１６は、ページ無効化カウンタ１５１’
の構成を示す。１５１’は図５に示すページ無効化カウ
ンタ１５１とほぼ同じ動作を行うが、外部キャッシュキ
ャッシング判定回路１５３とゲート１５１０を持つとこ
ろが相違する。無効化アドレス発生回路１５２より出力
された無効化コマンドを発行するためのアドレス１５１
０ａは、外部キャッシュキャッシング判定回路１５３に
入力され、外部キャッシュに該当するアドレスのデータ
が登録されているかが検査される。外部キャッシュキャ
ッシング判定回路１５３では、コラムアドレスを用いて
外部キャッシュのタグ１８２を読み出し（回路１５３
０）、無効化コマンドの上位のキャッシュアドレス１５
３ｂと比較を行う（回路１５３１、１５３２）。ここで
は、外部キャッシュは２ｗａｙのセットアソシアティブ
キャッシュと仮定しているが、他の構成でも良い。比較
の結果、どちらかのアドレスが一致し、キャッシュ上に
データがあると判定されると、ゲート１５１０がＯＮに
なり、無効化コマンドが送出される。どちらの比較も不
一致であり、該当するアドレスを持つデータは外部キャ
ッシュ上に無いと判断された場合には、ゲート１５１０
はＯＦＦになり、無効化コマンドの送出は抑止される。

【００９８】以上の手段により、ページ一括無効化の際
に、外部キャッシュのＴＡＧの情報を活用して、不要な
無効化コマンドの送出を抑止することができる。

【００９９】（５）アドレス範囲による指定以上においては、一括書込みページ指示レジスタ１４
０、リモートページ無効化回路１５０においては、ペー
ジ毎にアドレスを指定していたが、任意のページ境界の
アドレス範囲を指定するアーキテクチャとすることも可
能である。

【０１００】その場合、以下の点が変更になる。（ａ）ＲＡＴチェック回路２（１５２）におけるＲＡＴ
の検査においては、指定された範囲を含むページが全て
排他状態の場合にのみ、排他とすることができる。（ｂ）ＡＣＫ待ち回路１６０において、ＲＡＴを排他状
態に戻す際には、指定された範囲内に完全に含まれるペ
ージのみを排他状態に戻すことができる。（ｃ）本発明のキャッシュ機構を活用するアプリケーシ
ョンのアドレス範囲はリアル連続である（科学技術計算
においては可能な前提である）。（ｄ）図７、図８で示される一括書込み中ページアドレ
スレジスタ１４０１、リモート無効化ページアドレスレ
ジスタ１５０１は、指定された範囲の下限、上限のアド
レスをあらわす、２つのレジスタの組になる。（ｅ）コマンド変換回路１４１、ページ無効化カウンタ
１５１におけるページ内に含まれているかどうかのチェ
ックは、アドレスが指定された範囲に含まれているかど
うかのチェックになる。上記の変更は自明なので、詳細な説明は略す。

【０１０１】さらに、リモートページの一括無効化がア
ドレス範囲で指定される場合で、かつ各ノードが外部キ
ャッシュを持つ場合、ページ無効化カウンタ１５１’’
において、複数のｗａｙを並行してチェックすることに
より、指定されたアドレス範囲がキャッシュのコラムア
ドレスの範囲より大きい場合の無効化コマンドの発行を
大幅に効率化することができる。

【０１０２】図１７は、ページ無効化カウンタ１５
１’’の構成を示す。まず、ページ無効化コマンドよ
り、指定されたアドレス範囲の下限アドレス１５９ａと
上限アドレス１５９ｂを得る。下限アドレスはカウンタ
１５２０’にプリセットされ、カウントアップをはじめ
る。比較器１５２１’では、カウントアップされたアド
レスが、上限アドレスに達するか、下限アドレスにコラ
ム数を足した値より大きくなった場合は、信号１５２１
ａに終了信号を発生する。後者の条件により、キャッシ
ュの同一のコラムが複数回チェックされることを防ぐこ
とができる。終了信号１５２１ａを受け取ったＡＣＫコ
マンド送出回路１５１２’は、１５１ｃを通じアクセス
元のノードにＰＩＡコマンドを返す。

【０１０３】カウンタ１５２０’より供給されたアドレ
スからは、コラムアドレス１５９０ａが切り出され、キ
ャッシュＴＡＧ読み出し回路１５３０に供給される。キ
ャッシュＴＡＧ読み出し回路は、指定されたコラムアド
レスのＴＡＧの内容を並列に読み出す。ここでは２ｗａ
ｙのキャッシュを仮定しており、ＴＡＧ０（１５３０
ａ）、ＴＡＧ１（１５３０ｂ）が読み出される。読み出
されたアドレスは、コラムアドレスと合わせて、キャッ
シュアドレス１５９１ａ、１５９２ａが作成される。キ
ャッシュアドレスは、下限アドレスと１５９ａと上限ア
ドレス１５９ｂの間にあることを比較器１５９１、１５
９２で比較され、範囲内に入っていた場合には、ゲート
１５９３、１５９４を通じてキャッシュアドレスが無効
化コマンド送出回路１５１１’に送付される。無効化コ
マンド送出回路１５１１’は、送付されたアドレスにつ
いて無効化コマンドを１５１ｂを通じて送出する。

【０１０４】以上の手順により、一括無効化コマンドに
より指定されたアドレス範囲の中で、外部キャッシュに
キャッシングされているラインに対してのみ無効化コマ
ンドを送出することができる。さらに、指定されたアド
レス範囲がコラムアドレスより大きい場合には、各々の
コラムアドレスを１回のみチェックし、キャッシュアド
レスが指定されたアドレス範囲に入っているかどうか
を、複数のｗａｙについて並行してチェックすることに
より、一括無効化に要するチェックの手間を最大でコラムアドレス／ラインサイズにおさえることができる。

【０１０５】（６）ＵＭＡアーキテクチャ以上においては、各ノードはノード内に主記憶を持った
ＮＵＭＡ構成であったが、本発明で述べられたアーキテ
クチャは、集中主記憶を持ったＵＭＡ構成のマシンにも
適用することが可能である。

【０１０６】図１８は、ＵＭＡアーキテクチャの場合の
本発明のマルチプロセッサの構成図を示す。ノード内の
主記憶１２１が無く、そのかわりに共有主記憶９０１が
あることが図１との相違点である。さらに、拡張ＲＡＴ
１３０’の構成がＮＵＭＡにおけるＲＡＴと以下の点で
異なる。（ａ）拡張ＲＡＴのビットは、ＮＵＭＡアーキテクチャ
においてはノード内の主記憶に対応するページにのみ設
けられていたが、ＵＭＡアーキテクチャでは（実装され
ている）全主記憶空間のページに対して設けられる。（ｂ）拡張ＲＡＴの各ビットの初期値は１（共有）であ
る。したがって、ＲＡＴが０（排他）になるのは、該当
するノードがページを回収し、リモートページ無効化を
実行した後に限られる。ＵＭＡの場合でも、本発明の１
つめの特徴技術である、一括書込みページ指示レジスタ
１４０を用いた初期化時のコマンド変換機能の動作は、
ＮＵＭＡアーキテクチャと全く同一である。

【０１０７】次に、本発明の２つめの特徴技術である、
ページ回収時の、リモートページ無効化レジスタ１５０
による他ノードの主記憶の一括無効化の動作について述
べる。ＵＭＡアーキテクチャでは各ノードは任意のペー
ジを回収することができる点がＮＵＭＡとの最大の相違
点である（ＮＵＭＡでは、Ｈｏｍｅノードがページを回
収することを前提にしている）。ここで、ＵＭＡではＲ
ＡＴは全主記憶空間について設けられているため、回収
したページが他のノードにキャッシングされていないこ
とを保証することができる。したがって、後刻ページの
初期化を行う場合、ノード間バスにコマンドを出さず
に、ノード内だけで処理することができる。ＵＭＡの場
合、各ノード１００’〜２００’を１チップで実現する
ことも可能である。

【０１０８】（７）ユーザモードでのコマンドの起動以上においては、各ノードの一括書込ページ指示レジス
タ１４０、及びリモートページ無効化回路１５０は、指
定されたページのデータを破壊するため、ページのアク
セス権限をチェックしてからアクセスしなければならな
い。以上では、ＯＳもしくはシステムコールを介してア
クセスされることを前提としていたため、ハードウェア
での記憶保護機構は設けられていない。上記レジスタを
ユーザ（ミドルウェアを含む）に開放すると、誤って、
他のユーザのアドレス空間を無効化してしまう可能性が
あり、好ましくない。しかし、ユーザモードからのアク
セスを、毎回システムコールを介して行っていたので
は、システムコールのオーバヘッドが大きい場合、問題
になる。

【０１０９】一括書込み中ページアドレスレジスタ１４
０１を例にとり、ユーザモードから直接ページアドレス
を指定するためのインタフェース回路を図１９に、ペー
ジを指定する部分の（図１０のステップ８００１の前半
に相当）プログラムのフローを図２０に示す（リモート
無効化ページアドレスレジスタ１５０１への書込みも同
様の手法で実現できる）。ここで問題になるのは、いか
にしてページのプロテクション（現在実行中のプログラ
ムが指定されたページに書込み権限があるか）を検査す
るかである。図１９では、ＣＰＵの書込み命令（Ｕｎｃ
ａｃｈｅｄＷｒｉｔｅ）がＣＰＵバス１９０に出てく
るかどうかを見ることにより、指定するページへの書込
み権限があることをチェックする。

【０１１０】図１９において、１４０８のページ指定ビ
ットレジスタは、プログラムがページ番号を指定するた
めのＵｎｃａｃｈｅｄＷｒｉｔｅ命令を発行すること
を示す、１ビットのレジスタであり、実行中のプログラ
ムから読み書き可能なページに置かれる。

【０１１１】ページ指定に先立ち、プログラムはページ
指定ビットレジスタ１４０８に１を書込む（ステップ８
３０１）。その後、ページ内の任意のアドレス（例えば
ページの最初のアドレス）を、ＵｎｃａｃｈｅｄＷｒ
ｉｔｅ命令でアクセスする（ステップ８３０２）。する
と、ＵｎｃａｃｈｅｄＷｒｉｔｅ検出回路１４０７の
出力１４０７ａがアクティブになり、ページ指定ビット
レジスタ１４０８の出力１４０８ａとＡＮＤが取られ、
信号１４０９ａがアクティブになる。従って、一括書込
中ページアドレスレジスタ１４０１’にアクセスされた
ページアドレスが記憶される。その後、プログラムは、
ページ指定ビットレジスタ１４０８を０に戻す（ステッ
プ８３０３）。もし、ページに対する書込み権限が無い
場合はステップ８３０２の書込み処理は失敗するので、
ページ指定レジスタはセットされない。

【０１１２】以上の機能により、ユーザプログラムから
直接、一括書込み中ページアドレスレジスタへの書込み
を許しつつ、必要なプロテクションを実現することがで
きる。

【０１１３】

【発明の効果】本発明によれば、主記憶共有型のマルチ
プロセッサにおいて、ページの初期化、ページ一括コピ
ー等ページ全体に書込みを行う場合に、他のノードのキ
ャッシュから古いデータをライン転送することなく、デ
ータの書込みを行うことを、ＣＰＵの命令セットによら
ず実現することができ、書込みのレーテンシを大幅に削
減するとともに、ノード間のトラフィックを削減するこ
とができる。

【０１１４】更に、本発明によれば、アプリケーション
等がページを使い終わった際に、他のノードのキャッシ
ュ上に残った古いデータを、ハードウェアによりキャッ
シュから追い出すこにより、ページ内のデータが他のキ
ャッシュにキャッシングされていないことを保証するこ
とができる。したがって、次回該当するページをアクセ
スする際に、他のノードへのキャッシュコヒーレントコ
マンドを削減することができ、ノード間のトラフィック
を大幅に削減するとともに、アクセスレーテンシを大幅
に削減することができる。

【図面の簡単な説明】

【図１】本発明のキャッシュコヒーレンス保持機構を持
つ主記憶共有型マルチプロセッサの構成図である。

【図２】各ノードのＲＡＴチェック回路１のブロック図
である。

【図３】各ノードのコマンド変換回路のブロック図であ
る。

【図４】各ノードのアクセス判定回路のブロック図であ
る。

【図５】各ノードのページ無効化カウンタのブロック図
である。

【図６】各ノードのＡＣＫ待ち回路のブロック図であ
る。

【図７】各ノードの一括書込みページ指示レジスタのブ
ロック図である。

【図８】各ノードのリモートページ無効化回路のブロッ
ク図である。

【図９】各ノードのＲＡＴのブロック図である。

【図１０】本発明のマルチプロセッサシステムにおい
て、ＯＳが主記憶を初期化する際のフロー図である。

【図１１】本発明のマルチプロセッサシステムにおい
て、ＯＳがページ一括コピーを行う際のフロー図であ
る。

【図１２】本発明のマルチプロセッサシステムにおい
て、ＯＳがページを回収する際のフロー図である。

【図１３】本発明の変形例２における主記憶共有型マル
チプロセッサの構成図である。

【図１４】本発明の変形例２における各ノードのページ
クリアカウンタのブロック図である。

【図１５】本発明の変形例４における主記憶共有型マル
チプロセッサの構成図である。

【図１６】本発明の変形例４における各ノードのページ
無効化カウンタのブロック図である。

【図１７】本発明の変形例５における各ノードのページ
無効化カウンタのブロック図である。

【図１８】本発明の変形例６における主記憶共有型マル
チプロセッサの構成図である。

【図１９】本発明の変形例７における、各ノードの一括
書込みページ指示レジスタのブロック図である。

【図２０】本発明の変形例７における、各ノードの一括
書込みページ指示レジスタへの書込み処理のフロー図で
ある。

【符号の説明】

１００、２００……ノード９００………………ノード間バス。

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤井啓明東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者保田淑子東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者猪原茂和東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内Ｆターム(参考） 5B005 JJ11 KK13 MM01 NN42 NN53 PP21 PP26

Claims

【特許請求の範囲】

【請求項１】ＣＰＵ、キャッシュおよび主記憶を持つ複
数のノードと、ノード間を結ぶ結合機構とからなり、結
合機構を使ってノード間でキャッシュコヒーレント制御
を行うマルチプロセッサにおいて、各ノードが、他ノードのキャッシュ上のデータをページ毎に一括して
追い出すことを指示する手段と、該指示に対応して、該他ノードにキャッシュ上のデータ
をページ毎に一括して追い出すことを指示するコマンド
を送信する手段と、他ノードから該コマンドを受け取り、ノード内のキャッ
シュ上の、コマンドにより指定されたページに属するデ
ータを、キャッシュから追い出す手段を持つことを特徴
としたマルチプロセッサ。
【請求項２】キャッシュからキャッシュラインを追い出
す手段として無効化コマンドを用い、キャッシュからデ
ータを追い出す際に、他のノードにキャッシングされて
いるデータを捨てる手段を有することを特徴とする請求
項１記載のマルチプロセッサ。
【請求項３】キャッシュからキャッシュラインを追い出
す手段としてＦＬＵＳＨコマンドを用い、キャッシュか
らデータを追い出す際に、他のノードにキャッシングさ
れているデータを書き戻す手段を有することを特徴とす
る請求項１記載のマルチプロセッサ。
【請求項４】他ノードのキャッシュ上のデータをページ
毎に一括して追い出すコマンドを受け取ったノードが、
該コマンドの実行が終了したことを、該コマンドの発行
元のノードに通知する手段を持つことを特徴とする請求
項１記載のマルチプロセッサ。
【請求項５】該各ノードは、自ノード内の主記憶の各ペ
ージに対応し、該当するページが他のノードにキャッシ
ングされている可能性があるかどうかを記憶するビット
を持ち、該ビットは、システムの初期化時はリセットされてお
り、主記憶の該当するページが他のノードからアクセス
された場合にセットされ、他ノードのキャッシュ上のデ
ータをページ毎に一括して追い出すコマンドの実行が終
了した際にリセットされ、自ノードのＣＰＵが自ノードの主記憶をアクセスする際
は、該ビットを検査し、該ビットがセットされていた場
合には、他のノードへのキャッシュコヒーレント制御を
行い、該ビットがセットされていなかった場合には、他
のノードへのキャッシュコヒーレント制御を抑止するこ
とを特徴とする請求項４記載のマルチプロセッサ。
【請求項６】プログラムがページを使い終わった際に、
該ページを主記憶上に持つノードのシステムプログラム
が、該ページに対して、他ノードのキャッシュ上のデー
タをページ毎に一括して追い出すコマンドを発行する手
段を有することを特徴とする請求項１記載のマルチプロ
セッサ。
【請求項７】他ノードのキャッシュ上のデータをページ
毎に一括して追い出すコマンドを発行するノードが、自
ノードの該当するページをゼロクリアする手段を持つこ
とを特徴とする請求項１記載のマルチプロセッサ。
【請求項８】各ノードはＣＰＵの外に外付けのキャッシ
ュを持ち、他ノードのキャッシュ上のデータをページ毎に一括して
追い出すコマンドを受け取ったノードが、自ノード内の
キャッシュ上の、該コマンドにより指定されたページに
属するデータを、全てキャッシュから追い出す際に、該
外付けキャッシュのＴＡＧ情報を用いて、不要なコマン
ドの送出を抑止する手段を有することを特徴とする請求
項１記載のマルチプロセッサ。
【請求項９】ＣＰＵ、キャッシュおよび主記憶を持つ複
数のノードと、ノード間を結ぶ結合機構とからなり、結
合機構を使ってノード間でキャッシュコヒーレント制御
を行うマルチプロセッサにおいて、各ノードが、他ノードに指定されたアドレス範囲のキャッシュ上のデ
ータを一括して追い出すことを指示する手段と、該指示に対応して、指定されたアドレス範囲のキャッシ
ュ上のデータを一括して追い出すことを指示するコマン
ドを他ノードへ転送する手段と、該コマンドを受け取り、自ノード内のキャッシュ上の、
コマンドにより指定されたアドレス範囲に属するデータ
を、全てキャッシュから追い出す手段を持つことを特徴
とするマルチプロセッサ。
【請求項１０】各ノードは、ＣＰＵの外に外付けされたキャッシュと、他ノードから指定されたアドレス範囲のキャッシュ上の
データを一括して追い出すコマンドを受け取ったとき、
自ノード内のキャッシュ上の、該コマンドにより指定さ
れたアドレス範囲のデータを、全てキャッシュから追い
出す際に、該外付けキャッシュのＴＡＧの情報を用い
て、不要なコマンドの送出を抑止する手段を有すること
を特徴とする請求項９記載のマルチプロセッサ。
【請求項１１】各ノードが、該外付けキャッシュのＴＡ
Ｇの情報を用いて不要なコマンドの送出を抑止する際
に、該外付けキャッシュのＴＡＧの各コラムを１回のみ
アクセスする手段を有することを特徴とする請求項１０
記載のマルチプロセッサ。
【請求項１２】ＣＰＵおよびキャッシュを持つ複数のノ
ードと、該ノード間を結ぶ結合機構とを持ち、結合機構
を使ってノード間でキャッシュコヒーレント制御を行う
マルチプロセッサにおいて、各ノードが、主記憶上のペ
ージに対して一括書込が行われていることを指示する一
括書込指示手段と、該一括書込指示手段により指定され
たページに対して、ＣＰＵからデータ読出と無効化を要
求するキャッシュコマンドが到来した場合に、該コマン
ドを無効化コマンドに変換した後に他ノードに伝達する
手段、及び、該読出無効化要求に対してＣＰＵにノード
内からダミーデータを返す手段を持つことを特長とする
マルチプロセッサ。
【請求項１３】システムプログラムが、ページを初期化
する際に、初期化するページ番号を該一括書込指示手段
に与える手段を有することを特徴とする請求項１２記載
のマルチプロセッサ。
【請求項１４】システムプログラムが、ページをコピー
するする際に、コピーの宛先のページ番号を該一括書込
指示手段に与える手段を有することを特徴とする請求項
１２記載のマルチプロセッサ。
【請求項１５】ＣＰＵおよびキャッシュを持つ複数のノ
ードと、該ノード間を結ぶ結合機構と、主記憶からな
り、該結合機構を使って該ノード間でキャッシュコヒー
レント制御を行うマルチプロセッサにおいて、各ノード
が、他ノードのキャッシュ上のデータをページ毎に一括して
追い出すことを指示する手段と、該指示に対応して、他
ノードにキャッシュ上のデータをページ毎に一括して追
い出すことを指示するコマンドを転送する手段と、該コマンドを受け取ったとき、自ノード内のキャッシュ
上の、コマンドにより指定されたページに属するデータ
を、全てキャッシュから追い出す手段を持つことを特徴
としたマルチプロセッサ。
【請求項１６】キャッシュからキャッシュラインを追い
出す手段として無効化コマンドを用い、キャッシュから
データを追い出す際に、他のノードにキャッシングされ
ているデータは捨てる手段を有することを特徴とする請
求項１５記載のマルチプロセッサ。
【請求項１７】キャッシュからキャッシュラインを追い
出す手段としてＦＬＵＳＨコマンドを用い、キャッシュ
からデータを追い出す際に、他のノードにキャッシング
されているデータを書き戻す手段を有することを特徴と
する請求項１５記載のマルチプロセッサ。
【請求項１８】他ノードのキャッシュ上のデータをペー
ジ毎に一括して追い出すコマンドを受け取ったノード
が、該コマンドの実行が終了したことを、該コマンドの
発行元のノードに通知する手段を持つことを特徴とする
請求項１５記載のマルチプロセッサ。
【請求項１９】主記憶空間の各ページに対応し、該当す
るページが他ノードにキャッシングされている可能性が
あるかどうかをを示す情報を記憶するビットと、該ビットをシステムの初期化時にセットする手段と、主記憶の該当するページが他のノードからアクセスされ
た場合に、該ビットをセットする手段と、他ノードのキャッシュ上のデータをページ毎に一括して
追い出すコマンドの実行が終了した際に、該ビットをリ
セットする手段と、自ノードのＣＰＵが主記憶をアクセスする際に、該ビッ
トを検査し、該ビットがセットされていた場合に、他の
ノードへのキャッシュコヒーレント制御を行い、該ビッ
トがセットされていなかった場合に、他のノードへのキ
ャッシュコヒーレント制御を抑止する手段を有すること
を特徴とする請求項１５記載のマルチプロセッサ。
【請求項２０】他ノードのキャッシュ上のデータをペー
ジ毎に一括して追い出すことを指示する際に、ユーザモ
ードのプログラムから該指示を行い、指定されたページ
への書込み権限をチェックする手段を持つことを特徴と
する請求項１記載のマルチプロセッサ。
【請求項２１】主記憶上のページに対して一括書込が行
われていることを指示する際に、ユーザモードのプログ
ラムから該指示を行い、指定されたページへの書込み権
限をチェックする手段を持つことを特徴とする請求項１
２記載のマルチプロセッサ。
【請求項２２】複数のノードと該ノード間を接続する手
段からなり、各ノードが、ＣＰＵと、キャッシュと、該
複数のノードからアクセスされる主記憶と、キャッシュ
上のデータをアドレス範囲毎に一括して追い出すことを
指示する指示手段と、指示手段からの指示に従い、ノー
ド内のキャッシュ上の、指定されたアドレス範囲に属す
るデータを、キャッシュから追い出す手段を有するマル
チプロセッサ。
【請求項２３】該指示手段は他ノードへ指示する手段で
ある請求項２２記載のマルチプロセッサ。
【請求項２４】該指示する手段は、ユーザモードのプロ
グラムからの要求に応答して動作する請求項２３記載の
マルチプロセッサ。
【請求項２５】キャッシュからデータを追い出す際に、
他のノードにキャッシングされているデータを無効化す
る請求項２３記載のマルチプロセッサ。
【請求項２６】キャッシュからデータを追い出す際に、
他のノードにキャッシングされているデータを書き戻す
請求項２３記載のマルチプロセッサ。
【請求項２７】該アドレス範囲はページである請求項２
２から請求項２６までのいずれかに記載のマルチプロセ
ッサ。
【請求項２８】複数のノードと、該ノード間を結ぶ手段
と、該複数のノードがアクセスするメモリからなり、各
ノードが、ＣＰＵと、キャッシュと、キャッシュ上のデ
ータをアドレス範囲毎に一括して追い出すことを指示す
る指示手段と、指示手段からの指示に従い、ノード内の
キャッシュ上の、指定されたアドレス範囲に属するデー
タを、キャッシュから追い出す手段を有するマルチプロ
セッサ。