JP2003150444A - キャッシュメモリシステム - Google Patents

Abstract

(57)【要約】 【課題】 読み出し書き込みの無駄な繰り返しを避けた
キャッシュメモリシステムを提供する。 【解決手段】 共通バスに接続された複数のキャッシュ
メモリ間でのデータの一貫性管理を行う複数のキャッシ
ュコントローラを備え、共通バスからのリクエストに対
する応答処理直後のデータが無効になるキャッシュブロ
ックに対して書き込みコマンドがあると、その書き込み
コマンドに応答してそのキャッシュブロックのデータを
更新した後に、所定時間経過後に、又は所定時刻に、リ
クエストに対する処理を実行するようにしたことを特徴
とするキャッシュメモリシステム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、並列計算機におけ
るメモリアクセスレイテンシを隠蔽するために用いられ
るキャシュメモリシステムに関する。

【０００２】

【従来の技術】計算機におけるキャッシュメモリは、メ
モリアクセスレイテンシを隠蔽する技術として、広く用
いられている。キャッシュメモリはメインメモリに比べ
て高速・小容量のメモリで構成されていて、通常はプロ
セッサ内に設けられ、プロセッサがアクセスしたデータ
を一時保存する。

【０００３】一般に計算機で行なわれる演算は時間的局
所性（一度アクセスしたデータは再びアクセスされやす
い）という特徴を持っているので、キャッシュメモリに
保存されたデータを参照する機会は多い。そのため、低
速なメインメモリをアクセスする代わりに高速なキャッ
シュメモリを利用できれば、それだけ演算を高速に進め
ることができる。

【０００４】プロセッサ内のキャッシュメモリからの読
み出しに関しては、上記のように、キャッシュメモリに
はメインメモリのコピーを持たせれば良いので管理は簡
単である。しかしプロセッサからその中のキャッシュメ
モリへの書き込みの場合は、キャッシュメモリのデータ
とメインメモリのデータの一貫性管理という問題が発生
する。

【０００５】プロセッサからその中のキャッシュメモリ
へのデータ書き込みが発生した場合のデータの一貫性管
理のための処理は２通りに分けられる。

【０００６】ひとつは、キャッシュメモリへの書き込み
が発生するたびにメインメモリのデータを更新するとい
う手法（ライトスルー方式）である。この手法を用いる
と、書き込みの場合にはキャッシュメモリが用いられな
いことになり、メモリアクセスレイテンシを隠蔽すると
いうキャッシュメモリの効果がなくなる。

【０００７】他方は、キャッシュメモリのデータだけを
更新し、メインメモリの内容は更新しない手法（ライト
バック方式）である。この手法を用いると、メインメモ
リとキャッシュメモリとの内容が食い違うことになり、
余計な状態管理が必要となる。しかし、キャッシュメモ
リのメモリアクセスレイテンシ隠蔽の効果は非常に高い
ことが知られており、プロセッサからその中のキャッシ
ュメモリへのデータの書き込みの場合にもキャッシュメ
モリを利用することが高性能実現のためには必須である
ことから、後者のライトバック方式が一般に用いられて
いる。

【０００８】ライトバック方式では、キャッシュメモリ
の内容がプロセッサによって更新されているかを常に管
理しておく必要がある。そして、キャッシュメモリが一
杯になり、データがキャッシュから追い出されるとき
は、そのデータがメインメモリと食い違っているかを検
査し、もし食い違っていればメインメモリの内容を最新
の状態に更新する必要がある。

【０００９】単一プロセッサの場合は、上記のようにキ
ャッシュメモリとメインメモリとの間だけでの一貫性管
理をやっていれば充分であった。しかし並列計算機にな
ると、各プロセッサがキャッシュメモリを持つことにな
り、今度はキャッシュメモリ間の一貫性管理という問題
が発生する。この並列計算機における一貫性管理の従来
技術を図１２によって説明する。

【００１０】図１２は従来の並列計算機におけるキャッ
シュメモリシステムを説明するブロック図である。図１
２においては、４つのプロセッサ１２１〜１２４がバス
１２５を介してメインメモリ１２６に接続されている。
プロセッサ１２１内にはキャッシュメモリが搭載されて
おり、キャッシュメモリ内部にはａ，ｂ，ｃという３つ
のデータ格納領域があるものとする。このａ，ｂ，ｃ各
々のデータ格納領域には、メインメモリ１２６の任意の
位置（アドレス番地）に対応するデータを格納できるも
のとする。そのため、キャッシュメモリ内部には、ａ，
ｂ，ｃの各データ格納領域内に保存されているデータが
メインメモリのどの位置（アドレス番地）に対応するか
を表わすためのアドレス記憶領域Ａ，Ｂ，Ｃも持ってい
る。同様に、プロセッサ１２２内のキャッシュメモリに
はｄ，ｅ，ｆというデータ格納領域と各々に対応したア
ドレス記憶領域Ｄ，Ｅ，Ｆがあり、プロセッサ１２３内
にはｇ，ｈ，ｉというデータ格納領域と各々に対応した
アドレス記憶領域Ｇ，Ｈ，Ｉがあり、プロセッサ１２４
内にはｊ，ｋ，ｌというデータ格納領域と各々に対応し
たアドレス記憶領域Ｊ，Ｋ，Ｌがある。

【００１１】このような並列計算機では、プロセッサ１
２１，１２２，１２３，１２４のキャッシュメモリのう
ち、どれか２つ以上のキャッシュメモリがメインメモリ
１２６の同じアドレス番地に対応するデータを格納して
いる場合、それらのデータ格納領域の内容は一致してい
なくてはならない。この制約を満たすためにプロセッサ
間で情報交換を行ない、データ格納領域の内容に食い違
いが生じないようにデータの管理を行なうことを並列計
算機におけるキャッシュメモリの一貫性の管理と言う。

【００１２】並列計算機において、キャッシュメモリの
一貫性管理を行なわないと、次のような問題が生じる。
たとえばプロセッサ１２１がメインメモリ１２６からア
ドレス番地Ｘに対応するデータを読み出し、それをキャ
ッシュメモリ内のｂに格納したとする。この時、ｂには
メインメモリのアドレスＸ番地に対応するデータのコピ
ーが格納され、ＢにはＸという番地が記憶される。同様
に、プロセッサ１２２もメインメモリ１２６から同じア
ドレス番地Ｘに対応するデータを読み出し、それをキャ
ッシュメモリ内のｅに格納したとする。この場合も同様
に、ＥにはＸという番地が記憶される。この状態でプロ
セッサ１２１がメインメモリ１２６のアドレス番地Ｘに
対応するデータを更新しようとしたとする。プロセッサ
１２１内のｂには、アドレス番地Ｘに対応するデータが
すでに存在するため、プロセッサ１２１のキャッシュメ
モリはアドレス番地Ｘに対応するデータ、すなわちｂに
格納されているデータのみを更新し、実際にはメインメ
モリ１２６までデータを更新しにいかない。そしてこれ
以降、プロセッサ１２１がメインメモリ１２６のアドレ
ス番地Ｘに対応するデータを読み出そうとすると、この
更新したｂからデータを読み出すことになる。一方、同
様にプロセッサ１２２がアドレス番地Ｘに対応するデー
タを読み出そうとすると、プロセッサ１２１がすでにデ
ータを更新しているにも関わらず、自分のキャッシュメ
モリ内のｅに格納されているデータを読み出してしまう
ため、プロセッサ１２１が更新する前にメインメモリ１
２６から読み出したデータを読むことになってしまう。
すると、プロセッサ１２１とプロセッサ１２２では、同
じメインメモリのアドレス番地Ｘに対応するデータを読
み出しているにも関わらず、違うデータを読むというこ
とになり、共有メモリ計算機の前提が崩れてしまうこと
になる。

【００１３】このような状態を避けるために、並列計算
機上のキャッシュメモリでは従来から一貫性管理を行な
っている。

【００１４】たとえば、無効化要求をベースとした従来
の一貫性管理手法では、上記のようにプロセッサ１２１
がメインメモリ１２６のアドレス番地Ｘに対応するデー
タを更新しようとすると、まず他のキャッシュメモリに
あるメインメモリ１２６のアドレス番地Ｘに対応するデ
ータを消去しようとする。具体的には、プロセッサ１２
１のキャッシュメモリが共有バス１２５を通じてプロセ
ッサ１２２、プロセッサ１２３、プロセッサ１２４に無
効化要求を送る。各プロセッサのキャッシュメモリは、
それぞれ自分がアドレス番地Ｘに対応するデータを持っ
ているかどうか、キャッシュメモリ内のアドレス記憶領
域を検索する。もし見つかれば、キャッシュメモリは対
応するデータ格納領域に格納されているデータを無効化
する。この場合は、プロセッサ１２２のキャッシュメモ
リがＥにＸという値を持っていたので、ｅに格納されて
いるデータを無効化することになる。次いで、たとえば
プロセッサ１２２からのメインメモリのアドレス番地Ｘ
に対応するデータの読み出し要求が発生すると、プロセ
ッサ１２２は最新のデータを保有しているキャッシュメ
モリ（この場合はプロセッサ１２１のキャッシュメモリ
内のｂ）から最新のデータを読み出す。そしてキャッシ
ュメモリ内ｄ，ｅ，ｆのどこか空いている場所に格納
し、対応するアドレス記憶領域にＸという番地を記憶す
る。このように、データを更新する前に、同じアドレス
番地に対応するデータのコピーを保持している領域を無
効化してしまうことによって、同じアドレス番地に対応
しているのに違うデータを読んでしまうという状況を避
けることが可能になる。

【００１５】従来の他の一貫性管理手法としては、更新
要求をベースとした手法もある。これは、たとえばプロ
セッサ１２１がメインメモリ１２６のアドレス番地Ｘに
対応するデータを更新しようとすると、キャッシュメモ
リ内のｂに格納されているデータを更新するだけでな
く、プロセッサ１２２〜１２４のキャッシュメモリにも
同じ更新データを送るというものである。データを受け
取ったプロセッサ１２２〜１２４のキャッシュメモリで
は、それぞれキャッシュメモリ内のアドレス記憶領域を
検索し、メインメモリ１２６のアドレス番地Ｘに対応す
るデータを持っているか調べる。この場合プロセッサ１
２２のキャッシュメモリ内のＥにＸという値が保存され
ているので、プロセッサ１２２のキャッシュメモリはｅ
にプロセッサ１２１から送られてきた更新データを格納
する。この方法を用いても、同様に一貫性の管理は可能
になる。

【００１６】しかし更新要求をベースとした方式では、
・同一のプロセッサが連続して何度もデータを更新する
場合には、無駄な更新要求が発生する。

【００１７】・既にデータを参照しなくなったプロセッ
サに対してもいつまでも更新要求を送り続けてしまう。
という問題がある。これらの問題のために、更新要求を
ベースとした方式では、プロセッサ間の帯域を無駄に使
ってしまいがちである。そのため、実際のシステムで
は、更新要求をベースとした方式はあまり用いられてい
ない。

【００１８】いずれの方式にしても、プロセッサからデ
ータを更新し、その更新されたデータを他のプロセッサ
でも参照しようとすると、何らかの一貫性管理方式が必
要になる。

【００１９】この一貫性管理方式は、通常状態と要求の
組合わせで決まっている。たとえば、データの状態が共
有状態で、要求が自プロセッサからの書き込み要求であ
れば、他のキャッシュメモリのデータを無効化する。こ
のように、現在の状態と要求の組合わせに対する次の状
態とアクションを記述することによって、一貫性管理方
式を表現することが可能になる。

【００２０】

【発明が解決しようとする課題】上記の従来の無効化要
求をベースとした方式（無効化型）にしても、更新要求
をベースとした方式（更新型）にしても、どちらもプロ
セッサの読み出し／書き込み動作が行なわれてから一貫
性管理を行なう。そのため、どちらも一貫性管理の動作
が後からついてくる形になり、時には無駄な動きを繰り
返す場合がある。

【００２１】たとえば、無効化要求をベースとした方式
を用いる共有メモリ型並列計算機システムにおいて、プ
ロセッサ１２１と他のプロセッサ１２２が、特定のデー
タＸをお互い更新しあうという場面を考える。

【００２２】まず、プロセッサ１２１はメインメモリ１
２６からデータＸを読み出し、キャッシュメモリｂに格
納する。

【００２３】次に、プロセッサ１２１はキャッシュメモ
リｂ上のデータＸを更新しようとするが、その前にプロ
セッサ１２２からの（データＸに対する）読み出し要求
が起こったとする。すると、キャッシュメモリｂあるい
はメインメモリ１２６はプロセッサ１２２に対してデー
タＸを供給し、キャッシュメモリｂとキャッシュメモリ
ｅでデータＸを共有する。

【００２４】その後プロセッサ１２１によるキャッシュ
メモリｂ内のデータＸの更新が行なわれると、一貫性を
管理するためプロセッサ１２２、１２３,１２３内のキ
ャッシュメモリｅ，ｈ，ｋに対してデータＸの無効化要
求が発生する。プロセッサ１２２、１２３又は１２４が
データＸの最新の値を参照するためには、もう一度読み
出し要求を発行し、キャッシュメモリｂに格納されてい
る最新の値を対応するキャッシュメモリに読み出さなく
てはならない。

【００２５】これは、一貫性管理を最新データの読み出
し時点での状態を基準にして行なっているからである。
プロセッサ１２１が後にキャッシュメモリｂの内容を更
新することが明らかになっていれば、プロセッサ１２１
内のキャッシュメモリｂの読み出し→プロセッサ１２１
内のキャッシュメモリｂの更新→プロセッサ１２２内の
キャッシュメモリｅの読み出しという３段階で済むとこ
ろを、上記従来例ではプロセッサ１２１内のキャッシュ
メモリｂの読み出し→プロセッサ１２２内のキャッシュ
メモリｅの読み出し→プロセッサ１２１内のキャッシュ
メモリｂの無効化→プロセッサ１２１内のキャッシュメ
モリｂの更新→プロセッサ１２２内のキャッシュメモリ
ｅの読み出しとなっており、使用しないデータを１つの
キャッシュメモリまたはメインメモリから読み出して他
のキャッシュメモリに書き込む動作とそのキャッシュメ
モリの無効化という無駄な処理を繰り返すことになると
いう問題がある。

【００２６】上記と同様の問題が、たとえば、共有メモ
リを用いた排他処理でも頻繁に発生する。共有メモリを
用いた排他処理とは、同時にはひとりしか扱えない共有
資源、たとえばモニタやキーボードなどを、メモリ変数
を用いて管理する手法である。ここでは、メインメモリ
１２６のアドレス番地Ｘにあるデータを用いてモニタ１
２７を管理する場合を考える。ここで用いる管理手法
は、いずれかのプロセッサがモニタ１２７を使用中であ
ればアドレス番地Ｘに対応するデータを“１”とし、ど
のプロセッサも使用していなければアドレス番地Ｘに対
応するデータは“０”にするという方法である。

【００２７】たとえば、プロセッサ１２１がモニタ１２
７を使用する時には、プロセッサ１２１はメモリ変数が
“０”であることを確認するため、まずメインメモリ１
２６からアドレス番地Ｘに対応するデータを読み出す。
プロセッサからの読み出しが発生すると、プロセッサ１
２１のキャッシュメモリは、自分の空いているデータ格
納領域（ここではａが空いているものとする）にデータ
を格納する。同時に、ａに対応するアドレス記憶領域Ａ
にアドレス番地Ｘを記憶する。値が“０”であれば、プ
ロセッサ１２１はモニタ１２７を使用するため、メモリ
変数に“１”を書き込もうとする。書き込み要求が発生
すると、プロセッサ１２１のキャッシュメモリは一貫性
管理のため、プロセッサ１２２，１２３，１２４にメイ
ンメモリ１２６のアドレス番地Ｘの無効化要求を送る。
プロセッサ１２２，１２３，１２４の各キャッシュメモ
リは、自分のアドレス記憶領域を検査し、アドレス番地
Ｘのデータを保持していればそれを無効化する。このよ
うにして、プロセッサ１２１がメモリ変数を“１”にし
ている状態で、他のプロセッサがモニタ１２７を使用し
ようとした場合には、次のような動作が行なわれる。モ
ニタ１２７を使用しようとするプロセッサは、メインメ
モリ１２６からアドレス番地Ｘに対応するデータを読み
出そうとする。すると最新のデータを持っているプロセ
ッサ１２１のキャッシュメモリがメインメモリ１２６の
代わりに返答する。すなわち、プロセッサ１２１のキャ
ッシュメモリのａから、そのプロセッサに最新のデータ
“１”が送られる。新たにモニタ１２７を使用しようと
したプロセッサは、アドレス番地Ｘに対応するデータが
“１”であるため、他のプロセッサが使用中であること
を知る。そこで、使用中のプロセッサがモニタ１２７を
解放するまで待つことになる。

【００２８】プロセッサ１２１がモニタ１２７を使用し
なくなると、プロセッサ１２１はメモリ変数を“０”に
更新しようとする。すなわち、プロセッサ１２１のキャ
ッシュメモリがプロセッサ１２２，１２３，１２４にメ
インメモリ１２６のアドレス番地Ｘに対応するデータの
無効化要求を送り、自分のキャッシュメモリａのデータ
を“０”に更新する。これにより、モニタ１２７は他の
プロセッサにより使用可能な状態であるアンロック状態
となる。この状態で、他のプロセッサ、たとえばプロセ
ッサ１２２がモニタ１２７の使用状態を調べるため、メ
モリ変数を読み出したとする。すると、先ほどと同様
に、最新のデータを持っているプロセッサ１２１のキャ
ッシュメモリが返答を返す。すなわち、プロセッサ１２
１のキャッシュメモリのａに格納されている“０”とい
う値が、プロセッサ１２２のキャッシュメモリに送られ
る。プロセッサ１２２のキャッシュメモリは、空いてい
るデータ格納領域に送られてきたデータを格納する。
今、プロセッサ１２２のキャッシュメモリの中ではｄが
空いていたものとすると、プロセッサ１２２のキャッシ
ュメモリは送られてきたデータをｄに格納し、対応する
アドレス記憶領域Ｄにアドレス番地Ｘの値を記憶する。
モニタ１２７を使用しようと待っていたプロセッサが１
２２だけでない場合には、同じことが他のプロセッサに
も起こる。たとえばプロセッサ１２３もモニタ１２７を
使用しようと待っていた場合には、プロセッサ１２３か
らもメモリ変数チェックのため、メインメモリ１２６の
アドレス番地Ｘに対応するデータの読み出し要求が発生
する。今度は最新のデータを引き継いだプロセッサ１２
２のキャッシュメモリのｄから、アドレス番地Ｘに対応
するデータ“０”が送られる。プロセッサ１２３のキャ
ッシュメモリは、自分の空いているデータ格納領域（こ
の場合ｇが空いていたものとする）に“０”という値を
格納し、対応するアドレス記憶領域（この場合はＧ）に
アドレス番地Ｘを記憶する。

【００２９】先にメモリ変数の値を読み出したプロセッ
サ１２２は、今度は自分がモニタ１２７を使用するため
メモリ変数に“１”を書き込もうとする。すなわち、プ
ロセッサ１２２のキャッシュメモリはプロセッサ１２
１，１２３，１２４の各キャッシュメモリにアドレス番
地Ｘの無効化要求を送り、ｄに格納されているデータの
値を“１”に更新する。先ほど“０”という値を読み出
したプロセッサ１２３のキャッシュメモリのｇは、ここ
で無効化される。プロセッサ１２３も同様にモニタ１２
７を使用するためメモリ変数の値を更新しようとする
が、先ほど読み出したｇが無効化されているためデータ
をもう一度読み直す必要がある。すると、プロセッサ１
２２のｄから最新の値“１”を受け取ることになり、モ
ニタ１２７を使用することができず、また待ち状態に入
る。プロセッサ１２３から見ると、いったん“０”とい
う値を受け取ったものの、それは即座に無効化されるた
め使用できず、即座に別の値“１”を受け取ることにな
る。したがって値“０”の読み出しは無駄な読み出しで
あったということになる。

【００３０】このように、共有メモリを用いた排他制御
の場合でも、上記と同様の使用しないデータの読み出し
と無効化処理を繰り返すという問題がある。

【００３１】

【課題を解決するための手段】本発明では、上記の問題
を解決するために、以下の手段を用いる。

【００３２】まず、一貫性管理のためのプロトコルを改
良し、プロセッサからの要求をその都度処理するのでは
なく、将来を予測し最適な方法を用いることができるよ
うにする。

【００３３】具体的には、本発明の第１の態様により、
共通バスに接続されたキャッシュメモリ間で同一データ
を有するようにする一貫性管理を行う複数のキャッシュ
コントローラを備える並列計算機において、キャッシュ
コントローラに対応するキャッシュメモリ内で共通バス
からのリクエストに対する応答処理の直後にその応答処
理により供給したデータが無効になることが予め明らか
なキャッシュブロックに対して書き込みコマンドが発行
されると、その書き込みコマンドに応答してそのキャッ
シュブロックのデータを更新した後に、上記リクエスト
に対する処理を実行するようにしたことを特徴とするキ
ャッシュメモリシステムが提供される。

【００３４】本発明の第２の態様により、上記第１の態
様において、キャッシュコントローラの各々は、リクエ
ストを保持しているキャッシュブロックに対して書き込
みコマンドが発行されると、書き込みコマンドに応答し
てそのキャッシュブロックのデータを更新する前であっ
ても、リクエストの受信から所定時間をカウントした後
に上記クエストに対する処理を実行するようにしたキャ
ッシュメモリシステムが提供される。

【００３５】本発明の第３の態様により、上記第１の態
様において、キャッシュコントローラの各々は、リクエ
ストを保持しているキャッシュブロックに対して書き込
みコマンドが発行されると、書き込みコマンドに応答し
てそのキャッシュブロックのデータを更新する前であっ
ても、リクエストを発行したプロセッサが指定した所定
時刻までに上記リクエストに対する処理を実行するよう
にしたキャッシュメモリシステムが提供される。

【００３６】本発明の第４の態様により、上記第１から
第３の態様のいずれかにおいて、キャッシュメモリコン
トローラの各々は、書き込みコマンドに応答してそのキ
ャッシュブロックのデータの更新が終了する前にさらに
他のプロセッサからリクエストが発生した場合、そのリ
クエストをキャッシュブロックに記憶させ、書き込みコ
マンドに応答してそのキャッシュブロックのデータを更
新した後に、複数のリクエストに対する処理を実行する
ようにしたことを特徴とするキャッシュメモリシステム
が提供される。

【００３７】本発明の第５の態様により、上記第１から
第３の態様のいずれかにおいて、キャッシュメモリコン
トローラの各々は、書き込みコマンドに応答してそのキ
ャッシュブロックのデータの更新が終了する前にさらに
他のプロセッサからリクエストが発生した場合、そのリ
クエストをキャッシュブロックに記憶させ、書き込みコ
マンドに応答してそのキャッシュブロックのデータを更
新した後に、複数のリクエストのうち最新のリクエスト
から順番に処理を実行するようにしたことを特徴とする
キャッシュメモリシステムが提供される。

【００３８】

【発明の実施の形態】実施の形態１： （請求項１に対応する実施の形態）図１は本実施の形態
1において適用される共有メモリ型並列計算機における
キャッシュメモリシステムの構成を示すブロック図であ
る。図１において、プロセッサ１がキャッシュメモリ２
及びキャッシュコントローラ３を介して共有メモリバス
４に接続されている。プロセッサ１、キャッシュメモリ
２及びキャッシュコントローラ３を含むユニット５をプ
ロセッサと称する場合もある。複数のユニット５が共有
メモリバス４に接続されている。以下の説明では各ユニ
ット５がプロセッサ１、キャッシュメモリ２及びキャッ
シュコントローラ３を備えているとする。

【００３９】共有メモリバス４はシステム全体で１本で
あり、全てのキャッシュメモリ及びメインメモリに対す
るアクセスはこの共有メモリバス４を経由して行われ
る。

【００４０】プロセッサ１からキャッシュコントローラ
３に対しては「コマンド」が発行される。この「コマン
ド」は読み出し命令や書き込み命令など、プロセッサ１
からキャッシュメモリ２に対して行なわれる命令であ
る。一方、キャッシュコントローラ３からプロセッサ１
に対しては、「レスポンス」が発行される。この「レス
ポンス」にはキャッシュメモリ２から読み出されたデー
タや、キャッシュメモリ２への書き込みの確認（Acknow
ledge）が含まれる。

【００４１】キャッシュコントローラ３から共有メモリ
バス４を介して他のキャッシュコントローラ又はメモリ
コントローラ７に対しては、「リクエスト」が発行され
る。この「リクエスト」にはキャッシュメモリ２と他の
キャッシュメモリとの間の読み出し／書き込みの要求等
に加えて、キャッシュメモリ２を制御するための無効化
要求や排他的読み出し要求などが追加されている。「リ
クエスト」を受け取ったキャッシュコントローラ３ある
いはメモリコントローラ７からは、「リプライ」が返さ
れる。これは、読み出し要求に応答して読み出されたデ
ータ等である。

【００４２】図２は本発明の実施の形態１によるキャッ
シュメモリ内部の構造を示す図である。図２において、
キャッシュメモリ２は複数バイトをまとめたキャッシュ
ブロック２１、２２、２３、……２ｎの各単位毎にデー
タが読み書きされる。このキャッシュブロックごとに、
データ、アドレス及び状態の保持部と、リクエスト情報
保持部を有している。リクエスト情報保持部には、有効
か無効かを表わすビットとともに、どのキャッシュメモ
リからどういうリクエストが来たかを表わす情報が記さ
れている。なお、本実施例では説明を簡単にするため、
フルアソシアティブキャッシュを例に用いている。

【００４３】キャッシュメモリ２の状態としては、周知
の状態ＭＥＳＩ（Ｍ: Ｍodified, E: Exclusive, S: Sh
ared, I: Invalid）に、本発明の実施の形態１によりＲ
（Ｒ: Reserved ）状態が追加されている。Ｍ、Ｅ、
Ｓ、Ｉの間の状態遷移および各状態におけるキャッシュ
メモリとその周辺の反応は、Intel 社のPentium Pro
（登録商標） のキャッシュメモリと同じとする。すな
わち、無効化をベースとしたスヌープキャッシュ・プロ
トコルを用いる（プロトコルの詳細については、説明が
煩雑になるのでここでは省略する）。

【００４４】本実施の形態１で、従来のキャッシュメモ
リシステムと異なっているのは、プロセッサ１からキャ
ッシュコントローラ３に送出されるコマンドに「将来の
書き込みのための読み出し」コマンドが追加されている
ことである。このコマンドをＲｓｖコマンドと呼ぶこと
にする（なお、通常の読み出しコマンドをRead、書き込
みコマンドをWrite と表記する）。

【００４５】図３は本実施の形態１によるプロセッサ１
からＲｓｖ コマンドが発行された場合のキャッシュコ
ントローラ３の動作を説明するフローチャートである。

【００４６】図３において、ステップＳ３１でキャッシ
ュコントローラ３はプロセッサ１からＲｓｖコマンドを
受け取ると、ステップＳ３２にて、キャッシュメモリ２
の内部のアドレス部を検索し、「将来の書き込みのため
の読み出し」コマンドに対応するデータがキャッシュ内
部にある否かを調べる。

【００４７】ステップＳ３２で該当データがキャッシュ
メモリ２内に見つかったと判定した場合は、ステップＳ
３３でそのデータの状態は無効状態Ｉかそれ以外の状態
Ｍ/Ｅ/Ｓ/Ｒかを判定する。

【００４８】ステップＳ３２で該当データが見つからな
かった場合、又はステップＳ３３で状態がＩ（無効）の
場合は、ステップＳ３４にて共有メモリバス４に対して
排他的読み出しリクエストを発行する。この排他的読み
出しリクエストは、通常の排他的読み出しリクエストと
同様に処理される。

【００４９】次いでステップＳ３５にて上記排他的読み
出しリクエストに応答して返ってきたリプライデータは
キャッシュメモリ２に格納され、そのデータの発行元の
キャッシュメモリのアドレスがセットされ、タグ（状
態）はＲ状態とされる。

【００５０】ステップＳ３３で、キャッシュメモリ２内
の該当データの状態がＭ/Ｅ/Ｓ/Ｒの何れかの場合は、
ステップＳ３６に進み、キャッシュメモリ２内の該当デ
ータの状態がＳかどうかが判定される。

【００５１】状態がＳの場合は、ステップＳ３７にてキ
ャッシュコントローラ３は共有メモリバス４に対して無
効化リクエストを発行する。この無効化リクエストに応
答してキャッシュメモリ２の無効化が完了すると、無効
化したキャッシュメモリの内部のデータがレスポンスと
してプロセッサ１に返され、キャッシュメモリ２の状態
がＲに変更される。

【００５２】ステップＳ３６の判定で、該当データの状
態がＭ／Ｅ／Ｒのいずれかの場合は、そのままキャッシ
ュメモリ２の内部のデータがレスポンスとしてプロセッ
サ１に返され、状態がＭ／Ｅの場合はその状態がＲに変
更される。メモリバスに対しては何も行なわない。

【００５３】このようにして作られたＲ状態のデータに
対して、外部からリクエストが来ると、そのリクエスト
はキャッシュ内部のリクエスト情報保持部に一担記録さ
れる（この時、リクエスト情報保持部の有効／無効ビッ
トが有効にセットされる）。なお、本実施の形態１で
は、既にリクエスト情報保持部に有効なリクエストが登
録されていると、同じデータ（アドレス）に対するリク
エストがやってきてもリトライさせる。

【００５４】図４は図３で説明したようにして作られた
Ｒ状態のキャッシュメモリのデータに対して、外部から
コマンドが発行された場合のキャッシュコントローラ３
の動作を説明するフローチャートである。

【００５５】図４において、キャッシュメモリ２内の１
つのキャッシュブロック、例えばキャッシュブロック２
１は共有メモリバス４からリクエストを受け取る。ステ
ップＳ４２にてキャッシュブロック２１の状態がＲ状態
かどうかを判定する。Ｒ状態であればステップ４３に進
み、リクエスト情報保持部にそのリクエストを登録す
る。Ｒ状態でなければそのリクエストは登録することな
く、従来と同様にステップＳ４９にてそのリクエストに
応じた処理をする。次いでステップＳ４４で外部からキ
ャッシュメモリ２内のＲ状態のデータに対してコマンド
が発行されると、ステップＳ４５にてそのコマンドはRe
ad又はＲｓｖか否かを判定する。

【００５６】この判定の結果、コマンドがRead又はＲｓ
ｖコマンド（将来の書き込みのための読み出しコマン
ド）であれば、ステップＳ４６にてキャッシュメモリ２
に格納されているデータはそのままプロセッサ１に返さ
れ、状態Ｒは変更されない。

【００５７】ステップＳ４５の判定結果がWrite コマン
ドの場合は、ステップＳ４７に進んでキャッシュメモリ
２内部のデータが更新され、状態はＭ状態に変更され
る。

【００５８】次いでステップＳ４８にて、リクエスト情
報部にリクエストが存在すれば、ステップＳ４６にて、
Ｍ状態のキャッシュメモリに対してリクエスト情報に書
かれているリクエストが来たと判断してそのリクエスト
に応じた処理をする。リクエスト情報保持部にリクエス
トがなければ何もしないで処理を終了する。

【００５９】図３及び図４により説明した本発明の実施
の形態１をまとめると次のようになる。

【００６０】説明のため、キャッシュプロトコルをＭＥ
ＳＩ（Ｍodified, Exclusive, Shared, Invalid）の４
状態を用い、一貫性管理に無効化を用いるプロトコルを
ベースとする。また、共有メモリバス４を共有した共有
メモリバス型の並列計算機であると仮定する。

【００６１】このシステムでは、各キャッシュメモリが
メモリバス４をスヌープしている。そして自分のキャッ
シュメモリに保持しているデータに対するアクセスが発
生すると、キャッシュメモリの状態に応じてさまざまな
処理を行なう。このバススヌープのための信号線とし
て、共有メモリバス４にHIT, HITＭ 信号線を追加す
る。あるキャッシュメモリがメモリアクセスを発生した
場合、他のキャッシュメモリがクリーンなデータ（メモ
リと内容が一致しているデータ）を持っている場合には
HIT 線をアサート（assert）する。他のキャッシュメモ
リがダーティなデータ（プロセッサが書き込みを行なっ
て、メモリと内容が食い違っているデータ）を持ってい
る場合はHITＭ線をアサートする。このHIT 線、HITＭ線
の状態によって、どのキャッシュメモリがリプライを返
すかや、メモリアクセスを発行したキャッシュメモリが
格納するデータの状態などを決定する。

【００６２】具体的な処理に関しては、Intel 社のPent
ium Pro Bus （登録商標）のプロトコルを参照のこと。

【００６３】従来のシステムでは、プロセッサからキャ
ッシュに対しては読み出しと書き込みの２種類しかコマ
ンドがなかった。

【００６４】本実施の形態１では、これに加えて、プロ
セッサから「将来の書き込みのための読み出し」コマン
ドを設ける。さらに、キャッシュメモリには、将来書き
込まれる予定であることを示すビットを新たに設け、状
態をＭＥＳＩからＲＭＥＳＩの５状態に拡張する。Ｒ状
態は、この「将来書き込まれる予定」を表わすReserved
状態である。プロセッサでは、プログラムの実行を自動
的に解析、あるいはプログラムが明示的に指定すること
によって、このコマンドを発行することができる。

【００６５】この場合のキャッシュメモリの処理は以下
のようになる。

【００６６】プロセッサ１から通常の読み出し／書き込
みが発生した場合は、従来の処理と同様の処理を行な
う。

【００６７】プロセッサ１から「将来の書き込みのため
の読み出し」コマンドＲｓｖが発行されると、キャッシ
ュメモリ２は従来の書き込みコマンドが来た場合と同様
に、共有メモリバス４に対して排他的読み出しコマンド
（Read & Invalidate ）を発行する。そして返ってきた
結果をキャッシュメモリ２に格納する。この時、従来の
方式ではキャッシュメモリ２の状態をＥ状態に設定す
る。しかし本実施の形態１では、プロセッサ１からコマ
ンドＲｓｖが発行された場合はキャッシュメモリ２の状
態をＲ状態に設定する。

【００６８】Ｒ状態のデータに対して、プロセッサ１か
ら書き込みコマンドが発行されると、Ｍ状態に変化す
る。以降の処理は従来のシステムと同様である。なお、
Ｒ状態は将来的に必ずＭ状態に遷移しなくてはならな
い。言い換えると、プロセッサは将来確実に「書き込
み」コマンドを発行する補償がなければ、「将来の書き
込みのための読み出し」コマンドＲｓｖを発行してはな
らない。

【００６９】Ｒ状態に設定されたデータに対するメモリ
アクセスが発生すると、Ｍ状態のメモリを持っている場
合と同様に、Ｒ状態のメモリを持っているキャッシュメ
モリはHITM線をアサートし、データリプライの権利を得
る。しかし、Ｍ状態の場合とは違い、データに対するリ
プライをすぐには返さない。プロセッサから書き込みコ
マンドが発行され、Ｒ状態がＭ状態に変化したときには
じめて、読み出し要求に対するリプライを返答する。こ
のリプライには、書き込まれた最新のデータを返す。

【００７０】この方法にはいくつかオプションが考えら
れる。

【００７１】たとえば、Ｒ状態のメモリに対してプロセ
ッサから書き込みコマンドが発生しても、すぐにはリプ
ライを返さず、プロセッサからのアクセスアドレスが変
化した時にはじめてリプライを返す方法が考えられる。
これはPentium Pro （登録商標）プロトコルのWrite Co
mbine と同様の手法で、プロセッサから同じデータブロ
ックに対して連続して書き込みが行なわれるのを吸収す
る手法である。

【００７２】また、Ｒ状態のデータに対して書き込みが
行なわれ、リプライを返すとき、Ｒ状態のデータを持っ
ていたキャッシュメモリが自分のデータを無効化する手
法も考えられる。これはオーナーの移動であり、無効化
プロトコルを用いたキャッシュシステムで、複数のプロ
セッサが同じデータに対して書き込みを行なう場合に有
効な手法である。 実施の形態２： （請求項２に対応する実施の形態）図１に示した実施の
形態１と同様のシステムを考える。ただし、本実施の形
態においてはキャッシュメモリ２の内部にカウンタを追
加する。

【００７３】図５は、本実施の形態２によりカウンタが
追加されたキャッシュメモリの内部構造を示す図であ
る。

【００７４】実施の形態１ではキャッシュメモリの状態
としてＭＥＳＩに加えてＲという「状態」を用いてい
た。しかし本実施の形態２では、Ｒは状態ではなくて単
独のビットとして用いる。すなわち、Ｒ＋［ＭＥＳＩ］
である。［ＭＥＳＩ］は、Ｒビットがセットされる前の
状態を保持するためである。［ＭＥＳＩ］とは状態が
Ｍ、Ｅ、Ｓ、Ｉのいずれかであるという意味である。

【００７５】また、実施の形態１の場合は、プロセッサ
からＲｓｖ コマンドが発行されると、そのデータに対
しては必ず次にWrite コマンドが発行されなければなら
なかった。これに対して、本実施の形態２ではその制約
はない。その代わり、タイマを用いた時間制御を行な
う。

【００７６】本実施の形態においても、プロセッサから
Ｒｓｖ コマンドが発行された場合のキャッシュコント
ローラの動作は実施の形態１とほぼ同様である。

【００７７】図６は本実施の形態２によるプロセッサ１
からＲｓｖ コマンドが発行された場合のキャッシュコ
ントローラ３の動作を説明するフローチャートである。

【００７８】図６において、図３と異なるところは、ス
テップＳ６３においてＲ状態かどうかを判定しないこ
と、ステップＳ６６における判定では状態Ｓと状態Ｍ又
はＥとに分けられ、したがって状態Ｒは判定しないこ
と、ステップＳ６５及びステップＳ６８にて状態をＲに
セットする代わりにＲビットをセットすることである。

【００７９】図６において、ステップＳ６１でキャッシ
ュコントローラ３はプロセッサ１からＲｓｖコマンドを
受け取ると、ステップＳ６２にて、キャッシュメモリ２
の内部のアドレス部を検索し、「将来の書き込みのため
の読み出し」コマンドに対応するデータがキャッシュ内
部にある否かを調べる。

【００８０】ステップＳ６２で該当データがキャッシュ
メモリ２内に見つかったと判定した場合は、ステップＳ
６３でそのデータの状態は無効状態Ｉかそれ以外の状態
Ｍ/Ｅ/Ｓかを判定する。Ｒビットの状態はこの判定には
無関係である。

【００８１】ステップＳ６２で該当データが見つからな
かった場合、又はステップＳ６３で状態がＩ（無効）の
場合は、ステップＳ６４にて共有メモリバス４に対して
排他的読み出しリクエストを発行する。この排他的読み
出しリクエストは、通常の排他的読み出しリクエストと
同様に処理される。

【００８２】次いでステップＳ６５にて上記排他的読み
出しリクエストに応答して返ってきたリプライデータは
キャッシュメモリ２に格納され、そのデータの発行元の
キャッシュメモリのアドレスがセットされるとともに、
Ｒビットをセットする。

【００８３】ステップＳ６３で、キャッシュメモリ２内
の該当データの状態がＭ/Ｅ/Ｓの何れかの場合は、ステ
ップＳ６６に進み、キャッシュメモリ２内の該当データ
の状態がＳかどうかが判定される。

【００８４】状態がＳの場合は、ステップＳ６７にてキ
ャッシュコントローラ３は共有メモリバス４に対して無
効化リクエストを発行する。この無効化リクエストに応
答してキャッシュメモリ２の無効化が完了すると、無効
化したキャッシュメモリの内部のデータがレスポンスと
してプロセッサ１に返され、キャッシュメモリ２の状態
がＲに変更される。

【００８５】ステップＳ６６の判定で、該当データの状
態がＭ／Ｅのいずれかの場合は、ステップＳ６８にてそ
のままキャッシュメモリ２の内部のデータがレスポンス
としてプロセッサ１に返され、Ｒビットがセットされ
る。

【００８６】このようにして作られたＲビットがセット
された状態に対して、外部からリクエストが来ると、図
４に示したフローチャートと同様の動作によりキャッシ
ュコントローラ３が動作する。すなわち、図４のステッ
プＳ４１における「Ｒ状態」を、本実施の形態２におい
ては「Ｒビットがセットされた状態」と置き換えればよ
い。

【００８７】ただし、本実施の形態においては、外部か
らリクエストが来ると、そのリクエストはキャッシュメ
モリ２の内部のリクエスト保持部に記録され、それと同
時に、キャッシュメモリ内部に設けられたカウンタがカ
ウントを開始する。

【００８８】図７は本実施の形態２におけるカウンタに
よる動作を説明するフローチャートである。図７におい
て、ステップＳ７１にてカウンタは外部からのリクエス
トを契機として所定時間をカウントしてタイムアウトす
ると、ステップＳ７２にてＲビットをクリアし、ステッ
プＳ７３にてリクエスト情報保持部に他のリクエストが
あるかを判定し、あればステップＳ７４にてＲビットを
クリアした状態のキャッシュメモリにリクエストが来た
と判断してそのリクエストに応じた処理をしてカウンタ
動作を終了する。ステップＳ７３の判定でリクエスト情
報保持部にリクエストがなければカウンタ動作を終了す
る。

【００８９】上記の実施の形態２をまとめると以下のよ
うになる。

【００９０】実施の形態１では、プロセッサは将来確実
に「書き込み」コマンドを発行する補償がなければ、
「将来の書き込みのための読み出し」コマンドＲｓｖを
発行してはならないという制約が課せられていた。

【００９１】しかし一般的には、将来確実に書き込みを
行なうことを保証することは困難である。このため、将
来的に書き込みを行なうことが確実ではなくても、書き
込みを行なう可能性が高い場合に「将来の書き込みのた
めの読み出し」コマンドが発行できるようにプロトコル
を変更することを考える。

【００９２】まず、図５に示したように、キャッシュメ
モリに一定時間の経過を測定するタイマを用意する。さ
らに、Ｒビットがセットされているデータに対して他の
キャッシュメモリから読み出し要求が発生すると、この
タイマを起動するようにする。

【００９３】一定時間が経過する前に、プロセッサから
書き込みコマンドが発行され、キャッシュメモリの状態
がＲビットのセット状態からＭ状態へ遷移した場合に
も、上記と同様にタイマを起動する。

【００９４】一定時間経過後、プロセッサから書き込み
コマンドがない場合には、書き込みがなされないものと
見なして、キャッシュメモリの状態をＥ状態とし、従来
のプロトコルと同様の処理を行なう。この場合の処理と
しては、 １．キャッシュメモリの状態をＳ状態にしてリプライを
行なう。

【００９５】２．キャッシュメモリの状態をＩ（無効
化）にして、リプライを行なう。

【００９６】３．コマンドをリトライさせ、キャッシュ
メモリからリプライするようにする。という方法が考え
られる。 （請求項３に対応する実施の形態）上記手法は、Ｒビッ
トがセットされたデータを持っているキャッシュメモリ
がタイムアウトを設定しているが、逆にリクエストを発
行した読み出し側のプロセッサがタイムアウトを設定す
ることも可能である。

【００９７】まずシステムにグローバルタイムが存在す
ると仮定する。これは、全てのキャッシュメモリが参照
できて、どのキャッシュメモリから参照しても同じ時刻
を差すものである。これを用いると、キャッシュメモリ
Ａから見て時刻ｔの瞬間は、キャッシュＢから見ても時
刻ｔとなる。

【００９８】次に、キャッシュメモリからのメモリ読み
出しコマンドを拡張して、指定時刻（デッドライン）を
搭載できるようにする。このデッドラインは、読み出し
側がデータを欲しいタイミングを示す。すなわち、たと
えば10クロック後にこのデータを参照することが分かっ
ていれば、デッドラインを現在時刻＋10として読み出し
コマンドを発行する。従来の読み出しコマンドは、これ
が全て現在時刻＋０で発行されるのに相当する。

【００９９】キャッシュメモリからメモリアクセスを発
行する場合、必ずこのデッドラインを付加することにす
る。デッドラインが不明な場合は、デッドラインは現在
時刻とする（この場合は従来のメモリアクセスと同じで
ある）。

【０１００】Ｒビットがセットされたデータを保持して
いるキャッシュメモリが、他のキャッシュメモリからデ
ッドラインつきの読み出しリクエストを受け取ると、現
在時刻を参照して、以下の動作を行なう。

【０１０１】・プロセッサから書き込みが行なわれれ
ば、キャッシュメモリの状態をＭ状態にして通常のメモ
リアクセス動作を行なう。

【０１０２】・デッドラインに達してもプロセッサから
書き込みがなければ、キャッシュメモリの状態をＥ状態
にして通常のメモリアクセスを行なう。

【０１０３】これは上記手法で、Ｒビットがセットされ
たデータを持っている側が起動していたタイマを、デー
タ要求側が起動することに相当する。したがって、リプ
ライ時のオプションも、上記手法と同様に考えられる。 実施の形態３： （請求項４及び５に対応する実施の形態）本実施の形態
３においても、図１に示した実施の形態１と同様のシス
テムを考える。ただし、本実施の形態３においては、実
施の形態１とは違い、キャッシュ内部のリクエスト情報
保持部の代わりに、リクエスト・キュー兼プロセッサビ
ットマップを用意する。

【０１０４】図８は本実施の形態３によるキャッシュメ
モリの内部構造を示す図である。

【０１０５】図８に示すように、各キャッシュメモリブ
ロック内のリクエスト・キュー兼プロセッサビットマッ
プは、個々のエントリが図２に示した実施の形態１のリ
クエスト情報保持部と同様の情報を保持できるようにな
っている。それと同時に、単一のリクエストではなく、
プロセッサビットマップとしても用いることができる構
造になっている。

【０１０６】すなわち、各Ｑ／Ｂビットの後のエントリ
に単一のリクエストを保持する場合は、Ｑ／Ｂビットを
例えば“０”にし、そのＱ／Ｂビットの後のエントリ領
域をどのキャッシュからのリクエストか、及びリクエス
トの種類等を保持するために使う。このモードをＢモー
ド(Broadcast)と称する。

【０１０７】また、各Ｑ／Ｂビットの後のエントリに複
数のリクエストを保持する場合は、Ｑ／Ｂビットを例え
ば“１”にし、複数のビットを複数のプロセッサにそれ
ぞれ対応させ、リクエストを発行したプロセッサを表わ
すビットを“１”とするビットマップとする。このモー
ドをＱモード（待ち行列）と称する。

【０１０８】共有メモリバス４を流れるリクエスト又は
リプライにも変更を施す。リクエストには、「Ｒｓｖ
コマンドに対応する読み出しリクエスト」を追加する。
リプライには、キャッシュ内部のリクエスト・キュー兼
プロセッサビットマップを付加できるようにする。

【０１０９】図９は本実施の形態３において、プロセッ
サからＲｓｖ コマンドが発行された場合のキャッシュ
コントローラの動作を説明するフローチャートである。
このフローチャートで図３に示した実施の形態１と異な
るところは、ステップＳ９３にてＲｓｖコマンドに対応
する読み出しリクエストを発行する点である。ステップ
Ｓ９３において、他のキャッシュメモリにＲ状態のデー
タがなければ図３のステップＳ３４と同じく排他的読み
出しリクエストを発行する。

【０１１０】その他の動作は図３で説明したものと同じ
なのでここでは説明を省略する。

【０１１１】図１０は本実施の形態３において、Ｒ状態
のデータに対して、外部からリクエストが到着した場合
のキャッシュコントローラの動作を説明するフローチャ
ートである。

【０１１２】図１０において、ステップＳ１０１にて、
着目しているプロセッサに対応するキャッシュメモリ内
のＲ状態のデータに対して書き込み又は読み出しのリク
エストが外部から到着すると、ステップＳ１０２にてそ
のリクエストは書き込みリクエストか読み出しリクエス
トかが判定される。

【０１１３】到着したリクエストが書き込みリクエス
ト、すなわち、次に書き込むための読み出しリクエスト
である「Ｒｓｖ コマンドに対応する読み出しリクエス
ト」であった場合は、ステップＳ１０３にて、リクエス
ト・キュー兼プロセッサビットマップ内のリクエスト・
キューが空かどうかを判定する。空であれば、ステップ
Ｓ１０４にてリクエスト・キューの先頭に今回のリクエ
ストをＱモードで登録して処理を終了する。

【０１１４】リクエスト・キューが空でなければステッ
プＳ１０５にてリクエスト・キュー兼プロセッサビット
マップ内にＢモードのエントリが存在するかどうかを判
定する。

【０１１５】Ｂモードのエントリが存在していれば、そ
れ以降のリクエスト・キューは無効になるので、登録さ
れず、そのコマンドを発行したプロセッサはステップＳ
１０６にてリトライをする。

【０１１６】ステップＳ１０５にて、キャッシュメモリ
内のリクエスト・キュー兼プロセッサビットマップのＱ
／ＢビットがＢモードであるエントリが登録されていな
ければ、ステップＳ１０７にてこのリクエストはリクエ
スト・キュー兼プロセッサビットマップのリクエストキ
ューの最後にＱモードで追加登録される。この場合は、
リクエスト情報として保持される。すなわち、Ｑ／Ｂビ
ットをＱモードにし、どのプロセッサから来たか、どう
いうリクエストかを保持する。

【０１１７】ステップＳ１０２の判定で、リクエストが
通常の読み出しリクエストであった場合、ステップＳ１
０８にてリクエスト・キュー兼プロセッサビットマップ
の最後のエントリがＢモードかどうかが判定される。

【０１１８】最後のエントリのＱ／ＢビットがＢモード
の場合は、ステップＳ１０９にて最後のエントリに到着
した今回のリクエストを生成した発行元のプロセッサに
対応するビットが“１”にされる。

【０１１９】最後のエントリのＱ／ＢビットがＢモード
ではない場合すなわちＱモードの場合は、ステップＳ１
１０にて新たにエントリが生成される。そしてこのエン
トリのＱ／ＢビットはＢモードにされ、到着したリクエ
ストを生成したプロセッサに対応するビットが“１”に
される。

【０１２０】図１１は図１０で説明したようにして作ら
れたＲ状態のデータに対して、外部からコマンドが発行
された場合のキャッシュコントローラ３の動作を説明す
るフローチャートである。この動作のステップＳ１１１
からステップＳ１１５までは実施の形態１の場合の図４
におけるステップＳ４４からステップＳ４８とほぼ同様
である。

【０１２１】図１１において、ステップＳ１１１にて外
部からキャッシュメモリ２内のＲ状態のデータに対して
コマンドが発行されると、ステップＳ１１２にてそのコ
マンドはRead又はＲｓｖか否かを判定する。

【０１２２】この判定の結果、コマンドがRead又はＲｓ
ｖコマンドであれば、ステップＳ１１３にてキャッシュ
メモリ２に格納されているデータはそのままプロセッサ
１に返され、状態Ｒは変更されない。

【０１２３】ステップＳ１１２の判定結果がWrite コマ
ンドの場合は、ステップＳ１１４にてキャッシュメモリ
内部のデータが更新され、状態がＭ状態に変化する。こ
の時、リクエスト・キュー兼プロセッサビットマップ
（図８）に有効なデータがあれば、最初のエントリを取
り出す。

【０１２４】次いでステップＳ１１５にて、リクエスト
・キューの先頭にリクエストがあるかどうかを判定す
る。リクエストがなければ処理を終了し、リクエストが
あればステップＳ１１６に進んでリクエスト・キューの
先頭のエントリのＱ／ＢビットはＱモードかＢモードか
を判定する。ＢモードであればステップＳ１１７にてビ
ットが“１”になっている（すなわち、登録されてい
る）プロセッサに対して更新されたデータを読み出しに
要求に対するリプライとして一斉に送信して処理を終了
する。

【０１２５】ステップＳ１１６の判定でＱモードであれ
ばステップＳ１１８にてＭ状態のキャッシュメモリに対
して、リクエスト情報保持部に書かれているリクエスト
が来たと判断してそのリクエストに応じた処理をする。

【０１２６】次いでステップＳ１１９にてリクエスト・
キューに２番目以降のエントリがあるかを判定し、あれ
ばリクエスト・キューの２番目以降のエントリをリプラ
イに追加して送信すし、それらのリクエストに応じた処
理を順次行う。

【０１２７】上記の実施の形態３をまとめると以下のよ
うになる。 （請求項４に対応する実施の形態）Ｒ状態のデータに対
して読み出しリクエストが発生すると、そのリクエスト
に対するリプライを待たせるというのが本実施の形態３
の特徴である。リプライを待たせる分、同じデータに対
する複数のリクエストが重なる可能性が高くなることが
考えられる。特に、本実施の形態３を適用する領域とし
て、ロック用メモリなど、多くのプロセッサが共有する
データが考えられるので、複数のプロセッサが同時に同
じデータを参照することは、高い確率で存在するものと
思われる。

【０１２８】一般的に、メモリバスプロトコルで同じデ
ータに対するアクセスは、複数行なわれることはない。
それは、同時に実行しようとすると先のアクセスが後の
アクセスを無効化したり、後のアクセスを実行すること
によって一貫性が保てなくなったりするからである。

【０１２９】そのため、たとえばここで例に挙げている
Intel 社のPentium Pro Bus（登録商標）では、各キャ
ッシュメモリがそれぞれ、現在処理中のメモリアドレス
を記憶しておき、同じデータに対するアクセスははじめ
からバスに発行しないよう制御している。他の手法とし
ては、処理中のデータに対するアクセスが発行される
と、処理中のユニットがリトライ信号を出して、アクセ
スをやり直させるという方法もある。

【０１３０】しかし、リプライを待たせることによっ
て、このデータに対する後続のリクエストがいくつも処
理できずにたまってしまうことは、要求元のキャッシュ
メモリ（同じアドレスのアクセスははじめから発行しな
い場合）あるいはバス（処理中のユニットがリトライさ
せる場合）に大きな負担をかけることになる。そこで、
データを待たせるのであれば、ひとつだけでなく複数個
のリクエストを待たせる方式を考える。

【０１３１】まず、データの書き手が次々に移動してい
く場合を考える。すなわち、プロセッサＡが書き、次に
プロセッサＢが書き、次にプロセッサＣが書くという場
合である。この場合、データをＡ→Ｂ→Ｃの順に遷移し
ていけば最も効率よく処理することができる。

【０１３２】そこで、各キャッシュメモリにリクエスト
・キューを設ける。このキューはＲ状態のデータに対す
る各プロセッサからのリクエストを並べておくものであ
る。たとえば、プロセッサＡがＲ状態のデータを保持し
ているとして、プロセッサＢからの読み出しリクエスト
が到着すると、キューの先頭にプロセッサＢを入れる。
さらにプロセッサＣからのリクエストが到着すると、プ
ロセッサＢの次に入れる。

【０１３３】Ｒ状態のデータに対して書き込みが行なわ
れ、Ｍ状態に遷移したとき、プロセッサＡはキューの先
頭にあるプロセッサＢに対してリプライを行なう。この
時一緒に、プロセッサＣがキューに並んでいるという情
報も送る。すると、プロセッサＢではプロセッサＣを最
初からキューの先頭に登録する。したがって、プロセッ
サＢでＲ状態のデータを持っているところにプロセッサ
Ｃからの読み出しリクエストが発生したのと同様な状況
を実現することになる。

【０１３４】このように、キューを持ち回ることによっ
て、リクエストが出てきた順にデータが遷移することに
なる。この場合も、データが移動した場合のキャッシュ
メモリの動作についていくつかのやり方が考えられる
が、効率よくデータを移動するためには、Ｒ状態のデー
タに対する書き込みが行なわれ、リプライを待っていた
キャッシュメモリにリプライを送るときには、キャッシ
ュメモリを無効化するという方式をとるのがよい。 （請求項５に対応する実施の形態）しかし、複数のリク
エストが発生する場合は、データが移動する場合だけで
はない。他によくあるパターンとしては、ひとつのプロ
セッサが書いたデータを多くのプロセッサで参照する場
合である。

【０１３５】この場合をサポートするため、次の構造を
考える。まず各キャッシュメモリに、リクエスト・キュ
ーの代わりに、どのプロセッサ（キャッシュメモリ）か
らリクエストが来たかを記録する領域を設ける。Ｒ状態
のデータに対して読み出しリクエストが来ると、どのキ
ャッシュメモリからのリクエストかを調べ、この領域に
登録する。

【０１３６】プロセッサからの書き込みが行なわれ、デ
ータがＲ状態からＭ状態に遷移したとき、どのキャッシ
ュメモリからリクエストがあったかを調べ、リクエスト
があったキャッシュメモリ全てに新しいデータを送る。
すなわち、複数のリクエストに対するリプライを一度に
行なってしまう。

【０１３７】このリプライのやり方としては、ブロード
キャスト／マルチキャストを使ったり、ひとつひとつリ
プライを返すやり方などが考えられる。 （付記６に対応する実施の形態）並列処理では、このど
ちらのパターンも多く用いられる。したがって、どちら
か片方だけでなく、両方に対して効率よく処理できるこ
とが望ましい。

【０１３８】そこで、リクエスト・キューとどのプロセ
ッサから来たかを登録する領域の両方を持たせ、両方の
方式に対応できるシステムが考えられる。

【０１３９】この場合、キャッシュメモリから出すコマ
ンドを区別する必要がある。すなわち、プロセッサから
「将来の書き込みのための読み出し」コマンドが発行さ
れた場合、「将来の書き込みのための読み出し」リクエ
ストを発行することとする。Ｒ状態のデータを持ったキ
ャッシュメモリは、「将来の書き込みのための読み出
し」リクエストを受け取るとリクエスト・キューに登録
し、そうでない一般的な読み出しリクエストが発行され
た場合は、どのプロセッサから来たかを登録する領域に
登録する。

【０１４０】同じデータに対して両者が重なった場合
は、どちらかを無効とするやり方も考えられるが、リク
エスト・キューのエントリを工夫して共用できるように
する方法も考えられる。 （付記１） 複数のプロセッサと、該プロセッサのそれ
ぞれに対応し、共通バスに接続された複数のキャッシュ
メモリと、該キャッシュメモリのそれぞれに対応し、該
キャッシュメモリ間で同一データを有するようにする一
貫性管理を行う複数のキャッシュコントローラとを備え
る並列計算機において、前記キャッシュメモリの各々
は、複数のキャッシュブロックを備えており、前記キャ
ッシュコントローラの各々は、該キャッシュコントロー
ラに対応するキャッシュメモリ内で前記共通バスからの
リクエストに対する応答処理の直後にその応答処理によ
り供給したデータが無効になることが予め明らかなキャ
ッシュブロックに対して書き込みコマンドが発行される
と、該書き込みコマンドに応答して該キャッシュブロッ
クのデータを更新した後に、前記リクエストに対する処
理を実行するようにしたことを特徴とするキャッシュメ
モリシステム。 （付記２） 前記キャッシュコントローラの各々は、前
記リクエストを保持しているキャッシュブロックに対し
て書き込みコマンドが発行されると、前記書き込みコマ
ンドに応答して該キャッシュブロックのデータを更新す
る前であっても、前記書き込みコマンドの受信から所定
時間をカウントした後に前記リクエストに対する処理を
実行するようにしたことを特徴とする付記１記載のキャ
ッシュメモリシステム。 （付記３） 前記キャッシュコントローラの各々は、前
記リクエストを保持しているキャッシュブロックに対し
て書き込みコマンドが発行されると、前記書き込みコマ
ンドに応答して該キャッシュブロックのデータを更新す
る前であっても、前記リクエストを発行したプロセッサ
が指定した所定時刻になった後に前記リクエストに対す
る処理を実行するようにしたことを特徴とする付記１記
載のキャッシュメモリシステム。 （付記４） 前記キャッシュメモリコントローラの各々
は、前記書き込みコマンドに応答して該キャッシュブロ
ックのデータの更新が終了する前にさらに他のプロセッ
サからリクエストが発生した場合、該リクエストを前記
キャッシュブロックに記憶させ、前記書き込みコマンド
に応答して該キャッシュブロックのデータを更新した後
いん、前記複数のリクエストに対する処理を実行するよ
うにしたことを特徴とする付記１から３のいずれか一項
に記載のキャッシュメモリシステム。 （付記５） 前記キャッシュメモリコントローラの各々
は、前記書き込みコマンドに応答して該キャッシュブロ
ックのデータの更新が終了する前にさらに他のプロセッ
サからリクエストが発生した場合、該リクエストを前記
キャッシュブロックに記憶させ、前記書き込みコマンド
に応答して該キャッシュブロックのデータを更新した後
に、前記複数のリクエストのうち最新のリクエストから
順番に処理を実行するようにしたことを特徴とする付記
１から３のいずれか一項に記載のキャッシュメモリシス
テム。 （付記６） データの性質に応じて、付記４と付記５の
いずれかに記載のキャッシュメモリシステム。

【０１４１】

【発明の効果】以上の説明から明らかなように、本発明
によれば、プロセッサからの要求をその都度処理するの
ではなく、将来を予測し最適な方法を用いるようにした
ので、キャッシュメモリに対する無駄な無効化と無駄な
書き込みの繰り返しがなくなり、従来のプロトコルでは
無駄なメモリアクセスが発生していた、ロックメモリ等
の競合の場合でも、効率よくメモリアクセスを行なうこ
とができるという効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態1において適用される共有
メモリ型並列計算機におけるキャッシュメモリシステム
の構成を示すブロック図である。

【図２】本発明の実施の形態１によるキャッシュメモリ
内部の構造を示す図である。

【図３】本発明の実施の形態１によるプロセッサ１から
Ｒｓｖ コマンドが発行された場合のキャッシュコント
ローラ３の動作を説明するフローチャートである。

【図４】図３で説明したようにして作られたＲ状態のキ
ャッシュメモリのデータに対して、外部からコマンドが
発行された場合のキャッシュコントローラ３の動作を説
明するフローチャートである。

【図５】本発明の実施の形態２によりカウンタが追加さ
れたキャッシュメモリの内部構造を示す図である。

【図６】本発明の実施の形態２によるプロセッサ１から
Ｒｓｖ コマンドが発行された場合のキャッシュコント
ローラ３の動作を説明するフローチャートである。

【図７】本発明の実施の形態２におけるカウンタによる
動作を説明するフローチャートである。

【図８】本発明の実施の形態３によるキャッシュメモリ
の内部構造を示す図である。

【図９】本発明の実施の形態３において、プロセッサか
らＲｓｖ コマンドが発行された場合のキャッシュコン
トローラの動作を説明するフローチャートである。

【図１０】本発明の実施の形態３において、Ｒ状態のデ
ータに対して、外部からリクエストが到着した場合のキ
ャッシュコントローラの動作を説明するフローチャート
である。

【図１１】図１０で説明したようにして作られたＲ状態
のデータに対して、外部からコマンドが発行された場合
のキャッシュコントローラ３の動作を説明するフローチ
ャートである。

【図１２】従来の並列計算機におけるキャッシュメモリ
システムを説明するブロック図である。

【符号の説明】

１…プロセッサ ２…キャッシュメモリ ３…キャッシュコントローラ ４…共有メモリバス ２１〜２ｎ…キャッシュブロック

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/177 ６８２ Ｇ０６Ｆ 15/177 ６８２Ｊ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 複数のプロセッサと、該プロセッサのそ
   れぞれに対応し、共通バスに接続された複数のキャッシ
   ュメモリと、該キャッシュメモリのそれぞれに対応し、
   該キャッシュメモリ間で同一データを有するようにする
   一貫性管理を行う複数のキャッシュコントローラとを備
   える並列計算機において、前記キャッシュメモリの各々
   は、複数のキャッシュブロックを備えており、前記キャ
   ッシュコントローラの各々は、該キャッシュコントロー
   ラに対応するキャッシュメモリ内で前記共通バスからの
   リクエストに対する応答処理の直後にその応答処理によ
   り供給したデータが無効になることが予め明らかなキャ
   ッシュブロックに対して書き込みコマンドが発行される
   と、該書き込みコマンドに応答して該キャッシュブロッ
   クのデータを更新した後に、前記リクエストに対する処
   理を実行するようにしたことを特徴とするキャッシュメ
   モリシステム。
2. 【請求項２】 前記キャッシュコントローラの各々は、
   前記リクエストを保持しているキャッシュブロックに対
   して書き込みコマンドが発行されると、前記書き込みコ
   マンドに応答して該キャッシュブロックのデータを更新
   する前であっても、前記リクエストの受信から所定時間
   をカウントした後に前記リクエストに対する処理を実行
   するようにしたことを特徴とする請求項１記載のキャッ
   シュメモリシステム。
3. 【請求項３】 前記キャッシュコントローラの各々は、
   前記リクエストを保持しているキャッシュブロックに対
   して書き込みコマンドが発行されると、前記書き込みコ
   マンドに応答して該キャッシュブロックのデータを更新
   する前であっても、前記リクエストを発行したプロセッ
   サが指定した所定時刻までに前記リクエストに対する処
   理を実行するようにしたことを特徴とする請求項１記載
   のキャッシュメモリシステム。
4. 【請求項４】 前記キャッシュメモリコントローラの各
   々は、前記書き込みコマンドに応答して該キャッシュブ
   ロックのデータの更新が終了する前にさらに他のプロセ
   ッサからリクエストが発生した場合、該リクエストを前
   記キャッシュブロックに記憶させ、前記書き込みコマン
   ドに応答して該キャッシュブロックのデータを更新した
   後に、前記複数のリクエストに対する処理を実行するよ
   うにしたことを特徴とする請求項１から３のいずれか一
   項に記載のキャッシュメモリシステム。
5. 【請求項５】 前記キャッシュメモリコントローラの各
   々は、前記書き込みコマンドに応答して該キャッシュブ
   ロックのデータの更新が終了する前にさらに他のプロセ
   ッサからリクエストが発生した場合、該リクエストを前
   記キャッシュブロックに記憶させ、前記書き込みコマン
   ドに応答して該キャッシュブロックのデータを更新した
   後に、前記複数のリクエストのうち最新のリクエストか
   ら順番にリクエストに対する処理を実行するようにした
   ことを特徴とする請求項１から３のいずれか一項に記載
   のキャッシュメモリシステム。