JP2000267935A - キヤッシュメモリ装置 - Google Patents

Abstract

(57)【要約】 【課題】プロセッサとキャッシュの組が複数接続され、
各プロセッサから共通にアクセス可能な共有メモリを有
する計算機システムにおいて、各キャッシュにおける空
間的局所性の有効利用とfalse sharing 回避の両者を同
時に満たすようにする。 【解決手段】キャッシュメモリのブロックをより小さな
サブブロックに分割し、各サブブロック毎に状態情報を
持たせ、複数キャッシュ間で共有しているデータに関す
る書き込み操作が発生したとき、サブブロックの状態情
報にもとづいて、書き込みの発生したブロックのみ無効
化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、プロセッサとキャ
ッシュの組が複数接続され、各プロセッサから共通にア
クセス可能な共有メモリを有する共有メモリ型並列計算
機システムにおけるキャッシュメモリ装置に関するもの
である。

【０００２】

【従来の技術】現在の計算機は、図１８に示すように、
演算を行なう演算装置（プロセッサ）と、データの記憶
を行なう主記憶（メモリ）と入出力装置から構成され
る。計算の主な部分は、主記憶からデータを取り出し、
演算装置で演算し、その結果をまた主記憶に書き戻すと
いう動作を繰り返すことによって行なわれる。そのた
め、計算の高速化のためには、演算装置と主記憶との間
を高速化する必要がある。

【０００３】キャッシュは、プロセッサからみたメモリ
レイテンシを短縮するための手段の一つである。図１９
に示すように、キャッシュメモリと呼ばれる高速なメモ
リをプロセッサとメモリの間におき、アクセスしやすい
データのコピーをキャッシュに保持しておく。プロセッ
サが要求するデータがキャッシュ内にあれば、メモリに
直接アクセスするよりも高速なアクセスが実現できる。

【０００４】一般にキャッシュには、一度アクセスされ
たブロックを保持することが多い。ブロックとは、デー
タをある程度のまとまりに固めたものである。これは、
プログラムの時間的・空間的局所性という性質、すなわ
ち、一度アクセスされたデータは再びアクセスされやす
く、その近傍も近い将来アクセスされるであろうことが
期待される性質を利用したものである。

【０００５】キャッシュを設計する際に、このブロック
をどのくらいの大きさにするかを決定するのは重要な問
題である。ブロックが小さ過ぎると、先にあげた空間的
局所性を有効に利用できず、キャッシュヒット率が小さ
くなってしまう。一方で大きくし過ぎると、利用されな
い無駄なデータがキャッシュメモリを占有してしまった
り、データの転送に時間がかかるという問題が発生す
る。

【０００６】この、ブロックサイズを大きくしたいがデ
ータ転送量が増えてしまうという問題を解決するために
考えられたのがSector Cacheと呼ばれる方式である。Se
ctorCacheとは、ブロックを小さなsub sectorに分割
し、データの書き戻しの際には、このsub sector単位で
書き戻すという方式である。図２０にsub sector方式の
例を示す。この方式を用いると、書き戻しの際のデータ
転送量を削減することが可能になる。

【０００７】現在では、デバイスの性能が上がり、より
多くの高速なキャッシュメモリを利用することができ、
高速なプロセッサ（キャッシュメモリ）−メモリ間転送
が可能なため、ブロックサイズは大きくし、より空間的
局所性を利用する方向へと進んでいる。

【０００８】単一プロセッサシステムの場合は、コスト
や転送速度のみを考慮するだけでよかったが、複数のプ
ロセッサが接続する並列システムで大きなブロックサイ
ズのキャッシュを用いると、false sharing という問題
が発生する。

【０００９】いま、write invalidateのプロトコルを持
つ、図２１に示す並列システムを考える。あるプロセッ
サＡがアドレスadr0に書き込みを行なったとする。プロ
セッサＡはadr0を含むブロックをinvalidateし、他のキ
ャッシュが保持しているコピーを無効化する。一方、違
うプロセッサＢは同じブロックに属するアドレスadr1に
書き込みを行なおうとする。すると、プロセッサＢもＡ
と同様にadr1を含むブロック（＝adr0を含むブロック）
を無効化しようとする。これが繰り返し行なわれると、
ブロックに対するinvalidateやwriteback が頻発し、メ
モリ性能が低下する。

【００１０】ここでの問題は、プロセッサＡ、Ｂは違う
アドレス（adr0、adr1）に書き込みを行なっているの
に、ブロックとしては同一ブロックに属してしまうた
め、見かけ上同じアドレスに対してお互いに書き込むの
と同じ動作になってしまうことである。この、実際には
共有する必要がないのに、ブロックとしてまとめられた
ため、見かけ上共有したような振る舞いになってしまう
ことをfalse sharing と呼ぶ。同じアドレスに書き込む
場合はプログラムの仕様上性能が低下するのもやむを得
ないが、違うアドレスに対して同じことが発生するのは
問題である。

【００１１】ブロックサイズが大きくなってくると、こ
のfalse sharing の可能性が高くなり、システムの性能
低下の原因となる可能性がある。したがって、従来の並
列計算機システムではブロックサイズをあまり大きくす
ることができなかった。

【００１２】そのため、プリフェッチなどの技術を用い
て空間的局所性を利用する方法も考えられた。これは、
キャッシュのブロックサイズをfalse sharing が起こら
ない程度に小さくしたまま、一度の読み出しアクセスで
複数の連続したブロックを読み出すという方法である。
この方法を用いると、false sharing は回避でき、空間
的局所性も効率よく利用することができる。

【００１３】しかし、現在のシステムではプロセッサに
付随するキャッシュのサイズは大きくなる一方であり、
これからもその傾向は続いていくものと考えられてい
る。この状態でブロックサイズを小さいままキャッシュ
を管理しようとすると、キャッシュ内に存在するブロッ
クの数が多くなる。すると、各キャッシュデータに付随
するキャッシュタグ（このキャッシュデータがどのアド
レスのメモリのコピーを保持しているか、キャッシュデ
ータの現在の状態などを示すデータ）の量が増加すると
いうことになる。キャッシュシステムに使える資源量に
は上限があるので、キャッシュタグの量が多過ぎると、
その分、データ領域を圧迫することになる。またそれと
同時に、タグを少なくするための工夫を導入せざるをえ
なくなり、キャッシュが複雑になったり、アクセスのた
びに大量のタグを検索する必要があるため、キャッシュ
の速度低下の原因となったりする。そのため、今後の大
容量キャッシュではブロックサイズの大きさをある程度
以上は大きくせざるを得ない。

【００１４】

【発明が解決しようとする課題】従来の技術では、並列
計算機において空間的局所性の有効利用と、false shar
ing の回避を共存させることができなかった。

【００１５】本発明は、並列計算機において、空間的局
所性の有効利用とfalse sharing 回避の両者を同時に満
たすようなキャッシュシステムを構築することを目的と
している。

【００１６】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、図１に示すようなキャッシュブロック構
成を採用する。

【００１７】まず、空間的局所性が十分利用できるよう
に、また将来の大容量キャッシュに対応できるよう
に、、データの転送速度やキャッシュサイズなどを考慮
して、キャッシュのブロック１のサイズを大きくとる。
このままではfalse sharing が発生しやすくなるので、
ブロック１をさらに小さなサブブロック２に分割し、実
際の書き込み操作などはこのサブブロック単位で行なう
ようにする。さらに、このサブブロック２の状態を管理
するためのサブブロックタグ３を付加する。ブロック１
の状態を管理するためのブロックタグ４も付加される。

【００１８】このサブブロック２は、書き込み、無効化
の基本単位となる。読み出しは従来どおり、ブロック１
の単位で行なうが、すでにブロック１がキャッシュ内に
あるが、必要なサブブロック２のみが欠けている場合
は、サブブロック単位での読み出しも可能とする。

【００１９】また、本発明の実現方式の一例として、図
２に示す共有メモリ型並列計算機を考える。共有バス１
０にプロセッサ・キャッシュ１１が接続し、さらに全プ
ロセッサ１２がアクセスすることのできる共有メモリ１
３も接続されている。通常は、この共有バス１０に、各
キャッシュ１１の状態を通知する状態通知線１４がある
が、本方式ではこれに加えて、当該ブロック内の各サブ
ブロックの状態を通知する信号線を追加する。

【００２０】図３に状態通知線１４の構造を示す。これ
は例えば、ひとつのブロックの中に４つのサブブロック
があるとすれば、４本のサブブロックの状態通知線１５
を追加するということである。これによって、従来から
存在するブロック状態通知線１６により通知されるブロ
ックの状態とともに、その中のすべてのサブブロックの
状態も同時に全プロセッサ１２に通知することができる
ようになる。

【００２１】本発明の作用は以下の通りである。基本的
作用として、キャッシュブロック１を複数のサブブロッ
ク２に分割し、各サブブロック２に状態を持たせること
により、書き込み、読み出し、無効化などの操作がサブ
ブロック単位で行なえるようになる。

【００２２】次に各請求項に対応する作用を詳細に説明
する。 (1) 請求項１に対応する作用：図４に示すように、複数
のプロセッサＡ，Ｂ，．．．において、あるデータブロ
ックが共有されている状態を考える。すなわち、プロセ
ッサＡ，Ｂ，．．．に付随するキャッシュには、同じア
ドレスadr に対応するデータのコピーが保持されてい
る。このとき、すべてのブロックおよびブロック内のサ
ブブロックは最新の状態（データが共有メモリの内容と
一致した状態）であるとする。

【００２３】このような状況で、プロセッサＡがadr に
書き込みを発生したとする。従来のwrite invalidate型
のキャッシュでは、まずプロセッサＢ，．．．などの他
のプロセッサに付随するキャッシュが保持しているデー
タのコピーを無効化し、その後にデータを書き換え、ブ
ロックの状態をＭ(modified)とする。しかしこの方法で
は、ブロック全体に対しての処理になるので、他のキャ
ッシュのブロック全体を無効化してしまい、false shar
ing が発生したときには無駄に多くの一貫性管理処理が
発生することになる。

【００２４】そこで本発明では、書き込み対象となるサ
ブブロックのみを無効化し、ブロックの状態は共有状態
のままとする。すなわち、 ・プロセッサＡに付随するキャッシュ −ブロック全体の状態： 共有状態 → 共有状態 −書き込み対象のサブブロックの状態： 有効 → 変
更 ・プロセッサＢ，．．．に付随するキャッシュ −ブロック全体の状態： 共有状態 → 共有状態 −プロセッサＡが書き込み対象としたサブブロックの状
態：有効 → 無効 という状態変化を起こす。これによって、false sharin
g が発生しても、必要な部分のみを無効化し、false sh
aring に伴う無駄な一貫性管理処理を削減することが可
能となる。図５に必要な部分のみ無効化する態様を示
す。

【００２５】また、プロセッサＢなどで、プロセッサＡ
の書き込みによって無効化されたサブブロックに該当す
る部分に対して読み出しが発生すると、従来の手法で
は、再びブロック全体をメモリ（あるいは最新データを
持っているキャッシュ）から読み出し、ブロック全体を
最新の状態にする必要があった。そこで本発明では、ブ
ロック単位だけでなくサブブロック単位での読み出しも
可能とする。この手法によって、無駄なデータ読み出し
を防ぐことが可能になる。

【００２６】さらに、プロセッサＡにおいて上記のよう
な部分書き込みを行なうと、ひとつのブロックの中に更
新されたサブブロックと更新されていないサブブロック
が存在する。このブロックがキャッシュの追い出し等で
ライトバックすることになると、従来の手法ではブロッ
ク全体をメモリに書き込む必要があった。そこで本発明
では、更新されたブロックのみ転送し、ヘッダとしてど
のサブブロックが有効であるかを示すフラグを付加す
る。

【００２７】図６にサブブロック単位での有効／無効フ
ラグを用いたデータ転送パケットのヘッダ例を示す。ヘ
ッダには、コマンド２０、送信者ＩＤ２１、サブブロッ
クフラグ２２、アドレス２３が含まれ、サブブロックフ
ラグ２２には個々のサブブロック毎の有効／無効フラグ
２４が含まれている。これによって、無駄なデータ転送
を防ぐことができるようになる。 (2) 請求項２に対応する作用：さて、上記のような手法
によって、プロセッサＡがあるブロックadr のサブブロ
ックａを更新した状態で、他のプロセッサＢ，．．．が
一部のサブブロックａを無効化された状態で保持してい
るとする。図７に、プロセッサＡ，Ｂのキャッシュでデ
ータを共有し、プロセッサＢで一部が無効化されている
状態を示す。ここで、プロセッサＢが同じブロックadr
内の違うサブブロックｂに対して書き込みを発生したと
する。

【００２８】さのとき、従来の手法では、ブロックがプ
ロセッサＡによって更新されているので、プロセッサＢ
はプロセッサＡに対してライトバックを起こさせるよう
にし、自分の持っているブロックadr を最新状態にした
上で書き込みを行なう。しかしこの方法では、false sh
aring を起こしているときには、無駄な一貫性管理処理
を多く発生することになる。

【００２９】そこで本発明では、違うサブブロックに対
する書き込みは、従来の一貫性管理処理を省略して実行
できるものとする。つまり、ひとつのブロックに対して
複数のプロセッサが書き込みできるということにする。
上記状態でいえば、プロセッサＢがサブブロックｂに対
して書き込みを発生したとき、プロセッサＢに付随して
いるキャッシュコントローラ（図示せず）は他のキャッ
シュに対して、ブロックadr のサブブロックｂに対する
無効化要求を発生する。他のキャッシュでブロックadr
のサブブロックｂに対する無効化が完了した後に、プロ
セッサＢに付随するキャッシュのブロックadr サブブロ
ックｂを更新する。

【００３０】図８にプロセッサＡ，Ｂがお互いのキャッ
シュを無効化しあっている状態を示す。従来の手法に比
べて、プロセッサＡに対してサブブロックａをライトバ
ックさせる必要のないところが違っている。一度更新し
てしまったサブブロックは何度でも一貫性管理処理の必
要なく更新が可能なので、プロセッサＡがサブブロック
ａに対して、プロセッサＢがサブブロックｂに対して何
度も書き込みを行なう場合、このライトバックが発生す
る必要がないのはトラフィックを削減する上で非常に有
効である。 (3) 請求項３に対応する作用：以上のような方式を効率
よく実現する実現方式のひとつとして、共有バス１０に
プロセッサ・キャッシュ１１が接続され、さらに全プロ
セッサ１２がアクセスすることのできる共有メモリ１３
も接続されている、上述した図２に示す共有メモリ型並
列計算機を考える。通常はこの共通バス１０に、各キャ
ッシュの状態を通知する状態通知線１４があるが、本方
式ではこれに加えて、上述した図３に示すように当該ブ
ロック内の各サブブロックの状態を通知する信号線１５
を追加する。これは例えば、ひとつのブロックの中に４
つのサブブロックがあるとすれば、４本のサブブロック
状態通知線を追加するということである。これによっ
て、ブロックの状態とともに、その中のすべてのサブブ
ロックの状態も同時に全プロセッサに通知することがで
きるようになる。 (4) 請求項４に対応する作用：上記のようなシステムを
仮定した上で、もう一度先のプロセッサＡ，Ｂ，．．．
の例に戻る。先のように、プロセッサＡ，プロセッサＢ
がそれぞれサブブロックａ，サブブロックｂを更新して
いる状態を考える。

【００３１】このとき、図９に示すように、これまでブ
ロックadr を共有していなかったプロセッサＣが新たに
ブロックadr に対する読み出し要求を発生したとする。
このとき、サブブロックａ，サブブロックｂに対する扱
いをどうするかによって、いくつかの選択肢が考えられ
る。

【００３２】ひとつは、通常のキャッシュ方式と同様
に、サブブロックａ，サブブロックｂをライトバックす
る方式である。すなわち、プロセッサＣに付随するキャ
ッシュコントローラ（図示せず）からブロックadr に対
する読み出し要求が発生すると、各プロセッサに付随す
るキャッシュコントローラ（図示せず）は自分のキャッ
シュ内のブロックadr の状態およびブロックadr 内の各
サブブロックの状態を状態通知線に出す。

【００３３】メモリコントローラ３０（図１０参照）は
これらの状態通知線をすべて監視しており、ブロックad
r 内にライトバックしなくてはならないサブブロックが
いくつ存在するかを知ることができる。

【００３４】ライトバックしなければならないサブブロ
ックを持っているキャッシュコントローラ（この場合は
ブロセッサＡ，Ｂに付随するキャッシュコントローラ）
は、更新されているサブブロックをライトバックする。
メモリコントローラはこれらのライトバックを受け付
け、共有メモリ自体を更新し、最新の状態にするととも
に、いくつのサブブロックがライトバックされたかをカ
ウントする。この例でいえば、プロセッサＡによってサ
ブブロックａが、プロセッサＢによってサブブロックｂ
がライトバックされると、ブロックadr に関するライト
バックはすべて終了したことになる。そこでメモリコン
トローラは、プロセッサＣの読み出し要求のリプライと
して、ライトバックされブロック内すべてが最新の状態
となったブロックadr のデータをブロセッサＣに付随す
るキャッシュコントローラに転送する。このように、メ
モリコントローラでブロックデータをまとめて要求元キ
ャッシュコントローラにデータを転送する方式を図１０
に示す。

【００３５】なお、このライトバックの時またはメモリ
コントローラからプロセッサＣに付随するキャッシュコ
ントローラに対するブロックadr の転送時に、ブロセッ
サＡ，Ｂは自分のキャッシュメモリ内に欠けているサブ
ブロック（プロセッサＡならサブブロックｂ，プロセッ
サＢならサブブロックａ）を補ってもよい。 (5) 請求項５に対応する作用：また、ライトバックする
ときには必ずしもメモリコントローラがデータをまとめ
る必要はない。他の手法として、キャッシュからキャッ
シュへデータを転送する方式も考えられる。

【００３６】上記の例に合わせると、次のようになる。
メモリコントローラおよび要求元（プロセッサＣに付随
するキャッシュコントローラ）は、状態通知線をすべて
監視しており、ブロックadr 内に更新されたサブブロッ
クがいくつ存在するかを知ることができる。

【００３７】更新されたサブブロックを持っているキャ
ッシュコントローラ（この場合は、プロセッサＡ，Ｂに
付随するキャッシュコントローラ）は、更新されたサブ
ブロックを要求元に転送する。要求元はこれらのサブブ
ロックを受け取り、いくつのサブブロックが転送された
かをカウントする。この例でいえば、プロセッサＡによ
ってサブブロックａが、プロセッサＢによってサブブロ
ックｂが転送されると、ブロックadr に関する更新され
たサブブロックの転送はすべて終了したことになる。ま
た、メモリコントローラは、ブロックadr に対応するデ
ータを共有メモリから読み出し、要求元に送る。このと
き、更新されたサブブロックに相当するデータを外して
送ってもよいし、そのまますべて送って要求元で更新さ
れたサブブロックのデータをまとめてもよい。図１１に
それぞれのキャッシュが要求元キャッシュにデータを転
送する方式を示す。

【００３８】このように、キャッシュからキャッシュへ
の転送をベースとしても、プロセッサＣの要求に対して
処理することができる。

【００３９】なお、本方式の場合においても、先の方式
と同様に、更新されたデータの転送時に各プロセッサが
自分の足りないサブブロックを補ってもよい。

【００４０】また本方式では、更新されたデータの転送
時にキャッシュからキャッシュへの転送のみを行ない、
メモリは更新しない方式（ライトバックはデータが追い
出されたときのみ行なう方式）と、メモリも同時に更新
する方式（更新データに対する読み出しが発生すると同
時にライトバックも行なう方式）の両方を選択すること
ができる。 (6) 請求項６に対応する作用：先の２つ方法は、どちら
も更新されたサブブロックを持っているキャッシュがば
らばらにデータをメモリコントローラあるいは要求元の
キャッシュに転送する方式であった。しかし、共有バス
を用いた並列計算機システムでは、データ転送のための
パケットにアービトレーション（送出権獲得）が必要で
あり、パケットヘッダが付随する。そのため、データを
ばらばらに転送するということは、それだけアービトレ
ーションやヘッダ送出のための時間がかかり、大きなオ
ーバヘッドとなる可能性がある。

【００４１】そこで、これらの複数のデータ転送を、ひ
とつのパケットにまとめてしまう方式を考える。いま、
対象となっている並列計算機には各サブブロックに対応
した状態通知線が用意されているので、 ・更新されたサブブロックがいくつあるか、 ・（更新されたサブブロックを持っているキャッシュに
とって）自分が何番目の更新されたサブブロックを持っ
ているか、 を知ることができる。

【００４２】そこで、ブロック内の最初に更新されたサ
ブブロックを持っているキャッシュがヘッダを作り、バ
スのアービトレーションを開始する。バスの使用権を得
ると、バスにヘッダを流し、それに続けて自分の持って
いる更新されたサブブロックのデータを送出する。さら
に、自分のデータの後ろにデータスロット（データを送
出することができるタイミング）を用意し、データバス
の使用権を手放す。最初以外の更新されたサブブロック
を持っている各キャッシュは、このヘッダがバス上を流
れるのをみて、自分の持っている更新されたサブブロッ
クに対応するデータスロットがやってくるのを待つ。自
分の番になると、空いているデータスロットに自分が持
っている更新されたサブブロックのデータを載せ、バス
を開放する。図１２にこの方式（複数のDirty データの
１パケット化／固定データスロット方式）による動作態
様を示す。

【００４３】このようにすると、ヘッダと最初のデータ
のみを最初の更新されたサブブロックを持っているキャ
ッシュが送出し、以下次々と更新されたサブブロックが
転送され、全体としてひとつの大きなパケットの形でデ
ータ転送が行なわれるようになる。

【００４４】これによって、複数のアービトレーション
および複数のヘッダ送出時間を削減することができ、共
有バスの利用率を下げ、システムの性能向上に寄与する
ことができる。 (7) 請求項７に対応する作用：上記した方式では、まず
最初の更新されたサブブロックを持っているキャッシュ
が、固定のデータスロットを用意し、データスロットに
対応するデータを持っているキャッシュが次々とデータ
を載せていく方式であった。しかし、この方式では、誰
がデータを載せるかがわからないので、最初にデータス
ロットを用意するときは、バスの開放・方向切り替えの
ための時間を間にはさんでおかなくてはならない。その
ため、例えばバスの開放・方向切り替えの時間とサブブ
ロックのデータ転送時間が同じであった場合、連続して
データ転送するのに比べて倍のデータ転送時間がかかる
ことになる。

【００４５】ところが実際には、ひとつのブロック内に
あるサブブロックを、すべておなじキャッシュが更新し
ているという場合も数多い。このような場合、同じキャ
ッシュが連続してデータ転送するのに、わざわざ間にバ
スの開放・方向切り替えの時間をはさむのは無駄であ
る。

【００４６】そこで、同じキャッシュが連続してデータ
転送する場合には、バスの開放・方向切り替えにかかる
時間を削る方式を考える。

【００４７】まず、共有バスのデータバスに、データが
有効であることを示す信号線を用意する。各キャッシュ
がデータ転送する場合は、データをデータバスに出力す
るのと同時に、このデータ有効線をassertする。このよ
うな仕組みを用意した上で、上記方式の場合と同様に、
データ転送を行なう場合を考える。

【００４８】上記方式と同様に、最初の更新されたサブ
ブロックを持っているキャッシュは、ヘッダを作成し、
バスのアービトレーションを開始する。バスの使用権を
得ると、バスにヘッダを流し、それに続けて自分の持っ
ている更新されたサブブロックのデータを送出し、デー
タ有効線をassertする。ここで、もしこのキャッシュが
次の更新されたサブブロックを持っている場合は、バス
を開放せずに、続けてデータを送出し、データ有効線を
assertする。以降、自分の番でなくなるまでこの動作を
続け、最終的にバスを開放する。このとき、固定のデー
タスロットは用意しない。他の更新されたサブブロック
を持っているキャッシュは、データ有効線がいくつasse
rtされたかをカウントする。このカウントによって、自
分が持っている更新されたサブブロック以前の更新され
たサブブロックがすべてバスに流れたことを確認する
と、バスの使用権を得て、バスにデータを流し、データ
有効線をassertする。この場合も同様に、次の更新され
たサブブロックを持っていれば、続けてデータ転送およ
びデータ有効線のassertを行なう。このようにして、最
後の更新されたサブブロックが転送されると、データ転
送の終了となる。図１３にこの方式（複数のDirty デー
タの１パケット化／可変データスロット方式）による動
作態様を示す。

【００４９】この場合、データ転送の終了は、データを
受け取る側がデータ有効線がassertされた数を数えてい
てもよいし、最後の更新されたサブブロックを転送する
キャッシュがデータ転送終了markを付加してもよい。

【００５０】このようにして、無駄なバスの開放・方向
切り替えの時間をなくし、共有バスを有効に使うことに
よって、さらにシステムの性能向上を図ることが可能と
なる。 (8) 請求項８に対応する作用：上記した４つの手法は、
どれも共有していないプロセッサからの読み出し要求に
対して、ブロック内の更新されたサブブロックすべてを
最新の状態にするものであった。しかし、ブロックすべ
てを読み出すのはプリフェッチ的な効果（空間局所性の
利用）を目指しているのであり、必ずしもすべてのデー
タが必要であるとは限らない。そのため、結果として必
要のない書き戻し（およびそれに付随する書き込み時の
一貫性管理処理）を引き起こす可能性もある。

【００５１】そこで、新たに必要のない書き戻しを起こ
さない方式を考える。先の例と同様に、プロセッサＡ，
Ｂが更新したサブブロックａ，ｂを保持している状態
で、ブロックを共有していないプロセッサＣが読み出し
要求を発生した場合を考える。

【００５２】プロセッサＣの要求するアドレスが属する
サブブロックｃがサブブロックａ，サブブロックｂのど
れでもないものであったとする。このとき、上記した２
つの手法のようにサブブロックａ，ｂのデータを転送す
るのは、後に無駄な一貫性管理処理を発生する可能性が
ある。そのため、プロセッサＡ，Ｂはサブブロックａ，
ｂに該当する部分はデータ転送を行なわない。メモリコ
ントローラは、メモリからブロックadr に対応するデー
タを読み出し、サブブロックａ，ｂを除いたデータをプ
ロセッサＣに転送する。図１４にこの方式（Dirty なサ
ブブロック以外を要求元キャッシュに転送する方式）の
動作態様を示す。

【００５３】あるいは、ブロックadr に対応するデータ
をすべて転送し、プロセッサＣに付随するキャッシュコ
ントローラでサブブロックａ，ｂに該当する部分を捨て
る方式を採用することも可能である。このデータにはサ
ブブロックｃが含まれているので、プロセッサＣの読み
出し要求には答えることができるし、後の無駄な一貫性
管理処理を省くことができる。

【００５４】サブブロックｃがサブブロックａまたはサ
ブブロックｂと一致した場合は、上記の例にあるように
更新されたデータを転送しなくてはならない。このと
き、同時にブロックadr の中の更新されたサブブロック
すべてを転送する方式と、要求されたサブブロックのみ
転送する方式の両方が考えられる。

【００５５】

【発明の実施の形態】本発明の第１の実施例を説明す
る。図１５に示すような構造の並列計算機を考える。図
１５に示す並列計算機は、各ブロセッサ１２がキャッシ
ュ１１を通じて共有バス１０で接続された構成となって
いる。メインメモリ１３はメモリコントローラ３０を通
じて、同じく共有バス１０に接続されており、システム
には一つしか存在しない。

【００５６】図１６は、図１５のキャッシュ１１の部分
を詳細に示したものである。キャッシュ１１は大きく分
けて、キャッシュコントーラ３１とキャッシュアレイ３
２、キー３３およびタグ３４から構成される。キャッシ
ュコントローラ３１はキャッシュ１１の動作を司るもの
で、プロセッサ１２からのデータ要求を受け取ったり、
共有バス１０にリクエストを発行したりする。また、常
に共有バス上のトラフィックを監視しており、他のキャ
ッシュからのリクエストがバス上を流れるとそれに応じ
た動作を行なう。

【００５７】キャッシュアレイ３２は、データを保存し
ておくための場所であり、メインメモリ１３のコピー
や、プロセッサ１２によって更新されたデータが保存さ
れている。キャッシュアレイ３２は、ブロック単位で管
理されており、１ブロックは複数のサブブロックから構
成される。本実施例では、１ブロック＝４サブブロック
としている。各サブブロックは、サブブロックの状態を
表す状態ビット（有効／無効を表すＶビットと、更新さ
れている／更新されていないを表すＤビットの２ビッ
ト）とデータから構成される。図１７はサブブロックの
状態ビットを示す図である。

【００５８】キー３３およびタグ３４はキャッシュアレ
イ３２の各ブロックの状態を示すものであり、キャッシ
ュアレイひとつにひとつ対応している。一般にはセット
アソシアティブ・キャッシュと呼ばれる、あるインデッ
クス（何番目のエントリか）に対応するデータを複数持
たせる方式が用いられるが、本実施例では説明を簡単に
するため、ひとつのインデックスにひとつのアドレスが
対応するダイレクトマップ方式を用いる。キー３３は、
キャッシュアレイ３２のデータがどのアドレスのメモリ
のコピーかを表しているものであり、インデックスとを
合わせるとアドレスが一意に定まるようになっている。
タグ３４は、ブロックの状態を表すものであり、有効／
無効を表すＶビット、共有／非共有を表すＳビットの２
ビットから構成される。

【００５９】共有バス１０には、キャッシュ１１のブロ
ック状態を検査した結果を流すＨＩＴ線（各１本）（図
示せず）、各サブブロックの状態を検査した結果を流す
ＨＩＴＭ線（サブブロックひとつに対して１本、計４
本）（図示せず）が用意されている。これらの線は各キ
ャッシュコントローラ３１で共有されており、メモリト
ランザクションから特定のタイミングでassertされるよ
うに規定されている。あるキャッシュコントローラ３１
から何らかのメモリトランザクションが発生すると、他
の各キャッシュコントローラ３１は当該アドレスに対す
るブロックデータが自分のキャッシュアレイ３２に存在
するか、存在するとすればどういう状態か、またその中
のサブブロックはどういう状態かを調べ、それをＨＩＴ
線、およびＨＩＴＭ線（４本）に乗せて通知する。当該
ブロックに対応するデータがキャッシュアレイ３２中に
あり、Ｓビットが共有状態であればＨＩＴをassertす
る。

【００６０】また、ブロック内のサブブロックのＤビッ
トが更新されている状態であれば、ＨＩＴＭ［０：３］
をassertする。これによって、各キャッシュコントロー
ラ３１は、今流れたメモリトランザクションに対応する
ブロックについて、 ・ブロックが複数のキャッシュ１１に共有されている
か、 ・誰かが更新されたサブブロックを持っているか、 ・いくつのサブブロックが更新された状態で保持されて
いるか、 を知ることができる。

【００６１】メモリコントローラ３０には、メモリ１３
から読み出したデータを一時記憶しておくバッファ３５
（１ブロック分のデータを記憶できる）が用意されてい
る。

【００６２】このシステムにおいて、今、プロセッサ１
２からのメモリアクセスの要求が出た場合を考える。プ
ロセッサ１２からのデータ要求は、従来のキャッシュと
同様に共有バス１０にリクエストとして流される（キャ
ッシュ内にブロックが存在しなかった場合）。リクエス
トには、要求するブロックＩＤの他に、要求元のプロセ
ッサ１２が要求したアドレスが含まれるサブブロックの
ＩＤが記載されている。

【００６３】バス１０上に流れるリクエストを見て、各
キャッシュコントローラ３１はスヌープ動作を開始す
る。自分のキャッシュのキー３３を検査し、バス１０上
に流れているリクエストと同じブロックが存在するかど
うか調べる。本実施例ではダイレクトマップ方式を採用
しているので、ブロックのＩＤの一部を取り出せばそれ
がキャッシュアレイ３２のインデックスとなる。そのイ
ンデックスに対応したキー３３がブロックのＩＤと一致
し、タグ３４のＶビットが有効状態であれば、ブロック
が存在することになる。

【００６４】要求されているブロックと同じアドレスの
ブロックがキャッシュ内部に存在した場合、キャッシュ
コントローラ３１は指定されたタイミングで次のように
スヌープ結果を通知する。

【００６５】・キャッシュタグ３４のＳビットが共有状
態であれば、ＨＩＴをassertする。

【００６６】・各サブブロックの状態ビットを調べ、Ｖ
ビットが有効かつＤビットが更新されている状態であれ
ば、対応するＨＩＴＭをassertする。ここで、各サブブ
ロックとＨＩＴＭ線の対応は、 サブブロック０ − ＨＩＴＭ０ サブブロック１ − ＨＩＴＭ１ サブブロック２ − ＨＩＴＭ２ サブブロック３ − ＨＩＴＭ３ となっている。

【００６７】このＨＩＴ，ＨＩＴＭ［０：３］を観測す
ることによって、そのブロックがすでに誰かに保持され
ているか、更新されているサブブロックはいくつかを知
ることができる。

【００６８】ＨＩＴ，ＨＩＴＭ［０：３］の情報に基づ
いて、メモリコントローラ３０、各キャッシュコントロ
ーラ３１、要求元のキャッシュコントローラ３１は以下
のような動作を行なう。

【００６９】・メモリコントローラ：メモリコントロー
ラ３０は、ＨＩＴ，ＨＩＴＭ［０：３］の状態にかかわ
らず、要求されたブロックをメモリ１３から読み出す。
この読み出したデータは、メモリコントローラ３０内部
のバッファ３５に一時記憶しておく。

【００７０】ＨＩＴＭ［０：３］がどれもassertされな
ければ、メモリコントローラ３０はメモリ１３から読み
出したデータを要求元のキャッシュコントローラ３１に
転送する。

【００７１】ＨＩＴＭ［０：３］のいずれかがassertさ
れていれば、メモリコントローラ３０はassertされた線
の数を記憶し、キャッシュコントローラ３１からデータ
がライトバックされるのを待つ。更新されたサブブロッ
クを持っているキャッシュコントローラ３１が更新され
たサブブロックをライトバックすると、メモリコントロ
ーラ３０はメモリ１３から読み出したデータの上にその
ライトバックされたデータを上書きし、数をカウントす
る。ライトバックされた数とＨＩＴＭ［０：３］のasse
rtされた数が一致すると、メモリコントローラ３０は内
部のバッファ３５に蓄えられたデータを要求元のキャッ
シュコントローラ３１に転送するとともに、バッファ３
５のデータをメモリ１３に書き戻す。これによって、キ
ャッシュに最新の情報を与えるとともに、ブロックのラ
イトバック動作を行なう。

【００７２】・要求元以外のキャッシュコントローラ：
要求元以外のキャッシュコントローラ３１は、要求アド
レスを見て、自分が要求されているブロックを保持して
いるかどうか、サブブロックの中に更新されたサブブロ
ックがないか検査する。

【００７３】自分が更新されたサブブロックを持ってい
た場合、メモリコントローラ３０に対してライトバック
を行なう。すなわち、更新されたサブブロックのデータ
をメモリコントローラ３０に転送し、当該サブブロック
の状態ビットのＤビットを更新されていない状態に変更
する。

【００７４】・要求元のキャッシュコントローラ：要求
元のキャッシュコントローラ３１は、読み出し要求を発
行した後、メモリコントローラ３０からブロックデータ
が転送されるのを待つ。ブロックデータが転送されてく
ると、そのブロックデータを格納し、キー３３を設定
し、ブロックの状態を、Ｖビットを有効、ＳビットをＨ
ＩＴ線の状態（assertされていれば共有状態、assertさ
れていなければ非共有状態) に設定する。

【００７５】さらに、ブロック内の各サブブロックの状
態を、Ｖビットを有効、Ｄビットを更新されていない状
態に設定する。

【００７６】次に、書き込み動作の場合を考える。今、
プロセッサ１２からの書き込み要求がキャッシュコント
ローラ３１に届いたとする。するとキャッシュコントロ
ーラ３１は、まず自分のキャッシュの中に該当するブロ
ックが存在するかどうか調べ、存在しなければ上記の読
み出し動作に基づいて、まず読み出し動作を行なう。

【００７７】キャッシュコントローラ３１は次に、当該
ブロックの状態およびプロセッサ１２の書き込み要求ア
ドレスに該当するサブブロックの状態を調べる。この状
態によって、以下のような書き込み動作が行なわれる。

【００７８】・ブロックが非共有、サブブロックが有効
の場合：キャッシュコントローラ３１はサブブロックの
データを更新して、サブブロック状態のＤビットを更新
されている状態に設定する。

【００７９】・ブロックが非共有、サブブロックが無効
の場合：キャッシュコントローラ３１はサブブロックの
読み出しを行なう。この場合、ブロックが非共有なの
で、他のキャッシュに保持されていることはなく、必ず
メモリ１３からデータを読み出すことになる。

【００８０】読み出されたサブブロックは、他のキャッ
シュでは無効状態になっているので、キャッシュコント
ローラ３１はサブブロックのデータを更新して、サブブ
ロックの状態のＤビットを更新されている状態に設定す
る。

【００８１】・ブロックが共有、サブブロックが有効か
つ更新されている状態の場合：ブロックが共有状態であ
っても、サブブロックの状態が更新されている状態であ
れば、他のキャッシュの当該サブブロックは無効状態で
ある。そのため、キャッシュコントローラ３１は即座に
サブブロックのデータを更新することができる。

【００８２】・ブロックが共有、サブブロックが有効か
つ更新されていない状態の場合：ブロックが共有状態に
あるので、他のキャッシュに当該サブブロックのデータ
が保持されている可能性がある。そのため、キャッシュ
コントローラ３１は当該サブブロックに対する無効化要
求を発行する。各キャッシュコントローラ３１は、無効
化要求を受け取ると、自分のサブブロックの状態を無効
状態にする。もし無効化前のサブブロックの状態が更新
されている状態であった場合、サブブロックのライトバ
ックを行なった後、無効化する。

【００８３】各キャッシュでの無効化動作が終了した
後、要求元のキャッシュコントローラ３１はサブブロッ
クのデータを更新して、サブブロックの状態のＤビット
を更新されている状態に設定する。

【００８４】・ブロックが共有、サブブロックが無効の
場合：キャッシュコントローラ３１は、サブブロックの
読み出しおよび無効化を行なう。サブブロック単位の読
み出しや無効化は、通常（従来）のキャッシュの読み出
しや無効化と同等である。すなわち、各キャッシュコン
トローラ３１は読み出しおよび無効化要求を受け取る
と、自分の当該サブブロックの状態を無効状態にする。
もし、無効化前のサブブロックの状態が更新されている
状態であった場合、サブブロックのライトバックを行な
った後に無効化する。メモリコントローラ３０および要
求元のキャッシュコントローラ３１は、ライトバックが
行なわれるかどうか監視し、ライトバックが行なわれれ
ばそのデータを取り込み、メモリコントローラ３０はメ
モリ１３を更新する。

【００８５】ライトバックが行なわれなければ、メモリ
コントローラ３０はメモリ１３から読み出したデータを
要求元のキャッシュコントローラ３１へ転送する。

【００８６】各キャッシュでの無効化動作が終了し、デ
ータを読み出した後、要求元のキャッシュコントローラ
３１はサブブロックのデータを更新して、サブブロック
の状態のＤビットを更新されている状態に設定する。

【００８７】次に、本発明の第２の実施例を説明する。
第２の実施例のハードウェア構成は、第１の実施例にお
ける図１５〜図１７と同様な構成である。本実施例は、
第１の実施例の場合と比較して、読み出しの場合の動作
が異なるものである。

【００８８】本実施例では、プロセッサ１２から読み出
し要求が発生し、バス１０上に読み出し要求が流れ、各
キャッシュコントローラ３１がＨＩＴ，ＨＩＴＭ［０：
３］をキャッシュの状態に応じてassertした後、ＨＩ
Ｔ，ＨＩＴＭ［０：３］の情報に基づいて、メモリコン
トローラ３０、各キャッシュコントローラ３１、要求元
のキャッシュコントローラ３１は以下のような動作を行
なう。

【００８９】・メモリコントローラ：メモリコントロー
ラ３０は、ＨＩＴ，ＨＩＴＭ［０：３］の状態にかかわ
らず、要求されたブロックをメモリ１３から読み出す。
この読み出したデータは、メモリコントローラ３０内部
のバッファ３５に一時記憶しておく。

【００９０】ＨＩＴＭ［０：３］がどれもassertされな
ければ、メモリコントローラ３０はメモリ１３から読み
出したデータを要求元のキャッシュコントローラ３１に
転送する。ＨＩＴＭ［０：３］のいずれかがassertされ
ていれば、メモリコントローラ３０はassertされた部分
以外のデータを要求元のキャッシュコントローラ３１に
転送する。このとき、ライトバックは行なわれない。

【００９１】・要求元以外のキャッシュコントローラ：
要求元以外のキャッシュコントローラ３１は、要求アド
レスを見て、自分が要求されているブロックを保持して
いるかどうか、サブブロックの中に更新されたサブブロ
ックがないか検査する。

【００９２】自分が更新されたサブブロックを持ってい
た場合、そのデータを要求元のキャッシュコントローラ
３１に転送し、当該サブブロックのＤビットを更新され
ていない状態に変更する。

【００９３】・要求元のキャッシュコントローラ：ＨＩ
ＴＭ［０：３］がどれもassertされなければ、要求元の
キャッシュコントローラ３１は、メモリコントローラ３
０からデータが転送されてくるのを待つ。データが転送
されてくると、そのブロックを格納し、キー３３を設定
し、ブロックの状態をＶビットを有効、ＳビットをＨＩ
Ｔ線の状態（assertされていれば共有状態、assertされ
ていなければ非共有状態）に設定する。

【００９４】さらに、ブロック内の各サブブロックの状
態を、Ｖビットを有効、Ｄビットを更新されていない状
態に設定する。

【００９５】ＨＩＴＭ［０：３］のいずれかがassertさ
れていれば、要求元のキャッシュコントローラ３１はas
sertされた線の数を記憶し、他のキャッシュコントロー
ラ３１からデータが転送されるのを待つ。更新されたサ
ブブロックを持っているキャッシュコントローラ３１が
更新されたサブブロックのデータを転送すると、要求元
のキャッシュコントローラ３１はキャッシュアレイ３２
にそのデータを格納し、数をカウントする。転送されて
きたサブブロックの数とＨＩＴＭ［０：３］のassertさ
れた数が一致し、メモリコントローラ３０からそれ以外
のデータが転送されてくると、要求元のキャッシュコン
トローラ３１はキー３３を設定し、ブロックの状態をＶ
ビットを有効、ＳビットをＨＩＴ線の状態（assertされ
ていれば共有状態、assertされていなければ非共有状
態）に設定する。さらに、ブロック内の各サブブロック
の状態を、Ｖビットを有効、Ｄビットを更新されていな
い状態に設定する。

【００９６】次に、本発明の第３の実施例を説明する。
第３の実施例のハードウェア構成は、第２の実施例と同
じく、第１の実施例における図１５〜図１７と同様な構
成である。

【００９７】本実施例は、各ユニットの動作は第２の実
施例と同様であるが、第２の実施例に比べて、読み出し
が発生したときのデータ転送方式が異なっている。

【００９８】読み出し時に、ＨＩＴＭ［０：３］のいず
れかがassertされていると、ブロック内の最初の更新さ
れたサブブロックを持っているキャッシュがヘッダを作
り、バス１０のアービトレーションを開始する。バス１
０の使用権を得ると、バス１０にヘッダを流し、それに
続けて自分の持っている更新されたサブブロックのデー
タを送出する。さらに、自分のデータの後ろにデータス
ロットを用意し、データバス１０の使用権を手放す。最
初以外の更新されたサブブロックを持っている各キャッ
シュは、このヘッダがバス１０上を流れるのを見て、自
分の持っている更新されたサブブロックに対応するデー
タスロットがやってくるのを待つ。自分の番になると、
空いているデータスロットに自分が持っている更新され
たサブブロックのデータを載せ、バス１０を開放する。

【００９９】これにともない、要求元のキャッシュは、
各キャッシュから転送されるデータの数をカウントする
必要がなくなる。

【０１００】その他の状態遷移に関しては、第２実施例
と同様である。

【０１０１】次に、本発明の第４の実施例を説明する。
第４の実施例は、第１〜第３の実施例とくらべて、デー
タバス１０にデータ有効線（ＤＡＴＡＥ line ）（図示
せず）が付加される点において異なる。本実施例では、
各ユニットの動作は第２実施例、第３実施例と同様であ
るが、第２実施例、第３実施例に比べて、読み出しが発
生したときのデータ転送方式が異なる。

【０１０２】読み出し時に、ＨＩＴＭ［０：３］のいず
れかがassertされていると、ブロック内の最初の更新さ
れたサブブロックを持っているキャッシュがヘッダを作
り、バス１０のアービトレーションを開始する。バス１
０の使用権を得ると、バス１０にヘッダを流し、それに
続けて自分の持っている更新されたサブブロックのデー
タを送出する。さらに、データと同時に、ＤＡＴＡＥを
assertする。

【０１０３】このとき、キャッシュがさらに連続して更
新されたサブブロックをもっている場合、続けてデータ
を送出し、ＤＡＴＡＥをassertする。

【０１０４】最初以外の更新されたサブブロックを持っ
ている各キャッシュは、このヘッダがバス１０上を流れ
るのを見ると、ＤＡＴＡＥがassertされた数を数える。
自分が持っているもの以前の更新されたサブブロックが
すべて流れたことを確認すると、自分が持っている更新
されたサブブロックのデータを載せ、ＤＡＴＡＥをasse
rtする。さらに、連続して更新されたサブブロックを持
っていれば、同様のことを続ける。

【０１０５】要求元のキャッシュは、パケットヘッダを
受け取ると、ＤＡＴＡＥがassertされている数をカウン
トし、それがＨＩＴＭ［０：３］のassertされた数と等
しくなると、データ転送は終了したものとみなす。

【０１０６】その他の状態遷移に関しては、第２実施
例、第３実施例と同様である。

【０１０７】次に、本発明の第５の実施例を説明する。
本実施例も、第１実施例〜第４実施例と同様な構造を備
えている。本実施例では、第１実施例〜第４実施例と比
べて、読み出しの場合の動作が異なる。

【０１０８】本実施例では、プロセッサ１２からの読み
出し要求が発生し、バス１０上に読み出し要求が流れ、
各キャッシュコントローラ３１がＨＩＴ，ＨＩＴＭ
［０：３］をキャッシュの状態に応じてassertした後、
ＨＩＴ，ＨＩＴＭ［０：３］の情報に基づいて、メモリ
コントローラ３０、各キャッシュコントローラ３１、要
求元のキャッシュコントローラ３１は以下のような動作
を行なう。

【０１０９】・メモリコントローラ：メモリコントロー
ラ３０は、ＨＩＴ，ＨＩＴＭ［０：３］の状態にかかわ
らず、要求されたブロックをメモリ１３から読み出す。
この読み出したデータは、メモリコントローラ３０内部
のバッファ３５に一時記憶しておく。

【０１１０】ＨＩＴＭ［０：３］がどれもassertされな
ければ、メモリコントローラ３０はメモリ１３から読み
出したデータを要求元のキャッシュコントローラ３１に
転送する。ＨＩＴＭ［０：３］のいずれかがassertされ
ていれば、メモリコントローラ３０はassertされた部分
以外のデータを要求元のキャッシュコントローラ３１に
転送する。このとき、ライトバックは行なわれない。

【０１１１】・要求元以外のキャッシュコントローラ：
要求元以外のキャッシュコントローラ３１は、要求アド
レスを見て、自分が要求されているブロックを保持して
いるかどうか、サブブロックの中に更新されたサブブロ
ックがないか検査する。

【０１１２】自分が更新されたサブブロックを持ってお
り、それが読み出し要求に書かれているサブブロックと
一致する場合、そのデータを要求元のキャッシュコント
ローラ３１に転送し、当該サブブロックの状態ビットの
Ｄビットを更新されていない状態に変更する。

【０１１３】自分が更新されたサブブロックを持ってい
るが、それが読み出し要求に書かれているサブブロック
とは異なる場合、何もしない。

【０１１４】・要求元のキャッシュコントローラ：ＨＩ
ＴＭ［０：３］がどれもassertされなければ、要求元の
キャッシュコントローラ３１は、メモリコントローラ３
０からデータが転送されてくるのを待つ。データが転送
されてくると、そのブロックを格納し、キー３３を設定
し、ブロックの状態をＶビットを有効、ＳビットをＨＩ
Ｔ線の状態（assertされていれば共有状態、assertされ
ていなければ非共有状態）に設定する。

【０１１５】さらに、ブロック内の各サブブロックの状
態を、Ｖビットを有効、Ｄビットを更新されていない状
態に設定する。

【０１１６】ＨＩＴＭ［０：３］のうち、プロセッサ１
２の読み出し要求アドレスに該当するサブブロックに対
応する線がassertされている場合、キャッシュコントロ
ーラ３１からデータが転送されるのを待つ。更新された
サブブロックを持っているキャッシュコントローラ３１
が更新されたサブブロックのデータを転送すると、要求
元のキャッシュコントローラ３１はキャッシュアレイ３
２にそのデータを格納する。さらにメモリコントローラ
３１から、ＨＩＴＭ［０：３］がassertされたサブブロ
ック以外のデータが転送されてくると、要求元のキャッ
シュコントローラ３１は、キー３３を設定し、ブロック
の状態を、Ｖビットを有効、ＳビットをＨＩＴ線の状態
（assertされていれば共有状態、assertされていなけれ
ば非共有状態）に設定する。さらに、ブロック内の各サ
ブブロックの状態を、ＨＩＴＭ［０：３］がassertされ
ていないサブブロックおよびプロセッサ１２の読み出し
要求アドレスに該当するサブブロックに関しては、Ｖビ
ットを有効かつＤビットを更新されていない状態に、Ｈ
ＩＴＭ［０：３］がassertされたサブブロックのうち、
プロセッサ１２の読み出し要求アドレスに該当するサブ
ブロックを除いたものに関してはＶビットを無効に設定
する。

【０１１７】ＨＩＴＭ［０：３］のうち、プロセッサ１
２の読み出し要求アドレスに該当するサブブロックに対
応する線がassertされていなかった場合、要求元のキャ
ッシュコントローラ３１はメモリコントローラ３０か
ら、ＨＩＴＭ［０：３］がassertされたサブブロック以
外のデータが転送されてくると、要求元のキャッシュコ
ントローラ３１はキー３３を設定し、ブロックの状態を
Ｖビットを有効、ＳビットをＨＩＴ線の状態（assertさ
れていれば共有状態、assertされていなければ非共有状
態）に設定する。さらに、ブロック内の各サブブロック
の状態を、ＨＩＴＭ［０：３］がassertされていないサ
ブブロックに関してはＶビットを有効かつＤビットを更
新されていない状態に、ＨＩＴＭ［０：３］がassertさ
れたブロックに関してはＶビットを無効に設定する。

【０１１８】

【発明の効果】本発明によれば、並列計算機において、
空間的局所性の有効利用と、false sharing の回避を共
存させることができるようになる。また、false sharin
g の回避のためのプリフェッチなどの従来技術を用いた
ときに問題となる、大容量キャッシュにおけるキャッシ
ュタタグの増大という問題に対しても対応できるように
なる。

【図面の簡単な説明】

【図１】本発明によるキャッシュブロック構成を示す図
である。

【図２】本発明が適用される共有メモリ型並列計算機を
示す図である。

【図３】状態通知線の構造を示す図である。

【図４】複数のプロセッサのキャッシュでデータを共有
している状態を示す図である。

【図５】複数のプロセッサのキャッシュ間で必要な部分
のみ無効化する態様を示す図である。

【図６】サブブロック単位での有効／無効フラグを用い
たデータ転送パケットのヘッダ例を示す図である。

【図７】プロセッサＡ，Ｂのキャッシュでデータを共有
し、プロセッサＢで一部が無効化されている状態を示す
図である。

【図８】プロセッサＡ，Ｂが互いのキャッシュを無効化
しあっている状態を示す図である。

【図９】ブロックを共有していなかったプロセッサＣが
新たにそのブロックに対する読み出し要求を発生した状
態を示す図である。

【図１０】メモリコントローラでブロックデータをまと
めて要求元キャッシュにデータを転送する方式を示す図
である。

【図１１】それぞれのキャッシュが要求元キャッシュに
データを転送する方式を示す図である。

【図１２】複数のDirty データの１パケット化／固定デ
ータスロット方式を示す図である。

【図１３】複数のDirty データの１パケット化／可変デ
ータスロット方式を示す図である。

【図１４】Dirty なサブブロック以外を要求元キャッシ
ュに転送する方式を示す図である。

【図１５】並列計算機の構成を示す図である。

【図１６】本発明の実施例のキャッシュの構成を示す図
である。

【図１７】サブブロックの状態ビットを示す図である。

【図１８】計算機の構成を示す図である。

【図１９】キャッシュを利用したシステムを示す図であ
る。

【図２０】Sub sector方式を示す図である。

【図２１】並列計算機におけるfalse sharing を説明す
る図である。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B005 JJ11 KK13 MM01 NN03 NN31 NN43 NN45 NN53 PP03 PP21 PP26 TT02 TT03 UU41

Claims (8)

【特許請求の範囲】
1. 【請求項１】 プロセッサとキャッシュの組が複数接続
   され、各プロセッサから共通にアクセス可能な共有メモ
   リを有する共有メモリ型並列計算機システムにおけるキ
   ャッシュメモリ装置において、 キャッシュメモリのブロックをより小さなサブブロック
   に分割し、各サブブロック毎に状態情報を持たせるよう
   に構成するとともに、 複数のキャッシュ間で共有しているデータに関する書き
   込み操作が発生したとき、共有している他のキャッシュ
   の該当ブロックに対して、上記サブブロック毎の状態情
   報にもとづいて、書き込みが発生したサブブロックのみ
   を無効化する手段を備えたことを特徴とするキャッシュ
   メモリ装置。
2. 【請求項２】 複数のキャッシュ間で共有状態にあるブ
   ロックに対して、共有しているプロセッサの中のあるプ
   ロセッサが書き込みを起こしたことにより、他のプロセ
   ッサに付随しているキャッシュではブロックの一部のみ
   が無効状態になっている状態において、ブロックを共有
   しているプロセッサのうち、最初に書き込みを起こした
   プロセッサ以外のプロセッサが同じブロックに対して書
   き込みを発生した場合、書き込み対象のサブブロックが
   最初のプロセッサが書き込み対象としたサブブロックで
   なければ、最初のプロセッサのキャッシュに保持されて
   いるブロックをライトバックすることなく当該他のプロ
   セッサの書き込み操作を行なう構成としたことを特徴と
   する請求項１に記載のキャッシュメモリ装置。
3. 【請求項３】 あるキャッシュからの読み出し信号が発
   生したときに、各キャッシュの当該アドレスに相当する
   ブロックの状態を通知する信号線として、ブロックに対
   応する信号線とともに、各サブブロックに対応する信号
   線を複数用意し、同時にすべてのサブブロックの状態を
   すべてのキャッシュに通知するように構成したことを特
   徴とする請求項１に記載のキャッシュメモリ装置。
4. 【請求項４】 複数のプロセッサがあるブロックを共有
   するとともに、当該ブロック内のそれぞれ異なるサブブ
   ロックを更新した状態で保持しているとき、共有状態に
   ない他のプロセッサからの読み出し要求が発生したと
   き、メモリコントローラが更新されたサブブロックを保
   持している各キャッシュからのライトバック要求をまと
   め、当該ブロック内のサブブロックをすべて最新のデー
   タに更新した状態でブロックデータを要求元に渡すよう
   に構成したことを特徴とする請求項３に記載のキャッシ
   ュメモリ装置。
5. 【請求項５】 複数のプロセッサがあるブロックを共有
   するとともに、当該ブロック内のそれぞれ異なるサブブ
   ロックを更新した状態で保持しているとき、共有状態に
   ない他のプロセッサからの読み出し要求が発生したと
   き、更新されたサブブロックを保持している各キャッシ
   ュは更新されたサブブロックを要求元に転送し、メモリ
   コントローラは更新状態にないサブブロックを要求元に
   転送し、これらのデータを要求元のキャッシュコントロ
   ーラが集めて１つのブロックとするように構成したこと
   を特徴とする請求項３に記載のキャッシュメモリ装置。
6. 【請求項６】 複数のプロセッサがそれぞれ異なる更新
   されたサブブロックを保持している状態で、ブロック全
   体に対する読み出しまたはライトバックが発生した場
   合、ひとつのキャッシュがパケットヘッダを作成し、各
   更新されたサブブロック用のデータスロットを用意し、
   各更新されたサブブロックを持っているキャッシュは、
   このデータスロットにデータを埋めることにより、各キ
   ャッシュにまたがって更新されたサブブロックをひとつ
   のパケットにまとめてデータ転送するように構成したこ
   とを特徴とする請求項４または請求項５に記載のキャッ
   シュメモリ装置。
7. 【請求項７】 複数のプロセッサがそれぞれ異なる更新
   されたサブブロックを保持している状態で、ブロック全
   体に対する読み出しまたはライトバックが発生した場
   合、ひとつのキャッシュがパケットヘッダを作成し、各
   更新されたサブブロックを保持しているキャッシュは、
   順にデータを送出するとともにデータの有効信号をオン
   とし、このデータの有効信号の到来数によって各更新さ
   れたサブブロックを持っているキャッシュは自己のデー
   タ送出順番を識別し、各キャッシュにまたがって更新さ
   れたサブブロックをひとつのパケットにまとめてデータ
   転送するように構成したことを特徴とする請求項４また
   は請求項５に記載のキャッシュメモリ装置。
8. 【請求項８】 複数のプロセッサがあるブロックを共有
   するとともに、当該ブロック内のそれぞれ異なるサブブ
   ロックを更新した状態で保持しているとき、共有状態に
   ない他のプロセッサからの読み出し要求が発生したと
   き、要求されたアドレスに対するサブブロックのみを有
   効データとして転送するように構成したことを特徴とす
   る請求項３に記載のキャッシュメモリ装置。