JP2003067246A - シングル・ラインとライン・グループの両方のコヒーレンシを維持するライン・グループのキャッシュ・システム - Google Patents

Abstract

(57)【要約】 【課題】 コヒーレンシを保持しながら全体的な呼び出
し時間を短縮する。 【解決手段】 単一のメモリ・トランザクションによっ
て１つのライン・グループを読み出してキャッシュに格
納するキャッシュ・メモリ（Ｃ１、Ｃ２）と、存在する
場合、そのライン・グループを所有するデバイスと、存
在する場合、そのライン・グループ内の個々のラインを
所有するデバイスを継続的に認識しているシステムを備
える。好ましい態様によれば、プロセッサ（Ｐ）をさら
に含み、プロセッサがライン・グループ内の単一のライ
ンを要求し、そのラインがキャッシュ・メモリ内に存在
せず、そのライン・グループ内の２つ以上のラインが所
有されていない場合に、その２つ以上のラインをキャッ
シュ・メモリにコピーする。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は一般にコンピュータ
・システムに関し、特にキャッシュ・メモリ・システム
に関する。 【０００２】 【従来の技術】ほとんどのコンピュータ・システムで
は、複数レベルの階層構造をとるメモリ・システムを採
用している。階層の最高レベルにおける比較的高速であ
り、高価で容量が限られているメモリから、階層の最低
レベルにおける比較的低速であり、安価で大容量のメモ
リである。一般に、この階層には高速化のためのキャッ
シュと呼ばれる小規模で高速のメモリが含まれており、
速度のため、プロセッサ集積回路に物理的に組み込まれ
るか、又は物理的にプロセッサの近くに装着される。命
令キャッシュとデータ・キャッシュが別々に存在する場
合もある。複数レベルのキャッシュが存在する場合もあ
る。 【０００３】キャッシュは、通常、ライン、ブロック、
ページと呼ばれるメモリ量を中心にして構成される。本
明細書では、「ライン」という用語を使用するが、本発
明はブロック又はページを採用するシステムにも同様に
適用できる。 【０００４】多くのコンピュータ・システムでは複数の
プロセッサを搭載しており、個々のプロセッサは複数レ
ベルのキャッシュを備えることができる。一部のキャッ
シュを複数のプロセッサが共用してもよい。すべてのプ
ロセッサとキャッシュは、同一のメイン・メモリを共用
できる。特定のラインは、メモリと複数のプロセッサの
キャッシュ階層に同時に存在できる。キャッシュ内の１
つのラインのコピーはすべて同一でなければならない。
この特性はコヒーレンシと呼ばれる。複数のプロセッサ
のコヒーレンシを維持するプロトコルは、キャッシュ・
コヒーレンシ・プロトコルと呼ばれる。 【０００５】キャッシュがラインを「所有」するとは、
キャッシュが更なるコヒーレンシ・トランザクションを
発行することなくラインを変更することを許可されてい
る場合である。ラインには唯一の「オーナー」が存在し
得る。いかなるキャッシュ・コヒーレンシ・プロトコル
も、キャッシュ・ラインの最新のコピーをその最新のオ
ーナー（存在する場合）から取得し、このデータのコピ
ーをリクエスタに提供する必要がある。ラインを変更す
る場合は、リクエスタが所有権を取得する必要があり、
共用のコピーをすべて無効にする必要がある。 【０００６】ラインのオーナーが存在する場所を確認す
るには、一般的な３とおりの方法があり、その様々な変
形や組み合わせが可能である。スヌーピング・プロトコ
ル又はスヌープベースの・プロトコルと呼ばれる１つの
方法では、オーナーが不明であり、すべてのキャッシュ
に問い合わせ（スヌープ）を行って要求されたラインの
最新のコピーの位置を決定する必要がある。システム内
のあらゆる装置によるキャッシュ・ラインへのすべての
アクセス要求は、システム内のすべてのキャッシュに転
送される。最終的に、ラインの最新のコピーが存在する
場所が特定され、リクエスタにコピーが提供される。シ
ングルバス・システムでは、コヒーレンシ（スヌーピン
グ）トラフィック、アドレスに加えて、多くの場合にデ
ータもすべて同一のバスを共用する。 【０００７】ディレクトリベースのプロトコルと呼ばれ
る第２の方法では、メモリ・システム内の各ラインの状
態に関する情報を保持するためにメモリが提供される。
例えば、メモリ内の各ラインについて、キャッシュ階層
ごとにそのキャッシュ階層がラインのコピーを保持する
かどうかを示すビットと、そのキャッシュ階層が所有権
を有するかどうかを示すビットをディレクトリに含める
ことができる。キャッシュ・ラインへのアクセス要求ご
とに、ディレクトリに問い合わせてオーナーを決定する
必要がある。それから、ラインの最新のコピーを取得し
てリクエスタにそれを提供する。一般に、ディレクトリ
のタグとステータス・ビットはメイン・メモリに保存さ
れるので、状態情報の要求はメイン・メモリのサイクル
を起動し、メイン・メモリの呼び出し時間が発生する。
マルチバス・システムでは、ディレクトリ・トラフィッ
クを別個のバスに分離できる。 【０００８】第３の方法はグローバル・コヒーレンシ・
フィルタである。この方法では、キャッシュ・システム
内の有効なラインごとにタグが存在する。コヒーレンシ
・フィルタは、システム内のすべてのキャッシュに関す
る第２のタグのセットを備えるスヌープ・システムであ
り、中央に保存されている。キャッシュ・ラインの要求
は、すべてのキャッシュでなく中央のフィルタに転送さ
れる。コヒーレンシ・フィルタのタグは、通常は小規模
な高速のメモリに保存される。一部のコヒーレンシ・フ
ィルタは、所有されているラインのみを追跡でき、シス
テム内のすべての共用ラインを含むわけではない。マル
チバス・システムでは、コヒーレンシ・フィルタ・トラ
フィックを別個のバスに分離できる。 【０００９】バスが単一又は少数の比較的小規模なシス
テムでは、スヌープベースのプロトコルによって最適な
パフォーマンスが提供される。ただし、スヌープベース
のシステムでバスが単一の場合はバス・トラフィックが
増大するので、バスが単一又は少数の大規模なシステム
ではスヌープ・トラフィックによって全体のパフォーマ
ンスが制限される恐れがある。ディレクトリベースのシ
ステムは、シングル・バス上ではスヌーピングに比較し
てラインを取得するのに必要な時間（呼び出し時間）は
増大するが、マルチ・バス上ではディレクトリによるシ
ステム・バス上のコヒーレンシ・トラフィックはスヌー
プベースのシステムより小さくなる。大規模なマルチバ
ス・システムでは、バス・トラフィックが呼び出し時間
より重要な場合に、通常はディレクトリベースのシステ
ムによって全体的に最適なパフォーマンスが提供され
る。多くのコンピュータ・システムでは、何らかの形で
スヌープベースのプロトコルとディレクトリベースのプ
ロトコルを組み合わせて使用している。例えば、マルチ
バス・システムでは、スヌープベースのプロトコルを使
用して各ローカル・バス上のコヒーレンシを維持し、デ
ィレクトリベースのプロトコルを使用してバス間のコヒ
ーレンシを維持することもできる。 【００１０】プロセッサがラインを要求する場合、ライ
ンの取得に必要な時間全体（呼び出し時間全体）には、
（１）キャッシュ・コヒーレンシ・プロトコルを使用し
てアクセス権を取得するのに必要な時間、（２）アドレ
スを処理するのに必要な時間、（３）データを取得し、
転送するのに必要な時間が含まれる。前述のように、コ
ヒーレンシに関する要求のためのバス・トラフィックに
よって全体的なパフォーマンスが制限される恐れがあ
る。 【００１１】コヒーレンシに関する要求のためのバス・
トラフィックを軽減する１つの方法は、ライン・サイズ
を大きくすることである。例えば、隣接するラインが要
求された場合は、ラインごとに別々のコヒーレンシ要求
が必要である。ライン・サイズが２倍になると、コヒー
レンシ要求ごとに２倍の量のデータが読み出される。さ
らに、呼び出し時間全体のかなりの部分はメモリ要求を
様々なメモリ・コンポーネントにルーティングし、当該
コンポーネントからデータを取得するのに必要な時間で
ある。ライン・サイズが大きくなると、要求あたりのデ
ータ量が増大する。しかし、ライン・サイズがさらに増
大すると、多くの不要なデータが転送され、多くのキャ
ッシュ領域に不要なデータが入る。従って、データ転送
のためのバス・トラフィックが増大し、キャッシュ・ミ
ス率が高くなる。いずれにしても全体的なパフォーマン
スに悪影響を及ぼす。さらに、ラインの一部が２つ以上
のプロセッサ又はノードで排他的（専用）に要求される
場合がある。この結果、２つのプロセッサ又はノードが
所有権を争うので、過度のキャッシュ間コピー・アクテ
ィビティが発生する恐れがあり、コヒーレンシ要求が増
大する場合がある。 【００１２】代わりの方法として、ラインの一部（又は
ブロックの一部）を無効化できる方法が知られている。
余分なサブラインをプリフェッチする方法も知られてい
る。例えば、Ｃ． Ｋ． Ｌｉｕ ａｎｄ Ｔ． Ｃ．
Ｋｉｎｇ， Ａ Ｐｅｒｆｏｒｍａｎｃｅ Ｓｔｕｄ
ｙ ｏｎ Ｂｏｕｎｔｅｏｕｓ Ｔｒａｎｓｆｅｒｉｎ
Ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ Ｓｅｃｔｏｒｅｄ
Ｃａｃｈｅｓ， Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｓｕ
ｐｅｒｃｏｍｐｕｔｉｎｇ， １１， ４０５−４２０
（１９９７）を参照されたい。Ｌｉｕ ａｎｄ Ｋｉ
ｎｇは、サブラインを無効化し、複数のサブラインをプ
リフェッチするコヒーレンシ・プロトコルについて記述
している。 【００１３】 【発明が解決しようとする課題】特に大規模なマルチバ
ス・システムでは、コヒーレンシを保持しながら全体的
な呼び出し時間を短縮する必要性が継続的に存在する。 【００１４】 【課題を解決するための手段】コンピュータ・システム
は、ラインのグループを取得して保存する。ライン・グ
ループに関しても、個々のラインに関してもコヒーレン
シ状態が維持される。あるいは、ライン・グループのコ
ヒーレンシ状態はそのすべてのサブラインのコヒーレン
シ状態から推定できる。この方法では、単一のコヒーレ
ンシ・トランザクションと単一のアドレス・トランザク
ションによって複数ラインのデータを転送できるので、
全体的な呼び出し時間が短縮される。複数のラインをグ
ループとして取り出しても、その後でラインは個別に処
理できる。この方法では、キャッシュ間コピー・アクテ
ィビティの増大など、長いラインで発生する問題の多く
が回避される。ライン・グループには、複数のライン・
オーナーが存在してもよい。最大でライン・グループ全
体を要求する特殊な命令を実施できる。すなわち、この
ような命令では所有権によって単一のラインしか転送で
きない場合もあるが、最大ではライン・グループ全体を
転送することもできる。マルチバス・システムでは、所
有されていないラインをキャッシュからでなくメモリか
ら取得することで呼び出し時間をさらに短縮できるのが
好ましい。 【００１５】 【発明の実施の形態】図１は、本発明で使用するのに適
したコンピュータ・システムの例を表す。図１では、複
数のノード（１００、１０２、１０４）がスイッチ１０
６又は他の相互接続を介して相互に接続されている。各
ノードは、複数のプロセッサ（ｐ）を備えている。各プ
ロセッサは、１次キャッシュ（Ｃ１）を備えている。各
ノードは、共用２次キャッシュ（Ｃ２）と共用メモリ
（Ｍ）を備えている。各共用メモリは、ディレクトリ
（Ｄ）を備えている。ノードの数、ノードあたりのプロ
セッサの数、キャッシュの数、メモリの位置、ディレク
トリの使用は、すべて説明のみを目的とする。 【００１６】キャッシュ・ミスの場合、プロセッサが同
じノード内の他のプロセッサの１次キャッシュからライ
ンを取り出す時間すなわち呼び出し時間（例えば、プロ
セッサ１０８がキャッシュ１１０からラインを取り出す
ための呼び出し時間）をＴナノ秒と仮定する。この場
合、プロセッサが同じノード内のメモリからラインを取
り出す時間（例えば、プロセッサ１０８がメモリ１１２
からラインを取り出すための呼び出し時間）は約３Ｔナ
ノ秒と推定できる。また、プロセッサがリモート・ノー
ド内のメモリからラインを取り出す時間（例えば、プロ
セッサ１０８がメモリ１１４からラインを取り出すため
の呼び出し時間）は約６Ｔナノ秒と推定できる。さら
に、プロセッサがリモート・ノード内の１次レベルキャ
ッシュからラインを取り出す時間（例えば、プロセッサ
がキャッシュ１１６からラインを取り出す呼び出し時
間）は約９Ｔナノ秒と推定できる。典型的なシングルバ
ス・システム（例えばバス１０６）では、キャッシュか
らキャッシュへの転送は一般にメモリからの転送より高
速である。典型的なマルチバス・システム（例えば図
１）では、メモリからの最悪の転送は（６Ｔナノ秒）は
キャッシュからキャッシュへの最悪の転送（９Ｔナノ
秒）より高速である。従って、マルチバス・システムで
は、シングルバス・システムに比べて、全体的なメモリ
の呼び出し時間を最適化するために、キャッシュ・ミス
の場合にラインを取り出す別の戦略が必要である。 【００１７】典型的なコンピュータ・システムでは、１
つのメモリ・アドレスがメモリ内の１つのラインに対応
する。メモリ・システムにアドレスが提供されると、メ
モリ・システムは多くの場合にインターリーブされた複
数のソースから要求されたデータを取り出し、得られた
データをメモリ・レジスタに格納することができる。並
行性を向上するために、メモリ・システム（例えばメモ
リ１１２）は実際に複数のラインを取り出して複数のラ
インをメモリ・レジスタに格納することが知られてい
る。例えば、商用のコンピュータ・システムの１つの例
では、１ラインは１２８バイトであり、１つのラインが
要求された場合でも、メモリ・システムは５１２バイト
（４ライン）を取り出してその４ラインをレジスタに格
納する。要求側のプロセッサは要求した１ラインのみを
受け取る。残りのラインは、そのいずれかのラインがす
ぐに要求された場合に、短い呼び出し時間で読み出しが
可能になる。この構成に関する知識を使用してコンパイ
ラを最適化できる。コンパイラは、他のラインの呼び出
し時間の短縮を利用できる。 【００１８】キャッシュは関連のプリフェッチ・バッフ
ァを備えており、キャッシュ・ミスの場合に要求された
ラインとその後のＮラインをメモリから取得することも
知られている。一般に、Ｎラインのそれぞれの転送は別
々のバス・トランザクションによる。要求側のキャッシ
ュは要求した１ラインのみを受け取り、残りのラインは
そのいずれかのラインがすぐに要求された場合に、短い
呼び出し時間で読み出しが可能になる。 【００１９】以上とは異なり、本発明に従ったコンピュ
ータ・システムでは、単一の読み出し命令によって、複
数ラインのグループをメモリから取得し（すなわちキャ
ッシュからコピーし）、そのライン・グループ全体を要
求側のキャッシュに格納する。さらに、ライン・グルー
プについても個々のラインについてもキャッシュ・コヒ
ーレンシを維持する。特に、ライン・グループ内の各ラ
インはオーナーが異なってもよい。その結果、いくつか
の利点が得られる。まず、前述の相対的な呼び出し時間
について考察する。プロセッサ１０８がメモリ１１４の
１ラインを要求すると、呼び出し時間の多くはラインの
検出に関連する。隣接するラインが呼び出される可能性
（空間局所性）が高い場合、本発明に従ったシステムで
は複数のラインを提供するので呼び出し時間はほとんど
増大しない。ライン・グループ内の各ラインに所有権を
指定できるので、キャッシュ間コピー・アクティビティ
が削減される。また、特殊なメモリ命令では転送を許可
されるラインの数が所有権によって変わり、キャッシュ
間コピー・アクティビティがさらに削減される。さら
に、以下に詳しく記述するように、本発明に従ったシス
テムでは、マルチバス・システムにおいて通常はライン
・グループをキャッシュからでなくメモリから転送する
ことによって平均呼び出し時間を短縮し、ローカル・バ
ス・トラフィックを削減し、リンク（例えば１１８）ト
ラフィックを削減する。例えば、ノード１００のプロセ
ッサがノード１０４のメモリｌｌ４内にあり、ノード１
０２のキャッシュにも格納されているラインを要求する
と、本システムではノード１０４のディレクトリ内でエ
ントリを検出し、ノード１０２に更なるバス・トラフィ
ックを発生することなく、メモリｌｌ４から直接ライン
を取得する。従って、本発明に従ってライン・グループ
を使用するシステムでは、セクターに分割されたキャッ
シュやプリフェッチ・バッファ以上に、呼び出し時間を
短縮し、空間的局所性を利用して余分なキャッシュ間の
転送を回避する。 【００２０】典型的なキャッシュでは、ライン・サイズ
がＬであり、コヒーレンシの単位と転送の単位もＬであ
る。セクターに分割され、サブラインを伴うキャッシュ
では、サブライン（すなわち、サブブロック）のサイズ
がＳであり（ただしＳ＜Ｌ）、コヒーレンシの単位は
Ｓ、転送の単位はＳ及びＬが可能である。本発明に従っ
たキャッシュでは、ライン・サイズがＬであり、転送の
単位はＬ及びＬの整数倍が可能である。コヒーレンシの
単位はＬとＬの整数倍である。ライン・グループはサブ
ラインの使用を補うことができる。つまり、セクターに
分割されたキャッシュとサブライン（及びスヌーピン
グ）は各ノード内で利用でき、ライン・グループとディ
レクトリ又はコヒーレンシ・フィルタは複数のノードに
わたって利用できる。 【００２１】メモリ・システムでＮラインを取り出して
それをレジスタに格納すると、同じＮラインをライン・
グループとして使用する場合に便利である。ただし、ラ
イン・グループは必ずしもメモリ・レジスタと同じサイ
ズでなくてもよい。以下の記述の一部では、単に実例を
示すためにライン・グループを４ラインと仮定する。Ｍ
ビットのアドレスとライン・グループ内のＮラインが指
定された場合、ライン・グループは上位Ｍ−ｌｏｇ
_２（Ｎ）ビットで定義される。例えば、ライン・グルー
プを４ラインと仮定し、簡単のために１６ビットのアド
レスを想定すると、アドレスの上位１４ビットで定義さ
れる４ラインのライン・グループにアドレスの下位２ビ
ットのあらゆる組み合わせを結合したものが存在する。 【００２２】１つのキャッシュを複数のセットに編し、
アドレス・ビットを索引として使用して特定のアドレス
にどのセットを使用するかを指定する方法が知られてい
る。セットごとに、タグと呼ばれる別のアドレス・ビッ
トを使用して、このアドレスにセットのどのラインが対
応するかを指定する。本発明に従ったライン・グループ
では、索引は単一のラインでなくライン・グループに対
応してもよい。例えば、Ｉビットの索引が指定された場
合、索引の上位Ｉ−２ビットを４ラインのライン・グル
ープの索引として使用できる。１つのタグをライン・グ
ループ全体に適用してもよい。あるいは、各ラインにラ
インのタグで指定するようなアドレス指定可能な別のエ
ントリが存在するのが好ましい。各ラインに独自のコヒ
ーレンシ状態が存在し、オプションでライン・グループ
全体には別個のコヒーレンシ状態が存在できるのが好ま
しい。ライン・グループ全体に関する別個のコヒーレン
シ状態については、後で詳しく説明する。 【００２３】以上の記述により、アドレスが指定された
場合にメモリ又は他のキャッシュからＮ個のラインをグ
ループとして取得でき、そのＮラインをグループとして
キャッシュに格納できる。ライン・グループがキャッシ
ュに格納されると、以下に記述するように、これらのラ
インをグループとしても個別にも処理できる。 【００２４】キャッシュ・コヒーレンシ・プロトコルで
は、一般にキャッシュに格納された各ラインを複数の状
態のいずれかに設定する。１つの一般的な方法では、キ
ャッシュ内の各ラインに対して３とおりの状態を使用す
る。キャッシュにラインを格納する前は、すべてのエン
トリが「無効」(Invalid)と呼ばれるデフォルトの状態
である。まだキャッシュに格納されていない物理ライン
がキャッシュに格納されると、このキャッシュ内のエン
トリの状態が無効から「共用」(Shared)に変わる。キャ
ッシュ内でラインが変更された場合は、直ちにメモリ内
でもラインを変更できる（ライト・スルーと呼ばれ
る）。あるいは、キャッシュ内で変更されたラインが無
効化される場合や置き換えられるときに初めて、キャッ
シュ内で変更されたラインをメモリに書き込むこともで
きる（ライト・バックと呼ばれる）。ライト・バック・
キャッシュでは、キャッシュ内でラインが変更された場
合、又は変更が見込まれる場合は、キャッシュ内のエン
トリの状態が「変更」(Modified)に変わる。以上の３つ
の状態の指定をＭＳＩプロトコルと呼ぶこともある。Ｍ
ＳＩは３つの状態のそれぞれの頭文字を表す。 【００２５】一般的な変形では、もう１つの状態が追加
される。この変形では、物理ラインがキャッシュにコピ
ーされるときに、このラインのコピーが他のキャッシュ
内に存在しない場合は、ラインが「専用」(Exclusive)
の状態になる。「専用」という用語は、このラインのコ
ピーがまさに１つのキャッシュ階層に存在するという意
味である。ラインが第１のプロセッサのキャッシュ階層
内で「専用」の状態にある場合に第２のプロセッサが同
じラインを要求すると、このラインは２つのキャッシュ
階層にコピーされるので、各キャッシュのエントリの状
態は「共用」の状態に設定される。以上の４つの状態の
指定はＭＥＳＩプロトコルと呼ばれることがある。ＭＥ
ＳＩは４つの状態のそれぞれの頭文字を表す。他にも多
くの変形がある。 【００２６】専用の状態のラインは、コヒーレンシに関
する特別な操作を実行することなくオーナーがいつでも
変更できる。ラインが変更されると、ローカル・キャッ
シュ内で「変更」のマークが付く。専用の状態では、ラ
インを所有でき（システム内で唯一のコピーであり）、
変更されることはない。この方式によって、ラインの変
更に必要な余分のコヒーレンシに関する要求が削減され
る。 【００２７】以下の記述では、ＭＥＳＩプロトコルを使
用して本発明の第１の実施態様の例を示す。本発明は、
キャッシュ・コヒーレンシに関する他のシステム及び方
法にも同様に適用できる。さらに、第１の実施態様の例
を説明しやすくするために、以下のようにいくつかの仮
定を追加する。ＭＥＳＩプロトコルでラインが所有され
るのは、そのラインの状態が変更又は専用の場合であ
る。単に例を示すために、ラインのオーナーが存在して
おり（状態が変更又は専用）、ラインを変更できるリク
エスタがラインを要求した場合に、ラインの最新のコピ
ーがリクエスタに提供され、さらにメモリに書き込まれ
るものとする。以前のオーナーはそのラインのコピーを
無効の状態にし、新しいオーナーはラインの初期状態を
専用に設定する。ラインが所有されていない場合（キャ
ッシュに存在しない場合、又はキャッシュ内に共用の状
態で存在する場合）、リクエスタはそのラインの初期状
態を共用に設定する。 【００２８】追加の仮定はライン・グループには有効で
ある。要求されたラインが所有権の混在するライン・グ
ループに属する場合（すなわちライン・グループ内の少
なくとも２つのラインのオーナーが異なる場合）、リク
エスタは要求した１ラインのみの所有権を取得して余計
なキャッシュ間転送を回避するのが好ましい。一方、要
求されたラインが属するライン・グループ全体を単一の
オーナーが所有する場合は、恐らくデータ構造全体の所
有権が変わり、リクエスタはライン・グループ全体の所
有権を取得するのが好ましい。このような規則によっ
て、すべてのラインを以前の同じオーナーが所有してい
た場合はライン・グループとグループの所有権を転送す
ることでライン・グループの呼び出し時間を短縮し、一
方では同時に異なるオーナーが所有した履歴をもつライ
ンを組み合わせないことでキャッシュ間転送の増大を回
避する。 【００２９】本発明に従ったシステムのさらにもう１つ
のオプションの機能は、１つのラインだけが要求された
場合に複数のラインを転送するかどうかをリクエスタが
制御できることである。具体的には、オプションで要求
を単一のラインに限定したり、オプションで複数のライ
ンの転送を許可したりする新しいメモリ・システム・コ
マンドを実施できる。 【００３０】前述の仮定と機能が与えられた場合に、図
２は要求されたラインの所有権が要求されないライン要
求に関してライン・グループのコヒーレンシを維持する
ための方法の例を示している。図３と４は、要求された
ラインの所有権が要求されるライン要求に関してライン
・グループのコヒーレンシを維持するための方法の例を
示している。図１と以下の図２乃至４の説明では、単に
システムの例を示すためにディレクトリを想定している
が、コヒーレンシ・フィルタなど、コヒーレンシを維持
する他の方法も同様に適用できる。 【００３１】図２では、ラインは要求されるがラインの
所有権は要求されない。つまり、リクエスタはデータの
読み出しは要求するが、データの変更は要求しない。デ
ィレクトリ内で、対応するライン・グループのコヒーレ
ンシ状態が確認される。ステップ２００で、対応するラ
イン・グループ内のすべてのラインが所有されていない
場合は（ＭＥＳＩでは、いずれのキャッシュにも変更と
専用の状態がない場合）、ステップ２０２でリクエスタ
は要求したラインのコピーと、最大で対応するライン・
グループ内の他のすべてのラインのコピーを取得する。
リクエスタは取得したラインのコピーに共用のマークを
付け（ローカルにも該当するディレクトリ内でも）、さ
らに取得していないラインのエントリの位置に無効のマ
ークを付ける。ステップ２０４で、対応するライン・グ
ループ内の一部のラインが所有され、要求したラインが
所有されていない場合は、ステップ２０６でリクエスタ
は要求したラインのコピーと、最大で対応するライン・
グループ内の所有されていない他のすべてのラインのコ
ピーを取得する。リクエスタは取得したラインのコピー
に共用のマークを付け（ローカルにも該当するディレク
トリ内でも）、さらに取得していないラインのエントリ
の位置に無効のマークを付ける。 【００３２】ただし、ステップ２０２と２０６で、要求
されたラインおよび恐らくライン・グループ内の他のラ
インも所有されていないことに留意すべきである。従っ
て、所有されていないラインをメモリから取得できる。
前述のように、マルチバス・システムではリモート・ノ
ードで所有されていないラインがメモリから取得される
のが好ましい。本システムでは、ノード内で可能な場合
はキャッシュからのラインの取得が優先され、スヌーピ
ングを利用できる。複数ノードにまたがる場合はメモリ
からのラインの取得が優先され、ディレクトリ又はコヒ
ーレンシ・フィルタを利用できる。結果として、１回の
要求で複数のラインが転送されるので、ラインあたりの
呼び出し時間が短縮される。マルチバス・システムで
は、キャッシュでなくメモリからラインが取り出される
ので、呼び出し時間がさらに短縮され、ローカル・バス
・トラフィックが削減される。 【００３３】ステップ２０８では、要求したラインが所
有されている。ライン・グループ内の所有権が混在する
場合は（すなわち対応するライン・グループ内にオーナ
ーの異なるラインが存在する場合）、ステップ２１０で
リクエスタはオーナーから要求したラインのみを取得す
る。前述のように、リクエスタは要求されたラインだけ
の所有権を取得して余分なキャッシュ間転送を回避する
のが好ましい。リクエスタは取得したラインのコピーに
専用又は共用のマークを付け（ローカルにも該当するデ
ィレクトリ内でも）、さらに取得していないラインのエ
ントリの位置に無効のマークを付ける。ステップ２１２
では、対応するライン・グループ内の全てのラインが同
じオーナーによって所有される。リクエスタは要求した
ラインのコピーと、最大で同じグループ内の他のすべて
のラインのコピーをオーナーから取得できる。前述のよ
うに、多くの場合、データ構造全体の所有権が変わり、
リクエスタはライン・グループ全体のコピーを取得する
のが好ましい。リクエスタは取得したラインのコピーに
専用又は共用のマークを付け（ローカルにも該当するデ
ィレクトリ内でも）、さらに取得していないラインのエ
ントリの位置に無効のマークを付ける。 【００３４】図３では、ラインが要求され、ラインの所
有権が要求されている。ステップ３００で、対応するラ
イン・グループ内のすべてのラインが所有されていない
場合は、ステップ３０２でリクエスタは要求したライン
のコピーと、最大で対応するライン・グループ内の他の
すべてのラインのコピーを取得できる。リクエスタのコ
ピー以外の、要求したラインの既存のコピーには、すべ
て無効のマークが付く。リクエスタは要求したラインの
コピーに専用のマークを付け、他に取得したラインのコ
ピーに共用のマークを付け（ローカルにも該当するディ
レクトリ内でも）、さらに取得していないラインのエン
トリの位置に無効のマークを付ける。ステップ３０４
で、対応するグループ内の一部のラインが所有され、要
求したラインが所有されていない場合は、ステップ３０
６でリクエスタは要求したラインのコピーと、最大で対
応するライン・グループ内の所有されていない他のすべ
てのラインのコピーを取得する。リクエスタのコピー以
外の、要求したラインの既存のコピーには、すべて無効
のマークが付く。リクエスタは要求したラインのコピー
に専用のマークを付け（ローカルにも該当するディレク
トリ内でも）、他に取得したラインのコピーに共用のマ
ークを付け、さらに取得していないラインのエントリの
位置に無効のマークを付ける。既に図２との組み合わせ
で説明したように、マルチバス・システムでは、所有さ
れていないラインをメモリから取得するのが好ましい。
専用のラインは、所有するキャッシュからでもメイン・
メモリからでも取得できる。 【００３５】ステップ３０８では、要求されたラインが
所有されている。対応するライン・グループ内の一部の
ラインが別々のオーナーに所有されている場合は、ステ
ップ３１０でリクエスタは要求したラインのオーナーか
ら要求したラインのみを取得する。リクエスタのコピー
以外の、要求したラインの既存のコピーには、すべて無
効のマークが付く。リクエスタは要求したラインのコピ
ーに専用のマークを付け（ローカルにも該当するディレ
クトリ内でも）、さらに取得していないラインのエント
リの位置に無効のマークを付ける。ステップ３１２で、
対応するライン・グループ内のすべてのラインが同じオ
ーナーによって所有される。前述のように、多くの場
合、データ構造全体の所有権が変わり、リクエスタはラ
イン・グループ全体の所有権を取得するのが好ましい。
ステップ３１２で、グループ全体の最新のコピーがメモ
リにコピーされ、リクエスタにコピーされ、リクエスタ
のコピー以外の、グループの既存のコピーにはすべて無
効のマークが付く。リクエスタはこのグループのコピー
に専用のマークを付ける（ローカルにも該当するディレ
クトリ内でも）。 【００３６】リクエスタにグループ全体をコピーする
か、グループのサブセットのみをコピーするかの選択を
変更できる。特に、図３のステップ３１２では、グルー
プが所有されており、ライン・グループ全体がリクエス
タにコピーされる。グループ所有権によってスラッシン
グ（余分なキャッシュ間転送）が発生する恐れがある。
図４に代替の方法を示す。最初に、図３のステップ３０
８で”ＹＥＳ”と判断する。現在のオーナーがグループ
の一部のみを変更した場合は、グループの所有権を分割
できる。 【００３７】図４では、テスト４００が追加され、元の
１人のオーナーがグループ内のすべてのラインを変更し
たかどうかを判断する。ステップ４００ではライン・グ
ループ全体が所有されている。変更されていないライン
がある場合は（一部のラインが変更の状態にない場
合）、ステップ４０２で要求したラインのみがリクエス
タにコピーされる。リクエスタは要求したラインのコピ
ーに専用のマークを付け（ローカルにも該当するディレ
クトリ内でも）、取得していないラインのエントリの位
置に無効のマークを付ける。代替方法として、ステップ
４０２’で、要求したラインのコピーに加えて要求した
ライン以外のすべてのラインをコピーし、要求したライ
ン以外のラインの状態に共用のマークを付けてもよい。
さらにもう１つの代替方法として、ステップ４０２’’
で、要求したラインのコピーに加えて要求したライン以
外のすべてのラインをコピーし、以前は変更の状態で要
求されていないすべてのラインの状態に専用のマークを
付け、以前は専用の状態で要求されていないすべてのラ
インの状態に共用のマークを付けてもよい。従って、す
べてのラインを１オーナーが所有しても、２つのキャッ
シュがグループ内の別々のラインの変更を要求する場合
は、各キャッシュが別々のラインの所有権を取得でき、
スラッシングが回避される。元のオーナーがグループ全
体を変更している場合は、ステップ４０４でグループ全
体の所有権がリクエスタに転送され、スラッシングが発
生する可能性は低い。 【００３８】さらに、所有されていないグループの元の
コピーを残すことができるかどうかの選択を変更でき
る。例えば、図２のステップ２０２で、ライン・グルー
プ全体の既存のコピーを無効化できる。ただし、空き領
域が必要ない場合は、図２に示すように、ライン・グル
ープの元のコピーを残しておくことができる。本システ
ムでは、ラインのコピーが存在する場所を追跡できるの
で、ラインが変更された場合に、変更されたラインのコ
ピーが存在するキャッシュのみに通知する必要がある。 【００３９】前述のように、ディレクトリとグローバル
・コヒーレンシ・フィルタでは、バス上のコヒーレンシ
・トラフィックは削減されるが呼び出し時間は長くな
る。ライン・グループの読み出しと書き込みを実行する
とコヒーレンシ・トラフィックが削減されるので、グル
ープでない読み出しと書き込みではディレクトリ又はグ
ローバル・コヒーレンシ・フィルタが必要になる場合
も、図１に示すバスベースのシステムを利用できる。さ
らに、本発明はディレクトリ又はグローバル・コヒーレ
ンシ・フィルタを使用するシステムにも同様に適用でき
る。例えば、コヒーレンシ状態を判断する各ステップ
（図２のステップ２００、２０４、２０８、図３のステ
ップ３００、３０４、３０８、図４のステップ４００）
では、スヌーピング、ディレクトリのチェック、グロー
バル・コヒーレンシ・フィルタのチェックによってコヒ
ーレンシ状態を判断できる。 【００４０】図２乃至５により、所有権は本発明におい
て重要な概念である。ＭＥＳＩでなく所有権に基づくコ
ヒーレンシ状態は特に有効である。先の出願（米国特許
出願番号０９／７０４，１７６、２０００年１０月３１
日出願）において、スヌーピング、ディレクトリ、グロ
ーバル・コヒーレンシ・フィルタに代わる方法が開示さ
れている。出願０９／７０４，１７６では、特定のキャ
ッシュが所有権をもつシステム内のすべてのキャッシュ
・ラインのタグのリスト（グローバル・オーナーシップ
・タグ・リストすなわちＧＯＴＬ）をコンピュータ・シ
ステムが保持している。すなわち、ＧＯＴＬ内の各タグ
に対応するラインは汚れている(dirty)かもしれず、又
は単に汚れている恐れがある（変更可能である）かもし
れない。ＧＯＴＬには所有されているラインは含まれて
いるが、一般にシステム内の共用のラインがすべて含ま
れるわけではない。特定のラインのエントリがＧＯＴＬ
内にない場合、このラインは共用と仮定できる。ＧＯＴ
Ｌを使用すると、実際にデータを転送しなくても所有権
を転送できることも留意されたい。 【００４１】ＧＯＴＬは、本発明に特に適している。つ
まり、ＧＯＴＬには少なくとも１ラインが所有されてい
る各ライン・グループのエントリを含めることができ
る。さらに、各エントリにはライン・グループ内の各ラ
インのコヒーレンシ状態と、どのプロセッサ、キャッシ
ュ、ノード、バスがそのラインのオーナーかに関する情
報を含めることができる。キャッシュ内の特定の１ライ
ンが所有されている場合は、対応するライン・グループ
のタグをＧＯＴＬに配置でき、ＧＯＴＬエントリの要素
としてこの特定のラインに所有のマークが付き、オーナ
ーが特定される。コヒーレンシ状態を判断する各ステッ
プ（図２のステップ２００、２０４、２０８、図３のス
テップ３００、３０４、３０８、図４のステップ４０
０）では、ＧＯＴＬをチェックすることでコヒーレンシ
状態を判断できる。ただし、通常、ラインのアドレスが
ＧＯＴＬに記載されるのは、そのラインが所有されてお
り、グループ内の個々のラインに共用のマークが付いて
も、ＧＯＴＬ内のライン・グループのアドレスをＧＯＴ
Ｌに残すことができる場合のみであることに留意された
い。例えば、前述のように、図２のステップ２０２で
は、ライン・グループ全体の既存のコピーを無効化でき
る。又は、空き領域が必要なければライン・グループの
元のコピーを残しておくこともできる。ＧＯＴＬの領域
が必要な場合、システムは所有されていないライン・グ
ループを削除してから、部分的に所有権のあるグループ
を削除することができる。 【００４２】図５に、図３と図４（所有権が要求され
る）に相当するものでＧＯＴＬを使用した場合のもう１
つの例を示す。前述の説明によると、オプションでライ
ン・グループを部分的に所有しなくなってもそれをキャ
ッシュ内に残しておくことができる。従って、ライン・
グループ内のラインが所有されていない場合でも、その
ライン・グループのエントリをＧＯＴＬに残すことがで
きる。つまり、ライン・グループのラインが所有される
と必ずＧＯＴＬにエントリが作成されるが、そのライン
・グループ内のすべてのラインが所有されなくなって
も、そのエントリが直ちに削除されるとは限らない。Ｇ
ＯＴＬは、汚れているラインを含むことがある。要求さ
れたラインを含むライン・グループがＧＯＴＬ内にない
場合（ステップ５００）、又はライン・グループはＧＯ
ＴＬ内に存在するが全体が所有されてはいない場合（ス
テップ５０２）は、リクエスタは最大でこのライン・グ
ループ全体を受け取る（ステップ５０４）。要求された
ラインは所有されていないが、同じライン・グループ内
の他のラインが所有されている場合は（ステップ５０
６）、最大で所有されていないすべてのラインを受け取
る（ステップ５０８）。要求されたラインが所有されて
おり、対応するライン・グループの所有権が混在する場
合は、要求されたラインのみを受け取る（ステップ５１
２）。ライン・グループ全体が同一のオーナーに所有さ
れている場合は、このライン・グループ全体を受け取る
（ステップ５１４）。 【００４３】ただし、図２乃至４の一部のステップで
は、例えば図２のステップ２０２のようにグループのサ
ブセットがコピーされる。例えば、ＣＰＵ命令によって
単一のラインが要求された場合、対応するライン・グル
ープ内の所有されていないすべてのラインがまもなく要
求される見込みがある場合はそれらが推論に基づいてコ
ピーされる。あるいは、リクエスタが１つのラインを要
求しただけの場合にも、複数のラインの所有権を認める
ことができる。あるいは、１つのラインとライン・グル
ープ内の所有されていない他のすべてのラインを明示的
に要求する特殊なＣＰＵ命令を実施することもできる。
以上のいずれの場合にも、本システムは最低限要求され
たラインをコピーする。あるいは、ライン・グループ全
体のコピー又は所有権を明示的に要求する特殊なＣＰＵ
命令を実施してもよい。システム・アーキテクチャの他
の部分によっては、分割できない１つの操作で２ライン
以上を要求することもできる。 【００４４】以上の記述では、ライン・グループのコヒ
ーレンシが保持される。例えばＭＥＳＩを利用できる。
ＭＥＳＩでは、ライン・グループがＭの状態にあるのは
グループ内のすべてのラインがＭの状態にある場合のみ
である（他の状態についても同様）。ただし、図２乃至
５に示す方法では、ライン・グループの所有権によって
ライン・グループに関するより有効なコヒーレンシ情報
が提供される。特に、図２乃至５に示す方法で、判断２
００、２０８、３００、３０８、４００、５０２、５１
０には以下に示す一連のライン・グループの所有権コヒ
ーレンシ状態が好ましい。 【００４５】未所有（グループ内のすべてのラインが未
所有） 複数オーナー（少なくとも１ラインが所有されており、
すべてのラインが同一のオーナーによって所有されるわ
けではない） １オーナー（グループ内のすべてのラインが同一のオー
ナーに所有されている） １オーナーの変更（グループ内のすべてのラインが同一
のオーナーによって変更されている） さらに、図２乃至５の判断にはキャッシュ・レベルでな
くノード・レベルの所有権のみが必要である。例えば、
グループ内のすべてのラインが同一のノード内のキャッ
シュ（複数）に所有されており、１本のバス上でスヌー
プできることがわかれば十分である。 【００４６】本発明に関する以上の記述は、例示と説明
のみを目的とするものである。本発明のすべてを記述す
るものではなく、本発明を開示した形式のみに限定する
ものでもない。上述の教示を参照して、他の変更および
変形が可能である。本実施態様は、本発明の原理の最適
な説明を提供するために選択され、記述されており、他
の当業者はこれを実用的に応用することで、検討中の特
定の用途に適した様々な実施態様と様々な変形に本発明
を最適に利用できる。特許請求の範囲は、従来の技術に
よって制限される場合を除き、本発明のその他の実施態
様を含めて解釈されるものとする。 【００４７】本発明の態様を以下に例示する。 【００４８】１．単一のメモリ・トランザクションによ
って１つのライン・グループを読み出してキャッシュに
格納するキャッシュ・メモリ（Ｃ１、Ｃ２）と、存在す
る場合、そのライン・グループを所有するデバイスと、
存在する場合、そのライン・グループ内の個々のライン
を所有するデバイスを継続的に認識しているシステムを
備えるコンピュータ・システム。 【００４９】２．プロセッサ（Ｐ）をさらに含み、プロ
セッサがライン・グループ内の単一のラインを要求し、
そのラインがキャッシュ・メモリ内に存在せず、そのラ
イン・グループ内の２つ以上のラインが所有されていな
い場合に、その２つ以上のラインをキャッシュ・メモリ
にコピーする上記１に記載のコンピュータ・システム。 【００５０】３．メモリ・システムをさらに含み、第１
のノード（１００）のキャッシュ・メモリ（１１０）が
第２のノード（１０２）のキャッシュ・メモリから取得
できるラインを要求し、このラインが第３のノード（１
０４）の共用メモリ（１１４）からも取得できる場合
に、メモリ・システムが第３のノードの共用メモリから
第１のノードのキャッシュ・メモリにライン・グループ
をコピーする上記１に記載のコンピュータ・システム。 【００５１】４．第１のノード（１００）のキャッシュ
・メモリ（１１０）が第２のノード（１０４）のキャッ
シュ・メモリ（１１６）内の共用の状態で取得できるラ
インを要求した場合に、このラインを第２のノードのキ
ャッシュ・メモリからでなく第２のノードのメモリ（１
１４）から取得する上記１に記載のコンピュータ・シス
テム。 【００５２】５．ライン・グループ内の少なくとも２つ
のラインのオーナーが異なる上記１に記載のコンピュー
タ・システム。 【００５３】６．単一のメモリ・トランザクションによ
って１つのライン・グループを読み出してキャッシュに
格納するキャッシュ・メモリ（Ｃ１、Ｃ２）を含み、ラ
イン・グループが要求され、そのライン・グループの一
部を別のキャッシュ・メモリが所有する場合に、キャッ
シュ・メモリがそのライン・グループのすべてのライン
より少ないラインを受け取るコンピュータ・システム。 【００５４】７．コンピュータ・システムのコヒーレン
シを維持する方法であって、単一のラインの要求に応答
して１つのライン・グループを取得すること（２０２、
２０６、２１２、３０２、３０６、３１２、４０２’、
４０２’’、４０４）と、そのライン・グループとその
ライン・グループ内の個々のラインの所有権に関する情
報を保持すること（２０２、２０６、２１２、３０２、
３０６、３１２、４０２’、４０２’’、４０４）を含
む方法。 【００５５】８．コンピュータ・システム内でメモリの
ラインを転送する方法であって、プロセッサ（Ｐ）によ
ってメモリのラインを要求することと、要求されたメモ
リのラインを共用メモリ（Ｍ）からキャッシュ・メモリ
（Ｃ１、Ｃ２）にコピーすることと、要求されたライン
に対応するライン・グループ内の所有されていない他の
すべてのラインを共用メモリからキャッシュ・メモリに
コピーすること（２０２、２０６、３０２、３０６）
と、このライン・グループ内の要求されたライン以外の
所有されているライン（存在する場合）をコピーしない
ことを含む方法。 【００５６】９．コンピュータ・システムのコヒーレン
シを維持する方法であって、（ａ）プロセッサ（Ｐ）に
よってメモリのライン、すなわちライン・グループ内の
メモリのラインを要求することと、（ｂ） ステップ
（ａ）の要求に応答して、ライン・グループ内のすべて
のラインが同一のオーナーによって変更された場合に、
このライン・グループ内のすべてのラインをプロセッサ
のキャッシュ・メモリ（Ｃ１、Ｃ２）にコピーすること
（４０４）と、（ｃ） ステップ（ａ）の要求に応答し
て、ライン・グループ内のすべてのラインが所有されて
いるがこのライン・グループ内の少なくとも１つのライ
ンが変更されていない場合に、このライン・グループ内
の要求されたラインのみをプロセッサのキャッシュ・メ
モリにコピーすること（４０２）を含む方法。

【図面の簡単な説明】 【図１】本発明で使用するのに適したコンピュータ・シ
ステムの例を表すブロック図である。 【図２】所有権を要求しないライン要求のコヒーレンシ
を維持する方法の例を表す流れ図である。 【図３】所有権を要求するライン要求のコヒーレンシを
維持する方法の例を表す流れ図である。 【図４】図３の一部に代替方法の例を表す流れ図であ
る。 【図５】 図２乃至４に代替方法の例を表す流れ図であ
る。 【符号の説明】 １００、１０２、１０４ ノード Ｃ１、Ｃ２ キャッシュ・メモリ Ｍ 共用メモリ Ｐ プロセッサ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 12/08 ５５１ Ｇ０６Ｆ 12/08 ５５１Ｃ 15/16 ６４５ 15/16 ６４５ 15/177 ６８２ 15/177 ６８２Ｊ Ｆターム(参考） 5B005 JJ12 KK03 KK14 MM01 NN12 NN42 NN54 PP11 5B045 BB12 BB28 DD12 DD13 EE03 EE07

Claims (1)

1. 【特許請求の範囲】 【請求項１】単一のメモリ・トランザクションによって
   １つのライン・グループを読み出してキャッシュに格納
   するキャッシュ・メモリと、 存在する場合、そのライン・グループを所有するデバイ
   スと、存在する場合、そのライン・グループ内の個々の
   ラインを所有するデバイスを継続的に認識しているシス
   テムを備えるコンピュータ・システム。