JP2002055881A - キャッシュ一致制御の実現方法およびこれを用いたデータ処理装置 - Google Patents

Abstract

(57)【要約】 【課題】上位階層キャッシュのキャッシュ状態遷移に制
約を加えることなくキャッシュ一致制御を行う包含型の
階層キャッシュシステムを実現する。また、下位階層キ
ャッシュのキャッシュデータ格納用メモリが非実装であ
った場合でも、下位階層キャッシュのキャッシュタグを
メモリアクセス権制御に使用可能とする。 【解決手段】下位階層キャッシュのキャッシュタグ部
に、上位階層キャッシュのキャッシュステートを無効、
共有、占有の３状態により追跡する上位階層キャッシュ
状態フィールドを設け、また、下位階層キャッシュのキ
ャッシュタグ部に、下位階層キャッシュのキャッシュス
テートを無効、共有、占有非更新、占有更新の４状態で
管理する下位階層キャッシュ状態フィールドを設ける。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計算機システムに
おけるキャッシュメモリの一致制御処理に係わり、特に
並列計算機システムにおいて複数プロセッサのキャッシ
ュ間の一致制御を行う方法および装置に関する。

【０００２】

【従来の技術】大規模集積回路の設計プロセス微細化に
よる周波数向上、方式改良による処理効率向上に伴っ
て、マイクロプロセッサ（ＣＰＵ）の性能は年々向上し
ている。これに伴い、ＣＰＵに接続するメモリシステム
のアクセススループット向上およびアクセスレイテンシ
短縮の必要性が高まっている。

【０００３】メモリシステムの性能を向上させる方法と
して、キャッシュメモリを用いる方式が一般化してい
る。キャッシュメモリは、主メモリと比較して小容量で
はあるが、アクセススループットが高く、アクセスレイ
テンシの短いメモリである。キャッシュメモリをＣＰＵ
と主メモリの間に配置し、主メモリの内容の一部をキャ
ッシュラインと呼ばれるブロック（例えば６４Ｂ）単位
で一時的にキャッシュメモリに保持させる。

【０００４】ＣＰＵのメモリアクセス処理時に、キャッ
シュメモリ内に保持されたデータについてはキャッシュ
メモリからデータを供給することで、主メモリからデー
タを供給する場合と比較して高スループット、低レイテ
ンシでデータ供給が可能となる。このようなキャッシュ
メモリは、一般に階層化することでコストパフォーマン
スの最適化が図られる。例えばＣＰＵ内部に小容量かつ
高速の一次キャッシュ（Ｌ１キャッシュ）、ＣＰＵ外部
に大容量の二次キャッシュ（Ｌ２キャッシュ）を設ける
等の手法がとられる。

【０００５】単一ＣＰＵで実現できない計算機性能を得
るために、複数のＣＰＵをバスまたはネットワークで接
続したマルチプロセッサシステムが構成される。このよ
うなステムでは上記複数のＣＰＵが共通の主メモリ（共
有メモリ）をアクセスして処理を進める。したがって、
あるＣＰＵがメモリアクセスを発行すると、他の全ＣＰ
Ｕのキャッシュ上で最新ラインの存在等のチェックを行
い、全ＣＰＵのキャッシュの一貫性を保証しなければな
らない。この処理は、キャッシュ一致制御（スヌープ）
と呼ばれる。

【０００６】階層キャッシュシステムでは、キャッシュ
一致制御のつどＬ１キャッシュ内およびＬ２キャッシュ
内にキャッシュ一致制御に対応するラインが保持されて
いるかどうか調査するのを避けるため、Ｌ１キャッシュ
は常にＬ２キャッシュ内に存在するラインのみを登録す
る包含方式を採用することが多い。包含方式によればＬ
２キャッシュ内に存在しないラインは、Ｌ１キャッシュ
内にも存在しないことが保証される。これにより、キャ
ッシュ一致制御時には、まずＬ２キャッシュが上記ライ
ンを保持するか否かを調査し、保持していない場合には
Ｌ１キャッシュの調査を省略できる。大部分のキャッシ
ュ一致制御でＬ１キャッシュの調査が省略できれば、Ｃ
ＰＵのＬ１キャッシュ使用が妨害されず、処理性能が向
上する。

【０００７】Ｌ１キャッシュ、Ｌ２キャッシュは一般に
公知の技術であるＭＥＳＩプロトコルと呼ばれる４状態
のキャッシュ状態を用いて制御される。ＭＥＳＩプロト
コルでは、同一階層の複数キャッシュが共有メモリの同
一ラインを共有状態（Ｓ：Ｓｈａｒｅｄ）でキャッシン
グ可能である。一方、最新状態（Ｍ：Ｍｏｄｉｆｉｅ
ｄ）または排他状態（Ｅ：Ｅｘｃｌｕｓｉｖｅ）のライ
ンは、同一階層のいずれか１つのキャッシュのみがキャ
ッシング可能であり、同一階層の他のキャッシュは上記
ラインをキャッシングできない（Ｉ：Ｉｎｖａｌｉ
ｄ）。

【０００８】特開平１１−２３２１７２（以下従来例
１）では、包含方式の階層キャッシュシステムにおい
て、ＭＥＳＩプロトコルを用いたＬ１キャッシュ、Ｌ２
キャッシュによるキャッシュ一致制御が開示されてい
る。この発明によれば、｛Ｌ１キャッシュ状態、Ｌ２キ
ャッシュ状態｝＝｛Ｅ，Ｅ｝，｛Ｍ，Ｅ｝を禁止し、キ
ャッシュ状態遷移を容易化している。

【０００９】また、特開平１０−３０１８５０（以下従
来例２）では、Ｌ１キャッシュエントリ複数を同一Ｌ２
キャッシュエントリに登録させるセクタ化キャッシュに
おけるキャッシュ一致制御が開示されている。この従来
例２によれば、Ｌ２キャッシュエントリに、Ｌ２キャッ
シュ状態（ＭＥＳＩ状態）およびＬ１キャッシュエント
リ毎の包含ビットを付加し、Ｌ２キャッシュ状態と包含
ビット値によってＬ１キャッシュの一致制御要否を判断
する。これにより、Ｌ２キャッシュ状態のみに基づきＬ
１キャッシュの一致制御を行う場合と比較し、不要な一
致制御を削減できる。また、この従来例２によれば｛Ｌ
１キャッシュ状態，Ｌ２キャッシュ状態｝＝｛Ｅ，
Ｅ｝，｛Ｍ，Ｅ｝を禁止し、キャッシュ状態遷移を容易
化している。

【００１０】

【発明が解決しようとする課題】前記従来例１または２
では、Ｌ２キャッシュエントリにＬ１キャッシュ状態を
保持し、かつ｛Ｌ１キャッシュ状態，Ｌ２キャッシュ状
態｝＝｛Ｅ，Ｅ｝，｛Ｍ，Ｅ｝を許可しない構成となっ
ている。この制限により、キャッシュ状態遷移を容易化
しているが、以下の問題が生じる。

【００１１】（１）ＣＰＵのメモリ読み出し（メモリリ
ード）の結果、Ｌ２キャッシュ状態をＭ状態としない限
り、Ｌ１キャッシュ状態はＳ状態となるように遷移させ
る。すなわち、メモリリード完了時点で｛Ｌ１キャッシ
ュ状態，Ｌ２キャッシュ状態｝＝｛Ｓ，ＥまたはＳ｝と
する。このため、ＣＰＵがメモリリード後にこのライン
に書き込みを行う場合、Ｌ１キャッシュ状態＝Ｓのた
め、メモリ読み出しおよび他キャッシュ無効化（メモリ
リードインバリデート：メモリリードＩ）が必要とな
り、余計なアクセスがＣＰＵから発行される。

【００１２】（２）ＣＰＵのメモリリードＩの結果、Ｌ
２キャッシュ状態は必ずＭ状態となるように遷移させ
る。すなわち、メモリリードＩ完了時点で｛Ｌ１キャッ
シュ状態，Ｌ２キャッシュ状態｝＝｛ＥまたはＭ，Ｍ｝
とする。この結果、プロセッサが上記ラインに書き込み
を行わなかった場合でもＬ２キャッシュの書き戻しが必
要となる。

【００１３】また、Ｌ２キャッシュは一般に大容量であ
り、かつ主メモリと比較して高速性能が要求される。特
にキャッシュデータ格納用メモリは容量が大きいため、
キャッシュデータ格納用メモリを搭載しない廉価モデル
が構成される場合がある。このようなコンピュータで
は、Ｌ２キャッシュタグで主メモリのアクセス権をライ
ン単位で管理し、自ＣＰＵまたは自Ｌ２キャッシュタグ
がアクセス権を有する場合には、他ＣＰＵまたは他Ｌ２
キャッシュタグのキャッシュ一致制御を省いてメモリア
クセスを行う方式も考えられる。この場合、Ｌ２キャッ
シュタグはアクセス権を格納するアクセス権メモリとし
て使用される。

【００１４】このような機能を提供する場合、Ｌ２キャ
ッシュのキャッシュデータ格納用メモリの搭載有無に応
じてＬ２キャッシュ動作とアクセス権メモリ動作を切り
替えることを可能にしておく必要があり、キャッシュデ
ータ格納用メモリが有る場合とない場合の両方の機能を
容易に提供可能とするために、Ｌ２キャッシュ動作とア
クセス権メモリ動作の状態遷移の大部分を共通化する必
要が生じる。

【００１５】本発明の目的は、階層キャッシュシステム
において上位階層キャッシュのキャッシュ状態遷移に制
約を加えることなくキャッシュ一致制御を行う包含型の
階層キャッシュシステムを実現することにある。また、
本発明の他の目的は、下位階層キャッシュのキャッシュ
データ格納用メモリが非実装であった場合でも、下位階
層キャッシュのキャッシュタグをメモリアクセス権制御
に使用可能とすることにある。

【００１６】

【課題を解決するための手段】上記目的を達成するた
め、本発明によるキャッシュ一致制御の実現方法は、少
なくとも１つの上位階層キャッシュと下位階層キャッシ
ュとを有し、上位階層キャッシュ内のラインが下位階層
キャッシュに包含される階層型キャッシュシステムにお
いて、下位階層キャッシュのキャッシュタグ部に上位階
層キャッシュのキャッシュステートを追跡する上位階層
キャッシュ状態フィールドを有するキャッシュ一致制御
方法であって、前記上位階層キャッシュ状態フィールド
は、少なくとも無効、共有、占有の３状態を区別し、前
記下位階層キャッシュのキャッシュタグ部は、下位階層
キャッシュのキャッシュステートを示す下位階層キャッ
シュ状態フィールドを有し、前記下位階層キャッシュ状
態フィールドは少なくとも無効、共有、占有非更新、占
有更新の４状態を区別する。

【００１７】また、前記上位階層キャッシュへの読み出
し処理の結果、前記上位階層キャッシュのキャッシュ状
態を占有非更新、前記下位階層キャッシュのキャッシュ
状態を占有非更新または占有更新とし、前記下位階層キ
ャッシュの上位階層キャッシュ状態フィールドを占有と
することで、以後の前記上位階層キャッシュへの書き込
み処理時に、前記上位階層キャッシュに書き込みを行
い、上位階層キャッシュのキャッシュ状態を占有更新と
し、前記下位階層キャッシュへのアクセス等を行わずに
読み出し処理後の書き込み処理を実行可能とする。

【００１８】また、前記上位階層キャッシュへの他キャ
ッシュ無効化付読み出し処理の結果、前記上位階層キャ
ッシュのキャッシュ状態を占有非更新または占有更新、
前記下位階層キャッシュのキャッシュ状態を占有非更新
とし、前記下位階層キャッシュの上位階層キャッシュ状
態フィールドを占有とすることで、以後前記上位階層キ
ャッシュにキャッシュした前記処理のデータに対して書
き込みを行わなかった場合に、下位階層キャッシュから
メモリへの書き戻しなしに下位階層キャッシュの上記エ
ントリを無効化可能とする。

【００１９】さらに、前記下位階層キャッシュのキャッ
シュデータ格納用メモリが実装されない場合に、前記下
位階層キャッシュ状態フィールドを少なくとも無効、共
有、占有非更新の３状態の状態遷移に切り替えて、上記
下位階層キャッシュ状態フィールドを共有メモリのアク
セス権が上記下位階層キャッシュを有する制御回路に存
在することを示すフィールドとして使用すると共に、下
位階層キャッシュのキャッシュデータへの登録処理を削
除し、下位階層キャッシュのキャッシュヒット時のキャ
ッシュデータ読み出しをキャッシュ一致制御処理の伴わ
ないメモリ読み出しに変更し、下位階層キャッシュへの
書き戻しをメモリへの書き戻しに変更することで、下位
階層キャッシュのキャッシュデータ格納用メモリが実装
される場合には下位階層キャッシュとして、下位階層キ
ャッシュのキャッシュデータ格納用メモリが実装されな
い場合には下位階層キャッシュのキャッシュタグを用い
たアクセス権メモリとして動作可能とする。

【００２０】また、本キャッシュ一致制御の実現方法
は、階層キャッシュシステムを持つデータ処理装置に適
用できる。

【００２１】

【発明の実施の形態】（実施の形態例１）本発明の第１
の実施の形態を説明する。図１は、本実施の形態に係る
並列計算機の構成例である。図１の並列計算機は、Ｎ個
のノード１００−１〜１００−Ｎおよび共有メモリ１１
０が相互結合網１２０で接続され、ノード１００−１内
ではそれぞれにＬ１キャッシュ（１６０−１、１６０−
２）を有するＣＰＵ１１（１５０−１），ＣＰＵ１２
（１５０−２）がＣＰＵバス１３０を介してノード制御
回路１４０に接続された構成をとる。ノード制御回路１
４０は、Ｌ２キャッシュ（Ｌ２タグ１７０、Ｌ２データ
１８０からなる）および相互結合網１２０にも接続され
る。ここで、本実施の形態では、ノード１００−１〜１
００−Ｎは同一の構成を有するものとして説明する。

【００２２】また、上記Ｌ２タグ１７０とＬ２データ１
８０からなるＬ２キャッシュは、公知であるダイレクト
マップ方式、セットアソシアティブ等の方式が選択可能
である。本発明は上述のようないずれのＬ２キャッシュ
方式に対しても実施可能であるが、簡単のため以下では
ダイレクトマップ方式を例に説明する。

【００２３】Ｌ２タグ１７０は、インデクス１７０ａで
指示される各エントリ毎にＬ１状態１７０ｂ（２ビッ
ト）、Ｌ２状態１７０ｃ（２ビット）、タグ１７０ｄ
（１０ビット）を持つメモリである。本実施の形態にお
いてＬ２キャッシュは、６４Ｂラインを６４Ｋエントリ
格納可能、すなわち６４Ｂ×６４Ｋ＝４ＭＢの容量を持
つものとする。このときインデクスは１６ビット（６４
Ｋ分）、ライン内アドレスは６ビット（６４Ｂ分）で表
される。また、メモリアドレス空間が４ＧＢ（３２ビッ
ト）の場合、タグ１７０ｄは１０ビット（３２ビット−
１６ビット−６ビット）となる。

【００２４】メモリ上のあるラインは、そのメモリアド
レス（３２ビット）がタグ部（１０ビット）、インデク
ス部（１６ビット）、ライン内アドレス（６ビット）に
分離され、このインデクス部に示されるＬ２キャッシュ
エントリに登録される。このため、あるメモリアドレス
がＬ２キャッシュに登録されているかどうかは、Ｌ２タ
グ１７０内の、メモリアドレスのインデクス部に対応す
るエントリのタグ１７０ｄに、メモリアドレスのタグ部
が登録されているかを調査すればよい。

【００２５】本発明は、Ｌ１状態１７０ｂはＩ、Ｓ、Ｏ
（Ｏｗｎｅｄ＝ＥまたはＭ）状態の３状態を持ち、Ｌ１
キャッシュ１６０−１、１６０−２内のＩ、Ｓ、Ｅまた
はＭの３状態をＬ１状態１７０ｂのみで区別可能とする
点を特徴とする。また、Ｌ２状態１７０ｃは基本的には
ＭＥＳＩプロトコルを採用し、Ｌ２キャッシュ動作時に
は４状態、アクセス権メモリ動作時にはＥ、Ｓ、Ｉの３
状態のみを使用する点を特徴とする。

【００２６】ＣＰＵ１１（１５０−１）、ＣＰＵ１２
（１５０−２）が各々持つＬ１キャッシュ１６０−１、
１６０−２も、一般的にはＬ２キャッシュと同様にＬ１
タグとＬ１データから構成されるが、そのことは公知で
あるので、ここではその詳細を省く。本発明では、Ｌ１
キャッシュ１６０−１、１６０−２の内容は、Ｌ２キャ
ッシュ１７０、１８０に包含される。このため、Ｌ１キ
ャッシュ１６０−１、１６０−２の合計の容量は、Ｌ２
キャッシュ容量以下であることが望ましい。

【００２７】図１の並列計算機は、本発明の階層キャッ
シュ方式の説明を容易化するため一例としてあげたもの
であり、本発明は階層キャッシュ方式を持つあらゆるマ
ルチプロセッサシステムに適用可能である。また、本発
明は、Ｌ１キャッシュ、Ｌ２キャッシュ間のキャッシュ
一致制御について述べたものであり、Ｌ２キャッシュ間
のキャッシュ一貫性が保証されていればＬ２キャッシュ
間のキャッシュ一致保証の方式（スヌープ方式、ディレ
クトリ方式）に係わらず適用可能である。

【００２８】図２に、ＣＰＵ（ここではＣＰＵ１１（１
５０−１）として説明する）がメモリ読み出し処理また
はメモリ書き込み処理を行う結果、ＣＰＵバス１３０に
発行されるアクセスと、その処理およびキャッシュ状態
遷移を示す。

【００２９】図２の第２列は、ＣＰＵがＬ１キャッシュ
ミス時にＣＰＵバス１３０に発行するアクセスを示す。
アクセスの種類は以下のとおりである。

【００３０】（１）リード要求 ＣＰＵ１１（１５０−１）は、メモリ読み出し時にＬ１
キャッシュミスが発生すると、リード要求をＣＰＵバス
１３０に発行する。リード要求の結果、他プロセッサ内
の対象キャッシュラインをＩ、Ｓ状態のいずれかに遷移
させたうえで、Ｌ１キャッシュ１６０−１に上記ライン
を登録する。

【００３１】（２）リードＩ要求 メモリ書き込み時にＬ１キャッシュミスが発生すると、
リードＩ要求（リード・アンド・インバリデート）をＣ
ＰＵバス１３０に発行する。リードＩ要求の結果、他プ
ロセッサ内のキャッシュから上記ラインを抹消したうえ
で、Ｌ１キャッシュ１６０−１に上記ラインを登録す
る。その後Ｌ１キャッシュ１６０−１上で書き込みを行
ってＬ１キャッシュ状態をＭ状態とし、書き込みを完了
させる。

【００３２】（３）ライトバック要求 あるラインをＬ１キャッシュ１６０−１に登録するため
に、Ｌ１キャッシュ１６０−１から他のラインを抹消す
る（リプレース）必要が生じる場合がある。このとき、
抹消するラインがＭ状態なら、ＣＰＵ１１（１５０−
１）はライトバック要求をＣＰＵバス１３０に発行して
このデータをＬ２キャッシュに書き戻させる。

【００３３】図２の第４列は、要求元ＣＰＵ１１（１５
０−１）がＣＰＵバス１３０に発行したアクセスに対す
る隣接ＣＰＵ１２（１５０−２）のＬ１キャッシュ１６
０−２状態通知である。隣接ＣＰＵ１２（１５０−２）
は以下のいずれかの状態を通知する。

【００３４】（１）ＬＣＬＥＡＮ 上記ＣＰＵは、対象ラインをＭ状態で保持しておらず、
アクセス処理の結果対象ラインを保持しない、あるい
は、Ｉ状態に遷移させたことを示す。

【００３５】（２）ＬＳＨＡＲＥ 上記ＣＰＵは、対象ラインをＭ状態で保持しておらず、
アクセス処理の結果対象ラインをＳ状態に遷移させたこ
とを示す。

【００３６】（３）ＬＭＯＤＩＦＩＥＤ 上記ＣＰＵは、対象ラインをＭ状態で保持しており、書
き戻しを行うことを示す。このとき、上記ＣＰＵは書き
戻し後対象ラインをＩ状態に遷移させる。

【００３７】図２の第５列は、要求元ＣＰＵ１１（１５
０−１）の発行したアクセス種類、アクセス対象ライン
のＬ２タグ１７０におけるＬ２状態、隣接ＣＰＵ１２
（１５０−２）のＬ１キャッシュ１６０−２状態通知に
応じてノード制御回路１４０が行う要求処理を示す。

【００３８】（１）ＣＯＨメモリリード 他ノードキャッシュの読み出し一致制御（後述）を行う
と共に、共有メモリから対象ラインを読み出し、使用す
る。ただし、他ノードキャッシュがＭ状態であった場合
には、このキャッシュデータを使用する。

【００３９】（２）ＣＯＨメモリリードＩ 他ノードキャッシュの書き込み一致制御（後述）を行う
と共に、共有メモリから対象ラインを読み出し、使用す
る。ただし、他ノードキャッシュがＭ状態であった場合
には、このキャッシュデータを使用する。

【００４０】（３）ＮＣＯＨメモリリード Ｌ２データ１８０がなく、Ｌ２タグ１７０をアクセス権
メモリとして使用する場合に発行される。自ノードにア
クセス権があるため、他ノードキャッシュのキャッシュ
一貫性は既に取れている。このため、他ノードキャッシ
ュの一致制御は行わず、共有メモリから対象ラインを読
み出し使用する。

【００４１】（４）Ｌ２データリード Ｌ２データ１８０が存在し、Ｌ２キャッシュとして使用
する場合に発行される。

【００４２】Ｌ２キャッシュ（Ｌ２データ１８０）から
対象ラインを読み出し使用する。本動作は、上記アクセ
スがＬ２キャッシュにヒットした場合に行われる。

【００４３】（５）Ｌ２ライトバック Ｌ２データ１８０が存在し、Ｌ２キャッシュとして使用
する場合に、以下のいずれかの場合に発行される。

【００４４】（ａ）要求元ＣＰＵ１１（１５０−１）が
Ｌ１キャッシュ１６０−１からＭ状態のラインをリプレ
ースする場合、このラインはＬ２キャッシュ１７０、１
８０に書き込まれる。

【００４５】（ｂ）要求元ＣＰＵ１１（１５０−１）の
アクセス時に、隣接ＣＰＵ１２（１５０−２）がアクセ
ス対象ラインをＬ１キャッシュ１６０−２内にＭ状態で
保持していた場合に、隣接ＣＰＵ１２（１５０−２）は
Ｌ１キャッシュ１６０−２からＬ２キャッシュ１７０、
１８０にＭ状態のラインを書き戻す。要求元ＣＰＵ１１
（１５０−１）は、この書き戻しデータを受けて使用す
る。

【００４６】（６）メモリライトバック Ｌ２データ１８０が存在せず、Ｌ２タグ１７０をアクセ
ス権メモリとして使用する場合に発行される。Ｌ２ライ
トバック（５）において、Ｌ１キャッシュ１６０−１、
１６０−２からＬ２キャッシュ１７０、１８０への書き
戻しに代えて、共有メモリ１１０にＭ状態のラインを書
き戻す。

【００４７】図２の第６列は、ＣＯＨメモリリードまた
はＣＯＨメモリリードＩに対する、他ノード１００−２
〜１００−Ｎのキャッシュ状態通知である。各ノード制
御回路１４０がアクセスを受けて行う（後述）キャッシ
ュ一致制御の結果を、相互結合網１２０がまとめて要求
元ノードのノード制御回路１４０に通知する。

【００４８】（１）ＲＣＬＥＡＮ 他ノードは、対象ラインをＭ状態で保持しておらず、ア
クセス処理の結果対象ラインを保持しない、あるいは、
Ｉ状態に遷移させたことを示す。

【００４９】（２）ＲＳＨＡＲＥ 他ノードは、対象ラインをＭ状態で保持しておらず、ア
クセス処理の結果対象ラインをＳ状態に遷移させたノー
ドがあったことを示す。

【００５０】（３）ＲＭＯＤＩＦＩＥＤ あるノードが、対象ラインをＭ状態で保持しており、書
き戻しを行うことを示す。このとき、上記ノードは書き
戻し後対象ラインをＩ状態に遷移させる。

【００５１】図３に、各ノード制御回路１４０が他ノー
ドからのアクセスを受けて行うキャッシュ一致制御処理
またはノード制御回路１４０がＬ２タグ１７０のエント
リをリプレースする結果、ノード制御回路１４０が行う
処理およびキャッシュ状態遷移を示す。

【００５２】図３の第２列は、自ノード制御回路１４０
が受ける他ノードからのキャッシュ一致制御要求および
自ノードＬ２タグ１７０のリプレース時に自ノード制御
回路１４０が行うＬ２リプレースを示す。他ノードから
のキャッシュ一致制御要求は、ＣＯＨメモリリードによ
る読み出しキャッシュ一致制御要求およびＣＯＨメモリ
リードＩによる書き込みキャッシュ一致制御要求の２種
類である。

【００５３】図３の第５列は、自ノード制御回路１４０
が行うキャッシュ一致制御処理またはＬ２リプレース
が、自ノードＬ２タグ１７０のＬ２状態１７０ｃ、Ｌ１
状態１７０ｂに応じてＣＰＵバス１３０を介してＬ１キ
ャッシュ１６０−１、１６０−２のキャッシュ一致制御
を行うか、およびキャッシュ一致制御の結果を示す。

【００５４】リード、リードＩは、各々ノード制御回路
１４０がＣＰＵバス１３０に対して読み出しキャッシュ
一致制御および書き込みキャッシュ一致制御を発行する
ことを示す。ＬＣＬＥＡＮ、ＬＳＨＡＲＥ、ＬＭＯＤＩ
ＦＩＥＤは、ノード制御回路１４０がアクセスを発行す
る点以外は図２の第４列と同様である。

【００５５】図３の第６列は、他ノードからのキャッシ
ュ一致制御要求に対して自ノード制御回路１４０が通知
するキャッシュ状態通知を示す。ＲＣＬＥＡＮ、ＲＳＨ
ＡＲＥ、ＲＭＯＤＩＦＩＥＤは図２の第６列と同様であ
る。

【００５６】ノード制御回路１４０に、図２、図３に示
した処理およびキャッシュ状態遷移を実行させること
で、図１の並列計算機のキャッシュ一貫性が保たれる。

【００５７】つぎに、図２、図３によりキャッシュ一貫
性が保たれることを、ノード１（１００−１）のＬ２タ
グ１７０が｛Ｌ１状態，Ｌ２状態｝＝｛Ｉ，Ｉ｝，ノー
ド２（１００−２）のＣＰＵ２１（図示略）のＬ１キャ
ッシュがＭ状態、Ｌ２タグ１７０が｛Ｌ１状態，Ｌ２状
態｝＝｛Ｏ，Ｅ｝のときに、ＣＰＵ１１（１５０−１）
が読み出し処理を行うケースを例として説明する。

【００５８】（１）ＣＰＵ１１（１５０−１）の読み出
し処理は、Ｌ１キャッシュ１６０−１でミスしてＣＰＵ
バス１３０にリード要求として発行される。

【００５９】（２）ノード制御回路１４０は、対象ライ
ンのＬ２状態１７０ｃが“Ｉ”であること、および、隣
接ＣＰＵ１２（１５０−２）のＬＣＬＥＡＮ通知を確認
し、ＣＯＨメモリリードを発行する（図２＃１、＃２の
いずれかに該当）。

【００６０】（３）各ノードは、ＣＯＨメモリリードを
受けてキャッシュ一致制御を行う。ノード２は、Ｌ２タ
グ１７０を読み出し｛Ｌ１状態、Ｌ２状態｝＝｛Ｏ，
Ｅ｝を得て、図３の＃４、＃５、＃６に従い自ノードの
ＣＰＵバス１３０にリードスヌープ要求を発行する。

【００６１】（４）ノード２のＣＰＵ２１は、Ｌ１キャ
ッシュがＭ状態のため、ＬＭＯＤＩＦＩＥＤをノード制
御回路１４０に通知し書き戻しを行う。

【００６２】（５）ノード２のノード制御回路１４０は
以後図３の＃６にしたがって処理を進める。まず、ノー
ド２のキャッシュ状態ＲＭＯＤＩＦＩＥＤを相互結合網
１２０に通知する。

【００６３】（６）ノード２のＣＰＵ２１の書き戻し
は、Ｌ１キャッシュからメモリへのライトバックとして
メモリに書き戻される。このとき、ライトバックデータ
はノード１にも転送される。

【００６４】（７）ノード２のノード制御回路１４０
は、Ｌ２タグ１７０の状態を｛Ｌ１状態，Ｌ２状態｝＝
｛Ｉ，Ｉ｝とする。

【００６５】（８）ノード１のノード制御回路１４０
は、相互結合網１２０からＲＭＯＤＩＦＩＥＤを受け
る。以後、ノード１のノード制御回路１４０は図２の＃
１にしたがって処理を進める。

【００６６】（９）ノード１のノード制御回路１４０
は、Ｌ２タグ１７０の状態を｛Ｌ１状態，Ｌ２状態｝＝
｛Ｏ，Ｅ｝とする。また、ＣＰＵバス１３０に（６）の
データを転送し、ＣＰＵ１１（１５０−１）のＬ１キャ
ッシュ１６０−１にＥ状態として登録させる。

【００６７】本例では、以上の動作により以下に示すキ
ャッシュ状態遷移が行われる。 （ａ）ノード１ Ｌ１キャッシュ＝Ｉ状態→Ｅ状態 Ｌ２タグ＝Ｌ１状態：Ｉ状態→Ｏ状態、Ｌ２状態：Ｉ状
態→Ｅ状態 （ｂ）ノード２ Ｌ１キャッシュ＝Ｍ状態→Ｉ状態 Ｌ２タグ＝Ｌ１状態：Ｏ状態→Ｉ状態、Ｌ２状態：Ｅ状
態→Ｉ状態 他のケースについても同様にして、図２、図３からキャ
ッシュ状態遷移を決定できる。

【００６８】Ｌ２データ１８０を実装しないシステムで
は、Ｌ２キャッシュの代わりにＬ２タグ１７０をアクセ
ス権メモリとして代用する。このとき、Ｌ２状態１７０
ｃはＭ状態を除いたＩ、Ｓ、Ｅ（＝Ｏ）の３状態として
動作する。すなわち、図２、図３の＜＞内に示した状態
は存在せず、またＬ２状態１７０ｃをＭ状態に変更しな
い。また、Ｌ２データ１８０を使用するアクセスを行う
ノード制御回路１４０の処理は、以下に示すようにアク
セス権メモリとして使用するための処理に変更される。

【００６９】（ａ）Ｌ２キャッシュヒット時のＬ２デー
タリード（図２の＃３、＃４、＃５、＃９） Ｌ２キャッシュヒットは、アクセス権のヒットとなる。
よって他ノードのキャッシュ一致制御は不要であるた
め、キャッシュ一致制御を行わずメモリリードのみを行
う。

【００７０】（ｂ）Ｌ２キャッシュへのライトバック
（図２の＃６、＃１０、＃１１） Ｌ２キャッシュへのライトバックは、メモリへのライト
バックに変更する。

【００７１】（ｃ）Ｌ２キャッシュミス時のＬ２キャッ
シュへのメモリデータ登録 Ｌ２データ１８０は存在しないため、メモリデータ登録
は行わない。

【００７２】上記（ａ）ないし（ｃ）に関するノード制
御回路１４０の処理は、図２の〔〕内に示したものに変
更したものとなる。

【００７３】本実施の形態では、Ｌ２タグ１７０に、
Ｉ、Ｓ、Ｅ、Ｍの４状態を持つＬ２状態１７０ｃ、Ｉ、
Ｓ、Ｏの３状態を持つＬ１状態１７０ｂを付加すること
で、階層キャッシュシステムにおいて以下に示す事項を
実現できる。

【００７４】（ａ）リード要求時、Ｌ２キャッシュまた
は他ノードのキャッシング状況次第でＬ１キャッシュ最
終状態をＥ状態に遷移できる（図２＃１、＃４、＃
６）。リード要求に対してＬ１キャッシュをＥ状態にで
きれば、ＣＰＵが以後このラインに書き込みを行う場合
に、Ｌ１キャッシュへの書き込みおよび状態変更（Ｅ→
Ｍ）のみで書き込みを完了できる。

【００７５】（ｂ）リードＩ要求時、Ｌ２キャッシュが
メモリと同一データとなるケースでＬ２状態をＥ状態に
できる（図３＃７、＃８、＃９）。すなわち、ＣＰＵが
メモリリードＩを発行したときに、Ｌ２状態を必ずＭ状
態とする必要がなくなる。これにより、ＣＰＵが上記ラ
インに書き込みを行わない可能性がある場合にもメモリ
リードＩを発行するケースにおいて、後にＬ２キャッシ
ュから不必要なメモリライトバックが発行されるのを防
ぐことができる。

【００７６】（ｃ）Ｌ２データ１８０が非実装の場合、
図２の〔 〕の部分の処理に変更することで、アクセス
権メモリ動作を実現できる。このため、これ以外の部分
についてＬ２キャッシュ動作およびアクセス権メモリ動
作の処理を共通化できる。

【００７７】

【発明の効果】Ｌ２タグに、Ｉ、Ｓ、Ｅ、Ｍの４状態を
持つＬ２状態、Ｉ、Ｓ、Ｏの３状態を持つＬ１状態を付
加することで、階層キャッシュシステムにおいて以下に
示す事項を実現できる。

【００７８】（１）リード要求時、Ｌ２キャッシュまた
は他ノードのキャッシング状況次第でＬ１キャッシュ最
終状態をＥ状態に遷移できる。リード要求に対してＬ１
キャッシュをＥ状態にできれば、ＣＰＵが以後このライ
ンに書き込みを行う場合に、Ｌ１キャッシュへの書き込
みおよび状態変更（Ｅ→Ｍ）のみで書き込みを完了でき
る。このため、ＣＰＵはＣＰＵバスに本来不要なアクセ
スを発行しない。

【００７９】（２）リードＩ要求時、Ｌ２キャッシュが
メモリと同一データとなるケースでＬ２状態をＥ状態に
できる。すなわち、ＣＰＵがメモリリードＩを発行した
ときに、Ｌ２状態を必ずＭ状態とする必要がなくなる。
これにより、ＣＰＵが上記ラインに書き込みを行わない
可能性がある場合にもメモリリードＩを発行するケース
において、後にＬ２キャッシュから不必要なメモリライ
トバックが発行されるのを防ぐことができる。

【００８０】（３）Ｌ２データを付加しない場合、ノー
ド制御回路の処理およびキャッシュ状態遷移の一部を変
更すれば、アクセス権メモリ動作を実現できる。このた
め、これ以外の部分についてＬ２キャッシュ動作および
アクセス権メモリ動作の処理を共通化できる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係るマルチプロセッサシ
ステムの構成例を示すブロック図。

【図２】本発明の実施の形態に係るメモリアクセスを行
う際のＣＰＵおよびノード制御回路の動作および自ノー
ドキャッシュの状態遷移を示す説明図。

【図３】本発明の実施の形態に係る他ノードからキャッ
シュ一致要求を受けた際または自ノードＬ２タグをリプ
レースする際のＣＰＵおよびノード制御回路の動作およ
び自ノードキャッシュの状態遷移を示す図。

【符号の説明】

１００−１〜１００−Ｎ…ノード、１１０…共有メモ
リ、１２０…相互結合網、１３０…ＣＰＵバス、１４０
…ノード制御回路、１５０−１〜１５０−２…ＣＰＵ、
１６０−１〜１６０−２…Ｌ１キャッシュ、１７０…Ｌ
２タグ、１７０ａ…インデクス、１７０ｂ…Ｌ１状態、
１７０ｃ…Ｌ２状態、１７０ｄ…タグ、１８０…Ｌ２デ
ータ

フロントページの続き (72)発明者 上原 敬太郎 東京都国分寺市東恋ケ窪一丁目280番地 株式会社日立製作所中央研究所内 (72)発明者 小柳 勝 神奈川県秦野市堀山下１番地 株式会社日 立製作所エンタープライズサーバ事業部内 (72)発明者 村上 祥基 神奈川県秦野市堀山下１番地 株式会社日 立製作所エンタープライズサーバ事業部内 Ｆターム(参考） 5B005 JJ01 KK13 MM05 NN43 NN53 NN54 PP05 PP21 UU32 5B045 BB12 BB28 BB29 BB47 DD13

Claims (7)

【特許請求の範囲】
1. 【請求項１】少なくとも１つの上位階層キャッシュと下
   位階層キャッシュとを有し、上位階層キャッシュ内のラ
   インが下位階層キャッシュに包含される階層型キャッシ
   ュシステムにおいて、下位階層キャッシュのキャッシュ
   タグ部に上位階層キャッシュのキャッシュステートを追
   跡する上位階層キャッシュ状態フィールドを有するキャ
   ッシュ一致制御方法であって、前記上位階層キャッシュ
   状態フィールドは、少なくとも無効、共有、占有の３状
   態を区別することを特徴とするキャッシュ一致制御の実
   現方法。
2. 【請求項２】前記下位階層キャッシュのキャッシュタグ
   は、下位階層キャッシュのキャッシュステートを示す下
   位階層キャッシュ状態フィールドを有し、前記下位階層
   キャッシュ状態フィールドは少なくとも無効、共有、占
   有非更新、占有更新の４状態を区別することを特徴とす
   る請求項１記載のキャッシュ一致制御の実現方法。
3. 【請求項３】前記上位階層キャッシュへの読み出し処理
   の結果、前記上位階層キャッシュのキャッシュ状態を占
   有非更新、前記下位階層キャッシュのキャッシュ状態を
   占有非更新または占有更新とし、前記下位階層キャッシ
   ュの上位階層キャッシュ状態フィールドを占有とするこ
   とで、以後の前記上位階層キャッシュへの書き込み処理
   時に、前記上位階層キャッシュに書き込みを行い、上位
   階層キャッシュのキャッシュ状態を占有更新とし、前記
   下位階層キャッシュへのアクセス等を行わずに読み出し
   処理後の書き込み処理を実行できることを特徴とする請
   求項２記載のキャッシュ一致制御の実現方法。
4. 【請求項４】前記上位階層キャッシュへの他キャッシュ
   無効化付読み出し処理の結果、前記上位階層キャッシュ
   のキャッシュ状態を占有非更新または占有更新、前記下
   位階層キャッシュのキャッシュ状態を占有非更新とし、
   前記下位階層キャッシュの上位階層キャッシュ状態フィ
   ールドを占有とすることで、以後前記上位階層キャッシ
   ュにキャッシュした前記処理のデータに対して書き込み
   を行わなかった場合に下位階層キャッシュからメモリへ
   の書き戻しなしに下位階層キャッシュの上記エントリを
   無効化可能であることを特徴とする請求項２または３記
   載のキャッシュ一致制御の実現方法。
5. 【請求項５】前記下位階層キャッシュのキャッシュデー
   タ格納用メモリが実装されない場合に、前記下位階層キ
   ャッシュ状態フィールドを少なくとも無効、共有、占有
   非更新の３状態の状態遷移に切り替えて、上記下位階層
   キャッシュ状態フィールドを共有メモリのアクセス権が
   上記下位階層キャッシュを有する制御回路に存在するこ
   とを示すフィールドとして使用すると共に、下位階層キ
   ャッシュのキャッシュデータへの登録処理を削除し、下
   位階層キャッシュのキャッシュヒット時のキャッシュデ
   ータ読み出しをキャッシュ一致制御処理の伴わないメモ
   リ読み出しに変更し、下位階層キャッシュへの書き戻し
   をメモリへの書き戻しに変更することで、下位階層キャ
   ッシュのキャッシュデータ格納用メモリが実装される場
   合には下位階層キャッシュとして、下位階層キャッシュ
   のキャッシュデータ格納用メモリが実装されない場合に
   は下位階層キャッシュのキャッシュタグを用いたアクセ
   ス権メモリとして動作可能であることを特徴とする請求
   項２ないし４のいずれかに記載のキャッシュ一致制御の
   実現方法。
6. 【請求項６】前記請求項１ないし５のいずれかに記載の
   下位階層キャッシュを有することを特徴とするデータ処
   理装置。
7. 【請求項７】プロセッサ内部またはプロセッサ外部にキ
   ャッシュメモリを持ち、プロセッサの命令処理装置に対
   して階層キャッシュシステムを提供するデータ処理装置
   において、前記階層キャッシュシステムは、請求項１な
   いし５のいずれかに記載のキャッシュ一致制御の実現方
   法を用いることを特徴とするデータ処理装置。