JP2000047942A - キャッシュメモリ制御装置及びその制御方法 - Google Patents

Abstract

(57)【要約】 【課題】 リプレース時にデータブロックの参照頻度を
考慮し、かつオーバーヘッドにならないキャッシュメモ
リ制御装置及びその制御方法を提供する。 【解決手段】 プロセッサに設置され、レジスタと主記
憶装置間のデータのやり取りの際に使用する複数ウェイ
のキャシュメモリと、該キャシュメモリを制御するため
の制御手段を備えたセットアソシアティブ方式のキャッ
シュメモリ制御装置において、キャッシュメモリに格納
されるキャッシュタグを、データを格納するデータ部
と、該データのアドレスを格納するアドレスタグ部と、
該データが直近に参照されたデータか否かを把握するた
めの情報を格納するＬＲＵビット部と、該データが参照
される参照頻度を把握するための情報を格納するアクセ
ス頻度ビット部とで構成し、リプレースアルゴリズムに
上記アクセス頻度ビット部の情報を考慮するキャッシュ
メモリ制御装置及びその制御方法が提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、キャッシュメモリ
制御装置及びその制御方法に関し、特に、キャッシュの
ヒット率をあげるために、キャッシュのリプレース（追
い出し）を制御するアルゴリズムにアクセス頻度を考慮
するようにしたキャッシュメモリ制御装置及びその制御
方法に関する。

【０００２】

【従来の技術】図３に、従来の情報処理システムにおけ
る記憶装置の代表的な階層構造（メモリヒエラルヒー）
を示す。ここでは、図の外部メモリとして主記憶装置を
想定しているが、一般には、それ以下に周辺記憶装置が
存在し、さらに、ディスク・キャッシュが使用されるこ
ともある。

【０００３】図３において、アクセススピードは下の階
層ほど遅くなっており、パイプラインとレジスタのみで
動作しているとき、パイプラインの効率がもっとも良
く、プロセッサ（ＣＰＵ）が最も速く動作する。通常Ｒ
ＩＳＣプロセッサはキャッシュからデータを読み込んで
レジスタに書く。キャッシュに必要なデータがない場合
をミス・ヒットと呼び、外部メモリにアクセスし、必要
なデータを読み込み、キャッシュ及びレジスタに書き込
む。外部メモリのアクセス速度は遅く、プロセッサはデ
ータ待ちの状態において実効速度が遅くなる。そのた
め、ＲＩＳＣプロセッサでは、キャッシュにヒット(必
要なデータがキャッシュに存在する状態)するように、
すなわちヒット率を上げるために、従来から、様々な工
夫をしている。

【０００４】キャッシュの方式には、ダイレクトマップ
方式(あるデータに対し、キャッシュ内の格納場所が一
つ)、２ウェイ・セット・アソシアティブ方式（あるデ
ータに対し、キャッシュ内の格納場所が二つ）、４ウェ
イ・セット・アソシアティブ(同じく格納場所が四つ)…
…とあり、これらのいずれの方式も、アドレスの下位ビ
ットを判別して格納するラインを決定している。上記の
うち、ダイレクトマップ方式は、構造が単純であり、プ
ロセッサの内部周波数を高速化し易いという利点があ
る。

【０００５】図４に、従来のキャッシュメモリ制御方法
で採用されているアクセス頻度を考慮しない、ＬＲＵ方
法のキャッシュアクセスのタイミングチャートを示す。

【０００６】データＡがウェイ１に入っており、データ
アクセスがＡ→Ｄ→Ｅ→Ａとあったとする。キャッシュ
にミスヒットし、外部メモリにアクセスがあった場合の
レイテンシーを１００ｎｓ、キャッシュにヒットした場
合のレイテンシーを１０ｎｓとすると、アクセス頻度を
考慮しない従来方法では、データＡのアクセスから次の
データＡのアクセスまでの時間が３００ｎｓ必要であ
る。次に、本発明に関連する技術を、過去の特許出願か
ら検証する。

【０００７】ＲＩＳＣプロセッサとは限らず、この分野
はコンピュータの基幹技術であり、そのため、従来から
多数の特許出願がなされている。以下、遡及調査によ
り、その代表的なものを摘出して列挙する。

【０００８】まず、特開平１−３０４５５１号公報に
は、複数個の小容量・高速アクセスのキャッシュメモリ
を階層化して設置する場合、プロセッサに近い上位キャ
ッシュに取り込まれたデータは、必ず下位キャッシュに
も取り込まれているので、この重複により全体としてメ
モリ使用効率が悪くなる問題点を解決するため、上位キ
ャッシュによる下位キャッシュへの参照履歴を記憶する
アドレスタグを新設する技術が開示されている。

【０００９】また、特開平８−２１２１３３号公報に
は、キャッシュメモリに対応してライトデータバッファ
を設置し、レジスタからメモリへのデータの書き込みに
際してキャッシュミス（キャッシュにアンヒットの状
態）が生じる際には一旦ライトデータバッファにデータ
を書き込む方式を開示している特開昭６３−３１１５４
８号公報の技術の問題点の解決を目的とし、すなわち、
上記開示された方式において、同一キャッシュライン上
に同一ブロックを置く要求が連続する場合には、一旦キ
ャッシュミスが生じると、後続ブロックは先行ブロック
のための一連のキャッシュ制御の完了を待たされること
により、データ処理性能が大きく低下してしまう問題点
があることに着目し、この状態をアドレス比較器により
検出し、上記一連のキャッシュ制御の完了を待つことな
く、後続ブロックのデータを上記ライトデータブロック
に書き込めるようにする技術を開示している。

【００１０】さらに、特開平８−２６３３７０号公報に
は、ｎウェイセットアソシアティブ方式のキャッシュメ
モリのヒット率を高めることを目的とし、ｎウェイキャ
ッシュ全体に対して、参照頻度情報を管理するＬＲＵビ
ットレジスタを設置し、該レジスタ内の参照頻度情報に
従って、読み出すべきキャッシュのウェイを限定する技
術が開示されている。

【００１１】

【発明が解決しようとする課題】マイクロプロセッサ、
特にＲＩＳＣプロセッサはキャッシュのヒットを前提に
デバイス及びシステムを設計しており、キャッシュのミ
スヒットが発生すると性能が大幅に落ちる。キャッシュ
のヒット率をあげるため、さまざまな工夫がされてい
る。本発明の目的も、キャッシュのヒット率を上げるこ
とである。

【００１２】キャッシュの動作原理は、複数のデータ参
照要求が有する参照データの局所性を経験則により利用
するものであるが、プロセッサから遠い階層にある階層
メモリ、例えば、ディスクキャッシュ等には、キャッシ
ュのヒット率向上を目的として、（データのリプレース
アルゴリズム等において）データブロックの参照頻度等
の統計量を利用するものも見られる。しかしながら、プ
ロセッサに近い階層、いわゆるコアの階層においては、
データブロック内の管理領域は、オーバーヘッドを避け
る意味からも、最少不可欠のものに留められ、そのた
め、通常のキャッシュにおいては、ＬＲＵビットが管理
領域としての代表的な要素である。

【００１３】これは、プロセッサによる参照直後若しく
は参照時点からの経過時間が比較的に少ないデータブロ
ックを識別するためのものであるが、その更新アルゴリ
ズムにも、リプレースアルゴリズムとからめて、多数の
特許出願がなされている。

【００１４】本発明に係るキャッシュメモリ制御装置及
びその制御方法の考案に際しては、レジスタと主記憶装
置間のデータのやり取りに使用される通常のキャッシュ
においても、参照頻度等の統計量を利用することが計画
され、しかしながら、ブロセッサに近い動作領域である
ことを考慮して、上記のオーバーヘッドを避けるべきこ
とが意図された。

【００１５】なお、上記の特開平１−３０４５５１号公
報に開示されている技術は、階層メモリの全体としての
メモリ使用効率をメモリ量の観点から改善するものであ
り、キャッシュのヒット率向上を目指す本発明の提案と
は異なる技術である。

【００１６】また、特開平８−２１２１３３号公報に開
示されている技術は、ライトデータバッファを設置した
場合の特殊な条件下の処理速度低下を改善するものであ
り、本発明の提案のように、キャッシュのヒット率向上
そのものを目指す本流の技術ではない。

【００１７】さらに、特開平８−２６３３７０号公報に
開示されている技術は、本発明の提案と目的は同じであ
るが、実施手段が異なっている。本発明の提案では、ハ
ードウェアが取り扱うデータブロックに、１データブロ
ック当たり最少１ビットの追加を要するだけであり、特
開平８−２６３３７０号公報に開示されているＬＲＵビ
ットレジスタのような新たな回路要素の追加は必要では
ない。

【００１８】本発明は、以上のような従来のキャッシュ
メモリ制御装置及びその制御方法における問題点に鑑み
てなされたものであり、リプレースアルゴリズムにデー
タブロックの参照頻度を考慮し、かつオーバーヘッドに
ならないキャッシュメモリ制御装置及びその制御方法を
提供することを目的とする。

【００１９】

【課題を解決するための手段】上記目的を達成するた
め、本発明の第１の観点にかかるキャッシュメモリ制御
装置は、データを格納するデータ部と、前記データのア
ドレスを格納するアドレスタグ部と、前記データが直近
に参照されたデータであるか否かを把握するための情報
を格納する直近参照情報部と、前記データが参照される
参照頻度を把握するための情報を格納するアクセス参照
情報部とを含む複数のキャッシュラインからなる、複数
ウェイのセットアソシアティブ方式のキャッシュメモリ
と、前記キャッシュメモリへのアクセスに応じて、前記
直近参照情報部と前記アクセス参照情報部との情報内容
を書き換える情報書換手段と、キャッシュリプレースと
の必要が生じた場合に、前記直近参照情報部と前記アク
セス参照情報部とを参照して、前記複数ウェイのうちの
どのウェイのキャッシュラインをリプレースするかを決
定するリプレースライン決定手段と、前記リプレースラ
イン決定手段が決定したキャッシュラインのデータを主
記憶装置内の他のデータにリプレースするキャッシュリ
プレース手段とを備えることを特徴とする。

【００２０】上記キャッシュメモリ制御装置では、アク
セス参照情報部がキャッシュラインに含まれている。そ
して、リプレースライン決定手段は、このアクセス参照
情報部内のアクセス頻度に関する情報を考慮してリプレ
ースラインを決定する。このため、キャッシュヒット率
が向上することとなり、データへの実効的なアクセス時
間が短縮される。

【００２１】上記キャッシュメモリ制御装置において、
前記情報書換手段及び前記リプレースライン決定手段
は、例えば、前記キャッシュメモリの全体に対して１つ
設けることができる。

【００２２】この場合、例えば、キャッシュメモリ制御
装置の半導体チップ内にしめる面積を小さくすることが
可能となる。

【００２３】上記キャッシュメモリ制御装置において、
前記情報書換手段及び前記リプレースライン決定手段
は、また、複数のライン毎にそれぞれ１つ、あるいは１
つのライン毎に１つ設けることもできる。

【００２４】この場合、直近参照情報部とアクセス参照
情報部とを参照すべきキャッシュラインの選択のための
時間が小さくなり、処理速度が向上する。

【００２５】なお、上記キャッシュメモリ制御装置にお
いて、前記キャッシュメモリは、２ウェイセットアソシ
アティブ方式のものであることを好適とする。

【００２６】上記目的を達成するため、本発明の第２の
観点にかかるキャッシュメモリ制御方法は、データを格
納するデータ部と、前記データのアドレスを格納するア
ドレスタグ部と、前記データが直近に参照されたデータ
であるか否かを把握するための情報を格納する直近参照
情報部と、前記データが参照される参照頻度を把握する
ための情報を格納するアクセス参照情報部とを含む複数
のキャッシュラインからなる、複数ウェイのセットアソ
シアティブ方式のキャッシュメモリを制御するキャッシ
ュメモリ制御方法であって、前記キャッシュメモリへの
アクセスに応じて、前記直近参照情報部と前記アクセス
参照情報部との情報内容を書き換える情報書換ステップ
と、キャッシュリプレースとの必要が生じた場合に、前
記直近参照情報部と前記アクセス参照情報部とを参照し
て、前記複数ウェイのうちのどのウェイのキャッシュラ
インをリプレースするかを決定するリプレースライン決
定ステップと、前記リプレースライン決定ステップで決
定したキャッシュラインのデータを主記憶装置内の他の
データにリプレースするキャッシュリプレースステップ
とを含むことを特徴とする。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２８】（第１の実施の形態）図１は、本発明の第
１の実施の形態に係るキャッシュメモリ制御装置で使用
されるキャッシュタグのブロック構成と、その制御を行
う論理部を示す図である。本発明の第１の実施の形態に
係るキャッシュメモリ制御装置で使用されるキャッシュ
タグ１０は、データ部１１、アドレスタグ部１３、ＬＲ
Ｕビット１５、アクセス頻度ビット１７で構成される。
本実施の形態では、２ウェイ・セット・アソシアティブ
方式での、リプレースラインを決定する方法を示してい
る。ウェイ２のキャッシュタグもウェイ１と同じブロッ
ク構成であり、以下、符号の区別はしないものとする。

【００２９】キャッシュのそれぞれのラインには、リプ
レースラインを決定し、かつＬＲＵビット１５やアクセ
ス頻度ビット１７を書き換える各キャッシュラインに共
通の論理回路１が接続されている。また、各キャッシュ
ラインのデータ部１１、アドレスタグ部１３は、内部バ
ス１２と接続されている。

【００３０】また、この実施の形態にかかるキャッシュ
メモリ制御装置は、キャッシュメモリと主記憶装置（図
示せず）との双方に接続され、論理回路１が決定したリ
プレースラインのデータを主記憶装置内のデータと書き
換えるリプレース装置（図示せず）を備えている。

【００３１】以下、図１を参照しつつ、本実施の形態に
係るキャッシュメモリ制御装置の制御方法について説明
する。

【００３２】アクセス頻度ビット１７のビット表示は、
あるウェイに対して連続してアクセスがあった場合にビ
ットを立てる（ビットの値を“１”にする）ように論理
部１の制御回路を構成する。また、リプレースすべきウ
ェイは、アクセス頻度ビット１７のビットが立っていな
い方とする。両ライン（ウェイ１とウェイ２）のビット
が立っていない場合には、従来のＬＲＵ方式のアルゴリ
ズムに従ってリプレースするものとする。従って、アク
セス頻度ビット１７がＯＦＦになっていると共に、前記
ＬＲＵビット１５がＯＦＦにセットされているウェイを
優先してリプレースする。

【００３３】アクセス頻度ビット１７は、片方のウェイ
を連続してアクセスした場合にセットされる。一度アク
セスをすると、ＬＲＵビット１５がセットされているの
で、結局、ＬＲＵビット１５がセットされているウェイ
にアクセスがあった場合に、アクセス頻度ビット１７を
セットするようにする。この時、もう片方のウェイのア
クセス頻度１７のビットが立っていれば、そのアクセス
頻度１７のビットはクリアする。

【００３４】リプレース装置がキャッシュをリプレース
する時は、アクセス頻度ビット１７を参照し、アクセス
頻度ビット１７が“０"のウェイをリプレースする。他
方、ＬＲＵビット１５については、従来の方法どおり、
アクセスがあったウェイのビットを立て、もう片方のウ
ェイのビットをクリアする。つまり、最後にアクセスの
あったウェイ側のＬＲＵビット１５が立っていることに
なる。また、アクセス頻度ビット１７の制御方法は、連
続してアクセスのあったウェイ（つまりＬＲＵビットが
立っているウェイ）をアクセスしたときに、アクセス頻
度ビット１７のビットを立てる。その時に、もう片方の
ウェイのアクセス頻度ビット１７をクリアする。

【００３５】図２は、本発明の第１の実施の形態に係る
キャッシュメモリ制御装置のキャッシュアクセスの動作
を示すタイミングチャートである。

【００３６】以下、図１を参照しつつ、図２に示すキャ
ッシュメモリ制御装置のキャッシュアクセスの動作タイ
ミングを説明する。

【００３７】図２に示す２つのウェイに入るデータを、
それぞれＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆとする。また、このデ
ータのアクセスの順番がＡ→Ａ→Ｂ→Ｃ→Ａ→Ｄ→Ｅ→
Ａ→Ｆ→Ｆ→…とする。この時、１回目のＡへのアクセ
スにより、データＡの入ったウェイ１側のＬＲＵビット
１５が立てられる。次に、２回目のデータＡへのアクセ
スで、ＬＲＵビット１５が立っているウェイ１へのアク
セスなので、ウェイ１のアクセス頻度ビット１７のビッ
トが立つ。データＢをアクセスすると、ＬＲＵビット１
５が立っていないウェイ２へのアクセスとなり、まずウ
ェイ２にデータＢが格納される。次にデータＣをアクセ
スすると、アクセス頻度ビット１７が立っていないウェ
イ２へのアクセスとなり、ウェイ２に格納されていたデ
ータＢがデータＣにリプレースされる。図では、再度デ
ータＡのアクセスがあるが、データＡはウェイ１に残っ
ているので、ウェイ１がアクセスされる。よって、この
時は、データのリプレースを必要としない。

【００３８】次にアクセス頻度ビット１７が書き変わる
場合を説明する。図２のデータアクセスの最後の２つ分
は、データＦを連続してアクセスしている。１回目のデ
ータＦへのアクセスでは、アクセス頻度ビット１７のビ
ットが立っていない方のウェイ２をリプレースし、ウェ
イ２にデータＦを格納する。このときウェイ２のＬＲＵ
ビット１５が立つ。２度目のデータＦのアクセスで、デ
ータＦの入っているウェイ２のＬＲＵビットが立ってい
るので、ウェイ２のアクセス頻度ビット１７の１ットが
立ち、ウェイ１のアクセス頻度ビット１７のビットがク
リアされる。次にリプレースされるウェイはウェイ１と
なる。

【００３９】本発明に係る制御方法、すなわち、アクセ
ス頻度を考慮した方法で、Ａ→Ｄ→Ｅ→Ａとデータアク
セスをした場合、図２を参照すると、ＡからＡまでのア
クセス時間は２１０ｎｓとなる。従来の制御方法では、
同じくＡからＡまでのアクセス時間に、３００ｎｓが必
要であったから、この場合は、１．４３倍の性能向上が
見られることになる。

【００４０】（第２の実施の形態）本発明の第２の実施
の形態に係るキャッシュメモリ制御装置で使用されるキ
ャッシュタグ１０の構成は、図１に示す本発明の第１の
実施の形態に係るキャッシュメモリ制御装置で使用され
るキャッシュタグ１０の構成と同じである。

【００４１】但し、図１に示すＬＲＵビット１５、アク
セス頻度ビット１７の各ビットの制御を行う論理部１
を、キャッシュ全体に対して一つを設置するのではな
く、それぞれのライン毎に設置するか若しくは複数のラ
インに対し一つを設置する。

【００４２】キャッシュのデータ部１１、アドレスタグ
部１３、ＬＲＵビット１５、アクセス頻度ビット１７の
各動作は、本発明の第２の実施の形態に係るキャッシュ
メモリ制御装置と同じである。

【００４３】本実施の形態の利点は、制御部とキャッシ
ュラインを接続及び選択する回路が必要ではなく、信号
がその回路を通らなくて良い分だけＬＲＵビット１５、
アクセス頻度ビット１７の書き換えが高速にできること
である。従ってプロセッサの高速化が容易になる。

【００４４】もっとも、第１の実施の形態のように、論
理回路１をキャッシュメモリ全体として１つだけ設ける
場合には、チップ面積を小さくすることが可能となる。

【００４５】上記実施の形態は、いずれも、ウェイの数
が２個のキャッシュメモリ制御装置及びその制御方法で
あったが、本発明に係るキャッシュメモリ制御装置及び
その制御方法は、一般に、ウェイの数が複数の場合にも
適用可能である。

【００４６】

【発明の効果】以上に説明したとおり、本発明に係るキ
ャッシュメモリ制御装置及びその制御方法によれば、キ
ャッシュのヒット率向上させることができるので、プロ
セッサの実効処理速度をアップすることが可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るキャッシュメ
モリ制御装置で使用されるキャッシュタグのブロック構
成と、その制御を行う論理部を示す図である。

【図２】本発明の第１の実施の形態に係るキャッシュメ
モリ制御装置のキャッシュアクセスの動作を示すタイミ
ングチャートである。

【図３】従来の情報処理システムにおける記憶装置の代
表的な階層構造（メモリヒエラルヒー）を示す説明図で
ある。

【図４】従来のキャッシュメモリ制御方法で採用されて
いるアクセス頻度を考慮しないＬＲＵ方法のキャッシュ
アクセスのタイミングチャートを示す。

【符号の説明】

１ 論理部 １０ キャッシュタグ １１ データ部 １２ 内部バス １３ アドレスタグ部 １５ ＬＲＵビット １７ アクセス頻度ビット

Claims (5)

【特許請求の範囲】
1. 【請求項１】データを格納するデータ部と、前記データ
   のアドレスを格納するアドレスタグ部と、前記データが
   直近に参照されたデータであるか否かを把握するための
   情報を格納する直近参照情報部と、前記データが参照さ
   れる参照頻度を把握するための情報を格納するアクセス
   参照情報部とを含む複数のキャッシュラインからなる、
   複数ウェイのセットアソシアティブ方式のキャッシュメ
   モリと、 前記キャッシュメモリへのアクセスに応じて、前記直近
   参照情報部と前記アクセス参照情報部との情報内容を書
   き換える情報書換手段と、 キャッシュリプレースとの必要が生じた場合に、前記直
   近参照情報部と前記アクセス参照情報部とを参照して、
   前記複数ウェイのうちのどのウェイのキャッシュライン
   をリプレースするかを決定するリプレースライン決定手
   段と、 前記リプレースライン決定手段が決定したキャッシュラ
   インのデータを主記憶装置内の他のデータにリプレース
   するキャッシュリプレース手段とを備えることを特徴と
   するキャッシュメモリ制御装置。
2. 【請求項２】前記情報書換手段及び前記リプレースライ
   ン決定手段は、前記キャッシュメモリの全体に対して１
   つ設けられていることを特徴とする請求項１に記載のキ
   ャッシュメモリ制御装置。
3. 【請求項３】前記情報書換手段及び前記リプレースライ
   ン決定手段は、複数のライン毎にそれぞれ１つ、あるい
   は１つのライン毎に１つ設けられていることを特徴とす
   る請求項１に記載のキャッシュメモリ制御装置。
4. 【請求項４】前記キャッシュメモリは、２ウェイセット
   アソシアティブ方式のものであることを特徴とする請求
   項１に記載のキャッシュメモリ制御装置。
5. 【請求項５】データを格納するデータ部と、前記データ
   のアドレスを格納するアドレスタグ部と、前記データが
   直近に参照されたデータであるか否かを把握するための
   情報を格納する直近参照情報部と、前記データが参照さ
   れる参照頻度を把握するための情報を格納するアクセス
   参照情報部とを含む複数のキャッシュラインからなる、
   複数ウェイのセットアソシアティブ方式のキャッシュメ
   モリを制御するキャッシュメモリ制御方法であって、 前記キャッシュメモリへのアクセスに応じて、前記直近
   参照情報部と前記アクセス参照情報部との情報内容を書
   き換える情報書換ステップと、 キャッシュリプレースとの必要が生じた場合に、前記直
   近参照情報部と前記アクセス参照情報部とを参照して、
   前記複数ウェイのうちのどのウェイのキャッシュライン
   をリプレースするかを決定するリプレースライン決定ス
   テップと、 前記リプレースライン決定ステップで決定したキャッシ
   ュラインのデータを主記憶装置内の他のデータにリプレ
   ースするキャッシュリプレースステップとを含むことを
   特徴とするキャッシュメモリ制御方法。