JP2003280987A - 適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法 - Google Patents
適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法Info
- Publication number
- JP2003280987A JP2003280987A JP2002082806A JP2002082806A JP2003280987A JP 2003280987 A JP2003280987 A JP 2003280987A JP 2002082806 A JP2002082806 A JP 2002082806A JP 2002082806 A JP2002082806 A JP 2002082806A JP 2003280987 A JP2003280987 A JP 2003280987A
- Authority
- JP
- Japan
- Prior art keywords
- replacement
- data
- cache
- replacement rule
- hit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
(57)【要約】
【課題】実行するプログラムに対して、適応的に置換規
則を切り換えることにより、単一の置換規則を採用した
場合よりも平均的にプログラムの実行速度を高めるよう
にする。 【解決手段】セット・アソシアティブ方式のキャッシュ
システムにおいて、キャッシュメモリのデータとメイン
メモリのデータを置き換える置換規則を複数備え、その
うちの１つの置換規則を用いて、前記データの置き換え
を行う置換制御回路と、アクセス要求のあったデータが
キャッシュメモリ中に存在する割合を示すヒット率及び
存在しない割合を示すミス率を、前記複数の置換規則ご
とに算出する置換規則性能評価回路と、前記算出された
ヒット／ミス率に基づいて、前記置換制御回路で用いる
置換規則を、前記複数の置換規則の中の１つと切り換え
る置換規則切換制御回路と、を備え置換規則を適応的に
切り換える。
則を切り換えることにより、単一の置換規則を採用した
場合よりも平均的にプログラムの実行速度を高めるよう
にする。 【解決手段】セット・アソシアティブ方式のキャッシュ
システムにおいて、キャッシュメモリのデータとメイン
メモリのデータを置き換える置換規則を複数備え、その
うちの１つの置換規則を用いて、前記データの置き換え
を行う置換制御回路と、アクセス要求のあったデータが
キャッシュメモリ中に存在する割合を示すヒット率及び
存在しない割合を示すミス率を、前記複数の置換規則ご
とに算出する置換規則性能評価回路と、前記算出された
ヒット／ミス率に基づいて、前記置換制御回路で用いる
置換規則を、前記複数の置換規則の中の１つと切り換え
る置換規則切換制御回路と、を備え置換規則を適応的に
切り換える。
Description
【０００１】
【発明の属する技術分野】本発明は、セット・アソシア
ティブ方式のキャッシュシステム及びキャッシュ制御方
法に係り、特に、プロセッサからアクセスされたデータ
がキャッシュメモリにない場合に、メインメモリのデー
タと置き換えを行う置換規則を、適応的に切り換える適
応置換制御機能を有するセット・アソシアティブ方式の
キャッシュシステム及びキャッシュ制御方法に関する。
ティブ方式のキャッシュシステム及びキャッシュ制御方
法に係り、特に、プロセッサからアクセスされたデータ
がキャッシュメモリにない場合に、メインメモリのデー
タと置き換えを行う置換規則を、適応的に切り換える適
応置換制御機能を有するセット・アソシアティブ方式の
キャッシュシステム及びキャッシュ制御方法に関する。
【０００２】
【従来の技術】従来、コンピュータシステムにおいて、
大容量の主記憶装置（メインメモリ）は、動作速度がマ
イクロプロセッサに比べて遅いため、例えばＳＲＡＭ等
の、容量は小さいが高速のメモリを、キャッシュメモリ
としてマイクロプロセッサの内部あるいはその近傍に配
置して、メインメモリのデータの一部をこのキャッシュ
メモリに記憶するようにして、マイクロプロセッサを高
速で動作させるようにしている。
大容量の主記憶装置（メインメモリ）は、動作速度がマ
イクロプロセッサに比べて遅いため、例えばＳＲＡＭ等
の、容量は小さいが高速のメモリを、キャッシュメモリ
としてマイクロプロセッサの内部あるいはその近傍に配
置して、メインメモリのデータの一部をこのキャッシュ
メモリに記憶するようにして、マイクロプロセッサを高
速で動作させるようにしている。
【０００３】このようなコンピュータシステムにおい
て、マイクロプロセッサからキャッシュメモリへのアク
セス要求に対し、要求されたデータがキャッシュメモリ
に存在しないとき（ミスヒットの場合）は、メインメモ
リから新たに読み出されたデータがキャッシュメモリの
あるブロックに格納される。しかし、一般にキャッシュ
メモリは、メインメモリに比べ容量が小さいため、キャ
ッシュメモリ中のいずれかのブロックを選択し、そのブ
ロックのデータとメインメモリのデータを置き換える必
要がある。
て、マイクロプロセッサからキャッシュメモリへのアク
セス要求に対し、要求されたデータがキャッシュメモリ
に存在しないとき（ミスヒットの場合）は、メインメモ
リから新たに読み出されたデータがキャッシュメモリの
あるブロックに格納される。しかし、一般にキャッシュ
メモリは、メインメモリに比べ容量が小さいため、キャ
ッシュメモリ中のいずれかのブロックを選択し、そのブ
ロックのデータとメインメモリのデータを置き換える必
要がある。
【０００４】従来、このようなデータの置き換えを行う
場合、キャッシュメモリ中のどのブロックを置き換える
かを決定する置換規則として、ＬＲＵ（Least Recently
Used)方式( アクセスされたのが最も古いデータのブロ
ックを置き換える方式）、ＦＩＦＯ（First In First O
ut) 方式( 入れ換えたのが最も古いデータのブロックを
置き換える方式）、アクセス頻度による方式、キャッシ
ュのステータスによる固定優先度方式等、様々な方式が
提案されている。
場合、キャッシュメモリ中のどのブロックを置き換える
かを決定する置換規則として、ＬＲＵ（Least Recently
Used)方式( アクセスされたのが最も古いデータのブロ
ックを置き換える方式）、ＦＩＦＯ（First In First O
ut) 方式( 入れ換えたのが最も古いデータのブロックを
置き換える方式）、アクセス頻度による方式、キャッシ
ュのステータスによる固定優先度方式等、様々な方式が
提案されている。
【０００５】
【発明が解決しようとする課題】しかしながら、前記従
来提案されている各種の置換規則では、その実現される
性能がプログラムに依存する部分が大きく、必ずしも良
い性能が得られるとは限らないという問題があった。例
えば、２つの置換規則Ａ及びＢと、２つのプログラムＸ
及びＹがあった場合に、プログラムＸを実行するとき、
置換規則Ａを採用したキャッシュシステムの方が、置換
規則Ｂを採用したキャッシュシステムよりもヒット率が
高く、プログラム実行速度が速くなったとしても、プロ
グラムＹの実行においても、置換規則Ａを採用したキャ
ッシュシステムの方が性能が良いとは限らない。
来提案されている各種の置換規則では、その実現される
性能がプログラムに依存する部分が大きく、必ずしも良
い性能が得られるとは限らないという問題があった。例
えば、２つの置換規則Ａ及びＢと、２つのプログラムＸ
及びＹがあった場合に、プログラムＸを実行するとき、
置換規則Ａを採用したキャッシュシステムの方が、置換
規則Ｂを採用したキャッシュシステムよりもヒット率が
高く、プログラム実行速度が速くなったとしても、プロ
グラムＹの実行においても、置換規則Ａを採用したキャ
ッシュシステムの方が性能が良いとは限らない。
【０００６】また、同一プログラムを実行するにして
も、ある部分は置換規則Ａを採用した方が性能が良く、
またある部分では置換規則Ｂを採用した方が性能が良い
という場合もある。このように、キャッシュメモリに対
してアクセス要求のあったデータがキャッシュメモリ内
に存在するか否かというヒット率（ミス率）は、プログ
ラムの実行速度に大きな影響を与えるため、ヒット率を
向上させ、ミス率を低減することのできる置換規則が望
まれていた。
も、ある部分は置換規則Ａを採用した方が性能が良く、
またある部分では置換規則Ｂを採用した方が性能が良い
という場合もある。このように、キャッシュメモリに対
してアクセス要求のあったデータがキャッシュメモリ内
に存在するか否かというヒット率（ミス率）は、プログ
ラムの実行速度に大きな影響を与えるため、ヒット率を
向上させ、ミス率を低減することのできる置換規則が望
まれていた。
【０００７】本発明は、前記従来の問題に鑑みてなされ
たものであり、実行するプログラムに対して、適応的に
置換規則を切り換えることにより、単一の置換規則を採
用した場合よりも平均的にプログラムの実行速度を高め
ることのできる適応置換制御機能を有するセット・アソ
シアティブ方式のキャッシュシステム及びキャッシュ制
御方法を提供することを課題とする。
たものであり、実行するプログラムに対して、適応的に
置換規則を切り換えることにより、単一の置換規則を採
用した場合よりも平均的にプログラムの実行速度を高め
ることのできる適応置換制御機能を有するセット・アソ
シアティブ方式のキャッシュシステム及びキャッシュ制
御方法を提供することを課題とする。
【０００８】
【課題を解決するための手段】前記課題を解決するため
に、本発明の第一の態様は、セット・アソシアティブ方
式のキャッシュシステムであって、アクセス要求のあっ
たデータがキャッシュメモリ中に存在しない場合に、キ
ャッシュメモリのデータとメインメモリのデータを置き
換える置換規則を複数備え、そのうちの１つの置換規則
を用いて、前記データの置き換えを行う置換制御回路
と、アクセス要求のあったデータがキャッシュメモリ中
に存在する割合を示すヒット率及び存在しない割合を示
すミス率を、前記複数の置換規則ごとに算出する置換規
則性能評価回路と、前記算出されたヒット／ミス率に基
づいて、前記置換制御回路で用いる置換規則を、前記複
数の置換規則の中の１つと切り換える置換規則切換制御
回路と、を備えたことを特徴とする適応置換制御機能を
有するセット・アソシアティブ方式のキャッシュシステ
ムを提供する。
に、本発明の第一の態様は、セット・アソシアティブ方
式のキャッシュシステムであって、アクセス要求のあっ
たデータがキャッシュメモリ中に存在しない場合に、キ
ャッシュメモリのデータとメインメモリのデータを置き
換える置換規則を複数備え、そのうちの１つの置換規則
を用いて、前記データの置き換えを行う置換制御回路
と、アクセス要求のあったデータがキャッシュメモリ中
に存在する割合を示すヒット率及び存在しない割合を示
すミス率を、前記複数の置換規則ごとに算出する置換規
則性能評価回路と、前記算出されたヒット／ミス率に基
づいて、前記置換制御回路で用いる置換規則を、前記複
数の置換規則の中の１つと切り換える置換規則切換制御
回路と、を備えたことを特徴とする適応置換制御機能を
有するセット・アソシアティブ方式のキャッシュシステ
ムを提供する。
【０００９】また、同様に前記課題を解決するために、
本発明の第二の態様は、セット・アソシアティブ方式の
キャッシュ制御方法であって、アクセス要求のあったデ
ータがキャッシュメモリ中に存在しない場合に、キャッ
シュメモリのデータとメインメモリのデータを置き換え
る複数の置換規則を備え、アクセス要求のあったデータ
がキャッシュメモリ中に存在する割合を示すヒット率及
び存在しない割合を示すミス率を、キャッシュ動作中に
前記複数の置換規則毎に算出し、前記算出されたヒット
／ミス率に基づいて、前記複数の置換規則のうちで用い
る置換規則を適応的に切り換えることを特徴とするセッ
ト・アソシアティブ方式のキャッシュ制御方法を提供す
る。
本発明の第二の態様は、セット・アソシアティブ方式の
キャッシュ制御方法であって、アクセス要求のあったデ
ータがキャッシュメモリ中に存在しない場合に、キャッ
シュメモリのデータとメインメモリのデータを置き換え
る複数の置換規則を備え、アクセス要求のあったデータ
がキャッシュメモリ中に存在する割合を示すヒット率及
び存在しない割合を示すミス率を、キャッシュ動作中に
前記複数の置換規則毎に算出し、前記算出されたヒット
／ミス率に基づいて、前記複数の置換規則のうちで用い
る置換規則を適応的に切り換えることを特徴とするセッ
ト・アソシアティブ方式のキャッシュ制御方法を提供す
る。
【００１０】
【発明の実施の形態】以下、本発明の適応置換制御機能
を有するセット・アソシアティブ方式のキャッシュシス
テム及びキャッシュ制御方法について、添付の図面に示
される好適実施形態を基に詳細に説明する。
を有するセット・アソシアティブ方式のキャッシュシス
テム及びキャッシュ制御方法について、添付の図面に示
される好適実施形態を基に詳細に説明する。
【００１１】図１は、本発明に係る適応置換制御機能を
有するセット・アソシアティブ方式のキャッシュシステ
ム及びキャッシュ制御方法の一実施形態の概略構成を示
す図である。図１に示すように、キャッシュシステム１
は、置換制御回路１０、置換規則性能評価回路１２、置
換規則切換制御回路１４を備え、キャッシュメモリのタ
グメモリ１６のデータを置き換える置換規則を適応的に
切り換えるよう制御して、単一の置き換え規則を採用す
る場合よりも平均的に良い性能を得るようにするもので
ある。
有するセット・アソシアティブ方式のキャッシュシステ
ム及びキャッシュ制御方法の一実施形態の概略構成を示
す図である。図１に示すように、キャッシュシステム１
は、置換制御回路１０、置換規則性能評価回路１２、置
換規則切換制御回路１４を備え、キャッシュメモリのタ
グメモリ１６のデータを置き換える置換規則を適応的に
切り換えるよう制御して、単一の置き換え規則を採用す
る場合よりも平均的に良い性能を得るようにするもので
ある。
【００１２】置換制御回路１０は、複数の置換規則（例
えば、＃０〜＃（Ｎ−１）のＮ個の置換規則）を備え、
このＮ個の置換規則のうち、置換規則切換制御回路１４
によって選択された１つの置換規則に基づいて、タグメ
モリ１６の置き換えるべき所定のブロック（置換ブロッ
ク）を選択し、メインメモリ（図示せず）のデータをタ
グメモリ１６に書き込み（タグメモリライト）、キャッ
シュメモリ（タグメモリ１６）のデータをメインメモリ
のデータと置き換える。
えば、＃０〜＃（Ｎ−１）のＮ個の置換規則）を備え、
このＮ個の置換規則のうち、置換規則切換制御回路１４
によって選択された１つの置換規則に基づいて、タグメ
モリ１６の置き換えるべき所定のブロック（置換ブロッ
ク）を選択し、メインメモリ（図示せず）のデータをタ
グメモリ１６に書き込み（タグメモリライト）、キャッ
シュメモリ（タグメモリ１６）のデータをメインメモリ
のデータと置き換える。
【００１３】置換規則性能評価回路１２は、Ｎ個の置換
規則毎に、その置換規則によりキャッシュメモリのデー
タを置き換えた場合の、キャッシュメモリに対する最近
一定アクセス回数中のヒット率及びミス率を算出する。
図に示すように、置換規則性能評価回路１２は、各置換
規則毎に、その置換規則用の性能評価回路１２ａが設け
られている。すなわち、置換規則＃０用のものから、置
換規則＃（Ｎ−１）用のものまで、Ｎ個の各置換規則用
の性能評価回路１２ａを有して構成され、各置換規則毎
のヒット率を算出するようにしている。
規則毎に、その置換規則によりキャッシュメモリのデー
タを置き換えた場合の、キャッシュメモリに対する最近
一定アクセス回数中のヒット率及びミス率を算出する。
図に示すように、置換規則性能評価回路１２は、各置換
規則毎に、その置換規則用の性能評価回路１２ａが設け
られている。すなわち、置換規則＃０用のものから、置
換規則＃（Ｎ−１）用のものまで、Ｎ個の各置換規則用
の性能評価回路１２ａを有して構成され、各置換規則毎
のヒット率を算出するようにしている。
【００１４】置換規則切換制御回路１４は、置換規則性
能評価回路１２中の各置換規則用の性能評価回路１２ａ
で、Ｎ個の置換規則毎に算出された各ヒット率／ミス率
に基づいて置換制御回路１０で用いる置換規則を選択す
る。このとき、どの置換規則を選択するかは、特に限定
はされないが、あまり頻繁に置換規則の切り換えが発生
するのを抑制するために、例えば、ある置換規則に対応
するヒット率が、他の置換規則に対応するヒット率より
も十分大きい場合に、この置換規則を選択するようにす
ることが好ましい。ある置換規則に対応するヒット率が
他の置換規則に対応するヒット率よりも十分大きいか否
かは、その差が予め設定されたある閾値を越えたか否か
で判定すればよい。
能評価回路１２中の各置換規則用の性能評価回路１２ａ
で、Ｎ個の置換規則毎に算出された各ヒット率／ミス率
に基づいて置換制御回路１０で用いる置換規則を選択す
る。このとき、どの置換規則を選択するかは、特に限定
はされないが、あまり頻繁に置換規則の切り換えが発生
するのを抑制するために、例えば、ある置換規則に対応
するヒット率が、他の置換規則に対応するヒット率より
も十分大きい場合に、この置換規則を選択するようにす
ることが好ましい。ある置換規則に対応するヒット率が
他の置換規則に対応するヒット率よりも十分大きいか否
かは、その差が予め設定されたある閾値を越えたか否か
で判定すればよい。
【００１５】タグメモリ（タグＲＡＭ）１６は、図示を
省略したデータメモリ（データＲＡＭ）とともにキャッ
シュメモリを構成し、データメモリ中に格納されている
データが、メインメモリのどのアドレスに対応するもの
かを示すアドレス部を格納するものである。データメモ
リのデータは、タグメモリ１６に格納されるアドレス部
とプロセッサの示すアクセス先アドレスが一致した場
合、それに対応したデータが読み出される。データを置
き換える場合には、データとアドレスの両方が置き換え
られる。
省略したデータメモリ（データＲＡＭ）とともにキャッ
シュメモリを構成し、データメモリ中に格納されている
データが、メインメモリのどのアドレスに対応するもの
かを示すアドレス部を格納するものである。データメモ
リのデータは、タグメモリ１６に格納されるアドレス部
とプロセッサの示すアクセス先アドレスが一致した場
合、それに対応したデータが読み出される。データを置
き換える場合には、データとアドレスの両方が置き換え
られる。
【００１６】本実施形態は、このように構成されたセッ
ト・アソシアティブ方式のキャッシュシステムにおい
て、置換規則性能評価回路１２中の各置換規則用の性能
評価回路１２ａで、複数の置換規則のそれぞれのキャッ
シュ動作をプログラム実行中にシミュレートし、各置換
規則毎のヒット率を算出して各置換規則の性能を評価
し、最も性能の良い置換規則に適応的に切り換えるよう
制御するものである。
ト・アソシアティブ方式のキャッシュシステムにおい
て、置換規則性能評価回路１２中の各置換規則用の性能
評価回路１２ａで、複数の置換規則のそれぞれのキャッ
シュ動作をプログラム実行中にシミュレートし、各置換
規則毎のヒット率を算出して各置換規則の性能を評価
し、最も性能の良い置換規則に適応的に切り換えるよう
制御するものである。
【００１７】次に、置換規則性能評価回路１２及び置換
規則切換制御回路１４についてさらに詳しく説明する。
図２に、置換規則性能評価回路１２を構成する複数（Ｎ
個）の各置換規則毎に用意された性能評価回路１２ａの
１つの性能評価回路１３の一構成例を示す。図２に示す
ように、ある置換規則の性能評価回路１３は、その置換
規則の性能評価用タグメモリ１３ａ、比較器１３ｂ、ヒ
ット数カウンタ１３ｃ及びその置換規則によってデータ
の置き換えを行う置換制御回路１３ｄを含んで構成され
る。また、ヒット数カウンタ１３ｃは、ヒット／ミス履
歴レジスタ１３ｅ及びヒット数出力回路１３ｆを含んで
いる。
規則切換制御回路１４についてさらに詳しく説明する。
図２に、置換規則性能評価回路１２を構成する複数（Ｎ
個）の各置換規則毎に用意された性能評価回路１２ａの
１つの性能評価回路１３の一構成例を示す。図２に示す
ように、ある置換規則の性能評価回路１３は、その置換
規則の性能評価用タグメモリ１３ａ、比較器１３ｂ、ヒ
ット数カウンタ１３ｃ及びその置換規則によってデータ
の置き換えを行う置換制御回路１３ｄを含んで構成され
る。また、ヒット数カウンタ１３ｃは、ヒット／ミス履
歴レジスタ１３ｅ及びヒット数出力回路１３ｆを含んで
いる。
【００１８】性能評価用タグメモリ１３ａには、メモリ
アクセス信号及びアドレス（インデックス部）が入力さ
れる。性能評価用タグメモリ１３ａからは、これらの信
号により、そのインデックスに対応する各ウエイ（セッ
トの構成要素）のアドレスが読み出され、比較器１３ｂ
において、前記読み出されたアドレスと、今メモリアク
セスが要求されているアドレス（タグ部）とが比較され
る。比較器１３ｂからは、前記比較の結果、ヒットがあ
るか否か（ヒット／ミス）がヒット数カウンタ１３ｃ及
び置換制御回路１３ｄに出力される。
アクセス信号及びアドレス（インデックス部）が入力さ
れる。性能評価用タグメモリ１３ａからは、これらの信
号により、そのインデックスに対応する各ウエイ（セッ
トの構成要素）のアドレスが読み出され、比較器１３ｂ
において、前記読み出されたアドレスと、今メモリアク
セスが要求されているアドレス（タグ部）とが比較され
る。比較器１３ｂからは、前記比較の結果、ヒットがあ
るか否か（ヒット／ミス）がヒット数カウンタ１３ｃ及
び置換制御回路１３ｄに出力される。
【００１９】ヒット数カウンタ１３ｃは、キャッシュメ
モリに対する最近一定アクセス回数中の性能評価用タグ
メモリ１３ａにおけるヒット数（ヒット率）を出力する
回路である。ヒット／ミス履歴レジスタ１３ｅは、その
一定アクセス回数分のビット数を持っている。比較器１
３ｂから出力されるヒット信号（ヒット／ミス）は、メ
モリアクセス発生ごとにヒット／ミス履歴レジスタ１３
ｅにシフト入力され、それにより最近一定アクセス回数
中のヒット／ミス履歴がヒット／ミス履歴レジスタ１３
ｅに保持される。ヒット数出力回路１３ｆは、ヒット／
ミス履歴レジスタ１３ｅの中身から、最近一定アクセス
回数中のヒット数を出力する。
モリに対する最近一定アクセス回数中の性能評価用タグ
メモリ１３ａにおけるヒット数（ヒット率）を出力する
回路である。ヒット／ミス履歴レジスタ１３ｅは、その
一定アクセス回数分のビット数を持っている。比較器１
３ｂから出力されるヒット信号（ヒット／ミス）は、メ
モリアクセス発生ごとにヒット／ミス履歴レジスタ１３
ｅにシフト入力され、それにより最近一定アクセス回数
中のヒット／ミス履歴がヒット／ミス履歴レジスタ１３
ｅに保持される。ヒット数出力回路１３ｆは、ヒット／
ミス履歴レジスタ１３ｅの中身から、最近一定アクセス
回数中のヒット数を出力する。
【００２０】また、置換制御回路１３ｄは、その性能評
価回路１３が評価しようとする置換規則を備えており、
比較器１３ｂからヒット／ミス結果を受け取り、ミス発
生時には、その置換規則により性能評価用タグメモリ１
３ａのブロックを置き換えるため、置換ブロック選択信
号及び性能評価用タグメモリライト信号を生成する。
価回路１３が評価しようとする置換規則を備えており、
比較器１３ｂからヒット／ミス結果を受け取り、ミス発
生時には、その置換規則により性能評価用タグメモリ１
３ａのブロックを置き換えるため、置換ブロック選択信
号及び性能評価用タグメモリライト信号を生成する。
【００２１】置換規則切換制御回路１４は、各置き換え
規則用の性能評価回路１２ａが出力する一定アクセス回
数中のヒット数の最大値選択回路と、複数のヒット数が
同じ場合に対応するための優先度付けをして出力する回
路とにより、構成することができる。ただし、このよう
に構成した場合、置換規則の切り換えが過剰な頻度で発
生する可能性があるため、それを回避するように回路を
設計することが好ましい。
規則用の性能評価回路１２ａが出力する一定アクセス回
数中のヒット数の最大値選択回路と、複数のヒット数が
同じ場合に対応するための優先度付けをして出力する回
路とにより、構成することができる。ただし、このよう
に構成した場合、置換規則の切り換えが過剰な頻度で発
生する可能性があるため、それを回避するように回路を
設計することが好ましい。
【００２２】図３に示す回路は、前記問題を回避するた
め、置換規則切換制御回路１４を構成した例である。レ
ジスタ１４ａに所定の閾値を予め設定しておき、ある置
換規則のヒット数と他の置換規則のヒット数との差が前
記レジスタ１４ａに設定された閾値を越えないと、置換
規則選択信号が切り換わらないように動作する。
め、置換規則切換制御回路１４を構成した例である。レ
ジスタ１４ａに所定の閾値を予め設定しておき、ある置
換規則のヒット数と他の置換規則のヒット数との差が前
記レジスタ１４ａに設定された閾値を越えないと、置換
規則選択信号が切り換わらないように動作する。
【００２３】また、図３において、置換規則切換制御回
路１４には、ヒット数が入力され、αを置換規則用の性
能評価回路のヒット数、βをヒット数にレジスタ値を加
算した値とするとき、比較回路１４ｂは、α＞βのとき
はγ＝１、α≦βのときはγ＝０を出力し、フリップフ
ロップ１４ｃからは置換規則選択信号が出力される。
路１４には、ヒット数が入力され、αを置換規則用の性
能評価回路のヒット数、βをヒット数にレジスタ値を加
算した値とするとき、比較回路１４ｂは、α＞βのとき
はγ＝１、α≦βのときはγ＝０を出力し、フリップフ
ロップ１４ｃからは置換規則選択信号が出力される。
【００２４】以下、本実施形態の作用を図４の制御フロ
ーチャートを用いて説明する。まず図４のステップ１０
０において、プログラム実行中にメモリアクセスが発生
した場合には、次のステップ１０２、１１２、・・・、
１２２以下において、複数（Ｎ個）の置換規則に対応し
た性能評価処理が、置換規則性能評価回路１２中の（Ｎ
個の）各置換規則用の性能評価回路１２ａにおいて行わ
れ、それぞれ各置換規則に対応したヒット数が算出され
る。すなわち、その後のステップ１０２〜１０８の処
理、ステップ１１２〜１１８の処理及びステップ１２２
〜１２８の処理は、各置換規則に対応した性能評価をシ
ミュレートする処理であり、それぞれ同じ処理が、Ｎ個
の各性能評価回路１２ａにおいて、シーケンシャルに、
または並行して行われる。
ーチャートを用いて説明する。まず図４のステップ１０
０において、プログラム実行中にメモリアクセスが発生
した場合には、次のステップ１０２、１１２、・・・、
１２２以下において、複数（Ｎ個）の置換規則に対応し
た性能評価処理が、置換規則性能評価回路１２中の（Ｎ
個の）各置換規則用の性能評価回路１２ａにおいて行わ
れ、それぞれ各置換規則に対応したヒット数が算出され
る。すなわち、その後のステップ１０２〜１０８の処
理、ステップ１１２〜１１８の処理及びステップ１２２
〜１２８の処理は、各置換規則に対応した性能評価をシ
ミュレートする処理であり、それぞれ同じ処理が、Ｎ個
の各性能評価回路１２ａにおいて、シーケンシャルに、
または並行して行われる。
【００２５】そこで、置換規則＃０に対応する性能評価
回路１２ａ（その具体的構成は、例えば図２に示されて
いる。）の処理であるステップ１０２〜１０８の処理に
ついてのみ説明することとする。ステップ１０２におい
て、前述したように、置換規則＃０用の性能評価回路１
２ａ（１３）中の比較器１３ｂ（図２参照）により、性
能評価用タグメモリ１３ａから読み出されたアドレス
（タグ部）と、今メモリアクセスが要求されているアド
レス（タグ部）を比較し、ヒットがあるかどうか判定す
る。
回路１２ａ（その具体的構成は、例えば図２に示されて
いる。）の処理であるステップ１０２〜１０８の処理に
ついてのみ説明することとする。ステップ１０２におい
て、前述したように、置換規則＃０用の性能評価回路１
２ａ（１３）中の比較器１３ｂ（図２参照）により、性
能評価用タグメモリ１３ａから読み出されたアドレス
（タグ部）と、今メモリアクセスが要求されているアド
レス（タグ部）を比較し、ヒットがあるかどうか判定す
る。
【００２６】ヒットがない場合には、ステップ１０４へ
進み、前述したように、図２の置換制御回路１３ｄによ
り発生された置換ブロック選択信号及び性能評価用タグ
メモリライト信号により、置換規則＃０評価用タグメモ
リ１３ａを更新する。そして、ステップ１０６におい
て、ヒット数カウンタ１３ｃにより、ヒット／ミス履歴
レジスタ１３ｅのヒット／ミス履歴を更新する。また、
ステップ１０２において、ヒットがあった場合には、評
価用タグメモリ１３ａは更新せず、直接ステップ１０６
へ進み、ヒット／ミス履歴を更新する。
進み、前述したように、図２の置換制御回路１３ｄによ
り発生された置換ブロック選択信号及び性能評価用タグ
メモリライト信号により、置換規則＃０評価用タグメモ
リ１３ａを更新する。そして、ステップ１０６におい
て、ヒット数カウンタ１３ｃにより、ヒット／ミス履歴
レジスタ１３ｅのヒット／ミス履歴を更新する。また、
ステップ１０２において、ヒットがあった場合には、評
価用タグメモリ１３ａは更新せず、直接ステップ１０６
へ進み、ヒット／ミス履歴を更新する。
【００２７】また、ステップ１０８において、ヒット数
出力回路１３ｆにより、置換規則＃０における最近一定
アクセス回数中のヒット数（ヒット率）を算出し、出力
する。以上のような処理がＮ個の各置換規則＃０〜＃
（Ｎ−１）に対しシーケンシャルに、または並行して行
われ、それぞれに対するヒット率（数）が算出され、置
換規則切換制御回路１４に入力される。
出力回路１３ｆにより、置換規則＃０における最近一定
アクセス回数中のヒット数（ヒット率）を算出し、出力
する。以上のような処理がＮ個の各置換規則＃０〜＃
（Ｎ−１）に対しシーケンシャルに、または並行して行
われ、それぞれに対するヒット率（数）が算出され、置
換規則切換制御回路１４に入力される。
【００２８】次にステップ１３０において、置換規則切
換制御回路１４により、ある置換規則のヒット率が他の
置換規則のヒット率よりも十分大きいか否か判定する。
ステップ１３２において、このように他の置換規則のヒ
ット率よりも十分大きいヒット率を有する置換規則を選
択し、置換規則選択信号を置換規則切換制御回路１４か
ら出力する。
換制御回路１４により、ある置換規則のヒット率が他の
置換規則のヒット率よりも十分大きいか否か判定する。
ステップ１３２において、このように他の置換規則のヒ
ット率よりも十分大きいヒット率を有する置換規則を選
択し、置換規則選択信号を置換規則切換制御回路１４か
ら出力する。
【００２９】出力された置換規則選択信号は、置換制御
回路１０（図１参照）へ入力される。そして、置換制御
回路１０は、選択された置換規則に基づいて、置換ブロ
ック選択信号を出力し、タグメモリ１６のブロックを置
き換え、メインメモリのデータをキャッシュメモリのそ
のブロックに書き込み（タグメモリライト）、キャッシ
ュメモリのデータをメインメモリのデータと置き換え
る。
回路１０（図１参照）へ入力される。そして、置換制御
回路１０は、選択された置換規則に基づいて、置換ブロ
ック選択信号を出力し、タグメモリ１６のブロックを置
き換え、メインメモリのデータをキャッシュメモリのそ
のブロックに書き込み（タグメモリライト）、キャッシ
ュメモリのデータをメインメモリのデータと置き換え
る。
【００３０】このように本実施形態では、プログラム実
行中に、複数の各置換規則に対するヒット率（ヒット
率）をそれぞれ算出して、比較することにより、各置換
規則の性能をシミュレートして、適応的に置換規則を切
り換えるようにしたため、単一の置き換え規則を採用す
る場合よりも、平均的に良い性能を得ることができる。
行中に、複数の各置換規則に対するヒット率（ヒット
率）をそれぞれ算出して、比較することにより、各置換
規則の性能をシミュレートして、適応的に置換規則を切
り換えるようにしたため、単一の置き換え規則を採用す
る場合よりも、平均的に良い性能を得ることができる。
【００３１】以上、本発明の適応置換制御機能を有する
セット・アソシアティブ方式のキャッシュシステム及び
キャッシュ制御方法について詳細に説明したが、本発明
は、以上の実施形態に限定されるものではなく、本発明
の要旨を逸脱しない範囲において、各種の改良や変更を
行ってもよいのはもちろんである。
セット・アソシアティブ方式のキャッシュシステム及び
キャッシュ制御方法について詳細に説明したが、本発明
は、以上の実施形態に限定されるものではなく、本発明
の要旨を逸脱しない範囲において、各種の改良や変更を
行ってもよいのはもちろんである。
【００３２】
【発明の効果】以上、説明した通り、本発明によれば、
実行するプログラムに対して、適応的に置換規則を切り
換えることにより、単一の置換規則を採用した場合より
も平均的に良い性能を得ることができ、プログラムの実
行速度を高めることが可能となる。
実行するプログラムに対して、適応的に置換規則を切り
換えることにより、単一の置換規則を採用した場合より
も平均的に良い性能を得ることができ、プログラムの実
行速度を高めることが可能となる。
【図１】 本発明に係る適応置換制御機能を有するセッ
ト・アソシアティブ方式のキャッシュシステム及びキャ
ッシュ制御方法の一実施形態の概略構成を示す図であ
る。
ト・アソシアティブ方式のキャッシュシステム及びキャ
ッシュ制御方法の一実施形態の概略構成を示す図であ
る。
【図２】 本実施形態の置換規則性能評価回路を構成す
る複数の置換規則毎の性能評価回路の一構成例を示す回
路図である。
る複数の置換規則毎の性能評価回路の一構成例を示す回
路図である。
【図３】 本実施形態の置換規則切換制御回路の一構成
例を示す回路図である。
例を示す回路図である。
【図４】 本実施形態の作用を示す制御フローチャート
である。
である。
１ キャッシュシステム
１０ 置換制御回路
１２ 置換規則性能評価回路
１２ａ 各置換規則用の性能評価回路
１３ （ある置換規則に対する）性能評価回路
１３ａ 性能評価用タグメモリ
１３ｂ 比較器
１３ｃ ヒット数カウンタ
１３ｄ 置換制御回路
１３ｅ ヒット／ミス履歴レジスタ
１３ｆ ヒット数出力回路
１４ 置換規則切換制御回路
１４ａ レジスタ
１４ｂ 比較回路
１４ｃ フリップフロップ
１６ タグメモリ
Claims (2)
- 【請求項１】セット・アソシアティブ方式のキャッシュ
システムであって、 アクセス要求のあったデータがキャッシュメモリ中に存
在しない場合に、キャッシュメモリのデータとメインメ
モリのデータを置き換える置換規則を複数備え、そのう
ちの１つの置換規則を用いて、前記データの置き換えを
行う置換制御回路と、 アクセス要求のあったデータがキャッシュメモリ中に存
在する割合を示すヒット率及び存在しない割合を示すミ
ス率を、前記複数の置換規則ごとに算出する置換規則性
能評価回路と、 前記算出されたヒット／ミス率に基づいて、前記置換制
御回路で用いる置換規則を、前記複数の置換規則の中の
１つと切り換える置換規則切換制御回路と、 を備えたことを特徴とする適応置換制御機能を有するセ
ット・アソシアティブ方式のキャッシュシステム。 - 【請求項２】セット・アソシアティブ方式のキャッシュ
制御方法であって、 アクセス要求のあったデータがキャッシュメモリ中に存
在しない場合に、キャッシュメモリのデータとメインメ
モリのデータを置き換える複数の置換規則を備え、 アクセス要求のあったデータがキャッシュメモリ中に存
在する割合を示すヒット率及び存在しない割合を示すミ
ス率を、キャッシュ動作中に前記複数の置換規則毎に算
出し、 前記算出されたヒット／ミス率に基づいて、前記複数の
置換規則のうちで用いる置換規則を適応的に切り換える
ことを特徴とするセット・アソシアティブ方式のキャッ
シュ制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002082806A JP3964705B2 (ja) | 2002-03-25 | 2002-03-25 | 適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002082806A JP3964705B2 (ja) | 2002-03-25 | 2002-03-25 | 適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003280987A true JP2003280987A (ja) | 2003-10-03 |
| JP3964705B2 JP3964705B2 (ja) | 2007-08-22 |
Family
ID=29230855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002082806A Expired - Fee Related JP3964705B2 (ja) | 2002-03-25 | 2002-03-25 | 適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3964705B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257445A (ja) * | 2009-04-14 | 2010-11-11 | Technology Currents Llc | ハードウェアカスタマイゼーション及びエネルギー最適化のためのプログラム及びデータアノテーション |
| WO2012095957A1 (ja) * | 2011-01-12 | 2012-07-19 | 富士通株式会社 | キャッシュメモリ装置，キャッシュメモリの制御装置，情報処理装置，キャッシュメモリの制御方法，及びキャッシュメモリ装置の閾値決定プログラム |
| JP2017068328A (ja) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | キャッシュ制御装置、キャッシュ制御方法およびキャッシュ制御プログラム |
| US9652387B2 (en) | 2014-01-03 | 2017-05-16 | Red Hat, Inc. | Cache system with multiple cache unit states |
| JP2019525330A (ja) * | 2016-07-20 | 2019-09-05 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ | キャッシュテスト領域に基づくプリフェッチデータに対するキャッシュ転送ポリシーの選択 |
| US11880310B2 (en) | 2019-10-31 | 2024-01-23 | Advanced Micro Devices, Inc. | Cache access measurement deskew |
-
2002
- 2002-03-25 JP JP2002082806A patent/JP3964705B2/ja not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010257445A (ja) * | 2009-04-14 | 2010-11-11 | Technology Currents Llc | ハードウェアカスタマイゼーション及びエネルギー最適化のためのプログラム及びデータアノテーション |
| US9104435B2 (en) | 2009-04-14 | 2015-08-11 | Empire Technology Development Llc | Program and data annotation for hardware customization and energy optimization |
| US10331191B2 (en) | 2009-04-14 | 2019-06-25 | Empire Technology Development, Llc | Program and data annotation for hardware customization and energy optimization |
| WO2012095957A1 (ja) * | 2011-01-12 | 2012-07-19 | 富士通株式会社 | キャッシュメモリ装置，キャッシュメモリの制御装置，情報処理装置，キャッシュメモリの制御方法，及びキャッシュメモリ装置の閾値決定プログラム |
| JP5494834B2 (ja) * | 2011-01-12 | 2014-05-21 | 富士通株式会社 | キャッシュメモリ装置，キャッシュメモリの制御装置，情報処理装置，キャッシュメモリの制御方法，及びキャッシュメモリ装置の閾値決定プログラム |
| US9652387B2 (en) | 2014-01-03 | 2017-05-16 | Red Hat, Inc. | Cache system with multiple cache unit states |
| US10339055B2 (en) | 2014-01-03 | 2019-07-02 | Red Hat, Inc. | Cache system with multiple cache unit states |
| JP2017068328A (ja) * | 2015-09-28 | 2017-04-06 | 日本電気株式会社 | キャッシュ制御装置、キャッシュ制御方法およびキャッシュ制御プログラム |
| JP2019525330A (ja) * | 2016-07-20 | 2019-09-05 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ | キャッシュテスト領域に基づくプリフェッチデータに対するキャッシュ転送ポリシーの選択 |
| JP7232175B2 (ja) | 2016-07-20 | 2023-03-02 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | キャッシュメモリのデータ置換方法及びプロセッサ |
| US11880310B2 (en) | 2019-10-31 | 2024-01-23 | Advanced Micro Devices, Inc. | Cache access measurement deskew |
| JP7453360B2 (ja) | 2019-10-31 | 2024-03-19 | アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド | キャッシュアクセス測定デスキュー |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3964705B2 (ja) | 2007-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7783836B2 (en) | System and method for cache management | |
| JP4067887B2 (ja) | プリフェッチを行う演算処理装置、情報処理装置及びそれらの制御方法 | |
| US6766419B1 (en) | Optimization of cache evictions through software hints | |
| US7958311B2 (en) | Cache line replacement techniques allowing choice of LFU or MFU cache line replacement | |
| US9292447B2 (en) | Data cache prefetch controller | |
| US8108615B2 (en) | Prefetching controller using a counter | |
| JP2023507078A (ja) | プリフェッチレベルの降格 | |
| US11301250B2 (en) | Data prefetching auxiliary circuit, data prefetching method, and microprocessor | |
| WO2023173991A1 (en) | Cache line compression prediction and adaptive compression | |
| US7493453B2 (en) | System, method and storage medium for prefetching via memory block tags | |
| CN114297100A (zh) | 用于缓存的写策略调整方法、缓存装置及计算设备 | |
| WO2012095957A1 (ja) | キャッシュメモリ装置，キャッシュメモリの制御装置，情報処理装置，キャッシュメモリの制御方法，及びキャッシュメモリ装置の閾値決定プログラム | |
| JP4009304B2 (ja) | キャッシュメモリおよびキャッシュメモリ制御方法 | |
| JP3964705B2 (ja) | 適応置換制御機能を有するセット・アソシアティブ方式のキャッシュシステム及びキャッシュ制御方法 | |
| US5787467A (en) | Cache control apparatus | |
| CN115480826A (zh) | 分支预测器、分支预测方法、装置和计算设备 | |
| CN115495394A (zh) | 数据预取方法和数据预取装置 | |
| EP0296430A2 (en) | Sequential prefetching with deconfirmation | |
| GB2394329A (en) | A method and an architecture capable of adaptively accessing data and instructions | |
| US8244980B2 (en) | Shared cache performance | |
| JPH0689232A (ja) | キャッシュメモリの制御方法 | |
| JPH04315235A (ja) | キャッシュメモリにおけるキャッシュデータリプレース方法及びキャッシュデータリプレース装置 | |
| JPH04288647A (ja) | キャッシュメモリにおける置き換え制御装置 | |
| JP2000293437A (ja) | キャッシュメモリ装置及びキャッシュメモリ制御方法 | |
| JPH1055309A (ja) | 階層キャッシュメモリ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070515 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110601 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120601 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130601 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140601 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |