JP2001515624A - ペナルティーに基づくキャッシュ格納置換方法 - Google Patents

Abstract

(57)【要約】 キャッシュデータ置換方法は、中央処理装置（ＣＰＵ）、キャッシュメモリ、及びメインメモリを有するコンピュータシステムの動作を改善することを可能にするものであり、キャッシュメモリには複数のデータ項目が格納される。キャッシュデータ置換方法は、優先順位値を格納されている各々のデータ項目に関連させる動作を含んでおり、各データ項目について、優先順位値は、データ項目がキャッシュメモに格納されていない場合にそのデータ項目を前記キャッシュメモリから引き出そうとしたときに生じるＣＰＵ機能停止時間の推定値である。キャッシュ項目が置換されなければならないときには、最低の優先順位値を決定するために優先順位値が分析される。最低の優先順位値を有するデータ項目のうちの１つが選択されて、置換データ項目と置換される。データ項目の優先順位値は、メインメモリからのデータ項目の検索の開始と完了とにより画定される時間間隔の間に取り出されてバッファメモリに格納された他の命令の個数の関数として確定されて良く、他の命令の実行は前記データ項目の検索完了に依存する。本発明の他の態様においては、キャッシュ項目の優先順位値は、キャッシュヒット率を高めるために定期的に下げられて良く、また価値あるデータ項目をデータキャッシュに確保しておくために、関連するデータ項目がアクセスされる毎に初期設定され直しても良い。

Description

【発明の詳細な説明】 発明の名称 ペナルティーに基づくキャッシュ格納置換方法 背景 本発明は、キャッシュメモリに関し、特にキャッシュメモリにおいて置換され るべきデータを選択する方法に関するものである。 コンピュータ・システム内での処理は、中央処理装置（ＣＰＵ）と称されるハ ードウェア・エレメントにより実行される。このＣＰＵのための命令及びデータ は、大規模なメインメモリに格納される。ＣＰＵの動作速度（即ち、１つの命令 を実行するのにかかる時間）は、通常、メインメモリのアクセス速度より遥かに 速い。その結果として、ＣＰＵは、メインメモリの１メモリアクセス動作のサイ クルの間、要求された命令やデータ項目をむなしく待たざるを得ないことがある 。この無駄な待ち時間がＣＰＵの実効処理速度をひどく低下させる。 この問題に対処するために、しばしば、キャッシュメモリ・ユニットがコンピ ュータシステムに組み込まれている。キャッシュメモリは、ＣＰＵとメインメモ リとの間の緩衝記憶能力を提供する補助メモリとして、コンピュータ技術の分野 では良く知られている。キャッシュメモリは、通常、メインメモリより遙かかに 高速で動作し、メインメモリからロードされるように設計されている。 ＣＰＵの速度で動作するメモリ装置は、メインメモリを構成する比較的に低速 の装置より遥かに高価で物理的に大規模である。その結果として、キャッシュメ モリのサイズ（メモリに含まれている、別々にアドレス指定することのできる記 憶セルの個数で測られる）は、メインメモリのサイズより遙かに小さい。キャッ シュメモリは、メインメモリに格納されている命令及びデータ項目の全部を含む ことはできな いので、ＣＰＵが、時折、キャッシュメモリに現在は格納されていない特定の命 令又はデータを要求することになる。このような出来事は、“キャッシュミス” と称されていて、要求された命令又はデータ項目は、メインメモリから検索され てキャッシュメモリに格納され、その後にＣＰＵに供給される必要がある。この 場合、各々のキャッシュミスは、キャッシュメモリが存在しなければＣＰＵが待 つことになる時間（それより長くはないとしても）だけ、ＣＰＵを待たせること になる可能性を持っている。 データ読み込みのキャッシュミスが発生する毎に起こる処理速度のペナルティ ーを軽減するための１つの手法として、命令の実行を順序通りに行わないように する方法がある。これは、キャッシュミスを発生させた命令の後の命令を、ＣＰ Ｕが見つからないデータを待っている間に、実行し続けることを意味する。この 方法が効果を発揮するには、それらの後の命令が見つからないデータに依存しな いことが必要である。見つからないデータに依存する命令の実行は、見つからな いデータを利用できるようになるまで（例えばキューなどで）、一時停止されな ければならない。そのデータが利用可能となったときに、このデータに依存する 命令の全部が実行される。順序外命令実行手法は、ウィリアム・ジョンソンのス ーパースケーラー・マイクロプロセッサ・デザイン （William Johnson,Supersca ler Microoocessor Design ）、１９９１（ISBN 0-13-875634-1）で解説されてお り、これを参照として本明細書に取り入れるものとする。 順序外実行方法を採用するとしても、プログラム中に、ターゲット位置が見つ からないデータを何等かの条件とするような分岐命令が存在することがある。Ｃ ＰＵの命令取り出し動作の長い遅延を防止するための１つの方法として、どの分 岐が採られるのかを予測し、仮に推測された分岐先から命令を取りだして実行す る動作を継続する方法ある。見つからないデータが利用可能となったときに、そ の推測が正しかったことが分かったならば、前記仮の実行結果を永続なものとで き る（例えば、その結果をターゲット記憶位置に格納することにより）。しかし、 もし間違った推測がなされたならば、条件付き分岐命令後に実行された命令の結 果を全て捨てて、正しい分岐路からプログラムの実行を再開しなければならない 。従って、間違った推測は動作に非常に大きなペナルティーを与える原因となる 。 未決状態の条件付き分岐についての正しい経路を正しく推測する確率を高める ために、前の条件付き分岐の結果についての統計を格納する分岐予測メモリを更 に含むことにより、この方法を改良することができる。この方法を使っても、間 違って予測される分岐があることは避けられないので、動作に大きなペナルティ ーとなる。 ＣＰＵの有効実効速度に影響を及ぼす別の要因は、キャッシュミスが発生した ときに、見つからないデータ項目のための空きを作るために、データ（又は、デ ータ及び命令が同じキャッシュメモリを共有する場合には、１つ以上の命令）を キャッシュメモリから除去しなければならないことである。キャッシュから除去 されるべきデータを選択する方法（“キャッシュ置換方法”と称される）は、“ 放り出された(cast out)”データが後に必要になって、他のキャッシュミスを発 生させる原因となるので、ＣＰＵの有効実効速度に影響を及ぼす。 現存するキャッシュ置換方法は、要求された命令又はデータ項目がキャッシュ 内で首尾良く確認される（“キャッシュヒット”と称される）確率を最大にする ことを基礎としている。そのような方法の１つでは、除去されるものとして実行 プログラムにより最も古く使われたデータ項目を選択する。このアプローチの根 拠は、時間的局在性という概念、即ち、次にアクセスされるアドレスが最後にア クセスされたアドレスと同じである確率は、第２のアクセスが発生する時期が第 １のアクセスに対して早ければ早いほど、高くなるという概念である。 他のキャッシュ置換方法は、ランダム置換及び先入れ先出し（ＦＩＦＯ）であ る。 上記のキャッシュ置換方法は、全て、普通は、キャッシュ読み出し が試みられてキャッシュからデータが首尾良く得られた回数を、試みられたキャ ッシュアクセスの総数で割ったものとして定義されるキャッシュヒット率を高め ることを目標としている。（関連する尺度としては、普通は（１−キャッシュヒ ット率）として定義されるキャッシュミス率がある）。しかし、これらのキャッ シュ置換方法は、必然的に発生するキャッシュミスの影響を考慮に入れていない ので、不十分である。 要約 従って、本発明の目的は、置換されるキャッシュデータ項目の空きを作るため に、キャッシュメモリ中のどのデータ項目を除去するかを決める改良された方法 及び装置を提供することにより、ＣＰＵの有効実行速度を高めることにある。 前記及びその他の目的は、中央処理装置（ＣＰＵ）、キャッシュメモリ、及び メインメモリを有するコンピュータシステムにおいて、キャッシュデータ置換方 法を利用することにより達成される。前記キャッシュメモリには、複数のデータ 項目が格納される。本発明の１つの態様に従えば、キャッシュデータ置換方法は 、格納されている各々のデータ項目に優先順位値を付随させるステップを含んで いる。各データ項目についての優先順位値は、或るデータ項目がキャッシュメモ リに格納されていないときに前記データ項目をキャッシュメモリから検索しよう と試みた場合に費やされるＣＰＵ機能停止時間の推定値である。 本発明の他の態様に従えば、各々のデータ項目についての優先順位値は、メイ ンメモリからのデータ項目の検索の開始と完了とにより画定される時間間隔中に 、他の何個の命令が取り出されてバッファメモリに格納されたかを確認すること によって確かめられる。前記他の命令の実行は前記データ項目の検索の完了に依 存する。 本発明の更に他の態様に従えば、各データ項目について、前記時間 間隔中に他の何個の命令が取り出されてバッファメモリに格納されたか確認する ステップは、前記他の命令のいずれかが条件付き分岐命令であるか否かに基づい て、ある量だけ優先順位値を調整するステップを含む。 本発明の更に他の態様に従えば、各データ項目について、前記時間間隔中に他 の何個の命令が取り出されてバッファメモリに格納されたか確認するステップは 、更に、前記他の命令のいずれかが非分岐命令であるか否かに基づいて、ある量 だけ優先順位値を調整するステップを含む。 本発明の他の態様に従えば、置換データ項目がキャッシュに格納されるときに 、置換されるキャッシュ登録は、優先順位値を分析して最低優先順位値を決定す ることにより決定される。そのとき、最低優先順位値を有するデータ項目のうち の１つが選択されて、置換データ項目に取って代わられる。 本発明の更に他の態様に従えば、データキャッシュのヒット率は、付随するデ ータ項目の優先順位値が不変に保たれる必要がないことによって、改善される。 むしろ、各々の優先順位値は、より低い優先順位値となるように所定量だけ定期 的に調整される。このようにして、最初は高い優先順位値を持っていたキャッシ ュ項目でも、結局は置換の候補となる。 本発明の更に他の態様に従えば、関連するデータ項目の読み出しアクセスに応 答して、貴重なデータ項目の優先順位値を所定量だけ調整することによって、貴 重なデータ項目が無期限にデータキャッシュにとどまることを許すことができ、 その調整はより高い優先順位値をもたらす。或いは、関連するデータ項目の読み 出しアクセスに応答して、その優先順位値を初期値にセットしても良い。データ 項目の優先順位値を定期的に下げる手法と組み台わせると、この手法は、動作し ているプログラムによって貴重なキャッシュ項目がアクセスされ続ける限り、そ れらがデータキャッシュにとどまることを許すと共に、更に、 それらが最早利用されなくなったときには置換されることを許す。 図面の簡単な説明 本発明の上記及びその他の目的及び利点は、以下の詳しい説明を図面と関連さ せて読めば理解されよう。 図１は、本発明を表わす代表的コンピュータシステムのブロック図である。 図２は、データ項目をメインメモリから検索し、それを本発明の１つの態様に 従うデータキャッシュに格納する手順を表すフローチャートである。 図３は、本発明のキャッシュ格納置換方法に用いられるデータキャッシュの代 表的実施態様の図である。 図４は、本発明の他の態様に従ってキャッシュメモリのデータを置換する方法 を表すフローチャートである。 図５は、本発明のキャッシュ格納置換方法に用いるデータキャッシュの他の代 表的実施態様の図である。 図６は、本発明の他の態様に従って優先順位値を維持する方法を表すフローチ ャートである。 詳細な説明 次に本発明の種々の特徴を図に関して説明するが、図においては同様の部分は 同じ参照符号で特定されている。 本発明を表わす代表的コンピュータシステムが図１に示されている。ＣＰＵ１ ０１は、メインメモリ１０７に格納されている命令を実行する。ＣＰＵ１０１は 、それらの命令についてのデータを、メインメモリ１０７に含まれているアドレ ス空間から検索する。命令実行の結果も、この同じアドレス空間に格納される。 メインメモリ１０７のサイクルタイムは、ＣＰＵ１０１の実行速度より遙かに 低速である。ＣＰＵ１０１にもっと高速に命令を供給する ために、ＣＰＵ１０１とメインメモリ１０７との間に命令キャッシュ１０３が置 かれている。命令キャッシュ１０３は、従来の手法に従って動作するので、ここ ではこれ以上詳しくは説明しない。 ＣＰＵ１０１がもっと高速にデータを検索したり格納したりできるようにする ために、ＣＰＵ１０１とメインメモリ１０７との間にデータキャッシュ１０５も 置かれている。データキャッシュ１０５へのデータの出入りの流れは、データキ ャッシュ・コントローラ１０９によって監督される。データキャッシュ１０５の 動作の多くは既知の手法に従って行われる。従来のキャッシュメモリと同様に、 データキャッシュ１０５は、そのサイクルタイムがＣＰＵの実行速度に近いメモ リである。また、従来のキャッシュメモリと同様に、データキャッシュ１０５は メインメモリ１０７に含まれている情報の部分集合を保持しているに過ぎない。 “背景”の項で論じたように、キャッシュミスの発生をデータキャッシュ１０５ に対して用いることができる。 “背景”の項で説明したように、キャッシュミスの影響を軽減するために、Ｃ ＰＵ１０１の構成を命令の順序外実行とすることができる。この能力を有するＣ ＰＵを設計する手法は当前記技術分野で知られているので、ここで詳しく説明す る必要はない。本発明を理解し易くするために、ＣＰＵ１０１の代表的実施態様 を手短に説明する。ここで説明する本発明の原理は、ＣＰＵ１０１が後述する特 定の形をとることを必要とせず、命令の順序外実行を採用するどのようなプロセ ッサ構成にも応用し得るものであることが理解されるべきである。 代表的ＣＰＵ１０１は、次の命令のアドレスを確認してその命令を取り出すた めの命令取り出し論理１１１を含んでいる。代表的ＣＰＵ１０１の命令セットは 、アドレス指定可能な多くのワーキングレジスタ１１３のいずれに格納されてい るオペランドも使用できるように設計されている。従って、ソースオペランドを 使用する命令が実行される前に、まずそのオペランドは、オペランド取り出しロ ジック１１５、 計算論理（ＡＬＵ）１１７，及び再整理バッファ１１９を介して、データキャッ シュ１０５からワーキングレジスタにロードされなければならない。当然、本発 明は、ここで説明されているような縮小命令セット・コンピュータ（ＲＩＳＣ） での使用だけに限定されるものではない。反対に、それは、複合命令セット・コ ンピュータ（ＣＩＳＣ）にも容易に応用し得るものである。いろいろな違いがあ る中で、前記コンピュータでは、ＡＬＵが、アドレス指定された記憶場所から直 接受け取られたデータを、始めにワーキングレジスタにロードせずに、操作する ことを許す命令が設けられている。 オペランド取り出しロジック１１５と再整理バッファ１１９とは、協動して順 序外実行能力を与える。オペランド取り出しロジック１１５は、ＡＬＵ１１７の それぞれの入力に供給されるソースオペランドを組み立てる。この仕事を容易に するために、オペランド取り出しロジック１１５は、ソースデータ自体か、或い はソースデータが未だワーキングレジスタ１１３にロードされていないことを示 す（未だ実行されていない命令に割り当てられた）シーケンス番号を格納してお くための、多くの予約ステーションを含んでいる。 再整理バッファ１１９は、宛先データを組み立てると共に、与えられた命令が 実行されたか否かと、命令同士の依存関係とを監視し続ける。命令が受け取られ ると、それにタグ番号が割り当てられ、再整理バッファ１１９に入れられる。そ の後、新しい命令のソースが前の他のいずれかの命令の宛先と一致するか否かを 確かめるために、再整理バッファ１１９に前もって格納されていた全ての命令が 調べられる。もし一致があるならば、新しい命令が直ちに実行されるのを妨げる 依存関係がある（即ち、その新しい命令は、先の命令によって未だ作られていな いソースオペランドを必要とする）。その結果として、新しい命令のシーケンス 番号が、そのソースデータの代わりにオペランド取り出しロジック１１５に置か れることになる。 本実施例では、再整理バッファ１１９は、宛先データ自体を格納す るためのスペースを有している。従って、宛先データを利用できるようになった とき、それは再整理バッファ１１９にロードされ、そのデータが有効であること を示すために関連する状況フラグがセットされる。宛先データが後の命令のソー スデータでもあるときに命令実行を高速化するため、そのデータをまずワーキン グレジスタ１１３に書き込んでから前記データをワーキングレジスタ１１３から オペランド取り出しロジック１１５へ移すことを必要とせずに、その宛先データ を再整理バッファ１１９からオペランド取り出しロジック１１５中の適切な予約 ステーションへ直接に経路指定しても良い。命令実行を更に高速化するために、 新たに作られたソースデータをもっと速やかにロードできるように、代表的ＣＰ Ｕ１０１はＡＬＵ１１７の出力からオペランド取り出しロジック１１５の入力へ の経路を更に含んでいる。 作られたデータが再整理バッファ１１９に格納されているという事実は実行プ ログラムには見えず、実行プログラムは結果をワーキングレジスタ１１３の１つ 又はデータキャッシュ１０５（又はメインメモリ１０７）に格納することにだけ 関わっている。その結果、データは、結局、再整理バッファ１１９から、対応す る命令により示される宛先へ移されなければならない。作られたデータを再整理 バッファ１１９から適切な宛先へ移す動作は、データを“引き渡す”、“回収す る”、或いは“書き戻す”と称される。代表的ＣＰＵ１０１の構成は、先の命令 に関連する全てのデータが引き渡された後に、はじめて作られたデータを引き渡 す手順を採用している。 順序外実行能力を備えていても、データのキャッシュミスの発生は、ＣＰＵ１ ０１の有効実行速度を低下させるオーバーヘッドのペナルティーを依然として残 す。従って、ＣＰＵ１０１の有効実行速度を更に速くするために、データキャッ シュ・コントローラ１０９は、更に、キャッシュミスが発生する度に、後述する 本発明のデータ置換技術を採用する。高いヒット率を達成することに焦点を合わ せるのではなく、本発明のキャッシュ置換思想は、データミスが発生した結果と して生 じる実行速度のペナルティーを軽減することを基礎とする。 本発明の１つの態様において、この目的はデータを３つの種類の１つに分類で きることを認識することにより達成される。 タイプ１のデータは、他のデータ項目の計算のために入力変数として使われず 、単にあるアドレスに書き戻される純粋な情報である。タイプ１のデータ項目の 例は、エディタのコピー及びペースト動作の一部としてメモリから検索されるデ ータである。タイプ１のデータ項目の他の例は、変数へのポインタを使わずにＣ で書かれた処理手順と関連するパラメータである。そのような場合、その処理手 順の実施では、最初に変数をスタックにコピーし、次に同じ内容でローカル変数 にコピーする。 タイプ２のデータは情報データである。このデータは、あるアドレスに書き戻 される前に、一定の数の命令において計算のための入力変数として使われる。 タイプ３のデータは制御データである。制御データは、条件付き分岐命令の動 作を直接又は間接的に決定する。（制御データは、結果のデータ項目を決定する ために任意の数の計算命令において入力変数として使われるときには間接的に動 作し、そのデータ項目は条件付き分岐命令の動作を決定するための述語として使 われる）。 キャッシュミスが発生したとき、順序外実行を可能とするハードウェアをＣＰ Ｕ１０１が備えている限りは、タイプ１データは実行速度に殆どペナルティーを 課さない。この目的のために、保留中の命令及びデータを保持するためのキュー が、見つからないデータが検索されている間にＣＰＵ１０１中の実行ユニットが 使用され続けるのに充分な長さを持っているべきである。 タイプ２データと関連するキャッシュミスからは、より大きなペナルティーが 実行速度に課される結果となり、このペナルティーの大きさは、見つからないデ ータに直接又は間接的に依存する命令の個数の関数である。（間接的依存は、命 令が、入力として、見つからない データ自体ではなくて、その見つからないデータの関数である計算結果を必要と するときに発生する）。 理論上は、キャッシュミスがタイプ２のデータに関係するときにも、順序外実 行手順を利用することが可能である。しかし、実際上は、保留中の命令及びデー タを保持するのに充分な長さを持ったキューを設計するのは、保留状態にとどま る必要のある依存命令の個数が非常に大きくなるかも知れないので、問題を含ん でいる。 タイプ３のデータに関係するキャッシュミスに関しては、最大の動作問題が発 生する。もし条件付き分岐を評価することができなければ、ＣＰＵ１０１はどの 命令を取り出したらよいのか分からない。最悪の場合、実際に必要な命令が命令 キャッシュ１０３で使うことができなくなる。その結果として、ＣＰＵ１０１は 命令取り出し中は機能を停止し、そのために有効実行速度をひどく害してしまう 。 本発明の１つの態様に従えば、キャッシュ置換思想は、始めにデータキャッシ ュ１０５におけるタイプ３のデータ項目の存在を最大にするように設計される。 本発明の別の態様では、キャッシュ置換思想は、データキャッシュ１０５におい て、タイプ２のデータ項目にタイプ１のデータ項目より高い優先順位を与える。 データ項目のキャッシュ置換優先権は、そのデータ項目に優先順位値を付随さ せることによって与えられる。例えば、優先順位値は値が高いほどキャッシュミ ス・ペナルティーが大きくなるように定義されて良い。もちろん、より低い優先 順位値により高いキャッシュミス・ペナルティーを指示させるなど、ここで教示 されている発明原理に従う別の定義を、容易に想到することができる。 次に、図２に描かれているフローチャートを参照して、本発明のこれらの態様 の代表的実施例について説明する。データキャッシュミスが発生する毎に、見つ からなかったデータ項目がメインメモリ１０７から引き出されてデータキャッシ ュ１０５に格納される（ステップ２０１）。次に、このデータ項目へのアクセス が試みられたとき、前記 データ項目がもしデータキャッシュ１０５中に存在しなかったら生じたはずのペ ナルティーの関数として、初期優先順位値が決定される（ステップ２０３）。そ の優先順位値は、好ましくは、キューとコンピュータの他のハードウェア資源と の現状の関数である。その調整された値は、次に前記データ項目と関連づけられ る（ステップ２０５）。 初期優先順位値の決定（ステップ２０３）について詳しく説明する。データ項 目の優先順位値は、好ましくは、そのデータ項目へのアクセスの試みがキャッシ ュミスという結果をもたらしたときに決定される。キャッシュミスが発生したと き、後の命令の順序外実行が始まる。見つからないデータ項目を必要とする命令 があったならば、それらの命令は、それらが実行され得るまでキューに格納され る。例えば、下記のプログラム部分を考察する。 load r1,#1; （ｒ１：＝“アドレス１”） add r2,r1,r3; （ｒ２：＝ｒ１＋ｒ３） add r4,r2,r5; （ｒ４：＝ｒ２＋ｒ５） 上の例では、最初のロード命令がデータキャッシュ１０５中のアドレス１のデ ータ項目の存在に依存するだけではなくて、後の２個の加算命令もそれに依存し ている。その理由は、最初の加算命令がｒ１に適切な値があることを必要とする が、それは最初のロード命令が実行された後にはじめて現実となる。同様に、第 ２加算命令は、ｒ２の内容が確定されるまでは実行され得ない。従って、データ キャッシュ１０５中の“アドレス１”に関連するキャッシュミスが生じた場合に は、見つからないデータが使用可能となるまで上記の３つの命令はキューに格納 される。 命令が格納されたキューは、見つからないデータの優先順位値を決定するため に使われる。依存条件付き分岐があるならば、優先順位値は非常に高い。上の例 と同様のデータ依存関係があるならば、優先順位値を中間レベルにセットするこ とができる。依存関係がなければ、見つからないデータの優先順位値は低い。従 って、優先順位値は、そ れぞれ３，２及び１にセットされて良い。 優先順位値を決定する簡単な方法は、全ての実行命令が直接又は間接的に、見 つからないデータに依存すると仮定することである。その値は、この場合には、 Ｖ＝Ｎ１×Ｖ１＋Ｎ２×Ｖ２であり、ここでＮ１は未だ実行されていない非分岐 命令の個数であり、Ｖ１は非分岐命令に割り当てられるペナルティー値であり、 Ｎ２は未だ実行されていない条件付き分岐の個数であり、Ｖ２は条件付き分岐命 令に割り当てられるペナルティー値である。 実行されていない命令の一部又は全部が、ペナルティー値が計算されているデ ータ項目以外のデータ項目にだけ依存するのであれば、前述した簡単な方法は過 度に高い優先順位値をもたらす結果となることが分かる。また、コードセグメン トにおいて２つのデータ取り出しがあり、その一つ一つが結局キャッシュミスを もたらしたならば、上記の簡単な優先順位値計算方法は、たとえ第１データ項目 が正確に低い優先順位値を持ち第２データ項目が高い優先順位値を持つべきであ っても、各々に高い優先順位値を割り当てる結果をもたらす。 場合によっては、優先順位値を過度に高く見積もる可能性があることを考慮し て、実際に間題のデータ項目に依存する未実行の命令だけを数えるために、再整 理バッファ中の命令バッファの内容をもっと精巧に分析することもできる。しか し、この分析はオーバーヘッドが伴うので、前述した簡単な方法より魅力が少な い。 下記のコードセグメントがＣＰＵ１０１により実行されると想定して、優先順 位値計算のもっと完全な例を考察する。 命令 コメント load R0,#5; （ｒ０：＝“アドレス５”） jump on equal r0,r1; （ｒ０＝ｒ１ならばジャンプ） add r6,r3,r0: （ｒ６：＝ｒ３＋ｒ０） add r7,r3,r2; （ｒ７：＝ｒ３＋ｒ２） add r8,r7,r9; （ｒ８：＝ｒ７＋ｒ９） addr 9,r10,r11; （ｒ９：＝ｒ１０＋ｒ１１） ここで、ｒ_xはワーキングレジスタｘを意味する。 これらの命令が取り出された後、再整理バッファ１１９の内容は表１のように 見える。 “load r0,#5”がキャッシュミスという結果をもたらし、所望のデータをメイ ンメモリ１０７から取り出されなければならなくなったと想定する。このとき、 メモリアドレス５からのデータが到着するまでに、その新たに到着するデータに 依存する１つの条件付きジャンプ（位置１）と１つの加算（位置２）とがある。 位置３，４及び５に位置する“データ有効＝１”は、これらの加算命令が既に実 行されていて、他のどの命令にも依存しないことを表している。条件付きジャン プについてのペナルティーが５（即ち、Ｖ２＝５）であり、他の命令については １（即ち、Ｖ１＝１）であるとすると、アドレス５のデータに割り当てられる合 計の優先順位値は（１×５＋１×１）＝６となる。 この場合、予測されるジャンプ結果が行われないジャンプであることに基づい て、条件付きジャンプ命令の後の全ての命令が投機的に取り出されて実行される 。もしジャンプ結果が間違って予測されたならば、その条件付きジャンプ後の全 ての命令を捨てて、正しい命令経路 を取りだして実行しなければならない。 各データキャッシュ項目について優先順位値を決定するための手順について説 明をした。図２に示されているように、優先順位値をキャッシュ項目に付随させ なければならない。いろいろな方法で、それを行うことができる。それらのうち の１つを図３を参照して説明するが、これは前述した本発明の方法に用いるデー タキャッシュ１０５の代表的実施態様を記述している。データキャッシュ１０５ は、０からＮ−１まで示されているアドレスにＮ個のデータ項目を格納しておく ことができる。代表的アドレスｍに、データ項目３０１が格納されている。デー タキャッシュ１０５は、データ項目を格納する各場所に、付随する優先順位値を 格納しておくための対応する場所が存在するように構成される。代表的場所ｍに ついては、格納されているデータ項目３０１は、格納されている優先順位値３０ ３と関連づけられている。このような能力を有するキャッシュメモリを構成する 方法は当前記技術分野では周知なので、ここではあまり詳しくは説明しない。例 えば、ジョンＬ．ヘネスのコンピュータ・アーキテクチャ、量的アプローチ（Jo hn L.Hennes,Computer Architecture.A Quantitative Approach）、（１９９０ ）を参照されたい。これを参照として本明細書に取り入れるものとする。 次に、本発明の他の態様における、キャッシュメモリ内のデータを置換するた めの方策について、図４のフローチャートを参照して説明する。この代表的実施 態様では、データキャッシュ１０５内の各登録が、前述したように関連する優先 順位値を持っているということが想定されている。 データキャッシュ１０５から登録を読み出す試みがなされるとき、要求された データ項目がデータキャッシュ１０５に現在格納されているか否かに関して判定 が行われる（判定ブロック４０１）。その項目が見つかったならば（判定ブロッ ク４０１から出る“ＮＯ”経路）、その項目は単にデータキャッシュ１０５から 検索され（ステップ４０ ３）、処理が続けて行われる。 キャッシュミスが発生したならば（判定ブロック４０１から出る“ＹＥＳ”経 路）、要求されたデータ項目のための空きを作るためにデータキャッシュ１０５ から登録を除去する必要がある。これは、データキャッシュ１０５に格納されて いる全ての優先順位値３０３の中から最低の優先順位値を有する登録の場所を見 つけだすことにより達成される（ステップ４０５）。最低優先順位値を有する登 録が２つ以上ある場合には、データキャッシュ１０５からどの１つを除去するか 決めるために任意の手法（ランダム選択、ポインタの使用、或いはその他の任意 の手法）を使用することができる。その後、要求された（即ち、“見つからない ”）データ項目がメインメモリ１０７から検索され（ステップ４０７）、検索さ れたデータ項目は、データキャッシュ１０５のステップ４０５で特定されたアド レスに格納される。最低優先順位値を有する登録を除去することにより、本発明 のキャッシュ置換方法は、除去された登録と関連するキャッシュミスが後に発生 する可能性を減少させ（即ち、除去されたデータ項目は長い時間にわたってアク セスされていなかったので、優先順位値が低かった）、或いは除去された登録と 関連する後のキャッシュミスが顕著な実行速度へのペナルティーをもたらす結果 となる可能性を減少させる（即ち、後の命令の順序外実行を、メインメモリ１０ ７からの要求されたデータ項目の検索を待っている間に前進させることができる ）。 各キャッシュ登録についての優先順位値の決定を含む前述したデータキャッシ ュ置換方法は、キャッシュ内のデータが、もしメインメモリ１０７から検索され なければならなかったならば顕著な実行速度へのペナルティーを生じさせるよう な種類のデータである可能性を、増大させる。即ち、タイプ１、タイプ２，及び タイプ３のデータについての相対的優先順位値がそれぞれ１，２及び３であると すると、タイプ１及びタイプ２が置換される可能性が大きいので、タイプ３のデ ータがキャッシュ内に存在する可能性の方が大きい。しかし、上記の方 法は、そのデータ項目がＣＰＵ１０１により再び使用されることは決して無いと しても、そのデータ項目がデータキャッシュ１０５に無期限にとどまる確率を生 じさせる。その理由は、より低い優先順位のキャッシュ登録がある限りは、その ようなデータ項目はデータキャッシュ１０５において置換されることは決して無 いからである。そのようなキャッシュ登録（即ち、ソースオペランドとして必要 になることが２度と無いとしても決して置換されないもの）の存在は、キャッシ ュのヒット／ミス率を低下させるので、望ましくない。 この問題への対処は、本発明の別の態様において、優先順位値を、更に前記デ ータ項目が最後にアクセスされてからの経過時間の長さの関数とすることを許す ことによって、なされる。このようにして、比較的に高い実行速度へのペナルテ ィーを有するデータタイプに依然として優先権を与えながら、時間的局在性(tem poral locality)の原理を使ってキャッシュのヒット率を高めることもできる。 代表的実施態様では、各キャッシュ登録の優先順位値３０３はＴ秒毎に所定量だ けデクリメントされる。その結果として、最初は高い優先順位値を持っていたキ ャッシュ登録でも、結局は、新しいキャッシュ登録を格納しなければならないと きに置換の対象とされ得るのに充分に低い優先順位値を持つようになる。 本発明の更に別の態様において、優先順位値を定期的にデクリメントする方法 は、キャッシュ登録がアクセスされる毎に、その優先順位値を再初期設定するか 、或いはインクリメントすることによって、補われる。一実施態様では、キャッ シュ登録がアクセスされる毎に、その優先順位値３０３を、関連するペナルティ ー値だけ増大させることができる。このようにして、優先順位値は、１つのキャ ッシュミスのコストだけではなくて、そのデータ項目がアクセスされる頻度も考 慮に入れる。例えば、第１データ項目はキャッシュミスが発生した場合に１クロ ックサイクルのＣＰＵ機能停止時間を費やすに過ぎず、また、このデータ項目は 、キャッシュミスが発生した場合に１０クロックサ イクルのＣＰＵ機能停止時間を費やす第２データ項目の１０倍の頻度でアクセス されると仮定する。この場合、第１データ項目の値は、第２データ項目の値と等 しくなる。従って、データ項目がアクセスされる毎に優先順位値を再初期設定或 いはインクリメントすることによって、前記置換方法では頻繁なアクセスの効果 を考慮に入れる。 キャッシュ登録がアクセスされる毎に優先順位値３０３を最初期設定する方法 を採用するのであれば、各キャッシュ登録についての現在の優先順位値３０３だ けでなくて、初期優先順位値も追跡する必要がある。図５に示されているように データキャッシュ１０５’を構成することによって、このことを達成することが できる。データキャッシュ１０５’は、各キャッシュ登録に付随する初期優先順 位値フィールド５０１が追加されていることを除いて、図３に示されているデー タキャッシュ１０５と実質的に同一である。 次に、種々の命令についての相対ペナルティー値（即ちＶ１及びＶ２）の決定 に焦点を当てて説明をする。第１データ項目を検索しようとする試みから生じた キャッシュミスが１０クロックサイクルのＣＰＵ機能停止時間をもたらしたけれ ども、第２データ項目を検索しようとする試みから生じたキャッシュミスは順序 外実行の可能性があるために１クロックサイクルのＣＰＵ機能停止時間だけを生 じさせるとする。すると、その２つを選択できるならば、不経済なキャッシュミ スを避けるために、第２データ項目ではなくて第１データ項目をデータキャッシ ュ１０５に保持すべきである。この意味において、第１データ項目は第２データ 項目より“貴重”である。 キャッシュミスが発生したときに、順序外実行が非常に効率的であるためにＣ ＰＵ機能停止時間を全く生じさせない第３のデータ項目を考察する。その様なデ ータ項目をデータキャッシュに格納する必要は全くない。即ち、その第３データ 項目には殆ど全く価値がない。 上記のことを考慮すれば、データ項目の価値が高いほど、それをデータキャッ シュ１０５の中に長く保持するべきだと言うことができ る。概して、データ項目をその価値に比例して保持するのが良い。例えば、キャ ッシュミスが発生した場合に１０クロックサイクルのＣＰＵ機能停止を生じさせ る第１データ項目は、わずか１クロックサイクルのＣＰＵ機能停止を生じさせる に過ぎない第２データ項目より１０倍長くデータキャッシュ１０５の中に保持さ れるべきである（この期間中にいずれのデータ項目もアクセスされないと仮定し て）。第１データ項目のペナルティー値を１０にセットし（即ち、Ｖ１＝１０） 、第２データ項目のペナルティー値を１にセットし（即ち、Ｖ２＝１）、各々に ついて前述したように優先順位値３０３を決定し、次に、データ項目がアクセス される毎に値をロードし直しながら、各優先順位値の大きさを所定頻度で調整す る（例えば減少させる）ことによって、これを容易に達成することができる。 ペナルティー値（例えばＶ１，Ｖ２）決定に関する以上の説明は、種々の命令 についてのＣＰＵ機能停止の測定値又は推定値を利用できることを前提としてい る。実例としての実施態様では、種々のデータタイプに付随するペナルティー値 は、初期優先順位値５０１の各決定について固定されている。タイプ１又はタイ プ２のデータ項目を考察するとき、これらのタイプの命令（即ち、load、add、l ogical AND）の実行速度は容易に決定されるので、平均ＣＰＵ機能停止時間を表 す値を見つけるのは割合に簡単なことである。 しかし、タイプ３のデータ項目に関しては、実行速度は、分岐が採られるか否 か、また予め取り出されている命令（前記分岐が採られるか否かに関する予測に 基づく）を命令キャッシュ１０３から捨てて、新しい命令を取りだし実行するか 否かということの関数であるので、タスクはもっと困難になる。プロセッサの速 度、命令メモリへのアクセス時間、キャッシュヒット率、及び分岐予測アルゴリ ズムの相対的精度（例えば、９０％の正確さの予測）に関する知識に基づいて、 タイプ３のデータ項目についての平均ペナルティー値を決定できることを当業者 は認めるであろう。 別の実施態様では、種々のデータタイプに付随するペナルティー値を個々のデ ータ項目の各々について動的に決定して良い。タイプ１又はタイプ２のデータ項 目に関しては、動的に決定される値は、これらのタイプの命令（例えば、load、 add、logical AND）のそれぞれの実行速度は時間がたっても概して変化しないの で、おそらく一定（或いは殆ど一定）であろう。（或るアーキテクチャでは、掛 け算やわり算などの命令の実行速度は或る程度データに依存する）。 この代替実施例では、タイプ３のデータに付随するペナルティー値は、見つか らなかったデータが到着した後に、未だ実行されていない条件付き分岐命令の実 行を許し、その後に、遅延時間がどれだけになるか実際に測定することによって （例えば、分岐予測が誤っていたために、予め取りだしてあった命令を捨てる必 要があるか無いかを調べ、もし必要ならば何個の命令を捨てるべきか調べること によって）、動的に決定することができる。当然、各ペナルティー値のこの動的 決定に付随するオーバーヘッドは、ペナルティー値の固定した推定値の使用に付 随するオーバーヘッドより相当多い。また、ペナルティー値を動的に決定すると 、初期優先順位値５０１の最終的決定が遅れることになる。特定のシステムのた めにどのアプローチ（即ち、静的ペナルティー値決定対動的ペナルティー値決定 ）を使用するべきか決めるときには、これらの要素を考慮に入れるべきである。 次に、上記の原理に従って優先順位値を維持する方法について、図６のフロー チャートを参照して説明する。データ項目（データ項目３０１など）と、それに 対応する現在の優先順位値３０３と、初期優先順位値５０１とが、データキャッ シュ１０５’に格納されているということが仮定されている。この例では、比較 的に高い優先順位値は、そのデータ項目をデータキャッシュ１０５’に保持して おくことについて比較的に高い優先権を表すということも更に仮定されている。 この代表的優先順位値維持方法は、データキャッシュ１０５’での高いヒット 率を維持するために時間的局在性の原理を採用する。従っ て、データ項目が最後にアクセスされてからＴ秒以上が経過していることが確か められたならば（判定ブロック６０１からの“ＹＥＳ”経路）、そのデータ項目 に付随する優先順位値は所定量だけ下げられる（ステップ６０３）。好ましい実 施態様では、その所定量は可能な最少量であり、そのような量は１に等しい。 データ項目が最近アクセスされていたことが確かめられたならば（判定ブロッ ク６０５からの“ＹＥＳ”経路）、それに付随する優先順位値は高められ、或い は最初の計算された優先順位値にセットされる（ステップ６０７）。こうする理 由は、最近アクセスされたという事実は、このデータ項目が近い将来に再びアク セスされる可能性が高いことを意味するということである。従って、優先順位値 を高めること（或いは初期設定し直すこと）は、そのデータ項目が除去されない ように確保し、近い期間にわたってデータキャッシュ１０５’中にとどめておく のに役立つ。好ましい実施態様では、ステップ６０７は読み出しアクセスと書き 込みアクセスとを区別するステップを含んでいて、読み出しアクセスがなされる 度に優先順位値が最初の計算された優先順位値（例えば、１と約８との間の範囲 の量）だけ高められ、書き込みアクセスがなされる度に可能な最少値（例えば、 １に等しい量）だけ優先順位値が高められる。 これまでの説明は、各キャッシュミスが、唯一のデータ項目をメインメモリ１ ０７から検索させてデータキャッシュ１０５に格納させるようにデータキャッシ ュ１０５が制御されるということを前提としている。しかし、各キャッシュミス が数個（例えば、８個、１６個）のデータ項目（ここでは“キャッシュ登録”と 称している）をメインメモリ１０７から検索させてデータキャッシュ１０５に格 納させるようにデータキャッシュを設計する方がもっと普通である。キャッシュ 登録は、普通、“見つからない”データ項目（即ち、それがデータキャッシュ１ ０５の中に無かったことがキャッシュミスの原因となったメインメモリのアドレ ス位置の内容）だけではなくて、そのアドレ スが“見つからない”データ項目のそれに近いデータ項目も含む。この方法の理 論的根拠は、“空間的局在性(spatial locality）”（或いは“関連の局在性（l ocality of reference）”として知られている原理に依拠して、データキャッシ ュのヒット率を改善することである。この原理は、プログラムが通常はどのよう に設計されるかを観察した結果に基づいていて、メモリアクセスが現在は場所ｘ からデータを読み出すとすれば、その後のメモリアクセスが場所ｘに近いメモリ アドレス場所からデータを読みだそうとする確率が高いということを断言してい る。従って、場所ｘからのデータ項目だけではなくて、ｘに近い場所に格納され ているデータ項目も含むキャッシュ登録を検索すれば、データキャッシュ１０５ にアクセスしようとするその後の試みがキャッシュヒットという結果となる確率 が高まる。 他の実施態様では、前述した本発明の原理は、キャッシュミスが発生する度に そのデータキャッシュ・コントローラ１０９が（単一のデータ項目ではなくて） 複数のキャッシュ登録を検索するようになっているデータキャッシュに応用され る。この目的に合うように改変された代表的データキャッシュ１０５”が図７に 示されている。現在の優先順位値３０３と、初期優先順位値５０１とが、前述し たのと同様の方法で決定され、利用される。データキャッシュ１０５”と、前に 説明した実施態様との違いは、現在の優先順位値３０３と初期優先順位値５０１ との対の各々が、たった１つのデータ項目３０１だけに付随するのではなくて、 キャッシュ登録７０１全体に付随しているという事実にある。初期優先順位値５ ０１の決定は、キャッシュ登録７０１中のどのデータ項目３０１もキャッシュミ スを発生させ、キャッシュ登録７０１をメインメモリ１０７から検索させる原因 となったという事実に基づいている。キャッシュ登録７０１中の他のデータ項目 ３０１は類似のデータタイプであり、従って類似の優先順位値を有するというこ とが仮定されている。この実施態様の他の態様では、キャッシュ登録７０１中の いずれかのデータ項目３０１がアクセスさ れる毎に、図６に関して前述したように、付随する現在の優先順位値３０３の値 を調節することができる（例えば、初期設定し直し、或いは高めるなど）。本発 明の更に他の態様では、キャッシュ登録７０１中のどのデータ項目３０１も、特 定のどの期間中にもアクセスされたことが無ければ、現在の優先順位値３０３を 、もっと低い優先順位を意味する値に調整することができる。他の全ての面で、 この実施態様に関わる原理は上記のものと同じであるので、再び説明する必要は ない。 特定の実施態様を参照して本発明を説明した。しかし、前述した好ましい実施 態様以外の特定の形で本発明を実施できることは、当業者にとっては明白なこと である。本発明から逸脱せずにそれを行うことができる。好ましい実施態様は単 なる具体例であって、如何なる意味でも限定するものと解されるべきでない。本 発明の範囲は、上記の説明ではなく、添付の請求項により与えられ、請求項の範 囲に属する全ての変化形及び同等物はそれに含まれるものである。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，Ｌ Ｕ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ， ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，ＬＳ，Ｍ Ｗ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ，ＡＭ ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ， ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，Ｅ Ｓ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ，ＩＤ ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ， ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，ＶＮ，Ｙ Ｕ，ＺＷ

Claims (1)

1. 【特許請求の範囲】 １． 中央処理装置（ＣＰＵ）と、キャッシュメモリと、メインメモリとを有す るコンピュータシステムにおいて、データ項目を前記キャッシュメモリに格納す る方法であって、 第１命令の少なくとも部分的実行に応じて、前記メインメモリからのデータ項 目の検索を開始するステップと、 前記データ項目に付随する優先順位値を決定するステップであって、前記優先 順位値が、前記データ項目が前記キャッシュメモリに格納されていない場合に前 記キャッシュメモリから前記データ項目を検索しようとするときに発生するＣＰ Ｕ機能停止時間の推定値である前記ステップと、 前記データ項目の検索を完了し、前記データ項目及び前記優先順位値の両方を 前記キャッシュメモリに格納するステップとを有することを特徴とする方法。 ２． 前記優先順位値を決定するステップは、前記データ項目の検索の開始と完 了との間に取り出されてバッファメモリに格納された他の命令の個数を確定する ステップから成り、前記他の命令の実行は前記データ項目の検索の完了に依存す ることを特徴とする請求項１に記載の方法。 ３． 前記優先順位値を決定するステップは、前記他の命令のいずれかが条件付 き分岐命令であるか否かに基づいて、ある量前記優先順位値を調整するステップ を更に含むことを特徴とする請求項２に記載の方法。 ４． 前記優先順位値を決定するステップは、前記他の命令のいずれかが非分岐 命令であるか否かに基づいて、ある量前記優先順位値を調整するステップを更に 含むことを特徴とする請求項２に記載の方法。 ５． 前記優先順位値を決定するステップは、前記データ項目の検索が完了した 後に行われることを特徴とする請求項１に記載の方法。 ６． 中央処理装置（ＣＰＵ）と、キャッシュメモリと、メインメモリとを有す るコンピュータシステムで用いられるキャッシュデータ置換方法であって、 前記キャッシュメモリは複数のデータ項目を格納するようになっており、 前記格納されているデータ項目の各々に優先順位値を付随させるステップであ って、前記優先順位値が、各データ項目について、前記データ項目が前記キャッ シュメモリに格納されていない場合に前記キャッシュメモリから前記データ項目 を検索しようとするときに発生するＣＰＵ機能停止時間の推定値である前記ステ ップと、 前記優先順位値を分析して最低優先順位値を決定するステップと、 前記最低優先順位値を有するデータ項目のうちの１つを選択するステップと、 前記選択されたデータ項目を置換データ項目と置換するステップとを有するこ とを特徴とするキャッシュデータ置換方法。 ７． 格納されているデータ項目の各々に前記優先順位値を付随させる前記ステ ップは、前記データ項目の各々について、前記メインメモリからの前記データ項 目の検索の開始と完了とにより画定される時間間隔中に取り出されてバッファメ モリに格納された他の命令の個数を確定するステップから成り、前記他の命令の 実行は前記データ項目の検索の完了に依存することを特徴とする請求項６に記載 のキャッシュデータ置換方法。 ８． 前記時間間隔中に取り出されてバッファメモリに格納された他の命令の個 数を確定する前記ステップは、各データ項目について、前記他の命令のいずれか が条件付き分岐命令であるか否かに基づいて、ある量前記優先順位値を調整する ステップを更に含むことを特徴とする請求項７に記載のキャッシュデータ置換方 法。 ９． 前記時間間隔中に取り出されてバッファメモリに格納された他の命令の個 数を確定する前記ステップは、各データ項目について、前 記他の命令のいずれかが非分岐命令であるか否かに基づいて、ある量前記優先順 位値を調整するステップを更に含むことを特徴とする請求項７に記載のキャッシ ュデータ置換方法。 １０． 前記優先順位値の各々を、より低い優先順位値をもたらす所定量定期的 に調整するステップを更に含むことを特徴とする請求項６に記載のキャッシュデ ータ置換方法。 １１． 各優先順位値について、付随するデータ項目の読み出しアクセスに応答 して、優先順位値を第１所定量調整するステップを更に含み、該調整はより高い 優先順位値をもたらすことを特徴とする請求項６に記載のキャッシュデータ置換 方法。 １２． 各優先順位値について、付随するデータ項目の書き込みアクセスに応答 して、優先順位値を第２所定量調整するステップを更に含み、該調整はより高い 優先順位値をもたらすことを特徴とする請求項１１に記載のキャッシュデータ置 換方法。 １３． 前記第１所定量の調整は、前記第２所定量の調整よりも高い優先順位値 をもたらすことを特徴とする請求項１２に記載のキャッシュデータ置換方法。 １４． 各優先順位値について、付随するデータ項目の読み出しアクセスに応答 して、優先順位値を初期優先順位値にセットするステップを更に含むことを特徴 とする請求項６に記載のキャッシュデータ置換方法。 １５． 中央処理装置（ＣＰＵ）と、キャッシュメモリと、メインメモリとを有 するコンピュータシステムにおいて、データ項目を前記キャッシュメモリに格納 するための装置であって、 第１命令の少なくとも部分的実行に応答して、前記メインメモリからの前記デ ータ項目の検索を開始するための手段と、 前記データ項目に付随する優先順位値を決定するための手段であって、前記優 先順位値が、前記データ項目が前記キャッシュメモリに格納されていない場合に 前記キャッシュメモリから前記データ項目を検 索しようとするときに発生するＣＰＵ機能停止時間の推定値である前記ステップ と、 前記データ項目の検索を完了して前記データ項目及び前記優先順位値の両方を 前記キャッシュメモリに格納するための手段とを含むことを特徴とする装置。 １６． 前記優先順位値を決定するための手段は、前記データ項目の検索の開始 と完了との間に取り出されてバッファメモリに格納された他の命令の個数を確定 する手段から成り、前記他の命令の実行は前記データ項目の検索の完了に依存す ることを特徴とする請求項１５に記載の装置。 １７． 前記優先順位値を決定するための手段は、前記他の命令のいずれかが条 件付き分岐命令であるか否かに基づいて、ある量前記優先順位値を調整するため の手段を更に含むことを特徴とする請求項１６に記載の装置。 １８． 前記優先順位値を決定するための手段は、前記他の命令のいずれかが非 分岐命令であるか否かに基づいて、ある量前記優先順位値を調整するための手段 を更に含むことを特徴とする請求項１６に記載の装置。 １９． 前記優先順位値を決定するための手段は、前記データ項目の検索が完了 した後に決定を行うことを特徴とする請求項１５に記載の装置。 ２０． 中央処理装置（ＣＰＵ）と、キャッシュメモリと、メインメモリとを有 するコンピュータシステムで用いられるキャッシュデータ置換装置であって、 前記キャッシュメモリは複数のデータ項目を格納するようになっており、 前記格納されているデータ項目の各々に優先順位値を付随させるための手段で あって、前記優先順位値が、各データ項目について、前記データ項目が前記キャ ッシュメモリに格納されていない場合に前記 キャッシュメモリから前記データ項目を検索しようとするときに発生するＣＰＵ 機能停止時間の推定値である前記手段と、 前記優先順位値を分析して最低優先順位値を決定するための手段と、 前記最低優先順位値を有するデータ項目のうちの１つを選択するための手段と 、 前記選択されたデータ項目を置換データ項目と置換するための手段とを有する ことを特徴とするキャッシュデータ置換装置。 ２１． 格納されているデータ項目の各々に前記優先順位値を付随させるための 前記手段は、前記データ項目の各々について、前記メインメモリからのそのデー タ項目の検索の開始と完了とにより画定される時間間隔中に取り出されてバッフ ァメモリに格納された他の命令の個数を確定するための手段を有し、前記他の命 令の実行は前記データ項目の検索の完了に依存することを特徴とする請求項２０ に記載のキャッシュデータ置換装置。 ２２． 前記時間間隔中に取り出されてバッファメモリに格納された他の命令の 個数を確定するための手段は、各データ項目について、前記他の命令のいずれか が条件付き分岐命令であるか否かに基づいて、ある量前記優先順位値を調整する ための手段を更に含むことを特徴とする請求項２１に記載のキャッシュデータ置 換装置。 ２３． 前記時間間隔中に取り出されてバッファメモリに格納された他の命令の 個数を確定するための手段は、各データ項目について、前記他の命令のいずれか が非分岐命令であるか否かに基づいて、ある量前記優先順位値を調整するための 手段を更に含むことを特徴とする請求項２１に記載のキャッシュデータ置換装置 。 ２４． 前記優先順位値の各々を、より低い優先順位値をもたらす所定量定期的 に調整するための手段を更に含むことを特徴とする請求項２０に記載のキャッシ ュデータ置換装置。 ２５． 付随するデータ項目の読み出しアクセスに応答して、前記付随するデー タ項目の優先順位値を第１所定量調整するための手段を更 に含み、該調整はより高い優先順位値をもたらすことを特徴とする請求項２０に 記載のキャッシュデータ置換装置。 ２６． 付随するデータ項目の書き込みアクセスに応答して、前記付随するデー タ項目の優先順位値を第２所定量調整するための手段を更に含み、該調整はより 高い優先順位値をもたらすことを特徴とする請求項２５に記載のキャッシュデー タ置換装置。 ２７． 前記第１所定量の調整は、前記第２所定量の調整よりも高い優先順位値 をもたらすことを特徴とする請求項２６に記載のキャッシュデータ置換装置。 ２８． 付随するデータ項目の読み出しアクセスに応答して、前記付随するデー タ項目の優先順位値を初期優先順位値にセットするための手段を更に含むことを 特徴とする請求項２０に記載のキャッシュデータ置換装置。