JP2008521085A - プリフェッチを有するキャッシュ - Google Patents

Abstract

プリフェッチビット（１２６）をキャッシュ（１２０）の各ブロック（１２５）に関連させ、キャッシュ−プリフェッチ動作の管理（１３０）は、このビット（１２６）の状態に基づく。ビデオアプリケーションのフレームメモリのように規則的な繰返しのメモリアクセスが見込まれる記憶領域（１１５）を各アプリケーションが識別できるようにすることによって、効率が更に向上する。これらの記憶領域（１１５）の各々に対して、アプリケーションは、フレームメモリ中のデータのライン長のようなあり得るストライド値も識別する。プリフェッチは、識別された領域（１１５）に制限され、プリフェッチビット（１２６）は、これらの領域からブロック（１２５）を識別するとともに繰返しのキャッシュヒット／ミス決定を制限するのに用いられる。

Description

本発明は、処理システムの分野に関し、特に、プリフェッチ機能を持つキャッシュを有するプロセッサに関する。

プロセッサと外部メモリとの間のデータの転送はしばしば大量の時間を消費し、このデータ転送の影響を減少する技術が開発されてきた。そのような技術の二つは、キャッシュメモリの使用及びプリフェッチの使用を含む。

言及及び理解を容易にするために、キャッシュの動作は、以後「読出し」アクセスに関連して規定され、この場合、プロセッサは、メモリアドレスからデータを要求する。当業者は、本発明の原理が「書込み」アクセス動作にも適用できることを認識する。

キャッシュメモリは、外部メモリよりもプロセッサに近接して配置され、しばしばプロセッサと同一の集積回路内に配置される。プロセッサがメモリアドレスからデータ項目を要求するとき、キャッシュは、キャッシュがメモリアドレスに対応するデータを有するか否か決定するためにチェックされる。キャッシュコンテンツがメモリアドレスに対応するときには「キャッシュヒット」(cache-hit)が生じ、そうでないときには「キャッシュミス」(cache-miss)が生じる。

キャッシュヒットが生じると、データ転送が、メモリとプロセッサとの間ではなくキャッシュとプロセッサとの間で行われる。キャッシュがプロセッサに近接しているので、キャッシュ−プロセッサ間の転送に要求される時間は、メモリ−プロセッサ間の転送に要求される時間に比べて著しく小さい。

キャッシュミスが生じると、データが、メモリからキャッシュに転送され、その後、プロセッサに転送される。データがメモリから転送される際に、メモリからのデータに対する将来の要求が空間的又は時間的な位置(locality)を表すという仮定に基づいて、データの「ブロック」又は「ライン」が転送される。空間的な位置は、以前に要求したアドレスに近接するアドレスからのデータに対する要求に対応する。時間的な位置は、データに対する以前の要求の短時間内の同一データに対する要求に対応する。空間的又は時間的な位置がアプリケーションに行き渡っている場合、キャッシュを通じたデータ転送の管理に関連したオーバーヘッドは、キャッシュの同一ブロックからの複数のキャッシュ−プロセッサ間の転送によって達成される時間の節約(saving)によって補償される。

プリフェッチは、メモリからのデータに対する将来の要求を予測することを試みることによってメモリ−キャッシュ間又はメモリ−プロセッサ間の転送の影響を減少するのに用いられる。予測されるメモリアクセスは、予測される要求をプロセッサが実行するときに利用できる予測されるメモリアドレスからのデータを有することを試みる際にプロセッサの動作と平行に実行される。典型的なプリフェッチシステムにおいて、プロセッサのメモリアクセス動作は、メモリアクセスの傾向を決定するためにモニタされる。例えば、プログラム内の実行ループはしばしば、一般的にデータアクセス「ストライド」と称される規則的なパターンを用いてデータをステップスルーする。ループを通じた最初の数サイクルの後、プリフェッチシステムは、ストライドを決定し、その後、データ要求を正確に予測しようとする。典型的なプリフェッチシステムにおいて、決定されたストライド値のテーブルが維持され、繰返しのアクセスが生じるプログラムアドレスによってインデックス化される。プログラムカウンタが、プログラムが再び以前の繰返しのアクセスのアドレスにあることを表すときは、常に、アドレスに対応するテーブルからのストライド値が、メモリからデータをプリフェッチするのに用いられる。将来のメモリアクセスを予測する他の手段は常識である。特定の実施の形態に応じて、予測されるデータは、メモリからよりも迅速にプロセッサに転送するためにプリフェッチバッファ又はキャッシュにロードされる。データをキャッシュに予めロードすることによって、予測が正確である場合にはキャッシュミスの可能性が減少する。

従来のキャッシュ−プリフェッチの組合せは、多大なオーバーヘッドを要求し及び／又は非効率を示す。キャッシュが充填された後、キャッシュブロックがキャッシュにロードされる度に、存在するキャッシュブロックを上書きする必要がある。上書きされたブロックが、メモリに対してデータを書き込むのに用いられる場合、新たなブロックがこのデータを上書きする前に、存在するブロックをメモリにコピーする必要がある。したがって、誤った予測はそれぞれ、上書きされたブロックをキャッシュに有することによって実現される利点を無効にするとともにプロセッサによって用いられないキャッシュにデータを転送するための不要なバス帯域幅及び電力を消費する可能性がある。

一般に、プリフェッチの予測の精度は、予測可能なメモリアクセスパターンを決定するためのリソースの量に関連する。したがって、誤った予測によって生じたあり得るキャッシュの効率の利点の損失を回避するために、典型的には、膨大な量の予測論理が要求され、ストライド予測値のメモリも要求され、回路領域及び電力消費に影響を及ぼす。さらに、プリフェッチプロセスの一部又は全てを行うためにソフトウェアが用いられる場合、このソフトウェアを実行するために更なるプロセッササイクルが用いられる。

また、予測されるメモリアクセスが決定されると、予測されたメモリアドレスが既にキャッシュにロードされたか否かを決定するためにキャッシュをチェックする必要がある。したがって、キャッシュに対する繰返しの予測されるアクセスは、一般的にキャッシュヒット又はキャッシュミスが生じたか否かの二つの決定を必要とする。

本発明の目的は、有効なキャッシュとプリフェッチとの組合せを提供することである。本発明の他の目的は、膨大な量の回路又はソフトウェアプログラミングを必要としないキャッシュとプリフェッチとの組合せを提供することである。本発明の他の目的は、現存のキャッシュ又はプリフェッチアーキテクチャとの互換性があるキャッシュとプリフェッチとの組合せを提供することである。

これら及び他の目的は、プリフェッチビットを各キャッシュブロックに関連させるとともにこのビットの状態の基づいてキャッシュ−プリフェッチ動作を管理することによって達成される。ビデオアプリケーションのフレームメモリのように規則的に繰り返すメモリアクセスが行われうるメモリ領域を各アプリケーションが識別できるようにすることによって、更に効率が上がる。これらのメモリ領域の各々に対して、アプリケーションは、フレームメモリのデータのライン長のようなあり得るストライド値も識別する。プリフェッチは、識別された領域に限定され、プリフェッチビットは、これらの領域からブロックを識別するとともに繰返しのキャッシュヒット／ミスの決定を制限するために用いられる。

本発明を、添付図面を参照して詳細に説明する。

図面中、同一参照番号は、同一の構成要素又はほぼ同一の機能を実行する構成要素を表す。図面は、図示のためのものであり、発明の範囲を限定するためのものではない。

図１は、本発明による処理システムのブロック図である。処理システムは、プロセッサ１５０及びキャッシュ１２０を有し、キャッシュ１２０は、外部メモリ１１０にデータを送信し及び外部メモリ１１０からデータを受信するとともに、プロセッサ１５０からのメモリアクセス要求に応答してデータの少なくとも一部をプロセッサ１５０に転送する。

本発明の処理システムにはプリフェッチコントローラ１３０も含まれ、プリフェッチコントローラ１３０を、キャッシュ１２０に含め、又は、図１に示すようにキャッシュ１２０に結合した個別のモジュールとして組み込むことができる。

本発明の一態様によれば、キャッシュメモリ１２０の各ブロック又はライン１２５は、ブロック１２５に対応する他のデータをプリフェッチするか否かを決定するためにプリフェッチコントローラ１３０によって用いられるプリフェッチパラメータ１２６を有する。好適な実施の形態において、プリフェッチパラメータ１２６を単一のビットとするが、プリフェッチオプションの種々の組合せ又は種々のプリフェッチ特性を規定するために多ビットパラメータを用いることもできる。コントローラ１３０によるパラメータ１２６の特別な使用を、図２の流れ図に示すが、本発明は、図２に示す方法に限定されるものではない。

本発明は、アクセスされるデータのロケーションがメモリに対する規則的な繰り返しの（すなわち、予測可能な）アクセスが生じるか否かの表示としての役割を果たすという認識に基づく。一般的に、プリフェッチパラメータ１２６は、キャッシュ１２０のブロック１２５に配置されたデータに基づいてプロセッサ１５０がプリフェッチデータにアクセスしようとしているか否かの表示をコントローラ１３０に提供するために用いられる。多ビットのプリフェッチパラメータ１２６の場合、パラメータの値は、可能性の量的な見積りに対応する。単一ビットの場合、パラメータの値は、簡単なあり得る／あり得ない又はあり得る／未知の決定に対応する。既に説明したように、従来のストライド予測テーブルとは異なり、メモリに対する規則的な繰り返しのアクセスの可能性は、実行されたプログラムコードのセクションではなくアクセスされたメモリのブロックに基づく。

プリフェッチパラメータ１２６を、プリフェッチが既に実行されたブロックを識別するためにも用いることができ、これによって、各データブロック内のデータ項目がアクセスされる際の複数のキャッシュヒット／ミス決定を実行する必要がなくなる。

本発明の他の態様によれば、アプリケーションプログラムは、メモリ１１０の領域１１５を識別することによってキャッシュ内のデータのブロック１２５が他のデータのプリフェッチを行おうとしているか否かの決定を容易にし、この場合、予測可能なアクセスは、Jan-Willen van de Waerdtにより２００２年５月１日に出願されるとともに参照することによってここに組み込まれた米国特許出願第２００３／０２０８６６０号の”MEMORY REGION BASED DATA PRE-FETCHING”に開示された原理に基づいて生じうる。例えば、ビデオ処理アプリケーションにおいて、アプリケーションプログラムは、プリフェッチに適切な領域１１５としてフレームバッファリング用のメモリ１１０の領域を識別することができる。従来の技術を用いると、アプリケーションプログラムは、これらプリフェッチ領域１１５の各々の境界を格納し、プリフェッチコントローラ１３０は、要求されたメモリアドレスがプリフェッチ領域１１５内にあるか否かを決定するために、要求されたメモリアドレスをこれらの境界と比較する。

一実施の形態において、先ず、アプリケーションを実行するプロセッサ１５０が、規定された領域１１５内のデータにアクセスすると、プリフェッチが実行される。次に領域１１５からキャッシュ１２０に転送される各ブロック１２５は、プリフェッチパラメータ１２６を用いることによって、プリフェッチが行われたブロックとして識別される。識別されたブロック１２５の各々にアクセスされると、対応するプリフェッチブロックのプリフェッチが実行される。

本発明の他の態様によれば、アプリケーションプログラムは、プリフェッチストライド値の決定を容易にする。典型的な実施の形態において、アプリケーションプログラムは、予め規定されたレジスタ又はメモリロケーションの各プリフェッチ領域１１５に関連したストライドを格納することによってプリフェッチストライド値を直接提供する。例えば、ビデオアプリケーションにおいて、隣接する垂直画素に通常アクセスされ、メモリ中のデータが画素の連続的な水平線として記憶される場合、アプリケーションプログラムは、水平線長をプリフェッチストライド値として格納することができる。メモリ中のデータが矩形タイルとして記憶される場合、アプリケーションプログラムは、タイル寸法をプリフェッチストライド値として格納することができる。

予測可能なメモリアクセスを示すメモリの領域１１５及び／又は各領域１１５に関連したストライド値を、従来知られている予測技術を用いて、アプリケーションプログラムを実行する際に発見的に決定することもできるが、プログラムコードではなくメモリロケーションに依存して変更することができる。

図２は、図１のプリフェッチコントローラ１３０によって用いられるような本発明によるプリフェッチコントローラの流れ図の例を示す。２１０において、アドレスＡに配置されたデータ項目に対するメモリ要求を受け取る。２１５において、キャッシュヒット／ミス決定を行う。要求されたデータ項目がキャッシュに配置されていることを表すキャッシュヒットである場合、２２０において、対応するデータ項目が戻され、これによって、図１のプロセッサ１５０は、外部メモリ１１０からデータをプリフェッチするか否かをプリフェッチコントローラが決定する間に動作を継続することができる。

本発明の一態様によれば、２３５において、要求されたアドレスＡに対するアクセスがアドレスＡに関連したプリフェッチメモリロケーションのデータに対する要求に従いそうか否かを決定するために、プリフェッチコントローラが判定を行う。既に説明したように、アドレスＡに対応するブロック１２５に関連したプリフェッチパラメータ１２６は、この可能性の表示を提供する。好適な実施の形態において、プリフェッチパラメータ１２６をビットとし、この場合、“０”は、プリフェッチが有効でない見込みを表し、“１”は、プリフェッチが有効である見込み又は可能性が未知であることを表し、プリフェッチが有効でない見込みを決定するための証拠を集めるまで有効であると仮定する。

２１５において、キャッシュミスが決定されると、２２５において、アドレスＡに対応するデータのブロックが外部メモリから検索され、２３０において、このキャッシュブロックに対応するプリフェッチパラメータは、プリフェッチのチェックがこのブロックに対して実行されることを表すために設定される。２２０において、アドレスＡに対応するデータ項目は、キャッシュブロックから抽出されるとともにプロセッサに戻され、これによって、図１のプロセッサ１５０は、２３５において外部メモリ１１０からデータをプリフェッチするか否かの決定をプリフェッチコントローラが決定する間に動作を継続することができる。

当業者は、ブロック２３０を除くブロック２１５〜２３５が従来のキャッシュコントローラの動作に対応することを認識し、完全のためにこれらのブロックをここにする。従来のキャッシュコントローラが用いられる場合、キャッシュ１２０のヒット／ミス出力を用いてミスの報告の際にブロック２３０を選択的に実行した後にブロック２３５に進むようプリフェッチコントローラ１３０を構成することができる。

２３５において、プリフェッチパラメータが、プリフェッチが有効であるという見込みを表す場合、プリフェッチ制御プロセスは決定ブロック２４０に進む。プリフェッチパラメータが、プリフェッチが有効でない見込みを表す場合、コントローラは、プロセッサからの他のメモリ要求を待機するために２９０に戻る。

２４０において、コントローラは、アドレスＡに対応するプリフェッチアドレスが利用できるか否か決定する。既に説明したように、本発明の好適な実施の形態において、アプリケーションプログラムは、外部メモリの領域を識別するように構成され、この場合、プリフェッチが有効であると見込まれる。従来のストライド予測分析と同様な技術を用いてそのような領域を識別／予測するために、従来のメモリアクセスも行われる。アドレスＡが関連のプリフェッチデータを有しないことが決定された場合、プロセスは、後に説明するような２８０に進む。

２４０においてアドレスＡが関連のプリフェッチデータを有することが決定された場合、プリフェッチリソースの利用可能性が２４５で判定される。２４５において、プリフェッチがこのときに実行できない場合、プロセスは、他のメモリ要求及び上記プロセスの繰り返しを待機するために２９０に戻る。

２４５において、プリフェッチリソースが現在利用できる場合、２５０において、プリフェッチデータのアドレスＰが、好適には、Ａが配置される規定されたプリフェッチ領域に関連したストライド値を加えることによって決定される。ストライド値を評価するために上記ストライド予測分析技術を用いることもできる。アプリケーションプログラムがストライド値を規定することができる好適な技術が用いられない場合、アドレスＡに対応するプリフェッチアドレスＰを決定する他の従来技術を用いることもできる。

２５５において、プリフェッチアドレスＰが既にキャッシュに含まれている（キャッシュヒット）か否かを決定するためにキャッシュにアクセスされる。プリフェッチアドレスが既にキャッシュに含まれている場合、プリフェッチは必要でなく、プロセスは、後に説明する２８０に進む。そうでない場合、２６０において、プリフェッチアドレスＰに対応するプリフェッチデータのブロックがメモリから検索されるとともにキャッシュに格納される。２７０において、アドレスＰを含むキャッシュブロックに関連したプリフェッチパラメータ（図１の１２６）は、アドレスＰがプロセッサからのメモリ要求によってアクセスされるときにプリフェッチが有効である見込みを表すよう設定される。

２８０において、要求されたメモリアドレスＡに対応するキャッシュブロックに関連したプリフェッチパラメータは、メモリアドレスＡからのデータ項目すなわちメモリアドレスＡに対応するキャッシュブロック内のメモリアドレスがプロセッサによって要求されるときにプリフェッチが有効でない見込みを表すようリセットされる。プリフェッチが有効でない見込みの理由は、アドレスＡが（２４０を通じて）プロフェッチ用の関連のアドレスを有しないことが決定され又はＡの関連のプリフェッチアドレスＰが（２５５又は２５５〜２６０を通じて）既にキャッシュにロードされたからである。したがって、これらの決定のうちのいずれかが一旦行われると、アドレスＡに対応するキャッシュブロック内のアドレスの全てに対する更なるプリフェッチオーバーヘッドが回避される。

２９０において、プロセスは、プロセッサによるメモリアクセスに対する他の要求を待機する。

これまでの説明は、本発明の原理を説明しただけである。当業者は、本発明の範囲を逸脱することなく種々の変更を実施することができる。例えば、図１は、プリフェッチパラメータ１２６がキャッシュ１２０内に格納される実施の形態を示す。当業者は、これらのパラメータを含むようにプリフェッチコントローラ１３０を形成できることを理解し、これによって、従来のキャッシュ構造を再設計する必要を回避する。同様に、予測的にアクセスされる見込みがあるメモリ領域を識別するために領域１１５の境界を識別する他の例として、メモリアドレスの上位ビットによってインデックス化されたビットのテーブルを用いてそのような領域を識別することができる。同様に、（しばしばメモリの上位ビットとなる）従来のキャッシュタグを用いて、予測的にアクセスされる見込みがある領域を識別するビット及び当該ブロックに対してプリフェッチが有効となる見込みがあるか否かを表すプリフェッチパラメータビットを有するテーブルをインデックス化することができる。これら及び他のシステム形態並びに最適化形態は、この開示の観点から当業者に明らかであり、特許請求の範囲に含まれる。

特許請求の範囲を解釈するに際し、ａ）用語「具える」は、特許請求の範囲に挙げられた構成要素又は動作以外のものの存在を除外せず、ｂ）構成要素は、複数の構成要素を除外するものではなく、ｃ）特許請求の範囲のいずれの参照番号も範囲を制限するものではなく、ｄ）複数の「手段」は、同一アイテム又はハードウェア若しくはソフトウェアで実現される構造又は機能によって表すことができ、ｅ）開示された構成要素の各々は、（例えば、個別の電子回路及び集積された電子回路を含む）ハードウェア部、ソフトウェア部（例えば、コンピュータプログラム）又はその組合せを具え、ｆ）ハードウェア部は、アナログ部とデジタル部の一方又は両方を具え、ｇ）開示された装置又はその一部のいずれも、特に説明しない限り他の部分に統合し又は他の部分から切り離すことができ、ｈ）動作の特定のシーケンスは、特に説明しない限り要求されず、ｉ）用語「複数の構成要素」は、特許請求の範囲に記載された構成要素の二つ以上を含み、特定の範囲の個数の構成要素を含むものではなく、すなわち、複数の構成要素を二つの構成要素とすることができる。

本発明による処理システムのブロック図の一例を示す。 本発明によるプリフェッチコントローラの流れ図の一例を示す。

Claims (17)

1. メモリ（１１０）からデータを受け取るよう構成されたプロセッサ（１５０）と、前記プロセッサ（１５０）と前記メモリ（１１０）との間で操作可能に結合され、前記メモリ（１１０）からデータを受け取るとともに前記データを前記プロセッサ（１５０）に転送するよう構成されたキャッシュ（１２０）と、前記キャッシュ（１２０）に操作可能に結合され、前記メモリ（１１０）から受け取ったデータに関連したプリフェッチパラメータ（１２６）の状態に基づいて、前記メモリ（１１０）から前記キャッシュ（１２０）に転送するプリフェッチデータを識別するよう構成されたプリフェッチコントローラ（１３０）とを具える処理システム。
2. 請求項１記載の処理システムにおいて、前記メモリ（１１０）を更に具えることを特徴とする処理システム。
3. 請求項１記載の処理システムにおいて、前記プリフェッチパラメータ（１２６）を、前記プロセッサ（１５０）が前記プリフェッチデータのデータ項目を要求する見込みがあるか否かを識別するビットとしたことを特徴とする処理システム。
4. 請求項３記載の処理システムにおいて、前記プリフェッチパラメータ（１２６）の状態が、前記メモリ（１１０）からのデータが前記メモリ（１１０）の一つ以上の規定されたプリフェッチ領域（１１５）からのものであるか否かに基づくことを特徴とする処理システム。
5. 請求項１記載の処理システムにおいて、前記プリフェッチデータの識別が、前記メモリ（１１０）から受け取ったデータに関連したストライド値にも基づくことを特徴とする処理システム。
6. 請求項５記載の処理システムにおいて、前記ストライド値が、前記メモリ（１１０）の規定されたプリフェッチ領域（１１５）に関連したことを特徴とする処理システム。
7. 請求項５記載の処理システムにおいて、前記ストライド値が、前記メモリ（１１０）から受け取ったデータに対する以前のアクセスに基づいて決定されることを特徴とする処理システム。
8. 複数のキャッシュブロック（１２５）を具えるキャッシュメモリと、前記キャッシュメモリと操作可能に結合され、前記複数のキャッシュブロック（１２５）の各ブロック（１２５）に関連したプリフェッチパラメータ（１２６）に基づいて、外部メモリ（１１０）から前記キャッシュメモリにプリフェッチデータを転送するよう構成されたプリフェッチコントローラ（１３０）とを具えるキャッシュシステム（１２０）。
9. 請求項８記載のキャッシュシステム（１２０）において、前記プリフェッチパラメータ（１２６）を、前記キャッシュシステム（１２０）に操作可能に結合されたプロセッサ（１５０）が前記プリフェッチデータのデータ項目を要求する見込みがあるか否かを識別するビットとしたことを特徴とするキャッシュシステム。
10. 請求項８記載のキャッシュシステム（１２０）において、前記プリフェッチパラメータ（１２６）の状態が、対応するブロック（１２５）が前記外部メモリ（１１０）の規定されたプリフェッチ領域（１１５）から転送されたか否かに基づくことを特徴とするキャッシュシステム。
11. 請求項１０記載のキャッシュシステム（１２０）において、前記外部メモリ（１１０）の規定されたプリフェッチ領域（１１５）に関連するストライド値に基づいて前記プリフェッチデータを識別することを特徴とするキャッシュシステム。
12. プリフェッチデータを外部メモリ（１１０）からキャッシュ（１２０）に転送する方法であって、データ項目に対する要求をプロセッサ（１５０）から受け取り（２１０）、前記データ項目を含む前記キャッシュ（１２０）のキャッシュブロック（１２５）を識別し（２１５）、前記キャッシュブロック（１２５）に関連したプリフェッチパラメータ（１２６）の状態に基づいて前記プリフェッチデータを前記キャッシュ（１２０）に転送する（２６０）ことを特徴とする方法。
13. 請求項１２記載の方法において、前記データ項目が前記キャッシュ（１２０）に位置しない（２１５）場合、データのブロックを前記外部メモリ（１１０）から前記キャッシュブロック（１２５）に転送する（２２５）ことを特徴とする方法。
14. 請求項１２記載の方法において、前記プリフェッチデータの前記キャッシュ（１２０）への転送（２６０）が、データのブロックが前記外部メモリ（１１０）の規定されたプリフェッチ領域（１１５）に関連するか否か（２４０）にも基づくことを特徴とする方法。
15. 請求項１２記載の方法において、前記プリフェッチパラメータ（１２６）の状態が、データのブロックが前記外部メモリ（１１０）の規定されたプリフェッチ領域（１１５）に関連するか否か（２４０〜２８０）に基づくことを特徴とする方法。
16. 請求項１５記載の方法において、前記規定されたプリフェッチ領域（１１５）に関連したストライド値に基づいて前記プリフェッチデータを識別する（２５０）ことを特徴とする方法。
17. 請求項１２記載の方法において、前記外部メモリ（１１０）からの前記データのブロックに関連したストライド値を決定し、前記プリフェッチデータを前記ストライド値に基づいて識別することを特徴とする方法。

Images