【発明の詳細な説明】
アドレス競合検出を持つ多重ポート・キャッシュメモリ
本発明はキャッシュメモリ(cache memory)を持つ処理システムに関する、更に
特定して云えば多重アクセスポート(multiple access ports)を持つキャッシュ
に関する。
キャッシュとは、通常は主メモリ(main memory)に記憶されているアドレスや
命令やデータ等にアクセスするのにプロセッサが必要とする有効時間を減少させ
るために、プロセッサと主メモリとの間に置かれる小さい高速メモリのことであ
る。例えば、プロセッサが主メモリから語(word)を読み出すときに、その語及び
その近くの語が１ブロックとして主メモリからキャッシュへ読み出される。典型
的には、プロセッサが次に意図するのは、そのブロック内の近くの語のうちの１
つにアクセスすることである、という確率が高い。この引用の局所性という特性
の故に、プロセッサが直接にキャッシュと共に引き続くデータトランザクション
に従事することになり易いから、主メモリバスのトラフィックは減少する。キャ
ッシュへのアクセスは主メモリへのアクセスよりも少ない時間しか掛からない。
その結果、キャッシュを用いることはプロセッサのスループット(throughput)を
増加させる。
多くの新形のマイクロプロセッサは同一のプロセッサ・クロックサイクル内に
複数の命令を実行する。幾つかの例では、プロセッサはメモリ演算を同時に実行
しようとするかも知れない。これらの場合には、プロセッサはキャッシュメモリ
内に記憶してある複数の語に同時にアクセスする必要があるかも知れない。従っ
て、キャッシュは複数のポートを含み、各ポートが別々のデータトランザクショ
ンを管理することになろう。
多重ポートキャッシュは単一の多重ポートSRAMとして構成することができる。
しかしそのような構成は動作が極めて遅く、また比較的大きいチップ面積を占有
する。それに代わってAipperspachその他に与えられた米国特許第5,359,557号に
記載されているように、二重ポート(dual-port)キャッシュが２個の単一ポー
トメモリアレイを持って構成され、その各単一ポートメモリアレイがキャッシュ
のポートの１つに対応する。この２個のアレイは同じアドレス空間を持つ。この
煩わしい配列は、データがキャッシュポートのうちの１つで変形されるときにも
、アレイが同じデータを記憶することを保証するために、複雑なデータの首尾一
貫性(coherency)のある回路を必要とする。更に、同じデータの冗長なコピイを
記憶するために２個のアレイを使用することは、不必要に大きいチップ領域を占
有することになる。
従って、多重ポート・キャッシュメモリを実現する更に小型の更に効率的な手
段を見出すことが切望される。
本発明は多重ポート・キャッシュメモリを提供する。その多重ポート・キャッ
シュはマイクロプロセッサシステムで動作し、複数のメモリバンクと、バンクへ
のアクセスを可能にするための複数のポートとを含む。競合検出回路が第１のポ
ート及び第２のポートを通って第１のメモリバンクに同時にアドレスすることを
検出する、そしてこの同時にアドレスしたことを検出するのに応じて予め定めら
れた数のクロックサイクルに対しマイクロプロセッサの動作を一時停止する。競
合解決回路は、一時停止中に第１のポートを通して第１のバンクへのアクセスを
許容し、一時停止が終わった後で第２のポートを通してのアクセスを許容する。
一般的に競合解決回路は、マイクロプロセッサが一時停止している間の引き続く
クロックサイクル中に、ポートの順番は下から上へ優先して、第１のメモリバン
クにアクセスすることを意図するポートを通して第１のメモリバンクにアクセス
することを許容する。第１のバンクへのアクセスを意図する１個又はそれより大
きい数のポートが、マイクロプロセッサの一時停止する時間の前か後に、アクセ
スを許容されることもできる。各バンクは単一ポートのものである。バンクは重
なり合うことのないアドレス空間を持つ、そしてキャッシュブロック内の語は複
数のバンクに分散するようにアドレスされる。
本発明の目的、特徴、及び利点は、以下の詳細な説明及び本発明の構造並びに
動作の実例を示す以下の図面を見れば、当業者にとって明瞭であろう。それらの
図面とは：
図１が、本発明の多重ポート・キャッシュを持つコンピュータシステムを説明
する図である。
図２が、本発明の多重ポート・キャッシュに結合するプロセッサを説明するブ
ロック図である。
図3Aが、バンクの競合のないときのキャッシュのタイミングを説明する時間ダ
イアグラムを示す図である。
図3Bが、バンクの競合のあるときのキャッシュのタイミングを説明する時間ダ
イアグラムを示す図である。
本発明は、複数のメモリバンクを持つ多重ポート・キャッシュメモリを提供す
る。以下の記述には、本発明の完全な理解を可能とするための数多くの詳細が示
される。しかし、これらの特定の詳細は本発明を実行するために必要とされるも
のではない、ということを当業の分野で通常の手腕を有する者は理解するであろ
う。更に、周知のエレメント、デバイス、処理ステップ等々は、本発明を曖昧に
することを避けるために詳細には示されない。
図１は、本発明の多重ポートCPU 100,主メモリ102,主メモリ・インターフェー
ス104,及び多重ポート・キャッシュ106 を持つコンピュータシステムを示す。主
メモリ・インターフェース104 は、CPUアクセスがキャッシュを見落としたとき
、又はCPUが新しいデータをキャッシュに書き込むときに、キャッシュの首尾一
貫性(coherency)を維持するために、キャッシュ106 と主メモリ102 との間の情
報交換を管理する。キャッシュ106 は、２ポートを持つとして図示されているが
、当業者は本発明が任意の数のポートを持つキャッシュに容易に拡張されること
を認識するであろう。
プロセッサは多重並列演算を実行する能力があるのを好適とし、従ってキャッ
シュ内に記憶されている１語より多い数の語に同時にアクセスする必要もあるで
あろう。（茲には図示しない）他の構成では、別々のプロセッサ又は他のそれに
替わるものの各々が１つの対応するキャッシュポートにアクセスを要することも
あろう。
図２は、本発明のキャッシュ106 の一実施例に結合するプロセッサ100 の詳細
ブロック図である。この例ではこのキャッシュは２方路セット連想(two-way set
-associative)キャッシュである。従来の技術とは異なり、本発明のキャッシュ
は、同じデータを記憶する二重ポートSRAM又は冗長な単一ポートメモリを用いな
い。その代わりに、本発明は多重単一ポートメモリバンクを用い、その各バンク
は重なり合わないアドレス空間のためのデータを記憶する。各バンクは任意のポ
ートからアクセスできることを好適とする。２個のポートが同じバンクにアクセ
スしようと意図しない限り、すべてのポートはキャッシュに同時アクセスを実行
できる。バンクの競合が生じるとき、すなわち２個のポートが同じバンクにアク
セスしようと意図するときには、キャッシュは以下に述べるようにしてアクセス
のタイミングを制御する。
本発明によればCPU 100 は、第１のアドレスＡ0,及び第２のアドレスＡ1と表
される多重アクセスをキャッシュ106 に行うことができる。この例のキャッシュ
では、これらのアドレスは２個のポート201 及び203 に対応する。この例では、
キャッシュ自体が第１のバンク200，bankOと第２のバンク202，bank1とを含む。
茲では、４バイトが１つの32ビット語を含むときに各バンクが８キロバイト(KB)
のデータを保持する。従って各バンクは２K 語を記憶する。更に、各キャッシュ
ブロックは２語の長さであり、２ブロックがこの例の２方路セット連想キャッシ
ュの１セットを含む。当業者は、本発明が他のメモリ構成にも応用可能であるこ
と、及び特にバンクの数が必ずしもポートの数に等しい必要はないことを認識す
るであろう。
各バンクは、３状態(tri-state)バス駆動器206 を通して複数の読み出しバス2
04 に結合しており、各読み出しバス204 はポートのうちの１つに対応している
。各バンクは更に、書き込みマルチプレクサ210 を通して複数の書き込みバス20
8に結合しており、各書き込みバス208 はポートのうちの１つに対応している。
読み出しバス204 及び書き込みバス208 は、CPU 100 の入力／出力ポートに結
合している（この結合は図面を簡明にするため図示してない）。
バンクにアドレスするための回路は、対応するポート専用のアドレス回路と、
両方のポートに共通のアドレス回路とに分割される。この実施例では、各ポート
が二重タグRAM 212 に結合し、各タグアレイ(tag array)214が２方路セット連想
キャッシュの一方の方路に対応している。各アレイからのタグは、対応する比較
器216 に供給され、該比較器はそのタグを対応するポートアドレスのタグフィー
ルドと比較する。その結果のヒット(hit)信号が、各バンクに対するヒットマル
チプレクサ218 の対応するポート入力に進む。茲でのヒット信号は２ビットの「
ワンホット」(“one hot")信号であって、其処では最大１ビットが論理１の値を
とることがあろう。各バンクはまた、各ポートアドレスのセット指標のフィール
ドを受信する列(row)マルチプレクサ220 にも結合する。更に読み出し／書き込
み制御信号が各CPU ポートから各バンクに対する読み出し／書き込みマルチプレ
クサ（これは図示されない）に進み、メモリ読み出し演算とメモリ書き込み演算
とのどちらが実行されようとするのかを指示する。１つの実施例では各ポートか
らの書き込み可能化信号(write enable signal)が書き込みマルチプレクサの対
応する入力に進む。同様に読み出し可能化信号が読み出しマルチプレクサの対応
する入力に進む。それらのマルチプレクサの出力はそれぞれ、対応するバンクの
書き込み可能化入力及び読み出し可能化入力に結合する。茲では読み出しマルチ
プレクサと書き込みマルチプレクサとを一緒にして「読み出し／書き込みマルチ
プレクサ」と呼ぶことにする。
両ポートに共通のアドレス回路は競合検出回路222 を含み、これはポートアド
レスのバンクアドレス部分を受信する。この例では各バンクアドレスは 1:2バン
ク復号器224 を通り、それに応じてこれがバンク選択信号を生成する。例えば、
もし０バンクアドレスビットが bank0の選択を表すならば、そのときには上記バ
ンク復号器224 がその bank0から１を出力し、その bank1から０を出力するであ
ろう。各ポートの復号器からのバンク選択信号(bd)は、各バンクに対して対応す
る競合解決(resolution)回路226 に与えられる。該競合解決回路226 の出力は、
各バンクに対する列マルチプレクサ220,ヒットマルチプレクサ218,及び読み出し
／書き込みマルチプレクサ（これは図示されない）を制御して、どのポートが該
バンクにアクセスを持つかを定める。競合解決回路226 はまた、読み出しバス20
4 に対する３状態駆動器206(図２は能動高<active high>を仮定する)及び書き込
みバスマルチプレクサ210 をも制御して、選定されたポートに対応するバスへの
アクセスを保証する。
図２のキャッシュのメモリ組織化の一例では、各語が４バイトを含む８KBのデ
ータを記憶する。各キャッシュブロックは２語を含む。このキャッシュは２方路
セット連想キャッシュであるから、このメモリは、１セット当たり２ブロックを
持つ１K セットを含む。アドレスのビット２がバンクを選択し、ビット3-12がセ
ットのうちの１つを選択する。アドレスのビット13-31 はタグ比較に用いられて
キャッシュ中にアドレスされたブロックが存在することを示す。
本発明のキャッシュの動作が、図3A及び図3Bに示すタイミング図によって説明
される。図3Aはバンクの競合のないキャッシュのタイミングを示す。図3Bはバン
クの競合のあるキャッシュのタイミングを示す。この両者のいずれの場合にも、
CPUは、第１の CPUポート228 からのアドレスＡ０と、第２の CPUポート230 か
らのアドレスＡ１とを発出することにより、キャッシュの同時アクセスを実行し
ようと意図する。これらのアドレスは内部 CPUバス232 を通ってそれぞれ第１の
キャッシュポート201 及び第２のキャッシュポート203 により受信される。この
例では、サイクル0 中にはアドレスの第２ビットは競合検出回路222 に与えられ
て、両方のポートが同じメモリバンクにアクセスしようと意図しているか否かを
判定する。茲で、A0[2]＝0 且つA1[2]=1 と仮定する。その場合にはport0に対す
るバンクアドレス復号器224 はバンク選択信号bd[0][0]=1 を bank0 200に対す
る競合解決回路226 に出力し、バンク選択信号bd[0][1]=0 を bank1 202に対す
る競合解決回路226 に出力するであろう。またport1 201に対するバンクアドレ
ス復号器224 はバンク選択信号bd[1][0]=0 を bank0 200に対する競合解決回路2
26 に出力し、バンク選択信号bd[1][1]=1 を bank1 202に対する競合解決回路22
6 に出力するであろう。サイクル0 においては競合解決回路226 は、どちらのポ
ート入力が各バンクに対する列マルチプレクサ220,ヒットマルチプレクサ218,及
び読み出し／書き込みマルチプレクサにより進められるかを定めて、バンクと通
信する正しい読み出しバス又は書き込みバスを（読み出し演算と書き込み演算の
どちらが実行されるかに依存して）選択する。
この２ポートの例に対して、ポート選択信号sel[j][i] はもし sel[j][i]=1な
らば入力ポートｊがバンクｉにアクセスを与える、ものとするときに、競合解決
回路226 は次の論理方程式：
sel[0][1] = bd[0][i] AND NOT(sel＿ctrl[1])
sel[1][i] = (NOT(bd[0][i])AND bd[1][i])OR sel＿ctrl[1]
を成り立たせる。バンク競合が起こったときに、上記競合解決回路はアドレスさ
れたバンクにアクセスすることを先ず低い番号のポート,port0に許す。このとき
のクロックサイクルではsel＿ctrl[1] =0である。次のサイクルでは、それを覆
す(override)信号sel＿ctrl[1] が値１をとって、ポート１への優先アクセスを
与える。
図２では、２ビットの信号sel0は bank0に対する２個のポート選択信号を表し
、２ビットの信号sellは bank1に対する２個のポート選択信号を表す。これらの
組み合わせた信号がマルチプレクサへの適切なポート入力を選択する。又はその
代わりに、次に掲げる表１の論理を実現する任意の回路により競合解決論理が実
行される。
この表において“x/y"というのは、１つのクロックサイクルでポート選択信号
がｘという値をとり、その次のクロックサイクルでｙという値をとる、というこ
とを示す。
この例では、bd[0][0]＝1 且つbd[1][0]＝0 であり、また、bd[0][1]＝0 且つ
bd[1][1]＝1 である。従って図3Aのサイクル0では、
sel[0][0]＝１
sel[0][1]＝０
sel[1][0]＝０
sel[1][1]＝１
となる。
競合がないときには sel ctrlを覆す信号は無効である。その結果、bank0 は
port0 にアクセスすることができ、bank1 はport1 にアクセスすることができる
。
総括すれば競合解決回路226 はどのポートが各バンクと通信するかを定める。
この選択はポートアドレスのバンクアドレスのフィールドに基づくのであって、
この例ではそれはビット2 である。それ以外のビットはバンク内部の特定の語に
アドレスするのに用いられる。ビット3-12は各ポートに対する二重タグアレイ内
に供給されるセット指標である。この例では１セットが２ブロックを含み、各バ
ンク内に１ブロックがある。ビット13-31は二重タグアレイ212 からのタグと比
較されるタグアドレスのフィールドを含む。
もしタグ比較の結果がアレイのうちの１つにヒット(hit)をもたらすならば、
そのヒット信号はブロックの内部の語を選択する。任意の１つのポートに対して
キャッシュの見落とし(cache miss)がある場合は、その見落としは該見落としブ
ロックをキャッシュに搭載することにより処置される。見落としが生じなかった
かのように演算は継続し、ヒットをもたらす。例えば、もし１つの命令が２つの
同時アクセスを意図するならば、１つのポートはヒットし、もう１つのポートは
見落としとなり、その見落としが最初に処置される。それから命令が再開されて
茲に述べるような競合解決回路の演算を伴う２つのヒットをもたらす。
セット指標及びヒット信号は競合解決回路226 により制御されるマルチプレク
サを通して正しいバンクへと進む。両方のポートアドレスに対するヒットを仮定
する。サイクル0 の間に、port0 201からのヒット信号 hit0 はヒットマルチプ
レクサ218 を通してbank0 200 のヒット入力へと進み、また、port1 203からの
ヒット信号 hit1 はヒットマルチプレクサ218 を通してbank1 202のヒット入力
へと進む。port0 201 から読み出され又はport0 201 へ書き込まれるデータはＸ
で表し、また、port1 203 から読み出され又はport1 203 へ書き込まれるデータ
はＹで表す。サイクル1 の間に、これらのポートの両方がバンクと通信の状態に
ある。ここでport0 201 からのデータＸがbank0 200 から読み出され又はbank02
00 へ書き込まれ、また、port1 203 からのデータＹがbank1 202 から読み出さ
れ又はbank1 202 へ書き込まれる。
図3Bは、バンク競合が生じた場合の、本発明のキャッシュの演算を説明するタ
イミング図である。この例では両方のポートアドレスが０に等しいと仮定する、
換言すれば両方のポートがbank0 にアクセスしようと意図すると仮定する。これ
に応じて競合検出回路222 は次のサイクルすなわちサイクル1 でCPU 100 の演算
を一時停止する(stall)であろう。CPU を一時停止するために競合検出回路222が
用いるメカニズムは、標準キャッシュ制御論理がキャッシュ見落としのときにCP
U を一時停止するために用いるのと類似の回路を用いて構築できる。
この例では、Ａ0[2]＝Ａ1[2]＝0 である。従って、bd[0][0]＝1 且つbd[1][0]
＝1 となり、また、bd[0][1]＝0 且つbd[1][1]＝0 となる。よって、
sel[0][0]＝1 AND N0T (sel＿ctrl1)
sel[0][1]＝0 AND NOT (sel＿ctrl1)
sel[1][0]＝(N0T (1) AND 1) OR sel＿ctrl1
sel[1][1]＝(NOT (1) AND 0) OR sel＿ctrl1
である。
各バンクに対するバンク選択信号は、バンク可能化(enable)入力に供給する出
力を持つ論理和(OR)ゲート250 により、一緒にされて論理和を形成する。もしバ
ンクにアクセスしようと意図するポートがないならば、そのときにはバンクは可
能化されない。その結果、bank1 に対する信号sel[1]（すなわちsel[0][1] 及び
sel[1][1])は効果を持たない。
しかし両方のポートが、bank0 から読み出そうと意図している。両方のポート
アドレスにヒットすると仮定しよう。サイクル0 の間に、port0 からのヒット信
号はヒットマルチプレクサ218 を通ってbank0 の hit＿bank0 入力へと進み、そ
れによりサイクル1 の間にデータ語Ｘがport0 から出力できる。
その次に、一時停止中に（サイクル1）、sel＿ctrlはアサート(assert)され、
それによりサイクル1 中にse10 が port1を選択するよう強制する。図3b及び表1
を参照されたい。その結果、一時停止サイクル1 の間に、port1 からのヒット
信号 hit1 はヒットマルチプレクサ218 を通って bank0の hit＿bank0 入力へと
進み、それによりその次のサイクルであるサイクル2 の間にデータ語Ｙが port1
を通って出力できる。更に、その一時停止サイクルの間に port0に対する読み出
し演算の結果が、バス上のラッチング回路(latchihg)回路（これは図示されない
）
により、port0 に対する読み出しバス上にラッチ(latch)される。その結果、por
t0 から読み出されたデータＸと、port1 から読み出されたデータＹとがサイク
ル2 の間に同時に出現する。CPU 演算はサイクル1 中には一時停止するから、CP
U にとってはサイクル0 の直後のサイクル中に、二重ポートキャッシュアクセス
が同時に生じるように見える。
競合の場合には競合解決回路226 が port0に優先アクセスを与える、というこ
とに注意されたい。当業者は、競合解決回路226 がいかなる優先順位の場合にも
競合するポートにアクセスを許容できることを認識するであろう。ここに記述す
る例ではポートの番号として、低い番号のポートには高い優先アクセスを要する
ものを対応させ、高い番号のポートは更に長い時間にわたりアクセスを待つこと
がある、ようにしてある。
更に、上記競合解決回路226 は２個のポート間の競合を解決することに限定さ
れている訳ではない。Ｋ個のポートを持つキャッシュに対して、もしＮ＞2 個の
ポートが同じバンクにアクセスしようと意図すれば、そのときは最初に一番低い
番号のポートにアクセスが与えられ、順次ポートの番号を上げて残りの競合ポー
トにアクセスを許すように N−1 サイクルにわたって CPUを一時停止する。例え
ばＫ＝3 個のポートを持つキャッシュの場合に、各バンクｉに対して、バンク毎
に３個のバンク選択信号 bd[0][i]，bd[1][i]，bd[2][i］が、各ポートに１個宛
ある。また、３個のポート選択信号 sel[0][i]，sel[1][i]，sel[2][i]があり、
それらはポート0,1,又は2 がそれぞれバンクにアドレスするよう選定されたこと
を示すのである。
すべてのバンクに共通に、２個の選択制御信号:sel＿ctrl1，sel＿ctrl2 があ
り、バンク競合の解決の優先度を覆す。もしsel＿ctrl1 がアサートされれば、
そのときはポート１が選択される。もし sel＿ctrl2 がアサートされれば、その
ときはポート0 が選択される。もし sel＿ctrl1，sel＿ctrl2 のどちらもアサー
トされなければ、そのときはポート0 が優先する。
各バンクｉに対して：
sel[0][i]＝bd[i] AND N0T (sel＿ctrl1 OR sel＿ctrl2)
sel[1][i]＝(NOT(bd0[i］AND bd1[i])OR sel＿ctrl1
sel[2][i]＝(NOT(bd0[i] AND NOT(bd1[i]) AND bd2[i]) OR sel＿ctrl2
である。
一般的に、Ｋ＞3 のとき、Ｋ個のポートに対して、
各バンクｉに対して：
各ポートｊ(0＜ｊ＜K)に対して：
バンクｉの中のポートｊの各バンク選択信号 bd[j][i] に対して：
各選択制御信号 sel ctrl[m](m＝1,・・・,K−1)に対して：
競合解決回路は出力選択信号 sel[j][i]を次のように生成する、すなわち：
sel[0][i]=bd[0][i]AND N0T(scl_ctrl[1]OR sel_ctrl[2]OR...OR sel_ctrl[K-
1]
sel[1][i]=(NOT(bd[0][i])AND bd[1][i])OR sel_ctrl[1]
sel[2][i]=(NOT(bd[0][i])AND NOT(bd[1][i])AND bd[2][i])OR sel_ctrl[2]
sel[j][i]=(NOT(bd[0][i])
AND NOT(bd[1][i]）
AND NOT(bd[j-1][i])
AND(bd[j][i]))
OR sel_ctrl[j]
である。
多くの一時停止サイクルに対し、全体のパフォーマンスを妨げるような多数の
バンク競合が生起することが観察される。従って同じ CPUサイクル内のバンク競
合の数を限定することが有利である。本発明の１つの実施例によれば、バンク競
合は、近傍の命令内の変数を異なるバンクのアドレスに割り当てることにより、
コンパイラ及びアプリケーションソフトウェアにおいて避けられる。従って同じ
バンクが同じサイクル中でアドレスされることは殆ど考えられない。更に、アド
レス空間自体の構成もバンク競合の機会を減らすことに寄与する。低い順位のア
ドレスビット、例えば第２ビットを用いてバンクを選択すれば、キャッシュブロ
ックの隣接する語はすべてのバンクに適切に分配される。このやり方では、隣接
する語にアドレスすることは異なるバンクにアドレスすることになる。引用の局
所性という性質の故にこの構成は競合の機会を減少させる。
茲では本発明が特定の実施例について記述されているが、本発明の精神及び範
囲から乖離することなく当業者が種々の変形や改作をなし得ることは明らかであ
る。例えば、キャッシュは８バンクの８方路セット連想キャッシュとして構成す
ることができる。そのときにはアドレスビット6-10がセット指標とされる。各セ
ットは各バンク内に２つの列を有する。ビット５がその２つの列のうちの１つを
選択し、ビット2-4がバンクを選択する。アドレスビット11-31がタグの比較に用
いられる。ビット0-1が語の中のバイトに対応する。更に本発明はパイプライン
化されたキャッシュにも応用できる。
─────────────────────────────────────────────────────
【要約の続き】
きる。各バンクは単一ポートのものである。バンクは重
なり合うことのないアドレス空間を持つ、そしてキャッ
シュブロック内の語は複数のバンクに分散するようにア
ドレスされる。