JP2023069644A - 半導体装置および半導体装置の制御方法 - Google Patents

半導体装置および半導体装置の制御方法 Download PDF

Info

Publication number
JP2023069644A
JP2023069644A JP2021181669A JP2021181669A JP2023069644A JP 2023069644 A JP2023069644 A JP 2023069644A JP 2021181669 A JP2021181669 A JP 2021181669A JP 2021181669 A JP2021181669 A JP 2021181669A JP 2023069644 A JP2023069644 A JP 2023069644A
Authority
JP
Japan
Prior art keywords
cache
data
memory
rewrite
semiconductor device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021181669A
Other languages
English (en)
Inventor
汐 中原
Shio Nakahara
隆英 吉川
Takahide Yoshikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2021181669A priority Critical patent/JP2023069644A/ja
Priority to US17/862,433 priority patent/US11822481B2/en
Publication of JP2023069644A publication Critical patent/JP2023069644A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0893—Caches characterised by their organisation or structure
    • G06F12/0897—Caches characterised by their organisation or structure with two or more cache hierarchy levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0891—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using clearing, invalidating or resetting means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0804—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches with main memory updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
    • G06F12/0846—Cache with multiple tag or data arrays being simultaneously accessible
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G06F12/0871—Allocation or management of cache space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0888—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches using selective caching, e.g. bypass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/12—Replacement control
    • G06F12/121—Replacement control using replacement algorithms
    • G06F12/128—Replacement control using replacement algorithms adapted to multidimensional cache systems, e.g. set-associative, multicache, multiset or multilevel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1016—Performance improvement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/10—Providing a specific technical effect
    • G06F2212/1048—Scalability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/22—Employing cache memory using specific memory technology
    • G06F2212/221—Static RAM
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/22—Employing cache memory using specific memory technology
    • G06F2212/225—Hybrid cache memory, e.g. having both volatile and non-volatile portions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/50—Control mechanisms for virtual memory, cache or TLB
    • G06F2212/502—Control mechanisms for virtual memory, cache or TLB using adaptive policy
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

Figure 2023069644000001
【課題】回路規模の増加を抑えつつ、書き込み速度が互いに異なる複数のメモリを含むキャッシュのアクセス効率を向上する。
【解決手段】半導体装置は、第１メモリと、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグとを有する第１キャッシュと、第２メモリと、前記第２メモリより書き込み速度が低い第３メモリとを有し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する第２キャッシュと、を有する。
【選択図】図３

Description

本発明は、半導体装置および半導体装置の制御方法に関する。
ＣＰＵ（Central Processing Unit）等の半導体装置に搭載されるキャッシュは、外部メモリに記憶されたデータの一部を保持する。そして、キャッシュは、演算コアから発行される読み出しアクセス要求の対象データを保持している場合（キャッシュヒット）、外部メモリに読み出しアクセス要求を発行することなく、キャッシュに保持しているデータを演算コアに転送する。これにより、データのアクセス効率が向上され、演算処理装置の処理性能が向上する。すなわち、キャッシュを搭載した半導体装置は、データ転送を効率化するアーキテクチャを有する。
演算処理装置の処理性能は、キャッシュの容量が大きいほど向上するが、演算処理装置に搭載可能なキャッシュの容量には限界がある。そこで、通常はキャッシュとして使用するＳＲＡＭにタグを記憶し、ＤＲＡＭにデータを記憶することで、キャッシュ容量を増加させる手法が提案されている（例えば、特許文献１参照）。また、異種のＭＲＡＭ（Magnetoresistive Random Access Memory）が搭載される半導体装置において、高速で動作するＭＲＡＭをキャッシュとして使用し、低速で動作するＭＲＡＭを主記憶装置として使用する手法が提案されている（例えば、特許文献２参照）。
一方、キャッシュを有する演算処理装置と、演算処理装置で使用するデータ等を記憶する揮発性メモリおよび不揮発性メモリと、揮発性メモリおよび不揮発性メモリのアクセスを管理する管理装置とを有する情報処理装置が知られている。この種の情報処理装置では、管理装置は、書き込み回数が設定値を超えた不揮発性メモリのページの代わりに揮発性メモリにアクセスするウェアレベリングを実行する（例えば、特許文献３参照）。
特開２０１０－２５０５１１号公報 国際公開第２００９／１１０５３２号 特開２０１９－１６４５０８号公報
例えば、キャッシュが、書き込み速度が互いに異なる２種類のメモリを有する場合、アクセス効率を低下させないように、書き換え頻度が高いデータは、書き込み速度が高いメモリに格納されることが好ましい。この際、書き換え頻度は、データを書き込むメモリを判定する前に分かっていることが好ましく、回路規模の増加を抑えるために、書き換え頻度を示す情報の量は、少ない方が好ましい。
１つの側面では、本発明は、回路規模の増加を抑えつつ、書き込み速度が互いに異なる複数のメモリを含むキャッシュのアクセス効率を向上することを目的とする。
一つの観点によれば、半導体装置は、第１メモリと、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグとを有する第１キャッシュと、第２メモリと、前記第２メモリより書き込み速度が低い第３メモリとを有し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する第２キャッシュと、を有する。
回路規模の増加を抑えつつ、書き込み速度が互いに異なる複数のメモリを含むキャッシュのアクセス効率を向上することができる。
一実施形態における半導体装置の一例を示すブロック図である。 図１の第１キャッシュの動作の一例を示すフロー図である。 図１の第２キャッシュの動作の一例を示すフロー図である。 別の実施形態における半導体装置の一例を示すブロック図である。 図４のＬ１キャッシュのＳＲＡＭアレイの一例を示す説明図である。 図４のＬ２キャッシュのＳＲＡＭアレイおよびＭＲＡＭアレイの一例を示す説明図である。 図４の半導体装置の動作の一例を示すシーケンス図である。 図４のＬ１キャッシュが書き込み要求を受信したときの動作の一例を示すフロー図である。 図４のＬ１キャッシュが読み出し要求を受信したときの動作の一例を示すフロー図である。 図４のＬ２キャッシュのデータ格納部の動作の一例を示すフロー図である。 図４のＬ２キャッシュのデータ読出部の動作の一例を示すフロー図である。 図４のＬ２キャッシュのデータ書換部の動作の一例を示すフロー図である。
以下、図面を参照して、実施形態が説明される。
図１は、一実施形態における半導体装置の一例を示す。図１に示す半導体装置１００は、例えば、ＣＰＵ等のプロセッサである。半導体装置１００は、第１キャッシュ１１０と、第１キャッシュ１１０の下位に配置される第２キャッシュ１２０とを有する。なお、半導体装置１００は、例えば、第１キャッシュ１１０に接続され、第１キャッシュ１１０にアクセス要求（書き込み要求および読み出し要求）を発行する図示しない演算部を有する。演算部は、コントローラの一例である。
例えば、第１キャッシュ１１０および第２キャッシュ１２０は、それぞれＬ１キャッシュおよびＬ２キャッシュでもよく、それぞれＬ２キャッシュおよびＬ３キャッシュでもよい。第２キャッシュは、図示しない下位のキャッシュまたはメインメモリに接続される。
例えば、半導体装置１００は、第１キャッシュ１１０に格納されるデータと第２キャッシュ１２０に格納されるデータとが互いに重複しないエクスクルージョンキャッシュ（ビクティムキャッシュ）のアーキテクチャを有する。このため、例えば、演算部からの読み出し要求に基づいてメインメモリから読み出されたデータは、第１キャッシュ１１０に直接格納される。また、第１キャッシュ１１０から追い出されたデータは、第２キャッシュ１２０に格納される。
なお、第１キャッシュ１１０は、図示しない演算部とともにＣＰＵチップに搭載され、第２キャッシュは、専用チップに搭載されてもよい。この場合、ＣＰＵチップと専用チップとを互いに積層することで、半導体装置１００が実現されてもよい。
第１キャッシュ１１０は、第１制御部１１２、書き換えフラグ１１４および第１メモリ１１６を有する。第１メモリ１１６は、データを保持する複数のデータ領域を有する。第１制御部１１２は、書き換えフラグ１１４の設定と第１メモリ１１６に対するデータの入出力とを制御する。書き換えフラグ１１４は、第１メモリ１１６のデータ領域にそれぞれ対応して設けられ、データ領域に保持されるデータの書き換えの有無を示す情報を保持する。例えば、書き換えフラグは、１ビットであり、論理値１が書き換えありを示し、論理値０が書き換えなしを示す。
図１では、第１メモリ１１６が８個のデータ領域を有し、８個のデータ領域にそれぞれ対応する書き換えフラグ１１４が設けられる例が示される。しかしながら、データ領域の数は、８個に限定されず、２のｎ乗個（ｎは１以上の整数）であればよい。また、各データ領域のサイズ（キャッシュラインサイズ）は、半導体装置１００に搭載される演算器で使用するデータのビット数の整数倍に設定され、例えば、８バイトから２５６バイトである。
第１制御部１１２は、メインメモリから転送されるデータを第１メモリ１１６のデータ領域に格納する場合、データを格納するデータ領域に対応する書き換えフラグ１１４を非書き換え状態に設定する。第１制御部１１２は、データ領域に保持されたデータが、演算部からの書き込み要求に基づいて書き換えられる場合、データを書き換えるデータ領域に対応する書き換えフラグ１１４を書き換え状態に設定する。
書き換え状態の書き換えフラグ１１４は、データの書き換え頻度が高いことを示し、非書き換え状態の書き換えフラグ１１４は、データの書き換え頻度が低いことを示す。このように、書き換え頻度は、データ毎に１ビットで表される。書き換え頻度を示す書き換えフラグ１１４の情報量を少なくできるため、書き換え頻度を複数ビット（書き換え回数など）で示す場合に比べて半導体装置１００の回路規模（チップサイズ）を小さくすることができる。
例えば、書き換えフラグ１１４を設ける場合、書き換えフラグ１１４のセット／リセット回路が第１キャッシュ１１０に設けられ、書き換えフラグ１１４の判定回路が第２キャッシュ１２０に設けられる。このため、回路規模の増大を最小限にできる。これに対して、書き換え回数で書き換え頻度を表す場合、カウンタと、カウンタを制御する制御回路とが第１キャッシュ１１０に設けられ、カウンタ値を比較する比較回路が第２キャッシュ１２０に設けられる。これにより、書き換えフラグ１１４を設ける場合に比べて、回路規模が増大してしまう。
また、チップサイズが予め決まっている場合、カウンタ等を設ける場合に比べて、第１メモリ１１６の記憶容量（データ領域の数）を増加することができる。この結果、第１キャッシュ１１０のキャッシュヒット率を向上することができ、データのアクセス効率を向上することができる。
さらに、第１制御部１１２は、第１メモリ１１６に保持されたデータが書き換えられた時点で書き換えフラグ１１４を書き換え状態に設定する。第２キャッシュ１２０にデータが追い出される前に、データの書き換え履歴が決定するため、第２制御部１２２は、書き換え履歴にしたがってデータを第２メモリ１２４または第３メモリ１２６のいずれかに格納することができる。
これに対して、第２メモリ１２４および第３メモリ１２６に格納されるデータの書き換え頻度の統計を取得し、取得した統計に基づいて、第２メモリ１２４または第３メモリ１２６のいずれにデータを格納するか決定する場合が考えられる。この場合、統計が取得されるまで、データを第２メモリ１２４または第３メモリ１２６のいずれに格納することが適切であるかを判定することができない。
なお、第１キャッシュ１１０がＬ１キャッシュの場合、データがＬ１キャッシュ内に留まる時間は、Ｌ２キャッシュ等の下位のキャッシュに比べて短く、データ毎の書き換え回数は、下位のキャッシュの書き換え回数に比べて少ない。このため、第１キャッシュ１１０で書き換え頻度を管理する場合、カウンタを使用しなくても、１ビットの書き換えフラグ１１４によって、書き換え頻度を精度よく表すことができる。
第２キャッシュ１２０は、第２制御部１２２、第２メモリ１２４および第３メモリ１２６を有する。第２メモリ１２４のデータの書き込み速度は、第３メモリ１２６のデータの書き込み速度より高い。なお、第２メモリ１２４のデータの読み出し速度は、第３メモリ１２６のデータの読み出し速度より速くてもよい。
第２制御部１２２は、第１キャッシュ１１０からデータが追い出された場合、追い出されたデータを第２メモリ１２４または第３メモリ１２６のいずれかに格納する。例えば、第２制御部１２２は、追い出されたデータに対応する書き換えフラグ１１４が書き換え状態を示す場合、追い出されたデータを第２メモリ１２４に格納する。第２制御部１２２は、第１キャッシュ１１０から追い出されたデータに対応する書き換えフラグ１１４が非書き換え状態を示す場合、追い出されたデータを第３メモリ１２６に格納する。
これにより、書き換え頻度の高いデータを書き込み速度の高い第２メモリ１２４に書き込むことができ、書き換え頻度の低いデータを書き込み速度の低い第３メモリ１２６に書き込むことができる。書き換え頻度の高いデータを第２メモリ１２４に書き込むことで、第２キャッシュ１２０のデータの書き換えに掛かる時間の平均値を短くすることができるため、第２キャッシュ１２０のアクセス効率を向上することができる。また、第２制御部１２２は、書き換えフラグ１１４のビット値を判定すればよいため、書き換え回数を示すカウンタ値の大小関係を判定する場合に比べて、第２メモリ１２４または第３メモリ１２６のいずれにデータを格納するかを容易に判定できる。
図２は、図１の第１キャッシュ１１０の動作の一例を示す。例えば、図２に示すフローは、第１メモリ１１６に保持されたデータの書き換え、または追い出しのタイミングで実施されてもよく、所定の頻度で実行されてもよい。第１メモリ１１６には、図２のフローの開始前にデータが格納されている。
まず、ステップＳ１０において、第１制御部１１２は、第１メモリ１１６に保持されたデータを書き換えるか否かを判定する。第１制御部１１２は、データを書き換える場合、ステップＳ１２を実行し、データを書き換えない場合、ステップＳ１４に移行する。
例えば、データの書き換えは、演算部から書き込み要求が発行された場合に、書き込み要求に含まれるデータを使用して実行される。データの書き換えは、書き込み要求が第１キャッシュ１１０でキャッシュヒットした場合にも実行され、キャッシュミスした場合にも実行される。なお、キャッシュミスした場合、データの書き換えは、下位のキャッシュまたはメインメモリから転送されるデータが第１メモリ１１６に格納された後に実行される。
ステップＳ１２において、第１制御部１１２は、データを書き換えたデータ領域に対応する書き換えフラグ１１４を書き換え状態に設定する。このように、第１制御部１１２は、演算部からの書き込み要求の受信に基づいて、データの書き換えとともに書き換えフラグ１１４を書き換え状態に設定することで、データの書き換え頻度を管理することができる。第１制御部１１２は、ステップＳ１２の後、ステップＳ１４を実行する。
ステップＳ１４において、第１制御部１１２は、第１メモリ１１６からデータを追い出すか否かを判定する。第１制御部１１２は、データを追い出す場合、ステップＳ１６を実行し、データを追い出さない場合、図２に示す動作を終了する。
ステップＳ１６において、第１制御部１１２は、追い出すデータを第２キャッシュ１２０に出力する。次に、ステップＳ１８において、第１制御部１１２は、データを追い出したデータ領域を無効化する。この際、第１制御部１１２は、データを追い出したデータ領域に対応する書き換えフラグを非書き換え状態に設定してもよい。そして、第１制御部１１２は、図２に示す動作を終了する。
図３は、図１の第２キャッシュ１２０の動作の一例を示す。例えば、図３に示すフローは、第１キャッシュ１１０から追い出されたデータを受信したタイミングで実施されてもよく、所定の頻度で実行されてもよい。
まず、ステップＳ２０において、第２制御部１２２は、第１キャッシュ１１０から追い出されたデータを受信したか否かを判定する。第２制御部１２２は、第１キャッシュ１１０から追い出されたデータを受信した場合、ステップＳ２２を実行し、第１キャッシュ１１０から追い出されたデータを受信していない場合、図３に示す動作を終了する。
ステップＳ２２において、第２制御部１２２は、データとともに受信した書き換えフラグ１１４が書き換え状態か否かを判定する。第２制御部１２２は、書き換え状態の場合、ステップＳ２４を実行し、非書き換え状態の場合、ステップＳ２６を実行する。
ステップＳ２４において、第２制御部１２２は、第１キャッシュ１１０から受信したデータを第２メモリ１２４に格納し、図３に示す動作を終了する。ステップＳ２６において、第２制御部１２２は、第１キャッシュ１１０から受信したデータを第３メモリ１２６に格納し、図３に示す動作を終了する。
なお、第２制御部１２２は、ステップＳ２４において、第２メモリ１２４に空きがない場合、受信したデータの格納前に、第２メモリ１２４に保持されているデータを下位のキャッシュまたはメインメモリに追い出す追い出し処理を実行する。同様に、第２制御部１２２は、ステップＳ２６において、第３メモリ１２６に空きがない場合、受信したデータの格納前に、第３メモリ１２６に保持されているデータを下位のキャッシュまたはメインメモリに追い出す追い出し処理を実行する。
以上、この実施形態では、第１キャッシュ１１０から追い出されたデータの書き込み先を、書き換え頻度を示す書き換えフラグ１１４に応じて決めることで、半導体装置１００の回路規模（チップサイズ）を小さくすることができる。そして、第２キャッシュ１２０は、書き換えフラグ１１４のビット値に応じて、書き換え頻度の高いデータを書き込み速度の高い第２メモリ１２４に書き込むことができ、書き換え頻度の低いデータを書き込み速度の低い第３メモリ１２６に書き込むことができる。この結果、回路規模の増加を抑えつつ、書き込み速度が互いに異なる第２メモリ１２４および第３メモリ１２６を含む第２キャッシュ１２０のアクセス効率を向上することができる。
第１制御部１１２は、演算部からの書き込み要求の受信に基づいて、データの書き換えとともに書き換えフラグ１１４を書き換え状態に設定することで、データの書き換え頻度を管理することができる。
図４は、別の実施形態における半導体装置の一例を示す。上述した実施形態と同様の要素については、同じ符号を付し、詳細な説明は省略する。図３に示す半導体装置２００は、例えば、ＣＰＵ等のプロセッサである。半導体装置２００は、ＣＰＵ３００とＬ２キャッシュ４００とを有する。なお、図４以降に示す半導体装置２００の構成、機能および動作は、図１に示した半導体装置１００に適用されてもよい。
ＣＰＵ３００は、演算部３１０と、制御部３２２およびＳＲＡＭ（Static Random Access Memory）アレイ３２４を有するＬ１キャッシュ３２０とを有する。Ｌ２キャッシュ４００は、データ格納部４１２、データ読出部４１４およびデータ書換部４１６を有する制御部４１０と、ＳＲＡＭアレイ４２０とＭＲＡＭアレイ４３０とを有する。Ｌ２キャッシュ４００は、メインメモリ５００に接続される。なお、Ｌ２キャッシュ４００は、Ｌ３キャッシュ等の下位のキャッシュを介してメインメモリ５００に接続されてもよい。
Ｌ１キャッシュ３２０は、第１キャッシュの一例であり、Ｌ２キャッシュ４００は、第２キャッシュの一例である。ＳＲＡＭアレイ３２４は、第１メモリの一例であり、ＳＲＡＭアレイ４２０は、第２メモリの一例であり、ＭＲＡＭアレイ４３０は、第３メモリの一例である。ＳＲＡＭアレイ３２４は、書き換えフラグＷＦＬＧおよびデータを保持する複数のデータ領域を有する。
例えば、ＳＲＡＭアレイ４２０は、ＭＲＡＭアレイ４３０に比べて書き込み速度および読み出し速度が高い。また、ＳＲＡＭアレイ４２０は、ＭＲＡＭアレイ４３０に比べてメモリセルサイズが大きい。なお、ＭＲＡＭアレイ４３０の代わりに、ＳＲＡＭアレイ４２０よりメモリセルサイズが小さく、書き込み速度が低い他のメモリアレイが搭載されてもよい。
演算部３１０は、例えば、演算命令に基づいて演算を実行する複数の演算器と、ロード命令およびストア命令に基づいてメモリアクセスアドレスを生成するアドレス生成器とを有する。演算部３１０は、ロード命令に基づいて読み出し要求をＬ１キャッシュ３２０に発行し、ストア命令に基づいて書き込み要求をＬ１キャッシュ３２０に発行する。
制御部３２２は、演算部３１０からの書き込み要求または読み出し要求に含まれるアドレスに基づいて、Ｌ１キャッシュ３２０のキャッシュヒットまたはキャッシュミスを判定する。書き込み要求を受信した制御部３２２は、キャッシュヒットを判定した場合、書き込み要求に含まれるデータをＳＲＡＭアレイ３２４に格納し、書き換えフラグＷＦＬＧを書き換え状態に設定する。読み出し要求を受信した制御部３２２は、キャッシュヒットを判定した場合、ＳＲＡＭアレイ３２４から読み出し対象のデータを読み出し、演算部３１０に応答する。
書き込み要求を受信した制御部３２２は、キャッシュミスを判定した場合、Ｌ２キャッシュ４００に書き込み要求を発行する。そして、制御部３２２は、Ｌ２キャッシュ４００から書き込み完了の通知を受信した場合、書き込み要求の処理を終了する。制御部３２２は、Ｌ２キャッシュ４００から書き込み完了の通知を受信せず、メインメモリ５００から書き込み要求の対象アドレスに保持されたデータを受信した場合、受信したデータをＳＲＡＭアレイ３２４に格納する。さらに、制御部３２２は、ＳＲＡＭアレイ４２０に格納したデータを書き込み要求に含まれるデータで書き換え、書き換えフラグＷＦＬＧを書き換え状態に設定する。
読み出し要求を受信した制御部３２２は、キャッシュミスを判定した場合、Ｌ２キャッシュ４００に読み出し要求を発行する。そして、Ｌ２キャッシュ４００またはメインメモリ５００から転送されるデータをＳＲＡＭアレイ３２４に格納し、書き換えフラグＷＦＬＧを非書き換え状態に設定する。
なお、制御部３２２は、Ｌ２キャッシュ４００に発行した読み出し要求に基づいて受信するデータを格納するデータ領域がＳＲＡＭアレイ３２４に存在しない場合がある。この場合、制御部３２２は、ＳＲＡＭアレイ３２４に保持されているデータを書き換えフラグＷＦＬＧとともにＬ２キャッシュ４００に追い出す。
Ｌ２キャッシュ４００において、データ格納部４１２は、Ｌ１キャッシュ３２０から追い出されたデータと書き換え状態の書き換えフラグＷＦＬＧとを受信した場合、受信したデータをＳＲＡＭアレイ４２０に格納する。データ格納部４１２は、Ｌ１キャッシュ３２０からの追い出されたデータと非書き換え状態の書き換えフラグＷＦＬＧとを受信した場合、受信したデータをＭＲＡＭアレイ４３０に格納する。
データ読出部４１４は、Ｌ１キャッシュ３２０から読み出し要求を受けた場合、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０のキャッシュヒットまたはキャッシュミスを判定する。データ読出部４１４は、キャッシュヒットを判定した場合、ＳＲＡＭアレイ４２０またはＭＲＡＭアレイ４３０から読み出し要求の対象データを読み出し、読み出したデータをＬ１キャッシュ３２０に出力する。データ読出部４１４は、キャッシュミスを判定した場合、メインメモリ５００に読み出し要求を発行する。なお、読み出し要求に基づいてメインメモリ５００から読み出されるデータは、Ｌ２キャッシュ４００を介することなくＬ１キャッシュ３２０に直接転送される。
なお、ＣＰＵ３００とＬ２キャッシュ４００とは、それぞれチップの形態を有してもよい。ＣＰＵチップとＬ２キャッシュチップとを互いに積層することで、半導体装置２００が実現されてもよい。また、書き換えフラグＷＦＬＧを含むＳＲＡＭアレイ４２０を有するＬ２キャッシュと、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０を有するＬ３キャッシュにより、図４と同様のキャッシュシステムが構築されてもよい。
図５は、図４のＬ１キャッシュ３２０のＳＲＡＭアレイ３２４の一例を示す。なお、図１の第１メモリ１１６も図５と同様の構成を有してもよい。ＳＲＡＭアレイ３２４は、それぞれが４つのエントリを含む２つのウェイＷＡＹ（ＷＡＹ０、ＷＡＹ１）を有する。各ウェイＷＡＹ０、ＷＡＹ１の各エントリは、バリッドフラグＶ、ダーティフラグＤＲＴＹおよび書き換えフラグＷＦＬＧと、アドレスＡＤＤＲの一部であるタグ値が格納される領域ＴＡＧと、データが格納される領域ＤＴを有する。なお、ＳＲＡＭアレイ３２４が有するウェイＷＡＹの数は、例えば、４個でもよい。
バリッドフラグＶは、エントリに格納されたデータが有効の場合、"１"に設定され、無効の場合"０"に設定される。ダーティフラグＤＲＴＹは、メインメモリ５００からデータが転送されたときに"０"に設定され、データの書き換え時に"１"に設定される。また、"１"のダーティフラグＤＲＴＹは、Ｌ２キャッシュ４００またはメインメモリ５００からの書き戻し要求によりデータが書き戻され、いわゆるシェア状態になったときに"０"に設定される。例えば、書き戻し要求は、他のＣＰＵ３００からの読み出し要求の対象データが、ＳＲＡＭアレイ３２４内で更新されている場合に発行される。
書き換えフラグＷＦＬＧは、メインメモリ５００からデータが転送された場合に"０"に設定され、書き込み要求によりデータが書き換えられた場合に"１"に設定される。なお、一度"１"に設定された書き換えフラグＷＦＬＧは、"０"に戻されることはない。これにより、データの書き戻しによりダーティフラグＤＲＴＹが"１"から"０"に戻されても、書き換えフラグＷＦＬＧの"１"を維持することができ、データの書き換え履歴を消失することなく保持することができる。タグ値ＴＡＧの領域には、アドレスＡＤＤＲ内のタグＴＡＧに対応する値が格納される。
特に限定されないが、この実施形態では、説明を分かりやすくするために、データ領域ＤＴに保持されるデータは、１２８ビット（１６バイト）であるとする。実際には、データ領域ＤＴに保持されるデータは、例えば、６４バイトから５１２バイト（２のべき乗）でもよい。データのサイズは、メインメモリ５００に対して入出力されるデータサイズと等しく、いわゆるキャッシュラインのサイズである。
また、ＳＲＡＭアレイ３２４は、セット値ＳＥＴ（インデックス）を識別する領域と、最近使われたウェイＷＡＹの番号を示す使用情報ＵＳが格納される領域とを有する。セット値ＳＥＴおよび使用情報ＵＳは、ウェイＷＡＹ０、ＷＡＹ１に共通に設けられる。セット値ＳＥＴは、ＳＲＡＭアレイ３２４の４つのエントリを識別するために使用されるため、セット値ＳＥＴは、２ビットで表される。例えば、ＳＲＡＭアレイ３２４が６４個のエントリを有する場合、セット値ＳＥＴは、６ビットで表される。なお、セット値ＳＥＴは、エントリを識別する番号であるため、ＳＲＡＭアレイ４２０は、セット値ＳＥＴの領域を持たなくてもよい。
演算部３１０から発行される書き込み要求または読み出し要求に含まれるアドレスＡＤＤＲは、タグ値ＴＡＧ、セット値ＳＥＴ、ブロックオフセットＢＬＫ－ＯＦＳおよびバイトオフセットＢＴ－ＯＦＴを含む。例えば、ブロックオフセットＢＬＫ－ＯＦＳは、１２８ビットのデータを３２ビットずつの４ブロックに分ける場合、２ビットで表される。バイトオフセットＢＴ－ＯＦＴは、１ブロックが３２ビットの場合、２ビットで表される。
そして、制御部３２２は、書き込み要求または読み出し要求に含まれるアドレスＡＤＤＲのセット値ＳＥＴに対応するエントリに格納されたタグ値ＴＡＧが、アドレスＡＤＤＲに含まれるタグ値ＴＡＧと一致する場合、キャッシュヒットを判定する。制御部３２２は、アドレスＡＤＤＲのセット値ＳＥＴに対応するエントリに格納されたタグ値ＴＡＧが、アドレスＡＤＤＲに含まれるタグ値ＴＡＧと一致しない場合、キャッシュミスを判定する。
図６は、図４のＬ２キャッシュ４００のＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の一例を示す。図５のＳＲＡＭアレイ３２４と同様の要素については、詳細な説明は省略する。なお、図１の第２メモリ１２４および第３メモリ１２６も図６と同様の構成を有してもよい。ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各々は、それぞれ４つのエントリを有する２つのウェイＷＡＹ（ＷＡＹ０、ＷＡＹ１）を有する。なお、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各々が有するウェイＷＡＹの数は、例えば、４個または８個でもよい。また、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０のいずれかが、複数のウェイＷＡＹを有してもよい。
各ウェイＷＡＹのエントリは、バリッドフラグＶと、ダーティフラグＤＲＴＹと、タグ値が格納される領域ＴＡＧと、データが格納される領域ＤＴとを有する。すなわち、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０のウェイＷＡＹの構造は、書き換えフラグＷＦＬＧを持たないことを除き、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４のウェイＷＡＹの構造と同様である。
また、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各々は、図５のＳＲＡＭアレイ３２４と同様に、使用情報ＵＳが格納される領域を有する。さらに、Ｌ２キャッシュ４００は、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０に共通に使用されるセット値ＳＥＴの領域を有する。例えば、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０がそれぞれ２０４８個のエントリを有する場合、セット値ＳＥＴは、１１ビットで表される。
セット値ＳＥＴを共通化することにより、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０毎にセット値ＳＥＴを管理する場合に比べて、データ格納部４１２およびデータ読出部４１４によるＬ２キャッシュ４００の制御を容易にすることができる。これにより、データ格納部４１２およびデータ読出部４１４の回路規模を削減することができる。
ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各ウェイＷＡＹ０、ＷＡＹ１の各エントリは、バリッドフラグＶ、ダーティフラグＤＲＴＹ、書き換えフラグＷＦＬＧ、タグ値ＴＡＧおよびデータＤＴが格納される領域を有する。ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各ウェイＷＡＹに格納されるバリッドフラグＶ、ダーティフラグＤＲＴＹおよびタグ値ＴＡＧの使い方は、図５のＳＲＡＭアレイ３２４に格納される各情報の使い方と同様である。
図６に示すウェイＷＡＹの構成により、データの読み出し時に、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０を１つのメモリアレイ（図６の例では、４ウェイセットアソシエイティブキャッシュ）として機能させることができる。また、データの書き込み時に、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の各々を、２ウェイセットアソシエイティブキャッシュとして機能させることができる。
図７は、図４の半導体装置２００の動作の一例を示す。すなわち、図７は、半導体装置２００の制御方法の一例を示す。図７では、演算部３１０から読み出し要求ＲＤが発行された場合の動作の例が示される。図７のシーケンス図において、符号ａｌｔは、条件分岐処理を示す。なお、図１の半導体装置１００も図７と同様に動作してもよい。
Ｌ１キャッシュ３２０の制御部３２２は、読み出し要求ＲＤに含まれるアドレスＡＤＤＲに基づいて、Ｌ１キャッシュ３２０のキャッシュヒットまたはキャッシュミスを判定する（図７（ａ））。制御部３２２は、キャッシュヒットを判定した場合（Ｌ１ヒット）、ＳＲＡＭアレイ３２４に保持されたデータＤＴを演算部３１０に出力する（図７（ｂ））。制御部３２２は、キャッシュミスを判定した場合、Ｌ２キャッシュ４００のデータ読出部４１４にアドレスＡＤＤＲを含む読み出し要求ＲＤを出力する（図７（ｃ））。
データ読出部４１４は、受信したアドレスＡＤＤＲをＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０にそれぞれ出力し、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０にキャッシュヒットまたはキャッシュミスを判定させる（図７（ｄ））。ＳＲＡＭアレイ４２０は、キャッシュヒットを判定した場合（Ｌ２ヒット）、ＳＲＡＭアレイ４２０に保持された読み出し対象のデータＤＴをデータ読出部４１４に出力する（図７（ｅ））。ＭＲＡＭアレイ４３０は、キャッシュヒットを判定した場合（Ｌ２ヒット）、ＭＲＡＭアレイ４３０に保持された読み出し対象のデータＤＴをデータ読出部４１４に出力する（図７（ｆ））。
データ読出部４１４は、ＳＲＡＭアレイ４２０またはＭＲＡＭアレイ４３０から受信したデータＤＴを演算部３１０に出力する（図７（ｇ））。データＤＴは、制御部３２２にも転送され、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４にも格納される（図７（ｈ））。
一方、ＳＲＡＭアレイ４２０は、キャッシュミスを判定した場合（Ｌ２ミス）、キャッシュミスを示すミス情報ＭＩＳＳをデータ読出部４１４に出力する（図７（ｉ））。同様に、ＭＲＡＭアレイ４３０は、キャッシュミスを判定した場合（Ｌ２ミス）、ミス情報ＭＩＳＳをデータ読出部４１４に出力する（図７（ｊ））。
データ読出部４１４は、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０の両方からミス情報ＭＩＳＳを受信した場合、メインメモリ５００にアドレスＡＤＤＲを含む読み出し要求ＲＤを出力する（図７（ｋ））。メインメモリ５００は、保持している読み出し対象のデータＤＴを演算部３１０に出力する（図７（ｌ））。データＤＴは、制御部３２２にも転送され、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４にも格納される（図７（ｍ））。
その後、演算部３１０からの図示しない書き込み要求がＬ１キャッシュ３２０でキャッシュヒットし、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４に保持されたデータが書き換えられ、書き換えフラグＷＦＬＧが"１"に設定される（図７（ｎ））。さらに、図示を省略するが、演算部３１０からの読み出し要求または書き込み要求がＬ１キャッシュ３２０でキャッシュミスする。
制御部３２２は、メインメモリ５００から出力されるデータを格納するエントリに空きがない場合、図７（ｎ）で書き換えたデータＤＴ（victim）を書き換えフラグＷＦＬＧ（＝"１"）とともにＬ２キャッシュ４００に追い出す（図７（ｏ））。データ格納部４１２は、書き換えフラグＷＦＬＧが"１"のため、受信したデータＤＴ（victim）をＳＲＡＭアレイ４２０に格納する（図７（ｐ））。
なお、制御部３２２が、書き換えられていないデータＤＴ（clean）を書き換えフラグＷＦＬＧ（＝"０"）とともにＬ２キャッシュ４００に追い出す場合、データ格納部４１２は、受信したデータＤＴ（clean）をＭＲＡＭアレイ４３０に格納する（図７（ｑ））。
図８は、図４のＬ１キャッシュ３２０が書き込み要求ＷＲを受信したときの動作の一例を示す。図８に示すフローは、演算部３１０から書き込み要求ＷＲを受信したことに基づいて開始される。なお、図１の第１キャッシュ１１０も図８と同様に動作してもよい。
まず、ステップＳ３００において、Ｌ１キャッシュ３２０の制御部３２２は、書き込み要求ＷＲに含まれるアドレスＡＤＤＲに基づいて、Ｌ１キャッシュ３２０のキャッシュヒットまたはキャッシュミスを判定する。制御部３２２は、キャッシュヒットを判定した場合、ステップＳ３１２を実行し、キャッシュミスを判定した場合、ステップＳ３０２を実行する。
ステップＳ３０２において、制御部３２２は、Ｌ２キャッシュ４００に書き込み要求ＷＲに対応するデータＤＴを要求する。次に、ステップＳ３０３、Ｓ３０４において、制御部３２２は、Ｌ２キャッシュ４００からの書き込み完了の通知、または、メインメモリ５００からのデータの受信を待つ。制御部３２２は、ステップＳ３０３において書き込み完了の通知を受信した場合、図８に示す処理を終了する。制御部３２２は、ステップＳ３０４においてメインメモリ５００からデータを受信した場合、ステップＳ３０６を実行する。
ステップＳ３０６において、制御部３２２は、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４のエントリに空きがあるか否かを判定する。制御部３２２は、エントリに空きがある場合、ステップＳ３１０を実行し、エントリに空きがない場合、ステップＳ３０８を実行する。
ステップＳ３０８において、制御部３２２は、ＳＲＡＭアレイ３２４から追い出すデータを選び、書き換えフラグＷＦＬＧとともにＬ２キャッシュ４００に送信することで、エントリのいずれかを空ける。ステップＳ３１０において、制御部３２２は、メインメモリ５００から受信したデータＤＴを空いているエントリに格納する（キャッシュイン）。この後、制御部３２２は、ステップＳ３１２を実行する。
ステップＳ３１２において、制御部３２２は、ステップＳ３１２で格納したデータＤＴを演算部３１０から書き込み要求ＷＲとともに受信したデータＤＴで書き換え、データＤＴを書き換えたエントリの書き換えフラグＷＦＬＧを"１"に設定する。そして、制御部３２２は、図８に示す動作を終了する。なお、このとき、ダーティフラグＤＲＴＹも"１"に設定される。演算部３１０からの書き込み要求に応じてＬ１キャッシュ３２０にデータを格納するときに書き換えフラグＷＦＬＧを"１"に設定することで、制御部３２２の回路規模の増大を抑えて、データ毎に書き換え頻度を記憶することができる。例えば、キャッシュ容量が他より少なく、データが留まる時間が他より短いＬ１キャッシュ３２０では、１ビットの書き換えフラグＷＦＬＧによっても、データの書き換え頻度を精度よく表すことができる。
図９は、図４のＬ１キャッシュ３２０が読み出し要求ＲＤを受信したときの動作の一例を示す。図９に示すフローは、演算部３１０から読み出し要求ＲＤを受信したことに基づいて開始される。図８と同様の動作については、詳細な説明は省略する。なお、図１の第１キャッシュ１１０も図９と同様に動作してもよい。
まず、ステップＳ３２０において、Ｌ１キャッシュ３２０の制御部３２２は、読み出し要求ＲＤに含まれるアドレスＡＤＤＲに基づいて、Ｌ１キャッシュ３２０のキャッシュヒットまたはキャッシュミスを判定する。制御部３２２は、キャッシュヒットを判定した場合、ステップＳ３３２を実行し、キャッシュミスを判定した場合、ステップＳ３２２を実行する。
ステップＳ３２２において、制御部３２２は、Ｌ２キャッシュ４００に読み出し要求ＲＤに対応するデータＤＴを要求する。次に、ステップＳ３２４において、制御部３２２は、Ｌ２キャッシュ４００からのデータを待ち、データを受信した場合、ステップＳ３２６を実行する。
ステップＳ３２６、Ｓ３２８のそれぞれの動作は、図８のステップＳ３０６、Ｓ３０８のそれぞれの動作と同様である。ステップＳ３２６またはステップＳ３２８の後、ステップＳ３３０において、制御部３２２は、Ｌ２キャッシュ４００から受信したデータＤＴを空いているエントリに格納する（キャッシュイン）。この後、制御部３２２は、ステップＳ３３２を実行する。ステップＳ３３２において、制御部３２２は、読み出し要求ＲＤの対象データＤＴを演算部３１０に送信し、図９に示す動作を終了する。
図１０は、図４のＬ２キャッシュ４００のデータ格納部４１２の動作の一例を示す。図１０に示す動作は、データ格納部４１２がＬ１キャッシュ３２０からの追い出しデータを受信したことに基づいて開始される。なお、図１の第２キャッシュ１２０も図１０と同様に動作してもよい。
まず、ステップＳ４００において、データ格納部４１２は、追い出しデータとともにＬ１キャッシュ３２０から受信する書き換えフラグＷＦＬＧが"１"か否かを判定する。データ格納部４１２は、書き換えフラグＷＦＬＧが"１"の場合、書き換え履歴があるため、ステップＳ４０２を実行し、書き換えフラグＷＦＬＧが"０"の場合、書き換え履歴がないためステップＳ４１２を実行する。
ステップＳ４０２において、データ格納部４１２は、Ｌ２キャッシュ４００のＳＲＡＭアレイ４２０に空きエントリ（空きウェイＷＡＹ）があるか否かを判定する。データ格納部４１２は、空きエントリがある場合、ステップＳ４０６を実行し、空きエントリがない場合、ステップＳ４０４を実行する。
ステップＳ４０４において、データ格納部４１２は、ＳＲＡＭアレイ４２０に保持されたデータのいずれかをメインメモリ５００に追い出し、エントリを空ける。この後、データ格納部４１２は、ステップＳ４０６を実行する。ステップＳ４０６において、データ格納部４１２は、ＳＲＡＭアレイ４２０の空きエントリに、Ｌ１キャッシュ３２０から追い出されたデータを格納し、図１０に示す動作を終了する。
一方、ステップＳ４１２において、データ格納部４１２は、Ｌ２キャッシュ４００のＭＲＡＭアレイ４３０に空きエントリ（空きウェイＷＡＹ）があるか否かを判定する。データ格納部４１２は、空きエントリがある場合、ステップＳ４１６を実行し、空きエントリがない場合、ステップＳ４１４を実行する。
ステップＳ４１４において、データ格納部４１２は、ＭＲＡＭアレイ４３０に保持されたデータのいずれかをメインメモリ５００に追い出し、エントリを空ける。この後、データ格納部４１２は、ステップＳ４１６を実行する。ステップＳ４１６において、データ格納部４１２は、ＭＲＡＭアレイ４３０の空きエントリに、Ｌ１キャッシュ３２０から追い出されたデータを格納し、図１０に示す動作を終了する。
図１１は、図４のＬ２キャッシュ４００のデータ読出部４１４の動作の一例を示す。図１１に示す動作は、データ読出部４１４がＬ１キャッシュ３２０からの読み出し要求ＲＤを受信したことに基づいて開始される。なお、図１の第２キャッシュ１２０も図１１と同様に動作してもよい。
まず、ステップＳ４２０において、データ読出部４１４は、読み出し要求ＲＤに含まれるアドレスＡＤＤＲに基づいて、Ｌ２キャッシュ４００のキャッシュヒットまたはキャッシュミスを判定する。ここで、データ読出部４１４は、ＳＲＡＭアレイ４２０とＭＲＡＭアレイ４３０との一方のキャッシュヒットまたは両方のキャッシュミスを判定する。データ読出部４１４は、一方のキャッシュヒットを判定した場合、ステップＳ４２２を実行し、両方のキャッシュミスを判定した場合、ステップＳ４２４を実行する。
ステップＳ４２２において、データ読出部４１４は、キャッシュヒットしたＳＲＡＭアレイ４２０またはＭＲＡＭアレイ４３０から読み出し対象のデータＤＴを読み出し、読み出したデータＤＴを演算部３１０およびＬ１キャッシュ３２０に送信する。そして、データ読出部４１４は、図１１に示す動作を終了する。
ステップＳ４２４において、データ読出部４１４は、メインメモリ５００に読み出し対象のデータを要求する読み出し要求を発行し、図１１に示す動作を終了する。なお、読み出し要求に基づいてメインメモリ５００から転送されるデータは、Ｌ２キャッシュ４００を介することなくＬ１キャッシュ３２０に直接転送される。このため、データ読出部４１４は、メインメモリ５００からのデータの受信処理を実行しない。
図１２は、図４のＬ２キャッシュ４００のデータ書換部４１６の動作の一例を示す。図１２に示す動作は、データ書換部４１６がＬ１キャッシュ３２０からの書き込み要求ＷＲを受信したことに基づいて開始される。なお、図１の第２キャッシュ１２０も図１２と同様に動作してもよい。
まず、ステップＳ４３０において、データ書換部４１６は、書き込み要求ＷＲに含まれるアドレスＡＤＤＲに基づいて、Ｌ２キャッシュ４００のキャッシュヒットまたはキャッシュミスを判定する。ここで、データ書換部４１６は、ＳＲＡＭアレイ４２０とＭＲＡＭアレイ４３０との一方のキャッシュヒットまたは両方のキャッシュミスを判定する。データ書換部４１６は、一方のキャッシュヒットを判定した場合、ステップＳ４３２を実行し、両方のキャッシュミスを判定した場合、ステップＳ４３４を実行する。
ステップＳ４３２において、データ書換部４１６は、キャッシュヒットしたＳＲＡＭアレイ４２０またはＭＲＡＭアレイ４３０に保持されたデータを書き込み要求の対象データに書き換え、Ｌ１キャッシュ３２０にデータの書き込み完了を通知する。そして、データ書換部４１６は、図１２に示す動作を終了する。
ステップＳ４３４において、データ書換部４１６は、メインメモリ５００の書き込み要求の対象アドレスに保持されたデータの読み出し要求をメインメモリ５００に発行し、図１１に示す動作を終了する。
以上、この実施形態においても、上述した実施形態と同様の効果を得ることができる。例えば、Ｌ１キャッシュ３２０のＳＲＡＭアレイ３２４から追い出されたデータを、書き換えフラグＷＦＬＧが示す書き換え頻度に応じて、書き込み速度が異なるＳＲＡＭアレイ４２０またはＭＲＡＭアレイ４３０の一方に格納することができる。この結果、回路規模の増加を抑えつつ、ＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０を含むＬ２キャッシュ４００のアクセス効率を向上することができる。
ダーティフラグＤＲＴＹとは別に書き換えフラグＷＦＬＧを設けることで、データＤＴの書き戻しによりダーティフラグＤＲＴＹが"１"から"０"に戻されても、書き換えフラグＷＦＬＧの"１"を維持することができる。これにより、データＤＴの書き換えの履歴を消失することなく保持することができる。
書き換えフラグＷＦＬＧをＳＲＡＭアレイ３２４のエントリ毎に設けることで、各エントリのサイズの増加を最小限にして、データの書き換え頻度を各エントリに保持することができる。これにより、書き換えフラグＷＦＬＧを設ける場合にも、Ｌ１キャッシュ３２０の回路規模の増加を抑制することができる。
書き換えフラグＷＦＬＧをＳＲＡＭアレイ３２４のウェイＷＡＹ毎に各エントリに設けることで、Ｌ１キャッシュ３２０のキャッシュヒットの効率を向上しつつ、Ｌ１キャッシュ３２０の回路規模を抑制することができる。
セット値ＳＥＴを共通化することにより、セット値ＳＥＴをＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０毎に管理する場合に比べて、データ格納部４１２およびデータ読出部４１４によるＬ２キャッシュ４００の制御を容易にすることができる。これにより、データ格納部４１２およびデータ読出部４１４の回路規模を削減することができる。
Ｌ２キャッシュ４００は、セット値ＳＥＴをＳＲＡＭアレイ４２０およびＭＲＡＭアレイ４３０で共通に割り当てる。これにより、例えば、Ｌ２キャッシュ４００を、データの読み出し時に４ウェイセットアソシエイティブキャッシュとして機能させることができ、データの書き込み時に２ウェイセットアソシエイティブキャッシュとして機能させることができる。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１メモリと、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグとを有する第１キャッシュと、
第２メモリと、前記第２メモリより書き込み速度が低い第３メモリとを有し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する第２キャッシュと、
を有する半導体装置。
（付記２）
前記第１キャッシュは、コントローラからの書き込み要求に応じて前記書き込み要求の対象データを前記第１メモリに格納し、前記対象データに対応する書き換えフラグを書き換え状態に設定する
付記１に記載の半導体装置。
（付記３）
前記第１キャッシュは、
前記第１メモリに保持されたデータが、メインメモリに保持されたデータと異なるダーティ状態であることを示すダーティフラグをデータ毎に有し、
前記第１メモリに保持されたデータが書き換えられたとき、対応する書き換えフラグを書き換え状態に設定し、対応するダーティフラグをダーティ状態に設定し、
前記第１メモリに保持されたダーティ状態のデータが前記メインメモリに書き戻されたとき、対応する書き換えフラグを書き換え状態に維持し、対応するダーティフラグを非ダーティ状態に設定する
付記１または付記２に記載の半導体装置。
（付記４）
前記第１キャッシュは、データをそれぞれ保持する複数の第１キャッシュラインを有し、
前記書き換えフラグは、前記第１キャッシュライン毎に設けられる
付記１ないし付記３のいずれか１項に記載の半導体装置。
（付記５）
前記複数の第１キャッシュラインの各々は、複数のウェイを含み、
前記書き換えフラグは、前記複数のウェイのそれぞれに対応して前記第１キャッシュライン毎に設けられる
付記４に記載の半導体装置。
（付記６）
前記第２キャッシュは、前記第２メモリおよび前記第３メモリに共通の複数の第２キャッシュラインを有する
付記１ないし付記５のいずれか１項に記載の半導体装置。
（付記７）
前記第２キャッシュラインは、前記第１メモリおよび前記第２メモリの少なくとも一方に複数のウェイを含む
付記６に記載の半導体装置。
（付記８）
前記第１キャッシュに保持されるデータと、前記第２キャッシュに保持されるデータとは、互いに重複しない
付記１ないし付記７のいずれか１項に記載の半導体装置。
（付記９）
前記第２メモリはＳＲＡＭであり、前記第３メモリはＭＲＡＭである
付記１ないし付記８のいずれか１項に記載の半導体装置。
（付記１０）
第１メモリを有する第１キャッシュと、第２メモリと、前記第２メモリより書き込み速度が遅い第３メモリと、を有する第２キャッシュとを有する半導体装置の制御方法であって、
前記第１キャッシュは、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグを有し、
前記第２キャッシュは、
前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、
前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する
半導体装置の制御方法。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
１００ 半導体装置
１１０ 第１キャッシュ
１１２ 第１制御部
１１４ 書き換えフラグ
１１６ 第１メモリ
１２０ 第２キャッシュ
１２２ 第２制御部
１２４ 第２メモリ
１２６ 第３メモリ
２００ 半導体装置
３００ ＣＰＵ
３１０ 演算部
３２２ 制御部
３２４ ＳＲＡＭアレイ
４００ Ｌ２キャッシュ
４１０ 制御部
４１２ データ格納部
４１４ データ読出部
４１６ データ書換部
４２０ ＳＲＡＭアレイ
４３０ ＭＲＡＭアレイ
５００ メインメモリ
ＡＤＤＲ アドレス
ＤＲＴＹ ダーティフラグ
ＲＤ 読み出し要求
ＷＦＬＧ 書き換えフラグ
ＷＲ 書き込み要求

Claims (8)

  1. 第１メモリと、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグとを有する第１キャッシュと、
    第２メモリと、前記第２メモリより書き込み速度が低い第３メモリとを有し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する第２キャッシュと、
    を有する半導体装置。
  2. 前記第１キャッシュは、コントローラからの書き込み要求に応じて前記書き込み要求の対象データを前記第１メモリに格納し、前記対象データに対応する書き換えフラグを書き換え状態に設定する
    請求項１に記載の半導体装置。
  3. 前記第１キャッシュは、
    前記第１メモリに保持されたデータが、メインメモリに保持されたデータと異なるダーティ状態であることを示すダーティフラグをデータ毎に有し、
    前記第１メモリに保持されたデータが書き換えられたとき、対応する書き換えフラグを書き換え状態に設定し、対応するダーティフラグをダーティ状態に設定し、
    前記第１メモリに保持されたダーティ状態のデータが前記メインメモリに書き戻されたとき、対応する書き換えフラグを書き換え状態に維持し、対応するダーティフラグを非ダーティ状態に設定する
    請求項１または請求項２に記載の半導体装置。
  4. 前記第１キャッシュは、データをそれぞれ保持する複数の第１キャッシュラインを有し、
    前記書き換えフラグは、前記第１キャッシュライン毎に設けられる
    請求項１ないし請求項３のいずれか１項に記載の半導体装置。
  5. 前記複数の第１キャッシュラインの各々は、複数のウェイを含み、
    前記書き換えフラグは、前記複数のウェイのそれぞれに対応して前記第１キャッシュライン毎に設けられる
    請求項４に記載の半導体装置。
  6. 前記第２キャッシュは、前記第２メモリおよび前記第３メモリに共通の複数の第２キャッシュラインを有する
    請求項１ないし請求項５のいずれか１項に記載の半導体装置。
  7. 前記第２キャッシュラインは、前記第１メモリおよび前記第２メモリの少なくとも一方に複数のウェイを含む
    請求項６に記載の半導体装置。
  8. 第１メモリを有する第１キャッシュと、第２メモリと、前記第２メモリより書き込み速度が遅い第３メモリと、を有する第２キャッシュとを有する半導体装置の制御方法であって、
    前記第１キャッシュは、前記第１メモリが保持するデータ毎の書き換えの有無を示す書き換えフラグを有し、
    前記第２キャッシュは、
    前記第１キャッシュから追い出されたデータに対応する書き換えフラグが書き換え状態を示す場合、追い出されたデータを前記第２メモリに格納し、
    前記第１キャッシュから追い出されたデータに対応する書き換えフラグが非書き換え状態を示す場合、追い出されたデータを前記第３メモリに格納する
    半導体装置の制御方法。
JP2021181669A 2021-11-08 2021-11-08 半導体装置および半導体装置の制御方法 Pending JP2023069644A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021181669A JP2023069644A (ja) 2021-11-08 2021-11-08 半導体装置および半導体装置の制御方法
US17/862,433 US11822481B2 (en) 2021-11-08 2022-07-12 Semiconductor device and method for controlling semiconductor device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021181669A JP2023069644A (ja) 2021-11-08 2021-11-08 半導体装置および半導体装置の制御方法

Publications (1)

Publication Number Publication Date
JP2023069644A true JP2023069644A (ja) 2023-05-18

Family

ID=86229955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021181669A Pending JP2023069644A (ja) 2021-11-08 2021-11-08 半導体装置および半導体装置の制御方法

Country Status (2)

Country Link
US (1) US11822481B2 (ja)
JP (1) JP2023069644A (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008055272A2 (en) * 2006-11-04 2008-05-08 Virident Systems, Inc. Integrating data from symmetric and asymmetric memory
JP5435299B2 (ja) 2008-03-07 2014-03-05 日本電気株式会社 半導体装置
JP2010250511A (ja) 2009-04-14 2010-11-04 Kyushu Univ キャッシュメモリ装置
US8407421B2 (en) * 2009-12-16 2013-03-26 Intel Corporation Cache spill management techniques using cache spill prediction
US9043530B1 (en) * 2012-04-09 2015-05-26 Netapp, Inc. Data storage within hybrid storage aggregate
US10133678B2 (en) * 2013-08-28 2018-11-20 Advanced Micro Devices, Inc. Method and apparatus for memory management
US9946646B2 (en) * 2016-09-06 2018-04-17 Advanced Micro Devices, Inc. Systems and method for delayed cache utilization
JP6826066B2 (ja) 2018-03-19 2021-02-03 株式会社東芝 管理装置、情報処理装置およびメモリ制御方法

Also Published As

Publication number Publication date
US11822481B2 (en) 2023-11-21
US20230143732A1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
US7380065B2 (en) Performance of a cache by detecting cache lines that have been reused
KR101826073B1 (ko) 메모리 관리를 위한 캐시 동작들
US20060155934A1 (en) System and method for reducing unnecessary cache operations
US20020116584A1 (en) Runahead allocation protection (rap)
US20080098178A1 (en) Data storage on a switching system coupling multiple processors of a computer system
JP2010191638A (ja) キャッシュ装置
US20170091099A1 (en) Memory controller for multi-level system memory having sectored cache
US10261901B2 (en) Method and apparatus for unneeded block prediction in a computing system having a last level cache and a multi-level system memory
CN111414132A (zh) 带异构存储器的主存储设备、计算机系统及数据管理方法
US10185619B2 (en) Handling of error prone cache line slots of memory side cache of multi-level system memory
JP2018005395A (ja) 演算処理装置、情報処理装置および演算処理装置の制御方法
TWI652576B (zh) Memory system and processor system
US9342461B2 (en) Cache memory system and method using dynamically allocated dirty mask space
KR101472967B1 (ko) 라이트 백 동작을 수행하는 캐시 메모리, 이의 동작 방법, 및 이를 포함하는 시스템
US10108549B2 (en) Method and apparatus for pre-fetching data in a system having a multi-level system memory
US10180796B2 (en) Memory system
US20170109277A1 (en) Memory system
US20050270876A1 (en) Selectively changeable line width memory
KR100395768B1 (ko) 멀티 레벨 캐쉬 시스템
US20190163639A1 (en) Caching bypass mechanism for a multi-level memory
US20180189192A1 (en) Multi level system memory having different caching structures and memory controller that supports concurrent look-up into the different caching structures
JP2023069644A (ja) 半導体装置および半導体装置の制御方法
US11526448B2 (en) Direct mapped caching scheme for a memory side cache that exhibits associativity in response to blocking from pinning
US20240160574A1 (en) Computer system including a main memory device with heterogeneous memories and method of operating the same
JP7024127B2 (ja) 管理装置、情報処理装置、管理方法、およびプログラム