JP2021507405A - バンク毎及び全てのバンクの動的リフレッシュ - Google Patents

バンク毎及び全てのバンクの動的リフレッシュ Download PDF

Info

Publication number
JP2021507405A
JP2021507405A JP2020534251A JP2020534251A JP2021507405A JP 2021507405 A JP2021507405 A JP 2021507405A JP 2020534251 A JP2020534251 A JP 2020534251A JP 2020534251 A JP2020534251 A JP 2020534251A JP 2021507405 A JP2021507405 A JP 2021507405A
Authority
JP
Japan
Prior art keywords
bank
memory
banks
given
waiting time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020534251A
Other languages
English (en)
Other versions
JP7257401B2 (ja
Inventor
シェン ガンハオ
シェン ガンハオ
エヌ. バルガヴァ ラヴィンドラ
エヌ. バルガヴァ ラヴィンドラ
レイモンド マグロ ジェームズ
レイモンド マグロ ジェームズ
バラクリシュナン ケダーナシュ
バラクリシュナン ケダーナシュ
ワン ジン
ワン ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of JP2021507405A publication Critical patent/JP2021507405A/ja
Application granted granted Critical
Publication of JP7257401B2 publication Critical patent/JP7257401B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/161Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement
    • G06F13/1636Handling requests for interconnection or transfer for access to memory bus based on arbitration with latency improvement using refresh
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • G06F13/16Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1605Handling requests for interconnection or transfer for access to memory bus based on arbitration
    • G06F13/1642Handling requests for interconnection or transfer for access to memory bus based on arbitration with request queuing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4234Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being a memory bus
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/406Management or control of the refreshing or charge-regeneration cycles
    • G11C11/40603Arbitration, priority and concurrent access to memory cells for read/write or refresh operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Dram (AREA)
  • Memory System (AREA)

Abstract

コンピューティングシステムにおいて効率的なメモリアクセスを行うためのシステム、装置、及び方法を開示する。様々な実施形態において、コンピューティングシステムは、コンピューティングリソースと、メモリデバイスに結合されたメモリコントローラとを含む。メモリコントローラは、メモリ要求が複数のランクのうちの所与のランクをターゲットにしていることを判別する。メモリコントローラは、未処理のメモリ要求を記憶するためのメモリコントローラの保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量として、所与のランクの予測待ち時間を決定する。メモリコントローラは、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として、総バンク待ち時間を決定する。所与のランクをターゲットにした保留中の要求が無い場合、予測待ち時間と総バンク待ち時間のそれぞれを使用して、バンク毎にリフレッシュする動作と全てのバンクをリフレッシュする動作との間の選択を行う。【選択図】図5

Description

所与のスレッドへのメモリアクセスが、コンピューティングシステムの最後のレベルのキャッシュでミスすると、要求は、システムメモリに送信される。オフチップダイナミックランダムアクセスメモリ(DRAM)などのシステムメモリへのメモリアクセス待ち時間は通常、キャッシュへのアクセス待ち時間よりずっと長い。このような待ち時間の影響を低減するために、また、読み取り動作がプログラム実行のためのクリティカルパスである場合が多いことを考慮すると、読み取り動作は、書き込み動作より高い優先順位を割り当てられてよい。にもかかわらず、メモリバスが、双方向共有バス構造を利用していることがあるので、バスの駆動方向の切り替えを行わなければならず、データバスのターンアラウンドの追加の待ち時間が存在する。
帯域幅を増加させ、待ち時間をさらに減らすために、DRAMは、独立したランクに編成されてよく、メモリアクセスのパイプライン化をサポートしてよい。一般的にいうと、DRAMは、所与のバンクのアクティブ化された行からバッファにデータを記憶する。しかしながら、スタティックRAM(SRAM)とは異なり、DRAMは、各ストレージアクセスに対するアクセス時間が等しくない。むしろ、システムメモリからの読み取りデータの受信は、システムメモリへの書き込みデータの送信より待ち時間が長い。上記に加えて、システムメモリへのアクセスは、複数のトランザクションを使用する。例えば、プリチャージ、行のアクティブ化/オープン、オープン行の列の読み取りアクセス、オープン行の列の書き込みアクセス、及び、オープン行のクローズ等のDRAMトランザクションが状況に応じて必要とされる。さらに、これらの様々なトランザクションは、それぞれ、待ち時間が異なる場合がある。アクティブ化及びプリチャージのトランザクションは、読み取りアクセス及び書き込みアクセスのトランザクションよりも大幅に待ち時間が長くなることが多い。
バンクの同じ行への連続したアクセス等、上記トランザクションよりも使用するトランザクションが少ないメモリアクセスもある。より多くのトランザクションを必要とするトランザクションもある。例えば、要求された行がオープンでない異なるバンクへの連続したアクセスを含むメモリトランザクションは、より多くのトランザクションを必要とする。上記に加えて、行にアクセス後、いつ行をクローズするかは、性能及び電力消費に影響を与えるDRAMの制御ロジックによって決定される。
上記を考慮して、コンピューティングシステムのための効率的なメモリアクセスを実行するための効率的な方法及びシステムが望まれる。
添付図面と共に以下の説明を参照することによって、本明細書に記載される方法及び機構の利点をより良く理解することができよう。
コンピューティングシステムの一実施形態のブロック図である。 メモリコントローラの一実施形態のブロック図である。 作業負荷と総バンク待ち時間とに基づいた予測待ち時間に基づいて、ランクをリフレッシュするリフレッシュ動作を選択する方法の一実施形態のフロー図である。 作業負荷と総バンク待ち時間とに基づいた予測待ち時間に基づいて、ランクをリフレッシュするリフレッシュ動作を選択する方法の一実施形態のフロー図である。 作業負荷と総バンク待ち時間とに基づいた予測待ち時間に基づいて、ランクをリフレッシュするリフレッシュ動作を選択する方法の一実施形態のフロー図である。
本発明は、様々な修正及び代替形態を受け入れるが、特定の実施形態を図面中の例によって示し、本明細書で詳細に説明する。しかしながら、図面及びそれに対する詳細な説明は、開示された特定の形態に本発明を限定するものではなく、反対に、本発明は、添付の請求項によって定義される本発明の範囲内に収まる全ての修正、均等物、及び代替物を包含することは、理解されたい。
以下の説明では、本明細書に提示する方法及び機構の完全な理解を提供するために、多くの特定の詳細が述べられている。しかしながら、当業者は、それらの特定の詳細なしに様々な実施形態を実践し得ることを認識するべきである。いくつかの例では、本明細書で説明されるアプローチを曖昧にすることを回避するために、周知の構造、コンポーネント、信号、コンピュータプログラム命令、及び技術が詳細には示されていない。例示の簡潔性及び明確さのために、図に示される要素は、必ずしも縮尺通りに描かれていないことは理解されよう。例えば、要素のいくつかの寸法は、他の要素に対して誇張されてよい。
コンピューティングシステムのための効率的なメモリアクセスを実行するための様々なシステム、装置、方法、及びコンピュータ可読媒体が開示される。一実施形態では、コンピューティングシステムは、1つまたは複数のコンピューティングリソースと、様々な種類のダイナミックランダムアクセスメモリ(DRAM)のうちの1つ等の外部システムメモリとを含む。コンピューティングリソースの例には、汎用中央処理装置(CPU)、グラフィック処理装置(GPU)、加速処理装置(APU:accelerated processing unit)などが含まれる。様々な実施形態では、所与のコンピューティングリソースは、キャッシュメモリサブシステムを含む。所与のコンピューティングリソースがキャッシュメモリサブシステム内でメモリアクセス要求のミスを判別すると、所与のコンピューティングリソースはメモリアクセス要求を1つまたは複数のメモリコントローラのうちの所与のメモリコントローラに送信する。
所与のメモリコントローラは、メモリアクセス要求のターゲットアドレスに関連付けられたメモリデバイスに結合される。コンピューティングシステムに複数のメモリデバイスが含まれている場合、オペレーティングシステムによってアドレス空間が複数のメモリデバイスに分散される。メモリコントローラは、コンピューティングリソースの要求アドレスとメモリデバイス(複数可)の記憶場所を指すアドレスとの間のマッピングをサポートする。ある実施形態では、メモリコントローラは、単一のメモリデバイスに接続される。他の実施形態では、メモリコントローラは、複数のメモリデバイスに接続される。
ある実施形態では、メモリコントローラの制御ロジックは1つまたは複数のコンピューティングリソースが実行するべき作業負荷に関する情報を受信する。例えば、制御ロジックは、所与のコンピューティングリソースの一意のコンピューティングリソース識別子(ID)と、処理すべきスレッド数とを受信する。ある実施形態では、オペレーティングシステム(OS)スケジューラが、コンピューティングリソースIDとスレッド数とをメモリコントローラに送信する。例えば、OSスケジューラは、CPUに対応するIDとCPUにスケジュールされるスレッド数とを送信できる。例えば、OSスケジューラは、GPUに対応する異なるIDと、GPUにスケジュールされるスレッド数とを送信できる。
様々な実施形態では、メモリコントローラの制御ロジックは、受信した情報に少なくとも基づいて待ち時間を予測する。所与のランクに対する予測待ち時間は、メモリコントローラから送信されたその所与のランクをターゲットにした最新のメモリアクセスからその所与のランクをターゲットにした他のメモリアクセスをメモリコントローラが受信するまでの予測時間量である。様々な実施形態では、メモリコントローラは、受信したメモリアクセス要求を記憶する保留中のキューを含む。メモリコントローラは、次に、メモリに伝えるために保留中のキューからメモリアクセス要求を取り出す。このような実施形態では、予測待ち時間は、未処理のメモリ要求を記憶するための保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。
例えば、一定のアプリケーションを処理するために特定のコンピューティングリソースが選択される。ある一定のアプリケーションの処理の振る舞いは、特定のコンピューティングリソースのキャッシュメモリサブシステムで所与の数のメモリアクセスミスを含む場合がある。これらのミスは、幾つかのメモリ要求がメモリコントローラを介してシステムメモリに送信されることにつながる。ある実施形態では、OSスケジューラはまた、ミスに対応する特定のアプリケーションまたはアプリケーションタイプを識別する一意のアプリケーションIDをメモリコントローラに送信する。アプリケーションタイプを使用してメモリアクセスミスを予測し、予測待ち時間を決定することもできる。
メモリコントローラは、受信したメモリ要求のターゲットアドレスを、ターゲットランク、ターゲットランク内のターゲットバンク、及び、ターゲットバンク内のターゲット行の表示に翻訳する。メモリコントローラは、コンピューティングリソースIDと、メモリ要求がターゲットにしたランクへのスレッド数とに関するアクセス履歴を維持することができる。ある実施形態では、メモリコントローラによって行われた関連付けは、アプリケーションIDも使用する。ある実施形態では、コンピューティングリソースまたは電力マネージャも、コンピューティングリソースに対応する電力性能状態(P状態)をメモリコントローラに送信する。ある実施形態では、メモリコントローラは、受信した情報を有する1つまたは複数の表を維持し、どの条件の下で特定のランクにアクセスするかを判断する。さらに、メモリコントローラは、前述の予測待ち時間を決定するように構成される。
様々な実施形態では、コンピューティングリソースは、実行のためにスレッドを受信すると、リソースIDと、コンピューティングリソースが処理するようにスケジュールされたスレッド数とを送信する。一実施形態では、コンピューティングリソースは、上記スレッド数の相違が生じると、スレッド数の更新を送信する。例えば、スレッド数の増加が閾値を超えた場合、コンピューティングリソースは、更新された数をメモリコントローラに送信する。同様に、数の減少が閾値未満に低下すると、コンピューティングリソースは、更新された数をメモリコントローラに送信する。
さらに別の実施形態では、コンピューティングリソースは、コンピューティングリソースが使用するキャッシュメモリサブシステムに対応するキャッシュミス率の情報の更新を送信する。ある実施形態では、階層キャッシュメモリサブシステムの各レベルのミス率が、コンピューティングリソースによって送信される。他の実施形態では、1つの合算したミス率が送信される。スレッド数と同様、ミス率情報は、閾値をまたぐ変化が検出された時に送信される。様々な実施形態では、特定のランクがどの条件の下でアクセスされるか決定する時、また、上記待ち時間を予測する時、メモリコントローラは、P状態及びミス率の1つまたは複数を追加で使用する。
ある実施形態では、メモリコントローラは、メモリデバイスに所与のランクに対してリフレッシュ間隔を開始する指示を受信する時、所与のランクの予測待ち時間に少なくとも基づいて、1つまたは複数のリフレッシュ動作を選択する。一実施形態では、メモリコントローラは、予測待ち時間と、全てのバンクをリフレッシュする動作の待ち時間とを比較する。全てのバンクをリフレッシュする動作の待ち時間は、所与のランクの全てのバンクをリフレッシュするのにかかる時間量である。一例では、所与のランクは、8つのバンクを含み、所与のランクに対して全てのバンクをリフレッシュする動作が行われる間、保留中のメモリ要求は、所与のランクの8つのバンクのいずれに対するアクセスも許可されない。様々な実施形態では、全てのバンクをリフレッシュする動作の待ち時間は、一定値である。例えば、全てのバンクをリフレッシュする動作の待ち時間は、約130ナノ秒(ns)であってよい。待ち時間は、クロックサイクル数として測定することもできる。
対照的に、バンク毎のリフレッシュ動作の待ち時間は通常、全てのバンクをリフレッシュする動作の待ち時間より短い。一例では、バンク毎のリフレッシュ動作の待ち時間は、60nsに達し得る。しかしながら、8つのバンクのうち、1つのバンクがリフレッシュ中で、保留中のメモリ要求によってアクセスできない間、他の7つのバンクは、保留中のメモリ要求によってアクセス可能である。一実施形態では、メモリコントローラは、所与のランクをターゲットにした保留中のメモリ要求があると判断すると、所与のランクの複数のバンクのうちの所与のバンクにバンク毎のリフレッシュ動作を行うことを選択する。ある実施形態では、予測待ち時間が全てのバンクをリフレッシュする動作の待ち時間より短く、所与のランクをターゲットにした保留中のメモリ要求が無いとメモリコントローラが判断すると、メモリコントローラは、所与のランクの複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うことを選択する。
ある実施形態では、メモリコントローラは、総バンク待ち時間を、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として決定する。他の実施形態では、メモリコントローラは、予測待ち時間が全てのバンクをリフレッシュする動作の待ち時間より長いこと、総バンク待ち時間が全てのバンクをリフレッシュする動作の待ち時間より短いこと、及び、所与のランクをターゲットにする1つまたは複数の保留中のメモリ要求があることを判別することに応答して、所与のランクのバンク毎のリフレッシュ動作を行う。他の実施形態では、メモリコントローラは、予測待ち時間が全てのバンクをリフレッシュする動作の待ち時間より短いと判断することに応答して、所与のランクのバンク毎のリフレッシュ動作を行う。
図1を参照すると、コンピューティングシステム100の一実施形態の一般的なブロック図が示されている。図に示すように、コンピューティングシステム100は、各メモリコントローラ130とコンピューティングリソース110との間に通信ファブリック120を含む。図示の実施形態では、コンピューティングリソースは、中央処理装置(CPU)112、グラフィック処理装置(GPU)114、及びハブ116を含む。ハブ116は、マルチメディアエンジン118との通信に使用される。単一のメモリコントローラ130が示されているが、他の実施形態では、別の数のメモリコントローラがコンピューティングシステム100で使用される。
ある実施形態では、コンピューティングシステム100のコンポーネントは、システムオンチップ(SOC)などの集積回路(IC)上の個々のダイである。他の実施形態では、コンポーネントは、システムインパッケージ(SiP)またはマルチチップモジュール(MCM)の個々のダイである。一実施形態では、コンピューティングシステム100は、モバイルコンピュータ、スマートフォン、スマートウォッチ、もしくはタブレット内のスタンドアロンシステム、デスクトップ、サーバ等である。CPU112、GPU114、及びマルチメディアエンジン118は、メモリアクセス要求を生成することができるコンピューティングリソースの例である。図示されていないが、他の実施形態では、他のタイプのコンピューティングリソースがコンピューティングリソース110に含まれる。
様々な実施形態では、メモリコントローラ130は、通信ファブリック120を介してコンピューティングリソース110からメモリアクセス要求を受信し、メモリアクセス要求を、オフチップディスクメモリ162、及び、オフチップダイナミックランダムアクセスメモリ(DRAM)170として実装されるシステムメモリの1つまたは複数に送信する。メモリコントローラ130はまた、DRAM170及びディスクメモリ162から応答を受信し、その応答をコンピューティングリソース110の対応する要求元に送信する。
CPU112の1つまたは複数のプロセッサコアのそれぞれは、所与の選択された命令セットアーキテクチャ(ISA)に従って命令を実行する回路を含む。様々な実施形態では、CPU112のプロセッサコアのそれぞれは、所与のISAの命令を処理するために使用されるスーパースカラ、マルチスレッドマイクロアーキテクチャを含む。ある実施形態では、GPU114は、相当な数の並列実行レーンを備えた高並列データマイクロアーキテクチャを含む。一実施形態では、マイクロアーキテクチャは、並列実行レーンに対して単一命令複数データ(SIMD)パイプラインを使用する。マルチメディアエンジン118は、マルチメディアアプリケーションのための音声データ及び映像データを処理するためのプロセッサを含む。
一例では、加速処理装置(APU)、ディスプレイコントローラ、オーディオプロセッサなどが、処理ユニット110に含まれる追加の候補である。APUの例は、GPU、FPGA、または他の処理ユニットと同じダイに統合されたCPUであり、消費電力を削減しながら、これらのユニット間のデータ転送速度を向上させる。他の実施形態では、APUは、ビデオ処理及び他のアプリケーション固有のアクセラレータを含む。
様々な実施形態では、通信ファブリック120は、コンピューティングリソース110とメモリコントローラ130との間でトラフィックを前後に転送し、且つ、それぞれの通信プロトコルをサポートするためのインタフェースを含む。ある実施形態では、通信ファブリック120は、要求及び応答を記憶するためのキュー、内部ネットワークを通して要求を送信する前に受信した要求間の調整を行うための選択ロジック、パケットを構築及びデコードするためのロジック、及び、パケットのルートを選択するためのロジックを含む。
ある実施形態では、コンピューティングシステム100のアドレス空間は、少なくともCPU112、GPU114、及びハブ116と入力/出力周辺機器(図示せず)及び他のタイプのコンピューティングリソース等の1つまたは複数の他のコンポーネントとの間で分割される。どのアドレスがどのコンポーネントにマッピングされるか、従って、CPU112、GPU114、及びハブ116のどれに特定のアドレスに対するメモリ要求がルーティングされるべきかを決定するために、メモリマップが維持される。コンピューティングリソース110の1つまたは複数は、各プロセッサコアのメモリ待ち時間を低減するためのキャッシュメモリサブシステムを含む。さらに、ある実施形態では、共有キャッシュメモリサブシステムは、オフチップDRAM170及び/またはオフチップディスクメモリ162にアクセスする前に、最後のレベルのキャッシュ(LLC)としてプロセッサコアによって使用される。コンピューティングリソース110のキャッシュメモリサブシステム(図示せず)は、データを記憶するように構成された高速キャッシュメモリを含む。様々な実施形態では、キャッシュメモリサブシステムは、キャッシュの階層として実装される。本明細書で使用される場合、「メモリアクセス」という用語は、対応する要求アドレスの要求されたデータがキャッシュに存在する場合に、キャッシュヒットをもたらすメモリ読み取り要求またはメモリ書き込み要求の動作を行うことを指す。あるいは、要求されたデータがキャッシュに存在しない場合、メモリアクセス要求はキャッシュミスになる。
メモリコントローラ130は、メモリバス150を通してオフチップDRAM170にメモリアクセス要求を送信する。キャッシュミスに応答して、元のメモリアクセス要求を完了するために、対応するデータが、オフチップDRAM170から処理ユニット110のキャッシュメモリサブシステムに伝達される。様々な実施形態では、オフチップDRAM170は、マルチチャネルメモリアーキテクチャを含む。このタイプのアーキテクチャは、それらの間の通信のチャネルを追加することにより、メモリコントローラ130へのデータの転送速度を向上させる。ある実施形態では、マルチチャネルアーキテクチャは、複数のメモリモジュール及びマザーボード及び/または複数のチャネルをサポートできるカードを利用する。ある実施形態では、DRAM170は、三次元集積回路(3D IC)を利用してシステムメモリを提供する。このような実施形態では、3D集積DRAMは、オフチップメモリアクセスを低減するために待ち時間の少ない相互接続と追加のオンチップメモリストレージとの両方を提供する。様々な実施形態では、DRAM170は、コンピューティングシステム100のシステムメモリとして使用される。1つまたは複数の行バッファまたは他の同等の構造を含む行ベースのアクセス方式を使用するシステムメモリのための他のメモリ技術が可能であり、企図されている。他のメモリ技術の例には、相変化メモリ、スピントルク伝達抵抗メモリ、メモリスタなどが含まれる。
図に示すように、DRAM170は、複数のランク176A〜176Bを含み、各ランクは複数のメモリアレイバンクを有する。例えば、図示のように、ランク176Aは、メモリアレイバンク174A〜174Bを含む。バンク174A〜174Bの各バンクは、行バッファ172A〜172Bを含む。行バッファ172A〜172Bの各行バッファは、メモリアレイバンク174A〜174B内の複数の行のアクセスされた行に対応するデータを記憶する。アクセスされた行は、受信したメモリアクセス要求のDRAMアドレスによって識別される。DRAM170内の制御ロジックは、DRAM170内のデータ及び制御ラインのアクティブ化及びプリチャージ等のトランザクションを行って、識別された行からデータを読み取り、識別された行にデータを書き込む。
様々な実施形態では、DRAM170は、1つまたは複数のメモリチャネル、1チャネルあたり1つまたは複数のメモリモジュールもしくはデバイス、1メモリモジュールあたり1つまたは複数のランク、1ランクあたり1つまたは複数のバンク、及び、1バンクあたり1つまたは複数の行を含む。通常、各行はデータのページを記憶する。ページのサイズは、設計上の考慮事項に基づいて選択される。このようなページサイズは、1キロバイト(1KB)、4キロバイト(4KB)等であってよい。様々な実施形態では、メモリバス150は、双方向共有バス構造を利用する。
キャッシュメモリサブシステムでキャッシュミスが生じる場合、要求されたデータを読み出すメモリアクセス要求が生成される。メモリコントローラ130は、コンピューティングリソース110から受信したメモリアクセス要求のターゲットアドレスを翻訳する。様々な実施形態では、メモリコントローラ130のメモリアクセス制御ロジックを実行することによって、ランク176A〜176Bのターゲットランク、メモリアレイバンク174A〜174Bのターゲットバンク、及び、ターゲットバンク内のターゲットページを決定する。
図1に示されるように、メモリコントローラ130は、通信ファブリック120を介してコンピューティングリソース110から受信したメモリアクセス要求をキューに入れるための要求キュー132を含む。メモリコントローラ130はまた、DRAM170から受信した応答を記憶するための応答キュー134を有する。様々な実施形態では、要求キュー132は、読み取り及び書き込みの両方のメモリアクセス要求を記憶するための1つまたは複数のキューを含む。他の実施形態では、要求キュー132は、読み取り要求及び書き込み要求を記憶するために別個のキューを含む。さらに別の実施形態では、要求キュー132は、受信したメモリアクセス要求を記憶するための1つまたは複数のキューと、1つまたは複数のキューから選択されたスケジュールされたメモリアクセス要求を記憶するための別個のキューとを含む。
図1のスケジューラ136は、DRAM170に発行するために、要求キュー132に記憶されたメモリアクセス要求を選択するためのロジックを含む。様々な実施形態では、メモリ要求は、順番でまたは順不同で選択されてよい。メモリコントローラ130による要求の順不同の選択は、優先度レベル、サービス品質表示、経過時間、プロセスもしくはスレッド識別、ターゲットアドレス、並びに、同じメモリチャネルをターゲットにする、同じランクをターゲットにする、同じバンクをターゲットにする、及び/または、同じページをターゲットにするなど、他の記憶された要求との関係に基づいてよい。同様に、ある実施形態では、メモリコントローラ130は、コンピューティングリソース110への読み取り応答(すなわち、検索された読み取りデータ)の順不同の発行もサポートする。
リフレッシュ動作タイプセレクタ138(「セレクタ」138とも呼ばれる)を使用して、今後のまたは現在の動作条件に対応する情報に少なくとも部分的に基づいて、所与のランクの待ち時間を予測する。予測待ち時間は、所与のランクをターゲットにした最後に残っているメモリアクセスがメモリコントローラから送信されてから、所与のランクをターゲットにした次のメモリアクセスがメモリコントローラによって受信される時点までに経過すると予測される時間量である。様々な実施形態では、予測待ち時間は、未処理のメモリ要求を記憶するための要求キュー132の保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。リフレッシュ動作タイプセレクタ138は、予測待ち時間に少なくとも基づいて、所与のランクのリフレッシュ間隔中、1つまたは複数のリフレッシュ動作を選択する。
様々な実施形態では、セレクタ138は、コンピューティングリソース110の1つを識別するコンピューティングリソース識別子(ID)と、コンピューティングリソース110の識別された1つに割り当てられたスレッド数とを受信する。ある実施形態では、オペレーティングシステム(OS)スケジューラが、この情報を送信し、他の実施形態では、コンピューティングリソース110が、この情報をセレクタ138に送信する。ある実施形態では、コンピューティングリソース110または電力マネージャ(図示せず)が、コンピューティングリソース110に対応する電力性能状態(P状態)をセレクタ138に送信する。他の実施形態では、コンピューティングリソース110の1つまたは複数が、コンピューティングリソースによってアクセスされるキャッシュメモリサブシステムのキャッシュヒット率及び/またはキャッシュミス率を送信する。例えば、個々のミス率のそれぞれの積を使用する。さらに別の実施形態では、各重みが、階層キャッシュメモリサブシステムの各レベルに関連付けられ、重みは、加重和で使用される、または、個々の値としてセレクタ138に送信される。ある実施形態では、処理されているスレッド数とミス率との更新された値は、これらの値の変化が対応する閾値を超えると、送信される。様々な実施形態では、セレクタ138は、受信した情報に基づいて、ランク176A〜176Bのそれぞれの対応する待ち時間を予測する。
様々な実施形態では、メモリコントローラ130が、ランク176A〜176Bの所与のランクのリフレッシュ間隔を開始する指示を受信すると、セレクタ138が、所与のランクの予測待ち時間に少なくとも基づいて、1つまたは複数のリフレッシュ動作を選択する。一実施形態では、セレクタ138は、予測待ち時間と、全てのバンクをリフレッシュする動作の待ち時間とを比較する。ある実施形態では、待ち時間は、クロックサイクル数として測定される。様々な実施形態では、セレクタ138は、総バンク待ち時間を、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として決定する。例えば、バンク毎のリフレッシュ動作の待ち時間が60nsで、所与のランクの8つのバンクのうちの6つが、既にリフレッシュされている場合、総バンク待ち時間は、残りの2つのバンク掛ける60ns/バンク、すなわち、120nsである。総バンク待ち時間は、クロックサイクル数として測定することもできる。
ある実施形態では、セレクタ138は、予測待ち時間が全てのバンクをリフレッシュする動作の待ち時間より長いこと、総バンク待ち時間が全てのバンクをリフレッシュする動作の待ち時間より長いこと、及び、所与のランクをターゲットにした要求キュー132に保留中のメモリ要求が無いことを判別することに応答して、所与のランクに対して全てのバンクをリフレッシュする動作を選択する。ある実施形態では、セレクタ138は、所与のランクをターゲットにした要求キュー132に1つまたは複数の保留中のメモリ要求があると判断することに応答して、所与のランクに対してバンク毎のリフレッシュ動作を選択する。他の実施形態では、セレクタ138は、予測待ち時間が全てのバンクをリフレッシュする動作の待ち時間より短いと判断することに応答して、所与のランクに対してバンク毎のリフレッシュ動作を選択する。
様々な実施形態では、メモリバス150が、読み取りモードまたは書き込みモード中等、一度に一方向へのデータトラフィックをサポートする。ある実施形態では、メモリバス150は、少なくともコマンドバス及びデータバスを使用し、DRAM170からメモリコントローラ130へのデータバス上のデータトラフィックを受信する読み取りモードをサポートする。さらに、メモリバス150は、データバス上のデータトラフィックをメモリコントローラ130からDRAM170に送信するための書き込みモードをサポートする。
図2を参照すると、メモリコントローラ200の一実施形態の一般的なブロック図が示されている。図示の実施形態では、メモリコントローラ200は、通信ファブリックを介したコンピューティングリソースへのインタフェース210、受信したメモリアクセス要求及び受信した応答を記憶するキュー220、制御ユニット250、並びに、少なくともメモリバスのデータバスを介したメモリデバイスへのインタフェース280を含む。インタフェース210及び280のそれぞれは、各通信プロトコルをサポートする。
ある実施形態では、キュー220は、受信した読み取り要求を記憶する読み取りキュー232と、受信した書き込み要求を記憶する別個の書き込みキュー234とを含む。他の実施形態では、キュー220は、メモリ読み取り要求とメモリ書き込み要求との両方を記憶する統合されたキューを含む。一実施形態では、キュー220は、読み取りキュー232、書き込みキュー234、または統合されたキュー(統合されたキューが使用される場合)から選択されたスケジュールされたメモリアクセス要求を記憶するキュー236を含む。キュー236は、保留中のキュー236とも呼ばれる。ある実施形態では、制御レジスタ270は、現在のモードの表示を記憶する。例えば、オフチップメモリデータバスとメモリデバイスは、所与の時間の読み取りモードまたは書き込みモードをサポートする。従って、トラフィックは現在のモード中に所与の一方向にルーティングされ、現在のモードが終了すると、方向が変わる。
ある実施形態では、読み取りスケジューラ252は、読み取りキュー232から読み取り要求を順不同で選択するための調整ロジックを含む。読み取りスケジューラ252は、サービス品質(QoS)もしくは他の優先度情報、経過時間、プロセスもしくはスレッド識別子(ID)、並びに、同じメモリチャネルをターゲットにする、同じランクをターゲットにする、同じバンクをターゲットにする、及び/または、同じページをターゲットにするなど、他の記憶された要求との関係に基づいて、読み取りキュー232内の記憶された要求のメモリデバイスへの順不同の発行をスケジュールする。書き込みスケジューラ254は、書き込みキュー234のための類似の選択ロジックを含む。ある実施形態では、応答スケジューラ256は、優先順位に基づいて、メモリデバイスから受信された応答をコンピューティングリソースに順不同で発行するための同様のロジックを含む。
ランクアクセス待ち時間ユニット262は、ユニット262とも呼ばれ、今後のまたは現在の動作条件に対応する受信した情報に少なくとも基づいて、所与のランクの待ち時間を予測する。予測待ち時間は、所与のランクをターゲットにした最後のメモリアクセスが保留中のキュー236から送信されて対応される第1の時点から、所与のランクをターゲットにした次のメモリアクセスが保留中のキュー236に記憶される第2の時点までである。言い換えると、予測待ち時間は、保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。様々な実施形態では、ユニット262は、コンピューティングリソースID、コンピューティングリソースに割り当てられたスレッド数、コンピューティングリソースのP状態、及び、キャッシュメモリサブシステムのミス率のうちの1つまたは複数を受信する。受信した情報と、ターゲットアドレスのメモリデバイスのランクへのマッピングとに基づいて、ユニット262は、ランクの予測待ち時間を決定する。制御レジスタ270の複数のプログラム可能レジスタは、メモリデバイスの複数のランクの予測待ち時間を決定するためにユニット262が使用する1つまたは複数の閾値を記憶する。
ある実施形態では、ユニット262はまた、総バンク待ち時間を、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として決定する。ある実施形態では、メモリコントローラ200が、メモリデバイスに所与のランクに対してリフレッシュ間隔を開始する指示を受信すると、リフレッシュ動作タイプセレクタ260は、予測待ち時間と、所与のランクに対してユニット262によって決定された総バンク待ち時間とに少なくとも基づいて、1つまたは複数のリフレッシュ動作を選択する。リフレッシュ動作タイプセレクタ260は、セレクタ260とも呼ばれる。所与のランクの既にリフレッシュされたバンクのカウントを維持するのではなく、セレクタ260は、ユニット262が決定した予測待ち時間と、全てのバンクをリフレッシュする動作の待ち時間とを比較して、リフレッシュ動作を選択する。従って、一例では、ランクが8つのバンクを含み、6つをリフレッシュする時、セレクタ260は、バンク毎のリフレッシュ動作を必ず選択しなければならないのではなく、リフレッシュ間隔で全てのバンクをリフレッシュする動作を選択して、バンクのリフレッシュを完了することもできる。
バンク毎のリフレッシュ動作は、選択されたバンクをリフレッシュしながら、8つのバンクのうち7つへのアクセスを可能にする。しかしながら、8つのバンクのうち6つをリフレッシュし、ユニット260が決定した予測待ち時間が全てのバンクをリフレッシュする動作のリフレッシュ待ち時間より長い場合、セレクタ260は、全てのバンクをリフレッシュする動作を選択することができる。予測待ち時間が正確である時、全てのバンクをリフレッシュする動作が8つのバンク全てをリフレッシュする間、保留中のキュー236には所与のランクをターゲットにしたメモリ要求が無いので、ブロックされるメモリアクセスは無い。
図3を参照すると、ランクのアクセス間の予測待ち時間に基づいてリフレッシュ動作を選択する方法300の一実施形態が示される。説明のために、本実施形態の(また、図4の)ステップも順番に示される。しかしながら、記載の方法の様々な実施形態では、記載する要素のうちの1つまたは複数は、同時に実行される、示されるのとは異なる順序で実行される、または、全体的に省略されることに注意されたい。他の追加の要素も必要に応じて実行される。本明細書に記載される様々なシステムまたは装置のいずれも、方法300を実施するように構成されている。
図示の方法300において、1つまたは複数のコンピューティングリソースが、1つまたは複数のソフトウェアアプリケーションを処理する(ブロック302)。コンピューティングリソースの例は、中央処理装置、グラフィックス処理装置、並びにその他のものを含む。作業負荷評価情報が、メモリコントローラに送信される(ブロック304)。この情報の例は、コンピューティングリソースID、コンピューティングリソースに割り当てられたスレッド数、コンピューティングリソースの性能状態、及び、キャッシュメモリサブシステムのヒット率及び/またはミス率のうちの1つまたは複数を含む。受信した情報、ターゲットアドレスのメモリデバイスへのマッピング、及び、維持されたカウンタ値に基づいて、保留中のキューがランクをターゲットにしたメモリ要求を記憶していない時間に対応するランクの待ち時間を予測する(ブロック306)。上記のように、所与のランクの予測待ち時間は、未処理のメモリ要求を記憶するための保留中のキューがその所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。
キャッシュメモリサブシステムの各レベルでミスが判別される場合(条件ブロック308の「はい」分岐)、所与のコンピューティングリソースに対するメモリ要求が生成される(ブロック310)。生成されたメモリ要求は、メモリコントローラに送信される(ブロック312)。キャッシュメモリサブシステムの各レベルでミスが判別されない場合(条件ブロック308の「いいえ」分岐)、方法300の制御フローは、条件ブロック314に進む。リフレッシュ間隔が所与のランクに対して生じていると判断される場合(条件ブロック314の「はい」分岐)、リフレッシュ間隔中、所与のランクに対する全てのバンクをリフレッシュする動作とバンク毎のリフレッシュ動作との間で選択を行うために少なくとも予測待ち時間を利用する(ブロック316)。リフレッシュ動作を選択するために、ある実施形態では、メモリコントローラは、所与のランクをターゲットにした保留中のメモリ要求がある時、所与のランクに対してバンク毎のリフレッシュ動作を選択する。様々な実施形態では、所与のランクをターゲットにした保留中のメモリ要求が無い時、メモリコントローラは、予測待ち時間をリフレッシュすべき残りのバンク数の総バンク待ち時間と比較することに加えて、予測待ち時間と、全てのバンクをリフレッシュする動作の待ち時間とを比較して、リフレッシュ動作を選択する。
図4を参照すると、作業負荷に基づいたランクのアクセス間の予測待ち時間に基づいてランクをリフレッシュするリフレッシュ動作を選択する方法400の他の実施形態が示される。複数のバンクを有する所与のランクのリフレッシュ間隔が開始される(ブロック402)。所与のランクに対する予測待ち時間が決定される(ブロック404)。前述のように、所与のランクの予測待ち時間は、未処理のメモリ要求を記憶するための保留中のキューがその所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。(図3の)方法300のブロック302及び304に関して前述したように、作業負荷評価情報、ターゲットアドレスのメモリデバイスのランクへのマッピング、及び、維持されたカウンタ値を使用して、ランクの待ち時間を予測する。所与のランクの全てのバンクがリフレッシュされる場合(条件ブロック406の「はい」分岐)、リフレッシュ間隔が完了し、メモリデバイスは、所与のランクの全てのバンクのメモリ要求に応える準備ができる(ブロック408)。
所与のランクのバンクの全てがリフレッシュされていない場合(条件ブロック406の「いいえ」分岐)、所与のランクの総バンク待ち時間が決定される(ブロック410)。総バンク待ち時間は、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量である。例えば、バンク毎のリフレッシュ動作の待ち時間が60nsで、所与のランクの8つのバンクのうちの6つが既にリフレッシュされている場合、総バンク待ち時間は、残りの2つのバンク掛ける60ns/バンク、すなわち、120nsである。総バンク待ち時間は、クロックサイクル数として測定することもできる。
所与のランクに対して保留中のメモリ要求がある場合(条件ブロック412の「はい」分岐)、現在のリフレッシュ間隔中に所与のランクからリフレッシュされていないバンクが選択される(ブロック414)。所与のランクの選択されたバンクは、バンク毎のリフレッシュ動作を用いてリフレッシュされる(ブロック416)。その後、方法400の制御フローは、ブロック404に戻る。所与のランクに保留中のメモリ要求がない場合(条件ブロック412の「いいえ」分岐)、リフレッシュ間隔中、所与のランクに対する全てのバンクをリフレッシュする動作とバンク毎のリフレッシュ動作との間で選択を行うために予測待ち時間及び総バンク待ち時間が利用される(ブロック418)。その後、方法400の制御フローは、ブロック404に戻る。再度、様々な実施形態では、予測待ち時間は、未処理のメモリ要求を記憶するための保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。
図5を参照すると、作業負荷に基づいたランクのアクセス間の予測待ち時間に基づいてランクをリフレッシュするリフレッシュ動作を選択する方法500の他の実施形態が示されている。リフレッシュ間隔は開始されているが、まだ、完了していない。この時点で、所与のバンクのリフレッシュ中に所与のランクをターゲットにした保留中のメモリ要求が無いと判断される(ブロック502)。この判断は、(図4の)方法400のブロック418に到達することに類似している。前述のように、所与のランクの予測待ち時間は、未処理のメモリ要求を記憶するためのメモリコントローラの保留中のキューが所与のランクをターゲットにしたメモリ要求を記憶していない時間量である。
予測待ち時間が、全てのバンクをリフレッシュする動作の待ち時間以下の場合(条件ブロック504の「いいえ」分岐)、現在のリフレッシュ間隔中にリフレッシュされていないバンクが所与のランクから選択される(ブロック506)。所与のランクの選択されたバンクは、バンク毎のリフレッシュ動作を用いてリフレッシュされる(ブロック508)。例えば、予測待ち時間が90nsで、全てのバンクをリフレッシュする動作の待ち時間が130nsの場合、全てのバンクをリフレッシュする動作が完了する前に、所与のランクをターゲットにしたメモリ要求がメモリコントローラの保留中のキューに記憶されることが予測される。従って、所与のランクのバンクをリフレッシュするために、バンク毎のリフレッシュ動作が選択される。
前述のように、所与のランクの総バンク待ち時間は、所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量である。予測待ち時間が、全てのバンクをリフレッシュする動作の待ち時間より長い(条件ブロック504の「はい」分岐)が、所与のランクの総バンク待ち時間が、全てのバンクをリフレッシュする動作の待ち時間以下の場合(条件ブロック510の「いいえ」分岐)、方法500の制御フローは、ブロック506に進み、バンク毎のリフレッシュ動作のためのバンクが選択される。例えば、予測待ち時間が200nsで、全てのバンクをリフレッシュする動作の待ち時間が130nsの場合、全てのバンクをリフレッシュする動作が完了する前に、所与のランクをターゲットにしたメモリ要求は、メモリコントローラの保留中のキューに記憶されないことが予測される。しかしながら、バンク毎のリフレッシュ動作の待ち時間が60nsで、所与のランクの8つのバンクのうちの6つが、既にリフレッシュされている場合、総バンク待ち時間は、2つのバンク掛ける60ns/バンク、すなわち、120nsである。全てのバンクをリフレッシュする動作の待ち時間(130ns)と総バンク待ち時間(120ns)のそれぞれが、予測待ち時間(200ns)より短いので、所与のランクをターゲットにしたメモリ要求がメモリコントローラの保留中のキューに記憶されることが予測される前に、全てのバンクをリフレッシュする動作とバンク毎のリフレッシュ動作との間の各選択が完了することが予測される。しかしながら、総バンク待ち時間は、全てのバンクをリフレッシュする動作の待ち時間より短いので、2つの残りのバンクに対してバンク毎のリフレッシュ動作の選択が実行される。
予測待ち時間が、全てのバンクをリフレッシュする動作の待ち時間より長く(条件ブロック504の「はい」分岐)、所与のランクの総バンク待ち時間が、全てのバンクをリフレッシュする動作の待ち時間より長い場合(条件ブロック510の「はい」分岐)、所与のランクの全てのバンクは、全てのバンクをリフレッシュする動作を用いてリフレッシュされる(ブロック512)。例えば、予測待ち時間が200nsで、全てのバンクをリフレッシュする動作の待ち時間が130nsの場合、全てのバンクをリフレッシュする動作が完了する前に、所与のランクをターゲットにしたメモリ要求はメモリコントローラの保留中のキューに記憶されないことが予測される。バンク毎のリフレッシュ動作の待ち時間が60nsで、所与のランクの8つのバンクのうちの5つが、既にリフレッシュされている場合、総バンク待ち時間は、3つのバンク掛ける60ns/バンク、すなわち、180nsである。全てのバンクをリフレッシュする動作の待ち時間(130ns)と総バンク待ち時間(180ns)のそれぞれが、予測待ち時間(200ns)より短いので、所与のランクをターゲットにしたメモリ要求がメモリコントローラの保留中のキューに記憶されることが予測される前に、全てのバンクをリフレッシュする動作とバンク毎のリフレッシュ動作との間の各選択が完了することが予測される。しかしながら、全てのバンクをリフレッシュする動作の待ち時間は、総バンク待ち時間より短いので、全てのバンクをリフレッシュする動作の選択が実行される。
様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、上述の方法及び/または機構を実施する。プログラム命令は、C言語などの高水準プログラミング言語でハードウェアの振る舞いを記述している。代替として、Verilogなどのハードウェア設計言語(HDL)を使用する。プログラム命令は、非一時的なコンピュータ可読記憶媒体に記憶される。多くのタイプの記憶媒体が利用可能である。記憶媒体は、使用中コンピューティングシステムによってアクセス可能で、プログラム命令及び付随するデータをプログラム実行のためにコンピューティングシステムに提供する。コンピューティングシステムは、少なくとも1つまたは複数のメモリと、プログラム命令を実行するように構成された1つまたは複数のプロセッサとを含む。
上記実施形態が、実装態様の非限定的な例にすぎないことを強調しておく。上記の開示を十分に理解すると、多くの変形形態及び修正形態が、当業者に明らかになるであろう。以下の特許請求の範囲は、全てのそのような変形及び修正を包含すると解釈されることが意図される。

Claims (20)

  1. 通信ファブリックと、
    1つまたは複数のコンピューティングリソースであって、1つまたは複数のアプリケーションを実行することと、メモリアクセス要求を生成することと、を行うように構成された、前記1つまたは複数のコンピューティングリソースと、
    複数のランクであって、各ランクが複数のバンクを含む前記複数のランクを含むメモリデバイスに結合されたメモリコントローラと、
    を含む、コンピューティングシステムであって、
    前記メモリコントローラは、
    前記通信ファブリックを介して前記メモリアクセス要求を受信することと、
    前記1つまたは複数のアプリケーションを識別する情報を受信することと、
    前記受信された情報に少なくとも基づいて第1の待ち時間を予測することであって、前記第1の待ち時間は、未処理のメモリ要求を記憶するための保留中のキューが、前記複数のランクの所与のランクをターゲットにしたメモリ要求を記憶していない時間量である、前記第1の待ち時間を予測することと、
    前記所与のランクに対するリフレッシュ間隔を開始する指示を受信することに応答して、
    前記第1の待ち時間に基づいて1つまたは複数のリフレッシュ動作を選択することと、
    前記選択した1つまたは複数のリフレッシュ動作を前記所与のランクに対して行うことと、
    を行うように構成された、コンピューティングシステム。
  2. 前記メモリコントローラは、前記所与のランクに対して全てのバンクをリフレッシュする動作を行うか、または、前記所与のランクの前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うかを、前記第1の待ち時間と、全てのバンクをリフレッシュする動作の第2の待ち時間とを比較することに少なくとも基づいて、決定するように構成される、請求項1に記載のコンピューティングシステム。
  3. 前記メモリコントローラは、前記第1の待ち時間が前記第2の待ち時間より短いと判断することに応答して、前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うように構成される、請求項2に記載のコンピューティングシステム。
  4. 前記メモリコントローラは、前記所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として、第3の待ち時間を決定するように構成される、請求項2に記載のコンピューティングシステム。
  5. 前記メモリコントローラは、
    前記所与のバンクをターゲットにした保留中のメモリ要求が無いこと、
    前記第1の待ち時間が前記第2の待ち時間よりも長いこと、及び、
    前記第3の待ち時間が前記第2の待ち時間よりも長いこと
    を判定することに応答して、前記所与のランクに対して前記全てのバンクをリフレッシュする動作を行うように構成される、請求項4に記載のコンピューティングシステム。
  6. 前記メモリコントローラは、
    前記所与のバンクをターゲットにした保留中のメモリ要求が無いこと、
    前記第1の待ち時間が前記第2の待ち時間よりも長いこと、及び、
    前記第3の待ち時間が前記第2の待ち時間よりも短いこと
    を判定することに応答して、前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うように構成される、請求項4に記載のコンピューティングシステム。
  7. 前記第1の待ち時間を予測することは、前記複数のランクのうちのどのランクが前記1つまたは複数のアプリケーションによってアクセスされるかを識別することを含む、請求項1に記載のコンピューティングシステム。
  8. 前記第1の待ち時間を予測することは、前記1つまたは複数のアプリケーションを実行する前記1つまたは複数のコンピューティングリソースの電力性能状態を識別することを含む、請求項1に記載のコンピューティングシステム。
  9. 前記第1の待ち時間を予測することは、前記1つまたは複数のコンピューティングリソースのキャッシュメモリサブシステムのミス率を識別することを含む、請求項1に記載のコンピューティングシステム。
  10. 1つまたは複数のコンピューティングリソースが、1つまたは複数のアプリケーションを実行することと、
    前記1つまたは複数のコンピューティングリソースが、複数のランクであって、各ランクが複数のバンクを含む前記複数のランクを含むメモリデバイスに記憶されたデータに対するメモリアクセス要求を生成することと、
    メモリコントローラが、前記メモリアクセス要求を受信することと、
    前記メモリコントローラが、前記1つまたは複数のアプリケーションを識別する情報を受信することと、
    前記メモリコントローラが、前記受信した情報に少なくとも基づいて、前記複数のランクのうちの所与のランクのアクセス間の第1の待ち時間を予測することと、
    前記所与のランクに対するリフレッシュ間隔を開始する指示を受信することに応答して、
    前記メモリコントローラが、前記第1の待ち時間に基づいて1つまたは複数のリフレッシュ動作を選択することと、
    前記メモリコトンローラが、前記選択した1つまたは複数のリフレッシュ動作を前記所与のランクに対して行うことと、
    を含む、方法。
  11. 前記所与のランクに対して全てのバンクをリフレッシュする動作を行うか、または、前記所与のランクの前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うかを、前記第1の待ち時間と、全てのバンクをリフレッシュする動作の第2の待ち時間とを比較することに少なくとも基づいて、決定することをさらに含む、請求項10に記載の方法。
  12. 前記第1の待ち時間が前記第2の待ち時間より短いと判断することに応答して、前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うことをさらに含む、請求項11に記載の方法。
  13. 前記所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として、第3の待ち時間を決定することをさらに含む、請求項11に記載の方法。
  14. 前記所与のバンクをターゲットにした保留中のメモリ要求が無いこと、
    前記第1の待ち時間が前記第2の待ち時間よりも長いこと、及び、
    前記第3の待ち時間が前記第2の待ち時間よりも長いこと
    を判定することに応答して、前記所与のランクに対して前記全てのバンクをリフレッシュする動作を行うことをさらに含む、請求項13に記載の方法。
  15. 前記所与のバンクをターゲットにした保留中のメモリ要求が無いこと、
    前記第1の待ち時間が前記第2の待ち時間よりも長いこと、及び、
    前記第3の待ち時間が前記第2の待ち時間よりも短いこと
    を判定することに応答して、前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うことをさらに含む、請求項13に記載の方法。
  16. 1つまたは複数のアプリケーションを実行する1つまたは複数のコンピューティングリソースによって生成されたメモリアクセス要求を受信する第1のインタフェースと、
    複数のランクであって、各ランクが複数のバンクを含む前記複数のランクを含むメモリデバイスに前記メモリアクセス要求を送信する第2のインタフェースと、
    制御ロジックと
    を含むメモリコントローラであって、
    前記制御ロジックは、
    前記1つまたは複数のアプリケーションを識別する情報を受信することと、
    前記受信した情報に少なくとも基づいて、前記複数のランクのうちの所与のランクのアクセス間の第1の待ち時間を予測することと、
    前記所与のランクに対するリフレッシュ間隔を開始する指示を受信することに応答して、
    前記第1の待ち時間に基づいて1つまたは複数のリフレッシュ動作を選択することと、
    前記選択した1つまたは複数のリフレッシュ動作を前記所与のランクに対して行うことと、
    を行うように構成された、前記メモリコントローラ。
  17. 前記制御ロジックは、前記所与のランクに対して全てのバンクをリフレッシュする動作を行うか、または、前記所与のランクの前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うかを、前記第1の待ち時間と、全てのバンクをリフレッシュする動作の第2の待ち時間とを比較することに少なくとも基づいて、決定するように構成される、請求項16に記載のメモリコントローラ。
  18. 前記制御ロジックは、前記第1の待ち時間が前記第2の待ち時間より短いと判断することに応答して、前記複数のバンクのうちの所与のバンクに対してバンク毎のリフレッシュ動作を行うように構成される、請求項17に記載のメモリコントローラ。
  19. 前記制御ロジックは、前記所与のランクのまだリフレッシュされていないバンク数をバンク毎のリフレッシュ動作を用いてリフレッシュする時間量として、第3の待ち時間を決定するように構成される、請求項17に記載のメモリコントローラ。
  20. 前記制御ロジックは、
    前記所与のバンクをターゲットにした保留中のメモリ要求が無いこと、
    前記第1の待ち時間が前記第2の待ち時間よりも長いこと、及び、
    前記第3の待ち時間が前記第2の待ち時間よりも長いこと、
    を判定することに応答して、前記所与のランクに対して前記全てのバンクをリフレッシュする動作を行うように構成される、請求項19に記載のメモリコントローラ。
JP2020534251A 2017-12-21 2018-09-19 バンク毎及び全てのバンクの動的リフレッシュ Active JP7257401B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/851,324 2017-12-21
US15/851,324 US10503670B2 (en) 2017-12-21 2017-12-21 Dynamic per-bank and all-bank refresh
PCT/US2018/051774 WO2019125560A1 (en) 2017-12-21 2018-09-19 Dynamic per-bank and all-bank refresh

Publications (2)

Publication Number Publication Date
JP2021507405A true JP2021507405A (ja) 2021-02-22
JP7257401B2 JP7257401B2 (ja) 2023-04-13

Family

ID=63794697

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020534251A Active JP7257401B2 (ja) 2017-12-21 2018-09-19 バンク毎及び全てのバンクの動的リフレッシュ

Country Status (6)

Country Link
US (1) US10503670B2 (ja)
EP (1) EP3729280B1 (ja)
JP (1) JP7257401B2 (ja)
KR (1) KR20200108854A (ja)
CN (1) CN112088368B (ja)
WO (1) WO2019125560A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3605541A4 (en) * 2017-04-14 2020-04-01 Huawei Technologies Co., Ltd. MEMORY REFRESHING TECHNOLOGY AND COMPUTER SYSTEM
US11194382B2 (en) * 2018-10-16 2021-12-07 Advanced Micro Devices, Inc. Speculative exit from power down mode of a dynamic random access memory rank
US11656992B2 (en) 2019-05-03 2023-05-23 Western Digital Technologies, Inc. Distributed cache with in-network prefetch
US11681465B2 (en) * 2020-06-12 2023-06-20 Advanced Micro Devices, Inc. Dynamic multi-bank memory command coalescing
US11765250B2 (en) 2020-06-26 2023-09-19 Western Digital Technologies, Inc. Devices and methods for managing network traffic for a distributed cache
US11675706B2 (en) 2020-06-30 2023-06-13 Western Digital Technologies, Inc. Devices and methods for failure detection and recovery for a distributed cache
US11720404B2 (en) * 2020-07-16 2023-08-08 Samsung Electronics Co., Ltd. Systems and methods for arbitrating access to a shared resource
US11736417B2 (en) 2020-08-17 2023-08-22 Western Digital Technologies, Inc. Devices and methods for network message sequencing
US12088470B2 (en) 2020-12-18 2024-09-10 Western Digital Technologies, Inc. Management of non-volatile memory express nodes
CN113311728B (zh) * 2021-05-25 2022-08-30 南京国电南自维美德自动化有限公司 一种仿真模型与控制器通信的方法和系统
US11755246B2 (en) * 2021-06-24 2023-09-12 Advanced Micro Devices, Inc. Efficient rank switching in multi-rank memory controller
JP2023133729A (ja) 2022-03-14 2023-09-27 株式会社デンソー メモリコントローラ

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04362593A (ja) * 1991-06-10 1992-12-15 Agency Of Ind Science & Technol Dramのリフレッシュ制御装置
JPH09198863A (ja) * 1996-01-24 1997-07-31 Fuji Xerox Co Ltd メモリ制御装置
JPH1011964A (ja) * 1996-06-28 1998-01-16 Toshiba Corp メモリ制御装置およびメモリ制御方法
JPH1049436A (ja) * 1996-08-07 1998-02-20 Oki Electric Ind Co Ltd 主記憶制御回路
JP2009515263A (ja) * 2005-12-29 2009-04-09 インテル・コーポレーション C0時のセルフリフレッシュメカニズム
JP2013229096A (ja) * 2012-04-24 2013-11-07 Samsung Electronics Co Ltd メモリ装置及びメモリコントローラ並びにメモリシステム
JP2015011729A (ja) * 2013-06-27 2015-01-19 マイクロン テクノロジー, インク. 半導体装置
JP2016114997A (ja) * 2014-12-11 2016-06-23 京セラドキュメントソリューションズ株式会社 メモリーアクセス装置、画像処理装置
JP2016536666A (ja) * 2013-10-08 2016-11-24 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated 信頼性の高い動作に適したメモリコントローラを有するデータプロセッサ及び方法
JP2016541050A (ja) * 2013-11-11 2016-12-28 クアルコム,インコーポレイテッド メモリセルをリフレッシュするための方法および装置
US20170040050A1 (en) * 2015-04-17 2017-02-09 Samsung Electronics Co., Ltd. Smart in-module refresh for dram

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356485B1 (en) 1999-02-13 2002-03-12 Integrated Device Technology, Inc. Merging write cycles by comparing at least a portion of the respective write cycle addresses
US6400631B1 (en) 2000-09-15 2002-06-04 Intel Corporation Circuit, system and method for executing a refresh in an active memory bank
JP3938842B2 (ja) * 2000-12-04 2007-06-27 富士通株式会社 半導体記憶装置
US7617356B2 (en) * 2002-12-31 2009-11-10 Intel Corporation Refresh port for a dynamic memory
KR100652380B1 (ko) * 2004-10-25 2006-12-01 삼성전자주식회사 버퍼를 이용하여 리프레쉬하는 메모리 장치 및 그 방법
CN101213533A (zh) * 2005-05-04 2008-07-02 Nxp股份有限公司 存储器控制器、控制存储器存取的方法以及包括存储器控制器的系统
JP4428319B2 (ja) 2005-08-30 2010-03-10 エルピーダメモリ株式会社 半導体記憶装置およびバンク・リフレッシュ方法
JP2008165847A (ja) * 2006-12-26 2008-07-17 Elpida Memory Inc 半導体メモリ装置、半導体装置、メモリシステム及びリフレッシュ制御方法
CN101639817B (zh) * 2009-03-13 2012-01-25 青岛海信信芯科技有限公司 一种存储器的控制方法、存储器控制器和存储器控制系统
CN102081964B (zh) * 2009-11-30 2014-12-10 国际商业机器公司 动态随机访问存储器刷新的方法和系统
US8392650B2 (en) * 2010-04-01 2013-03-05 Intel Corporation Fast exit from self-refresh state of a memory device
US8468318B2 (en) * 2010-09-15 2013-06-18 Pure Storage Inc. Scheduling of I/O writes in a storage environment
US8909874B2 (en) 2012-02-13 2014-12-09 International Business Machines Corporation Memory reorder queue biasing preceding high latency operations
US9355704B2 (en) * 2012-12-28 2016-05-31 Mediatek Inc. Refresh method for switching between different refresh types based on at least one parameter of volatile memory and related memory controller
US20150206574A1 (en) * 2014-01-22 2015-07-23 Advanced Micro Devices, Inc. Relocating infrequently-accessed dynamic random access memory (dram) data to non-volatile storage
US20150318035A1 (en) 2014-05-02 2015-11-05 Qualcomm Incorporated Priority adjustment of dynamic random access memory (dram) transactions prior to issuing a per-bank refresh for reducing dram unavailability
US9728245B2 (en) 2015-02-28 2017-08-08 Intel Corporation Precharging and refreshing banks in memory device with bank group architecture
US9524769B2 (en) * 2015-04-17 2016-12-20 Samsung Electronics Co., Ltd. Smart in-module refresh for DRAM
US9703493B2 (en) * 2015-12-14 2017-07-11 Qualcomm Incorporated Single-stage arbiter/scheduler for a memory system comprising a volatile memory and a shared cache
US9824742B1 (en) * 2016-04-28 2017-11-21 Qualcomm Incorporated DRAM access in self-refresh state
US10318187B2 (en) * 2016-08-11 2019-06-11 SK Hynix Inc. Memory controller and memory system including the same
US9761297B1 (en) * 2016-12-30 2017-09-12 Intel Corporation Hidden refresh control in dynamic random access memory

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04362593A (ja) * 1991-06-10 1992-12-15 Agency Of Ind Science & Technol Dramのリフレッシュ制御装置
JPH09198863A (ja) * 1996-01-24 1997-07-31 Fuji Xerox Co Ltd メモリ制御装置
JPH1011964A (ja) * 1996-06-28 1998-01-16 Toshiba Corp メモリ制御装置およびメモリ制御方法
JPH1049436A (ja) * 1996-08-07 1998-02-20 Oki Electric Ind Co Ltd 主記憶制御回路
JP2009515263A (ja) * 2005-12-29 2009-04-09 インテル・コーポレーション C0時のセルフリフレッシュメカニズム
JP2013229096A (ja) * 2012-04-24 2013-11-07 Samsung Electronics Co Ltd メモリ装置及びメモリコントローラ並びにメモリシステム
JP2015011729A (ja) * 2013-06-27 2015-01-19 マイクロン テクノロジー, インク. 半導体装置
JP2016536666A (ja) * 2013-10-08 2016-11-24 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドAdvanced Micro Devices Incorporated 信頼性の高い動作に適したメモリコントローラを有するデータプロセッサ及び方法
JP2016541050A (ja) * 2013-11-11 2016-12-28 クアルコム,インコーポレイテッド メモリセルをリフレッシュするための方法および装置
JP2016114997A (ja) * 2014-12-11 2016-06-23 京セラドキュメントソリューションズ株式会社 メモリーアクセス装置、画像処理装置
US20170040050A1 (en) * 2015-04-17 2017-02-09 Samsung Electronics Co., Ltd. Smart in-module refresh for dram

Also Published As

Publication number Publication date
KR20200108854A (ko) 2020-09-21
JP7257401B2 (ja) 2023-04-13
CN112088368A (zh) 2020-12-15
EP3729280B1 (en) 2022-03-02
WO2019125560A1 (en) 2019-06-27
CN112088368B (zh) 2024-05-14
US10503670B2 (en) 2019-12-10
EP3729280A1 (en) 2020-10-28
US20190196987A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
EP3729280B1 (en) Dynamic per-bank and all-bank refresh
EP3729281B1 (en) Scheduling memory requests with non-uniform latencies
US20210073152A1 (en) Dynamic page state aware scheduling of read/write burst transactions
US20190196996A1 (en) Dynamically determining memory access burst length
KR102402630B1 (ko) 캐시 제어 인지 메모리 컨트롤러
US11474942B2 (en) Supporting responses for memory types with non-uniform latencies on same channel
US11429281B2 (en) Speculative hint-triggered activation of pages in memory
US11526278B2 (en) Adaptive page close prediction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150