JP2022548641A - システムオンチップ及びアクセラレータチップを接続するメモリチップ - Google Patents

システムオンチップ及びアクセラレータチップを接続するメモリチップ Download PDF

Info

Publication number
JP2022548641A
JP2022548641A JP2022517123A JP2022517123A JP2022548641A JP 2022548641 A JP2022548641 A JP 2022548641A JP 2022517123 A JP2022517123 A JP 2022517123A JP 2022517123 A JP2022517123 A JP 2022517123A JP 2022548641 A JP2022548641 A JP 2022548641A
Authority
JP
Japan
Prior art keywords
memory
chip
soc
accelerator
chips
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022517123A
Other languages
English (en)
Inventor
ショーン エス． エイラート
ケネス マリオン クレウィッツ
ジャスティン エム． エノ
Original Assignee
マイクロン テクノロジー，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロン テクノロジー，インク． filed Critical マイクロン テクノロジー，インク．
Publication of JP2022548641A publication Critical patent/JP2022548641A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/40—Bus structure
    • G06F13/4004—Coupling between buses
    • G06F13/4027—Coupling between buses using bus bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7867—Architectures of general purpose stored program computers comprising a single central processing unit with reconfigurable architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839—Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1075—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers for multiport memories each having random access ports and serial ports, e.g. video RAM

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Artificial Intelligence (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Dram (AREA)
  • Advance Control (AREA)
  • Memory System (AREA)
  • Multi Processors (AREA)

Abstract

メモリチップは、ＳｏＣ及びアクセラレータチップを接続する。システムは、メモリチップ及びアクセラレータチップを含む。システムはＳｏＣを含むことができる。メモリチップはＳｏＣから受信する計算入力データを格納して提供する第一メモリセルを含むことができ、この計算入力データは計算入力としてアクセラレータチップによって使用されることができる。メモリチップはアクセラレータチップから受信する第一計算出力データを格納して提供する第二メモリセルを含むことができ、この第一計算出力データはＳｏＣによって取得される、または計算入力としてアクセラレータチップによって再使用されることができる。また、メモリチップは、ＳｏＣから受信する非ＡＩタスクに関連する第二計算出力データを格納する第三メモリセルを含むことができ、この第二計算出力データは、非ＡＩタスクのためのＳｏＣによって取得されることができる。

Description

関連出願
本出願は、２０１９年９月１７日に出願され、「ＭＥＭＯＲＹ ＣＨＩＰ ＣＯＮＮＥＣＴＩＮＧ Ａ ＳＹＳＴＥＭ ＯＮ Ａ ＣＨＩＰ ＡＮＤ ＡＮ ＡＣＣＥＬＥＲＡＴＯＲ ＣＨＩＰ」と題された米国特許出願第１６／５７３，８０５号に優先権を主張し、その開示全体は、参照により本明細書に援用される。
本明細書に開示される少なくともいくつかの実施形態は、ＳｏＣ及びアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を接続するメモリチップに関する。本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する。
メインメモリなどのメモリは、コンピュータまたはコンピューティングデバイスでの即時使用のために情報を格納するコンピュータハードウェアである。一般に、メモリはコンピュータストレージよりも高速で動作する。コンピュータストレージによって、情報にアクセスする速度が遅くなるが、その容量が増え、データの信頼性が高くなることもできる。メモリの１つのタイプであるランダムアクセスメモリ（ＲＡＭ）は、高い動作速度を有することができる。
通常、メモリは、アドレス指定可能な半導体メモリユニットまたはセルで構成される。メモリＩＣ及びそのメモリユニットは、シリコンベースの金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）によって少なくとも部分的に実装されることができる。
メモリには、揮発性及び不揮発性という２つの主なタイプがある。不揮発性メモリは、フラッシュメモリ（ストレージとして使用されることもできる）、ならびにＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭ（ファームウェアを格納するために使用されることができる）を含むことができる。別のタイプの不揮発性メモリは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）である。揮発性メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのメインメモリテクノロジ、及び通常はスタティックランダムアクセスメモリ（ＳＲＡＭ）を使用して実装されるキャッシュメモリを含むことができる。
ＡＩアクセラレータは、マイクロプロセッサまたはコンピュータシステムの１つのタイプであり、このタイプは、人工ニューラルネットワーク、マシンビジョン、及び機械学習などのＡＩアプリケーションを含む、ＡＩアプリケーションについての計算を高速化するように設定される。ＡＩアクセラレータは、データ集約型またはセンサ駆動型タスクについてのデータ処理を向上させるハードワイヤードであることができる。ＡＩアクセラレータは、１つ以上のコアを含むことができ、低精度演算及びインメモリコンピューティング用に配線されることができる。ＡＩアクセラレータは、スマートフォン、タブレット、及びあらゆるタイプのコンピュータ（特に、センサ、ならびにグラフィックス及び光学処理などのデータ集約型タスクを有するコンピュータ）などの多くのデバイスに見いだされることができる。また、ＡＩアクセラレータは、ＡＩアプリケーションで使用される数値シミュレーション及び他のタイプのタスクに関するパフォーマンスを向上させるために、ベクトルプロセッサまたはアレイプロセッサを含むことができる。
ＳｏＣは、コンピュータコンポーネントをシングルチップに集積する集積回路（ＩＣ）である。ＳｏＣにおける一般的なコンピュータコンポーネントは、中央処理装置（ＣＰＵ）、メモリ、入出力ポート、及びセカンダリストレージを含む。ＳｏＣは、そのすべてのコンポーネントを単一の基板またはマイクロチップ上に含むことができ、一部のチップは２５セント硬貨よりも小さくなることができる。ＳｏＣは、さまざまな信号処理機能を有することができ、グラフィックスプロセッシングユニット（ＧＰＵ）など、専用のプロセッサまたはコプロセッサを含むことができる。緊密に集積されることにより、ＳｏＣは、同等の機能を有する従来のマルチチップシステムよりも電力の消費をはるかに少なくすることができる。これにより、ＳｏＣは、モバイルコンピューティングデバイス（スマートフォン及びタブレットなどの内の）の統合に有益になる。また、ＳｏＣは、組み込みシステム及びモノのインターネット（特にスマートデバイスが小さい場合）に有用であることができる。
メモリに戻り参照すると、コンピューティングシステムのメモリは、階層であることができる。コンピュータアーキテクチャではメモリ階層と称されることが多い、メモリ階層は、応答時間、複雑さ、容量、永続性及びメモリ帯域幅など、ある特定の要因に基づいて、コンピュータメモリを階層に分離することができる。それらのような要因は関連していることができ、多くの場合、メモリ階層の有用性をさらに強調するトレードオフであることができる。
一般に、メモリ階層はコンピュータシステムでのパフォーマンスに影響する。他の要因に優先してメモリ帯域幅と速度を優先順位付けするには、応答時間、複雑さ、容量、及び永続性などのメモリ階層の制限を考慮する必要がある場合がある。このような優先順位付けを管理するために、さまざまなタイプのメモリチップを組み合わせて、より高速なチップと、より信頼性の高い、または費用効果の高いチップなどとのバランスをとることができる。さまざまなチップのそれぞれをメモリ階層の一部と見なすことができる。そして、例えば、より高速なチップでのレイテンシを減らすために、メモリチップの組み合わせでの他のチップは、バッファを充填してから、チップ間のデータ転送をアクティブにする信号を送ることによって応答することができる。
メモリ階層は、さまざまなタイプのメモリユニットまたはセルを含むチップで構成されることができる。例えば、メモリセルはＤＲＡＭユニットであることができる。ＤＲＡＭは、データの各ビットをメモリセルに格納するランダムアクセス半導体メモリの１つのタイプであり、メモリセルは、通常、コンデンサ及びＭＯＳＦＥＴを含む。コンデンサは、充電されるか放電されるかいずれかが可能であり、これは、１ビットの中の２値、「０」及び「１」などで表される。ＤＲＡＭでは、コンデンサの電荷が漏れ出すため、ＤＲＡＭは、コンデンサごとに元の電荷を回復することによってコンデンサ内のデータを定期的にリライトする外部メモリリフレッシュ回路を必要とする。ＤＲＡＭは、電源が切断されると、そのデータが急速に失われるため、揮発性メモリと見なされる。これは、データストレージがより永続的である、フラッシュメモリ、及びＮＶＲＡＭなどの他のタイプの不揮発性メモリとは異なる。
ＮＶＲＡＭの１つのタイプは３Ｄ ＸＰｏｉｎｔメモリである。３Ｄ ＸＰｏｉｎｔメモリでは、メモリユニットは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づいてビットを格納する。３Ｄ ＸＰｏｉｎｔメモリは、ＤＲＡＭよりも費用効果が高いが、フラッシュメモリよりも費用効果が低い場合がある。また、３Ｄ ＸＰｏｉｎｔは、不揮発性メモリ及びランダムアクセスメモリである。
フラッシュメモリは、別のタイプの不揮発性メモリである。フラッシュメモリの利点は、電気的に消去されて再プログラムされることができることである。フラッシュメモリは、ＮＡＮＤ型フラッシュメモリ及びＮＯＲ型フラッシュメモリという２つの主なタイプを有すると考えられており、これらは、フラッシュメモリのメモリユニットを実装することができるＮＡＮＤ及びＮＯＲ論理ゲートにちなんで名付けられている。フラッシュメモリユニットまたはセルは、対応するゲートのものと同様の内部特性を示す。ＮＡＮＤ型フラッシュメモリはＮＡＮＤゲートを含む。ＮＯＲ型フラッシュメモリはＮＯＲゲートを含む。ＮＡＮＤ型フラッシュメモリは、デバイス全体よりも小さくすることができるブロックに読み書きされてもよい。ＮＯＲ型フラッシュは、シングルバイトを、消去した位置に書き込む、または独立して読み出すことを可能にする。ＮＡＮＤ型フラッシュメモリの利点により、このようなメモリは、メモリカード、ＵＳＢフラッシュドライブ、及びソリッドステートドライブによく利用されている。ただし、一般にフラッシュメモリを使用することの主なトレードオフは、ＤＲＡＭ及びＮＶＲＡＭなどの他のタイプのメモリと比較して、特定のブロックに比較的少数の書き込みサイクルしかできないことである。
本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。
ＳｏＣ及びメモリチップを接続するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を含む関連システムの一例を示す。 図１に示されるアクセラレータチップを含む関連システム、及び別個のメモリの例を示す。 図１に示されるアクセラレータチップを含む関連システム、及び別個のメモリの例を示す。 ＳｏＣ及びアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を接続するメモリチップを含む、本開示のいくつかの実施形態によるシステムの一例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 本開示のいくつかの実施形態による、例示的なコンピューティングデバイスのパーツ配置の一例を示す。 本開示のいくつかの実施形態による、例示的なコンピューティングデバイスのパーツ配置の別の例を示す。 図２～３及び図５～７に示される別個のメモリに使用されることができるメモリチップストリングの例を示す。 図２～３及び図５～７に示される別個のメモリに使用されることができるメモリチップストリングの例を示す。
本明細書に開示される少なくともいくつかの実施形態は、ＳｏＣ及びアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を接続するメモリチップ（例えば、ＤＲＡＭ）に関する。本明細書に開示される少なくともいくつかの実施形態は、メモリチップを介してアクセラレータチップ（例えば、ＡＩアクセラレータチップ）をＳｏＣに接続することに関する。アクセラレータチップは、メモリチップを介して間接的にＳｏＣと通信する。メモリチップによってＳｏＣ及びアクセラレータチップを接続するメモリチップに置かれるデータは、アクセラレータチップへの要求であると解釈される。また、ＳｏＣは、ＳｏＣ及びアクセラレータチップを接続するメモリチップを、アクセラレータチップに関与しないその動作のために任意選択で使用してもよい。したがって、ＳｏＣ及びアクセラレータチップを接続するメモリチップは、ＳｏＣに使用される目的、及びアクセラレータチップに使用される目的という２つの一般的な目的を有することができる。それらのような実施形態のいくつかの例については、図４～７に示される、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を参照されたい。また、図８～９に示されるＳｏＣ８０６及び特定用途向けコンポーネント８０７を参照されたい。特定用途向けコンポーネント８０７は、デバイス８００及び９００のいくつかの実施形態では、第一メモリチップ４０２及びアクセラレータチップ４０４を含むことができる。
図４～７に示されるように、ＳｏＣ及びアクセラレータチップを接続するメモリチップは、論理的に（場合によっては物理的に）ＳｏＣ及びアクセラレータチップの中間にあることができる。また、ＳｏＣ及びアクセラレータチップの中間にあるアクセラレータ用のメモリチップは、２セットのピンを有する必要がない場合がある。いくつかの実施形態では、アクセラレータチップ及びメモリチップは、物理的に同じバス上にあることができる。ただし、中間にあるメモリチップを使用するいかなる状況でも、ＳｏＣがバスまたは配線を介してアクセラレータチップと直接通信することはない。したがって、ＳｏＣ及びアクセラレータチップを接続するメモリチップは、少なくとも論理的にはアクセラレータチップとＳｏＣとの間にある。また、メモリチップによって提供される、ＳｏＣ及びアクセラレータチップの接続は、論理接続にすぎない場合がある。
ＳｏＣ及びアクセラレータチップを接続するメモリチップは、別個の２セットのピンを含むことができる。１セットは配線を介してアクセラレータチップに直接接続するためのものであり（例えば、図４、５、及び７に示される１セットのピン４１４、及び配線４２４を参照）、もう１セットは配線を介してＳｏＣに直接接続するためのものである（例えば、図４～５に示される１セットのピン４１６、及び配線４２６を参照）。
アクセラレータチップがメモリチップを介してＳｏＣに接続されていると、ＳｏＣについての、一般に、またはより具体的には、いくつかの実施形態では、ＳｏＣに含まれるＧＰＵ（例えば、図４～７に示されるＧＰＵ４０８を参照）についての、特定用途向け計算（ＡＩ計算など）が高速化されることができる。いくつかの実施形態では、ＳｏＣ内のＧＰＵと、ＳｏＣ及びアクセラレータチップを接続するメモリチップとを直接接続することができる。いくつかの実施形態では、ＧＰＵ及びアクセラレータチップを接続するメモリチップは、１セットのピンを含むことができ、この１セットのピン及び配線（例えば、１セットのピン４１４、及び配線４２４を参照）を介してアクセラレータチップに直接接続されることができる。アクセラレータチップは、対応する１セットのピン（例えば、１セットのピン４１５を参照）も含むことができる。そして、ＳｏＣ及びアクセラレータチップを接続するメモリチップは、第二セットのピンを含むことができ、この第二セットのピン及び配線（例えば、１セットのピン４１６、及び配線４２６を参照）を介してＧＰＵに直接接続されることができる。また、ＳｏＣ内のＧＰＵは、１セットのピンを含むことができ、この１セットのピン及び配線（例えば、１セットのピン４１７、及び配線４２６を参照）を介してメモリチップに直接接続されることができる。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップの一部であること、またはその一部を含むことができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、人工知能（ＡＩ）アクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。例えば、本明細書に記載のアクセラレータチップのいずれか１つは、ＡＩアクセラレータチップの一部であること、またはその一部を含むことができる。
アクセラレータチップは、人工ニューラルネットワーク、マシンビジョン、及び機械学習を含む、ＡＩアプリケーションのハードウェア高速化のために設計されるマイクロプロセッサチップまたはＳｏＣ自体であることができる。いくつかの実施形態では、アクセラレータチップは、ベクトル及び行列に対して数値計算を実行するように設定される（例えば、ベクトル及び行列に対して数値計算を実行するように設定されることができる、図４に示されるベクトルプロセッサ４１２を参照）。アクセラレータチップは、ＡＳＩＣまたはＦＰＧＡであること、またはそれを含むことができる。アクセラレータチップのＡＳＩＣ実施形態では、アクセラレータチップは、特定用途向け計算（ＡＩ計算など）の高速化に専用のハードワイヤードであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵを超えた特定用途向け計算の高速化のために変更されている、変更されたＦＰＧＡまたはＧＰＵであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵであることができる。
アクセラレータチップに直接接続されているメモリチップ（例えば、第一メモリチップ４０２を参照）は、システム全体の複数のメモリチップを説明する際に明確にするために、本明細書では特定用途向けメモリチップとも称される。特定用途向けメモリチップは、必ずしも特定用途向け計算（ＡＩ計算など）専用のハードワイヤードであるとは限らない。特定用途向けメモリチップのそれぞれは、ＤＲＡＭチップまたはＮＶＲＡＭチップであることができる。そして、特定用途向けメモリチップのそれぞれは、アクセラレータチップに直接接続されることができ、ＳｏＣまたはアクセラレータチップによって特定用途向けメモリチップが構成された後、アクセラレータによる特定用途向け計算の高速化専用のメモリユニットを含むことができる。
いくつかの実施形態では、ＳｏＣは、メインプロセッサ（例えば、ＣＰＵ）を含むことができる。例えば、図４～７に示されるメインプロセッサ１１０を参照されたい。それらのような実施形態では、ＳｏＣ内のＧＰＵは、特定用途向けタスク及び計算（例えば、ＡＩタスク及び計算）のための命令を実行することができ、メインプロセッサは、非特定用途向けタスク及び計算（例えば、非ＡＩタスク及び計算）のための命令を実行することができる。そして、それらのような実施形態では、アクセラレータは、ＧＰＵ専用の特定用途向けタスク及び計算の高速化を提供することができる。また、ＳｏＣは、ＳｏＣのコンポーネントを相互接続する（メインプロセッサ及びＧＰＵを接続するなどの）ための独自のバスを含むことができる。そのうえ、ＳｏＣのバスは、ＳｏＣをＳｏＣの外部のバスに接続するように構成されることができるため、ＳｏＣのコンポーネントは、別個のメモリチップなどのＳｏＣの外部のチップ及びデバイスと結合することができる。
ＧＰＵの非特定用途向け計算及びタスク（例えば、非ＡＩ計算及びタスク）、またはアクセラレータチップを使用しないそれらのような計算及びタスクは、メインプロセッサによって実行される従来のタスクではない可能性があるが、別個のメモリチップなどの別個のメモリ（特定用途向けメモリであることができる）を使用することができる。そして、メモリは、ＤＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、またはそれらの任意の組み合わせで実装されることができる。例えば、別個のメモリまたはメモリチップを、ＳｏＣの外部のバスを介してＳｏＣ及びメインプロセッサに接続することができる（例えば、図５に示されるメモリ２０４及びバス２０２を参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサ専用のメモリユニットを有することができる。また、別個のメモリまたはメモリチップを、ＳｏＣの外部のバスを介してＳｏＣ及びＧＰＵに接続することができる（例えば、図５～７に示される第二メモリチップ２０４及びバス２０２を参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサまたはＧＰＵにメモリユニットを含むことができる。
本開示の目的のために、特定用途向けメモリチップ及び別個のメモリチップがメモリチップストリング（例えば、図１０及び１１に示されるメモリチップストリングを参照）などのメモリチップ群によって各置換されることができることを理解されたい。例えば、別個のメモリチップは、少なくともＮＶＲＡＭチップ及びそのＮＶＲＡＭチップの下流にあるフラッシュメモリチップを含むメモリチップストリングで置換されることができる。また、別個のメモリチップは、少なくとも２つのメモリチップで置換されることができ、これらのチップのうちの１つはメインプロセッサ（例えば、ＣＰＵ）用であり、もう１つのチップは非ＡＩ計算及び／またはタスクのためのメモリとして使用するためのＧＰＵ用である。
さらに、本明細書に開示される少なくともいくつかの実施形態は、ベクトルプロセッサ（例えば、図４～７に示されるベクトルプロセッサ４１２を参照）を有するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。そして、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する（例えば、図１０及び１１を参照）。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップの一部であること、またはその一部を含むことができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、ＡＩアクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。
図１は、ＳｏＣ及びメモリチップを接続するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を含む関連システムの一例を示す。
図１は、例示的なシステム１００を示し、このシステムは、ある程度、システム４００に関連している。システム１００は、第一メモリチップ１０４及びＳｏＣ１０６を接続するアクセラレータチップ１０２（例えば、ＡＩアクセラレータチップ）を含む。示されるように、ＳｏＣ１０６は、ＧＰＵ１０８及びメインプロセッサ１１０を含む。メインプロセッサ１１０は、ＣＰＵである、またはそれを含むことができる。そして、アクセラレータチップ１０２は、ベクトルプロセッサ１１２を含む。
システム１００では、アクセラレータチップ１０２は、第一セットのピン１１４及び第二セットのピン１１６を含む。第一セットのピン１１４は、配線１２４を介して第一メモリチップ１０４に接続するように構成される。第二セットのピン１１６は、配線１２６を介してＳｏＣ１０６に接続するように構成される。示されるように、第一メモリチップ１０４は、対応する１セットのピン１１５を含み、このセットは、配線１２４を介してメモリチップをアクセラレータチップ１０２に接続する。ＳｏＣ１０６のＧＰＵ１０８は、対応する１セットのピン１１７を含み、このセットは、配線１２６を介してＳｏＣをアクセラレータチップ１０２に接続する。
アクセラレータチップ１０２は、ＳｏＣ１０６の特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定される。また、アクセラレータチップ１０２は、第一メモリチップ１０４を特定用途向け計算のためのメモリとして使用するように構成される。特定用途向け計算の高速化は、ベクトルプロセッサ１１２によって実行されることができる。アクセラレータチップ１０２内のベクトルプロセッサ１１２は、ＳｏＣ１０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。アクセラレータチップ１０２は、ＡＳＩＣを含むことができ、このＡＳＩＣは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算（例えば、ＡＩ計算）を高速化するための専用ハードワイヤードである。あるいは、アクセラレータチップ１０２は、ＦＰＧＡを含むことができ、このＦＰＧＡは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。いくつかの実施形態では、アクセラレータチップ１０２は、ＧＰＵを含むことができ、このＧＰＵは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。それらのような実施形態では、ＧＰＵは、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用に変更されることができる。
示されるように、ＳｏＣ１０６はＧＰＵ１０８を含む。そして、アクセラレータチップ１０２は、ＧＰＵ１０８についての特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定されることができる。例えば、ベクトルプロセッサ１１２は、ＧＰＵ１０８についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。また、ＧＰＵ１０８は、特定用途向けタスク及び計算（例えば、ＡＩタスク及び計算）を実行するように設定されることができる。
また、示されるように、ＳｏＣ１０６は、非ＡＩタスク及び計算を実行するように設定されるメインプロセッサ１１０を含む。
いくつかの実施形態では、メモリチップ１０４はＤＲＡＭチップである。それらのような例では、第一セットのピン１１４は、配線１２４を介してＤＲＡＭチップに接続するように構成されることができる。また、アクセラレータチップ１０２は、特定用途向け計算（例えば、ＡＩ計算）のためのメモリとして、ＤＲＡＭチップ内のＤＲＡＭセルを使用するように構成されることができる。いくつかの他の実施形態では、メモリチップ１０４はＮＶＲＡＭチップである。それらのような実施形態では、第一セットのピン１１４は、配線１２４を介してＮＶＲＡＭチップに接続するように構成されることができる。また、アクセラレータチップ１０２は、特定用途向け計算のためのメモリとして、ＮＶＲＡＭチップ内のＮＶＲＡＭセルを使用するように構成されることができる。さらに、ＮＶＲＡＭチップは、３Ｄ ＸＰｏｉｎｔメモリチップである、またはそれを含むことができる。それらのような例では、第一セットのピン１１４は、配線１２４を介して３Ｄ ＸＰｏｉｎｔメモリチップに接続するように構成されることができ、アクセラレータチップ１０２は、３Ｄ ＸＰｏｉｎｔメモリチップ内の３Ｄ ＸＰｏｉｎｔメモリセルを、特定用途向け計算のためのメモリとして使用するように構成されることができる。
いくつかの実施形態では、システム１００は、配線を介して第一メモリチップ１０４に接続されるアクセラレータチップ１０２を含み、第一メモリチップ１０４は、特定用途向けメモリチップであることができる。また、システム１００は、ＳｏＣ１０６を含み、このＳｏＣは、ＧＰＵ１０８（ＡＩタスクを実行するように設定されることができる）、及びメインプロセッサ１１０（非ＡＩタスクを実行し、ＡＩタスクをＧＰＵ１０８にデリゲートするように設定されることができる）を含む。それらのような実施形態では、ＧＰＵ１０８は、配線１２６を介してアクセラレータチップ１０２に接続するように構成される１セットのピン１１７を含み、アクセラレータチップ１０２は、ＧＰＵ１０８についてのＡＩタスクのＡＩ計算を実行して高速化するように設定される。
それらのような実施形態では、アクセラレータチップ１０２は、ＧＰＵ１０８についてのベクトル及び行列に対して数値計算を実行するように設定されるベクトルプロセッサ１１２を含むことができる。そして、アクセラレータチップ１０２は、ＡＳＩＣを含み、このＡＳＩＣは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。または、アクセラレータチップ１０２は、ＦＰＧＡを含み、このＦＰＧＡは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。または、アクセラレータチップ１０２は、ＧＰＵを含み、このＧＰＵは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。
また、システム１００は、メモリチップ１０４を含み、アクセラレータチップ１０２は、配線１２４を介してメモリチップ１０４に接続されることができ、ＡＩタスクのＡＩ計算を実行して高速化するように設定されることができる。メモリチップ１０４は、ＤＲＡＭセルを有するＤＲＡＭチップである、またはそれを含むことができ、ＤＲＡＭセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。または、メモリチップ１０４は、ＮＶＲＡＭセルを有するＮＶＲＡＭチップである、もしくはそれを含むことができ、ＮＶＲＡＭセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。ＮＶＲＡＭチップは、３Ｄ ＸＰｏｉｎｔメモリセルを含むことができ、３Ｄ ＸＰｏｉｎｔメモリセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。
図２～３は、それぞれ例示的なシステム２００及び３００、ならびに別個のメモリ（ＮＶＲＡＭなど）の例を示し、各システムは、図１に示されるアクセラレータチップ１０２を含む。
図２では、バス２０２は、システム１００（アクセラレータチップ１０２を含む）をメモリ２０４に接続する。メモリ２０４は、いくつかの実施形態ではＮＶＲＡＭであることができ、システム１００の第一メモリチップ１０４のメモリとは別のメモリである。そして、メモリ２０４は、いくつかの実施形態ではメインメモリであることができる。
システム２００では、システム１００のＳｏＣ１０６は、バス２０２を介してメモリ２０４に接続される。そして、システム２００の一部としてのシステム１００は、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を含む。システム１００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される。また、図２に示されるように、ＳｏＣ１０６に含まれるメモリコントローラ２０６は、システム１００のＳｏＣ１０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ１０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム２００内のすべてのメモリのデータアクセス（第一メモリチップ１０４及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ１０４及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム１００の第一メモリチップ１０４によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ１０６のＧＰＵ１０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ１０８及びメインプロセッサ１１０に、アクセラレータチップ１０２によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム２００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム２００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図３では、バス２０２は、システム１００（アクセラレータチップ１０２を含む）をメモリ２０４に接続する。また、システム３００では、バス２０２は、アクセラレータチップ１０２をＳｏＣ１０６に接続し、アクセラレータチップ１０２をメモリ２０４に接続する。そのうえ示されるように、システム３００では、バス２０２は、アクセラレータチップの第二セットのピン１１６、ならびにＳｏＣ１０６及びＧＰＵ１０８の配線１２６及び１セットのピン１１７の代わりをする。システム３００内のアクセラレータチップ１０２は、システム２００と同様に、システム１００の第一メモリチップ１０４及びＳｏＣ１０６を接続する。ただし、この接続は、第一セットのピン１１４、及びバス２０２を介する。
また、システム２００と同様に、システム３００では、メモリ２０４は、システム１００の第一メモリチップ１０４のメモリとは別のメモリである。システム３００では、システム１００のＳｏＣ１０６は、バス２０２を介してメモリ２０４に接続される。そして、システム３００では、システム３００の一部としてのシステム１００は、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を含む。システム１００のこれらのパーツは、システム３００では、バス２０２を介してメモリ２０４に接続される。また、図３に示されるものと同様に、ＳｏＣ１０６に含まれるメモリコントローラ２０６は、システム１００のＳｏＣ１０６によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム３００内のすべてのメモリのデータアクセス（第一メモリチップ１０４及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラは、第一メモリチップ１０４及び／またはメモリ２０４に接続されることができる。そして、メモリコントローラ２０６は、第一メモリチップ１０４及び／またはメモリ２０４に通信可能に結合されることができる。
また、システム３００では、メモリ２０４（いくつかの実施形態ではＮＶＲＡＭであることができる）は、システム１００の第一メモリチップ１０４によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ１０６のＧＰＵ１０８及びメインプロセッサ１１０にメモリとして使用されることができる。さらに、アクセラレータチップ１０２は、いくつかの実施形態及び状況では、バス２０２を介してメモリ２０４を使用することができる。そして、メモリ２０４は、ＧＰＵ１０８及びメインプロセッサ１１０に、アクセラレータチップ１０２によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及び／またはバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム３００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム３００では、メモリ２０４は、図９に示されるメインメモリ８０８であることができる。
図４は、本開示のいくつかの実施形態による、アクセラレータチップ４０４（例えば、ＡＩアクセラレータチップ）及びＳｏＣ４０６を接続する第一メモリチップ４０２を含むシステム４００の一例を示す。示されるように、ＳｏＣ４０６は、ＧＰＵ４０８及びメインプロセッサ１１０を含む。メインプロセッサ１１０は、システム４００内のＣＰＵである、またはこのＣＰＵを含むことができる。そして、アクセラレータチップ４０４はベクトルプロセッサ４１２を含む。
システム４００では、メモリチップ４０２は、第一セットのピン４１４及び第二セットのピン４１６を含む。第一セットのピン４１４は、配線４２４を介してアクセラレータチップ４０４に接続するように構成される。第二セットのピン４１６は、配線４２６を介してＳｏＣ４０６に接続するように構成される。示されるように、アクセラレータチップ４０４は、対応する１セットのピン４１５を含み、このセットは、配線４２４を介して第一メモリチップ４０２をアクセラレータチップに接続する。ＳｏＣ４０６のＧＰＵ４０８は、対応する１セットのピン４１７を含み、このセットは、配線４２６を介してＳｏＣを第一メモリチップ４０２に接続する。
第一メモリチップ４０２は、第二セットのピン４１６を介してＳｏＣ４０６から受信する計算入力データ（例えば、ＡＩ計算入力データ）を格納して提供するように構成される複数の第一メモリセルを含み、この計算入力データは、計算入力（例えば、ＡＩ計算入力）としてアクセラレータチップ４０４によって使用される。計算入力データは、複数の第一メモリセルからアクセスされ、第一メモリチップ４０２から、第一セットのピン４１４を介して送信され、アクセラレータチップ４０４によって受信されて使用される。複数の第一メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、または３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
また、第一メモリチップ４０２は、第一セットのピン４１４を介してアクセラレータチップ４０４から受信する計算出力データ（例えば、ＡＩ計算出力データ）を格納して提供するように構成される複数の第二メモリセルを含み、この計算出力データは、ＳｏＣ４０６によって取得される、または計算入力（例えば、ＡＩ計算入力）としてアクセラレータチップ４０４によって再使用される。計算出力データは、複数の第二メモリセルからアクセスされ、第一メモリチップ４０２から、第一セットのピン４１４を介して送信され、アクセラレータチップ４０４によって受信されて使用されることができる。また、計算出力データは、複数の第二メモリセルからアクセスされ、ＳｏＣ４０６またはＳｏＣ内のＧＰＵ４０８から、第二セットのピン４１６を介して送信され、ＳｏＣまたはＳｏＣ内のＧＰＵによって受信されて使用されることができる。複数の第二メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、または３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
また、第一メモリチップ４０２は、１セットのピン４１６を介してＳｏＣ４０６から受信する非ＡＩタスクに関連する非ＡＩデータを格納するように構成される複数の第三メモリセルを含み、この非ＡＩデータは非ＡＩタスクのためのＳｏＣ４０６によって取得される。非ＡＩデータは、複数の第三メモリセルからアクセスされ、第一メモリチップ４０２から第二セットのピン４１６を介して送信され、ＳｏＣ４０６、ＳｏＣ内のＧＰＵ４０８、またはＳｏＣ内のメインプロセッサ１１０によって受信されて使用されることができる。複数の第三メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、または３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
アクセラレータチップ４０４は、ＳｏＣ４０６についての特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定される。また、アクセラレータチップ４０４は、第一メモリチップ４０２を特定用途向け計算のためのメモリとして使用するように構成される。特定用途向け計算の高速化は、ベクトルプロセッサ４１２によって実行されることができる。アクセラレータチップ４０４内のベクトルプロセッサ４１２は、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。例えば、ベクトルプロセッサ４１２は、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。
アクセラレータチップ４０４は、ＡＳＩＣを含むことができ、このＡＳＩＣは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算（例えば、ＡＩ計算）を高速化するための専用ハードワイヤードである。あるいは、アクセラレータチップ４０４は、ＦＰＧＡを含むことができ、このＦＰＧＡは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。いくつかの実施形態では、アクセラレータチップ４０４は、ＧＰＵを含むことができ、このＧＰＵは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。それらのような実施形態では、ＧＰＵは、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するため、専用に変更されることができる。
示されるように、ＳｏＣ４０６はＧＰＵ４０８を含む。そして、アクセラレータチップ４０２は、ＧＰＵ４０８についての特定用途向け計算を実行して高速化するように設定されることができる。例えば、ベクトルプロセッサ４１２は、ＧＰＵ４０８についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。また、ＧＰＵ４０８は、特定用途向けタスク及び計算を実行するように設定されることができる。また、示されるように、ＳｏＣ４０６は、非ＡＩタスク及び計算を実行するように設定されるメインプロセッサ１１０を含む。
いくつかの実施形態では、システム４００は、メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含み、メモリチップ４０２は、配線４２４を介してアクセラレータチップ４０４に接続するように構成される第一セットのピン４１４、及び配線４２６を介してＳｏＣ４０６に接続するように構成される第二セットのピン４１６を少なくとも含む。そして、メモリチップ４０２は、１セットのピン４１６を介してＳｏＣ４０６から受信するＡＩ計算入力データを格納して提供するように構成される複数の第一メモリセルであって、このＡＩ計算入力データはＡＩ計算入力としてアクセラレータチップ４０４によって使用される、これら複数の第一メモリセルと、他のセットのピン４１４を介してアクセラレータチップ４０４から受信するＡＩ計算出力データを格納して提供するように構成される複数の第二メモリセルであって、このＡＩ計算出力データはＳｏＣ４０６によって取得される、またはＡＩ計算入力としてアクセラレータチップ４０４によって再使用される、これら複数の第二メモリセルと、を含むことができる。そして、メモリチップ４０２は、非ＡＩ計算のためのメモリに使用される複数の第三セルを含むことができる。
また、ＳｏＣ４０６は、ＧＰＵ４０８を含み、アクセラレータチップ４０４は、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＧＰＵ４０８についてのＡＩ計算を実行して高速化するように設定されることができる。そして、アクセラレータチップ４０４はベクトルプロセッサ４１２を含み、このベクトルプロセッサは、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。
また、システム４００では、メモリチップ４０２内の複数の第一メモリセルは、１セットのピン４１６を介してＳｏＣ４０６から受信するＡＩ計算入力データを格納して提供するように構成され、このＡＩ計算入力データは、ＡＩ計算入力としてアクセラレータチップ４０４（例えば、ＡＩアクセラレータチップ）によって使用されることができる。そして、メモリチップ４０２内の複数の第二メモリセルは、他のセットのピン４１４を介してアクセラレータチップ４０４から受信するＡＩ計算出力データを格納して提供するように構成され、このＡＩ計算出力データは、ＳｏＣ４０６によって取得される、またはＡＩ計算入力としてアクセラレータチップ４０４によって再使用されることができる。そして、メモリチップ４０２内の複数の第三メモリセルは、１セットのピン４１６を介してＳｏＣ４０６から受信する非ＡＩタスクに関連する非ＡＩデータを格納するように構成され、この非ＡＩデータは、非ＡＩタスクのためのＳｏＣ４０６によって取得されることができる。
メモリチップ４０２内の複数の第一メモリセル、複数の第二メモリセル、及び複数の第三メモリセルは、それぞれ、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができ、ＮＶＲＡＭセルは３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
図５～７は、それぞれシステム５００、６００、及び７００、ならびに別個のメモリの例を示し、各システムは、図４に示されるメモリチップ４０２を含む。
図５では、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。メモリ２０４（例えば、ＮＶＲＡＭ）は、システム４００の第一メモリチップ４０２のメモリとは別のメモリである。そして、メモリ２０４はメインメモリであることができる。
システム５００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そして、システム５００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される。また、図５に示されるように、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ４０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム５００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム５００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム５００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図６では、図５と同様に、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。システム５００及び７００に関してシステム６００に一意である、第一メモリチップ４０２は、単一セットのピン６０２を含み、この単一セットのピンは、アクセラレータチップ４０４及びＳｏＣ４０６の両方にそれぞれ配線６１４及び６１６を介して第一メモリチップ４０２を直接接続する。また示されるように、システム６００では、アクセラレータチップ４０４は、配線６１４を介してアクセラレータチップ４０４を第一メモリチップ４０２に直接接続する単一セットのピン６０４を含む。さらに、システム６００では、ＳｏＣのＧＰＵは、配線６０６を介してＳｏＣ４０６を第一メモリチップ４０２に直接接続する１セットのピン６０６を含む。
システム６００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そして、システム６００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される（例えば、アクセラレータチップ４０４及び第一メモリチップ４０２はＳｏＣ４０６及びバス２０２を介したメモリ２０４への間接接続を有し、ＳｏＣ４０６はバス２０２を介したメモリ２０４への直接接続を有する）。また、図６に示されるように、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ４０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム６００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリ（例えば、ＮＶＲＡＭ）であり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム６００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム６００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図７では、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。また、システム７００では、バス２０２は、第一メモリチップ４０２をＳｏＣ４０６に接続するだけでなく、第一メモリチップ４０２をメモリ２０４にも接続する。そのうえ示されるように、システム７００では、バス２０２は、第一メモリチップ４０２の第二セットのピン４１６、ならびにＳｏＣ４０６及びＧＰＵ４０８の配線４２６及び１セットのピン４１７の代わりをする。システム７００内の第一メモリチップ４０２は、システム５００及び６００と同様に、システム４００のアクセラレータチップ４０４及びＳｏＣ４０６を接続する。ただし、この接続は、第一セットのピン４１４、及びバス２０２を介する。
また、システム５００及び６００と同様に、システム７００では、メモリ２０４は、システム４００の第一メモリチップ４０２のメモリとは別のメモリである。システム７００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そしてシステム７００では、システム７００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、システム７００では、バス２０２を介してメモリ２０４に接続される。また、図７に示されるものと同様に、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム７００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
またシステム７００では、メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリ（例えば、ＮＶＲＡＭ）であり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。さらに、アクセラレータチップ４０４は、いくつかの実施形態及び状況では、第一メモリチップ４０２及びバス２０２を介してメモリ２０４を使用することができる。それらのような例では、第一メモリチップ４０２は、アクセラレータチップ４０４及びメモリ２０４についてのキャッシュを含むことができる。そして、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及び／またはバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム７００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム７００では、メモリ２０４は、図９に示されるメインメモリ８０８であることができる。
本明細書に開示されるアクセラレータチップの実施形態（例えば、図１～３及び図４～７にそれぞれ示されるアクセラレータチップ１０２及びアクセラレータチップ４０４を参照）は、マイクロプロセッサチップまたはＳｏＣなどであることができる。アクセラレータチップの実施形態は、人工ニューラルネットワーク、マシンビジョン、及び機械学習を含む、ＡＩアプリケーションのハードウェア高速化のために設計されることができる。いくつかの実施形態では、アクセラレータチップ（例えば、ＡＩアクセラレータチップ）は、ベクトル及び行列に対して数値計算を実行するように設定されることができる。それらのような実施形態では、アクセラレータチップは、ベクトル及び行列に対して数値計算を実行するベクトルプロセッサを含むことができる（例えば、ベクトル及び行列に対して数値計算を実行するように設定されることができる、図１～３及び図４～７にそれぞれ示されるベクトルプロセッサ１１２及び４１２を参照）。
本明細書に開示されるアクセラレータチップの実施形態は、ＡＳＩＣもしくはＦＰＧＡである、またはそれを含むことができる。アクセラレータチップのＡＳＩＣ実施形態では、アクセラレータチップは、特定用途向け計算（ＡＩ計算など）の高速化に専用のハードワイヤードである。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵを超えた特定用途向け計算（ＡＩ計算など）の高速化のために変更されている、変更されたＦＰＧＡまたはＧＰＵであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵであることができる。
本明細書に説明されているＡＳＩＣは、特定用途向け計算（ＡＩ計算など）の高速化など、特定の使用または用途にカスタマイズされているＩＣを含むことができる。これは、ＣＰＵ、または一般にグラフィックス処理のためのものであるＧＰＵなどの別のタイプの汎用プロセッサによって通常実装される汎用用途とは異なる。
本明細書に記載のＦＰＧＡは、ＩＣ及びＦＰＧＡの製造後に設計される、及び／または設定されるＩＣに含まれることができる。したがって、ＩＣ及びＦＰＧＡはフィールドプログラマブルである。ＦＰＧＡ設定は、ハードウェア記述言語（ＨＤＬ）を使用して指定されることができる。同様に、ＡＳＩＣ設定はＨＤＬを使用して指定されることができる。
本明細書で説明されるＧＰＵは、ＩＣを含み、このＩＣは、メモリを迅速に操作して変更し、表示装置に出力されるフレームバッファ内の画像の生成及び更新を高速化するように設定されることができる。そして、本明細書で説明されるシステムは、ＧＰＵに接続される表示装置、ならびに表示装置及びＧＰＵに接続されるフレームバッファを含むことができる。本明細書に説明されるＧＰＵは、組み込みシステム、モバイルデバイス、パーソナルコンピュータ、ワークステーション、もしくはゲームコンソールの一部、または表示装置に接続され、この表示装置を使用する任意のデバイスであることができる。
本明細書に記載のマイクロプロセッサチップの実施形態は、それぞれ、少なくとも中央処理装置の機能を組み込む１つ以上の集積回路である。各マイクロプロセッサチップは、多目的であり、少なくともクロック及びレジスタを含むことができ、これらのクロック及びレジスタは、入力としてバイナリデータを受け入れ、マイクロプロセッサチップに接続されたメモリに格納された命令に従ってレジスタ及びクロックを使用してデータを処理することによってチップを実装する。データを処理すると、マイクロプロセッサチップは入力及び命令の結果を出力として提供することができる。そして、この出力は、マイクロプロセッサチップに接続されたメモリに提供されることができる。
本明細書で説明されるＳｏＣの実施形態は、それぞれ、コンピュータまたは他の電子システムのコンポーネントを集積する１つ以上の集積回路である。いくつかの実施形態では、ＳｏＣは単一のＩＣである。他の実施形態では、ＳｏＣは、分離され接続された集積回路を含むことができる。いくつかの実施形態では、ＳｏＣは、独自のＣＰＵ、メモリ、入出力ポート、セカンダリストレージ、またはそれらの任意の組み合わせを含むことができる。それらのような１つ以上のパーツは、本明細書で説明されるＳｏＣ内の単一の基板またはマイクロプロセッサチップ上にあることができる。いくつかの実施形態では、ＳｏＣは、２５セント硬貨、５セント硬貨、または１０セント硬貨よりも小さい。ＳｏＣのいくつかの実施形態は、モバイルデバイス（スマートフォンまたはタブレットコンピュータなど）、組み込みシステム、またはモノのインターネット内のデバイスの一部であることができる。一般に、ＳｏＣは、機能に基づいてコンポーネントを分離させてこれらのコンポーネントを、中央のインタフェース回路基板を介して接続するマザーボードベースのアーキテクチャを有するシステムとは異なる。
アクセラレータチップ（例えば、ＡＩアクセラレータチップ）に直接接続される、本明細書に記載のメモリチップの実施形態（例えば、図１～３に示される第一メモリチップ１０４、または図４～７に示される第一メモリチップ４０２を参照）は、システム全体の複数のメモリチップを説明するときに明確にするために、本明細書では特定用途向けメモリチップとも称される。本明細書に記載される特定用途向けメモリチップは、必ずしも特定用途向け計算（ＡＩ計算など）専用のハードワイヤードであるとは限らない。特定用途向けメモリチップのそれぞれは、ＤＲＡＭチップもしくはＮＶＲＡＭチップ、またはＤＲＡＭチップかＮＶＲＡＭチップかいずれかと同様の機能を有するメモリデバイスであることができる。そして、特定用途向けメモリチップのそれぞれは、アクセラレータチップ（例えば、ＡＩアクセラレータチップ、例えば、図１～３に示されるアクセラレータチップ１０２、及び図４～７に示されるアクセラレータチップ４０４を参照）に直接接続されることができ、特定用途向けメモリチップがアクセラレータチップまたは別個のＳｏＣもしくはプロセッサ（例えば、図１～３及び図４～７にそれぞれ示されるＳｏＣ１０６及び４０６を参照）によって構成された後、アクセラレータチップによって特定用途向け計算（ＡＩ計算など）の高速化専用のメモリユニットまたはセルを含むことができる。
本明細書で説明されるＤＲＡＭチップは、コンデンサ及びトランジスタ（ＭＯＳＦＥＴなど）を有するメモリセルまたはユニットにデータの各ビットを格納するランダムアクセスメモリを含むことができる。本明細書で説明されるＤＲＡＭチップは、ＩＣチップの形態を取り、数十億個のＤＲＡＭメモリユニットまたはセルを含むことができる。各ユニットまたはセルでは、コンデンサは充電されるか、放電されるかいずれかであることができる。これにより、１ビットの中の２値を表すために使用される２つのステートを提供することができる。コンデンサでの電荷はコンデンサから緩徐に漏れる可能性があるため、コンデンサ及びメモリユニットのステートを維持するには、コンデンサ内のデータを定期的にリライトする外部メモリリフレッシュ回路が必要である。また、ＤＲＡＭは、電源が切断されるとすぐにそのデータを失うという点で、揮発性メモリであり、フラッシュメモリまたはＮＶＲＡＭなどの不揮発性メモリではない。ＤＲＡＭチップの利点は、低コストで大容量のコンピュータメモリを必要とするデジタル電子機器でＤＲＡＭチップが使用されることができることである。ＤＲＡＭは、ＧＰＵ専用のメインメモリまたはメモリとして使用するのにも役立つ。
本明細書に説明されるＮＶＲＡＭチップは、ＤＲＡＭとの主な差別化特徴である不揮発性のランダムアクセスメモリを含むことができる。本明細書で説明される実施形態に使用されることができるＮＶＲＡＭユニットまたはセルの一例は、３Ｄ ＸＰｏｉｎｔユニットまたはセルを含むことができる。３Ｄ ＸＰｏｉｎｔユニットまたはセルでは、ビットストレージは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づく。
本明細書で説明されるＳｏＣの実施形態は、メインプロセッサ（ＣＰＵまたはＣＰＵを含むメインプロセッサなど）を含むことができる。例えば、図１～３に示されるＳｏＣ１０６、及び図４～７に示されるＳｏＣ４０６だけでなく、図１～７に示されるメインプロセッサ１１０も参照されたい。それらのような実施形態では、ＳｏＣ内のＧＰＵ（例えば、図１～３に示されるＧＰＵ１０８、及び図４～７に示されるＧＰＵ４０８を参照）は、特定用途向けタスク及び計算（ＡＩタスク及び計算など）のための命令を実行することができ、メインプロセッサは、非特定用途向けタスク及び計算（非ＡＩタスク及び計算など）のための命令を実行することができる。そして、それらのような実施形態では、ＳｏＣに接続されるアクセラレータチップ（例えば、図１～７に示されるアクセラレータチップのいずれか１つを参照）は、ＧＰＵ専用の特定用途向けタスク及び計算（ＡＩタスク及び計算など）の高速化を提供することができる。本明細書で説明されるＳｏＣの実施形態のそれぞれは、ＳｏＣのコンポーネントを相互接続する（メインプロセッサ及びＧＰＵを接続するなどの）ために独自のバスを含むことができる。また、ＳｏＣのバスは、ＳｏＣをＳｏＣの外部のバスに接続するように構成されることができるため、ＳｏＣのコンポーネントは、別のメモリまたはメモリチップ（例えば、図２～３及び図５～７に示されるメモリ２０４、ならびに図８～９に示されるメインメモリ８０８を参照）などのＳｏＣの外部のチップ及びデバイスと結合することができる。
ＧＰＵの非特定用途向け計算及びタスク（例えば、非ＡＩ計算及びタスク）、またはアクセラレータチップを使用しない特定用途向け計算及びタスク（例えば、ＡＩ計算及びタスク）は、メインプロセッサによって実行される従来のタスクではない可能性があるが、別個のメモリチップなどの別個のメモリ（特定用途向けメモリであることができる）を使用することができ、このメモリは、ＤＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、またはそれらの任意の組み合わせによって実装されることができる。例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照されたい。別個のメモリまたはメモリチップは、ＳｏＣの外部のバスを介してＳｏＣ及びメインプロセッサ（例えば、ＣＰＵ）に接続されることができる（例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照、そして図２～３及び図５～７に示されるバス２０２だけでなく、図８～９に示されるバス８０４も参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサ専用のメモリユニットを有することができる。また、別個のメモリまたはメモリチップは、ＳｏＣの外部のバスを介してＳｏＣ及びＧＰＵに接続されることができる。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサまたはＧＰＵにメモリユニットまたはセルを含むことができる。
本開示の目的のために、本明細書に記載の特定用途向けメモリまたはメモリチップ（例えば、図１～３に示される第一メモリチップ１０４または図４～７に示される第一メモリチップ４０２を参照）、及び本明細書に記載の別個のメモリまたはメモリチップ（例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照）がそれぞれ、メモリチップストリング（例えば、図１０及び１１に示されるメモリチップストリングを参照）などのメモリチップ群で置換されることができることを理解されたい。例えば、別個のメモリまたはメモリチップは、少なくともＮＶＲＡＭチップ及びそのＮＶＲＡＭチップの下流にあるフラッシュメモリチップを含むメモリチップストリングで置換されることができる。また、別個のメモリチップは、少なくとも２つのメモリチップで置換されることができ、これらのチップのうちの１つはメインプロセッサ（例えば、ＣＰＵ）用であり、もう１つのチップは非ＡＩ計算及び／またはタスクのためのメモリとして使用するためのＧＰＵ用である。
本明細書に記載のメモリチップの実施形態は、メインメモリの一部であることができる、及び／またはコンピュータでの即時使用のために、または本明細書に記載のプロセッサのいずれか１つ（例えば、本明細書に記載の任意のＳｏＣまたはアクセラレータチップ）による即時使用のために情報を格納するコンピュータハードウェアであることができる。本明細書に説明されるメモリチップは、コンピュータストレージよりも高速で動作することができる。コンピュータストレージによって、情報にアクセスする速度が遅くなるが、その容量が増え、データの信頼性が高くなることもできる。本明細書で説明されるメモリチップは、高い動作速度を有することができるメモリの１つのタイプであるＲＡＭを含むことができる。メモリは、アドレス指定可能な半導体メモリユニットまたはセルで構成されることができ、そのユニットまたはセルは、ＭＯＳＦＥＴによって少なくとも部分的に実装されることができる。
さらに、本明細書に開示される少なくともいくつかの実施形態は、ベクトルプロセッサ（例えば、図１～３及び図４～７にそれぞれ示されるベクトルプロセッサ１１２及び４１２を参照）を有するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。そして、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する（例えば、図１０及び１１を参照）。
本明細書で説明されるベクトルプロセッサの実施形態はそれぞれＩＣであり、各ＩＣは、ベクトルと称される一次元配列のデータ、または行列と称される多次元配列のデータ上で動作する命令を含む命令セットを実装することができる。ベクトルプロセッサは、命令がシングルデータ項目上で動作するスカラープロセッサとは異なる。いくつかの実施形態では、ベクトルプロセッサは、単に命令をパイプライン化するだけでなく、データ自体をパイプライン化することができる。パイプライン化は、命令、またはベクトルプロセッサの場合にはデータ自体が、複数のサブユニットを順に通過するプロセスを含むことができる。いくつかの実施形態では、ベクトルプロセッサは、数のベクトルまたは行列に対して同時に算術演算を指令する命令を供給される。連続的に命令を復号してから、それらの命令を完了するために必要なデータをフェッチしなければならない代わりに、ベクトルプロセッサは、メモリから単一の命令を読み出し、命令自体の定義では、命令が最後より１インクリメント大きいアドレスで別のデータ項目上で再度動作することが単に黙示される。これにより、復号時間を大幅に節約できる。
図８は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス８００のパーツ配置の一例を示す。コンピューティングデバイス８００のパーツ配置の一例は、図１に示されるシステム１００、図２に示されるシステム２００、図４に示されるシステム４００、図５に示されるシステム５００、及び図６に示されるシステム６００を含むことができる。コンピューティングデバイス８００では、特定用途向けコンポーネント（例えば、図８の特定用途向けコンポーネント８０７を参照）は、ＡＩコンポーネントであることができ、図１、２、４、５及び６にそれぞれ配置されて示される第一メモリチップ１０４または４０２及びアクセラレータチップ１０２または４０４だけでなく、図１、２、４、５及び６にそれぞれ構成されて示されるＳｏＣ１０６または４０６を含むことができる。コンピューティングデバイス８００では、配線は、特定用途向けコンポーネントのコンポーネントを相互に直接接続する（例えば、図１～２及び図４～６にそれぞれ示される配線１２４及び４２４ならびに配線６１４を参照）。そして、コンピューティングデバイス８００では、配線は、特定用途向けコンポーネントをＳｏＣに直接接続する（例えば、特定用途向けコンポーネントをＳｏＣ８０６に直接接続する配線８１７を参照）。特定用途向けコンポーネントをＳｏＣに直接接続する配線は、図１及び２に示されるような配線１２６、または図４及び５に示されるような配線４２６を含むことができる。また、特定用途向けコンポーネントをＳｏＣに直接接続する配線は、図６に示されるような配線６１６を含むことができる。
コンピューティングデバイス８００は、図８に示されるようなコンピュータネットワーク８０２を介して他のコンピューティングデバイスに通信可能に結合されることができる。コンピューティングデバイス８００は、少なくともバス８０４（メモリバスとペリフェラルバスの組み合わせなど、１つ以上のバスであることができる）、ＳｏＣ８０６（ＳｏＣ１０６または４０６である、またはそれを含むことができる）、特定用途向けコンポーネント８０７（アクセラレータチップ１０２及び第一メモリチップ１０４または第一メモリチップ４０２及びアクセラレータチップ４０４であることができる）、及びメインメモリ８０８（メモリ２０４である、またはそれを含むことができる）だけでなく、ネットワークインタフェース８１０及びデータストレージシステム８１２も含む。バス８０４は、ＳｏＣ８０６、メインメモリ８０８、ネットワークインタフェース８１０、及びデータストレージシステム８１２を通信可能に結合する。そして、バス８０４は、バス２０２、及び／または配線１２６、４２６、または６１６などのポイントツーポイントメモリ接続を含むことができる。コンピューティングデバイス８００は、コンピュータシステムを含み、このコンピュータシステムは、少なくとも、ＳｏＣ８０６内の１つ以上のプロセッサ、メインメモリ８０８（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）などのＤＲＡＭ、ＮＶＲＡＭ、ＳＲＡＭなど）、及びデータストレージシステム８１２を含み、これらは、バス８０４（１つ以上のバス及び配線を含むことができる）を介して相互に通信する。
メインメモリ８０８（メモリ２０４である、それを含む、またはそれに含まれることができる）は、図１０に示されるメモリストリング１０００を含むことができる。また、メインメモリ８０８は、図１１に示されるメモリストリング１１００を含むことができる。いくつかの実施形態では、データストレージシステム８１２は、メモリストリング１０００またはメモリストリング１１００を含むことができる。
ＳｏＣ８０６は、マイクロプロセッサ、ＣＰＵなどのような１つ以上の汎用処理デバイスを含むことができる。また、ＳｏＣ８０６は、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、プロセッサインメモリ（ＰＩＭ）などのような１つ以上の専用処理デバイスを含むことができる。ＳｏＣ８０６は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサを有する１つ以上のプロセッサ、または他の命令セットを実施するプロセッサ、または命令セットの組み合わせを実施するプロセッサとすることができる。ＳｏＣ８０６のプロセッサは、本明細書で論じられる動作及びステップを遂行するための命令を実行するように構成することができる。ＳｏＣ８０６はさらに、１つ以上の通信ネットワーク（例えば、ネットワーク８０２）を介して通信するために、ネットワークインタフェースデバイス、例えばネットワークインタフェース８１０を含むことができる。
データストレージシステム８１２は、本明細書で説明する方法または機能のうちのいずれか１つ以上を具現化する１つ以上の命令セットまたはソフトウェアが記憶されるマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。また命令は、コンピュータシステムがそれを実行する間に、メインメモリ８０８内に、及び／またはＳｏＣ８０６のプロセッサのうちの１つ以上の内に、完全に、または少なくとも部分的に存在することができる。またメインメモリ８０８及びＳｏＣ８０６の１つ以上のプロセッサはマシン可読記憶媒体を構成する。
メモリ、プロセッサ、及びデータ記憶装置部分を、例示的な実施形態においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してそのそれぞれの動作を実行できる単一部分または複数部分を含むと解釈されるべきである。また用語「マシン可読記憶媒体」には、任意の媒体であって、マシンが実行するように命令のセットを記憶または符号化することができ、本開示の方法のいずれか１つ以上をマシンに行わせる媒体が含まれると解釈すべきである。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈されるものとする。
図９は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス９００のパーツ配置の別の例を示す。コンピューティングデバイス９００のパーツ配置の例は、図３に示されるシステム３００、及び図７に示されるシステム７００を含むことができる。コンピューティングデバイス９００では、特定用途向けコンポーネント（例えば、図９の特定用途向けコンポーネント８０７を参照）は、ＡＩコンポーネントであることができ、図３及び７にそれぞれ配置されて示されるような第一メモリチップ１０４または４０２及びアクセラレータチップ１０２または４０４だけでなく、図３及び７にそれぞれ構成されて示されるようなＳｏＣ１０６または４０６も含むことができる。コンピューティングデバイス９００では、配線は、特定用途向けコンポーネントのコンポーネントを相互に直接接続する（例えば、図３及び７にそれぞれ示される配線１２４及び４２４を参照）。ただし、コンピューティングデバイス９００では、配線は、特定用途向けコンポーネントをＳｏＣに直接接続しない。代替に、コンピューティングデバイス９００では、１つ以上のバスは、特定用途向けコンポーネントをＳｏＣに接続する（例えば、図９に構成されて示されるバス８０４、ならびに図３及び７に構成されて示されるバス２０２を参照）。
図８及び９に示されるように、デバイス８００及び９００は、多くの同様のコンポーネントを含む。コンピューティングデバイス９００は、図９に示されるようなコンピュータネットワーク８０２を介して他のコンピューティングデバイスに通信可能に結合されることができる。同様に、図９に示されるように、コンピューティングデバイス９００は、少なくとも、バス８０４（メモリバス及びペリフェラルバスの組み合わせなど、１つ以上のバスであることができる）、ＳｏＣ８０６（ＳｏＣ１０６もしくは４０６である、またはそれを含むことができる）、特定用途向けコンポーネント８０７（アクセラレータチップ１０２及び第一メモリチップ１０４または第一メモリチップ４０２及びアクセラレータチップ４０４であることができる）、及びメインメモリ８０８（メモリ２０４である、またはそれを含むことができる）だけでなく、ネットワークインタフェース８１０及びデータストレージシステム８１２も含む。同様に、バス８０４は、ＳｏＣ８０６、メインメモリ８０８、ネットワークインタフェース８１０、及びデータストレージシステム８１２を通信可能に結合する。そして、バス８０４は、バス２０２、及び／または配線１２６、４２６、または６１６などのポイントツーポイントメモリ接続を含むことができる。
上述のように、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する。
図１０及び１１は、それぞれメモリチップストリング１０００及び１１００の例を示し、これらは、図２～３及び図５～７に示される別個のメモリ（すなわち、メモリ２０４）で使用されることができる。
図１０では、メモリチップストリング１０００は、第一メモリチップ１００２及び第二メモリチップ１００４を含む。第一メモリチップ１００２は、第二メモリチップ１００４に直接配線され（例えば、配線１０２２を参照）、第二メモリチップと直接インタラクトするように構成される。メモリチップストリング１０００内の各チップは、このストリング内の上流チップ及び／または下流チップに接続するために、１セット以上のピンを含むことができる（例えば、ピン１０１２及び１０１４のセットを参照）。いくつかの実施形態では、メモリチップストリング１０００内の各チップは、ＩＣパッケージ内に封入される単一のＩＣを含むことができる。
図１０に示されるように、１セットのピン１０１２は第一メモリチップ１００２の一部であり、配線１０２２、及び第二メモリチップ１００４の一部である１セットのピン１０１４を介して第一メモリチップ１００２を第二メモリチップ１００４に接続する。配線１０２２は、２セットのピン１０１２及び１０１４を接続する。
いくつかの実施形態では、第二メモリチップ１００４は、ストリング１０００内のチップの中で最も低いメモリ帯域幅を有することができる。それらのような実施形態及び他の実施形態では、第一メモリチップ１００２は、ストリング１０００内のチップの中で最も高いメモリ帯域幅を有することができる。いくつかの実施形態では、第一メモリチップ１００２は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第一メモリチップ１００２は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１００４は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１００４は、ＮＶＲＡＭチップである、またはそれを含む。そして、いくつかの実施形態では、第二メモリチップ１００４は、フラッシュメモリチップである、またはそれを含む。
図１１では、メモリチップストリング１１００は、第一メモリチップ１１０２、第二メモリチップ１１０４、及び第三メモリチップ１１０６を含む。第一メモリチップ１１０２は、第二メモリチップ１１０４に直接配線され（例えば、配線１１２２を参照）、第二メモリチップと直接インタラクトするように構成される。第二メモリチップ１１０４は、第三メモリチップ１１０６に直接配線され（例えば、配線１１２４を参照）、第三メモリチップと直接インタラクトするように構成される。それらのような方法では、第一及び第三メモリチップ１１０２及び１１０６は、第二メモリチップ１１０４を介して間接的に相互にインタラクトする。
メモリチップストリング１１００内の各チップは、このストリング内の上流チップ及び／または下流チップに接続するために、１セット以上のピンを含むことができる（例えば、ピン１１１２、１１１４、１１１６、及び１１１８のセットを参照）。いくつかの実施形態では、メモリチップストリング１１００内の各チップは、ＩＣパッケージ内に封入される単一のＩＣを含むことができる。
図１１に示されるように、１セットのピン１１１２は第一メモリチップ１１０２の一部であり、配線１１２２、及び第二メモリチップ１１０４の一部である１セットのピン１１１４を介して、第一メモリチップ１１０２を第二メモリチップ１１０４に接続する。配線１１２２は、２セットのピン１１１２及び１１１４を接続する。また、１セットのピン１１１６は、第二メモリチップ１１０４の一部であり、配線１１２４、及び第三メモリチップ１１０６の一部である１セットのピン１１１８を介して、第二メモリチップ１１０４を第三メモリチップ１１０６に接続する。配線１１２４は、２セットのピン１１１６及び１１１８を接続する。
いくつかの実施形態では、第三メモリチップ１１０６は、ストリング１１００内のチップの中で最も低いメモリ帯域幅を有することができる。それらのような実施形態及び他の実施形態では、第一メモリチップ１１０２は、ストリング１１００内のチップの中で最も高いメモリ帯域幅を有することができる。また、それらのような実施形態及び他の実施形態では、第二メモリチップ１１０４は、ストリング１１００内のチップの中でその次に最も高いメモリ帯域幅を有することができる。いくつかの実施形態では、第一メモリチップ１１０２は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第一メモリチップ１１０２は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、フラッシュメモリチップである、またはそれを含む。いくつかの実施形態では、第三メモリチップ１１０６は、ＮＶＲＡＭチップである、またはそれを含む。そして、いくつかの実施形態では、第三メモリチップ１１０６は、フラッシュメモリチップである、またはそれを含む。
１つ以上のＤＲＡＭチップを有する実施形態では、ＤＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭのメモリユニットアレイを含むことができる。また、本明細書で説明されるＤＲＡＭチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のＤＲＡＭユニットとは異なることができる。例えば、ＤＲＡＭチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
１つ以上のＮＶＲＡＭチップを有する実施形態では、ＮＶＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびに３Ｄ ＸＰｏｉｎｔメモリユニットなどのＮＶＲＡＭメモリユニットのアレイを含むことができる。また、本明細書で説明されるＮＶＲＡＭチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のＮＶＲＡＭユニットとは異なることができる。例えば、ＮＶＲＡＭチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
いくつかの実施形態では、ＮＶＲＡＭチップは、不揮発性メモリセルのクロスポイントアレイを含むことができる。クロスポイント型不揮発性メモリアレイは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づいてビットストレージを実行することができる。さらに、多くのフラッシュベースのメモリとは対照的に、クロスポイント型不揮発性メモリは、不揮発性メモリセルが事前に消去されることなく、不揮発性メモリセルがプログラムされることができる、インプレース書き込み操作を実行することができる。
本明細書で上述されるように、ＮＶＲＡＭチップは、クロスポイントストレージ及びメモリデバイス（例えば、３Ｄ ＸＰｏｉｎｔメモリ）であることができる、またはそれらを含むことができる。クロスポイントメモリデバイスは、トランジスタレスメモリ素子を使用し、各メモリ素子は、カラムとして合わせて積層されるメモリセル及びセレクタを含む。メモリ素子のカラムは、垂直二層のワイヤを介して接続され、一層はメモリ素子のカラムより上にあり、もう一層はメモリ素子のカラムより下にある。各メモリ素子は、二層のそれぞれの上に１本のワイヤの交点で個別に選択されることができる。クロスポイントメモリデバイスは、高速で不揮発性であり、処理及びストレージのためのユニファイドメモリプールとして使用されることができる。
１つ以上のフラッシュメモリチップを有する実施形態では、フラッシュメモリチップは、コマンド及びアドレスの復号のための論理回路、ならびにＮＡＮＤ型フラッシュメモリユニットなどのフラッシュメモリのメモリユニットのアレイを含むことができる。また、本明細書で説明されるフラッシュメモリチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のフラッシュメモリユニットとは異なることができる。例えば、フラッシュメモリチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
また、例えば、メモリチップストリングの一実施形態は、ＤＲＡＭからＤＲＡＭからＮＶＲＡＭ、またはＤＲＡＭからＮＶＲＡＭからＮＶＲＡＭ、またはＤＲＡＭからフラッシュメモリからフラッシュメモリを含むことができる。ただし、ＤＲＡＭからＮＶＲＡＭからフラッシュメモリは、マルチティアメモリとして柔軟にプロビジョニングされるメモリチップストリングに、より効果的なソリューションを提供することができる。
また、本開示の目的のために、ＤＲＡＭ、ＮＶＲＡＭ、３Ｄ ＸＰｏｉｎｔメモリ、及びフラッシュメモリが個々のメモリユニットのための技法であること、そして本明細書に記載のメモリチップのいずれか１つのためのメモリチップがコマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭ、ＮＶＲＡＭ、３Ｄ ＸＰｏｉｎｔメモリ、またはフラッシュメモリのメモリユニットアレイを含むことができることを理解されたい。例えば、本明細書で説明されるＤＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭのメモリユニットアレイを含む。例えば、本明細書で説明されるＮＶＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＮＶＲＡＭのメモリユニットアレイを含む。例えば、本明細書で説明されるフラッシュメモリチップは、コマンド及びアドレスの復号のための論理回路、ならびにフラッシュメモリのメモリユニットアレイを含む。
また、本明細書で説明されるメモリチップのいずれか１つのためのメモリチップは、着信及び／または発信データのためのキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のユニットとは異なってもよい。例えば、キャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の請求項に述べる本開示の実施形態のより広い趣旨及び範囲から逸脱することなく、様々な変更を加えることができることが明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。
本明細書に開示される少なくともいくつかの実施形態は、ＳｏＣ及びアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を接続するメモリチップ（例えば、ＤＲＡＭ）に関する。換言すれば、本明細書に開示される少なくともいくつかの実施形態は、メモリチップを介してアクセラレータチップ（例えば、ＡＩアクセラレータチップ）をＳｏＣに接続することに関する。アクセラレータチップは、メモリチップを介して間接的にＳｏＣと通信する。メモリチップによってＳｏＣ及びアクセラレータチップを接続するメモリチップに置かれるデータは、アクセラレータチップへの要求であると解釈される。また、ＳｏＣは、ＳｏＣ及びアクセラレータチップを接続するメモリチップを、アクセラレータチップに関与しないその動作のために任意選択で使用してもよい。したがって、ＳｏＣ及びアクセラレータチップを接続するメモリチップは、ＳｏＣに使用される目的、及びアクセラレータチップに使用される目的という２つの一般的な目的を有することができる。それらのような実施形態のいくつかの例については、図４～７に示される、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を参照されたい。また、図８～９に示されるＳｏＣ８０６及び特定用途向けコンポーネント８０７を参照されたい。特定用途向けコンポーネント８０７は、デバイス８００及び９００のいくつかの実施形態では、第一メモリチップ４０２及びアクセラレータチップ４０４を含むことができる。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップであること、またはそれを含むこと、またはその一部であることができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、人工知能（ＡＩ）アクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。例えば、本明細書に記載のアクセラレータチップのいずれか１つは、ＡＩアクセラレータチップであること、またはそれを含むこと、またはその一部であることができる。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップであること、またはそれを含むこと、またはその一部であることができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、ＡＩアクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。
データストレージシステム８１２は、本明細書で説明する方法または機能のうちのいずれか１つ以上を具現化する１つ以上の命令セットまたはソフトウェアが記憶されるマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。また命令は、コンピュータシステムがそれを実行する間に、メインメモリ８０８内に、及び／またはＳｏＣ８０６のプロセッサのうちの１つ以上の内に、完全に、または少なくとも部分的に存在することができる。またメインメモリ８０８及びＳｏＣ８０６の１つ以上のプロセッサ５０６はマシン可読記憶媒体を構成する。

Claims (20)

  1. アクセラレータチップ、及び
    メモリチップを含むシステムであって、
    前記メモリチップは、
    配線を介してシステムオンチップ（ＳｏＣ）に接続するように構成される１セットのピン、及び
    前記１セットのピンを介して前記ＳｏＣから受信する計算入力データを格納して提供するように構成される複数の第一メモリセルであって、前記計算入力データは計算入力として前記アクセラレータチップによって使用される、前記複数の第一メモリセル、
    を含む、前記システム。
  2. 前記アクセラレータチップは、人工知能（ＡＩ）アクセラレータチップであり、前記複数の第一メモリセルは、前記１セットのピンを介して前記ＳｏＣから受信するＡＩ計算入力データを格納して提供するように構成され、前記ＡＩ計算入力データは、ＡＩ計算入力として前記ＡＩアクセラレータチップによって使用される、請求項１に記載のシステム。
  3. 前記メモリチップは、
    配線を介して前記アクセラレータチップに接続するように構成される別の１セットのピン、及び
    前記アクセラレータチップから他の１セットのピンを介して受信する第一計算出力データを格納して提供するように構成される複数の第二メモリセルであって、前記第一計算出力データは前記ＳｏＣによって取得される、または計算入力として前記アクセラレータチップによって再使用される、前記複数の第二メモリセル、
    を含む、請求項１に記載のシステム。
  4. 前記メモリチップは、前記１セットのピンを介して前記ＳｏＣから受信する第二計算出力データを格納するように構成される複数の第三メモリセルを含み、前記第二計算出力データは前記ＳｏＣによって取得される、請求項３に記載のシステム。
  5. 前記複数の第一メモリセル、前記複数の第二メモリセル、及び前記複数の第三メモリセルは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）セルを含む、請求項４に記載のシステム。
  6. 前記複数の第一メモリセル、前記複数の第二メモリセル、及び前記複数の第三メモリセルは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）セルを含む、請求項４に記載のシステム。
  7. 前記ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルを含む、請求項６に記載のシステム。
  8. 前記アクセラレータチップは、ベクトルプロセッサを含み、前記ベクトルプロセッサは、前記複数の第一メモリセル及び前記複数の第二メモリセルをメモリとして使用して、前記ＳｏＣについてのベクトル及び行列に対して数値計算を実行するように設定される、請求項３に記載のシステム。
  9. 前記アクセラレータチップは、特定用途向け集積回路（ＡＳＩＣ）を含み、前記ＡＳＩＣは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介してＡＩ計算を高速化するための専用ハードワイヤードである、請求項８に記載のシステム。
  10. 前記アクセラレータチップは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み、前記ＦＰＧＡは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介してＡＩ計算を高速化するための専用ハードワイヤードである、請求項８に記載のシステム。
  11. アクセラレータチップ、
    システムオンチップ（ＳｏＣ）、及び
    メモリチップを含むシステムであって、
    前記メモリチップは、
    配線を介して前記ＳｏＣに接続するように構成される１セットのピン、及び
    前記１セットのピンを介して前記ＳｏＣから受信する計算入力データを格納して提供するように構成される複数の第一メモリセルであって、前記計算入力データは計算入力として前記アクセラレータチップによって使用される、前記複数の第一メモリセル、
    を含む、前記システム。
  12. 前記メモリチップは、
    配線を介して前記アクセラレータチップに接続するように構成される別の１セットのピン、及び
    前記アクセラレータチップから他の１セットのピンを介して受信する第一計算出力データを格納して提供するように構成される複数の第二メモリセルであって、前記第一計算出力データは前記ＳｏＣによって取得される、または第一計算入力として前記アクセラレータチップによって再使用される、前記複数の第二メモリセル、
    を含む、請求項１１に記載のシステム。
  13. 前記ＳｏＣは、グラフィックスプロセッシングユニット（ＧＰＵ）を含み、前記アクセラレータチップは、前記複数の第一メモリセル及び前記複数の第二メモリセルをメモリとして使用して前記ＧＰＵについての計算を実行して高速化するように設定される、請求項１２に記載のシステム。
  14. 前記アクセラレータチップは、ベクトルプロセッサを含み、前記ベクトルプロセッサは、前記複数の第一メモリセル及び前記複数の第二メモリセルをメモリとして使用して、前記ＧＰＵについてのベクトル及び行列に対して数値計算を実行するように設定される、請求項１３に記載のシステム。
  15. 配線を介してシステムオンチップ（ＳｏＣ）に接続するように構成される１セットのピン、及び
    前記１セットのピンを介して前記ＳｏＣから受信する人工知能（ＡＩ）計算入力データを格納して提供するように構成される複数の第一メモリセルであって、前記ＡＩ計算入力データはＡＩ計算入力としてＡＩアクセラレータチップによって使用される、前記複数の第一メモリセル、
    を含む、メモリチップ。
  16. 配線を介して前記アクセラレータチップに接続するように構成される別の１セットのピン、及び
    前記ＡＩアクセラレータチップから他の１セットのピンを介して受信するＡＩ計算出力データを格納して提供するように構成される複数の第二メモリセルであって、前記ＡＩ計算出力データは前記ＳｏＣによって取得される、またはＡＩ計算入力として前記ＡＩアクセラレータチップによって再使用される、前記複数の第二メモリセル、
    を含む、請求項１５に記載のメモリチップ。
  17. 前記１セットのピンを介して前記ＳｏＣから受信する非ＡＩタスクに関連する非ＡＩデータを格納するように構成される複数の第三メモリセルを含み、前記非ＡＩデータは非ＡＩタスクのための前記ＳｏＣによって取得される、請求項１６に記載のメモリチップ。
  18. 前記複数の第一メモリセル、前記複数の第二メモリセル、及び前記複数の第三メモリセルは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）セルを含む、請求項１７に記載のメモリチップ。
  19. 前記複数の第一メモリセル、前記複数の第二メモリセル、及び前記複数の第三メモリセルは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）セルを含む、請求項１７に記載のメモリチップ。
  20. 前記ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルを含む、請求項１９に記載のメモリチップ。
JP2022517123A 2019-09-17 2020-09-14 システムオンチップ及びアクセラレータチップを接続するメモリチップ Pending JP2022548641A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/573,805 2019-09-17
US16/573,805 US11397694B2 (en) 2019-09-17 2019-09-17 Memory chip connecting a system on a chip and an accelerator chip
PCT/US2020/050713 WO2021055280A1 (en) 2019-09-17 2020-09-14 Memory chip connecting a system on a chip and an accelerator chip

Publications (1)

Publication Number Publication Date
JP2022548641A true JP2022548641A (ja) 2022-11-21

Family

ID=74869510

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517123A Pending JP2022548641A (ja) 2019-09-17 2020-09-14 システムオンチップ及びアクセラレータチップを接続するメモリチップ

Country Status (8)

Country Link
US (2) US11397694B2 (ja)
EP (1) EP4032032A4 (ja)
JP (1) JP2022548641A (ja)
KR (1) KR20220041226A (ja)
CN (1) CN114402308A (ja)
AU (1) AU2020349448A1 (ja)
TW (1) TW202117551A (ja)
WO (1) WO2021055280A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11416422B2 (en) 2019-09-17 2022-08-16 Micron Technology, Inc. Memory chip having an integrated data mover
US20230051863A1 (en) * 2021-08-10 2023-02-16 Micron Technology, Inc. Memory device for wafer-on-wafer formed memory and logic
TWI819480B (zh) * 2022-01-27 2023-10-21 緯創資通股份有限公司 加速系統及其動態配置方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5715298A (en) * 1980-07-02 1982-01-26 Panafacom Ltd Storage protection system for common memory
JPH01116861A (ja) * 1987-10-30 1989-05-09 Matsushita Graphic Commun Syst Inc データ転送システム
JP2007011882A (ja) * 2005-07-01 2007-01-18 Teikoku Electric Mfg Co Ltd コントローラ
JP2007220085A (ja) * 2006-01-18 2007-08-30 Marvell World Trade Ltd プロセッサアーキテクチャ
JP2018067049A (ja) * 2016-10-17 2018-04-26 富士電機株式会社 マルチプロセッサシステム
US20190114534A1 (en) * 2017-10-17 2019-04-18 Xilinx, Inc. Neural network processing system having multiple processors and a neural network accelerator

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030112613A1 (en) 2002-10-22 2003-06-19 Hitachi, Ltd. IC card
JP2003006041A (ja) 2001-06-20 2003-01-10 Hitachi Ltd 半導体装置
US20030023958A1 (en) * 2001-07-17 2003-01-30 Patel Mukesh K. Intermediate language accelerator chip
US20030212845A1 (en) 2002-05-07 2003-11-13 Court John William Method for high-speed data transfer across LDT and PCI buses
US7739479B2 (en) 2003-10-02 2010-06-15 Nvidia Corporation Method for providing physics simulation data
US20050086040A1 (en) 2003-10-02 2005-04-21 Curtis Davis System incorporating physics processing unit
US7895411B2 (en) 2003-10-02 2011-02-22 Nvidia Corporation Physics processing unit
US7185153B2 (en) 2003-12-18 2007-02-27 Intel Corporation Packet assembly
US7210008B2 (en) 2003-12-18 2007-04-24 Intel Corporation Memory controller for padding and stripping data in response to read and write commands
US7206915B2 (en) 2004-06-03 2007-04-17 Emc Corp Virtual space manager for computer having a physical address extension feature
US7406634B2 (en) 2004-12-02 2008-07-29 Cisco Technology, Inc. Method and apparatus for utilizing an exception handler to avoid hanging up a CPU when a peripheral device does not respond
US20070165457A1 (en) 2005-09-30 2007-07-19 Jin-Ki Kim Nonvolatile memory system
EP2132635B1 (en) 2007-03-30 2017-08-16 Rambus Inc. System including hierarchical memory modules having different types of integrated circuit memory devices
US7627744B2 (en) 2007-05-10 2009-12-01 Nvidia Corporation External memory accessing DMA request scheduling in IC of parallel processing engines according to completion notification queue occupancy level
US8077644B2 (en) 2007-07-20 2011-12-13 Infineon Technologies Ag Data transfer in a computing device
US20090063786A1 (en) 2007-08-29 2009-03-05 Hakjune Oh Daisy-chain memory configuration and usage
US7721010B2 (en) 2007-10-31 2010-05-18 Qimonda North America Corp. Method and apparatus for implementing memory enabled systems using master-slave architecture
US20100217977A1 (en) 2009-02-23 2010-08-26 William Preston Goodwill Systems and methods of security for an object based storage device
US8219746B2 (en) 2009-10-08 2012-07-10 International Business Machines Corporation Memory package utilizing at least two types of memories
US8463984B2 (en) 2009-12-31 2013-06-11 Seagate Technology Llc Dynamic data flow management in a multiple cache architecture
US8595429B2 (en) 2010-08-24 2013-11-26 Qualcomm Incorporated Wide input/output memory with low density, low latency and high density, high latency blocks
US8726107B2 (en) 2011-07-15 2014-05-13 Seagate Technology Llc Measurement of latency in data paths
CN103946811B (zh) 2011-09-30 2017-08-11 英特尔公司 用于实现具有不同操作模式的多级存储器分级结构的设备和方法
US9256915B2 (en) 2012-01-27 2016-02-09 Qualcomm Incorporated Graphics processing unit buffer management
US9055069B2 (en) 2012-03-19 2015-06-09 Xcelemor, Inc. Hardware computing system with software mediation and method of operation thereof
US9304828B2 (en) 2012-09-27 2016-04-05 Hitachi, Ltd. Hierarchy memory management
US10073626B2 (en) 2013-03-15 2018-09-11 Virident Systems, Llc Managing the write performance of an asymmetric memory system
US9274951B2 (en) * 2013-05-31 2016-03-01 Altera Corporation Cache memory controller for accelerated data transfer
CN105814537B (zh) 2013-12-27 2019-07-09 英特尔公司 可扩展输入/输出系统和技术
WO2015101827A1 (en) 2013-12-31 2015-07-09 Mosys, Inc. Integrated main memory and coprocessor with low latency
US10445025B2 (en) 2014-03-18 2019-10-15 Micron Technology, Inc. Apparatuses and methods having memory tier structure and recursively searching between tiers for address in a translation table where information is only directly transferred between controllers
US10437479B2 (en) 2014-08-19 2019-10-08 Samsung Electronics Co., Ltd. Unified addressing and hierarchical heterogeneous storage and memory
KR102208072B1 (ko) 2014-09-01 2021-01-27 삼성전자주식회사 데이터 처리 시스템
WO2016134031A1 (en) * 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US20170017576A1 (en) 2015-07-16 2017-01-19 Qualcomm Incorporated Self-adaptive Cache Architecture Based on Run-time Hardware Counters and Offline Profiling of Applications
US10649672B1 (en) * 2016-03-31 2020-05-12 EMC IP Holding Company LLC Offloading device maintenance to an external processor in low-latency, non-volatile memory
US10237350B2 (en) * 2016-04-06 2019-03-19 Reniac, Inc. System and method for a database proxy
US10387303B2 (en) * 2016-08-16 2019-08-20 Western Digital Technologies, Inc. Non-volatile storage system with compute engine to accelerate big data applications
US10416896B2 (en) * 2016-10-14 2019-09-17 Samsung Electronics Co., Ltd. Memory module, memory device, and processing device having a processor mode, and memory system
KR20180075913A (ko) 2016-12-27 2018-07-05 삼성전자주식회사 신경망 연산을 이용한 입력 처리 방법 및 이를 위한 장치
US10261786B2 (en) 2017-03-09 2019-04-16 Google Llc Vector processing unit
KR102534917B1 (ko) 2017-08-16 2023-05-19 에스케이하이닉스 주식회사 신경망 처리 회로를 구비하는 메모리 장치 및 이를 포함하는 메모리 시스템
US10860924B2 (en) 2017-08-18 2020-12-08 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
US10872290B2 (en) 2017-09-21 2020-12-22 Raytheon Company Neural network processor with direct memory access and hardware acceleration circuits
KR102424962B1 (ko) 2017-11-15 2022-07-25 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈
US10860244B2 (en) 2017-12-26 2020-12-08 Intel Corporation Method and apparatus for multi-level memory early page demotion
CN108228387B (zh) * 2017-12-27 2019-11-05 中兴通讯股份有限公司 一种启动控制方法、电子设备以及计算机可读存储介质
US11398453B2 (en) * 2018-01-09 2022-07-26 Samsung Electronics Co., Ltd. HBM silicon photonic TSV architecture for lookup computing AI accelerator
KR102407128B1 (ko) 2018-01-29 2022-06-10 마이크론 테크놀로지, 인크. 메모리 컨트롤러
KR20190106228A (ko) 2018-03-08 2019-09-18 에스케이하이닉스 주식회사 메모리 시스템 및 메모리 시스템의 동작 방법
US11562208B2 (en) 2018-05-17 2023-01-24 Qualcomm Incorporated Continuous relaxation of quantization for discretized deep neural networks
KR20200016116A (ko) * 2018-08-06 2020-02-14 삼성전자주식회사 메모리 장치 및 메모리 시스템
US11656775B2 (en) 2018-08-07 2023-05-23 Marvell Asia Pte, Ltd. Virtualizing isolation areas of solid-state storage media
US20190188386A1 (en) 2018-12-27 2019-06-20 Intel Corporation Protecting ai payloads running in gpu against main cpu residing adversaries
US10949356B2 (en) 2019-06-14 2021-03-16 Intel Corporation Fast page fault handling process implemented on persistent memory
US11163490B2 (en) 2019-09-17 2021-11-02 Micron Technology, Inc. Programmable engine for data movement
US11416422B2 (en) 2019-09-17 2022-08-16 Micron Technology, Inc. Memory chip having an integrated data mover
US20210081353A1 (en) 2019-09-17 2021-03-18 Micron Technology, Inc. Accelerator chip connecting a system on a chip and a memory chip
US20210081318A1 (en) 2019-09-17 2021-03-18 Micron Technology, Inc. Flexible provisioning of multi-tier memory

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5715298A (en) * 1980-07-02 1982-01-26 Panafacom Ltd Storage protection system for common memory
JPH01116861A (ja) * 1987-10-30 1989-05-09 Matsushita Graphic Commun Syst Inc データ転送システム
JP2007011882A (ja) * 2005-07-01 2007-01-18 Teikoku Electric Mfg Co Ltd コントローラ
JP2007220085A (ja) * 2006-01-18 2007-08-30 Marvell World Trade Ltd プロセッサアーキテクチャ
JP2018067049A (ja) * 2016-10-17 2018-04-26 富士電機株式会社 マルチプロセッサシステム
US20190114534A1 (en) * 2017-10-17 2019-04-18 Xilinx, Inc. Neural network processing system having multiple processors and a neural network accelerator

Also Published As

Publication number Publication date
EP4032032A1 (en) 2022-07-27
CN114402308A (zh) 2022-04-26
AU2020349448A1 (en) 2022-01-20
TW202117551A (zh) 2021-05-01
KR20220041226A (ko) 2022-03-31
US20220300437A1 (en) 2022-09-22
US20210081337A1 (en) 2021-03-18
EP4032032A4 (en) 2023-10-11
WO2021055280A1 (en) 2021-03-25
US11397694B2 (en) 2022-07-26

Similar Documents

Publication Publication Date Title
JP2022548643A (ja) システムオンチップ及びメモリチップを接続するアクセラレータチップ
US11594274B2 (en) Processing in memory (PIM)capable memory device having timing circuity to control timing of operations
US10153042B2 (en) In-memory computational device with bit line processors
US10210935B2 (en) Associative row decoder
US8332580B2 (en) System, method and apparatus for memory with embedded associative section for computations
US11494078B2 (en) Translation lookaside buffer in memory
US20220300437A1 (en) Memory chip connecting a system on a chip and an accelerator chip
CN111433758A (zh) 可编程运算与控制芯片、设计方法及其装置
US20210181974A1 (en) Systems and methods for low-latency memory device
KR20200108774A (ko) 순환 큐 기반의 명령어 메모리를 포함하는 메모리 장치 및 그 동작방법
CN114945984A (zh) 扩展存储器通信
CN111694513A (zh) 包括循环指令存储器队列的存储器器件和方法
CN114402307A (zh) 具有集成数据移动器的存储器芯片
US11494121B2 (en) Memory device for performing in-memory processing
US20210209462A1 (en) Method and system for processing a neural network
KR20230132844A (ko) 멀티-코어 프로세싱 및 메모리 배열
CN114127852A (zh) 扩展存储器接口

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230720

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231010

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240221