JP2022548643A - システムオンチップ及びメモリチップを接続するアクセラレータチップ - Google Patents

システムオンチップ及びメモリチップを接続するアクセラレータチップ Download PDF

Info

Publication number
JP2022548643A
JP2022548643A JP2022517127A JP2022517127A JP2022548643A JP 2022548643 A JP2022548643 A JP 2022548643A JP 2022517127 A JP2022517127 A JP 2022517127A JP 2022517127 A JP2022517127 A JP 2022517127A JP 2022548643 A JP2022548643 A JP 2022548643A
Authority
JP
Japan
Prior art keywords
memory
chip
accelerator
soc
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022517127A
Other languages
English (en)
Inventor
ジャスティン エム． エノ
ケネス マリオン クレウィッツ
ショーン エス． エイラート
Original Assignee
マイクロン テクノロジー，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロン テクノロジー，インク． filed Critical マイクロン テクノロジー，インク．
Publication of JP2022548643A publication Critical patent/JP2022548643A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7867—Architectures of general purpose stored program computers comprising a single central processing unit with reconfigurable architecture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/781—On-chip cache; Off-chip memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839—Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/80—Architectures of general purpose stored program computers comprising an array of processing units with common control, e.g. single instruction multiple data processors
    • G06F15/8053—Vector processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/30007—Arrangements for executing specific machine instructions to perform operations on data operands
    • G06F9/30036—Instructions to perform operations on packed data, e.g. vector, tile or matrix operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30181—Instruction operation extension or modification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Memory System (AREA)
  • Advance Control (AREA)
  • Dram (AREA)
  • Multi Processors (AREA)

Abstract

人工知能（ＡＩ）アクセラレータチップなどのアクセラレータチップは、システムオンチップ（ＳｏＣ）及びメモリチップを接続することができる。アクセラレータチップは、配線を介してメモリチップに接続するように構成される第一セットのピン、及び配線を介してＳｏＣに接続するように構成される第二セットのピンを有することができる。アクセラレータチップは、ＳｏＣについての特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するだけでなく、メモリチップをメモリとして特定用途向け計算に使用するように構成されることができる。例えば、アクセラレータチップはＡＩアクセラレータチップであることができ、ＡＩアクセラレータチップは、ＳｏＣについてのＡＩ計算を実行して高速化するだけでなく、メモリチップをメモリとしてＡＩ計算に使用するように構成されることができる。

Description

関連出願
本出願は、２０１９年９月１７日に出願され、「ＡＣＣＥＬＥＲＡＴＯＲ ＣＨＩＰ ＣＯＮＮＥＣＴＩＮＧ Ａ ＳＹＳＴＥＭ ＯＮ Ａ ＣＨＩＰ ＡＮＤ Ａ ＭＥＭＯＲＹ ＣＨＩＰ」と題された米国特許出願第１６／５７３，７９５号に優先権を主張し、その開示全体は、参照により本明細書に援用される。
本明細書に開示される少なくともいくつかの実施形態は、システムオンチップ（ＳｏＣ）及びメモリチップを接続する、人工知能（ＡＩ）アクセラレータチップなどのアクセラレータチップに関する。本明細書に開示される少なくともいくつかの実施形態は、ベクトルプロセッサを有するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する。
ＡＩアクセラレータは、マイクロプロセッサまたはコンピュータシステムの１つのタイプであり、このタイプは、人工ニューラルネットワーク、マシンビジョン、及び機械学習などのＡＩアプリケーションを含む、ＡＩアプリケーションについての計算を高速化するように設定される。ＡＩアクセラレータは、データ集約型またはセンサ駆動型タスクについてのデータ処理を向上させるためにハードワイヤードであることができる。ＡＩアクセラレータは、１つ以上のコアを含むことができ、低精度演算及びインメモリコンピューティング用に配線されることができる。ＡＩアクセラレータは、スマートフォン、タブレット、及びあらゆるタイプのコンピュータ（特に、センサ、ならびにグラフィックス及び光学処理などのデータ集約型タスクを有するコンピュータ）などの多くのデバイスに見いだされることができる。また、ＡＩアクセラレータは、ＡＩアプリケーションで使用される数値シミュレーション及び他のタイプのタスクに関するパフォーマンスを向上させるために、ベクトルプロセッサまたはアレイプロセッサを含むことができる。
ＳｏＣは、コンピュータコンポーネントをシングルチップに集積する集積回路（ＩＣ）である。ＳｏＣにおける一般的なコンピュータコンポーネントは、中央処理装置（ＣＰＵ）、メモリ、入出力ポート、及びセカンダリストレージを含む。ＳｏＣは、そのすべてのコンポーネントを単一の基板またはマイクロチップ上に含むことができ、一部のチップは２５セント硬貨よりも小さくなることができる。ＳｏＣは、さまざまな信号処理機能を有することができ、グラフィックスプロセッシングユニット（ＧＰＵ）など、専用のプロセッサまたはコプロセッサを含むことができる。緊密に集積されることにより、ＳｏＣは、同等の機能を有する従来のマルチチップシステムよりも電力の消費をはるかに少なくすることができる。これにより、ＳｏＣは、モバイルコンピューティングデバイス（スマートフォン及びタブレットなどの内の）の統合に有益になる。また、ＳｏＣは、組み込みシステム及びモノのインターネット（特にスマートデバイスが小さい場合）に有用であることができる。
メインメモリなどのメモリは、コンピュータまたはコンピューティングデバイスでの即時使用のために情報を格納するコンピュータハードウェアである。一般に、メモリはコンピュータストレージよりも高速で動作する。コンピュータストレージによって、情報にアクセスする速度が遅くなるが、その容量が増え、データの信頼性が高くなることもできる。メモリの１つのタイプであるランダムアクセスメモリ（ＲＡＭ）は、高い動作速度を有することができる。
通常、メモリは、アドレス指定可能な半導体メモリユニットまたはセルで構成される。メモリＩＣ及びそのメモリユニットは、シリコンベースの金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）によって少なくとも部分的に実装されることができる。
メモリには、揮発性及び不揮発性という２つの主なタイプがある。不揮発性メモリは、フラッシュメモリ（ストレージとして使用されることもできる）、ならびにＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、及びＥＥＰＲＯＭ（ファームウェアを格納するために使用されることができる）を含むことができる。別のタイプの不揮発性メモリは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）である。揮発性メモリは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのメインメモリテクノロジ、及び通常はスタティックランダムアクセスメモリ（ＳＲＡＭ）を使用して実装されるキャッシュメモリを含むことができる。
コンピューティングシステムのメモリは、階層であることができる。コンピュータアーキテクチャではメモリ階層と称されることが多い、メモリ階層は、応答時間、複雑さ、容量、永続性及びメモリ帯域幅など、ある特定の要因に基づいて、コンピュータメモリを階層に分離することができる。それらのような要因は関連していることができ、多くの場合、メモリ階層の有用性をさらに強調するトレードオフであることができる。
一般に、メモリ階層はコンピュータシステムでのパフォーマンスに影響する。他の要因に優先してメモリ帯域幅と速度を優先順位付けするには、応答時間、複雑さ、容量、及び永続性などのメモリ階層の制限を考慮する必要がある場合がある。このような優先順位付けを管理するために、さまざまなタイプのメモリチップを組み合わせて、より高速なチップと、より信頼性の高い、または費用効果の高いチップなどとのバランスをとることができる。さまざまなチップのそれぞれをメモリ階層の一部と見なすことができる。そして、例えば、より高速なチップでのレイテンシを減らすために、メモリチップの組み合わせでの他のチップは、バッファを充填してから、チップ間のデータ転送をアクティブにする信号を送ることによって応答することができる。
メモリ階層は、さまざまなタイプのメモリユニットまたはセルを含むチップで構成されることができる。例えば、メモリセルはＤＲＡＭユニットであることができる。ＤＲＡＭは、データの各ビットをメモリセルに格納するランダムアクセス半導体メモリの１つのタイプであり、メモリセルは、通常、コンデンサ及びＭＯＳＦＥＴを含む。コンデンサは、充電されるか放電されるかいずれかが可能であり、これは、１ビットの中の２値、「０」及び「１」などで表される。ＤＲＡＭでは、コンデンサの電荷が漏れ出すため、ＤＲＡＭは、コンデンサごとに元の電荷を回復することによってコンデンサ内のデータを定期的にリライトする外部メモリリフレッシュ回路を必要とする。ＤＲＡＭは、電源が切断されると、そのデータが急速に失われるため、揮発性メモリと見なされる。これは、データストレージがより永続的である、フラッシュメモリ、及びＮＶＲＡＭなどの他のタイプの不揮発性メモリとは異なる。
ＮＶＲＡＭの１つのタイプは３Ｄ ＸＰｏｉｎｔメモリである。３Ｄ ＸＰｏｉｎｔメモリでは、メモリユニットは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づいてビットを格納する。３Ｄ ＸＰｏｉｎｔメモリは、ＤＲＡＭよりも費用効果が高いが、フラッシュメモリよりも費用効果が低い場合がある。また、３Ｄ ＸＰｏｉｎｔは、不揮発性メモリ及びランダムアクセスメモリである。
フラッシュメモリは、別のタイプの不揮発性メモリである。フラッシュメモリの利点は、電気的に消去されて再プログラムされることができることである。フラッシュメモリは、ＮＡＮＤ型フラッシュメモリ及びＮＯＲ型フラッシュメモリという２つの主なタイプを有すると考えられており、これらは、フラッシュメモリのメモリユニットを実装することができるＮＡＮＤ及びＮＯＲ論理ゲートにちなんで名付けられている。フラッシュメモリユニットまたはセルは、対応するゲートのものと同様の内部特性を示す。ＮＡＮＤ型フラッシュメモリはＮＡＮＤゲートを含む。ＮＯＲ型フラッシュメモリはＮＯＲゲートを含む。ＮＡＮＤ型フラッシュメモリは、デバイス全体よりも小さくすることができるブロックに読み書きされてもよい。ＮＯＲ型フラッシュは、シングルバイトを消去した位置に書き込む、または独立して読み出すことを可能にする。ＮＡＮＤ型フラッシュメモリの利点により、このようなメモリは、メモリカード、ＵＳＢフラッシュドライブ、及びソリッドステートドライブによく利用されている。ただし、一般にフラッシュメモリを使用することの主なトレードオフは、ＤＲＡＭ及びＮＶＲＡＭなどの他のタイプのメモリと比較して、特定のブロックに比較的少数の書き込みサイクルしかできないことである。
本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。
ＳｏＣ及びメモリチップを接続するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を含む、本開示のいくつかの実施形態によるシステムの一例を示す。 図１に示されるアクセラレータチップを含むシステム、及び別個のメモリの例を示す。 図１に示されるアクセラレータチップを含むシステム、及び別個のメモリの例を示す。 ＳｏＣ及びアクセラレータチップ（例えば、ＡＩアクセラレータチップ）を接続するメモリチップを含む関連システムの一例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 図４に示されるメモリチップを含むシステム、及び別個のメモリの例を示す。 本開示のいくつかの実施形態による、例示的なコンピューティングデバイスのパーツ配置の一例を示す。 本開示のいくつかの実施形態による、例示的なコンピューティングデバイスのパーツ配置の別の例を示す。 図２～３及び図５～７に示される別個のメモリに使用されることができるメモリチップストリングの例を示す。 図２～３及び図５～７に示される別個のメモリに使用されることができるメモリチップストリングの例を示す。
本明細書に開示される少なくともいくつかの実施形態は、ＳｏＣ及びメモリチップ（例えば、ＤＲＡＭ）を接続するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。換言すれば、本明細書に開示される少なくともいくつかの実施形態は、アクセラレータチップ（例えば、ＡＩアクセラレータチップ）を介してメモリチップをＳｏＣに接続することに関する。アクセラレータチップは、ＳｏＣと直接通信することができる。アクセラレータチップは、ＳｏＣから要求を受け取り、メモリチップを使用して中間結果を格納する。それらのような実施形態の一例については、図１～３に示される、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を参照されたい。また、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を含むことができる、図８～９に示されるＳｏＣ８０６及び特定用途向けコンポーネント８０７を参照されたい。特定用途向けコンポーネント８０７は、デバイス８００及び９００のいくつかの実施形態では、第一メモリチップ１０４及びアクセラレータチップ１０２を含むことができる。
メモリチップ及びＳｏＣを接続するアクセラレータチップは、別個の２セットのピンを含むことができる。１セットは配線を介してメモリチップに直接接続するためのものであり（例えば、図１～３に示される１セットのピン１１４、及び配線１２４を参照）、もう１セットは配線を介してＳｏＣに直接接続するためのものである（例えば、図１～２に示される１セットのピン１１６、及び配線１２６を参照）。アクセラレータチップがＳｏＣとメモリチップとの間にあると、ＳｏＣについての、一般に、またはより具体的には、いくつかの実施形態では、ＳｏＣに含まれるグラフィックスプロセッシングユニット（ＧＰＵ）（例えば、図１～３に示されるＧＰＵ１０８を参照）についての、特定用途向け計算（ＡＩ計算など）が高速化されることができる。いくつかの実施形態では、ＳｏＣ内のＧＰＵ及びメモリチップを、アクセラレータチップを介して接続することができる。いくつかの実施形態では、メモリチップは、１セットのピンを含むことができ、この１セットのピン及び配線（例えば、１セットのピン１１５、及び配線１２４を参照）を介してアクセラレータチップに直接接続されることができる。また、ＳｏＣは、１セットのピンを含むことができ、この１セットのピン及び配線を介してアクセラレータチップに直接接続されることができる。いくつかの実施形態では、ＳｏＣ内のＧＰＵは、１セットのピンを含むことができ、この１セットのピン及び配線（例えば、１セットのピン１１７、及び配線１２６を参照）を介してアクセラレータチップに直接接続されることができる。
いくつかの実施形態（図示せず）では、メモリチップ及びＳｏＣを接続するアクセラレータチップは、ＳｏＣの一部であることができ、任意選択で、ＳｏＣ内のＧＰＵ、またはＳｏＣ内のＧＰＵに加えて特定用途向けデバイス（ＡＩアクセラレータデバイスなど）であることができる。ＳｏＣが特定用途向けデバイスを含む場合、特定用途向けデバイスは、具体的には、特定用途向けデバイスが特定用途向け計算（ＡＩ計算など）の高速化に専用のハードワイヤードであるという点で、特定用途向け計算用に構成される特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むことができる。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップであること、またはそれを含むこと、またはその一部であることができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、人工知能（ＡＩ）アクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。例えば、本明細書に記載のアクセラレータチップのいずれか１つは、ＡＩアクセラレータチップであること、またはそれを含むこと、またはその一部であることができる。
アクセラレータチップは、人工ニューラルネットワーク、マシンビジョン、及び機械学習を含む、ＡＩアプリケーションのハードウェア高速化のために設計されるマイクロプロセッサチップまたはＳｏＣ自体であることができる。いくつかの実施形態では、アクセラレータチップは、ベクトル及び行列に対して数値計算を実行するように設定される（例えば、ベクトル及び行列に対して数値計算を実行するように設定されることができる、図１に示されるベクトルプロセッサ１１２を参照）。アクセラレータチップは、ＡＳＩＣまたはＦＰＧＡであること、またはそれを含むことができる。アクセラレータチップのＡＳＩＣ実施形態では、アクセラレータチップは、特定用途向け計算（ＡＩ計算など）の高速化のために専用のハードワイヤードであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵを超えた特定用途向け計算の高速化のために変更されている、変更されたＦＰＧＡまたはＧＰＵであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵであることができる。
アクセラレータチップに直接接続されているメモリチップ（例えば、第一メモリチップ１０４を参照）は、システム全体の複数のメモリチップを説明する際に明確にするために、本明細書では特定用途向けメモリチップとも称される。特定用途向けメモリチップは、必ずしも特定用途向け計算（ＡＩ計算など）専用のハードワイヤードであるとは限らない。特定用途向けメモリチップのそれぞれは、ＤＲＡＭチップまたはＮＶＲＡＭチップであることができる。そして、特定用途向けメモリチップのそれぞれは、アクセラレータチップに直接接続されることができ、ＳｏＣまたはアクセラレータチップによって特定用途向けメモリチップが構成された後、アクセラレータによる特定用途向け計算の高速化専用のメモリユニットを含むことができる。
いくつかの実施形態では、ＳｏＣは、メインプロセッサ（例えば、ＣＰＵ）を含むことができる。例えば、図１～３に示されるメインプロセッサ１１０を参照されたい。それらのような実施形態では、ＳｏＣ内のＧＰＵは、特定用途向けタスク及び計算（例えば、ＡＩタスク及び計算）のための命令を実行することができ、メインプロセッサは、非特定用途向けタスク及び計算（例えば、非ＡＩタスク及び計算）のための命令を実行することができる。そして、それらのような実施形態では、アクセラレータは、ＧＰＵ専用の特定用途向けタスク及び計算の高速化を提供することができる。また、ＳｏＣは、ＳｏＣのコンポーネントを相互接続する（メインプロセッサ及びＧＰＵを接続するなどの）ための独自のバスを含むことができる。そのうえ、ＳｏＣのバスは、ＳｏＣをＳｏＣの外部のバスに接続するように構成されることができるため、ＳｏＣのコンポーネントは、別個のメモリチップなどのＳｏＣの外部のチップ及びデバイスと結合することができる。
ＧＰＵの非特定用途向け計算及びタスク（例えば、非ＡＩ計算及びタスク）、またはアクセラレータチップを使用しないそれらのような計算及びタスクは、メインプロセッサによって実行される従来のタスクではない可能性があるが、別個のメモリチップなどの別個のメモリ（特定用途向けメモリであることができる）を使用することができる。そして、メモリは、ＤＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、またはそれらの任意の組み合わせで実装されることができる。例えば、別個のメモリまたはメモリチップを、ＳｏＣの外部のバスを介してＳｏＣ及びメインプロセッサに接続することができる（例えば、図２に示されるメモリ２０４及びバス２０２を参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサ専用のメモリユニットを有することができる。また、別個のメモリまたはメモリチップを、ＳｏＣの外部のバスを介してＳｏＣ及びＧＰＵに接続することができる（例えば、図２～３に示される第二メモリチップ２０４及びバス２０２を参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサまたはＧＰＵにメモリユニットを含むことができる。
本開示の目的のために、特定用途向けメモリチップ及び別個のメモリチップがメモリチップストリング（例えば、図１０及び１１に示されるメモリチップストリングを参照）などのメモリチップ群によって各置換されることができることを理解されたい。例えば、別個のメモリチップは、少なくともＮＶＲＡＭチップ及びそのＮＶＲＡＭチップの下流にあるフラッシュメモリチップを含むメモリチップストリングで置換されることができる。また、別個のメモリチップは、少なくとも２つのメモリチップで置換されることができ、これらのチップのうちの１つはメインプロセッサ（例えば、ＣＰＵ）用であり、もう１つのチップは非ＡＩ計算及び／またはタスクのためのメモリとして使用するためのＧＰＵ用である。
さらに、本明細書に開示される少なくともいくつかの実施形態は、ベクトルプロセッサ（例えば、図１～３に示されるベクトルプロセッサ１１２を参照）を有するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。そして、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する（例えば、図１０及び１１を参照）。
本開示の目的のために、本明細書に記載されるアクセラレータチップのいずれか１つが専用アクセラレータチップであること、またはそれを含むこと、またはその一部であることができることを理解されたい。専用アクセラレータチップの例は、低レイテンシまたは高帯域幅のメモリアクセスを提供することができる、ＡＩアクセラレータチップ、仮想現実アクセラレータチップ、拡張現実アクセラレータチップ、グラフィックスアクセラレータチップ、機械学習アクセラレータチップ、またはいずれかの他のタイプのＡＳＩＣもしくはＦＰＧＡを含むことができる。
図１は、本開示のいくつかの実施形態による、第一メモリチップ１０４及びＳｏＣ１０６を接続するアクセラレータチップ１０２（例えば、ＡＩアクセラレータチップ）を含むシステム１００の一例を示す。示されるように、ＳｏＣ１０６は、ＧＰＵ１０８及びメインプロセッサ１１０を含む。メインプロセッサ１１０は、ＣＰＵである、またはそれを含むことができる。そして、アクセラレータチップ１０２は、ベクトルプロセッサ１１２を含む。
システム１００では、アクセラレータチップ１０２は、第一セットのピン１１４及び第二セットのピン１１６を含む。第一セットのピン１１４は、配線１２４を介して第一メモリチップ１０４に接続するように構成される。第二セットのピン１１６は、配線１２６を介してＳｏＣ１０６に接続するように構成される。示されるように、第一メモリチップ１０４は、対応する１セットのピン１１５を含み、このセットは、配線１２４を介してメモリチップをアクセラレータチップ１０２に接続する。ＳｏＣ１０６のＧＰＵ１０８は、対応する１セットのピン１１７を含み、このセットは、配線１２６を介してＳｏＣをアクセラレータチップ１０２に接続する。
アクセラレータチップ１０２は、ＳｏＣ１０６の特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定される。また、アクセラレータチップ１０２は、第一メモリチップ１０４を特定用途向け計算のためのメモリとして使用するように構成される。特定用途向け計算の高速化は、ベクトルプロセッサ１１２によって実行されることができる。アクセラレータチップ１０２内のベクトルプロセッサ１１２は、ＳｏＣ１０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。アクセラレータチップ１０２は、ＡＳＩＣを含むことができ、このＡＳＩＣは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算（例えば、ＡＩ計算）を高速化するための専用ハードワイヤードである。あるいは、アクセラレータチップ１０２は、ＦＰＧＡを含むことができ、このＦＰＧＡは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。いくつかの実施形態では、アクセラレータチップ１０２は、ＧＰＵを含むことができ、このＧＰＵは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。それらのような実施形態では、ＧＰＵは、ベクトルプロセッサ１１２を介して特定用途向け計算を高速化するための専用に変更されることができる。
示されるように、ＳｏＣ１０６はＧＰＵ１０８を含む。そして、アクセラレータチップ１０２は、ＧＰＵ１０８についての特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定されることができる。例えば、ベクトルプロセッサ１１２は、ＧＰＵ１０８についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。また、ＧＰＵ１０８は、特定用途向けタスク及び計算（例えば、ＡＩタスク及び計算）を実行するように設定されることができる。
また、示されるように、ＳｏＣ１０６は、非ＡＩタスク及び計算を実行するように設定されるメインプロセッサ１１０を含む。
いくつかの実施形態では、メモリチップ１０４はＤＲＡＭチップである。それらのような例では、第一セットのピン１１４は、配線１２４を介してＤＲＡＭチップに接続するように構成されることができる。また、アクセラレータチップ１０２は、特定用途向け計算（例えば、ＡＩ計算）のためのメモリとして、ＤＲＡＭチップ内のＤＲＡＭセルを使用するように構成されることができる。いくつかの他の実施形態では、メモリチップ１０４はＮＶＲＡＭチップである。それらのような実施形態では、第一セットのピン１１４は、配線１２４を介してＮＶＲＡＭチップに接続するように構成されることができる。また、アクセラレータチップ１０２は、特定用途向け計算のためのメモリとして、ＮＶＲＡＭチップ内のＮＶＲＡＭセルを使用するように構成されることができる。さらに、ＮＶＲＡＭチップは、３Ｄ ＸＰｏｉｎｔメモリチップである、またはそれを含むことができる。それらのような例では、第一セットのピン１１４は、配線１２４を介して３Ｄ ＸＰｏｉｎｔメモリチップに接続するように構成されることができ、アクセラレータチップ１０２は、３Ｄ ＸＰｏｉｎｔメモリチップ内の３Ｄ ＸＰｏｉｎｔメモリセルを、特定用途向け計算のためのメモリとして使用するように構成されることができる。
いくつかの実施形態では、システム１００は、配線を介して第一メモリチップ１０４に接続されるアクセラレータチップ１０２を含み、第一メモリチップ１０４は、特定用途向けメモリチップであることができる。また、システム１００は、ＳｏＣ１０６を含み、このＳｏＣは、ＧＰＵ１０８（ＡＩタスクを実行するように設定されることができる）、及びメインプロセッサ１１０（非ＡＩタスクを実行し、ＡＩタスクをＧＰＵ１０８にデリゲートするように設定されることができる）を含む。それらのような実施形態では、ＧＰＵ１０８は、配線１２６を介してアクセラレータチップ１０２に接続するように構成される１セットのピン１１７を含み、アクセラレータチップ１０２は、ＧＰＵ１０８についてのＡＩタスクのＡＩ計算を実行して高速化するように設定される。
それらのような実施形態では、アクセラレータチップ１０２は、ＧＰＵ１０８についてのベクトル及び行列に対して数値計算を実行するように設定されるベクトルプロセッサ１１２を含むことができる。そして、アクセラレータチップ１０２は、ＡＳＩＣを含み、このＡＳＩＣは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。または、アクセラレータチップ１０２は、ＦＰＧＡを含み、このＦＰＧＡは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。または、アクセラレータチップ１０２は、ＧＰＵを含み、このＧＰＵは、ベクトルプロセッサ１１２を含み、ベクトルプロセッサ１１２を介してＡＩ計算を高速化するための専用ハードワイヤードである。
また、システム１００は、メモリチップ１０４を含み、アクセラレータチップ１０２は、配線１２４を介してメモリチップ１０４に接続されることができ、ＡＩタスクのＡＩ計算を実行して高速化するように設定されることができる。メモリチップ１０４は、ＤＲＡＭセルを有するＤＲＡＭチップである、またはそれを含むことができ、ＤＲＡＭセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。または、メモリチップ１０４は、ＮＶＲＡＭセルを有するＮＶＲＡＭチップである、もしくはそれを含むことができ、ＮＶＲＡＭセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。ＮＶＲＡＭチップは、３Ｄ ＸＰｏｉｎｔメモリセルを含むことができ、３Ｄ ＸＰｏｉｎｔメモリセルは、アクセラレータチップ１０２によって、ＡＩ計算の高速化のためにデータを格納するように構成されることができる。
図２～３は、それぞれ例示的なシステム２００及び３００、ならびに別個のメモリ（ＮＶＲＡＭなど）の例を示し、各システムは、図１に示されるアクセラレータチップ１０２を含む。
図２では、バス２０２は、システム１００（アクセラレータチップ１０２を含む）をメモリ２０４に接続する。メモリ２０４は、いくつかの実施形態ではＮＶＲＡＭであることができ、システム１００の第一メモリチップ１０４のメモリとは別のメモリである。そして、メモリ２０４は、いくつかの実施形態ではメインメモリであることができる。
システム２００では、システム１００のＳｏＣ１０６は、バス２０２を介してメモリ２０４に接続される。そして、システム２００の一部としてのシステム１００は、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を含む。システム１００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される。また、図２に示されるように、ＳｏＣ１０６に含まれるメモリコントローラ２０６は、システム１００のＳｏＣ１０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ１０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム２００内のすべてのメモリのデータアクセス（第一メモリチップ１０４及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ１０４及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム１００の第一メモリチップ１０４によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ１０６のＧＰＵ１０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ１０８及びメインプロセッサ１１０に、アクセラレータチップ１０２によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム２００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム２００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図３では、バス２０２は、システム１００（アクセラレータチップ１０２を含む）をメモリ２０４に接続する。また、システム３００では、バス２０２は、アクセラレータチップ１０２をＳｏＣ１０６に接続し、アクセラレータチップ１０２をメモリ２０４に接続する。そのうえ示されるように、システム３００では、バス２０２は、アクセラレータチップの第二セットのピン１１６、ならびにＳｏＣ１０６及びＧＰＵ１０８の配線１２６及び１セットのピン１１７の代わりをする。システム３００内のアクセラレータチップ１０２は、システム２００と同様に、システム１００の第一メモリチップ１０４及びＳｏＣ１０６を接続する。ただし、この接続は、第一セットのピン１１４、及びバス２０２を介する。
また、システム２００と同様に、システム３００では、メモリ２０４は、システム１００の第一メモリチップ１０４のメモリとは別のメモリである。システム３００では、システム１００のＳｏＣ１０６は、バス２０２を介してメモリ２０４に接続される。そして、システム３００では、システム３００の一部としてのシステム１００は、アクセラレータチップ１０２、第一メモリチップ１０４、及びＳｏＣ１０６を含む。システム１００のこれらのパーツは、システム３００では、バス２０２を介してメモリ２０４に接続される。また、図３に示されるものと同様に、ＳｏＣ１０６に含まれるメモリコントローラ２０６は、システム１００のＳｏＣ１０６によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム３００内のすべてのメモリのデータアクセス（第一メモリチップ１０４及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラは、第一メモリチップ１０４及び／またはメモリ２０４に接続されることができる。そして、メモリコントローラ２０６は、第一メモリチップ１０４及び／またはメモリ２０４に通信可能に結合されることができる。
また、システム３００では、メモリ２０４（いくつかの実施形態ではＮＶＲＡＭであることができる）は、システム１００の第一メモリチップ１０４によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ１０６のＧＰＵ１０８及びメインプロセッサ１１０にメモリとして使用されることができる。さらに、アクセラレータチップ１０２は、いくつかの実施形態及び状況では、バス２０２を介してメモリ２０４を使用することができる。そして、メモリ２０４は、ＧＰＵ１０８及びメインプロセッサ１１０に、アクセラレータチップ１０２によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及び／またはバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム３００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム３００では、メモリ２０４は、図９に示されるメインメモリ８０８であることができる。
図４は、例示的なシステム４００を示し、このシステムは、ある程度、システム１００に関連している。システム４００は、アクセラレータチップ４０４（例えば、ＡＩアクセラレータチップ）及びＳｏＣ４０６を接続する第一メモリチップ４０２を含む。示されるように、ＳｏＣ４０６は、ＧＰＵ４０８及びメインプロセッサ１１０を含む。メインプロセッサ１１０は、システム４００内のＣＰＵである、またはこのＣＰＵを含むことができる。そして、アクセラレータチップ４０４はベクトルプロセッサ４１２を含む。
システム４００では、メモリチップ４０２は、第一セットのピン４１４及び第二セットのピン４１６を含む。第一セットのピン４１４は、配線４２４を介してアクセラレータチップ４０４に接続するように構成される。第二セットのピン４１６は、配線４２６を介してＳｏＣ４０６に接続するように構成される。示されるように、アクセラレータチップ４０４は、対応する１セットのピン４１５を含み、このセットは、配線４２４を介して第一メモリチップ４０２をアクセラレータチップに接続する。ＳｏＣ４０６のＧＰＵ４０８は、対応する１セットのピン４１７を含み、このセットは、配線４２６を介してＳｏＣを第一メモリチップ４０２に接続する。
第一メモリチップ４０２は、第二セットのピン４１６を介してＳｏＣ４０６から受信する計算入力データ（例えば、ＡＩ計算入力データ）を格納して提供するように構成される複数の第一メモリセルを含み、この計算入力データは、計算入力（例えば、ＡＩ計算入力）としてアクセラレータチップ４０４によって使用される。計算入力データは、複数の第一メモリセルからアクセスされ、第一メモリチップ４０２から、第一セットのピン４１４を介して送信され、アクセラレータチップ４０４によって受信されて使用される。複数の第一メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、またはこれらの３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
また、第一メモリチップ４０２は、第一セットのピン４１４を介してアクセラレータチップ４０４から受信する計算出力データ（例えば、ＡＩ計算出力データ）を格納して提供するように構成される複数の第二メモリセルを含み、この計算出力データは、ＳｏＣ４０６によって取得される、または計算入力（例えば、ＡＩ計算入力）としてアクセラレータチップ４０４によって再使用される。計算出力データは、複数の第二メモリセルからアクセスされ、第一メモリチップ４０２から、第一セットのピン４１４を介して送信され、アクセラレータチップ４０４によって受信されて使用されることができる。また、計算出力データは、複数の第二メモリセルからアクセスされ、ＳｏＣ４０６またはＳｏＣ内のＧＰＵ４０８から、第二セットのピン４１６を介して送信され、ＳｏＣまたはＳｏＣ内のＧＰＵによって受信されて使用されることができる。複数の第二メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、または３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
また、第一メモリチップ４０２は、１セットのピン４１６を介してＳｏＣ４０６から受信する非ＡＩタスクに関連する非ＡＩデータを格納するように構成される複数の第三メモリセルを含み、この非ＡＩデータは非ＡＩタスクのためのＳｏＣ４０６によって取得される。非ＡＩデータは、複数の第三メモリセルからアクセスされ、第一メモリチップ４０２から第二セットのピン４１６を介して送信され、ＳｏＣ４０６、ＳｏＣ内のＧＰＵ４０８、またはＳｏＣ内のメインプロセッサ１１０によって受信されて使用されることができる。複数の第三メモリセルは、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができる。ＮＶＲＡＭセルを有する例では、ＮＶＲＡＭセルは、３Ｄ ＸＰｏｉｎｔメモリセルである、または３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
アクセラレータチップ４０４は、ＳｏＣ４０６についての特定用途向け計算（例えば、ＡＩ計算）を実行して高速化するように設定される。また、アクセラレータチップ４０４は、第一メモリチップ４０２を特定用途向け計算のためのメモリとして使用するように構成される。特定用途向け計算の高速化は、ベクトルプロセッサ４１２によって実行されることができる。アクセラレータチップ４０４内のベクトルプロセッサ４１２は、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。例えば、ベクトルプロセッサ４１２は、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。
アクセラレータチップ４０４は、ＡＳＩＣを含むことができ、このＡＳＩＣは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算（例えば、ＡＩ計算）を高速化するための専用ハードワイヤードである。あるいは、アクセラレータチップ４０４は、ＦＰＧＡを含むことができ、このＦＰＧＡは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。いくつかの実施形態では、アクセラレータチップ４０４は、ＧＰＵを含むことができ、このＧＰＵは、ベクトルプロセッサ４１２を含み、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するための専用ハードワイヤードである。それらのような実施形態では、ＧＰＵは、ベクトルプロセッサ４１２を介して特定用途向け計算を高速化するため、専用に変更されることができる。
示されるように、ＳｏＣ４０６はＧＰＵ４０８を含む。そして、アクセラレータチップ４０２は、ＧＰＵ４０８についての特定用途向け計算を実行して高速化するように設定されることができる。例えば、ベクトルプロセッサ４１２は、ＧＰＵ４０８についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。また、ＧＰＵ４０８は、特定用途向けタスク及び計算を実行するように設定されることができる。また、示されるように、ＳｏＣ４０６は、非ＡＩタスク及び計算を実行するように設定されるメインプロセッサ１１０を含む。
いくつかの実施形態では、システム４００は、メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含み、メモリチップ４０２は、配線４２４を介してアクセラレータチップ４０４に接続するように構成される第一セットのピン４１４、及び配線４２６を介してＳｏＣ４０６に接続するように構成される第二セットのピン４１６を少なくとも含む。そして、メモリチップ４０２は、１セットのピン４１６を介してＳｏＣ４０６から受信するＡＩ計算入力データを格納して提供するように構成される複数の第一メモリセルであって、このＡＩ計算入力データはＡＩ計算入力としてアクセラレータチップ４０４によって使用される、これら複数の第一メモリセルと、他のセットのピン４１４を介してアクセラレータチップ４０４から受信するＡＩ計算出力データを格納して提供するように構成される複数の第二メモリセルであって、このＡＩ計算出力データはＳｏＣ４０６によって取得される、またはＡＩ計算入力としてアクセラレータチップ４０４によって再使用される、これら複数の第二メモリセルと、を含むことができる。そして、メモリチップ４０２は、非ＡＩ計算のためのメモリに使用される複数の第三セルを含むことができる。
また、ＳｏＣ４０６は、ＧＰＵ４０８を含み、アクセラレータチップ４０４は、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＧＰＵ４０８についてのＡＩ計算を実行して高速化するように設定されることができる。そして、アクセラレータチップ４０４はベクトルプロセッサ４１２を含み、このベクトルプロセッサは、複数の第一メモリセル及び複数の第二メモリセルをメモリとして使用して、ＳｏＣ４０６についてのベクトル及び行列に対して数値計算を実行するように設定されることができる。
また、システム４００では、メモリチップ４０２内の複数の第一メモリセルは、１セットのピン４１６を介してＳｏＣ４０６から受信するＡＩ計算入力データを格納して提供するように構成され、このＡＩ計算入力データは、ＡＩ計算入力としてアクセラレータチップ４０４（例えば、ＡＩアクセラレータチップ）によって使用されることができる。そして、メモリチップ４０２内の複数の第二メモリセルは、他のセットのピン４１４を介してアクセラレータチップ４０４から受信するＡＩ計算出力データを格納して提供するように構成され、このＡＩ計算出力データは、ＳｏＣ４０６によって取得される、またはＡＩ計算入力としてアクセラレータチップ４０４によって再使用されることができる。そして、メモリチップ４０２内の複数の第三メモリセルは、１セットのピン４１６を介してＳｏＣ４０６から受信する非ＡＩタスクに関連する非ＡＩデータを格納するように構成され、この非ＡＩデータは、非ＡＩタスクのためのＳｏＣ４０６によって取得されることができる。
メモリチップ４０２内の複数の第一メモリセル、複数の第二メモリセル、及び複数の第三メモリセルは、それぞれ、ＤＲＡＭセル及び／またはＮＶＲＡＭセルを含むことができ、ＮＶＲＡＭセルは３Ｄ ＸＰｏｉｎｔメモリセルを含むことができる。
図５～７は、それぞれシステム５００、６００、及び７００、ならびに別個のメモリの例を示し、各システムは、図４に示されるメモリチップ４０２を含む。
図５では、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。メモリ２０４（例えば、ＮＶＲＡＭ）は、システム４００の第一メモリチップ４０２のメモリとは別のメモリである。そして、メモリ２０４はメインメモリであることができる。
システム５００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そして、システム５００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される。また、図５に示されるように、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ４０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム５００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリであり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム５００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム５００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図６では、図５と同様に、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。システム５００及び７００に関してシステム６００に一意である、第一メモリチップ４０２は、単一セットのピン６０２を含み、この単一セットのピンは、アクセラレータチップ４０４及びＳｏＣ４０６の両方にそれぞれ配線６１４及び６１６を介して第一メモリチップ４０２を直接接続する。また示されるように、システム６００では、アクセラレータチップ４０４は、配線６１４を介してアクセラレータチップ４０４を第一メモリチップ４０２に直接接続する単一セットのピン６０４を含む。さらに、システム６００では、ＳｏＣのＧＰＵは、配線６０６を介してＳｏＣ４０６を第一メモリチップ４０２に直接接続する１セットのピン６０６を含む。
システム６００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そして、システム６００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、バス２０２を介してメモリ２０４に接続される（例えば、アクセラレータチップ４０４及び第一メモリチップ４０２はＳｏＣ４０６及びバス２０２を介したメモリ２０４への間接接続を有し、ＳｏＣ４０６はバス２０２を介したメモリ２０４への直接接続を有する）。また、図６に示されるように、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。例えば、メモリコントローラ２０６は、ＧＰＵ４０８及び／またはメインプロセッサ１１０によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム６００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリ（例えば、ＮＶＲＡＭ）であり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。また、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及びバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム６００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム６００では、メモリ２０４は、図８に示されるメインメモリ８０８であることができる。
図７では、バス２０２は、システム４００（メモリチップ４０２及びアクセラレータチップ４０４を含む）をメモリ２０４に接続する。また、システム７００では、バス２０２は、第一メモリチップ４０２をＳｏＣ４０６に接続するだけでなく、第一メモリチップ４０２をメモリ２０４にも接続する。そのうえ示されるように、システム７００では、バス２０２は、第一メモリチップ４０２の第二セットのピン４１６、ならびにＳｏＣ４０６及びＧＰＵ４０８の配線４２６及び１セットのピン４１７の代わりをする。システム７００内の第一メモリチップ４０２は、システム５００及び６００と同様に、システム４００のアクセラレータチップ４０４及びＳｏＣ４０６を接続する。ただし、この接続は、第一セットのピン４１４、及びバス２０２を介する。
また、システム５００及び６００と同様に、システム７００では、メモリ２０４は、システム４００の第一メモリチップ４０２のメモリとは別のメモリである。システム７００では、システム４００のＳｏＣ４０６は、バス２０２を介してメモリ２０４に接続される。そしてシステム７００では、システム７００の一部としてのシステム４００は、第一メモリチップ４０２、アクセラレータチップ４０４、及びＳｏＣ４０６を含む。システム４００のこれらのパーツは、システム７００では、バス２０２を介してメモリ２０４に接続される。また、図７に示されるものと同様に、ＳｏＣ４０６に含まれるメモリコントローラ２０６は、システム４００のＳｏＣ４０６によるメモリ２０４のデータアクセスを制御する。いくつかの実施形態では、メモリコントローラ２０６は、システム７００内のすべてのメモリのデータアクセス（第一メモリチップ４０２及びメモリ２０４のデータアクセスなど）を制御することができる。そして、メモリコントローラ２０６は、第一メモリチップ４０２及び／またはメモリ２０４に通信可能に結合されることができる。
またシステム７００では、メモリ２０４は、システム４００の第一メモリチップ４０２によって提供されるメモリとは別のメモリ（例えば、ＮＶＲＡＭ）であり、それは、メモリコントローラ２０６及びバス２０２を介して、ＳｏＣ４０６のＧＰＵ４０８及びメインプロセッサ１１０にメモリとして使用されることができる。さらに、アクセラレータチップ４０４は、いくつかの実施形態及び状況では、第一メモリチップ４０２及びバス２０２を介してメモリ２０４を使用することができる。それらのような例では、第一メモリチップ４０２は、アクセラレータチップ４０４及びメモリ２０４についてのキャッシュを含むことができる。そして、メモリ２０４は、ＧＰＵ４０８及びメインプロセッサ１１０に、アクセラレータチップ４０４によって実行されない非特定用途向けタスクまたは特定用途向けタスク（非ＡＩタスクまたはＡＩタスクなど）のためのメモリとして使用されることができる。それらのようなタスクについてのデータは、メモリコントローラ２０６及び／またはバス２０２を介してメモリ２０４によってアクセスされ、そのメモリとの間で通信されることができる。
いくつかの実施形態では、メモリ２０４は、システム７００をホストするデバイスなどのデバイスのメインメモリである。例えば、システム７００では、メモリ２０４は、図９に示されるメインメモリ８０８であることができる。
本明細書に開示されるアクセラレータチップの実施形態（例えば、図１～３及び図４～７にそれぞれ示されるアクセラレータチップ１０２及びアクセラレータチップ４０４を参照）は、マイクロプロセッサチップまたはＳｏＣなどであることができる。アクセラレータチップの実施形態は、人工ニューラルネットワーク、マシンビジョン、及び機械学習を含む、ＡＩアプリケーションのハードウェア高速化のために設計されることができる。いくつかの実施形態では、アクセラレータチップ（例えば、ＡＩアクセラレータチップ）は、ベクトル及び行列に対して数値計算を実行するように設定されることができる。それらのような実施形態では、アクセラレータチップは、ベクトル及び行列に対して数値計算を実行するベクトルプロセッサを含むことができる（例えば、ベクトル及び行列に対して数値計算を実行するように設定されることができる、図１～３及び図４～７にそれぞれ示されるベクトルプロセッサ１１２及び４１２を参照）。
本明細書に開示されるアクセラレータチップの実施形態は、ＡＳＩＣもしくはＦＰＧＡである、またはそれを含むことができる。アクセラレータチップのＡＳＩＣ実施形態では、アクセラレータチップは、特定用途向け計算（ＡＩ計算など）の高速化に専用のハードワイヤードである。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵを超えた特定用途向け計算（ＡＩ計算など）の高速化のために変更されている、変更されたＦＰＧＡまたはＧＰＵであることができる。いくつかの他の実施形態では、アクセラレータチップは、変更されていないＦＰＧＡまたはＧＰＵであることができる。
本明細書に説明されているＡＳＩＣは、特定用途向け計算（ＡＩ計算など）の高速化など、特定の使用または用途にカスタマイズされているＩＣを含むことができる。これは、ＣＰＵ、または一般にグラフィックス処理のためのものであるＧＰＵなどの別のタイプの汎用プロセッサによって通常実装される汎用用途とは異なる。
本明細書に記載のＦＰＧＡは、ＩＣ及びＦＰＧＡの製造後に設計される、及び／または設定されるＩＣに含まれることができる。したがって、ＩＣ及びＦＰＧＡはフィールドプログラマブルである。ＦＰＧＡ設定は、ハードウェア記述言語（ＨＤＬ）を使用して指定されることができる。同様に、ＡＳＩＣ設定はＨＤＬを使用して指定されることができる。
本明細書で説明されるＧＰＵは、ＩＣを含み、このＩＣは、メモリを迅速に操作して変更し、表示装置に出力されるフレームバッファ内の画像の生成及び更新を高速化するように設定されることができる。そして、本明細書で説明されるシステムは、ＧＰＵに接続される表示装置、ならびに表示装置及びＧＰＵに接続されるフレームバッファを含むことができる。本明細書に説明されるＧＰＵは、組み込みシステム、モバイルデバイス、パーソナルコンピュータ、ワークステーション、もしくはゲームコンソールの一部、または表示装置に接続され、この表示装置を使用する任意のデバイスであることができる。
本明細書に記載のマイクロプロセッサチップの実施形態は、それぞれ、少なくとも中央処理装置の機能を組み込む１つ以上の集積回路である。各マイクロプロセッサチップは、多目的であり、少なくともクロック及びレジスタを含むことができ、これらのクロック及びレジスタは、入力としてバイナリデータを受け入れ、マイクロプロセッサチップに接続されたメモリに格納された命令に従ってレジスタ及びクロックを使用してデータを処理することによってチップを実装する。データを処理すると、マイクロプロセッサチップは入力及び命令の結果を出力として提供することができる。そして、この出力は、マイクロプロセッサチップに接続されたメモリに提供されることができる。
本明細書で説明されるＳｏＣの実施形態は、それぞれ、コンピュータまたは他の電子システムのコンポーネントを集積する１つ以上の集積回路である。いくつかの実施形態では、ＳｏＣは単一のＩＣである。他の実施形態では、ＳｏＣは、分離され接続された集積回路を含むことができる。いくつかの実施形態では、ＳｏＣは、独自のＣＰＵ、メモリ、入出力ポート、セカンダリストレージ、またはそれらの任意の組み合わせを含むことができる。それらのような１つ以上のパーツは、本明細書で説明されるＳｏＣ内の単一の基板またはマイクロプロセッサチップ上にあることができる。いくつかの実施形態では、ＳｏＣは、２５セント硬貨、５セント硬貨、または１０セント硬貨よりも小さい。ＳｏＣのいくつかの実施形態は、モバイルデバイス（スマートフォンまたはタブレットコンピュータなど）、組み込みシステム、またはモノのインターネット内のデバイスの一部であることができる。一般に、ＳｏＣは、機能に基づいてコンポーネントを分離させてこれらのコンポーネントを、中央のインタフェース回路基板を介して接続するマザーボードベースのアーキテクチャを有するシステムとは異なる。
アクセラレータチップ（例えば、ＡＩアクセラレータチップ）に直接接続される、本明細書に記載のメモリチップの実施形態（例えば、図１～３に示される第一メモリチップ１０４、または図４～７に示される第一メモリチップ４０２を参照）は、システム全体の複数のメモリチップを説明するときに明確にするために、本明細書では特定用途向けメモリチップとも称される。本明細書に記載される特定用途向けメモリチップは、必ずしも特定用途向け計算（ＡＩ計算など）専用のハードワイヤードであるとは限らない。特定用途向けメモリチップのそれぞれは、ＤＲＡＭチップもしくはＮＶＲＡＭチップ、またはＤＲＡＭチップかＮＶＲＡＭチップかいずれかと同様の機能を有するメモリデバイスであることができる。そして、特定用途向けメモリチップのそれぞれは、アクセラレータチップ（例えば、ＡＩアクセラレータチップ、例えば、図１～３に示されるアクセラレータチップ１０２、及び図４～７に示されるアクセラレータチップ４０４を参照）に直接接続されることができ、特定用途向けメモリチップがアクセラレータチップまたは別個のＳｏＣもしくはプロセッサ（例えば、図１～３及び図４～７にそれぞれ示されるＳｏＣ１０６及び４０６を参照）によって構成された後、アクセラレータチップによって特定用途向け計算（ＡＩ計算など）の高速化専用のメモリユニットまたはセルを含むことができる。
本明細書で説明されるＤＲＡＭチップは、コンデンサ及びトランジスタ（ＭＯＳＦＥＴなど）を有するメモリセルまたはユニットにデータの各ビットを格納するランダムアクセスメモリを含むことができる。本明細書で説明されるＤＲＡＭチップは、ＩＣチップの形態を取り、数十億個のＤＲＡＭメモリユニットまたはセルを含むことができる。各ユニットまたはセルでは、コンデンサは充電されるか、放電されるかいずれかであることができる。これにより、１ビットの中の２値を表すために使用される２つのステートを提供することができる。コンデンサでの電荷はコンデンサから緩徐に漏れる可能性があるため、コンデンサ及びメモリユニットのステートを維持するには、コンデンサ内のデータを定期的にリライトする外部メモリリフレッシュ回路が必要である。また、ＤＲＡＭは、電源が切断されるとすぐにそのデータを失うという点で、揮発性メモリであり、フラッシュメモリまたはＮＶＲＡＭなどの不揮発性メモリではない。ＤＲＡＭチップの利点は、低コストで大容量のコンピュータメモリを必要とするデジタル電子機器でＤＲＡＭチップが使用されることができることである。ＤＲＡＭは、ＧＰＵ専用のメインメモリまたはメモリとして使用するのにも役立つ。
本明細書に説明されるＮＶＲＡＭチップは、ＤＲＡＭとの主な差別化特徴である不揮発性のランダムアクセスメモリを含むことができる。本明細書で説明される実施形態に使用されることができるＮＶＲＡＭユニットまたはセルの一例は、３Ｄ ＸＰｏｉｎｔユニットまたはセルを含むことができる。３Ｄ ＸＰｏｉｎｔユニットまたはセルでは、ビットストレージは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づく。
本明細書で説明されるＳｏＣの実施形態は、メインプロセッサ（ＣＰＵまたはＣＰＵを含むメインプロセッサなど）を含むことができる。例えば、図１～３に示されるＳｏＣ１０６、及び図４～７に示されるＳｏＣ４０６だけでなく、図１～７に示されるメインプロセッサ１１０も参照されたい。それらのような実施形態では、ＳｏＣ内のＧＰＵ（例えば、図１～３に示されるＧＰＵ１０８、及び図４～７に示されるＧＰＵ４０８を参照）は、特定用途向けタスク及び計算（ＡＩタスク及び計算など）のための命令を実行することができ、メインプロセッサは、非特定用途向けタスク及び計算（非ＡＩタスク及び計算など）のための命令を実行することができる。そして、それらのような実施形態では、ＳｏＣに接続されるアクセラレータチップ（例えば、図１～７に示されるアクセラレータチップのいずれか１つを参照）は、ＧＰＵ専用の特定用途向けタスク及び計算（ＡＩタスク及び計算など）の高速化を提供することができる。本明細書で説明されるＳｏＣの実施形態のそれぞれは、ＳｏＣのコンポーネントを相互接続する（メインプロセッサ及びＧＰＵを接続するなどの）ために独自のバスを含むことができる。また、ＳｏＣのバスは、ＳｏＣをＳｏＣの外部のバスに接続するように構成されることができるため、ＳｏＣのコンポーネントは、別のメモリまたはメモリチップ（例えば、図２～３及び図５～７に示されるメモリ２０４、ならびに図８～９に示されるメインメモリ８０８を参照）などのＳｏＣの外部のチップ及びデバイスと結合することができる。
ＧＰＵの非特定用途向け計算及びタスク（例えば、非ＡＩ計算及びタスク）、またはアクセラレータチップを使用しない特定用途向け計算及びタスク（例えば、ＡＩ計算及びタスク）は、メインプロセッサによって実行される従来のタスクではない可能性があるが、別個のメモリチップなどの別個のメモリ（特定用途向けメモリであることができる）を使用することができ、このメモリは、ＤＲＡＭ、ＮＶＲＡＭ、フラッシュメモリ、またはそれらの任意の組み合わせによって実装されることができる。例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照されたい。別個のメモリまたはメモリチップは、ＳｏＣの外部のバスを介してＳｏＣ及びメインプロセッサ（例えば、ＣＰＵ）に接続されることができる（例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照、そして図２～３及び図５～７に示されるバス２０２だけでなく、図８～９に示されるバス８０４も参照）。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサ専用のメモリユニットを有することができる。また、別個のメモリまたはメモリチップは、ＳｏＣの外部のバスを介してＳｏＣ及びＧＰＵに接続されることができる。それらのような実施形態では、別個のメモリまたはメモリチップは、メインプロセッサまたはＧＰＵにメモリユニットまたはセルを含むことができる。
本開示の目的のために、本明細書に記載の特定用途向けメモリまたはメモリチップ（例えば、図１～３に示される第一メモリチップ１０４または図４～７に示される第一メモリチップ４０２を参照）、及び本明細書に記載の別個のメモリまたはメモリチップ（例えば、図２～３及び図５～７に示されるメモリ２０４だけでなく、図８～９に示されるメインメモリ８０８も参照）がそれぞれ、メモリチップストリング（例えば、図１０及び１１に示されるメモリチップストリングを参照）などのメモリチップ群で置換されることができることを理解されたい。例えば、別個のメモリまたはメモリチップは、少なくともＮＶＲＡＭチップ及びそのＮＶＲＡＭチップの下流にあるフラッシュメモリチップを含むメモリチップストリングで置換されることができる。また、別個のメモリチップは、少なくとも２つのメモリチップで置換されることができ、これらのチップのうちの１つはメインプロセッサ（例えば、ＣＰＵ）用であり、もう１つのチップは非ＡＩ計算及び／またはタスクのためのメモリとして使用するためのＧＰＵ用である。
本明細書に記載のメモリチップの実施形態は、メインメモリの一部であることができる、及び／またはコンピュータでの即時使用のために、または本明細書に記載のプロセッサのいずれか１つ（例えば、本明細書に記載の任意のＳｏＣまたはアクセラレータチップ）による即時使用のために情報を格納するコンピュータハードウェアであることができる。本明細書に説明されるメモリチップは、コンピュータストレージよりも高速で動作することができる。コンピュータストレージによって、情報にアクセスする速度が遅くなるが、その容量が増え、データの信頼性が高くなることもできる。本明細書で説明されるメモリチップは、高い動作速度を有することができるメモリの１つのタイプであるＲＡＭを含むことができる。メモリは、アドレス指定可能な半導体メモリユニットまたはセルで構成されることができ、そのユニットまたはセルは、ＭＯＳＦＥＴによって少なくとも部分的に実装されることができる。
さらに、本明細書に開示される少なくともいくつかの実施形態は、ベクトルプロセッサ（例えば、図１～３及び図４～７にそれぞれ示されるベクトルプロセッサ１１２及び４１２を参照）を有するアクセラレータチップ（例えば、ＡＩアクセラレータチップ）に関する。そして、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する（例えば、図１０及び１１を参照）。
本明細書で説明されるベクトルプロセッサの実施形態はそれぞれＩＣであり、各ＩＣは、ベクトルと称される一次元配列のデータ、または行列と称される多次元配列のデータ上で動作する命令を含む命令セットを実装することができる。ベクトルプロセッサは、命令がシングルデータ項目上で動作するスカラープロセッサとは異なる。いくつかの実施形態では、ベクトルプロセッサは、単に命令をパイプライン化するだけでなく、データ自体をパイプライン化することができる。パイプライン化は、命令、またはベクトルプロセッサの場合にはデータ自体が、複数のサブユニットを順に通過するプロセスを含むことができる。いくつかの実施形態では、ベクトルプロセッサは、数のベクトルまたは行列に対して同時に算術演算を指令する命令を供給される。連続的に命令を復号してから、それらの命令を完了するために必要なデータをフェッチしなければならない代わりに、ベクトルプロセッサは、メモリから単一の命令を読み出し、命令自体の定義では、命令が最後より１インクリメント大きいアドレスで別のデータ項目上で再度動作することが単に黙示される。これにより、復号時間を大幅に節約できる。
図８は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス８００のパーツ配置の一例を示す。コンピューティングデバイス８００のパーツ配置の一例は、図１に示されるシステム１００、図２に示されるシステム２００、図４に示されるシステム４００、図５に示されるシステム５００、及び図６に示されるシステム６００を含むことができる。コンピューティングデバイス８００では、特定用途向けコンポーネント（例えば、図８の特定用途向けコンポーネント８０７を参照）は、ＡＩコンポーネントであることができ、図１、２、４、５及び６にそれぞれ配置されて示される第一メモリチップ１０４または４０２及びアクセラレータチップ１０２または４０４だけでなく、図１、２、４、５及び６にそれぞれ構成されて示されるＳｏＣ１０６または４０６を含むことができる。コンピューティングデバイス８００では、配線は、特定用途向けコンポーネントのコンポーネントを相互に直接接続する（例えば、図１～２及び図４～６にそれぞれ示される配線１２４及び４２４ならびに配線６１４を参照）。そして、コンピューティングデバイス８００では、配線は、特定用途向けコンポーネントをＳｏＣに直接接続する（例えば、特定用途向けコンポーネントをＳｏＣ８０６に直接接続する配線８１７を参照）。特定用途向けコンポーネントをＳｏＣに直接接続する配線は、図１及び２に示されるような配線１２６、または図４及び５に示されるような配線４２６を含むことができる。また、特定用途向けコンポーネントをＳｏＣに直接接続する配線は、図６に示されるような配線６１６を含むことができる。
コンピューティングデバイス８００は、図８に示されるようなコンピュータネットワーク８０２を介して他のコンピューティングデバイスに通信可能に結合されることができる。コンピューティングデバイス８００は、少なくともバス８０４（メモリバスとペリフェラルバスの組み合わせなど、１つ以上のバスであることができる）、ＳｏＣ８０６（ＳｏＣ１０６または４０６である、またはそれを含むことができる）、特定用途向けコンポーネント８０７（アクセラレータチップ１０２及び第一メモリチップ１０４または第一メモリチップ４０２及びアクセラレータチップ４０４であることができる）、及びメインメモリ８０８（メモリ２０４である、またはそれを含むことができる）だけでなく、ネットワークインタフェース８１０及びデータストレージシステム８１２も含む。バス８０４は、ＳｏＣ８０６、メインメモリ８０８、ネットワークインタフェース８１０、及びデータストレージシステム８１２を通信可能に結合する。そして、バス８０４は、バス２０２、及び／または配線１２６、４２６、または６１６などのポイントツーポイントメモリ接続を含むことができる。コンピューティングデバイス８００は、コンピュータシステムを含み、このコンピュータシステムは、少なくとも、ＳｏＣ８０６内の１つ以上のプロセッサ、メインメモリ８０８（例えば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）またはＲａｍｂｕｓ ＤＲＡＭ（ＲＤＲＡＭ）などのＤＲＡＭ、ＮＶＲＡＭ、ＳＲＡＭなど）、及びデータストレージシステム８１２を含み、これらは、バス８０４（１つ以上のバス及び配線を含むことができる）を介して相互に通信する。
メインメモリ８０８（メモリ２０４である、それを含む、またはそれに含まれることができる）は、図１０に示されるメモリストリング１０００を含むことができる。また、メインメモリ８０８は、図１１に示されるメモリストリング１１００を含むことができる。いくつかの実施形態では、データストレージシステム８１２は、メモリストリング１０００またはメモリストリング１１００を含むことができる。
ＳｏＣ８０６は、マイクロプロセッサ、ＣＰＵなどのような１つ以上の汎用処理デバイスを含むことができる。また、ＳｏＣ８０６は、ＧＰＵ、ＡＳＩＣ、ＦＰＧＡ、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、プロセッサインメモリ（ＰＩＭ）などのような１つ以上の専用処理デバイスを含むことができる。ＳｏＣ８０６は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサを有する１つ以上のプロセッサ、または他の命令セットを実施するプロセッサ、または命令セットの組み合わせを実施するプロセッサとすることができる。ＳｏＣ８０６のプロセッサは、本明細書で論じられる動作及びステップを遂行するための命令を実行するように構成することができる。ＳｏＣ８０６はさらに、１つ以上の通信ネットワーク（例えば、ネットワーク８０２）を介して通信するために、ネットワークインタフェースデバイス、例えばネットワークインタフェース８１０を含むことができる。
データストレージシステム８１２は、本明細書で説明する方法または機能のうちのいずれか１つ以上を具現化する１つ以上の命令セットまたはソフトウェアが記憶されるマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。また命令は、コンピュータシステムがそれを実行する間に、メインメモリ８０８内に、及び／またはＳｏＣ８０６のプロセッサのうちの１つ以上の内に、完全に、または少なくとも部分的に存在することができる。またメインメモリ８０８及びＳｏＣ８０６の１つ以上のプロセッサ５０６はマシン可読記憶媒体を構成する。
メモリ、プロセッサ、及びデータ記憶装置部分を、例示的な実施形態においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してそのそれぞれの動作を実行できる単一部分または複数部分を含むと解釈されるべきである。また用語「マシン可読記憶媒体」には、任意の媒体であって、マシンが実行するように命令のセットを記憶または符号化することができ、本開示の方法のいずれか１つ以上をマシンに行わせる媒体が含まれると解釈すべきである。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈されるものとする。
図９は、本開示のいくつかの実施形態による、例示的なコンピューティングデバイス９００のパーツ配置の別の例を示す。コンピューティングデバイス９００のパーツ配置の例は、図３に示されるシステム３００、及び図７に示されるシステム７００を含むことができる。コンピューティングデバイス９００では、特定用途向けコンポーネント（例えば、図９の特定用途向けコンポーネント８０７を参照）は、ＡＩコンポーネントであることができ、図３及び７にそれぞれ配置されて示されるような第一メモリチップ１０４または４０２及びアクセラレータチップ１０２または４０４だけでなく、図３及び７にそれぞれ構成されて示されるようなＳｏＣ１０６または４０６も含むことができる。コンピューティングデバイス９００では、配線は、特定用途向けコンポーネントのコンポーネントを相互に直接接続する（例えば、図３及び７にそれぞれ示される配線１２４及び４２４を参照）。ただし、コンピューティングデバイス９００では、配線は、特定用途向けコンポーネントをＳｏＣに直接接続しない。代替に、コンピューティングデバイス９００では、１つ以上のバスは、特定用途向けコンポーネントをＳｏＣに接続する（例えば、図９に構成されて示されるバス８０４、ならびに図３及び７に構成されて示されるバス２０２を参照）。
図８及び９に示されるように、デバイス８００及び９００は、多くの同様のコンポーネントを含む。コンピューティングデバイス９００は、図９に示されるようなコンピュータネットワーク８０２を介して他のコンピューティングデバイスに通信可能に結合されることができる。同様に、図９に示されるように、コンピューティングデバイス９００は、少なくとも、バス８０４（メモリバス及びペリフェラルバスの組み合わせなど、１つ以上のバスであることができる）、ＳｏＣ８０６（ＳｏＣ１０６もしくは４０６である、またはそれを含むことができる）、特定用途向けコンポーネント８０７（アクセラレータチップ１０２及び第一メモリチップ１０４または第一メモリチップ４０２及びアクセラレータチップ４０４であることができる）、及びメインメモリ８０８（メモリ２０４である、またはそれを含むことができる）だけでなく、ネットワークインタフェース８１０及びデータストレージシステム８１２も含む。同様に、バス８０４は、ＳｏＣ８０６、メインメモリ８０８、ネットワークインタフェース８１０、及びデータストレージシステム８１２を通信可能に結合する。そして、バス８０４は、バス２０２、及び／または配線１２６、４２６、または６１６などのポイントツーポイントメモリ接続を含むことができる。
上述のように、本明細書に開示される少なくともいくつかの実施形態は、メモリ階層及びメモリチップストリングを使用してメモリを形成することに関する。
図１０及び１１は、それぞれメモリチップストリング１０００及び１１００の例を示し、これらは、図２～３及び図５～７に示される別個のメモリ（すなわち、メモリ２０４）で使用されることができる。
図１０では、メモリチップストリング１０００は、第一メモリチップ１００２及び第二メモリチップ１００４を含む。第一メモリチップ１００２は、第二メモリチップ１００４に直接配線され（例えば、配線１０２２を参照）、第二メモリチップと直接インタラクトするように構成される。メモリチップストリング１０００内の各チップは、このストリング内の上流チップ及び／または下流チップに接続するために、１セット以上のピンを含むことができる（例えば、ピン１０１２及び１０１４のセットを参照）。いくつかの実施形態では、メモリチップストリング１０００内の各チップは、ＩＣパッケージ内に封入される単一のＩＣを含むことができる。
図１０に示されるように、１セットのピン１０１２は第一メモリチップ１００２の一部であり、配線１０２２、及び第二メモリチップ１００４の一部である１セットのピン１０１４を介して第一メモリチップ１００２を第二メモリチップ１００４に接続する。配線１０２２は、２セットのピン１０１２及び１０１４を接続する。
いくつかの実施形態では、第二メモリチップ１００４は、ストリング１０００内のチップの中で最も低いメモリ帯域幅を有することができる。それらのような実施形態及び他の実施形態では、第一メモリチップ１００２は、ストリング１０００内のチップの中で最も高いメモリ帯域幅を有することができる。いくつかの実施形態では、第一メモリチップ１００２は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第一メモリチップ１００２は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１００４は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１００４は、ＮＶＲＡＭチップである、またはそれを含む。そして、いくつかの実施形態では、第二メモリチップ１００４は、フラッシュメモリチップである、またはそれを含む。
図１１では、メモリチップストリング１１００は、第一メモリチップ１１０２、第二メモリチップ１１０４、及び第三メモリチップ１１０６を含む。第一メモリチップ１１０２は、第二メモリチップ１１０４に直接配線され（例えば、配線１１２２を参照）、第二メモリチップと直接インタラクトするように構成される。第二メモリチップ１１０４は、第三メモリチップ１１０６に直接配線され（例えば、配線１１２４を参照）、第三メモリチップと直接インタラクトするように構成される。それらのような方法では、第一及び第三メモリチップ１１０２及び１１０６は、第二メモリチップ１１０４を介して間接的に相互にインタラクトする。
メモリチップストリング１１００内の各チップは、このストリング内の上流チップ及び／または下流チップに接続するために、１セット以上のピンを含むことができる（例えば、ピン１１１２、１１１４、１１１６、及び１１１８のセットを参照）。いくつかの実施形態では、メモリチップストリング１１００内の各チップは、ＩＣパッケージ内に封入される単一のＩＣを含むことができる。
図１１に示されるように、１セットのピン１１１２は第一メモリチップ１１０２の一部であり、配線１１２２、及び第二メモリチップ１１０４の一部である１セットのピン１１１４を介して、第一メモリチップ１１０２を第二メモリチップ１１０４に接続する。配線１１２２は、２セットのピン１１１２及び１１１４を接続する。また、１セットのピン１１１６は、第二メモリチップ１１０４の一部であり、配線１１２４、及び第三メモリチップ１１０６の一部である１セットのピン１１１８を介して、第二メモリチップ１１０４を第三メモリチップ１１０６に接続する。配線１１２４は、２セットのピン１１１６及び１１１８を接続する。
いくつかの実施形態では、第三メモリチップ１１０６は、ストリング１１００内のチップの中で最も低いメモリ帯域幅を有することができる。それらのような実施形態及び他の実施形態では、第一メモリチップ１１０２は、ストリング１１００内のチップの中で最も高いメモリ帯域幅を有することができる。また、それらのような実施形態及び他の実施形態では、第二メモリチップ１１０４は、ストリング１１００内のチップの中でその次に最も高いメモリ帯域幅を有することができる。いくつかの実施形態では、第一メモリチップ１１０２は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第一メモリチップ１１０２は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、ＤＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、ＮＶＲＡＭチップである、またはそれを含む。いくつかの実施形態では、第二メモリチップ１１０４は、フラッシュメモリチップである、またはそれを含む。いくつかの実施形態では、第三メモリチップ１１０６は、ＮＶＲＡＭチップである、またはそれを含む。そして、いくつかの実施形態では、第三メモリチップ１１０６は、フラッシュメモリチップである、またはそれを含む。
１つ以上のＤＲＡＭチップを有する実施形態では、ＤＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭのメモリユニットアレイを含むことができる。また、本明細書で説明されるＤＲＡＭチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のＤＲＡＭユニットとは異なることができる。例えば、ＤＲＡＭチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
１つ以上のＮＶＲＡＭチップを有する実施形態では、ＮＶＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびに３Ｄ ＸＰｏｉｎｔメモリユニットなどのＮＶＲＡＭメモリユニットのアレイを含むことができる。また、本明細書で説明されるＮＶＲＡＭチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のＮＶＲＡＭユニットとは異なることができる。例えば、ＮＶＲＡＭチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
いくつかの実施形態では、ＮＶＲＡＭチップは、不揮発性メモリセルのクロスポイントアレイを含むことができる。クロスポイント型不揮発性メモリアレイは、積層可能な交差格子状データアクセスアレイと組み合わせて、バルク抵抗の変化に基づいてビットストレージを実行することができる。さらに、多くのフラッシュベースのメモリとは対照的に、クロスポイント型不揮発性メモリは、不揮発性メモリセルが事前に消去されることなく、不揮発性メモリセルがプログラムされることができる、インプレース書き込み操作を実行することができる。
本明細書で上述されるように、ＮＶＲＡＭチップは、クロスポイントストレージ及びメモリデバイス（例えば、３Ｄ ＸＰｏｉｎｔメモリ）であることができる、またはそれらを含むことができる。クロスポイントメモリデバイスは、トランジスタレスメモリ素子を使用し、各メモリ素子は、カラムとして合わせて積層されるメモリセル及びセレクタを含む。メモリ素子のカラムは、垂直二層のワイヤを介して接続され、一層はメモリ素子のカラムより上にあり、もう一層はメモリ素子のカラムより下にある。各メモリ素子は、二層のそれぞれの上に１本のワイヤの交点で個別に選択されることができる。クロスポイントメモリデバイスは、高速で不揮発性であり、処理及びストレージのためのユニファイドメモリプールとして使用されることができる。
１つ以上のフラッシュメモリチップを有する実施形態では、フラッシュメモリチップは、コマンド及びアドレスの復号のための論理回路、ならびにＮＡＮＤ型フラッシュメモリユニットなどのフラッシュメモリのメモリユニットのアレイを含むことができる。また、本明細書で説明されるフラッシュメモリチップは、着信及び／または発信データ用のキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のフラッシュメモリユニットとは異なることができる。例えば、フラッシュメモリチップ上にキャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
また、例えば、メモリチップストリングの一実施形態は、ＤＲＡＭからＤＲＡＭからＮＶＲＡＭ、またはＤＲＡＭからＮＶＲＡＭからＮＶＲＡＭ、またはＤＲＡＭからフラッシュメモリからフラッシュメモリを含むことができる。ただし、ＤＲＡＭからＮＶＲＡＭからフラッシュメモリは、マルチティアメモリとして柔軟にプロビジョニングされるメモリチップストリングに、より効果的なソリューションを提供することができる。
また、本開示の目的のために、ＤＲＡＭ、ＮＶＲＡＭ、３Ｄ ＸＰｏｉｎｔメモリ、及びフラッシュメモリが個々のメモリユニットのための技法であること、そして本明細書に記載のメモリチップのいずれか１つのためのメモリチップがコマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭ、ＮＶＲＡＭ、３Ｄ ＸＰｏｉｎｔメモリ、またはフラッシュメモリのメモリユニットアレイを含むことができることを理解されたい。例えば、本明細書で説明されるＤＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＤＲＡＭのメモリユニットアレイを含む。例えば、本明細書で説明されるＮＶＲＡＭチップは、コマンド及びアドレスの復号のための論理回路、ならびにＮＶＲＡＭのメモリユニットアレイを含む。例えば、本明細書で説明されるフラッシュメモリチップは、コマンド及びアドレスの復号のための論理回路、ならびにフラッシュメモリのメモリユニットアレイを含む。
また、本明細書で説明されるメモリチップのいずれか１つのためのメモリチップは、着信及び／または発信データのためのキャッシュまたはバッファメモリを含むことができる。いくつかの実施形態では、キャッシュまたはバッファメモリを実装するメモリユニットは、キャッシュまたはバッファメモリをホストするチップ上のユニットとは異なってもよい。例えば、キャッシュまたはバッファメモリを実装するメモリユニットは、ＳＲＡＭのメモリユニットであることができる。
前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の特許請求の範囲に記載される本開示の実施形態のより広範の趣旨及び範囲から逸脱することなく、様々な修正形態が本明細書に加えられ得ることは明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。

Claims (20)

  1. 配線を介してメモリチップに接続するように構成される第一セットのピン、及び
    配線を介してシステムオンチップ（ＳｏＣ）に接続するように構成される第二セットのピン、
    を含むアクセラレータチップであって、
    前記ＳｏＣに特定用途向け計算を実行して高速化するように構成され、
    前記特定用途向け計算に前記メモリチップをメモリとして使用するように構成される、
    前記アクセラレータチップ。
  2. 前記アクセラレータチップは、人工知能（ＡＩ）アクセラレータチップであり、前記特定用途向け計算は、ＡＩ計算を含む、請求項１に記載のアクセラレータチップ。
  3. 前記ＳｏＣについてのベクトル及び行列に数値計算を実行するように設定されるベクトルプロセッサを含む、請求項１に記載のアクセラレータチップ。
  4. 特定用途向け集積回路（ＡＳＩＣ）を含み、前記ＡＳＩＣは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介して特定用途向け計算を高速化するための専用ハードワイヤードである、請求項３に記載のアクセラレータチップ。
  5. フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み、前記ＦＰＧＡは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介して特定用途向け計算を高速化するための専用ハードワイヤードである、請求項３に記載のアクセラレータチップ。
  6. グラフィックスプロセッシングユニット（ＧＰＵ）を含み、前記ＧＰＵは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介して特定用途向け計算を高速化するための専用ハードワイヤードである、請求項３に記載のアクセラレータチップ。
  7. 前記ＳｏＣは、グラフィックスプロセッシングユニット（ＧＰＵ）を含み、前記アクセラレータチップは、前記ＧＰＵについての特定用途向け計算を実行して高速化するように設定される、請求項１に記載のアクセラレータチップ。
  8. 前記ＧＰＵについてのベクトル及び行列に数値計算を実行するように設定されるベクトルプロセッサを含む、請求項７に記載のアクセラレータチップ。
  9. 前記ＧＰＵは、特定用途向けタスク及び計算を実行するように設定され、前記ＳｏＣは、非特定用途向けタスク及び計算を実行するように設定されるメインプロセッサを含む、請求項７に記載のアクセラレータチップ。
  10. 前記メモリチップは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）チップであり、前記第一セットのピンは、配線を介して前記ＤＲＡＭチップに接続するように構成され、前記アクセラレータチップは、前記ＤＲＡＭチップ内のＤＲＡＭセルをメモリとして前記特定用途向け計算に使用するように構成される、請求項１に記載のアクセラレータチップ。
  11. 前記メモリチップは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）チップであり、前記第一セットのピンは、配線を介して前記ＮＶＲＡＭチップに接続するように構成され、前記アクセラレータチップは、前記ＮＶＲＡＭチップ内のＮＶＲＡＭセルをメモリとして前記特定用途向け計算に使用するように構成される、請求項１に記載のアクセラレータチップ。
  12. 前記ＮＶＲＡＭチップは、３Ｄ ＸＰｏｉｎｔメモリチップであり、前記第一セットのピンは、配線を介して前記３Ｄ ＸＰｏｉｎｔメモリチップに接続するように構成され、前記アクセラレータチップは、前記３Ｄ ＸＰｏｉｎｔメモリチップ内の３Ｄ ＸＰｏｉｎｔメモリセルをメモリとして前記特定用途向け計算に使用するように構成される、請求項１１に記載のアクセラレータチップ。
  13. 配線を介して人工知能（ＡＩ）専用メモリチップに接続されるＡＩアクセラレータチップ、及び
    システムオンチップ（ＳｏＣ）、
    を含むシステムであって、
    前記ＳｏＣは、
    ＡＩタスクを実行するように設定されるグラフィックスプロセッシングユニット（ＧＰＵ）、及び
    非ＡＩタスクを実行し、前記ＡＩタスクを前記ＧＰＵにデリゲートするように設定されるメインプロセッサ、
    を含み、
    前記ＧＰＵは、配線を介して前記ＡＩアクセラレータチップに接続するように構成される１セットのピンを含み、
    前記ＡＩアクセラレータチップは、前記ＧＰＵについての前記ＡＩタスクのＡＩ計算を実行して高速化するように構成される、
    前記システム。
  14. 前記ＡＩアクセラレータチップは、前記ＧＰＵについてのベクトル及び行列に数値計算を実行するように設定されるベクトルプロセッサを含む、請求項１３に記載のシステム。
  15. 前記ＡＩアクセラレータチップは、特定用途向け集積回路（ＡＳＩＣ）を含み、前記ＡＳＩＣは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介してＡＩ計算を高速化するための専用ハードワイヤードである、請求項１４に記載のシステム。
  16. 前記ＡＩアクセラレータチップは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み、前記ＦＰＧＡは、前記ベクトルプロセッサを含み、前記ベクトルプロセッサを介してＡＩ計算を高速化するための専用ハードワイヤードである、請求項１４に記載のシステム。
  17. メモリチップと、
    配線を介して前記メモリチップに接続されるアクセラレータチップであって、前記アクセラレータチップは特定用途向けタスクの特定用途向け計算を実行して高速化するように構成される、前記アクセラレータチップと、
    配線を介して前記アクセラレータチップに接続されるシステムオンチップ（ＳｏＣ）と、
    を含むシステムであって、
    前記ＳｏＣは、
    特定用途向けタスクを実行し、前記特定用途向けタスクの特定用途向け計算を前記アクセラレータチップにデリゲートするように設定されるグラフィックスプロセッシングユニット（ＧＰＵ）、及び
    非特定用途向けタスクを実行し、前記特定用途向けタスクを前記ＧＰＵにデリゲートするように設定されるメインプロセッサ、
    を含む、
    前記システム。
  18. 前記メモリチップは、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）セルを含むＤＲＡＭチップであり、前記ＤＲＡＭセルは、前記アクセラレータチップによって、特定用途向け計算の高速化のためにデータを格納するように構成される、請求項１７に記載のシステム。
  19. 前記メモリチップは、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）セルを含むＮＶＲＡＭチップであり、前記ＮＶＲＡＭセルは、前記アクセラレータチップによって、特定用途向け計算の高速化のためにデータを格納するように構成される、請求項１７に記載のシステム。
  20. 前記アクセラレータチップは、人工知能（ＡＩ）アクセラレータチップであり、前記特定用途向け計算及びタスクは、ＡＩ計算及びタスクであり、前記非特定用途向け計算及びタスクは、非ＡＩ計算及びタスクである、請求項１７に記載のシステム。
JP2022517127A 2019-09-17 2020-09-14 システムオンチップ及びメモリチップを接続するアクセラレータチップ Pending JP2022548643A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/573,795 US20210081353A1 (en) 2019-09-17 2019-09-17 Accelerator chip connecting a system on a chip and a memory chip
US16/573,795 2019-09-17
PCT/US2020/050712 WO2021055279A1 (en) 2019-09-17 2020-09-14 Accelerator chip connecting a system on a chip and a memory chip

Publications (1)

Publication Number Publication Date
JP2022548643A true JP2022548643A (ja) 2022-11-21

Family

ID=74869014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022517127A Pending JP2022548643A (ja) 2019-09-17 2020-09-14 システムオンチップ及びメモリチップを接続するアクセラレータチップ

Country Status (7)

Country Link
US (1) US20210081353A1 (ja)
EP (1) EP4032031A4 (ja)
JP (1) JP2022548643A (ja)
KR (1) KR20220041224A (ja)
CN (1) CN114521255A (ja)
TW (1) TW202115565A (ja)
WO (1) WO2021055279A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11908947B2 (en) * 2019-08-08 2024-02-20 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device
US11397694B2 (en) 2019-09-17 2022-07-26 Micron Technology, Inc. Memory chip connecting a system on a chip and an accelerator chip
US11416422B2 (en) 2019-09-17 2022-08-16 Micron Technology, Inc. Memory chip having an integrated data mover
US11922297B2 (en) * 2020-04-01 2024-03-05 Vmware, Inc. Edge AI accelerator service
US11556859B2 (en) 2020-06-12 2023-01-17 Baidu Usa Llc Method for al model transferring with layer and memory randomization
US11657332B2 (en) 2020-06-12 2023-05-23 Baidu Usa Llc Method for AI model transferring with layer randomization
US11409653B2 (en) * 2020-06-12 2022-08-09 Baidu Usa Llc Method for AI model transferring with address randomization
TWI798817B (zh) * 2021-09-08 2023-04-11 鯨鏈科技股份有限公司 積體電路
CN114691385A (zh) * 2021-12-10 2022-07-01 全球能源互联网研究院有限公司 一种电力异构计算系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075913A (ko) * 2016-12-27 2018-07-05 삼성전자주식회사 신경망 연산을 이용한 입력 처리 방법 및 이를 위한 장치
US20190057302A1 (en) * 2017-08-16 2019-02-21 SK Hynix Inc. Memory device including neural network processor and memory system including the memory device
US20190057303A1 (en) * 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
US20190188386A1 (en) * 2018-12-27 2019-06-20 Intel Corporation Protecting ai payloads running in gpu against main cpu residing adversaries
US20190230002A1 (en) * 2019-03-29 2019-07-25 Intel Corporation Technologies for accelerated orchestration and attestation with edge device trust chains

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6380945B1 (en) * 1998-11-09 2002-04-30 Broadcom Corporation Graphics display system with color look-up table loading mechanism
US10872290B2 (en) * 2017-09-21 2020-12-22 Raytheon Company Neural network processor with direct memory access and hardware acceleration circuits
KR102424962B1 (ko) * 2017-11-15 2022-07-25 삼성전자주식회사 병렬 연산 처리를 수행하는 메모리 장치 및 이를 포함하는 메모리 모듈

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180075913A (ko) * 2016-12-27 2018-07-05 삼성전자주식회사 신경망 연산을 이용한 입력 처리 방법 및 이를 위한 장치
US20190057302A1 (en) * 2017-08-16 2019-02-21 SK Hynix Inc. Memory device including neural network processor and memory system including the memory device
US20190057303A1 (en) * 2017-08-18 2019-02-21 Microsoft Technology Licensing, Llc Hardware node having a mixed-signal matrix vector unit
US20190188386A1 (en) * 2018-12-27 2019-06-20 Intel Corporation Protecting ai payloads running in gpu against main cpu residing adversaries
US20190230002A1 (en) * 2019-03-29 2019-07-25 Intel Corporation Technologies for accelerated orchestration and attestation with edge device trust chains

Also Published As

Publication number Publication date
US20210081353A1 (en) 2021-03-18
EP4032031A4 (en) 2023-10-18
CN114521255A (zh) 2022-05-20
TW202115565A (zh) 2021-04-16
KR20220041224A (ko) 2022-03-31
EP4032031A1 (en) 2022-07-27
WO2021055279A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP2022548643A (ja) システムオンチップ及びメモリチップを接続するアクセラレータチップ
US10902906B2 (en) Apparatuses and methods for logic/memory devices
US20220300437A1 (en) Memory chip connecting a system on a chip and an accelerator chip
US11494078B2 (en) Translation lookaside buffer in memory
US10452578B2 (en) Apparatus and methods for in data path compute operations
CN111433758A (zh) 可编程运算与控制芯片、设计方法及其装置
JPH05502125A (ja) 後入れ先出しスタックを備えるマイクロプロセッサ、マイクロプロセッサシステム、及び後入れ先出しスタックの動作方法
US20210181974A1 (en) Systems and methods for low-latency memory device
KR20200108774A (ko) 순환 큐 기반의 명령어 메모리를 포함하는 메모리 장치 및 그 동작방법
CN114945984A (zh) 扩展存储器通信
CN111694513A (zh) 包括循环指令存储器队列的存储器器件和方法
CN114402307A (zh) 具有集成数据移动器的存储器芯片
US20210209462A1 (en) Method and system for processing a neural network
EP3933605A1 (en) Memory device for performing in-memory processing
CN114127852B (zh) 扩展存储器接口
CN113851168A (zh) 扩展存储器架构

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240123