JP2019505065A - ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路 - Google Patents

ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路 Download PDF

Info

Publication number
JP2019505065A
JP2019505065A JP2018517694A JP2018517694A JP2019505065A JP 2019505065 A JP2019505065 A JP 2019505065A JP 2018517694 A JP2018517694 A JP 2018517694A JP 2018517694 A JP2018517694 A JP 2018517694A JP 2019505065 A JP2019505065 A JP 2019505065A
Authority
JP
Japan
Prior art keywords
layers
synapse
memory
tsvs
memory elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018517694A
Other languages
English (en)
Other versions
JP6943847B2 (ja
Inventor
リュウ、フェイ
ツァオ、チン
チョン、カングオ
リ、ジョンウェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2019505065A publication Critical patent/JP2019505065A/ja
Application granted granted Critical
Publication of JP6943847B2 publication Critical patent/JP6943847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

【課題】ニューロシナプティック・チップ3次元集積回路の形成方法、及びそのチップ3次元集積装置を提供。
【解決手段】1つまたは複数のニューロン層がそれぞれ複数のコンピューティング素子を含み、それぞれがメモリ素子の配列を含む1つまたは複数のシナプス層が1つまたは複数のニューロン層の上に形成される。複数のスタガード・スルー・シリコン・ビア(TSV)が1つまたは複数のニューロン層を1つまたは複数のシナプス層に接続し、1つまたは複数のニューロン層における1つまたは複数のコンピューティング素子と1つまたは複数のシナプス層における1つまたは複数のメモリ素子との間の通信リンクとして動作する。
【選択図】図2

Description

本発明は、ニューロシナプティック・チップの3次元(3D)集積のための技術に関し、特に、ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびその3次元集積回路に関する。
脳内では、ニューロンが、発生側ニューロンの軸索で受信側ニューロンの樹状突起に送られる、スパイクと呼ばれる二値メッセージを介して通信している。軸索と樹状突起との接点はシナプスと呼ばれ、発信先シナプス後ニューロンに対する発信元シナプス前ニューロンからのスパイクの有効性を決める特定の長さを有する。
ニューロモーフィック(またはコグニティブ)コンピューティング・システムは、特定用途向けに脳の処理を模倣する。ニューロモーフィック・コンピューティング・システムは、数値問題の解答のみならず、より複雑で意味のある多数のデータに関する仮定、推論による論拠および推奨も生成するという点で確率的である。脳と同様に、ニューロモーフィック・コンピューティング・システムは、ニューロン(処理)デバイスと適応シナプス(メモリ)デバイスの大規模なネットワークからなる。ニューロン・デバイスは、2つの主要な機能を有する。第1の主要な機能は、接続されたシナプス・デバイスから入力を受け取ることである。入力が所定の入力閾値を上回る場合、ニューロン・デバイスは、ニューロン・デバイスのより大きなネットワークの一部として処理されるスパイク状の出力信号を発生させ、次に計算による何らかの決定を行う。このプロセスは、スパイク・タイミング依存可塑性(spike−timing dependent plasticity:STDP)と呼ばれる。ニューロン・デバイスの第2の主要な機能は、1つまたは複数の接続されたシナプス・デバイスの状態を変化させることであり、この場合、各シナプス・デバイスはメモリ・デバイスとして機能する。
ニューロン・デバイスとシナプス・デバイスは、ニューロシナプティック・チップとして知られている集積回路上に実装されてきた。知られている1つの実装形態では、シナプス・デバイスは、クロスバー配列状に接続された置換可能8トランジスタ・セル・スタティック・ランダム・アクセス・メモリ(transposable 8−transistor cell static random access memory:8−T SRAM)デバイスなどのシリコン・ベースのデバイスである。その他の実装形態としては、磁気RAM(MRAM)や相変化メモリ(PCM)がある。ニューロシナプティック・チップは、モジュラ・ニューロモーフィック・アーキテクチャの重要なビルディング・ブロックである。
本発明は、ニューロシナプティック・チップの3次元(3D)集積のための技術を提供する。
例えば一実施形態では、方法は、それぞれが複数の処理デバイスを含む1つまたは複数のニューロン層を形成するステップと、1つまたは複数のニューロン層上に、それぞれがメモリ・デバイスの配列を含む1つまたは複数のシナプス層を形成するステップと、1つまたは複数のニューロン層を1つまたは複数のシナプス層に接続する複数のスタガード・スルー・シリコン・ビア(through−silicon vias:TSV)を形成するステップとを含み、複数のスタガードTSVは、1つまたは複数のニューロン層における1つまたは複数の処理デバイスと1つまたは複数のシナプス層における1つまたは複数のメモリ・デバイスとの間の通信リンクとして動作する。
以下に、本発明の実施形態について、例示のみのために添付図面を参照しながら説明する。
ニューロシナプティック・コアのネットワークを示すアーキテクチャ概念図である。 本発明の第1の実施形態による、メモリ・デバイスの配列を含むシナプス層を示す概略上視図である。 図2のシナプス層を含む3Dシナプス構造体を示す概略断面側面図である。 本発明の第2の実施形態による、3Dシナプス構造体を示す概略断面側面図である。 本発明の第2の実施形態による、シナプス回路層を示す概略上視図である。
本発明の実施形態は、ニューロシナプティック・チップに関し、特に、ニューロシナプティック・チップの3次元(3D)集積のための技術に関する。また、本発明の実施形態は、ニューラル・ネットワーク回路のための拡張可能3Dニューロシナプティック・アーキテクチャを提供する。添付図面に示す様々な層、構造体、または領域あるいはこれらの組合せは、必ずしも縮尺通りに図示されていない概略図であることを理解されたい。さらに、説明を簡単にするために、回路デバイスまたは構造体を形成するために一般的に使用されている種類の1つまたは複数の層、構造体および領域が、所与の図面では明示的に示されていない場合がある。これは、明示的に示されてない層、構造体および領域が実際の回路構造体から省かれることを意味しない。
また、図面全部を通して、同一または類似の特徴、要素、層、領域または構造体を示すために同一または類似の参照番号を使用し、したがって、それらの同一または類似の特徴、要素、層、領域または構造体の詳細な説明は図面ごとに繰り返さない。本明細書で、厚さ、幅、割合、範囲などに関して使用する「約」または「実質的に」という用語は、近いかまたは近似しているが、正確ではないことを示すことを意図しているものと理解されたい。例えば、本明細書で使用する「約」または「実質的に」という用語は、記載されている数量から1%以下などのわずかな誤差があることを暗黙的に示す。また、図中で、1つの層、構造体または領域あるいはこれらの組合せの図示されている縮尺は、必ずしも実際の縮尺を表すことを意図していない。
コグニティブ・コンピューティングの研究において、生物学的レベルのスケールの電子ニューロモーフィック・マシン技術を開発することに関心が高まっている。したがって、コグニティブ・システムのビルディング・ブロックとしてニューロシナプティック・チップを使用することに関心が高まっている。ニューロシナプティック・チップにおける現在の最先端技術には、例えば、IBMの45nmシリコン・オン・インシュレータ(SOI)プロセスを使用する、256個のデジタル積分発火ニューロンとシナプス用の1024×256ビットのスタティック・ランダム・アクセス・メモリ(SRAM)クロスバー・メモリとを備えたニューロシナプティック・コアと、異なるカルコゲニド材料がシナプス動作を示すように特徴づけられた超高密度大規模ニューロモーフィック・システムにおける相変化メモリ(PCM)ベースのシナプスとが含まれる。TrueNorthと呼ばれる最新のIBMニューロシナプティック・チップは54億個のトランジスタを組み込み、100万個のプログラマブル・ニューロンと2億5千600万個のプログラマブル・シナプスとを特徴としているが、それでも1000億個のニューロンと100兆ないし150兆個のシナプスとを有する平均的成人の脳を完全に模倣するには不十分である。言うまでもないが、そのような特徴に対応するシナプス・チップのサイズは指数関数的に大きくなる。
したがって、本発明の実施形態では、シナプス回路のための3D集積/アーキテクチャ技術を示す。このような3D構造は、シナプス・チップの実装面積を劇的に縮小すると同時に、シナプスとニューロンとの間の軸索接続の数を増大させるため、有利である。また、3D集積は、セル・フォルト・トレラント構造と、シナプス・チップ(相補型金属酸化膜半導体(CMOS)または不揮発性メモリ)およびニューロン・チップの異種集積とを可能にする。このような利点を例示する実施形態について、図2ないし図5を参照しながら以下により詳細に説明する。
図1を参照すると、効率的で、拡張可能で柔軟性のある大規模スパイキング・ニューラル・ネットワークを実装可能な、ニューロシナプティック・コアのネットワークのアーキテクチャ概念図が図示されている。図1は、脳のように、並列に動作し、イベント駆動型ネットワークを介して通信する、記憶と演算と通信とを分散モジュールとして強固に結合しているアーキテクチャの概念予想図である。
図2に、本発明の第1の実施形態によるニューロシナプティック回路構造体の上視図を示す。例えば、構造体200は、ニューロン層202を含む。ニューロン層202は、複数のニューロン(図2には図示されていない処理デバイス)を含み、複数のニューロンは、例えばN×N配列などの任意の従来の構成を使用してニューロン層202内で分散させることができる。ニューロンは、例えば、サイズ、機能または能力あるいはこれらの組合せが異なる可能性がある、当技術分野で知られている任意の従来の処理デバイスまたはコンピューティング・デバイスを含み得る。実施形態によっては、ニューロシナプティック回路構造体は、複数のニューロン層を含んでよく、複数のニューロン層のそれぞれがN×N配列に分散させたそれぞれの複数のニューロンを含み得る。
構造体200は、シナプス層210をさらに含む。シナプス層210は、シナプス(メモリ・デバイス)の配列を含む。シナプスは、例えば、PCMデバイス、抵抗変化型ランダム・アクセス・メモリ(RRAM)デバイスまたはCMOSメモリ・デバイスなどの当技術分野で知られている任意の従来のメモリ・デバイスを含むことができる。一実施形態では、ニューロシナプティック回路構造体は、複数のシナプス層を含んでよく、複数のシナプス層のそれぞれは、それぞれのシナプスの配列を含み得る。このような実施形態では、各シナプス層は、サイズの異なるシナプス配列を含んでよい。例えば、あるシナプス層は、5×5のシナプス配列を含んでよく、別のシナプス層は6×6のシナプス配列を含んでもよい。また、各シナプス配列は、PCM、RRAMまたはCMOSメモリ・デバイスのうちの同じメモリ・デバイスまたは異なるメモリ・デバイスを含んでよい。別の実施形態では、シナプス層は複数のシナプス配列を含み得る。
所与のシナプス層のシナプス配列の行および列のそれぞれは、シナプスを越えて延び、ニューロン層から直角に立ち上がる1つまたは複数のスルー・シリコン・ビア(TSV)に接続する。例えば、構造体200においてシナプス層210はシナプスの6×6配列を含み、配列の各行および各列は、ニューロン層202から直角に立ち上がるそれぞれのTSV(TSV212−AないしTSV212−L)に接続する。
一実施形態によると、TSVは互い違いに配置される。本明細書で使用する「スタガードTSV」とは、中心のいずれかの側にジグザグまたは交互に配置された複数のTSVを指す場合がある。例えば、構造体200において、TSV212−Aないし212−Fは左右に互い違いにするなどして配列の各行に接続され、TSV212−Gないし212−Lは上下に互い違いにして配列の各列に接続される。したがって、TSV212−Aないし212−Lを複数のスタガードTSVと総称する場合がある。
次に図3を参照すると、構造体200’が図2のAA軸に沿った構造体200の断面側面図を図示している。図3は、ニューロン層202とシナプス層210とを含む構造体200’を示す。図3は、さらに、図2には示されていない、シナプス層210の下の2つの追加のシナプス層(シナプス層220およびシナプス層230と称する)を含む構造体200’を示している。両方のシナプス層220および230は、それぞれのシナプスの配列を含む。
図3はさらに、TSV212−Eを含む構造体200’を示す。なお、図2に示すTSV212−Cおよび212−Aは、図3の視点ではTSV212−Eの真後ろにあるため図3では隠れていることに留意されたい。図3はさらに、図面を簡単にすることのみを目的として、TSV212−G、212−H、212−I、212−J、212−K、212−L、212−F、212−D、および212−Bを図示から省いている。図3はさらに、追加のTSV222−Eおよび232−Eを含む構造体200’を示している。TSV222−Eは、ニューロン層202から直角に立ち上がり、シナプス層220に接続し、TSV232−Eは、ニューロン層202から直角に立ち上がり、シナプス層230に接続する。また、TSV222−Eは、シナプス層220のシナプス配列の各行および各列に接続された複数のスタガードTSV(図3には示されていない222−Aないし222−L)の一部であり、TSV232−Eは、シナプス層230のシナプス配列の各行および各列に接続された複数のスタガードTSV(図3には示されていない232−Aないし232−L)の一部であることに留意されたい。
図3において、TSV212−E、222−Eおよび232−Eは垂直方向に互い違いになっていることに注目することが重要である。本明細書で使用する「スタガードTSV」とは、別の複数のTSVから水平方向にずれた複数のTSVも指す場合がある。また、本明細書で使用する「スタガードTSV」は、互い違いの垂直方向高さを有する水平方向にずれた1組のTSVを指す場合がある。例えば、第1の複数のスタガードTSV(212−Aないし212−L)と、第2の複数のスタガードTSV(222−Aないし222−L)と、第3の複数のスタガードTSV(232−Aないし232−L)とがそれぞれ、それぞれのシナプス層に達する互い違いの垂直方向高さを有する。
最後に、図3は、ニューロン層202の真上に配置された再配線層204を含む構造体200’を示している。再配線層204は、1つまたは複数のTSVの、ニューロン層202に分散させたニューロンのうちの1つまたは複数のニューロンへの選択的結合を制御するためのルーティング層として動作することができる。
図2および図3に示すように、複数のスタガードTSVがニューロン層202の外周部に配置されている。実施形態によっては、ニューロン層の最外周部に最下層のシナプス層に接続する複数のスタガードTSVが配置され、ニューロン層の最内周部に最上層のシナプス層に接続する複数のスタガードTSVが配置されることが好ましい場合がある。そのような構成により、水平方向の伝達時間と垂直方向の伝達時間との効率的なトレードオフが可能になる。しかし、このような例示は本発明の範囲を限定することを意図したものではまったくない。別の実施形態では、シナプス層は複数のシナプス配列を含んでよく、TSVは配列の外周部に分散させるだけでなく、所与のシナプス層の1つまたは複数のシナプス配列にわたってそれら複数のシナプス配列の間にも分散させる。
上記の実施形態のいずれかの全体を互いに積層させてもよい。例えば、ニューロン層と最配線層とシナプス層とTSVからなる追加の1組を、図3に示すような構造体200’の上に積層させてもよい。このような構造では、所与のニューロン層から立ち上がるTSVが、上に積層させた1つまたは複数のニューロン層にも延び、それらのニューロン層のうちのいずれか1つの層の1つまたは複数のコンピューティング・デバイスと、シナプス層のうちのいずれか1つの層の1つまたは複数のメモリ・デバイスとの間の通信リンクとして動作する。
上記の実施形態のいずれにおいても、シナプスの配列はN×Nのサイズの正方形配列である必要はない。例えば、N>Mとして、複数のシナプスをN×Mのサイズの配列でシナプス層内に分散させていてもよい。
実施形態によっては、ニューロン層が、その上に積層させたシナプス層のうちのいずれか1つのシナプス層よりも広い面積を備えてもよい。例えば、ニューロン層は20mm×20mmの寸法を備えてよく、複数のシナプス層がそれぞれ19mm×19mmの寸法を備えてもよい。このような実施形態では、複数のシナプス層は、ニューロン層上に同心円状に積層させてよく、複数のTSVが、複数のシナプス層を囲むニューロン層の外周部においてニューロン層から直角に延びてもよい。このような構成の例示の実施形態は図2および図3に示されている。
なお、配列の数およびサイズまたは配列内に含まれるニューロンまたはシナプスの数に関して上記の例のいずれも例示に過ぎないことに留意されたい。また、TSVの数、形状、配置または分散に関して上記の例のいずれも例示に過ぎず、本発明の範囲を限定することを意図したものではまったくない。
本発明の開示の実施形態のいずれにおいても、シナプス層の異種集積が実現され得る。例えば、所与の複数のシナプス層において、第1の層がPCMデバイスの配列を含んでよく、第2の層がRRAMデバイスの配列を含んでよい。シナプス層は、PCM、RRAMまたはCMOSメモリ・デバイスのうちの1つまたは複数のメモリ・デバイスを含むメモリ・デバイスの配列を含んでもよい。また、開示の実施形態のいずれにおいても、TSVはタングステン、銅または他の任意の適切な材料からなり得る。例えば、Cu−Cuボンディング、ポリマー・ボンディング、酸化物ボンディングまたはハイブリッド・ボンディングによって3Dボンディングを実現することができる。高密度3D集積構造体の場合、酸化物ボンディングが好ましい。
例示として、従来の2Dシナプス・チップは1024個の軸索接続を備えた256個のニューロン・デバイスを含むことができ、合計1024×256個のシナプス・デバイスを含み得る。これらのシナプス・デバイスは1024×256サイズの配列に分散させることができ、1024行がそれぞれの軸索接続に対応し、256列がそれぞれのニューロン/デバイスに対応する。従来の2Dシナプス・チップとは異なり、本発明の一実施形態は256個のニューロン・デバイスを含むニューロン層を含む。このニューロン層の上に、各層が256×256のサイズの配列のシナプス・デバイスを含む4層のシナプス層を積層させれば、同じ数のシナプス・デバイスが大幅に縮小させた面積に収容されることになる。例えば、3D構造体の底面サイズは、シナプス・デバイスとほぼ同じサイズで済むニューロン層のサイズとするだけでよい。あるいは、各層が128×128のサイズの配列のシナプス・デバイスを含む16層のシナプス層を積層させても、同じ数のシナプス・デバイスがさらに小さい面積に収容されることになる。したがって、3D集積構造によってシナプス・チップの実装面積は大幅に縮小する。また、より大きな面積を必要とすることなく、積層させるシナプス層が多いほど、より多数のニューロン・デバイスとより多数のシナプス・デバイスとのより多数の軸索接続が可能になる。
第2の実施形態によれば、図3に示す構造体200’とは異なり、ニューロン層がシナプス・チップ・コア層302に置き換えられた構造体300の断面側面図を図4に示す。また、図3に示すようにそれぞれがシナプスの配列を含む複数のシナプス層を積層させる代わりに、構造体300は、複数の並列シナプス回路層304−1、304−2、...304−N(並列シナプス回路層304と総称する)の積層を示す。図2および図3を参照して示した構造体と同様に、シナプス・チップ・コア層302は、複数のスタガードTSVを介してそれぞれの並列シナプス回路層と通信するように動作可能に構成される。構造体300は再配線層306をさらに含む。再配線層306は、シナプス・チップ・コア層302におけるある点を、並列シナプス回路層304における場所にルーティングするためのルーティング層として動作することができる。さらに、図1に示す構造体と同様に、構造体300の各ブロックは、ニューロン、シナプス、および1つまたは複数のニューロンと1つまたは複数のシナプスとの間の通信リンクを含み得る。
次に図5を参照すると、構造体300’に示すTSVは、図2および図3を参照しながら上述した第1の実施形態と実質的に類似した方式で構成され、動作可能である。また、複数の並列シナプス回路層をシナプス・チップ・コア層の上に積層させるための技術と、各層が対応する複数の並列シナプス回路層を含む複数のシナプス・チップ・コア層を積層させるための技術は、第1の実施形態を参照しながら上記で開示した技術と実質的に類似している。したがって、説明を簡単にするために、具体的な配置および構成に関する開示は省略する。さらに、図1に示す構造体と同様に、構造体300の各ブロックは、ニューロン、シナプス、および1つまたは複数のニューロンと1つまたは複数のシナプスとの間の通信リンクを含み得る。
本明細書では添付図面を参照しながら例示の実施形態について説明したが、本発明はこれらの厳密な実施形態には限定されず、本発明の範囲から逸脱することなく当業者によって様々な他の変形および変更を加えられ得るものと理解すべきである。

Claims (20)

  1. 方法であって、
    複数のコンピューティング素子を含む1つまたは複数のニューロン層を形成するステップと、
    前記1つまたは複数のニューロン層の上に、それぞれがメモリ素子の配列を含む1つまたは複数のシナプス層を形成するステップと、
    前記1つまたは複数のニューロン層を前記1つまたは複数のシナプス層に接続する複数のスタガード・スルー・シリコン・ビア(TSV)を形成するステップと
    を含み、
    前記複数のスタガードTSVは、前記1つまたは複数のニューロン層における1つまたは複数のコンピューティング素子と前記1つまたは複数のシナプス層における1つまたは複数のメモリ素子との間の通信リンクとして動作する、方法。
  2. 前記複数のスタガードTSVは、前記1つまたは複数のシナプス層の外周部に形成される、請求項1に記載の方法。
  3. 前記複数のスタガードTSVは、前記外周部にジグザグに形成され、メモリ素子の前記配列の交互の行と列とがそれぞれの反対側の前記TSVに接続される、請求項2に記載の方法。
  4. 前記シナプス層のうちの少なくとも1つのシナプス層が、メモリ素子の複数の配列を含み、前記複数のスタガードTSVは、外周部とメモリ素子の前記複数の配列のそれぞれにわたりそれぞれの間に形成される、請求項1に記載の方法。
  5. それぞれの複数のスタガードTSVがそれぞれのシナプス層に接続し、それぞれの複数のスタガードTSVが垂直方向に互い違いに配置される、請求項1ないし4のいずれかに記載の方法。
  6. 前記シナプス層のうちの2つ以上のシナプス層が異種シナプス層であり、少なくとも1つのシナプス層が、相変化メモリ(PCM)素子と抵抗変化型ランダム・アクセス・メモリ(RRAM)素子と相補型金属酸化膜半導体(CMOS)メモリ素子とのうちの1つの第1の種類のメモリ素子を含むメモリ素子の配列を含み、少なくとも1つの他のシナプス層が、前記第1の種類のメモリ素子とは異なる、PCM素子とRRAM素子とCMOSメモリ素子とのうちの1つの第2の種類のメモリ素子を含むメモリ素子の配列を含む、請求項1ないし5のいずれかに記載の方法。
  7. メモリ素子の前記配列は、相変化メモリ(PCM)素子と抵抗変化型ランダム・アクセス・メモリ(RRAM)素子と相補型金属酸化膜半導体(CMOS)メモリ素子とのうちの2つ以上のメモリ素子を含むメモリ素子の異種配列である、請求項1ないし6のいずれかに記載の方法。
  8. 前記1つまたは複数のニューロン層の上に再配線層を形成するステップをさらに含み、前記再配線層において、前記複数のスタガードTSVが前記1つまたは複数のニューロン層の前記1つまたは複数のコンピューティング素子に選択的に結合される、請求項1ないし7のいずれかに記載の方法。
  9. 複数の1つまたは複数のニューロン層を形成するために各前記形成ステップを反復するステップをさらに含み、前記複数の1つまたは複数のニューロン層はそれぞれ、それぞれがメモリ素子の配列を含む1つまたは複数のシナプス層のそれぞれの1組を含み、前記複数のスタガードTSVは、前記ニューロン層のうちのいずれか1つのニューロン層における1つまたは複数のコンピューティング素子と前記シナプス層のいずれか1つのシナプス層における1つまたは複数のメモリ素子との間の通信リンクとして動作する、請求項1ないし8のいずれかに記載の方法。
  10. 装置であって、
    それぞれが複数のコンピューティング素子を含む1つまたは複数のニューロン層と、
    前記1つまたは複数のニューロン層の上に形成され、それぞれがメモリ素子の配列を含む1つまたは複数のシナプス層と、
    前記1つまたは複数のニューロン層を前記1つまたは複数のシナプス層に接続する複数のスタガード・スルー・シリコン・ビア(TSV)と
    を含み、
    前記複数のスタガードTSVは、前記1つまたは複数のニューロン層における1つまたは複数のコンピューティング素子と前記1つまたは複数のシナプス層における1つまたは複数のメモリ素子との間の通信リンクとして動作する、装置。
  11. 前記複数のスタガードTSVは、前記1つまたは複数のシナプス層の外周部に形成された、請求項10に記載の装置。
  12. 前記複数のスタガードTSVは、前記外周部にジグザグに形成され、メモリ素子の前記配列の交互の行および列がそれぞれの反対側の前記TSVに接続された、請求項11に記載の装置。
  13. 前記シナプス層のうちの少なくとも1つのシナプス層がメモリ素子の複数の配列を含み、前記複数のTSVはメモリ素子の前記複数の配列のそれぞれの外周部に互い違いに配置されている、請求項10に記載の装置。
  14. それぞれの複数のスタガードTSVがそれぞれのシナプス層に接続し、それぞれの複数のスタガードTSVが垂直方向に互い違いに配置されている、請求項10ないし13のいずれかに記載の装置。
  15. 前記シナプス層のうちの2つ以上のシナプス層が異種シナプス層であり、少なくとも1つのシナプス層が、相変化メモリ(PCM)素子と抵抗変化型ランダム・アクセス・メモリ(RRAM)素子と相補型金属酸化膜半導体(CMOS)メモリ素子とのうちの1つの第1の種類のメモリ素子を含むメモリ素子の配列を含み、少なくとも1つの他のシナプス層が、前記第1の種類のメモリ素子とは異なる、PCM素子とRRAM素子とCMOSメモリ素子とのうちの1つの第2の種類のメモリ素子を含むメモリ素子の配列を含む、請求項10ないし14のいずれかに記載の装置。
  16. メモリ素子の前記配列は、相変化メモリ(PCM)素子と抵抗変化型ランダム・アクセス・メモリ(RRAM)素子と相補型金属酸化膜半導体(CMOS)メモリ素子とのうちの2つ以上のメモリ素子を含むメモリ素子の異種配列である、請求項10ないし15のいずれかに記載の装置。
  17. 前記1つまたは複数のニューロン層の上に形成された再配線層をさらに含み、前記再配線層において、前記複数のTSVが前記1つまたは複数のニューロン層の1つまたは複数のコンピューティング素子に選択的に結合される、請求項10ないし16のいずれかに記載の装置。
  18. 複数の1つまたは複数のニューロン層をさらに含み、前記複数の1つまたは複数のニューロン層はそれぞれ、それぞれがメモリ素子の配列を含む1つまたは複数のシナプス層のそれぞれの1組を含み、前記複数のスタガードTSVは、前記ニューロン層のうちのいずれか1つのニューロン層における1つまたは複数のコンピューティング素子と前記シナプス層のうちのいずれか1つのシナプス層における1つまたは複数のメモリ素子との間の通信リンクとして動作する、請求項10ないし17のいずれかに記載の装置。
  19. 方法であって、
    シナプス・チップ・コア層を形成するステップと、
    前記シナプス・チップ・コア層の上に、それぞれがシナプス回路の配列を含む1つまたは複数の並列シナプス回路層を形成するステップと、
    前記並列シナプス回路層のそれぞれを前記シナプス・チップ・コア層に接続する複数のスタガード・スルー・シリコン・ビア(TSV)を形成するステップと
    を含み、
    前記複数のスタガードTSVは、前記シナプス・チップ・コア層と前記1つまたは複数の並列シナプス回路層のそれぞれとの間の通信リンクとして動作する、方法。
  20. 請求項19に記載の前記ステップにより形成された集積回路。
JP2018517694A 2015-11-30 2016-11-22 ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路 Active JP6943847B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/953,585 US10832127B2 (en) 2015-11-30 2015-11-30 Three-dimensional integration of neurosynaptic chips
US14/953,585 2015-11-30
PCT/IB2016/057027 WO2017093848A1 (en) 2015-11-30 2016-11-22 Three-dimensional integration of neurosynaptic chips

Publications (2)

Publication Number Publication Date
JP2019505065A true JP2019505065A (ja) 2019-02-21
JP6943847B2 JP6943847B2 (ja) 2021-10-06

Family

ID=58777244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517694A Active JP6943847B2 (ja) 2015-11-30 2016-11-22 ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路

Country Status (6)

Country Link
US (1) US10832127B2 (ja)
JP (1) JP6943847B2 (ja)
CN (1) CN107851215B (ja)
DE (1) DE112016003571B4 (ja)
GB (1) GB2560480B (ja)
WO (1) WO2017093848A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021013048A (ja) * 2019-07-03 2021-02-04 公立大学法人会津大学 3次元ネットワークオンチップによるスパイキングニューラルネットワーク
JP2021511566A (ja) * 2018-01-19 2021-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
US11410721B2 (en) 2020-03-17 2022-08-09 Kioxia Corporation Semiconductor memory device
WO2022172609A1 (ja) * 2021-02-10 2022-08-18 パナソニックIpマネジメント株式会社 Aiモジュール

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110574043B (zh) * 2016-12-09 2023-09-15 许富菖 三维神经网络阵列
US11609623B2 (en) 2017-09-01 2023-03-21 Qualcomm Incorporated Ultra-low power neuromorphic artificial intelligence computing accelerator
KR102112393B1 (ko) * 2018-02-28 2020-05-18 부산대학교 산학협력단 3차원 적층 시냅스 어레이 기반의 뉴로모픽 시스템과 그 동작 방법 및 제조 방법
KR102589968B1 (ko) * 2018-04-17 2023-10-16 삼성전자주식회사 3 차원 적층 구조를 갖는 뉴로모픽 회로 및 이를 포함하는 반도체 장치
US11157213B2 (en) 2018-10-12 2021-10-26 Micron Technology, Inc. Parallel memory access and computation in memory devices
US10461076B1 (en) 2018-10-24 2019-10-29 Micron Technology, Inc. 3D stacked integrated circuits having functional blocks configured to accelerate artificial neural network (ANN) computation
CN110111234B (zh) * 2019-04-11 2023-12-15 上海集成电路研发中心有限公司 一种基于神经网络的图像处理系统架构
US12026601B2 (en) * 2019-06-26 2024-07-02 Micron Technology, Inc. Stacked artificial neural networks
KR20210050966A (ko) 2019-10-29 2021-05-10 삼성전자주식회사 적층형 뉴로모픽 장치 및 뉴로모픽 컴퓨팅 장치
RU2744440C1 (ru) * 2020-09-23 2021-03-09 Федеральное государственное бюджетное учреждение науки Институт физики твердого тела Российской академии наук (ИФТТ РАН) Способ записи и считывания информации для элементов постоянной памяти нейроморфных систем
CN115983357B (zh) * 2022-12-22 2024-05-28 清华大学 仿生神经网络芯片
WO2024219597A1 (ko) * 2023-04-18 2024-10-24 서울대학교 산학협력단 심층 신경망 훈련용 전하 저장형 시냅스 장치 및 이의 구동 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040261A (ja) * 2004-06-25 2006-02-09 Matsushita Electric Ind Co Ltd スレーブ装置、マスタ装置及び積層装置
US20100241601A1 (en) * 2009-03-20 2010-09-23 Irvine Sensors Corporation Apparatus comprising artificial neuronal assembly
JP2011253607A (ja) * 2010-06-01 2011-12-15 Samsung Electronics Co Ltd 積層半導体メモリ装置、これを含むメモリシステム及び貫通電極の欠陥リペア方法
JP2013025817A (ja) * 2011-07-21 2013-02-04 Commissariat A L'energie Atomique Et Aux Energies Alternatives データ処理のための装置および方法
JP2015502651A (ja) * 2011-09-30 2015-01-22 インテル・コーポレーション 3d集積回路積層体の層間通信

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7398259B2 (en) * 2002-03-12 2008-07-08 Knowmtech, Llc Training of a physical neural network
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8373440B2 (en) 2009-04-06 2013-02-12 Hewlett-Packard Development Company, L.P. Three dimensional multilayer circuit
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US8492195B2 (en) 2010-08-23 2013-07-23 Crossbar, Inc. Method for forming stackable non-volatile resistive switching memory devices
US8253443B2 (en) 2010-10-26 2012-08-28 Hewlett-Packard Development Company, L.P. Interconnection architectures for multilayer crossbar circuits
US8510239B2 (en) 2010-10-29 2013-08-13 International Business Machines Corporation Compact cognitive synaptic computing circuits with crossbar arrays spatially in a staggered pattern
US8569861B2 (en) * 2010-12-22 2013-10-29 Analog Devices, Inc. Vertically integrated systems
US8547769B2 (en) * 2011-03-31 2013-10-01 Intel Corporation Energy efficient power distribution for 3D integrated circuit stack
WO2013101038A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Heterogeneous memory die stacking for energy efficient computing
US9214435B2 (en) * 2012-05-21 2015-12-15 Globalfoundries Inc. Via structure for three-dimensional circuit integration
US8990130B2 (en) 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory
CN104701309B (zh) 2015-03-24 2017-10-13 上海新储集成电路有限公司 三维堆叠式神经元装置及制备方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006040261A (ja) * 2004-06-25 2006-02-09 Matsushita Electric Ind Co Ltd スレーブ装置、マスタ装置及び積層装置
US20100241601A1 (en) * 2009-03-20 2010-09-23 Irvine Sensors Corporation Apparatus comprising artificial neuronal assembly
JP2011253607A (ja) * 2010-06-01 2011-12-15 Samsung Electronics Co Ltd 積層半導体メモリ装置、これを含むメモリシステム及び貫通電極の欠陥リペア方法
JP2013025817A (ja) * 2011-07-21 2013-02-04 Commissariat A L'energie Atomique Et Aux Energies Alternatives データ処理のための装置および方法
JP2015502651A (ja) * 2011-09-30 2015-01-22 インテル・コーポレーション 3d集積回路積層体の層間通信

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021511566A (ja) * 2018-01-19 2021-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
JP7228320B2 (ja) 2018-01-19 2023-02-24 インターナショナル・ビジネス・マシーンズ・コーポレーション ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
US11763139B2 (en) 2018-01-19 2023-09-19 International Business Machines Corporation Neuromorphic chip for updating precise synaptic weight values
JP2021013048A (ja) * 2019-07-03 2021-02-04 公立大学法人会津大学 3次元ネットワークオンチップによるスパイキングニューラルネットワーク
JP7277682B2 (ja) 2019-07-03 2023-05-19 公立大学法人会津大学 3次元ネットワークオンチップによるスパイキングニューラルネットワーク
US11410721B2 (en) 2020-03-17 2022-08-09 Kioxia Corporation Semiconductor memory device
WO2022172609A1 (ja) * 2021-02-10 2022-08-18 パナソニックIpマネジメント株式会社 Aiモジュール

Also Published As

Publication number Publication date
WO2017093848A1 (en) 2017-06-08
GB2560480B (en) 2022-02-09
US20170154257A1 (en) 2017-06-01
DE112016003571B4 (de) 2023-11-02
GB2560480A (en) 2018-09-12
DE112016003571T5 (de) 2018-04-19
CN107851215B (zh) 2021-08-03
JP6943847B2 (ja) 2021-10-06
CN107851215A (zh) 2018-03-27
GB201810430D0 (en) 2018-08-08
US10832127B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6943847B2 (ja) ニューロシナプティック・チップ3次元集積回路の形成方法、ニューロシナプティック・チップ3次元集積装置およびニューロシナプティック・チップ3次元集積回路
US20240152743A1 (en) Three dimensional circuit implementing machine trained network
US11410026B2 (en) Neuromorphic circuit having 3D stacked structure and semiconductor device having the same
JP7402401B2 (ja) モノリシック集積型3次元cmosロジック及びメモリを製造するためのアーキテクチャ設計及びプロセス
US11055606B2 (en) Vertically integrated neuro-processor
US8589320B2 (en) Area efficient neuromorphic system that connects a FET in a diode configuration, and a variable resistance material to junctions of neuron circuit blocks
CN112913017A (zh) 具有配置成加快人工神经网络(ann)计算的功能块的3d堆叠集成电路
US11989646B2 (en) Neuromorphic apparatus having 3D stacked synaptic structure and memory device having the same
TWI699762B (zh) 使用半導體記憶元件之類神經網路運算電路及動作方法
US10049321B2 (en) Anti-hebbian and hebbian computing with thermodynamic RAM
An et al. Opportunities and challenges on nanoscale 3D neuromorphic computing system
TW202306051A (zh) 記憶體電路、神經網路電路以及製造積體電路裝置的方法
KR102607860B1 (ko) 3차원 적층 시냅스 구조를 갖는 뉴로모픽 장치 및 이를 포함하는 메모리 장치
Lastras-Montano et al. 3D-DPE: A 3D high-bandwidth dot-product engine for high-performance neuromorphic computing
KR20220080079A (ko) 3d 신경 추론 처리 유닛 아키텍처들
KR101997987B1 (ko) 커패시턴스-기반의 다층 시냅스 소자 및 그의 제조 방법
KR102593032B1 (ko) 모놀리식 3d 집적 구조를 이용한 인-메모리 sram 기반 이진 신경망 가속기
KR20230126240A (ko) 3차원 적층 신호 분배망 구조의 뉴로모픽 반도체
Isokawa et al. Reconfiguration in Defect-Tolerant Asynchronous Cellular Automata

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180703

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200804

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210909

R150 Certificate of patent or registration of utility model

Ref document number: 6943847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250