JP2017538994A - ニューロモーフィック・シナプス、そのアレイ、および、そのシステム - Google Patents

ニューロモーフィック・シナプス、そのアレイ、および、そのシステム Download PDF

Info

Publication number
JP2017538994A
JP2017538994A JP2017519852A JP2017519852A JP2017538994A JP 2017538994 A JP2017538994 A JP 2017538994A JP 2017519852 A JP2017519852 A JP 2017519852A JP 2017519852 A JP2017519852 A JP 2017519852A JP 2017538994 A JP2017538994 A JP 2017538994A
Authority
JP
Japan
Prior art keywords
neuron
synapse
activity signal
signal
post
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017519852A
Other languages
English (en)
Other versions
JP6644064B2 (ja
Inventor
エレフセリウー、エヴァンゲロス、スタブロス
パンタツ、アンゲリキ
セバスティアン、アブ
ツーマ、トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2017538994A publication Critical patent/JP2017538994A/ja
Application granted granted Critical
Publication of JP6644064B2 publication Critical patent/JP6644064B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0004—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising amorphous/crystalline phase transition cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Semiconductor Memories (AREA)

Abstract

【課題】ニューロモーフィック・シナプスを提供する。【解決手段】シナプス１１は、第１の入力端子２１および第２の入力端子２２を有する回路網内で接続されるＰＣＭセル１５を備える。これらの第１の入力端子２１、第２の入力端子２２は、使用中に、各々が読み出し部および書き込み部を有する、前ニューロン活動信号および後ニューロン活動信号をそれぞれ受け取る。回路網はさらには、ＰＣＭセル１５の抵抗に依存するシナプス出力信号を提供するための出力端子２３を有する。回路網は、シナプス出力信号が、出力端子２３で、前ニューロン活動信号の読み出し部の第１の入力端子２１での付与に応答して提供されるように、ならびに、ＰＣＭセル１５の抵抗をプログラムするためのプログラミング信号が、ＰＣＭセル１５に、第１の入力端子２１および第２の入力端子２２での、それぞれの前ニューロン活動信号および後ニューロン活動信号の書き込み部の同時の付与に応答して付与されるように動作可能である。シナプス１１は、同一の前ニューロン活動信号および後ニューロン活動信号による動作に対して適応させられ得る。【選択図】図２

Description

本発明は一般的には、ニューロモーフィック・シナプスに関する。抵抗性メモリ・セル（resistivememory cell）をベースにするニューロモーフィック・シナプスが、そのようなシナプスを組み込むシナプス・アレイおよびシステムとともに提供される。
ニューロモーフィック技術は、神経系の生物学的アーキテクチャにより着想を与えられるコンピューティング・システムに関連している。従来のコンピューティング・アーキテクチャは、現代のコンピュータ・システムにかけられる、絶えず膨張する処理需要を満たすには、ますます不適当になりつつある。人間の脳と比較して、古典的なフォン・ノイマン・コンピュータ・アーキテクチャは、電力消費および空間要件に関して、きわめて非効率的である。人間の脳は、２リットル未満であり、およそ２０Ｗの電力を消費する。５秒の脳活動性を、現状技術のスーパーコンピュータを使用してシミュレートするには、およそ５００ｓがかかり、１．４ＭＷの電力を必要とする。これらの問題点が、人間の脳のきわめて効率的な計算パラダイムを理解し、先例のないコンピューティング・パワーを伴う人工認知システムを創出するための、相当量の研究努力を促してきた。
ニューロンおよびシナプスは、脳内の２つの基本計算ユニットである。ニューロンは、他のニューロンから来る入力を、一部の事例では、例えば感覚受容器からの、さらなる入力と統合し得るものであり、「活動電位」または「スパイク」として知られる出力信号を生成する。シナプスは、それらの接続強度を、ニューロン活動性の結果として変化させる。添付図面の図１は、２つのニューロン２の間に配置されるシナプス１の概略表現を示す。シナプス１は、シナプス前ニューロン「前ニューロン」(pre-synaptic neuron ("pre-neuron"))Ｎ１により生成される活動電位を受け取り、出力信号をシナプス後ニューロン「後ニューロン」(post-synaptic neuron ("post-neuron"))Ｎ２に提供する。前ニューロン活動電位は、シナプス１に、ニューロンＮ１の軸索３を介して伝えられる。結果として生じるシナプス出力信号は、シナプスのコンダクタンス（さらには「シナプス荷重」または「強度」として知られる）に依存する、緩シナプス電位である。シナプス荷重は、ニューロン活動性により加重または低減され得るものであり、シナプスのこの「可塑性」は、記憶および他の脳機能には不可欠である。この効果は、図１では、後ニューロン活動電位の後方伝搬、すなわち、ニューロンＮ２により生成される、ニューロンＮ２の樹状突起４を介するシナプス１へのスパイクにより指示される。
生物学的システムでの活動電位は、同じ形状を、ニューロン発火（スパイク生成）のすべての実例で有する。情報は、スパイク形状にあるのではなく、発火時間のみにある。詳細にはシナプス荷重は、前ニューロン活動電位および後ニューロン活動電位の相対的タイミングに依存した形で修正され得る。ここでの単純なモデルでは、シナプスは、前ニューロンおよび後ニューロンが一体で発火する場合、ますますより強く（導電性がより高く）なる。シナプス荷重の変化はさらには、前ニューロン・スパイクおよび後ニューロン・スパイクのタイミングでのわずかな差に依存し得る。例えばシナプス荷重は、後ニューロンが前ニューロンの直後に発火する傾向がある場合に増大し、後ニューロンが前ニューロンの直前に発火する傾向がある場合に減少し得る。これらの相対的タイミング効果は一般的には、スパイク・タイミング依存可塑性（ＳＴＤＰ：spike-timing dependent plasticity）として知られる。
シナプスは典型的には、ニューロンに相当量の倍数（人間の脳の事例では、およそ１０，０００）の数だけ勝る。ニューロモーフィック計算技術での主たる難題は、生物学的シナプスの可塑性をエミュレートする、コンパクトなナノ電子デバイスの開発である。
抵抗性メモリ・セルは、ニューロモーフィック・シナプスを実現するための候補として認識されてきた。相変化メモリ（ＰＣＭ）セルなどの抵抗性メモリ・セルは、電極の対の間に配設される抵抗性材料の体積の可変抵抗特性に依拠する、プログラマブル抵抗デバイスである。セル抵抗は、電極への制御信号の付与により制御され得る。これらのセルはしきい値スイッチング効果を呈し、そのことによりセルは、しきい値レベルより上の制御信号を付与することにより、高抵抗状態と低抵抗状態との間でスイッチングされ得る。制御信号の適切な調整により、セルは、中間抵抗値の範囲にプログラムされ得る。ＰＣＭセルでは例えば、プログラマブル抵抗は、カルコゲナイド材料の体積を加熱することを、カルコゲナイド体積内の（高抵抗）非晶相および（低抵抗）結晶相の相対的割合を変化させるように行うことにより達成される。セル抵抗を変化させるために、相変化に対して要されるしきい値電圧より上のプログラミング（または「書き込み」）信号が、セルに電極を介して付与される。セル抵抗は、低電圧読み出し信号を電極に付与し、セルを通る、結果として生じる電流の流れを測定することにより、測定され（または「読み出され」）得る。読み出し電圧レベルは、読み出し電圧が、プログラムされたセル状態を乱さないということを確実にするだけ十分に低い。
抵抗性メモリ・セルは、シナプス、および、スパイク・タイミング依存可塑性などの決まった学習則をエミュレートし得るということが示されている。現在のＰＣＭベースのシナプス実現形態は、アレイの行および列が、それぞれ軸索および樹状突起に対応する、クロスバー・アレイ構成で実証されている。そのようなシステムの例は、米国特許第８，５８９，３２０Ｂ２号、米国特許出願公開第２０１４／０１７２７６２Ａ１号、"Nanoelectronic Programmable SynapsesBased on Phase Change Materials for Brain-Inspired Computing", Kuzum et al, Nanoletters, 12, pp.2179, 2011、"Nanoscale Electronic Synapses UsingPhase Change Devices", Jackson et al, ACM Journal on Emerging Technologiesin Computing Systems, vol. 9(2), 2013、"VisualPattern Extraction Using Energy-Efficient "2-PCM Synapse"Neuromorphic Architecture", Bichler et al., IEEETransactions on Electron Devices, vol. 59(8), 2012、および、"ExperimentalDemonstration of Array-level Learning with Phase Change Synaptic Devices",Eryilmaz et al., Proc. IEDM, 2013において説明されている。
これらのクロスバー・メモリ・セル・アレイによって、シナプスを表す各々の個々のセルは、アレイ・チップの行ラインおよび列ラインのそれぞれの対の間で接続される。シナプスは、その前ニューロン回路および後ニューロン回路の発火により生み出されるスパイクを表す活動信号を、それぞれ行ラインおよび列ライン上で受け取る。シナプスは、１度に１つの行をプログラミングのためにアドレス指定されることが、前ニューロン活動信号および後ニューロン活動信号に対する、異なるパルス形状およびタイミング構成を使用して行われる。すべてのニューロン間通信は、オフ・チップ・アドレス・イベントを使用して実装される。学習アプリケーションは例えば、トレーニング・アルゴリズムをオフ・チップで実行して、学習後の適切なシナプス荷重を決定することにより実装され得る。メモリ・チップは次いで、それに従って個々のセルの抵抗をプログラムするためにアドレス指定される。これは、生物学的システムのリアル・タイム動作と比較して、低速の非効率的なプロセスである。前ニューロン活動信号および後ニューロン活動信号が異なるということもまた、これらのシステムの動作に固有のものである。これは、活動電位が発火のすべての実例で同一である生物学的システムとは、まったく対照的である。
米国特許第８，５８９，３２０Ｂ２号 米国特許出願公開第２０１４／０１７２７６２Ａ１号
"NanoelectronicProgrammable Synapses Based on Phase Change Materials for Brain-InspiredComputing", Kuzum et al, Nanoletters,12, pp. 2179, 2011 "Nanoscale Electronic SynapsesUsing Phase Change Devices", Jackson et al, ACM Journal on EmergingTechnologies in Computing Systems, vol. 9(2), 2013 "Visual Pattern ExtractionUsing Energy-Efficient "2-PCM Synapse" NeuromorphicArchitecture", Bichler et al., IEEE Transactionson Electron Devices, vol. 59(8), 2012 "Experimental Demonstration ofArray-level Learning with Phase Change Synaptic Devices", Eryilmaz et al., Proc. IEDM, 2013
抵抗性メモリ・セルを使用するニューロモーフィック・シナプス・システムでの改善が、きわめて望ましいことになる。
本発明の第１の態様の実施形態は、回路網内で接続される抵抗性メモリ・セルを備えるニューロモーフィック・シナプスであって、回路網は、
各々が読み出し部および書き込み部を有する、前ニューロン活動信号および後ニューロン活動信号をそれぞれ受け取るための、第１の入力端子および第２の入力端子と、
前記メモリ・セルの抵抗に依存するシナプス出力信号を提供するための出力端子と
を有し、
前記回路網は、前記シナプス出力信号が、出力端子で、前ニューロン活動信号の読み出し部の第１の入力端子での付与に応答して提供されるように、ならびに、メモリ・セルの抵抗をプログラムするためのプログラミング信号が、セルに、それぞれ第１の入力端子および第２の入力端子での、前ニューロン活動信号および後ニューロン活動信号の書き込み部の同時の付与に応答して付与されるように動作可能である、
ニューロモーフィック・シナプスを提供する。
本発明を具現化するニューロモーフィック・シナプスは、したがって、２つの部分、すなわち、読み出し部および書き込み部を有する活動信号による動作に対して適応させられる３端子セル回路を備える。シナプス出力の伝搬は、回路の出力端子で、セル抵抗に依存するシナプス出力信号を生み出すことによりエミュレートされる。これは、前ニューロン活動信号の読み出し部が、２つの入力端子の１つに付与される時に起こる。シナプス荷重は、プログラミング信号をセルに付与して、セル抵抗をプログラムすることにより修正され得る。これは、前ニューロン活動信号および後ニューロン活動信号の書き込み部が、同時に２つの入力端子で付与される時に起こる。プログラムされるシナプス荷重は、したがって、前ニューロン活動信号および後ニューロン活動信号の相対的タイミングに依存し、そのことは、生物学的システムで起こるＳＴＤＰ効果のエミュレーションを可能とする。それでも先行のメモリ・セル・シナプスとは違い、本発明を具現化するシナプス回路は、アレイ構成での個々のシナプスの並列アドレス指定を許す。ゆえに、アレイの行および列の両方でのシナプスは、単一のステップでプログラムされ得る。これは、本発明を具現化するシナプス・アレイのリアル・タイム・プログラミングを可能とし、きわめて効率的な動作を提供し、オン・チップ学習を可能にし、そのことによりシナプス荷重は、ニューロン回路の発火に応答してリアル・タイムで動的に進化する。これは、先行のシステムで要されるオフ・チップ・アドレス指定に対する大きな進歩であり、連想メモリなどの学習アプリケーションの効率的な実装形態を可能にする。さらに、先行のデバイスとは違い、本発明の実施形態でのシナプス回路網は、同一の前ニューロン活動信号および後ニューロン活動信号による動作に対して適応させられ得る。これらのシナプスをベースにするニューロモーフィック・システムは、同一の活動信号を、ニューロン発火のすべての実例で使用し得るものであり、ニューロン間通信を単純化し、現実の生物学的システムと直接類似することを提供する。
プログラミング信号は、前ニューロン活動信号および後ニューロン活動信号の書き込み部の入力端子での同時の付与に応答して、すなわち、両方の書き込み部が、同じ時間に入力端子で存在する時に生み出される。プログラミング信号は、したがって、書き込み部がそれらのそれぞれの入力端子で付与される時間期間に、少なくとも部分的な重なりがある場合に生み出され得る。下記で説明する好ましい実施形態では、シナプス回路網は、プログラミング信号が、セルに、入力端子での書き込み部の同時の付与の期間の間に付与され、プログラミング信号が、書き込み部の少なくとも１つの形状に依存するように適応させられる。これらの特徴は、下記でさらに論考する様々なＳＴＤＰ効果の利便性の高い実装形態を可能とする。例えば、活動信号の少なくとも１つの書き込み部は、プログラミング信号が、入力端子での前ニューロン活動信号および後ニューロン活動信号の相対的タイミングに依存した形で変動するように形状設定され得る。書き込み部は、実例として、異なる振幅または持続時間あるいはその両方の領域を有し得るものであり、それ自体はパルスのシーケンスを含み得る。
多くの回路実装形態を、シナプス回路に対して説明する機能性を実装するために考察することが可能である。しかしながら好ましい実装形態では、回路網は、回路網が、メモリ・セルへの前記プログラミング信号の付与、および、出力端子での前記シナプス出力信号の提供を選択的にもたらすように、活動信号の少なくとも１つに依存した形で構成可能なスイッチ・セットを含む。実際にはそのような回路は、スイッチ・セットの適切な構成による異なる配置構成を選択的に想定し得る。１つの回路配置構成では、セルは、前ニューロン活動信号の読み出し部が第１の入力端子で存在する場合、読み出しモードで動作させられることになる。これは、出力端子でのシナプス出力信号を生み出す。別の回路配置構成では、セルは、前ニューロン活動信号および後ニューロン活動信号の両方の書き込み部が２つの入力端子で存在する場合、プログラミング・モードで動作させられることになる。回路の動作はしたがって、入力端子での活動信号に依存した形で制御されるスイッチ・セットの状態に依存する。下記の好ましい実施形態では、スイッチ・セットは、前ニューロン活動信号、または、前ニューロン活動信号および後ニューロン活動信号の両方の組合せのいずれかにより構成可能である。スイッチ・セットは一般的に、１つまたは複数のスイッチを備え得るものであり、好ましい実施形態は、２つのスイッチだけを用いる。
特にコンパクトな設計では、回路網は、第１の入力端子とメモリ・セルの第１の電極との間で接続される第１の抵抗と、メモリ・セルの第２の電極と基準端子との間で接続される第２の抵抗とを含む。出力端子は、メモリ・セルの第２の電極に接続される。第１のスイッチは、第２の電極と基準端子との間で、第２の抵抗に並列に接続され、第２のスイッチは、第２の入力端子とメモリ・セルの第１の電極との間で接続される。回路網は好ましくは、第１のスイッチが、前ニューロン活動信号の書き込み部の間は閉成され、第２のスイッチが、前ニューロン活動信号および後ニューロン活動信号の１つの書き込み部の間は閉成されるようにさらに適応させられる。
本発明の第２の態様の実施形態は、複数の、本発明の第１の態様によるニューロモーフィック・シナプスを備えるニューロモーフィック・シナプス・アレイを提供する。シナプスは、アレイの論理行および論理列に割り当てられる。各々の列でのシナプスの第１の入力端子は、それぞれの前ニューロン・ラインに接続されることが、使用中の対応する前ニューロン回路からの前ニューロン活動信号を供給するために行われる。各々の行でのシナプスの第２の入力端子は、それぞれの後ニューロン・ラインに接続されることが、使用中の対応する後ニューロン回路からの後ニューロン活動信号を供給するために行われる。各々の行でのシナプスの出力端子は、前記対応する後ニューロン回路への接続のために配置構成されることが、使用中のその回路へのシナプス出力信号を供給するために行われる。
本発明の第３の態様の実施形態は、前ニューロン回路と、後ニューロン回路と、本発明の第１の態様によるニューロモーフィック・シナプスとを備えるニューロモーフィック・システムを提供する。前ニューロン回路は、シナプスの第１の入力端子に接続され、前記前ニューロン活動信号を、第１の端子への供給のために生成するように適応させられる。後ニューロン回路は、シナプスの第２の入力端子に接続され、前記後ニューロン活動信号を、第２の端子への供給のために生成するように適応させられる。後ニューロン回路は、シナプスの出力端子にさらに接続されることが、前記シナプス出力信号を受け取るために行われる。
本発明の第４の態様の実施形態は、本発明の第２の態様によるニューロモーフィック・シナプス・アレイと、複数のニューロン回路とを備えるニューロモーフィック・システムを提供する。各々のニューロン回路は、前ニューロン・ラインに、アレイのそれぞれの列に対して接続され、前記前ニューロン活動信号を、その列でのシナプスに対して生成するように適応させられ、そのことによりニューロン回路は、その列でのシナプスに対する前記前ニューロン回路として働く。各々のニューロン回路はさらには、後ニューロン・ラインに、アレイのそれぞれの行に対して接続され、前記後ニューロン活動信号を、その行でのシナプスに対して生成するように適応させられ、そのことによりニューロン回路は、その行でのシナプスに対する前記後ニューロン回路として働く。各々のニューロン回路は、前記それぞれの行でのシナプスの出力端子にさらに接続されることが、シナプス出力信号を、その行でのシナプスから受け取るために行われる。この配置構成によって、所与のニューロン回路が発火する時に生成される単一の活動信号が、所与の列でのシナプスに対する前ニューロン活動信号として、およびさらには、所与の行でのシナプスに対する後ニューロン活動信号として働き得る。より早期に論考した理由で、ニューロン回路は好ましくは、前ニューロン活動信号および後ニューロン活動信号が同一である（当然ながら、固有の回路許容誤差、および、ノイズなどの可変の影響に左右される）ように適応させられる。
特徴を本明細書で、本発明の１つの態様の実施形態を参照して説明する場合、対応する特徴を適宜、本発明の別の態様の実施形態で提供することがある。
本発明の好ましい実施形態を次に、例として、添付図面を参照して説明する。
生物学的シナプス・システムの概略例示の図である。 本発明を具現化するシナプスを含むニューロモーフィック・システムの概略表現の図である。 前ニューロン活動信号および後ニューロン活動信号に応答した、図２のシナプスの動作を指示する図である。 前ニューロン活動信号および後ニューロン活動信号に応答した、図２のシナプスの動作を指示する図である。 前ニューロン活動信号および後ニューロン活動信号に応答した、図２のシナプスの動作を指示する図である。 本発明を具現化するシナプス・アレイをベースにするニューロモーフィック・システムの概略例示の図である。 図２のシナプス・システムの動作をシミュレートするためのシミュレーション・モデルの構造を指示する図である。 図７のモデルでのニューロン回路の入力および出力を指示する図である。 モデルでのシナプスの、結果として生じる動作を指示する図である。 モデルでのシナプスの、結果として生じる動作を指示する図である。 連想メモリ機能性を試験するための、本発明を具現化するシナプス・システムの概略例示の図である。 図１１のシステムに対するシミュレーション・モデルの動作でのニューロン入力およびニューロン出力を例示する図である。 プログラミング・パルスの異なる領域に応答した、ＰＣＭセル状態の変化を指示する概略図である。 第１の書き込み部形状を有する、前ニューロン活動信号および後ニューロン活動信号の、異なる相対的タイミングを指示する図である。 どのようにセル導電率が、図２の回路で、図１４の活動信号タイミングによって変動するかを指示する図である。 第２の書き込み部形状を有する、前ニューロン活動信号および後ニューロン活動信号の、異なる相対的タイミングを指示する図である。 どのようにセル導電率が、図２のシステムで、図１６の活動信号タイミングによって変動するかを指示する図である。 どのようにセル導電率が、図２のシステムで、別の書き込み部形状を伴う活動信号を使用して変動するかを指示する図である。 図２のシステムでの活動信号に対する代替的な形状を示す図である。 図２のシステムでの活動信号に対する代替的な形状を示す図である。
図２は、本発明を具現化するニューロモーフィック・システム１０に対する概略回路図を示す。ニューロモーフィック・システム１０は、全体的に１１で指示され、前ニューロン回路１２と後ニューロン回路１３との間で接続されるシナプスを備える。シナプス１１は、抵抗性メモリ・セル、ここでは、可変抵抗ＲＰＣＭとして回路内で表されるＰＣＭセル１５を含む。図での拡大により概略的に指示されるように、ＰＣＭセル１５は、第１の「上部」電極１７と第２の「下部」電極１８との間に配設されるカルコゲナイド化合物１６の体積を備える。下部電極１８は、この特定の「キノコ型セル」構成では、上部電極１７より小さな、カルコゲナイド化合物１６との接触区域を有する。ＰＣＭセル１５の可変抵抗特質は、カルコゲナイド化合物１６の高抵抗非晶相１９および低抵抗結晶相２０の相対的割合を変動させることから結果として生じる。説明することになる実施形態では、ＰＣＭセル１５は、動作に先行して、完全に非晶質の高抵抗（「ＲＥＳＥＴ」）状態にあるということを想定する。
シナプス１１のＰＣＭセル１５は、前ニューロン活動信号Ｖ１を前ニューロン回路１２から受け取るための第１の入力端子２１を有する回路網内で接続される。回路網はさらには、後ニューロン活動信号Ｖ２を後ニューロン回路１３から受け取るための第２の入力端子２２を有する。回路網は出力端子２３を有し、その出力端子２３で、ＰＣＭセル１５の抵抗に依存するシナプス出力信号が、動作中に提供される。シナプス回路網は、第１のスイッチＳ１および第２のスイッチＳ２を備えるスイッチ・セットと、第１の抵抗器Ｒ１および第２の抵抗器Ｒ２により表される第１の抵抗および第２の抵抗とをさらに含む。第１の抵抗器Ｒ１は、第１の入力端子２１と、ＰＣＭセル１５の上部電極１７との間で接続される。第２の抵抗器Ｒ２は、セルの下部電極１８と基準端子２５との間で接続され、その基準端子２５は、回路動作のための基準レベル、ここでは信号接地を提供する。出力端子２３はさらには、ＰＣＭセル１５の下部電極１８に接続される。第１のスイッチＳ１は、下部電極１８と基準端子２５との間で、第２の抵抗器Ｒ２に並列に接続される。第２のスイッチＳ２は、第２の入力端子２２と、ＰＣＭセルの上部電極１７との間で接続される。第１のスイッチＳ１および第２のスイッチＳ２は、例えばトランジスタまたはダイオードにより実現され得るものであり、シナプス１１は、よく知られる材料処理技法を使用して、集積ナノ電子回路として製造され得る。
前ニューロン回路１２、後ニューロン回路１３により生成される、前ニューロン活動信号Ｖ１および後ニューロン活動信号Ｖ２は各々、初期の読み出し部Ｖ１Ｒ、Ｖ２Ｒ、および後続の書き込み部Ｖ１Ｗ、Ｖ２Ｗを伴う、階段状の形状を有する。第１のスイッチＳ１および第２のスイッチＳ２の状態は、前ニューロン活動信号Ｖ１および後ニューロン活動信号Ｖ２の少なくとも１つに依存した形で構成可能である。図２の実施形態では、活動信号の書き込み部Ｖ１Ｗ、Ｖ２Ｗは、図では点線の矢印により指示されるように、制御信号をスイッチに提供する。第１のスイッチＳ１は、前ニューロン活動信号Ｖ１の書き込み部Ｖ１Ｗの間は閉成される。第２のスイッチＳ２は、後ニューロン活動信号Ｖ２の書き込み部Ｖ２Ｗの間は閉成される。スイッチ構成に依存して、シナプス回路網は、（ａ）セルの抵抗をプログラムするためのプログラミング信号のＰＣＭセル１５への付与、および、（ｂ）出力端子２３でのシナプス出力信号を生み出す読み出し信号のセルへの付与を選択的にもたらし得る。より詳細には、示される回路配置構成での第１のスイッチＳ１、第２のスイッチＳ２上の制御信号の動作によって、シナプス回路網は、（ａ）シナプス出力信号が、出力端子２３で、前ニューロン活動信号Ｖ１の読み出し部Ｖ１Ｒの第１の入力端子２１での付与に応答して提供される、ならびに、（ｂ）プログラミング信号が、セルに、それぞれ第１の入力端子および第２の入力端子での、前ニューロン活動信号および後ニューロン活動信号の書き込み部Ｖ１Ｗ、Ｖ２Ｗの同時の付与に応答して付与されるように動作可能である。
シナプス回路網は、図２で指示されるような同じ階段状の形状を各々の信号が有する、同一である（固有の回路許容誤差、および、ノイズなどの可変の影響に左右される）前ニューロン活動信号Ｖ１および後ニューロン活動信号Ｖ２によって動作するように適応させられる。活動信号の読み出し部Ｖ１Ｒ、Ｖ２Ｒは、書き込み部Ｖ１Ｗ、Ｖ２Ｗより低い振幅のものである。これは、ＰＣＭセル１５のしきい値スイッチング特性のシナプス回路による活用を容易にし、そのことにより、決まったしきい値スイッチング電圧未満の電圧がセルに付与される場合、電流は、セル体積内で、非常にわずかなジュール加熱しかなく、実質的に相変化がないように小さくなる。しきい値スイッチング電圧より上では、セル抵抗は、相変化を可能にする非常に低い値に降下する。決まった入力電力および持続時間を伴うプログラミング・パルスの付与は、セル抵抗の、結果としての低減を伴う、非晶領域の部分的な結晶化を引き起こし得る。
図３から５は、異なるニューロン発火シナリオでのシナプス１１の動作を指示する。図３は、前ニューロン回路１２のみが発火する時の回路構成を示す。この図の上部は、第１の入力端子２１での前ニューロン活動信号Ｖ１の読み出し部Ｖ１Ｒの付与に関する構成を示す。Ｓ１およびＳ２の両方が開放であり、第１の入力端子２１でのＶ１Ｒは、読み出し電圧がＰＣＭセル１５の両端間で降下させられる、動作の読み出しモードをもたらす。読み出し部Ｖ１Ｒの低い振幅に起因して、この読み出し電圧は十分に低く、そのため、セル抵抗の変化は起こり得ない。セルを通って流れる、結果として生じる電流Ｉは、次式により与えられる。

これは、可変抵抗ＲＰＣＭに依存的であり、次式により与えられる、シナプス出力信号ＶＯＵＴを生み出す。

このシナプス出力信号ＶＯＵＴは、後ニューロン回路１３上に伝搬させられる緩シナプス電位を表す。
図３の下部は、第１の入力端子２１での前ニューロン活動信号Ｖ１の書き込み部Ｖ１Ｗの付与に関する構成を示す。Ｓ２は開放であるが、Ｓ１は閉成され、第２の抵抗器Ｒ２を短絡させる。出力端子２３に対する電圧は、したがって０Ｖであり、後ニューロン回路１３へのシナプス電位の伝搬は存しない。セル電流は、次式により与えられる。

しかしながら第１の抵抗器Ｒ１は、このセル電流が、セル抵抗を変化させるには不充分であるように選択される。ゆえに、単独での前ニューロン回路１２の発火に起因するシナプス強度の修正は存しない。
図４は、後ニューロン回路１３のみが発火する時の回路構成を示す。この図の上部は、第２の入力端子２２での後ニューロン活動信号Ｖ２の読み出し部Ｖ２Ｒの付与に関する構成を示す。Ｓ１およびＳ２の両方が開放であり、そのことにより、回路内を流れる電流はなく、出力端子２３での電圧は０Ｖである。この図の下部は、第２の入力端子２２での後ニューロン活動信号Ｖ２の書き込み部Ｖ２Ｗの付与に関する構成を示す。Ｓ１は開放であり、Ｓ２は閉成される。結果として生じるセル電流は、次式により与えられる。

第２の抵抗器Ｒ２は、このセル電流が、セル抵抗を変化させるには不充分であるように選択される。ゆえに、単独での後ニューロン回路１３の発火に起因するシナプス強度の修正は存しない。出力端子２３での出力電圧Ｖは、次式により与えられる。

この実施形態では後ニューロン回路１３は、シナプス１１からの後ニューロン回路１３の入力を、書き込み部Ｖ２Ｗの間はディセーブルするように適応させられる。これは、ここでの出力電圧Ｖに起因する何らかのシナプス出力の伝搬を防止する。
図５は、前ニューロン回路および後ニューロン回路が一体で発火し、そのことによって、前ニューロン活動信号Ｖ１および後ニューロン活動信号Ｖ２が同時にシナプス入力端子に付与される時の回路構成を示す。図の上部は、それぞれ第１の入力端子２１および第２の入力端子２２での、読み出し部Ｖ１ＲおよびＶ２Ｒの付与に関する構成を示す。Ｓ１およびＳ２の両方が開放であり、結果として生じる動作は、図３のものと同一である。ゆえにＰＣＭセル１５は、読み出しモードで動作させられ、シナプス出力信号

が、後ニューロン回路１３に伝搬させられる。図の下部は、第１の入力端子２１、第２の入力端子２２での、書き込み部Ｖ１ＷおよびＶ２Ｗの同時の付与に関する構成を示す。第１のスイッチＳ１は閉成され、第２の抵抗器Ｒ２を短絡させる。出力端子２３での電圧は、したがって０Ｖであり、後ニューロン回路１３へのシナプス電位の伝搬は存しない。しかしながらここでは、第２のスイッチＳ２が、さらには閉成され、第１の抵抗器Ｒ１を分離する。これは、動作のプログラミング・モードをもたらし、そのモードではＶ２Ｗが、セルにプログラミング信号として付与され、次式のセル電流を結果として生じさせる。

書き込み部Ｖ２Ｗの振幅は、しきい値スイッチングに対して要されるレベルより上であり、そのことによりセル電流は、セル抵抗の再プログラミングをもたらす。この実施形態での動作パラメータは、書き込み部Ｖ２Ｗの付与が、セル抵抗の増分低減を生み出すようにセットされる。詳細には、シナプス動作に先行して、高抵抗ＲＥＳＥＴ状態にあるＰＣＭセル１５に関しては、セルの累積特性は、セル抵抗が、書き込み部Ｖ２Ｗの連続的な付与によって、完全に結晶質の低抵抗「ＳＥＴ」状態に向かって徐々に減少することになるということを意味する。ゆえにシナプス荷重は、前ニューロン回路および後ニューロン回路の連続的な同時の発火によって、徐々に増大することになる。
上記のことから、活動信号フォーマットの書き込み部が、セル抵抗をプログラムすることによるシナプス学習機能を実装するために使用されるということが認められよう。読み出し部は、シナプス電位を後ニューロンに、読み出しモードで伝搬させるために使用される。第１のスイッチＳ１および第２のスイッチＳ２は、読み出しイベントと書き込み（プログラミング）イベントとの間で区別するために使用される。第１の抵抗器Ｒ１および第２の抵抗器Ｒ２は、セルの再プログラミングに起因するシナプス変化が、前ニューロン活動信号および後ニューロン活動信号の１つのみが入力端子で存在する場合に抑制されるように選択される。
シナプス１１は、ニューロモーフィック・システムが、同一の活動信号を、ニューロン発火のすべての実例で使用することを可能にする、コンパクトなニューロモーフィック・シナプス構成を提供する。これは、ニューロン間通信を劇的に単純化する。さらに、シナプス１１がアレイ構成で使用される場合、行および列でのシナプスが同時にアドレス指定され得る。図６は、シナプス・アレイ３１を介して相互接続される３つのニューロンＮ１、Ｎ２、およびＮ３を備えるニューロモーフィック・システム３０の単純な例を示す。シナプス・アレイ３１は、３つの行および３つの列で配置構成される６つのシナプス１１を備え、各々のシナプスは、前ニューロン回路および後ニューロン回路のそれぞれの対の間で接続されている。（当然ながら、シナプス・アレイ３１は必ずしも、シナプスの行および列の規則的な配置構成として構成される必要はないということが察知されよう。シナプスは、説明するように、ニューロン対であって、それらの間でそれらのシナプスが接続されるニューロン対により決定されている論理行および論理列への、それらのシナプスの割り当てによって接続され得る。用語「行」および「列」は、したがって単に論理上の命名であり、実際上は互換的である）。示される配置構成では、各々の列でのシナプスの第１の入力端子２１は、それぞれの前ニューロン・ラインに接続されることが、動作中の対応する前ニューロン回路からの前ニューロン活動信号を供給するために行われる。図６では垂直に配置構成される前ニューロン・ラインは、ニューロンＮ１からＮ３の軸索に対応し、図ではそのように名付けられている。各々の行でのシナプスの第２の入力端子は、それぞれの後ニューロン・ラインに接続されることが、使用中の対応する後ニューロン回路からの後ニューロン活動信号を供給するために行われる。後ニューロン・ラインは、図では実線の水平ラインとして示される。これらは、後ニューロンからの活動信号の後方伝搬のための後ニューロン出力樹状突起に対応する。各々の行でのシナプスの出力端子２３は、それらの対応する後ニューロン回路に接続されることが、動作中のこれらの回路へのシナプス出力信号を供給するために行われる。シナプス出力を受け取るための後ニューロン入力樹状突起に対応するこれらの接続は、図では破線の水平ラインにより表される。各々のニューロンＮ１からＮ３はしたがって、その軸索ラインを介して、アレイのそれぞれの列に接続され、その列でのシナプスに対する前ニューロン活動信号を生成する。各々のニューロンＮ１からＮ３はさらには、その出力樹状突起ラインを介して、アレイのそれぞれの行に接続され、その行でのシナプスに対する後ニューロン活動信号を生成する。各々のニューロンＮ１からＮ３は、その対応する行でのシナプスの出力端子にさらに接続されることが、シナプス出力信号を、その行でのシナプスから受け取るために行われる。
図６のシステムでは、所与のニューロンＮ１からＮ３が発火する時に生成される単一の活動信号が、所与の列でのシナプスに対する前ニューロン活動信号、および、所与の行でのシナプスに対する後ニューロン活動信号の両方として働き得る。行および列でのシナプスは、単一のサイクルでアドレス指定され得るものであり、そのことにより、アレイ内のすべてのシナプス（または、シナプスの任意のサブセット）は、並列にアドレス指定され得る。これは、シナプス更新がリアル・タイムで実行されることを可能とし、シナプス荷重は、ニューロン回路の発火によって動的に進化する。本発明を具現化するシナプス・アレイは、したがって、オン・チップ学習アプリケーションの効率的な実装形態を可能なものにする。
シナプス１１をベースにするニューロモーフィック・システムの成功裏の動作が、図７から１２で例示されるシミュレーションにより明確に実証される。図７は、図２のニューロモーフィック・システム１０に対応するシミュレーション・モデルの基本構造を示す。シナプス１１は、ニューロンＮ１とニューロンＮ２との間で接続される。各々のニューロンＮ１、Ｎ２は、刺激入力（「Ｎ１入力」および「Ｎ２入力」として指示される）を受け取り、拡大で指示される単純な回路網によりモデリングされる。これは、樹状突起入力を合計するための合計回路と、合計を、あらかじめセットされたしきい値Ｔと比較するためのしきい値回路とを含む。ニューロン回路は、一連の活動信号パルスを、しきい値を上回る間は出力し、そうでなければ出力を生み出さない。各々のニューロンの入力および出力が、指示されるような表示に対して供給され、結果が図８で例示される。これは、各々のニューロンが、そのニューロンの合計された入力がしきい値を上回る時間期間の異なるセットの間に、一連の出力パルスを発火させることを示す。図９は、シミュレーションでの、シナプス１１のＰＣＭセル１５の上部電極１７と下部電極１８との間で付与される、結果として生じる電圧信号を指示する。図１０は、どのようにＰＣＭセル１５の抵抗が、これらの入力信号によって変動するかを指示する。出力端子２３で生成されるシナプス出力信号は、ＰＣＭセル抵抗によって変動する。いずれかのニューロンが単独で発火する時、抵抗は不変であるということが認められ得る。これに対して、両方のニューロンが一体で発火する期間の間、連続的なパルスが、最大値と最小値との間での、（増大されるシナプス荷重に対応する）セル抵抗の徐々の減少を生み出す。シナプス出力は、ニューロンＮ１が発火している時にのみ伝搬させられる。
図１１は、連想メモリ機能性を、本発明を具現化するシナプスによって試験するための単純なシステムを例示する。図は、３つのニューロンＮ１からＮ３を伴う単純な連想メモリ・システムを表す。各々のニューロンは、出力をすべての他のニューロンに提供し、シナプスＳｘｙは、前ニューロンＮｙからの出力を後ニューロンＮｘに伝搬させる。図１２は、本発明を具現化するシナプス１１を伴う図１１のシステムに対するシミュレーション・モデルでの、ニューロンＮ１からＮ３の刺激入力、および結果として生じる出力のスクリーン・ショットを示す。学習の前、間、および後の信号に対応する各々の表示の領域は、名付けられた列により指示される。学習の前は、しきい値を上回る入力を伴うニューロンのみが発火するということが認められ得る。学習の間は、一体で発火するニューロンは、それらの間のシナプス強度を修正する。学習の後は、ニューロンＮ２およびＮ３のシナプス強度は、同時的な発火に起因して増大されている。これらのニューロンの各々は次いで、その入力がしきい値を上回るか、関連付けられるニューロンが発火するかのいずれかの時に発火する。これは、連想メモリの実装形態に対する効果的な学習を示す。
上記で説明したシナプス１１によって、プログラミング信号が、入力端子での書き込み部Ｖ１ＷおよびＶ２Ｗの同時の付与の期間の間、ＰＣＭセル１５に付与される。プログラミング信号はしたがって、Ｖ１ＷおよびＶ２Ｗが付与される時間期間に、少なくとも部分的な重なりがある場合に生成される。加えてプログラミング信号は、ここでは書き込み部Ｖ２Ｗの形状に依存的である。これらの特徴は、シナプス増強／抑圧が、活動信号の相対的タイミングに依存して誘導され得る、ＳＴＤＰ効果をエミュレートするために、本発明を具現化するニューロモーフィック・システムで活用され得る。詳細には、シナプス後発火に先立つシナプス前活動性が、長期増強（ＬＴＰ）を誘導し得るものであり、一方で、この時間的順序を逆にすることが、長期抑圧（ＬＴＤ）を引き起こすということが知られている。実験的には、この相対的タイミングの関数としての長期シナプス修飾のタイプおよび量は、異なる調製で変動する。発火タイミングの関数としての増強特性および抑圧特性を伴うニューロモーフィック・シナプス・アーキテクチャが、これらの現象をエミュレートするために要される。これは、プログラミング信号が、入力端子での前ニューロン活動信号および後ニューロン活動信号の相対的タイミングに依存した形で変動するように、書き込み部が形状設定される、活動信号を使用することにより、シナプス１１によって達成され得る。これを下記で、図１３から２０を参照して解説する。
図１３は、どのようにＰＣＭセル状態が、形状設定されるプログラミング・パルスの異なる領域により修正され得るかを例示する。図の上段で示されるパルス４０は、短い高振幅の融解部分４１、および、傾斜する振幅の結晶成長部分４２を有する。図の下部セクションは、どのようにＰＣＭセル１５内のカルコゲナイド化合物１６の相組成が、そのようなパルスの付与によって変動するかを指示する。左方の図は、パルスの付与の前の完全に結晶質のセル状態を示す。融解部分４１の付与が、中央の図で示されるような、融解した領域４５を形成する。結晶化が、この融解した領域の外側から、パルスの後端の結晶成長部分４２の間に起こる。非晶相１９の、結果として生じる厚さは、増大する後縁持続時間とともに減少する。
図１４は、シナプス１１の入力端子での前ニューロン活動信号および後ニューロン活動信号の、異なる相対的タイミングを指示する。これらの活動信号の書き込み部は、図１３で示されるパルス形状を有する。上段の行での図（ａ）は、同一にタイミング設定される信号（ｔｐｒｅ＝ｔｐｏｓｔ）を指示し、中段の行での図（ｂ）および（ｃ）は、（ｔｐｏｓｔ−ｔｐｒｅ）＞０である信号を示し、下段の行での図（ｄ）および（ｅ）は、（ｔｐｏｓｔ−ｔｐｒｅ）＜０である信号を示す。各々の事例では、図では点線の矩形の重なる領域により指示されるような、活動信号の書き込み部の間の重なりが、シナプス１１内のＰＣＭセル１５に付与されるプログラミング信号を決定する。プログラミング信号は、この重なる領域に内包される後ニューロン活動信号Ｖ２の部分に対応する。
図１５は、どのようにセル導電率が、図２の回路で、図１４の活動信号タイミングによって変動するかを指示する。ＰＣＭセル１５は初期には、この例では高抵抗非晶状態にある。図１４のタイミング図に対応するプログラミング信号が、曲線の適切な部分で指示される。最大導電率の点は、図（ａ）の同一のパルス・タイミングに対応する。ここでは、融解、および次いでの、最大限の後縁持続時間による結晶化が、最大の結晶化を結果として生じさせる。図（ｂ）および（ｃ）に対応するプログラミング信号は、融解を、および次いで引き続いて、部分的な後縁持続時間による、より少ない結晶化を引き起こす。したがって導電率は、増大する（ｔｐｏｓｔ−ｔｐｒｅ）とともに徐々に減少し、ついには、プログラミング信号は、融解部分にのみ対応し、結晶化を与えない。この点を超えると（信号は重ならない）、プログラミング信号は付与されず、セルはその初期非晶状態のままである。（ｔｐｏｓｔ−ｔｐｒｅ）＜０に対しては、タイミング図（ｄ）は、実質的に融解がないということ、および部分的結晶化に対応する。この点を超えると（図（ｅ））、後縁振幅は、セル状態を変化させるには不充分である。
この活動信号に対する書き込み部形状の初期融解部分に起因して、材料は、初期セル状態に非依存的な融解状態になるということが認められ得る。したがって、曲線の右側（Δｔ＞０）の形状は、初期セル状態に拘わらず同様である。シナプス増強または抑圧は、相対的パルス・タイミングに依存して誘導され得る。曲線の左側（Δｔ＜０）は、始まりでの小さな時間間隔の他に、主にセルの初期状態により定義される。セル状態は、不変の、ここでは初期非晶状態のままである。
図１６は、図１４と同様に、ただし、書き込み部が後縁の端部で追加的な融解部分を有する活動信号に対して、タイミング図を示す。図１７は、対応する導電率曲線を指示する。このパルス形状の使用と、図１４のそれとの間の違いは、主に曲線の左側（Δｔ＜０）にある。ここではセルは、書き込み部の端部での融解部分に起因して、初期セル状態に非依存的な非晶状態になる。この特徴は有益であり、なぜならばシナプスは、現在のシナプス荷重に非依存的に、ｔｐｏｓｔがｔｐｒｅの前に来る時に抑圧されることになるからである。
図１８は、図の上段で示される代替的な活動信号形状によって取得される導電率曲線を指示する。ここでは書き込み部は、一定振幅の結晶化部分５０を有し、融解部分５１がその結晶化部分の後に続く。曲線上の異なる点に対応するプログラミング信号が、前のように指示される。最大導電率の点は、プログラミング信号が、結晶化のための最大時間を与える、結晶化部分５０に対応する時に取得される。プログラミング・パルスの持続時間を減少させることは、（ｔｐｏｓｔ−ｔｐｒｅ）が増大する際に、結晶化の量を低減する。この活動信号形状の使用と、図１６のそれとの間の違いは、主に曲線の右側（Δｔ＞０）にある。書き込み部に初期融解部分は存しないので、曲線の右側で付与されるパルスは、主に結晶化パルスである。したがって、曲線の右側で取得される導電率値は、セルの初期状態に依存する。（ここで示される曲線は、初期非晶セル状態に対応する）。この特徴は有用であり、なぜならばシナプスは、累積特性を有することになり、そのことにより、連続的な同様のイベントが、シナプス強度を漸進的に修正することになるからである。
上記のことは、プログラミング信号が、書き込み部の適切な形状設定により、様々な形で活動信号の相対的タイミングに依存するように作製され得るということを例示する。書き込み部は、異なる持続時間および振幅外形を伴う異なる部分を組み合わせることにより、種々の形状を有し得る。さらなる例として図１９および２０は、結晶化部分が一定振幅を有する、図１４および１６のパルス形状に対する代替案を示す。一般的に、異なる結晶化部分および融解部分の組合せが、異なって形状設定されるＳＴＤＰ曲線を取得するために使用され得る。結晶化部分はさらには、生物学的時間尺度による動作を可能にするための、より短いパルスのシーケンスを含み得る。
好ましい実施形態を上記で説明したが、多くの変形および変更を、当然ながら考察することが可能である。例として、図２の回路での第２のスイッチＳ２は、後ニューロン活動信号の代わりに、前ニューロン活動信号の書き込み部Ｖ１Ｗにより閉成されて駆動され得る。回路動作は前とは別のものになるが、後ニューロンはそれにより、その入力をＶ２Ｗの間ディセーブルする必要はないことになる。
構成要素を、本明細書で、別の構成要素に接続されると説明する場合、一般的にそのような構成要素は、別段の指示がない限り、直接的に、または、間接的に、例えば介在する構成要素を介して、接続され得るものである。
ＰＣＭセル以外の抵抗性メモリ・セルが、当然ながら、本発明を具現化するシナプスで用いられ得る。さらに、シナプスが、同一の前ニューロン活動信号および後ニューロン活動信号によって動作することがきわめて望ましいが、シナプス回路網は、当然ながら、構成要素および回路配置構成の適切な選択によって、同一でない前ニューロン活動信号および後ニューロン活動信号に応答して、要されるように動作するように適応させられ得る。
多くの他の変形および変更を、説明した例示的な実施形態に対して、本発明の範囲から逸脱することなく行うことが可能であるということが察知されよう。

Claims (18)

  1. 回路網内で接続される抵抗性メモリ・セルを備えるニューロモーフィック・シナプスであって、前記回路網は、
    各々が読み出し部および書き込み部を有する、前ニューロン活動信号および後ニューロン活動信号をそれぞれ受け取るための、第１の入力端子および第２の入力端子と、
    前記メモリ・セルの抵抗に依存するシナプス出力信号を提供するための出力端子と
    を有し、
    前記回路網は、前記シナプス出力信号が、前記出力端子で、前記前ニューロン活動信号の前記読み出し部の前記第１の入力端子での付与に応答して提供されるように、ならびに、前記メモリ・セルの抵抗をプログラムするためのプログラミング信号が、前記セルに、それぞれ前記第１の入力端子および前記第２の入力端子での、前記前ニューロン活動信号および前記後ニューロン活動信号の前記書き込み部の同時の付与に応答して付与されるように動作可能である、
    ニューロモーフィック・シナプス。
  2. 前記回路網は、同一の前ニューロン活動信号および後ニューロン活動信号による動作に対して適応させられる、請求項１に記載のシナプス。
  3. 前記回路網は、前記プログラミング信号が、前記セルに、前記入力端子での前記書き込み部の同時の付与の期間の間に付与されるように適応させられる、請求項１または２に記載のシナプス。
  4. 前記回路網は、前記プログラミング信号が、前記入力端子での前記前ニューロン活動信号および前記後ニューロン活動信号の少なくとも１つの前記書き込み部の形状に依存するように適応させられる、請求項１ないし３のいずれかに記載のシナプス。
  5. 前記回路網は、前記回路網が、前記メモリ・セルへの前記プログラミング信号の付与、および、前記出力端子での前記シナプス出力信号の提供を選択的にもたらすように、前記活動信号の少なくとも１つに依存した形で構成可能なスイッチ・セットを含む、請求項１ないし４のいずれかに記載のシナプス。
  6. 前記スイッチ・セットは、第１のスイッチおよび第２のスイッチを備える、請求項５に記載のシナプス。
  7. 前記回路網は、前記第１の入力端子と前記メモリ・セルの第１の電極との間で接続される第１の抵抗と、前記メモリ・セルの第２の電極と基準端子との間で接続される第２の抵抗とを含み、
    前記出力端子は、前記メモリ・セルの前記第２の電極に接続され、
    前記第１のスイッチは、前記第２の電極と前記基準端子との間で、前記第２の抵抗に並列に接続され、
    前記第２のスイッチは、前記第２の入力端子と前記メモリ・セルの前記第１の電極との間で接続される、
    請求項６に記載のシナプス。
  8. 前記回路網は、前記第１のスイッチが、前記前ニューロン活動信号の前記書き込み部の間は閉成され、前記第２のスイッチが、前記前ニューロン活動信号および前記後ニューロン活動信号の１つの前記書き込み部の間は閉成されるように適応させられる、請求項７に記載のシナプス。
  9. 前記第１の抵抗および前記第２の抵抗は、前記メモリ・セルのプログラミングを、前記入力端子での前記前ニューロン活動信号および前記後ニューロン活動信号の１つのみの付与に応答して抑制するように適応させられる、請求項７または８に記載のシナプス。
  10. 前記メモリ・セルは相変化メモリ・セルを備える、請求項１ないし９のいずれかに記載のシナプス。
  11. 実質的に、添付図面を参照して、本明細書の上記で説明したようなニューロモーフィック・シナプス。
  12. 複数の、請求項１ないし１１のいずれかに記載のニューロモーフィック・シナプスを備えるニューロモーフィック・シナプス・アレイであって、前記シナプスは、前記アレイの論理行および論理列に割り当てられ、
    各々の列でのシナプスの前記第１の入力端子は、それぞれの前ニューロン・ラインに接続されることが、使用中の対応する前ニューロン回路からの前ニューロン活動信号を供給するために行われ、
    各々の行でのシナプスの前記第２の入力端子は、それぞれの後ニューロン・ラインに接続されることが、使用中の対応する後ニューロン回路からの後ニューロン活動信号を供給するために行われ、
    各々の行でのシナプスの前記出力端子は、前記対応する後ニューロン回路への接続のために配置構成されることが、使用中の前記回路へのシナプス出力信号を供給するために行われる、
    ニューロモーフィック・シナプス・アレイ。
  13. 前ニューロン回路と、後ニューロン回路と、請求項１ないし１１のいずれか一項に記載のニューロモーフィック・シナプスとを備えるニューロモーフィック・システムであって、
    前記前ニューロン回路は、前記シナプスの前記第１の入力端子に接続され、前記前ニューロン活動信号を、前記第１の端子への供給のために生成するように適応させられ、
    前記後ニューロン回路は、前記シナプスの前記第２の入力端子に接続され、前記後ニューロン活動信号を、前記第２の端子への供給のために生成するように適応させられ、
    前記後ニューロン回路は、前記シナプスの前記出力端子にさらに接続されることが、前記シナプス出力信号を受け取るために行われる、
    ニューロモーフィック・システム。
  14. 請求項１２に記載のニューロモーフィック・シナプス・アレイと、複数のニューロン回路とを備えるニューロモーフィック・システムであって、
    各々のニューロン回路は、前記前ニューロン・ラインに、前記アレイのそれぞれの列に対して接続され、前記前ニューロン活動信号を、前記列でのシナプスに対して生成するように適応させられ、そのことにより前記ニューロン回路は、前記列でのシナプスに対する前記前ニューロン回路として働き、
    各々のニューロン回路はさらには、前記後ニューロン・ラインに、前記アレイのそれぞれの行に対して接続され、前記後ニューロン活動信号を、前記行でのシナプスに対して生成するように適応させられ、そのことにより前記ニューロン回路は、前記行でのシナプスに対する前記後ニューロン回路として働き、
    各々のニューロン回路は、前記それぞれの行でのシナプスの前記出力端子にさらに接続されることが、前記シナプス出力信号を、前記行でのシナプスから受け取るために行われる、
    ニューロモーフィック・システム。
  15. 前記ニューロン回路は、前記前ニューロン活動信号および前記後ニューロン活動信号が同一であるように適応させられる、請求項１３または１４に記載のシステム。
  16. 前記回路網は、前記プログラミング信号が、前記メモリ・セルに、前記シナプスの前記入力端子での前記書き込み部の同時の付与の前記期間の間に付与されるように適応させられ、
    前記回路網は、前記プログラミング信号が、前記入力端子での前記前ニューロン活動信号および前記後ニューロン活動信号の少なくとも１つの前記書き込み部の形状に依存するようにさらに適応させられ、
    前記活動信号の前記少なくとも１つの前記書き込み部は、前記プログラミング信号が、前記入力端子での前記前ニューロン活動信号および前記後ニューロン活動信号の相対的タイミングに依存した形で変動するように形状設定される、
    請求項１３ないし１５のいずれか一項に記載のシステム。
  17. 前記活動信号の前記少なくとも１つの前記書き込み部は、パルスのシーケンスを含む、請求項１６に記載のシステム。
  18. 実質的に、添付図面を参照して、本明細書の上記で説明したようなニューロモーフィック・システム。
JP2017519852A 2014-10-30 2015-10-13 ニューロモーフィック・シナプス、そのアレイ、および、そのシステム Active JP6644064B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1419355.1 2014-10-30
GBGB1419355.1A GB201419355D0 (en) 2014-10-30 2014-10-30 Neuromorphic synapses
PCT/IB2015/057824 WO2016067139A1 (en) 2014-10-30 2015-10-13 Neuromorphic synapses

Publications (2)

Publication Number Publication Date
JP2017538994A true JP2017538994A (ja) 2017-12-28
JP6644064B2 JP6644064B2 (ja) 2020-02-12

Family

ID=52118457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017519852A Active JP6644064B2 (ja) 2014-10-30 2015-10-13 ニューロモーフィック・シナプス、そのアレイ、および、そのシステム

Country Status (6)

Country Link
US (1) US10282657B2 (ja)
JP (1) JP6644064B2 (ja)
CN (1) CN106796669B (ja)
DE (1) DE112015003992B4 (ja)
GB (2) GB201419355D0 (ja)
WO (2) WO2016067139A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002523A1 (ko) * 2019-07-04 2021-01-07 한국과학기술연구원 뉴로모픽 장치
JP2021511566A (ja) * 2018-01-19 2021-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
JP2022538592A (ja) * 2019-07-03 2022-09-05 マイクロン テクノロジー，インク． ニューラルネットワークメモリ

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10318861B2 (en) 2015-06-17 2019-06-11 International Business Machines Corporation Artificial neuron apparatus
US10748060B2 (en) 2016-10-14 2020-08-18 Intel Corporation Pre-synaptic learning using delayed causal updates
US10090047B2 (en) * 2016-11-09 2018-10-02 International Business Machines Corporation Memory cell structure
US10339444B2 (en) 2017-01-20 2019-07-02 International Business Machines Corporation Monitoring potential of neuron circuits
KR20180116637A (ko) * 2017-04-17 2018-10-25 에스케이하이닉스 주식회사 듀얼 멤리스터들을 가진 시냅스 및 상기 시냅스를 포함하는 뉴로모픽 소자의 시냅스 어레이
KR20180120511A (ko) * 2017-04-27 2018-11-06 에스케이하이닉스 주식회사 전달 함수 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
US10290327B2 (en) * 2017-10-13 2019-05-14 Nantero, Inc. Devices and methods for accessing resistive change elements in resistive change element arrays
US11797833B2 (en) 2017-11-14 2023-10-24 International Business Machines Corporation Competitive machine learning accuracy on neuromorphic arrays with non-ideal non-volatile memory devices
WO2019147859A2 (en) 2018-01-24 2019-08-01 The Regents Of The University Of California Synaptic resistors for concurrent parallel signal processing, memory and learning with high speed and energy efficiency
US11586882B2 (en) * 2018-01-24 2023-02-21 International Business Machines Corporation Synapse memory
JP2019179499A (ja) * 2018-03-30 2019-10-17 ソニー株式会社 半導体装置及び積和演算装置
US20200082258A1 (en) * 2018-09-10 2020-03-12 Carl Steven Gold Organic learning
DE102019123183A1 (de) 2018-09-28 2020-04-02 Taiwan Semiconductor Manufacturing Company, Ltd. Verfahren und schaltung zum betreiben von phasenwechselspeicher
US10971223B2 (en) 2018-09-28 2021-04-06 Taiwan Semiconductor Manufacturing Company Ltd. Phase change memory operation method and circuit
US11481611B2 (en) 2018-11-02 2022-10-25 International Business Machines Corporation RRAM crossbar array structure for multi-task learning
FR3089037B1 (fr) 2018-11-27 2022-05-27 Commissariat Energie Atomique Circuit neuronal apte à mettre en œuvre un apprentissage synaptique
CN109800851B (zh) * 2018-12-29 2024-03-01 中国人民解放军陆军工程大学 神经突触电路和脉冲神经网络电路
KR102279577B1 (ko) * 2019-01-21 2021-07-20 한양대학교 산학협력단 신경망 모사 소자 및 신경망 모사 학습 시스템
US10902910B2 (en) 2019-06-25 2021-01-26 International Business Machines Corporation Phase change memory (PCM) with gradual reset characteristics
CN110222836B (zh) * 2019-07-08 2024-03-12 中国人民解放军陆军工程大学 数模混合神经突触电路
CN111630529B (zh) 2019-11-15 2023-09-01 北京时代全芯存储技术股份有限公司 类神经电路以及运作方法
CN111630528B (zh) 2019-11-15 2023-08-29 北京时代全芯存储技术股份有限公司 类神经电路以及运作方法
CN111656369B (zh) 2019-11-15 2023-09-01 北京时代全芯存储技术股份有限公司 类神经电路以及运作方法
WO2021092899A1 (zh) * 2019-11-15 2021-05-20 江苏时代全芯存储科技股份有限公司 类神经电路以及运作方法
KR102421323B1 (ko) * 2020-09-29 2022-07-15 한양대학교 산학협력단 Pcm 기반의 시냅스 소자 및 그 동작 방법
KR102421324B1 (ko) * 2020-10-05 2022-07-15 한양대학교 산학협력단 Ltp 및 ltd에서 대칭성을 확보하는 시냅스 소자 및 그 동작 방법
CN113658493B (zh) * 2021-08-20 2023-05-02 安徽大学 一种用于模拟联想记忆的强化学习仿生电路架构

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
US7818273B2 (en) 2007-09-18 2010-10-19 International Business Machines Corporation System and method for cortical simulation
EP2263165A4 (en) * 2008-03-14 2011-08-24 Hewlett Packard Development Co NEUROMORPHIC CIRCUIT
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US8311965B2 (en) * 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8712940B2 (en) 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
CN102496385B (zh) * 2011-12-26 2014-04-16 电子科技大学 一种脉冲时序活动性转换电路
US8832010B2 (en) * 2012-01-04 2014-09-09 International Business Machines Corporation Electronic synapses from stochastic binary memory devices
FR2996029B1 (fr) * 2012-09-26 2018-02-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Systeme neuromorphique exploitant les caracteristiques intrinseque de cellules de memoire
US20140310216A1 (en) 2013-04-15 2014-10-16 Qualcomm Incorporated Method for generating compact representations of spike timing-dependent plasticity curves

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021511566A (ja) * 2018-01-19 2021-05-06 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
JP7228320B2 (ja) 2018-01-19 2023-02-24 インターナショナル・ビジネス・マシーンズ・コーポレーション ニューロモーフィック・チップ、ニューロモーフィック・システム、ニューロモーフィック・チップ内のシナプス重みを更新するための方法およびコンピュータ・プログラム
US11763139B2 (en) 2018-01-19 2023-09-19 International Business Machines Corporation Neuromorphic chip for updating precise synaptic weight values
JP2022538592A (ja) * 2019-07-03 2022-09-05 マイクロン テクノロジー，インク． ニューラルネットワークメモリ
WO2021002523A1 (ko) * 2019-07-04 2021-01-07 한국과학기술연구원 뉴로모픽 장치

Also Published As

Publication number Publication date
CN106796669B (zh) 2019-06-14
DE112015003992T5 (de) 2017-05-11
DE112015003992B4 (de) 2021-04-01
GB201419355D0 (en) 2014-12-17
WO2016069334A1 (en) 2016-05-06
CN106796669A (zh) 2017-05-31
GB2552577A (en) 2018-01-31
US20160125287A1 (en) 2016-05-05
GB2552577B (en) 2018-05-02
US10282657B2 (en) 2019-05-07
GB201708045D0 (en) 2017-07-05
JP6644064B2 (ja) 2020-02-12
WO2016067139A1 (en) 2016-05-06

Similar Documents

Publication Publication Date Title
JP6644064B2 (ja) ニューロモーフィック・シナプス、そのアレイ、および、そのシステム
US10949735B2 (en) Artificial neuron apparatus
CN106981567B (zh) 一种基于光电耦合忆阻器的人工突触器件及其调制方法
JP5420066B2 (ja) 相変化メモリを用いたスパイク・タイミング依存可塑性を有する電子学習シナプス
Guo et al. Unsupervised learning on resistive memory array based spiking neural networks
US8250011B2 (en) Autonomous learning dynamic artificial neural computing device and brain inspired system
US9330355B2 (en) Computed synapses for neuromorphic systems
US11017292B2 (en) Artificial neuron apparatus
Acciarito et al. Hardware design of LIF with Latency neuron model with memristive STDP synapses
JP2020531954A (ja) 神経形態学的処理装置
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
JP2019519011A (ja) 人工ニューロン装置およびニューロモーフィック・システム
Milo et al. Attractor networks and associative memories with STDP learning in RRAM synapses
KR20160084401A (ko) 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현
Zhang et al. A multi-functional memristive Pavlov associative memory circuit based on neural mechanisms
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
JP6193509B2 (ja) 可塑性シナプス管理
Li et al. Design of Artificial Neurons of Memristive Neuromorphic Networks Based on Biological Neural Dynamics and Structures
CN112906880A (zh) 一种基于忆阻器的自适应神经元电路
Hsu Dendritic computation and plasticity in neuromorphic circuits
CN108777153B (zh) 一种多端输入突触器件及其可塑性调制方法
US9477924B2 (en) Artificial neural circuit forming re-activatible functional link between the postsynaptic terminals of two synapses
Huayaney et al. A VLSI implementation of a calcium-based plasticity learning model
Hunter et al. Improving associative memory in a network of spiking neurons
Mannan et al. Neuro-Memristive Circuit for Bio-Synaptic Plasticity

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R150 Certificate of patent or registration of utility model

Ref document number: 6644064

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250