JP2019519011A - 人工ニューロン装置およびニューロモーフィック・システム - Google Patents

人工ニューロン装置およびニューロモーフィック・システム Download PDF

Info

Publication number
JP2019519011A
JP2019519011A JP2018544068A JP2018544068A JP2019519011A JP 2019519011 A JP2019519011 A JP 2019519011A JP 2018544068 A JP2018544068 A JP 2018544068A JP 2018544068 A JP2018544068 A JP 2018544068A JP 2019519011 A JP2019519011 A JP 2019519011A
Authority
JP
Japan
Prior art keywords
neuron
cell
read
phase
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018544068A
Other languages
English (en)
Other versions
JP6829260B2 (ja
Inventor
エレフセリウー、エヴァンゲロス
カル、ルカス
パンタツ、アンゲリキ
セバスティアン、アブ
ツーマ、トーマス
スタニサヴリェヴィッチ、ミロス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2019519011A publication Critical patent/JP2019519011A/ja
Application granted granted Critical
Publication of JP6829260B2 publication Critical patent/JP6829260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065Analogue means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C13/00Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0004Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements comprising amorphous/crystalline phase transition cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

【課題】効率的人工ニューロンを具体的に実現する。【解決手段】人工ニューロン装置が、ニューロン入力信号を受信するためのニューロン入力を有する入力回路内に接続された抵抗変化型メモリ・セルと、セルに読み取り電流を供給するための電流源とを含む。入力回路は、交互の読み取り動作フェーズと書き込み動作フェーズとを規定する一組の制御信号に応答して、読み取りフェーズ時にセルに読み取り電流を印加するとともに、書き込みフェーズ時にニューロン入力信号を受信するとセル抵抗をプログラミングするためにセルにプログラミング電流を印加するように、選択的に構成可能である。セル抵抗は、連続ニューロン入力信号に応答して、第1の状態から第2の状態に漸進的に変化させる。装置は、ニューロン出力と、セル抵抗に依存する測定信号を受信するために入力回路に接続されたデジタル・ラッチとを含む出力回路をさらに含む。【選択図】図2

Description

本発明は、一般には人工ニューロン装置に関し、より詳細には抵抗変化型メモリ・セル(resistive memory cells)に基づく人工ニューロンに関する。
ニューロモーフィック技術は、神経系の生物学的構造によって着想を得たコンピューティング・システムに関するものである。従来のコンピューティング・システムは、2値論理と順次フォン・ノイマン・アーキテクチャとに基づく。数値計算などのタスクの実行では効率的であるが、これらのシステムにおける外部メモリとプロセッサとの分離はエネルギー消費型データ移動につながる。人間の脳と比較すると、従来の演算パラダイムは、電力消費と必要空間の点できわめて非効率的である。これらの問題は、人間の脳のきわめて効率的な演算パラダイムを理解し、かつてない演算能力を備えた人工認知システムを作製しようとする著しい研究努力を促してきた。例えば、「ビッグ・データ」分析や現実感覚アプリケーションなどの演算集約型タスクにおけるイベント・ベースの演算を実行することができる「ニューロモーフィック・コプロセッサ」を開発しようとする戦略的意図がある。
ニューロンはシナプスとともに、脳における基本的な演算ユニットである。ニューロンは、受信した入力信号を統合することができる。生体ニューロンでは、細胞内部の電荷をその外部の電荷から分離するのに薄い脂質二分子膜が用いられている。記憶されたニューロンの状態を表す膜電位は、ニューロン入力信号の到来によって漸進的に変更される。膜電位が特定の電圧閾値を超えると、ニューロンは「発火」し、「活動電位」または「スパイク」と呼ばれる出力信号を発生させ、その後その初期状態に戻る。これらのスパイクは、ニューロン活動の結果として結合強度(「可塑性」または「シナプス荷重(synaptic weight)」)を変化させるシナプスを介して他のニューロンに伝達される。
効率的な人工ニューロンの実現は、ニューロモーフィック技術(neuromorphic technology)にとって根本的に重要である。ほとんどの従来の人工ニューロンの提案は、ハイブリッド・アナログ/デジタルVLSI回路に基づくものであり、ニューロンの機能を模倣するのに多数のトランジスタを備えた複雑なCMOS回路を必要とする。また、相変化メモリ(PCM)セルなどの抵抗変化型メモリ・セルは、ニューラル・ハードウェアの実現に適する候補とみなされてきた(例えば"The Ovonic Cognitive Computer - A New Paradigm", Ovshinsky,Proc. E/PCOS, 2004および"Novel Applications Possibilities for Phase-Change Materials and Devices", Wright et al.,Proc. E/PCOS, 2013参照)。抵抗変化型メモリ・セルは、一対の電極の間に配置された一定量の抵抗物質の可変抵抗特性に依存するプログラマブル抵抗デバイスである。これらのセルは、メモリスタ、すなわち、デバイスを流れた電流の履歴を記憶するデバイスである。"A Scalable Neuristor built with Mott Memristors", Pickettet al. Nature Materials, 2013では、モット・メモリスタに基づくニューロン回路も提案されている。
"The Ovonic Cognitive Computer - A New Paradigm", Ovshinsky, Proc. E/PCOS, 2004 "Novel Applications Possibilities for Phase-Change Materials and Devices", Wright et al., Proc. E/PCOS, 2013 "A Scalable Neuristor built with Mott Memristors", Pickett et al. Nature Materials, 2013
メモリスタ・デバイスに基づく従来の人工ニューロンは、積分発火機能の模倣、または生物学的活動電位波形の模倣にのみ関わってきた。ニューラル・ネットワーク構成における動作のための効率的人工ニューロンの具体的な実現が依然として課題である。
本発明の少なくとも一実施形態によると、人工ニューロン装置が提供される。この装置は、ニューロン入力信号を受信するためのニューロン入力を有する入力回路内に接続された抵抗変化型メモリ・セルと、セルに読み取り電流を供給するための電流源とを含む。入力回路は、交互の読み取り動作フェーズと書き込み動作フェーズとを規定する一組の制御信号に応答して、読み取りフェーズ時にセルに読み取り電流を印加するとともに、書き込みフェーズ時にニューロン入力信号を受信するとセル抵抗をプログラミングするためにセルにプログラミング電流を印加するように、選択的に構成可能である。セル抵抗は、連続ニューロン入力信号に応答して、第1の状態から第2の状態に漸進的に変化させる。装置は、ニューロン出力と、セル抵抗に依存する測定信号を受信するために入力回路に接続されたデジタル・ラッチとを含む出力回路をさらに含む。ラッチは、読み取りフェーズに応答して測定信号に依存するデジタル値をラッチするように動作可能である。セル抵抗が第2の状態に達していない場合、第1の値がラッチされ、セル抵抗が第2の状態に達した場合、第2の値がラッチされる。出力回路は、第2の値がラッチされる場合に書き込みフェーズ時にニューロン出力においてニューロン出力信号を供給するようになされる。
本発明を具現化する装置は、ニューラル・ネットワーク構成における接続性および動作に適する効率的なニューロン実現形態を提供する。ニューロン回路は、ニューロモーフィック・ネットワークにおける高密度集積を可能にするコンパクトな実施形態を可能にする。読み取り動作フェーズおよび書き込み動作フェーズのためのニューロン回路の構成は、1つまたは複数の制御信号によって制御される。このような制御信号は、例えばシステム・クロックから容易に生成可能な単純な周期信号とすることができ、マルチニューロン・ネットワークの効率的な大域的制御のための複数のニューロン回路に容易に印加することができる。
ニューロン装置の好ましい実施形態では、入力回路は、ニューロン出力信号に応答して、セル抵抗を第1の状態にリセットするためにセルにリセット電流を印加するようにさらに構成することができる。これらの実施形態では、ニューロンが新たな動作サイクルのための準備が整った初期状態に復帰するように、書き込みフェーズ時にセルのリセットを行うために、ニューロン出力信号または「スパイク」が好都合に使用される。
出力回路は、好ましくはラッチとニューロン出力との間に接続された論理ゲートを含み、論理ゲートは、第2の値がラッチされると書き込みフェーズに応答してニューロン出力信号を供給するように動作可能である。この構成では、ニューロン・スパイクを書き込みフェーズに好都合に同期させ、それによって、次のニューロンのために書き込みフェーズに同期させたニューロン入力信号を供給する1つのニューロンからのスパイクによる同期構成におけるニューロン間の相互接続を容易にする。
入力回路は、読み取りフェーズとニューロン入力信号とに応答してセルに電流が流れるようにするために、セルの第1の端子と回路の基準端子との間に接続された少なくとも1つのアクセス・デバイスを含むことができる。好ましい実施形態では、入力回路は、読み取りフェーズと、ニューロン入力信号と、ニューロン出力信号とに応答してセルに電流が流れるようにするために、セルの第1の端子と基準端子との間に接続されたそれぞれのアクセス・デバイスを含む。ニューロン入力回路におけるこのようなアクセス・デバイスの使用は、読み取りフェーズおよび書き込みフェーズ時にセル動作の単純な制御を可能にする。本明細書の好ましい実施形態では、電流源はセルの第2の端子に接続され、入力回路は第2の端子に接続されたスイッチを含み、スイッチは、書き込みフェーズ時にセルにプログラミング電流を印加するように動作可能である。これにより単純な入力回路構成が提供され、このような構成とともに使用するための単純な出力回路については以下で詳述する。
本発明の少なくとも1つの他の実施形態は、各ニューロンが上記の一実施形態によるニューロン装置を含む複数の相互接続されたニューロンと、システム内の少なくとも複数のニューロンに供給される一組の制御信号を発生させるための制御信号発生器とを含む、ニューロモーフィック・システムを提供する。
以下に、例示および非限定的な例として、添付図面を参照しながら本発明の実施形態についてより詳細に説明する。
相変化メモリ・セルにおける漸進的結晶化を示す概略図である。 本発明の1つまたは複数の実施形態による人工ニューロン装置を示す図である。 図2の装置の動作を示す概略タイミング図である。 本発明の1つまたは複数の実施形態による人工ニューロン装置を示す図である。 図4の装置の動作を示す概略タイミング図である。 本発明の1つまたは複数の実施形態によるニューロン装置で使用するデジタル・ラッチの一実装形態を示す図である。 図4のニューロン装置において使用するNORゲートの一実装形態を示す図である。 本発明の1つまたは複数の実施形態により構成されたニューロンに基づくニューロモーフィック・システムを示す概略図である。
記載する実施形態は、抵抗変化型メモリに基づく人工ニューロン装置を提供する。以下の例では、抵抗変化型メモリ・セルはPCMセルである。PCMセルの可変抵抗特性は、カルコゲナイド塊中の(高抵抗の)非晶相と(低抵抗の)結晶相との相対比率を変化させるようにセル電極間の一定量のカルコゲナイド材料を加熱することによって生じる。電極を介して特定の閾値スイッチング電圧未満の電圧がセルに印加された場合、電流はきわめて小さく、それによってきわめてわずかなジュール熱しか印加されず、その結果としてセル体積に相変化は実質的に起こらない。しかし、閾値電圧を超えるプログラミング(または「書き込み」)信号が印加された場合、電子閾値スイッチングの現象によって、パルスの印加中にセル抵抗がきわめて低い値まで低下する。これにより、大きな電流の流れが可能になり、その結果、高いジュール熱が印加され、その後相変化が生じる。初期が高抵抗状態のセルの場合、セル特性と回路設計に基づく特定の入力電力および期間のプログラミング・パルスの印加により、非晶質領域の部分的な結晶化が生じ、その結果としてプログラミング後にセル抵抗が低下する。セルは、蓄積特性を示し、それにより、このようなプログラミング・パルスを多数印加することでメモリ・セルの抵抗を初期高抵抗状態と比較してきわめて低い値まで漸進的に低下させることができる。電極に低電圧信号を印加し、その結果としてセルに流れる電流を測定することによって、セル抵抗を随時測定(または「読み取り」)することができる。読み取り動作のための信号レベルは、読み取り動作がプログラムされたセル状態を乱さないような十分な低さである。
上記のプロセスを図1に概略的に示す。この図は、PCMセルの電気コンダクタンス(抵抗の逆数)で表したセルの状態の漸進的変化を、プログラミング・パルスの数の関数として示している。図1に示すセルは、第1の「上部」電極と第2の「下部」電極との間に配置されたGST(ゲルマニウム−アンチモン−テルル)などのカルコゲナイド材料を有する「マッシュルーム」型である。より小さい下部電極は、別の状況では結晶質である材料内の非晶質のカルコゲナイドのドームを加熱するためのヒータの役割を果たす。電極間の高抵抗の非晶質ドームの存在により、抵抗は初期状態では高い(低コンダクタンス)。連続したプログラミング・パルスによって、非晶質塊に部分的な結晶化が生じ、それによってセル抵抗が漸進的に低下する。一定数のパルスの後、コンダクタンス勾配が急激に上がり、セルを低抵抗(高コンダクタンス)状態に切り替える。下部電極に隣接するカルコゲナイド材料を溶融させるのに十分な電力のパルスの印加により、セルをその初期高抵抗状態にリセットすることができる。その後、冷却により高抵抗非晶質ドームが復元される。
図2は、本発明の1つまたは複数の実施形態による、第1のニューロン装置1の構造を示す概略ブロック図である。ニューロン装置1は、可変抵抗2によって表され、拡大図に示すようなマッシュルーム・セル型とすることができるPCMセルを含む。PCMセル2は、入力回路3に接続される。入力回路3は、動作時にニューロン入力信号を受信するためのニューロン入力4を有する。ニューロン入力信号は、ニューロン1が接続されているニューロモーフィック・システムにおける1つまたは複数の他の回路によって発生させることができる。例えばシナプス回路を介して、例えば他のニューロンからの出力信号をニューロン1に入力信号として供給することができる。例えば感覚受容体を模倣する回路からの外部ニューロン刺激を表す信号も、ニューロン入力信号として供給することができる。
入力回路3は、動作時にPCMセル2に読み取り定電流IREADを供給するための電流源5を含む。入力回路3は、交互の読み取り動作フェーズと書き込み(プログラミング)動作フェーズとを規定する一組の制御信号に応答して選択的に構成可能である。これらの制御信号は、ニューロン1の外部に設けることが可能でニューロモーフィック・システム内の複数のニューロンに制御信号を供給することができる、6で示す制御信号発生器によって生成される。一般に、この一組の制御信号は、1つまたは複数の制御信号を含むことができ、入力回路3はこれらの信号のうちの1つまたは複数の信号に応答して選択的に構成可能とすることができる。この実施形態では、制御信号は、図2に概略的に示すような周期的な矩形パルスの列を含む読み取り信号(READ)を含む。ニューロン動作の読み取りフェーズは、読み取り信号がハイの期間に生じる。ニューロン動作の書き込みフェーズは、読み取り信号がローの期間に生じる。特に、1つまたは複数の実施形態における制御信号は、周期的な矩形パルス列を含む書き込み信号(WRITE)を含み、書き込みフェーズはこの書き込み信号がハイである期間に対応する。これは、READがローである期間に生じ、これによりREAD信号とWRITE信号とは、交互の動作時の読み取りフェーズと書き込みフェーズとを規定する。この実施形態の制御信号の組は、読み取り信号READの反転である信号

(以降READバーと記載する)も含む。
入力回路3は、動作時にPCMセル2に電流を流すようにするための一組のアクセス・デバイスをさらに含む。1つまたは複数の実施形態は、セル2の第1(ここでは下部の)端子と、ここでは信号アース(すなわち接地)である回路の基準端子との間に接続された、ここではFET(電界効果トランジスタ)7、8および9によって実装された3個のアクセス・デバイスを使用する。第1のFET7のゲートは、読み取り信号READを受信し、読み取りフェーズに応答してセル2に電流を流すようにする。第2のFET8のゲートは、ニューロン入力4に接続され、ニューロン入力信号に応答してセル2に電流を流すようにする。第3のFET9のゲートは、以下で説明するようにニューロン1の出力で生じたニューロン出力信号または「スパイク」を受信し、この信号に応答してセル2に電流を流すようにする。電流源5は、セル2の第2(ここでは上部の)端子と第1の電圧供給線VDDとの間に接続される。入力回路は、上部セル端子と第2の電圧供給線VDDAとの間に接続されたスイッチ10も含む。スイッチ10は、アクセス・デバイス8または9が有効にされている場合に書き込み動作フェーズ時に制御信号READバーに応答してセルにプログラミング電流を印加するように動作可能である。特に、スイッチ10は、制御信号READバーがハイのときに閉じて、この期間中、したがってWRITEがハイである書き込みフェーズ時に、セル2を供給線VDDAに接続する。セル2をプログラムするのに十分な高さである高プログラミング電流を供給するために、電圧VDDAは典型的には電圧VDDより高くする。
ニューロン1は、12で示す出力回路をさらに含む。出力回路12は、ニューロン出力13とデジタル・ラッチ14とを含む。ラッチ14は、動作時にセル抵抗に依存する測定信号を受信するために、この実施形態ではインバータ15を介して入力回路3に接続される。特に、測定信号は、ラッチのデータ入力Dに供給される。読み取り制御信号READはラッチのイネーブル入力LEに供給される。ラッチは、そのイネーブル入力LEがハイになると、すなわちREAD=ハイによって規定される読み取り動作フェーズに応答して、測定信号に依存するデジタル値をラッチするように動作する。その結果としてラッチされた値は、ラッチ出力Qに供給される。ラッチ・イネーブル入力LEがローになると、すなわちREAD=ローであると、ラッチ出力QはLEが最後にハイであったときと同じ状態を維持する。
この実施形態の出力回路12は、ラッチ14とニューロン出力13との間に接続された、ここではANDゲート16である論理ゲートも含む。ANDゲート16の一方の入力はラッチ出力Qに接続され、他方の入力は書き込み制御信号WRITEを受信する。したがって、ANDゲート16はラッチ出力Qもハイである場合、書き込みフェーズ(WRITE=ハイ)時に出力13においてニューロン出力信号(スパイク)を供給する。したがって、ニューロン・スパイクは書き込みフェーズに好都合に同期させる。ネットワーク構成内の他の同様のニューロンからのスパイクの結果としてニューロン入力信号が発生した場合、それらの入力信号はこのようにして書き込みフェーズと好都合に同期させることができる。
ニューロン1の様々な回路構成要素は、一般に知られた方式で実装可能であり、ニューロン装置は、周知の材料加工技術を使用して集積ナノエレクトロニクス回路として作製可能である。例えば、電流源5はトランジスタによって実装することができ、スイッチ10はトランジスタまたはダイオードによって実現可能であり、構成要素14ないし16は標準トランジスタ・ロジックを使用して実装することができる。制御信号の周期性は、セルの特性と所望の動作速度とに基づいて任意に設定することができる。例えば、上記の回路の典型的な信号周期は200ないし500nsであり得る。
動作時、READ=ハイのときの読み取りフェーズでは、FET7がオンになり、スイッチ10が開く。この構成では、電流源5からの読み取り電流IREADがPCMセル2に印加される。前述のように、この読み取り電流はきわめて小さいため、PCMセルの状態を変化させない。上部セル端子に結果として生じる電圧は図2ではVPCCで示されており、PCMセルの抵抗に依存する。WRITE=ハイのときの書き込みフェーズでは、READバーもハイであるため、スイッチ10は閉じる。このフェーズ中に入力4でニューロン入力信号が受信された場合、FET8がオンになり、セル抵抗をプログラムするためのプログラミング電流がPCMセル2に印加される。(セルのプログラミングのための十分に大きな電流は、当業者には明らかなように、ここでは、供給電圧VDDA、アクセス・デバイス8の特性、およびニューロン入力信号の特性(の1つまたは組み合わせ)の適切な選択によって得られる)このようにして、図1を参照しながら説明したように、ニューロンの動作の書き込みフェーズ時に受信した連続ニューロン入力信号に応答してセル抵抗を第1の(ここでは高抵抗)状態から第2の(ここでは低抵抗)状態に漸進的に変化させることができる。測定信号を供給する読み取りフェーズ時の上部セル端子における電圧VPCCは、セル抵抗が変化するにつれて高い値から低い値に変化する。この信号は、インバータ15によって反転させ、したがってその出力はローからハイに変化する。特に、セル抵抗が低抵抗状態に切り替わると、電圧VPCCは所定の閾値VTHを超え、インバータ出力における反転測定信号がローからハイに切り替わる。この時点の前(すなわちセル抵抗が第2の低抵抗状態に達していないとき)、読み取りフェーズでVPCC>VTHであり、ラッチ14のD入力はローであり、読み取りフェーズ中(ラッチ入力LEでREAD=ハイ)に、ここでは論理0である第1の値がラッチ14によってラッチされる。したがって、ラッチ出力Qは論理0のままである。その後、第1の読み取りフェーズでセル抵抗が第2の低抵抗状態VPCC<VTHに達すると、ラッチ14のD入力がハイになり、その読み取りフェーズ中にここでは論理1である第2の値がラッチ14によってラッチされる。したがって、ラッチ出力Qは論理1に切り替わる。ラッチ出力Qは、WRITEがハイになると次の書き込みフェーズの間、ハイのままである。次に、この書き込みフェーズ中にANDゲート16がニューロン出力13でスパイクを発生させる。
上記から、ニューロン出力回路12は、論理1がラッチ14によってラッチされた場合、すなわち、セル抵抗が、直前の読み取りフェーズで測定信号によって示される低抵抗状態に達した場合に、書き込みフェーズ中に出力13でスパイクを発生させることがわかるであろう。この実施形態では、入力回路3は、セル抵抗を高抵抗状態にリセットするために、このスパイクに応答してPCMセル2にリセット電流を印加するように構成可能である。特に、書き込みフェーズ中にニューロン出力13で生じたスパイクがFET9のゲートに印加され、この書き込みフェーズ中にPCMセル2にリセット電流を流すことができるようになる。ここでは、当業者に明らかなように、アクセス・デバイス9の特性と、供給電圧VDDAと、ニューロン出力信号の特性(例えば振幅または存続期間あるいはその両方)とのうちの1つまたは組み合わせの適切な選択によって、十分に大きなリセット電流を得ることができる。したがって、PCMセル2は、ニューロン1が発火する書き込みフェーズ中に初期状態である事前蓄積状態にリセットされる。
前述のように、ニューロン1の発火時に発生するスパイクは、ネットワーク構成内の1つまたは複数の他のニューロンに中継することができ、それによってこれらのニューロンに入力信号を供給する。スパイクは、シナプス荷重に応じてスパイクの特性(例えば振幅または存続期間あるいはその両方)を変更し得るシナプス回路を介して中継することができる。シナプス回路は様々な方法で実装可能であり、シナプスの実装は本明細書に記載のニューロンの動作とは統計的に独立している。ニューロン入力信号の形状が変化し得ることと、ニューロン入力信号がセル抵抗のプログラミングに与える作用がそれに応じて変化し得ることを理解するには、これで十分である。
上記のニューロン動作は、図3の信号タイミング図に便宜的に示されている。この図の上の(a)部は、例示のWRITE信号を100nsの書き込みフェーズを規定する周期200nsのパルス列として示している。(b)部は、例示のREAD信号を示す。(c)部は、この図では最初と3番目の書き込みフェーズ中に入力4に印加されるニューロン入力信号を示す。(d)部は、発火閾値に近づき、超えるフェーズの電圧VPCCを示す。最初の書き込みフェーズ(WRITE=ハイ)では、ニューロン入力信号が受信され、セル抵抗がプログラミング動作によって下げられる。次の読み取りフェーズ(READ=ハイ)では、セル抵抗は依然として発火閾値より大きい(VPCC>VTH)。2番目の書き込みフェーズでは入力信号は受信されず、セル抵抗は変化しないままである。3番目の書き込みフェーズでは、別の入力信号が受信され、セル抵抗がさらに下げられる。次の読み取りフェーズでは、図中の円で強調されているように、測定セル抵抗が発火閾値を超えている(VPCC<VTH)。次に、(e)部に示すように、4番目の書き込みフェーズ中にニューロン出力13でスパイクを発生させる。このスパイクは、上述のようにセルのリセットを生じさせ、次の読み取りフェーズで測定セル抵抗を初期の高抵抗状態に復帰させる。
上記の実施形態は、ニューラル・ネットワーク構成における接続性と動作とのための効率的な完全に機能するニューロン実装形態を提供することがわかるであろう。この装置は、アナログ構成要素(PCMセル、アクセス・デバイス、電流源およびスイッチ)とデジタル構成要素(ラッチ、インバータ、AND論理ゲート)とのハイブリッドを使用し、これらの要素はすべて、典型的には微小サイズである。したがって、この回路はきわめてコンパクトなニューロンの実装を実現し、例えば高密度シナプス配列によるマルチニューロン・ネットワークにおけるシームレスな高密度集積を可能にする。回路構成を制御するための制御信号は、単純な周期信号である。これらの信号は、ニューロン動作の同期のためにマルチニューロン・システムにおいて大域的に印加することができるとともに、システム・クロックから容易に生成することができる。
本発明を具現化する第2のニューロン装置について、図4および図5を参照しながら説明する。ニューロン構造は図4に示す通りであり、図2の構造に概ね対応する。同様の要素は同様の参照番号で示し、以下では重要な相違点のみ説明する。この実施形態のニューロン20は、ゲートがバイアス電圧VBIASに保持されるPMOS(P型金属酸化膜半導体)トランジスタ22によって読み取り電流源が実装された入力回路21を有する。PCMセル2と供給電圧VDDAとの間のスイッチもPMOSトランジスタ23によって実装される。このトランジスタ23は、そのゲートで読み取り制御信号READを受信する。PMOS動作のため、トランジスタ23はREADがローのときにオンになる。したがってスイッチ23の動作は、図2のスイッチ10の動作と同等であるが、反転制御信号READバーは必要としない。この実施形態では、制御信号発生器24が2つの制御信号READおよび

(以降WRITEバーと記載する)を発生させる。ここで、WRITEバーは図2のWRITE信号の反転である。読み取りフェーズは、この場合もREAD=ハイによって規定され、書き込みフェーズはWRITEバー=ローによって規定される。
ニューロン20の出力回路25は、前記と同様にラッチ14を含むが、インバータは必要としない。したがって、ラッチ14のD入力はPCMセル2の上部端子に直接接続され、ラッチ出力Qは図2の動作と比較すると反転している。図2のANDゲートは、出力回路25ではNORゲート26に置き換えられている。NORゲート26の第2の入力は、制御信号WRITEバーを受信し、それによってゲート26は、ラッチ14によって論理0がラッチされると書き込みフェーズ(WRITEバー=ロー)に応答してニューロン出力13でスパイクを発生させる。これは、前の読み取りフェーズにおいてセル抵抗が低抵抗状態(VPCC<VTH)まで低下したときに起こる。
ニューロン20の動作を、存続期間が変動する一連のニューロン入力信号について図5のタイミング図に示す。4番目の書き込みフェーズで受信した入力信号の結果、ここでは、セルが低抵抗状態に切り替わる。それに続く読み取りフェーズで、測定セル抵抗が発火閾値を超えている(VPCC<VTH)。次に、次の書き込みフェーズ時にニューロン出力13においてスパイクを発生させる。このスパイクは、上述のようにセルのリセットを生じさせ、それによって測定セル抵抗が次の読み取りフェーズで初期の高抵抗状態に復帰する。
したがって、ニューロン20は概ねニューロン1のように動作するが、READバー信号を省いたために制御信号の数が減らされており、回路設計がさらにコンパクトになっている。例えば、図6に示す最小限のラッチ設計と図7に示すNORゲート構造とを使用して、トランジスタを15個しか備えないニューロン20の一実装形態を実現することができる。14nm技術ノードにおけるニューロン20の一実装形態が占める面積は1μm未満であり、ロジックの電力消費はPCMセル2の10%未満である。
図8は、本発明を具現化するニューロモーフィック・システムにおいて、ニューロン1、20をどのように接続可能にするかを示す簡略図である。システム30は、複数の相互接続されたニューロンを含み、そのうちの3個のニューロンがN1、N2およびN3として示されている。制御信号発生器31が、ニューロン回路の構成を制御するための一組の大域制御信号CSを発生させる。この制御信号の組は、システム30内の少なくとも複数のニューロンN1、N2、N3などに供給されるが、システム内のすべてのニューロンに供給されてもよい。ニューロンは、図中で行と列とに配置されたシナプスSの配列を介して相互接続されている。各ニューロンの出力13は、配列のそれぞれの列のすべてのシナプスSに入力を供給する。各ニューロンの入力4は、配列のそれぞれの行のすべてのシナプスから出力を受信する。このようにして、1つのニューロン(「前ニューロン」)から他のニューロン(「後ニューロン」)の入力に出力信号を中継するために、各シナプスSがそれぞれ一対のニューロンの間に接続される。前述のように、シナプスはこれらの信号をシナプス荷重に従って変更することができ、システム30は、例えば前ニューロンと後ニューロンのスパイクの相対的タイミングに基づいてシナプス荷重の調整を可能にするように、追加のニューロン/シナプス接続(図示せず)を含んでもよい。ただし、シナプス動作の詳細は本明細書に記載のニューロン機能とは統計的に独立している。
当然ながら、上記の例示の実施形態には多くの変形および変更を加えることができる。例えば、制御信号は矩形パルス列である必要はない。制御パルスは、例えば、セル動作のために望ましい場合には整形された前縁または後縁あるいはその両方を有してもよい。また、上記の実施形態では読み取りフェーズと書き込みフェーズとを規定するために別々の読み取り制御信号と書き込み制御信号とが使用される。これによって、時間間隔を間に挟んで読み取りフェーズと書き込みフェーズとを時間的に分離することができる。このようにフェーズを分離することは、セル動作特性によっては、特に高速動作にとって有利な場合がある。しかし、他の実施形態では、交互の読み取りフェーズと書き込みフェーズとを、単一の制御信号の異なるレベルによって規定することも可能である。さらに他の例として、上記の実施形態は、効率的なセル・リセット機構を設けるためにアクセス・デバイス9を使用するが、例えば、スパイク・イベントに応答してセルに選択的に印加される大域リセット信号による他のリセット機構も考えられる。回路構成は、異なる制御信号による他の様々な方法で制御してもよく、例えば、異なる論理ゲートまたはラッチ入出力構成あるいはその両方を使用したその他の論理構成も可能である。ラッチがニューロン出力に直接接続された出力回路も考えられる。実施形態によっては入力回路は、電流を流すようにするために複数の信号に応答する単一のアクセス・デバイス、例えば上記のFET7ないし9のうちの複数のFETとして機能する1つのFETを使用してもよい。入力回路は、必要であれば単一の電圧印加線によって動作するように設計することもできる。
本発明を具現化するニューロンは、当然ながら、マッシュルーム・セル型以外のPCMセルおよび他の抵抗変化型メモリ・セルを使用してもよい。いくつかの例としては、導電性ブリッジ型RRAMセル、酸化膜または金属酸化膜RRAMセル、炭素RRAMセルなどの、抵抗変化型RAM(RRAM)セルがある。さらに、上記の回路例について、ニューロンが発火してメモリ・セルの低抵抗状態において出力信号を発生させ、次にセルが高抵抗状態にリセットされる動作に関して説明した。したがって、蓄積フェーズで、連続したニューロン入力信号によってセル抵抗が漸進的に低下する。他の実施形態は、セルが高抵抗状態のときにニューロンが発火し、セルが低抵抗状態にリセットされ、蓄積フェーズで連続ニューロン入力信号によってセル抵抗が漸進的に上昇する動作に基づいてもよい。そのような実施形態では、抵抗を漸進的に上昇させることができるバイポーラ・デバイスを含み得る任意の抵抗変化型メモリ・セルを使用してもよく、一例はCBRAM(導電性ブリッジRAM)セルである。そのようなセル動作に対応するための適切な回路変更は、当業者には容易にわかるであろう。
一般に、本明細書で構成要素が別の構成要素に接続されていると記載されている場合、そのような構成要素は、特に明記されていない限り、直接接続されてもよく、または例えば介在構成要素を介して間接的に接続されてもよい。
例示を目的として本発明の様々な実施形態の説明を示したが、これらの説明は網羅的であること、または開示されている実施形態に限定されることを意図したものではない。記載されている実施形態の範囲および思想から逸脱することなく多くの変更および改変が当業者には明らかであろう。本明細書で使用されている用語は、実施形態の原理、実用化または市場に見られる技術の技術的改良を最もよく説明するため、または本明細書で開示されている実施形態を他の当業者が理解することができるようにするために選択された。

Claims (13)

  1. 人工ニューロン装置であって、
    入力回路において接続された抵抗変化型メモリ・セルを含み、
    前記入力回路は、ニューロン入力信号を受信するように構成されたニューロン入力と、前記セルに読み取り電流を供給するための電流源とを含み、
    前記入力回路は、交互の読み取り動作フェーズと書き込み動作フェーズとを規定する一組の制御信号に応答して選択的に構成可能なようにさらに構成され、前記読み取りフェーズ時に前記セルに前記読み取り電流を印加し、前記書き込みフェーズ時に前記ニューロン入力信号を受信するとセル抵抗をプログラミングするために前記セルにプログラミング電流を印加するようにさらに構成され、連続ニューロン入力信号に応答してセル抵抗を第1の状態から第2の状態に漸進的に変化させ、
    前記装置は、
    ニューロン出力と、前記入力回路に接続されてセル抵抗に依存する測定信号を受信するように構成されたデジタル・ラッチとを含む出力回路をさらに含み、前記ラッチは、セル抵抗が前記第2の状態に達していない場合に第1の値がラッチされ、セル抵抗が前記第2の状態に達した場合に第2の値がラッチされるように、前記読み取りフェーズに応答して前記測定信号に依存するデジタル値をラッチするように動作可能に構成され、前記出力回路は、前記第2の値がラッチされた場合に前記書き込みフェーズ時に前記ニューロン出力においてニューロン出力信号を供給するように構成された装置。
  2. 前記入力回路は、前記ニューロン出力信号に応答して前記セル抵抗を前記第1の状態にリセットするために前記セルにリセット電流を印加するようにさらに構成された、請求項1に記載の装置。
  3. 前記出力回路は、前記ラッチと前記ニューロン出力との間に接続された論理ゲートを含み、前記論理ゲートは、前記第2の値がラッチされると前記書き込みフェーズに応答して前記ニューロン出力信号を供給するように動作可能に構成された、請求項1または2に記載の装置。
  4. 前記入力回路は前記セルの第1の端子と前記回路の基準端子との間に接続された少なくとも1つのアクセス・デバイスを含み、前記少なくとも1つのアクセス・デバイスは前記読み取りフェーズと前記ニューロン入力信号とに応答して前記セルに電流を流すように構成された、請求項1ないし3のいずれか一項に記載の装置。
  5. 前記入力回路は、前記セルの第1の端子と基準端子との間に接続されたそれぞれのアクセス・デバイスを含み、前記それぞれのアクセス・デバイスは、前記読み取りフェーズと、前記ニューロン入力信号と、前記ニューロン出力信号とに応答して前記セルに電流を流すように構成された、請求項2に記載の装置。
  6. 前記電流源は前記セルの第2の端子に接続され、前記入力回路は前記第2の端子に接続されたスイッチを含み、前記スイッチは前記書き込みフェーズ時に前記セルに前記プログラミング電流を印加するように動作可能に構成された、請求項4に記載の装置。
  7. 前記ラッチは前記セルの前記第2の端子に接続され、前記測定信号を受信するように構成され、前記出力回路は、前記ラッチと前記ニューロン出力との間に接続されたNORゲートであって、前記第2の値がラッチされると前記書き込みフェーズに応答して前記ニューロン出力信号を供給するように動作可能に構成された、前記NORゲートを含む、請求項6に記載の装置。
  8. 前記ラッチは、前記測定信号を供給するように構成されたインバータを介して前記セルの前記第2の端子に接続され、前記出力回路は、前記ラッチと前記ニューロン出力との間に接続されたANDゲートであって、前記第2の値がラッチされると前記書き込みフェーズに応答して前記ニューロン出力信号を供給するように動作可能に構成された、前記ANDゲートを含む、請求項6または7に記載の装置。
  9. 前記抵抗変化型メモリ・セルは相変化メモリ・セルを含み、前記セル抵抗は連続ニューロン入力信号に応答して前記第1の状態と前記第2の状態との間で漸進的に低下する、請求項1ないし8のいずれか一項に記載の装置。
  10. 前記一組の制御信号は、前記交互の読み取りフェーズと書き込みフェーズとをそれぞれ規定する読み取り信号と書き込み信号とを含む、請求項1ないし9のいずれか一項に記載の装置。
  11. 前記抵抗変化型メモリ・セルは相変化メモリ・セルを含み、前記セル抵抗は連続ニューロン入力信号に応答して前記第1の状態と前記第2の状態との間で漸進的に低下し、
    前記電流源は前記セルの第2の端子に接続され、前記入力回路は前記第2の端子に接続されたスイッチを含み、前記スイッチは前記書き込みフェーズ時に前記セルに前記プログラミング電流を印加するように動作可能に構成され、
    前記ラッチは、前記セルの前記第2の端子に接続され、前記測定信号を受信するように構成され、
    前記出力回路は、前記ラッチと前記ニューロン出力との間に接続されたNORゲートであって、前記第2の値がラッチされると前記書き込みフェーズに応答して前記ニューロン出力信号を供給するように動作可能に構成された、前記NORゲートを含む、請求項5に記載の装置。
  12. ニューロモーフィック・システムであって、各ニューロンが請求項1ないし11のいずれか一項に記載の装置を含む複数の相互接続されたニューロンと、前記一組の制御信号を発生させるように構成された制御信号発生器とを含み、前記一組の制御信号は前記システム内の少なくとも複数のニューロンに供給される、ニューロモーフィック・システム。
  13. ニューロモーフィック・システムであって、各ニューロンが請求項11に記載の装置を含む複数の相互接続されたニューロンと、前記一組の制御信号を発生させるように構成された制御信号発生器とを含み、前記一組の制御信号は前記システム内の少なくとも複数のニューロンに供給される、ニューロモーフィック・システム。
JP2018544068A 2016-03-21 2017-02-24 人工ニューロン装置およびニューロモーフィック・システム Active JP6829260B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/075,314 2016-03-21
US15/075,314 US10268949B2 (en) 2016-03-21 2016-03-21 Artificial neuron apparatus
PCT/IB2017/051081 WO2017163139A1 (en) 2016-03-21 2017-02-24 Artificial neuron apparatus

Publications (2)

Publication Number Publication Date
JP2019519011A true JP2019519011A (ja) 2019-07-04
JP6829260B2 JP6829260B2 (ja) 2021-02-10

Family

ID=59855786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544068A Active JP6829260B2 (ja) 2016-03-21 2017-02-24 人工ニューロン装置およびニューロモーフィック・システム

Country Status (6)

Country Link
US (1) US10268949B2 (ja)
JP (1) JP6829260B2 (ja)
CN (1) CN108780520B (ja)
DE (1) DE112017000238T5 (ja)
GB (1) GB2565243B (ja)
WO (1) WO2017163139A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021197191A (ja) * 2020-06-11 2021-12-27 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
JP2022539751A (ja) * 2019-07-03 2022-09-13 マイクロン テクノロジー,インク. ニューラルネットワークメモリ
WO2023224434A1 (ko) * 2022-05-20 2023-11-23 서울대학교산학협력단 저전압 유기 발광 시냅스 소자 및 이를 포함하는 자극 감응형 뉴로모픽 디스플레이 장치

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180116637A (ko) * 2017-04-17 2018-10-25 에스케이하이닉스 주식회사 듀얼 멤리스터들을 가진 시냅스 및 상기 시냅스를 포함하는 뉴로모픽 소자의 시냅스 어레이
US11620500B2 (en) * 2018-01-11 2023-04-04 Winbond Electronics Corp. Synapse system and synapse method to realize STDP operation
US11347999B2 (en) * 2019-05-22 2022-05-31 International Business Machines Corporation Closed loop programming of phase-change memory
CN110855420A (zh) * 2019-10-22 2020-02-28 南京航空航天大学 一种基于忆阻的准周期信号产生电路
WO2021092899A1 (zh) * 2019-11-15 2021-05-20 江苏时代全芯存储科技股份有限公司 类神经电路以及运作方法
US11580370B2 (en) 2019-11-15 2023-02-14 Jiangsu Advanced Memory Technology Co., Ltd. Artificial neuromorphic circuit and operation method
US11468307B2 (en) 2019-11-15 2022-10-11 Jiangsu Advanced Memory Technology Co., Ltd. Artificial neuromorphic circuit and operation method
CN111630528B (zh) 2019-11-15 2023-08-29 北京时代全芯存储技术股份有限公司 类神经电路以及运作方法
TWI728556B (zh) * 2019-11-18 2021-05-21 財團法人工業技術研究院 神經元電路及類神經網路晶片

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070022070A1 (en) 2005-03-15 2007-01-25 Wells Richard B Forgetful logic for artificial neural networks
US7715244B2 (en) * 2008-02-05 2010-05-11 Unity Semiconductor Corporation Non-volatile register having a memory element and register logic vertically configured on a substrate
US8694452B2 (en) 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US9460387B2 (en) 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
FR3007867B1 (fr) 2013-06-26 2018-02-09 Commissariat A L'energie Atomique Et Aux Energies Alternatives Neurone artificiel comprenant une memoire resistive

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022539751A (ja) * 2019-07-03 2022-09-13 マイクロン テクノロジー,インク. ニューラルネットワークメモリ
JP2021197191A (ja) * 2020-06-11 2021-12-27 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
WO2023224434A1 (ko) * 2022-05-20 2023-11-23 서울대학교산학협력단 저전압 유기 발광 시냅스 소자 및 이를 포함하는 자극 감응형 뉴로모픽 디스플레이 장치

Also Published As

Publication number Publication date
US10268949B2 (en) 2019-04-23
GB2565243B (en) 2019-07-31
GB201816545D0 (en) 2018-11-28
CN108780520B (zh) 2021-06-22
DE112017000238T5 (de) 2018-08-23
US20170270404A1 (en) 2017-09-21
CN108780520A (zh) 2018-11-09
WO2017163139A1 (en) 2017-09-28
GB2565243A (en) 2019-02-06
JP6829260B2 (ja) 2021-02-10

Similar Documents

Publication Publication Date Title
JP6829260B2 (ja) 人工ニューロン装置およびニューロモーフィック・システム
US11017292B2 (en) Artificial neuron apparatus
GB2556550B (en) Neuromorphic processing devices
Kim et al. NVM neuromorphic core with 64k-cell (256-by-256) phase change memory synaptic array with on-chip neuron circuits for continuous in-situ learning
US10282657B2 (en) Neuromorphic synapses
US10949735B2 (en) Artificial neuron apparatus
Ambrogio et al. Unsupervised learning by spike timing dependent plasticity in phase change memory (PCM) synapses
Chang et al. Building neuromorphic circuits with memristive devices
Liu et al. Optimization of non-linear conductance modulation based on metal oxide memristors
Kang et al. Emulation of spike-timing dependent plasticity in nano-scale phase change memory
Suri et al. Addition of HfO2 interface layer for improved synaptic performance of phase change memory (PCM) devices
Kavehei et al. Memristor-based synaptic networks and logical operations using in-situ computing
Wang et al. Unconventional computing with diffusive memristors
Gergel-Hackett et al. Spice behavioral modeling of TiO2 memristors for digital logic applications
Prodromakis et al. Enabling technologies for very large-scale synaptic electronics
Kavehei et al. Memristive in situ computing
Wang et al. Neuronal realizations based on memristive devices
Zayer et al. Modeling of Memristive Devices for Neuromorphic Application
US20220147803A1 (en) Synapse circuit for three-factor learning
Trabelsi Resistance level modulation in PCM memory for neuromorphic applications
Yang et al. Memristive devices: switching effects, modeling, and applications
Milo et al. Synaptic realizations based on memristive devices
Eryilmaz et al. Training and Inference in Hopfield Network Using 10× 10 Phase Change Synaptic Array
IELMINI et al. Technologies Emergentes de Memoire Resistive pour les Systemes et Applications Neu-romorphiques
Elmasry Design Space Exploration for Analog Spiking Neural Networks Design Space-Exploration für analoge gepulste neuronale Netze

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210121

R150 Certificate of patent or registration of utility model

Ref document number: 6829260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250