JP2021503649A - 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム - Google Patents

人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム Download PDF

Info

Publication number
JP2021503649A
JP2021503649A JP2020526371A JP2020526371A JP2021503649A JP 2021503649 A JP2021503649 A JP 2021503649A JP 2020526371 A JP2020526371 A JP 2020526371A JP 2020526371 A JP2020526371 A JP 2020526371A JP 2021503649 A JP2021503649 A JP 2021503649A
Authority
JP
Japan
Prior art keywords
conductance
ann
neurons
pairs
synaptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020526371A
Other languages
English (en)
Other versions
JP2021503649A5 (ja
JP7139426B2 (ja
Inventor
バール、ジェフリー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2021503649A publication Critical patent/JP2021503649A/ja
Publication of JP2021503649A5 publication Critical patent/JP2021503649A5/ja
Application granted granted Critical
Publication of JP7139426B2 publication Critical patent/JP7139426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Semiconductor Memories (AREA)

Abstract

【課題】人工神経回路網用のシナプス重みを構築するための方法を提供。【解決手段】分散型コンピューティング・モデルは、ニューロンと呼ばれる多くの単純な処理ユニットで、シナプスと呼ばれるニューロン間の結合と、これらの結合の強度、シナプス重みとによってデータを用いて計算が遂行される。不揮発性メモリ素子のコンダクタンスを使用して、シナプス重みを記録し、そのデータにおいて、重要な複数の累積ステップが所定の位置で行われる。非線形性、飽和、確率性、およびプログラミング・パルスに反応した非対称性などのＮＶＭの反応における非理想性は、低下したネットワーク性能につながる。重要ではない符号付きアナログ・コンダクタンス対とより重要なアナログ・コンダクタンス対との間の重み情報の転送を受けて、重要度にバラツキのある複数のコンダクタンスにわたって分散されているシナプス重み内の重要ではない符号付きアナログ・コンダクタンス対の極性を周期的に反転させる。【選択図】図２

Description

本発明は、一般に、人工神経回路網（ＡＮＮ）の分野に関する。より詳細には、本発明は、低重要度のコンダクタンス対の極性が周期的に反転される、変動する重要度の符号付きアナログ・コンダクタンス対から人工神経回路網用のシナプス重みを構築するためのシステムおよび方法に関する。
人工神経回路網（ＡＮＮ）は、シナプスと呼ばれる結合点を通して相互に連絡するいくつかのニューロンから成る分散型コンピューティング・システムである。各シナプスは、１つのニューロンの出力と別のニューロンの入力との結合の強度を符号化する。各ニューロンの出力は、それに結合されている他のニューロンから受信した入力の集計によって、したがって、これらの「上流の」結合されたニューロンの出力と、シナプス重みによって決まる結合の強度とによって、決まってくる。特定の入力クラスが所望の出力をもたらすようにシナプスの重みを調整することにより、特定の問題（例えば、パターン認識）を解くように、ＡＮＮが訓練される。この重み調整手順は、「学習」として知られている。ＡＮＮの文献には、画像認識、音声認識、言語処理などの様々なタスクに適している学習を行う際の多くのアルゴリズムがある。理想的には、これらのアルゴリズムは、学習プロセス中、所与の問題の最適解へ向かって収束するシナプス重みパターンをもたらす。
ＡＮＮの魅力的な実装形態は、いくつかの（例えば、ＣＭＯＳ）回路を使用してニューロンを表現し、その機能は、特定のニューロンが結合されている上流ニューロンから総入力を統合または総計すること、および、入力のいくつかの非線形関数を適用して、そのニューロンの出力を得ることである。一般的に、それぞれのニューロンは他のニューロンのいくらかの大きな断片に結合されているので、シナプス（結合）の数はニューロンの数よりずっと大きい。したがって、神経形態学的コンピューティング・チップ上で超高密度を達成できるシナプスのいくつかの実装形態を使用するのが有利である。１つの魅力的な選択は、抵抗性ランダム・アクセス・メモリ（ＲＲＡＭ：Resistive Random Access Memory）または相変化メモリ（ＰＣＭ：Phase-Change Memory）などのいくつかの不揮発性メモリ（ＮＶＭ：Non-Volatile Memory）技術である。正および負（すなわち、興奮性および抑制性）の重みが望ましいので、１つのスキームは、一対のＮＶＭを使用して、２つの間のコンダクタンスにおける差として重みを表現する（M.Suri et.al.,“Phase Change Memory as Synapse for Ultra-Dense Neuromorphic System:Application to Complex Visual Pattern Extraction”,IEDM Technical Digest,4.4,2011を参照）。このスキームは図１に示される。上流Ｎｉニューロンの出力は、下流Ｍｉニューロンの正および負の入力に、一対のＮＶＭコンダクタンスを通して同時に総計される。この並列性は、効率的な計算に非常に有利である。
学習中、ＮＶＭ素子のコンダクタンスは、学習規則により、コンダクタンスを増やすか減らすかいずれかができるパルスをそれらに送信することによってプログラムされる。研究された１つの共通の学習規則は、逆伝播であり（Rumelhart et.al.,“Learning Internal Representations by Error Propagation”,Parallel Distributed Processing:Explorations in the Microstructure of Cognition,Vol1,1986を参照）、これは、ビデオ・ゲームなどをするのを学習する、画像認識のためのグラフィック処理ユニット（ＧＰＵ：Graphical Processing Unit）上に現在実装されている、深層学習ネットワークにおいて広範囲に使用されている。逆伝播アルゴリズムは、学習率として知られる比例定数ηと、上流ニューロンの出力χｉ、および下流ニューロンからの誤差寄与δｊの積に比例する、重み更新Δωｉｊ＝η・χｉ・δｊを要求する。この「クロスバー互換性」学習規則は、従来の逆伝播規則と同等に効果的であることが以前に示されていた（Burr et.al.,“Experimental demonstration and tolerancing of a large scale neural network(165,000synapses),using phase-change memory as the synaptic weight element”,IEDM Technical Digest,2014を参照）。
任意の実際のＮＶＭ素子は、非理想的反応を有する。それは、非線形であり、それが達成できる最大コンダクタンスを制限する。コンダクタンスを上げるように設計されたパルスに対するコンダクタンス変化は、コンダクタンスを下げるように設計されたパルスに対するコンダクタンス変化とは異なり、すなわち、その反応は非対称である。デバイス間にはバラツキがあり、いくつかのデバイスは作動不能となり、高コンダクタンス状態で止まるか低コンダクタンス状態で止まるかのいずれかとなる。これらの欠点の多くは、ＡＮＮ性能の極めて小さい低下を引き起こすことが本発明者らの研究によって示された。しかし、非線形性、有界コンダクタンス、および非対称性応答は、訓練中の９９＋％精度から、８０％〜８５％のいずれかまで、ＭＮＩＳＴ数字認識問題に対する精度の低下を引き起こす。
訓練中、多くの様々な入力は、ネットワークに提示され、逆伝播学習規則が、それぞれの訓練の後に（またはミニバッチと呼ばれる、わずかな入力の後に）ＮＶＭコンダクタンスを更新するのに使用される。ネットワークにおけるいくつかの重みは、いくつかの安定した値の方に着実に進展するが、他は上下に揺れ動く（dither）傾向があり、時には上がり、他の時には下がる。ＮＶＭ反応が非線形性または非対称性である場合、重み値を下げるように意図されたパルスに対する反応は、重みを上げるように意図された反応より強くなる。これは、多くのこれらの重みをゼロの方に向かわせる傾向があり、逆伝播学習規則を無効にし、ネットワーク性能を低下させる。
先行技術の研究は、２つのコンダクタンスに基づいた符号付きシナプス重みの導入である。しかし、相変化メモリ（ＰＣＭ）、フィラメント系ＲＲＡＭ（ＨｆＯｘまたはＴａＯｘを使用するなど）、または金属フィラメントに基づいた導電性ブリッジＲＡＭなどの、いくつかのＮＶＭデバイスに対して、小さなコンダクタンス変化は、１つの方向にのみ実施され得る。この直接的結果として、大きいシナプス重みは、極めて脆弱である傾向があり、より小さなコンダクタンス（重みの大きさを下げる）におけるステップにはよく反応するが、より大きなコンダクタンス（重みの大きさを上げる）におけるステップには不十分にしか反応しない。したがって、ネットワークが大きくしたい重みが、大きいままでいることが難しいので、ネットワーク性能は低下する。
ＵＳＰＴＯ第１５／６６０，９４５号
本発明の実施形態は、先行技術と先行発明の両方のシステムおよび方法にわたる改良である。本発明は、人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラムを、より詳細には、人工神経回路網における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減する方法、システム、およびプログラムを提供する。
一実施形態は、人工神経回路網における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減する方法である。ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮへその出力を確認しながらシリアルに入力され、この方法は、第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、シナプス重みの一部を転送することと、第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、シナプス重みの一部を転送することと、を含み、このＡＮＮにおける固定デバイス非対称性が、複数のこのような第１および第２の転送間隔にわたって打ち消される。
別の実施形態において、本発明は、人工神経回路網（ＡＮＮ）において実施される方法を提供し、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれが、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスのシナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じてシナプス重みを更新し、この方法は、（ａ）総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へシナプス重みの一部を周期的に転送することと、（ｂ）シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、低重要度のコンダクタンス対の極性を反転させることと、（ｃ）ネットワーク出力が所定の精度内で所望の出力に近づくまで、訓練例のシリアル入力を繰り返すことと、を含む。
また別の実施形態において、本発明は、人工神経回路網（ＡＮＮ）において実施される方法を提供し、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与（joint contribution）に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じてシナプス重みを更新し、この方法は、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、その元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含む。
別の実施形態において、本発明は、人工神経回路網（ＡＮＮ）において実施される方法を提供し、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じてシナプス重みを更新し、この方法は、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、その元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含み、ＡＮＮにおけるシナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、またコンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される。
一実施形態により、人工神経回路網（ＡＮＮ）において実施される方法が提供され、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じて、シナプス重みを更新し、この方法は、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含み、ＡＮＮにおけるシナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、またコンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される。
一実施形態により、人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減するシステムが提供され、ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮへその出力を確認しながらシリアルに入力され、システムは、第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、シナプス重みの一部を転送することと、第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している前記低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、前記シナプス重みの一部を転送することと、を含む方法を行うように動作可能であり、このＡＮＮにおける固定デバイス非対称性が、複数のこのような第１および第２の転送間隔にわたって打ち消される。
一実施形態により、人工神経回路網（ＡＮＮ）において実装されたシステムが提供され、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれが、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスのシナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じて、シナプス重みを更新し、このシステムは、総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へ、シナプス重みの一部を周期的に転送することと、シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、低重要度のコンダクタンス対の極性を反転させることと、ネットワーク出力が所定の精度内で所望の出力に近づくまで、訓練例のシリアル入力を繰り返すことと、を含む方法を行うように動作可能である。
一実施形態により、人工神経回路網（ＡＮＮ）において実装されたシステムが提供され、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じて、シナプス重みを更新し、このシステムは、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、その元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能である。
一実施形態により、人工神経回路網（ＡＮＮ）において実装されたシステムが提供され、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じて、シナプス重みを更新し、このシステムは、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能であり、ＡＮＮにおけるシナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、またコンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される。
本発明がコンピュータ・プログラムとして実施される可能性のあることが分かるであろう。
本開示は、１つまたは複数の様々な例により、以下の図を参照して詳細に記述される。図面は、例示のみを目的として提供されており、本開示の例を示しているにすぎない。これらの図面は、本開示の読者の理解を容易にするために提供され、本開示の幅、範囲、または適用性を限定するものとみなされるべきではない。説明を簡単で分かり易くするために、これらの図面は必ずしも正しい縮尺とは限らないことに留意されたい。
シナプス当たり１つのコンダクタンス対を有する先行技術のアレイを示す図である。 一実施形態による、１組の対のその読み取り電流が他に対してＦ倍増幅された、シナプス当たり２つ以上のコンダクタンス対を有するアレイを描写する図である。 一実施形態による、１組の対のその読み取り電流が他に対してＦ倍増幅され、そこでは、低重要度対の極性が反転されている、シナプス当たり２つ以上のコンダクタンス対を有するアレイを描写する図である。 一実施形態による、低重要度コンダクタンス対の極性を周期的に反転させる技法の利益を示す、シミュレーション結果を描写する図である。 一実施形態による、ニューロンＭ１と同じ列におけるシナプスの転送直後の状況を示す図であり、ニューロンＭ１は左側と共用しており、かつそのｇ値の極性がちょうど反転されており（正味の重みからｇを減じる）、一方ニューロンＭｍは、正味の重みに加えられたｇ値を持ち続けており、その右に位置するｇｓｈａｒｅｄデバイスと共用している。 一実施形態による、ｇ値がここでも反転されている、列Ｍｍの転送後の状況を示す図であり、ここでは、ｇｓｈａｒｅｄデバイスからの共用（shared）バイアス読み取り電流が、共用デバイスから、（最初の共用列を得ると同時に）初期値に最近リセットされた左側に送られている。
好適な実施形態の米国記載
本発明は好適な実施形態において説明かつ記述されるが、本発明は多くの様々な構成において作り出され得る。本発明の好ましい実施形態は、本開示が本発明の原理および関連するその構造に関する機能上の仕様を例示するものとみなされるべきであり、本発明が例示された実施形態に限定されることを意図するものでないことを理解した上で、図面に記載され、本明細書で詳細に説明される。当業者であれば、本発明の範囲内で多くの他の考えられ得る変形形態を想到するであろう。
ここで記述された本発明は、それぞれが重要度にバラツキがある、複数のコンダクタンス対にわたるシナプス重みを分散させることによって、コンダクタンス応答において非線形性および非対称性の影響を低減するための技法の先の開示に基づいている。それぞれの対は、通常通り、興奮性コンダクタンスＧ＋と抑制性コンダクタンスＧ−との間の差を通してシナプス重みに寄与する。しかし、それぞれの対の寄与は、それらの対が合計されるビット線の端において実装された増幅率において相違する。例ごとのプログラミングが、様々な態様で実装され得る（１つ明らかなことにおいて、最低重要度のコンダクタンス対が、ネットワーク訓練中に更新される）。ほとんどの重み値は通常、より重要度の高いコンダクタンス対に含まれるので、より重要度の低いコンダクタンス対のうちの１つまたは複数は、読み取りトランジスタのゲートに紐付けされたコンデンサなどの、揮発性アナログ・メモリ素子から構成され得る。この場合、コンデンサへの電荷を追加または差し引くことにより、読み取りトランジスタのゲート電圧、延いては、その実効コンダクタンスが
ことができる、コンダクタンス値の場合、それぞれのコンダクタンス対におけるコンダクタンスの１つは、すべての個々のシナプス・プログラミングが非共用コンダクタンスを調整することによって起こる状態で、多くの様々なシナプスにわたって共用され得る。
出願者の先の発明（ＵＳＰＴＯ第１５／６６０，９４５号（参照：ＡＲＣ９２０１６００３１ＵＳ１）、このコピーはファイル上にある）において、より重要度の低い符号付きアナログ・コンダクタンス対からより重要度の高いアナログ・コンダクタンス対への重み転送を実装する、重要度を変える複数のコンダクタンスにわたってシナプス重みを分散させることによって性能を向上させる方法が導入された。図２は、１組の対のその読み取り電流が他に対してＦ倍増幅された、シナプス当たり２つ以上のコンダクタンス対を有する、先に開示されたアレイ（すなわち、ＵＳＰＴＯ第１５／６６０，９４５号に開示される）を示す。この図において、それぞれのシナプス重みは、２つのコンダクタンス対から成る。第１の対は、第２の対に対してＦのゲイン係数でアレイの底で、その下流ニューロンの合計電流に寄与する。このことは、第２の対における大きなコンダクタンス差は、総シナプス重みに対して、第１の対における小さなコンダクタンス差と同じ寄与を有することを意味する。したがって、この技法は、総シナプスの全ダイナミック・レンジを増加させ、また、累積したシナプス重み変化が第１のコンダクタンス対に時折慎重に転送される状態で、より線形で対称なコンダクタンス変化を示す、高速であるが揮発性のアナログ・メモリ素子が、ＡＮＮの例ごとのプログラミングに対する、第２または低重要度のコンダクタンス対として使用されることを可能にする。これは、ここには同じ総シナプス重みを正確に表す複数のコンダクタンスの複数のアナログ構成があるので、デジタル・ワードの有効ビットに多かれ少なかれ直接一致しないことに注意されたい。同様に、低重要度から高重要度のコンダクタンス対への転送演算は、デジタル加算器においてデジタル「キャリー」演算と同じではなく、総シナプス重みへのアナログ構成のマッピングにおける冗長性のために、必要に応じて遅延され得る。図は２つのコンダクタンス対を示しているが、３つ以上の対への拡張が可能である。
大きなシナプス重みが展開された場合、この情報は、低重要度のコンダクタンス対における大きなコンダクタンス差から、次に重要度の高いコンダクタンス対における小さな（したがって、より簡単に維持される）コンダクタンス差に転送される。より重要度の高いコンダクタンス対は低い頻度で更新されるので、この大きなシナプス重みは、コンダクタンスの非線形性および非対称性を通して失われることからより良く保護されるが、ネットワークは、そうすることを選択する場合、依然としてこの重みを軽減することもできる。ある程度まで、ネットワークは、高重要度のコンダクタンス対にこの重みを「積み上げ」ている。
しかし、ネットワークが、重み減少とほとんど同じ回数だけ重み増加を要求し、これらの反対符号の寄与を正確に取り消させるように、低重要度のコンダクタンス対の重み更新ができるだけ対称であることは依然として極めて重要である。非対称性の主な原因は２つある。すなわち、コンダクタンス応答（通常、その後に飽和する急激な応答）における非線形性、および固定デバイスの非対称性（１つのデバイスは、他の対になったコンダクタンスよりも、コンダクタンスを変えることについて単に常に強力であるかまたはより効果的である）である。
より線形なコンダクタンス更新のための１つの選択肢は、ＣＭＯＳベースの揮発性コンダクタンス、つまりコンデンサに関連付けられたそのゲートを有するトランジスタを使用することである。トランジスタの対を使用して、電荷は、極めて線形にコンデンサに加算および減算され得る。しかし、固有のＣＭＯＳ製作の可変性により、（充電／放電トランジスタのこの対の両部材を含んでいる）ウェーハー上のそれぞれのトランジスタは、閾値電圧、延いては、それらのコンデンサに加えられるかまたは差し引かれる充電量を変化させる。これは、コンダクタンス増加のサイズとコンダクタンス減少のサイズとの間に強力に固定された非対称性を再導入する可能性がある。同様に、相変化メモリ（ＰＣＭ）デバイスまたは他のタイプの不揮発性メモリ（ＮＶＭ）デバイスは、所与の部分ＳＥＴパルスの反復印加が誘発される、最大飽和コンダクタンスにおける差のために、固定された非対称性も示す可能性がある。
したがって、固定デバイス非対称性によって導入されたコンダクタンス更新の非対称性を抑える技法が当技術分野において必要とされる。
「バラツキのある重要度の複数のコンダクタンス」を使用する場合の訓練中、低重要度コンダクタンスｇ（ｇｓｈａｒｅｄからのその基準電流に関して）のみは、重み転送が行われるまで更新される。チップ実装形態において、転送は一度に１つの列で行われる。重み転送を開始する前、デバイスの列全体の現在の重みは、Ｆ×（Ｇ＋−Ｇ−）＋（ｇ−ｇｓｈａｒｅｄ）であり、ここで、Ｆは約２〜５の小さなゲイン係数である。現在の重み値は、ｇとｇｓｈａｒｅｄの両方がそれらの初期状態にリセットされた後に、（列全体用の）周辺回路に記録されることになり、こうして、アレイ上に格納された重みを変える。例えばＰＣＭを実装した、不揮発性高重要度のコンダクタンス対（Ｇ＋−Ｇ−）のバラツキおよび非線形応答は、アレイ上に格納された重みが所望のターゲット値（周辺回路に一時的に保存された値と比較することによって）に返るように、閉ループ重みチューニングによって補償され得る。
重み情報が、ｇ−ｇｓｈａｒｅｄコンダクタンス対からＧ＋−Ｇ−ＰＣＭ対まで転送されると、任意の残余の重みチューニング誤差は、重み総数が、周辺回路に初めに記録されていた値に再び一致するまで、ｇコンダクタンスをプログラミングすることによって対処され得る。その時点では、周辺回路に一時的に保持されていた、現在の重み値は処分される。
しかし、問題が３Ｔ１Ｃデバイス（例えば、ＵＳＰＴＯ第１５／６６０，９４５号の図６を参照）に残っており、そのデバイスのＰＦＥＴは、この固定非対称性のために、転送間隔が終わる度に、重み増加が報告されることがある、そのＮＦＥＴより効果的である。すべての重みが、ｇ−ｇｓｈａｒｅｄコンダクタンス対から転送されたので、このコンダクタンス対の有効な極性は、次の転送間隔中に反転される。図３は、１組の対のその読み取り電流が他に対してＦ倍増幅された状態で、シナプス当たり２つ以上のコンダクタンス対を有するアレイを描写し、その図において、低重要度対の極性が反転されている。これは、（前向き推論と逆伝播の両方に対して）デバイス電流を読み取る間には方程式Ｆ×（Ｇ＋−Ｇ−）−（ｇ−ｇｓｈａｒｅｄ）を使用し、重みを減らすときには電荷を加えるようにＰＦＥＴを使用し、かつ、重みを増やすときには電荷を減らすようにＮＦＥＴを使用することを意味する。極性反転は、ｇおよびｇｓｈａｒｅｄが同じ電圧にリセットされ、ｇの値を調節することによってＧ＋−Ｇ−の値における任意の残余の重みチューニング誤差を修正することを開始する前の瞬間に起こらなければならない。このｇに対する調節は、このデバイス上で次の重み転送演算までずっと、すべての相互作用のためのこのデバイスに対して使用されることになる、極性の新しい値で行われなければならない。基準デバイスの共用によってもたらされるさらなる厄介な問題があるが、これらも対処され得る。
それぞれの転送間隔の後、ｇ−ｇｓｈａｒｅｄのために使用された極性は、後続の訓練サイクルの間中、反転される。その結果として、固定デバイス非対称性によって誘発される、重みへの不要な寄与は、複数の転送間隔にわたって打ち消される傾向にある。図４は、この極性反転技法（２０個のエポックに延びる、上の実線および点線グラフ）は、ＳＰＩＣＥ回路シミュレーションによってモデル化されるような、ＣＭＯＳトランジスタの予測される可変性を含む、シミュレーション条件の下で性能を著しく向上させる。極性反転なしで、不一致ＣＭＯＳデバイスに起因する、電荷加算と電荷減算との間の固定非対称性は、訓練精度を著しく低下させる。しかし、それぞれの重み転送演算に対する極性を反転させることによって、訓練精度は高く、非常に不完全なデバイスの存在にもかかわらず、純粋なソフトウェア・ベースの訓練の予測に一致する。
極性ビットは、どの電流が前向き推論に結合されているか、どのデバイスが逆読みに対して起動されるか、および、２つのトランジスタのうちのどちらがコンデンサに電荷を加える／差し引くように起動されるかを、どのように制御するのかを下流ニューロンが知るように、アレイの列の端に格納されなければならない。したがって、転送演算は、列単位で行われる必要があり、列の端（Ｓ側かＮ側のいずれか）におけるこの極性ビットは、前に進むこの列に対して、電流極性反転を記録するように反転される。
したがって、唯一の付加的な詳細は、ｇｓｈａｒｅｄをどのように巧みに処理するかである。１つの手法は、極性ビットを使用して、列−ニューロンが、共用デバイスに対するｇからの流入電流を、左側（より小さい列番号）と比較するべきか、または右側（より大きい列番号）と比較すべきかを信号で知らせることである。この考え方としては、列が、ｇデバイスのその専用の列とどのように相互に作用するかにおいて、その極性を反転させることを選ぶと同時に、列が、すでに初期条件に最近リセットされているｇｓｈａｒｅｄデバイスと共用することも始める、ということである。これは、転送に向けて列を扱うのに左から右へ移動するとき、極性ビットの反転が、それまでは右側と共用していたことから、今度は左側と共用することに変わる必要があることを意味する。これはまた、アレイにわたる転送事象の次の列方向の掃引が、今度は、右から左の反対方向において起こり、極性ビットが元の値に入れ替わると同時に、「左側と共用」から今度は「右側と共用」の変更を誘引する必要があることも意味する。図５は、ニューロンＭ１と同じ列におけるシナプスの転送直後の状況を示しており、ニューロンＭ１は左側と共用しており、かつそのｇ値がちょうど反転されている（正味の重みからｇを減じる）。一方、ニューロンＭｍは、正味の重みに加えられたｇ値を持ち続けており、その右に位置するｇｓｈａｒｅｄデバイスと共用している。図６は、ｇ値がここでも反転されている、列Ｍｍの転送後の状況を示しており、ここでは、ｇｓｈａｒｅｄデバイスからの共用バイアス読み取り電流が、共用デバイスから、（最初の共用列を得ると同時に）初期値に最近リセットされた左側に送られている。
同じ列において２つの連続する転送を行う（例えば、左から右への掃引が終了し、右から左の同じデバイスの即座の掃引がそれに続くのにつれて）ことを避けるために、四文区間ベースまたは、区間ベースの手法があり得る。ここでは、ある集合、例えば３２列集合が、左から右、列１から列３２に掃引され、正から負の極性に反転される。次の掃引は、右から左、列６４から列３３に下がり、ここで元の負から正の極性に反転される。その後、３２から１に掃引し、次に３３から６４まで掃引することができ、それにより、この区間を、それらが当初持っていたのと同じ極性に戻す。区間サイズと区間数との様々な組合せを使用して、各転送間隔の長さをできる限り等しくしようとしてよい。
一実施形態において、本発明は、人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減する方法を提供し、ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮへその出力を確認しながらシリアルに入力され、そこでは、第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、シナプス重みの一部を転送することと、第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、シナプス重みの一部を転送することと、を含み、このＡＮＮにおける固定デバイス非対称性が、複数のこのような第１および第２の転送間隔にわたって打ち消される。
別の実施形態において、本発明は、人工神経回路網（ＡＮＮ）において実施される方法を提供し、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれが、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスのシナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例がＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力とその所与の層からの所望の出力との間の差に応じて、シナプス重みを更新し、この方法は、（ａ）総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へシナプス重みの一部を周期的に転送することと、（ｂ）シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、低重要度のコンダクタンス対の極性を反転させることと、（ｃ）ネットワーク出力が所定の精度内で所望の出力に近づくまで、訓練例のシリアル入力を繰り返すことと、を含む。
また別の実施形態において、本発明は、人工神経回路網（ＡＮＮ）において実施される方法を提供し、ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、シナプスのそれぞれの重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例がＡＮＮに所与の層からのその出力を確認しながらシリアルに入力され、この方法は、（ａ）ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、（ｃ）低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、その元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、（ｄ）後続の訓練作業に向けて、低重要度のコンダクタンス対の極性を反転させることと、を含む。
結論
重要度にバラツキのある符号付きアナログ・コンダクタンス対から構築された人工神経回路網に対し、シナプス重み内で、低重要度コンダクタンス対の極性を周期的に反転させるためのシステムおよび方法の有効な実施に関して、上記の実施形態において、システムおよび方法を示した。様々な好適な実施形態を示し、説明したが、本発明をこのような開示によって限定する意図はなく、むしろ、添付の特許請求の範囲に定められているような、本発明の思想および範囲に入るすべての変更形態に及ぶことを意図していることが理解されるであろう。

Claims (33)

  1. 人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減する方法であって、前記ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮへその出力を確認しながらシリアルに入力され、前記方法は、
    第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、前記シナプス重みの一部を転送することと、
    前記第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している前記低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、前記シナプス重みの一部を転送することと、を含み、
    このＡＮＮにおける固定デバイス非対称性が、複数の前記第１および第２の転送間隔にわたって打ち消される、方法。
  2. 前記ＡＮＮにおけるニューロンがＣＭＯＳ回路を用いて実装される、請求項１に記載の方法。
  3. 各シナプスの前記シナプス重みが、アナログ・メモリ素子を使用して実装される、請求項１に記載の方法。
  4. 前記アナログ・メモリ素子が、不揮発性メモリ（ＮＶＭ）である、請求項３に記載の方法。
  5. 前記ＮＶＭが、相変化メモリ、抵抗性ランダム・アクセス・メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項４に記載の方法。
  6. 人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスの前記シナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
    総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へ前記シナプス重みの一部を周期的に転送することと、
    シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、前記低重要度のコンダクタンス対の極性を反転させることと、
    ネットワーク出力が所定の精度で前記所望の出力に近づくまで、前記訓練例の前記シリアル入力を繰り返すことと、を含む、方法。
  7. 前記ニューロンが、ＣＭＯＳ回路を用いて実装される、請求項６に記載の方法。
  8. 前記ＡＮＮにおける前記シナプス重みが、アナログ・メモリ素子を使用して実装される、請求項６に記載の方法。
  9. 前記アナログ・メモリ素子が、不揮発性メモリ（ＮＶＭ）である、請求項８に記載の方法。
  10. 前記ＮＶＭが、相変化メモリ、抵抗性ランダム・アクセス・メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項９に記載の方法。
  11. 前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される、請求項６に記載の方法。
  12. 前記ＡＮＮが、パターン認識アプリケーション、画像認識アプリケーション、音声認識アプリケーション、および言語処理アプリケーションから成る群から選択される、請求項６に記載の方法。
  13. 前記低重要度のコンダクタンス対の前記極性が、前記低重要度のコンダクタンス対において、２つのコンダクタンスの役割を入れ替えることによって反転される、請求項６に記載の方法。
  14. 前記低重要度のコンダクタンス対における前記２つのコンダクタンスのうちの１つが、第１の共用コンダクタンスから第２の共用コンダクタンスへ再構成される、請求項１３に記載の方法。
  15. 人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
    （ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって、各シナプスに対して元のシナプス重みを計算することと、
    （ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
    （ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、前記元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
    （ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む、方法。
  16. 前記ニューロンが、ＣＭＯＳ回路を用いて実装される、請求項１５に記載の方法。
  17. 前記ＡＮＮにおける前記シナプス重みが、不揮発性メモリ（ＮＶＭ）を使用して実装される、請求項１５に記載の方法。
  18. 前記ＮＶＭが、相変化メモリ、抵抗性ランダム・アクセス・メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項１７に記載の方法。
  19. 前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされた前記コンデンサを使用して実装される、請求項１５に記載の方法。
  20. 前記ＡＮＮが、パターン認識アプリケーション、画像認識アプリケーション、音声認識アプリケーション、および言語処理アプリケーションから成る群から選択されるアプリケーションの一部として使用される、請求項１５に記載の方法。
  21. 前記低重要度のコンダクタンス対の前記極性が、前記低重要度のコンダクタンス対において、その２つのコンダクタンスの役割を入れ替えることによって反転される、請求項１５に記載の方法。
  22. 前記低重要度のコンダクタンス対における前記２つのコンダクタンスのうちの１つが、第１の共用コンダクタンスから第２の共用コンダクタンスへ再構成される、請求項２１に記載の方法。
  23. 人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
    （ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、
    （ｂ）所与のコンダクタンスにおいて、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
    （ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
    （ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含み、
    前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされた前記コンデンサを使用して実装される、方法。
  24. 前記ニューロンが、ＣＭＯＳ回路を用いて実装される、請求項２３に記載の方法。
  25. 前記ＡＮＮにおける前記シナプス重みが、不揮発性メモリ（ＮＶＭ）を使用して実装される、請求項２３に記載の方法。
  26. 前記ＮＶＭが、相変化メモリ、抵抗性ランダム・アクセス・メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項２５に記載の方法。
  27. 前記低重要度のコンダクタンス対の前記極性が、前記低重要度のコンダクタンス対において、その２つのコンダクタンスの役割を入れ替えることによって反転される、請求項２３に記載の方法。
  28. 前記低重要度のコンダクタンス対における前記２つのコンダクタンスのうちの１つが、第１の共用コンダクタンスから第２の共用コンダクタンスへ再構成される、請求項２７に記載の方法。
  29. 人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減するシステムであって、前記ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮへその出力を確認しながらシリアルに入力され、前記システムは、
    第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、前記シナプス重みの一部を転送することと、
    前記第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している前記低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、前記シナプス重みの一部を転送することと、を含む方法を行うように動作可能であり、
    このＡＮＮにおける固定デバイス非対称性が、複数の前記第１および第２の転送間隔にわたって打ち消される、システム。
  30. 人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスの前記シナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記システムは、
    総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へ前記シナプス重みの一部を周期的に転送することと、
    シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、前記低重要度のコンダクタンス対の極性を反転させることと、
    前記ネットワーク出力が所定の精度内で前記所望の出力に近づくまで、前記訓練例の前記シリアル入力を繰り返すことと、を含む方法を行うように動作可能である、システム。
  31. 人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、方法であって、
    （ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、
    （ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
    （ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、前記元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
    （ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能である、システム。
  32. 人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記システムは、
    （ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、
    （ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
    （ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
    （ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能であり、
    前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される、システム。
  33. コンピュータ・プログラムであって、前記プログラムがコンピュータ上で実行されると請求項１ないし２８のいずれかに記載の方法を行うように適合されたプログラムコード手段を含む、コンピュータ・プログラム。
JP2020526371A 2017-11-20 2018-11-19 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム Active JP7139426B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/818,521 US11074499B2 (en) 2017-11-20 2017-11-20 Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
US15/818,521 2017-11-20
PCT/IB2018/059102 WO2019097494A1 (en) 2017-11-20 2018-11-19 Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries

Publications (3)

Publication Number Publication Date
JP2021503649A true JP2021503649A (ja) 2021-02-12
JP2021503649A5 JP2021503649A5 (ja) 2021-03-25
JP7139426B2 JP7139426B2 (ja) 2022-09-20

Family

ID=66533047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020526371A Active JP7139426B2 (ja) 2017-11-20 2018-11-19 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム

Country Status (6)

Country Link
US (2) US11074499B2 (ja)
JP (1) JP7139426B2 (ja)
CN (1) CN111373414B (ja)
DE (1) DE112018004992B4 (ja)
GB (1) GB2581310B (ja)
WO (1) WO2019097494A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007690A (ko) * 2021-07-06 2023-01-13 고려대학교 산학협력단 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11074499B2 (en) 2017-11-20 2021-07-27 International Business Machines Corporation Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
CN111602149B (zh) * 2018-01-30 2024-04-02 D5Ai有限责任公司 自组织偏序网络
US11694065B2 (en) 2019-08-28 2023-07-04 Micron Technology, Inc. Spiking neural unit
US11183238B2 (en) 2019-08-28 2021-11-23 International Business Machines Corporation Suppressing outlier drift coefficients while programming phase change memory synapses
US12052260B2 (en) 2019-09-30 2024-07-30 International Business Machines Corporation Scalable and dynamic transfer learning mechanism
KR20210075542A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
US11475946B2 (en) 2020-01-16 2022-10-18 International Business Machines Corporation Synapse weight update compensation
US11908458B2 (en) * 2020-12-29 2024-02-20 International Business Machines Corporation Customization of recurrent neural network transducers for speech recognition
US20220405554A1 (en) * 2021-06-17 2022-12-22 International Business Machines Corporation Calibrating peripheral variability

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013108299A (ja) * 2011-11-22 2013-06-06 San & Shii Consultant Kk 地震時液状化防止地盤改良工法
JP2013534677A (ja) * 2010-07-07 2013-09-05 クゥアルコム・インコーポレイテッド 生物規範型ネットワークのための伝達及びシナプス訓練方法及びハードウェア
US9715656B1 (en) * 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
JP2020528611A (ja) * 2017-07-26 2020-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks
DE69518326T2 (de) 1995-10-13 2001-01-18 Stmicroelectronics S.R.L., Agrate Brianza Niederspannungsneuronalnetzwerk mit sehr niedrigem Leistungsverbrauch
CN101364594B (zh) * 2007-08-09 2010-06-02 中国科学院半导体研究所 硅基单电子神经元量子电路
US7814038B1 (en) 2007-12-06 2010-10-12 Dominic John Repici Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks
WO2010133925A1 (en) 2009-05-20 2010-11-25 Universite Paris Sud (Paris 11) Teaching method for a neuronal nano- block
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
US8676734B2 (en) 2010-07-07 2014-03-18 Qualcomm, Incorporated Methods and systems for replaceable synaptic weight storage in neuro-processors
US8694452B2 (en) 2010-07-07 2014-04-08 Qualcomm Incorporated Methods and systems for CMOS implementation of neuron synapse
US8655813B2 (en) 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
US8832010B2 (en) 2012-01-04 2014-09-09 International Business Machines Corporation Electronic synapses from stochastic binary memory devices
CN103430186A (zh) 2012-01-20 2013-12-04 松下电器产业株式会社 神经网络电路的学习方法
US20160364643A1 (en) 2012-03-08 2016-12-15 Hrl Laboratories Llc Scalable integrated circuit with synaptic electronics and cmos integrated memristors
US20150120631A1 (en) 2012-05-10 2015-04-30 Consejo Superior de Investagaciones Cientificas (CSIC) Method and System for Converting Pulsed-Processing Neural Network with Instantaneous Integration Synapses into Dynamic Integration Synapses
GB201209174D0 (en) 2012-05-25 2012-07-04 Univ Bath Neural network
US8811060B2 (en) 2012-05-31 2014-08-19 International Business Machines Corporation Non-volatile memory crosspoint repair
US9424514B2 (en) 2012-07-25 2016-08-23 Board Of Trustees Of Michigan State University Synapse maintenance in the developmental networks
US9218564B2 (en) 2012-07-30 2015-12-22 International Business Machines Corporation Providing transposable access to a synapse array using a recursive array layout
US20150019468A1 (en) 2013-07-09 2015-01-15 Knowmtech, Llc Thermodynamic computing
US9753959B2 (en) 2013-10-16 2017-09-05 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network with visualization of neural pathways
CN203661036U (zh) * 2013-12-20 2014-06-18 浙江大学城市学院 一种基于浮栅技术的二值动态BiCMOS与门电路
US9619749B2 (en) 2014-03-06 2017-04-11 Progress, Inc. Neural network and method of neural network training
US9990580B2 (en) 2015-03-13 2018-06-05 International Business Machines Corporation Neuromorphic synapses
US10460237B2 (en) * 2015-11-30 2019-10-29 International Business Machines Corporation Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption
US10891543B2 (en) 2015-12-28 2021-01-12 Samsung Electronics Co., Ltd. LUT based synapse weight update scheme in STDP neuromorphic systems
US10614355B2 (en) 2015-12-30 2020-04-07 SK Hynix Inc. Method for updating weights of synapses of a neuromorphic device
US11074499B2 (en) 2017-11-20 2021-07-27 International Business Machines Corporation Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013534677A (ja) * 2010-07-07 2013-09-05 クゥアルコム・インコーポレイテッド 生物規範型ネットワークのための伝達及びシナプス訓練方法及びハードウェア
JP2013108299A (ja) * 2011-11-22 2013-06-06 San & Shii Consultant Kk 地震時液状化防止地盤改良工法
US9715656B1 (en) * 2016-09-12 2017-07-25 International Business Machines Corporation Killing asymmetric resistive processing units for neural network training
JP2020528611A (ja) * 2017-07-26 2020-09-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230007690A (ko) * 2021-07-06 2023-01-13 고려대학교 산학협력단 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로
KR102574156B1 (ko) 2021-07-06 2023-09-01 고려대학교 산학협력단 역전파와 음수 가중치 설정이 가능한 뉴로모픽 회로

Also Published As

Publication number Publication date
GB2581310B (en) 2020-12-09
US11915132B2 (en) 2024-02-27
WO2019097494A1 (en) 2019-05-23
DE112018004992T5 (de) 2020-06-10
GB2581310A (en) 2020-08-12
CN111373414A (zh) 2020-07-03
US20210287090A1 (en) 2021-09-16
DE112018004992B4 (de) 2023-11-02
JP7139426B2 (ja) 2022-09-20
US20190156194A1 (en) 2019-05-23
CN111373414B (zh) 2023-08-25
GB202008959D0 (en) 2020-07-29
US11074499B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
JP2021503649A (ja) 人工神経回路網用のシナプス重みを構築するための方法、システム、およびプログラム
US11842770B2 (en) Circuit methodology for highly linear and symmetric resistive processing unit
US11361215B2 (en) Neural network circuits having non-volatile synapse arrays
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
JP7095069B2 (ja) 異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法
US11157810B2 (en) Resistive processing unit architecture with separate weight update and inference circuitry
WO2018158680A1 (en) Resistive processing unit with hysteretic updates for neural network training
JP2021507349A (ja) 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法
US10340002B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
US10831860B2 (en) Alignment techniques to match symmetry point as zero-weight point in analog crosspoint arrays
US20200293855A1 (en) Training of artificial neural networks
Fumarola et al. Accelerating machine learning with non-volatile memory: Exploring device and circuit tradeoffs
US20200349440A1 (en) DNN Training with Asymmetric RPU Devices
US20190147328A1 (en) Competitive machine learning accuracy on neuromorphic arrays with non-ideal non-volatile memory devices
US11610101B2 (en) Formation failure resilient neuromorphic device
Yang et al. On learning with nonlinear memristor-based neural network and its replication
US20220101142A1 (en) Neural network accelerators resilient to conductance drift
Youn et al. Threshold learning algorithm for memristive neural network with binary switching behavior
US11514981B1 (en) Programming devices and weights in hardware
CN116128035A (zh) 训练方法及装置、电子设备和计算机存储介质
JPH03214373A (ja) ニューロコンピュータ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220502

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R150 Certificate of patent or registration of utility model

Ref document number: 7139426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150