JP2021082130A - 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法 - Google Patents

電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法 Download PDF

Info

Publication number
JP2021082130A
JP2021082130A JP2019210549A JP2019210549A JP2021082130A JP 2021082130 A JP2021082130 A JP 2021082130A JP 2019210549 A JP2019210549 A JP 2019210549A JP 2019210549 A JP2019210549 A JP 2019210549A JP 2021082130 A JP2021082130 A JP 2021082130A
Authority
JP
Japan
Prior art keywords
current
electrode
neural network
electronic circuit
quantum dot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2019210549A
Other languages
English (en)
Inventor
剛 新海
Go Shinkai
剛 新海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019210549A priority Critical patent/JP2021082130A/ja
Priority to US17/092,439 priority patent/US20210158159A1/en
Publication of JP2021082130A publication Critical patent/JP2021082130A/ja
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B82—NANOTECHNOLOGY
    • B82Y—SPECIFIC USES OR APPLICATIONS OF NANOSTRUCTURES; MEASUREMENT OR ANALYSIS OF NANOSTRUCTURES; MANUFACTURE OR TREATMENT OF NANOSTRUCTURES
    • B82Y10/00—Nanotechnology for information processing, storage or transmission, e.g. quantum computing or single electron logic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/02—Semiconductor bodies ; Multistep manufacturing processes therefor
    • H01L29/06—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions
    • H01L29/0657—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape of the body
    • H01L29/0665—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by their shape; characterised by the shapes, relative sizes, or dispositions of the semiconductor regions ; characterised by the concentration or distribution of impurities within semiconductor regions characterised by the shape of the body the shape of the body defining a nanostructure
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/02—Semiconductor bodies ; Multistep manufacturing processes therefor
    • H01L29/12—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by the materials of which they are formed
    • H01L29/20—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by the materials of which they are formed including, apart from doping materials or other impurities, only AIIIBV compounds
    • H01L29/201—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by the materials of which they are formed including, apart from doping materials or other impurities, only AIIIBV compounds including two or more compounds, e.g. alloys
    • H01L29/205—Semiconductor bodies ; Multistep manufacturing processes therefor characterised by the materials of which they are formed including, apart from doping materials or other impurities, only AIIIBV compounds including two or more compounds, e.g. alloys in different semiconductor regions, e.g. heterojunctions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L29/00—Semiconductor devices adapted for rectifying, amplifying, oscillating or switching, or capacitors or resistors with at least one potential-jump barrier or surface barrier, e.g. PN junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof  ; Multistep manufacturing processes therefor
    • H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
    • H01L29/66977—Quantum effect devices, e.g. using quantum reflection, diffraction or interference effects, i.e. Bragg- or Aharonov-Bohm effects

Abstract

【課題】迅速にニューラルネットワークの最適パラメータを知ること。【解決手段】量子ドット，静電容量部，電流部，電流調整部を備える電子回路である。この回路では，量子ドットは第１の電極，第２の電極，および第３の電極を備え，第１の電極は第１の電位に接続され，第２の電極は第１の電流源に接続され，第３の電極は第２の電流源に接続される。電流部は，第２の電極から電流を排出，あるいは，第２の電極へ電流を供給する役割を持ち，電流調整部は，電流部の電流を調整し，該電流の調整に用いるパラメータを出力する。【選択図】図３

Description

本発明は，人工知能あるいはその機械学習技術に関する。
人工知能は，ニューラルネットワークと呼ばれる数学モデルに基づいて，コンピュータに処理やロボットに動作をさせる技術である。あたかも人間が行うような処理や動作を行わせることで注目を集めている。人工知能にそのような処理や動作を行わせるためには，人工ニューラルネットワーク内部のパラメータ（重みとも呼ばれる）を処理や動作に応じて適切に調整しなければならない。
コンピュータやロボットにさせたい処理や動作が複雑になるほど，より複雑な人工ニューラルネットワークが必要になり，これに伴って調整すべきパラメータの数も増える。パラメータの最適値を数値的に求めるのに要する時間は，パラメータの数に対して指数関数的に増加するため，より短い時間で最適なパラメータを求められることが人工知能の発展にとって重要な課題の１つになっている。
この課題を克服する手段として，最適値探索アルゴリズムの改良やGPU（Graphics Processing Unit）をベースにした専用ハードウェアの開発などがされている。しかし，各パラメータについての逐次改善法である以上，最適値を求めるためには計算時間の増大を招く繰り返し試行が避けられない。
そこで，全てのパラメータの同時改善法も提案されている。例えば，流れた電流量を記憶する電気抵抗素子であるメモリスタを含む電子回路を利用した方式が挙げられる（特許文献１，特許文献２，非特許文献１）。
特開2018−521397号公報 US 2015/0278682 A1
X. Wu, et al. "A CMOS Spiking Neuron for Brain-Inspired Neural Networks with Resistive Synapses and In-Situ Learning", IEEE Transactions on Circuits and Systems II: Express Briefs, 62(11), 1088-1092 (2015).
特許文献１，特許文献２，非特許文献１の方式は，入力値とその時のあるべき出力値をそれぞれパルス信号として回路に与えると，与えた電流に応じてメモリスタの抵抗値が変化してゆく。最終的なメモリスタの抵抗値を測定することで最適なパラメータを知ることができる仕組みである。しかし，メモリスタとして働くことが知られている材料の中でこうしたコンセプトを実用化できるほどの抵抗変化が大きなものを見つけることは難しい。
そこで，他のアプローチにより，迅速にニューラルネットワークの最適パラメータを知ることができる手法が望まれる。
本発明の好ましい一側面は，量子ドット，静電容量部，電流部，電流調整部を備える電子回路である。この回路では，量子ドットは第１の電極，第２の電極，および第３の電極を備え，第１の電極は第１の電位に接続され，第２の電極は第１の電流源に接続され，第３の電極は第２の電流源に接続される。電流部は，第２の電極から電流を排出，あるいは，第２の電極へ電流を供給する役割を持ち，電流調整部は，電流部の電流を調整し，該電流の調整に用いるパラメータを出力する。
より具体的な構成では，第１の電位から量子ドットを介して第１の電極と第２の電極に電子あるいはホールを安定して流し，量子ドットと第２の電極の間に流れる電子あるいはホールの電流量と，量子ドットと前記第３の電極の間に流れる電子あるいはホールの電流量とが，非線形の関係にある。
より具体的な構成では，電流調整部は，電流部の電流量をIw，第１の電流源の電流値をix1〜ixn，パラメータをw1〜wnおよびbとしたとき、Iw＝w1ix1＋w2ix2＋…＋wnixn＋bの関係式によって電流部の電流量を定める。
本発明の他の好ましい一側面は，前述の電子回路を複数多段接続して，多層的ネットワーク構成としたニューラルネットワークである。
本発明の他の好ましい一側面は，前述のニューラルネットワークの学習方法であって，電子回路のそれぞれについて，第1の電流源に教師データの問題に対応する電流値を供給する第１のステップ，第２の電流源に教師データの解答に対応する電流値を供給する第２のステップ，パラメータを出力する第３のステップ，パラメータを記録する第４のステップ，を実行する。
迅速にニューラルネットワークの最適パラメータを知ることができる。
実施例の学習システムの全体を表したブロック図。 電子回路１０４の内部を表したブロック図。 要素コンポーネント２０４の内部構成を表したブロック図。 変数調整部３０８の内部処理を表したブロック図。 変数調整部３０８の他の内部処理を表したブロック図。 電流制御部３０９の内部の仕組みを表したブロック図。 電圧制御部３１１の内部の仕組みを表したブロック図。 入力側電圧viの決定に関与するパラメータを示す概念図。 実施例における学習のフローを表した流れ図。 実施例２における電子回路１０４の内部を表したブロック図。 電流部２０２〜２０３に流す電流の時間変化の例を示したグラフ図。 電子回路１０４が出力する重みとバイアスの時間変化の例のグラフ図。 ４つの要素コンポーネント２０４で構成されるニューラルネットワークの機能を示した模式図。
以下では実施の形態について、図面を用いて詳細に説明する。ただし、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。本発明の思想ないし趣旨から逸脱しない範囲で、その具体的構成を変更し得ることは当業者であれば容易に理解される。
以下に説明する発明の構成において、同一部分又は同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、重複する説明は省略することがある。
同一あるいは同様な機能を有する要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、複数の要素を区別する必要がない場合には、添字を省略して説明する場合がある。
本明細書等における「第１」、「第２」、「第３」などの表記は、構成要素を識別する
ために付するものであり、必ずしも、数、順序、もしくはその内容を限定するものではない。また、構成要素の識別のための番号は文脈毎に用いられ、一つの文脈で用いた番号が、他の文脈で必ずしも同一の構成を示すとは限らない。また、ある番号で識別された構成要素が、他の番号で識別された構成要素の機能を兼ねることを妨げるものではない。
図面等において示す各構成の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面等に開示された位置、大きさ、形状、範囲などに限定されない。
ニューラルネットワークは，大きく分けて線形変換部分と非線形変換部分とに分けられる。このうち線形変換は，出力が入力の線形変換と等しいことを表し，この等号の関係は回路ではキルヒホッフの電流測に紐づけることができる。仮に，両者が等しくない場合は，ノードの電位の増減により知ることができる。電位が増減する場合は線形変換の係数を調整することによりバランスさせる。
一方，本実施例において，非線形変換は量子ドット（ＱＤ）における電気伝導特性を利用する。これらを組み合わせることでニューラルネットワークと同様に働く電子回路を構成することができ，この回路を用いてニューラルネットワークの最適なパラメータを知ることができる。
発明者は，入力と出力を与えると自発的に結合強度を与えるような特別な人工ニューロン素子を作り，これによってニューラルネットワークを構成すれば，試行錯誤による探索なしで結合強度を求められるのではないかと構想した。この構想のためにエネルギー的に安定な状態になろうとする自然の力に従って与えた入力と出力の下で結合強度が自発的に適切な大きさになるような特別な人工ニューロンを考案した。なお，従来の一般的な人工ニューロン素子は，入力と結合強度に依存して出力を決定する方式であり，発明者の考案した人工ニューロン素子とは機能も使い方も異なる。
以下の実施例では，入力と出力を与えた時に自発的に結合強度が最適値となるような人工ニューロン素子を作ることと，これのネットワーク化手法について説明する。実施例においては，量子ドットの非線形電気伝導を利用する。量子ドットは典型的なサイズが数十ナノメートルの半導体あるいは金属の微小構造である。通常の導体が電圧と電流が比例するオーム抵抗性を持つのに対して量子ドットは，電圧に対して電流が比例しない非オーム抵抗性をもつ。量子ドットに関しては，例えばM. Sugawara,“Self-Assembled InGaAs/GaAs Quantum Dots”,Semiconductors and Semimetals, Vol. 60 (1999).に報告されている。
量子ドット，静電容量，電源を組み合わせた構成を利用すると，入力電流に対する出力電流の関係が非線形関数となるように入出力関係を設計できる。入出力関係がこの非線形関数から外れた条件では，静電容量の帯電エネルギーが不安定であるため，エネルギーの安定化作用によって，入出力関係が設計された非線形関数上に乗るように変化する。このとき，外部へと電流を排出したり，逆に，外部から電流を供給したりする流れが自発的に発生する。この電流は，人工ニューロンの結合強度に対応づけることができるので，電流を測ることで入出力に応じた最適な結合強度を知ることができる。
図１は，実施例の学習システム全体図である。本実施例の学習システムは，学習システム管理部１０１と学習を行う電子回路１０４から構成される。学習システム管理部１０１は、例えば入力装置、出力装置、処理装置、および記憶装置を備えた一般的なコンピュータで構成することができる。図１では一般的なコンピュータの構成要素は省略し、本実施例に特有の機能ブロックを示している。電子回路１０４は，後述のようにニューラルネットワークを含む。
学習システム管理部１０１は学習させたいデータセット一式を収めた記憶装置であるストレージ１０２を備えている。データセットは例えば、問題と解答のデータの組からなる教師データであり、問題はニューラルネットワークの入力となり、解答は期待されるニューラルネットワークの出力である。
記録された各データセットＤは，データコンバータ１０３によって電気信号Ｓに変換され、コンピュータの出力装置から電子回路１０４へと周期的に送られる。データコンバータ１０３は、例えば記憶装置に記憶されたプログラムを処理装置が実行することで、ソフトウェア的に実現することができる。もっとも同様の機能を備えるハードウェアでデータコンバータ１０３を構成してもよい。
周期的な電気信号Ｓが電子回路１０４へ入力されると，電子回路１０４が出力するニューラルネットワークの重みＷは時間的に変化を始め，やがて変化が小さくなる。変化が小さくなった時の重みＷをデータコンバータ１０５によってデジタルデータに変換し，ストレージ１０６で記録する。データコンバータ１０５は，データコンバータ１０３と同様，ソフトウェアあるいはハードウェアで構成することができる。これにより，学習済みのニューラルネットワークの重みＷが記録されたことになる。
ニューラルネットワークの運用時には，記録した重みＷで重みづけしたニューラルネットワークに問題データを入力すると，所望の解答が得られることになる。
図２は，電子回路１０４の内部を表した図である。電子回路１０４は，電流を生じさせる電流部２０２−１〜２０２−N及び２０３−１〜２０３−Nとこれら電流部の電流量を制御する電流制御部２０１，及び，回路の要素コンポーネント２０４から構成される。
電流制御部２０１は，学習システム管理部１０１から入力される電気信号Ｓに基づいて電流部２０２−１〜２０２−N及び２０３−１〜２０３−Nの電流量を制御する。本実施例では、電気信号Ｓは電圧変化による信号であるため、電流制御部２０１は電圧による電気信号Ｓを電流による電気信号Ix1…IxN, Iy1…IyNに変換する機能を含む。もっとも、電気信号Ｓが電流変化による信号であれば、変換する機能は不要である。ここで，電気信号Ix1…IxNは，データセットＤの問題データに対応する信号であり、ニューラルネットワークの入力となる。電気信号Iy1…IyNは，データセットＤの解答データに対応する信号であり、期待されるニューラルネットワークの出力となる。
要素コンポーネント２０４は一般に複数あり、これらはニューラルネットワークのノードに対応している。それぞれの要素コンポーネント２０４の入出力端子は接続されており、全体として多段構成のニューラルネットワークを構成している。本実施例では、要素コンポーネント２０４はN×N‘個のマトリックス状としている。以下の説明では，複数ある要素コンポーネント２０４のそれぞれを，図２に示したように要素コンポーネント「1, 1」〜「N, N’」のように表記することがある。各要素コンポーネント２０４の端子の数は，電子回路１０４の中で各々異なっていてよい。また，ニューラルネットワークの構成によっては，例えば入力側要素コンポーネントが「1, 1」〜「N, 1」のＮ個，出力側要素コンポーネントが「1, N’」〜「M, N’」のＭ個のように異なる数としてもよい。その場合は、入力側電流部２０２の数と出力側電流部２０３の数が異なる構成になる。
電流部２０２−１〜２０２−N及び２０３−１〜２０３−Nは、入力側電流部２０２−１〜２０２−Nと，出力側電流部２０３−１〜２０３−Nになっており、入力側電流部２０２−１〜２０２−Nには，データセットDの問題に対応する電気信号Ix1…IxNが入力される。出力側電流部２０３−１〜２０３−Nには，データセットDの解答に対応する電気信号Iy1…IyNが入力される。
本実施例において，それぞれの要素コンポーネント２０４は，重み信号ｗとバイアスbを出力し，それらは電子回路１０４から学習システム管理部１０１に送信される。ここで、要素コンポーネント「N, N’」から出力される重み信号はw1 N,N’, w2 N,N’…ｗn N,N’のように表記することにする。重み信号は要素コンポーネント「N, N’」に入力されるｎ個の入力信号の重みを決定する。要素コンポーネント２０４の出力は，重みづけされた入力信号の和にバイアスbを加算したものになる。先に述べたように，要素コンポーネント２０４の端子の数は，電子回路１０４の中で各々異なっていてよいので、ｎの数は要素コンポーネント２０４ごとに異なる場合がある。図２中のIx2〜IxN，Iy2〜IyNおよびwやbといった記号で示されている点同士は，実際には電気的に接続されるが表示上の都合で図中では結線していない。
図３は，要素コンポーネント２０４の内部構成を表している。要素コンポーネント２０４は，量子ドット３０１，量子ドットの電極３０２，３０３，３０４，静電容量部３０５，３０６を備える。また，ｎ個の入力ix1〜ixnに対応する電気抵抗部３０７−１〜３０７−ｎ，電流調整部３１３，そして，電流調整部３１３が決める電流Iwを流す電流部３１０を備える。また，電圧制御部３１１，電圧制御部３１１が決める電圧を出力する電圧部３１２を備える。量子ドット３０１を含め，図３に示すような回路構成は，半導体プロセスを適用して作成することができる。
量子ドット３０１の特徴は，ナノスケールの空間領域を持つこと，トンネル効果によって空間領域を出入りできること，量子ドットと外部との間の電子の出入りを制御できることである。この特徴を利用して多様な電気特性を設計することができる。量子ドットは，例えば，化合物半導体を用いることで作られる。
例えば，AlGaAsとGaAsの２種類の化合物半導体層の積層構造において，AlGaAsにSiをドープするとAlGaAsとGaAsの境界に２次元電子ガスと呼ばれる伝導電子が蓄積した層が形成される。この電子は，x,y面内は伝導することができるが，z方向には伝導できない。すなわち，電子はz方向に閉じ込められている。またAlGaAs/GaAs積層構造の表面に設けたゲート電極に負電圧を印可すると，２次元電子ガス層面内でゲート電極直下付近に静電ポテンシャルの壁を作ることができる。これによってx,y方向の閉じ込めが可能となる。電子が閉じ込められた静電ポテンシャルのくぼ地が量子ドットに対応する。量子ドットの外側に広がる電子の存在領域は，量子ドットの電気的な端子として働く。
なお，静電容量部３０５，３０６は，寄生容量の場合も含み，回路中に明示的に存在しないこともある。電流調整部３１３は，変数調整部３０８，電流制御部３０９を含み，調整された変数を出力する。電極３０２，３０３，３０４は，たとえば上述の量子ドットの外側に広がる２次元電子ガスであってもよく，物理的な電極構造の有無を問わない。
図３に示した量子ドット３０１は，トンネル障壁の厚みや電圧部３１２の電圧を適切に調整すると，電圧部３１２から量子ドット３０１を介して電極３０３と３０４に電子あるいはホールを安定して流し，電流ｉｉｎと電流ｉｏｕｔの関係を非線形関数にすることができる。量子ドット３０１により実現される非線形関数は，ニューラルネットワークのノードにおける活性化関数に対応づけることができる。
上記の調整手法の一例を挙げると，図３において量子ドット３０１と電極３０２とのトンネル障壁の厚みを，量子ドット３０１と電極３０３，電極３０４とのトンネル障壁の厚みに比べて十分薄くする。すなわち，電極３０３，電極３０４と量子ドット３０１との間のトンネルレートは，電極３０２と量子ドット３０１との間のトンネルレートに比べて小さい。また，電圧部３１２に関しては電極３０３や３０４の電圧に比べて十分に負あるいは正（量子ドットに閉じ込めるのが電子かホールかによって符号が反転する）とする。
このようにすることで，電圧部３１２から量子ドット３０１を介して電極３０２と電極３０３に電子あるいはホールを安定して流し，量子ドット３０１と電極３０３の間に流れる電子あるいはホールの電流量と，量子ドット３０１と電極３０４の間に流れる電子あるいはホールの電流量とを，非線形の関係にすることができる。
図３に示した要素コンポーネント２０４は，先に図２に示したように多段構成で接続されて一つのニューラルネットワークを構成する。要素コンポーネント２０４の入力ix1〜ixnは前段の要素コンポーネントの出力であり，要素コンポーネント２０４の出力iyは後段の要素コンポーネントへの入力となる。これらの各要素コンポーネントの入出力は，電子回路１０４に与えられる信号Sによって定まる信号Ix1…IxNおよびIy1…IyNによって，後述のように例えば40μsec後には一定の値に安定すると考えられる。電流調整部３１３や電圧制御部３１１は，電流部３１０や電圧部３１２をコントロールするものであり，たとえばマイコンを用いてもよい。
電流調整部３１３は，アクティブに電位viの時間変動を低減させるフィードバック回路として働く。仮に電流調整部３１３がなかったとすると，電位をviとして示されるノードは左からix1〜ixnの電流が流れ込み（あるいは流れ出し），右からｉｉｎの電流が流れだし（あるいは流れ込んで）いる。理論的にはこれらの電流の総和がゼロであれば，viは一定となる。しかし、ix1〜ixn、ｉｉｎだけでは総和がゼロになるような働きはない。そこで，電流調整部３１３がノードに流れ込む電流が過剰（過少）な場合はノードから電流を排出（供給）することで電流の総和がゼロになるように制御する。すなわち，ix1〜ixn、ｉｉｎの総和は一般的にゼロにはならないので，この和の中に調整可能な電流Iwを加えてix1〜ixn、ｉｉｎ、およびＩwの総和によってノードの電流の流入出をゼロとする構成とする。電位viの変動はそのノードへ流入する電流と流出する電流の総和がゼロになることでゼロになるので，電流調整部３１３は，ノードの電流の入出量の総和をゼロ化することで、viの変動を低減することになる。
電位viの時間変動が低減されるまでの各時刻においても重みwは何かしらの値をとり，それらのwをニューラルネットワークのパラメータへ代入することは形式的には可能である。しかし，その結果形成されるニューラルネットワークの入出力関係y=f(x)は、所望の入出力関係を満たすものではない。本実施例の構成によれば、電位viの時間変動を低減させることによって，重みｗをニューラルネットワークのノードの入力に関連付けて得ることができる。
図４は，変数調整部３０８の内部処理を表している。変数調整部３０８の入力は，量子ドット３０１の入力側電圧vi，出力側電圧vo，要素コンポーネント２０４への入力信号ix1〜ixnの入力端子の電位v1〜vnである。変数調整部３０８の出力は，入力信号ix1〜ixn，入力信号ix1〜ixnの重みw1〜wn，バイアスbである。
変数調整部３０８の処理は，デジタル，アナログなどに限定されない。図４中のR, wo, boは定数を表す。定数Rは図３の抵抗３０７の値により定まる。変数調整部３０８の内部の処理は図４に限定されない。また、tは時間を表す。ここでいう時間とは，図３の回路でパラメータを学習させる時間のことを指す。
図５は，変数調整部３０８の他の内部処理の例である。図４、図５のいずれも，この実施例の後の方で述べるように入力側電圧viの時間変動を低減させることがこれらに共通した役割である。したがって，入力側電圧viの時間変動を低減させるような処理であればよい。入力側電圧viの時間変動がゼロのとき，すなわち電極３０３の電位が安定したとき要素コンポーネント２０４は平衡状態であるとみなすことができる。教師データセットを入力し，平衡状態にある要素コンポーネント２０４のパラメータから，ニューラルネットワークに必要な重みwとバイアスbを知ることができる。
図４、図５の回路中において０〜tまでの定積分では，tを無限大とすることで平衡状態のIwを再現することができる。実際の回路においては，後述のようにtを例えば40μsec以上とすることで構成することができる。
図６は，電流制御部３０９の内部の仕組みを表している。電流制御部３０９の入力は，入力信号ix1〜ixn，入力信号ix1〜ixnの重みw1〜wn，バイアスbである。出力はこれらから定まる電流値Iwである。この処理は，デジタル，アナログなどに限定されない。変数調整部３０８と電流制御部３０９は、電流部３１０のIwの電流量を調整する。
図７は，電圧制御部３１１の内部の仕組みを表している。この処理は，デジタル，アナログなどに限定されない。電圧制御部３１１は入力側電圧viに対して出力vrsvを出力する。ここで、
vrsv = cavi+cb
である。
ca，cbは定数を表す。caはゼロの場合も含む。その場合は，電圧部３１２は定電圧を出力する。量子ドット３０１の物理的構成と電圧制御部３１１による電圧を制御することで，電流ｉｉｎと電流ｉｏｕｔの関係を非線形関数にする。この非線形関係を実現するために，電極３０２の電圧を少なくともボルツマン定数と電極中の電子温度の積を電気素量で割った値よりも正または負に大きく設定する。
図８で，要素コンポーネント２０４の回路でニューラルネットワークのパラメータが決定できる仕組みを説明する。図８は，図３中で入力側電圧viの決定に関与する電流ix1 〜 ixn，Iw，iinと静電容量ciだけを抜き出して表したものである。
入力側電圧viの時間変化は式１のように記述される。
Figure 2021082130
電流調整部３１３は、viの時間変化がゼロになるように（すなわち電極３０３の電位変動が十分小さくなるように）Iwを調整する。このIwは式２に示すようにix1 〜 ixn，および定電流量Ioに依存し、電流量Iwは係数である重みw1 〜 wnとバイアスbで調整できる仕組みである。
Figure 2021082130
式１でviの時間変動がゼロとすると式２より，式３が導かれる。
Figure 2021082130
式３はiinをix1 〜 ixnの線形変換で表した関係式であり，線形変換の係数である(w1−1) 〜 (wn−1)，bがニューラルネットワークで求めるべきパラメータである。なお，一般には，求めるべきパラメータは、(w1−A) 〜 (wn−A)，b（ただしAは定数）と記述される。
変数調整部３０８の機能について詳しく説明する。一般に減衰振動は以下の式４で記述される。なお，xは変位量（ばねの場合はばねの伸び），tは時間、aは定数を表す。
Figure 2021082130
状態の時間変化が従う微分方程式を式４のような形式になるように設計すれば，t →∞でdx／dt → 0とすることができる。変数調整部３０８のとおり制御すると、電位viについて式４のような減衰振動の形式で記述することができる。以下にその理由を説明する。
図５の変数調整部３０８中に記述されたw1〜wnおよびbの各式をそれぞれ両辺微分すると、式５のようになる。
Figure 2021082130
また、式１の両辺をｔで２回微分すると式６のようになる。
Figure 2021082130
また、図６の電流制御部３０９に記述した式の両辺を微分すると次の式７が得られる。
Figure 2021082130
式５〜式７から、式８が導かれる。
Figure 2021082130
式８は、式４に示した減衰振動の微分方程式の形に整理できる。すなわち式９のように表すことができる。
Figure 2021082130
このように，変数調整部３０８によりw1〜wnおよびbをフィードバック制御すると電位viの時間変動を減衰振動としてt → ∞で(dvi)／dt → 0にできる。よって，３０８に記載のフィードバック制御で電位変動を低減させることができ，その結果として重みwを得ることができる。
電流制御部３０９の計算でix1〜ixn, ｉｉｎ,Iwの電流の総和がゼロになるw1〜wnおよびbが定まる原理を説明する。たとえば図５中左辺がw1の右上の式を参照すると、右辺の被積分関数はix1とdvi/dtの積になっている。dvi/dtがゼロのときはix1とdvi/dtの積も零なので、積分への関与がなくw1の値は変化しない。すなわち、w1は、電位viの変動がなくなると一定になる。dvi/dt＞０の場合を考えると、この場合はノードに対して流れ込む電流が多すぎるということを意味する。よって、ノードの入出力電流の和をゼロにするためには、Iwの増加により電流の排出力を増やす必要がある。
図６に示した電流制御部３０９によるIwの設定（式）によれば、w１を増加させることによりIwを増加させることができる。dvi/dt＞０ならば、ix1・dvi/dt＞０であるから、図５の変数調整部３０８中左辺がw1の式を参照すると、この回路ではw１が増加することになりIwが増加する。dvi/dt＜０の場合は、この逆である。電流調整部３１３は、以上のような原理により、入力側電圧viの時間変動を低減させ、そのときの重みwを得ることができる。
図９は，本実施例における学習のフローを表している。なお，Kは学習させるデータセットの数を表し、Qは繰り返しの数を表す。
複数のデータセットを電子回路１０４に入力する（Ｓ９０１−１〜Ｓ９０１−ｎ）。教師データセットが複数ある場合は，Ix1 〜 Ixn，Iy1 〜 Iynの電流量を時間的に変化させることで対応が可能である。具体的には，例えば図２の電流制御部２０１を，時間に対して変動する電流源として用い，教師データの問題と解答に対応する複数の電流量を一定時間ごとに切り替える。そしてこのプロセスをQ回繰り返す（Ｓ９０２）。
このように動作させると，要素コンポーネント２０４の帯電エネルギーは時間に対して変化する。入出力を繰り返し変調したならば，帯電エネルギーはその平均が最小になるように振る舞うはずである。したがって，教師データセットが多数ある場合は，多数組の電流量を一定時間ごとに切り替え，これをQ回繰り返すことにより重みw1〜wnとバイアスbの値は収束していく。所定時間の後値が安定することをもって、各要素コンポーネント２０４の重みw1〜wnとバイアスbを読み出し（Ｓ９０３）、学習終了とすればよい。
実施例２は，実施例１の特別な場合で学習の手順を具体的に示す。
図１０は，実施例２における電子回路１０４の内部を表した図である。実施例２の電子回路１０４では，要素コンポーネント２０４を４つに限定した。まず簡単のために，ストレージ１０２に｛0.2, 0.6｝→｛0.4, 0.6｝との１つのデータセットが保存されているものとする。これを元に問題｛0.2, 0.6｝を入力した場合に解答｛0.4, 0.6｝が出力される機能を有するニューラルネットワークの重みを求める。
まず，ストレージ１０２からデータコンバータ１０３へ、｛0.2, 0.6｝→｛0.4, 0.6｝が送られる。データコンバータ１０３は，この値を回路に合わせて変換する。ここでは，１０３はすべての値を10−12倍するものとする。これによって，データコンバータ１０３からは，｛0.2×10−12, 0.6×10−12｝→｛0.4×10−12, 0.6×10−12｝が出力される。
電流制御部２０１は，受けた値をアンペアに変換するものとする。この場合，電流部２０２と２０３の夫々が流す電流は，Ix1=0.2pA, Ix2=0.6pA, Iy1=0.4pA, Iy2=0.6pAである。
要素コンポーネント２０４の夫々が出力する信号w1 1,1, w2 1,1, b1,1, w1 2,1, w2 2,1, b2,1, w1 1,2, w2 1,2, b1,2, w1 2,2, w2 2,2, b2,2はデータコンバータ１０５へと入力される。ここでは，データコンバータ１０５は入力された値を１倍するものとする。なお，ストレージ１０６にはストレージ１０２からデータを送信してからtmeas秒後の信号を変換したデータが記録される。
次に，ストレージ１０２に｛0.2, 0.6｝→｛0.4, 0.5｝，｛0.9, 0.4｝→｛0.2, 0.2｝の２つのデータセットが保存されている場合について説明する。上と同様にデータコンバータ１０３と電流制御部２０１が電流部２０２〜２０３に流す電流を決める。ただし，データセットが複数の場合は，各データセットに対応した電流Ix1, Ix2, Iy1, Iy2に一定時間ごとに切り替え，これを繰り返す。
図１１に、データセットが上記の2つの場合の，電流制御部２０１が電流部２０２〜２０３に流す電流Ix1, Ix2, Iy1, Iy2の時間変化の例を示した。なお，図１１のように電流を切り替えるためには，ストレージ１０２→データコンバータ１０３→電流制御部２０１→電流部２０３または２０３の間のいずれかでシリアル化が行われるが，どの箇所でシリアル化を行うかは設計事項である。
図１２は，以上のような条件下で図９のフローを実行した場合において，図１０の電子回路１０４が出力する重みとバイアス，w1 1,1, w2 1,1, b1,1, w1 2,1, w2 2,1, b2,1, w1 1,2, w2 1,2, b1,2, w1 2,2, w2 2,2, b2,2の時間変化のグラフを表している。図１２の例では，w1 1,2とw1 2,2のグラフはほぼ重なっており，w2 1,2とw2 2,2のグラフはほぼ重なっている。なお、w2 1,1とw1 2,1のグラフは都合により表示していない。
図１２から，教師データセットの供給を繰り返していると40μsecにおいて電子回路１０４は平衡状態とみなすことができ、電流や電圧の数値が十分に収束したものと判断できる。よって、この例では，ストレージ１０６がデータを記録するタイミングをストレージ１０２がデータを送信してからtmeas秒後とすると，tmeasは40μsec以上とすることが望ましい。
記録される値は、この回路の時間特性のシミュレーションによれば、w1 1,1＝0.247，w2 1,1＝0.247，b1,1＝1.29，w1 2,1＝−0.754，w2 2,1＝−0.754，b2,1＝1.29，w1 1,2＝0.0625，w2 1,2＝−0.0216，b1,2＝1.03，w1 2,2＝0.048，w2 2,2＝−0.00669，b2,2＝1.04である。
図１３は，図１０の４つの要素コンポーネント２０４で構成されるニューラルネットワークの機能を模式的に示した図である。上記のようにして得られたw1 1,1, w2 1,1, b1,1, w1 2,1, w2 2,1, b2,1, w1 1,2, w2 1,2, b1,2, w1 2,2, w2 2,2, b2,2を図１３に示すニューラルネットワークに代入する。
なお，図１３中の変数は，以下の式１０のように定義している。
Figure 2021082130
また，図１３中の関数f(x)は以下の式１１に示す関数である。関数f(x)は，要素コンポーネント２０４の量子ドット３０１の入力iinと出力ioutの関係を規定している。
Figure 2021082130
ここでe＝＋−１.６０２×１０−１９クーロン（正負は電子，ホールの別による）は電気素量，ΓiとΓoは定数である。ΓiとΓoは量子ドット３０１と電極３０３，３０４の間のトンネル障壁の厚みを制御することにより設定することができる。
先の時間特性のシミュレーション及びデータコンバータ１０３の条件において今回は，eΓi＝１、eΓo＝１とみなせるように設定している。上記の値を代入したニューラルネットワークに｛x1, x2｝＝｛0.2, 0.6｝を与えると，｛y1, y2｝＝｛0.393, 0.512｝が得られる。一方で，｛x1, x2｝＝｛0.9, 0.4｝を与えると，｛y1, y2｝＝｛0.176, 0.233｝が得られる。このように，教師データセット｛0.2, 0.6｝→｛0.4, 0.5｝と｛0.9, 0.4｝→｛0.2, 0.2｝に近い値が得られることがわかる。この通り本実施例の電子回路によって所望のニューラルネットワークが得られる。
以上説明した実施例では，電子回路１０４のニューラルネットワークに教師データのデータセットＤで定まる入力電気信号Ix1…IxN, Iy1…IyNを入力し，図３に示す量子ドット３０１を含む要素コンポーネント２０４が平衡状態になるとき，要素コンポーネント２０４の入力ix1 〜ixnと出力iyによって電流Iwが得られる。逆に電流Iwを定めておけば、入力ix1 〜ixnに対して対応する出力iyが得られる。
本実施例では，電流Iwは式２で与えられているため，入力ix1 〜ixnに対する重みw1〜wNとバイアスbに分解して得ることができる。よって，ニューラルネットワークの構成に対応したパラメータの値を得ることができる。このように，メモリスタ等を利用せずに入力とそのときのあるべき出力を与えると，その時のつじつまの合うニューラルネットワークの重みが得られる電子回路を構成することができる。よって，ニューラルネットワークにおけるすべてのパラメータを改善しながら最適値を探索することができる。
１０１・・・学習システム管理部
１０２・・・ストレージ
１０３・・・データコンバータ
１０４・・・電子回路
１０５・・・データコンバータ
１０６・・・ストレージ
２０１・・・電流制御部
２０２−１〜２０２−N・・・電流部
２０３−１〜２０３−M・・・電流部
２０４・・・回路の要素コンポーネント
３０１・・・量子ドット
３０２・・・量子ドットの電極
３０３・・・量子ドットの電極
３０４・・・量子ドットの電極
３０５・・・静電容量部
３０６・・・静電容量部
３０７−１〜３０７−N・・・電気抵抗部
３０８・・・変数調整部
３０９・・・電流制御部
３１０・・・電流部
３１１・・・電圧制御部
３１２・・・電圧部
３１３・・・電流調整部

Claims (13)

  1. 量子ドット，静電容量部，電流部，電流調整部を備え，
    前記量子ドットは第１の電極，第２の電極，および第３の電極を備え，
    前記第１の電極は第１の電位に接続され，
    前記第２の電極は第１の電流源に接続され，
    前記第３の電極は第２の電流源に接続され，
    前記電流部は，前記第２の電極から電流を排出，あるいは，第２の電極へ電流を供給する役割を持ち，
    前記電流調整部は，前記電流部の電流を調整し，該電流の調整に用いるパラメータを出力する，
    電子回路。
  2. 前記第１の電位から前記量子ドットを介して前記第１の電極と前記第２の電極に電子あるいはホールを安定して流し，
    前記量子ドットと前記第２の電極の間に流れる電子あるいはホールの電流量と，前記量子ドットと前記第３の電極の間に流れる電子あるいはホールの電流量とが，非線形の関係にある，
    請求項１記載の電子回路。
  3. 前記量子ドットと前記第１の電極の間のトンネルレートは，前記量子ドットと前記第２の電極の間のトンネルレートおよび前記量子ドットと前記第３の電極の間のトンネルレートより大きい，
    請求項１記載の電子回路。
  4. 前記第２の電極と前記第１の電流源の間の経路に並列に，前記静電容量部および前記電流部が配置される，
    請求項１記載の電子回路。
  5. 前記電流調整部は，前記第１の電流源の電流値と前記パラメータを用いて，前記電流部の電流量を定める，
    請求項１記載の電子回路。
  6. 前記電流調整部は，前記パラメータにより前記第１の電流源の電流値の重みづけを行う，
    請求項５記載の電子回路。
  7. 前記電流調整部は，前記電流部の電流量をIw，前記第１の電流源の電流値をix1〜ixn，前記パラメータをw1〜wnおよびbとしたとき、
    Iw＝w1ix1＋w2ix2＋…＋wnixn＋b
    の関係式によって電流部の電流量Iwを定める，
    請求項６記載の電子回路。
  8. 前記Iwは，電子回路が平衡状態にあるときの値である，
    請求項７記載の電子回路。
  9. 前記平衡状態は，前記第２の電極の電位の変動が十分小さくなった状態である，
    請求項８記載の電子回路。
  10. 請求項１記載の電子回路を複数多段接続して，多層的ネットワーク構成としたニューラルネットワーク。
  11. 請求項１０記載のニューラルネットワークの学習方法であって，前記電子回路のそれぞれについて，
    前記第1の電流源に教師データの問題に対応する電流値を供給する第１のステップ，
    前記第２の電流源に教師データの解答に対応する電流値を供給する第２のステップ，
    前記パラメータを出力する第３のステップ，
    前記パラメータを記録する第４のステップ，
    を実行するニューラルネットワークの学習方法。
  12. 請求項１０記載のニューラルネットワークに対応したニューラルネットワークを構成する第５のステップ，
    前記第５のステップで構成したニューラルネットワークの結合強度として，前記電子回路のそれぞれについて，前記パラメータに対応した値を設定する第６のステップ，
    を実行する請求項１１記載のニューラルネットワークの学習方法。
  13. 前記教師データとして，複数の問題と解答の組を用いる際に，
    前記第1の電流源と前記第２の電流源に供給する電流値を変調させ，前記変調を複数回繰り返し，所定の時間の後に，前記第３のステップを行なう，
    請求項１１記載のニューラルネットワークの学習方法。
JP2019210549A 2019-11-21 2019-11-21 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法 Ceased JP2021082130A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019210549A JP2021082130A (ja) 2019-11-21 2019-11-21 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法
US17/092,439 US20210158159A1 (en) 2019-11-21 2020-11-09 Electronic circuit, neural network, and neural network learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019210549A JP2021082130A (ja) 2019-11-21 2019-11-21 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法

Publications (1)

Publication Number Publication Date
JP2021082130A true JP2021082130A (ja) 2021-05-27

Family

ID=75965361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019210549A Ceased JP2021082130A (ja) 2019-11-21 2019-11-21 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法

Country Status (2)

Country Link
US (1) US20210158159A1 (ja)
JP (1) JP2021082130A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07153977A (ja) * 1993-11-30 1995-06-16 Nippon Telegr & Teleph Corp <Ntt> トンネル多入力素子
JPH07176763A (ja) * 1993-10-28 1995-07-14 Sony Corp 電界効果トランジスタ
JP2000150862A (ja) * 1998-08-31 2000-05-30 Toshiba Corp 半導体素子
JP2001313386A (ja) * 2000-04-28 2001-11-09 Japan Science & Technology Corp 情報処理構造体
WO2018223037A1 (en) * 2017-06-02 2018-12-06 Google Llc Quantum neural network

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5278427A (en) * 1993-02-04 1994-01-11 The United States Of America As Represented By The Secretary Of The Army Quantum collector hot-electron transistor
JP3217703B2 (ja) * 1995-09-01 2001-10-15 株式会社東芝 磁性体デバイス及びそれを用いた磁気センサ
SE514610C2 (sv) * 1998-11-27 2001-03-19 Ericsson Telefon Ab L M Supraledande transistoranordning och ett förfarande relaterande därtill
WO2010084983A1 (ja) * 2009-01-26 2010-07-29 ローム株式会社 半導体装置およびそれを備えた電子機器
CN111357118A (zh) * 2017-10-29 2020-06-30 鲁克·克里斯托弗·J 一种电子传递门电路及其制造、操作和使用方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07176763A (ja) * 1993-10-28 1995-07-14 Sony Corp 電界効果トランジスタ
JPH07153977A (ja) * 1993-11-30 1995-06-16 Nippon Telegr & Teleph Corp <Ntt> トンネル多入力素子
JP2000150862A (ja) * 1998-08-31 2000-05-30 Toshiba Corp 半導体素子
JP2001313386A (ja) * 2000-04-28 2001-11-09 Japan Science & Technology Corp 情報処理構造体
WO2018223037A1 (en) * 2017-06-02 2018-12-06 Google Llc Quantum neural network

Also Published As

Publication number Publication date
US20210158159A1 (en) 2021-05-27

Similar Documents

Publication Publication Date Title
CN107924227B (zh) 电阻处理单元
US10755170B2 (en) Resistive processing unit with hysteretic updates for neural network training
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
CN111052153A (zh) 使用半导体存储元件的神经网络运算电路及动作方法
CN110383282A (zh) 用于混合信号计算的系统和方法
US20210342678A1 (en) Compute-in-memory architecture for neural networks
US11488001B2 (en) Neuromorphic devices using layers of ion reservoirs and ion conductivity electrolyte
Jaddi et al. Taguchi-based parameter designing of genetic algorithm for artificial neural network training
US6876989B2 (en) Back-propagation neural network with enhanced neuron characteristics
US11586899B2 (en) Neuromorphic device with oxygen scavenging gate
Abraham et al. Optimal design of neural nets using hybrid algorithms
US11195089B2 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
JP2021082130A (ja) 電子回路、ニューラルネットワーク及びニューラルネットワークの学習方法
JPH07282168A (ja) カオスリカレント神経回路網とその学習方法
Van Nguyen et al. Training, programming, and correction techniques of memristor-crossbar neural networks with non-ideal effects such as defects, variation, and parasitic resistance
Türel et al. Architectures for nanoelectronic implementation of artificial neural networks: new results
Kohno et al. A qualitative-modeling-based low-power silicon nerve membrane
US9965251B2 (en) Crossbar arithmetic and summation processor
Calayir et al. Analog neuromorphic computing enabled by multi-gate programmable resistive devices
CN113219832A (zh) 一种自适应迭代学习非一致目标跟踪控制器设计方法
JP6985993B2 (ja) 電子回路およびそれを用いたニューラルネットワークの学習方法
KR102533908B1 (ko) 시냅스 소자로 구성된 딥러닝 기반 뉴로모픽 신경망을 위한 온칩 학습 시스템
CN116563616B (zh) 一种基于神经网络的图像识别方法、计算机设备及介质
US20230327672A1 (en) Electronic computing device for generating boolean functions and conductive module thereof
Garigipati et al. Mirror inverse operations in linear nearest neighbors using dynamic learning algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220302

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20231031