JP2021140531A - シナプス回路およびニューラルネットワーク装置 - Google Patents

Abstract

【課題】正規化処理を簡易な構成で行う。【解決手段】シナプス回路は、ウェイト電流回路と、入力スイッチと、キャパシタと、出力回路と、電荷調整回路と、制御回路と、を備える。ウェイト電流回路は、ウェイト電流を流す。入力スイッチは、入力信号に応じて、ウェイト電流回路にウェイト電流を流させるか否かを切り替える。キャパシタは、第１端子および第２端子を有し、第１端子に定電圧が印加される。出力回路は、第２端子に発生するキャパシタ電圧に応じた出力信号を出力する。電荷調整回路は、入力スイッチによりウェイト電流が流される場合、第２端子からウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、キャパシタ電流を第２端子に供給することにより、キャパシタに蓄積される電荷を減少または増加させる。制御回路は、ウェイト値に応じて、キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える。【選択図】図４

Description

本発明の実施形態は、シナプス回路およびニューラルネットワーク装置に関する。

近年、ハードウェア化したニューラルネットワークを用いて、脳型プロセッサを実現する技術が提案されている。このような脳型プロセッサは、シナプス回路を有する。シナプス回路は、重みを表すウェイト値が設定され、前段のニューロンから受け取った信号に対してウェイト値の影響を加えた信号を、後段のニューロンへと与える。

シナプス回路に設定されているウェイト値は、所定の学習方法により更新される。脳型プロセッサの学習方法として、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）を用いた学習が知られている。

ＳＴＤＰ学習によりウェイト値を更新した場合、ウェイト値が大きくなりすぎてニューロンが発火しやすくなり、適切に推論が行えなくなる、という問題が指摘されている。この問題を解決するため、正規化処理をすることが提案されている。従来の正規化処理では、１つのニューロンの入力段に接続されている複数のシナプス回路に設定されている複数のウェイト値の和を、一定値以下にするように調整する。これにより大きくなりすぎた複数のウェイト値を一律に小さくして、ニューロンを適切に発火させることができる。しかし、この方法は、複数のウェイト値を読み出して、演算を実行し、再度、複数のウェイト値を設定する処理を実行しなければならなく、回路コストが大きくなってしまっていた。

米国特許第８６５５８１３号明細書

Nicholas Soures， et al.， "On-Device STDP and Synaptic Normalization for Neuromemristive Spiking Neural Network"， 2017 IEEE 60th International Midwest Symposium on Circuits and Systems (MWSCAS)， P1081-1804，２０１７年８月 Elisabetta Chicca， et al.， "Neuromorphic Electronic Circuits for Building Autonomous Cognitive Systems"， Proceedings of the IEEE (Volume: 102 , Issue: 9 , Sept. 2014)， P1367-1388，２０１４年５月１日

本発明が解決しようとする課題は、適切に推論することができるようにニューロンの発火を調整する正規化処理を、簡易な構成で行うことができるシナプス回路およびニューラルネットワーク装置を提供することにある。

実施形態に係るシナプス回路は、ウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力する。前記シナプス回路は、ウェイト電流回路と、入力スイッチと、キャパシタと、出力回路と、電荷調整回路と、制御回路と、を備える。前記ウェイト電流回路は、前記ウェイト値に応じた電流値のウェイト電流を流す。前記入力スイッチは、前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える。前記キャパシタは、第１端子および第２端子を有し、前記第１端子に定電圧が印加される。前記出力回路は、前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する。前記電荷調整回路は、前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる。前記制御回路は、前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える。

実施形態に係るニューラルネットワーク装置の構成図。 複数のシナプス回路の接続関係を示す図。 学習回路による処理を説明するための図。 シナプス回路の構成を示す図。 入力信号、キャパシタ電圧および出力信号の一例を示す図。 正規化回路の第１の回路構成例を示す図。 正規化回路の第２の回路構成例を示す図。 正規化回路の第３の回路構成例を示す図。 制御回路の第１の処理例を示す図。 制御回路の第２の処理例を示す図。 変形例に係る複数のシナプス回路の接続関係を示す図。 変形例に係る制御回路の第１の処理例を示す図。 変形例に係る制御回路の第２の処理例を示す図。

以下、図面を参照しながら実施形態に係るニューラルネットワーク装置１０について説明する。実施形態に係るニューラルネットワーク装置１０は、ハードウェアにより実現され、精度の良い推論を実行することができる。

図１は、実施形態に係るニューラルネットワーク装置１０の構成を示す図である。ニューラルネットワーク装置１０は、Ｎ段（Ｎは２以上の整数）のレイヤ２２と、（Ｎ−１）個のシナプス部２４と、学習回路２６とを備える。

Ｎ段のレイヤ２２のそれぞれは、複数のニューロン回路３０を含む。複数のニューロン回路３０のそれぞれは、前段のレイヤ２２から出力された複数の信号を取得し、取得した複数の信号に対して積和演算処理を実行する。なお、Ｎ段のレイヤ２２のうち１段目のレイヤ２２は、外部の装置または入力レイヤから複数の信号を取得する。そして、複数のニューロン回路３０のそれぞれは、積和演算結果を表す信号に対して活性化関数処理を行った信号を出力する。複数のニューロン回路３０のそれぞれは、積和演算処理および活性化関数処理を、例えばアナログ回路により実行する。

（Ｎ−１）個のシナプス部２４のそれぞれは、複数のシナプス回路４０を含む。複数のシナプス回路４０のそれぞれは、学習回路２６によりウェイト値が設定される。

（Ｎ−１）個のシナプス部２４のうちのｎ番目（ｎは、１以上、（Ｎ−１）以下の整数）のシナプス部２４は、ｎ段目のレイヤ２２と、（ｎ＋１）段目のレイヤ２２との間に配置される。

ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、ｎ段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０から出力された信号を２値の入力信号として受け取る。ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、受け取った入力信号に対して、設定されたウェイト値の影響を加えた出力信号を生成する。本実施形態において、出力信号は、２値の電圧信号である。これに代えて、出力信号は、アナログ値（連続値）で表された電流であってもよいし、アナログ値（連続値）で表された電圧であってもよい。そして、ｎ番目のシナプス部２４に含まれる複数のシナプス回路４０のそれぞれは、（ｎ＋１）段目のレイヤ２２に含まれる複数のニューロン回路３０のうちの１つのニューロン回路３０に出力信号を与える。

学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。

このようなニューラルネットワーク装置１０は、１段目のレイヤ２２が外部装置または入力レイヤから１または複数の信号を受け取る。そして、ニューラルネットワーク装置１０は、受け取った１または複数の信号に対してニューラルネットワークによる演算を実行した結果を表す１または複数の信号を、Ｎ段目のレイヤ２２から出力する。

図２は、複数のシナプス回路４０の接続関係を示す図である。シナプス回路４０は、学習回路２６によりウェイト値が設定されている。

シナプス回路４０は、前段のレイヤ２２に含まれる何れかのニューロン回路３０である前段ニューロン回路３２から、２値の入力信号を受け取る。シナプス回路４０は、受け取った２値の入力信号に設定されたウェイト値の影響を加えた出力信号を出力する。例えば、図２に示した３つのシナプス回路４０のそれぞれは、学習回路２６によりウェイト値（Ｗ_１，Ｗ_２，Ｗ_３）が設定されている。

本実施形態において、シナプス回路４０は、２値の入力信号を、設定されたウェイト値に応じた時間分遅延させた２値の出力信号を出力する。すなわち、本実施形態において、シナプス回路４０は、前段ニューロン回路３２の発火タイミングを、設定されたウェイト値に応じた時間分遅延させた出力信号を出力する。例えば、シナプス回路４０は、設定されたウェイト値が大きいほど、遅延時間を短くする。そして、シナプス回路４０は、出力信号を対応する後段ニューロン回路３４に与える。

なお、シナプス回路４０は、入力信号が発火した場合に、設定されたウェイト値に応じた電流量の電流である出力信号を出力してもよい。また、シナプス回路４０は、入力信号の発火時間または発火回数に、設定されたウェイト値を乗じた値に応じた電流量の電流である出力信号を出力してもよい。この場合、シナプス回路４０は、設定されたウェイト値が大きいほど、出力信号の電流量を大きくする。この場合、後段ニューロン回路３４は、アナログ値（連続値）で表された出力信号をシナプス回路４０から受け取る。また、同様に、シナプス回路４０は、電流値に代えて、電圧値で表された出力信号を出力してもよい。

図３は、学習回路２６による処理を説明するための図である。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を更新する。学習回路２６は、複数のシナプス回路４０のそれぞれに設定されているウェイト値を、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）学習により更新する。

学習回路２６は、あるシナプス回路４０（第１シナプス回路４０−１）に設定されているウェイト値を式（１）に従い更新する。

Ｗ_ｉｊ（ｔ＋Δｔ）＝Ｗ_ｉｊ（ｔ）＋ΔＷ_ｉｊ（ｔ）…（１）

Δｔは、単位時間を表す。ｔは、任意の時刻を表す。（ｔ＋Δｔ）は、時刻（ｔ）から単位時間（Δｔ）を経過した後の時刻を表す。

Ｗ_ｉｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０−１に設定されているウェイト値を表す。Ｗ_ｉｊ（ｔ＋ｔΔ）は、時刻（ｔ＋Δｔ）において、第１シナプス回路４０−１に設定されているウェイト値を表す。

ここで、ΔＷ_ｉｊ（ｔ）は、式（２）のように算出される。

ΔＷ_ｉｊ（ｔ）＝η_ＳＴＤＰ（ｘ_ｉ（ｔ）×ｘ_ｊ（ｔ−Δｔ）−ｘ_ｉ（ｔ−Δｔ）×ｘ_ｊ（ｔ））…（２）

（ｔ−Δｔ）は、時刻（ｔ）から、単位時間（Δｔ）前の時刻を表す。η_ＳＴＤＰは、所定の定数を表す。

ｘ_ｉ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０−１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘ_ｊ（ｔ）は、時刻（ｔ）において、第１シナプス回路４０−１に接続された前段ニューロン回路３２から出力される信号の値を表す。

ｘ_ｉ（ｔ−Δｔ）は、時刻（ｔ−Δｔ）において、第１シナプス回路４０−１に接続された後段ニューロン回路３４から出力される信号の値を表す。ｘ_ｊ（ｔ−Δｔ）は、時刻（ｔ−Δｔ）において、第１シナプス回路４０−１に接続された前段ニューロン回路３２から出力される信号の値を表す。

なお、ｘ_ｉ（ｔ）、ｘ_ｊ（ｔ）、ｘ_ｉ（ｔ−Δｔ）およびｘ_ｊ（ｔ−Δｔ）は、０または１を表す。また、ｘ_ｉ（ｔ）、ｘ_ｊ（ｔ）、ｘ_ｉ（ｔ−Δｔ）およびｘ_ｊ（ｔ−Δｔ）は、１の場合に、発火を表す。

式（２）で表されるΔＷ_ｉｊ（ｔ）は、時刻（ｔ−Δｔ）において前段ニューロン回路３２が発火し、単位時刻（Δｔ）後の時刻（ｔ）において前段ニューロン回路３２が発火した場合、η_ＳＴＤＰとなり、他の場合には、０となる。

すなわち、学習回路２６は、前段ニューロン回路３２から出力される信号が発火したことに応じて、後段ニューロン回路３４から出力される信号が発火した場合、シナプス回路４０に設定されたウェイト値を所定量増加させる。これにより、学習回路２６は、複数のシナプス回路４０のそれぞれに設定されるウェイト値をＳＴＤＰ学習させることができる。

図４は、シナプス回路４０の構成を示す図である。

シナプス回路４０は、ウェイト保持回路６０と、ウェイト電流回路６２と、入力スイッチ６４と、キャパシタ６６と、出力増幅回路６８と、出力回路７０と、電荷調整回路７２と、第１定電流回路７４と、第２定電流回路７６と、正規化回路７８と、制御回路８０とを備える。

ウェイト保持回路６０は、学習回路２６により設定されたウェイト値（Ｗ）を保持する。ウェイト保持回路６０は、例えばウェイト値（Ｗ）に応じて抵抗値が変化する可変抵抗器を含んでもよい。ウェイト保持回路６０は、例えば、ウェイト値（Ｗ）に応じた電荷を蓄積する保持用キャパシタを含んでもよい。また、ウェイト保持回路６０は、メモリ等を有し、ウェイト値（Ｗ）に応じたデジタル値を記憶してもよい。本実施形態においては、ウェイト保持回路６０は、保持しているウェイト値（Ｗ）に応じたウェイト電圧（Ｖ_Ｗ）を出力する。

ウェイト電流回路６２は、ウェイト保持回路６０に設定されたウェイト値（Ｗ）に応じた電流値のウェイト電流（Ｉ_Ｗ）を流す。例えば、ウェイト電流回路６２は、ウェイト値（Ｗ）に比例したウェイト電流（Ｉ_Ｗ）を流す。

ウェイト電流回路６２は、入力スイッチ６４がオン状態の場合に、ノードＡからウェイト電流（Ｉ_Ｗ）を吸い出して、基準電位（グランド）へと流す。ウェイト電流回路６２は、入力スイッチ６４がオフ状態の場合に、ウェイト電流（Ｉ_Ｗ）を流さない（ウェイト電流を０とする）。

本実施形態においては、ウェイト電流回路６２は、ＭＯＳ−ＦＥＴ（Metal Oxide Semiconductor Field Effect Transistor）である。図４の例では、ウェイト電流回路６２は、ＮチャネルＭＯＳ−ＦＥＴである。

ＭＯＳ−ＦＥＴであるウェイト電流回路６２は、ゲートにウェイト電圧（Ｖ_Ｗ）が印加され、ドレインがノードＡに接続される。そして、ＭＯＳ−ＦＥＴであるウェイト電流回路６２は、ウェイト電圧（Ｖ_Ｗ）に応じた電流量のウェイト電流（Ｉ_Ｗ）をドレイン−ソース間に流す。

入力スイッチ６４は、前段ニューロン回路３２から出力された２値の入力信号（Ｓ_ｉｎ）に応じて、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させるか否かを切り替える。例えば、入力スイッチ６４は、入力信号（Ｓ_ｉｎ）が１の場合に、ウェイト電流（Ｉ_Ｗ）を流させる。例えば、入力スイッチ６４は、入力信号（Ｓ_ｉｎ）が０の場合に、ウェイト電流（Ｉ_Ｗ）を流させない（つまり、ウェイト電流（Ｉ_Ｗ）を０とする）。

本実施形態においては、入力スイッチ６４は、スイッチング動作をするＭＯＳ−ＦＥＴである。図４の例では、入力スイッチ６４は、ＮチャネルＭＯＳ−ＦＥＴである。ＭＯＳ−ＦＥＴである入力スイッチ６４は、ゲートに入力信号（Ｓ_ｉｎ）が印加され、ドレインがウェイト電流回路６２のソースに接続され、ソースが基準電位（グランド）に接続される。

そして、ＭＯＳ−ＦＥＴである入力スイッチ６４は、入力信号（Ｓ_ｉｎ）が１の場合にオン状態となり、ウェイト電流回路６２のソースをグランドに接続することにより、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させる。また、ＭＯＳ−ＦＥＴである入力スイッチ６４は、入力信号（Ｓ_ｉｎ）が０の場合にオフ状態となり、ウェイト電流回路６２のソースをグランドから切断することにより、ウェイト電流回路６２にウェイト電流（Ｉ_Ｗ）を流させない。

キャパシタ６６は、第１端子６６ａおよび第２端子６６ｂを有する。キャパシタ６６の第１端子６６ａは、定電圧が発生される電源電位（例えば、ＶＤＤ）に接続される。このようなキャパシタ６６は、第１端子６６ａに定電圧が印加される。また、キャパシタ６６は、第２端子６６ｂにキャパシタ電圧（Ｖ_Ｃ）を発生する。キャパシタ電圧（Ｖ_Ｃ）は、電源電位から、キャパシタ６６により発生される電圧を減じた値である。キャパシタ６６により発生される電圧は、蓄積した電荷量を静電容量で除算した電圧である。

出力増幅回路６８は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（Ｖ_Ｃ）に応じてオン状態またはオフ状態を切り替える。例えば、出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合にオン状態となり、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合にオフ状態となる。

例えば、出力増幅回路６８は、スイッチング動作をするＭＯＳ−ＦＥＴである。図４の例では、出力増幅回路６８は、ＰチャネルＭＯＳ−ＦＥＴである。ＰチャネルＭＯＳ−ＦＥＴである出力増幅回路６８は、ゲートにキャパシタ電圧（Ｖ_Ｃ）が印加され、ソースが電源電位に接続され、ドレインが出力回路７０に接続される。そして、ＭＯＳ−ＦＥＴである出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合にオン状態となり出力電流（Ｉ_ｏｕｔ）を出力回路７０に供給する。また、ＭＯＳ−ＦＥＴである出力増幅回路６８は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合にオフ状態となり、出力電流（Ｉ_ｏｕｔ）の出力を停止する。

出力回路７０は、キャパシタ６６の第２端子６６ｂに発生するキャパシタ電圧（Ｖ_Ｃ）に応じた出力信号（Ｓ_ｏｕｔ）を出力する。例えば、出力回路７０は、キャパシタ電圧（Ｖ_Ｃ）を閾値電圧（Ｖ_ｔ）で２値化した２値の出力信号（Ｓ_ｏｕｔ）を出力する。

例えば、出力回路７０は、出力増幅回路６８から出力電流（Ｉ_ｏｕｔ）が供給された場合に１となり、出力増幅回路６８から出力電流（Ｉ_ｏｕｔ）が供給されない場合に０となる出力信号（Ｓ_ｏｕｔ）を出力する。すなわち、この場合、出力回路７０は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下である場合に１となり、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）より大きい場合に０となる出力信号（Ｓ_ｏｕｔ）を出力する。

なお、出力回路７０は、アナログ値（連続値）の電流である出力信号（Ｓ_ｏｕｔ）を出力してもよい。この場合、出力増幅回路６８は、スイッチング動作をせずに、キャパシタ電圧（Ｖ_Ｃ）に応じたアナログ値（連続値）の出力電流（Ｉ_ｏｕｔ）を流す電流増幅器として機能する。そして、出力回路７０は、出力電流（Ｉ_ｏｕｔ）をそのまま出力信号（Ｓ_ｏｕｔ）として出力する。また、出力回路７０は、出力電流（Ｉ_ｏｕｔ）に応じたアナログ値（連続値）の電圧信号を、出力信号（Ｓ_ｏｕｔ）として出力してもよい。

電荷調整回路７２は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、ウェイト電流（Ｉ_Ｗ）の電流値に応じた時間変化量でキャパシタ６６に蓄積される電荷を減少または増加させる。例えば、電荷調整回路７２は、入力スイッチ６４がオン状態の場合、つまり、入力信号（Ｓ_ｉｎ）が１の場合、キャパシタ６６に蓄積される電荷を減少または増加させる。

また、電荷調整回路７２は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流されない場合、キャパシタ６６に蓄積される電荷を一定とする。例えば、電荷調整回路７２は、入力スイッチ６４がオフ状態の場合、つまり、入力信号（Ｓ_ｉｎ）が０の場合、キャパシタ６６に蓄積される電荷を変化させない。

例えば、電荷調整回路７２は、ダイオード接続されたＭＯＳ−ＦＥＴである。図４の例では、電荷調整回路７２は、ダイオード接続されたＮチャネルＭＯＳ−ＦＥＴである。ＮチャネルＭＯＳ−ＦＥＴである電荷調整回路７２は、ゲートとドレインとが接続され、ゲートにキャパシタ６６の第２端子６６ｂが接続され、ソースがノードＡに接続される。そして、ＭＯＳ−ＦＥＴである電荷調整回路７２は、ノードＡにウェイト電流（Ｉ_Ｗ）が流れる場合、キャパシタ６６の第２端子６６ｂからキャパシタ電流（Ｉ_Ｃ）を吸い出してノードＡへと供給する。または、ＭＯＳ−ＦＥＴである電荷調整回路７２は、ノードＡからキャパシタ電流（Ｉ_Ｃ）を吸い出してキャパシタ６６の第２端子６６ｂに供給する。

これにより、電荷調整回路７２は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、キャパシタ電圧（Ｖ_Ｃ）を減少させ、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流されない場合、キャパシタ電圧（Ｖ_Ｃ）を一定とさせることができる。従って、電荷調整回路７２は、入力スイッチ６４がオン状態の場合、つまり、入力信号（Ｓ_ｉｎ）が１の場合、キャパシタ電圧（Ｖ_Ｃ）を減少させることができる。また、電荷調整回路７２は、入力スイッチ６４がオフ状態の場合、つまり、入力信号（Ｓ_ｉｎ）が０の場合、キャパシタ電圧（Ｖ_Ｃ）を一定とすることができる。

第１定電流回路７４は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、予め定められた一定の第１電流（Ｉ_ｔａｕ）をノードＡへと供給する。例えば、第１定電流回路７４は、ＭＯＳ−ＦＥＴである。図４の例では、第１定電流回路７４は、ＰチャネルＭＯＳ−ＦＥＴである。ＰチャネルＭＯＳ−ＦＥＴである第１定電流回路７４は、ゲートに予め定められた一定の第１電圧（Ｖ_ｔａｕ）が印加され、ソースが電源電位に接続され、ドレインが電荷調整回路７２のドレインに接続される。そして、このような第１定電流回路７４は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、第１電流（Ｉ_ｔａｕ）を電荷調整回路７２を介してノードＡへと供給する。

第２定電流回路７６は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、予め定められた一定の第２電流（Ｉ_ｔｈｒ）をノードＡへと供給する。例えば、第２定電流回路７６は、ＭＯＳ−ＦＥＴである。図４の例では、第２定電流回路７６は、ＮチャネルＭＯＳ−ＦＥＴである。ＮチャネルＭＯＳ−ＦＥＴである第２定電流回路７６は、ゲートに予め定められた一定の第２電圧（Ｖ_ｔｈｒ）が印加され、ドレインが電源電位に接続され、ソースがノードＡに接続される。そして、このような第２定電流回路７６は、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合、第２電流（Ｉ_ｔｈｒ）を電荷調整回路７２を介してノードＡへと供給する。

正規化回路７８は、制御回路８０による制御に応じて、予め設定された電流値の正規化電流（Ｉ_ＮＷ）をノードＡへと出力する。正規化回路７８は、電流発生回路８２と、スイッチ回路８４とを含む。電流発生回路８２は、予め設定された電流値の正規化電流（Ｉ_ＮＷ）を発生する。スイッチ回路８４は、制御回路８０による制御に応じて、電流発生回路８２から発生された正規化電流（Ｉ_ＮＷ）を、ノードＡへと供給するか否かを切り替える。

制御回路８０は、ウェイト値（Ｗ）に応じて、キャパシタ電流（Ｉ_Ｃ）から正規化電流（Ｉ_ＮＷ）を減じるか否かを切り替える。より具体的には、制御回路８０は、ウェイト値（Ｗ）に応じて、正規化回路７８からノードＡへと正規化電流（Ｉ_ＮＷ）を出力させるか否かを切り替える。例えば、制御回路８０は、ウェイト値（Ｗ）が設定された値以下である場合、正規化回路７８からノードＡへと正規化電流（Ｉ_ＮＷ）を出力させず、ウェイト値（Ｗ）が設定された値より大きい場合、正規化回路７８からノードＡへと正規化電流（Ｉ_ＮＷ）を出力させる。

例えば、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が、予め設定された第１電圧範囲内である場合（例えば、ウェイト電圧（Ｖ_Ｗ）が予め設定された第１電圧値以下である場合）、正規化回路７８からノードＡへと正規化電流（Ｉ_ＮＷ）を出力させない。そして、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が第１電圧範囲外となった場合（例えば、ウェイト電圧（Ｖ_Ｗ）が第１電圧値より大きくなった場合）、正規化回路７８からノードＡへと正規化電流（Ｉ_ＮＷ）を出力させる。

また、この場合、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、ウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内となっても（例えばウェイト電圧（Ｖ_Ｗ）が第１電圧値以下となっても）、正規化電流（Ｉ_ＮＷ）を出力させ続ける。これに代えて、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、所定時間前から現在までの間、ウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内である場合（例えばウェイト電圧（Ｖ_Ｗ）が第１電圧値以下である場合）、正規化電流（Ｉ_ＮＷ）の出力を停止させてもよい。

図５は、入力信号（Ｓ_ｉｎ）、キャパシタ電圧（Ｖ_Ｃ）および出力信号（Ｓ_ｏｕｔ）の一例を示す図である。

図４に示した回路において、キャパシタ電圧（Ｖ_Ｃ）は、入力信号（Ｓ_ｉｎ）が０から１に変化した第１時刻（ｔ_１）から減少を開始する。そして、出力信号（Ｓ_ｏｕｔ）は、キャパシタ電圧（Ｖ_Ｃ）が閾値電圧（Ｖ_ｔ）以下となった時刻で０から１に変化する。

ここで、キャパシタ電圧（Ｖ_Ｃ）の時間変化量は、ウェイト電流（Ｉ_Ｗ）の大きさに応じて変化する。ウェイト電流（Ｉ_Ｗ）は、ウェイト保持回路６０により保持されているウェイト値（Ｗ）に応じた電流量である。

従って、出力信号（Ｓ_ｏｕｔ）は、入力信号（Ｓ_ｉｎ）が０から１に変化した第１時刻（ｔ_１）から、ウェイト値（Ｗ）に応じた時間分遅延した時刻において、０から１に変化する。例えば、入力信号（Ｓ_ｉｎ）が０から１に変化してから、出力信号（Ｓ_ｏｕｔ）が０から１に変化する遅延時間は、ウェイト値（Ｗ）が大きい程、短い。従って、シナプス回路４０は、前段ニューロン回路３２から受け取った入力信号（Ｓ_ｉｎ）をウェイト値（Ｗ）に応じた時間分遅延した出力信号（Ｓ_ｏｕｔ）を生成し、生成した出力信号（Ｓ_ｏｕｔ）を後段ニューロン回路３４へと供給することができる。

さらに、キャパシタ電圧（Ｖ_Ｃ）の時間変化量は、正規化電流（Ｉ_ＮＷ）が出力されない状態（正規化オフ）から、正規化電流（Ｉ_ＮＷ）が出力された状態（正規化オン）かによっても変化する。より具体的には、正規化電流（Ｉ_ＮＷ）が出力される状態（正規化オン）のキャパシタ電圧（Ｖ_Ｃ）の時間変化量は、正規化電流（Ｉ_ＮＷ）が出力されない状態（正規化オフ）のキャパシタ電圧（Ｖ_Ｃ）の時間変化量より大きい。

このため、正規化電流（Ｉ_ＮＷ）が出力される場合（正規化オン）の遅延時間は、正規化電流（Ｉ_ＮＷ）が出力されない場合（正規化オフ）の遅延時間よりも長くなる。つまり、正規化オンの場合における出力信号（Ｓ_ｏｕｔ）が０から１に変化する第３時刻（ｔ_３）は、正規化オフの場合における出力信号（Ｓ_ｏｕｔ）が０から１に変化する第２時刻（ｔ_２）より遅い。

従って、制御回路８０は、正規化電流（Ｉ_ＮＷ）が出力させた場合、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓ_ｏｕｔ）を出力させることができる。つまり、制御回路８０は、正規化処理をした場合と同様の処理を実行することができる。

以下、正規化電流（Ｉ_ＮＷ）が出力されない場合と、正規化電流（Ｉ_ＮＷ）が出力される場合の違いについてさらに説明する。

入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流される場合（入力スイッチ６４がオン状態の場合）、シナプス回路４０は、ノードＡから基準電位（グランド）へとウェイト電流（Ｉ_Ｗ）を吸い出す。さらに、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され、且つ、正規化電流（Ｉ_ＮＷ）が出力されない場合（正規化オフの場合）、シナプス回路４０は、電源電位側からノードＡへと、第１電流（Ｉ_ｔａｕ）、第２電流（Ｉ_ｔｈｒ）およびキャパシタ電流（Ｉ_Ｃ）を供給する。従って、この場合、ノードＡの電流は、式（１１）に示すように表される。
Ｉ_Ｗ＝Ｉ_ｔａｕ＋Ｉ_ｔｈ＋Ｉ_Ｃ…（１１）

式（１１）から、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され、且つ、正規化電流（Ｉ_ＮＷ）が出力されない場合、キャパシタ電流（Ｉ_Ｃ）は、式（１２）に示すように表される。
Ｉ_Ｃ＝Ｉ_Ｗ−（Ｉ_ｔａｕ＋Ｉ_ｔｈ）…（１２）

すなわち、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され、且つ、正規化電流（Ｉ_ＮＷ）が出力されない場合、キャパシタ電流（Ｉ_Ｃ）は、ウェイト電流（Ｉ_Ｗ）から、予め設定された電流値の一定電流を減じた電流値となる。

一方、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され（入力スイッチ６４がオン状態）、且つ、正規化電流（Ｉ_ＮＷ）が出力される場合（正規化オンの場合）、シナプス回路４０は、電源電位側からノードＡへと、第１電流（Ｉ_ｔａｕ）、第２電流（Ｉ_ｔｈｒ）、キャパシタ電流（Ｉ_Ｃ）および正規化電流（Ｉ_ＮＷ）を供給する。従って、この場合、ノードＡの電流は、式（１３）に示すように表される。
Ｉ_Ｗ＝Ｉ_ｔａｕ＋Ｉ_ｔｈ＋Ｉ_Ｃ＋Ｉ_ＮＷ…（１３）

式（１３）から、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され、且つ、正規化電流（Ｉ_ＮＷ）が出力さえる場合、キャパシタ電流（Ｉ_Ｃ）は、式（１４）に示すように表される。
Ｉ_Ｃ＝Ｉ_Ｗ−Ｉ_ＮＷ−（Ｉ_ｔａｕ＋Ｉ_ｔｈ）…（１４）

すなわち、入力スイッチ６４によりウェイト電流（Ｉ_Ｗ）が流され、且つ、正規化電流（Ｉ_ＮＷ）が出力される場合、キャパシタ電流（Ｉ_Ｃ）は、ウェイト電流（Ｉ_Ｗ）から、予め設定された電流値の一定電流および正規化電流を減じた電流値である。

式（１２）および式（１４）から、正規化電流（Ｉ_ＮＷ）が出力されない場合のキャパシタ電流（正規化オフ時のＩ_Ｃ）と、正規化電流（Ｉ_ＮＷ）が出力される場合のキャパシタ電流（正規化オン時のＩ_Ｃ）とは、式（１５）のような関係になることが分かる。
正規化オフ時のＩ_Ｃ＞正規化オン時のＩ_Ｃ…（１５）

このように、制御回路８０は、正規化電流（Ｉ_ＮＷ）をノードＡへと出力させることにより、電源電位側からノードＡへと供給される電流量を多くすることができる。電源電位側からノードＡに供給される電流量が多くなると、キャパシタ電流（Ｉ_Ｃ）は、相対的に小さくなる。従って、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させていない状態（正規化オフ）から、正規化電流（Ｉ_ＮＷ）を出力させている状態（正規化オン）に切り替えることにより、キャパシタ６６に蓄積する電荷の時間変化量を小さくすることができる。すなわち、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させていない状態（正規化オフ）から、正規化電流（Ｉ_ＮＷ）を出力させている状態（正規化オン）に切り替えることにより、キャパシタ電圧（Ｖ_Ｃ）の時間変化量を小さくすることができる。

図６は、正規化回路７８の第１の回路構成例を示す図である。正規化回路７８は、例えば、図６に示すような回路である。

図６に示す正規化回路７８の電流発生回路８２は、第１電界効果トランジスタ８６と、第２電界効果トランジスタ８８と、定電流源９０とを含む。

第１電界効果トランジスタ８６は、ダイオード接続され、ゲートが第２電界効果トランジスタ８８のゲートに接続されている。図６の例では、第１電界効果トランジスタ８６は、ＰチャネルＭＯＳ−ＦＥＴである。この場合、第１電界効果トランジスタ８６は、ソースが電源電位に接続され、ゲートがドレインに接続されている。

第２電界効果トランジスタ８８は、第１電界効果トランジスタ８６のドレイン−ソース間に流れる電流に応じた電流をドレイン−ソース間に流す。図６の例では、第２電界効果トランジスタ８８は、ＮチャネルＭＯＳ−ＦＥＴである。この場合、第２電界効果トランジスタ８８は、ゲートが第１電界効果トランジスタ８６のゲートに接続され、ドレインが電源電位に接続され、ソースがスイッチ回路８４に接続されている。

定電流源９０は、第１電界効果トランジスタ８６のドレイン−ソースに対して直列に接続される。定電流源９０は、定電流を流す。図６の例では、定電流源９０は、第１電界効果トランジスタ８６のドレインと、基準電位（グランド）との間に接続される。

また、図６に示す正規化回路７８のスイッチ回路８４は、第２電界効果トランジスタ８８のソースから出力される電流を、正規化電流（Ｉ_ＮＷ）としてノードＡへと出力させる。図６の例では、スイッチ回路８４は、ＮチャネルＭＯＳ−ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが第２電界効果トランジスタ８８のソースに接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。

このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、定電流源９０から出力される定電流に応じた電流を、正規化電流（Ｉ_ＮＷ）としてノードＡに供給することができる。

図７は、正規化回路７８の第２の回路構成例を示す図である。正規化回路７８は、例えば、図７に示すような回路であってもよい。

図７に示す正規化回路７８の電流発生回路８２は、抵抗９２を含む。抵抗９２は、一方の端子が電源電位に接続され、他方の端子がスイッチ回路８４に接続されている。

また、図７に示す正規化回路７８のスイッチ回路８４は、抵抗９２に流れる電流を、正規化電流（Ｉ_ＮＷ）として出力させる。図７の例では、スイッチ回路８４は、ＮチャネルＭＯＳ−ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが抵抗９２に接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。

このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、抵抗９２に流れる電流を、正規化電流（Ｉ_ＮＷ）としてノードＡに供給することができる。

図８は、正規化回路７８の第３の回路構成例を示す図である。正規化回路７８は、例えば、図８に示すような回路であってもよい。

図８に示す正規化回路７８の電流発生回路８２は、第３電界効果トランジスタ９４を含む。第３電界効果トランジスタ９４は、ドレイン−ソース間に一定の電流を流す。図８に示す例では、第３電界効果トランジスタ９４は、ＮチャネルＭＯＳ−ＦＥＴである。この場合、第３電界効果トランジスタ９４は、ゲートに予め定められた定電圧（Ｖ_Ａ）が印加され、ドレインが電源電位に接続され、スイッチ回路８４に接続されている。

また、図８に示す正規化回路７８のスイッチ回路８４は、第３電界効果トランジスタ９４のドレイン−ソース間に流れる電流を、正規化電流（Ｉ_ＮＷ）として出力させる。図８の例では、スイッチ回路８４は、ＮチャネルＭＯＳ−ＦＥＴである。この場合、スイッチ回路８４は、ゲートに制御回路８０からの制御信号が印加され、ドレインが第３電界効果トランジスタ９４のソースに接続され、ソースがノードＡに接続される。制御回路８０は、スイッチ回路８４に制御信号を与えて、スイッチ回路８４を導通状態または切断状態に切り替える。

このような構成の正規化回路７８は、制御回路８０からの制御信号に応じて、第３電界効果トランジスタ９４のドレイン−ソース間に流れる電流を、正規化電流（Ｉ_ＮＷ）としてノードＡに供給することができる。

図９は、制御回路８０の第１の処理例を示す図である。制御回路８０は、例えば、図９に示すような流れで処理を実行する。

まず、Ｓ１１において、制御回路８０は、ウェイト保持回路６０から出力されるウェイト電圧（Ｖ_Ｗ）を取得する。続いて、Ｓ１２において、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きいか否かを判断する。制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくない場合（Ｓ１２のＮｏ）、処理をＳ１３に進める。

Ｓ１３において、制御回路８０は、正規化をオフとする制御信号を正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力しない。制御回路８０は、Ｓ１３の後、処理をＳ１１に戻す。

また、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きい場合（Ｓ１２のＹｅｓ）、処理をＳ１４に進める。Ｓ１４において、制御回路８０は、正規化をオンとする制御信号を正規化回路７８に与える。正規化をオンとする制御信号を受け取った場合、正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力する。

正規化電流（Ｉ_ＮＷ）が出力された場合、キャパシタ電圧（Ｖ_Ｃ）の時間変化量は、正規化電流（Ｉ_ＮＷ）が出力されない場合と比較して、小さくなる。この結果、シナプス回路４０は、入力信号（Ｓ_ｉｎ）が０から１に変化してから、出力信号（Ｓ_ｏｕｔ）が０から１に変化するまでの遅延時間を、長くすることができる。これにより、シナプス回路４０は、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓ_ｏｕｔ）を出力させることができる。つまり、シナプス回路４０は、ウェイト値（Ｗ）に対して正規化処理をした場合と同様の処理を実行することができる。

制御回路８０は、正規化をオンとする制御信号を出力した後、本フローを終了する。すなわち、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、正規化電流（Ｉ_ＮＷ）を出力させ続ける。

このような処理をすることにより、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が予め設定された第１電圧範囲内である場合（例えば、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくない場合）、正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させないことができる。また、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が、第１電圧範囲外となった場合（例えば、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなった場合）、正規化電流（Ｉ_ＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、ウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内となっても（例えば、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）以下となっても）、正規化電流（Ｉ_ＮＷ）を出力させ続けることができる。

図１０は、制御回路８０の第２の処理例を示す図である。制御回路８０は、例えば、図１０に示すような流れで処理を実行してもよい。

図１０に示す処理は、図９に示した処理と比較して、Ｓ２１の処理が加わっている。制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくない場合（Ｓ１２のＮｏ）、処理をＳ１３ではなく、Ｓ２１に進める。

Ｓ２１において、制御回路８０は、所定時間前から現在までの間に、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことがあるか否かを判断する。所定時間前から現在までの間に、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことが無い場合（Ｓ２１のＮｏ）、制御回路８０は、処理をＳ１３に進める。

そして、Ｓ１３において、制御回路８０は、正規化をオフとする制御信号を正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力しない。制御回路８０は、Ｓ１３の後、処理をＳ１１に戻す。

制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きい場合（Ｓ１２のＹｅｓ）、または、所定時間前から現在までの間に、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことがある場合（Ｓ２１のＹｅｓ）、処理をＳ１４に進める。

Ｓ１４において、制御回路８０は、正規化をオンとする制御信号を正規化回路７８に与える。そして、制御回路８０は、Ｓ１４の後、処理をＳ１１に戻す。

このような処理を実行することにより、制御回路８０は、ウェイト電圧（Ｖ_Ｗ）が、第１電圧範囲外となった場合（例えば、ウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなった場合）、正規化電流（Ｉ_ＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、所定時間前から現在までの間、ウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内である場合、正規化電流（Ｉ_ＮＷ）の出力を停止させることができる。

図１１は、変形例に係る複数のシナプス回路４０および後段ニューロン回路３４の接続関係を示す図である。ニューラルネットワーク装置１０は、複数のシナプス回路４０のそれぞれが有する制御回路８０に代えて、複数のシナプス回路４０に対して共通の制御回路８０を備えてもよい。

制御回路８０は、同一の後段ニューロン回路３４に対して出力信号（Ｓ_ｏｕｔ）を出力する２以上のシナプス回路４０を共通に制御してもよい。この場合、制御回路８０は、これら２以上のシナプス回路４０のそれぞれのウェイト保持回路６０に保持されたウェイト値（Ｗ）を取得する。そして、制御回路８０は、取得した２以上のウェイト値（Ｗ）に応じて、これら２以上のシナプス回路４０のそれぞれのキャパシタ電流（Ｉ_ｃ）から正規化電流（Ｉ_ＮＷ）を減じるか否かを切り替える。

例えば、制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における全てのウェイト電圧（Ｖ_Ｗ）が、第１電圧範囲内である場合、２以上のシナプス回路４０における全ての正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させない。制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における、少なくとも１つのウェイト電圧（Ｖ_Ｗ）が第１電圧範囲外となった場合、２以上のシナプス回路４０における全ての正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させる。

これにより、制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に設定されている複数のウェイト値（Ｗ）の和を一定値以下にするように調整する正規化処理と、同様の処理を実行することができる。

図１２は、制御回路８０の第１の処理例を示す図である。制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に対して、図１２に示すような流れで処理を実行する。

まず、Ｓ３１において、制御回路８０は、２以上のシナプス回路４０のそれぞれからウェイト電圧（Ｖ_Ｗ）を取得する。続いて、Ｓ３２において、制御回路８０は、２以上のウェイト電圧（Ｖ_Ｗ）のうちの最大のウェイト電圧（Ｖ_Ｗ）を検出する。

続いて、Ｓ３３において、制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きいか否かを判断する。制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくない場合（Ｓ３３のＮｏ）、処理をＳ３４に進める。

Ｓ３４において、制御回路８０は、正規化をオフとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、２以上のシナプス回路４０のそれぞれの正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力しない。制御回路８０は、Ｓ３４の後、処理をＳ３１に戻す。

また、制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きい場合（Ｓ３３のＹｅｓ）、処理をＳ３５に進める。Ｓ３５において、制御回路８０は、正規化をオンとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオンとする制御信号を受け取った場合、２以上のシナプス回路４０のそれぞれの正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力する。

正規化電流（Ｉ_ＮＷ）が出力された場合、キャパシタ電圧（Ｖ_Ｃ）の時間変化量は、正規化電流（Ｉ_ＮＷ）が出力されない場合と比較して、小さくなる。この結果、シナプス回路４０は、入力信号（Ｓ_ｉｎ）が０から１に変化してから、出力信号（Ｓ_ｏｕｔ）が０から１に変化するまでの遅延時間を、長くすることができる。これにより、シナプス回路４０は、ウェイト値（Ｗ）を一定値小さくした場合と同様の出力信号（Ｓ_ｏｕｔ）を出力させることができる。つまり、シナプス回路４０は、ウェイト値（Ｗ）に対して正規化処理をした場合と同様の処理を実行することができる。

制御回路８０は、正規化をオンとする制御信号を出力した後、本フローを終了する。すなわち、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、正規化電流（Ｉ_ＮＷ）を出力させ続ける。

制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における全てのウェイト電圧（Ｖ_Ｗ）が、第１電圧範囲内である場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させないことができる。また、制御回路８０は、同一の後段ニューロン回路３４に対して出力信号を出力する２以上のシナプス回路４０における、少なくとも１つのウェイト電圧（Ｖ_Ｗ）が第１電圧範囲外となった場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、２以上のシナプス回路４０における全てのウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内となっても、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させ続けることができる。

図１３は、制御回路８０の第２の処理例を示す図である。制御回路８０は、同一の後段ニューロン回路３４に接続されている２以上のシナプス回路４０に対して、図１３に示すような流れで処理を実行してもよい。

図１３に示す処理は、図１２に示した処理と比較して、Ｓ４１の処理が加わっている。制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくない場合（Ｓ３３のＮｏ）、処理をＳ３４ではなく、Ｓ４１に進める。

Ｓ４１において、制御回路８０は、所定時間前から現在までの間に、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことがあるか否かを判断する。所定時間前から現在までの間に、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことが無い場合（Ｓ４１のＮｏ）、制御回路８０は、処理をＳ３４に進める。

そして、Ｓ３４において、制御回路８０は、正規化をオフとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。正規化をオフとする制御信号を受け取った場合、正規化回路７８は、正規化電流（Ｉ_ＮＷ）を出力しない。制御回路８０は、Ｓ３４の後、処理をＳ３１に戻す。

制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きい場合（Ｓ３３のＹｅｓ）、または、所定時間前から現在までの間に、最大のウェイト電圧（Ｖ_Ｗ）が所定電圧（Ｖ_ｍａｘ）より大きくなったことがある場合（Ｓ４１のＹｅｓ）、処理をＳ３５に進める。

Ｓ３５において、制御回路８０は、正規化をオンとする制御信号を、２以上のシナプス回路４０のそれぞれの正規化回路７８に与える。そして、制御回路８０は、Ｓ３５の後、処理をＳ３１に戻す。

このような処理を実行することにより、制御回路８０は、最大のウェイト電圧（Ｖ_Ｗ）が、第１電圧範囲外となった場合、２以上のシナプス回路４０のそれぞれの正規化回路７８から正規化電流（Ｉ_ＮＷ）を出力させることができる。さらに、制御回路８０は、正規化電流（Ｉ_ＮＷ）を出力させた後、所定時間前から現在までの間、２以上のシナプス回路４０における全てのウェイト電圧（Ｖ_Ｗ）が第１電圧範囲内である場合、正規化電流（Ｉ_ＮＷ）の出力を停止させることができる。

以上のように、本実施形態に係るニューラルネットワーク装置１０によれば、適切に推論することができるようにニューロンの発火を調整する正規化処理を、簡易な構成で行うことができる。これにより、本実施形態に係るニューラルネットワーク装置１０によれば、精度の良い推論を実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ ニューラルネットワーク装置
２２ レイヤ
２４ シナプス部
２６ 学習回路
３０ ニューロン回路
３２ 前段ニューロン回路
３４ 後段ニューロン回路
４０ シナプス回路
６０ ウェイト保持回路
６２ ウェイト電流回路
６４ 入力スイッチ
６６ キャパシタ
６８ 出力増幅回路
７０ 出力回路
７２ 電荷調整回路
７４ 第１定電流回路
７６ 第２定電流回路
７８ 正規化回路
８０ 制御回路
８２ 電流発生回路
８４ スイッチ回路
８６ 第１電界効果トランジスタ
８８ 第２電界効果トランジスタ
９０ 定電流源
９２ 抵抗
９４ 第３電界効果トランジスタ

Claims (15)

1. ウェイト値が設定され、前段ニューロン回路から２値の入力信号を受け取り、後段ニューロン回路へと出力信号を出力するシナプス回路であって、
   前記ウェイト値に応じた電流値のウェイト電流を流すウェイト電流回路と、
   前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える入力スイッチと、
   第１端子および第２端子を有し、前記第１端子に定電圧が印加されるキャパシタと、
   前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する出力回路と、
   前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる電荷調整回路と、
   前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える制御回路と、
   を備えるシナプス回路。
2. 予め定められた電流値の正規化電流を出力する正規化回路をさらに備え、
   前記制御回路は、前記ウェイト値に応じて、前記正規化回路から、前記キャパシタ電流から減じる前記電流として前記正規化電流を出力させるか否かを切り替え、
   前記キャパシタ電流は、
   前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力されない場合、前記ウェイト電流から、予め設定された一定電流を減じた電流値であり、
   前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力される場合、前記ウェイト電流から、前記一定電流および前記正規化電流を減じた電流値である
   請求項１に記載のシナプス回路。
3. 前記正規化回路は、
   ダイオード接続された第１電界効果トランジスタと、
   ゲートが、前記第１電界効果トランジスタのゲートに接続された第２電界効果トランジスタと、
   前記第１電界効果トランジスタのドレイン−ソースに直列に接続され、定電流を流す定電流源と、
   前記第２電界効果トランジスタのドレイン−ソースに対して直列に接続されたスイッチ回路と、
   を有し、
   前記正規化回路は、前記第２電界効果トランジスタのドレイン−ソース間に流れる電流を前記正規化電流として出力し、
   前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
   請求項２に記載のシナプス回路。
4. 前記正規化回路は、
   一方の端子が電源電位に接続された抵抗と、
   前記抵抗における前記電源電位とは異なる端子と前記ウェイト電流回路との間に接続されたスイッチ回路と、
   を有し、
   前記正規化回路は、前記抵抗に流れる電流を前記正規化電流として出力し、
   前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
   請求項２に記載のシナプス回路。
5. 前記正規化回路は、
   ゲートに所定電圧が印加された第３電界効果トランジスタと、
   前記第３電界効果トランジスタのドレイン−ソースに対して直列に接続されたスイッチ回路と、
   を有し、
   前記正規化回路は、前記第３電界効果トランジスタのドレイン−ソース間に流れる電流を前記正規化電流として出力し、
   前記制御回路は、前記スイッチ回路を導通状態または切断状態に切り替える
   請求項２に記載のシナプス回路。
6. 前記ウェイト値を記憶し、前記ウェイト値に応じた電圧値のウェイト電圧を出力するウェイト保持回路をさらに備え、
   前記ウェイト電流回路は、前記ウェイト電圧に応じた電流値の前記ウェイト電流を流す
   請求項２から５の何れか１項に記載のシナプス回路。
7. 前記制御回路は、
   前記ウェイト電圧が、予め設定された第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
   前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
   請求項６に記載のシナプス回路。
8. 前記制御回路は、前記正規化電流を出力させた後、前記ウェイト電圧が前記第１電圧範囲内となっても、前記正規化電流を出力させ続ける
   請求項７に記載のシナプス回路。
9. 前記制御回路は、前記正規化電流を出力させた後、所定時間前から現在までの間、前記ウェイト電圧が前記第１電圧範囲内である場合、前記正規化電流の出力を停止させる
   請求項７に記載のシナプス回路。
10. それぞれが複数のニューロン回路を含む、Ｎ段（Ｎは２以上の整数）のレイヤと、
    （Ｎ−１）個のシナプス部と、
    を備え、
    前記（Ｎ−１）個のシナプス部のそれぞれは、
    それぞれに固有のウェイト値が設定された複数のシナプス回路と、
    制御回路と、
    を有し、
    前記（Ｎ−１）個のシナプス部のうちのｎ番目（ｎは、１以上、（Ｎ−１）以下の整数）のシナプス部に含まれる前記複数のシナプス回路のそれぞれは、ｎ段目のレイヤに含まれる前記複数のニューロン回路のうちの１つの前段ニューロン回路から出力された信号を２値の入力信号として受け取り、（ｎ＋１）段目のレイヤに含まれる前記複数のニューロン回路のうちの１つの後段ニューロン回路に出力信号を与え、
    前記Ｎ段のレイヤのうちの（ｎ＋１）段目のレイヤに含まれる前記複数のニューロン回路のそれぞれは、前記ｎ番目のシナプス部に含まれる何れか２以上のシナプス回路から出力された２以上の前記出力信号を受け取り、受け取った２以上の前記出力信号に基づき発火する信号を出力し、
    前記複数のシナプス回路のそれぞれは、
    前記ウェイト値に応じた電流値のウェイト電流を流すウェイト電流回路と、
    前記入力信号に応じて、前記ウェイト電流回路に前記ウェイト電流を流させるか否かを切り替える入力スイッチと、
    第１端子および第２端子を有し、前記第１端子に定電圧が印加されるキャパシタと、
    前記第２端子に発生するキャパシタ電圧に応じた前記出力信号を出力する出力回路と、
    前記入力スイッチにより前記ウェイト電流が流される場合、前記第２端子から前記ウェイト電流の電流値に応じたキャパシタ電流を吸い出す、または、前記キャパシタ電流を前記第２端子に供給することにより、前記キャパシタに蓄積される電荷を減少または増加させる電荷調整回路と、
    を有し、
    前記制御回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト値に応じて、前記キャパシタ電流から予め定められた電流値の電流を減じるか否かを切り替える
    ニューラルネットワーク装置。
11. 前記複数のシナプス回路のそれぞれは、
    予め定められた電流値の正規化電流を出力する正規化回路をさらに備え、
    前記制御回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト値に応じて、前記正規化回路から、前記キャパシタ電流から減じる前記電流として前記正規化電流を出力させるか否かを切り換え、
    前記キャパシタ電流は、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力されない場合、前記ウェイト電流から、予め設定された一定電流を減じた電流値であり、
    前記入力スイッチにより前記ウェイト電流が流され、且つ、前記正規化電流が出力される場合、前記ウェイト電流から、前記一定電流および前記正規化電流を減じた電流値である
    請求項１０に記載のニューラルネットワーク装置。
12. 前記複数のシナプス回路のそれぞれは、
    前記ウェイト値を記憶し、前記ウェイト値に応じた電圧値のウェイト電圧を出力するウェイト保持回路をさらに備え、
    前記ウェイト電流回路は、前記複数のシナプス回路のそれぞれについて、前記ウェイト電圧に応じた電流値の前記ウェイト電流を流す
    請求項１１に記載のニューラルネットワーク装置。
13. 前記制御回路は、前記複数のシナプス回路のそれぞれについて、
    前記ウェイト電圧が、予め設定された第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
    前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
    請求項１２に記載のニューラルネットワーク装置。
14. 前記制御回路は、同一の前記後段ニューロン回路に対して前記出力信号を出力する２以上のシナプス回路における全ての前記ウェイト電圧が、前記第１電圧範囲内である場合、前記正規化回路から前記正規化電流を出力させず、
    前記２以上のシナプス回路における、少なくとも１つの前記ウェイト電圧が前記第１電圧範囲外となった場合、前記正規化電流を出力させる
    請求項１３に記載のニューラルネットワーク装置。
15. 前記（Ｎ−１）個のシナプス部のそれぞれに含まれる前記複数のシナプス回路に設定された前記ウェイト値を、前記前段ニューロン回路から出力された信号が発火したことに応じて、前記後段ニューロン回路から出力された信号が発火した場合、所定量増加させる学習回路をさらに備える
    請求項１０から１４の何れか１項に記載のニューラルネットワーク装置。

Images