JP2020500363A - 発振記憶神経形態学的回路のための学習アルゴリズム - Google Patents

Abstract

発振記憶神経形態学的回路のための学習アルゴリズムが説明される。実施形態では、神経形態学的回路学習ネットワークは、各々が認知ニューロンユニットと生成ニューロンユニットとを含む複数の神経形態学的回路ノードを含む。学習ネットワークは、神経形態学的回路ノード中の認知ニューロン単位間の複数の神経形態学的回路フィードフォワード結合と、神経形態学的回路ノード中の生成ニューロンユニット間の複数の神経形態学的フィードバック結合とを含む。学習ネットワークはまた、モードにおいて学習のための認知ニューロンユニット間の活動を駆動し、他のモードにおいて学習のための認知ニューロンユニットを訓練するように構成された学習コントローラを含む。学習ネットワークには様々な深層学習アルゴリズムが実装され得る。２つの例は、教師なしニューラルネットワーク及びターゲット伝播のための覚醒睡眠アルゴリズムが含まれる。

Description

関連出願への相互参照．
本願は、２０１６年１０月２７日出願の米国仮出願第６２／４１３６７３号に基づく優先権を主張し、その内容は全体を通して、参照により本明細書に組み込まれる。

本開示は、発振記憶神経形態学的回路のための学習アルゴリズムに関する。

メモリスタは、受動的な非線形２端子電子素子である。メモリスタ内において、デバイスの電気抵抗は、直前にデバイスを通って流れた電流の履歴に依存する。従って、任意の与えられた時刻におけるメモリスタの抵抗又はインピーダンスは、直前にどれだけの量の電荷が、どの方向に流れたかに依存する。

シナプスネットワークのためのメモリスタの使用は、神経形態学的回路の発展の分野における有望なアプローチとして提案されてきた。メモリスタは、結合部前部及び結合部後部の電圧制御のための相補型金属酸化物半導体（ＣＭＯＳ）ベースの回路とともに、クロスバーシナプスネットワークに組み込まれてきた。それらの回路は、ＣＭＯＳベースの電圧制御及び電流制御がメモリスタの抵抗又はインピーダンス（例えばメモリ）における変化を生むのに用いられ得るということを実証する。

ある実施例において、神経形態学的回路学習ネットワークは、複数の神経形態学的回路ノードを含み、各神経形態学的回路ノードは、認知ニューロンユニット及び生成ニューロンユニットを含む。ネットワークは、神経形態学的回路ノード内の認知ニューロンユニット同士の間の複数の神経形態学的回路フィードフォワード結合と、神経形態学的回路ノード内の生成ニューロンユニット同士の間の複数の神経形態学的回路フィードバック結合とをさらに含む。第１のモードにおいて、学習コントローラは、神経形態学的回路フィードフォワード結合を通じて認知ニューロンユニット内の活動を駆動し、神経形態学的回路を通じた学習のために生成ニューロンユニットを訓練するように構成される。第２のモードにおいて、学習コントローラは、神経形態学的回路フィードバック結合を通じて生成ニューロンユニット中の活動を駆動し、神経形態学的回路を通じた学習のために認知ニューロンネットワークを訓練するようにさらに構成される。

様々な例において、神経形態学的回路フィードフォワード結合及び神経形態学的回路フィードバック結合は、１つ以上のメモリスタを含み得る。メモリスタは長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタを含んでよく、フィードフォワード結合及びフィードバック結合は、ＬＴＰメモリスタ及びＬＴＤメモリスタからの出力信号の間の差に基づいて差動信号を生成する差動増幅回路も含んでよい。

別の実施形態では、神経形態学的回路学習ネットワークの訓練の方法は、第１のモードにおいて、複数の神経形態学的回路ノード中のフィードフォワード結合を通じた複数の神経形態学的回路ノード中の認知ニューロンにおける活動を駆動するステップを含む。方法はさらに、複数の神経形態学的回路ノード中の複数のフィードバック結合を通じて学習のための複数の神経形態学的回路ノード中の生成ニューロンユニットを訓練するステップを含む。

第２のモードにおいて、方法はさらに、フィードバック結合を通じて複数の神経形態学的回路中の生成ユニットにおける活動を駆動し、フィードフォワード結合を通じて学習のための認知ニューロンユニットを訓練するステップを含む。

他の態様において、神経形態学的回路ノードは神経形態学的回路学習ネットワークにおける複数の階層を形成し、方法はさらに、前記第１のモードにおける神経形態学的回路ネットワークの最下位層に訓練用の例を提示するステップを含み得る。方法は、第２のモードにおいて、神経形態学的回路学習ネットワークにおける最上位層にランダムなベクトルを提示するステップも含み得る。

本開示の多くの態様は、以下の図面を参照してよりよく理解される。図面中の構成要素は必ずしも一定の縮尺で描かれているわけではなく、かわりに本開示の原理を明確に示すことに重点が置かれている。図面において、同様の参照番号は、いくつかの図を通して対応する部分を示す。

本開示に記述される様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す図 本開示に記述される様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す図 本開示に記述される様々な実施例に係る、記憶学習の概念を組み込んだ神経形態学的回路の例を示す図 本開示に記述される様々な実施例に係る、図２に示される神経形態学的回路の例をさらに示す図 本開示に記述される様々な実施例に係る、神経形態学的回路ネットワークの例を示す図 本開示に記述される様々な実施例に係る、図４の神経形態学的回路ネットワークの一部分を示す図 本開示に記述される様々な実施例に係る、図４及び図５に示す神経形態学的回路ネットワークを訓練する手順の例を示す図

上述のように、シナプスネットワークに対するメモリスタの使用は、神経形態学的回路の発達の分野において提案されてきた。メモリスタは例えば、シナプス前電圧及びシナプス後の電圧のための相補型酸化物半導体（ＣＭＯＳ）ベースの回路とともに、クロスバーシナプスネットワークに組み込まれた。それらの回路は、ＣＭＯＳベースの電圧制御及び電流制御がメモリスタの抵抗またはインピーダンス（例えばメモリ）に変化を生じるのに使われ得ることを示す。

本明細書に示す概念は、記憶シナプス及び発振ニューロンを用いるハードウェアベースのニューラルネットワーク（例えば、神経形態学的回路及びハードウェア）、並びにそのようなネットワークを訓練するための方法向けである。アプローチは局所化され、重みの更新、パルスの発生、又はイベント検出に外部回路を必要としない。本明細書に記述される学習規則の目的は、ニューラルネットワークを訓練するために用いられるデルタルールを近似することである。機械学習において、デルタルールは、単層ニューラルネットワークにおける人工ニューロンへの入力の重みを更新するための勾配降下学習ルールである。

線形ニューロンに対して、デルタルールは次式の形式を有する。

等式（１）において、Δｗ_ｊｉはニューロンｉからニューロンｊへの重みの変化であり、αは定数の学習速度であり、ｘ_ｉはニューロンｉの出力である。

もしニューロンｊの実出力が目的値よりも小さい場合、重みの更新は正の方向である。これにより同じ入力が再度提示された場合のニューロンｊの出力は効率的に増加し、誤差が減少される。同様に、実出力が目的値よりも大きい場合、重みの更新は負の方向となる。重みは誤差の大きさを最小化するために更新されるべきであるから、これは直感的に理解できる。

異なる活動関数を持つ異なるニューロンの種類は、異なるバージョンのデルタルールを生じる。しかしながら、誤差ｔ_ｊ−ｙ_ｊへの依存性は同じままであり、デルタルールの最もクリティカルな部分である。従って、デルタルールの近似は、誤差ｔ_ｊ−ｙ_ｊへの依存性を保存する。

標準的な速度ベースのニューロンは電流又は電圧の形の実数値のみを表現できるのに対し、発振ベースのニューロンは大きさと位相の両方で複素数を表すことができる。本明細書に記載される学習の概念は、発振の位相が他の発振ベースへの接続強度を変更するために用いられる一方で、情報を他の発振ベースのニューロンに伝達するために、ｘ_ｉ及びｙ_ｊを表す発振ベースのニューロンの発振の大きさを用いる。

２つのニューロンの発振信号は、しきい値電圧として知られるメモリスタの特性を利用することにより、それらの間の接続重みを更新するために用いることができる。メモリスタのしきい値電圧よりも低いところでは、抵抗（ひいては重み）に変化は起こらない。しかしながら、このしきい値よりも高いところでは、抵抗はメモリスタを横切る電圧降下の方向（例えば極性）に応じて増減する。この特性は、スパイクタイミング依存可塑性（ＳＴＤＰ）を実装するためにスパイクニューロンモデルにおいて利用されてきた。しかしながら、発振及び位相ベースのニューロンモデルに対する類似のルールはまだ説明されていない。

図１Ａ及び図１Ｂは、本明細書で説明される様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す。図１Ａ及び図１Ｂにおいて、２つの異なる発振器により生成された２つの電圧信号は重ね合わせられる。電圧信号は、経時的に、メモリスタの逆の端点（すなわち、メモリスタの前後の端点）における電圧にそれぞれ対応する。メモリスタ後のシナプス電圧信号は未整流の正弦波（破線）である一方で、メモリスタ前のシナプス電圧信号は整流された正弦波（実線）である。図１Ａにおいて、メモリスタの前後の電圧信号は同位相である。

図１Ａにおいて、メモリスタの前後の電圧信号は同位相である。その場合におけるメモリスタの両端の最大電圧降下は０．５Ｖであり、これはメモリスタのしきい値電圧よりも低くなり得る。従って、メモリスタにおいて抵抗の変化は起こらない。図１Ｂにおいて、メモリスタの前後の電圧信号は位相がずれている。その場合におけるメモリスタの両端の最大電圧降下は１．５Ｖであり、これはメモリスタのしきい値電圧よりも大きくなり得る。従って、図１Ｂの場合にはメモリスタにおける抵抗の変化が起こり得るが、図１Ａの場合は起こりえない。この構成の下で、重み（例えば、動作特性又はメモリスタの抵抗）が変更又は更新されたか否かは、メモリスタの前後の電圧の相対位相に依存する。これは、ＳＴＤＰと同様に、２つの発振器又は２つの発振ベースのニューロンの間の相対位相を変化させることにより、メモリスタの抵抗は変化し得ることを示す。

典型的なフィードフォワードニューラルネットワークにおいて、ニューロンの活動は、即時の誤差又は未来の重み更新により影響されることはない。このため、特定のニューロンの活動が、その誤差により、又は所与の時刻においてその重みが変化する方向により、影響されることはない。従って、提案された学習の概念において、活動を決定する発振ベースのニューロンの発振の大きさは、学習を制御して誤差により誘導される発振ベースニューロンの発振の位相とは独立に制御され得る。

図１Ａ及び図１Ｂに示されるメモリスタの前後の電圧信号のいずれかがメモリスタの両端に加えられるならば、メモリスタを通る総電流が図１Ａ及び図１Ｂに示される電圧信号の間の位相差とは独立であることが示される。これは図１Ａ及び図１Ｂを観察することによって理解することができる。上述の基準を満たすために、シナプス前のニューロンからシナプス後のニューロンへと流れる電流は、２つの発振ベースのニューロンの相対位相と独立であるべきである。これは、シナプスメモリスタの直後、シナプス後発振ベースのニューロンに入る前に、リーキー積分、ローパスフィルタ、又は移動平均フィルタを追加することにより、便利に達成することができる。純粋な正弦波の積分は０のため、シナプス前のニューロンからの整流された正弦波だけが、シナプス後ニューロンに流れる電流に寄与する。

換言すると、図１Ａ及び図１Ｂの両方に示されるメモリスタ後の電圧信号（破線）の積分は同じであるため、メモリスタの両端に図１Ａ及び図１Ｂに示すどの対の信号が適用されるかに関わらず、その対の相対位相とは独立して、総電流値は同じとなる。その知見に基づいて、デルタルールに対する効率的な近似を実現するためのアーキテクチャを以下で説明する。

図２は、本明細書に記載の様々な実施例に係る記憶学習の概念を組み込んだ例示的な神経形態学的回路１０を示す。図２に示すように、アーキテクチャは、２つの異なるニューロンの代表となる２つの発振器Ｘ_ｉ及びＹ_ｊを観測することにより理解できる。発振器Ｘ_ｉ及びＹ_ｊは、例えば位相同期ループ等の任意の適切な種類の発振器として実装され得る。従って、発振器Ｘ_ｉ及びＹ_ｊは、入力信号の位相に関連する位相を有する出力信号を生成する制御システムを含み得る。一例として、発振器Ｘ_ｉ及びＹ_ｊは、フィードバック制御ループ内で互いに結合された可変周波数発振器及び位相検出器を含み得る。発振器は周期的かつ発振する出力信号を生成することができ、位相検出器は出力信号の位相を周期的な入力信号の位相と比較することができる。位相検出器の出力は、入力信号と出力信号の位相を一致させておくために、可変周波数発振器への入力として供給され得る。

２つの発振ベースのニューロンＸ_ｉ及びＹ_ｊは、２つのメモリスタ２１，２２を含むシナプス２０により結合される。発振ベースのニューロンＸ_ｉ及びＹ_ｊの両方からの電圧出力は、一例では純粋な正弦波であると想定できる（例えば図２の波形Ａ及びＧを参照）が、他の波形も使用可能である。図２に示す構造では、シナプス後の発振ベースのニューロンＹ_ｊは、シナプス前の発振ベースのニューロンＸ_ｉから入力を受け取る。加えて、メモリスタ２１，２２は、２つの発振ベースのニューロンＸ_ｉ，Ｙ_ｊの間の接続「重み」を表すシナプスの代表である。２つのメモリスタ２１，２２は単一のシナプスを表し、後述のように正の接続及び負の接続の両方を可能にする。

様々な実施形態において、メモリスタ２１，２２は、しきい値電圧を有し、かつそれを通って以前に流れた電荷量に基づいて、又はそれに従って電流の流れを調整する、任意の適切なメモリスタとして実施され得る。例えば、メモリスタ２１，２２のそれぞれの電気抵抗は一定ではなく、それらのそれぞれを通って以前に流れた電流量の履歴に依存する。従って、各メモリスタ２１，２２のそれぞれの抵抗は、任意の所与の時間において、以前にどのような量の電荷がデバイスを通って流れたか、及びどの方向に流れたかに依存する。

シナプス２０内のメモリスタ２１，２２のうちの一方は、長期間増強（ＬＴＰ）メモリスタとして指定することができ、もう一方は長期間デプレッション（ＬＴＤ）メモリスタとして指定することができる。ＬＴＰメモリスタのコンダクタンスを増加させることにより、２つの発振器Ｘ_ｉ及びＹ_ｊの間の接続強度は強化される。一方で、ＬＴＤメモリスタのコンダクタンスを増加させることにより、２つの発振器Ｘ_ｉ及びＹｊの間の接続は弱くなる。

発振ベースのニューロンＸ_ｉの出力点には、ダイオード３０が設けられる。ダイオード３０は、図２の波形Ｂに示すように、発振器Ｘ_ｉの正弦波出力を整流する。この整流された信号は次に、２つのメモリスタ２１，２２を含むシナプス２０に渡される。シナプス２０内のメモリスタ２１，２２も、発振ベースのニューロンＹ_ｊの誤差に基づいて個別のメモリ後の正弦波フィードバック信号を受け取る。その後、これらのフィードバック信号は、シナプス２０が強化されるべきか弱化されるべきかに応じて、それらの位相を変更することによりメモリスタ２１，２２のうちの一方の抵抗を変更する。

シナプス２０の後、２つのメモリスタ２１，２２の間に流れる電流の差は、差動増幅回路４０により決定され、差分フィードバック信号として提供され得る。差動増幅回路４０の出力は、差分フィードバック信号を積分し、入力信号とフィードバック信号との間の位相差の影響を排除するローパスフィルタ４２に通され得る。ローパスフィルタ４２からの比較的安定した電流は、次に、発振ベースのニューロンＹ_ｊへの入力として提供される。

神経形態学的回路１０は、２つの理由から、１メモリスタのシナプスではなく、２メモリスタのシナプスを用いる。第１の理由は、２メモリシナプスにより、正の重みと負の重みの両方を実際に実施することができるという理由である。一方のメモリスタ（例えばＬＴＤメモリスタ）を負の重みとして作用させ、他方のメモリスタ（例えばＬＴＰメモリスタ）を正の重みとして作用させることにより、正又は負のいずれかである電流を与えるために、それぞれを通る電流は減算され得る。

第２の理由は、提案された学習概念が、Ｘ_ｉにおける電圧がどのように整流されるかに応じて、一度に２つのメモリスタ２１，２２のうちの片方のみを強化または弱化させることができるという理由である。正と負のメモリスタの両方を有することにより、シナプス２０が正のメモリスタを単純に強化することができる。一方で、負のメモリスタを強化することによりシナプス２０は弱化され得る。

両方のメモリスタ２１，２２の飽和が常に強化されることを防ぐために、（例えばダイオード３０等の）電圧整流の方向は、発振ベースのニューロンＸ_ｉ及びＹ_ｊからの電流を同時に反転させながら変更され得る。こうすることで、ダイナミクスは同じであり続け、しかしながらメモリスタ２１，２２の各々は強化されず、むしろ弱化される。これらの制度を交互に行うことにより、飽和を防ぐことができる。

図３は、図２に示す神経形態学的回路１０の実施例をさらに示す。２つの発振ベースのニューロンＸ_ｉ，Ｙ_ｊ同士の間の接続「重み」を更新するために、比較器５２は、目標出力Ｔ及び出力Ｙ_ｊとの間の差を決定する。比較器５２の出力は、目標出力と実際の出力Ｙ_ｊとの間の誤差を示す。これが正であれば、例えば負のメモリスタ２２へのフィードバック信号はその入力信号と同位相のままであり、一方で正のメモリスタ２１へのフィードバック信号は、それがその入力信号と逆位相となるように、例えば遅延ステージ５４を通過する。従って、これはデルタルールにより要求されるように、シナプス２０を強化する。逆の場合、正のメモリスタ２１へのフィードバック信号は同位相のまま、負のメモリスタ２２へのフィードバック信号は逆位相となる。このようにして、学習率αが十分に低い限り、訓練の事例の各々についての誤差の大きさは減少する。入力信号が同期している限り、これは複数の入力ユニット及び複数の出力ユニットの場合に一般化が可能である。

学習アルゴリズムに目を向けると、上述の発振ベースの記憶学習の概念を用いて、神経形態学的回路ハードウェアに様々な種類の深層学習アルゴリズムを実装することができる。それらのアルゴリズムの２つの例は、教師なしニューラルネットワーク用の覚醒睡眠アルゴリズム及び教師付きニューラルネットワーク用のターゲット伝播法を含む。ターゲット伝播法のアプローチは、誤差逆伝播アルゴリズムへの効率的な近似である。これらのアルゴリズムの各々は、重み更新のために純粋に局所的なデルタルールを利用し、従って上述の発振ベースの記憶学習の概念と互換性がある。文脈のため、学習アルゴリズムのより詳細な説明に移る前に、上記の概念を含む例示的な神経形態学的回路ネットワークを紹介する。

図４は、本明細書に記載の様々な実施例に係る神経形態学的回路ネットワーク１００の例を示す。神経形態学的回路ネットワーク１００は、ノード５０，５１の第１の入力層、ノード６０〜６２の第１の隠れ層、ノード７０，７１の第２の隠れ層を含む。ネットワーク１００は代表的なものであり、他の場合には、他の神経形態学的回路ネットワークは、他の任意の適切な数の層を含み、１層ごとに任意の適切な数のノードを含むことができる。

図５を参照して、以下でさらに詳細に説明するように、ノード５０，５１，６０〜６２，７０，７１の各々は、発振ベースのニューロンと同様に、一対の発振ベースのニューロン又はユニットを含むことができる。これは図２及び図３に示す発振ベースのニューロン又はユニットＸ_ｉ，Ｙ_ｊと同様である。発振ベースのニューロンの一方は、「認知」ニューロン又はユニットとして説明され、神経形態学的回路ネットワーク１００内のフィードフォワードネットワークの一部を構成する。発振ベースのニューロンの他方は、「生成」ニューロン又はユニットとして説明され、神経形態学的回路ネットワーク１００内のフィードバックネットワークの一部を構成する。上述のように、発振ベースのニューロンの各々は、振幅として符号化された活動レベルと、位相として符号化された学習のための誤差とを伝播する。

神経形態学的回路ネットワーク１００は、図４に示すように、（特筆して）複数の神経形態学的回路フィードフォワード８０，８１及び（特筆して）フィードバック結合９０，９１も含む。特に、神経形態学的回路ネットワーク１００は、ノード５０，５１，６０〜６２，７０，７１内の認知ニューロンの間の、複数の神経形態学的回路フィードフォワード結合を含む。各フィードフォワード結合は、図２及び図３に示す神経形態学的回路シナプス２０と同様の、一対のメモリスタを含む神経形態学的回路シナプスとして実施することができる。さらに、神経形態学的回路ネットワーク１００は、ノード５０，５１，６０〜６２，７０，７１内の生成ニューロン間に、複数の神経形態学的回路フィードバック結合を含む。各フィードバック結合は、図２及び図３に示す神経形態学的回路シナプス２０と同様の、神経形態学的回路シナプスとして実施することができる。

図５は、本明細書に記載の様々な実施例に係る、図４に示す死刑形態学的回路ネットワーク１００の一部を示す図である。図５は、入力層のノード５０における発振ベースの認知ニューロンＲａ及び生成ニューロンＧａ、第１隠れ層のノード６０における認知ニューロンＲｂ及び生成ニューロンＧｂ、並びに第２の隠れ層のノード７０における認知ニューロンＲｃ及び生成ニューロンＧｃを示す。繰り返すが、ネットワーク１００は代表的なものであり、他の場合には、任意の適切な数の層を含み、１層ごとに任意の適切な数のノードを含み得る。

図５に示すように、神経形態学的回路ネットワーク１００は、認知ニューロンＲａ，Ｒｂ，Ｒｃ（及び他のノード内の他の認知ニューロン）の間に、いくつかのフィードフォワード結合も含む。各フィードフォワード結合は、図２及び図３を参照して上述したように、一対のメモリスタ及び他の回路要素を含む神経形態学的回路シナプスとして実施され得る。神経形態学的回路ネットワーク１００の層間接続ノード構造を説明するために、神経形態学的ネットワークフィードフォワードシナプスは、それぞれの先行レベルノードからそれぞれの後続レベルノードへの活動（例えば振幅）を電気的に結合するように構成され得る。図５では、これらのフィードフォワード接続のいくつかは点線を用いて、代表的なやり方で描かれている。従って、任意の所与の認知ニューロンへのアクティビティ入力は、先行レベルノード内の全ての認知ニューロンからの活動の、結合または統合されたレベルの一種として形成され得る。

神経形態学的回路ネットワーク１００は、生成ニューロンＧｃ，Ｇｂ，Ｇａ（及び他のノード内の他の生成ニューロン）の間の複数のフィードバック結合も含む。各フィードバック結合は、図２及び図３を参照して上述したように、一対のメモリスタ及び他の回路要素を含む神経形態学的回路シナプスとして実施され得る。繰り返すが、神経形態学的回路ネットワーク１００の層間接続のノード構造を説明するために、神経形態学的回路フィードバックシナプスは、各先行レベルのノードから各後続レベルのノードに活動（例えば振幅）を電気的に結合するように構成され得る。図５では、これらのフィードバック接続のいくつかは、点線を用いて代表的なやり方で描かれている。従って、任意の所与の生成ニューロンへ入力される活動は、先行レベルノード中の全ての生成ニューロンからの結合レベル又は統合レベルの一種として形成され得る。

神経形態学的回路ネットワーク１００は、本明細書に記載の神経形態学回路ネットワーク１００の動作を調整するコントローラ２００も含む。コントローラ２００は、本明細書に記載のアルゴリズムを調整するために、１つ以上の状態機械、プログラマブルゲートアレイ、汎用プロセッサ、特定用途向け集積回路、又は関連するメモリデバイスを含む他の処理回路を含む任意の適切な処理回路として実施され得る。

神経形態学的回路ネットワーク１００を参照して、覚醒睡眠アルゴリズムは、時間の経過とともに、多数の覚醒段階及び睡眠段階、又は覚醒モード及び睡眠モードで進行する。覚醒段階では、訓練例がネットワークの最下層（例えばノード５０，５１）及び振幅として符号化され得る各認知ニューロンＲａ，Ｒｂ及びＲｃの活動に示される。認知ニューロンＲａ，Ｒｂ，Ｒｃの各々において、フィードフォワード結合を介して神経形態学的回路ネットワーク１００を駆動する。

覚醒段階中、各生成ニューロンＧｃ，Ｇｂ，Ｇａもまた学習のために訓練される。生成ニューロンＧｃは、認知ニューロンＲｃの活動レベルに基づいて、本明細書に記載のデルタルールを用いて学習のために訓練され、認知ニューロンＲｃは訓練のためのターゲットとして作用する。同様に、生成ニューロンＧｂは認知ニューロンＲｂの活動レベルに基づいて学習のために訓練され、認知ニューロンＲｂは訓練のターゲットとして作用し、生成ニューロンＧｂは学習のための活動レベルに基づいて学習のために訓練され、認知ニューロンＲａは訓練のためのターゲットとして作用する。

生成ニューロンＧｂを学習のために訓練することのより特定の例として、もし生成ニューロンＧｂの活動レベルが認知ニューロンＲｂよりも低い（例えば振幅が小さい）ならば、生成ニューロンＧｂが訓練される（すなわち、同位相に調整される）。これにより、より低い活動レベルを有する先行レベル生成ニューロンとのフィードバック結合が強化され、及び／又はより高い活動レベルを有する先行レベルの生成ニューロンとのフィードバック結合が弱化される。一方で、生成ニューロンＧｂの活動レベルが認知ニューロンＲｂよりも高い（例えば振幅が大きい）ならば、生成ニューロンＧｂ

睡眠段階中は、覚醒段階と逆のことが起こる。ランダムな原因ベクトルがネットワーク内の最上位層に示され、神経形態学的回路ネットワーク１００の下で活動を駆動するために生成ニューロンＧｃ，Ｇｂ，Ｇａが用いられる。その後、認知ニューロンＲａ，Ｒｂ，Ｒｃが、神経形態学的回路ネットワーク１００内でこの活動を再現するように訓練される。

しかしながら、比較器及び遅延ステージを用いて各ステージで誤差を計算するかわりに、神経形態学的回路ネットワーク１００では、２つの個別の相補的ニューラルネットワークが用いられる。相補的ニューラルネットワークは認知経路及び生成経路を支配する。従って、覚醒睡眠アルゴリズムは、ネットワークが覚醒状態にあるか睡眠状態にあるかによって認知ユニット及び生成ユニットが互いにターゲットとして機能することで、図４及び図５に示される神経形態学的回路ネットワーク１００を用いて実装することができる。その後、神経形態学的回路シナプスについての重みは、図２及び図３を参照して上述した発振ベースの記憶学習ルールに従って（例えば、シナプス結合重みを調整するための情報をニューロンの位相に符号化することにより）更新することができる。

覚醒睡眠アルゴリズムを超えて、ターゲット伝播法は、誤差逆伝播法アルゴリズムに対する局所的な近似として機能することを目的とした学習アルゴリズムである。デルタルールは単層ニューラルネットワークのために設計されているため、その一般化である誤差逆伝播法は、多層又は深層のニューラルネットワークに用いることができる。しかしながら、誤差逆伝播法は局所学習アルゴリズムではないため、神経形態学的回路には理想的でない。実際の脳と同様に、学習アルゴリズムは、各重みが神経形態学的回路で接続している２つのニューロンからの情報のみを必要とする場合に、最も簡単となる。これが学習アルゴリズムにおける「局所性」の本質である。ターゲット伝播法は、この局所性を維持しながら、誤差逆伝播法を効率的に近似する。

ターゲット伝播法を理解するためには、誤差逆伝播法のアルゴリズムがどのように機能するのかを理解することが役立つ。多層ニューラルネットワークの最後の層では、ネットワークの実際のターゲットが即座に利用可能であるため、重み更新ルールはデルタルールと同じである。しかしながら、中間層又は「隠れ」層では、これらのニューロンが累計二乗誤差にどのように影響するかは明らかではない。ただしこの総計二乗誤差はネットワークが最小化しようとする値である。従って、それらの活動を増加させるべきか減少させるべきかを知ることは不可能である。

隠れ層のニューロンの重みを変更するための重要な測定基準は、それらの隠れ層ニューロンによって引き起こされる、又は隠れ層ニューロンに起因するエラーへの寄与である。例えば、隠れ層ニューロンの活動が増加した場合に、その変化は総計二乗誤差を増加又は減少させるだろうか。もしそれが誤差を減少させるならば、それは総計二乗誤差を減少させるのだから、当該ニューロンへの活動の重み又はバランスは増加されるべきである。従って、誤差逆伝播法は、総計二条誤差に関する導関数をとることにより、これらの寄与を解析的に計算することで機能する。

ターゲット伝播法では、総計二乗誤差に対するこれらの寄与が推定される。これは、各隠れ層でデルタルールを用いて動作する単層フィードバックネットワークを用いることにより行われる。このネットワークは、前方ネットワーク又は一次ネットワークの重みを反転するように訓練されているため、各二乗誤差に対する隠れ層ニューロンの寄与の効率的な推定量である。これは、誤差への実際の寄与がニューロンのフィードフォワード重みと、出力点又はターゲット層中のニューロンの誤差にのみ依存するから可能である。もし誤差がフィードバック重みを介して送り返されるならば、このことは、単数又は複数の隠れ層内の各ニューロンに対して、誤差への寄与の良好な近似値を与える。誤差への寄与が計算された後、このことは、後にデルタルールを用いて訓練される隠れ層ニューロンのための新たなターゲットとして用いられ得る。その後、ネットワーク全体が訓練されるまで、このプロセスがネットワーク内の核隠れ層に対して繰り返される。

このアルゴリズムは、上位層の活動を返すのではなく上位層の誤差が返されることを除いて、覚醒睡眠アルゴリズムについて上述したのと同じ技法を用いて実装することができる。フィードバック重みを訓練してフィードフォワード重みを逆転させるために、ネットワークはオートエンコーダとして訓練され得る。すなわち、出力層は１組のターゲットを示され、活動はフィードバック重みを通過させられ、その後、活動はターゲットの「再構築」を得るために、フィードフォワード重みを通過して戻される。その後、フィードバック重みは、Ｙ_ｊとしての再構成とＴ_ｊとしての元のターゲットとを用いて、デルタルールに従って訓練される。

図６は、本明細書に記載の様々な実施例に係る、図４及び図５に示される神経形態学的回路を訓練するためのプロセスの例を示す。図６に示すプロセス図は、神経形態学的回路ネットワークを訓練するために用いることができる一連のステップの一例を提供している。図６に示されるステップの配置は、図４及び図５に示される神経形態学的回路ネットワークを参照して代表的な例として提供されるが、他の種類の神経形態学的回路ネットワークを訓練するためにも用いられ得る。ステップの順序も、図示のものとは異なり得る。例えば、２つ以上のステップの実行順序は、示されている順序に対して混ぜられていてもよい。また、場合によっては、２つ以上のステップは同時又は部分的に同時に実行されてもよく、１つ以上のステップはスキップまたは省略されてもよい。さらに、プロセスは、訓練が例えばデルタルール等の学習規則、又はアルゴリズムの適切なしきい値若しくは目標値に達するまで、所定の期間ループまたは継続されてもよい。

ステップ１０２から開始して、プロセスは、神経形態学的回路ネットワーク内の最下位層に訓練情報を与えることを含み、ここで、神経形態学的ネットワークは、いくつかの神経形態学的回路ネットワークノードを含む。一例として、図４及び図５に示す神経形態学的回路ネットワーク１００を参照する。ステップ１０２において、コントローラ２００は、神経形態学的回路ネットワーク１００の最下位層（例えばノード５０，５１）に訓練例を与えるか又は示すことができる。訓練例は、神経形態学的回路ネットワーク１００を訓練するための任意の適切な情報を含み得る。

ステップ１０４において、プロセスは、フィードフォワード結合を介して神経形態学的回路ノード内の認知ニューロンユニット内の活動を駆動することを含む。例えば、図５の認知ニューロンＲａ，Ｒｂ，Ｒｃの間の活動は、認知ニューロンＲａ，Ｒｂ，Ｒｃの各々における振幅として符号化することができ、フィードフォワード結合８０，８１等を介して神経形態学的回路ネットワーク１００を駆動することができる。

ステップ１０６において、プロセスは、フィードバック結合を介して学習するための複数の神経形態学的回路ノード内の生成ニューロンユニットを訓練するステップを含む。一例として図５を参照すると、各生成ニューロンＧｃ，Ｇｂ，Ｇａは、ステップ１０６で学習のために訓練される。生成ニューロンＧｃは、認知ニューロンＧｃの活動レベルに基づいて、本明細書に記載のデルタルールを用いて学習のために訓練することができ、認知ニューロンＲｃは訓練のためのターゲットとして作用する。同様に、生成ニューロンＧｂは認知ニューロンＲｂの活動レベルに基づいて学習のために訓練することができ、認知ニューロンＲｂは訓練のためのターゲットとして作用する。かつ、生成ニューロンＧａは認知ニューロンＲａの活動レベルに基づいて学習のために訓練することができ、認知ニューロンＲａは訓練のためのターゲットとして作用する。

場合によっては、ステップ１０２，１０４，１０６のうちの１つ以上は、第１の段階又は動作モード（例えば覚醒段階）において、同時に又は部分的に同時に実行することができる。必要な範囲で、コントローラ２００は、ステップ１０２，１０４，１０６の間に神経形態学的回路ネットワーク１００のための訓練の動作を指示することができる。

ステップ１０８に移ると、プロセスは、ランダムな原因のベクトルをネットワーク内の最上位層に与えるステップを含む。一例として図４及び図５に示す神経形態学的回路ネットワーク１００を参照して、ステップ１０８で、コントローラ２００は、神経形態学的回路１００内の最上位層（例えばノード７０，７１）にランダムな原因のベクトルを与えるか又は示すことができる。ランダムな原因のベクトルは、任意の適切なランダム情報又はランダムデータを含み得る。

ランダムな原因のベクトルが与えられた状態で、プロセスはステップ１１０で生成されたニューロンユニットの間でフィードバック結合を介して活動を駆動するステップを含む。ここで、第２の段階又は動作モード（例えば睡眠段階）のお間に、覚醒段階と逆のことが起きる。生成ニューロンＧｃ，Ｇｂ，Ｇａは、ステップ１１０において、フィードバック結合９０，９１等を介して神経形態学的ネットワーク１００の活動を下げるために用いられる。さらに、ステップ１１２において、認知ニューロンＲａ，Ｒｂ，Ｒｃは、神経形態学的回路ネットワーク１００においてこの活動を再現するように、フィードフォワード結合８０，８１等を介して訓練される。

場合によっては、ステップ１０８，１１０，１１２の内の１つ以上は、同時に、又は第２の段階又は動作モード（例えば睡眠段階）における部分的な同時発生とともに実行することができる。必要な範囲で、コントローラ２００は、ステップ１０８，１１０，１１２の間に神経形態学的回路ネットワーク１００のための訓練動作を指示することができる。さらに、プロセスは、例えば訓練が適切なしきい値又は目標値に達するまで等、所定の期間ループ又は継続することができる。

コントローラ２００は、少なくとも１つの処理回路を含み得る。処理回路は、ローカルの内部インターフェースを介して互いに結合された１つ以上のプロセッサ及び１つ以上の記憶装置を含み得る。記憶装置は、処理回路の１つ以上のプロセッサにより実行可能なデータまたは構成要素を格納し得る。

ハードウェアテクノロジは、１つ以上のマイクロプロセッサ、１つ以上のデータ信号の印加時に様々な論理機能を実施するための論理ゲートを有するディスクリート論理回路、適切な論理ゲートを持つＡＳＩＣ、プログラマブル論理デバイス（例えばフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブル論理デバイス（ＣＰＬＤ）など）を含み得る。

また、本明細書に記載の、ソフトウェア又はプログラム命令を含む１つ以上又はそれ以上の構成要素は、コンピュータシステム又は他のシステム内のプロセッサ等の命令実行システムにより、又はそれと接続して用いるための、任意の非一時的コンピュータ可読媒体中で実施され得る。コンピュータ可読媒体は、命令実行システムにより、又は命令実行システムに接続して用いるためのソフトウェア又はプログラム命令を含み、格納し、又は維持することができる。

コンピュータ可読媒体は、磁気、光学、半導体または他の適切な媒体等の物理的媒体を含み得る。適切なコンピュータ可読媒体としては、ソリッドステートドライブ、磁気ドライブ、フラッシュメモリ等が挙げられるが、これらに限定されない。さらに、本明細書に記載の任意の論理または構成要素は、様々な方法で実装及び構造化することができる。

本明細書では実施形態を詳細に説明してきたが、記載は例示的なものである。本明細書に記載の実施形態の特徴は代表的なものであり、代替の実施形態では、特定の特及び要素を追加又は省略することができる。さらに、本明細書に記載された実施形態の態様に関する変更は、添付の特許請求の範囲に画定された本発明の理念及び範囲から逸脱することなく、当業者によりなされ得る。その範囲は、修正及び均等の構造を包含するように、最も広い解釈に従うべきである。

Claims (20)

1. 認知ニューロンユニット及び生成ニューロンユニットをそれぞれ含む複数の神経形態学的回路ノードと、
   前記神経形態学的回路ノード中の前記認知ニューロンユニット間の複数の神経形態学的回路フィードフォワード結合と、
   前記神経形態学的回路ノード中の前記生成ニューロンユニット間の複数の神経形態学的回路フィードバック結合と、
   学習コントローラとを備え、
   前記学習コントローラは、第１のモードにおいて、
   前記神経形態学的回路フィードフォワード結合を介して前記認知ニューロンユニット間の活動を駆動し、
   前記神経形態学的回路フィードバック結合を介して学習のための前記生成ニューロンユニットを訓練するように構成される、
   神経形態学的回路学習ネットワーク。
2. 前記学習コントローラは、前記第１のモードにおいて、前記活動に基づいて第２のモード中に学習のための前記生成ニューロンユニットを訓練するようにさらに構成される、
   請求項１に記載の神経形態学的回路学習ネットワーク。
3. 前記学習コントローラは、第２のモードにおいて、
   前記神経形態学的回路フィードバック結合を介して前記認知ニューロンユニット間の活動を駆動し、
   前記神経形態学的回路フィードフォワード結合を介して学習のための認知ニューロンユニットを訓練するようにさらに構成される、
   請求項２に記載の神経形態学的回路学習ネットワーク。
4. 前記学習コントローラは、前記第２のモードにおいて、前記生成ニューロンユニットの活動に基づいて、前記第１のモード中に学習のための認知ニューロンユニットを訓練するようにさらに構成される、
   請求項３に記載の神経形態学的回路学習ネットワーク。
5. 前記複数の神経形態学的回路ノードは、前記神経形態学的回路学習ネットワークにおいて複数の層を形成し、
   前記第１のモードにおいて、前記神経形態学的回路学習ネットワーク中の最下位層に訓練例が示される、
   請求項１に記載の神経形態学的回路学習ネットワーク。
6. 前記複数の神経形態学的回路ノードは、前記神経形態学的回路学習ネットワークにおいて複数の層を形成し、
   第２のモードにおいて、前記神経形態学的回路学習ネットワークの最上位層にランダムなベクトルが示される、
   請求項２に記載の神経形態学的回路学習ネットワーク。
7. 前記学習コントローラは、オートエンコーダとして動作するためのフィードバック重みを訓練するようにさらに構成される、
   請求項２に記載の神経形態学的回路学習ネットワーク。
8. 前記複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つ、又は前記複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つは、少なくとも１つのメモリスタを備える、
   請求項１に記載の神経形態学的回路学習ネットワーク。
9. 複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つ、又は複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つは、
   長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタと、
   前記ＬＴＰメモリスタからの出力信号と前記ＬＴＤメモリスタからの出力信号との間の差分に基づいて差分信号を生成する差動増幅回路とを備える、
   請求項１に記載の神経形態学的回路学習ネットワーク。
10. 認知ニューロンユニット及び生成ニューロンユニットをそれぞれ含む複数の神経形態学的回路ノードと、
    前記神経形態学的回路ノード中の前記認知ニューロンユニット間の複数の神経形態学的回路フィードフォワード結合と、
    前記神経形態学的回路ノード中の前記生成ニューロンユニット間の複数の神経形態学的回路フィードバック結合と、
    前記認知ニューロンユニット間の活動を駆動し、前記学習のための生成ニューロンユニットを訓練するように構成された学習コントローラとを備え、
    前記認知ニューロンユニットの間の活動を駆動し、学習のために前記生成ニューロンユニットを訓練するように構成される、
    神経形態学的回路学習ネットワーク。
11. 前記学習コントローラは、前記生成ニューロンユニット間の活動を駆動し、学習のための前記認知ニューロンユニットを訓練するようにさらに構成される、
    請求項１０に記載の神経形態学的回路学習ネットワーク。
12. 前記学習コントローラは、第１のモードにおいて、第２のモード中に前記神経形態学的回路フィードバック結合を介して学習するための前記生成ニューロンユニットを訓練するようにさらに構成される、
    請求項１０に記載の神経形態学的回路学習ネットワーク。
13. 前記学習コントローラは、第２のモードにおいて、第１のモード中に神経形態学的回路フィードフォワード結合を通して学習するための認知ニューロンユニットを訓練するようにさらに構成される、
    請求項１０に記載の神経形態学的回路学習ネットワーク。
14. 前記複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つ、又は前記複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つは、少なくとも１つのメモリスタを備える、
    請求項１０に記載の神経形態学的回路学習ネットワーク。
15. 前記複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つ、又は複数の神経形態学的回路フィードフォワード結合のうちの少なくとも１つは、
    長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタと、
    前記ＬＴＰメモリからの出力信号及び前記ＬＴＤメモリスタからの出力信号の差分に基づいて差分信号を生成する差動増幅回路とを備える、
    請求項１０に記載の神経形態学的回路学習ネットワーク。
16. 神経形態学的回路学習ネットワークを訓練する訓練方法であって、第１のモードにおいて、
    複数の認知ニューロンユニットの間の活動を、前記複数の神経形態学的回路ノード間のフィードフォワード結合を介して駆動するステップと、
    前記複数の神経形態学的回路ノード中の学習のための生成ニューロンユニットを、前記複数の神経形態学的回路ノード内のフィードバック結合を介して訓練するステップとを含む、
    神経形態学的回路学習ネットワークを訓練する方法。
17. 前記訓練するステップは、前記活動に基づいて、第２のモード中に、前記学習のための生成ニューロンユニットを訓練するステップを含む、
    請求項１６に記載の訓練方法。
18. 前記第２のモードにおいて、
    前記フィードバック結合を介して、前記複数の神経形態学的回路中の前記生成ニューロンユニットの間の活動を駆動するステップと、
    前記フィードフォワード結合を介して、前記学習のための認知ユニットを訓練するステップとをさらに含む、
    請求項１６に記載の神経形態学的回路学習ネットワークを訓練する方法。
19. 前記複数の神経形態学的回路ノードが、前記神経形態学的回路学習ネットワーク中に複数の層を形成し、
    前記方法は、
    前記第１のモードにおいて、前記神経形態学的回路学習ネットワーク中の最下位層に訓練例を示すステップをさらに含む、
    請求項１６に記載の神経形態学的回路学習ネットワークを訓練する方法。
20. 前記複数の神経形態学的回路ノードが、前記神経形態学的回路学習ネットワーク中に複数の層を形成し、
    前記方法は、
    前記第１のモードにおいて、前記神経形態学的回路学習ネットワーク中の最上位層にランダムなベクトルを示すステップをさらに含む、
    請求項１８に記載の神経形態学的回路学習ネットワークを訓練する方法。

Images