JP2016530630A - ニューラルデバイスのトレーニングを調節するための方法および装置 - Google Patents

Abstract

トレーニングの間に少なくとも１つのトレーニングパラメータを調節することによって人工神経系を有するニューラルデバイスをトレーニングするための方法および装置が提供される。人工神経系を有するニューラルデバイスをトレーニングするための１つの例示的な方法は、一般に、トレーニング環境内のニューラルデバイスを観察することと、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することとを含む。たとえば、本明細書に記載されるトレーニング装置は、ニューラルデバイスの内部学習メカニズム（たとえば、スパイクレート、学習速度、神経調節、センサー感度等）、および／またはトレーニング環境の刺激（たとえば、炎をデバイスの近くに移動させる、場面をより暗くする等）を修正することができる。このように、ニューラルデバイスがトレーニングされる速度（すなわち、トレーニングレート）は、従来のニューラルデバイストレーニングシステムと比較して著しく増加され得る。

Description

米国特許法第１１９条による優先権の主張
[0001]本出願は、２０１３年８月１３日に出願された米国仮特許出願第６１／８６５，４３９号、および２０１３年１１月１３日に出願された米国特許出願第１４／０７９，１８１号の利益を主張し、その両方は、参照により全体が本明細書に組み込まれる。

[0002]本開示のいくつかの態様は、一般に人工神経系に関し、より詳細には、そのような人工神経系を有するニューラルデバイスのトレーニングを調節することに関する。

[0003] 人工ニューラルネットワークは、人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による機能の設計を面倒にする適用例において、特に有用である。

[0004]１つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、ニューラルネットワークにおいて計算機能が具現し得る挙動の豊富なセットを提供する。スパイキングニューラルネットワークは、ニューロンがニューロンの状態に基づいて特定の（１つまたは複数の）時間に発火する、または「スパイクする」という概念、および時間がニューロン機能にとって重要であるという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、このスパイクが受信された時間に基づいてそれらの状態を調整することができる。言い換えれば、ニューラルネットワークにおけるスパイクの相対的タイミングまたは絶対的タイミングで情報が符号化され得る。

[0005]本開示のいくつかの態様は、一般に、トレーニング時間の量を減少させようと（すなわち、トレーニング速度を増加させる）、トレーニングの間に少なくとも１つのトレーニングパラメータを調節することによって、人工神経系を有するニューラルデバイスをトレーニングすることに関する。

[0006]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするための方法を提供する。本方法は、一般に、トレーニング環境内のニューラルデバイスを観察することと、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することとを含む。

[0007]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするための装置を提供する。本装置は、一般に、処理システムと、処理システムに結合されたメモリとを含む。本処理システムは、典型的に、トレーニング環境内のニューラルデバイスを観察して、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するように構成されている。

[0008]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするための装置を提供する。本装置は、一般に、トレーニング環境内のニューラルデバイスを観察するための手段と、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための手段とを含む。

[0009]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、一般に、トレーニング環境内のニューラルデバイスを観察するために、および観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するために実行可能な命令を有する、非一時的コンピュータ可読媒体（たとえば、ストレージデバイス）を含む。

[0010]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするための方法を提供する。本方法は、一般に、ニューラルデバイスで、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信することと、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することとを含む。

[0011]本開示のいくつかの態様は、人工神経系を有する装置を提供する。本装置は、一般に、処理システムと、処理システムに結合されたメモリとを含む。本処理システムは、典型的に、本装置の少なくとも１つのトレーニングパラメータを調節して、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための命令を受信するように構成されている。

[0012]本開示のいくつかの態様は、人工神経系を有する装置を提供する。本装置は、一般に、本装置の少なくとも１つのトレーニングパラメータを調節するための命令を受信するための手段と、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための手段とを含む。

[0013]本開示のいくつかの態様は、人工神経系を有するニューラルデバイスをトレーニングするためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、一般に、ニューラルデバイスで、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信して、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するためのコードを有する、非一時的コンピュータ可読媒体（たとえば、ストレージデバイス）を含む。

[0014]本開示の上述の特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約された内容のより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。

[0015]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。 [0016]本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の例示的な処理ユニット（ニューロン）を示す図。 [0017]本開示のいくつかの態様による例示的なスパイクタイミング依存可塑性（ＳＴＤＰ）曲線を示す図。 [0018]本開示のいくつかの態様による、ニューロンの挙動を定義するための正レジームと負レジームとを示す、人工ニューロンに関する状態の例示的なグラフ。 [0019]本開示のいくつかの態様による、例示的なトレーニングシステムのブロック図。 [0020]本開示のいくつかの態様による、例示的な調節されたトレーニングシステムの詳細なブロック図。 [0021]本開示のいくつかの態様による、内部に配置されたオブジェクトの各々が仮想境界を有する例示的なトレーニング環境を示す図。 [0022]本開示のいくつかの態様による、トレーニング環境における例示的な重複する仮想境界を示す図。 [0023]本開示のいくつかの態様による、例示的な適応仮想境界を示す図。 [0024]本開示のいくつかの態様による、ニューラルデバイスの外部のトレーニング装置の観点から、人工神経系を有するニューラルデバイスをトレーニングするための例示的な動作の流れ図。 [0025]図１０に示す動作を実行することが可能な例示的な手段を示す図。 [0026]本開示のいくつかの態様による、ニューラルデバイスの観点から、人工神経系を有するニューラルデバイスをトレーニングするための例示的な動作の流れ図。 [0027]図１１に示される動作を実行することが可能な例示的な手段を示す図。 [0028]本開示のいくつかの態様による、汎用プロセッサを使用して人工神経系を有するニューラルデバイスをトレーニングするための例示的な実装形態を示す図。 [0029]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得る人工神経系を有するニューラルデバイスをトレーニングするための例示的な実装形態を示す図。 [0030]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいて人工神経系を有するニューラルデバイスをトレーニングするための例示的な実装形態を示す図。 [0031]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。 [0032]本開示のいくつかの態様による、神経調節入力のレベルに応じて３つの異なるモードを規定する例示的なメタ可塑性ルールをグラフィカルに示す図。

[0033]添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。

[0034]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。

[0035]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム
[0036]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を備え得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合（lateral）を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。

[0037]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンへの入力（たとえば、入力電流）を表し得る。そのような入力は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。そのような挙動は、アナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。

[0038]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的で、あるかないかの神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の態様（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数（またはスパイクの時間）によってのみ表される。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および１つまたは複数の他のスパイクに対するスパイクの時間によって決定される。

[0039]図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロン（シナプス１０４に対するシナプス前ニューロン）から出力信号（すなわち、スパイク）を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス重み

（ここでＰは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従ってスケーリングされ得る。他の態様では、シナプス１０４は、いかなるシナプス重みをも適用しないことがある。さらに、（スケーリングされた）信号は、レベル１０６における各ニューロン（シナプス１０４に対するシナプス後ニューロン）の入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。

[0040]生物学的シナプスは、電気シナプスまたは化学シナプスのいずれに分類され得る。電気シナプスは、興奮性信号を送るために主に使用される一方、化学シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすこともできる。興奮性信号は通常、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。

[0041]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロン（またはニューロンモデル）は、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。

[0042]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除かれ得、その代わりにより小さいメモリスタ（memristor）素子が使用され得る。この手法は、ニューロン回路において、かさばるキャパシタが電流積分器として利用される様々な他の適用例においてと同様に適用され得る。さらに、シナプス１０４の各々は、メモリスタ素子に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。

[0043]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、シナプス結合の重みに依存し得、ニューロン間の結合の強さを制御し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。

[0044]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、人工ニューロン２０２）の一例２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、複数の入力信号２０４₁〜２０４_N（ｘ₁〜ｘ_N）を受信し得、それらは、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６１〜２０６Ｎ（ｗ₁〜ｗ_N）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、ここで、Ｎはニューロン２０２の入力接続の総数であり得る。

[0045]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。

[0046]処理ユニット（ニューロン２０２）は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ配線によってエミュレートされ得る。処理ユニット、それの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニットはまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニットはアナログ電気回路を備え得る。別の態様では、処理ユニットはデジタル電気回路を備え得る。さらに別の態様では、処理ユニットは、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。

[0047]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み

および／または図２の重み２０６₁〜２０６_N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールのいくつかの例として、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則などがある。非常に多くの場合、重みは、２つの値のうちの１つに安定し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重み当たりのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力消費量を低減し得る。
シナプスタイプ
[0048]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）と、可塑性シナプス（重みが変化し得る）と、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）と、完全可塑性シナプス（重み、遅延および結合性が変化し得る）と、それの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること（またはそのような機能が完了するのを待つこと）を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。

[0049]また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接の関数であり得るので、構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）でも実行され得る。代替的に、それは、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大限に達するのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
[0050]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。

[0051]ＳＴＤＰは、脳内の場合のようなニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。対照的に、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がゼロまたはゼロの近くまで低減されるまで、このプロセスは続く。

[0052]ニューロンは、短い期間内にその入力の多くが生じる（すなわち、出力をもたらすのに十分に累積している）ときに、一般に出力スパイクを生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関する指示を提供する入力は結局、ニューロンへの最終入力となる。

[0053]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔ_preとシナプス後ニューロンのスパイク時間ｔ_postとの間の時間差（すなわち、ｔ＝ｔ_post−ｔ_pre）に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。

[0054]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。

ここで、ｋ₊およびｋ_-はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ₊およびａ_-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。

[0055]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的なグラフ３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。

[0056]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、層ｉ−１（シナプス前層）からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、入力は、スパイクまたはパルスを備える特定の持続時間のフレームの形態である）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
[0057]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊富な潜在的な挙動を有し得る。その上、良いニューロンモデルは、テンポラル・コーディングを可能にするための２つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間において閉形式（closed-form）の解を有し得、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊富な、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。

[0058]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊富な挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。事象の発生自体が、入力の寄与（あったとして）とは別に、状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。

[0059]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧ｖ_n（ｔ）によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。

ここでαおよびβはパラメータであり、ｗ_m,nは、シナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙ_m（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔ_m,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。

[0060]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値ｖ_tとピークスパイク電圧ｖ_peakとの間に差がある場合、遅延時間が生じ得る。たとえば、単純モデルでは、電圧および復元のための１対の微分方程式、すなわち、

によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでｖは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位ｖの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位ｖのしきい値下変動に対する復元変数ｕの感度を記述するパラメータであり、ｖ_rは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはｖ＞ｖ_peakのときにスパイクすると定義される。
Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄモデル
[0061]Ｈｕｎｚｉｎｇｅｒ Ｃｏｌｄニューロンモデルは、豊富な様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、時間定数（および結合）はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。

[0062]図４に示すように、モデルのダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負レジーム４０２（リーキー積分発火（ＬＩＦ）ニューロンモデルと混同されないように互換的にＬＩＦレジームとも呼ばれる）および正レジーム４０４（反リーキー積分発火（ＡＬＩＦ）ニューロンモデルと混同されないように互換的にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ｖ_-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖ_s）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。

[0063]線形二重レジーム２次元ダイナミクス（状態ｖおよびｕの場合）は、慣例により次のように定義され得る。

ここでｑ_ρおよびｒは、結合のための線形変換変数である。

[0064]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。

[0065]モデル状態は、膜電位（電圧）ｖおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧ｖがしきい値（ｖ₊）を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。

[0066]レジーム依存時間定数は、負レジーム時間定数であるτ_-と正レジーム時間定数であるτ₊とを含む。復元電流時間定数τ_uは通常、レジームから独立している。便宜上、τ_uと同様に、指数およびτ₊が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ_-が一般に指定される。

[0067]２つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、

であり、δ、ε、βおよびｖ_-、ｖ₊はパラメータである。ｖ_ρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータｖ_-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてｖ_-に減衰することになる。パラメータｖ₊は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてｖ₊から離れる傾向となる。

[0068]ｖおよびｕに関するヌルクラインは、それぞれ変換変数ｑ_ρおよびｒの負によって与えられる。パラメータδは、ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ｖ_-に等しく設定される。パラメータβは、両方のレジームにおいてｖヌルクラインの傾きを制御する抵抗値である。τ_ρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。

[0069]モデルは、電圧ｖが値ｖ_sに達したときにスパイクするように定義される。続いて、状態は通常、（技術的に、スパイク事象と同じ１つのものであり得る）リセット事象でリセットされる。

ここで、

およびΔｕはパラメータである。リセット電圧

は通常、ｖ_-にセットされる。
[0070]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するために必要とされる時間についても、閉形式の解が可能である。閉形式の状態解は、次のとおりである。

[0071]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。

[0072]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ｖ₀を踏まえ、電圧状態ｖ_fに到達するまでの遅延時間は、次の式によって与えられる。

[0073]スパイクが、電圧状態ｖがｖ_sに到達する時間に生じると定義される場合、電圧が所与の状態ｖにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式の解は、次のとおりである。

ここで、

は通常、パラメータｖ₊にセットされるが、他の変形も可能であり得る。

[0074]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（現在の）事象の時間における状態に基づいて定義され得る。

[0075]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合にモデルを更新するのみによってあるいは、「ステップ事象」更新によって、ステップベースのシミュレータにおける限られた時間分解能で、事象ベースの実装形態が可能である。
ニューラルコーディング
[0076]図１の人工ニューロン１０２、１０６から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、コインシデンス・コーディング（coincidence coding）、テンポラル・コーディング（temporal coding）またはレート・コーディング（rate coding）など、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。コインシデンス・コーディングでは、情報は、ニューロン集団の活動電位（スパイキング活動）の一致（または時間的近接度）で符号化される。テンポラル・コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位（すなわち、スパイク）の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レート・コーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。

[0077]ニューロンモデルは、テンポラル・コーディングを実行し得る場合、（レートは単に、タイミングまたはスパイク間の間隔の関数であるので）レート・コーディングも実行し得る。テンポラル・コーディングを行うために、良いニューロンモデルは２つの要素を有する必要がある。すなわち、（１）入力の到着時間は出力時間に影響を与え、（２）一致検出は狭い時間ウィンドウを有し得る。テンポラル・パターンの要素を適切に遅延させることによって、要素はタイミング一致に組み込まれ得るので、結合遅延は、一致検出をテンポラル・パターン復号に拡張するための１つの手段を提供する。
到着時間
[0078]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位（ＰＳＰ：shaped post-synaptic potential）であるかを問わず、興奮性（ＥＰＳＰ）であるか、抑制性（ＩＰＳＰ）であるかを問わず、到着の時間（たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間）を有し、これは入力時間と呼ばれ得る。ニューロン出力（すなわち、スパイク）は、（細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも）発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的な原則は、出力時間が入力時間に依存することである。

[0079]一見したところ、すべてのニューロンモデルがこの原則に従うと思われるかもしれないが、これは一般には当てはまらない。たとえば、レートベースのモデルは、この特徴を有しない。多くのスパイキングモデルも、一般には適合しない。リーキー積分発火（ＬＩＦ）モデルは、（しきい値を越えて）追加の入力がある場合にさらに速く発火することはない。その上、非常に高いタイミング分解能でモデル化された場合に適合する可能性があるモデルは多くの場合、タイミング分解能がたとえば１ｍｓのステップに限定されているときに適合しない。
入力
[0080]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。

[0081]典型的なスパイクタイミング依存可塑性（ＳＴＤＰ）ルールは、シナプス前ニューロンとシナプス後ニューロンとの間のスパイクタイミング差のみに依存する。しかしながら、実験的証拠は、シナプス可塑性のルールを決定する際にタイミングだけでは十分ではない場合があることを示す。Ｐａｗｌａｋ，Ｖ．らの「Ｔｉｍｉｎｇ ｉｓ ｎｏｔ ｅｖｅｒｙｔｈｉｎｇ：ｎｅｕｒｏｍｏｄｕｌａｔｉｏｎ ｏｐｅｎｓ ｔｈｅ ＳＴＤＰ ｇａｔｅ」，Ｆｒｏｎｔ．Ｓｙｎａｐｔｉｃ Ｎｅｕｒｏｓｃｉ． ２：１−１３（２０１０）におけるデータは、シナプス可塑性は調節信号ドーパミン（ＤＡ）によってゲートされることを示す。Ｓｈｅｎ，Ｗ．らの「Ｄｉｃｈｏｔｏｍｏｕｓ Ｄｏｐａｍｉｎｅｒｇｉｃ Ｃｏｎｔｒｏｌ ｏｆ Ｓｔｒｉａｔａｌ Ｓｙｎａｐｔｉｃ Ｐｌａｓｔｉｃｉｔｙ」，Ｓｃｉｅｎｃｅ ３２１：８４８−８５０（２００８）に記載されるように、可塑性の変化の兆候はまた、神経伝達物質と受容体の組合せの状態および濃度によって影響される。

[0082]メタ可塑性ルールは本明細書中に記載されており、メタ可塑性は、一般に長期増強（ＬＴＰ）および長期抑圧（ＬＴＤ）を含む、後続のシナプス可塑性を刺激する能力の変化を指す。一般的なシナプス可塑性ルールとして、メタ可塑性ルールは、神経調節入力、それはことによると遅延を伴う、を、シナプス前ニューロン活動とシナプス後ニューロン活動とにリンクする。

[0083]シナプス前ニューロン活動とシナプス後ニューロン活動とは、Ｉｚｈｉｋｅｖｉｃｈ，Ｅ．Ｍ．の「Ｓｏｌｖｉｎｇ ｔｈｅ Ｄｉｓｔａｌ Ｒｅｗａｒｄ Ｐｒｏｂｌｅｍ ｔｈｒｏｕｇｈ Ｌｉｎｋａｇｅ ｏｆ ＳＴＤＰ ａｎｄ Ｄｏｐａｍｉｎｅ Ｓｉｇｎａｌｉｎｇ」，Ｃｅｒｅｂｒａｌ Ｃｏｒｔｅｘ １７：２４４３−５２（２００７）に提示された方式と同様の適格度トレースとなる。しかし、メタ可塑性ルールでは、増強ｐ（ｔ）および抑圧ｄ（ｔ）トレースは、以下の式（１５）に別々に表され、式において、適格度トレースが経時的に減衰する。

上式で、τ_traceはトレースの時定数である。シナプスの変化は次のように表すことができる。

[0084]一般に、図１６に示すように、メタ可塑性ルールは神経調節入力のレベルに応じて３つの神経活動モードを規定する。高いＤＡレベルはΔｗ＞０をもたらす。図１６のグラフ１６０６に示すように、これは学習ルールをＨｅｂｂ則レジーム（Ｈｅｂｂｉａｎ ｒｅｇｉｍｅ）に調節し、ここでは正のΔｓ（ｔ）が前後シナプス発火イベントと後前シナプス発火イベントとの両方に適用され、これはシナプスの強化につながる。

[0085]低いＤＡレベルはΔｗ＜０をもたらす。図１６のグラフ１６０４に示すように、これは学習ルールを反Ｈｅｂｂ則レジームに調節し、ここでは、シナプスを弱めるために、負のΔｓ（ｔ）が前後シナプス発火イベントと後前シナプス発火イベントとの両方に適用される。グラフ１６０４と１６０６とは区分指数関数を示すが、いくつかの態様では、代わりに他の関数（たとえば、矩形波または区分矩形関数）が使用され得る。

[0086]中程度のＤＡレベルはシナプス重み変化をほとんど誘発せず、したがってΔｗ〜０、Δｓ〜０である。図１６のグラフ１６０２は、いくつかの態様のための、前後シナプス発火イベントと後前シナプス発火イベントとの両方について、この通常のシナプス変化を示す。グラフ１６０２に示すように、他の態様では、区分指数関数（小規模な更新を表す）よりも、フラットで水平な線（何の更新も表していない）が中程度のＤＡレベルの代わりに使用され得る。

[0087]メタ可塑性ルールは、高いＤＡレベルが、人工神経系が関連性を覚えるように、シナプスの増強を可能にすることを規定する。逆に、低いＤＡレベルは、人工神経系が迅速に現在の関連性を能動的に忘れるように、シナプス抑圧をもたらす。そのようなメタ可塑性ルールは、報酬学習、特に逆転学習方式において重要である。以前の学習システムは、関連性を忘れるために受動的崩壊メカニズムを使用し、これは、本明細書に記載される、関連性を忘れるための能動的メカニズム（すなわち、逆転学習のための）よりも著しく長い時間がかかる。しかし、関連性の能動的な忘却は即時である必要はない。忘却方式に何らかの安定性が組み込まれ得る。

[0088]このメタ可塑性学習ルールはスパイキングニューロンのネットワークに限定されるものではない。レートベースのニューラルネットワークでは、適格度トレースは、ニューロン応答間の相関関係を用いて計算され、適格度トレースと神経調節入力をリンクするために同じルールが適用される。
ニューラルデバイスの例示的なトレーニング
[0089]人工神経系を利用するデバイス（たとえば、複数の人工ニューロンを備える神経形態学的プロセッサ）が現在開発されている。これらのニューラルデバイスは、動物の脳のような処理を模倣して、意思決定機能のための人工神経系を活用する。そのようなニューラルデバイスは、典型的には、所望のタスクを実行する前にトレーニングを必要とする。

[0090]ニューラルデバイスに挙動をトレーニングすることは、長い時間がかかることがある。したがって、挙動を学習するためにかかる時間を加速することは、マーケットへのニューラルデバイスの道のりの礎となる。デバイスの学習速度を調節することは、トレーニング時間を短縮するための１つの方法であり、新しい挙動をより迅速に学習するように学習速度を加速することによるか、あらゆる不要な挙動を訂正するために学習速度を遅らせることによるか、またはそれらの任意の組合せによるかにかかわらない。学習速度の調節は、ニューラルデバイスの観点、典型的にはそのセンサーでトレーニング環境を知覚することしかできない、から制限される。

[0091]したがって、必要とされるものは、トレーニング時間を減少させるための技法および装置であり、それは、デバイスの学習速度を含む様々なトレーニングパラメータを調節するための外部エンティティの利用であり得る。そのような外部エンティティは、トレーニング環境およびニューラルデバイスの学習能力のより広い視野を有する。

[0092]本開示のいくつかの態様は、自動化および／または手動で駆動され得るニューラルデバイスをトレーニングするための適応システムを提供する。そのような適応トレーニングシステムは、トレーニング環境およびニューラルデバイスの動作だけでなく、それらの間の相互作用も観察する。トレーニングシステムはまた、トレーニング環境の様々な態様に影響する能力（たとえば、光、温度等を変化させる）、および、人工神経系が基づいているニューラルモデルを含む、ニューラルデバイスの様々な部分に影響する能力（重み、遅延、および神経調節を調整する）を有することができる。

[0093]いくつかの態様によれば、トレーニングシステムは、複数のニューラルデバイスのトレーニングを提供することができる。これによって、挙動をトレーニングするためにかかる時間を償却することができる。いくつかの態様では、トレーニングシステムは、複数の挙動のトレーニングを同時に提供して、それによってトレーニング効率を上げることができる。

[0094]図５は、本開示のいくつかの態様による、ニューラルデバイス５０８をトレーニングするための例示的なトレーニングシステム５００のブロック図である。トレーニングシステム５００は、オペレータ５０２、トレーニング処理システム５０４、およびトレーニング環境５０６の間の相互作用を含み得る。オペレータ５０２は、人間、別の動物（たとえば、類人猿または猿）または機械（たとえば、トレーニングされているニューラルデバイス５０８とは異なる別のニューラルデバイス）であり得る。トレーニング処理システム５０４は、いくつかの態様では、１つまたは複数の処理ユニットを含むことができ、またコンピュータであり得る。

[0095]トレーニング処理の間、トレーニング環境５０６にニューラルデバイス５０８が導入され得る。トレーニング環境５０６は、１つまたは複数の環境刺激５１０を含み得、それは、ニューラルデバイス５０８が何を学習すると期待されているかに応じて（たとえば、実行されるべきタスクに基づいて）、様々な適切な刺激タイプ（たとえば、トレーニングフィールド内のオブジェクト、光、音、におい、電磁場、画像、熱等）のいずれかを備え得る。トレーニング処理システム５０４は、ニューラルデバイス５０８のトレーニングの間に、１つまたは複数のトレーニングパラメータを調節するために、トレーニング環境５０６内のニューラルデバイス５０８および／または環境刺激５１０とインターフェースすることができる。これらのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、後続のシナプス可塑性を刺激する能力（たとえば、メタ可塑性ルールによる）、ニューラルデバイス５０８に関連付けられるセンサーの感度、モータ制御または制御信号の利得、人工神経系に含まれる人工ニューロンの数、および／または人工神経系におけるシナプス結合数などの、ニューラルデバイス５０８の学習ファクタを含み得る。学習ファクタはまた、時定数、状態、１つまたは複数の係数、および／あるいはニューラルデバイスのためのニューラルモデルの１つまたは複数の式を含み得る。トレーニングパラメータはまた、オブジェクトのロケーション、光強度、画像コントラスト、音量、化学的濃度、振動、温度、圧力、電気的ノイズ等の、環境刺激５１０の環境ファクタを含み得る。

[0096]いくつかの態様によれば、トレーニング処理はトレーニング処理システム５０４によって完全に自動化され得、他の態様では、オペレータ５０２は、トレーニング処理を制御する、またはそれに影響を与えるために、トレーニング処理システムとインターフェースすることができる。いくつかの態様では、オペレータ５０２は、トレーニング処理システム５０４とインターフェースすることなしに、ニューラルデバイスおよび／または環境刺激５１０に相互作用することができる（たとえば、ニューラルデバイスまたは環境刺激を再配置すること、新しい環境刺激を追加すること、既存の刺激を削除すること、または刺激を電源オンまたはオフにすることによって）。この相互作用は、たとえば、処理全体の再開ではなく、トレーニング処理への訂正、改善、または比較的大きい調整を行うために使用され得る。

[0097]図６は、本開示のいくつかの態様による、例示的な調節されたトレーニングシステム６００の詳細なブロック図である。トレーニングシステム６００は、トレーニング処理に自動化された報酬の制御態様を提供するための、観察可能なトレーニング環境５０６、トレーニング環境フィルタ（ＴＥＦ）６０２、適応報酬マネージャ（ＡＲＭ）６０４、および報酬／環境モジュレータ（ＲＥＭ）６０６を含み得る。ＴＥＦ６０２、ＡＲＭ６０４、および／またはＲＥＭ６０６は、トレーニング処理システム５０４の一部であり得る。いくつかの態様では、トレーニングシステム６００はまた、トレーニング処理に観察者ベースの手動報酬制御態様を提供するための、観察者フィルタブロック（ＯＦＢ）６０８と、手動報酬マネージャ（ＭＲＭ）６１０とを含み得る。ＯＦＢ６０８および／またはＭＲＭもまた、トレーニング処理システム５０４の一部であり得る。いくつかの態様では、手動報酬制御態様のための観察者は、オペレータ５０２などの、非自動化されたトレーニングモニタ（人、猿等）であり得る。

[0098]図６に示すように、ニューラルデバイス５０８は、１つまたは複数のニューラルプロセッサ６１２、センサー６１４、モータ６１６、およびニューラルモデル６１８（たとえば、ニューラルモデルプログラム、式、および／またはパラメータを記憶するメモリ）を含み得、それは、ニューラルプロセッサの挙動を制御する。ニューラルデバイス５０８はまた、挙動アフェクタ６２０（たとえば、コプロセッサ）を含み得る。挙動アフェクタ６２０は、ニューラル処理を指示するために使用される非神経学的ロジックを含み、統計モデルまたは他の非生物学的アルゴリズムを通じてニューラルプロセッサ６１２に影響を与え、ニューラルモデルの動的な部分である。

[0099]トレーニングシステム６００の動作を説明する際に支援するために、ゴミ箱を回避するようにロボット（ニューラルデバイス５０８を有する）をトレーニングすることを含む１つの例示的な使用事例を以下で説明する。しかしながら、トレーニングシステム６００は、任意の環境刺激（たとえば、物理的なオブジェクト、流体、光、音、におい、電磁場、画像、熱、圧力、振動、湿度、空気流等）を使用して任意の所望のタスクを実行するために、ニューラルデバイス５０８をトレーニングするために使用され得ることが理解される。ニューラルデバイス５０８をトレーニングするプロセスは、ニューラルデバイスが十分にトレーニングされるまで繰り返され得るいくつかのステップ（たとえば、観察、フィルタリング、報酬、調節、および行動）を含み得る。

[0100]第１のトレーニングステップ（観察）は、ロボット（ニューラルデバイス５０８を有する）、人間の観察者（または、自動化されたトレーニングシステム内のＯＦＢ６０８）、およびＴＥＦ６０２の、３つの異なるエンティティを含み得る。ロボットがゴミ箱（例示的な環境刺激５１０）に向かって移動すると、ゴミ箱は、ロボットの視野（ＦＯＶ）内で大きくなる。言い換えれば、トレーニング環境５０６の観察された状態がセンサー６１４によって感知され、ロボット内のニューラルデバイス５０８はＡＲＭ６０４に信号（センサーデータを示す）を送信することができる。同様に、人間の観察者（またはＯＦＢ６０８）は、ロボットがゴミ箱に近づいていることに気付くことができる。ＴＥＦ６０２は、ロボットがゴミ箱に近づいていることだけでなく、ロボットが木から離れて移動していることなどの、トレーニング環境５０６への他の変化も観察することができる。

[0101]第２のトレーニングステップ（フィルタリング）では、ＴＥＦ６０２は、関連する環境データ（たとえば、「ゴミ箱に近い（ｃｌｏｓｅ ｔｏ ｔｒａｓｈｃａｎ）」のフィルタリングされた情報）をＡＲＭ６０４に送信することができる。人間の観察者（またはＯＦＢ６０８）は、停止コマンドをＭＲＭ６１０に送信することができる。

[0102]第３のトレーニングステップ（報酬）では、ＭＲＭ６１０は、停止コマンドを受信して、手動の報酬利得を生成することができる。ＡＲＭ６０４は、自動化された報酬利得を生成する目的で、ニューラルデバイス５０８からの関連する環境データおよびセンサーデータを処理し得る。

[0103]第４のトレーニングステップ（調節）では、ＲＥＭ６０６は、手動および自動化された報酬を結合または処理して、処理された報酬を、ニューラルデバイス５０８の様々な部分（たとえば、センサー６１４、モータ６１６、ニューラルモデル６１８、および挙動アフェクタ６２０）によって、およびトレーニング環境５０６によって）理解されるデータストリームに変換することができる。第５のトレーニングステップ（行動）では、ＲＥＭ６０６から送信された調節が、ロボットの行動に影響を与える可能性がある（すなわち、ニューラルデバイス５０８が行動を取ることをシグナリングすることができ、それが観測可能なトレーニング環境５０６に影響を与える可能性がある）。たとえば、ロボットはゴミ箱から離れて移動することができる。また、ＲＥＭ６０６による環境調節（たとえば、照明の電源を入れる、温度を下げる、物理的なオブジェクトを移動させる等）は、トレーニング環境５０６に影響を与える可能性がある。次いで、トレーニングステップは、第１のトレーニングステップ（観察）に戻ることによって繰り返され得る。

[0104]ＴＥＦ６０２（トレーニング環境モニタとしても知られている）は、ニューラルデバイス５０８の位置、時間、および履歴、ならびに環境内の障害物を監視することができる。ＴＥＦ６０２は自動化され得る。たとえば、ＴＥＦ６０２によって衝突が検出された場合、報酬影響がＡＲＭ６０４に送信され得る。ＡＲＭは、報酬影響を評価して、ＲＥＭ６０６に提供される自動化された報酬利得を生成することができる。ＲＥＭは、学習速度に影響を与えるように関与された所望の調節を生成するために、自動化された報酬利得で、ＭＲＭ６１０から観察者ベースの手動報酬によって提供された利得を処理することができる。

[0105]外部および／または内部調節は、ニューラルデバイス５０８に影響を与える場合がある。スパイキングレート、学習速度、神経調節活動、センサー感度等、またはそれらの任意の組合せのいずれかが調整され得る。次いで、ニューラルデバイス５０８は、トレーニング環境内で行動を取ることができる。この行動は、たとえば、移動、センサーの調整（たとえば、リダイレクトまたは集中）、リスニング、カメラの使用等を含み得る。

[0106]ニューラルデバイス５０８がトレーニング環境５０６内の別のオブジェクトに接触すると、トレーニングアダプタ（たとえば、ＲＥＭ６０６）は学習速度を調節することができる。調節例の様々なカテゴリは、これらに限定されないが、（１）ニューラルデバイスの外部、（２）ニューラルデバイスの内部、および（３）非生物学的調節を含む。ニューラルデバイスの外部の調節は、タッチセンサーにスパイクを注入するなどの刺激（良い挙動を報いるために犬を愛撫することと同様）を含む。ニューラルデバイスの内部の調節は、神経調節の効果を増加させること、シナプス結合の数を増大または遅延させること、および／または含まれる人工ニューロンの数を増大または遅延させることを含み得る。非生物学的調節は、ニューラルデバイス内の時定数を修正すること、ニューラル状態を変化させること、あるいはニューラルデバイスの係数またはニューラル式を修正することを含み得る。

[0107]ニューラルデバイス５０８のトレーニングは、デバイスがそれを取り巻く世界と相互作用することを含む。そうするために、多くの異なるタイプのセンサーは、典型的には、トレーニング環境内の他のオブジェクトとの接触または近接性を検出するためにデバイスによって使用される。潜在的な影響点をカバーするための様々な物理的センサーのインストールは面倒であり、トレーニングレートへの影響に対してこれらのセンサーのキャリブレーションは重要である。

[0108]トレーニング環境内の他のオブジェクトとの近接性を決定するために論理的境界を使用することによって、システムは、ニューラルデバイスをトレーニングするための複数のセンサーの代わりに、またはそれを補完するものとして、仮想境界を使用することができる。仮想境界は、キャリブレーション時間およびトレーニング中に使用されるセンサーの数を減らす助けと最もなり得る。

[0109]図７は、本開示のいくつかの態様による、内部に配置されたオブジェクトの各々が仮想境界を有する例示的なトレーニング環境５０６を示している。たとえば、ニューラルデバイス５０８は、デバイスの仮想境界７０２を有する。同様に、木７０４は木の仮想境界７０６を有し、岩７０８は岩の仮想境界７１０を有する。いくつかの態様では、ターゲット７１２もまた、ターゲットの仮想境界７１４を有する。

[0110]本システムは、学習速度をより効率的に調節するために、仮想境界を活用し得る。仮想境界は、ニューラルデバイスの少なくとも一部を取り巻く（１次元、２次元、または３次元で）論理的な境界であり、トレーニング中に環境内に存在する（ニューラルデバイス５０８と同様の、またはそれとは異なる方法で）エンティティ（岩７０８、木７０４、ターゲット７１２等）を包み得る。環境内の仮想境界およびエンティティは、割り当てられたラベルであり得る。環境内の仮想境界およびエンティティは、それらが含む領域（または量）にわたる均一または非均一な分布の重みを割り当てられ得る。

[0111]ニューラルデバイス５０８をトレーニングするために、本デバイスはトレーニング環境５０６（すなわち、トレーニングフィールド）内に配置される。フィールド内のデバイスおよび他のオブジェクト（たとえば、木、岩、およびターゲット）の各々は、図７に示すように、仮想境界によって取り囲まれている。仮想境界は、トレーニング処理システム５０４によって作成および管理され得る。仮想境界が接触すると、ニューラルデバイス５０８は、その学習速度を調整して（または、より具体的には、ＲＥＭ６０６がデバイスの学習速度を調節し得る）、その動作を変更し得る。仮想境界の形状は、デバイスまたはオブジェクトの形状に適合してもよく、適合しなくてもよい。たとえば、図７における仮想境界は、すべてそれらが取り囲むオブジェクトの形状に適合するが、図９における最初のデバイスの仮想境界７０２はニューラルデバイス５０８の形状に適合しない。

[0112]複数の仮想境界が重複する場合、図８に示すように、境界衝突ゾーン８００が形成される。図８では、ニューラルデバイス５０８および岩７０８は論理的に衝突している。境界衝突ゾーン８００は、重複している境界を定義する。しかしながら、岩７０８とデバイス５０８とは物理的に接触しない。衝突期間（すなわち、重複する仮想境界の期間）中に学習速度が調整され得る。学習速度は、重複の深度、領域、および／またはレートに関連して調整され得る。

[0113]デバイスとオブジェクトとの境界は、トレーニング処理システム５０４（すなわち、トレーナ）によって定義され、トレーニング処理の間は適応可能である。たとえば、境界の大きさは、トレーニング処理の段階に依存し得る（たとえば、トレーニングの初期段階で十分な耐性を構築するためにより大きい境界だが、後の段階ではより小さい境界が使用される）。大きさはまた、トレーニング環境５０６内のオブジェクトの数に依存し得、後続の学習段階では、新たに追加された学習のゴールに依存し得る。

[0114]図９は、本開示のいくつかの態様による、そのような適応仮想境界を示す。たとえば、木７０４は、木７０４の形状に一般に適合する最初の木の仮想境界７０６を有していた。しかしながら、トレーニング処理の間、後続の木の仮想境界７０６’が、増大した大きさ、および最初の木の仮想境界７０６とは異なる形状を有するように、木の仮想境界が修正された。別の例として、ニューラルデバイス５０８は、デバイスの形状に適合しない最初のデバイスの仮想境界７０２を有していた。しかしながら、トレーニング処理の間、後続のデバイスの仮想境界７０２’が、ニューラルデバイス５０８の形状に一般に適合する縮小された大きさおよび形状を有するように、デバイスの仮想境界が調整された。

[0115]いくつかの態様では、仮想境界は、ニューラルデバイスの学習アルゴリズムによって定義され得る。たとえば、仮想境界は、受信された報酬、トレーニング処理の段階、またはリアルタイムエラーに応じて定義され得る。

[0116]本明細書に記載されるトレーニングシステムは、ニューラルデバイスの環境との対話を観察することができる。本システムは、トレーニングレートを増加するために、ニューラルデバイスの内部学習メカニズム（たとえば、スパイクレート、学習速度、神経調節、センサー感度等）、および／または環境刺激（たとえば、炎をデバイスの近くに移動させる、場面をより暗くする等）を修正することができる。

[0117]図１０は、本開示のいくつかの態様による、人工神経系を有するニューラルデバイスをトレーニングするための例示的な動作１０００の流れ図である。動作１０００は、ニューラルデバイスの外部のトレーニング装置（たとえば、トレーニング処理システム）によって実行され得る。

[0118]動作１０００は、１００２で、トレーニング装置がトレーニング環境内のニューラルデバイスを観察することから開始し得る。１００２での観察は、たとえば、トレーニング環境内のニューラルデバイスあるいは１つまたは複数のオブジェクトの位置、時間、または速度のうちの少なくとも１つを監視することを含み得る。１００４で、トレーニング装置は、１００２で観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節し得る。

[0119]いくつかの態様によれば、動作１０００は、トレーニング装置が、調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、１００６でニューラルデバイスの時間が反応することを可能にすることをさらに含み得る。この場合、動作１０００は、トレーニング装置が１００２、１００４、１００６で動作を１回または複数回（たとえば、ニューラルデバイスが十分にトレーニングされるまで）繰り返すことをさらに含み得る。

[0120]いくつかの態様によれば、少なくとも１つのトレーニングパラメータは、トレーニング環境の少なくとも１つの環境ファクタを含む。いくつかの態様では、少なくとも１つの環境ファクタは、オブジェクトの周囲の仮想境界である。この場合、１００４で少なくとも１つのトレーニングパラメータを調節することは、オブジェクトの周囲の仮想境界の大きさまたは形状のうちの少なくとも１つを調整することを含み得る。仮想境界は、オブジェクトの形状に適合してもよく、特定の標準的な形状を有してもよい。いくつかの態様では、オブジェクトの周囲の仮想境界は、それに関連付けられるノイズファクタを有する。この場合、動作１０００はまた、トレーニング装置が、１００２で観察することに少なくとも部分的基づいて、仮想境界に関連付けられるノイズファクタを調整することを含み得る。いくつかの態様では、１００４で少なくとも１つのトレーニングパラメータを調節することは、ニューラルデバイスによる感知に影響を与える（たとえば、増強する）ために、少なくとも１つの環境ファクタを調整することを含む。

[0121]いくつかの態様によれば、少なくとも１つのトレーニングパラメータは、ニューラルデバイスの少なくとも１つの学習ファクタを含む。いくつかの態様では、少なくとも１つの学習ファクタは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度（ニューラルデバイスに関連付けられる）、モータ制御の利得、制御信号の利得（たとえば、スピーカの音量を制御する信号などの、ニューラルデバイスの出力コンポーネントのための）、人工神経系に含まれる人工ニューロンの数、または人工神経系におけるシナプス結合数のうちの少なくとも１つを含む。いくつかの態様では、少なくとも１つの学習ファクタは、ニューラルデバイスのためのニューラルモデルにおける時定数、ニューラルモデルの状態（たとえば、上述のように、膜電位および／または膜復元変数によって記述される）、ニューラルモデルの１つまたは複数の係数、あるいはニューラルモデルの１つまたは複数の式のうちの少なくとも１つを含む。

[0122]いくつかの態様によれば、少なくとも１つの学習ファクタは、ニューラルデバイスの周囲の仮想境界を含む。この場合、１００４で少なくとも１つのトレーニングパラメータを調節することは、ニューラルデバイスの周囲の仮想境界の大きさまたは形状のうちの少なくとも１つを調整することを含み得る。いくつかの態様では、ニューラルデバイスの周囲の仮想境界は、ニューラルデバイスの表面から均一な間隔を有し得、他の態様では、仮想境界は非均一な間隔を有し得る。

[0123]いくつかの態様によれば、１００４で少なくとも１つのトレーニングパラメータを調節することは、トレーニング環境におけるニューラルデバイスの周囲およびオブジェクトの周囲の仮想境界間の重複の深度、領域、量、またはレートに少なくとも部分的に基づく。

[0124]いくつかの態様によれば、１００４で少なくとも１つのトレーニングパラメータを調節することは、観察すること、またはニューラルデバイスからのセンサーデータのうちの少なくとも１つに少なくとも部分的に基づいて、第１の報酬利得を生成することと、第１の報酬利得に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することとを含む。いくつかの態様では、動作１０００は、制御コマンドを受信することと、制御コマンドに少なくとも部分的に基づいて、第２の報酬利得を生成することとをさらに含み得る。この場合、１００４で調節することは、第１および第２の報酬利得に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することを伴い得る。

[0125]いくつかの態様によれば、動作１０００は、同じトレーニング環境内の別のニューラルデバイスを観察することと、別のニューラルデバイスの観察に少なくとも部分的に基づいて、別のニューラルデバイスの少なくとも１つの学習ファクタを調節することをさらに含み得る。このように、複数のニューラルデバイスは、単一のタスクを実行するためにともにトレーニングされ得る。たとえば、４つのニューラルデバイスは、カルテットとしてともに歌を再生するためにトレーニングされ得るが、各ニューラルデバイスは、異なる楽器（または、異なる楽器に関連付けられる歌の部分）を学習している。

[0126]図１１は、本開示のいくつかの態様による、ニューラルデバイスの観点から、人工神経系を有するニューラルデバイスをトレーニングするための例示的な動作１１００の流れ図である。動作１１００は、ハードウェアで（たとえば、神経形態学的プロセッサなどの１つもしくは複数のニューラル処理ユニットによって）、ソフトウェアで、またはファームウェアで実行され得る。人工神経系は、視覚神経系、聴覚神経系、海馬などのような様々な生物学上または想像上の神経系のうちのいずれかでモデル化され得る。

[0127]動作１１００は、１１０２で、ニューラルデバイスが、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信することから開始することができる。１１０４で、ニューラルデバイスは、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することができる。

[0128]いくつかの態様によれば、動作１１００は、調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、１１０６で、ニューラルデバイスがトレーニング環境内で１つまたは複数の行動を取ることをさらに含み得る。

[0129]いくつかの態様によれば、動作１１００はまた、ニューラルデバイスが、トレーニング環境についてのデータを感知することを含み得る。次いで、ニューラルデバイスは、ニューラルデバイスの外部のトレーニング装置にデータを送信し得る。いくつかの態様では、命令はトレーニング装置から受信され得、トレーニング装置に送信されたデータに少なくとも部分的に基づき得る。

[0130]いくつかの態様によれば、少なくとも１つのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度（ニューラルデバイスに関連付けられる）、モータ制御の利得、制御信号の利得（たとえば、光源の強度を制御する信号などの、ニューラルデバイスの出力コンポーネントのための）、人工神経系に含まれる人工ニューロンの数、または人工神経系におけるシナプス結合数のうちの少なくとも１つを含み得る。いくつかの態様では、少なくとも１つのトレーニングパラメータは、ニューラルデバイスのためのニューラルモデルにおける時定数、ニューラルモデルの状態（たとえば、上述のように、膜電位および／または膜復元変数によって記述される）、ニューラルモデルの１つまたは複数の係数、あるいはニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える。

[0131]図１２は、本開示のいくつかの態様による、汎用プロセッサ１２０２を使用して人工神経系を有するニューラルデバイスをトレーニングするための上述した方法の例示的なブロック図１２００を示す。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリブロック１２０４に記憶され得る一方、汎用プロセッサ１２０２において実行される関連した命令は、プログラムメモリ１２０６からロードされ得る。本開示のある態様では、汎用プロセッサ１２０２にロードされた命令は、トレーニング環境内のニューラルデバイスを観察するためのコードと、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するためのコードとを備え得る。本開示の別の態様では、汎用プロセッサ１２０２にロードされた命令は、ニューラルデバイスで、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信するためのコードと、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するためのコードとを備え得る。

[0132]図１３は、本開示のいくつかの態様による、メモリ１３０２が相互接続ネットワーク１３０４を介して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）１３０６とインターフェースされ得る人工神経系を有するニューラルデバイスをトレーニングするための上述した方法の例示的なブロック図１３００を示す。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリ１３０２に記憶されてよく、相互接続ネットワーク１３０４の接続を介してメモリ１３０２から各処理ユニット（ニューラルプロセッサ）１３０６にロードされ得る。本開示のある態様では、処理ユニット１３０６は、トレーニング環境内のニューラルデバイスを観察して、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するように構成され得る。本開示の別の態様では、処理ユニット１３０６は、ニューラルデバイスで、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信して、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための命令を受信するように構成され得る。

[0133]図１４は、本開示のいくつかの態様による、分散型重みメモリ１４０２および分散型処理ユニット（ニューラルプロセッサ）１４０４に基づいて人工神経系を有するニューラルデバイスをトレーニングするための上述した方法の例示的なブロック図１４００を示す。図１４に示すように、１つのメモリバンク１４０２が、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１４０４と直接インターフェースされてよく、メモリバンク１４０２は、その処理ユニット（ニューラルプロセッサ）１４０４に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータを記憶することができる。本開示のある態様では、処理ユニット１４０４は、トレーニング環境内のニューラルデバイスを観察して、観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するように構成され得る。本開示の別の態様では、処理ユニット１４０４は、ニューラルデバイスで、ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信して、受信された命令に少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための命令を受信するように構成され得る。

[0134]図１５は、本開示のいくつかの態様による、ニューラルネットワーク１５００の例示的な実装形態を示す。図１５に示すように、ニューラルネットワーク１５００は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット１５０２を備えることができる。各処理ユニット１５０２は、ローカル状態メモリ１５０４と、ニューラルネットワークのパラメータを記憶するローカルパラメータメモリ１５０６とを備えることができる。さらに、処理ユニット１５０２は、ローカル（ニューロン）モデルプログラムを有するメモリ１５０８と、ローカル学習プログラムを有するメモリ１５１０と、ローカル接続メモリ１５１２とを備えることができる。さらに、図１５に示すように、各ローカル処理ユニット１５０２は、ローカル処理ユニットのローカルメモリのための設定を提供し得る設定処理のためのユニット１５１４と、またローカル処理ユニット１５０２間のルーティングを提供するルーティング接続処理要素１５１６とインターフェースされ得る。

[0135]本開示のいくつかの態様によれば、各ローカル処理ユニット１５０２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されることで、１つまたは複数の機能的特徴を所望の機能的特徴に向けて発展させるように構成され得る。

[0136]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。たとえば、様々な動作は、図１２〜図１５に示す様々なプロセッサのうちの１つまたは複数によって実行され得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図１１に示す動作１１００は、図１１Ａに示す手段１１００Ａに対応する。

[0137]たとえば、表示するための手段は、ディスプレイ（たとえば、モニタ、フラットスクリーン、タッチスクリーンなど）、プリンタ、または視覚的描写（たとえば、表、チャートもしくはグラフ）のためのデータを出力するための任意の他の好適な手段を含み得る。処理するための手段、観察するための手段、調節するための手段、繰り返すための手段、時間を可能にするための手段、受信するための手段、送信するための手段、生成するための手段、１つまたは複数の行動を取るための手段、調整するための手段、データを送信するための手段、または決定するための手段は、１つまたは複数のプロセッサまたは処理ユニットを含み得る、処理システムを備え得る。感知するための手段は、センサーを含み得る。記憶するための手段は、処理システムによってアクセスされ得る、メモリまたは任意の他の好適な記憶デバイス（たとえば、ＲＡＭ）を含み得る。

[0138]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。また、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。

[0139]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。

[0140]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。

[0141]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。

[0142]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。

[0143]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。

[0144]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読取り専用メモリ）、ＰＲＯＭ（プログラマブル読取り専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取り専用メモリ）、ＥＥＰＲＯＭ（電気消去可能プログラマブル読取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。

[0145]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。

[0146]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつＡＳＩＣ（特定用途向け集積回路）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。

[0147]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。

[0148]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

[0149]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。

[0150]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。

[0151]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。

Claims (108)

1. 人工神経系を有するニューラルデバイスをトレーニングするための方法であって、
   トレーニング環境内の前記ニューラルデバイスを観察することと、
   前記観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節することと、
   を備える、方法。
2. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、前記ニューラルデバイスの時間が反応することを可能にすること、
   をさらに備える、請求項１に記載の方法。
3. 前記観察すること、前記調節すること、および前記可能にすることを１回または複数回繰り返すこと、
   をさらに備える、請求項２に記載の方法。
4. 前記少なくとも１つのトレーニングパラメータは、前記トレーニング環境の少なくとも１つの環境ファクタを備える、請求項１に記載の方法。
5. 前記少なくとも１つの環境ファクタは、オブジェクトの周囲の仮想境界を備える、請求項４に記載の方法。
6. 前記少なくとも１つのトレーニングパラメータを調節することは、前記オブジェクトの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整すること、
   を備える、請求項５に記載の方法。
7. 前記仮想境界は前記オブジェクトの形状に適合する、請求項５に記載の方法。
8. 前記オブジェクトの周囲の前記仮想境界は、それに関連付けられるノイズファクタを有する、請求項５に記載の方法。
9. 前記観察することに少なくとも部分的に基づいて、前記仮想境界に関連付けられる前記ノイズファクタを調整すること、
   をさらに備える、請求項８に記載の方法。
10. 前記少なくとも１つのトレーニングパラメータを調節することは、前記ニューラルデバイスによる感知に影響を与えるために、前記少なくとも１つの環境ファクタを調整すること、
    を備える、請求項４に記載の方法。
11. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスの少なくとも１つの学習ファクタを備える、請求項１に記載の方法。
12. 前記少なくとも１つの学習ファクタは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項１１に記載の方法。
13. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項１１に記載の方法。
14. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスの周囲の仮想境界を備える、請求項１１に記載の方法。
15. 前記ニューラルデバイスの周囲の前記仮想境界は、前記ニューラルデバイスの表面から均一な間隔を有する、請求項１４に記載の方法。
16. 前記少なくとも１つのトレーニングパラメータを調節することは、前記ニューラルデバイスの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整すること
    を備える、請求項１４に記載の方法。
17. 前記少なくとも１つのトレーニングパラメータを調節することは、前記トレーニング環境における前記ニューラルデバイスの周囲およびオブジェクトの周囲の仮想境界間の重複の深度、領域、量、またはレートに少なくとも部分的に基づく、請求項１１に記載の方法。
18. 前記少なくとも１つのトレーニングパラメータを調節することは、
    前記観察すること、または前記ニューラルデバイスからのセンサーデータのうちの少なくとも１つに少なくとも部分的に基づいて、第１の報酬利得を生成することと、
    前記第１の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節することと、
    を備える、請求項１に記載の方法。
19. 制御コマンドを受信することと、
    前記制御コマンドに少なくとも部分的に基づいて、第２の報酬利得を生成すること、ここにおいて、前記調節することは、前記第１および第２の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節する、と、
    を備える、請求項１８に記載の方法。
20. 前記観察することは、前記トレーニング環境内の前記ニューラルデバイスあるいは１つまたは複数のオブジェクトの位置、時間、または速度のうちの少なくとも１つを監視することを備える、請求項１に記載の方法。
21. 同じトレーニング環境内の別のニューラルデバイスを観察することと、
    前記別のニューラルデバイスの前記観察に少なくとも部分的に基づいて、前記別のニューラルデバイスの少なくとも１つの学習ファクタを調節することと、
    をさらに備える、請求項１に記載の方法。
22. 人工神経系を有するニューラルデバイスをトレーニングするための装置であって、
    トレーニング環境内の前記ニューラルデバイスを観察して、
    前記観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節する、
    ように構成された処理システムと、
    前記処理システムに結合されたメモリと、
    を備える、装置。
23. 前記処理システムは、前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、前記ニューラルデバイスの時間が反応することを可能にするようにさらに構成される、請求項２２に記載の装置。
24. 前記処理システムは、前記観察すること、前記調節すること、および前記可能にすることを１回または複数回繰り返すようにさらに構成される、請求項２３に記載の装置。
25. 前記少なくとも１つのトレーニングパラメータは、前記トレーニング環境の少なくとも１つの環境ファクタを備える、請求項２２に記載の装置。
26. 前記少なくとも１つの環境ファクタは、オブジェクトの周囲の仮想境界を備える、請求項２５に記載の装置。
27. 前記処理システムは、前記オブジェクトの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整することによって、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項２６に記載の装置。
28. 前記仮想境界は、前記オブジェクトの形状に適合する、請求項２６に記載の装置。
29. 前記オブジェクトの周囲の前記仮想境界は、それに関連付けられるノイズファクタを有する、請求項２６に記載の装置。
30. 前記処理システムは、前記観察することに少なくとも部分的に基づいて、前記仮想境界に関連付けられる前記ノイズファクタを調整するように、さらに構成される、請求項２９に記載の装置。
31. 前記処理システムは、前記ニューラルデバイスによる感知に影響を与えるために、前記少なくとも１つの環境ファクタを調整することによって、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項２５に記載の装置。
32. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスの少なくとも１つの学習ファクタを備える、請求項２２に記載の装置。
33. 前記少なくとも１つの学習ファクタは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項３２に記載の装置。
34. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項３２に記載の装置。
35. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスの周囲の仮想境界を備える、請求項３２に記載の装置。
36. 前記ニューラルデバイスの周囲の前記仮想境界は、前記ニューラルデバイスの表面から均一な間隔を有する、請求項３５に記載の装置。
37. 前記処理システムは、前記ニューラルデバイスの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整することによって、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項３５に記載の装置。
38. 前記処理システムは、前記トレーニング環境における前記ニューラルデバイスの周囲およびオブジェクトの周囲の仮想境界間の重複の深度、領域、量、またはレートに少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項３２に記載の装置。
39. 前記処理システムは、
    前記観察すること、または前記ニューラルデバイスからのセンサーデータのうちの少なくとも１つに少なくとも部分的に基づいて、第１の報酬利得を生成することと、
    前記第１の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節することと、
    によって、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項２２に記載の装置。
40. 前記処理システムは、
    制御コマンドを受信し、
    前記制御コマンドに少なくとも部分的に基づいて、第２の報酬利得を生成し、ここにおいて、前記処理システムは、前記第１および第２の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節する、
    ように構成される、請求項３９に記載の装置。
41. 前記処理システムは、前記トレーニング環境内の前記ニューラルデバイスあるいは１つまたは複数のオブジェクトの位置、時間、または速度のうちの少なくとも１つを監視することによって、前記ニューラルデバイスを観察するように構成される、請求項２２に記載の装置。
42. 前記処理システムは、
    同じトレーニング環境内の別のニューラルデバイスを観察し、
    前記別のニューラルデバイスの前記観察に少なくとも部分的に基づいて、前記別のニューラルデバイスの少なくとも１つの学習ファクタを調節する、
    ようにさらに構成される、請求項２２に記載の装置。
43. 人工神経系を有するニューラルデバイスをトレーニングするための装置であって、
    トレーニング環境内の前記ニューラルデバイスを観察するための手段と、
    前記観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節するための手段と、
    を備える、装置。
44. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、前記ニューラルデバイスの時間が反応することを可能にするための手段、
    をさらに備える、請求項４３に記載の装置。
45. 前記観察すること、前記調節すること、および前記可能にすることを１回または複数回繰り返すための手段、
    をさらに備える、請求項４４に記載の装置。
46. 前記少なくとも１つのトレーニングパラメータは、前記トレーニング環境の少なくとも１つの環境ファクタを備える、請求項４３に記載の装置。
47. 前記少なくとも１つの環境ファクタは、オブジェクトの周囲の仮想境界を備える、請求項４６に記載の装置。
48. 前記少なくとも１つのトレーニングパラメータを調節するための前記手段は、前記オブジェクトの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整するように構成される、請求項４７に記載の装置。
49. 前記仮想境界は、前記オブジェクトの形状に適合する、請求項４７に記載の装置。
50. 前記オブジェクトの周囲の前記仮想境界は、それに関連付けられるノイズファクタを有する、請求項４７に記載の装置。
51. 前記観察することに少なくとも部分的に基づいて、前記仮想境界に関連付けられる前記ノイズファクタを調整するための手段、
    をさらに備える、請求項５０に記載の装置。
52. 前記少なくとも１つのトレーニングパラメータを調節するための前記手段は、前記ニューラルデバイスによる感知に影響を与えるために、前記少なくとも１つの環境ファクタを調整するように構成される、請求項４６に記載の装置。
53. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスの少なくとも１つの学習ファクタを備える、請求項４３に記載の装置。
54. 前記少なくとも１つの学習ファクタは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項５３に記載の装置。
55. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項５３に記載の装置。
56. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスの周囲の仮想境界を備える、請求項５３に記載の装置。
57. 前記ニューラルデバイスの周囲の前記仮想境界は、前記ニューラルデバイスの表面から均一な間隔を有する、請求項５６に記載の装置。
58. 前記少なくとも１つのトレーニングパラメータを調節するための前記手段は、前記ニューラルデバイスの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整するように構成される、請求項５６に記載の装置。
59. 前記少なくとも１つのトレーニングパラメータを調節するための前記手段は、前記トレーニング環境における前記ニューラルデバイスの周囲およびオブジェクトの周囲の仮想境界間の重複の深度、領域、量、またはレートに少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節するように構成される、請求項５３に記載の装置。
60. 前記少なくとも１つのトレーニングパラメータを調節するための前記手段は、
    前記観察することまたは前記ニューラルデバイスからのセンサーデータのうちの少なくとも１つに少なくとも部分的に基づいて、第１の報酬利得を生成し、
    前記第１の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節する、
    ように構成される、請求項４３に記載の装置。
61. 制御コマンドを受信するための手段と、
    前記制御コマンドに少なくとも部分的に基づいて、第２の報酬利得を生成するための手段、ここにおいて、調節するための前記手段は、前記第１および第２の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節するように構成される、と、
    をさらに備える、請求項６０に記載の装置。
62. 観察するための前記手段は、前記トレーニング環境内の前記ニューラルデバイスあるいは１つまたは複数のオブジェクトの位置、時間、または速度のうちの少なくとも１つを監視するように構成される、請求項４３に記載の装置。
63. 同じトレーニング環境内の別のニューラルデバイスを観察するための手段と、
    前記別のニューラルデバイスの前記観察に少なくとも部分的に基づいて、前記別のニューラルデバイスの少なくとも１つの学習ファクタを調節するための手段と、
    をさらに備える、請求項４３に記載の装置。
64. 人工神経系を有するニューラルデバイスをトレーニングするためのコンピュータプログラム製品であって、
    トレーニング環境内の前記ニューラルデバイスを観察し、
    前記観察することに少なくとも部分的に基づいて、少なくとも１つのトレーニングパラメータを調節する、
    ための実行可能な命令を有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。
65. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、前記ニューラルデバイスの時間が反応することを可能にする、
    ための実行可能な命令をさらに備える、請求項６４に記載のコンピュータプログラム製品。
66. 前記観察すること、前記調節すること、および前記可能にすることを１回または複数回繰り返す、
    ための実行可能な命令をさらに備える、請求項６５に記載のコンピュータプログラム製品。
67. 前記少なくとも１つのトレーニングパラメータは、前記トレーニング環境の少なくとも１つの環境ファクタを備える、請求項６４に記載のコンピュータプログラム製品。
68. 前記少なくとも１つの環境ファクタは、オブジェクトの周囲の仮想境界を備える、請求項６７に記載のコンピュータプログラム製品。
69. 前記少なくとも１つのトレーニングパラメータを調節することは、前記オブジェクトの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整することを備える、請求項６８に記載のコンピュータプログラム製品。
70. 前記仮想境界は、前記オブジェクトの形状に適合する、請求項６８に記載のコンピュータプログラム製品。
71. 前記オブジェクトの周囲の前記仮想境界は、それに関連付けられるノイズファクタを有する、請求項６８に記載のコンピュータプログラム製品。
72. 前記観察することに少なくとも部分的に基づいて、前記仮想境界に関連付けられる前記ノイズファクタを調整する、
    ための実行可能な命令をさらに備える、請求項７１に記載のコンピュータプログラム製品。
73. 前記少なくとも１つのトレーニングパラメータを調節することは、前記ニューラルデバイスによる感知に影響を与えるために、前記少なくとも１つの環境ファクタを調整することを備える、請求項６７に記載のコンピュータプログラム製品。
74. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスの少なくとも１つの学習ファクタを備える、請求項６４に記載のコンピュータプログラム製品。
75. 前記少なくとも１つの学習ファクタは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項７４に記載のコンピュータプログラム製品。
76. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項７４に記載のコンピュータプログラム製品。
77. 前記少なくとも１つの学習ファクタは、前記ニューラルデバイスの周囲の仮想境界を備える、請求項７４に記載のコンピュータプログラム製品。
78. 前記ニューラルデバイスの周囲の前記仮想境界は、前記ニューラルデバイスの表面から均一な間隔を有する、請求項７７に記載のコンピュータプログラム製品。
79. 前記少なくとも１つのトレーニングパラメータを調節することは、前記ニューラルデバイスの周囲の前記仮想境界の大きさまたは形状のうちの少なくとも１つを調整することを備える、請求項７７に記載のコンピュータプログラム製品。
80. 前記少なくとも１つのトレーニングパラメータを調節することは、前記トレーニング環境における前記ニューラルデバイスの周囲およびオブジェクトの周囲の仮想境界間の重複の深度、領域、量、またはレートに少なくとも部分的に基づく、請求項７４に記載のコンピュータプログラム製品。
81. 前記少なくとも１つのトレーニングパラメータを調節することは、
    前記観察すること、または前記ニューラルデバイスからのセンサーデータのうちの少なくとも１つに少なくとも部分的に基づいて、第１の報酬利得を生成することと、
    前記第１の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節することと、
    を備える、請求項６４に記載のコンピュータプログラム製品。
82. 制御コマンドを受信し、
    前記制御コマンドに少なくとも部分的に基づいて、第２の報酬利得を生成し、
    ここにおいて、前記調節することは、前記第１および第２の報酬利得に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節することを備える、
    ための実行可能な命令をさらに備える、請求項８１に記載のコンピュータプログラム製品。
83. 前記観察することは、前記トレーニング環境内の前記ニューラルデバイスあるいは１つまたは複数のオブジェクトの位置、時間、または速度のうちの少なくとも１つを監視することを備える、請求項６４に記載のコンピュータプログラム製品。
84. 同じトレーニング環境内の別のニューラルデバイスを観察し、
    前記別のニューラルデバイスの前記観察に少なくとも部分的に基づいて、前記別のニューラルデバイスの少なくとも１つの学習ファクタを調節する、
    ために実行可能な命令をさらに備える、請求項６４に記載のコンピュータプログラム製品。
85. 人工神経系を有するニューラルデバイスをトレーニングするための方法であって、
    前記ニューラルデバイスで、前記ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信することと、
    前記受信された命令に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節することと、
    を備える、方法。
86. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、トレーニング環境内で１つまたは複数の行動を取ること、
    をさらに備える、請求項８５に記載の方法。
87. 前記ニューラルデバイスで、トレーニング環境についてのデータを感知することと、
    前記ニューラルデバイスの外部のトレーニング装置に前記データを送信することと、
    をさらに備える、請求項８５に記載の方法。
88. 前記命令は前記トレーニング装置から受信される、請求項８７に記載の方法。
89. 前記少なくとも１つのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項８５に記載の方法。
90. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項８５に記載の方法。
91. 処理システムであって、
    装置の少なくとも１つのトレーニングパラメータを調節するための命令を受信し、
    前記受信された命令に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節する、
    ように構成された処理システムと、
    前記処理システムに結合されたメモリと、
    を備える、人工神経系を有する装置。
92. 前記処理システムは、前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、トレーニング環境内で１つまたは複数の行動を取るようにさらに構成される、請求項９１に記載の装置。
93. 前記処理システムは、
    トレーニング環境についてのデータを感知して、
    トレーニング装置に前記データを送信する、
    ようにさらに構成される、請求項９１に記載の装置。
94. 前記命令は前記トレーニング装置から受信される、請求項９３に記載の装置。
95. 前記少なくとも１つのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項９１に記載の装置。
96. 前記少なくとも１つのトレーニングパラメータは、前記装置のためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項９１に記載の装置。
97. 装置の少なくとも１つのトレーニングパラメータを調節するための命令を受信するための手段と、
    前記受信された命令に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節するための手段と、
    を備える、人工神経系を有する装置。
98. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、トレーニング環境内で１つまたは複数の行動を取るための手段、
    をさらに備える、請求項９７に記載の装置。
99. トレーニング環境についてのデータを感知するための手段と、
    トレーニング装置に前記データを送信するための手段と、
    をさらに備える、請求項９７に記載の装置。
100. 前記命令は前記トレーニング装置から受信される、請求項９９に記載の装置。
101. 前記少なくとも１つのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項９７に記載の装置。
102. 前記少なくとも１つのトレーニングパラメータは、前記装置のためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項９７に記載の装置。
103. 人工神経系を有するニューラルデバイスをトレーニングするためのコンピュータプログラム製品であって、
     前記ニューラルデバイスで、前記ニューラルデバイスの少なくとも１つのトレーニングパラメータを調節するための命令を受信し、
     前記受信された命令に少なくとも部分的に基づいて、前記少なくとも１つのトレーニングパラメータを調節する、
     ためのコードを有する非一時的コンピュータ可読媒体を備える、コンピュータプログラム製品。
104. 前記調節された少なくとも１つのトレーニングパラメータに少なくとも部分的に基づいて、トレーニング環境内で１つまたは複数の行動を取る、
     ためのコードをさらに備える、請求項１０３に記載のコンピュータプログラム製品。
105. 前記ニューラルデバイスで、トレーニング環境についてのデータを感知し、
     前記ニューラルデバイスの外部のトレーニング装置に前記データを送信する、
     ためのコードをさらに備える、請求項１０３に記載のコンピュータプログラム製品。
106. 前記命令は前記トレーニング装置から受信される、請求項１０５に記載のコンピュータプログラム製品。
107. 前記少なくとも１つのトレーニングパラメータは、スパイキングレート、学習速度、神経調節の量または効果、シナプス可塑性のための能力、センサーの感度、モータ制御の利得、制御信号の利得、前記人工神経系に含まれる人工ニューロンの数、または前記人工神経系におけるシナプス結合数のうちの少なくとも１つを備える、請求項１０３に記載のコンピュータプログラム製品。
108. 前記少なくとも１つのトレーニングパラメータは、前記ニューラルデバイスのためのニューラルモデルにおける時定数、前記ニューラルモデルの状態、前記ニューラルモデルの１つまたは複数の係数、あるいは前記ニューラルモデルの１つまたは複数の式のうちの少なくとも１つを備える、請求項１０３に記載のコンピュータプログラム製品。

Images