JP2016539414A - スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること - Google Patents
スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること Download PDFInfo
- Publication number
- JP2016539414A JP2016539414A JP2016528136A JP2016528136A JP2016539414A JP 2016539414 A JP2016539414 A JP 2016539414A JP 2016528136 A JP2016528136 A JP 2016528136A JP 2016528136 A JP2016528136 A JP 2016528136A JP 2016539414 A JP2016539414 A JP 2016539414A
- Authority
- JP
- Japan
- Prior art keywords
- artificial
- neuron
- spikes
- synaptic
- artificial neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本開示の態様は、人工神経系をトレーニングするための方法および装置に関する。いくつかの態様によれば、トレーニング反復中の人工ニューロンのスパイクのタイミングが記録され、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクがリプレーされ、人工ニューロンに関連付けられるパラメータが、後続のトレーニング反復に少なくとも部分的に基づいて更新される。【選択図】図9
Description
[0001]本出願は、2013年11月8日に出願された米国仮特許出願第61/901,599号、および2014年9月24日に出願された第14/494,681号の利益を主張し、その両方は、参照により全体が本明細書に組み込まれる。
[0002]本開示のいくつかの態様は、一般に人工神経系に関し、より詳細には、スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装することに関する。
[0003]人工ニューロン(すなわち、ニューラル処理ユニット)の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および/または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による機能の設計を面倒にする適用例において、特に有用である。
[0004]1つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、ニューラルネットワークにおける計算機能の発生元となり得る挙動の豊かなセットを提供する。スパイキングニューラルネットワークは、ニューロンがニューロンの状態に基づいて特定の(1つまたは複数の)時間に発火する、または「スパイクする」という概念、および時間がニューロン機能にとって重要であるという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、このスパイクが受信された時間に基づいてそれらの状態を調整することができる。言い換えれば、ニューラルネットワークにおけるスパイクの相対的タイミングまたは絶対的タイミングで情報が符号化され得る。
[0005]本開示のいくつかの態様は、一般に、スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装することに関する。本開示のいくつかの態様は、人工神経系をトレーニングする方法に関する。本方法は、一般に、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録することと、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーすることと、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新することとを含む。
[0006]本開示のいくつかの態様は、人工神経系をトレーニングする装置を提供する。本装置は、一般に、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーして、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するように構成された処理システムと、処理システムに結合されたメモリとを含む。
[0007]本開示のいくつかの態様は、人工神経系をトレーニングする装置を提供する。本装置は、一般に、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録するための手段と、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーするための手段と、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するための手段とを含む。
[0008]本開示のいくつかの態様は、コンピュータによって実行可能な記憶された命令を有するコンピュータ可読媒体を提供する。本命令は、一般に、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーして、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するために実行可能である。
[0009]本開示の上述の特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約された内容のより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。
本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。
本開示のいくつかの態様による、計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)の例示的な処理ユニット(ニューロン)を示す図。
本開示のいくつかの態様による例示的なスパイクタイミング依存可塑性(STDP)曲線を示す図。
本開示のいくつかの態様による、ニューロンの挙動を定義するための正レジームと負レジームとを示す、人工ニューロンに関する状態の例示的なグラフ。
本開示のいくつかの態様による、リプレースパイクを使用してシナプス学習を実装するニューラルネットワークの例示的なステートマシンを示す図。
本開示のいくつかの態様による、リプレースパイクを使用してシナプス学習を実装するニューラルネットワークにおける動作の例示的なタイムラインを示す図。
本開示のいくつかの態様による、リプレースパイクを使用してシナプス学習を実装し、接続テーブル(CT)が複数の別個の遅延範囲にセグメント化されている、ニューラルネットワークの例示的なステートマシンを示す図。
本開示のいくつかの態様による、中継スパイクを使用してシナプス学習を実装し、CTテーブルが複数の別個の遅延範囲にセグメント化されている、ニューラルネットワークにおける動作の例示的なタイムラインを示す図。
本開示のいくつかの態様による、人工神経系をトレーニングするための例示的な動作を示す図。
本開示のいくつかの態様による、人工神経系をトレーニングするための例示的な動作を示す図。
本開示のいくつかの態様による、汎用プロセッサを使用して人工神経系を操作するための例示的な実装形態を示す図。
本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得る人工神経系を操作するための例示的な実装形態を示す図。
本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいて人工神経系を操作するための例示的な実装形態を示す図。
本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
本開示のいくつかの態様による、人工神経系の例示的なハードウェア実装形態を示す図。
[0024]添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0025]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
[0026]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム
例示的なニューラルシステム
[0027]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じレイヤの他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前のレイヤのニューロンに戻る形で結合し得る。
[0028]図1に示すように、レベル102における各ニューロンは、前のレベル(図1に図示せず)の複数のニューロンによって生成され得る入力信号108を受信し得る。信号108は、レベル102のニューロンへの入力(たとえば、入力電流)を表し得る。そのような入力は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル(たとえば、レベル106)に転送されるべき出力スパイクを生成し得る。そのような挙動は、アナログおよびデジタル実装形態を含むハードウェアおよび/またはソフトウェアでエミュレートまたはシミュレートされ得る。
[0029]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約100mVの振幅と約1msの持続時間とを有する比較的急速で、一時的で、全か無かの神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の態様(たとえば、図1におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送)では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数(またはスパイクの時間)によってのみ表される。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および1つまたは複数の他のスパイクに対するスパイクの時間によって決定される。
[0030]図1に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合(または単に「シナプス」)のネットワーク104によって達成され得る。シナプス104は、レベル102のニューロン(シナプス104に対するシナプス前ニューロン)から出力信号(すなわち、スパイク)を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス重み
(ここでPは、レベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数である)に従ってスケーリングされ得る。他の態様では、シナプス104は、いかなるシナプス重みをも適用しないことがある。さらに、(スケーリングされた)信号は、レベル106における各ニューロン(シナプス104に対するシナプス後ニューロン)の入力信号として合成され得る。レベル106におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、次いで、シナプス結合の別のネットワーク(図1には図示せず)を使用して、別のレベルのニューロンに転送され得る。
[0031]生物学的シナプスは、電気シナプスまたは化学シナプスのいずれに分類され得る。電気シナプスは、興奮性信号を送るために主に使用される一方、化学シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性(過分極化)活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすこともできる。興奮性信号は通常、膜電位を脱分極する(すなわち、静止電位に対して膜電位を増加させる)。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する(すなわち、低下させる)。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス104は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
[0032]ニューラルシステム100は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス(PLD)、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム100は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム100における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
[0033]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ(memristor)要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス104の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
[0034]ニューラルシステム100をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
[0035]図2は、本開示のいくつかの態様による、計算ネットワーク(たとえば、ニューラルシステムまたはニューラルネットワーク)の処理ユニット(たとえば、人工ニューロン202)の一例200を示す。たとえば、ニューロン202は、図1のレベル102のニューロンおよび106のニューロンのうちのいずれかに対応し得る。ニューロン202は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号2041〜204N(x1〜xN)を受信し得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み2061〜206N(w1〜wN)に従って信号をスケーリングするシナプス結合を通してニューロン202に伝えられ得、Nはニューロン202の入力接続の総数であり得る。
[0036]ニューロン202は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号208(すなわち、信号y)を生成し得る。出力信号208は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号208は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン202への入力信号として、またはニューラルシステムの出力として伝達され得る。
[0037]処理ユニット(ニューロン202)は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつワイヤによってエミュレートされ得る。処理ユニット、それの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニットはまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニットはアナログ電気回路を備え得る。別の態様では、処理ユニットはデジタル電気回路を備え得る。さらに別の態様では、処理ユニットは、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク(ニューラルシステムまたはニューラルネットワーク)は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
[0038]ニューラルネットワークをトレーニングする過程で、シナプス重み(たとえば、図1の重み
シナプスタイプ
[0039]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)と、可塑性シナプス(重みが変化し得る)と、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)と、完全可塑性シナプス(重み、遅延および結合性が変化し得る)と、それの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること(またはそのような機能が完了するのを待つこと)を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
[0040]また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性(すなわち、遅延量の変化)は前後スパイク時間差(pre-post spike time difference)の直接関数であり得るので、構造可塑性は、重みの大きさに変化がない場合(たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合)でも実行され得る。代替的に、それは、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大限に達するのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
シナプス可塑性の決定
シナプス可塑性の決定
[0041]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
[0042]STDPは、脳内の場合のようなニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク(すなわち、活動電位)の相対的タイミングに基づいて調整される。STDPプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強(LTP)が生じ得る。その場合、その特定の入力はいくらか強くなる。対照的に、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧(LTD)が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がゼロまたはゼロの近くまで低減されるまで、このプロセスは続く。
[0043]ニューロンは一般に出力スパイクを、それの入力の多くが短い期間内に生じる(すなわち、出力をもたらすのに十分に累積している)ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関指示を提供する入力は結局、ニューロンへの最終入力となる。
[0044]STDP学習ルールは、シナプス前ニューロンのスパイク時間tpreとシナプス後ニューロンのスパイク時間tpostとの間の時間差(すなわち、t=tpost−tpre)に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。STDPの通常の公式化は、時間差が正である(シナプス前ニューロンがシナプス後ニューロンの前に発火する)場合にシナプス重みを増加させ(すなわち、シナプスを増強し)、時間差が負である(シナプス後ニューロンがシナプス前ニューロンの前に発火する)場合にシナプス重みを減少させる(すなわち、シナプスを抑制する)ことである。
[0045]STDPプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
ここで、k+およびk-はそれぞれ、正の時間差および負の時間差の時間定数であり、a+およびa-は対応するスケーリングの大きさであり、μは正の時間差および/または負の時間差に適用され得るオフセットである。
[0046]図3は、STDPによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的なグラフ300を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ300の部分302に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのLTPと呼ばれ得る。グラフ部分302から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、LTPの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ300の部分304に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのLTDをもたらし得る。
[0047]図3のグラフ300に示すように、STDPグラフのLTP(原因)部分302に負のオフセットμが適用され得る。x軸の交差306のポイント(y=0)は、レイヤi−1(シナプス前レイヤ)からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力(すなわち、入力は、スパイクまたはパルスを備える特定の持続時間のフレームの形態である)の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第1の入力スパイク(パルス)が経時的に減衰することが考慮され得る。フレームにおける第2の入力スパイク(パルス)が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る(たとえば、1つのフレームよりも大きい場合は負、1つのフレームよりも小さい場合は正)ように、STDP曲線の1つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にLTPの代わりにLTDの一部であるようにLTPをオフセットするために負のオフセットμが設定され得る。
ニューロンモデルおよび演算
ニューロンモデルおよび演算
[0048]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解を有することができ、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
[0049]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができるステートマシンが望まれ得る。入力寄与(ある場合)とは別個の事象の発生自体がステートマシンに影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
[0050]一態様では、ニューロンnは、下記のダイナミクスによって決定される膜電圧νn(t)によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
ここでαおよびβはパラメータであり、wm,nは、シナプス前ニューロンmをシナプス後ニューロンnに結合するシナプスのシナプス重みであり、ym(t)は、ニューロンnの細胞体に到着するまでΔtm,nに従って樹状遅延(dendritic delay)または軸索遅延によって遅延し得るニューロンmのスパイキング出力である。
[0051]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値νtとピークスパイク電圧νpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための1対の微分方程式、すなわち、
によってニューロン細胞体ダイナミクス(neuron soma dynamics)が決定され得る。ここでνは膜電位であり、uは、膜復元変数であり、kは、膜電位νの時間スケールを記述するパラメータであり、aは、復元変数uの時間スケールを記述するパラメータであり、bは、膜電位νのしきい値下変動に対する復元変数uの感度を記述するパラメータであり、νrは、膜静止電位であり、Iは、シナプス電流であり、Cは、膜のキャパシタンスである。このモデルによれば、ニューロンはν>νpeakのときにスパイクすると定義される。
Hunzinger Coldモデル
Hunzinger Coldモデル
[0052]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
[0053]図4に示すように、モデルのダイナミクスは2つの(またはそれよりも多くの)レジームに分割され得る。これらのレジームは、負レジーム402(リーキー積分発火(LIF)ニューロンモデルと混同されないように互換的にLIFレジームとも呼ばれる)および正レジーム404(反リーキー積分発火(ALIF)ニューロンモデルと混同されないように互換的にALIFレジームとも呼ばれる)と呼ばれ得る。負レジーム402では、状態は将来の事象の時点における静止(ν-)の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム404では、状態はスパイキング事象(νs)の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら2つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
[0054]線形二重レジーム2次元ダイナミクス(状態νおよびuの場合)は、慣例により次のように定義され得る。
ここでqρおよびrは、結合のための線形変換変数である。
[0055]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「+」にシンボルρを置き換える慣例がある。
[0056]モデル状態は、膜電位(電圧)νおよび復元電流uによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧νがしきい値(ν+)を上回る場合に正レジーム404にあり、そうでない場合に負レジーム402にあると考える。
[0057]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展(voltage evolution)に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
[0058]2つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
であり、δ、ε、βおよびν-、ν+はパラメータである。νρのための2つの値は、2つのレジームのための参照電圧のベースである。パラメータν-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてν-に減衰することになる。パラメータν+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてν+から離れる傾向となる。
[0059]νおよびuのためのヌルクラインは、それぞれ変換変数qρおよびrの負によって与えられる。パラメータδは,uヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ν-に等しく設定される。パラメータβは、両方のレジームにおいてνヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
[0060]モデルは、電圧νが値νsに達したときにスパイクするように定義される。続いて、状態は通常、(技術的に、スパイク事象と同じ1つのものであり得る)リセット事象でリセットされる。
ここで、
およびΔuはパラメータである。リセット電圧
は通常、ν-にセットされる。
[0061]瞬時結合の原理によって、状態について(また、単一の指数項による)だけではなく、特定の状態に到達するために必要とされる時間についても、閉形式解が可能である。閉形式状態解は、次のとおりである。
[0062]したがって、モデル状態は、入力(シナプス前スパイク)または出力(シナプス後スパイク)などの事象に伴ってのみ更新され得る。また、演算が(入力があるか、出力があるかを問わず)任意の特定の時間に実行され得る。
[0063]その上、瞬時結合原理によって、反復的技法または数値解法(たとえば、オイラー数値解法)なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ν0を踏まえ、電圧状態νfに到達するまでの時間遅延は、次の式によって与えられる。
[0064]スパイクが、電圧状態νがνsに到達する時間に生じると定義される場合、電圧が所与の状態νにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
ここで、
は通常、パラメータν+にセットされるが、他の変形も可能であり得る。
[0065]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合(変換)変数は、最後の(前の)事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の(最新の)事象の時間における状態に基づいて定義され得る。
[0066]Coldモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、(特定の瞬間における)事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔(たとえば、1ms)をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
ニューラルコーディング
ニューラルコーディング
[0067]図1の人工ニューロン102、106から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位(スパイキング活動)の一致(または時間的近接度)で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位(すなわち、スパイク)の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
[0068]ニューロンモデルは、時間コーディングを実行し得る場合、(レートは単に、タイミングまたはスパイク間の間隔の関数であるので)レートコーディングも実行し得る。時間コーディングを行うために、良いニューロンモデルは2つの要素を有する必要がある。すなわち、(1)入力の到着時間は出力時間に影響を与え、(2)一致検出は狭い時間ウィンドウを有し得る。時間パターンの要素を適切に遅延させることによって、要素はタイミング一致に組み込まれ得るので、結合遅延は、一致検出を時間パターン復号に拡大するための1つの手段を提供する。
到着時間
到着時間
[0069]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位(PSP:shaped post-synaptic potential)であるかを問わず、興奮性(EPSP)であるか、抑制性(IPSP)であるかを問わず、到着時間(たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間)を有し、これは入力時間と呼ばれ得る。ニューロン出力(すなわち、スパイク)は、(細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも)発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的原理は、出力時間が入力時間に依存することである。
[0070]一見したところ、すべてのニューロンモデルがこの原理に従うと思われるかもしれないが、これは一般には当てはまらない。たとえば、レートベースのモデルは、この特徴を有しない。多くのスパイキングモデルも、一般には適合しない。リーキー積分発火(LIF)モデルは、(しきい値を越えて)追加の入力がある場合にさらに速く発火することはない。その上、非常に高いタイミング分解能でモデル化された場合に適合する可能性があるモデルは多くの場合、タイミング分解能がたとえば1msのステップに限定されているときに適合しない。
入力
入力
[0071]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。
スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習の例示的な実装形態
スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習の例示的な実装形態
[0072]スパイキングニューラルネットワーク(たとえば、図1のスパイキングニューラルネットワーク100)は、軸索および/またはシナプス接続(たとえば、図1のシナプス接続104)を使用して、人工ニューロンまたはニューラル処理ユニット(たとえば、図1の人工ニューロン102、106)間のスパイク送信をモデル化する。任意の2つの接続された人工ニューロンの細胞体間の軸索およびシナプスは、それぞれ、それに関連付けられる遅延を有し得る。
[0073]上述のSTDPなどの従来の学習方式は、学習アルゴリズム内に非原因構成要素を有し得る(たとえば、同じ入力は必ずしも同じ結果につながるとは限らない可能性があることを意味する)。そのような非原因部分は、シナプス前ニューロンおよびシナプス後ニューロンの状態パラメータのルックアップを伴ってもよく、それは非効率的なランダムアクセスメモリ(RAM)アクセスパターンを含み得、前方ルックアップと逆ルックアップとの両方を実行するため、ハードウェアに実装されている場合は遅くなることがある。
[0074]本明細書に提示されるいくつかの態様によれば、シナプス学習におけるパフォーマンスの向上は、ニューラルネットワークを通じて過去の一定時間からスパイクをリプレーすること(たとえば、以前のトレーニング反復中に記録されたスパイクタイミングに基づいて)によって達成され得る。本開示のある態様では、ニューラルネットワークは、時間T0(すなわち、ニューラルネットワークが開始される時)でいつものように実行され得る。ニューラルネットワーク内の1つまたは複数のニューロンの各々は、Treplayの一定のリプレー遅延の後に、同じスパイクをリプレーすることができる。リプレーされたスパイクは、学習アルゴリズム、たとえば、再強化学習(re−enforce learning)を実装して、人工ニューロンに関連付けられるパラメータ(たとえば、シナプス遅延および/または重み)の収束を助けるために使用され得る。
[0075]図5は、本開示のいくつかの態様による、スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習機能を実行するための例示的なステートマシン500を示している。ステートマシン500は状態502で開始することができ、時間=Tauのニューラル状態を更新することができる。状態504で、可塑性更新が実行され得る。本開示のある態様では、可塑性更新は、時間ウィンドウTau−CT_NUM_DELAYS−STDP_PRE_WINについて実行され得、CT_NUM_DELAYSは許可された遅延の数(または、図5に示されるように、最小シナプス遅延CT_MIN_DELAYが1であるの場合の最大遅延)を表し、STDP_PRE_WINはpre−before−post STDPウィンドウを表す。このウィンドウは、一般にシナプス増強を指し、pre−before−post STDPウィンドウSTDP_PRE_WIN未満でなければならず(図5に示されるように)、これは一般にシナプス抑制を指す。状態506で、時間期間Tauがインクリメントされ得る。状態506でTauをインクリメントした後、ステートマシン500は、状態502に戻って、終了まで動作を繰り返すことができる。
[0076]図6は、本開示のいくつかの態様による、スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習機能の例示的なタイムライン600を示している。ある態様では、スパイクリプレーはニューラル状態更新が完了した後に生じ得る。たとえば、時間T+0で、ニューラル状態更新が実行され得る、後の時間ε(たとえば、時間T+1および/またはT+24)で、シナプス入力イベントがトリガされ得る。しばらく後の時間R(たとえば、時間T+40)で、スパイクリプレーが実行され得る。図6に示されるように、時間Rでのスパイクリプレーのパフォーマンスは、スパイキングニューラルネットワークに、しばらく前の時間ε(たとえば、時間T−39および/またはT−16)に関連するSTDPクエリを実行させ得る。STDPクエリが実行された後、ステートマシン(たとえば、図5のステートマシン500)は、しばらく前の時間ε(たとえば、時間T−59および/またはT−0)に関連するスパイク履歴ルックアップ機能を実行することができる。
[0077]本開示の別の態様では、図7に示されるように、スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実行するためのステートマシン700はニューラル状態更新を処理するように適合され得、接続テーブル(CT)は複数の別個の遅延範囲にセグメント化されている。図7に示されるように、ある例示的なケースでは、最小シナプス遅延CT_MIN_DELAYが1であり、各CTセグメント内の許可された遅延の数SEGMENT_LENGTHが8であり、CTがセグメント化されたブロックの数CT_NUM_SEGMENTSが3であり、pre−before−post STDPウィンドウSTDP_PRE_WINが17であり、post−before−pre STDPウィンドウSTDP_POST_WINが19である。
[0078]CTテーブルをセグメント化することは、入力電流バッファメモリのより小さい深度を容易にするために実行され得る。図7に示されるように、ステートマシン700は状態702で開始することができ、1つまたは複数のセグメント(たとえば、タウ、タウ−8、タウ−16)ごとにスパイクを起動することができる。状態704で、可塑性更新は、状態702で起動された1つまたは複数のスパイクごとに生成され得る。ある態様では、1つまたは複数のスパイクの各々は、CTテーブルセグメント化遅延の値に従って遅延され得る。可塑性更新は、時間Tau−遅延、たとえば、タウ−42、タウ−50、タウ−58について生成され得る。状態706で、ステートマシン700は時間タウについて人工ニューロンのニューラル状態を更新することができる。状態708で、ステートマシン700はタウをインクリメントすることができる。状態708でタウをインクリメントした後、ステートマシン700は状態702に戻って、終了まで動作を繰り返すことができる。
[0079]図8は、本開示のいくつかの態様による、スパイキングニューラルネットワークにおいてリプレーを使用し、CTテーブルが複数の別個の遅延範囲にセグメント化されているシナプス学習機能の例示的なタイムライン800を示している。本開示のある態様では、スパイクリプレーはニューラル状態更新が完了した後に生じ得る。時間T+0で、第1のセグメントのニューラル状態更新が実行され得る。ある態様では、状態更新は、異なる時間、たとえば、方程式時間T+[(segment_number−1)*SN_IBUF_LENGTH]によって定義され得るセグメントのためにスパイキングアウトが起動され得る時間に、追加のセグメントごとに実行され得る。図8に示されるように、セグメントのスパイキング出力の送信後、時間インスタントεで送信されたセグメントに対応してシナプス入力イベントがトリガされ得る。しばらく後の時間Rで、起動されたスパイクセグメントに対応するスパイクリプレーが実行され得る。ある態様では、時間Rでのスパイクリプレーの実行は、スパイキングニューラルネットワークに、送信されたセグメントのSTDPクエリを実行させ得る。STDPクエリが実行された後、ステートマシンは、送信されたセグメントのためのスパイク履歴ルックアップ機能を実行することができる。
[0080]図9は、本開示の態様による、人工神経系をトレーニングするための例示的な動作900を示している。動作900は、902で、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録することによって開始する。動作900は、904で、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーすることによって、また906で、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新することによって継続する。
[0081]本開示の態様によれば、パラメータを更新することは、人工ニューロンに関連付けられるシナプスに関連付けられるパラメータを更新することを備える。本開示のある態様では、パラメータは、シナプス重みまたは遅延のうちの少なくとも1つを備え得る。別の態様では、パラメータは、可塑性機能に関連し得る。
[0082]本開示の態様によれば、リプレーすることは、人工神経系を通じて過去の一定時間からスパイクをリプレーすることを備え得る。ある態様では、人工神経系の複数の人工ニューロンの各々は、一定の遅延の後で同じスパイクをリプレーする。別の態様では、複数の人工ニューロンの各々は、その人工ニューロンに関連付けられる特定のセグメントに特有の遅延の後で同じスパイクをリプレーする。
[0083]図10は、本開示のいくつかの態様による、汎用プロセッサ1002を使用して人工神経系を操作するための上述した方法の例示的なブロック図1000を示す。計算ネットワーク(ニューラルネットワーク)に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータは、メモリブロック1004に記憶され得る一方、汎用プロセッサ1002において実行される関連した命令は、プログラムメモリ1006からロードされ得る。本開示のある態様では、汎用プロセッサ1002にロードされた命令は、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーして、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するためのコードを備え得る。
[0084]図11は、本開示のいくつかの態様による、メモリ1102が相互接続ネットワーク1104を介して計算ネットワーク(ニューラルネットワーク)の個々の(分散型)処理ユニット(ニューラルプロセッサ)1106とインターフェースされ得る人工神経系を操作するための上述した方法の例示的なブロック図1100を示す。計算ネットワーク(ニューラルネットワーク)に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータは、メモリ1102に記憶されてよく、相互接続ネットワーク1301の接続を介してメモリ1102から各処理ユニット(ニューラルプロセッサ)1106にロードされ得る。本開示のある態様では、処理ユニット1106は、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーして、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するように構成され得る。
[0085]図12は、本開示のいくつかの態様による、分散型メモリ1202および分散型処理ユニット(ニューラルプロセッサ)1204に基づいて人工神経系をトレーニングするための上述した方法の例示的なブロック図1200を示す。図12に示すように、1つのメモリバンク1202が、計算ネットワーク(ニューラルネットワーク)の1つの処理ユニット1204と直接インターフェースされてよく、メモリバンク1202は、その処理ユニット(ニューラルプロセッサ)1204に関連する変数(ニューラル信号)、シナプス重み、および/またはシステムパラメータを記憶することができる。本開示のある態様では、処理ユニット1204は、トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、後続のトレーニング反復中に、記録されたタイミングに従って人工ニューロンのスパイクをリプレーして、後続のトレーニング反復に少なくとも部分的に基づいて、人工ニューロンに関連付けられるパラメータを更新するように構成され得る。
[0086]図13は、本開示のいくつかの態様による、ニューラルネットワーク1300の例示的な実装形態を示す。図13に示すように、ニューラルネットワーク1300は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット1302を備えることができる。各処理ユニット1302は、ローカル状態メモリ1304と、ニューラルネットワークのパラメータを記憶するローカルパラメータメモリ1306とを備えることができる。さらに、処理ユニット1302は、ローカル(ニューロン)モデルプログラムを有するメモリ1308と、ローカル学習プログラムを有するメモリ1310と、ローカル接続メモリ1312とを備えることができる。さらに、図13に示すように、各ローカル処理ユニット1302は、ローカル処理ユニットのローカルメモリのための設定を提供し得る設定処理のためのユニット1314と、またローカル処理ユニット1302間のルーティングを提供するルーティング接続処理要素1316とインターフェースされ得る。
[0087]図14は、本開示のいくつかの態様による、人工神経系の例示的なハードウェア実装形態のブロック図1400である。上述のように、STDP更新は、効果可塑性更新および再組立てブロック1402で生じ得る。いくつかの態様では、更新されたシナプス重みは、キャッシュラインインターフェース1404を介してオフチップメモリ(たとえば、ダイナミックランダムアクセスメモリ(DRAM)1406)に記憶され得る。
[0088]典型的な人工神経系では、人工ニューロンよりも多くのシナプスがあり、大規模なニューラルネットワークでは効率的な方法でシナプスの更新を処理することが望まれる。多数のシナプスは、シナプス重みと他のパラメータとをメモリ(たとえば、DRAM1406)に記憶することを示唆し得る。人工ニューロンが、いわゆる「スーパーニューロン(SN)」内にスパイクを生成すると、シナプス後ニューロンと対応するニューラル重みとを決定するために、ニューロンはそれらのスパイクをDRAMルックアップを通じてシナプス後ニューロンに転送することができる。高速で効率的なルックアップを可能にするために、シナプス順序は、たとえばニューロンからのファンアウトに基づいて、メモリ内に連続的に維持され得る。後に、効果可塑性更新および再組立てブロック1402においてSTDP更新を処理する際、効率は、DRAMまたは大規模なルックアップテーブルは、LTP更新のための逆マッピングを決定するために検索される必要がないので、このメモリレイアウトを与えられた前方ファンアウトに基づいて更新を処理することを指示することができる。図14に示される手法は、これを容易にする。効果可塑性更新および再組立てブロック1402は、たとえば、本開示の態様に従ってスパイクを記録およびリプレーするために、シナプス前およびシナプス後スパイク時間を得る目的でスーパーニューロンを照会することができ、関連する状態メモリの量を再び低減する。
[0089]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々なハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。たとえば、様々な動作は、図10〜図14に示す様々なプロセッサのうちの1つまたは複数によって実行され得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図9に示す動作900は、図9Aに示す手段900Aに対応する。
[0090]たとえば、表示するための手段は、ディスプレイ(たとえば、モニタ、フラットスクリーン、タッチスクリーンなど)、プリンタ、または視覚的描写(たとえば、表、チャートもしくはグラフ)のためのデータを出力するための任意の他の好適な手段を備え得る。処理するための手段、受信するための手段、遅延を説明するための手段、消去するための手段、または決定するための手段は、1つまたは複数のプロセッサまたは処理ユニットを含み得る、処理システムを備え得る。記憶するための手段は、処理システムによってアクセスされ得る、メモリまたは任意の他の好適な記憶デバイス(たとえば、RAM)を備え得る。
[0091]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること(たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること)、確認することなどを含み得る。また、「決定」は、受信すること(たとえば、情報を受信すること)、アクセスすること(たとえば、メモリ中のデータにアクセスすること)などを含み得る。また、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
[0092]本明細書で使用する、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−c、およびa−b−cを包含するものとする。
[0093]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
[0094]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROMなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
[0095]本明細書で開示する方法は、説明した方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は、特許請求の範囲から逸脱することなく変更され得る。
[0096]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース(たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど)もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[0097]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、1つまたは複数の汎用および/または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、DSPプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読取り専用メモリ)、PROM(プログラマブル読取り専用メモリ)、EPROM(消去可能プログラマブル読取り専用メモリ)、EEPROM(電気消去可能プログラマブル読取り専用メモリ)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[0098]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および/またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび/または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。
[0099]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する1つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつASIC(特定用途向け集積回路)と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは1つまたは複数のFPGA(フィールドプログラマブルゲートアレイ)、PLD(プログラマブル論理デバイス)、コントローラ、ステートマシン、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
[0100]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからRAMにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、1つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
[0101]ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。
Claims (22)
- トレーニング反復中に人工ニューロンのスパイクのタイミングを記録することと、
後続のトレーニング反復中に、前記記録されたタイミングに従って前記人工ニューロンの前記スパイクをリプレーすることと、
前記後続のトレーニング反復に少なくとも部分的に基づいて、前記人工ニューロンに関連付けられるパラメータを更新することと
を備える、人工神経系をトレーニングする方法。 - 前記更新することは、前記人工ニューロンに関連付けられるシナプスに関連付けられるパラメータを更新することを備える、
請求項1に記載の方法。 - 前記パラメータは、重みまたは遅延のうちの少なくとも1つを備える、
請求項2に記載の方法。 - 前記リプレーすることは、前記人工神経系を通じて過去の一定の時間からスパイクをリプレーすることを備える、
請求項1に記載の方法。 - 前記パラメータは、可塑性機能に関連する、
請求項1に記載の方法。 - 前記人工神経系の複数の人工ニューロンの各々は、一定の遅延の後で同じスパイクをリプレーする、
請求項1に記載の方法。 - 前記人工神経系の複数の人工ニューロンの各々は、その人工ニューロンに関連付けられる特定のセグメントに特有の遅延の後で同じスパイクをリプレーする、
請求項1に記載の方法。 - トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、
後続のトレーニング反復中に、前記記録されたタイミングに従って前記人工ニューロンの前記スパイクをリプレーして、
前記後続のトレーニング反復に少なくとも部分的に基づいて、前記人工ニューロンに関連付けられるパラメータを更新するように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、人工神経系をトレーニングするための装置。 - 前記処理システムは、前記人工ニューロンに関連付けられるシナプスに関連付けられるパラメータを更新するようにさらに構成される、
請求項8に記載の装置。 - 前記パラメータは、重みまたは遅延のうちの少なくとも1つを備える、
請求項9に記載の装置。 - 前記処理システムは、前記人工神経系を通じて過去の一定の時間からスパイクをリプレーするようにさらに構成される、
請求項8に記載の装置。 - 前記パラメータは、可塑性機能に関連する、
請求項8に記載の装置。 - 前記人工神経系の複数の人工ニューロンの各々は、一定の遅延の後で同じスパイクをリプレーする、
請求項8に記載の装置。 - 前記人工神経系の複数の人工ニューロンの各々は、その人工ニューロンに関連付けられる特定のセグメントに特有の遅延の後で同じスパイクをリプレーする、
請求項8に記載の装置。 - トレーニング反復中に人工ニューロンのスパイクのタイミングを記録するための手段と、
後続のトレーニング反復中に、前記記録されたタイミングに従って前記人工ニューロンの前記スパイクをリプレーするための手段と、
前記後続のトレーニング反復に少なくとも部分的に基づいて、前記人工ニューロンに関連付けられるパラメータを更新するための手段と
を備える、人工神経系をトレーニングするための装置。 - 前記人工ニューロンに関連付けられるシナプスに関連付けられるパラメータを更新するための手段をさらに備える、
請求項15に記載の装置。 - 前記パラメータは、重みまたは遅延のうちの少なくとも1つを備える、
請求項16に記載の装置。 - 前記人工神経系を通じて過去の一定の時間からスパイクをリプレーするための手段をさらに備える、
請求項15に記載の装置。 - 前記パラメータは、可塑性機能に関連する、
請求項15に記載の装置。 - 前記人工神経系の複数の人工ニューロンの各々は、一定の遅延の後で同じスパイクをリプレーする、
請求項15に記載の装置。 - 前記人工神経系の複数の人工ニューロンの各々は、その人工ニューロンに関連付けられる特定のセグメントに特有の遅延の後で同じスパイクをリプレーする、
請求項15に記載の装置。 - トレーニング反復中に人工ニューロンのスパイクのタイミングを記録して、
後続のトレーニング反復中に、前記記録されたタイミングに従って前記人工ニューロンの前記スパイクをリプレーして、
前記後続のトレーニング反復に少なくとも部分的に基づいて、前記人工ニューロンに関連付けられるパラメータを更新する
ためにコンピュータによって実行可能な記憶された命令を有するコンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361901599P | 2013-11-08 | 2013-11-08 | |
US61/901,599 | 2013-11-08 | ||
US14/494,681 | 2014-09-24 | ||
US14/494,681 US20150134582A1 (en) | 2013-11-08 | 2014-09-24 | Implementing synaptic learning using replay in spiking neural networks |
PCT/US2014/063794 WO2015069614A1 (en) | 2013-11-08 | 2014-11-04 | Implementing synaptic learning using replay in spiking neural networks |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016539414A true JP2016539414A (ja) | 2016-12-15 |
Family
ID=51901020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016528136A Pending JP2016539414A (ja) | 2013-11-08 | 2014-11-04 | スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること |
Country Status (8)
Country | Link |
---|---|
US (1) | US20150134582A1 (ja) |
EP (1) | EP3066619A1 (ja) |
JP (1) | JP2016539414A (ja) |
KR (1) | KR20160084401A (ja) |
CN (1) | CN105659262A (ja) |
CA (1) | CA2926824A1 (ja) |
TW (1) | TW201528162A (ja) |
WO (1) | WO2015069614A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10726337B1 (en) * | 2015-04-30 | 2020-07-28 | Hrl Laboratories, Llc | Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons |
KR20180048109A (ko) | 2016-11-02 | 2018-05-10 | 삼성전자주식회사 | 뉴럴 네트워크 변환 방법 및 이를 이용한 인식 장치 |
WO2018156891A1 (en) * | 2017-02-24 | 2018-08-30 | Google Llc | Training policy neural networks using path consistency learning |
US10922608B2 (en) * | 2017-03-08 | 2021-02-16 | Arm Ltd | Spiking neural network |
US10679119B2 (en) * | 2017-03-24 | 2020-06-09 | Intel Corporation | Handling signal saturation in spiking neural networks |
KR101904085B1 (ko) | 2017-06-07 | 2018-11-22 | 울산과학기술원 | 신경 발화 패턴을 이용한 촉감의 모델링 방법, 촉감 모델 및 신경 발화 패턴을 이용한 촉감의 생성 방법 |
US11361215B2 (en) * | 2017-11-29 | 2022-06-14 | Anaflash Inc. | Neural network circuits having non-volatile synapse arrays |
US10706355B2 (en) * | 2018-01-23 | 2020-07-07 | Hrl Laboratories, Llc | Method and system for distributed coding and learning in neuromorphic networks for pattern recognition |
KR20210098992A (ko) * | 2018-11-01 | 2021-08-11 | 브레인칩, 인크. | 개선된 스파이킹 뉴럴 네트워크 |
KR102288075B1 (ko) | 2019-02-12 | 2021-08-11 | 서울대학교산학협력단 | 스파이킹 뉴럴 네트워크를 이용한 추론 방법 및 장치 |
US11586895B1 (en) * | 2019-06-17 | 2023-02-21 | Green Mountain Semiconductor, Inc. | Recursive neural network using random access memory |
CN111582470B (zh) * | 2020-04-02 | 2023-01-10 | 清华大学 | 基于stdp的自适应非监督学习图像识别方法及系统 |
KR102565662B1 (ko) * | 2020-10-29 | 2023-08-14 | 포항공과대학교 산학협력단 | 역치 적응형 3단자 저항 변화 소자 기반 발화형 뉴런 및 발화형 뉴런 회로 |
CN113065648B (zh) * | 2021-04-20 | 2024-02-09 | 西安交通大学 | 一种低硬件开销的分段线性函数的硬件实现方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0512822A (pt) * | 2004-06-30 | 2008-04-08 | Qualcomm Inc | método e equipamento para cancelamento de interferência de piloto em um sistema de comunicação sem fio |
US9015091B2 (en) * | 2011-11-09 | 2015-04-21 | Qualcomm Incorporated | Methods and apparatus for unsupervised neural replay, learning refinement, association and memory transfer: structural plasticity and structural constraint modeling |
US9443190B2 (en) * | 2011-11-09 | 2016-09-13 | Qualcomm Incorporated | Methods and apparatus for neural pattern sequence completion and neural pattern hierarchical replay by invoking replay of a referenced neural pattern |
US8909575B2 (en) * | 2012-02-29 | 2014-12-09 | Qualcomm Incorporated | Method and apparatus for modeling neural resource based synaptic placticity |
-
2014
- 2014-09-24 US US14/494,681 patent/US20150134582A1/en not_active Abandoned
- 2014-11-04 KR KR1020167012929A patent/KR20160084401A/ko not_active Application Discontinuation
- 2014-11-04 WO PCT/US2014/063794 patent/WO2015069614A1/en active Application Filing
- 2014-11-04 CA CA2926824A patent/CA2926824A1/en not_active Abandoned
- 2014-11-04 JP JP2016528136A patent/JP2016539414A/ja active Pending
- 2014-11-04 EP EP14799307.5A patent/EP3066619A1/en not_active Withdrawn
- 2014-11-04 CN CN201480057609.0A patent/CN105659262A/zh active Pending
- 2014-11-07 TW TW103138758A patent/TW201528162A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
EP3066619A1 (en) | 2016-09-14 |
WO2015069614A1 (en) | 2015-05-14 |
CN105659262A (zh) | 2016-06-08 |
CA2926824A1 (en) | 2015-05-14 |
TW201528162A (zh) | 2015-07-16 |
KR20160084401A (ko) | 2016-07-13 |
US20150134582A1 (en) | 2015-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6130056B2 (ja) | スパイキングネットワークの効率的なハードウェア実装 | |
JP2016539414A (ja) | スパイキングニューラルネットワークにおいてリプレーを使用するシナプス学習を実装すること | |
US9558442B2 (en) | Monitoring neural networks with shadow networks | |
JP2016536679A (ja) | ニューラルシミュレータ用の共有メモリアーキテクチャ | |
JP2017509982A (ja) | 原位置ニューラルネットワークコプロセッシング | |
WO2015020802A2 (en) | Computed synapses for neuromorphic systems | |
JP2017511936A (ja) | 現在の計算リソースへのニューラルネットワーク適応 | |
WO2015053864A1 (en) | Compiling network descriptions to multiple platforms | |
US9959499B2 (en) | Methods and apparatus for implementation of group tags for neural models | |
JP2016530630A (ja) | ニューラルデバイスのトレーニングを調節するための方法および装置 | |
JP2017519268A (ja) | スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること | |
JP2016536664A (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
JP2017510890A (ja) | 一般的なニューロンモデルの効率的な実装のための方法および装置 | |
JP2017513108A (ja) | サブしきい値変調を介するアナログ信号再構築および認識 | |
WO2015119963A2 (en) | Short-term synaptic memory based on a presynaptic spike | |
JP2017509980A (ja) | 動的な空間ターゲット選択 | |
JP6193509B2 (ja) | 可塑性シナプス管理 | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
JP2016537711A (ja) | スパイキングニューロンのネットワークにおける輻輳回避 | |
JP2017513110A (ja) | ニューロモーフィックモデル開発のためのコンテキストリアルタイムフィードバック | |
JP2016536676A (ja) | ニューラルモデル実行をリモートで制御および監視するための方法および装置 | |
JP2017509979A (ja) | 空間ターゲット選択のためのアンバランスな交差抑制メカニズム |