JP2015510193A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2015510193A5 JP2015510193A5 JP2014556690A JP2014556690A JP2015510193A5 JP 2015510193 A5 JP2015510193 A5 JP 2015510193A5 JP 2014556690 A JP2014556690 A JP 2014556690A JP 2014556690 A JP2014556690 A JP 2014556690A JP 2015510193 A5 JP2015510193 A5 JP 2015510193A5
- Authority
- JP
- Japan
- Prior art keywords
- input
- time
- neuron
- delay
- artificial neuron
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000002569 neurons Anatomy 0.000 claims description 612
- 230000001537 neural Effects 0.000 claims description 82
- 239000012528 membrane Substances 0.000 claims description 74
- 238000010304 firing Methods 0.000 claims description 54
- 210000000225 Synapses Anatomy 0.000 claims description 45
- 238000004590 computer program Methods 0.000 claims description 36
- 230000002123 temporal effect Effects 0.000 claims description 32
- 230000003111 delayed Effects 0.000 claims description 27
- 230000002964 excitative Effects 0.000 claims description 24
- 230000001131 transforming Effects 0.000 claims description 24
- 230000002401 inhibitory effect Effects 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 14
- 230000001242 postsynaptic Effects 0.000 description 43
- 239000000203 mixture Substances 0.000 description 27
- 230000000694 effects Effects 0.000 description 26
- 230000000946 synaptic Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 230000001364 causal effect Effects 0.000 description 21
- 230000000875 corresponding Effects 0.000 description 20
- 230000003518 presynaptic Effects 0.000 description 18
- 230000036748 firing rate Effects 0.000 description 14
- 230000001934 delay Effects 0.000 description 12
- 230000001902 propagating Effects 0.000 description 11
- 230000001629 suppression Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 210000002364 input neuron Anatomy 0.000 description 7
- 230000002999 depolarising Effects 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 6
- 230000027928 long-term synaptic potentiation Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 210000004027 cells Anatomy 0.000 description 5
- 230000001808 coupling Effects 0.000 description 5
- 238000010168 coupling process Methods 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010192 crystallographic characterization Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000019800 disodium phosphate Nutrition 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 230000004301 light adaptation Effects 0.000 description 3
- 230000003287 optical Effects 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 210000004556 Brain Anatomy 0.000 description 2
- 240000002627 Cordeauxia edulis Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000670 limiting Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006011 modification reaction Methods 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 230000036279 refractory period Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 210000003050 Axons Anatomy 0.000 description 1
- 210000001787 Dendrites Anatomy 0.000 description 1
- 210000003520 Dendritic Spines Anatomy 0.000 description 1
- 241001442055 Vipera berus Species 0.000 description 1
- 230000000996 additive Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000003376 axonal Effects 0.000 description 1
- 230000003542 behavioural Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001054 cortical Effects 0.000 description 1
- 230000003247 decreasing Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000051 modifying Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 230000000644 propagated Effects 0.000 description 1
- 230000002829 reduced Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001360 synchronised Effects 0.000 description 1
- 230000002194 synthesizing Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Description
関連出願の相互参照
[0001]本出願は、両方とも参照により本明細書に組み込まれる、2012年2月8日に出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第13/369,080号(代理人整理番号第113075U2号)、および2012年2月8日に出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第13/369,095号(代理人整理番号第113075U3号)に関する。
[0001]本出願は、両方とも参照により本明細書に組み込まれる、2012年2月8日に出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第13/369,080号(代理人整理番号第113075U2号)、および2012年2月8日に出願された「METHODS AND APPARATUS FOR SPIKING NEURAL COMPUTATION」と題する米国特許出願第13/369,095号(代理人整理番号第113075U3号)に関する。
[0002]本開示のいくつかの態様は、一般にニューラルネットワークに関し、より詳細には、1つまたは複数のニューロンから構成されるスパイキングニューラルネットワーク(spiking neural network)を動作させることに関し、ここにおいて、単一のニューロンが、何らかの任意の精度で何らかの一般的な変換を計算することが可能である。
[0003]人工ニューラルネットワークは、人工ニューロン(すなわち、ニューロンモデル)の相互結合されたグループから構成される数学的または計算的モデルである。人工ニューラルネットワークは、人間の脳において見つけられるものなど、生物学的ニューラルネットワークの構造および/または機能から導出され得る(またはそれに少なくとも大まかに基づき得る)。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが手動でこの機能を設計することを実行不可能にする適用例において、特に有用である。
[0004]1つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、このタイプの神経シミュレーションにおけるリアリズムのレベルを増加させる。スパイキングニューラルネットワークは、膜電位(membrane potential)がしきい値に達するときのみ、ニューロンが発火するという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、この受信されたスパイクに基づいてそれらの膜電位を上げるまたは下げる。
[0005]旧来、情報は、主に、排他的にではないとしても、ニューロンの発火率(rate of firing)においてコーディングされると考えられていた。情報がニューロン発火率においてコーディングされる場合、単に、Oja則などの率ベースの学習則を用いて発火率変換としてニューロンをモデル化することと比較して、膜ダイナミクスと、時間精度を用いたスパイキングイベントと、スパイクタイミング依存可塑性(STDP:spike-timing dependent plasticity)とを用いてニューロンをモデル化するための著しい計算オーバーヘッドがあり得る。
[0006]本開示のいくつかの態様は、一般にスパイキングニューラル計算に関し、より詳細には、スパイキングニューラルネットワークにおいて1つまたは複数のニューロンを使用することに関し、ここにおいて、単一のニューロンが、何らかの任意の精度で何らかの一般的な変換を計算することが可能であり、ここにおいて、情報がスパイクの相対的タイミングにおいてコーディングされる。
[0007]本開示のいくつかの態様は、スパイキングニューラルネットワークを実行するための方法を提供する。本方法は、概して、第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、上記入力に基づいて、第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第1のニューロンモデルから出力スパイクを放出することとを含む。
[0008]本開示のいくつかの態様は、スパイキングニューラルネットワークを実行するための装置を提供する。本装置は、概して、第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、上記入力に基づいて、第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第1のニューロンモデルから出力スパイクを放出することとを行うために構成された処理ユニットを含む。
[0009]本開示のいくつかの態様は、スパイキングニューラルネットワークを実行するための装置を提供する。本装置は、概して、第1のニューロンモデルにおいて少なくとも1つの入力を受信するための手段と、上記入力に基づいて、第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断するための手段と、相対時間に基づいて第1のニューロンモデルから出力スパイクを放出するための手段とを含む。
[0010]本開示のいくつかの態様は、スパイキングニューラルネットワークを実行するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、上記入力に基づいて、第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、相対時間に基づいて第1のニューロンモデルから出力スパイクを放出することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。
[0011]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習する方法を提供する。本方法は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力スパイクに少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを含む。
[0012]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを行うために構成された処理ユニットを含む。
[0013]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させるための手段であって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させるための手段と、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出するための手段と、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断するための手段と、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整するための手段とを含む。
[0014]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、ニューロンモデルへの入力に関連する現在遅延に従ってニューロンモデルにおいて入力スパイクを遅延させることであって、ここにおいて、入力スパイクが、ニューロンモデルのための基準時間に対する入力スパイク時間に発生する、遅延させることと、遅延された入力に少なくとも部分的に基づいてニューロンモデルから出力スパイクを放出することと、ニューロンモデルからの出力スパイクの放出とニューロンモデルのための基準時間との間の実際の時間差を判断することと、ターゲット時間差と実際の時間差との間の差、上記入力に関連する現在遅延、および入力スパイクのための入力スパイク時間に基づいて、現在遅延を調整することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。
[0015]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習する方法を提供する。本方法は、概して、1つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係(causal logical relation)が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、1つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する1つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを含む。
[0016]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、1つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、1つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する1つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを行うために構成された処理ユニットを含む。
[0017]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するための装置を提供する。本装置は、概して、1つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えるための手段であって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えるための手段と、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信するための手段と、1つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整するための手段であって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する1つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整するための手段とを含む。
[0018]本開示のいくつかの態様は、スパイキングニューラルネットワークを使用して学習するためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、1つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることと、論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することと、1つまたは複数の学習ニューロンモデルの各々について、受信された入力スパイクを使用して論理入力の各々に関連する遅延を調整することであって、その結果、学習ニューロンモデルが、真の因果的論理関係に対応する1つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する、調整することとを行うために実行可能な命令を有するコンピュータ可読媒体を含む。
[0019]本開示のいくつかの態様は、一般的な線形システムのニューラル計算のためのシステムを提供する。本システムは、概して、膜電位を有する反リーキー積分発火ニューロンであって、ここにおいて、膜電位は、入力がない場合に指数関数的に増加し、ここにおいて、膜電位は、入力時のステップにおいて増加し、ここにおいて、膜電位は、基準時間に再設定電位に再設定され、ここにおいて、ニューロンは、膜がしきい値を超える場合、スパイクする、反リーキー積分発火ニューロンと、遅延を有するが、荷重を有さず、シナプス後フィルタリング(post-synaptic filtering)を有しない、反リーキー積分発火ニューロンへの入力を結合する1つまたは複数のシナプスとを含む。いくつかの態様では、反リーキー積分発火ニューロンは、膜電位がしきい値を超えるとスパイクし、基準時間は、スパイクにおけるまたはスパイクの後の時間であり、再設定時に、遅延を受けるシナプス入力はクリアされる。
[0020]本開示のいくつかの態様は、一般ニューロンモデル化の方法を提供する。本方法は、概して、ニューロンのための遅延された入力イベント時に、その入力をニューロンの状態に適用し、ニューロンの予測される将来スパイク時間を計算することと、予測される将来スパイク時間にニューロンのためのスパイキングイベントを再スケジュールすることと、ニューロンのためのスパイクイベント時に、膜電位を再設定し、ニューロンの次の予測される将来スパイク時間を計算することであって、ここにおいて、膜電位の再設定は、ニューロンが持続時間内にスパイクすることになることを保証する値への再設定である、再設定し、計算することとを含む。
[0021]本開示のいくつかの態様は、スパイキングニューロンを使用して線形システムを計算する方法を提供する。本方法は、概して、入力値の対数の負数に基づいて入力基準時間に対する入力時間スパイク時間を判断することと、線形係数に対数的に関係する時間遅延だけ入力を遅延させることと、反リーキー積分発火ニューロンモデルに基づいて出力基準時間に対する出力スパイク時間を計算することとを含む。いくつかの態様では、上記対数は、膜電位の関数として膜電位の変化の係数の指数値に等しい底を有する。いくつかの態様によれば、シナプス後ニューロンへのニューロン出力は、絶対値によって負値を表し、正の係数の場合は抑制(inhibition)を表し、負の係数の場合は興奮(excitation)を表し、ここにおいて、シナプス後ニューロンへのニューロン出力は、絶対値によって正値を表し、負の係数の場合は抑制を表し、正の係数の場合は興奮を表す。いくつかの態様では、正または負であり得る入力値が2つのニューロンを使用して表され、一方が整流された値として正の領域を表し、他方がその値の整流された負数として負の領域を表す。
[0022]本開示のいくつかの態様は、スパイキングニューラルネットワークにおいてタイミング情報を変換する方法を提供する。本方法は、概して、1つまたは複数のニューロンの2つ以上のグループに入力として伝搬基準フレーム波(propagating reference frame wave)を適用することであって、ここにおいて、基準フレーム波が、2つ以上のグループの各々への適用の前に異なる量だけ遅延された発振興奮性および/または抑制性電位である、適用することと、ニューロン(またはスパイクが入力されたニューロン)に適用された伝搬基準フレーム波に対するそのニューロンのスパイクの時間において情報を符号化および/または復号することとを含む。
[0023]本開示のいくつかの態様は、ニューロンを使用して自己参照相対時間を非自己参照相対時間に変換するための装置を提供する。本装置は、概して、入力時に設定され、その入力に続いて指数関数的に減衰する、入力状態と、入力状態が再設定される前に後続の入力において入力状態を記憶する入力ラッチと、基準入力時に入力ラッチ値だけ増分され、その後、しきい値を超えるまで指数関数的に増大する、膜状態であって、その後、膜状態が再設定され、そこで、膜状態が、再設定の後に基準入力まで増大しない、膜状態とを含む。
[0024]本開示のいくつかの態様は、スパイキングニューラルネットワークにおいて遅延を学習する方法を提供する。本方法は、概して、現在入力遅延だけ入力を遅延させることであって、ここにおいて、入力が、第1の基準に対する時間に発生するスパイクの形態の入力である、遅延させることと、第2の基準に対する出力スパイク時間として現在発火遅延を判断することと、ターゲット発火遅延と現在発火遅延との間の差を計算することと、ターゲット発火遅延と現在発火遅延との間の差と、現在入力遅延と、入力スパイク相対時間および学習率とに応じた量だけ、入力遅延を調整することとを含む。
[0025]本開示のいくつかの態様は、スパイキングニューラルネットワークを動作させるための方法を提供する。本方法は、概して、ニューロンモデルにおいて入力スパイクの入力スパイク時間を判断することであって、入力スパイク時間が第1の基準時間に対する、判断することと、複数の入力スパイクがある場合に第2の基準時間に対する出力スパイクのための第1の出力スパイク時間を判断することであって、出力スパイク時間が、第1の基準時間に対する入力スパイク時間に基づく、判断することと、ニューロンモデルの脱分極スパイク間遅延(depolarization-to-spike delay)に基づいて、複数の入力スパイクがない場合に第2の基準時間に対する出力スパイクのための第2の出力スパイク時間を判断することとを含む。
[0026]本開示のいくつかの態様は、スパイキングニューラルネットワークを動作させるための方法を提供する。本方法は、概して、第1の基準時間に値をサンプリングすることと、サンプリングされた値を遅延として符号化することと、第2の基準時間に対する時間遅延において入力スパイクを生成することによってニューロンモデルに上記値を入力することとを含む。
[0027]本開示の上記で具陳された特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約されたより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。
[0069]添付の図面を参照しながら本開示の様々な態様が以下でより十分に説明される。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実行されるにせよ、本開示の他の態様と組み合わされるにせよ、本明細書で開示される本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実行され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示される本開示のいずれの態様も、請求項の1つまたは複数の要素によって実施され得ることを理解されたい。
[0070]「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明されるいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈されるべきであるとは限らない。
[0071]本明細書では特定の態様が説明されるが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかが、例として図と好適な態様についての以下の説明とで示される。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
例示的なニューラルシステム
[0072]図1に、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
[0072]図1に、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を備え得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
[0073]図1に示されるように、レベル102における各ニューロンは、前のレベル(図1に図示せず)の複数のニューロンによって生成され得る入力信号108を受信し得る。信号108は、レベル102のニューロンへの入力(たとえば、入力電流)を表し得る。そのような入力は、膜電位に充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル(たとえば、レベル106)に転送されるべき出力スパイクを生成し得る。
[0074]図1に示されるように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合(または単に「シナプス」)のネットワーク104によって達成され得る。シナプス104は、レベル102のニューロン(シナプス104に対するシナプス前ニューロン)から出力信号(すなわち、スパイク)を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス荷重
に従ってスケーリングされ得る(ただし、Pは、レベル102のニューロンとレベル106のニューロンとの間のシナプス結合の総数である)。他の態様では、シナプス104は、いかなるシナプス荷重をも適用しないことがある。さらに、(スケーリングされた)信号は、レベル106における各ニューロン(シナプス104に対するシナプス後ニューロン)の入力信号として合成され得る。レベル106におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク110を生成し得る。出力スパイク110は、次いで、シナプス結合の別のネットワークを使用して別のレベルのニューロンに転送され得る(図1に図示せず)。
[0075]ニューラルシステム100は、ソフトウェアでまたはハードウェアで(たとえば、電気回路によって)エミュレートされ、画像およびパターン認識、機械学習、モータ制御など、広い範囲の適用例において利用され得る。ニューラルシステム100における各ニューロン(またはニューロンモデル)は、ニューロン回路として実行され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実行され得る。
例示的なスパイキングニューラル計算
[0076]ニューラルネットワークを設計するための様々な方法が提案されている。たとえば、ニューラルシミュレーションを設計または合成する方法が、最近、ニューラルエンジニアリングフレームワーク(NEF:Neural Engineering Framework)を使用してEliasmithおよびAndersonによって提案された。たとえば、Chris Eliasmith&Charles H.Anderson、Neural Engineering:Computation, Representation, and Dynamics in Neurobiological Systems、MIT Press(2003)、http://compneuro.uwaterloo.ca、およびChris Eliasmith、A Unified Approach to Building and Controlling Spiking Attractor Networks、Neural Computation 17、1276−1314(2005)を参照されたい。この方法は、(iによってインデックス付けされた)ニューロンのセットのアクティビティ{ai}において、符号化された値を表すことに依拠する。値は、アクティビティの線形関数によって推定され得、
[0076]ニューラルネットワークを設計するための様々な方法が提案されている。たとえば、ニューラルシミュレーションを設計または合成する方法が、最近、ニューラルエンジニアリングフレームワーク(NEF:Neural Engineering Framework)を使用してEliasmithおよびAndersonによって提案された。たとえば、Chris Eliasmith&Charles H.Anderson、Neural Engineering:Computation, Representation, and Dynamics in Neurobiological Systems、MIT Press(2003)、http://compneuro.uwaterloo.ca、およびChris Eliasmith、A Unified Approach to Building and Controlling Spiking Attractor Networks、Neural Computation 17、1276−1314(2005)を参照されたい。この方法は、(iによってインデックス付けされた)ニューロンのセットのアクティビティ{ai}において、符号化された値を表すことに依拠する。値は、アクティビティの線形関数によって推定され得、
である。
[0077]その値を表すために、ニューロンポピュレーション(neuron population)のアクティビティは、それらのアクティビティからその値を推定することができるセット{φi}が存在するように、十分に多様でなければならない。たとえば、すべてのニューロンが同じダイナミクスを有する場合、アクティビティは、その値の正確なまたは精密な表現を取得するには不十分に多様であり得る。
[0078]ニューロン発火率がニューロンアクティビティ測度として使用され得る。ただし、フィルタリングされたスパイクトレイン(spike train)としてアクティビティを表すことによって時間コードが組み込まれ得ることが提案された。
上式で、yi(t)はバイナリ値である(1がスパイクを表し、0がスパイクなしを表す)。有意な情報の保存がなければ、これは、シナプスごとのシナプス後フィルタhi(t)を有することに依拠し、そのhi(t)は有意な時定数を有する。EliasmithおよびAndersonは、シナプス後フィルタのダイナミクスがニューロンの応答のダイナミクスを支配すると実際に仮定し、時定数τをもつフィルタを
としてモデル化した。
[0079]事実上、これは、ブール時系列yi(t)を発火率と同様の実数値時系列ai(t)に変換する。残念ながら、これは情報損失を生じる(または、別の観点から、表される値の分解能が制限される)。これは、ニューロンポピュレーションサイズを増加させることによって補償され得る。最後に、上記方法は、所望の関数(それが識別情報以外であると仮定して)を達成するために入力を線形的に変換するためにシナプス荷重を使用する。
[0080]NEFのための全ニューラル記述は、(1)各ニューロンjへの各入力ニューロンiのための上記で説明された形態のシナプス後フィルタhij(t)と、(2)入力を復号するための各ニューロンjへの各入力ニューロンiのためのシナプス荷重wijと、(3)入力を再符号化するためのシナプス荷重と、(4)細胞体ダイナミクスとを含む。
[0081]しかしながら、この方法に伴ういくつかの問題がある。第1に、上記方法が単に発火率を使用して適用され得るので、それはスパイキングニューロン形態において非効率的なソリューションである。言い換えれば、率ベースのニューラルネットワークが使用され得る場合、スパイキングニューラルネットワークを使用するための動機は何であるのか?上記方法は、ブールシーケンスを実数値シーケンスに変換するにすぎない。第2に、上記方法は、計算量的に複雑であり、シナプスごとのシナプス後フィルタと、符号化および復号の変換および荷重とを必要とする。第3に、値空間を表すために符号化/復号のための十分な基礎がなければならないので、システムを表すためにニューロンの多様なポピュレーションが使用されなければならない。これは、システムが、異なる同調曲線(入力の関数としての発火率)をもつニューロンを必要とすることを意味する。第4に、学習は未解決の問題である。
[0082]同様に、他の以前の方法は、ニューロンの発火率においてまたはニューロンのポピュレーションの発火アクティビティにおいて、情報を表している。このポピュレーションコーディングタイプの方式は、しばしば、(ポアソン発火ニューロンなどの)確率的発火モデルのニューロンとともに使用される。これらのタイプの方式は、ポピュレーションコード化平均発火率を判断するためにスパイキング挙動の観測のウィンドウを必要とし、これは情報を表す。確率的方法はまた、外部雑音を導入する前でさえ本質的に雑音が多く、したがって不利である。これらの方式のいずれも、コードとしての発火率のこの使用、精密な荷重の使用、および複雑な計算方式のため、問題を解決しない。
[0083]したがって、必要なものは、普遍的に適用される、高効率な、生物学的に一貫性があるスパイキングニューラルネットワークを実行するための技法および装置である。したがって、3つの重要な問題の領域、すなわち、効率、生物学的一貫性、および普遍性または一般性が上記の記述において提示された。
[0084]本明細書で使用される「効率」という用語は、概して、基本的スカラー関数を計算するために複数のニューロンまたはニューロンポピュレーションを必要とせず、発火率値を取得するために出力を観測し、出力を変換し、平均化するための著しい時間を必要としない、ニューロン計算システムを指す。また、ニューロンは、計算量的に非複雑であり、非確率的であるべきであり、フィルタの計算または精密な浮動小数点計算を必要とするべきではない。
[0085]本明細書で使用される「生物学的に一貫性がある」という用語は、概して、ニューロンダイナミクスおよび結合処理が、生物学的に動機を与えられる(現実的である)べきであり、単にエンジニアリングまたは計算量的便宜によって指定されるべきではないことを意味する。その上、情報は、理想的には、ニューロンの平均発火率ではなくニューロンのスパイキングにおいてコーディングされるべきである。シナプス強度分布など、ニューロンパラメータ、およびパラメータ範囲は、同様に生物学的に一貫性があるべきである。
[0086]本明細書で使用される「普遍」という用語は、概して、一般的な計算または制御システムと等価なニューラル計算システムを指す。そのようなシステムは、線形システム、または線形サブシステムの組合せとしてモデル化され得る。任意の線形システムが式
によって記述され得る。
を表すことによって入力と状態とを分離する)。任意の線形制御システムがこれらの項において表され得る(とはいえ、行列Wエントリのうちのいくつかはシステムに応じて0であり得、したがって「入力」は、式自体によってではなく外部イベントによって更新され得る)。基本的に、したがって、要素
に関心をもち、これは、ベクトルxの各要素のダイナミクスを表す。本開示の態様は線形システムに限定されないが、これは、線形性が、所望の非線形関数によって置き換えられ得、または線形性が、線形システムモデルを用いて非線形関数をモデル化するために使用され得るので、いくつかの態様について説明するための極めて一般的なフレームワークである。
[0088]本開示の態様は、スパイキングニューラルネットワークのための方法を含む。ただし、荷重は不要である。言い換えれば、結合が、存在するか(有意なシナプス)または存在しない(有意でないまたは存在しないシナプス)ことがある。本開示のいくつかの態様は、バイナリ値入力および出力を使用し、シナプス後フィルタリングを必要としない。しかしながら、本開示のいくつかの態様は結合遅延のモデル化を伴い得る。
[0089]本開示のいくつかの態様によれば、本明細書で説明される方法を使用して、任意の線形システムが、シナプス荷重またはシナプス後フィルタの必要なしに、スパイキングニューロンを使用して効率的に計算され得、情報が、各個々のスパイクにおいてコーディングされる。情報は、各スパイクの相対的タイミングにおいてコーディングされ得、したがって、率において情報を判断するためにアクティビティを蓄積する必要はない。ニューロンスパイク応答時間が、直接(決定論的)、離散または連続時間において、イベントベースの方法で計算され、したがって計算およびメモリアクセスをさらに節約し得る。単一のニューロンが任意の精度の線形変換を表すことができるので、本開示のいくつかの態様は、変数の任意のセットのために最小数のニューロンを使用し得る。その上、いくつかの態様は、忠実度を保持するために異なる同調曲線をもつニューロンを必要としない。本開示のいくつかの態様はまた、確率的発火またはポピュレーションコーディングを必要としない。いくつかの態様はまた、時間的にコーディングされたパターンを分類するニューロンを用いてインターフェースされ得る。言い換えれば、本開示のいくつかの態様は、入力の変換を計算するために使用され得、これは、次いで、入力のアスペクトを分類または認識するために使用され得る。逆に、時間パターンに対するニューロンの応答は、いくつかの態様に従って動作するニューロンのセットに供給され得る。
[0090]本開示のいくつかの態様は、生物学的に一貫性がある挙動を示す。たとえば、いくつかの態様はシナプス荷重を使用しない。ニューロン間の結合があるか、またはニューロン間の結合がない。生物学では、樹状突起スパインは、成長して(ロケーションに応じた)公称強度のシナプスになるか、または消滅する傾向がある。別の例として、いくつかの態様は、時間においてコーディングされた情報を自己参照形態から非自己参照形態に変換するために伝搬基準フレーム波を使用する。生物学では、異なる皮質領域間のオフセットを含めて、興奮と抑制との間の局部発振が観測されている。また別の例として、いくつかの態様は、脱分極しきい値にあるかまたはそれに近いニューロンモデルを使用し、脱分極しきい値を上回ると、ニューロンの膜電位は、さらなる入力がなくても増加する。生物学的神経回路が、同様に、この脱分極しきい値においてまたはその近くで動作し得る。
[0091]本開示のいくつかの態様はまた、確率的または決定論的発火モデルとともに使用され得る。また、雑音が、これらのモデルタイプのいずれかの上で追加(許容)され得る。そのようなモデルが、(雑音なしに)基礎をなす決定論的モードで動作され得るので、これらのモデルは、高速で信頼できる計算を実行し、雑音の追加を適切に扱い得る。
[0092]本開示のいくつかの態様はまた、イベントベースのまたはスケジュールされたニューロン方法を含み、その方法において、計算のコストが時間分解能から独立していることがあるので、電力消費を低減し得る。これはまた、生物学的脳が効率的な電力消費のためのスパースコーディングをどのように/なぜ利用するかを説明し得る。
[0093]本開示のいくつかの態様のための別の利点は、これらの態様が非同期または同期のモードまたは形態で動作し得ることである。非同期形態では、サンプリングレートは入力の有意性に比例し得る。入力が無視できるかまたは低いとき、サンプリングレートは低く、したがって電力およびリソースを節約し得る。入力が有意であるかまたは大きいとき、サンプリングレートは増加し、したがって精度と応答時間の両方を増加させ得る。
[0094]これらおよび追加の利点は、以下に続く説明において明らかになる。本開示の態様についての利点の多くが、他の従来の方法とニューロンモデルとについての特定の欠点の欠如に関して表され得ることに留意されたい。
相対時間において情報をコーディングすること
[0095]情報が、ニューロンのスパイク間の相対時間において、またはあるニューロンのスパイクと別のニューロンのスパイクとの間の(またはさらにより一般的に、後で明らかになるように、あるニューロンのスパイクと何らかの基準時間との間の)相対時間において符号化され得ると仮定されたい。いくつかの態様では、情報は、2つの基本形態、すなわち、(1)同じニューロンの連続するスパイク間の相対時間、および(2)あるニューロンのスパイクと別のニューロン(または基準)のスパイクとの間の相対時間において、スパイク間の相対的タイミングにおいて表され得る。
[0095]情報が、ニューロンのスパイク間の相対時間において、またはあるニューロンのスパイクと別のニューロンのスパイクとの間の(またはさらにより一般的に、後で明らかになるように、あるニューロンのスパイクと何らかの基準時間との間の)相対時間において符号化され得ると仮定されたい。いくつかの態様では、情報は、2つの基本形態、すなわち、(1)同じニューロンの連続するスパイク間の相対時間、および(2)あるニューロンのスパイクと別のニューロン(または基準)のスパイクとの間の相対時間において、スパイク間の相対的タイミングにおいて表され得る。
[0096]厳密に言えば、第1の事例では、相対時間は、連続するスパイク間のものである必要はなく、第2の事例では、相対時間は、シナプス前ニューロンとシナプス後ニューロンとの間のものである必要はない。とにかく、この相対時間をτとし、その結果、τは以下のように値xに関係し、
である。
[0097]事実上、相対時間は、qを底とする上記値の対数である。上記の変換は、実数値(可変)領域に/から相対時間(スパイクタイミング)領域を変換する。したがって、上記値の任意のスケーリングは相対時間における時間差にすぎず、
であり、上式で、Δτjk=−logqwjkである。したがって、スパイク間の遅延において表される値は、単に遅延を追加することによって任意の量によってスケーリングされ得る。
[0098]図2に、本開示のいくつかの態様による、実数値領域200からスパイクタイミング領域210への変換を示す。実数値領域200では、ニューロンk204の出力値xkを取得するために、ニューロンj202の出力値xjがwによってスケーリングされる。スパイクタイミング領域210では、ニューロンk204の相対時間τkを判断するために、遅延zがニューロンj202の相対時間τjに追加される。
[0099]因果的システムでは、時間遅延が正であることに留意されたい。ただし、1よりも小さいファクタによって値をスケーリングすることは、任意に大きい公称量だけスパイク間の遅延を短縮し、次いで全体的スケーリングを達成するのに十分な量を再加算することによって、達成され得、Δτjk’=−T+Δτjk、または
である。
[00100]これがニューロンを用いてどのように行われ得るかが以下でさらに詳細に説明される。今のところ、1に等しいかまたはそれよりも大きい何らかのスケーリングが達成され得る場合、何らかの任意のスケーリングがこの概念を使用して達成され得ると仮定され得る。実際のネットワークでは、相対時間遅延は(入力がない場合に公称ニューロン発火率によって与えられる、またはあるニューロンから別のニューロンへの結合によって招かれ得る最大遅延によって与えられる)ある最大値に制限され得る。これは、所望の値範囲が、基礎をなす値をスケーリングすることによってカバーされ得るので、達成され得るスケーリングを制限しないことがある。
[00101]相対的タイミングの形態間で変換することは、(1)同じニューロンiの連続するスパイク間の相対時間τiを、ニューロンjのスパイクとニューロンk(または基準k)のスパイクとの間の相対時間τjkに変換することと、(2)ニューロンjのスパイクとニューロンk(または基準k)のスパイクとの間の相対時間τjkを、同じニューロンiの連続するスパイク間の相対時間τiに変換することとを含み得る。
である。
[00103]次に、ニューロンjからの出力yj(t)がニューロンkへの入力としてサブミットされると仮定されたい。時間tに、それが、スパイクsより前のすべての入力スパイクの処理に続く場合、スパイクsのみが関心の対象であり得、したがって、
である。
である。
を取得する。
[00106]図3は、上記で説明されたように、相対時間とシフトされた時間フレームとの間の関係を示すタイミング図300である。タイミング図300および上記の式から、あるニューロンから別のニューロンへの任意のスパイクトレイン入力が、基準時間に対する次のスパイクのタイミングに関して、および結合における遅延に配慮して、考慮され得ることが確かめられ得る。相対時間および時間基準シフトのこれらの概念は、以下の本開示のいくつかの態様の説明にとって中心となる。
一般的なスパイキングニューラルシステム
[00107]ニューロンの多くの生物学的に一貫性があるモデルが提案されている。特に生物学的に一貫性がありフレキシブルである1つのスパイキングニューロンモデルは、微分方程式の以下のペア、
[00107]ニューロンの多くの生物学的に一貫性があるモデルが提案されている。特に生物学的に一貫性がありフレキシブルである1つのスパイキングニューロンモデルは、微分方程式の以下のペア、
によって記述される、イジケヴィッチ(Izhikevich)の単純なモデルであり、上式で、ciは(コンダクタンスなどから導出された)ニューロンパラメータであり、vr、vt、およびvθは膜電圧しきい値であり、Iは時間tにおける正味入力であり、上式で、一般にvθ>vt>vrであり、一般に、不応時間期間(refractory time period)以外において、v>vrである。スパイキング条件が満たされない場合、出力y(t)=0である。しかしながら、電圧式は、2つの領域、すなわち、(1)ニューロンがリーキー積分発火(LIF)ニューロンのように動作する、v<vt、および(2)ニューロンが反リーキー積分発火(ALIF)ニューロンのように動作する、v>vtにおいて動作する。
[00108]v<vtであるとき、差v−vtの大きさが大きくなると、差v−vrの大きさが小さくなり、その結果、それら2つは互いにバランスをとると見なされ得ることに留意されたい。その上、一般性の喪失なしに、vr=0を設定し、c3、c4、およびc5に従ってパラメータをスケーリングし得、その結果、v<vtの場合、簡略化し、
を書き得、上式で、p<0である。ここで、電圧領域が、一般性の喪失なしに量vtだけシフトされている。対照的に、v>vtであるとき、項(v−vt)は(v−vr)よりも大きい傾きで増大し、したがって、v>vtの場合、簡略化し、
を書くために動機を与えられ得、上式で、p<0である。重要なことは、pの符号が反転され、その結果、電圧が、ますますより高速に何度も増大することである。
一般に、任意のバックグラウンド入力アクティビティ、入力雑音レベル、または前のスパイクを前提として、任意の所与のスパイクが、v<vtからv>vtにバランスを傾け得る。上記の一般化は、ニューロンレベルがこのバランスのマージン内で維持され得ることを反映し、したがって、(スパイキングの後にまたはスパイクに続く不応期間の後に)初期にvt=0を一般化し、設定し得る。しかしながら、これらの一般化により、上記2つの異なる領域において電圧を調和させることは、それらの間で変換するための補償計算をたいがい伴い得る(すなわち、vが、p<0領域においてしきい値vθに達したとき、vは、p<0領域においてv=v−vθ≒0に変換され、その逆も同様である)。これは行うのが簡単であるが、後で明らかになるように、領域間で移動する必要がないことがあるので、それは本開示の態様に不要である。また、c2、c4、およびc5の特定のパラメータ設定について、状態変数uがこれらのダイナミクスに対して無視できる寄与を有し得ることが観測され得、したがって、一般に
に簡略化し得る。
[00109]事実上、イジケヴィッチの単純なモデルが動作の領域に応じてリーキーまたは反リーキー積分発火(ALIF)ニューロンに簡略化され(すなわち、そのようなニューロンとしてモデル化され)得ることを確かめることができる。その上、シナプス後フィルタリングがなく、荷重がないと仮定される場合、入力スパイクは、(樹状または軸索遅延などの)何らかの結合遅延を受けるニューロンkへの入力として使用され得、その結果、
となる。
[00110]図4は、本開示のいくつかの態様による、樹状遅延線として結合遅延を示すニューロンモデル410のブロック図400である。入力yiのための樹状入力線は、各入力yiのための結合遅延を表す樹状遅延要素412に結合される。遅延された入力は、次いで、Ikを取得するために加算器414によって(線形的に)加算される。
であり、上式で、c-(k,l)は、シナプス後ニューロンkのためのシナプスlに対応するシナプス前ニューロンのインデックスである。そのようなニューロンは、一般に、膜電位が0を上回って(すなわち、何らかの量またはしきい値だけ0を上回って)上げられたとき、基準時間trに開始する、指数関数的に増大する膜電位を有することになる。
[00112]たとえば、図5に、時間に関してニューロンのそのような指数関数的に増大する膜電位と発火とを示す。図5では、y軸504がニューロンの膜電位を表し、x軸502が時間を表す。図示されるように、基準時間trに、ニューロンの膜電位が、ある量だけ0を上回るとき、その電位は指数関数的に増大する。この時点の後に、ニューロンは、一般に、電位を0以下に戻すのに十分な抑制性入力がない限り、発火することになる。一般に、興奮性入力は、ニューロンが、よりすぐに発火させることになるにすぎない。たとえば、図5に示されるように、時間tjにおけるニューロンjからの入力は、ニューロンが、よりすぐに発火させる。これは一般的な公式化である。たとえば、ニューロンが発火する時間に基準時間を設定し得る。次いで、発火時に、ニューロンは、直ちに0を上回る小さい値に再設定された電圧を有するにすぎない。
を書き得る。
を与える。
である。
を与える。
である。
である。
である。
である。
である。
によって所望の線形結果を計算しようとして利用され得る。
をスパイクすることを望む。ηkを最小限に抑えることは厳密には必要ではないが、それは正確なマッピングのための動機を促進する。
である。
となり、したがって、十分に大きいスパイキングしきい値を選定することによってηk項の最小限に必要とされるサイズを制御し得る。
であることに留意されたい。ただし、実際には、これは必要ではないことがある。これは、連続時間において演算することが連続更新を必要としないので、必ずしも望ましくないとは限らないことに留意されたい。たいがい、イベント(入力またはスパイク、また、これらのイベントは、上記で与えられた非ネスト表現を前提として計算され得る)時に式を更新するにすぎないことがある。とはいえ、時間ステップΔt>0における離散時間系演算について、
である。また、値と相対時間との間の変換のための対数の底として、qは、時間分解能が対数スケールにおいて値分解能にどのように影響を及ぼすことになるかに影響を及ぼす。今度は、これは、p+>0を条件とするパラメータp+に依存する。
である。
によって支配される、スパイキングニューロンによって実行される。
である。
である。
内にある。
の入力遅延を与えることが留意され得る。したがって、一般に、範囲[0,1]内の入力を用いて演算し得る。しかしながら、出力は、Δωkだけオフセットされ、せいぜい、荷重範囲のため、N/qvθ(N個の入力の場合)であり得る。したがって、出力の意味は、以下のように任意に再定義され得る。
あるニューロンの出力を別のニューロンの入力に供給することに関してこれが意味することは、以下の説明において説明される。
[00133]要約すれば、十分な時間分解能を前提として単一のニューロンを用いて任意の精度の値を計算するのに十分強力である、線形表現の普遍的計算のためのニューロンフレームワークが今では与えられている。そのニューロンは、スパイキングの後にまたは不応期間の後に0を上回る公称設定に再設定された電圧を有する、反リーキー積分発火(ALIF)ニューロンである。そのニューロンのシナプスは、荷重を有さず、シナプス後フィルタを有しない。しかしながら、その結合は遅延を有する。図6は、本開示のいくつかの態様による、単一の反リーキー積分発火(ALIF)
ニューロンkのためのアーキテクチャのブロック図600である。
[00134]ニューロンのシミュレーションまたは実行は、連続時間または離散時間において行われ得る。離散時間演算は、上記の(1つまたは複数の)離散時間式の反復によって段階的に進み得る。しかしながら、連続時間(および離散時間)実行は、時間tに発生する入力イベント時に以下のようにイベントベースの方法でも実行され得る。
を更新する。
を追加する。
を再設定する。
4.時間t+Δτklにニューロンkからのシナプスを用いて各ニューロンlについてイベントをスケジュールする。
のいずれかを使用して、ニューロンがさらなる入力なしにいつ発火することになるかを検査する。
は、事実上、無限大、または何らかの十分に大きい数、またはそれらのインジケータに(代替的に、それが決して実行されることがないように、過去の時間に)設定され得ることに留意されたい。
を再設定する。
であることに留意されたい。
[00136]上記で説明されたように、入力における情報は、図7に示されるように、シナプス後ニューロン(たとえば、ニューロンk)またはシナプス後ニューロンに対する非自己参照形態または(NSR−POST)の、入力スパイク時間702と前の出力スパイク時間704との間のスパイクの時間差(τjk)においてコーディングされる。対照的に、出力における情報は、シナプス後ニューロンまたは自己参照(SR)形態の連続するスパイク間の時間差(τk)においてコーディングされる。
[00137]上記で説明された方法は、一般化され得、入力または出力形態のためにSRまたは(シナプス後ニューロンに対するNSRであるにせよ、何らかの第3のニューロンに対するNSRであるにせよ)NSRを使用し得る。この一般化は以下でより詳細に説明される。
外部入力または出力のために情報を変換すること
[00138]入力が、スパイクトレインyi(t)としてシナプスに与えられ得る。しかしながら、感覚入力シーケンスは、しばしば実数値形態xi(t)のものである。そのようなシーケンスは、いくつかの方法でSRまたはNSRスパイクトレインに変換され得る。最初に、基本形態が考慮される。
[00138]入力が、スパイクトレインyi(t)としてシナプスに与えられ得る。しかしながら、感覚入力シーケンスは、しばしば実数値形態xi(t)のものである。そのようなシーケンスは、いくつかの方法でSRまたはNSRスパイクトレインに変換され得る。最初に、基本形態が考慮される。
[00139]シーケンスxi(t)は、以下のアルゴリズムに従って、SR時間的コード化スパイクシーケンスyi(t)に変換され得る。
の前の値に設定する)。
より前の短い時間期間T)にわたる(平均値などの)xi(t)の関数である。
とする。
である。
[00141]シーケンスxi(t)は、以下のアルゴリズムに従って、NSR時間的コード化スパイクシーケンスyi(t)に変換され得る。
の前の値に設定する)。
より前の短い時間期間T)にわたる(平均値などの)xi(t)の関数である。
とする。
である。
[00143]この時点で、任意の数の入力から単一の出力への線形変換を実行するために単一のニューロンが使用され得ることが今では明白であり得る。しかしながら、複数のニューロンを使用することによって、N個の入力からM個の出力への任意の変換、
が、行列Wの行を前提として計算される遅延を用いてM個のニューロンによって計算され得る。その上、それらの出力のいくつかは、入力としてフィードバックされ得る(すなわち、重複があり得る)。
[00144]上記では、各入力フレームについて発生するであろう最もすぐのスパイクのみが考慮された。これは、ニューロンモデルにおける微妙さ(subtlety)である。事実上、ALIFニューロンは、上記で説明されたように、発火時の追加の演算を用いてモデル化された(すなわち、スパイクについて検査するとき、
を再設定し、tclear<tの場合、すべての入力yk(tclear)をクリアする)。これが意味することは、発火時に、ニューロンが、細胞体にまだ伝搬していない任意の入力を忘れることである。したがって、ニューロンは、単に余分の入力のため、再び発火しないことになる。
[00145]ただし、これは厳密には必要ではない。代替として、ニューロンは、再び発火することと、時々の誤差を単に許容することとを可能にされ得る。これに対処するための別の方法は、特定の出力のみが、意味を有するためにとられる、フレーム同様のモードでシステムを駆動する発振をセットアップすることである。別の方法は、しばらくの間発火を防ぎ、次の計算のためにシステムをクリアするために、抑制を使用することである。したがって、これを回避するための多くの方法がある。本開示の残りは、上記のモデルを使用して続く。
である。値領域では、これは、スケーリングの別の手段を与えるだけでなく、これは、異なる範囲内で異なるニューロンを動作させることと、それらをインターフェースすることとをも可能にする。
[00147]いくつかの態様では、上記の変換の代替は、実数値入力をSRスパイクまたはNSRスパイクのいずれかに変換するためにプロキシニューロンを使用することである(この目的で任意のタイプのニューロンが使用され得る)。
[00148]次に、負の荷重(係数)が考慮される。値領域において負の荷重に対応する非複素数値遅延がない。負の荷重を適用するために、入力は、興奮性の代わりに抑制性に切り替えられ得る。すなわち、単に符号を反転し得る。
を達成されたい。
[00149]図8に、本開示のいくつかの態様による、ニューロン810上での興奮性入力806と抑制性入力808につながる、正および負の入力値802と正および負のスケーリング値804とのすべての可能な組合せを示す。
[00150]ただし、異なる問題が、同じ変数の負値と正値の両方を表している。これを克服するための1つの方法は、負の荷重の代わりに入力の負数を使用することである。したがって、その問題は、負入力ならびに正入力を作成する問題になる。
ただし、各々は、正の大きさまたは0のみをとるにすぎないことがある(すなわち、負入力は二重の負値または正値を表すことができず、正入力は負値を表すことができない)。0が無限の(または極めて大きい)相対的入力タイミングに変換することに留意されたい。
[00151]次に、正の荷重を用いて負入力に対処するために上記の荷重否定と等価なことが行われ得る。負値は、図9の上側図902に示されるように、ニューロンコーディング[−xi(t)]+を用いて正に表され、抑制性入力808として結合され得る。値と荷重の両方が負である場合、それらは消去され、異なることを行う必要はない。上側図902は、入力ニューロン906のための正および負の値を表すことを示しており、図9の下側図904は、入力ニューロンと出力ニューロン908の両方のための正および負の値を表すことを示している。
[00152]重要なことは、(両方が関係する場合)領域(+ve)と領域(−ve)とを出力のための別個の表現に分離し、次いで入力時に(興奮および抑制を使用して)それらを再結合することである。入力が特定の領域(たとえば、正)に制約される場合、この分離は行われる必要がない。
例A:スカラーをスケーリングすること
[00153]本開示のいくつかの態様は、スケーリングの例を用いて証明され得る。この例では、スパイキングニューロンはxk(t)=aikxi(t)を実行し得る。言い換えれば、所望の出力は、入力のスケーリングされたバージョンである。この例は、基準時間として出力ニューロンのスパイクを使用して非同期フレームモードで全部スパイキングネットワーク(すべての入力および出力がスパイクの形態の入力および出力である)を使用する。時間分解能は無限(連続)または離散(固定ステップにおいてにせよ可変ステップにおいてにせよ)であり得ることを想起されたい。
[00153]本開示のいくつかの態様は、スケーリングの例を用いて証明され得る。この例では、スパイキングニューロンはxk(t)=aikxi(t)を実行し得る。言い換えれば、所望の出力は、入力のスケーリングされたバージョンである。この例は、基準時間として出力ニューロンのスパイクを使用して非同期フレームモードで全部スパイキングネットワーク(すべての入力および出力がスパイクの形態の入力および出力である)を使用する。時間分解能は無限(連続)または離散(固定ステップにおいてにせよ可変ステップにおいてにせよ)であり得ることを想起されたい。
[00154]図10は、本開示のいくつかの態様による、ニューロンモデルを使用してスカラー値をスケーリングするための例示的な動作1000の流れ図である。動作1000は、1002および1004において初期化から始まり得る。1002において、所望の線形計算のための係数aikに対応するシナプス遅延Δτikが計算され得る。1004において、上記遅延は時間分解能Δtに量子化され得る。その後、動作1000はループに入る。1006において、入力値xi(t)が、出力ニューロンkのスパイキング時にサンプリングされる。1008において、値xi(t)は、ニューロンkの最後のスパイクに対するスパイク時間τikに変換される。1010において、入力スパイク時間は時間分解能Δtに量子化される。1012において、入力スパイクは、時間オフセットτik+Δτikにおいてニューロンkの細胞体にサブミットされる。1014において、ニューロンkの出力スパイク時間τkが、分解能Δtを用いて判断される。
[00155]動作1000中のループの各反復は、ニューロンkの1つの出力スパイクに対応する。したがって、そのタイミングは、フレーム持続時間がニューロンkのスパイク間間隔に依存するので、非同期である。この種類の非同期フレーム(基準)を使用するとき、入力のサンプリングレートは可変である。特に、総入力が大きく(値領域)、したがって入力遅延が小さい場合、ニューロンkは、より早く発火し、したがって、短時間で再び入力をサンプリングする。総入力が小さい(値領域)場合、逆のことが発生する。したがって、入力のサンプリングレートは、出力値の大きさに比例する。これは、有意な入力値は、より頻繁にサンプリングされ、有意でない入力は、低いまたは最小のレートにおいてサンプリングされる傾向があり、それにより計算能力およびリソースを節約するという点で、利点を有する。
を計算し得る。この例では、時間分解能の効果を証明するために(連続時間の代わりに)離散時間系が使用される。この例では、Δt=0.1msと仮定し、p+=0.1、v0=1で任意に小さいΔωk=0.01とする。これは、vθ=100、および約21Hzの最小ニューロン発火率、または48msの期間を与える(いかなる入力もなし)。パラメータq≒1.1である。動作可能な係数範囲は0.0001〜0.01である。任意の係数aikがこの例では選定され(たとえば、係数最大値の1/2)、形態、
の、時間オフセットシヌソイドがサブミットされる。出力は、aik=1/2が選定された場合、(Δωkによる)0.01〜最大0.02のスケールでの出力となる。
[00157]図11Aに、本開示のいくつかの態様による、0.1msの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1102と、時間に対する出力値のグラフ1104と、線形性グラフ1106とを示す。図11Bに、本開示のいくつかの態様による、1.0msの時間分解能を使用して単一のニューロンモデルの単一の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1112と、時間に対する出力値のグラフ1114と、線形性1116とを示す。図示されるように、ニューロンモデルは、時間コーディング領域において高度に線形である。もちろん、精度は時間分解能に依存する。したがって、時間分解能が10×だけ劣化したとき、時間分解能による誤差は出力において顕著になる。
である。
[00159]係数は、ちょうど上記の例の場合のように設定される。10個の入力が使用され、任意の係数が、範囲、たとえば最大係数値の小数[0.5 0.65 0.55 0.5 0.39 0.59 0.4 0.81 0.87 0.35]にわたって選定される。異なる量だけ各入力をオフセットすることを除いて、前の例と同じ入力フォーマット(オフセットシヌソイド)を使用し得る。三角法から、周波数が同じである場合、結果xk(t)が、スケーリングされたシヌソイドであることを知っており、したがって、この例は、各入力について異なる周波数を、それをより興味深くするために使用する。単一のニューロンが、これを計算するために使用され、シナプス遅延は、ちょうど上記の例の場合のように、係数に従って割り当てられ、msにおいて[6.9 4.3 6 7 9.5 5.3 9.2 2.1 1.4 10.5]の遅延を与える。
[00160]図12Aに、本開示のいくつかの態様による、0.1msの時間分解能を使用して単一のニューロンモデルの10個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1202と、時間に対する出力値のグラフ1204と、線形性グラフ1206とを示す。図12Bに、本開示のいくつかの態様による、1.0msの時間分解能を使用して単一のニューロンモデルの10個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1212と、時間に対する出力値のグラフ1214と、線形性グラフ1216とを示す。Δt=1msであるとき、シナプス遅延も、分解能を失い、[7 4 6 7 10 5 9 2 1 11]になることに留意されたい。時間分解能に対する感度は、入力を追加するにつれて減少する。これは、図12Bの線形性グラフ1216中の結果の垂直ビンの数において確かめられ得る。事実上、出力タイミングの範囲は、より多くの入力がある場合、大きくなる。時間における平均出力誤差は、Δt=0.1msの場合は0.01msを下回り、Δt=1msの場合は0.1msを下回った。基本的に、これは、ニューロンが10個のスパイクごとに約1つ、1つの時間分解能の誤差を有することを意味する。
例C:正および負の係数
[00161]この例では、上記と同じ例が使用されるが、負の係数が含まれる。10個の入力が使用され、任意の係数が、範囲、たとえば小数[0.5 0.65 0.55 0.5 −0.39 −0.59 −0.4 0.81 0.88 0.35]にわたって選定される。遅延を計算するために、これらの絶対値が使用される。ただし、負値入力について、シナプスは抑制性に切り替えられる。
[00161]この例では、上記と同じ例が使用されるが、負の係数が含まれる。10個の入力が使用され、任意の係数が、範囲、たとえば小数[0.5 0.65 0.55 0.5 −0.39 −0.59 −0.4 0.81 0.88 0.35]にわたって選定される。遅延を計算するために、これらの絶対値が使用される。ただし、負値入力について、シナプスは抑制性に切り替えられる。
[00162]図13Aに、本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方を使用して、1.0msの時間分解能を使用して単一のニューロンモデルの10個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1302と、時間に対する出力値のグラフ1304と、線形性グラフ1306とを示す。図13Bに、正のスケーリング値と負のスケーリング値の両方を使用して、ただし抑制への反転を間違って省略して、1.0msの時間分解能を使用して単一のニューロンモデルの10個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1312と、時間に対する出力値のグラフ1314と、線形性グラフ1316とを示す。
例D:雑音の多いALIF
[00163]様々な好適な方法のいずれかで雑音項を追加することによって、雑音がALIFモデルに追加され得る。1つの単純な方法は、微分方程式係数p+に雑音項を追加することである。
[00163]様々な好適な方法のいずれかで雑音項を追加することによって、雑音がALIFモデルに追加され得る。1つの単純な方法は、微分方程式係数p+に雑音項を追加することである。
これは、膜電位が大きくなるにつれて、雑音項のための同じ値が膜電位のますます大きくなる変化を生成するので、雑音のアグレッシブな形態である。ただし、これは、ニューロンが発火により近いとき、余分の入力がこのニューロンに当たる場合に起こるであろうことであるので、これは、おそらく生物学的に一貫性がある。
[00164]図14に示されるこの例では、上記の雑音項が追加され、その雑音項が、Δt=1msを仮定して、0平均とp+の値の標準偏差10%とを用いたガウス分布を有することを除いて、上記の例Cが(正および負の係数とともに)繰り返される。雑音項は、白い(すなわち、加法性白色ガウス雑音(AWGN:additive white Gaussian noise))と仮定される。
[00165]図14に、本開示のいくつかの態様による、正のスケーリング値と負のスケーリング値の両方と、ニューロンモデルの膜電位に追加された雑音項とを使用して、1.0msの時間分解能を使用して単一のニューロンモデルの10個の樹状入力上でスカラー入力をスケーリングするときの、時間に対する例示的な入力値のグラフ1402と、時間に対する出力値のグラフ1404と、線形性グラフ1406とを示す。線形性グラフ1406中の任意の所与の時点のための線形性に対する有意な雑音中断にもかかわらず、平均して、ニューロンが、グラフ1404に示されるように、著しくうまく線形変換に従うことが可能であることを確かめることができる。
相対時間参照を変換すること
[00166]このセクションは、2つの相対時間形態、すなわち自己参照(SR)と非自己参照(NSR)との間で変換することに対処する。自己参照(SR)時間を非自己参照シナプス後ニューロン時間(NSR−POST)に変換することは、(たとえば、図7に関して)上記で説明されたニューロンモデルが、NSR−POST入力タイミングを許容し、SRタイミングを出力するので、特別の関心の対象である。そのニューロンの入力を別のニューロンに供給することは、たいがい変換を伴い得る。NSRサブ形態の差異は、シナプス前スパイク時間が、シナプス後ニューロンスパイク時間(NSR−POST)に対するものであるのか、第3のニューロンのスパイク時間(NSR−THIRD)に対するものであるのかの間の差異である。
[00166]このセクションは、2つの相対時間形態、すなわち自己参照(SR)と非自己参照(NSR)との間で変換することに対処する。自己参照(SR)時間を非自己参照シナプス後ニューロン時間(NSR−POST)に変換することは、(たとえば、図7に関して)上記で説明されたニューロンモデルが、NSR−POST入力タイミングを許容し、SRタイミングを出力するので、特別の関心の対象である。そのニューロンの入力を別のニューロンに供給することは、たいがい変換を伴い得る。NSRサブ形態の差異は、シナプス前スパイク時間が、シナプス後ニューロンスパイク時間(NSR−POST)に対するものであるのか、第3のニューロンのスパイク時間(NSR−THIRD)に対するものであるのかの間の差異である。
を再設定することに再定義され得、上式で、vφ≦0である。事実上、これは、電位が入力によって0を上回って増加されるまで、サブスレッショルド状態において単純なニューロンをモデル化する。一般性の喪失なしに、入力大きさをv0に設定し得る。次に、すべてのSR出力タイミングは、最初に発生する入力に対するNSRタイミングに変換されることになる。
に変換するので、時間変換はニューロンにわたって制御され得る。一例として、図15に、シナプス前ニューロン1504とシナプス後ニューロン1506とに同じ入力r1502を与えることを示す。
[00169]ただし、最初に発生するどちらの入力でも自動的に基準を与えるので、実際の基準は存在する必要さえない。唯一の必須条件は、情報が入力間の相対時間差においてコーディングされることである。これは、相互依存性を作成するために入力間のラテラル抑制を使用することを含む、様々な方法で達成され得る。代替として、基準は、基準が発火することを引き起こすのに十分である入力とともに、基準への入力としてすべての入力を結合することによって、駆動され得る。したがって、基準は、第1の入力の発火の関数として発火することになる。これは、問題をも解決し、また、出力の相対的読出しのための指示として単一の要素(基準)を与える。図16に、単一の入力のためのこのフィードフォワード事例を示す。
[00170]いくつかの態様では、図17に示されるように上記のことを達成するためにフィードバックも使用され得る。これはあまり一般的でない事例であるが、すぐ下流のニューロンが基準として使用されるので、それは、τkを計算するための入力としてτjkに正確に対応するので、それは、示すべき自然な事例である。
とすると仮定されたい。v+>v0である場合、これは次の発火を進めることになる(すなわち、τkを減少させることになる)。代替として、v+<v0である場合、これは次の発火を遅延させることになる(すなわち、τkを増加させることになる)。これは、ニューロンの構成が、v0を前提として計算されるようにとどまる(すなわち、v0の値が、v+に等しくなるように変更されない)と仮定している。たとえば、基準時間と、ニューロン電位が、それが(v+>v0の代わりに)v0に再設定された場合にv+に達していたであろう仮定的時間との間に、入力がなかったであろうと仮定すると、τkの変化は
によって与えられる。
ニューロンの出力を任意に変更し得る。
である。この上限は、ニューロンが入力なしに発火することになる時間である。ただし、最小の観測される時間は、入力タイミングと入力遅延の組合せのため、一般にΔtとはならない。これは、事実上、上限に対して出力時間範囲を圧縮することになり、その結果、後続のニューロンへの入力のためにこの範囲を再拡大することが望ましいことがある。これは、関係する量だけ前の基準から遅延された新しい基準を使用することによって、容易に行われ得る。
によって値をスケーリングし得る。たとえば、最小遅延τkが20msである場合、20ms後である基準を使用することによって20msを減算し得る。これは、値領域量をより大きい範囲にスケールアップすることになる。式の離散時間形態が上記で使用されたが、類似する演算が、上記で証明されたように連続形態で行われ得る。
[00175]いくつかの態様では、伝搬基準波を使用してマルチニューロンシステム(たとえば、図1のニューラルシステム100)のタイミングをとり得る。伝搬基準波は、ニューロンのための基準再設定時間として働き、これは、異なる時間に異なるニューロンを再設定する。したがって、シナプス前ニューロンの出力は、適宜に遅延された基準変化を与えることによってシナプス後ニューロンのための入力に適宜に変換され得る。
[00176]図18に、本開示のいくつかの態様による、一連のニューロンのための伝搬基準波を示す。図18では、レイヤn−1ニューロン1802が、基準として入力r1502を受信する。入力r1502は第1の遅延(z1)1804だけ遅延され、遅延されたr(遅延された’)はレイヤnニューロン1806のための基準として働く。遅延されたrは第2の遅延(z2)1808だけさらに遅延され、得られた遅延されたr(遅延された’’)はレイヤn+1ニューロン1810のための基準として働く。第1の遅延1804は、第2の遅延1808と同じであるかまたはそれとは異なり得る。
[00177]いくつかの態様では、この伝搬基準フレーム波は、入力(書込み)および出力(読出し)のための基準としても使用され得る。その基準は、レイヤにわたって伝搬する背景雑音または発振レベルとしても供給され得る。基準フレーム波はまた、上述のように(すなわち、(1つまたは複数の)前のレイヤ、または(1つまたは複数の)後続のレイヤの前のフレーム、またはそれらの組合せによって)自己生成され得る。
[00178]フレーム波の別の随意の利益は、それが、(除去されない限り)シナプス後ニューロンの余分の発火を引き起こし得る遅い入力に対処するための代替方法を与えることであり、すなわち、出力が、興奮と抑制との波において基準を使用してシステムを通してクロック制御され、その結果、規定時間内で基準に続く出力のみが作用される。
[00179]図19に、本開示のいくつかの態様による、図18の伝搬基準波を有する一連のニューロンのための例示的なタイミング図1900を示す。レイヤn−1ニューロン1802はニューロンiと見なされ得、レイヤnニューロン1806はニューロンjと見なされ得、レイヤn+1ニューロン1810はニューロンkと見なされ得る。
[00180]いくつかの態様では、代替が、図20に描かれるようにg-ニューロン2002と見なされるものを使用することであり得る。このタイプのニューロンの目的は、図20に示されるように、SRをNSRに、またはτjをτjrに変換することである。これを達成する1つの方法は、ニューロンの脱分極を駆動するためにSR入力タイミングがラッチされ、使用される、g−ニューロンのための特殊ダイナミック演算を伴う。(他の入力とは別様に扱われる)基準入力上で脱分極を調整することによって、出力タイミングはNSR形態で判断され得る。これは、以下でさらに詳細に説明される。
はニューロン膜電位またはニューロンの状態である。
を与える。
である。
である。
である。
である。
である。
である。
とする。
である。
である。概して統合すると、Δt(たとえば、Δt=1)、Δτ(たとえば、Δτ=T-)、およびα=−β=log(1−(Δtβ)2)≒0.2を選択し得る。
ニューロン形態と組み合わせて使用され(それとインターフェースされ)得る。事実上、これらのニューロンを反対側のタイプに結合し得る。これらのニューロンが結合され、その結果、ニューロンが同じタイプのニューロンに結合しない場合、SR相対的タイミングとNSR相対的タイミングとの間の変換の他の形態の必要がない。
入力の数を用いたALIF線形性の特徴づけ
[00194]このセクションは、変動する数の入力とともに上記で説明されたニューロンモデルの線形性の特徴づけに対処する。この特徴づけのために、ランダム入力およびランダム係数が使用される。離散系がこの特徴づけのために任意に選択され、簡単のために、Δt=1msの時間分解能が使用される。線形性グラフ2101、2102、2104、2108、2116、および2132が、それぞれ1つ、2つ、4つ、8つ、16個、および32個の入力について図21に示されている。入力の数が増加するにつれて、実効分解能は、範囲が増加するので、増加する。しかしながら、精度は減少し得る。これは一様分布の結果にすぎない。その効果が出力(および入力および係数)の値の範囲に応じて変動し得ることに留意されたい。精度はまた、一般に、上記の例において示されたように、より良い時間分解能であれば根本的に改善する。
[00194]このセクションは、変動する数の入力とともに上記で説明されたニューロンモデルの線形性の特徴づけに対処する。この特徴づけのために、ランダム入力およびランダム係数が使用される。離散系がこの特徴づけのために任意に選択され、簡単のために、Δt=1msの時間分解能が使用される。線形性グラフ2101、2102、2104、2108、2116、および2132が、それぞれ1つ、2つ、4つ、8つ、16個、および32個の入力について図21に示されている。入力の数が増加するにつれて、実効分解能は、範囲が増加するので、増加する。しかしながら、精度は減少し得る。これは一様分布の結果にすぎない。その効果が出力(および入力および係数)の値の範囲に応じて変動し得ることに留意されたい。精度はまた、一般に、上記の例において示されたように、より良い時間分解能であれば根本的に改善する。
なぜALIFか?
[00195]ある程度まで、単純なモデルを含む、LIFおよび他のニューロンモデルは、線形的に予測可能な発火を有する。その差は、線形予測子を使用してそれを用いて予測することができる忠実度または精度にある。
[00195]ある程度まで、単純なモデルを含む、LIFおよび他のニューロンモデルは、線形的に予測可能な発火を有する。その差は、線形予測子を使用してそれを用いて予測することができる忠実度または精度にある。
である。
[00197]p+>0を選定する場合、モデルはALIFである。しかし、p+<0を選定する場合、モデルはLIFである。事実上、p+<0である場合、q<1(すなわち、小数)であり、1/q>1である。小数の底をもつ対数は、1よりも大きい何らかの引数について、負となる。さらなる入力なしに発火するための時間は
である。
であり、これは、ニューロンがすでにスパイクした(しきい値を超えた)ことをこれが意味するので、矛盾する。これは、LIFがいくぶん予測可能でないことを意味しない。それは、ALIFを用いて行わるように、LIFを使用して理想的な線形予測可能性のためのニューロンモデルを容易に設計することができないことを意味するにすぎない。
[00199]図22は、本開示のいくつかの態様による、相対時間に基づいてニューロンモデルから出力スパイクを放出するための例示的な動作2200の流れ図である。動作2200は、ハードウェアで(たとえば、1つまたは複数の処理ユニットによって)、ソフトウェアで、またはファームウェアで実行され得る。
[00200]動作は、2204において、第1のニューロンモデルにおいて少なくとも1つの入力を受信することによって、開始し得る。上記入力は、バイナリ値入力スパイクまたはスパイクトレインなど、スパイク時間領域における入力を備え得る。いくつかの態様では、上記入力は、実数値領域における入力を備え得る。
[00201]第1のニューロンモデルは、たとえば、ALIFニューロンモデルであり得る。いくつかの態様では、第1のニューロンモデルは、指数関数的に増大する膜電位を有し得、抑制性入力の不在において脱分極し続け得る。興奮性入力は、第1のニューロンモデルが、第1のニューロンモデルが興奮性入力なしに発火するであろうよりもすぐに発火することを引き起こし得る。
[00202]2206において、第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間が、受信された入力に基づいて判断され得る。上記入力が(入力スパイクとは対照的に)入力値を備えるとき、2206において相対時間を判断することは、相対時間として入力値を符号化することを含み得る。この符号化することは、入力値の対数の負数として相対時間を計算することを備え得、ここにおいて、対数は、第1のニューロンモデルのための膜電位の関数として膜電位の変化の係数の指数値に等しい底を有する。
[00203]2210において、出力スパイクが、相対時間に基づいて第1のニューロンモデルから放出され得る。いくつかの態様では、2212において、第1のニューロンモデルの膜電位が、出力スパイクを放出した後に、0を上回る公称設定に再設定され得る。
[00204]いくつかの態様によれば、基準時間は第1のニューロンモデルの第2の出力スパイク時間を備え得、第2の出力スパイク時間は第1の出力スパイク時間の前に発生する。他の態様では、基準時間は第2のニューロンモデルの第2の出力スパイク時間を備え得、ここにおいて、第1のニューロンモデルの出力が第2のニューロンモデルの入力に結合され、ここにおいて、第2の出力スパイク時間は第1の出力スパイク時間の前に発生する。第1のニューロンモデルは、第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し得、第2のニューロンモデルは、変化の第1の係数とは異なる、第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有し得る。いくつかの態様では、第2のニューロンモデルは、第1のニューロンモデルのための基準時間から遅延された別の基準時間を使用し得る。
[00205]いくつかの態様では、動作2200は、2202において第1のニューロンモデルによってモデル化される関数(たとえば、スケーリング関数または他の線形変換)に基づいて少なくとも1つの入力における遅延を判断することを含み得、これは、2204において少なくとも1つの入力を受信することの前に発生し得るが、発生する必要はない。2208において、相対時間は、上記遅延に基づいて調整され得、その結果、出力スパイクは、調整された相対時間に基づいて放出される。たとえば、関数はスカラーによる乗算を備え得、ここにおいて、2202において上記遅延を判断することは、上記遅延を判断するためにスカラーの絶対値を計算することを備え、ここにおいて、スカラーが負である場合は、第1のニューロンモデルへの入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、スカラーが正である場合は、第1のニューロンモデルへの入力に関連するシナプスが興奮性シナプスとして使用される。いくつかの態様では、関数は、以下でより詳細に説明されるように、恒常的プロセスまたはターゲット出力遅延に基づく学習関数であり得る。いくつかの態様によれば、2202において上記遅延を判断することは、上記遅延を所望の時間分解能に量子化することを伴い得、ここにおいて、2208において相対時間を調整することは、量子化された遅延に基づいて相対時間を調整することを備える。関数の精度は時間分解能に依存し得る。
[00206]いくつかの態様によれば、2204において上記入力を受信することは、所望の時間分解能に基づくサンプリングレートを用いて上記入力をサンプリングすることを伴い得る。そのような態様では、2206において相対時間を判断することは、相対時間を時間分解能に量子化することを備え得る。
[00207]いくつかの態様では、動作2200は、2214において第1のニューロンモデルのための出力値を判断することをさらに備え得る。出力値は、放出された出力スパイクの時間と基準時間との間の時間差に基づいて判断され得、ここにおいて、出力値は、第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、指数は、上記逆数をとる前に時間差の累乗される。2216において、出力値は、ディスプレイ、または出力値を示すための他の好適な手段に出力され得る。
学習
[00208]スパイキングネットワークにおける学習は、一般に、長期増強(LTP)と長期抑圧(LTD)の両方を備えるペアワイズスパイクタイミング依存可塑性(STDP)則を使用して、モデル化される。LTPは、一般にシナプス後ニューロンがシナプス前ニューロンの後に発火するとき、シナプス荷重を増加させる。LTDは、一般に逆の順序が現れるとき、シナプス荷重を減少させる。一般に、指数モデルが両方のために使用される。
[00208]スパイキングネットワークにおける学習は、一般に、長期増強(LTP)と長期抑圧(LTD)の両方を備えるペアワイズスパイクタイミング依存可塑性(STDP)則を使用して、モデル化される。LTPは、一般にシナプス後ニューロンがシナプス前ニューロンの後に発火するとき、シナプス荷重を増加させる。LTDは、一般に逆の順序が現れるとき、シナプス荷重を減少させる。一般に、指数モデルが両方のために使用される。
[00209]詳細には、基本STDP則では、荷重は、シナプス後スパイク時間tpostがシナプス前スパイク時間tpreの後に発生した場合は増加され、その順序が逆転された場合は減少される。その変化は、以下の式によって判断された異なる大きさを有し得る。
上式で、ΔT=tpost−tpreであり、β値は、LTPおよびLTDのための学習率を判断し、τは、(同じく異なり得る)LTPおよびLTDの指数減衰のための時定数である。
[00210]ただし、本明細書で説明される一般的なスパイキングニューラル計算では、荷重は不要である。とはいえ、結合が、ミュート(切断/無効化)され、ミュート解除(再接続/有効化)され得る。これが本開示の態様とどのように適合するかを理解するために、基準のフレームを考慮し得る。いくつかの態様では、情報は、スパイクと別のスパイク(または基準時間)との間の相対時間において時間的にコーディングされる。入力が、(シナプス遅延を含めて)ニューロンが発火する前に到着する場合、入力は、発火時間に影響を及ぼし得る。しかしながら、入力が、ニューロンが発火した後に到着する場合、入力は、(せいぜい)次の発火に影響を及ぼすにすぎないことがある。
[00211]たとえば、図23に示されるように、シナプス後ニューロンkのためのある入力スパイク(2302におけるニューロンjの出力スパイク+結合遅延)は、ニューロンkが2304において発火する前に到着し、2304における発火に影響を及ぼすために適時である。シナプス後ニューロンkのための別の入力スパイク(2306におけるニューロンjの出力スパイク+結合遅延)は、ニューロンkが2304において発火した後に到着し、この発火に影響を及ぼすためにはそのフレームにとってあまりに遅い。
[00212]本開示の態様によれば、値領域では、x=q-τであり、したがって、(概してq>1であるので)小さい値が長い時間τに対応する。したがって、入力が小さい十分な値を有する場合、それは、出力スパイクタイミングに何らかの影響を及ぼすためにはあまりに遅く到着するので、出力(結果)に対して有意でないことがある。上記で、この遅い到着が次の発火時間に影響を及ぼすのを防ぐ様々な方法が説明された。ただし、事実上有意でない入力を一時的にミュートするためにSTDPと同様の則を適用することによって、これを学習する自動的な方法もある。後で、その入力が有意になる場合、シナプスはミュート解除され得る。
[00213]本開示のいくつかの態様では、シナプス遅延は、値領域において荷重を表す。遅延を学習することは、線形変換を学習することに対応する。したがって、学習則が、値領域において値の荷重(係数)を学習するために採用され得、これらの荷重は(スパイクタイミング領域において)遅延に変換され得る。
[00214]代替として、時間領域に変換し、時間領域において遅延適応則を実行することによって、適応が遅延に直接適用され得る。
[00215]これがどのように達成され得るかを確かめるために、入力の所与のセットについて出力遅延τkを有するニューロンkを考慮されたい。
を生じる。
につながる。
に簡略化され得る。
に簡略化し得、これは、ターゲット発火時間と実際の発火時間との間の差、ならびに入力時間および現在遅延に依存する。パラメータφは適応レートを制御する。
[00220]どちらのバージョンが使用されても、シナプス後ニューロン発火時間の後である細胞体における到着時間を有するそれらの入力について、遅延が調整されないことが推奨される。むしろ、そのような入力は、遅延調整を有しないか、または上記で説明されたようにSTDPと同様の方法に従って調整され得る(すなわち、極めて小さい量だけ減分され得る)。
[00221]次に、ターゲットを考慮されたい。ターゲットは、何がニューロンから望まれるかにのみ依存する。ターゲットは任意に設定されることさえあり、ニューロンは、その場合、入力のための係数を学習することを可能にされ得る。代替として、意図的に範囲の限界において非線形性を利用するために、ターゲットを選定し得る。学習は、因果的入力の論理関係を判断することまたは何らかの任意の線形方程式を計算することを行うために使用され得る。
[00222]最後に、ターゲットは、ニューロンの発火率、アクティビティ、またはリソース(エネルギー)使用を調節する恒常的プロセスとして解釈され得ることが留意され得る。この観点から、遅延学習則は「恒常的学習」と呼ばれることがある。
例E:雑音の多いバイナリ入力のための係数を学習すること
[00223]この例では、遅延学習則は、雑音の多いバイナリ入力ベクトルのための係数を学習するために使用される。15個の入力(シナプス前ニューロン)、および(合計15個の入力について)各々からシナプス後ニューロンへの1つのシナプス/結合があると仮定されたい。(ランダムに選定された)同じバイナリ入力組合せにシナプス後ニューロンを繰り返しさらすことによって、遅延学習則は、シナプス後ニューロンが、所望のターゲット時間に発火を生じる遅延を学習することを可能にする。早い入力(すなわち、短い相対入力時間)がブール1を表すために使用され得、遅い入力(すなわち、長い相対入力時間)がブール0を表すために使用され得る。図24に、本開示のいくつかの態様による、15個のシナプス前ニューロンの5つの代表(A〜E)2402とシナプス後ニューロン(F)2404とを示す。
[00223]この例では、遅延学習則は、雑音の多いバイナリ入力ベクトルのための係数を学習するために使用される。15個の入力(シナプス前ニューロン)、および(合計15個の入力について)各々からシナプス後ニューロンへの1つのシナプス/結合があると仮定されたい。(ランダムに選定された)同じバイナリ入力組合せにシナプス後ニューロンを繰り返しさらすことによって、遅延学習則は、シナプス後ニューロンが、所望のターゲット時間に発火を生じる遅延を学習することを可能にする。早い入力(すなわち、短い相対入力時間)がブール1を表すために使用され得、遅い入力(すなわち、長い相対入力時間)がブール0を表すために使用され得る。図24に、本開示のいくつかの態様による、15個のシナプス前ニューロンの5つの代表(A〜E)2402とシナプス後ニューロン(F)2404とを示す。
[00224]全白色ガウス雑音(AWGN:all white Gaussian noise)が、2.5msの標準偏差を用いて、時間領域において入力に追加される。これは、それが全体的時間範囲の大部分であるので、かなりの量の雑音である。しかしながら、本開示の態様は、正常に学習することが依然として可能である。
[00225]図25Aおよび図25Bに、本開示のいくつかの態様による、ターゲット出力遅延を達成するために入力遅延を学習した例示的な結果を示す。証明目的で、2つの異なる事例が示されている。図25Aでは、遅延は大きく初期化され、ターゲットは低く設定される。図25Bでは、遅延は小さく初期化され、ターゲットは高く設定される。いずれの事例でも、学習は成功しており、高速である。
[00226]図26に、入力(x軸)の各々について(msでの)遅延のグラフ2600において、および係数(実数値の値領域)のグラフ2610において、雑音の多いバイナリ入力ベクトルのための係数を学習した結果を示す。遅延は入力対応を学習するために適応したことに留意されたい。
例F:雑音の多い実数値入力のための係数を学習すること
[00227]この例では、遅延学習則は、雑音の多い実数値入力ベクトルのための係数を学習するために使用される。この例は、入力ベクトルにおける値がブールの代わりに実数値であることを除いて、上記の例と同じである。
[00227]この例では、遅延学習則は、雑音の多い実数値入力ベクトルのための係数を学習するために使用される。この例は、入力ベクトルにおける値がブールの代わりに実数値であることを除いて、上記の例と同じである。
[00228]図27に、本開示のいくつかの態様による、雑音の多い実数値入力ベクトルのための係数を学習した例示的な結果を示す。図27のグラフ2700、2710、および2720中の結果は、遅延学習則が、雑音の多い実数値入力のために等しくうまく動作することを示している。
例G:ブール入力のための雑音の多い因果的論理関係を学習すること
[00229]この例では、遅延学習則は、変動するブール入力ベクトルの因果的論理関係を学習するために適用される。ここで、入力ベクトルは時間とともに変化しているが、遅延学習則が論理関係が何であるかを学習することができるかどうかを確かめるために、入力における一貫性がある論理関係が課される。第1の事例では、3つの入力のセットが、OR関係を表すために選定(1に設定)される。第2の事例では、すべての入力が、AND関係を表すために選定(1に設定)される。前の例に関しては雑音が追加される。この例では、設定は前の例と同じである。
[00229]この例では、遅延学習則は、変動するブール入力ベクトルの因果的論理関係を学習するために適用される。ここで、入力ベクトルは時間とともに変化しているが、遅延学習則が論理関係が何であるかを学習することができるかどうかを確かめるために、入力における一貫性がある論理関係が課される。第1の事例では、3つの入力のセットが、OR関係を表すために選定(1に設定)される。第2の事例では、すべての入力が、AND関係を表すために選定(1に設定)される。前の例に関しては雑音が追加される。この例では、設定は前の例と同じである。
[00230]図28Aは、OR関係の場合の第1の反復の後の遅延のグラフ2800であり、図28Bは、AND関係の場合の第1の反復の後の遅延のグラフ2810である。遅延のうちのいくつかが、この単一の反復の後にすでに1msの初期値からわずかに増加されることが留意され得る。また、入力における関係が確かめられ得ることが留意され得る。図28Aでは、シナプス前ニューロンのうちの1つのみが早く発火し、したがって、入力のうちの3つのみが早く細胞体に達する(約10ms)。他の入力は、より遅い(約25ms)。図28Bでは、すべてのシナプス前ニューロンが早く発火する。ただし、ニューロンはターゲット時間にまだ発火せず、むしろ、それはかなり早く発火する。
[00231]図29Aは、図28Aに対応するOR関係の場合のいくつかの反復の後の遅延のグラフ2900であり、図29Bは、図28Bに対応するAND関係の場合のいくつかの反復の後の遅延のグラフ2910である。次に、シナプス後ニューロンが、論理表現(入力に従ってORまたはAND)をコーディングする遅延を学習したことを確かめることができる。さらに、出力時間はターゲット通りである(図に示されていない)。図29Aでは、1つのシナプス前早期発火は、シナプス後ニューロンがターゲット通りに発火することを引き起こすのに十分である(すなわち、論理OR)(他の入力は、それらの総遅延が30ms(ターゲット)を超えることを前提として確かめられ得るように、他の入力を、効果を及ぼすためにはあまりに遅くする、遅延を有する)。図29Bでは、すべての入力が、概して、シナプス後ニューロンが時間通りに発火するために必要であるので、論理関係ANDは学習された。これは、より大きい遅延をたいがい伴う。
[00232]図30に、論理関係を学習するための(反復の数の関数としての)収束を示す。グラフ3000は、論理OR関係の場合の収束を示しており、グラフ3010は、論理AND関係の場合の収束を示している。
一般的な論理条件または因果的学習
[00233]xiを、(それぞれ)falseまたはtrueのいずれかである論理変数iを表すブール値(0または1)とする。真の論理関係{i}→jを真の原因関数(true cause function)によって定義されるものとし、
[00233]xiを、(それぞれ)falseまたはtrueのいずれかである論理変数iを表すブール値(0または1)とする。真の論理関係{i}→jを真の原因関数(true cause function)によって定義されるものとし、
である。
である。
上式で、kの上付き文字はセットの事例を示し、nkは否定置換ベクトル(negation permutation vector)である。この関数は、(必ずしも遅延とは限らないが)遅延を表す値を与える。否定エントリは、−1を否定することまたは+1を否定しないことのいずれかとしてコーディングされる。事実上、これは、ベクトルに従ってブール値入力をそれらの否定値に変換し、
である。
を、上記の関数が、真の論理包含(たとえば、A、B、Cでない、およびDでない)を有する、{xi}によって表される論理変数組合せについてθに等しくなるように、定義されるものとし、したがって、すべてのkについて、以下の表現が満たされる。
[00237]これは、上記で説明したように恒常的学習のためのターゲットを設定することと等価である。事実上、上記のターゲットθは、出力遅延ターゲットに変換され得る。
である。
[00239]したがって、十分な式を用いて、いくつかの未知数xiを前提として、セット{xi}における論理条件は、たとえば、入力としてすべてのアンサンブルニューロン出力を受信し、(同時に起こる入力タイミングの)しきい値時に発火する、別のニューロンを使用して、認識され得る。
[00240]たとえば、上記の例のためのいくつかの事例を考慮されたい。否定なしに、(k=1と標示された)第1のニューロンが、真の因果関係(causation)を満たすための係数を学習することができる。しかしながら、それは、いくつかの他の条件をも満たすことになり、
である。
[00241]ここで、組合せにおいて、4つの重複する論理条件(最初の4つ)のみがあるので、組合せにおいて、それら2つのニューロンは、あいまいさを低減するために使用され得ることが確かめられ得る。より多くのニューロンがある場合、あいまいさは完全になくされ得る。ただし、この特定の論理条件についてあいまいさを有しない否定ベクトルをも見つけ得る。
この場合、このニューロンは、真の原因に対応する論理条件が満たされる場合のみ、所望の遅延において発火することになるので、複数のニューロンの必要はない。
[00242]しかしながら、概して、起こり得る任意の特定の論理条件のための解を有するために動機を与えられ得る。これのために、異なる否定ベクトルを用いたニューロンのアンサンブルが利用され得る。次いで、十分なこれらのニューロンが同じ時間に発火するときを検出する時間コインシデンス認識ニューロン(temporal coincidence recognition neuron)に自分の出力を供給し、それにより、真の原因に対応する論理条件を明確に認識し得る。十分なニューロンを有することは、一般に、ニューロンのポピュレーションが真の論理条件と偽の論理条件とを区別するときの(すなわち、所定の時間精度でコインシデンス発火(coincidence firing)によって測定されたニューロンが、一緒に、所望の程度または精度で、因果関係、結果の欠如、または両方のいずれかを正しく予測することができるときの)状態または条件を指す。
[00243]図31に、本開示のいくつかの態様による、否定とアンサンブル演繹の両方がどのように実行され得るかを示す。ニューロンC3102は1つの入力の一例である。ニューロンCは、ニューロンCの否定を表すニューロン(Cでない)3104を抑制する。ニューロンCが遅く発火する場合、ニューロン(Cでない)は最初に発火することになることに留意されたい。短い遅延が大きい値(論理「true」)を意味し、長い遅延が小さい値(論理「false」)を意味することを想起されたい。各々は、異なる否定ベクトルを用いた異なるニューロンへの入力である(すなわち、ニューロンE13106が、否定されないCを使用し、ニューロンE23108が、否定されたCを使用する)。第3のニューロンE3(図示せず)が、使用される場合、E3のための否定ベクトルに応じて、否定されないCまたは否定されたCのいずれかを使用し得る。さらに、学習ニューロン3106、3108の各々は、各学習ニューロンのための否定ベクトルに従って、否定されたにせよ、否定されないにせよ、他の入力(たとえば、ニューロンA、ニューロン(Aでない)、ニューロンB、ニューロン(Bでない)、ニューロンD、またはニューロン(Dでない))を有し得る。各入力に関連する遅延は、上記で説明されたように、ターゲット出力遅延を満たすために学習ニューロンにおいて適応される。これらの学習ニューロン3106、3108の出力はニューロンR3110への入力として供給され、ニューロンR3110は、それらの出力における時間コインシデンス(すなわち、ニューロンE1およびE2が論理条件一致に関して同意するかどうか)を認識することが可能である。
である。
[00245]したがって、ヘッブ学習は、時間領域において使用され、荷重なしに、入力/出力スパイクタイミングΔTに応じて遅延を調整し得る。ΔTの値が大きくなると、対数パラメータの値が1に近づき、したがって、遅延の変化が小さくなることに注目されたい。長期増強(LTP)による荷重の増加は、正のΔTについて正のA値を有し、したがって、対数パラメータは1よりも大きくなり、遅延の負の変化(増加)を与える。長期抑圧(LTD)による荷重の減少は、負のΔTについて負のA値を有し、したがって、対数パラメータは1よりも小さくなり、遅延の正の変化(増加)を与える。より長い遅延は、あまり有意でない入力を意味する。より短い遅延は、より有意な入力を意味する。
[00246]図32は、本開示のいくつかの態様による、出力スパイクを放出するためのスパイキングニューラルネットワークにおける学習のための例示的な動作3200の流れ図である。動作3200は、ハードウェアで(たとえば、1つまたは複数の処理ユニットによって)、ソフトウェアで、またはファームウェアで実行され得る。
[00247]動作3200は、3202において、ニューロンモデルへの入力(たとえば、樹状突起)に関連する現在遅延を初期化することによって、開始し得る。現在遅延は、いくつかの態様では0に初期化され得る。
[00248]3204において、ニューロンモデルにおける入力スパイクが、現在遅延に従って遅延され得る。入力スパイクは、ニューロンモデルのための基準時間に対する入力スパイク時間に発生し得る。3206において、出力スパイクが、遅延された入力スパイクに少なくとも部分的に基づいてニューロンモデルから放出され得る。3208において、出力スパイクの出力スパイク時間とニューロンモデルのための基準時間との間の実際の時間差が判断され得る。
[00249]3210において、上記入力に関連する現在遅延は、現在遅延、入力スパイクのための入力スパイク、およびターゲット時間差と実際の時間差との間の差に基づいて調整され得る。ターゲット時間差と実際の時間差との間の差がしきい値よりも大きいか、または反復の数が上限に達していない場合、3204〜3210における動作は、(現在遅延としての)調整された遅延を用いて繰り返され得る。3204〜3210における動作は、少なくとも、ターゲット時間差と実際の時間差との間の差がしきい値よりも小さいかまたはそれに等しくなるまで、または最大数の反復が実行される(すなわち、反復の数が上限に達する)まで、何回か繰り返され得る。いくつかの態様によれば、ターゲット時間差は、上記で説明されたように、ニューロンモデルを伴う恒常的プロセスのための設定点であり得る。
[00250]3212において、スカラー値が、調整された遅延に基づいて判断され得る。言い換えれば、スカラー値はニューロンモデルによって学習されていた。スカラー値は、ニューロンモデルのための膜電位の変化の係数の指数値の逆数として判断され得、指数は、上記逆数をとる前に上記調整された遅延乗される。いくつかの態様では、スカラー値は線形変換の係数であり得る。いくつかの態様では、スカラー値は、ディスプレイ、またはスカラー値を示すための他の好適な手段に出力され得る。
[00251]図33は、本開示のいくつかの態様による、スパイキングニューラルネットワークにおける因果的学習のための例示的な動作3300の流れ図である。動作3300は、ハードウェアで(たとえば、1つまたは複数の処理ユニットによって)、ソフトウェアで、またはファームウェアで実行され得る。
[00252]動作3300は、3302において、1つまたは複数の学習ニューロンモデルの各々において論理入力のセットを与えることであって、ここにおいて、真の因果的論理関係が論理入力のセットに課される、与えることによって、開始し得る。3304において、入力スパイク間の変動するタイミングが、論理入力の各セットにおいて受信され得る。3306において、1つまたは複数の学習ニューロンモデルの各々について、論理入力の各々に関連する遅延が、受信された入力スパイクを使用して調整され得、その結果、学習ニューロンモデルは、真の因果的論理関係に対応する1つまたは複数の論理条件に従ってターゲット出力遅延を満たす出力スパイクを放出する。
[00253]いくつかの態様では、3306において、1つまたは複数の学習ニューロンモデルの各々について、論理入力の各々に関連する遅延は、その遅延を調整する前に初期化され得る。
[00254]いくつかの態様によれば、3302において論理入力のセットを与えることは、複数の論理入力を備えるグループから論理入力の各セットを選択することを含み得る。いくつかの態様では、上記グループは複数の論理入力の否定を含み得、ここにおいて、論理入力の各セットを選択することは、複数の論理入力と否定とを備える上記グループから論理入力の各セットを選択することを備える。
[00255]動作3300は、入力ニューロンモデルとして複数の論理入力の各々をモデル化することと、複数の論理入力の各々について、1つまたは複数の否定ベクトルのうちの少なくとも1つが論理入力のための否定指示を有する場合、論理入力の否定を表す否定ニューロンモデルを与えることであって、ここにおいて、論理入力の各セットが否定ベクトルのうちの1つに従って選択される、与えることとをさらに含み得る。この場合、各学習ニューロンモデルは否定ベクトルのうちの1つに対応し得、複数の論理入力の各々について、入力ニューロンモデルのまたはそれの対応する否定ニューロンモデルの出力が、否定ベクトルに従って学習ニューロンモデルの入力に結合され得る。いくつかの態様では、入力ニューロンモデルの各々は、対応する否定ニューロンモデルを抑制し得る。いくつかの態様では、否定指示は−1を備え得る。
[00256]動作3300は、学習ニューロンモデルからの出力スパイクのタイミングに基づいて、1つまたは複数の学習ニューロンモデルが、真の因果的論理関係に対応する1つまたは複数の論理条件を学習したと判断することをさらに含み得る。いくつかの態様では、この判断することは、学習ニューロンモデルの間の発火のコインシデンスまたはパターンを判断することを含み得る。
[00257]いくつかの態様によれば、時間コインシデンス認識ニューロンモデルが、学習ニューロンモデルの各々からの出力に結合され得る。時間コインシデンス認識ニューロンモデルは、しきい値数の学習ニューロンモデルがほぼ同じ時間に発火する場合、発火するために構成され得る。動作3300は、時間コインシデンス認識ニューロンモデルが発火する場合、1つまたは複数の学習ニューロンモデルが、真の因果的論理関係に対応する論理条件のうちの少なくとも1つを学習したと判断することをさらに含み得る。
[00258]いくつかの態様によれば、3304において論理入力の各セットにおいて入力スパイク間の変動するタイミングを受信することは、論理入力のセットにおいて変動するブールベクトルを受信することを備え得る。いくつかの態様では、変動するブールベクトルにおいて、比較的短い遅延が論理TRUEを表し、比較的長い遅延が論理FALSEを表す。
[00259]いくつかの態様では、調整された遅延、1つまたは複数の論理条件、および/または真の因果的論理関係は、ディスプレイ、またはこれらを示すための他の好適な手段に出力され得る。いくつかの態様では、学習ニューロンモデルはALIFニューロンモデルを備え得る。
結論
[00260]スパイクの相対時間において情報をコーディングすることによって、スパイキングニューロンを使用することの計算利点が実際にあり得る。したがって、任意の精度でスパイキングニューラルネットワークにおいて時間コーディングを効率的にシミュレートすることができるニューロンモデル(シミュレータ設計のタイプ)が本明細書で説明された。
[00260]スパイクの相対時間において情報をコーディングすることによって、スパイキングニューロンを使用することの計算利点が実際にあり得る。したがって、任意の精度でスパイキングニューラルネットワークにおいて時間コーディングを効率的にシミュレートすることができるニューロンモデル(シミュレータ設計のタイプ)が本明細書で説明された。
[00261]上記で説明されたように、相対時間コードへの対数変換を使用して、本明細書で開示されるスパイキングニューロンモデルを使用して、任意の線形システムが計算され得る。任意の個々のスパイクの情報コンテンツが時間分解能によってのみ制限され、したがって、単一のニューロンモデルが、任意の精度の線形変換を計算し、1つのスパイクにおいて結果を与え得る。いくつかの態様は、シナプス荷重またはシナプス後フィルタなしの例示的なニューロンモデルとして反リーキー積分発火(ALIF)ニューロンを使用する。計算は、時間遅延、および自己参照(SR)スパイクタイミングと非自己参照(NSR)スパイクタイミングとの間の変換を使用して、対数値領域において発生し得る。第2のニューロンモデルを使用した、または生物学的発振によく似た、基準時間フレーム波を伝搬する方法を使用した、変換を含む、これを達成する複数の手段が上記で説明された。荷重乗算が実行される必要はなく、シナプス後フィルタが計算される必要はないので、連続または離散時間においてニューロン出力を計算する高効率な方法が可能である。
[00262]さらに、スパイキングニューラルネットワークは、2つのタイプのイベント、すなわち、(1)遅延されたシナプス入力イベントと(2)予想される将来スパイク時間イベントとを含むイベントベースのスケジュールを使用して、ソフトウェアまたはハードウェアでシミュレートされ得る。シナプス前ニューロンが発火するとき、イベントは、ニューロン間の軸索または樹状遅延に応じて将来のある時間に各シナプス後ニューロンについてスケジュールされ得る。入力イベントが発生するとき、ニューロンの状態は、時間ステップにおいてではなく、前の更新から直接更新され得る。入力が追加され得、将来発火時間が直接計算され得る。これは、ニューロンが現在の状態を前提として発火しないことになる場合、無限であり得る。とにかく、将来発火時間イベントが再スケジュールされ得る。このようにして、タイミング(連続時間でも)における任意に高い精度が、追加コストなしにシミュレートされ、それにより電力消費を低減し得る。
[00263]上記で説明された方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はされないが、回路、特定用途向け集積回路(ASIC)、またはプロセッサを含む、様々な(1つまたは複数の)ハードウェアおよび/またはソフトウェア構成要素および/またはモジュールを含み得る。概して、図に示される動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図22に示される動作2200は、図22Aに示される手段2200Aに対応する。
[00264]たとえば、示すための手段は、ディスプレイ(たとえば、モニタ、フラットスクリーン、タッチスクリーンなど)、プリンタ、または値を示すための他の好適な手段を備え得る。処理するための手段、受信するための手段、放出するための手段、追加するための手段、出力するための手段、再設定するための手段、遅延させるための手段、調整するための手段、繰り返すための手段、初期化するための手段、モデル化するための手段、与えるための手段、または判断するための手段は、1つまたは複数のプロセッサを含み得る、処理システムを備え得る。
[00265]本明細書で使用される「判断」という用語は、多種多様なアクションを包含する。たとえば、「判断」は、計算、算出、処理、導出、調査、探索(たとえば、テーブル、データベースまたは別のデータ構造での探索)、確認などを含み得る。また、「判断」は、受信(たとえば、情報を受信すること)、アクセス(たとえば、メモリ中のデータにアクセスすること)などを含み得る。また、「判断」は、解決、選択、選定、確立などを含み得る。
[00266]本明細書で使用される、項目のリスト「のうちの少なくとも1つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a−b、a−c、b−c、およびa−b−cをカバーするものとする。
[00267]本開示に関連して説明された様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ信号(FPGA)または他のプログラマブル論理デバイス(PLD)、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明された機能を実行するように設計されたそれらの任意の組合せを用いて実行または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実行され得る。
[00268]本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、フラッシュメモリ、EPROMメモリ、EEPROM(登録商標)メモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROMなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。
[00269]本明細書で開示される方法は、説明された方法を達成するための1つまたは複数のステップまたはアクションを備える。本方法のステップおよび/またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび/またはアクションの順序および/または使用は特許請求の範囲から逸脱することなく変更され得る。
[00270]説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実行され得る。ハードウェアで実行される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実行され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスおよびブリッジを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプターを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプターは、信号処理機能を実行するために使用され得る。いくつかの態様では、ユーザインターフェース(たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど)もバスに結合され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路をリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
[00271]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、1つまたは複数の汎用および/または専用プロセッサを用いて実行され得る。例としては、マイクロプロセッサ、マイクロコントローラ、DSPプロセッサ、およびソフトウェアを実行することができる他の回路がある。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読取り専用メモリ)、PROM(プログラマブル読取り専用メモリ)、EPROM(消去可能プログラマブル読取り専用メモリ)、EEPROM(電気消去可能プログラマブル読取り専用メモリ)、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
[00272]ハードウェア実行形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および/またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加として、機械可読媒体またはその任意の部分は、キャッシュおよび/または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。
[00273]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する1つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつASIC(特定用途向け集積回路)と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは1つまたは複数のFPGA(フィールドプログラマブルゲートアレイ)、PLD(プログラマブル論理デバイス)、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明された様々な機能を実行し得る回路の任意の組合せを用いて、実行され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明された機能を最も良く実行し得るかを理解されよう。
[00274]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからRAMにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、1つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実行されることが理解されよう。
[00275]ソフトウェアで実行される場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、または赤外線(IR)、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびBlu−ray(登録商標)ディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体(たとえば、有形媒体)を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体(たとえば、信号)を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[00276]したがって、いくつかの態様は、本明細書で提示される動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために1つまたは複数のプロセッサによって実行可能である命令をその上に記憶した(および/または符号化した)コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
[00277]さらに、本明細書で説明された方法および技法を実行するためのモジュールおよび/または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および/または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明された方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明された様々な方法は、デバイスが記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段(たとえば、RAM、ROM、コンパクトディスク(CD)またはフロッピーディスクなどの物理記憶媒体など)によって提供され得る。その上、本明細書で説明された方法および技法をデバイスに提供するための任意の他の好適な技法が利用され得る。
[00278]特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
スパイキングニューラルネットワークを実行するための方法であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを備える、方法。
[C2]
前記入力がバイナリ値入力スパイクを備える、C1に記載の方法。
[C3]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断することが、前記相対時間として前記入力値を符号化することを備える、C1に記載の方法。
[C4]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C3に記載の方法。
[C5]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C4に記載の方法。
[C6]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記放出することが、前記調整された相対時間に基づいて前記出力スパイクを放出することを備える、調整することとをさらに備える、C1に記載の方法。
[C7]
前記関数が線形変換を備える、C6に記載の方法。
[C8]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断することが、前記遅延を判断するために前記スカラーの絶対値を計算することを備え、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C6に記載の方法。
[C9]
前記遅延を判断することが、前記遅延を所望の時間分解能に量子化することを備え、ここにおいて、前記相対時間を調整することが、前記量子化された遅延に基づいて前記相対時間を調整することを備える、C6に記載の方法。
[C10]
前記関数の精度が前記時間分解能に依存する、C9に記載の方法。
[C11]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することとをさらに備える、C6に記載の方法。
[C12]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C1に記載の方法。
[C13]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C1に記載の方法。
[C14]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C13に記載の方法。
[C15]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C13に記載の方法。
[C16]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C1に記載の方法。
[C17]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C1に記載の方法。
[C18]
前記出力スパイクを放出した後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定することをさらに備える、C1に記載の方法。
[C19]
前記入力を受信することが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることを備え、ここにおいて、前記相対時間を判断することが、前記相対時間を前記時間分解能に量子化することを備える、C1に記載の方法。
[C20]
スパイキングニューラルネットワークを実行するための装置であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを行うために構成された処理ユニットを備える、装置。
[C21]
前記入力がバイナリ値入力スパイクを備える、C20に記載の装置。
[C22]
前記入力が入力値を備え、ここにおいて、前記処理ユニットが、前記相対時間として前記入力値を符号化することによって前記相対時間を判断するために構成された、C20に記載の装置。
[C23]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C22に記載の装置。
[C24]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C23に記載の装置。
[C25]
前記処理ユニットは、
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、および
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記出力スパイクが、前記調整された相対時間に基づいて放出されること、
を行うためにさらに構成された、C20に記載の装置。
[C26]
前記関数が線形変換を備える、C25に記載の装置。
[C27]
前記関数がスカラーによる乗算を備え、ここにおいて、前記処理ユニットが、前記遅延を判断するために前記スカラーの絶対値を計算することによって前記遅延を判断するために構成され、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C25に記載の装置。
[C28]
前記処理ユニットが、前記遅延を所望の時間分解能に量子化することによって前記遅延を判断するために構成され、ここにおいて、前記処理ユニットが、前記量子化された遅延に基づいて前記相対時間を調整することによって前記相対時間を調整するために構成される、C25に記載の装置。
[C29]
前記関数の精度が前記時間分解能に依存する、C28に記載の装置。
[C30]
前記処理ユニットは、
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することと
を行うためにさらに構成された、C25に記載の装置。
[C31]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C20に記載の装置。
[C32]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C20に記載の装置。
[C33]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C32に記載の装置。
[C34]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C32に記載の装置。
[C35]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C20に記載の装置。
[C36]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C20に記載の装置。
[C37]
前記処理ユニットは、
前記出力スパイクが放出された後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するためにさらに構成された、C20に記載の装置。
[C38]
前記処理ユニットが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることによって前記入力を受信するために構成され、ここにおいて、前記処理ユニットが、前記相対時間を前記時間分解能に量子化することによって前記相対時間を判断するために構成された、C20に記載の装置。
[C39]
スパイキングニューラルネットワークを実行するための装置であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信するための手段と、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断するための手段と、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出するための手段とを備える、装置。
[C40]
前記入力がバイナリ値入力スパイクを備える、C39に記載の装置。
[C41]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断するための前記手段が、前記相対時間として前記入力値を符号化するために構成された、C39に記載の装置。
[C42]
前記入力値を符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C41に記載の装置。
[C43]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C42に記載の装置。
[C44]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断するための手段と、
前記遅延に基づいて前記相対時間を調整するための手段であって、その結果、放出するための前記手段が、前記調整された相対時間に基づいて前記出力スパイクを放出するために構成される、調整するための手段とをさらに備える、C39に記載の装置。
[C45]
前記関数が線形変換を備える、C44に記載の装置。
[C46]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断するための前記手段が、前記遅延を判断するために前記スカラーの絶対値を計算するために構成され、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C44に記載の装置。
[C47]
前記遅延を判断するための前記手段が、前記遅延を所望の時間分解能に量子化するために構成され、ここにおいて、前記相対時間を調整するための前記手段が、前記量子化された遅延に基づいて前記相対時間を調整するために構成された、C44に記載の装置。
[C48]
前記関数の精度が前記時間分解能に依存する、C47に記載の装置。
[C49]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断するための手段であって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断するための手段と、
前記出力値を前記出力値を示すための手段に出力するための手段とをさらに備える、C44に記載の装置。
[C50]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C39に記載の装置。
[C51]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C39に記載の装置。
[C52]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C51に記載の装置。
[C53]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C51に記載の装置。
[C54]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C39に記載の装置。
[C55]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルが、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C39に記載の装置。
[C56]
前記出力スパイクが放出された後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するための手段をさらに備える、C39に記載の装置。
[C57]
前記入力を受信するための前記手段が、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングするために構成され、ここにおいて、前記相対時間を判断するための前記手段が、前記相対時間を前記時間分解能に量子化するために構成された、C39に記載の装置。
[C58]
スパイキングニューラルネットワークを実行するためのコンピュータプログラム製品であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを行うために実行可能な命令を備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
[C59]
前記入力がバイナリ値入力スパイクを備える、C58に記載のコンピュータプログラム製品。
[C60]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断することが、前記相対時間として前記入力値を符号化することを備える、C58に記載のコンピュータプログラム製品。
[C61]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C60に記載のコンピュータプログラム製品。
[C62]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C61に記載のコンピュータプログラム製品。
[C63]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記放出することが、前記調整された相対時間に基づいて前記出力スパイクを放出することを備える、調整することとを行うために実行可能な命令をさらに備える、C58に記載のコンピュータプログラム製品。
[C64]
前記関数が線形変換を備える、C63に記載のコンピュータプログラム製品。
[C65]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断することが、前記遅延を判断するために前記スカラーの絶対値を計算することを備え、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C63に記載のコンピュータプログラム製品。
[C66]
前記遅延を判断することが、前記遅延を所望の時間分解能に量子化することを備え、ここにおいて、前記相対時間を調整することが、前記量子化された遅延に基づいて前記相対時間を調整することを備える、C63に記載のコンピュータプログラム製品。
[C67]
前記関数の精度が前記時間分解能に依存する、C66に記載のコンピュータプログラム製品。
[C68]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することとを行うために実行可能な命令をさらに備える、C63に記載のコンピュータプログラム製品。
[C69]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C58に記載のコンピュータプログラム製品。
[C70]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C58に記載のコンピュータプログラム製品。
[C71]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C70に記載のコンピュータプログラム製品。
[C72]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C70に記載のコンピュータプログラム製品。
[C73]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C58に記載のコンピュータプログラム製品。
[C74]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C58に記載のコンピュータプログラム製品。
[C75]
前記出力スパイクを放出した後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するために実行可能な命令をさらに備える、C58に記載のコンピュータプログラム製品。
[C76]
前記入力を受信することが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることを備え、ここにおいて、前記相対時間を判断することが、前記相対時間を前記時間分解能に量子化することを備える、C58に記載のコンピュータプログラム製品。
[C77]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C6に記載の方法。
[C78]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C25に記載の装置。
[C79]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C44に記載の装置。
[C80]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C63に記載のコンピュータプログラム製品。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
スパイキングニューラルネットワークを実行するための方法であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを備える、方法。
[C2]
前記入力がバイナリ値入力スパイクを備える、C1に記載の方法。
[C3]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断することが、前記相対時間として前記入力値を符号化することを備える、C1に記載の方法。
[C4]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C3に記載の方法。
[C5]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C4に記載の方法。
[C6]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記放出することが、前記調整された相対時間に基づいて前記出力スパイクを放出することを備える、調整することとをさらに備える、C1に記載の方法。
[C7]
前記関数が線形変換を備える、C6に記載の方法。
[C8]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断することが、前記遅延を判断するために前記スカラーの絶対値を計算することを備え、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C6に記載の方法。
[C9]
前記遅延を判断することが、前記遅延を所望の時間分解能に量子化することを備え、ここにおいて、前記相対時間を調整することが、前記量子化された遅延に基づいて前記相対時間を調整することを備える、C6に記載の方法。
[C10]
前記関数の精度が前記時間分解能に依存する、C9に記載の方法。
[C11]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することとをさらに備える、C6に記載の方法。
[C12]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C1に記載の方法。
[C13]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C1に記載の方法。
[C14]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C13に記載の方法。
[C15]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C13に記載の方法。
[C16]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C1に記載の方法。
[C17]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C1に記載の方法。
[C18]
前記出力スパイクを放出した後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定することをさらに備える、C1に記載の方法。
[C19]
前記入力を受信することが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることを備え、ここにおいて、前記相対時間を判断することが、前記相対時間を前記時間分解能に量子化することを備える、C1に記載の方法。
[C20]
スパイキングニューラルネットワークを実行するための装置であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを行うために構成された処理ユニットを備える、装置。
[C21]
前記入力がバイナリ値入力スパイクを備える、C20に記載の装置。
[C22]
前記入力が入力値を備え、ここにおいて、前記処理ユニットが、前記相対時間として前記入力値を符号化することによって前記相対時間を判断するために構成された、C20に記載の装置。
[C23]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C22に記載の装置。
[C24]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C23に記載の装置。
[C25]
前記処理ユニットは、
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、および
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記出力スパイクが、前記調整された相対時間に基づいて放出されること、
を行うためにさらに構成された、C20に記載の装置。
[C26]
前記関数が線形変換を備える、C25に記載の装置。
[C27]
前記関数がスカラーによる乗算を備え、ここにおいて、前記処理ユニットが、前記遅延を判断するために前記スカラーの絶対値を計算することによって前記遅延を判断するために構成され、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C25に記載の装置。
[C28]
前記処理ユニットが、前記遅延を所望の時間分解能に量子化することによって前記遅延を判断するために構成され、ここにおいて、前記処理ユニットが、前記量子化された遅延に基づいて前記相対時間を調整することによって前記相対時間を調整するために構成される、C25に記載の装置。
[C29]
前記関数の精度が前記時間分解能に依存する、C28に記載の装置。
[C30]
前記処理ユニットは、
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することと
を行うためにさらに構成された、C25に記載の装置。
[C31]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C20に記載の装置。
[C32]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C20に記載の装置。
[C33]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C32に記載の装置。
[C34]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C32に記載の装置。
[C35]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C20に記載の装置。
[C36]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C20に記載の装置。
[C37]
前記処理ユニットは、
前記出力スパイクが放出された後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するためにさらに構成された、C20に記載の装置。
[C38]
前記処理ユニットが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることによって前記入力を受信するために構成され、ここにおいて、前記処理ユニットが、前記相対時間を前記時間分解能に量子化することによって前記相対時間を判断するために構成された、C20に記載の装置。
[C39]
スパイキングニューラルネットワークを実行するための装置であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信するための手段と、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断するための手段と、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出するための手段とを備える、装置。
[C40]
前記入力がバイナリ値入力スパイクを備える、C39に記載の装置。
[C41]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断するための前記手段が、前記相対時間として前記入力値を符号化するために構成された、C39に記載の装置。
[C42]
前記入力値を符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C41に記載の装置。
[C43]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C42に記載の装置。
[C44]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断するための手段と、
前記遅延に基づいて前記相対時間を調整するための手段であって、その結果、放出するための前記手段が、前記調整された相対時間に基づいて前記出力スパイクを放出するために構成される、調整するための手段とをさらに備える、C39に記載の装置。
[C45]
前記関数が線形変換を備える、C44に記載の装置。
[C46]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断するための前記手段が、前記遅延を判断するために前記スカラーの絶対値を計算するために構成され、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C44に記載の装置。
[C47]
前記遅延を判断するための前記手段が、前記遅延を所望の時間分解能に量子化するために構成され、ここにおいて、前記相対時間を調整するための前記手段が、前記量子化された遅延に基づいて前記相対時間を調整するために構成された、C44に記載の装置。
[C48]
前記関数の精度が前記時間分解能に依存する、C47に記載の装置。
[C49]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断するための手段であって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断するための手段と、
前記出力値を前記出力値を示すための手段に出力するための手段とをさらに備える、C44に記載の装置。
[C50]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C39に記載の装置。
[C51]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C39に記載の装置。
[C52]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C51に記載の装置。
[C53]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C51に記載の装置。
[C54]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C39に記載の装置。
[C55]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルが、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C39に記載の装置。
[C56]
前記出力スパイクが放出された後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するための手段をさらに備える、C39に記載の装置。
[C57]
前記入力を受信するための前記手段が、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングするために構成され、ここにおいて、前記相対時間を判断するための前記手段が、前記相対時間を前記時間分解能に量子化するために構成された、C39に記載の装置。
[C58]
スパイキングニューラルネットワークを実行するためのコンピュータプログラム製品であって、
第1のニューロンモデルにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1のニューロンモデルの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1のニューロンモデルから出力スパイクを放出することとを行うために実行可能な命令を備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。
[C59]
前記入力がバイナリ値入力スパイクを備える、C58に記載のコンピュータプログラム製品。
[C60]
前記入力が入力値を備え、ここにおいて、前記相対時間を判断することが、前記相対時間として前記入力値を符号化することを備える、C58に記載のコンピュータプログラム製品。
[C61]
前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、C60に記載のコンピュータプログラム製品。
[C62]
前記対数が、前記第1のニューロンモデルのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、C61に記載のコンピュータプログラム製品。
[C63]
前記第1のニューロンモデルによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記放出することが、前記調整された相対時間に基づいて前記出力スパイクを放出することを備える、調整することとを行うために実行可能な命令をさらに備える、C58に記載のコンピュータプログラム製品。
[C64]
前記関数が線形変換を備える、C63に記載のコンピュータプログラム製品。
[C65]
前記関数がスカラーによる乗算を備え、ここにおいて、前記遅延を判断することが、前記遅延を判断するために前記スカラーの絶対値を計算することを備え、ここにおいて、前記スカラーが負である場合は、前記第1のニューロンモデルへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1のニューロンモデルへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、C63に記載のコンピュータプログラム製品。
[C66]
前記遅延を判断することが、前記遅延を所望の時間分解能に量子化することを備え、ここにおいて、前記相対時間を調整することが、前記量子化された遅延に基づいて前記相対時間を調整することを備える、C63に記載のコンピュータプログラム製品。
[C67]
前記関数の精度が前記時間分解能に依存する、C66に記載のコンピュータプログラム製品。
[C68]
前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1のニューロンモデルのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1のニューロンモデルのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することとを行うために実行可能な命令をさらに備える、C63に記載のコンピュータプログラム製品。
[C69]
前記基準時間が前記第1のニューロンモデルの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C58に記載のコンピュータプログラム製品。
[C70]
前記基準時間が第2のニューロンモデルの第2の出力スパイク時間を備え、ここにおいて、前記第1のニューロンモデルの出力が前記第2のニューロンモデルの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、C58に記載のコンピュータプログラム製品。
[C71]
前記第1のニューロンモデルが、前記第1のニューロンモデルのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2のニューロンモデルが、変化の前記第1の係数とは異なる、前記第2のニューロンモデルのための第2の膜電位の変化の第2の係数を有する、C70に記載のコンピュータプログラム製品。
[C72]
前記第2のニューロンモデルが、前記第1のニューロンモデルのための前記基準時間から遅延された別の基準時間を使用する、C70に記載のコンピュータプログラム製品。
[C73]
前記第1のニューロンモデルが反リーキー積分発火(ALIF)ニューロンモデルを備える、C58に記載のコンピュータプログラム製品。
[C74]
前記第1のニューロンモデルは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続け、ここにおいて、興奮性入力は、前記第1のニューロンモデルを、前記第1のニューロンモデルが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、C58に記載のコンピュータプログラム製品。
[C75]
前記出力スパイクを放出した後に、前記第1のニューロンモデルの膜電位を0を上回る公称設定に再設定するために実行可能な命令をさらに備える、C58に記載のコンピュータプログラム製品。
[C76]
前記入力を受信することが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることを備え、ここにおいて、前記相対時間を判断することが、前記相対時間を前記時間分解能に量子化することを備える、C58に記載のコンピュータプログラム製品。
[C77]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C6に記載の方法。
[C78]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C25に記載の装置。
[C79]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C44に記載の装置。
[C80]
前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、C63に記載のコンピュータプログラム製品。
Claims (15)
- スパイキングニューラルネットワークを実行するための方法であって、
第1の人工ニューロンにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1の人工ニューロンの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1の人工ニューロンから出力スパイクを放出することと
を備える、方法。 - 前記方法は、以下のうちの1つまたは複数を含む、
i)前記入力がバイナリ値入力スパイクを備えることと、
ii)前記基準時間が前記第1の人工ニューロンの第2の出力スパイク時間を備え、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生することと、
iii)前記第1の人工ニューロンが反リーキー積分発火(ALIF)人工ニューロンを備えることと、
iv)前記第1の人工ニューロンは、指数関数的に増大する膜電位を有し、抑制性入力の不在において脱分極し続けることと、ここにおいて、興奮性入力は、前記第1の人工ニューロンを、前記第1の人工ニューロンが前記興奮性入力なしに発火するであろうよりもすぐに発火させる、脱分極し続けることと、または、
v)前記出力スパイクを放出した後に、前記第1の人工ニューロンの膜電位を0を上回る公称設定に再設定することと、または
前記入力を受信することが、所望の時間分解能に基づくサンプリングレートを用いて前記入力をサンプリングすることを備え、ここにおいて、前記相対時間を判断することが、前記相対時間を前記時間分解能に量子化することを備える受信することと、をさらに備える、
請求項1に記載の方法。 - 前記入力が入力値を備え、ここにおいて、前記相対時間を判断することが、前記相対時間として前記入力値を符号化することを備える、請求項1に記載の方法。
- 前記符号化することが、前記入力値の対数の負数として前記相対時間を計算することを備える、請求項3に記載の方法。
- 前記対数が、前記第1の人工ニューロンのための膜電位の関数として前記膜電位の変化の係数の指数値に等しい底を有する、請求項4に記載の方法。
- 前記第1の人工ニューロンによってモデル化される関数に基づいて前記少なくとも1つの入力における遅延を判断することと、
前記遅延に基づいて前記相対時間を調整することであって、その結果、前記放出することが、前記調整された相対時間に基づいて前記出力スパイクを放出することを備える、調整することと
をさらに備える、請求項1に記載の方法。 - 前記方法は、以下のうちの1つまたは複数を含む、
i)前記関数が線形変換を備えることと、
ii)前記関数がスカラーによる乗算を備えることと、ここにおいて、前記遅延を判断することが、前記遅延を判断するために前記スカラーの絶対値を計算することを備え、ここにおいて、前記スカラーが負である場合は、前記第1の人工ニューロンへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1の人工ニューロンへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、
iii)ここにおいて、前記遅延を判断することが、前記遅延を所望の時間分解能に量子化することを備え、ここにおいて、前記相対時間を調整することが、前記量子化された遅延に基づいて前記相対時間を調整することを備える、または、
iv)前記放出された出力スパイクの時間と前記基準時間との間の時間差に基づいて前記第1の人工ニューロンのための出力値を判断することであって、ここにおいて、前記出力値が、前記第1の人工ニューロンのための膜電位の変化の係数の指数値の逆数であり、前記指数が、前記逆数をとる前に前記時間差の累乗される、判断することと、
前記出力値をディスプレイに出力することと
をさらに備える、
請求項6に記載の方法。 - オプションiii)に依存しているとき、前記関数の精度が前記時間分解能に依存する、請求項7に記載の方法。
- 前記基準時間が第2の人工ニューロンの第2の出力スパイク時間を備え、ここにおいて、前記第1の人工ニューロンの出力が前記第2の人工ニューロンの入力に結合され、ここにおいて、前記第2の出力スパイク時間が前記第1の出力スパイク時間の前に発生する、請求項1に記載の方法。
- 前記第1の人工ニューロンが、前記第1の人工ニューロンのための第1の膜電位の変化の第1の係数を有し、ここにおいて、前記第2の人工ニューロンが、変化の前記第1の係数とは異なる、前記第2の人工ニューロンのための第2の膜電位の変化の第2の係数を有し、または、
前記第2の人工ニューロンが、前記第1の人工ニューロンのための前記基準時間から遅延された別の基準時間を使用する、請求項9に記載の方法。 - スパイキングニューラルネットワークを実行するための装置であって、
第1の人工ニューロンにおいて少なくとも1つの入力を受信するための手段と、
前記入力に基づいて、前記第1の人工ニューロンの第1の出力スパイク時間と基準時間との間の相対時間を判断するための手段と、
前記相対時間に基づいて前記第1の人工ニューロンから出力スパイクを放出するための手段と
を備える、装置。 - スパイキングニューラルネットワークを実行するためのコンピュータプログラム製品であって、
第1の人工ニューロンにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1の人工ニューロンの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1の人工ニューロンから出力スパイクを放出することと
を行うために実行可能な命令を備えるコンピュータ可読媒体を備える、コンピュータプログラム製品。 - 前記関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、請求項6に記載の方法。
- 遅延を判断するための前記手段が、前記遅延を判断するためにスカラーの絶対値を計算するために構成され、ここにおいて、前記スカラーが負である場合は、前記第1の人工ニューロンへの前記入力に関連するシナプスが抑制性シナプスとして使用され、ここにおいて、前記スカラーが正である場合は、前記第1の人工ニューロンへの前記入力に関連する前記シナプスが興奮性シナプスとして使用される、
ここにおいて、関数が、恒常的プロセスまたはターゲット出力遅延に基づく学習関数である、
をさらに備える請求項11に記載の装置。 - スパイキングニューラルネットワークを実行するための装置であって、
第1の人工ニューロンにおいて少なくとも1つの入力を受信することと、
前記入力に基づいて、前記第1の人工ニューロンの第1の出力スパイク時間と基準時間との間の相対時間を判断することと、
前記相対時間に基づいて前記第1の人工ニューロンから出力スパイクを放出することと
を行うために構成された処理ユニット
を備える、装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/368,994 | 2012-02-08 | ||
US13/368,994 US9111225B2 (en) | 2012-02-08 | 2012-02-08 | Methods and apparatus for spiking neural computation |
PCT/US2013/025210 WO2013119861A1 (en) | 2012-02-08 | 2013-02-07 | Methods and apparatus for spiking neural computation |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015510193A JP2015510193A (ja) | 2015-04-02 |
JP2015510193A5 true JP2015510193A5 (ja) | 2017-08-10 |
JP6272784B2 JP6272784B2 (ja) | 2018-01-31 |
Family
ID=47754984
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014556690A Active JP6272784B2 (ja) | 2012-02-08 | 2013-02-07 | スパイキングニューラル計算のための方法および装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US9111225B2 (ja) |
EP (1) | EP2812853A1 (ja) |
JP (1) | JP6272784B2 (ja) |
KR (1) | KR20140129067A (ja) |
CN (1) | CN104094295B (ja) |
BR (1) | BR112014019743A8 (ja) |
WO (1) | WO2013119861A1 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9367797B2 (en) | 2012-02-08 | 2016-06-14 | Jason Frank Hunzinger | Methods and apparatus for spiking neural computation |
US9208431B2 (en) | 2012-05-10 | 2015-12-08 | Qualcomm Incorporated | Method and apparatus for strategic synaptic failure and learning in spiking neural networks |
US9015096B2 (en) * | 2012-05-30 | 2015-04-21 | Qualcomm Incorporated | Continuous time spiking neural network event-based simulation that schedules co-pending events using an indexable list of nodes |
US9369340B2 (en) * | 2013-06-30 | 2016-06-14 | Jive Software, Inc. | User-centered engagement analysis |
US9275329B2 (en) * | 2013-08-12 | 2016-03-01 | Qualcomm Incorporated | Behavioral homeostasis in artificial nervous systems using dynamical spiking neuron models |
US10339447B2 (en) * | 2014-01-23 | 2019-07-02 | Qualcomm Incorporated | Configuring sparse neuronal networks |
US9269045B2 (en) | 2014-02-14 | 2016-02-23 | Qualcomm Incorporated | Auditory source separation in a spiking neural network |
US9536189B2 (en) | 2014-02-20 | 2017-01-03 | Qualcomm Incorporated | Phase-coding for coordinate transformation |
US20150242745A1 (en) * | 2014-02-21 | 2015-08-27 | Qualcomm Incorporated | Event-based inference and learning for stochastic spiking bayesian networks |
US9672464B2 (en) * | 2014-02-28 | 2017-06-06 | Qualcomm Incorporated | Method and apparatus for efficient implementation of common neuron models |
US20150269485A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Cold neuron spike timing back-propagation |
US10783900B2 (en) * | 2014-10-03 | 2020-09-22 | Google Llc | Convolutional, long short-term memory, fully connected deep neural networks |
US11126913B2 (en) * | 2015-07-23 | 2021-09-21 | Applied Brain Research Inc | Methods and systems for implementing deep spiking neural networks |
US10671912B2 (en) * | 2016-09-13 | 2020-06-02 | Sap Se | Spatio-temporal spiking neural networks in neuromorphic hardware systems |
US11037054B2 (en) | 2016-12-20 | 2021-06-15 | Intel Corporation | Trace-based neuromorphic architecture for advanced learning |
CN106875004B (zh) * | 2017-01-20 | 2019-09-10 | 北京灵汐科技有限公司 | 复合模式神经元信息处理方法和系统 |
US10031287B1 (en) | 2017-02-02 | 2018-07-24 | International Business Machines Corporation | Waveguide architecture for photonic neural component with multiplexed optical signals on inter-node waveguides |
US10107959B2 (en) | 2017-02-02 | 2018-10-23 | International Business Machines Corporation | Waveguide architecture for photonic neural component |
KR102091498B1 (ko) * | 2018-06-11 | 2020-03-24 | 고려대학교 산학협력단 | 비지도 학습장치 및 그 학습방법 |
US11200484B2 (en) | 2018-09-06 | 2021-12-14 | International Business Machines Corporation | Probability propagation over factor graphs |
KR101951914B1 (ko) * | 2018-10-08 | 2019-02-26 | 넷마블 주식회사 | 데이터 변화의 검출 및 표시를 위한 장치 및 방법 |
JP7108570B2 (ja) | 2019-04-01 | 2022-07-28 | 出光興産株式会社 | 流動接触分解ガソリンの製造方法 |
KR20210083624A (ko) | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 신경망의 데이터 입력 및 출력을 제어하는 제어 방법 및 장치 |
KR102339485B1 (ko) * | 2020-06-30 | 2021-12-15 | 강원대학교산학협력단 | 인공신경망을 이용한 아크신호 검출방법 |
CN114254106A (zh) * | 2020-09-25 | 2022-03-29 | 北京灵汐科技有限公司 | 文本分类方法、装置、设备及存储介质 |
KR102637568B1 (ko) * | 2020-11-23 | 2024-02-19 | 충북대학교 산학협력단 | 스파이킹 뉴럴 네트워크를 최적화하는 방법 및 장치 |
CN114997391B (zh) * | 2022-08-02 | 2022-11-29 | 深圳时识科技有限公司 | 电子神经系统中的泄露方法、芯片及电子设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0528399A3 (en) * | 1991-08-19 | 1994-12-21 | Toyoda Machine Works Ltd | Method and apparatus for learning of neural network |
JPH07262157A (ja) * | 1994-03-17 | 1995-10-13 | Kumamoto Techno Porisu Zaidan | ニューラルネットワークおよびそのための回路 |
WO1998057245A1 (en) * | 1997-06-11 | 1998-12-17 | University Of Southern California | Dynamic synapse for signal processing in neural networks |
US6581046B1 (en) | 1997-10-10 | 2003-06-17 | Yeda Research And Development Co. Ltd. | Neuronal phase-locked loops |
JP4392089B2 (ja) | 1999-05-27 | 2009-12-24 | 株式会社デンソー | ニューロン、当該ニューロンを用いて構成された階層型ニューラルネットワーク及び当該ニューロン内部での乗算処理に用いられる乗算回路 |
US6618712B1 (en) | 1999-05-28 | 2003-09-09 | Sandia Corporation | Particle analysis using laser ablation mass spectroscopy |
US7430546B1 (en) | 2003-06-07 | 2008-09-30 | Roland Erwin Suri | Applications of an algorithm that mimics cortical processing |
US7657313B2 (en) | 2003-07-21 | 2010-02-02 | Ai-Semi Ltd | Adaptive cardiac resynchronization therapy system |
EP1515270A1 (en) * | 2003-09-09 | 2005-03-16 | Semeion | An artificial neural network |
US7958071B2 (en) | 2007-04-19 | 2011-06-07 | Hewlett-Packard Development Company, L.P. | Computational nodes and computational-node networks that include dynamical-nanodevice connections |
US20110035215A1 (en) | 2007-08-28 | 2011-02-10 | Haim Sompolinsky | Method, device and system for speech recognition |
US8250011B2 (en) | 2008-09-21 | 2012-08-21 | Van Der Made Peter A J | Autonomous learning dynamic artificial neural computing device and brain inspired system |
US20100312736A1 (en) | 2009-06-05 | 2010-12-09 | The Regents Of The University Of California | Critical Branching Neural Computation Apparatus and Methods |
US8467623B2 (en) * | 2010-03-26 | 2013-06-18 | Brain Corporation | Invariant pulse latency coding systems and methods systems and methods |
US9367797B2 (en) | 2012-02-08 | 2016-06-14 | Jason Frank Hunzinger | Methods and apparatus for spiking neural computation |
US20130204814A1 (en) | 2012-02-08 | 2013-08-08 | Qualcomm Incorporated | Methods and apparatus for spiking neural computation |
-
2012
- 2012-02-08 US US13/368,994 patent/US9111225B2/en not_active Expired - Fee Related
-
2013
- 2013-02-07 BR BR112014019743A patent/BR112014019743A8/pt not_active IP Right Cessation
- 2013-02-07 KR KR20147024203A patent/KR20140129067A/ko not_active Application Discontinuation
- 2013-02-07 JP JP2014556690A patent/JP6272784B2/ja active Active
- 2013-02-07 CN CN201380008278.7A patent/CN104094295B/zh not_active Expired - Fee Related
- 2013-02-07 WO PCT/US2013/025210 patent/WO2013119861A1/en active Application Filing
- 2013-02-07 EP EP13706808.6A patent/EP2812853A1/en not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6272784B2 (ja) | スパイキングニューラル計算のための方法および装置 | |
JP6227565B2 (ja) | スパイキングニューラル計算のための方法および装置 | |
JP6017590B2 (ja) | スパイキングニューラル計算のための方法および装置 | |
JP2015510193A5 (ja) | ||
US9111224B2 (en) | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks | |
JP2017513127A (ja) | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 | |
JP2017515205A (ja) | Coldニューロンスパイクタイミングバックプロバゲーション | |
WO2015148189A2 (en) | Differential encoding in neural networks | |
Bai et al. | Prediction of SARS epidemic by BP neural networks with online prediction strategy | |
JP2017509951A (ja) | スパースニューラルネットワークを構成すること | |
KR20170041724A (ko) | 비동기 펄스 변조를 이용한 인공 뉴런들 및 스파이킹 뉴런들 | |
JP2017509952A (ja) | シャドウネットワークでニューラルネットワークを監視すること | |
JP2016536664A (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
US9652711B2 (en) | Analog signal reconstruction and recognition via sub-threshold modulation | |
CN112085198A (zh) | 基于全局反馈以及局部突触可塑的脉冲神经网络优化方法 | |
JP6193509B2 (ja) | 可塑性シナプス管理 | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
CN113454648A (zh) | 循环神经网络中的勒让德存储器单元 | |
Schneidereit et al. | Computational characteristics of feedforward neural networks for solving a stiff differential equation | |
CN115879518A (zh) | 一种基于ai芯片的任务处理方法和装置 | |
Al-Allaf | Removing noise from speech signals using different approaches of artificial neural networks |