JP2022509618A - レジリエントニューラルネットワーク - Google Patents
レジリエントニューラルネットワーク Download PDFInfo
- Publication number
- JP2022509618A JP2022509618A JP2021527142A JP2021527142A JP2022509618A JP 2022509618 A JP2022509618 A JP 2022509618A JP 2021527142 A JP2021527142 A JP 2021527142A JP 2021527142 A JP2021527142 A JP 2021527142A JP 2022509618 A JP2022509618 A JP 2022509618A
- Authority
- JP
- Japan
- Prior art keywords
- synaptic
- neural network
- spiking
- spiking neural
- receptor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 151
- 230000000946 synaptic effect Effects 0.000 claims abstract description 322
- 210000002569 neuron Anatomy 0.000 claims abstract description 215
- 238000012421 spiking Methods 0.000 claims abstract description 215
- 238000004891 communication Methods 0.000 claims abstract description 25
- 230000004044 response Effects 0.000 claims abstract description 23
- 102000005962 receptors Human genes 0.000 claims description 73
- 108020003175 receptors Proteins 0.000 claims description 73
- 238000000034 method Methods 0.000 claims description 63
- 230000006870 function Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000000694 effects Effects 0.000 claims description 27
- 210000000225 synapse Anatomy 0.000 claims description 26
- 238000003860 storage Methods 0.000 claims description 25
- 210000003050 axon Anatomy 0.000 claims description 15
- 210000001787 dendrite Anatomy 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 11
- 230000001419 dependent effect Effects 0.000 claims description 10
- 230000001537 neural effect Effects 0.000 claims description 10
- 238000009826 distribution Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 102000004868 N-Methyl-D-Aspartate Receptors Human genes 0.000 claims description 7
- 108090001041 N-Methyl-D-Aspartate Receptors Proteins 0.000 claims description 7
- 230000036962 time dependent Effects 0.000 claims description 6
- 238000012546 transfer Methods 0.000 claims description 6
- 102000003678 AMPA Receptors Human genes 0.000 claims description 5
- 108090000078 AMPA Receptors Proteins 0.000 claims description 5
- 102000005915 GABA Receptors Human genes 0.000 claims description 5
- 108010005551 GABA Receptors Proteins 0.000 claims description 5
- 230000036982 action potential Effects 0.000 claims description 5
- 230000001360 synchronised effect Effects 0.000 claims description 5
- 239000006185 dispersion Substances 0.000 claims description 4
- 238000000638 solvent extraction Methods 0.000 claims description 4
- 230000005653 Brownian motion process Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000005094 computer simulation Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 4
- 238000004422 calculation algorithm Methods 0.000 description 15
- 239000010410 layer Substances 0.000 description 14
- 238000010304 firing Methods 0.000 description 13
- 239000012528 membrane Substances 0.000 description 13
- 230000004927 fusion Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 12
- 238000003909 pattern recognition Methods 0.000 description 10
- 230000001242 postsynaptic effect Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 210000005056 cell body Anatomy 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 230000003376 axonal effect Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 210000005215 presynaptic neuron Anatomy 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 108091006146 Channels Proteins 0.000 description 2
- 108090000862 Ion Channels Proteins 0.000 description 2
- 102000004310 Ion Channels Human genes 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001364 causal effect Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000009021 linear effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002858 neurotransmitter agent Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000036279 refractory period Effects 0.000 description 2
- 230000036390 resting membrane potential Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005062 synaptic transmission Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- MGRVRXRGTBOSHW-UHFFFAOYSA-N (aminomethyl)phosphonic acid Chemical compound NCP(O)(O)=O MGRVRXRGTBOSHW-UHFFFAOYSA-N 0.000 description 1
- OYPRJOBELJOOCE-UHFFFAOYSA-N Calcium Chemical compound [Ca] OYPRJOBELJOOCE-UHFFFAOYSA-N 0.000 description 1
- 240000002627 Cordeauxia edulis Species 0.000 description 1
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- HOKKHZGPKSLGJE-GSVOUGTGSA-N N-Methyl-D-aspartic acid Chemical compound CN[C@@H](C(O)=O)CC(O)=O HOKKHZGPKSLGJE-GSVOUGTGSA-N 0.000 description 1
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000011575 calcium Substances 0.000 description 1
- 229910052791 calcium Inorganic materials 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000003284 homeostatic effect Effects 0.000 description 1
- 230000013632 homeostatic process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000008587 neuronal excitability Effects 0.000 description 1
- 230000008062 neuronal firing Effects 0.000 description 1
- 230000006748 neuronal sensitivity Effects 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000008844 regulatory mechanism Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
【選択図】図6
Description
dΓ=N(Γ(t))dt+σ(Γ(t))dω(t)
[0045] ここで、N(Γ(t))は名義行列(nominal matrix)部分であり、σ(Γ)はガウス白色雑音過程(Gaussian white noise process)dω(t)に対する状態依存雑音行列であり、ωは、スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、ここにおいて、dΓの式は、以下の連続時間代数リアプノフ方程式(continuous-time algebraic Lyapunov equation)を満たすΓ(t)の分散共分散行列K(t)に関して書き換え可能であり、
N(Γ(t))K(t)+K(t)[N(Γ(t))]T+σ(Γ(t))[σ(Γ(t))]T=0
[0046] シナプス駆動Γiの各シナプス駆動の分散についての式を取得するステップは、分散共分散行列K(t)の対角値を決定することを備える。
[0083] アレイ200の周囲は、生体ニューロンの細胞体および軸索小丘の作用を模したシナプス回路の行を含む。さらに、アレイ200内の各ニューロシナプスコア210は、ローカルルータ202を有し、これは、専用のリアルタイムで再構成可能なネットワークオンチップ内の他のコア210のルータ202と通信する。
[00162] ここで、
Claims (53)
- 入力信号を分類するためのスパイキングニューラルネットワークであって、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の1つまたは複数から前記シナプス出力信号の1つまたは複数を受信し、前記受信された1つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記ネットワークは、複数のサブネットワークに区分され、
各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続された前記スパイキングニューロンのサブセットを備え、
前記サブネットワークは、前記サブネットワークに印加されたサブネットワーク入力パターン信号に応答してサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークは、コアのアレイ内の1つまたは複数のコアの一部を形成し、各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置される、スパイキングニューラルネットワーク。 - 前記プログラマブル相互接続構造は、切り替え可能な行列を備える、請求項1に記載のスパイキングニューラルネットワーク。
- 前記切り替え可能な行列は、複数の出力信号を、前記コアアレイ内の第1のコアから前記コアアレイ内の第2のコアの複数の入力にルーティングするように適応された複数のルータを備える、請求項2に記載のスパイキングニューラルネットワーク。
- 前記プログラマブル相互接続構造は、前記コアアレイ内の前記コア間にパケット交換ネットワークを形成する、請求項1~3のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記プログラマブル相互接続構造は、アドレスイベント表現を使用する、請求項1~4のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記プログラマブル相互接続構造は、同期または非同期通信を使用する、請求項1~5のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記コアアレイは集積回路にインプリメントされ、前記プログラマブル相互接続構造は、ネットワークオンチップを備える、請求項1~6のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記ネットワークオンチップは、リアルタイムで構成可能である、請求項7に記載のスパイキングニューラルネットワーク。
- 前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイの単一のコアにおいて不均一に適用される、請求項1~8のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記シナプス素子に対する学習ルール、重み記憶機構、または通信プロトコルのいずれかは、前記コアアレイ内の複数の前記コアにわたって不均一に適用される、請求項1~9のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記コアアレイ内の前記コアのうちの1つまたは複数のコアの学習ルール構成は、学習ルールブロックを使用してインプリメントされる、請求項1~10のいずれか一項に記載のスパイキングニューラルネットワーク。
- 同じ学習ルールを使用する前記コアは、前記学習ルールをインプリメントする共通学習ルールブロックを使用する、請求項11に記載のスパイキングニューラルネットワーク。
- 前記コアアレイ内の各コア内および/または前記コアにわたる学習ルールの分布は、実行時に動的に構成可能である、請求項1~12のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記サブネットワークのうちの1つは、前記サブネットワークの入力信号を分類するための分類器の一部である、請求項1~13のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記サブネットワークのうちの1つは、そのサブネットワークへの入力信号を分類するための分類器のアンサンブルの一部である、請求項1~14のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記シナプス素子の前記重みは、確率的重み更新を使用して構成される、請求項1~15のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記シナプス素子の前記重みは、境界値によって境界付けられ、前記境界値は確率値である、請求項1~16のいずれか一項に記載のスパイキングニューラルネットワーク。
- 請求項1~17のいずれか一項に記載の前記コアアレイにインプリメントされた前記スパイキングニューラルネットワークを備える、集積回路。
- スパイキングニューラルネットワークを区分し、コアアレイ上にマッピングする方法であって、前記スパイキングニューラルネットワークは、複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の1つまたは複数から前記シナプス出力信号の1つまたは複数を受信し、前記受信された1つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記コアアレイは、複数のコアを備え、
各コアは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされたスパイキングニューロンのプログラマブルネットワークからなり、
前記コアアレイ内のコア間の通信は、プログラマブル相互接続構造を介して配置され、
前記方法は、
前記ネットワークを複数のサブネットワークに区分することと、ここにおいて、各サブネットワークは、前記シナプス素子のサブセットからシナプス出力信号を受信するように接続されたスパイキングニューロンのサブセットを備え、前記サブネットワークは、シナプス素子の前記サブセットに印加されたサブネットワーク入力パターン信号に応答して、スパイキングニューロンの前記サブセットからサブネットワーク出力パターン信号を生成するように適応されており、
各サブネットワークを前記1つまたは複数のコア上にマッピングすることと
を備える、方法。 - 前記スパイキングニューラルネットワークを、前記1つまたは複数のコアにインプリメントされた前記サブネットワークに前記区分することは、マッピング方法によって決定され、
前記マッピング方法は、制約駆動区分を備え、
前記制約は、各それぞれのサブネットワークの関数にリンクされたパフォーマンスメトリックである、請求項19に記載の方法。 - スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の1つまたは複数から前記シナプス出力信号の1つまたは複数を受信し、前記受信された1つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
学習ルール、重み記憶機構、および/または通信プロトコルは、前記スパイキングニューラルネットワーク内の前記ニューロンおよび/または前記シナプス素子にわたって不均一に適用される、スパイキングニューラルネットワーク。 - スパイキングニューロンと、前記スパイキングニューロンに接続されたシナプス素子とを備える、スパイキングニューラルネットワークであって、
前記シナプス素子は、シナプス入力信号を受信するように適応された第1および第2の受容体を備え、
前記第1および第2の受容体は、それぞれ、前記シナプス入力信号に基づいて第1および第2の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第1の受容体信号に重みを適用し、
前記シナプス素子は、前記第2の受容体信号に少なくとも基づいて、前記シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成するように適応されている、スパイキングニューラルネットワーク。 - 前記ニューロンは制御信号を放出し、前記制御信号は、前記第2の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、請求項22に記載のスパイキングニューラルネットワーク。
- 前記制御信号は誤差逆伝播信号である、請求項23に記載のスパイキングニューラルネットワーク。
- 前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および/または軸索および/または細胞体から生じる、請求項23または24に記載のスパイキングニューラルネットワーク。
- 前記制御信号は、前記ニューロンの活動電位によって生成される1つまたは複数のスパイクを備える、請求項23~25のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体の減衰時間は、前記第2の受容体の減衰時間よりも速い、請求項22~26のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、請求項22~27のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体はローパスフィルタを備える、請求項22~28のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第2の受容体は電位依存性受容体を形成する、請求項22~29のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第2の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および/または増幅器を備える、請求項22~30のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体はAMPA受容体である、請求項22~31のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体はGABA受容体である、請求項22~31のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第2の受容体はNMDA受容体である、請求項22~33のいずれか一項に記載のスパイキングニューラルネットワーク。
- スパイキングニューラルネットワーク内のシナプス素子の重みを調整するための方法であって、前記スパイキングニューラルネットワークは、前記シナプス素子に接続されたスパイキングニューロンを備え、
前記シナプス素子は、シナプス入力信号を受信するように適応された第1および第2の受容体を備え、
前記第1および第2の受容体は、前記シナプス入力信号を受信し、それぞれ、前記シナプス入力信号に基づいて第1および第2の受容体信号を生成し、
前記シナプス素子は、シナプス出力信号を生成するように前記第1の受容体信号に重みを適用し、
少なくとも前記第2の受容体信号に基づいて、前記シナプス素子の前記重みが調整され、
前記スパイキングニューロンは、前記シナプス素子から前記シナプス出力信号を受信し、前記受信されたシナプス出力信号に少なくとも応答して時空間スパイク列出力信号を生成する、方法。 - 前記ニューロンは制御信号を放出し、前記制御信号は、前記第2の受容体信号と共に、前記シナプス素子によって適用された前記重みを調整する、請求項35に記載の方法。
- 前記制御信号は誤差逆伝播信号である、請求項36に記載の方法。
- 前記ニューロンは、樹状突起、軸索、および細胞体を備え、前記制御信号は、前記ニューロンの前記樹状突起および/または軸索および/または細胞体から生じる、請求項36または37に記載の方法。
- 前記制御信号は、前記ニューロンの活動電位によって生成される1つまたは複数のスパイクを備える、請求項36~38のいずれか一項に記載の方法。
- 前記第1の受容体の減衰時間は、前記第2の受容体の減衰時間よりも速い、請求項35~39のいずれか一項に記載の方法。
- 前記第1の受容体は、前記スパイキングニューロンのためのソース電流またはシンク電流を生成する、請求項35~40のいずれか一項に記載の方法。
- 前記第1の受容体はローパスフィルタを備える、請求項35~41のいずれか一項に記載の方法。
- 前記第2の受容体は電位依存性受容体を形成する、請求項35~42のいずれか一項に記載の方法。
- 前記第2の受容体は、ローパスフィルタ、バンドパスフィルタ、ハイパスフィルタ、および/または増幅器を備える、請求項35~43のいずれか一項に記載のスパイキングニューラルネットワーク。
- 前記第1の受容体はAMPA受容体である、請求項35~44のいずれか一項に記載の方法。
- 前記第1の受容体はGABA受容体である、請求項35~44のいずれか一項に記載の方法。
- 前記第2の受容体はNMDA受容体である、請求項35~46のいずれか一項に記載の方法。
- 請求項22~34のいずれか一項に記載のスパイキングニューラルネットワークを備える集積回路。
- スパイキングニューラルネットワークにおける雑音効果を減少させるように前記スパイキングニューラルネットワークを構成するための方法であって、
前記スパイキングニューラルネットワークは、ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子とを備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の1つまたは複数から前記シナプス出力信号の1つまたは複数を受信し、前記受信された1つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンiのうちの1つのスパイキングニューロンのシナプス駆動Γiは、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、前記方法は、
前記シナプス駆動Γiの各シナプス駆動の分散の式を取得することを備え、前記分散の式は、制御パラメータに依存し、
前記シナプス駆動Γiの各シナプス駆動の前記分散は、前記制御パラメータを調整することによって調整可能であり、
前記制御パラメータは、前記シナプス駆動Γiの各シナプス駆動の前記分散が所定の値を下回るように調整され、それにより、前記スパイキングニューラルネットワーク内の前記ニューロンiの各ニューロンの前記シナプス駆動Γiは、雑音効果が最小である前記シナプス駆動Γiの平衡点Γi *の周りに境界付けられる、方法。 - 前記スパイキングニューラルネットワーク内の前記スパイキングニューロンiの前記シナプス駆動Γiは、Γ=(Γ1,...,Γn)Tとして前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で書くことができ、ここで、nは、前記スパイキングニューラルネットワーク内のニューロンの数であり、Γは次式を満たし、
dΓ=N(Γ(t))dt+σ(Γ(t))dω(t)、
ここで、N(Γ(t))は名義行列部分であり、σ(Γ)はガウス白色雑音過程dω(t)に対する状態依存雑音行列であり、ωは、前記スパイキングニューラルネットワークにおける雑音を記述するウィーナー過程であり、
dΓの式は、以下の連続時間代数リアプノフ方程式を満たすΓ(t)の分散共分散行列K(t)に関して書き換え可能であり、
N(Γ(t))K(t)+K(t)[N(Γ(t))]T+σ(Γ(t))[σ(Γ(t))]T=0、
前記シナプス駆動Γiの各シナプス駆動の前記分散についての式を取得するステップは、前記分散共分散行列K(t)の対角値を決定することを備える、請求項49に記載の方法。 - 前記シナプス駆動Γiの前記平衡点Γi *は、前記スパイキングニューラルネットワーク内のすべてのニューロンについてベクトル形式で、Γ*=(Γ1 *,...,Γn *)Tと書くことができ、ここで、前記雑音行列σはゼロであり、すなわちσ(Γ*)=0である、請求項50に記載の方法。
- 前記制御パラメータはコンピュータシミュレーションによって調整される、請求項49~51のいずれか一項に記載の方法。
- スパイキングニューラルネットワークであって、
ハードウェアまたはハードウェアとソフトウェアの組合せにインプリメントされた複数のスパイキングニューロンと、前記ネットワークを形成するように前記スパイキングニューロンを相互接続する複数のシナプス素子と
を備え、
各シナプス素子は、シナプス入力信号を受信し、シナプス出力信号を生成するように前記シナプス入力信号に重みを適用するように適応されており、前記シナプス素子は、各シナプス素子によって適用された前記重みを調整するように構成可能であり、
前記スパイキングニューロンの各々は、前記シナプス素子の1つまたは複数から前記シナプス出力信号の1つまたは複数を受信し、前記受信された1つまたは複数のシナプス出力信号に応答して時空間スパイク列出力信号を生成するように適応されており、
前記スパイキングニューラルネットワーク内の前記スパイキングニューロンiのうちの1つのスパイキングニューロンのシナプス駆動Γiは、前記ニューロン内に接続されたすべてのシナプス素子の総伝達関数を記述する時間依存関数であり、
前記シナプス駆動Γiの各シナプス駆動の分散は、前記スパイキングニューラルネットワーク内の前記ニューロンiの各ニューロンの前記シナプス駆動Γiが、雑音効果が最小である前記シナプス駆動Γiの平衡点Γi *の周りに境界付けられるように、所定の値を下回る、スパイキングニューラルネットワーク。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862768927P | 2018-11-18 | 2018-11-18 | |
US62/768,927 | 2018-11-18 | ||
PCT/EP2019/081662 WO2020099680A2 (en) | 2018-11-18 | 2019-11-18 | Resilient neural network |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022509618A true JP2022509618A (ja) | 2022-01-21 |
JPWO2020099680A5 JPWO2020099680A5 (ja) | 2022-11-02 |
JP7520829B2 JP7520829B2 (ja) | 2024-07-23 |
Family
ID=68583418
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021527165A Pending JP2022507721A (ja) | 2018-11-18 | 2019-11-14 | スパイキングニューラルネットワーク |
JP2021527142A Active JP7520829B2 (ja) | 2018-11-18 | 2019-11-18 | レジリエントニューラルネットワーク |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021527165A Pending JP2022507721A (ja) | 2018-11-18 | 2019-11-14 | スパイキングニューラルネットワーク |
Country Status (6)
Country | Link |
---|---|
US (2) | US20220230051A1 (ja) |
EP (2) | EP3881241A1 (ja) |
JP (2) | JP2022507721A (ja) |
KR (2) | KR20210124960A (ja) |
CN (2) | CN113287122A (ja) |
WO (2) | WO2020099583A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200069901A (ko) * | 2018-12-07 | 2020-06-17 | 삼성전자주식회사 | 뉴럴 네트워크를 분할하는 방법 및 뉴로모픽 장치 |
US20200293860A1 (en) * | 2019-03-11 | 2020-09-17 | Infineon Technologies Ag | Classifying information using spiking neural network |
US11468276B2 (en) * | 2020-04-16 | 2022-10-11 | Robert Bosch Gmbh | System and method of a monotone operator neural network |
CN111723726B (zh) * | 2020-06-17 | 2023-09-19 | 苏州大学 | 一种脉冲神经膜系统干燥剂包装袋识别模型的识别方法 |
CN116438541A (zh) | 2020-10-05 | 2023-07-14 | 因纳特拉纳米系统有限公司 | 通过瞬态同步的snn的自适应 |
US20220156564A1 (en) * | 2020-11-18 | 2022-05-19 | Micron Technology, Inc. | Routing spike messages in spiking neural networks |
KR20230170916A (ko) * | 2021-04-16 | 2023-12-19 | 인나테라 나노시스템즈 비.브이. | 재구성 가능한 계층적 다수-세그먼트 스파이킹 신경망 |
US12001529B1 (en) * | 2021-11-05 | 2024-06-04 | Validate Me LLC | Counting machine for manufacturing and validating event-relevant identities via an ensemble network |
CN114528983A (zh) * | 2021-12-29 | 2022-05-24 | 北京时代民芯科技有限公司 | 一种脉冲神经元加固电路、加固方法 |
CN114781597A (zh) * | 2022-03-28 | 2022-07-22 | 华中科技大学 | 面向时间序列预测的漂移脉冲神经网络构建方法及其应用 |
EP4303766A1 (en) * | 2022-07-07 | 2024-01-10 | Centre national de la recherche scientifique | A neuro-synaptic system for real time processing of trading data and associated computer program |
CN115496195A (zh) * | 2022-08-08 | 2022-12-20 | 西安电子科技大学 | 基于mzi阵列和fp-sa的光脉冲神经网络实现装置 |
WO2024038102A1 (en) * | 2022-08-16 | 2024-02-22 | Innatera Nanosystems B.V. | System and method for reconfigurable modular neurosynaptic computational structure |
US20240086682A1 (en) * | 2022-09-13 | 2024-03-14 | International Business Machines Corporation | Function-based activation of memory tiers |
CN115421929A (zh) * | 2022-11-04 | 2022-12-02 | 北京大学 | MoE模型训练方法、装置、设备以及存储介质 |
EP4369032A1 (en) * | 2022-11-09 | 2024-05-15 | VoxelSensors SRL | Optical sensing system |
CN117688992B (zh) * | 2024-02-01 | 2024-06-04 | 之江实验室 | 神经元计算机操作系统的资源映射方法和装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH047660A (ja) * | 1990-04-25 | 1992-01-13 | Hitachi Ltd | ニューラルネットワークによる情報処理装置 |
US20150242745A1 (en) * | 2014-02-21 | 2015-08-27 | Qualcomm Incorporated | Event-based inference and learning for stochastic spiking bayesian networks |
US20180322384A1 (en) * | 2017-05-02 | 2018-11-08 | Intel Corporation | Post synaptic potential-based learning rule |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3560670B2 (ja) * | 1995-02-06 | 2004-09-02 | 富士通株式会社 | 適応的認識システム |
US8942466B2 (en) * | 2010-08-26 | 2015-01-27 | Brain Corporation | Sensory input processing apparatus and methods |
US8856055B2 (en) * | 2011-04-08 | 2014-10-07 | International Business Machines Corporation | Reconfigurable and customizable general-purpose circuits for neural networks |
US9147156B2 (en) * | 2011-09-21 | 2015-09-29 | Qualcomm Technologies Inc. | Apparatus and methods for synaptic update in a pulse-coded network |
US8725662B2 (en) * | 2011-09-21 | 2014-05-13 | Brain Corporation | Apparatus and method for partial evaluation of synaptic updates based on system events |
US9159020B2 (en) * | 2012-09-14 | 2015-10-13 | International Business Machines Corporation | Multiplexing physical neurons to optimize power and area |
JP5284530B2 (ja) * | 2012-11-22 | 2013-09-11 | キヤノン株式会社 | 情報処理方法、情報処理装置 |
CN105122278B (zh) * | 2013-03-15 | 2017-03-22 | Hrl实验室有限责任公司 | 神经网络及编程方法 |
US20150120627A1 (en) * | 2013-10-29 | 2015-04-30 | Qualcomm Incorporated | Causal saliency time inference |
US9990580B2 (en) * | 2015-03-13 | 2018-06-05 | International Business Machines Corporation | Neuromorphic synapses |
CN108027896A (zh) * | 2015-03-18 | 2018-05-11 | 赫尔实验室有限公司 | 用于解码具有连续突触可塑性的脉冲储层的系统和方法 |
US9984323B2 (en) * | 2015-03-26 | 2018-05-29 | International Business Machines Corporation | Compositional prototypes for scalable neurosynaptic networks |
US10460237B2 (en) * | 2015-11-30 | 2019-10-29 | International Business Machines Corporation | Neuron-centric local learning rate for artificial neural networks to increase performance, learning rate margin, and reduce power consumption |
US20170236027A1 (en) * | 2016-02-16 | 2017-08-17 | Brainchip Inc. | Intelligent biomorphic system for pattern recognition with autonomous visual feature extraction |
US10338629B2 (en) * | 2016-09-22 | 2019-07-02 | International Business Machines Corporation | Optimizing neurosynaptic networks |
CN107092959B (zh) * | 2017-04-07 | 2020-04-10 | 武汉大学 | 基于stdp非监督学习算法的脉冲神经网络模型构建方法 |
-
2019
- 2019-11-14 EP EP19805259.9A patent/EP3881241A1/en active Pending
- 2019-11-14 JP JP2021527165A patent/JP2022507721A/ja active Pending
- 2019-11-14 KR KR1020217016977A patent/KR20210124960A/ko unknown
- 2019-11-14 US US17/294,430 patent/US20220230051A1/en active Pending
- 2019-11-14 WO PCT/EP2019/081373 patent/WO2020099583A1/en active Application Filing
- 2019-11-14 CN CN201980088638.6A patent/CN113287122A/zh active Pending
- 2019-11-18 CN CN201980084907.1A patent/CN113272828A/zh active Pending
- 2019-11-18 WO PCT/EP2019/081662 patent/WO2020099680A2/en active Application Filing
- 2019-11-18 KR KR1020217016976A patent/KR20210127133A/ko active Search and Examination
- 2019-11-18 JP JP2021527142A patent/JP7520829B2/ja active Active
- 2019-11-18 US US17/294,697 patent/US20220012564A1/en active Pending
- 2019-11-18 EP EP19805656.6A patent/EP3881246A2/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH047660A (ja) * | 1990-04-25 | 1992-01-13 | Hitachi Ltd | ニューラルネットワークによる情報処理装置 |
US20150242745A1 (en) * | 2014-02-21 | 2015-08-27 | Qualcomm Incorporated | Event-based inference and learning for stochastic spiking bayesian networks |
JP2017509978A (ja) * | 2014-02-21 | 2017-04-06 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 確率論的スパイキングベイジアンネットワークに関する事象に基づく推論および学習 |
US20180322384A1 (en) * | 2017-05-02 | 2018-11-08 | Intel Corporation | Post synaptic potential-based learning rule |
Also Published As
Publication number | Publication date |
---|---|
KR20210124960A (ko) | 2021-10-15 |
CN113272828A (zh) | 2021-08-17 |
US20220230051A1 (en) | 2022-07-21 |
EP3881246A2 (en) | 2021-09-22 |
JP2022507721A (ja) | 2022-01-18 |
WO2020099680A2 (en) | 2020-05-22 |
CN113287122A (zh) | 2021-08-20 |
US20220012564A1 (en) | 2022-01-13 |
WO2020099680A3 (en) | 2020-07-23 |
WO2020099583A1 (en) | 2020-05-22 |
JP7520829B2 (ja) | 2024-07-23 |
EP3881241A1 (en) | 2021-09-22 |
KR20210127133A (ko) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7520829B2 (ja) | レジリエントニューラルネットワーク | |
Taherkhani et al. | A review of learning in biologically plausible spiking neural networks | |
Kasabov | Neucube evospike architecture for spatio-temporal modelling and pattern recognition of brain signals | |
US20170024661A1 (en) | Methods and systems for implementing deep spiking neural networks | |
JP2022509754A (ja) | 改良されたスパイキングニューラルネットワーク | |
KR20170031695A (ko) | 신경망들에서의 콘볼루션 동작의 분해 | |
US20170337469A1 (en) | Anomaly detection using spiking neural networks | |
JP2016538632A (ja) | 教師あり学習を使用してクラスにタグ付けするための方法および装置 | |
Ma et al. | EMG-based gestures classification using a mixed-signal neuromorphic processing system | |
Zeng et al. | Improving multi-layer spiking neural networks by incorporating brain-inspired rules | |
CN111401547B (zh) | 一种面向乘客流分析的基于循环学习单元的htm设计方法 | |
KR20160084401A (ko) | 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현 | |
Fu et al. | An ensemble unsupervised spiking neural network for objective recognition | |
US11080592B2 (en) | Neuromorphic architecture for feature learning using a spiking neural network | |
KR20160125967A (ko) | 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치 | |
CN114186672A (zh) | 一种用于脉冲神经网络的高效高精度训练算法 | |
Krichmar et al. | Large-scale spiking neural networks using neuromorphic hardware compatible models | |
Zhang et al. | Efficient spiking neural networks with logarithmic temporal coding | |
TW202230222A (zh) | 經由瞬時同步之snn之自適應 | |
Douglas et al. | Hybrid analog-digital architectures for neuromorphic systems | |
Paugam-Moisy | Spiking neuron networks a survey | |
Abderrahmane | Hardware design of spiking neural networks for energy efficient brain-inspired computing | |
CA2898216C (en) | Methods and systems for implementing deep spiking neural networks | |
KR20210146002A (ko) | 다층 스파이킹 뉴럴 네트워크의 학습 방법 및 장치 | |
Zins et al. | Reproducing Fear Conditioning of Rats with Unmanned Ground Vehicles and Neuromorphic Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221025 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221025 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20230131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7520829 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |