JP2017516192A - ニューラルネットワークにおける差分符号化 - Google Patents
ニューラルネットワークにおける差分符号化 Download PDFInfo
- Publication number
- JP2017516192A JP2017516192A JP2016558315A JP2016558315A JP2017516192A JP 2017516192 A JP2017516192 A JP 2017516192A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2016558315 A JP2016558315 A JP 2016558315A JP 2017516192 A JP2017516192 A JP 2017516192A
- Authority
- JP
- Japan
- Prior art keywords
- value
- neuron
- activation value
- neural network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 109
- 210000002569 neuron Anatomy 0.000 claims abstract description 233
- 230000004913 activation Effects 0.000 claims abstract description 125
- 238000000034 method Methods 0.000 claims description 98
- 238000012421 spiking Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000012886 linear function Methods 0.000 claims description 5
- 230000003111 delayed effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 45
- 230000006870 function Effects 0.000 description 35
- 230000001537 neural effect Effects 0.000 description 35
- 230000000946 synaptic effect Effects 0.000 description 34
- 210000000225 synapse Anatomy 0.000 description 27
- 239000012528 membrane Substances 0.000 description 20
- 230000001242 postsynaptic effect Effects 0.000 description 20
- 230000008859 change Effects 0.000 description 19
- 230000008901 benefit Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 230000006399 behavior Effects 0.000 description 10
- 239000013598 vector Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000005215 presynaptic neuron Anatomy 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000027928 long-term synaptic potentiation Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000036982 action potential Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 230000002964 excitative effect Effects 0.000 description 5
- 238000010304 firing Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000002401 inhibitory effect Effects 0.000 description 4
- 230000003518 presynaptic effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000003956 synaptic plasticity Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 240000002627 Cordeauxia edulis Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 210000005056 cell body Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000005022 packaging material Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005309 stochastic process Methods 0.000 description 2
- 230000009534 synaptic inhibition Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003376 axonal effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002102 hyperpolarization Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000028161 membrane depolarization Effects 0.000 description 1
- 230000025350 membrane depolarization involved in regulation of action potential Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008062 neuronal firing Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
Description
[0001]本出願は、米国特許法第119条(e)の下で、2014年3月24日に出願された「DIFFERENTIAL ENCODING IN NEURAL NETWORKS」と題する米国仮特許出願第61/969,747号の利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。
例示的なニューラルシステム、トレーニングおよび動作
[0023]図1は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な人工ニューラルシステム100を示す。ニューラルシステム100は、シナプス結合のネットワーク104(すなわち、フィードフォワード結合)を介してニューロンの別のレベル106に結合されたニューロンのあるレベル102を有し得る。簡単のために、図1には2つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
シナプスタイプ
[0035]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス(non-plastic synapse)(重みおよび遅延の変化がない)、可塑性シナプス(重みが変化し得る)、構造遅延可塑性シナプス(重みおよび遅延が変化し得る)、完全可塑性シナプス(重み、遅延および結合性が変化し得る)、およびそれの変形(たとえば、遅延は変化し得るが、重みまたは結合性の変化はない)であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を使用しないで実行される場合がある(またはそのような機能が完了するのを待つ)。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。
シナプス可塑性の決定
[0037]神経可塑性(または単に「可塑性」)は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。(たとえば、Hebb則理論による)シナプス可塑性、スパイクタイミング依存可塑性(STDP)、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
ニューロンモデルおよび演算
[0044]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、2つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための2つの要素を有する必要がある:入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解と、ニアアトラクター(near attractor)と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
Hunzinger Coldモデル
[0048]Hunzinger Coldニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの1次元または2次元の線形ダイナミクスは2つのレジームを有することができ、時間定数(および結合)はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
ニューラルネットワークにおける差分符号化
[0063]本開示の態様は、ニューラルネットワークにおける差分符号化を対象とする。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
[C1]
ニューラルネットワークにおいて差分符号化を実行する方法であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測することと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化することと
を備える、方法。
[C2]
前記ニューラルネットワークの層間で前記符号化値を送信することをさらに備える、C1に記載の方法。
[C3]
前記送信された符号化値が、前記予測された活性化値と前記活性化値との間の前記差分、および前記予測された活性化値と前記活性化値との間のしきい値差分のうちの少なくとも1つである、C2に記載の方法。
[C4]
前記送信された符号化値が、前記符号化値のビット数に少なくとも部分的に基づいて選択される、C3に記載の方法。
[C5]
前記活性化値が非線形関数に少なくとも部分的に基づく、C1に記載の方法。
[C6]
前記活性化値を予測することが、入力の受信に少なくとも部分的に基づいて実行される、C1に記載の方法。
[C7]
前記値のビット幅に少なくとも部分的に基づいて前記値を符号化することをさらに備える、C1に記載の方法。
[C8]
前記符号化することが、ニューラルネットワーク出力ベースのトリガに少なくとも部分的に基づいて実行される、C1に記載の方法。
[C9]
前記符号化することが断続的に実行される、C1に記載の方法。
[C10]
前記符号化することが、前記ニューラルネットワークへの入力に対して遅延される、C1に記載の方法。
[C11]
前記符号化することが、前記ニューラルネットワークの出力にさらに少なくとも部分的に基づく、C1に記載の方法。
[C12]
入力−出力関係が決定論的である場合、前記少なくとも1つの以前の活性化値が入力履歴を備える、C1に記載の方法。
[C13]
入力−出力関係が確率論的である場合、前記少なくとも1つの以前の活性化値が入力履歴と出力履歴とを備える、C1に記載の方法。
[C14]
予測された入力値に少なくとも部分的に基づいて、前記予測された活性化値を計算することをさらに備える、C1に記載の方法。
[C15]
前記符号化値と前記予測された入力値とを組み合わせることによって、実際の入力値を計算することをさらに備える、C14に記載の方法。
[C16]
前記予測された入力値と前記予測された活性化値とを計算することが、前記ニューロンの複数の以前の入力値と複数の以前の活性化値との線形結合を使用することを備える、C14に記載の方法。
[C17]
前記ニューロンの前記予測された活性化値が、前記ニューロンの状態と前記ニューロンへの入力とに少なくとも部分的に基づく、C1に記載の方法。
[C18]
前記ニューロンの前記状態が、以前の状態、入力値、出力値、予測された活性化値、および対象となる活性化値のうちの少なくとも1つに基づいて更新される、C17に記載の方法。
[C19]
前記ニューロンの前記状態が、入力履歴、出力履歴、予測された活性化値履歴、および対象となる活性化値履歴のうちの少なくとも1つを備える、C17に記載の方法。
[C20]
前記予測することが、別のニューロンの状態に少なくとも部分的に基づく、C19に記載の方法。
[C21]
前記予測された活性化値が、複数の以前の実際の活性化値の線形結合、または以前の入力値の線形結合に少なくとも部分的に基づく、C1に記載の方法。
[C22]
前記活性化値を予測することが、前記ニューロンに提供された追加の値を使用することを備える、C1に記載の方法。
[C23]
画像動き推定に少なくとも部分的に基づいて、前記追加の値を計算することをさらに備える、C22に記載の方法。
[C24]
前記追加の値が別のニューロンからのフィードバック信号を備える、C22に記載の方法。
[C25]
ニューラルネットワークにおいて差分符号化を実行するための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測し、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化する
ように構成される、装置。
[C26]
スパイキングニューラルネットワークにおいて差分符号化を実行するための装置であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するための手段と、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するための手段と
を備える、装置。
[C27]
スパイキングニューラルネットワークにおいて差分符号化を実行するためのコンピュータプログラム製品であって、
プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するためのプログラムコードと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するためのプログラムコードと
を備える、コンピュータプログラム製品。
Claims (27)
- ニューラルネットワークにおいて差分符号化を実行する方法であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測することと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化することと
を備える、方法。 - 前記ニューラルネットワークの層間で前記符号化値を送信することをさらに備える、請求項1に記載の方法。
- 前記送信された符号化値が、前記予測された活性化値と前記活性化値との間の前記差分、および前記予測された活性化値と前記活性化値との間のしきい値差分のうちの少なくとも1つである、請求項2に記載の方法。
- 前記送信された符号化値が、前記符号化値のビット数に少なくとも部分的に基づいて選択される、請求項3に記載の方法。
- 前記活性化値が非線形関数に少なくとも部分的に基づく、請求項1に記載の方法。
- 前記活性化値を予測することが、入力の受信に少なくとも部分的に基づいて実行される、請求項1に記載の方法。
- 前記値のビット幅に少なくとも部分的に基づいて前記値を符号化することをさらに備える、請求項1に記載の方法。
- 前記符号化することが、ニューラルネットワーク出力ベースのトリガに少なくとも部分的に基づいて実行される、請求項1に記載の方法。
- 前記符号化することが断続的に実行される、請求項1に記載の方法。
- 前記符号化することが、前記ニューラルネットワークへの入力に対して遅延される、請求項1に記載の方法。
- 前記符号化することが、前記ニューラルネットワークの出力にさらに少なくとも部分的に基づく、請求項1に記載の方法。
- 入力−出力関係が決定論的である場合、前記少なくとも1つの以前の活性化値が入力履歴を備える、請求項1に記載の方法。
- 入力−出力関係が確率論的である場合、前記少なくとも1つの以前の活性化値が入力履歴と出力履歴とを備える、請求項1に記載の方法。
- 予測された入力値に少なくとも部分的に基づいて、前記予測された活性化値を計算することをさらに備える、請求項1に記載の方法。
- 前記符号化値と前記予測された入力値とを組み合わせることによって、実際の入力値を計算することをさらに備える、請求項14に記載の方法。
- 前記予測された入力値と前記予測された活性化値とを計算することが、前記ニューロンの複数の以前の入力値と複数の以前の活性化値との線形結合を使用することを備える、請求項14に記載の方法。
- 前記ニューロンの前記予測された活性化値が、前記ニューロンの状態と前記ニューロンへの入力とに少なくとも部分的に基づく、請求項1に記載の方法。
- 前記ニューロンの前記状態が、以前の状態、入力値、出力値、予測された活性化値、および対象となる活性化値のうちの少なくとも1つに基づいて更新される、請求項17に記載の方法。
- 前記ニューロンの前記状態が、入力履歴、出力履歴、予測された活性化値履歴、および対象となる活性化値履歴のうちの少なくとも1つを備える、請求項17に記載の方法。
- 前記予測することが、別のニューロンの状態に少なくとも部分的に基づく、請求項19に記載の方法。
- 前記予測された活性化値が、複数の以前の実際の活性化値の線形結合、または以前の入力値の線形結合に少なくとも部分的に基づく、請求項1に記載の方法。
- 前記活性化値を予測することが、前記ニューロンに提供された追加の値を使用することを備える、請求項1に記載の方法。
- 画像動き推定に少なくとも部分的に基づいて、前記追加の値を計算することをさらに備える、請求項22に記載の方法。
- 前記追加の値が別のニューロンからのフィードバック信号を備える、請求項22に記載の方法。
- ニューラルネットワークにおいて差分符号化を実行するための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサとを備え、前記少なくとも1つのプロセッサが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測し、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化する
ように構成される、装置。 - スパイキングニューラルネットワークにおいて差分符号化を実行するための装置であって、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するための手段と、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するための手段と
を備える、装置。 - スパイキングニューラルネットワークにおいて差分符号化を実行するためのコンピュータプログラム製品であって、
プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
ニューロンの少なくとも1つの以前の活性化値に少なくとも部分的に基づいて、前記ニューラルネットワークにおける前記ニューロンの活性化値を予測するためのプログラムコードと、
前記予測された活性化値と、前記ニューラルネットワークにおける前記ニューロンの活性化値との間の差分に少なくとも部分的に基づいて値を符号化するためのプログラムコードと
を備える、コンピュータプログラム製品。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461969747P | 2014-03-24 | 2014-03-24 | |
US61/969,747 | 2014-03-24 | ||
US14/513,155 | 2014-10-13 | ||
US14/513,155 US20150269481A1 (en) | 2014-03-24 | 2014-10-13 | Differential encoding in neural networks |
PCT/US2015/021077 WO2015148189A2 (en) | 2014-03-24 | 2015-03-17 | Differential encoding in neural networks |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017516192A true JP2017516192A (ja) | 2017-06-15 |
JP2017516192A5 JP2017516192A5 (ja) | 2018-04-05 |
Family
ID=54142454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016558315A Pending JP2017516192A (ja) | 2014-03-24 | 2015-03-17 | ニューラルネットワークにおける差分符号化 |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150269481A1 (ja) |
EP (1) | EP3123404A2 (ja) |
JP (1) | JP2017516192A (ja) |
KR (1) | KR20160136381A (ja) |
CN (1) | CN107077637B (ja) |
BR (1) | BR112016022195A2 (ja) |
WO (1) | WO2015148189A2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020095848A1 (ja) * | 2018-11-06 | 2020-05-14 | 株式会社 東芝 | 製品状態推定装置 |
JP2021515283A (ja) * | 2017-12-19 | 2021-06-17 | インテル コーポレイション | スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法 |
JP2022502727A (ja) * | 2018-09-06 | 2022-01-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 因子グラフ上での確率伝搬 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150379397A1 (en) * | 2014-06-28 | 2015-12-31 | Brainchip, Inc. | Secure voice signature communications system |
US10262259B2 (en) * | 2015-05-08 | 2019-04-16 | Qualcomm Incorporated | Bit width selection for fixed point neural networks |
US11126913B2 (en) * | 2015-07-23 | 2021-09-21 | Applied Brain Research Inc | Methods and systems for implementing deep spiking neural networks |
WO2017068490A1 (en) * | 2015-10-23 | 2017-04-27 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device and electronic device |
CN108701249B (zh) * | 2016-01-25 | 2023-04-14 | 渊慧科技有限公司 | 使用神经网络生成图像 |
US10528863B2 (en) | 2016-04-01 | 2020-01-07 | Numenta, Inc. | Feedback mechanisms in sequence learning systems with temporal processing capability |
US10949737B2 (en) * | 2016-07-13 | 2021-03-16 | Samsung Electronics Co., Ltd. | Method for neural network and apparatus performing same method |
KR102399548B1 (ko) * | 2016-07-13 | 2022-05-19 | 삼성전자주식회사 | 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치 |
US11238337B2 (en) * | 2016-08-22 | 2022-02-01 | Applied Brain Research Inc. | Methods and systems for implementing dynamic neural networks |
US20180121791A1 (en) * | 2016-11-03 | 2018-05-03 | Qualcomm Incorporated | Temporal difference estimation in an artificial neural network |
CN113537480B (zh) * | 2016-12-30 | 2024-04-02 | 上海寒武纪信息科技有限公司 | 用于执行lstm神经网络运算的装置和运算方法 |
US20190347541A1 (en) * | 2016-12-30 | 2019-11-14 | Nokia Technologies Oy | Apparatus, method and computer program product for deep learning |
CN108345939B (zh) * | 2017-01-25 | 2022-05-24 | 微软技术许可有限责任公司 | 基于定点运算的神经网络 |
US10311339B2 (en) * | 2017-02-14 | 2019-06-04 | Google Llc | Unsupervised learning techniques for temporal difference models |
JP7019138B2 (ja) * | 2017-02-28 | 2022-02-15 | 国立大学法人電気通信大学 | 符号化装置、符号化方法およびプログラム |
JP6898778B2 (ja) * | 2017-06-02 | 2021-07-07 | 株式会社日立製作所 | 機械学習システム及び機械学習方法 |
KR102410820B1 (ko) * | 2017-08-14 | 2022-06-20 | 삼성전자주식회사 | 뉴럴 네트워크를 이용한 인식 방법 및 장치 및 상기 뉴럴 네트워크를 트레이닝하는 방법 및 장치 |
US20190065962A1 (en) * | 2017-08-22 | 2019-02-28 | Syntiant | Systems And Methods For Determining Circuit-Level Effects On Classifier Accuracy |
WO2019074532A1 (en) * | 2017-10-09 | 2019-04-18 | Intel Corporation | METHOD, APPARATUS AND SYSTEM FOR PERFORMING ACTION RECOGNITION USING AN IMPULSE NEURAL NETWORK |
CN109961133B (zh) * | 2017-12-14 | 2020-04-24 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
CN111164615A (zh) * | 2017-12-15 | 2020-05-15 | 英特尔公司 | 在尖峰神经网络中使用尖峰波进行基于上下文的搜索 |
US10825201B2 (en) * | 2018-02-20 | 2020-11-03 | Lyft, Inc. | Deep direct localization from ground imagery and location readings |
KR102091498B1 (ko) * | 2018-06-11 | 2020-03-24 | 고려대학교 산학협력단 | 비지도 학습장치 및 그 학습방법 |
US11030518B2 (en) * | 2018-06-13 | 2021-06-08 | United States Of America As Represented By The Secretary Of The Navy | Asynchronous artificial neural network architecture |
SE544261C2 (en) | 2020-06-16 | 2022-03-15 | IntuiCell AB | A computer-implemented or hardware-implemented method of entity identification, a computer program product and an apparatus for entity identification |
CN113762487B (zh) * | 2021-08-17 | 2023-11-10 | 西北大学 | 基于神经架构搜索及dbn网络的脑功能网络生成方法及系统 |
WO2023167623A1 (en) * | 2022-03-02 | 2023-09-07 | IntuiCell AB | A method of providing a representation of temporal dynamics of a first system, middleware systems, a controller system, computer program products and non-transitory computer-readable storage media |
KR102593930B1 (ko) | 2023-04-18 | 2023-10-25 | 주식회사 한국스크랩 | 친환경 폐 알루미늄 박리 자동화 시스템 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT1272417B (it) * | 1993-04-29 | 1997-06-23 | Alcatel Italia | Metodo per la codifica e decodifica differenziale e relativi circuiti |
US6185548B1 (en) * | 1998-06-19 | 2001-02-06 | Albert Einstein College Of Medicine Of Yeshiva University | Neural network methods to predict enzyme inhibitor or receptor ligand potency |
US20010025232A1 (en) * | 1998-10-02 | 2001-09-27 | Klimasauskas Casimir C. | Hybrid linear-neural network process control |
US7430546B1 (en) * | 2003-06-07 | 2008-09-30 | Roland Erwin Suri | Applications of an algorithm that mimics cortical processing |
CN1622129A (zh) * | 2004-12-13 | 2005-06-01 | 中国科学院长春光学精密机械与物理研究所 | 人工神经网络的优化方法 |
JP2009516246A (ja) * | 2005-11-15 | 2009-04-16 | ベルナデット ガーナー | ニューラルネットワークのトレーニング方法 |
JP4840494B2 (ja) * | 2009-09-16 | 2011-12-21 | 沖電気工業株式会社 | 時系列データ予測ニューラルネットワーク装置 |
CN101824807A (zh) * | 2010-04-16 | 2010-09-08 | 同济大学 | 一种潮汐河流地区取水口咸潮短期预测方法 |
CN104346801B (zh) * | 2013-08-02 | 2018-07-20 | 佳能株式会社 | 图像构图评估装置、信息处理装置及其方法 |
CN103559538A (zh) * | 2013-11-12 | 2014-02-05 | 上海电机学院 | Bp神经网络结构优化方法 |
-
2014
- 2014-10-13 US US14/513,155 patent/US20150269481A1/en not_active Abandoned
-
2015
- 2015-03-17 JP JP2016558315A patent/JP2017516192A/ja active Pending
- 2015-03-17 KR KR1020167029200A patent/KR20160136381A/ko unknown
- 2015-03-17 WO PCT/US2015/021077 patent/WO2015148189A2/en active Application Filing
- 2015-03-17 BR BR112016022195A patent/BR112016022195A2/pt not_active IP Right Cessation
- 2015-03-17 EP EP15716612.5A patent/EP3123404A2/en not_active Ceased
- 2015-03-17 CN CN201580015756.6A patent/CN107077637B/zh active Active
Non-Patent Citations (1)
Title |
---|
横山裕樹、渡部修: "多階層予測符号化モデルに基づくパターンの表現", 電子情報通信学会論文誌, vol. 第J94-D巻, 第1号, JPN6019000391, 1 January 2011 (2011-01-01), JP, pages 384 - 394 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021515283A (ja) * | 2017-12-19 | 2021-06-17 | インテル コーポレイション | スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法 |
JP7167151B2 (ja) | 2017-12-19 | 2022-11-08 | インテル コーポレイション | スパイキングニューラルネットワークの位相差でシナプス荷重を変化させる装置、システム及び方法 |
US11568241B2 (en) | 2017-12-19 | 2023-01-31 | Intel Corporation | Device, system and method for varying a synaptic weight with a phase differential of a spiking neural network |
JP2022502727A (ja) * | 2018-09-06 | 2022-01-11 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 因子グラフ上での確率伝搬 |
JP7332193B2 (ja) | 2018-09-06 | 2023-08-23 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 因子グラフ上での確率伝搬 |
WO2020095848A1 (ja) * | 2018-11-06 | 2020-05-14 | 株式会社 東芝 | 製品状態推定装置 |
JP2020075385A (ja) * | 2018-11-06 | 2020-05-21 | 株式会社東芝 | 製品状態推定装置 |
JP7021052B2 (ja) | 2018-11-06 | 2022-02-16 | 株式会社東芝 | 製品状態推定装置 |
US11644825B2 (en) | 2018-11-06 | 2023-05-09 | Kabushiki Kaisha Toshiba | Product state estimation device |
Also Published As
Publication number | Publication date |
---|---|
WO2015148189A2 (en) | 2015-10-01 |
US20150269481A1 (en) | 2015-09-24 |
CN107077637B (zh) | 2021-07-20 |
KR20160136381A (ko) | 2016-11-29 |
EP3123404A2 (en) | 2017-02-01 |
WO2015148189A3 (en) | 2015-12-17 |
CN107077637A (zh) | 2017-08-18 |
BR112016022195A2 (pt) | 2017-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017516192A (ja) | ニューラルネットワークにおける差分符号化 | |
US10339447B2 (en) | Configuring sparse neuronal networks | |
US9558442B2 (en) | Monitoring neural networks with shadow networks | |
JP2017525038A (ja) | ニューラルネットワークにおける畳込み演算の分解 | |
JP2017515205A (ja) | Coldニューロンスパイクタイミングバックプロバゲーション | |
JP2017513127A (ja) | スパイキング深層信念ネットワーク(dbn)におけるトレーニング、認識、および生成 | |
JP2017509982A (ja) | 原位置ニューラルネットワークコプロセッシング | |
JP2017515189A (ja) | 写真管理 | |
JP6092477B2 (ja) | ニューラルダイナミクスを修正するための自動化された方法 | |
JP2017509978A (ja) | 確率論的スパイキングベイジアンネットワークに関する事象に基づく推論および学習 | |
JP2017519268A (ja) | スパイキングニューラルネットワークにおけるグローバルスカラ値によって可塑性を調節すること | |
JP2017514215A (ja) | スパイキングニューラルネットワークを使用する画像の不変オブジェクト表現 | |
US10552734B2 (en) | Dynamic spatial target selection | |
JP2016538633A (ja) | 多次元範囲にわたって分離可能なサブシステムを含むシステムの評価 | |
JP6133517B2 (ja) | 座標変換のための位相コーディング | |
JP6193509B2 (ja) | 可塑性シナプス管理 | |
JP6219509B2 (ja) | シナプス遅延を動的に割り当てることおおよび検査すること | |
JP6096388B2 (ja) | ニューラルネットワークモデルにおけるドップラー効果処理 | |
JP2017513110A (ja) | ニューロモーフィックモデル開発のためのコンテキストリアルタイムフィードバック | |
JP2017509956A (ja) | 値をスパイクに変換するための方法 | |
JP2017509979A (ja) | 空間ターゲット選択のためのアンバランスな交差抑制メカニズム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180223 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190115 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190806 |