JP2017515205A5 - - Google Patents

Download PDF

Info

Publication number
JP2017515205A5
JP2017515205A5 JP2016558319A JP2016558319A JP2017515205A5 JP 2017515205 A5 JP2017515205 A5 JP 2017515205A5 JP 2016558319 A JP2016558319 A JP 2016558319A JP 2016558319 A JP2016558319 A JP 2016558319A JP 2017515205 A5 JP2017515205 A5 JP 2017515205A5
Authority
JP
Japan
Prior art keywords
neuron
weight
spike time
neurons
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016558319A
Other languages
English (en)
Other versions
JP2017515205A (ja
Filing date
Publication date
Priority claimed from US14/486,757 external-priority patent/US20150269485A1/en
Application filed filed Critical
Publication of JP2017515205A publication Critical patent/JP2017515205A/ja
Publication of JP2017515205A5 publication Critical patent/JP2017515205A5/ja
Pending legal-status Critical Current

Links

Claims (11)

  1. 各ニューロンが、マップベースの更新を受け入れ、少なくとも1つのリセット機構を有する、2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするための方法であって、前記方法は、
    前記ニューロンモデルに関するニューロン状態の更新を計算すること
    を備え、
    未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新をヒューリスティックに計算するために、スパイク時間にバックプロパゲーションを使用すること
    によって特徴付けられる、方法。
  2. 前記ニューロン状態の更新を計算することが、微分方程式の更新に少なくとも部分的に基づく、請求項1に記載の方法。
  3. 前記少なくとも1つのリセット機構が、しきい値に少なくとも部分的に基づいてリセットをトリガする、請求項1に記載の方法。
  4. 前記重みの更新が、前記出力スパイク時間に少なくとも部分的に基づいて、前記少なくとも1つの第1の層のニューロンに関する少なくとも1つの重みを修正することを備える、請求項1に記載の方法。
  5. 前記重みの更新を計算することが、前記人工ニューラルネットワークにおける前記少なくとも1つの第1の層のニューロンのスパイク時間の前記ニューロン状態に少なくとも部分的に基づいて誤差項を追加することを含む、請求項1に記載の方法。
  6. 前記ニューロン状態と前記スパイク時間とが同じニューロンのものである、請求項に記載の方法。
  7. 前記第2の層のニューロンがスパイクしない場合、または前記第2の層のニューロンが所望の出力スパイク時間の後にスパイクする場合、前記重みの更新がデフォルト更新値を備える、請求項1に記載の方法。
  8. 計算された勾配がしきい値を超える場合、前記計算された勾配を正規化することをさらに備える、請求項1に記載の方法。
  9. ニューロン状態の更新を計算することが、閉形式解に少なくとも部分的に基づいてニューロン状態の更新を算出することを備える、請求項に記載の方法。
  10. 2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするための装置であって、
    マップベースの更新と、ニューロン状態をリセットするための少なくとも1つのリセット機構とを有するニューロンモデルに関するニューロン状態の更新を計算するための手段
    を備え、
    未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新をヒューリスティックに計算するために、スパイク時間にバックプロパゲーションを使用するための手段
    によって特徴付けられる、装置。
  11. プロセッサによって実行されると、2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするために使用され得るプログラムコードを符号化した非一時的コンピュータ可読媒体であって、前記プログラムコードは、
    マップベースの更新と、ニューロン状態をリセットするための少なくとも1つのリセット機構とを有するニューロンモデルに関するニューロン状態の更新を計算するためのプログラムコード
    を備え、
    未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新を計算するために、スパイク時間にバックプロパゲーションを使用するためのプログラムコード
    によって特徴付けられる、非一時的コンピュータ可読媒体。
JP2016558319A 2014-03-24 2015-03-18 Coldニューロンスパイクタイミングバックプロバゲーション Pending JP2017515205A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461969752P 2014-03-24 2014-03-24
US61/969,752 2014-03-24
US14/486,757 2014-09-15
US14/486,757 US20150269485A1 (en) 2014-03-24 2014-09-15 Cold neuron spike timing back-propagation
PCT/US2015/021326 WO2015148224A2 (en) 2014-03-24 2015-03-18 Cold neuron spike timing back propagation

Publications (2)

Publication Number Publication Date
JP2017515205A JP2017515205A (ja) 2017-06-08
JP2017515205A5 true JP2017515205A5 (ja) 2018-04-05

Family

ID=54142458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016558319A Pending JP2017515205A (ja) 2014-03-24 2015-03-18 Coldニューロンスパイクタイミングバックプロバゲーション

Country Status (7)

Country Link
US (1) US20150269485A1 (ja)
EP (1) EP3123402A2 (ja)
JP (1) JP2017515205A (ja)
KR (1) KR20160136364A (ja)
CN (1) CN107077636A (ja)
TW (1) TW201602807A (ja)
WO (1) WO2015148224A2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198689B2 (en) 2014-01-30 2019-02-05 Hrl Laboratories, Llc Method for object detection in digital image and video using spiking neural networks
US9984326B1 (en) * 2015-04-06 2018-05-29 Hrl Laboratories, Llc Spiking neural network simulator for image and video processing
US9934437B1 (en) 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for real-time collision detection
US9933264B2 (en) 2015-04-06 2018-04-03 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
US11126913B2 (en) * 2015-07-23 2021-09-21 Applied Brain Research Inc Methods and systems for implementing deep spiking neural networks
US10713562B2 (en) * 2016-06-18 2020-07-14 International Business Machines Corporation Neuromorphic memory circuit
US11238337B2 (en) * 2016-08-22 2022-02-01 Applied Brain Research Inc. Methods and systems for implementing dynamic neural networks
US9779355B1 (en) 2016-09-15 2017-10-03 International Business Machines Corporation Back propagation gates and storage capacitor for neural networks
US10846595B2 (en) * 2016-12-20 2020-11-24 Intel Corporation Rapid competitive learning techniques for neural networks
US11521045B2 (en) 2017-06-14 2022-12-06 Knowm, Inc. Anti-Hebbian and Hebbian (AHAH) computing
EP3502974A1 (de) * 2017-12-20 2019-06-26 Siemens Aktiengesellschaft Verfahren zur realisierung eines neuronalen netzes
KR102603287B1 (ko) * 2018-01-11 2023-11-20 한국전자통신연구원 뉴로모픽 시스템 및 그것의 동작 방법
FR3087560A1 (fr) * 2018-10-23 2020-04-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Retro-propagation d'erreurs sous forme impulsionnelle dans un reseau de neurones impulsionnels
US11640522B2 (en) 2018-12-13 2023-05-02 Tybalt, Llc Computational efficiency improvements for artificial neural networks
KR102311135B1 (ko) * 2019-03-07 2021-10-14 고려대학교 산학협력단 스파이킹 뉴럴 네트워크에 대한 연산량을 감소시키는 stdp 기반의 뉴로모픽 연산처리장치
US20200401876A1 (en) * 2019-06-24 2020-12-24 Washington University Method for designing scalable and energy-efficient analog neuromorphic processors
KR102431371B1 (ko) * 2019-11-26 2022-08-10 성균관대학교산학협력단 스파이킹 뉴런 모델 및 그의 스파이크 생성 방법
CN112884141B (zh) * 2021-04-16 2022-10-21 安徽大学 一种忆阻耦合Hindmarsh-Rose神经元电路
CN113408618B (zh) * 2021-06-18 2023-04-18 电子科技大学 一种基于R-Multi-parameter PBSNLR模型的图像分类方法
CN115100458B (zh) * 2022-06-02 2024-07-02 西安电子科技大学 一种图像分类方法以及相关装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918352B2 (en) * 2011-05-23 2014-12-23 Microsoft Corporation Learning processes for single hidden layer neural networks with linear output units
US9147155B2 (en) * 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9111224B2 (en) * 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US9111225B2 (en) * 2012-02-08 2015-08-18 Qualcomm Incorporated Methods and apparatus for spiking neural computation
US20140074761A1 (en) * 2012-05-30 2014-03-13 Qualcomm Incorporated Dynamical event neuron and synapse models for learning spiking neural networks
US20130325767A1 (en) * 2012-05-30 2013-12-05 Qualcomm Incorporated Dynamical event neuron and synapse models for learning spiking neural networks
US9256823B2 (en) * 2012-07-27 2016-02-09 Qualcomm Technologies Inc. Apparatus and methods for efficient updates in spiking neuron network
US9256215B2 (en) * 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US9489623B1 (en) * 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network

Similar Documents

Publication Publication Date Title
JP2017515205A5 (ja)
JP2017513127A5 (ja)
WO2015148190A3 (en) Training, recognition, and generation in a spiking deep belief network (dbn)
JP2017525038A5 (ja)
HRP20201935T1 (hr) Postupci i uređaj za distribuiranu bazu podataka unutar mreže
JP2019204484A5 (ja)
JP2018005541A5 (ja)
WO2013181637A3 (en) Neural network learning and collaboration apparatus and methods
JP2016523402A5 (ja)
JP2017519282A5 (ja)
WO2015148224A3 (en) Cold neuron spike timing back propagation
JP2018151876A5 (ja)
WO2013170036A3 (en) Method and apparatus for strategic synaptic failure and learning in spiking neural networks
Erkaymaz et al. Impact of small-world topology on the performance of a feed-forward artificial neural network based on 2 different real-life problems
WO2015156989A3 (en) Modulating plasticity by global scalar values in a spiking neural network
WO2013181109A3 (en) Dynamical event neuron and synapse models for learning spiking neural networks
WO2015153150A3 (en) Probabilistic representation of large sequences using spiking neural network
JP2020027399A5 (ja)
CN109155001A (zh) 基于脉冲神经网络的信号处理方法和装置
Zhang et al. Adaptive network traffic prediction algorithm based on bp neural network
Gora et al. Approximating traffic simulation using neural networks and its application in traffic optimization
Goodfellow Piecewise linear multilayer perceptrons and dropout
Morris et al. Temporal Exponential Random Graph Models (TERGMs) for dynamic network modeling in statnet
EA201001533A1 (ru) Модель линейной нейронной сети на основе метрических методов распознавания (варианты)
WO2015148060A3 (en) Time synchronization of spiking neuron models on multiple nodes