JP2017515205A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017515205A5 JP2017515205A5 JP2016558319A JP2016558319A JP2017515205A5 JP 2017515205 A5 JP2017515205 A5 JP 2017515205A5 JP 2016558319 A JP2016558319 A JP 2016558319A JP 2016558319 A JP2016558319 A JP 2016558319A JP 2017515205 A5 JP2017515205 A5 JP 2017515205A5
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- weight
- spike time
- neurons
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002569 neurons Anatomy 0.000 claims 30
- 230000000946 synaptic Effects 0.000 claims 9
- 230000001537 neural Effects 0.000 claims 5
Claims (11)
- 各ニューロンが、マップベースの更新を受け入れ、少なくとも1つのリセット機構を有する、2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするための方法であって、前記方法は、
前記ニューロンモデルに関するニューロン状態の更新を計算すること
を備え、
未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新をヒューリスティックに計算するために、スパイク時間にバックプロパゲーションを使用すること
によって特徴付けられる、方法。 - 前記ニューロン状態の更新を計算することが、微分方程式の更新に少なくとも部分的に基づく、請求項1に記載の方法。
- 前記少なくとも1つのリセット機構が、しきい値に少なくとも部分的に基づいてリセットをトリガする、請求項1に記載の方法。
- 前記重みの更新が、前記出力スパイク時間に少なくとも部分的に基づいて、前記少なくとも1つの第1の層のニューロンに関する少なくとも1つの重みを修正することを備える、請求項1に記載の方法。
- 前記重みの更新を計算することが、前記人工ニューラルネットワークにおける前記少なくとも1つの第1の層のニューロンのスパイク時間の前記ニューロン状態に少なくとも部分的に基づいて誤差項を追加することを含む、請求項1に記載の方法。
- 前記ニューロン状態と前記スパイク時間とが同じニューロンのものである、請求項5に記載の方法。
- 前記第2の層のニューロンがスパイクしない場合、または前記第2の層のニューロンが所望の出力スパイク時間の後にスパイクする場合、前記重みの更新がデフォルト更新値を備える、請求項1に記載の方法。
- 計算された勾配がしきい値を超える場合、前記計算された勾配を正規化することをさらに備える、請求項1に記載の方法。
- ニューロン状態の更新を計算することが、閉形式解に少なくとも部分的に基づいてニューロン状態の更新を算出することを備える、請求項2に記載の方法。
- 2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするための装置であって、
マップベースの更新と、ニューロン状態をリセットするための少なくとも1つのリセット機構とを有するニューロンモデルに関するニューロン状態の更新を計算するための手段
を備え、
未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新をヒューリスティックに計算するために、スパイク時間にバックプロパゲーションを使用するための手段
によって特徴付けられる、装置。 - プロセッサによって実行されると、2つ以上の層における複数のColdニューロンと、シナプス結合のネットワークにおける各シナプス結合が重みを有する、前記複数のニューロンを結合する前記シナプス結合のネットワークとを備える人工ニューラルネットワークをトレーニングするために使用され得るプログラムコードを符号化した非一時的コンピュータ可読媒体であって、前記プログラムコードは、
マップベースの更新と、ニューロン状態をリセットするための少なくとも1つのリセット機構とを有するニューロンモデルに関するニューロン状態の更新を計算するためのプログラムコード
を備え、
未定義またはゼロの勾配を有する第2の層のニューロンの出力スパイク時間を調整するために少なくとも1つの第1の層のニューロンに関する重みの更新を計算するために、スパイク時間にバックプロパゲーションを使用するためのプログラムコード
によって特徴付けられる、非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461969752P | 2014-03-24 | 2014-03-24 | |
US61/969,752 | 2014-03-24 | ||
US14/486,757 | 2014-09-15 | ||
US14/486,757 US20150269485A1 (en) | 2014-03-24 | 2014-09-15 | Cold neuron spike timing back-propagation |
PCT/US2015/021326 WO2015148224A2 (en) | 2014-03-24 | 2015-03-18 | Cold neuron spike timing back propagation |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017515205A JP2017515205A (ja) | 2017-06-08 |
JP2017515205A5 true JP2017515205A5 (ja) | 2018-04-05 |
Family
ID=54142458
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016558319A Pending JP2017515205A (ja) | 2014-03-24 | 2015-03-18 | Coldニューロンスパイクタイミングバックプロバゲーション |
Country Status (7)
Country | Link |
---|---|
US (1) | US20150269485A1 (ja) |
EP (1) | EP3123402A2 (ja) |
JP (1) | JP2017515205A (ja) |
KR (1) | KR20160136364A (ja) |
CN (1) | CN107077636A (ja) |
TW (1) | TW201602807A (ja) |
WO (1) | WO2015148224A2 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10198689B2 (en) | 2014-01-30 | 2019-02-05 | Hrl Laboratories, Llc | Method for object detection in digital image and video using spiking neural networks |
US9984326B1 (en) * | 2015-04-06 | 2018-05-29 | Hrl Laboratories, Llc | Spiking neural network simulator for image and video processing |
US9934437B1 (en) | 2015-04-06 | 2018-04-03 | Hrl Laboratories, Llc | System and method for real-time collision detection |
US9933264B2 (en) | 2015-04-06 | 2018-04-03 | Hrl Laboratories, Llc | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation |
US11126913B2 (en) * | 2015-07-23 | 2021-09-21 | Applied Brain Research Inc | Methods and systems for implementing deep spiking neural networks |
US10713562B2 (en) * | 2016-06-18 | 2020-07-14 | International Business Machines Corporation | Neuromorphic memory circuit |
US11238337B2 (en) * | 2016-08-22 | 2022-02-01 | Applied Brain Research Inc. | Methods and systems for implementing dynamic neural networks |
US9779355B1 (en) | 2016-09-15 | 2017-10-03 | International Business Machines Corporation | Back propagation gates and storage capacitor for neural networks |
US10846595B2 (en) * | 2016-12-20 | 2020-11-24 | Intel Corporation | Rapid competitive learning techniques for neural networks |
US11521045B2 (en) | 2017-06-14 | 2022-12-06 | Knowm, Inc. | Anti-Hebbian and Hebbian (AHAH) computing |
EP3502974A1 (de) * | 2017-12-20 | 2019-06-26 | Siemens Aktiengesellschaft | Verfahren zur realisierung eines neuronalen netzes |
KR102603287B1 (ko) * | 2018-01-11 | 2023-11-20 | 한국전자통신연구원 | 뉴로모픽 시스템 및 그것의 동작 방법 |
FR3087560A1 (fr) * | 2018-10-23 | 2020-04-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Retro-propagation d'erreurs sous forme impulsionnelle dans un reseau de neurones impulsionnels |
US11640522B2 (en) | 2018-12-13 | 2023-05-02 | Tybalt, Llc | Computational efficiency improvements for artificial neural networks |
KR102311135B1 (ko) * | 2019-03-07 | 2021-10-14 | 고려대학교 산학협력단 | 스파이킹 뉴럴 네트워크에 대한 연산량을 감소시키는 stdp 기반의 뉴로모픽 연산처리장치 |
US20200401876A1 (en) * | 2019-06-24 | 2020-12-24 | Washington University | Method for designing scalable and energy-efficient analog neuromorphic processors |
KR102431371B1 (ko) * | 2019-11-26 | 2022-08-10 | 성균관대학교산학협력단 | 스파이킹 뉴런 모델 및 그의 스파이크 생성 방법 |
CN112884141B (zh) * | 2021-04-16 | 2022-10-21 | 安徽大学 | 一种忆阻耦合Hindmarsh-Rose神经元电路 |
CN113408618B (zh) * | 2021-06-18 | 2023-04-18 | 电子科技大学 | 一种基于R-Multi-parameter PBSNLR模型的图像分类方法 |
CN115100458B (zh) * | 2022-06-02 | 2024-07-02 | 西安电子科技大学 | 一种图像分类方法以及相关装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8918352B2 (en) * | 2011-05-23 | 2014-12-23 | Microsoft Corporation | Learning processes for single hidden layer neural networks with linear output units |
US9147155B2 (en) * | 2011-08-16 | 2015-09-29 | Qualcomm Incorporated | Method and apparatus for neural temporal coding, learning and recognition |
US9111224B2 (en) * | 2011-10-19 | 2015-08-18 | Qualcomm Incorporated | Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks |
US9111225B2 (en) * | 2012-02-08 | 2015-08-18 | Qualcomm Incorporated | Methods and apparatus for spiking neural computation |
US20140074761A1 (en) * | 2012-05-30 | 2014-03-13 | Qualcomm Incorporated | Dynamical event neuron and synapse models for learning spiking neural networks |
US20130325767A1 (en) * | 2012-05-30 | 2013-12-05 | Qualcomm Incorporated | Dynamical event neuron and synapse models for learning spiking neural networks |
US9256823B2 (en) * | 2012-07-27 | 2016-02-09 | Qualcomm Technologies Inc. | Apparatus and methods for efficient updates in spiking neuron network |
US9256215B2 (en) * | 2012-07-27 | 2016-02-09 | Brain Corporation | Apparatus and methods for generalized state-dependent learning in spiking neuron networks |
US9489623B1 (en) * | 2013-10-15 | 2016-11-08 | Brain Corporation | Apparatus and methods for backward propagation of errors in a spiking neuron network |
-
2014
- 2014-09-15 US US14/486,757 patent/US20150269485A1/en not_active Abandoned
-
2015
- 2015-03-18 JP JP2016558319A patent/JP2017515205A/ja active Pending
- 2015-03-18 EP EP15716220.7A patent/EP3123402A2/en not_active Withdrawn
- 2015-03-18 CN CN201580015733.5A patent/CN107077636A/zh active Pending
- 2015-03-18 WO PCT/US2015/021326 patent/WO2015148224A2/en active Application Filing
- 2015-03-18 KR KR1020167028997A patent/KR20160136364A/ko unknown
- 2015-03-20 TW TW104109017A patent/TW201602807A/zh unknown
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017515205A5 (ja) | ||
JP2017513127A5 (ja) | ||
WO2015148190A3 (en) | Training, recognition, and generation in a spiking deep belief network (dbn) | |
JP2017525038A5 (ja) | ||
HRP20201935T1 (hr) | Postupci i uređaj za distribuiranu bazu podataka unutar mreže | |
JP2019204484A5 (ja) | ||
JP2018005541A5 (ja) | ||
WO2013181637A3 (en) | Neural network learning and collaboration apparatus and methods | |
JP2016523402A5 (ja) | ||
JP2017519282A5 (ja) | ||
WO2015148224A3 (en) | Cold neuron spike timing back propagation | |
JP2018151876A5 (ja) | ||
WO2013170036A3 (en) | Method and apparatus for strategic synaptic failure and learning in spiking neural networks | |
Erkaymaz et al. | Impact of small-world topology on the performance of a feed-forward artificial neural network based on 2 different real-life problems | |
WO2015156989A3 (en) | Modulating plasticity by global scalar values in a spiking neural network | |
WO2013181109A3 (en) | Dynamical event neuron and synapse models for learning spiking neural networks | |
WO2015153150A3 (en) | Probabilistic representation of large sequences using spiking neural network | |
JP2020027399A5 (ja) | ||
CN109155001A (zh) | 基于脉冲神经网络的信号处理方法和装置 | |
Zhang et al. | Adaptive network traffic prediction algorithm based on bp neural network | |
Gora et al. | Approximating traffic simulation using neural networks and its application in traffic optimization | |
Goodfellow | Piecewise linear multilayer perceptrons and dropout | |
Morris et al. | Temporal Exponential Random Graph Models (TERGMs) for dynamic network modeling in statnet | |
EA201001533A1 (ru) | Модель линейной нейронной сети на основе метрических методов распознавания (варианты) | |
WO2015148060A3 (en) | Time synchronization of spiking neuron models on multiple nodes |