CN103201610A - 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络 - Google Patents

带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络 Download PDF

Info

Publication number
CN103201610A
CN103201610A CN2011800524548A CN201180052454A CN103201610A CN 103201610 A CN103201610 A CN 103201610A CN 2011800524548 A CN2011800524548 A CN 2011800524548A CN 201180052454 A CN201180052454 A CN 201180052454A CN 103201610 A CN103201610 A CN 103201610A
Authority
CN
China
Prior art keywords
circuit
simulation
cynapse
digital
chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800524548A
Other languages
English (en)
Other versions
CN103201610B (zh
Inventor
D·S·莫德哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103201610A publication Critical patent/CN103201610A/zh
Application granted granted Critical
Publication of CN103201610B publication Critical patent/CN103201610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的实施例提供神经形态-突触器系统，其中包括神经形态-突触器电路，其实现带有使用模拟学习的突触权重的脉冲神经网络。一个实施例包括模拟脉冲神经网络以产生通过模拟学习的突触权重，同时保持所述模拟与数字电路芯片之间的一一对应。所学习的突触权重被加载到实现脉冲神经网络的数字电路芯片中，所述数字电路芯片包括神经形态-突触器脉冲神经网络，所述脉冲神经网络包括互连多个数字神经元的多个突触器件。

Description

带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
本发明在政府支持之下，使用美国国防部先进研究项目局(DARPA)奖励的HR0011-09-C-0002创作。政府对本发明拥有一定权利。
背景技术
本发明涉及神经形态(neuromorphic)和突触器(synapatronic)系统，更具体地说，本发明涉及实现脉冲神经网络的低功率、超高密度神经形态-突触器电路芯片。
神经形态-突触器系统——也称为人工神经网络——是允许电子系统基本上以类似于生物大脑的方式工作的计算系统。神经形态-突触器系统一般不使用处理0和1的传统数字模型。相反，神经形态-突触器系统创建处理元件之间的连接，这些处理元件的功能基本等同于生物大脑中的神经元。神经形态-突触器系统可以由各种关于生物神经元和突触建模的电子电路组成。
在生物系统中，一个神经元轴突和另一神经元上的树突之间的触点被称为突触，相对于突触而言，两个神经元分别被称为前突触和后突触，我们的个人经验本质存储在突触的传导中。
发明内容
本发明的实施例提供神经形态-突触器系统，其中包括神经形态-突触器电路，其实现带有使用模拟学习的突触权重的脉冲神经网络。一个实施例提供一种方法，包括模拟脉冲神经网络以产生通过模拟学习的突触权重。所学习的突触权重被加载到实现脉冲神经网络的神经形态-突触器电路芯片中。
在所述芯片与所述模拟之间保持一一对应。所述一一对应通过以下方式实现：使用数字集成-发射神经元，以及位于互连所述数字神经元的互连网络的交叉接头上的离散值突触器件实现所述脉冲神经网络，将所述芯片的物理和逻辑互连性约束集成到所述模拟中，以及消除所述芯片上的所有随机性或非确定性源。所述芯片的架构实现低功率并具有小型化规格。
在另一实施例中，一种设备包括：实现带有使用模拟学习的突触权重的脉冲神经网络的神经形态-突触器电路芯片。所述脉冲神经网络包括位于互连所述数字电子神经元的互连网络的交叉接头上的突触。通过互连性保持所述模拟与所述芯片之间的一一对应，其中所学习的突触权重被加载到所述芯片中。
通过参考下面的描述，所附权利要求和附图，可以理解本发明的这些和其它特征、方面和优点。
附图说明
图1A示出根据本发明的实施例包括实现带有使用模拟学习的突触权重的脉冲神经网络的数字电子神经元的神经形态-突触器系统的图表；
图1B示出根据本发明的实施例的模拟与神经形态-突触器电路芯片之间的相互关系对应；
图2示出根据本发明的实施例在交叉体(crossbar)互连网络中包括多个神经形态-突触器电路芯片构建模块的神经形态-突触器网络的图表；
图3A示出根据本发明的实施例在第一配置中包括多个神经形态-突触器电路芯片构建模块的神经形态-突触器网络的图表；
图3B示出根据本发明的实施例在第二配置中包括多个神经形态-突触器电路芯片构建模块的神经形态-突触器网络的图表；
图3C示出根据本发明的实施例在第三配置中包括多个神经形态-突触器电路芯片构建模块的神经形态-突触器网络的图表；
图4示出根据本发明的实施例在交叉绗缝(cross-quilt)互连网络中包括多个神经形态-突触器电路芯片构建模块的神经形态-突触器网络的图表；
图5示出根据本发明的实施例模拟脉冲神经网络以产生通过模拟学习的信息，以及将所学习的信息加载到包括数字电子电路的数字芯片中的过程的流程图；
图6示出根据本发明的实施例模拟脉冲神经网络以产生通过模拟学习的信息，以及将所学习的信息加载到包括数字电子电路的数字芯片中的系统的图表；以及
图7示出用于实现本发明的一个实施例的信息处理系统的高级框图。
具体实施方式
本发明的实施例提供神经形态-突触器(neuromorphic-synaptronic)系统，其中包括实现带有使用模拟学习的突触权重的脉冲神经网络(spikingneural network)的神经形态-突触器电路。
一个实施例包括模拟脉冲神经网络以产生通过模拟学习的突触权重。所学习的突触权重被加载(编码)到实现脉冲神经网络的神经形态-突触器电路芯片中。在一个实施例中，电路芯片的架构提供可减小电源消耗以及形状因子的脉冲神经网络。
在一个实施例中，一种形成数字电路芯片架构的过程包括保持电路芯片与模拟之间的一一对应。在一个实施例中，所述一一对应通过以下方式实现：在包括数字集成-发射神经元，以及位于互连数字电子神经元(数字神经元)的互连网络的交叉接头上的离散值突触器件(突触)的电路芯片中实现脉冲神经网络，将芯片的物理和逻辑互连性约束集成到模拟中，以及基本消除芯片上的所有随机性或非确定性源。
根据本发明的实施例，一种电子神经元包括含有数字电子模块的数字电子神经元。因此，本文对神经元或电子神经元的所有提及均指示根据本发明的实施例的数字电子神经元。每个此类神经元具有导电树突，其负责将输入传递到神经元的本体或神经元胞体模块。每个神经元进一步具有导电轴突，其负责每当神经元发射脉冲信号时传递输出。神经元的神经元胞体模块包括被配置为提供功能(例如，基于刺激做出判定)的数字电路，其中神经元胞体模块通常与树突连接。一般而言，根据本发明的实施例，脉冲神经元将在其接收的输入超过阈值时“发射”(发射脉冲)。
根据本发明的实施例，在计算系统上实现的脉冲神经网络模拟器学习突触权重。带有所学习的权重的脉冲神经网络在低功率、紧凑型实时神经形态-突触器数字硬件系统(例如数字电路)中实现，所述数字硬件系统不需板上学习并使用存储元件实现电子突触。图1A示出根据本发明的实施例的神经形态-突触器数字系统实施例的图表。
神经形态-突触器数字系统实现电路(芯片)50，其包括与交叉体12相连的数字电子神经元51。交叉体12包括轴突26、树突34和位于每个轴突26和每个树突34的交叉接头上的突触31。因此，轴突26与树突34之间的每个连接通过突触31形成。突触31所在的接头在本文中被称为交叉接头。在一个实例中，交叉体阵列12的间距可以在大约0.1nm至10μm的范围内。用于设置/复位的电路37是用于将所学习的突触权重加载到芯片中的周边电子装置。异步仲裁模块39用于在一定时间间隔内按顺序激活每个轴突26。
根据本发明的实施例，每个突触31具有定义突触31的功能行为的参数(例如使用模拟学习的突触权重)。因此，突触31的突触权重影响突触31的功能行为。此类通过模拟学习并加载到数字电路中的突触权重定义电路上突触的功能。来自电路上数字神经元的脉冲信号跨连接的突触31创建电压偏置，从而导致电流流向下游神经元。该电流的大小基于每对神经元之间突触31的突触权重(导电量)。电流的大小或其它感应机制用于确定地读取电路上突触31的突触权重。在一个实例中，接口模块对突触权重编程，以便交叉体12中的每个突触31具有根据对应的突触权重影响(例如，编程)突触31的功能行为(例如，导电性)的突触权重(例如，“0”指示突触31不导电，“1”指示突触31导电)。
在本发明的一个实施例中，构建模块电路芯片50包括实现带有使用模拟学习的突触权重的脉冲神经网络的低功率、超高密度神经形态-突触器电路。诸如超级计算机系统之类的计算机系统上的脉冲神经网络模拟器学习或者计算突触权重。然后，带有所学习或计算的权重的脉冲神经网络在低功率、紧凑型实时电路芯片50中实现。
如图1B中的相互关系实例所示，保持模拟与电路芯片50之间的一一(1:1)对应。在一个实施例中，模拟器在学习期间利用实数表示突触权重，但在学习之后，突触权重采取二进制(离散值)形式以加载到电路芯片50中。模拟器可以针对每个数字电子神经元使用不同的参数，例如发射阈值等。参数被编程到电路芯片50中。在电路芯片50上，每个数字电子神经元51单独实现以实现平行化。在一个实施例中，使用标准的传统存储技术将所学习的权重加载到电路芯片50中(例如，图1A中用于设置/复位的电路37)。
对于模拟中使用的学习规则或策略没有任何限制。模拟器例如可以使用时序依赖突触可塑性(STDP)、强化学习等。强化学习(RL)一般包括根据操作结果学习，其中RL模块根据过去的事件选择操作。RL模块接收的强化信号会被赋值(例如，数值)，该值指示操作成功。RL模块然后学习选择增加一段时间内数值的操作。在一个实施例中，模拟可通过算法方式而非学习来计算权重。
在一个实施例中，数字电子神经元51之间的片上连接性(互连)可以包括使用交叉体(或交叉绗缝)互连网络实现的硬连线与通过地址事件实现的软连线的组合。模拟通过硬连线和软连线约束保持一一等价关系。最终学习的模拟也提供软连线地址。
在一个实施例中，电路芯片50上的软连线使用非确定性(例如，地址事件表示(AER))地址事件实现。针对模拟中的复制，模拟器通过集成每个轴突延迟的随机偏移来集成非确定性。模拟将约束作为突触的随机性进行集成以解释突触产出。地址事件表示(AER)元素模块28便利多个电路芯片50之间的通信，如下面参考图2进一步描述的那样。
一般而言，诸如交叉体或交叉绗缝架构之类的互连网络12可以包括电路芯片50中位于N个轴突26和N个树突24的交叉接头上的突触31的矩形阵列或正方形N x N阵列。
根据本发明的实施例，电子神经元51使用数字、同步方案实现。当电子神经元51发射时，所有值(N)在树突34上并行读取，其中电子神经元状态以指定分辨率更新，并且每个神经元实现轴突延迟。如在此使用的那样，术语“当”可以表示信号在神经元发射之后立即发出，也可以表示在神经元发射之后的一段时间发出。
在一个实施例中，数字电子神经元包括数字、同步设计，其中在一个实例中，每个神经元的状态以大约0.1msec至1msec的分辨率更新。具体而言，在一个实例中，与互连网络12相连的神经元51的状态以大约0.1msec至1msec的分辨率更新，从而需要数字计时模块67产生1至10kHz的时钟频率。因此，1msec的每个时间步长被分为N个步长，从而需要最终的时钟频率为N至10*N KHz。例如，当N=512时，时钟频率将为512kHz值5.12MHz。N的其它实例值包括32、64、128、256、1024，其中256为优选实施例。
电路芯片50可以使用支持并行读取行的存储元件实现突触31，这些存储元件包括SRAM、DRAM、EDRAM、PCM、MTJ、FLASH、eFuse或任何此类易失性或非易失性存储技术。在一个实例中，假设当神经元51发射时，在树突34上并行读取与神经元51相连的N个突触31持有的全部N个值。
根据本发明的实施例，电路芯片50可以包括抑制性电子神经元。在一个实例中，五分之一的神经元为抑制性神经元。抑制性神经元在时间步长的特定部分发射。替代地，抑制性神经元可以发射稍有不同的读取序列。
一般而言，刺激性脉冲电子神经元使其目标神经元更容易发射，而抑制性脉冲电子神经元使其目标发射的可能性降低。可使用脉冲电子神经元的各种实现。一般而言，此类神经元包括当接收来自源刺激性神经元的输入时增加，当接收来自源抑制性神经元的输入时减小的计数器。增加或减少量取决于源神经元到目标神经元的连接强度。如果计数器达到特定阈值，神经元便会产生自己的脉冲(即，发射)，并且计数器复位到基线值。
图2示出根据本发明的实施例包括多个电路芯片块50的神经形态-突触器电路芯片60的实施例的图表。在一个实例中，每个芯片块50中的数字电子神经元51以1kHz至10KHz的时钟频率执行同步操作。
电路芯片60进一步包括被配置为提供定址功能和选择性地互连AER元件模块28的AER互连模块66。尽管未示出，每个“去往AER”元件模块28通过在块50之间提供软连线的AER互连模块66连接到“来自AER”元件模块28。每个块50中的交叉体12在其中提供硬连线。
根据本发明的实施例，电路芯片60进一步包括被配置为编程突触31、神经元51和连接性12的接口模块68。具体而言，接口模块68提供在模拟中学习的突触31的权重的编程。例如，接口模块68对突触权重编程，以便交叉体12中的每个突触31具有值0或1。在每个芯片块50中，每个交叉体12具有9个突触31，整个芯片阵列60具有81个突触31。电路芯片60中具有27个神经元(即，每个交叉体12具有3个神经元51)。通过模拟学习的神经元参数(例如，发射阈值等)被编程到电路芯片60中。进一步地，存在27个由AER66编程的软连线地址。
如图2所示，响应于从刺激接口65进入电路60的刺激信号，读出接口63读取电路60中神经元51的发射活动(例如，神经元发射的活动等)。在一个应用实例中，电路芯片60从刺激接口65上的各种传感器(未示出)接收的传感器输入，然后通过读出接口63将信号输出到致动器。
神经元51对交叉体12上的突触31和AER的访问是异步的。但是在一个实例中，对交叉体的访问可以是同步的，将需要更高的时钟频率。
图3A示出包括块50的32x32阵列的神经形态-突触器电路实例70，该阵列包括32*1024个神经元51以及1024*1024个突触31(其中“*”表示乘法运算)。
图3B示出包括块50的64x64阵列的神经形态-突触器电路实例72，该阵列包括64*4096个神经元51以及4096*4096个突触31。
图3C示出包括块50的128x128阵列的神经形态-突触器电路实例74，该阵列包括128*16,384个神经元51以及16,384*16,384个突触31。所属领域的技术人员将理解，块50的其它组合也是可能的。
图4示出根据本发明的实施例包括多个块50、AER互连模块86、用于多区室化的神经元胞体模块87和用于设计突触的接口模块88、神经元和片上互连性的神经形态-突触器电路实施例80的图表。
电路芯片80包括交叉绗缝互连网络82，其中交叉体相互缠绕。突触、神经元和连接性通过模拟结果被编程到电路芯片80中。每个神经元包括与神经元胞体相连的树突房室。神经元胞体从多个树突房室接收输入。电路80提供自然的二维感受和投射域。为实现隔离，需要针对N x N绗缝，用N倍更快的时钟(例如，当N=128时，时钟频率从128kHz增加到1.28MHz)。
在一个实施例中，数字电子神经元包括与神经元胞体模块相连的树突房室。神经元胞体用于集成从与神经元相连的突触接收的所有刺激，并且仅在超过特定阈值时以输出信号做出响应。例如，神经元胞体从多个树突房室接收输入。当神经元胞体发射时，它会将信号发射到多个轴突分支。一般而言，每个突触包含一个发送信号的神经元与一个接收信号的神经元的连接。
在一个实施例中，本发明还适用于根据以较高时钟频率对交叉体或交叉绗缝的同步访问，转移到具有板上学习的芯片。电路包括STDP设置/复位模块。根据本发明的实施例，突触31实现多个信息位。在一个实例中，根据RGB方案，突触31保持三个位，其中包括位R、位G和位B。位R用于读取，位G用于STDP设置，位B用于STDP复位。
图5示出根据本发明的实施例模拟脉冲神经网络以产生通过模拟学习的信息，以及将所学习的信息加载到包括数字电子电路的数字芯片中的过程90的流程图。过程90包括以下过程方框：
方框91：在计算机系统上实现对数字同步脉冲电子神经元的脉冲神经网络的模拟。
方框92：保持数字芯片与模拟之间的一一对应，以使用数字集成-发射神经元、位于互连数字神经元的互连网络的交叉接头上的离散值突触实现脉冲神经网络。
方框93：将有关芯片上神经元的物理互连性(即，硬连线)和逻辑互连性(即，软连线)约束的信息集成到模拟中。
方框94：将有关芯片上随机性或非确定性源的信息集成到模拟中，以减少(优选地消除全部)芯片上的随机性或非确定性源。例如，将突触产出/操作随机性的信息集成到模拟中。
方框95：产生定义通过模拟学习的突触功能的突触权重。每个突触具有定义突触功能行为的参数。这些参数可以在模拟中学习并且烧录到芯片中。芯片只能存储突触权重的离散值。模拟可以在学习期间使用实数表示突触权重，在学习之后，将突触权重转换为二进制或离散值。无论模拟策略为何，输出突触权重都是可以烧录到数字芯片中的类型。
方框96：产生定义通过模拟学习的神经元功能的参数。每个神经元具有定义神经元功能行为的参数。在模拟中学习的神经元参数可以加载和烧录到芯片中，其中每个神经元在芯片上具有单独的电路。
方框97：通过模拟，产生芯片上神经元的物理和逻辑互连性信息。
方框98：将模拟结果加载(编码)到芯片中。模拟结果包括每个突触的突触权重和每个神经元的参数。进一步地，有关包括神经元之间的片上硬连线和软连线的互连性的信息被加载到数字芯片中。芯片包括实现脉冲神经网络的神经形态-突触器数字电路。
在一个实施例中，数字电子神经元之间的片上连接性(互连)包括电子神经元之间的硬连线和软连线的组合。硬连线可使用交叉体(或交叉绗缝)互连网络实现。在一个实例中，硬连线包括轴突导电路径(轴突)和横向导电树突路径(树突)的交叉体，其中突触位于它们的每个交叉接头上。
在一个实施例中，软连线使用地址表和AER模块实现的地址事件实现。如上所述，模拟通过硬连线和软连线约束保持一一等价关系。最终学习的模拟也提供软连线地址。
图6示出根据本发明的实施例使用模拟器11模拟脉冲神经网络以产生通过模拟学习的信息(模拟结果)13，以及将所学习的信息加载到包括数字电子电路的数字芯片15中的系统10的图表。根据本发明的实施例，如上所述保持模拟之间的一一对应。优选地，模拟主要专注于芯片功能(例如，应用、有效性、实用性)，借此芯片提供功能的低功率、紧凑型实现。
本发明的实施例可以采取可从计算机可用或计算机可读介质访问的计算机模拟或程序产品的形式，所述计算机可用或计算机可读介质提供被计算机、处理设备或任何指令执行系统使用或与其结合使用的程序代码。所属技术领域的技术人员知道，本发明的各方面可以实现为系统、方法或计算机程序产品。因此，本发明的各方面可以实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，本发明的各方面还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的各方面操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
下面将参照本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其它可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。
也可以把这些计算机程序指令存储在能使得计算机、其它可编程数据处理装置、或其它设备以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令的制造品(manufacture)。
也可以把计算机程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其它可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。
图7是示出用于实现本发明的一个实施例的信息处理系统100的高级框图。根据本发明的实施例的脉冲神经网络模拟器可以使用系统100实现。
计算机系统100包括一个或多个处理器，例如处理器102。处理器102与通信基础架构104(例如，通信总线、交叉体或网络)相连。
计算机系统可以包括显示接口106，用于转发来自通信基础架构104(或来自未示出的帧缓冲区)的图形、文字和其它数据以在显示单元108上显示。计算机系统还包括主存储器110，优选地为随机存取存储器(RAM)，并且可以包括第二存储器112。第二存储器112例如可以包括硬盘驱动器114和/或可移动存储驱动器116，例如表示软盘驱动器、磁带驱动器或光盘驱动器。可移动存储驱动器116以所属领域的普通技术人员公知的方式从可移动存储单元118读取和/或写入可移动存储单元118。可移动存储单元118例如表示可由可移动存储驱动器116读写的软盘、光碟、磁带或光盘等。将理解，可移动存储单元118包括上面存储计算机软件和/或数据的计算机可读介质。
在备选实施例中，第二存储器112可以包括允许计算机程序或其它指令加载到计算机系统中的其它类似装置。此类装置例如可以包括可移动存储单元120和接口122。此类装置的实例可以包括程序封装和封装接口(例如在视频游戏设备中找到的)，可移动存储芯片(例如EPROM或PROM)和关联的插口，以及允许软件和数据从可移动存储单元120传输到计算机系统的其它可移动存储单元120和接口122。
计算机系统还可以包括通信接口124。通信接口124允许软件和数据在计算机系统和外部设备之间传输。通信接口124的实例可以包括调制解调器、网络接口(例如，以太网卡)、通信端口或PCMCIA插槽和卡等。通过通信接口124传输的软件和数据采取信号的形式，所述信号例如可以是能够被通信接口124接收的电信号、电磁信号、光信号或其它信号。这些信号通过通信路径(即，信道)126提供给通信接口124。通信路径126传输信号并可以使用电线或电缆、光纤、电话线、蜂窝电话链路、RF链路和/或其它通信信道实现。
在本文中，术语“计算机程序介质”、“计算机可用介质”和“计算机可读介质”一般用于指示介质，例如主存储器110和第二存储器112、可移动存储驱动器116和硬盘驱动器114中安装的硬盘。
计算机程序(也称为计算机控制逻辑)存储在主存储器110和/或第二存储器112中。计算机程序还可以通过通信接口124接收。此类计算机程序当运行时，可使计算机系统执行本文介绍的本发明的特征。具体而言，计算机程序当运行时，可使处理器102执行计算机系统的特征。因此，此类计算机程序表示计算机系统的控制器。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以下的权利要求中的对应结构、材料、操作以及所有功能性限定的装置或步骤的等同替换，旨在包括任何用于与在权利要求中具体指出的其它单元相组合地执行该功能的结构、材料或操作。所给出的对本发明的描述是示例性和描述性的，并非穷尽性的，并且也不限于所披露的发明内容。在不偏离本发明的范围的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。实施例的选择和描述，旨在最好地解释本发明的原理、实际应用，当适合于所构想的特定应用时，可使本技术领域的普通人员理解本发明带有各种修改的各种实施例。

Claims (23)

1.一种方法，包括：
模拟脉冲神经网络以产生通过模拟学习的突触权重，同时保持所述模拟与数字电路芯片之间的一一对应；以及
将所述学习的突触权重加载到实现脉冲神经网络的所述芯片中，所述芯片包括脉冲神经网络，所述脉冲神经网络包括多个突触器件，所述多个突触器件使用片上互连性互连多个数字神经元，其中所述突触权重影响所述突触器件的功能行为。
2.根据权利要求1的方法，进一步包括：
使用数字集成-发射神经元，以及位于互连所述数字神经元的互连网络的交叉接头上的离散值突触器件实现所述脉冲神经网络；以及
将所述芯片的物理和逻辑互连性约束集成到所述模拟中。
3.根据权利要求1的方法，其中：
保持所述模拟与数字电路芯片之间的一一对应进一步包括将有关所述芯片上所述神经元的物理互连性和逻辑互连性约束的信息集成到所述模拟中。
4.根据权利要求1的装置，其中：
保持所述模拟与数字电路芯片之间的一一对应包括将有关所述芯片上随机性或非确定性源的信息集成到所述模拟中。
5.根据权利要求1的方法，其中:
所述脉冲神经网络包括神经形态-突触器脉冲神经网络；
每个突触器件的功能行为包括所述突触器件的导电性；以及
片上互连性包括所述数字神经元的物理连接性和逻辑连接性的组合。
6.根据权利要求5的方法，其中：
所述物理连接性包括将轴突路径和树突路径的交叉体互连网络硬连线，以使所述树突路径与所述轴突路径正交，其中每个突触器件位于在树突路径与轴突路径之间相连的交叉体的交叉接头上。
7.根据权利要求6的方法，其中：
所述逻辑连接性包括软连线，所述软连线包括用于选择性地对所述数字神经元定址的地址事件表示(AER)。
8.根据权利要求1的方法，进一步包括：
产生定义通过模拟学习的每个数字神经元功能的参数；以及
将所述参数加载到所述芯片中。
9.根据权利要求1的方法，其中：
所述芯片包括不具有板上学习的低功率、超高密度芯片。
10.根据权利要求1的方法，其中：
所述突触器件包括存储元件。
11.根据权利要求1的方法，进一步包括：
在计算系统上执行所述模拟。
12.一种数字神经形态-突触器脉冲神经网络电路，包括：
多个数字神经元；
互连网络，包括多个使用电路上互连性互连数字神经元的突触器件；以及
突触器件，具有影响所述突触器件的功能行为的突触权重，其中所述突触权重通过模拟脉冲神经网络产生，同时保持所述模拟与所述电路之间的一一对应，并且所述突触权重被加载到所述电路中；
其中电路上互连性包括所述数字神经元的物理连接性和逻辑连接性的组合。
13.根据权利要求12的电路，其中：
所述电子神经元包括数字集成-发射神经元；
所述突触器件包括位于所述互连网络的交叉接头上的离散值突触存储元件；以及
所述电路的物理和逻辑互连性约束被集成到所述模拟中。
14.一种器件，包括：
数字电路，其中包括如权利要求12和13中任一项所述的神经形态-突触器脉冲神经网络。
15.根据权利要求14的电路，其中：
所述突触权重通过模拟脉冲神经网络学习，同时保持所述模拟与所述数字电路之间的一一对应，并且所述突触权重被加载到所述数字电路中。
16.根据权利要求15的电路，其中：
所述模拟与所述数字电路之间的一一对应通过将有关所述数字电路上随机性或非确定性源的信息集成到所述模拟中来保持。
17.根据权利要求15的电路，其中：
电路上互连性包括所述数字神经元的物理连接性和逻辑连接性的组合。
18.根据权利要求17的电路，其中：
所述物理连接性包括将包括轴突路径和树突路径的交叉体互连网络硬连线，以使所述树突路径与所述轴突路径正交，其中每个突触器件位于在树突路径与轴突路径之间相连的交叉体的交叉接头上。
19.根据权利要求18的电路，其中：
所述逻辑连接性包括软连线，所述软连线包括用于选择性地对所述数字神经元定址的地址事件表示(AER)。
20.根据权利要求14的电路，其中：
定义通过模拟学习的每个数字神经元功能的参数被加载到所述数字电路中。
21.根据权利要求14的电路，其中：
所述数字电路包括不具有板上学习的低功率、超高密度数字电路芯片。
22.根据权利要求14的电路，其中：
所述突触器件包括存储元件。
23.根据权利要求14的电路，其中：
所述模拟在计算系统上执行。
CN201180052454.8A 2010-10-29 2011-08-04 用于提供神经形态-突触器系统的方法和电路 Active CN103201610B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/916,332 US8515885B2 (en) 2010-10-29 2010-10-29 Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
US12/916,332 2010-10-29
PCT/EP2011/063485 WO2012055593A1 (en) 2010-10-29 2011-08-04 Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation

Publications (2)

Publication Number Publication Date
CN103201610A true CN103201610A (zh) 2013-07-10
CN103201610B CN103201610B (zh) 2016-06-29

Family

ID=44629589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180052454.8A Active CN103201610B (zh) 2010-10-29 2011-08-04 用于提供神经形态-突触器系统的方法和电路

Country Status (5)

Country Link
US (2) US8515885B2 (zh)
EP (1) EP2635889A1 (zh)
JP (1) JP5963315B2 (zh)
CN (1) CN103201610B (zh)
WO (1) WO2012055593A1 (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104376362A (zh) * 2014-11-21 2015-02-25 北京大学 用于人工神经网络的突触器件和人工神经网络
CN105095966A (zh) * 2015-07-16 2015-11-25 清华大学 人工神经网络和脉冲神经网络的混合计算系统
WO2016120739A1 (en) * 2015-01-30 2016-08-04 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
CN106295799A (zh) * 2015-05-12 2017-01-04 核工业北京地质研究院 一种深度学习多层神经网络的实现方法
CN107045649A (zh) * 2014-07-21 2017-08-15 徐志强 具有短期记忆和长期记忆的模拟神经网络
CN107111783A (zh) * 2015-01-14 2017-08-29 国际商业机器公司 神经元存储器电路
CN107408222A (zh) * 2015-03-13 2017-11-28 国际商业机器公司 神经形态突触
CN107679622A (zh) * 2017-09-06 2018-02-09 清华大学 一种面向神经网络算法的模拟感知计算架构
CN107807819A (zh) * 2017-07-20 2018-03-16 上海寒武纪信息科技有限公司 一种支持离散数据表示的用于执行人工神经网络正向运算的装置及方法
CN107924485A (zh) * 2015-09-23 2018-04-17 英特尔公司 具有基于电阻的学习规则电路的电子神经网络电路
CN107992942A (zh) * 2016-10-26 2018-05-04 上海磁宇信息科技有限公司 卷积神经网络芯片以及卷积神经网络芯片操作方法
CN108073982A (zh) * 2016-11-18 2018-05-25 上海磁宇信息科技有限公司 类脑计算系统
CN108154225A (zh) * 2016-12-06 2018-06-12 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN109165730A (zh) * 2018-09-05 2019-01-08 电子科技大学 交叉阵列神经形态硬件中状态量化网络实现方法
CN109242094A (zh) * 2016-01-20 2019-01-18 北京中科寒武纪科技有限公司 用于执行人工神经网络正向运算的装置和方法
CN109564637A (zh) * 2016-09-30 2019-04-02 国际商业机器公司 用于极端吞吐量神经网络的可扩展流突触超级计算机
CN109804384A (zh) * 2016-09-22 2019-05-24 英特尔公司 用于在神经形态计算环境中维护神经元的脉冲历史的神经形态计算设备、存储器设备、系统和方法
CN109844772A (zh) * 2016-11-09 2019-06-04 国际商业机器公司 存储器单元结构
CN109858620A (zh) * 2018-12-29 2019-06-07 北京灵汐科技有限公司 一种类脑计算系统
CN109983479A (zh) * 2016-11-18 2019-07-05 罗伯特·博世有限公司 用于计算神经网络的输出的方法
CN109993301A (zh) * 2017-12-29 2019-07-09 北京中科寒武纪科技有限公司 神经网络训练装置及相关产品
CN110059800A (zh) * 2019-01-26 2019-07-26 中国科学院计算技术研究所 脉冲神经网络转换方法及相关转换芯片
CN110543933A (zh) * 2019-08-12 2019-12-06 北京大学 基于flash存算阵列的脉冲型卷积神经网络
CN111801693A (zh) * 2018-03-06 2020-10-20 Tdk株式会社 神经网络装置、信号生成方法及程序
CN112567392A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括自旋电子谐振器的神经网络
CN113196233A (zh) * 2018-12-19 2021-07-30 ams有限公司 用模拟神经元的单个物理层实现多层神经网络
CN113378113A (zh) * 2014-12-19 2021-09-10 英特尔公司 用于人工神经网络中的分布式与协作计算的方法和装置
CN113688983A (zh) * 2021-08-09 2021-11-23 上海新氦类脑智能科技有限公司 脉冲神经网络中减少权重储存的卷积运算实现方法、电路及终端
CN115099395A (zh) * 2022-08-25 2022-09-23 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质
WO2023098449A1 (zh) * 2021-11-30 2023-06-08 北京灵汐科技有限公司 多房室神经元模型运算的装置和方法、计算机可读介质

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US20120084240A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Phase change memory synaptronic circuit for spiking computation, association and recall
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8515885B2 (en) 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US9053428B2 (en) 2011-07-21 2015-06-09 Qualcomm Incorporated Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation
FR2978271B1 (fr) * 2011-07-21 2014-03-14 Commissariat Energie Atomique Dispositif et procede de traitement de donnees
US8843425B2 (en) * 2011-07-29 2014-09-23 International Business Machines Corporation Hierarchical routing for two-way information flow and structural plasticity in neural networks
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US9111224B2 (en) * 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9208432B2 (en) 2012-06-01 2015-12-08 Brain Corporation Neural network learning and collaboration apparatus and methods
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US8924322B2 (en) * 2012-06-15 2014-12-30 International Business Machines Corporation Multi-processor cortical simulations with reciprocal connections with shared weights
US9400954B2 (en) 2012-07-30 2016-07-26 International Business Machines Corporation Multi-scale spatio-temporal neural network system
US8918351B2 (en) * 2012-07-30 2014-12-23 International Business Machines Corporation Providing transposable access to a synapse array using column aggregation
US9218564B2 (en) 2012-07-30 2015-12-22 International Business Machines Corporation Providing transposable access to a synapse array using a recursive array layout
US9159020B2 (en) 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US8990130B2 (en) 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory
US9053429B2 (en) * 2012-12-21 2015-06-09 International Business Machines Corporation Mapping neural dynamics of a neural model on to a coarsely grained look-up table
US9087301B2 (en) 2012-12-21 2015-07-21 International Business Machines Corporation Hardware architecture for simulating a neural network of neurons
US9262712B2 (en) 2013-03-08 2016-02-16 International Business Machines Corporation Structural descriptions for neurosynaptic networks
KR102143225B1 (ko) 2013-05-06 2020-08-11 삼성전자주식회사 뉴로모픽 칩의 스파이크 이벤트 정보 전송 방법 및 장치, 및 뉴로모픽 칩
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US9886663B2 (en) 2013-10-08 2018-02-06 Qualcomm Incorporated Compiling network descriptions to multiple platforms
US9924490B2 (en) 2013-10-09 2018-03-20 International Business Machines Corporation Scaling multi-core neurosynaptic networks across chip boundaries
US10248675B2 (en) 2013-10-16 2019-04-02 University Of Tennessee Research Foundation Method and apparatus for providing real-time monitoring of an artifical neural network
US9852006B2 (en) 2014-03-28 2017-12-26 International Business Machines Corporation Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits
US9195903B2 (en) 2014-04-29 2015-11-24 International Business Machines Corporation Extracting salient features from video using a neurosynaptic system
US9373058B2 (en) 2014-05-29 2016-06-21 International Business Machines Corporation Scene understanding using a neurosynaptic system
US9798972B2 (en) 2014-07-02 2017-10-24 International Business Machines Corporation Feature extraction using a neurosynaptic system for object classification
US10115054B2 (en) 2014-07-02 2018-10-30 International Business Machines Corporation Classifying features using a neurosynaptic system
US10489700B1 (en) * 2014-07-07 2019-11-26 Crossbar, Inc. Neuromorphic logic for an array of high on/off ratio non-volatile memory cells
US20160042271A1 (en) * 2014-08-08 2016-02-11 Qualcomm Incorporated Artificial neurons and spiking neurons with asynchronous pulse modulation
US10410109B2 (en) * 2014-08-25 2019-09-10 International Business Machines Corporation Peripheral device interconnections for neurosynaptic systems
US9881252B2 (en) 2014-09-19 2018-01-30 International Business Machines Corporation Converting digital numeric data to spike event data
US9886662B2 (en) 2014-09-19 2018-02-06 International Business Machines Corporation Converting spike event data to digital numeric data
WO2016058055A1 (en) * 2014-10-17 2016-04-21 University Of Western Sydney Trainable analogue block
US9852370B2 (en) 2014-10-30 2017-12-26 International Business Machines Corporation Mapping graphs onto core-based neuromorphic architectures
US10552740B2 (en) 2014-11-10 2020-02-04 International Business Machines Corporation Fault-tolerant power-driven synthesis
US10679120B2 (en) 2014-11-10 2020-06-09 International Business Machines Corporation Power driven synaptic network synthesis
US10354183B2 (en) 2014-11-10 2019-07-16 International Business Machines Corporation Power-driven synthesis under latency constraints
US9704094B2 (en) * 2015-02-19 2017-07-11 International Business Machines Corporation Mapping of algorithms to neurosynaptic hardware
US10204301B2 (en) 2015-03-18 2019-02-12 International Business Machines Corporation Implementing a neural network algorithm on a neurosynaptic substrate based on criteria related to the neurosynaptic substrate
US9971965B2 (en) 2015-03-18 2018-05-15 International Business Machines Corporation Implementing a neural network algorithm on a neurosynaptic substrate based on metadata associated with the neural network algorithm
US9984323B2 (en) * 2015-03-26 2018-05-29 International Business Machines Corporation Compositional prototypes for scalable neurosynaptic networks
EP3089080A1 (en) * 2015-04-27 2016-11-02 Universität Zürich Networks and hierarchical routing fabrics with heterogeneous memory structures for scalable event-driven computing systems
US10726337B1 (en) * 2015-04-30 2020-07-28 Hrl Laboratories, Llc Method and apparatus for emulation of neuromorphic hardware including neurons and synapses connecting the neurons
US11126913B2 (en) * 2015-07-23 2021-09-21 Applied Brain Research Inc Methods and systems for implementing deep spiking neural networks
US9767407B2 (en) 2015-09-18 2017-09-19 Samsung Electronics Co., Ltd. Weighting device, neural network, and operating method of the weighting device
US10902115B2 (en) 2015-10-28 2021-01-26 Hrl Laboratories, Llc Neuromorphic system for authorized user detection
US10671910B2 (en) * 2015-12-07 2020-06-02 International Business Machines Corporation Space-efficient dynamic addressing in very large sparse networks
WO2017138951A1 (en) 2016-02-12 2017-08-17 Hewlett Packard Enterprise Development Lp Memory devices with volatile and non-volatile behavior
CN105760930B (zh) * 2016-02-18 2018-06-05 天津大学 用于aer的多层脉冲神经网络识别系统
US10990872B2 (en) * 2016-03-31 2021-04-27 International Business Machines Corporation Energy-efficient time-multiplexed neurosynaptic core for implementing neural networks spanning power- and area-efficiency
US10058995B1 (en) * 2016-07-08 2018-08-28 X Development Llc Operating multiple testing robots based on robot instructions and/or environmental parameters received in a request
US10846590B2 (en) * 2016-12-20 2020-11-24 Intel Corporation Autonomous navigation using spiking neuromorphic computers
US10885425B2 (en) * 2016-12-20 2021-01-05 Intel Corporation Network traversal using neuromorphic instantiations of spike-time-dependent plasticity
KR102671259B1 (ko) * 2016-12-22 2024-06-03 에스케이하이닉스 주식회사 인버팅 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
US10248906B2 (en) * 2016-12-28 2019-04-02 Intel Corporation Neuromorphic circuits for storing and generating connectivity information
US10909449B2 (en) * 2017-04-14 2021-02-02 Samsung Electronics Co., Ltd. Monolithic multi-bit weight cell for neuromorphic computing
US9928460B1 (en) * 2017-06-16 2018-03-27 Google Llc Neural network accelerator tile architecture with three-dimensional stacking
WO2019032870A1 (en) 2017-08-09 2019-02-14 Google Llc ACCELERATION OF NEURAL NETWORKS IN MATERIAL USING INTERCONNECTED CROSSBARS
JP6293963B1 (ja) * 2017-08-31 2018-03-14 Tdk株式会社 ニューロモルフィック素子を含むアレイの制御装置、離散化ステップサイズの演算方法およびプログラム
KR102067112B1 (ko) 2017-10-17 2020-01-16 한양대학교 산학협력단 Pcm 기반의 뉴런 네트워크 소자
CN107798384B (zh) * 2017-10-31 2020-10-16 山东第一医科大学(山东省医学科学院) 一种基于可进化脉冲神经网络的鸢尾花卉分类方法和装置
US11763139B2 (en) * 2018-01-19 2023-09-19 International Business Machines Corporation Neuromorphic chip for updating precise synaptic weight values
EP3743857A4 (en) * 2018-01-23 2021-12-29 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
WO2019240868A1 (en) * 2018-06-13 2019-12-19 Hrl Laboratories, Llc Neuromorphic system for authorized user detection
FR3084503B1 (fr) * 2018-07-26 2020-10-16 Thales Sa Chaîne synaptique comprenant des resonateurs spintroniques bases sur l'effet de diode de spin et reseau de neurones comprenant une telle chaîne synaptique
US11436479B2 (en) 2018-08-09 2022-09-06 International Business Machines Corporation System and method for transfer of analog synaptic weight information onto neuromorphic arrays with non-ideal non-volatile memory device
KR102114356B1 (ko) * 2018-08-28 2020-05-22 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
KR102618546B1 (ko) 2018-09-03 2023-12-27 삼성전자주식회사 2차원 어레이 기반 뉴로모픽 프로세서 및 그 동작 방법
CN111417963B (zh) * 2018-11-01 2021-06-22 P·A·范德梅德 改进的尖峰神经网络
US11157804B2 (en) 2019-01-25 2021-10-26 Northrop Grumman Systems Corporation Superconducting neuromorphic core
US11195085B2 (en) 2019-03-21 2021-12-07 International Business Machines Corporation Spiking synaptic elements for spiking neural networks
CN110322010B (zh) * 2019-07-02 2021-06-25 深圳忆海原识科技有限公司 用于类脑智能与认知计算的脉冲神经网络运算系统及方法
CN110842915B (zh) * 2019-10-18 2021-11-23 南京大学 一种基于忆阻交叉阵列的机器人控制系统及方法
CN110515739B (zh) * 2019-10-23 2020-01-31 上海燧原智能科技有限公司 深度学习神经网络模型负载计算方法、装置、设备及介质
US11714999B2 (en) 2019-11-15 2023-08-01 International Business Machines Corporation Neuromorphic device with crossbar array structure storing both weights and neuronal states of neural networks
US20210224633A1 (en) * 2019-12-18 2021-07-22 California Institute Of Technology Self organization of neuromorphic machine learning architectures
US20220207354A1 (en) * 2020-12-31 2022-06-30 X Development Llc Analog circuits for implementing brain emulation neural networks
WO2023238186A1 (ja) * 2022-06-06 2023-12-14 ソフトバンク株式会社 Ｎｎ成長装置、情報処理装置、ニューラル・ネットワーク情報の生産方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168551A (en) * 1990-03-28 1992-12-01 Samsung Electronics Co., Ltd. MOS decoder circuit implemented using a neural network architecture
US8655813B2 (en) * 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4773024A (en) 1986-06-03 1988-09-20 Synaptics, Inc. Brain emulation circuit with reduced confusion
IT1244911B (it) 1991-01-31 1994-09-13 Texas Instruments Italia Spa Architettura per rete neuronica fisicamente inseribile nel processo di apprendimento.
JPH05128082A (ja) * 1991-07-19 1993-05-25 Fujitsu Ltd 階層ネツトワーク構成データ処理装置とその学習処理方法
JPH05217010A (ja) * 1991-12-13 1993-08-27 Ricoh Co Ltd 信号処理装置
JPH0652138A (ja) * 1992-08-04 1994-02-25 Nippon Telegr & Teleph Corp <Ntt> 光受信器の学習方法および装置
JPH06162232A (ja) * 1992-11-26 1994-06-10 Tokyo Electric Power Co Inc:The 量子ニューロンからなる神経回路網装置
GB9924310D0 (en) 1999-10-15 1999-12-15 Univ Manchester Neural network component
EP1298581A1 (fr) 2001-09-27 2003-04-02 C.S.E.M. Centre Suisse D'electronique Et De Microtechnique Sa Procédé et dispositif pour calculer les valeurs des neurones d'un réseau neuronal
WO2006000103A1 (en) 2004-06-29 2006-01-05 Universite De Sherbrooke Spiking neural network and use thereof
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
WO2009113993A1 (en) * 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit
US20090292661A1 (en) * 2008-05-21 2009-11-26 Haas Alfred M Compact Circuits and Adaptation Techniques for Implementing Adaptive Neurons and Synapses with Spike Timing Dependent Plasticity (STDP).
US8429107B2 (en) * 2009-11-04 2013-04-23 International Business Machines Corporation System for address-event-representation network simulation
US8515885B2 (en) 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5168551A (en) * 1990-03-28 1992-12-01 Samsung Electronics Co., Ltd. MOS decoder circuit implemented using a neural network architecture
US8655813B2 (en) * 2010-12-30 2014-02-18 International Business Machines Corporation Synaptic weight normalized spiking neuronal networks
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
B.GLACKIN ET AL: "A Novel Approach for the Implementation of Large Scale Spiking Neural Networks on FPGA Hardware", 《IWANN 2005》, 31 December 2005 (2005-12-31), pages 552 - 563, XP019010321 *
GREG S.SNIDER: "Spike-Timing-Dependent learning in Memristive Nanodevices", 《2008 IEEE/ACM INTERNATIONAL SYMPOSIUM ON NANOSCALE ARCHITECTURES》, 31 December 2008 (2008-12-31), pages 85 - 92, XP031295661 *
S. RENAUD ET AL: "PAX: A mixed hardware/software simulation platform for spiking neural networks", 《NEURAL NETWORKS》, vol. 23, no. 7, 30 September 2010 (2010-09-30), pages 905 - 916, XP027160165 *

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107045649B (zh) * 2014-07-21 2020-06-02 徐志强 具有短期记忆和长期记忆的模拟神经网络
CN107045649A (zh) * 2014-07-21 2017-08-15 徐志强 具有短期记忆和长期记忆的模拟神经网络
CN104376362A (zh) * 2014-11-21 2015-02-25 北京大学 用于人工神经网络的突触器件和人工神经网络
CN104376362B (zh) * 2014-11-21 2017-10-03 北京大学 用于人工神经网络的突触器件和人工神经网络
CN113378113A (zh) * 2014-12-19 2021-09-10 英特尔公司 用于人工神经网络中的分布式与协作计算的方法和装置
CN107111783B (zh) * 2015-01-14 2020-04-03 国际商业机器公司 神经元存储器电路
CN107111783A (zh) * 2015-01-14 2017-08-29 国际商业机器公司 神经元存储器电路
US10489705B2 (en) 2015-01-30 2019-11-26 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
WO2016120739A1 (en) * 2015-01-30 2016-08-04 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
GB2550310A (en) * 2015-01-30 2017-11-15 Ibm Discovering and using informative looping signals in a pulsed neural network having temporal encoders
US10489706B2 (en) 2015-01-30 2019-11-26 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
GB2550310B (en) * 2015-01-30 2018-05-09 Ibm Discovering and using informative looping signals in a pulsed neural network having temporal encoders
CN107408222B (zh) * 2015-03-13 2021-04-02 三星电子株式会社 神经形态突触
CN107408222A (zh) * 2015-03-13 2017-11-28 国际商业机器公司 神经形态突触
CN106295799B (zh) * 2015-05-12 2018-11-02 核工业北京地质研究院 一种深度学习多层神经网络的实现方法
CN106295799A (zh) * 2015-05-12 2017-01-04 核工业北京地质研究院 一种深度学习多层神经网络的实现方法
CN105095966A (zh) * 2015-07-16 2015-11-25 清华大学 人工神经网络和脉冲神经网络的混合计算系统
CN105095966B (zh) * 2015-07-16 2018-08-21 北京灵汐科技有限公司 人工神经网络和脉冲神经网络的混合计算系统
CN107924485A (zh) * 2015-09-23 2018-04-17 英特尔公司 具有基于电阻的学习规则电路的电子神经网络电路
CN107924485B (zh) * 2015-09-23 2021-12-14 英特尔公司 具有基于电阻的学习规则电路的电子神经网络电路
CN109242094A (zh) * 2016-01-20 2019-01-18 北京中科寒武纪科技有限公司 用于执行人工神经网络正向运算的装置和方法
CN109242094B (zh) * 2016-01-20 2020-05-08 中科寒武纪科技股份有限公司 用于执行人工神经网络正向运算的装置和方法
CN109804384B (zh) * 2016-09-22 2024-01-05 英特尔公司 用于维护神经元的脉冲历史的方法和装置
CN109804384A (zh) * 2016-09-22 2019-05-24 英特尔公司 用于在神经形态计算环境中维护神经元的脉冲历史的神经形态计算设备、存储器设备、系统和方法
CN109564637B (zh) * 2016-09-30 2023-05-12 国际商业机器公司 用于可扩展流突触超级计算机的方法、系统和介质
CN109564637A (zh) * 2016-09-30 2019-04-02 国际商业机器公司 用于极端吞吐量神经网络的可扩展流突触超级计算机
CN107992942A (zh) * 2016-10-26 2018-05-04 上海磁宇信息科技有限公司 卷积神经网络芯片以及卷积神经网络芯片操作方法
CN109844772A (zh) * 2016-11-09 2019-06-04 国际商业机器公司 存储器单元结构
CN108073982A (zh) * 2016-11-18 2018-05-25 上海磁宇信息科技有限公司 类脑计算系统
CN108073982B (zh) * 2016-11-18 2020-01-03 上海磁宇信息科技有限公司 类脑计算系统
CN109983479A (zh) * 2016-11-18 2019-07-05 罗伯特·博世有限公司 用于计算神经网络的输出的方法
CN108154225A (zh) * 2016-12-06 2018-06-12 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN108154225B (zh) * 2016-12-06 2021-09-03 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN107807819A (zh) * 2017-07-20 2018-03-16 上海寒武纪信息科技有限公司 一种支持离散数据表示的用于执行人工神经网络正向运算的装置及方法
CN107679622A (zh) * 2017-09-06 2018-02-09 清华大学 一种面向神经网络算法的模拟感知计算架构
CN107679622B (zh) * 2017-09-06 2020-08-14 清华大学 一种面向神经网络算法的模拟感知计算架构
CN109993301A (zh) * 2017-12-29 2019-07-09 北京中科寒武纪科技有限公司 神经网络训练装置及相关产品
CN109993301B (zh) * 2017-12-29 2020-05-19 中科寒武纪科技股份有限公司 神经网络训练装置及相关产品
CN111801693A (zh) * 2018-03-06 2020-10-20 Tdk株式会社 神经网络装置、信号生成方法及程序
CN111801693B (zh) * 2018-03-06 2024-02-23 Tdk株式会社 神经网络装置、信号生成方法及程序
CN112567392A (zh) * 2018-07-26 2021-03-26 泰雷兹公司 包括自旋电子谐振器的神经网络
CN112567392B (zh) * 2018-07-26 2024-03-22 泰雷兹公司 用于实施神经网络的装置
CN109165730A (zh) * 2018-09-05 2019-01-08 电子科技大学 交叉阵列神经形态硬件中状态量化网络实现方法
CN113196233A (zh) * 2018-12-19 2021-07-30 ams有限公司 用模拟神经元的单个物理层实现多层神经网络
CN109858620A (zh) * 2018-12-29 2019-06-07 北京灵汐科技有限公司 一种类脑计算系统
CN109858620B (zh) * 2018-12-29 2021-08-20 北京灵汐科技有限公司 一种类脑计算系统
CN110059800A (zh) * 2019-01-26 2019-07-26 中国科学院计算技术研究所 脉冲神经网络转换方法及相关转换芯片
CN110059800B (zh) * 2019-01-26 2021-09-14 中国科学院计算技术研究所 脉冲神经网络转换方法及相关转换芯片
CN110543933B (zh) * 2019-08-12 2022-10-21 北京大学 基于flash存算阵列的脉冲型卷积神经网络
CN110543933A (zh) * 2019-08-12 2019-12-06 北京大学 基于flash存算阵列的脉冲型卷积神经网络
CN113688983A (zh) * 2021-08-09 2021-11-23 上海新氦类脑智能科技有限公司 脉冲神经网络中减少权重储存的卷积运算实现方法、电路及终端
WO2023098449A1 (zh) * 2021-11-30 2023-06-08 北京灵汐科技有限公司 多房室神经元模型运算的装置和方法、计算机可读介质
CN115099395A (zh) * 2022-08-25 2022-09-23 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质
CN115099395B (zh) * 2022-08-25 2022-11-15 北京灵汐科技有限公司 神经网络构建方法及装置、设备、介质

Also Published As

Publication number Publication date
EP2635889A1 (en) 2013-09-11
WO2012055593A1 (en) 2012-05-03
CN103201610B (zh) 2016-06-29
US20120109864A1 (en) 2012-05-03
US8515885B2 (en) 2013-08-20
JP2013546065A (ja) 2013-12-26
JP5963315B2 (ja) 2016-08-03
US20140188771A1 (en) 2014-07-03
US8812415B2 (en) 2014-08-19

Similar Documents

Publication Publication Date Title
CN103201610A (zh) 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
Young et al. A review of spiking neuromorphic hardware communication systems
Song et al. Design of logic gates using spiking neural P systems with homogeneous neurons and astrocytes-like control
Graupe Principles of artificial neural networks
US10248675B2 (en) Method and apparatus for providing real-time monitoring of an artifical neural network
Sipper et al. A phylogenetic, ontogenetic, and epigenetic view of bio-inspired hardware systems
Basu et al. Neural dynamics in reconfigurable silicon
Upegui et al. An FPGA platform for on-line topology exploration of spiking neural networks
US9342780B2 (en) Systems and methods for modeling binary synapses
Graupe Principles of artificial neural networks: basic designs to deep learning
TW201535277A (zh) 以陰影網路監視神經網路
Wang et al. A neuromorphic implementation of multiple spike-timing synaptic plasticity rules for large-scale neural networks
US20190012597A1 (en) Method and A System for Creating Dynamic Neural Function Libraries
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
De Garis et al. Building an artificial brain using an FPGA based CAM-Brain Machine
Ahmed et al. A review on methods, issues and challenges in neuromorphic engineering
De Garis et al. The cam-brain machine (cbm): Real time evolution and update of a 75 million neuron fpga-based artificial brain
US9916530B2 (en) Neuromorphic circuit model simulation that facilitates information routing and processing
Oberländer et al. Learning and replaying spatiotemporal sequences: A replication study
Reyes-Sanchez et al. Automatized offline and online exploration to achieve a target dynamics in biohybrid neural circuits built with living and model neurons
Camilleri et al. Self-sustained activity in attractor networks using neuromorphic VLSI
Cramer Optimizing Spiking Neuromorphic Networks for Information Processing
Maniadakis et al. Hierarchical cooperative coevolution facilitates the redesign of agent-based systems
Arunachalam et al. Results on a binding neuron model and their implications for modified hourglass model for neuronal network
Quenet et al. Modelling spatiotemporal olfactory data in two steps: from binary to Hodgkin–Huxley neurones

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant