CN102959566A - 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统 - Google Patents

用于具有离散级突触和概率性stdp的数字神经处理的方法和系统 Download PDF

Info

Publication number
CN102959566A
CN102959566A CN201180031038XA CN201180031038A CN102959566A CN 102959566 A CN102959566 A CN 102959566A CN 201180031038X A CN201180031038X A CN 201180031038XA CN 201180031038 A CN201180031038 A CN 201180031038A CN 102959566 A CN102959566 A CN 102959566A
Authority
CN
China
Prior art keywords
cynapse
pulse
circuit
probability
spike
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180031038XA
Other languages
English (en)
Other versions
CN102959566B (zh
Inventor
V·阿帕林
S·文卡特拉曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102959566A publication Critical patent/CN102959566A/zh
Application granted granted Critical
Publication of CN102959566B publication Critical patent/CN102959566B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Semiconductor Memories (AREA)
  • Logic Circuits (AREA)
  • User Interface Of Digital Computer (AREA)
  • Complex Calculations (AREA)

Abstract

本发明的某些实施例支持具有离散级突触和概率性突触权重训练的数字神经处理器的实现。

Description

用于具有离散级突触和概率性STDP的数字神经处理的方法和系统
技术领域
本发明的某些实施例总体上涉及神经系统工程，且更具体地，涉及一种用于实现具有离散级突触和概率性突触权重训练的数字神经处理器的方法。
背景技术
连接神经系统的神经元的突触通常仅仅展现出少量的离散强度级。例如，在海马神经结构的Cornu Ammonis（阿蒙氏角）CA3-CA1通道中的突触可以是双态的或三态的。例如，在三态突触的情况下，一个强度级可以对应于由长时程抑制（LTD）引起的抑制状态，另一个强度级可以对应于由长时程增强（LTP）引起的增强状态，并且第三个强度级可以对应于施加LTP或LTD之前存在的未受激状态。在突触强度的离散级之间的转换可以以类似于切换的方式进行。
可以在模拟、数字或混合信号域中实现神经形态处理器。通常使用确定性的锋电位时序依赖型可塑性（spike-timing-dependent plasticity，STDP）规则来训练突触，这需要模拟或多级数字存储器，以便存储突触权重。这两种存储器都存在技术难题。模拟存储器有较差的保持和克隆能力。其还需要大管芯面积以便实现STDP衰减。另一方面，多级数字存储器需要大量比特，这导致大量的并行互连线路以便实现给定精度的突触权重增量。
发明内容
本发明的某些实施例提供了一种电路。所述电路总体上包括数字神经处理单元，其具有一个或多个突触和连接至所述突触的突触后神经元电路，其中，所述一个或多个突触中的一个突触的权重按一概率以离散级来改变数值，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位（spike）之间所经过的时间。
本发明的某些实施例提供了一种用于实现数字神经处理单元的方法。所述方法总体上包括：将所述神经处理单元的突触后神经元电路与所述神经处理单元的至少一个突触相连接，及按一概率以离散级来改变所述至少一个突触中的一个突触的权重值，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时间。
本发明的某些实施例提供了一种用于实现数字神经处理单元的装置。所述装置总体上包括：用于将所述神经处理单元的突触后神经元电路与所述神经处理单元的至少一个突触相连接的模块，及用于按一概率以离散级来改变所述至少一个突触中的一个突触的权重值的模块，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时间。
附图说明
作为可以详细理解本发明的上述特征的方式，参考实施例可以获得在上面简要概述的更具体的说明，在附图中示出了其中一些实施例。然而，应注意，附图仅仅示出了本发明的某些典型的实施例，从而不应被认为是限制其范围，因为本说明书允许其他等效的实施例。
图1示出了根据本发明的某些实施例的示例性神经系统。
图2示出了根据本发明的某些实施例的确定性和概率性突触权重改变的实例。
图3示出了根据本发明的某些实施例的对于不同数量的强度级，在多个突触前与突触后锋电位对上的突触强度的平均相对修正的实例。
图4示出了根据本发明的某些实施例的示例性脉冲宽度调制（PWM）的突触权重改变。
图5示出了根据本发明的某些实施例的示例性概率性突触权重改变。
图6示出了根据本发明的某些实施例的具有离散级突触和概率性权重训练的神经处理单元的示例性方框图。
图7示出了根据本发明的某些实施例的随机二进制产生器的示例性方框图，其中逻辑“一”的概率以指数衰减。
图8示出了根据本发明的某些实施例的用于实现具有离散级突触和概率性权重训练的神经处理器的示例性操作。
图8A示出了能够执行图8中所示操作的示例性组件。
图9(a)-(b)示出了根据本发明的某些实施例的用于仿真的神经元和突触的示例性配置。
图10A-10B示出了根据本发明的某些实施例的确定性突触权重训练的示例性仿真结果。
图11A-11B示出了根据本发明的某些实施例的概率性突触权重训练的示例性仿真结果。
具体实施方式
以下参考附图更充分地说明本发明的多个实施例。然而，本发明可以以许多不同形式来体现，并且不应理解为局限于本发明通篇中提出的任何特定结构或功能。相反，提供这些实施例以使得本发明全面完整，并且将向本领域技术人员充分地传达本发明的范围。基于本文的教导，本领域技术人员应意识到本发明的范围旨在覆盖本文公开的发明的任何实施例，不论是该实施例是独立于本发明中任何其它实施例而实现的还是与之相结合而实现的。例如，使用本文阐述的任意数量的实施例可以实现装置或实施方法。另外，本发明的范围旨在覆盖使用作为本文阐述的本发明的多个实施例的补充或替代的其它结构、功能或结构与功能实现的此类装置或方法。应理解，本文公开的发明的任何实施例都可以由权利要求的一个或多个要素来体现。
本文使用词语“示例性的”表示“充当实例、例子或举例说明”。本文中被描述为“示例性的”任何实施例都并非必然解释为对于其它实施例而言是优选的或有优势的。
尽管本文描述了特定实施例，但这些实施例的许多改变和置换也属于本发明的范围内。尽管提及了优选实施例的一些益处和优点，但本发明的范围并非旨在局限于特定益处、使用或目的。相反，本发明的实施例旨在广泛应用于不同技术、系统配置、网络和协议，其中一些借助于实例而在附图和针对优选实施例的以下描述中进行说明。该详细描述和附图对本发明仅仅是说明性的而非限制性的，本发明的范围由所附权利要求及其等价物来定义。
示例性神经系统
图1示出了根据本发明的某些实施例的具有多级神经元的示例性神经系统100。神经系统100可以包括一级神经元102，其通过突触连接网络104连接至另一级神经元106。为了简明，图1中仅示出了两级神经元，尽管在典型神经系统中可以存在更多级的神经元。
如图1所示，级102中的每一个神经元都可以接收输入信号108，其可以由前一级的多个神经元（图1中未示出）产生。信号108可以表示级102的神经元的输入电流。可以在神经元膜上积蓄这个电流以对膜电位进行充电。当膜电位达到其阈值时，神经元可以发放（fire）并输出要传递到下一级神经元（例如，级106）的锋电位。
如图1所示，可以通过突触连接网络（或者简称为“突触”）104来实现锋电位从一级神经元到另一级神经元的传递。突触104可以从级102的神经元接收输出信号（即，锋电位），根据可调节的突触权重
Figure BDA00002636163500041
（其中P是在级102与106的神经元之间的突触连接的总数）来对那些信号进行缩放，并将缩放后的信号组合为级106中每一个神经元的输入信号。级106中的每一个神经元都可以根据相应的组合输入信号产生输出锋电位110。随后可以使用另一突触连接网络（图1中未示出）将输出锋电位110传递到另一级神经元。
神经系统100可以由电路来模拟并可以用于大规模应用中，诸如模式识别、机器学习和电机控制之类。神经系统100中的每一个神经元都可以实现为神经元电路。被充电至阈值从而发起输出锋电位的神经元膜可以实现为电容器，其对流过它的电流进行积分。
可以去掉作为神经元电路的电流积分器件的电容器，并可以在其位置处使用忆阻器元件。这个方案可以应用于神经元电路中以及将大电容器用作电流积分器的各种其他应用中。另外，可以基于忆阻器元件来实现每一个突触104，其中，突触权重的改变可以与忆阻器的电阻的改变相关。使用纳米特征尺寸的忆阻器，可以充分减小神经元电路和突触的面积，这可以使得超大规模神经系统硬件实现的实施切实可行。
本发明的某些实施例提供了模拟神经系统100的神经元及其相关突触的数字神经处理单元的实现。神经处理单元的突触权重可以包括经量化的级，且基于锋电位时序依赖型可塑性（STDP）的权重训练在性质上可以是概率性的。换句话说，并不是每一对突触前与突触后锋电位都会导致相应突触的增强或抑制。例如，突触可以仅包括三级或者甚至两级强度（即，双态（binary）突触）。在数学上，双态突触可以能够在总体上实施连续的STDP规则，其中单个突触可以经受概率性的类似切换的增强或抑制。概率性STDP可以导致数字神经处理单元的更简单的硬件实现。
示例性离散级突触和概率性权重改变
在常规的确定性STDP中，突触权重的改变ΔW可以是在突触前锋电位与突触后锋电位之间的时间差Δt的函数，如图2A中所示的。作为替代，突触权重改变ΔW可以保持为常数，同时该权重改变的概率可以是在突触前锋电位与突触后锋电位之间的时间差的函数，如图2B中所示的。这个方案可以称为概率性STDP。经过大量的锋电位，确定性STDP方案和概率性STDP方案可以收敛至相同结果。然而，概率性STDP在硬件上更易于实现。
根据被广泛接受的一个STDP理论，可以根据单个突触前/突触后锋电位对的两阶段型的、以指数衰减的曲线来修改单个突触。因此，与突触强度相关的离散级的假设与分级STDP理论相矛盾。然而，已经基于实验发展了这个理论，在这些实验中，针对许多突触且针对多个锋电位对而测量了突触改变。如果以指数衰减的LTP和LTD曲线属于突触的总体，那么就可以用由概率性（随机）STDP训练的离散态突触来实现这些曲线。单个突触可以依据可取决于锋电位时序的概率而经受单步增强或抑制，其中与较小时间差相比，在突触前锋电位与突触后锋电位之间的较大时间差减小了此概率。
使用前述的离散步骤的概率性STDP，即使突触强度是双态的，在传入与目标之间的完整的多突触（polysynptic）投影仍可以表达分级STDP，尽管单个突触可能不会。如果单个突触包括几个强度级，那么该突触就可以在多个锋电位对上表达分级STDP，但在较高或较低强度级处有可能饱和，这取决于强度级的数量。
图3示出了对于不同数量的强度级（即，强度级数量s可以是10、30、60、90及大于90），在许多突触前与突触后锋电位对上的单个突触强度的平均相对修正的实例图300。可以在较高突触强度级处观察到饱和，尤其是对于较低的强度级数量而言（例如，见分别针对s等于10和30的曲线308和310）。此外，可以观察到，对于所有强度级数量，随着在突触前锋电位与突触后锋电位之间的时间变大，突触强度的改变可以相当大地减小。
忆阻器型突触的基于确定性STDP的训练通常可以依赖于随时间衰减的脉冲宽度调制（PWM）信号。图4示出了根据本发明的某些实施例的示例性的基于PWM的忆阻器型突触的权重改变。可以观察到，可以用随时间衰减的PWM信号402来表示突触前神经元的锋电位。当在突触后锋电位404期间横跨突触的电压406超过阈值电平408时，其就会导致突触权重410的改变。因此，突触权重的改变可以是在突触前锋电位402与突触后锋电位404之间的时间差的函数。
图5示出了根据本发明的某些实施例的示例性的概率性突触权重改变。可以利用在概率中衰减的恒定宽度脉冲502，该概率可以是从突触前锋电位开始经过的时间的函数。当在突触后锋电位504和概率性突触前脉冲502期间横跨突触的电压506超过阈值电平508时，就会发生突触权重改变510。通过大量试验，这个概率性方案可以产生与图4所示的PWM方案相同的突触权重改变。然而，来自图5的概率性方案在硬件上更易于实现。
通过应用概率性STDP，用于表示突触权重的最低有效位（LSB）的有效值可以减少，并且可以用更少的比特来表示突触权重。另外，可以调整影响突触权重的脉冲的概率（例如，可以设定为较低值），以便补偿超微器件在一个方向上的非线性转换。概率性STDP还可以应用于学习规则，因为权重学习可以在慢速时间量程上在几十或几百个锋电位上进行。
在示例性情况下，如果在突触网络中存在足够的冗余，即多个双态器件可以组成具有任意数量的强度级的任何突触，就可以采用具有概率性STDP的双态突触。如果双态超微器件的切换阈值极易改变，这是非常似是而非的情况，则这些双态突触也可以是适用的。此外，如果电子器件自身中的切换是概率性的（例如，自旋扭矩转换RAM（随机存取存储器）），则概率性STDP就可以用于实现概率性突触，而无需用以产生具有以指数减小的概率的脉冲的电路。
示例性神经处理单元架构
本发明的某些实施例支持实现具有经量化的突触权重级的数字神经处理单元，而权重训练可以基于前述概率性STDP。图6示出了根据本发明的某些实施例的具有8级（即，3比特）突触和概率性STDP的神经处理单元600的示例性架构。
神经元602可以包括锋电位产生器604和分别用于长时程增强（LTP）和长时程抑制（LTD）的两个随机二进制产生器电路606和608。产生器电路606－608可以由与神经元602相关的锋电位信号610重置（触发），并且它们可以产生二进制码（即，脉冲信号）612－614，其所具有的逻辑“1”（即，脉冲）在规定时间间隔中出现的概率从重置时刻起随时间而以指数衰减。概率性脉冲信号612和614可以分别表示LTD和LTP训练信号。此概率的衰减时间常数对于STDP特性的LTP和LTD部分可以是特定的（例如，对于LTP和LTD的典型值可以分别是τ+=16.8ms和τ_=33.7ms）。应注意，概率性LTP信号614可以导致连接至神经处理单元600的另一个突触的另一个权重值增加一个规定离散级。
每一个突触616都可以接收突触前锋电位618和突触前LTP信号620，以及突触后锋电位622和突触后LTD信号624。由图6可以观察到，突触后锋电位622可以对应于锋电位信号610，并且突触后LTD信号624可以对应于概率性二进制码信号612。由两个“与”（AND）门626－628和两个反相器630－632组成的逻辑电路可以检测到训练事件。当突触前LTP信号620等于逻辑“1”，突触后锋电位信号622等于逻辑“1”且突触前锋电位信号618等于逻辑“0”时，可以检测到LTP训练事件。另一方面，当突触后LTD信号624等于逻辑“1”，突触前锋电位信号618等于逻辑“1”且突触后锋电位信号622等于逻辑“0”时，可以检测到LTD训练事件。
根据这个逻辑电路，当突触前神经元与突触后神经元同时发放锋电位时（即，当突触前锋电位信号618与突触后锋电位信号622都等于逻辑“1”时），可以没有训练发生。在奖励调制（reward-modulated）STDP情况下，当满足上述条件时可以不立即进行权重训练。作为替代，训练事件检测器的输出634可以重置（即触发）突触616的随机产生器电路636，其可以随后开始产生二进制码638，其所具有的逻辑“1”的概率从重置时刻起随时间以指数衰减。此概率的衰减时间常数对于奖励调制STDP的资格轨迹（eligibility trace）可以是特定的。
随机二进制产生器636的输出638可以由末端奖励（distal reward）（DR）门信号640来门控，并且其可以随后作为时钟信号642施加到上-下计数器（up-down counter）644，上-下计数器644存储突触616的当前权重值。如果检测到的训练事件对应于LTP（即，SR锁存器648的输出646等于逻辑“1”），那么就递增计数器644的状态。另一方面，如果检测到的训练事件对应于LTD（即，SR锁存器648的输出646等于逻辑“0”），那么就递减计数器的状态。
随机产生器636的门控输出642也可以用于触发计数器状态到非易失性存储器（NVM）650的传递。存储在上-下计数器644中的突触权重也可以用作至二进制加权数模转换器（DAC）电路652的输入。在与连接至神经元电路602的输入656的其他突触的输出电流进行求和之前，DAC 652的输出电流654可以由突触前锋电位信号618门控。
示例性随机二进制产生器
逻辑“1”的概率以指数衰减的随机二进制产生器636可以代表图6所示的神经处理单元600的主要部分。图7中示出了这个产生器的一个可能的实现方式。随机二进制产生器700可以采用基于环形振荡器704的随机子产生器7021-7024，环形振荡器704用以产生4比特串行二进制数，其在较新的比特中所具有的逻辑“1”的概率衰减。
每一个子产生器7021-7024中的环形振荡器704都可以以高抖动和高漂移频率来振荡，这可以有助于在由D触发器（flip-flop）706以外部时钟周期（即，外部时钟708的周期）的固定间隔对振荡进行采样时产生随机二进制信号。为了降低功耗，通过由“与非”（NAND）门710替代在环中的一个反相器，可以禁用每一个子产生器7021-7024中的环形振荡器704。
可以由重置信号712触发随机产生器700，重置信号712可以使能四个子产生器7021-7024的四个环形振荡器704。这个重置信号也可以重置时间计数器714。在重置信号710之后的输出716处的第一个输出比特可以仅仅是第一子产生器7021的输出718。可以作为第一子产生器7021的输出718与第二子产生器7022的输出720的“与”（AND）函数，来获得在输出716处的第二个输出比特，依此类推。
所述随机产生器700的逻辑“1”的概率可以从第一个输出比特的0.5衰减到第四个输出比特的0.0625。通过使用子产生器7021-7024的输出的不同逻辑函数，可以修改这个概率。“与”（AND）门可以减小逻辑1出现的概率。另一方面，“或”（OR）门可以增大逻辑1出现的概率。因此，通过两个基本分析概率公式，可以实现特定概率的导出：
P(A·B)=P(A)·P(B)                                （1）
P(A+B)=P(A)+P(B)-P(A)·P(B)                       （2）
图8示出了根据本发明的某些实施例的用于实现具有离散级突触和概率性权重训练的数字神经处理器（诸如图6的处理单元600）的示例性操作800。在802处，神经处理单元的神经元电路（例如，突触后神经元电路602）可以与神经处理单元的至少一个突触（例如，突触616）相连接。
在804处，按概率而以离散级来改变其中一个突触的权重值，所述概率取决于在源自神经元电路的锋电位（例如，锋电位610）与源自连接至该突触的另一个神经元电路（即，来自突触前神经元电路）的锋电位（例如，锋电位618）之间的时间。突触后神经元电路可以包括至少一个产生器电路（例如，随机产生器606和608中的至少一个），该至少一个产生器电路由其中一个锋电位触发以产生至少一个脉冲信号，每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。其中一个脉冲（例如，LTD信号612的脉冲）可以导致权重值减小。
所提出的采用离散级突触和概率性STDP的数字神经形态处理器相对于采用确定性STDP的模拟和数字实现方式而言可以提供几个优势。首先，它可以需要较少数量的突触强度离散级：甚至两级或三级突触强度就足够了。这可以需要在突触存储器中存储较少的比特。其次，突触的实现方式可以需要较少的硬件，并且因此，突触连接会占用较少管芯面积。第三，由于以一比特LTP、LTD和锋电位输入代替了多比特LTD和LTP输入，突触可以包括比确定性数字实现方式中的突触更少的输入。更少的突触输入可以转变为更易于布线并有可能节省管芯面积。
应注意，术语“概率性的”仅可以适用于突触训练而不是锋电位信号发送。一旦以概率性方式训练了突触，就可以关闭训练过程，并且神经系统可以继续以确定性方式运行以避免不明确的行为。
示例性仿真结果
可以执行仿真以显示确定性STDP和以数字方式实现的概率性STDP可以收敛到相同的结果。图9(a)-(b)示出了根据本发明的某些实施例的具有仿真中使用的突触的示例性神经元900。神经元9021-9023可以例如以5Hz的平均发放率提供随机锋电位，并且神经元9041-9042可以与受测试的突触906相连接。
在图9(a)所示的实验中，神经元9041-9042都可以连接至同一突触前神经元9022，其中，突触后神经元9042可以通过突触908与突触前神经元9022相连接，其同具有与突触908相同权重的突触910相比具有5ms延迟。因此，神经元9041-9042可以接收相关联的锋电位，并且突触906可以由于STDP而增强。另一方面，在图9(b)中所示的实验中，通过突触914和916而传递到神经元9121-9122的输入可以是相互完全随机的，因此可以预计突触918的权重值或者保持大约相同的值或者受到降低。
图10A-10B示出了在应用确定性STDP时仿真的图9(a)-(b)的前述实验的结果1000。可以观察到，突触906和918可以按预期增强。使用概率性STDP规则重复相同的实验，并且在图11A-11B中示出了相应的仿真结果1100。现在对权重改变进行量化，并且权重改变仅能够按概率而在一部分锋电位上发生，所述概率由在突触前锋电位时间与突触后锋电位时间之间的时间差给出。可以由图11A-11B观察到，突触906和918的最终权重值可以非常接近于使用确定性STDP规则获得的图10A-10B中给出的最终权重值。
上述方法的各个操作可以由能够执行相应功能的任何适合的模块来执行。所述模块可以包括各种硬件和/或软件组件和/或模块，包括但不限于，电路、专用集成电路（ASIC）或处理器。通常，在附图中示出了操作的情况下，这些操作就会具有采用类似编号的相应配对的功能性模块组件。例如，图8中示出的操作800对应于图8A中示出的组件800A。
本文使用的词语“确定”包含各种操作。例如，“确定”可以包括运算、计算、处理、推导、调查、查找（例如，在表、数据库或另一个数据结构中查找）、查明等。此外，“确定”可以包括接收（例如，接收信息）、访问（例如，访问存储器中的数据）等。此外，“确定”可以包括决定、选择、挑选、确立等。
本文使用的称为一系列项目中的“至少一个”的短语表示这些项目的任何组合，包括单个成员。示例性地，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c和a-b-c。
可以用通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或其它可编程逻辑器件(PLD)、分立门或晶体管逻辑器件、分立硬件组件或者被设计为执行本文所述功能的其任意组合，来实现或执行结合本发明所描述的各种示例性的逻辑块、模块和电路。通用处理器可以是微处理器，但是可替换地，该处理器也可以是任何市场上可买到的处理器、控制器、微控制器或者状态机。处理器也可以实现为计算器件的组合，例如，DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种配置。
结合本发明所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或二者的组合。软件模块可以位于本领域中公知的任何形式的存储介质中。可以使用的一些存储介质的实例包括随机存取存储器（RAM）、只读存储器（ROM）、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM等等。软件模块可以包括单个指令或者多个指令，并可以分布在几个不同代码段中、在不同程序中、以及跨越多个存储介质。存储介质可耦合至处理器，使得处理器能够从该存储介质读取信息且可向该存储介质写入信息。可替换地，存储介质可以集成到处理器中。
本文公开的方法包括用于实现所述方法的一个或多个步骤或操作。在不脱离权利要求的范围的情况下，方法的步骤和/或操作可以彼此互换。换句话说，除非指明了步骤或操作的特定顺序，否则在不脱离权利要求的范围的情况下，可以修改特定步骤和/或操作的顺序和/或使用。
所述的功能可以在硬件、软件、固件或其任意组合中实现。如果在软件中实现，则所述功能可以作为一个或多个指令存储在计算机可读介质上。存储介质可以是可由计算机访问的任意可用介质。示例性地而非限制性地，这种计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁存储设备或者可用于以指令或数据结构的形式承载或存储预期程序代码并且可由计算机访问的任意其它介质。本文使用的盘片（disk）和盘（disc）包括紧致盘（CD）、激光盘、光盘、数字多功能盘（DVD）、软盘和蓝盘，其中盘片常常以磁性方式再现数据，而盘通过激光以光学方式来再现数据。
因此，某些实施例可以包括用于执行本文提出的操作的计算机程序产品。例如，这种计算机程序产品可以包括其上存储（和/或编码）了指令的计算机可读介质，所述指令可以由一个或多个处理器运行，以执行本文所述的操作。对于某些实施例，计算机程序产品可以包括封装材料。
软件或指令也可以通过传输介质发送。例如，如果使用同轴电缆、纤维光缆、双绞线、数字用户线路（DSL）或例如红外、无线电和微波的无线技术将软件从网站、服务器或其它远程源进行发送，则同轴电缆、纤维光缆、双绞线、DSL或例如红外、无线电和微波的无线技术包括在传输介质的定义中。
此外，应意识到，在适用的情况下，可以由用户终端和/或基站来下载和/或以其他方式获取用于执行本文所述的方法和技术的模块和/或其它适当的模块。例如，可以将这种设备耦合到服务器以便于对用于执行本文所述方法的模块的传送。可替换地，可以经由存储模块（例如：RAM、ROM、诸如紧致盘（CD）或软盘的物理存储介质等）来提供本文所述的多种方法，以使得当将该存储模块耦合或提供到该设备后，用户终端和/或基站可以获取所述各种方法。此外，可以采用用于将本文所述的方法和技术提供给设备的任何其它合适的技术。
应当理解，权利要求不局限于上述的精确的配置和组件。在不脱离权利要求的范围的情况下，可以在上述方法和装置的布置、操作和细节中进行各种更改、变化和改变。
尽管前述内容针对本发明的实施例，但在不脱离其基本范围的情况下可以设计出本发明的其他及更进一步的实施例，并且其范围是由附带的权利要求来确定的。

Claims (33)

1.一种电路，包括：
数字神经处理单元，其具有一个或多个突触和连接至所述一个或多个突触的突触后神经元电路，
其中，所述一个或多个突触中的一个突触的权重按一概率以离散级来改变数值，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时间。
2.如权利要求1所述的电路，其中，所述概率作为所述所经过的时间的函数而以指数衰减。
3.如权利要求1所述的电路，其中，所述突触后神经元电路进一步包括：
至少一个产生器电路，其由所述锋电位中的一个触发，以产生至少一个脉冲信号，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
4.如权利要求3所述的电路，其中，所述脉冲中的一个脉冲导致所述权重值减小。
5.如权利要求3所述的电路，其中，所述脉冲中的一个脉冲导致连接至所述神经处理单元的另一个突触的另一个权重值增加一个规定的离散级。
6.如权利要求3所述的电路，其中，所述产生器电路中的每一个都包括环形振荡器。
7.如权利要求1所述的电路，其中，该突触进一步包括：
产生器电路，其至少部分地由所述锋电位中的一个触发，以产生脉冲信号，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
8.如权利要求7所述的电路，其中，所述脉冲中的一个脉冲和门信号导致所述权重值增加。
9.如权利要求7所述的电路，其中，所述脉冲中的一个脉冲和门信号导致所述权重值减小。
10.如权利要求7所述的电路，其中，所述产生器电路包括环形振荡器。
11.如权利要求1所述的电路，其中，该突触进一步包括：
数模转换电路，其由所述锋电位中的一个门控，产生被输入到所述突触后神经元电路中的电流，所述电流的值基于该突触的所述权重值。
12.一种用于实现数字神经处理单元的方法，包括：
将所述神经处理单元的突触后神经元电路与所述神经处理单元的至少一个突触相连接；及
按一概率以离散级来改变所述至少一个突触中的一个突触的权重值，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时间。
13.如权利要求12所述的方法，其中，所述概率作为所述所经过的时间的函数而以指数衰减。
14.如权利要求12所述的方法，进一步包括：
由所述锋电位中的一个触发在所述突触后神经元电路中的至少一个产生器电路，以开始产生至少一个脉冲信号，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
15.如权利要求14所述的方法，其中，所述脉冲中的一个脉冲导致所述权重值减小。
16.如权利要求14所述的方法，其中，所述脉冲中的一个脉冲导致连接至所述神经处理单元的另一个突触的另一个权重值增加一个规定的离散级。
17.如权利要求14所述的方法，其中，所述产生器电路中的每一个都包括环形振荡器。
18.如权利要求12所述的方法，进一步包括：
至少部分地由所述锋电位中的一个触发该突触中的产生器电路，以开始产生脉冲信号，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
19.如权利要求18所述的方法，其中，所述脉冲中的一个脉冲和门信号导致所述权重值增加。
20.如权利要求18所述的方法，其中，所述脉冲中的一个脉冲和门信号导致所述权重值减小。
21.如权利要求18所述的方法，其中，所述产生器电路包括环形振荡器。
22.如权利要求12所述的方法，进一步包括：
由该突触中的数模转换电路产生要输入到所述突触后神经元电路中的电流，其中，所述电流的值基于该突触的所述权重值，所述数模转换电路由所述锋电位中的一个门控。
23.一种用于实现数字神经处理单元的装置，包括：
用于将所述神经处理单元的突触后神经元电路与所述神经处理单元的至少一个突触相连接的模块；及
用于按一概率以离散级来改变所述至少一个突触中的一个突触的权重值的模块，所述概率取决于在源自所述突触后神经元电路以及连接至该突触的突触前神经元电路的一对锋电位之间所经过的时间。
24.如权利要求23所述的装置，其中，所述概率作为所述所经过的时间的函数而以指数衰减。
25.如权利要求23所述的装置，进一步包括：
用于由所述锋电位中的一个触发在所述突触后神经元电路中的至少一个产生器电路，以开始产生至少一个脉冲信号的模块，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
26.如权利要求25所述的装置，其中，所述脉冲中的一个脉冲导致所述权重值减小。
27.如权利要求25所述的装置，其中，所述脉冲中的一个脉冲导致连接至所述神经处理单元的另一个突触的另一个权重值增加一个规定的离散级。
28.如权利要求25所述的装置，其中，每一个所述产生器电路都包括环形振荡器。
29.如权利要求23所述的装置，进一步包括：
用于至少部分地由所述锋电位中的一个触发该突触中的产生器电路以开始产生脉冲信号的模块，其中每一个脉冲在规定的时间间隔内出现的概率随时间而以指数衰减。
30.如权利要求29所述的装置，其中，所述脉冲中的一个脉冲和门信号导致所述权重值增加。
31.如权利要求29所述的装置，其中，所述脉冲中的一个脉冲和门信号导致所述权重值减小。
32.如权利要求29所述的装置，其中，所述产生器电路包括环形振荡器。
33.如权利要求23所述的装置，进一步包括：
用于由该突触中的数模转换电路来产生要输入到所述突触后神经元电路中的电流的模块，其中，所述电流的值基于该突触的所述权重值，所述数模转换电路由所述锋电位中的一个门控。
CN201180031038.XA 2010-07-07 2011-07-07 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统 Expired - Fee Related CN102959566B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/831,871 US9129220B2 (en) 2010-07-07 2010-07-07 Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US12/831,871 2010-07-07
PCT/US2011/043259 WO2012054109A1 (en) 2010-07-07 2011-07-07 Methods and systems for digital neural processing with discrete-level synapses and probabilistic stdp

Publications (2)

Publication Number Publication Date
CN102959566A true CN102959566A (zh) 2013-03-06
CN102959566B CN102959566B (zh) 2016-04-27

Family

ID=45439305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180031038.XA Expired - Fee Related CN102959566B (zh) 2010-07-07 2011-07-07 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统

Country Status (7)

Country Link
US (1) US9129220B2 (zh)
EP (1) EP2591452A1 (zh)
JP (1) JP5680751B2 (zh)
KR (1) KR101466205B1 (zh)
CN (1) CN102959566B (zh)
TW (1) TW201209735A (zh)
WO (1) WO2012054109A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279958A (zh) * 2013-05-31 2013-09-04 电子科技大学 一种基于Spiking神经网络的图像分割方法
CN105556543A (zh) * 2013-09-25 2016-05-04 高通股份有限公司 针对神经模型的群组标签的实现方案的方法和装置
CN106407988A (zh) * 2016-09-05 2017-02-15 中国科学院自动化研究所 基于电镜序列切片图像的突触检测方法
CN106796668A (zh) * 2016-03-16 2017-05-31 香港应用科技研究院有限公司 用于人工神经网络中比特深度减少的方法和系统
CN107807819A (zh) * 2017-07-20 2018-03-16 上海寒武纪信息科技有限公司 一种支持离散数据表示的用于执行人工神经网络正向运算的装置及方法
CN108475348A (zh) * 2015-12-15 2018-08-31 美国亚德诺半导体公司 卷积神经网络
CN109416759A (zh) * 2016-06-30 2019-03-01 Hrl实验室有限责任公司 具有生物行为的神经集成电路
CN109635938A (zh) * 2018-12-29 2019-04-16 电子科技大学 一种自主学习脉冲神经网络权值量化方法
CN114270374A (zh) * 2019-08-21 2022-04-01 美光科技公司 神经网络存储器

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US8843426B2 (en) * 2011-05-25 2014-09-23 Qualcomm Incorporated Method and apparatus of primary visual cortex simple cell training and operation
US8583577B2 (en) * 2011-05-25 2013-11-12 Qualcomm Incorporated Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits
US8990133B1 (en) 2012-12-20 2015-03-24 Brain Corporation Apparatus and methods for state-dependent learning in spiking neuron networks
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
FR2977350B1 (fr) * 2011-06-30 2013-07-19 Commissariat Energie Atomique Reseau de neurones artificiels a base de dispositifs memristifs complementaires
US9460387B2 (en) * 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US8909576B2 (en) * 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9156165B2 (en) 2011-09-21 2015-10-13 Brain Corporation Adaptive critic apparatus and methods
US9015092B2 (en) 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US9213937B2 (en) 2011-09-21 2015-12-15 Brain Corporation Apparatus and methods for gating analog and spiking signals in artificial neural networks
US9146546B2 (en) 2012-06-04 2015-09-29 Brain Corporation Systems and apparatus for implementing task-specific learning using spiking neurons
US9104186B2 (en) 2012-06-04 2015-08-11 Brain Corporation Stochastic apparatus and methods for implementing generalized learning rules
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9256215B2 (en) * 2012-07-27 2016-02-09 Brain Corporation Apparatus and methods for generalized state-dependent learning in spiking neuron networks
US8669785B2 (en) * 2012-07-31 2014-03-11 Hewlett-Packard Development Company, L.P. Logic circuits using neuristors
US9189730B1 (en) 2012-09-20 2015-11-17 Brain Corporation Modulated stochasticity spiking neuron network controller apparatus and methods
US9367798B2 (en) 2012-09-20 2016-06-14 Brain Corporation Spiking neuron network adaptive control apparatus and methods
FR2996029B1 (fr) 2012-09-26 2018-02-16 Commissariat A L'energie Atomique Et Aux Energies Alternatives Systeme neuromorphique exploitant les caracteristiques intrinseque de cellules de memoire
US9082079B1 (en) 2012-10-22 2015-07-14 Brain Corporation Proportional-integral-derivative controller effecting expansion kernels comprising a plurality of spiking neurons associated with a plurality of receptive fields
US9195934B1 (en) 2013-01-31 2015-11-24 Brain Corporation Spiking neuron classifier apparatus and methods using conditionally independent subsets
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
US20140310216A1 (en) * 2013-04-15 2014-10-16 Qualcomm Incorporated Method for generating compact representations of spike timing-dependent plasticity curves
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
US9314924B1 (en) * 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9418332B2 (en) 2013-08-16 2016-08-16 Qualcomm Incorporated Post ghost plasticity
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US10198691B2 (en) 2014-06-19 2019-02-05 University Of Florida Research Foundation, Inc. Memristive nanofiber neural networks
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
US10803941B2 (en) * 2014-12-22 2020-10-13 Mohammad A. Mazed System on chip (SoC) based on neural processor or microprocessor
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
JP6502799B2 (ja) * 2015-09-04 2019-04-17 株式会社東芝 信号発生装置および伝送装置
EP3208750A1 (en) * 2016-02-22 2017-08-23 Universität Zürich An analogue electronic deep neural network
US11106973B2 (en) 2016-03-16 2021-08-31 Hong Kong Applied Science and Technology Research Institute Company Limited Method and system for bit-depth reduction in artificial neural networks
AU2017348347A1 (en) * 2016-10-27 2019-05-16 University Of Florida Research Foundation Memristive learning for neuromorphic circuits
EP3324343A1 (en) 2016-11-21 2018-05-23 Centre National de la Recherche Scientifique Unsupervised detection of repeating patterns in a series of events
KR102313796B1 (ko) * 2017-01-25 2021-10-20 한국전자통신연구원 뉴로모픽 연산 장치
US11615297B2 (en) 2017-04-04 2023-03-28 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network compiler
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11544545B2 (en) 2017-04-04 2023-01-03 Hailo Technologies Ltd. Structured activation based sparsity in an artificial neural network
US11551028B2 (en) 2017-04-04 2023-01-10 Hailo Technologies Ltd. Structured weight based sparsity in an artificial neural network
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
TWI625681B (zh) 2017-05-11 2018-06-01 國立交通大學 神經網路處理系統
KR102526650B1 (ko) 2017-05-25 2023-04-27 삼성전자주식회사 뉴럴 네트워크에서 데이터를 양자화하는 방법 및 장치
US11301752B2 (en) * 2017-10-24 2022-04-12 International Business Machines Corporation Memory configuration for implementing a neural network
CN111279365B (zh) * 2017-10-26 2024-10-18 深圳源光科技有限公司 计算单元
US11100389B2 (en) * 2017-11-06 2021-08-24 Electronic Warfare Associates, Inc. Conversion of digital signals into spiking analog signals
US20190251430A1 (en) * 2018-02-13 2019-08-15 International Business Machines Corporation Mixed signal cmos rpu with digital weight storage
AU2019372063B2 (en) 2018-11-01 2022-12-01 Brainchip, Inc. An improved spiking neural network
CN109978019B (zh) * 2019-03-07 2023-05-23 东北师范大学 图像模式识别模拟与数字混合忆阻设备及制备，实现stdp学习规则和图像模式识别方法
JP7118930B2 (ja) 2019-08-19 2022-08-16 株式会社東芝 スパイキングニューラルネットワーク装置およびその学習方法
US11874900B2 (en) 2020-09-29 2024-01-16 Hailo Technologies Ltd. Cluster interlayer safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464477A (zh) * 2002-06-18 2003-12-31 中国科学院半导体研究所 多权值突触的神经元构造方法
WO2005106762A2 (en) * 2004-04-15 2005-11-10 Neurosciences Research Foundation, Inc. Mobile brain-based device for use in a real world environment
WO2009113993A1 (en) * 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06266868A (ja) * 1992-12-24 1994-09-22 Olympus Optical Co Ltd ニューロン素子
US6507828B1 (en) 1998-06-19 2003-01-14 Jason Leonard Neuron circuit and related techniques
US7392230B2 (en) * 2002-03-12 2008-06-24 Knowmtech, Llc Physical neural network liquid state machine utilizing nanotechnology
US8103602B2 (en) 2006-12-29 2012-01-24 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of STDP and dopamine signaling
US8127075B2 (en) 2007-07-20 2012-02-28 Seagate Technology Llc Non-linear stochastic processing storage device
US7818273B2 (en) * 2007-09-18 2010-10-19 International Business Machines Corporation System and method for cortical simulation
US8332448B2 (en) 2007-10-12 2012-12-11 Sanyo Semiconductor Co., Ltd. Semiconductor integrated circuit having a random number and oscillator circuit for variably controlling stored data
US8258480B2 (en) 2008-03-03 2012-09-04 The Board Of Trustees Of The Leland Stanford Junior University High energy photon detection using pulse width modulation
US8250011B2 (en) 2008-09-21 2012-08-21 Van Der Made Peter A J Autonomous learning dynamic artificial neural computing device and brain inspired system
JP5074359B2 (ja) 2008-11-12 2012-11-14 日本電信電話株式会社 乱数生成回路
US8447714B2 (en) * 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US8250010B2 (en) * 2009-05-21 2012-08-21 International Business Machines Corporation Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US8200593B2 (en) * 2009-07-20 2012-06-12 Corticaldb Inc Method for efficiently simulating the information processing in cells and tissues of the nervous system with a temporal series compressed encoding neural network
US8515885B2 (en) * 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1464477A (zh) * 2002-06-18 2003-12-31 中国科学院半导体研究所 多权值突触的神经元构造方法
WO2005106762A2 (en) * 2004-04-15 2005-11-10 Neurosciences Research Foundation, Inc. Mobile brain-based device for use in a real world environment
WO2009113993A1 (en) * 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TERRY ELLIOTT: "Discrete States of Synaptic Strength in a Stochastic Model of Spike-Timing-Dependent Plasticity", 《NEURAL COMPUTATION》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279958B (zh) * 2013-05-31 2015-10-14 电子科技大学 一种基于Spiking神经网络的图像分割方法
CN103279958A (zh) * 2013-05-31 2013-09-04 电子科技大学 一种基于Spiking神经网络的图像分割方法
CN105556543B (zh) * 2013-09-25 2018-11-23 高通股份有限公司 针对神经模型的群组标签的实现方案的方法和装置
CN105556543A (zh) * 2013-09-25 2016-05-04 高通股份有限公司 针对神经模型的群组标签的实现方案的方法和装置
CN108475348A (zh) * 2015-12-15 2018-08-31 美国亚德诺半导体公司 卷积神经网络
CN106796668B (zh) * 2016-03-16 2019-06-14 香港应用科技研究院有限公司 用于人工神经网络中比特深度减少的方法和系统
CN106796668A (zh) * 2016-03-16 2017-05-31 香港应用科技研究院有限公司 用于人工神经网络中比特深度减少的方法和系统
CN109416759A (zh) * 2016-06-30 2019-03-01 Hrl实验室有限责任公司 具有生物行为的神经集成电路
CN109416759B (zh) * 2016-06-30 2020-04-28 Hrl实验室有限责任公司 具有生物行为的神经集成电路
CN106407988A (zh) * 2016-09-05 2017-02-15 中国科学院自动化研究所 基于电镜序列切片图像的突触检测方法
CN106407988B (zh) * 2016-09-05 2019-11-26 中国科学院自动化研究所 基于电镜序列切片图像的突触检测方法
CN107807819A (zh) * 2017-07-20 2018-03-16 上海寒武纪信息科技有限公司 一种支持离散数据表示的用于执行人工神经网络正向运算的装置及方法
CN109635938A (zh) * 2018-12-29 2019-04-16 电子科技大学 一种自主学习脉冲神经网络权值量化方法
CN109635938B (zh) * 2018-12-29 2022-05-17 电子科技大学 一种自主学习脉冲神经网络权值量化方法
CN114270374A (zh) * 2019-08-21 2022-04-01 美光科技公司 神经网络存储器
US11380391B2 (en) * 2019-08-21 2022-07-05 Micron Technology, Inc. Neural network memory with mechanism to change synaptic weight
CN114270374B (zh) * 2019-08-21 2024-05-03 美光科技公司 神经网络存储器

Also Published As

Publication number Publication date
KR101466205B1 (ko) 2014-11-27
TW201209735A (en) 2012-03-01
JP5680751B2 (ja) 2015-03-04
KR20130036313A (ko) 2013-04-11
CN102959566B (zh) 2016-04-27
US20120011093A1 (en) 2012-01-12
EP2591452A1 (en) 2013-05-15
WO2012054109A1 (en) 2012-04-26
JP2013534018A (ja) 2013-08-29
US9129220B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
CN102959566A (zh) 用于具有离散级突触和概率性stdp的数字神经处理的方法和系统
US8892485B2 (en) Methods and systems for neural processor training by encouragement of correct output
US9417845B2 (en) Method and apparatus for producing programmable probability distribution function of pseudo-random numbers
US20150206048A1 (en) Configuring sparse neuronal networks
JP2013534018A5 (zh)
US8909575B2 (en) Method and apparatus for modeling neural resource based synaptic placticity
US11568241B2 (en) Device, system and method for varying a synaptic weight with a phase differential of a spiking neural network
KR20160076520A (ko) 인과적 현출성 시간 추론
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
US20150046382A1 (en) Computed synapses for neuromorphic systems
CN103052963A (zh) 用于奖赏调节的锋电位时序依赖可塑性的方法和系统
US20150212861A1 (en) Value synchronization across neural processors
US20150286925A1 (en) Modulating plasticity by global scalar values in a spiking neural network
US10552734B2 (en) Dynamic spatial target selection
US20150248607A1 (en) Method and apparatus for efficient implementation of common neuron models
Buddana et al. Word level LSTM and recurrent neural network for automatic text generation
JP6219509B2 (ja) シナプス遅延を動的に割り当てることおおよび検査すること
US9460384B2 (en) Effecting modulation by global scalar values in a spiking neural network
US9449272B2 (en) Doppler effect processing in a neural network model
US9342782B2 (en) Stochastic delay plasticity
US20140365413A1 (en) Efficient implementation of neural population diversity in neural system
US20150213356A1 (en) Method for converting values into spikes
US20240346296A1 (en) Low-latency time-encoded spiking neural network
Yamamoto et al. Fast backpropagation learning using optimization of learning rate for pulsed neural networks
CN114997385A (zh) 应用于神经网络的存内计算架构的操作方法、装置和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160427

Termination date: 20180707