CN102341815B - 使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触 - Google Patents

使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触 Download PDF

Info

Publication number
CN102341815B
CN102341815B CN201080009719.1A CN201080009719A CN102341815B CN 102341815 B CN102341815 B CN 102341815B CN 201080009719 A CN201080009719 A CN 201080009719A CN 102341815 B CN102341815 B CN 102341815B
Authority
CN
China
Prior art keywords
pulse
spike
postsynaptic
presynaptic
voltage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080009719.1A
Other languages
English (en)
Other versions
CN102341815A (zh
Inventor
R·S·谢诺伊
D·S·莫德哈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN102341815A publication Critical patent/CN102341815A/zh
Application granted granted Critical
Publication of CN102341815B publication Critical patent/CN102341815B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据本发明的实施例，提供了在人工突触中产生尖峰依赖塑性的系统、方法及计算机程序产品。在一实施例中，一方法包括：在电子组件内接收突触前尖峰；在电子组件内接收突触后尖峰；响应于突触前尖峰，产生突触前脉冲，此突触前脉冲发生在接收到突触前尖峰后的一预定时间段；响应于突触后尖峰，产生突触后脉冲，此突触后脉冲开始于一基准值，并在突触后尖峰后的第一时间段达到第一电压值，接着在突触后尖峰后的第二时间段达到第二电压值，接着在突触后尖峰后的第三时间段返回到基准电压；对突触装置的突触前节点施加产生的突触前脉冲，此突触装置包括与整流元件串联的单极、二端子双稳装置；以及对突触装置的突触后节点施加产生的突触后脉冲，其中突触装置根据施加于其突触前与突触后节点的输入电压值，自第一电导状态改变为第二电导状态，其中施加突触前与突触后脉冲后的突触装置的电导的结果状态依赖于所接收到的突触前尖峰相对于突触后尖峰的相对时间。

Description

使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触
技术领域
本发明一般涉及人工神经网络。具体而言，涉及具有尖峰依赖塑性的电子学习突触。
背景技术
一神经元的轴索与另一神经元的树突间的连接点称为突触，对突触而言，二个神经元分别称为突触前及突触后。我们个人经验的本质存储于突触的电导中。突触电导，按照尖峰-时间依赖塑性(STDP)，随着时间作为每个的突触前及突触后神经元的相对尖峰时间的函数而改变。如果突触的突触后神经元在其突触前神经元激发后才激发，则STDP规则增加此突触的电导，且如果二个激发的顺序颠倒，则STDP规则降低突触的电导。再者，此改变依赖于这两个事件间的精确延迟：延迟越多，则改变的幅度越小。
人工神经网络是允许计算机以实质类似于生理脑的方式运作的运算系统。人工神经网络不利用操纵0与1的传统数字模型。相反，人工神经网络创建处理元件间的连接，所述处理元件相当于人脑的神经元。人工神经网络可基于多种根据神经元建模的电子电路。
发明内容
根据本发明的一实施例，一方法包括：在电子组件内接收突触前尖峰；在电子组件内接收突触后尖峰；响应于突触前尖峰，产生突触前脉冲，此突触前脉冲发生于接收到突触前尖峰后的一预定时间段；响应于突触后尖峰，产生突触后脉冲，此突触后脉冲开始于一基准值，并在突触后尖峰后的第一时间段达到第一电压值，接着在突触后尖峰后的第二时间段达到第二电压值，接着在突触后尖峰后的第三时间段返回到基准电压；对突触装置的突触前节点施加产生的突触前脉冲，该突触装置包括与整流元件串联的单极、二端子双稳装置；以及对突触装置的突触后节点施加产生的突触后脉冲，其中突触装置根据施加于其突触前与突触后节点的输入电压值，自第一电导状态改变为第二电导状态，其中施加突触前与突触后脉冲后的突触装置的电导的结果状态，依赖于所接收到的突触前尖峰相对于突触后尖峰的相对时间。
根据本发明的另一实施例，一方法包括：在电子组件内接收突触前尖峰；在电子组件内接收突触后尖峰；响应于突触前尖峰，产生突触前脉冲，此突触前脉冲开始于一基准值，并在突触前尖峰后的第一时间段达到第一电压值，接着在突触前尖峰后的第二时间段达到第二电压值，接着在突触前尖峰后的第三时间内返回到基准电压；响应于突触后尖峰，产生突触后脉冲，此脉冲发生于接收到突触后尖峰后的一预定时间段；对突触装置的突触前节点施加产生的突触前脉冲，此突触装置包括与整流元件串联的单极、二端子双稳装置；以及对突触装置的突触后节点施加产生的突触后脉冲，其中突触装置根据施加于其突触前与突触后节点的输入电压值，自第一电导状态改变为第二电导状态，其中施加突触前与突触后脉冲后的突触装置的电导的结果状态，依赖于所接收到的突触前尖峰相对于突触后尖峰的相对时间。
根据本发明的又一实施例，一装置包括：单极、二端双稳装置，其与突触前端子相连；具有第一与第二端的整流元件，此整流元件在第一端连接单极、二端子双稳装置，并在第二端连接突触后端子；以及至少一脉冲整形元件，其产生一系列的电压脉冲到突触前及突触后端子，其中响应于接收到的突触前尖峰，此元件在突触前端子产生一脉冲，此脉冲发生于接收到突触前尖峰后的一预定时间段，以及其中响应于突触后尖峰，此元件在突触后端子产生一脉冲，此脉冲开始于一基准值，并在突触后尖峰后的第一时间段达到第一电压值，接着在突触后尖峰后的第二时间段达到第二电压值，接着在突触后尖峰后的第三时间段返回到基准电压。
根据本发明的又一实施例，该装置包括：多个单极、二端子双稳装置，每个装置与一突触前端子相连；多个整流元件，每个元件都有各自的第一与第二端，每个整流元件在第一端连接所述单极、二端子双稳装置中的一个，并在第二端连接一突触后端子；以及至少一个脉冲整形元件，其产生一系列的电压脉冲到突触前及突触后端子，其中响应于接收到的突触前尖峰，此脉冲整形元件在突触前端子产生一脉冲，此脉冲发生于接收到突触前尖峰后的一预定时间段，以及其中响应于突触后尖峰，此元件在突触后端子产生一脉冲，此脉冲开始于一基准值，并在突触后尖峰后的第一时间段达到第一电压值，接着在突触后尖峰后的第二时间段达到第二电压值，接着在突触后尖峰后的第三时间内返回到基准电压。
根据本发明的又一实施例，用于提供突触前与突触后脉冲到突触装置的计算机程序产品包括：一计算机可用介质，其具有体现于其中的计算机可用程序代码，此计算机可用程序代码包括：被配置为执行以下操作的计算机可用程序代码：响应于突触前尖峰的表示，产生一指令给单极、二端子、双稳装置，以产生突触前脉冲，此突触前脉冲发生于接收到突触前尖峰后的一预定时间段；以及响应于突触后尖峰的表示，产生一指令给一装置，以产生突触后脉冲，此突触后脉冲开始于一基准值，并在突触后尖峰后的第一时间段达到第一电压值，接着在突触后尖峰后的第二时间段达到第二电压值，接着在突触后尖峰后的第三时间内返回到基准电压。
附图说明
图1示出根据本发明的一实施例的人工突触系统的方块图；
图2示出根据本发明的一实施例的与人工突触系统一同使用的示例性输入脉冲；
图3示出根据本发明的一实施例的图2所示的输入脉冲所产生的示例性有效脉冲；
图4示出根据本发明的一实施例的示例性输入与有效脉冲；
图5示出根据本发明的一实施例的示例性输入与有效脉冲；
图6示出根据本发明的一实施例的示例性输入与有效脉冲；
图7示出根据本发明的一实施例的用于在人工突触中产生尖峰时间依赖塑性的过程的流程图；以及
图8示出适用于实施本发明的一实施例的信息处理系统的高级方块图。
具体实施方式
本发明的实施例提供了用于利用记忆切换元件的具有尖峰依赖塑性的电子学习突触的系统、方法、及计算机可读介质。“神经元”一词是由Heinrich Wilhelm Gottfried von Waldeyer-Hartz在1891年所创造，以代表脑的分立的信息处理单元。1897年Charles Sherrington爵士将二个神经元间的连接处称为“突触”。信息流在突触中只朝一个方向流动，因此可以谈论“突触前”与“突触后”神经元。当神经元透过突触接收到足够的输入而被激活时，会发出“尖峰”，所述尖峰被传递到那些突触，该神经元即是那些突触的突触前神经元。神经元可为“兴奋性的”或“抑制性的”。
脑可被视为一个有向图，其中节点为神经元，而边为突触。下表示出小鼠、老鼠及人的神经元及突触的粗略数量。哺乳动物脑皮层中的每个神经元与其他神经元间具有约8000个突触。
          小鼠       老鼠       人类
神经元    16×106    56×106    22×109
突触      128×109   448×109   220×1012
脑的运算、通信与记忆资源随着突触的数量增减而增减，而非随着神经元的数量的增减而增减。即使是功率及空间需求也随着突触的数量而增减。
突触的某些物理特征如下。突触密度约为每立方毫米7.2×l08，其大约相当于将突触放置于一个三维网格，每个方向具有1μm的间隔。此数值似乎为所有哺乳动物的脑皮层的自然常数。
突触权重是突触前激发将对突触后神经元所产生的影响。突触权重是塑性或适应性的，且随着时间而改变。突触权重显示出二种形式的塑性：(a)长期的与(b)短期的。突触传输属性的长期改变提供了学习及记忆的生理基质，而短期改变支持多种运算。短期塑性的机制是一种增益控制，且非本公开所讨论的范围。
长期权重适应的机制被称为尖峰时间依赖塑性(STDP)。因果关系是STDP的关键要素。相关活动的发生可以纯属偶然，而非反应一个应该学习的因果关系。总是最佳预测突触后响应的输入应成为神经元最强的输入。因此，在STDP中，只有在突触的突触前动作电位先于且因此可能贡献于触后神经元的激发时，才会加强突触。意外性的非因果巧合将减弱突触。
以下描述STDP常见的现象学描述之一：(a)如果突触前神经元在突触后神经元激发前的t毫秒激发，则突触权重增加(加强，强化)A+(-t/τ)，其中A+与τ为常数；(b)如果突触前神经元在突触后神经元激发后的t毫秒激发，则突触权重降低(减弱，压抑)A_(-t/入)，其中A_与入为常数。
如果假设突触为二元的，则在最广的层次上，STDP可概述如下：如果突触后神经元在突触前神经元的一个短时间内激发，则突触会被完全开启，而如果突触前神经元在突触后神经元的一个短时间内激发，则突触会被完全关闭。STDP规则允许脑从时空变化的环境中提取出因果关系与相关性。
经典冯·诺伊曼计算的关键特征是计算与记忆的分离。具体而言，如果要改变存储单元，则将其带入单独的运算单元进行修改，然后归还。此三步骤过程建立了经典冯·诺伊曼计算的瓶颈，此瓶颈造成现代计算机系统的不便。与冯·诺伊曼计算相反，突触是原地修改的存储元件，即存储与计算分布于脑中。
一般而言，本发明的实施例包括展现出类似于突触功能的装置。具体而言，实施例利用记忆切换元件，该元件的编程与擦除操作可以使用相同的电压极性完成。这种装置的一示例是相变存储器(PCM)，在此情况下它是一单极、二端子、双稳装置。相变存储器装置可被切换如下：较低电压(电流)脉冲来编程或设置(即，从低电导非晶状态到高电导晶状态)以及较高电压(电流)脉冲来擦除或重置(即，从高电导到低电导状态)。本发明的实施例利用新颖的双极突触前与后脉冲，所述脉冲捕捉这种材料内的STDP特性。具体而言，利用与二极管串联的PCM装置，这些新颖的突触前与后脉冲可被整形为：如果突触后脉冲在突触前脉冲后的100毫秒内发生，则编程此装置，或者如果突触前脉冲在突触后脉冲后的100毫秒内发生，则擦除此装置。虽然所公开的实施例可能不允许多个电导状态，但它们可以类似STDP的方法奖励因果关系并惩罚非因果关系。本发明的实施例公开了类似突触的装置，其通过建立一种活动记忆形式，打破了传统计算的模式。
图1示出了人工突触系统10的示意图，该系统包括人工二元突触12以及与二极管16串联的二端子PCM装置14。人工二元突触12包括突触前节点18与突触后节点20。脉冲整形单元22有一突触前输出端24与一突触后输出端，其中突触前输出端24与突触前节点18相连，而突触后输出端系与突触后节点20相连。脉冲整形单元22包括突触前尖峰输入端24与突触后尖峰输入端26。脉冲整形单元22分别于其二个输入端24、26接收突触前与突触后尖峰，并将其转换为突触前与突触后输入脉冲，如下所述并如图2-6所示。在某些实施例中，可利用单独的电子装置或组件代替单个脉冲整形单元22：一个电子装置或组件接收突触前尖峰，另一个电子装置和组件接收突触后尖峰。
假设PCM装置14有临界电压VTH＝0.9V。如果PCM装置14处于低电导非晶(重置)状态，则对其施加小于VTH的电压将不会导致电流流过，但大于VTH的电压会导致临界切换行为，且电流将流过此装置。注意，如果PCM装置处于高电导晶体(设置)状态，则不适用临界电压标准。
再者，假设幅度约1.1V的电压脉冲会将PCM装置14切换为高电导晶体(设置)状态，不管其原始状态为何。注意，此电压指通过PCM装置的电压。最后，假设幅度约1.4V的电压脉冲会将PCM装置14切换为低电导非晶(重置)状态，不管其原始状态为何。
假设二极管16有以下属性。在阳极与阴极间施加小于0.7V的电压将不会导致任何电流通过。大于0.7V的电压会导致二极管开启并具有低电阻。在其开启状态，假设二极管上有可忽略不计的电压量下降。因此，二极管对于所有大于0.7V电压具有电压电平移位器的作用。脉冲整形单元22将在其输入端24、26接收的原始突触前与突触后尖峰转换为特定形状的脉冲，如图2所示。在某些实施例中，脉冲整形单元22可在许多类似于突触12的突触间分享，以降低整个区域的消耗。
在一实施例中，脉冲整形单元22产生突触前脉冲，如图2所示，此脉冲实质为具有非常窄宽度(例如10-100毫微秒)的1.5V尖峰，且是在其输入端24接收到的原始突触前尖峰到达后的100毫秒被触发的。脉冲整形单元22也产生突触后脉冲，其具有二部分：在突触后输入端26原始突触后尖峰到达后的几毫秒(例如5毫秒)被触发的-0.3V电平的电压，接着是在原始突触后尖峰到达后的100毫秒触发的-0.6V电平的电压。此-0.6V电平的电压在稍稍短于100毫秒(在此示例中为95毫秒)的时间退回到0V。当输入端24、26没有突触前与突触后尖峰时，零(0)V被施加到人工二元突触12的突触前与突触后节点18、20这两者，如图1所示。
图3示出了在人工二元突触12与PCM装置14上所发展出的有效电压。在此，二极管16的主要目的很明显。通过对可能流过突触的电流进行整流，每个突触操作所消耗的能量会大大降低，因为电流通过的时间为10-100毫微秒，而不是约200毫秒。
以下探讨三个案例：
案例1：突触前脉冲正好在突触后脉冲之前到达(在所希望的时间窗口内，此示例中所希望的时间窗口为95毫秒)。如图4所示，这导致有效1.1V脉冲通过PCM装置14，这设置了PCM装置14(增加电导)。
案例2：突触前脉冲正好在突触后脉冲之后到达(在希望的时间窗口内，在此示例中希望的时间窗口为95毫秒)。如图5所示，这导致有效1.4V脉冲通过PCM装置14，这重置了PCM装置14(降低电导)。
案例3：突触前脉冲在突触后脉冲之前/之后很长时间才到达(在希望的时间窗口外，在此示例中希望的时间窗口为95毫秒)。如图6所示，这导致0.8V脉冲通过PCM装置14，这不改变PCM装置14的状态。如果原始为重置状态，0.8V小于VTH(0.9V)，PCM装置14保持重置状态。如果原始为设置状态，脉冲会通过但不重置PCM装置14(这会需要1.4V)，因此，PCM装置14保持设置状态。可理解，实际电压与时间段的精确值仅供示例之用，且不同实施例可使用其他数值。
图7是根据本发明的一实施例用于使得人工突触(例如人工突触12)展现类似STDP行为的过程30的流程图。在方块32，在输入端24接收到突触前尖峰。在方块34，在输入端26接收到突触后尖峰。在方块36，脉冲整形单元22在突触前尖峰后的一预定时间段产生突触前脉冲。在方块38，脉冲整形单元22在特定时间产生具有多个电压电平的突触后脉冲。具体而言，这可包括如图2所示的突触后脉冲。在方块40，对突触装置(例如装置12)的突触前节点施加所产生的突触前脉冲。在方块42，对突触装置(例如装置12)的突触后节点施加所产生的突触后脉冲。在本发明的一实施例中，其中一个电压脉冲的半高全宽(FWHM)的持续时间比另一电压脉冲的FWHM短至少1000倍。
在本发明的另一实施例中，突触前与突触后脉冲的形状可被交换，且产生的突触前脉冲可绕Y轴反转。在此情况下，响应于突触前尖峰，产生突触前脉冲，此脉冲开始于一基准电平，并在突触前尖峰后的第一时间段到达第一电压电平，接着在突触前尖峰后的第二时间段到达第二电压电平，并接着在突触前尖峰后的第三时间段返回到基准电压。又，响应于突触后尖峰，产生突触后脉冲，该脉冲发生在接收到突触后尖峰后的一预定时间段。在其他实施例中，可使用非单极的装置；然而，脉冲可能需要被修改。在其他实施例中，可使用二端子双稳PCM装置以外的装置。又，可使用PCM装置以外的装置，这些装置具有下述属性：其电阻可作为对其所施加的电压的函数、或作为通过其中的电流的函数而改变。
本发明适用于不同种类的架构作不同目的的运用，例如形成神经网络与环境事件间时空关联。一个这样的示例是将本发明嵌入纵横阵列(crossbar array)，其在人工神经网络中将一组突触与一组神经元相连。在这种安排中，图1的人工突触可在纵横阵列的垂直与水平条的交接处相连。垂直条可为连接如图1所示的突触前输入端24的突触前线，而水平条可为连接突触后输入端26的突触后线。
如以上公开所示，本发明的实施例提供了利用记忆切换元件的具有STDP塑性的电子学习突触。如本领域技术人员所知，本发明可以体现为系统、方法、或计算机程序产品。因此，本发明可采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微码等)、或包括软件及硬件方面(在此都可一般地称为“电路”、“模块”或“系统”)的实施例的形式。
再者，本发明或其组件可以采取计算机程序产品的形式，其中此产品体现于任何有形的表达介质，该表达介质具有体现于其中的计算机可用程序代码。可使用一或多个计算机可用或计算机可读介质的任何组合。计算机可用或计算机可读介质可以为例如但不限于电子、磁、光、电磁、红外线、或半导体系统、设备、装置、或传播介质。计算机可读介质的更多示例包括以下各项：具有一个或多个电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式紧致盘只读存储器(CD-ROM)、光存储设备、传输介质(例如支持因特网或内部网的介质)、或磁存储设备。注意，计算机可用或计算机可读介质甚至可为纸或其他将程序印于其上的适当介质，因为此程序可通过例如纸或其他介质的光学扫描而以电子方式捕获，并在需要时接着被编译、解译、或以其他适当方式处理，并接着存储于计算机存储器中。在此文件的情境中，计算机可用或计算机可读介质可为任何可包含、存储、通讯、传播、或传输程序的介质，以供指令执行系统、设备或装置使用，或与其一同使用。计算机可用介质可包括位于基带中或作为载波的一部分的传播数据信号，计算机可用程序代码体现于其中。计算机可用程序代码可利用任何适当的介质传输，所述介质包括但不限于无线、有线、光纤、及/或射频等。
可以一种或多种编程语言的任何组合撰写用于执行本发明的操作的计算机程序代码，该一种或多种编程语言包括诸如Java、Smalltalk、C++或其类似者的面向对象的编程语言及诸如“C”编程语言或类似编程语言的传统过程性编程语言。程序代码可完全在使用者的计算机上执行，部分地在使用者的计算机上执行，作为独立软件包执行，部分地在使用者的计算机上执行且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种情形中，远程计算机可经由任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至使用者的计算机，或可(例如，使用因特网服务提供者，经由因特网)连接至外部计算机。
参考根据本发明的实施例的方法、装置(系统)及计算机程序产品的流程图及/或方块图描述了本发明。将理解，可由计算机程序指令来实施流程图及/或方块图中的每一块及这些流程图及/或方块图中的块的组合。可将这些计算机程序指令提供至通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生一机器，以使得经由该计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施该或该些流程图及/或方块图块中所指定的功能/动作的装置。
这些计算机程序指令也可存储在一计算机可读介质中，其可指导计算机或其他可编程数据处理装置以特定方式起作用，以使得存储在该计算机可读介质中的指令产生一制品，其包括实施该或该些流程图及/或方块图块中所指定的功能/动作的指令装置。
这些计算机程序指令也可加载至计算机或其他可编程数据处理装置上以使一系列操作步骤在该计算机或其他可编程装置上执行以产生一计算机实施过程，使得在该计算机或其他可编程装置上执行的指令提供用于实施该或该些流程图及/或方块图块中所指定的功能/动作的过程。
诸图中的流程图及方块图说明根据本发明的各种实施例的系统、方法及计算机程序产品的可能实现的架构、功能及操作。就此而言，在流程图或方块图中的每一方块可代表程序代码的模块、段或部分，其包含用于实施指定逻辑功能的一个或多个可执行指令。也应注意，在一些替代实现中，方块中所述的功能可不以图中所指出的次序发生。举例而言，取决于所涉及的功能，相继示出的两个方块实际上可大体上同时执行，或这些方块有时可以相反次序执行。也应注意，方块图及/或流程图中的每一方块及方块图及/或流程图中的方块的组合可通过实行指定功能或动作的基于硬件的专用系统实施，或通过专用硬件与计算机指令的组合来实施。
图8是显示了适用于实施本发明的一实施例的信息处理系统的高级方块图。计算机系统包括一个或多个处理器，例如处理器102。处理器102连接到通讯基础设施104(例如通讯总线、交叉条(Cross-over bar)、或网络)。各种软件实施例是根据此示例性计算机系统描述的。在读过此描述后，本领域技术人员将显然知道如何利用其他计算机系统及/或计算机架构实施本发明。
计算机系统可包括显示接口106，其将图像、文字、及其他数据自通讯基础设施104(或自未示出的帧缓冲器)显示于显示单元108。计算机系统还包括主存储器110，优选为随机存取存储器(RAM)，且也可包括辅助存储器112。辅助存储器112可包括例如硬盘驱动器114及/或可拆装存储驱动器116，其代表例如软盘驱动器、磁带驱动器、或光盘驱动器。可拆装存储驱动器116以本领域技术人员所知的方式自可拆装存储单元118读取并/或向其写入。举例而言，可拆装存储单元118代表例如软盘、紧致盘、磁带、或光盘等，其由拆装存储驱动器116读取及写入。如本领域技术人员所知，可拆装存储单元118包括计算机可读介质，其具有计算机软件及/或数据存储于其中。
在替代实施例中，辅助存储器112可包括其他类似装置，其允许计算机程序或其他指令加载至计算机系统。这种装置可包括可拆装存储单元120与接口122。这种装置的其他示例可包括程序盒(program cartrige)及盒接口(例如视频游戏中的)、可拆装存储器芯片(例如EPROM或PROM)及相关插口、及其他可拆装存储单元120与接口122，其允许软件及数据自可拆装存储单元120转移到计算机系统。
计算机系统也可包括通讯接口124。通讯接口124允许软件及数据转移于计算机系统及外部装置之间。通讯接口124的示例可包括调制解调器、网络接口(例如以太网卡)、通讯端口、或PCMCIA插槽及插卡等。通过通讯接口124转移的软件与数据的形式是信号，此信号可为可由通讯接口124接收的例如电子、电磁、光、或其他信号。这些信号通过通讯路径(即信道)126提供给通讯接口124。该通讯路径126承载信号，并可利用电线、缆线、光纤、电话线、手机电话链路、无线射频链路、及/或其他通讯信道实施。
在此文档中，“计算机程序介质”、“计算机可用介质”、及“计算机可读介质”等词，用来一般地指例如主存储器110与辅助存储器112、可拆装存储驱动器116、及安装于硬盘驱动器114的硬盘等介质。
计算机程序(也称为计算机控制逻辑)存储在主存储器110及/或辅助存储器112中。计算机程序也可通过通讯接口124被接收。这种计算机程序当被执行时，会使能计算机系统执行在此所述的本发明各特征。具体而言，这种计算机程序当被执行时，会使能处理器102执行计算机系统的各特征。因此，这种计算机程序代表计算机系统的控制器。
根据以上描述可知，本发明提供实施本发明的实施例的系统、计算机程序产品、及方法。权利要求中所引述的单数元件并不代表“唯一的”，而是指“一个或多个”，除非有特别说明。本领域技术人员当前所知或将来知道的、与上述示例性实施例的元件相当的所有结构与功能，旨在包括在本发明的权利要求内。在本文的权利要求中的元件都不得理解为属于35U.S.C.第112条第六项的范围，除非此元件使用“用于...的装置”或“用于...的步骤”等词组明确记载。
在此所使用的词汇仅供描述特定实施例，并非旨在限制本发明的范围。除非有特定指明，在此所使用的单数形式“一”、“一个”、及“该”旨在也包括复数形式。还需知道的是，说明书中所使用的“包含”及/或“包括”等词指明所述功能、整数、步骤、操作、元件及/或组件的存在，而不排除一个或多个其他功能、整数、步骤、操作、组件、元件及/或其组合的存在或附加。
以下权利要求中的所有装置或步骤加功能元件的对应结构、材料、动作及其等价物，旨在包括用于执行此功能的任一结构、材料、或动作与其他特别主张的元件的结合。本发明的描述已出于说明及描述的目的给出，但并非旨在是穷尽性的或限制于本发明的所公开的形式。明显地，本领域的技术人员可对本发明作许多修改及改变而不偏离本发明的范围与精神。实施例的选择和描述是用于最好地解释本发明的原理及实际应用，以使本领域的其他技术人员能够了解本发明的具有适合于所考虑的特定使用的各种修改的各种实施例。

Claims (25)

1.一种使用突触装置的方法，包括：
在一电子组件内接收一突触前尖峰；
在该电子组件内接收一突触后尖峰；
响应于该突触前尖峰，产生一突触前脉冲，该突触前脉冲发生在该接收到的突触前尖峰后的预定时间段；
响应于该突触后尖峰，产生一突触后脉冲，该突触后脉冲开始于一基准值，并于该突触后尖峰后的第一时间段到达第一电压值，接着在该突触后尖峰后的第二时间段到达第二电压值，接着在该突触后尖峰后的第三时间段返回到该基准电压；
对一突触装置的一突触前节点施加该产生的突触前脉冲，该突触装置包括与一整流元件串联的一单极、二端子双稳装置；以及
对该突触装置的一突触后节点施加该产生的突触后脉冲，其中该突触装置根据施加于其突触前与突触后节点的输入电压值，自第一电导状态改变为第二电导状态，其中在对该突触装置施加该突触前与突触后脉冲后，该突触装置的电导的结果状态依赖于该接收到的突触前尖峰相对于该突触后尖峰的相对时间。
2.如权利要求1所述的方法，其中如果该突触前尖峰在该突触后尖峰之前的一预定时间窗口内，则该突触装置的电导的该结果状态是一高电导状态。
3.如权利要求1所述的方法，其中如果该突触前尖峰在该突触后尖峰之后的一预定时间窗口内，则该突触装置的电导的该结果状态是一低电导状态。
4.如权利要求1所述的方法，其中如果该突触前尖峰相对于该突触后尖峰，发生于一预定时间窗口之外，则该突触装置的电导的该结果状态不改变。
5.如权利要求1所述的方法，其中该预定时间段等于该第二时间段。
6.如权利要求1所述的方法，其中该突触装置包括一相变存储器(PCM)。
7.如权利要求6所述的方法，其中该PCM装置具有0.9伏特的临界电压，其中如果该PCM装置处于一重置状态，则对该PCM装置所施加的电压将不会导致电流通过该PCM装置，而超过该临界电压的电压将导致电流通过该PCM装置。
8.如权利要求6所述的方法，其中该PCM具有一设置电压及一重置电压，以及该整流元件具有一开启电压，以及其中该突触前脉冲的幅度大于该开启电压，但小于该开启电压与该临界电压的和，以及其中该突触后脉冲第一电压值等于该设置电压加上该开启电压减去该突触前脉冲的电压，以及其中该突触后脉冲第二电压值等于该重置电压加上该开启电压减去该突触前脉冲的电压，以及其中该第一与第二电压值中的每个都小于该整流元件的开启电压。
9.如权利要求8所述的方法，其中该第一时间段等于5毫秒，该第二时间段100毫秒，以及该第三时间段195毫秒。
10.一种使用突触装置的方法，包括：
在一电子组件内接收一突触前尖峰；
在该电子组件内接收一突触后尖峰；
响应于该突触前尖峰，产生一突触前脉冲；
响应于该突触后尖峰，产生一突触后脉冲；
对一突触装置的一突触前节点施加该产生的突触前脉冲，该突触装置包括与一整流元件串联的一单极、二端子双稳装置；以及
对该突触装置的一突触后节点施加该产生的突触后脉冲，其中该突触装置根据施加于其突触前与突触后节点的输入电压值，自第一电导状态改变为第二电导状态，其中在对该突触装置施加该突触前与突触后脉冲后，该突触装置的电导的结果状态依赖于该接收到的突触前尖峰相对于该突触后尖峰的相对时间。
11.如权利要求10所述的方法，其中如果该突触前尖峰在该突触后尖峰之前的一预定时间窗口内，则该突触装置的电导的该结果状态系是一低电导状态。
12.如权利要求10所述的方法，其中如果该突触前尖峰在该突触后尖峰之后的一预定时间窗口内，则该突触装置的电导的该结果状态是一高电导状态。
13.如权利要求10所述的方法，其中该突触装置包括一相变存储器(PCM)。
14.一种突触装置，包括：
一单极、二端子双稳装置，其连接到一突触前端子；
一整流元件，其具有第一与第二端，该整流元件在该第一端与该单极、二端子双稳装置相连，以及在该第二端与一突触后端子相连；以及
至少一个脉冲整形元件，其产生一系列的电压脉冲到该突触前与突触后端子，其中响应于一接收到的突触前尖峰，该元件在在该突触前端子产生一脉冲，该脉冲发生在该接收到的突触前尖峰后的一预定时间段，以及其中响应于一突触后尖峰，该元件在该突触后端子产生一脉冲，该脉冲开始于一基准值，并于该突触后尖峰后的第一时间段到达第一电压值，接着在该突触后尖峰后的第二时间段到达第二电压值，接着在该突触后尖峰后的第三时间内返回到该基准电压。
15.如权利要求14所述的装置，其中该单极、二端子双稳装置根据施加于其突触前与突触后节点的该产生的脉冲的电压，以及也根据该突触前尖峰是否在该突触后尖峰之前或之后的一预定时间窗口内，自第一电导状态改变为第二电导状态。
16.如权利要求14所述的装置，其中该脉冲整形元件进一步被配置用于：
(a)对该单极、二端子双稳装置的第一端子施加第一电压脉冲，该单极、二端子双稳装置包括一电阻存储元件；
(b)对该单极、二端子双稳装置的第二端子施加第二电压脉冲，其中该两个电压脉冲的幅度及时间特征（profile）的选择，使得根据该第一与第二电压尖峰的相对抵达时间，在该单极、二端子双稳装置上形成以下三个有效电压V1、V2、V3中的一第一电压：
i)V1，其用于读取该单极、二端子双稳装置的电阻而不改变该单极、二端子双稳装置的状态，V1是在该第一与第二电压脉冲间没有实质时间重叠的情况下获得的；
ii)V2，其将该单极、二端子双稳装置置于一较低电阻状态，V2是在该第一电压脉冲在该第二电压脉冲前开始，且该第一与第二电压脉冲间有实质时间重叠的情况下获得的；以及
iii)V3，其将该单极、二端子双稳装置处于一较高电阻状态，V3是在该第二电压脉冲在该第一电压脉冲前开始，且该第一与第二电压脉冲间有实质时间重叠的情况下获得的；
(c)重复a)以获得V1、V2、V3中的一第二电压；以及
(d)重复a)以获得V1、V2、V3中的一第三电压。
17.如权利要求16所述的装置，其中所述电压脉冲中的一个电压脉冲的半高全宽(FWHM)比所述电压脉冲中的另一个电压脉冲的半高全宽短至少1000倍。
18.如权利要求16所述的装置，其中所述电压脉冲中的一个电压脉冲的半高全宽不大于100毫微秒。
19.如权利要求16所述的装置，其中该电阻存储元件是一相变存储元件。
20.如权利要求16所述的装置，其中该第一与第二电压脉冲具有相反的极性。
21.如权利要求16所述的装置，其中V1、V2、V3具有相同的极性。
22.一种突触装置，包括：
多个单极、二端子双稳装置，每个单极、二端子双稳装置连接到一突触前端子；
多个整流元件，具有各自的第一与第二端，每个整流元件在第一端与该单极、二端子双稳装置中的一装置相连，并在第二端子与一突触后端子相连；以及
至少一个脉冲整形元件，其产生一系列的电压脉冲到该突触前与突触后端子，其中响应于一接收到的突触前尖峰，该脉冲整形元件在该突触前端子产生一脉冲，该脉冲发生在该接收到的突触前尖峰后的一预定时间段，以及其中响应于一突触后尖峰，该元件在该突触后端子产生一脉冲，该脉冲开始于一基准值，并于该突触后尖峰后的第一时间段到达第一电压值，接着在该突触后尖峰后的第二时间内到达第二电压值，接着在该突触后尖峰后的第三时间内返回到该基准电压。
23.如权利要求22所述的装置，其中该多个单极、二端子双稳装置嵌入在一人工尖峰神经网络内，以及其中该脉冲整形组件重复地产生该一系列的电压脉冲到该突触前与突触后端子，从而在该神经网络与环境事件间形成时空关联。
24.一种用于提供突触前与突触后脉冲到一突触装置的方法,该方法包括：
响应于一突触前尖峰的表示，产生一指令给一单极、二端子双稳装置，以产生一突触前脉冲，该脉冲发生在该接收到的突触前尖峰后的一预定时间段；以及
响应于一突触后尖峰的表示，产生一指令给装置以产生一突触后脉冲，该突触后脉冲开始于一基准值，并于该突触后尖峰后的第一时间段到达第一电压值，接着在该突触后尖峰后的第二时间内到达第二电压值，接着在该突触后尖峰后的第三时间段返回到该基准电压。
25.如权利要求24所述的方法，其中该方法进一步包括：
(a)产生一指令给一脉冲整形器，以对该单极、二端子双稳装置的第一端子施加第一电压脉冲，该装置包括一电阻存储元件；
(b)产生一指令给该脉冲整形器，以对该单极、二端子双稳装置的第二端子施加第二电压脉冲，其中该两个电压脉冲的幅度与时间特征的选择，会使得根据该第一与第二电压尖峰的相对抵达时间，在该装置上形成以下三个有效电压V1、V2、V3中的一第一电压：
i)V1，其用于读取该装置的电阻而不改变该装置的状态，V1是在该第一与第二电压脉冲间没有实质时间重叠的情况下获得的；
ii)V2，其将该装置处于一较低电阻状态，V2是在该第一电压脉冲在该第二电压脉冲前开始，且该第一与第二电压脉冲间有实质时间重叠的情况下获得的；以及
iii)V3，其将该装置处于一较高电阻状态，V3是在该第二电压脉冲在该第一电压脉冲前开始，且该第一与第二电压脉冲间有实质时间重叠的情况下获得的；
(c)重复a)以获得V1、V2、V3中的一第二电压；以及
(d)重复a)以获得V1、V2、V3中的一第三电压。
CN201080009719.1A 2009-05-21 2010-04-09 使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触 Active CN102341815B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/470,403 US8250010B2 (en) 2009-05-21 2009-05-21 Electronic learning synapse with spike-timing dependent plasticity using unipolar memory-switching elements
US12/470,403 2009-05-21
PCT/EP2010/054719 WO2010133401A1 (en) 2009-05-21 2010-04-09 Electronic learning synapse with spike-timing dependent plasticity using memory-switching elements

Publications (2)

Publication Number Publication Date
CN102341815A CN102341815A (zh) 2012-02-01
CN102341815B true CN102341815B (zh) 2014-07-09

Family

ID=42289016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080009719.1A Active CN102341815B (zh) 2009-05-21 2010-04-09 使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触

Country Status (6)

Country Link
US (2) US8250010B2 (zh)
EP (1) EP2384488B1 (zh)
JP (1) JP5420067B2 (zh)
CN (1) CN102341815B (zh)
TW (1) TWI509537B (zh)
WO (1) WO2010133401A1 (zh)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812418B2 (en) * 2009-06-22 2014-08-19 Hewlett-Packard Development Company, L.P. Memristive adaptive resonance networks
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US9122994B2 (en) 2010-03-26 2015-09-01 Brain Corporation Apparatus and methods for temporally proximate object recognition
US8315305B2 (en) 2010-03-26 2012-11-20 Brain Corporation Systems and methods for invariant pulse latency coding
US9311593B2 (en) 2010-03-26 2016-04-12 Brain Corporation Apparatus and methods for polychronous encoding and multiplexing in neuronal prosthetic devices
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US8942466B2 (en) 2010-08-26 2015-01-27 Brain Corporation Sensory input processing apparatus and methods
US9193075B1 (en) 2010-08-26 2015-11-24 Brain Corporation Apparatus and methods for object detection via optical flow cancellation
US9269042B2 (en) 2010-09-30 2016-02-23 International Business Machines Corporation Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
US20120084240A1 (en) * 2010-09-30 2012-04-05 International Business Machines Corporation Phase change memory synaptronic circuit for spiking computation, association and recall
US20130212053A1 (en) * 2010-10-18 2013-08-15 Takeshi Yagi Feature extraction device, feature extraction method and program for same
US8812414B2 (en) 2011-05-31 2014-08-19 International Business Machines Corporation Low-power event-driven neural computing architecture in neural networks
US9047568B1 (en) 2012-09-20 2015-06-02 Brain Corporation Apparatus and methods for encoding of sensory data using artificial spiking neurons
US9147156B2 (en) 2011-09-21 2015-09-29 Qualcomm Technologies Inc. Apparatus and methods for synaptic update in a pulse-coded network
US9070039B2 (en) 2013-02-01 2015-06-30 Brian Corporation Temporal winner takes all spiking neuron network sensory processing apparatus and methods
KR101888468B1 (ko) 2011-06-08 2018-08-16 삼성전자주식회사 Ｓｔｄｐ 기능 셀을 위한 시냅스, ｓｔｄｐ 기능 셀 및 ｓｔｄｐ 기능 셀을 이용한 뉴로모픽 회로
FR2977351B1 (fr) 2011-06-30 2013-07-19 Commissariat Energie Atomique Methode d'apprentissage non supervise dans un reseau de neurones artificiel a base de nano-dispositifs memristifs et reseau de neurones artificiel mettant en oeuvre la methode.
FR2977350B1 (fr) 2011-06-30 2013-07-19 Commissariat Energie Atomique Reseau de neurones artificiels a base de dispositifs memristifs complementaires
US9053428B2 (en) 2011-07-21 2015-06-09 Qualcomm Incorporated Method and apparatus of robust neural temporal coding, learning and cell recruitments for memory using oscillation
US8843425B2 (en) * 2011-07-29 2014-09-23 International Business Machines Corporation Hierarchical routing for two-way information flow and structural plasticity in neural networks
US9147155B2 (en) 2011-08-16 2015-09-29 Qualcomm Incorporated Method and apparatus for neural temporal coding, learning and recognition
US9460387B2 (en) * 2011-09-21 2016-10-04 Qualcomm Technologies Inc. Apparatus and methods for implementing event-based updates in neuron networks
US9104973B2 (en) 2011-09-21 2015-08-11 Qualcomm Technologies Inc. Elementary network description for neuromorphic systems with plurality of doublets wherein doublet events rules are executed in parallel
US8725662B2 (en) 2011-09-21 2014-05-13 Brain Corporation Apparatus and method for partial evaluation of synaptic updates based on system events
US8725658B2 (en) 2011-09-21 2014-05-13 Brain Corporation Elementary network description for efficient memory management in neuromorphic systems
US8719199B2 (en) 2011-09-21 2014-05-06 Brain Corporation Systems and methods for providing a neural network having an elementary network description for efficient implementation of event-triggered plasticity rules
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US9117176B2 (en) 2011-09-21 2015-08-25 Qualcomm Technologies Inc. Round-trip engineering apparatus and methods for neural networks
US9092735B2 (en) 2011-09-21 2015-07-28 Qualcomm Incorporated Method and apparatus for structural delay plasticity in spiking neural networks
US10210452B2 (en) 2011-09-21 2019-02-19 Qualcomm Incorporated High level neuromorphic network description apparatus and methods
US9098811B2 (en) 2012-06-04 2015-08-04 Brain Corporation Spiking neuron network apparatus and methods
US9111224B2 (en) * 2011-10-19 2015-08-18 Qualcomm Incorporated Method and apparatus for neural learning of natural multi-spike trains in spiking neural networks
US9111222B2 (en) * 2011-11-09 2015-08-18 Qualcomm Incorporated Method and apparatus for switching the binary state of a location in memory in a probabilistic manner to store synaptic weights of a neural network
US8996430B2 (en) 2012-01-27 2015-03-31 International Business Machines Corporation Hierarchical scalable neuromorphic synaptronic system for synaptic and structural plasticity
US9367797B2 (en) * 2012-02-08 2016-06-14 Jason Frank Hunzinger Methods and apparatus for spiking neural computation
US8909575B2 (en) 2012-02-29 2014-12-09 Qualcomm Incorporated Method and apparatus for modeling neural resource based synaptic placticity
US9224090B2 (en) * 2012-05-07 2015-12-29 Brain Corporation Sensory input processing apparatus in a spiking neural network
US20130297539A1 (en) * 2012-05-07 2013-11-07 Filip Piekniewski Spiking neural network object recognition apparatus and methods
US9129221B2 (en) * 2012-05-07 2015-09-08 Brain Corporation Spiking neural network feedback apparatus and methods
US9064215B2 (en) 2012-06-14 2015-06-23 Qualcomm Incorporated Learning spike timing precision
US8924322B2 (en) * 2012-06-15 2014-12-30 International Business Machines Corporation Multi-processor cortical simulations with reciprocal connections with shared weights
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9111215B2 (en) 2012-07-03 2015-08-18 Brain Corporation Conditional plasticity spiking neuron network apparatus and methods
US8977582B2 (en) 2012-07-12 2015-03-10 Brain Corporation Spiking neuron network sensory processing apparatus and methods
US9256823B2 (en) * 2012-07-27 2016-02-09 Qualcomm Technologies Inc. Apparatus and methods for efficient updates in spiking neuron network
US9159020B2 (en) 2012-09-14 2015-10-13 International Business Machines Corporation Multiplexing physical neurons to optimize power and area
US9311594B1 (en) 2012-09-20 2016-04-12 Brain Corporation Spiking neuron network apparatus and methods for encoding of sensory data
US9218563B2 (en) 2012-10-25 2015-12-22 Brain Corporation Spiking neuron sensory processing apparatus and methods for saliency detection
US9111226B2 (en) 2012-10-25 2015-08-18 Brain Corporation Modulated plasticity apparatus and methods for spiking neuron network
US9183493B2 (en) 2012-10-25 2015-11-10 Brain Corporation Adaptive plasticity apparatus and methods for spiking neuron network
US8943007B2 (en) 2012-10-26 2015-01-27 International Business Machines Corporation Spike tagging for debugging, querying, and causal analysis
US8990130B2 (en) * 2012-11-21 2015-03-24 International Business Machines Corporation Consolidating multiple neurosynaptic cores into one memory
US9275326B2 (en) 2012-11-30 2016-03-01 Brain Corporation Rate stabilization through plasticity in spiking neuron network
US9123127B2 (en) 2012-12-10 2015-09-01 Brain Corporation Contrast enhancement spiking neuron network sensory processing apparatus and methods
CN103078055B (zh) * 2013-01-04 2015-06-03 华中科技大学 一种模拟生物神经突触的单元、装置及方法
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9542643B2 (en) * 2013-05-21 2017-01-10 Qualcomm Incorporated Efficient hardware implementation of spiking networks
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9239985B2 (en) 2013-06-19 2016-01-19 Brain Corporation Apparatus and methods for processing inputs in an artificial neuron network
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
US9558443B2 (en) 2013-08-02 2017-01-31 International Business Machines Corporation Dual deterministic and stochastic neurosynaptic core circuit
US9418332B2 (en) 2013-08-16 2016-08-16 Qualcomm Incorporated Post ghost plasticity
US9305256B2 (en) * 2013-10-02 2016-04-05 Qualcomm Incorporated Automated method for modifying neural dynamics
US9489623B1 (en) 2013-10-15 2016-11-08 Brain Corporation Apparatus and methods for backward propagation of errors in a spiking neuron network
US20150206050A1 (en) * 2014-01-23 2015-07-23 Qualcomm Incorporated Configuring neural network for low spiking rate
US9852006B2 (en) 2014-03-28 2017-12-26 International Business Machines Corporation Consolidating multiple neurosynaptic core circuits into one reconfigurable memory block maintaining neuronal information for the core circuits
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US20150379397A1 (en) 2014-06-28 2015-12-31 Brainchip, Inc. Secure voice signature communications system
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
WO2016072964A1 (en) * 2014-11-03 2016-05-12 Hewlett Packard Enterprise Development Lp Device with multiple resistance switches with different switching characteristics
US9830981B2 (en) * 2015-01-14 2017-11-28 International Business Machines Corporation Neuromorphic memory circuit using a leaky integrate and fire (LIF) line to transmit axon LIF pulse and a conductive denrite LIF line
US10026477B2 (en) 2015-01-28 2018-07-17 Hewlett Packard Enterprise Development Lp Selector relaxation time reduction
US10489705B2 (en) 2015-01-30 2019-11-26 International Business Machines Corporation Discovering and using informative looping signals in a pulsed neural network having temporal encoders
US9990580B2 (en) 2015-03-13 2018-06-05 International Business Machines Corporation Neuromorphic synapses
US10074050B2 (en) 2015-07-13 2018-09-11 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10332004B2 (en) 2015-07-13 2019-06-25 Denso Corporation Memristive neuromorphic circuit and method for training the memristive neuromorphic circuit
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US9767407B2 (en) 2015-09-18 2017-09-19 Samsung Electronics Co., Ltd. Weighting device, neural network, and operating method of the weighting device
WO2017171771A1 (en) * 2016-03-31 2017-10-05 Hewlett Packard Enterprise Development Lp Data processing using resistive memory arrays
CN106292631A (zh) * 2016-08-25 2017-01-04 哈尔滨理工大学 一种基于神经网络的pwm整流器故障诊断系统
CN106407988B (zh) * 2016-09-05 2019-11-26 中国科学院自动化研究所 基于电镜序列切片图像的突触检测方法
WO2018081560A1 (en) 2016-10-27 2018-05-03 University Of Florida Research Foundation Memristive learning for neuromorphic circuits
US20180146149A1 (en) 2016-11-21 2018-05-24 Samsung Electronics Co., Ltd. Event-based sensor, user device including the same, and operation method of the same
KR20180120511A (ko) * 2017-04-27 2018-11-06 에스케이하이닉스 주식회사 전달 함수 회로들을 가진 시냅스 어레이를 포함하는 뉴로모픽 소자
JP6724870B2 (ja) 2017-06-19 2020-07-15 株式会社デンソー 人工ニューラルネットワーク回路の訓練方法、訓練プログラム、及び訓練装置
US11861429B2 (en) 2018-04-30 2024-01-02 Hewlett Packard Enterprise Development Lp Resistive and digital processing cores
US11593624B2 (en) 2019-08-23 2023-02-28 Micron Technology, Inc. Self select memory cell based artificial synapse
US11183238B2 (en) 2019-08-28 2021-11-23 International Business Machines Corporation Suppressing outlier drift coefficients while programming phase change memory synapses
JP6899024B1 (ja) * 2020-06-11 2021-07-07 ウィンボンド エレクトロニクス コーポレーション 抵抗変化型シナプスアレイ装置
US11557343B2 (en) 2021-06-22 2023-01-17 International Business Machines Corporation Pulsing synaptic devices based on phase-change memory to increase the linearity in weight update

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993008575A1 (en) * 1991-10-22 1993-04-29 British Telecommunications Public Limited Company Resistive memory element
WO2000062301A1 (en) * 1999-04-12 2000-10-19 Energy Conversion Devices, Inc. Universal memory element with systems employing same and apparatus and method for reading, writing and programming same

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6314014B1 (en) 1999-12-16 2001-11-06 Ovonyx, Inc. Programmable resistance memory arrays with reference cells
TWI251166B (en) 2001-11-26 2006-03-11 Expl Of Next Generation Co Ltd Synapse element with learning function and semiconductor integrated circuit device including the synapse element
US7412428B2 (en) 2002-03-12 2008-08-12 Knowmtech, Llc. Application of hebbian and anti-hebbian learning to nanotechnology-based physical neural networks
US6844582B2 (en) 2002-05-10 2005-01-18 Matsushita Electric Industrial Co., Ltd. Semiconductor device and learning method thereof
US6671710B2 (en) 2002-05-10 2003-12-30 Energy Conversion Devices, Inc. Methods of computing with digital multistate phase change materials
US6999953B2 (en) 2002-07-03 2006-02-14 Energy Conversion Devices, Inc. Analog neurons and neurosynaptic networks
US7186998B2 (en) 2003-03-10 2007-03-06 Energy Conversion Devices, Inc. Multi-terminal device having logic functional
US7085155B2 (en) 2003-03-10 2006-08-01 Energy Conversion Devices, Inc. Secured phase-change devices
US7426501B2 (en) 2003-07-18 2008-09-16 Knowntech, Llc Nanotechnology neural network methods and systems
KR100564602B1 (ko) 2003-12-30 2006-03-29 삼성전자주식회사 상 변화 메모리 어레이의 셋 프로그래밍 방법 및 기입드라이버 회로
US7401058B2 (en) 2004-04-29 2008-07-15 University Of Massachusetts Artificial neuron with phase-encoded logic
JP4345676B2 (ja) * 2005-01-12 2009-10-14 エルピーダメモリ株式会社 半導体記憶装置
JP4728055B2 (ja) * 2005-06-24 2011-07-20 エルピーダメモリ株式会社 人工神経回路
KR100773095B1 (ko) * 2005-12-09 2007-11-02 삼성전자주식회사 상 변화 메모리 장치 및 그것의 프로그램 방법
US8138028B2 (en) 2007-02-12 2012-03-20 Macronix International Co., Ltd Method for manufacturing a phase change memory device with pillar bottom electrode
US20090029031A1 (en) 2007-07-23 2009-01-29 Tyler Lowrey Methods for forming electrodes in phase change memory devices
US7967994B2 (en) 2007-10-25 2011-06-28 Ovonyx, Inc. Method and apparatus for chalcogenide device formation
US8447714B2 (en) 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993008575A1 (en) * 1991-10-22 1993-04-29 British Telecommunications Public Limited Company Resistive memory element
WO2000062301A1 (en) * 1999-04-12 2000-10-19 Energy Conversion Devices, Inc. Universal memory element with systems employing same and apparatus and method for reading, writing and programming same

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
B Linares-Barranco et al.Memristance can explain spike-time-dependent-plasticity in neural synapses.《Nature Precedings》.2009,
M J Breitwisch et al.Phase Change Memory.《Interconnect Technology Conference》.2008,
Memristance can explain spike-time-dependent-plasticity in neural synapses;B Linares-Barranco et al;《Nature Precedings》;20090331;1-4 *
Phase Change Memory;M J Breitwisch et al;《Interconnect Technology Conference》;20080601;219－221 *

Also Published As

Publication number Publication date
JP5420067B2 (ja) 2014-02-19
WO2010133401A1 (en) 2010-11-25
US20100299296A1 (en) 2010-11-25
TWI509537B (zh) 2015-11-21
EP2384488B1 (en) 2013-06-19
US20120265719A1 (en) 2012-10-18
US8682822B2 (en) 2014-03-25
CN102341815A (zh) 2012-02-01
JP2012527669A (ja) 2012-11-08
US8250010B2 (en) 2012-08-21
EP2384488A1 (en) 2011-11-09
TW201110040A (en) 2011-03-16

Similar Documents

Publication Publication Date Title
CN102341815B (zh) 使用记忆切换元件的具有尖峰-时间依赖塑性的电子学习突触
US8447714B2 (en) System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
Marino et al. Building energy load forecasting using deep neural networks
US8812414B2 (en) Low-power event-driven neural computing architecture in neural networks
US9460383B2 (en) Reconfigurable and customizable general-purpose circuits for neural networks
US9129220B2 (en) Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9330355B2 (en) Computed synapses for neuromorphic systems
EP3063710A2 (en) Causal saliency time inference
CN110352436A (zh) 用于神经网络训练的具有迟滞更新的电阻处理单元
JP2013534018A5 (zh)
KR20150034900A (ko) 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로
US9959499B2 (en) Methods and apparatus for implementation of group tags for neural models
US9672464B2 (en) Method and apparatus for efficient implementation of common neuron models
TW201528162A (zh) 在尖峰神經網路中使用重放來實施突觸學習
US9710749B2 (en) Methods and apparatus for implementing a breakpoint determination unit in an artificial nervous system
Khan et al. Very short term load forecasting using Cartesian genetic programming evolved recurrent neural networks (CGPRNN)
JP6193509B2 (ja) 可塑性シナプス管理
Bohnstingl et al. Biologically-inspired training of spiking recurrent neural networks with neuromorphic hardware
Wu et al. Enabling bio-plausible multi-level stdp using cmos neurons with dendrites and bistable rrams
US20150100531A1 (en) Method and apparatus to control and monitor neural model execution remotely
Özveren et al. An investigation into using neuro-evolution of Augmenting Topologies (NEAT) for short term load forecasting (STFL)
Lu et al. A novel method for the short-term power load forecasting
Benlembarek et al. A web based system for short-term forecasting of algerian electricity load using artificial neural network
Peralta et al. Design of artificial neural networks based on genetic algorithms to forecast time series
CN117371681A (zh) 电力资源调度方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant