CN103282919A - 强化学习的电子突触 - Google Patents

强化学习的电子突触 Download PDF

Info

Publication number
CN103282919A
CN103282919A CN2011800632805A CN201180063280A CN103282919A CN 103282919 A CN103282919 A CN 103282919A CN 2011800632805 A CN2011800632805 A CN 2011800632805A CN 201180063280 A CN201180063280 A CN 201180063280A CN 103282919 A CN103282919 A CN 103282919A
Authority
CN
China
Prior art keywords
cynapse
electronics
synapse
state
respond
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800632805A
Other languages
English (en)
Other versions
CN103282919B (zh
Inventor
D·S·莫德哈
张立伦
R·K·蒙托耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN103282919A publication Critical patent/CN103282919A/zh
Application granted granted Critical
Publication of CN103282919B publication Critical patent/CN103282919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明具体实施例提供用以强化学习的电子突触装置。电子突触配置为互连前突触电子神经元及后突触电子神经元。电子突触包含配置为存储电子突触的状态以及存储用以更新电子突触的状态的元信息的存储器组件。电子突触还包含更新模块，其配置为基于元信息更新电子突触的状态，以响应针对强化学习的更新信号。更新模块配置为基于元信息更新电子突触的状态，以响应基于学习规则的针对强化学习的延迟更新信号。

Description

强化学习的电子突触
背景技术
本发明一般涉及神经形态(neuromorphic)及突触器(synapatronic)系统，特别是涉及在突触交叉式数组中产生脉冲时间相依可塑性。
神经形态及突触器系统，还称作人造神经网络，是允许电子系统以实质类似于生物脑部的方式运作的运算系统。神经形态及突触器系统一般不利用控制0与1的传统数字模型。反之，神经形态及突触器系统产生功能上大致等效于生物脑部神经元的处理组件间的连接。神经形态及突触器系统可包含以生物神经元作模型的许多电子电路。
在生物系统中，突触是指一神经元的轴突与另一神经元的树突间的连接点，对突触而言，二个神经元分别称为前突触(pre-synaptic)及后突触(post-synaptic)。我们个人经验的本质存储于突触的传导中。突触传导随着时间以每个脉冲时间相依可塑性(spike-timing dependent plasticity，STDP)的前突触及后突触神经元的相对脉冲时间的函数而改变。若后突触神经元在前突触神经元发射后才发射，则STDP规则增加此突触的传导，若二个神经元发射的顺序颠倒，则STDP规则降低突触的传导。
发明内容
本发明具体实施例提供配置为强化学习的电子突触。在一具体实施例中，电子突触配置为互连前突触电子神经元及后突触电子神经元。电子突触包含配置为存储电子突触的状态以及存储用以更新电子突触的状态的元信息的存储器组件。电子突触还包含更新模块，其配置为基于元信息更新电子突触的状态，以响应针对强化学习的更新信号。更新模块配置为基于元信息更新电子突触的状态，以响应基于学习规则的针对强化学习的延迟更新信号。
在另一具体实施例中，本发明提供一种系统，其包含多个电子神经元以及配置为互连多个电子神经元的交叉式数组。交叉式数组包含多个轴突及多个树突，使得轴突与树突彼此横贯。交叉式数组还包含多个电子突触，其中每一电子突触位于耦合于树突及轴突间的交叉式数组的交叉点，每一电子突触配置为互连前突触电子神经元及后突触电子神经元。
本发明的优选实施例提供空分多重存取电子突触，包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。
本发明的这些及其它特征、方面及优点可参考以下的详细说明、后附的权利要求书、以及所附随的附图而了解。
附图说明
图1A根据本发明一具体实施例显示具有电子突触的交叉式数组的神经形态及突触器系统的示意图；
图1B根据本发明一具体实施例显示在前突触路径及后突触路径的交叉点的电子突触的示意图；
图2根据本发明一具体实施例显示在涉及读取操作的交叉点的电子突触的示意图；
图3根据本发明一具体实施例显示在涉及STDP-设定操作的交叉点的电子突触的示意图；
图4根据本发明一具体实施例显示在涉及STDP-重设操作的交叉点的电子突触的示意图；
图5根据本发明一具体实施例显示在涉及STDP-设定操作的交叉点的电子突触的示意图；
图6根据本发明一具体实施例显示包括交叉点数组的电子突触的示意图；
图7根据本发明一具体实施例显示涉及R位的STDP操作的电子突触的示意图；
图8根据本发明一具体实施例显示涉及G位的STDP操作的电子突触的示意图；
图9根据本发明一具体实施例显示涉及B位的STDP操作的电子突触的示意图；
图10根据本发明一具体实施例显示电子突触的交叉式数组的示意图；
图11根据本发明一具体实施例显示电子突触的示意图；
图12根据本发明一具体实施例显示基于静态随机存取存储器(staticrandom access memory，SRAM)的电子突触的示意图；
图13根据本发明一具体实施例显示基于动态随机存取存储器(dynamic random access memory，DRAM)的电子突触的示意图；以及
图14显示适用于实施本发明一具体实施例的信息处理系统的高阶方块示意图。
具体实施方式
本发明具体实施例提供配置为供强化学习(reinforcement learning，RL)的电子突触。本发明具体实施例还提供利用此用于RL的电子突触的神经形态及突触器系统，其包含实施脉冲时间相依可塑性(spike-timingdependent plasticity，STDP)的交叉式数组。
现在参考图1A，其根据本发明一具体实施例显示具有交叉式数组的神经形态及突触器系统10的示意图。在一范例中，交叉式数组可包含一“超高密度交叉式数组”，其节距在约0.1奈米（nm）至10微米（μm）的一范围内。神经形态及突触器系统10包括具有多个神经元14、16、18、及20的交叉式数组12。这些神经元在此也称作“电子神经元”。神经元14及16为轴突神经元，而神经元18及20为树突神经元。轴突神经元14及16显示为分别具有连接至轴突路径(axons)26及28的输出22及24。树突神经元18及20显示为分别具有连接至树突路径(dendrites)34及36的输入30及32。轴突神经元14及16也包含输入且接收沿树突的信号，然而为了简化说明，并未显示这些输入及树突。因此，当轴突神经元14及16接收沿树突连接的输入时，其将作用为树突神经元。同样地，当树突神经元18及20将信号沿其轴突连接送出时，其将作用为轴突神经元。当任何神经元14、16、18及20发射时，其将送出一脉冲至其轴突及其树突连接。
轴突26、28及树突34、36间的每一连接可由一突触装置31形成。突触装置所在的交点在此可称作“交叉点(cross-point junctions)”。每一神经元14、16、18及20包括一对RC电路48。一般而言，根据本发明一具体实施例，当接收自树突输入连接(图未示)的输入超过一临界时，轴突神经元14及16将“发射”(传输一脉冲)。当轴突神经元14及16发射时，其维持一A-STDP变量，此变量随由在其中一RC电路48中的电阻及电容值所确定的相对长且预定的时间常数衰减。举例来说，在一具体实施例中，此时间常数可为约50ms。A-STDP变量可通过使用电流镜或等效电路确定横跨电容的电压而取样。此变数用以达成轴突STDP，其通过对自相关神经元最后一次发射起的时间进行编码，更细节的部分将描述于后。轴突STDP用以控制“增效(potentiation)”，其在本文定义为增加的突触传导率。
当树突神经元18、20发射时，其也维持D-STDP变量，此变量随由在其中一RC电路48中的电阻及电容值所确定的相对长且预定的时间常数衰减。举例来说，在一具体实施例中，此时间常数可为约50ms。在其它具体实施例中，此变量可根据指数曲线以外的其它函数而以时间为函数衰减。举例来说，变量可根据线性、多项式、或二次函数而衰减。在本发明其它具体实施例中，变量可随时间增加而非减少。在任何情况下，此变量可用以达成树突STDP，其通过对自相关神经元最后一次发射起的时间进行编码，将于下文中做进一步的讨论。树突STDP用以控制“抑制(depression)”，其在本文定义为减少的突触传导率。
电子突触31的功能包括：读取状态、以及根据STDP及基于RL的STDP而程序化状态。电子突触31可节能，使其适用于异步实施。此外，电子突触可省空间，使其适用于交叉式实施。图1B根据本发明一具体实施例显示在一前突触路径26及一后突触路径36的交叉点的电子突触31的透视图。
参考图2，关于在神经元14的轴突26与另一神经元20上的树突36间接触的交叉点的突触31，二个神经元分别称为前突触(pre-synaptic)及后突触(post-synaptic)。当前突触神经元14发射时，一“读取”信号从前突触神经元14传送至后突触神经元20。参考图3，当前突触神经元14发射且接着后突触神经元20发射时，则突触31为STDP-设定。参考图4，当后突触神经元20发射且接着前突触神经元14发射时，则突触31为STDP-重设。
强化学习(RL)一般包含基于行为后果的学习，其中RL模块基于过去事件选择行为。由RL模块所接收的一强化信号(如一报酬信号)为指示行为成功的一报酬(一数值)。RL模块接着学习选择可随时间增加报酬的行为。在根据本发明的强化学习的一实施中，STDP-设定与STDP-重设操作并无立即发生。反而，若在一时窗内出现一报酬(“值”)信号，则施以STDP-设定或STDP-重设操作。
根据本发明一具体实施例，突触31执行多个信息位。在一范例中，根据RGB架构，突触31维持三个位，包括位R、位G、及位B。位R用于读取，位G用于STDP-设定，而位B用于STDP-重设。一开始，位G及B设定为0作为其自然状态。若前突触神经元发射且接着后突触神经元发射时，则针对STDP-设定而设定位G(例如设定为1)。若后突触神经元发射且接着前突触神经元发射时，则针对STDP-设定而设定位B(例如设定为1)。
在一具体实施例中，后突触神经元发射且接着后突触神经元发射，则STDP-重设实施于位B及G。举例来说，基于时间常数衰减(例如1秒)将位B及G重设为0。在另一具体实施例中，重设位B及G包含一随机程序来重设B及G，而与神经元发射无关。
在一具体实施例中，当出现一报酬如下，则设定及重设位R：
当一报酬出现时：
若G=1且B=0，则设定R，
若B=1且G=0，则重设R，
若G=1且B=1，或G=0且B=0，则不对R采取行动。
(when a reward occurs:
if G=l and B=0,then set R,
if B=l and G=0,then reset R,
if G=l and B=l,or G=0and B=0,take no action on R.)
参考图5，在一实施中，突触31包含nxn交叉点数组。图6显示包含九个交叉点的3x3数组的一范例突触31(n=3)，其中使用三个对角线交叉点。
用以读取位R的逻辑位于突触31的周边，如图7中的范例所示，其进一步描述读取突触31的位R，其中当前突触神经元发射时，其传送一读取脉冲至后突触神经元。接着，当脉冲从前突触神经元经由突触31的R交叉点抵达时，后突触神经元异步地读取脉冲。位R的设定/重设的逻辑包含于突触31内。在一实施中，位R可使用DRAM装置而实施。
用以设定位G的逻辑位于突触31的周边，如图8中的范例所示，其进一步描述设定突触31的位G，其中当后突触神经元发射时，其传送一警示脉冲至前突触神经元。根据其最后的发射的时间，前突触神经元可能设定一前突触设定脉冲。后突触神经元总是传送一后突触设定脉冲。若前突触设定及后突触设定脉冲两者一起抵达位G的交叉点，则设定位G。
此外，用以重设位G的逻辑设置于突触31的周边。在一具体实施例中，位G较佳的设定值为零，且在一特定时间常数(例如1秒)后重设。在其它具体实施例中，重设G包含重设位G的一随机(random stochastic)程序，其以完全异步的方式，而与神经元发射无关。在一范例中，程序具有约1秒的平均重设时间且具有一重尾分布(heavy tail distribution)。在一范例中，G的重设由前突触神经元所启动。在一实施中，位G可使用DRAM装置而实施。
用以重设位B的逻辑设置于突触31的周边。参考图9，在一具体实施例中，若后突触神经元发射且接着前突触神经元发射，则设定位B。若前突触神经元发射且接着后突触神经元发射，则设定位G。前突触神经元发射时将警示一后突触神经元。取决于其最后的发射，后突触神经元可能地设定一后突触设定脉冲。前突触神经元总是传送一前突触设定脉冲。若前突触脉冲及后突触设定脉冲两者一起抵达B位，则设定位B。此外，用以重设B的逻辑位于方块31中。位B较佳设定零，且在一特定时间常数(例如1秒)后简单地重设。在另一具体实施例中，一随机程序以完全异步的方式重设位B，而与神经元的发射无关。在一范例中，程序具有约1秒的平均重设时间，且具有一重尾分布。在一范例中，重设由后突触神经元所启动。在一实施中，位B可使用DRAM装置而实施。
参考图10，在一具体实施例中，本发明提供用以实施根据所述本发明具体实施例的电子强化学习突触的系统70。系统70包含RGB突触方块31的NxN交叉式数组，其可异步地并行操作(N行及N列)。系统70还包含N个前突触神经元(如前1、前2、...、前N)以及N个后突触神经元(如后1、后2、...、后N)，其经由突触31的交叉式数组而互连。在一实施中，每一后突触神经元31包含一电子混合模式(模拟-数字)的异步神经元。
状态将根据异步实施的STDP及基于RL的STDP而程序化。当前突触神经元发射时，一读取信号从前突触神经元传送至后突触神经元，其在脉冲到达时异步地读取脉冲，且可能地设定一前设定(pre-set)脉冲以及总是设定一后设定(post-set)脉冲。
在本发明一具体实施例中，每一电子突触31配置为互连一前突触电子神经元及一后突触电子神经元。电子突触31包含存储器组件(例如图11中的存储器装置31R、31G、31B)，其配置为存储电子突触的状态以及存储用以更新电子突触状态的元信息。每一电子突触单元31还包含一更新模块(例如图11中的模块31L)，其配置为基于元信息而更新电子突触的状态，以响应针对强化学习的一更新信号。更新模块配置为基于元信息而更新电子突触的状态，以响应基于学习规则的针对强化学习的一延迟更新信号。
图11描述R、G、B突触数组31为一突触单元(块)的范例实施，其可与其它突触单元31并行地操作，而不需相位(且不需对读取、设定及重设的分时多重存取)。每一突触单元31可与其它突触单元31完全异步地操作，因而不需要频率。
在本发明一具体实施例中，每一RGB突触单元31包含一数字互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)更新逻辑31L于局部突触单元级，可用以写入R单元。在一实施中，单元31包含分别针对位R、B、及G的存储器组件31R、31B、及31G。存储器组件可包含静态随机存取存储器(static random access memory，SRAM)、动态随机存取存储器(dynamic random access memory，DRAM)、相变存储器(Phase-change memory，PCM)、磁性隧道接合(magnetic tunnel junction，MTJ)等。在此具体实施例中，突触单元31包含空分多重存取电子突触，其中电子突触表示为六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。
在本发明另一具体实施例中，更新模块31L包含软件模块，其包括计算机可读取程序代码以执行于一处理器(如图14中的信息处理系统100)上，其中软件模块包括配置为更新电子突触状态的计算机可读取程序代码，如本文中根据本发明具体实施例所述。
R存储器单元维持突触的状态。G及B存储器单元维持用于突触的后续更新的元信息。神经元确定存储器单元的读取/写入信息。在图11中，突触31提供自前突触神经元至后突触神经元的连接，其合作以启动适当的字符线及位线来读取/写入R、G、B存储器单元。神经元使用写入端口外部地仅写入G及B存储器单元。G及B存储器单元由更新逻辑31L使用读取端口而内部地读取，以相应地更新R存储器单元。R存储器单元系使用读取端口而外部地读取，且由更新逻辑31L使用写入端口而内部地写入(即更新)。
突触的状态可具有一个或多个位，其存储指示突触传导率级的多个值。在一具体实施例中，R存储器单元存储突触状态，其中突触状态为1-位突触(0为指示一连接的传导状态，1为指示无连接的非传导状态)。神经元可通过读取R存储器单元确定经过突触的一连接。为更新R单元用于学习操作，耦合至突触的前突触神经元及后突触神经元实施一程序，以写入B及G存储器单元，供强化学习。神经元使用写入端口将更新值存储至B及/或G存储器单元。之后，来自B或G存储器单元的一更新值用来更新R存储器单元为突触的状态，以响应一进入的报酬信号。R存储器单元用B存储器单元的值或以G存储器单元的值更新，其取决于后来进入的报酬信号为一强化信号(延迟的更新)，如前所述。在一范例中，STDP值存储于G或B存储器单元，且之后突触的状态通过以来自G或B单元的值更新R存储器单元而更新。
在一实施中，平行的字符线(水平)及位线(垂直)用以存取存储器单元。每一存储器单元具有一读取字符线、读取位线、写入字符线及写入位线。在一范例中，更新逻辑31L实施B及G存储器单元元信息的逻辑互斥或(XOR)组合，以更新突触的R存储器单元状态。突触单元31以SRAM及DRAM实施提供强化学习。参考图12，在基于SARM的RGB单元实施中，每一SRAM单元31为可转换的(可由周边电路以行或列存取)。参考图13，在基于SRAM及DRAM的实施中，在DRAM存储器组件中的数据随时间衰减至一基态。频率信号用以计时交叉式数组中存储器单元的操作。存储器单元可同步或异步地存取。
当前突触神经元发射且接着后突触神经元发射时，设定突触。当后突触神经元发射且接着前突触神经元发射时，重设突触，且若一报酬(值)信号于一时窗内出现，则施以STDP-设定或重设。
学习突触的电子强化还包含：并行地读取R行、并行地读取且设定G列、并行地重设G行、并行地读取且设定B行、并行地设定B列、估计在R行及列上的一些设定位、以及当一报酬信号抵达时，实施/提供一通用值信号，且并行地设定及重设交叉式数组中的所有N2R位。
图14为适用于实施本发明的一具体实施例的信息处理系统100的高阶方块图。计算机系统包括一个或多个处理器，例如处理器102。处理器102连接至通信架构104(例如通信总线、交叉条、或网络)。
计算机系统可包括显示接口106，其自通信架构104(或帧缓冲器，图未示)转送图像、文字、及其它数据，供显示于显示单元108。计算机系统也包括主要存储器110，较佳为随机存取存储器(random access memory，RAM)，且也可包括次要存储器112。次要存储器112可包括例如硬盘驱动器114及/或可移式存储驱动器116，代表例如软盘驱动器、磁带驱动器、或光学驱动器。可移式存储驱动器116以本领域技术人员公知的方式，自可移式存储单元118读取及/或对其写入。举例而言，可移式存储单元118代表软盘、光盘、磁带、或光盘等，其由可移式存储驱动器116作读取及写入。将了解到，可移式存储单元118包括具有计算机软件及/或数据存储于其中的计算机可读取介质。
在替代具体实施例中，次要存储器112可包括其它类似手段，允许计算机程序或其它指令加载计算机系统。这样的手段可包括例如可移式存储单元120与接口122。这样的手段的范例可包括程序包及封包接口(例如在视频游戏装置中可找到的)、可移式存储器芯片(例如EPROM或PROM)及相关插槽、及允许软件及数据自可移式存储单元120移至计算机系统的其它可移式存储单元120与接口122。
计算机系统也可包括通信接口124。通信接口124允许软件及数据在计算机系统及外部装置之间转移。通信接口124的范例可包括调制解调器、网络接口(例如以太网络卡)、通信端口、或PCMCIA插槽及插卡等。通过通信接口124进行转移的软件与数据可为信号的形式，此信号可例如为电子、电磁、光学、或可由通信接口124接收的其它信号。这样的信号通过通信路径(即信道)126提供给通信接口124。此通信路径126承载信号，且可利用电线、缆线、光纤、电话线、蜂窝电话链路、射频（RF）链接、及/或其它通信信道而实施。
在此文件中，“计算机程序介质”及“计算机可用介质”及“计算机可读取介质”等词一般是指如主要存储器110与次要存储器112、可移式存储驱动器116、及安装于硬盘驱动器114的硬盘等介质。
计算机程序(也称为计算机控制逻辑)存储于主要存储器110及/或次要存储器112。计算机程序也可经由通信接口124而接收。当执行这样的计算机程序时，将使得计算机系统能执行在此所述的本发明各特征。特别是，当执行计算机程序时，将使得处理器102能执行计算机系统的各特征。因此，这样的计算机程序代表计算机系统的控制器。
根据以上描述，本发明提供实施本发明的具体实施例的系统、计算机程序产品、及方法。权利要求内所主张的单数组件并不代表“唯一”，而是指“一个或多个”，除非有特别说明。本领域技术人员所公知或随后可得知的与上述范例具体实施例的组件均等的所有结构与功能，均包含在本发明的主张内。
在此所使用的术语仅用于描述特定具体实施例的目的且并不意欲为本发明的限制。如本文中所使用，除非上下文清楚地另外指示，否则单数形式“一”(a、an)及“该”(the)也有包括复数形式的意思。应进一步理解，术语“包含(comprises及/或comprising)”于本说明书中使用时表示所陈述的特征、实体、步骤、操作、单元及/或部件的存在，但并不排除一个或多个其它特征、实体、步骤、操作、单元、部件及/或其群组的存在或添加。
后附的权利要求中的所有手段或步骤功能组件的对应结构、材料、行为及等效物意欲包括用于结合其它所主张的组件以执行功能的任何结构、材料或行为。本发明的描述以出于说明及描述的目的呈现，其并不意欲为详尽的或限制本发明于所揭示的形式。对本领域技术人员而言，在不偏离本发明的范围及精神的情况下，许多修改及变化是显而易见的。具体实施例选择并描述为可最佳地解释本发明的原理及实际应用，且使得其它本领域技术人员能够理解本发明各种具体实施例具有各种修改以适用于所预期的特定用途。

Claims (25)

1.一种系统，包含：
多个电子神经元；
交叉式数组，配置为互连所述多个电子神经元，该交叉式数组包含：
多个轴突及多个树突，使得该轴突与该树突彼此横贯；以及
多个电子突触，其中每一电子突触位于耦合于树突及轴突间的该交叉式数组的交叉点，每一电子突触配置为互连前突触电子神经元及后突触电子神经元；
其中每一电子突触包含：
存储器组件，配置为存储该电子突触的状态以及存储用以更新该电子突触的该状态的元信息；以及
更新模块，配置为基于该元信息更新该电子突触的该状态，以响应针对强化学习的更新信号。
2.如权利要求1所述的系统，其中该电子突触能够异步地并行操作。
3.如权利要求1或2所述的系统，其中电子突触状态基于延迟更新信号根据强化学习而程序化。
4.如权利要求1、2或3所述的系统，其中：
每一电子突触的该更新模块配置为更新该电子突触，使得：
响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；
响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态使得该电子突触根据学习规则而设定；以及
响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。
5.如权利要求1、2或3所述的系统，其中：
每一电子突触的该更新模块配置为基于强化学习而更新该电子突触，使得该电子突触基于脉冲时间相依可塑性而更新以响应更新信号。
6.如任意先前权利要求所述的系统，其中每一电子突触还包含多个轴突路径横贯于多个树突路径而形成交叉点的数组，使得该存储器组件位于该数组的对角线的该交叉点上。
7.如任意先前权利要求所述的系统，其中每一电子突触包含：
三个存储器组件，配置为维持信息；以及
三个轴突路径横贯于三个树突路径而形成9个交叉点的3x3数组，使得该存储器组件位于该数组的对角线的该交叉点上，提供R位、G位、及B位。
8.如权利要求7所述的系统，其中
该交叉式数组包含具有N2电子突触的NxN交叉点；
每一电子突触针对电子强化学习而配置为：
并行地读取R行；
并行地读取且设定G列；
并行地重设G行；
并行地读取且设定B行；
并行地设定B列；
估计在R行及列上的一些设定位；以及
当报酬信号抵达时，提供通用值信号，且设定及重设该交叉式数组中的所有N2R位。
9.如任意先前权利要求所述的系统，其中每一电子突触包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。
10.如任意先前权利要求所述的系统，其中每一电子突触包含基于静态随机存取存储器(SRAM)的存储器组件。
11.如权利要求1至9中任意所述的系统，其中每一电子突触包含基于动态随机存取存储器(DRAM)的存储器组件。
12.如任意先前权利要求所述的系统，其中每一电子突触配置为互连前突触电子神经元的轴突以及后突触电子神经元的树突。
13.一种装置，包含：
电子突触，配置为互连前突触电子神经元及后突触电子神经元，该电子突触包含：
存储器组件，配置为存储该电子突触的状态以及存储用以更新该电子突触的该状态的元信息；以及
更新模块，配置为基于该元信息更新该电子突触的该状态，以响应针对强化学习的更新信号。
14.如权利要求13所述的装置，其中该更新模块配置为基于该元信息更新该电子突触的该状态，以响应基于学习规则的针对强化学习的延迟更新信号。
15.如权利要求13或14所述的装置，其中：
该更新模块配置为基于电子强化学习更新该电子突触的该状态，使得该电子突触基于脉冲时间相依可塑性学习规则而更新。
16.如权利要求14所述的装置，其中：
该更新模块配置为更新该电子突触，使得：
响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；
响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态使得该电子突触根据学习规则而设定；以及
响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。
17.如权利要求13至16中任意所述的装置，其中：
该更新模块配置为更新该电子突触，使得若在时窗内接收更新信号：
响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；
响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而设定；以及
响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。
18.如权利要求17所述的电子突触设备，其中该电子突触包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设。
19.如权利要求13至18中任意所述的装置，其中
该电子突触配置为互连前突触电子神经元的轴突以及后突触电子神经元的树突。
20.如权利要求13至18中任意所述的装置，其中该电子突触还包含多个轴突路径横贯于多个树突路径而形成交叉点的数组，使得该存储器组件位于该数组的对角线的该交叉点上。
21.一种计算机程序产品，包含：
计算机可用介质，具有计算机可读取程序代码具体实施于其中用以执行于计算机上；
该计算机可读取程序代码配置为基于元信息而更新电子突触的状态，以响应基于学习规则的针对强化学习的延迟更新信号；
其中该电子突触配置为互连前突触电子神经元及后突触电子神经元，该电子突触包含存储器组件，该存储器组件配置为存储该电子突触的状态以及存储用以更新该电子突触的该状态的元信息。
22.如权利要求21所述的计算机程序产品，其中该计算机可读取程序代码配置为：
基于电子强化学习而更新该电子突触的该状态，使得该电子突触基于脉冲时间相依可塑性学习规则而更新。
23.如权利要求21所述的计算机程序产品，其中该计算机可读取程序代码系配置为更新该电子突触，使得：
响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；
响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态使得该电子突触根据学习规则而设定；以及
响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。
24.如权利要求21所述的计算机程序产品，其中该计算机可读取程序代码配置为更新该电子突触，使得若在时窗内接收更新信号：
响应该前突触神经元脉冲信号，该电子突触的该状态通过读取信号而更新，该读取信号经由该电子突触而从该前突触神经元传送至该后突触神经元；
响应该前突触神经元脉冲信号以及接着响应该后突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而设定；以及
响应该后突触神经元脉冲信号及接着响应该前突触神经元脉冲信号，更新该电子突触的该状态，其中该电子突触根据学习规则而重设。
25.如权利要求21所述的计算机程序产品，其中
该电子突触包含六端装置，其中两端用于读取、两端用于设定、以及两端用于重设；以及
该电子突触配置为互连前突触电子神经元的轴突以及后突触电子神经元的树突。
CN201180063280.5A 2010-12-30 2011-10-18 强化学习的电子突触 Active CN103282919B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/982,505 US8892487B2 (en) 2010-12-30 2010-12-30 Electronic synapses for reinforcement learning
US12/982,505 2010-12-30
PCT/EP2011/068183 WO2012089360A1 (en) 2010-12-30 2011-10-18 Electronic synapses for reinforcement learning

Publications (2)

Publication Number Publication Date
CN103282919A true CN103282919A (zh) 2013-09-04
CN103282919B CN103282919B (zh) 2016-02-17

Family

ID=44852931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180063280.5A Active CN103282919B (zh) 2010-12-30 2011-10-18 强化学习的电子突触

Country Status (8)

Country Link
US (1) US8892487B2 (zh)
EP (1) EP2641214B1 (zh)
JP (1) JP5907994B2 (zh)
KR (1) KR101507671B1 (zh)
CN (1) CN103282919B (zh)
CA (1) CA2817802C (zh)
TW (1) TWI515670B (zh)
WO (1) WO2012089360A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194462A (zh) * 2016-03-15 2017-09-22 清华大学 三值神经网络突触阵列及利用其的神经形态计算网络
CN107368888A (zh) * 2016-05-11 2017-11-21 上海磁宇信息科技有限公司 类脑计算系统及其突触
CN108154225A (zh) * 2016-12-06 2018-06-12 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN109716364A (zh) * 2016-10-14 2019-05-03 英特尔公司 使用延迟因果更新的突触前学习
CN109844772A (zh) * 2016-11-09 2019-06-04 国际商业机器公司 存储器单元结构
CN113723602A (zh) * 2021-09-01 2021-11-30 哈尔滨工程大学 一种光纤结构的神经突触方案

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9405975B2 (en) 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US8712940B2 (en) * 2011-05-31 2014-04-29 International Business Machines Corporation Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US8874498B2 (en) 2011-09-16 2014-10-28 International Business Machines Corporation Unsupervised, supervised, and reinforced learning via spiking computation
US8738554B2 (en) * 2011-09-16 2014-05-27 International Business Machines Corporation Event-driven universal neural network circuit
US8626684B2 (en) 2011-12-14 2014-01-07 International Business Machines Corporation Multi-modal neural network for universal, online learning
US9412041B1 (en) 2012-06-29 2016-08-09 Brain Corporation Retinal apparatus and methods
US9436908B2 (en) * 2013-02-22 2016-09-06 Qualcomm Technologies Inc. Apparatus and methods for rate-modulated plasticity in a neuron network
US9436909B2 (en) 2013-06-19 2016-09-06 Brain Corporation Increased dynamic range artificial neuron network apparatus and methods
US9552546B1 (en) 2013-07-30 2017-01-24 Brain Corporation Apparatus and methods for efficacy balancing in a spiking neuron network
KR20150016089A (ko) * 2013-08-02 2015-02-11 안병익 신경망 컴퓨팅 장치 및 시스템과 그 방법
US9418331B2 (en) * 2013-10-28 2016-08-16 Qualcomm Incorporated Methods and apparatus for tagging classes using supervised learning
US20150286925A1 (en) * 2014-04-08 2015-10-08 Qualcomm Incorporated Modulating plasticity by global scalar values in a spiking neural network
KR102366783B1 (ko) * 2014-07-07 2022-02-24 광주과학기술원 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
KR102255309B1 (ko) * 2014-10-17 2021-05-25 삼성전자주식회사 3차원 구조의 인공 뉴런 반도체 소자 및 이를 이용한 인공 뉴런 반도체 시스템
US9881349B1 (en) 2014-10-24 2018-01-30 Gopro, Inc. Apparatus and methods for computerized object identification
GB201419355D0 (en) 2014-10-30 2014-12-17 Ibm Neuromorphic synapses
GB2532787A (en) 2014-11-28 2016-06-01 Ibm Sensor arrangement for position sensing
KR101701250B1 (ko) 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
KR102446409B1 (ko) 2015-09-18 2022-09-22 삼성전자주식회사 시냅스 메모리 소자의 제조방법
US9767407B2 (en) 2015-09-18 2017-09-19 Samsung Electronics Co., Ltd. Weighting device, neural network, and operating method of the weighting device
WO2017200883A1 (en) 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10713562B2 (en) * 2016-06-18 2020-07-14 International Business Machines Corporation Neuromorphic memory circuit
US10892330B2 (en) * 2016-07-06 2021-01-12 International Business Machines Corporation FET based synapse network
US10423878B2 (en) 2016-09-07 2019-09-24 International Business Machines Corporation Artificial neuron apparatus
CN108073982B (zh) * 2016-11-18 2020-01-03 上海磁宇信息科技有限公司 类脑计算系统
KR101997868B1 (ko) * 2017-02-14 2019-07-09 서울대학교 산학협력단 뉴로모픽 시스템, 및 기억 장치
JPWO2018163005A1 (ja) * 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US11222260B2 (en) * 2017-03-22 2022-01-11 Micron Technology, Inc. Apparatuses and methods for operating neural networks
US11087207B2 (en) 2018-03-14 2021-08-10 Silicon Storage Technology, Inc. Decoders for analog neural memory in deep learning artificial neural network
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10803943B2 (en) 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US10699779B2 (en) * 2017-11-29 2020-06-30 Silicon Storage Technology, Inc. Neural network classifier using array of two-gate non-volatile memory cells
JP6896678B2 (ja) * 2018-07-02 2021-06-30 株式会社東芝 強化学習システム
KR102618546B1 (ko) * 2018-09-03 2023-12-27 삼성전자주식회사 2차원 어레이 기반 뉴로모픽 프로세서 및 그 동작 방법
US11500442B2 (en) 2019-01-18 2022-11-15 Silicon Storage Technology, Inc. System for converting neuron current into neuron current-based time pulses in an analog neural memory in a deep learning artificial neural network
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
US10720217B1 (en) 2019-01-29 2020-07-21 Silicon Storage Technology, Inc. Memory device and method for varying program state separation based upon frequency of use
KR20200099252A (ko) 2019-02-13 2020-08-24 삼성전자주식회사 회로 디자인을 검증하기 위한 검증 벡터를 생성하는 장치, 회로 디자인 시스템 및 이의 강화 학습 방법
US11270195B2 (en) 2019-03-05 2022-03-08 International Business Machines Corporation Neuromorphic computing in dynamic random access memory
US11423979B2 (en) 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
KR102425869B1 (ko) * 2019-12-09 2022-07-28 광주과학기술원 씨모스에 기반하는 크로스바 어레이 딥러닝 가속기
JP7237891B2 (ja) * 2020-07-15 2023-03-13 ソフトバンク株式会社 学習実行装置、プログラム、及び学習実行方法
US11790033B2 (en) * 2020-09-16 2023-10-17 International Business Machines Corporation Accelerated Quasi-Newton methods on analog crossbar hardware
EP4002220A1 (en) * 2020-11-12 2022-05-25 Commissariat à l'Energie Atomique et aux Energies Alternatives Synapse circuit for three-factor learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212766A (en) * 1990-01-11 1993-05-18 Mitsubishi Denki Kabushiki Kaisha Neural network representing apparatus having self-organizing function
US6865434B1 (en) * 2003-07-30 2005-03-08 Powerchip Semiconductor Corp. Management system of monitor wafers
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
WO2009113993A1 (en) * 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1244911B (it) 1991-01-31 1994-09-13 Texas Instruments Italia Spa Architettura per rete neuronica fisicamente inseribile nel processo di apprendimento.
US5274748A (en) 1991-12-27 1993-12-28 At&T Bell Laboratories Electronic synapse circuit for artificial neural network
JPH05210649A (ja) 1992-01-24 1993-08-20 Mitsubishi Electric Corp 神経回路網表現装置
US5479579A (en) * 1992-09-04 1995-12-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Cascaded VLSI neural network architecture for on-line learning
US5355528A (en) * 1992-10-13 1994-10-11 The Regents Of The University Of California Reprogrammable CNN and supercomputer
GB9226192D0 (en) 1992-12-16 1993-02-10 Univ London Neural network architecture
JPH06290286A (ja) * 1993-04-06 1994-10-18 Ricoh Co Ltd シナプス回路
US5781702A (en) 1995-06-07 1998-07-14 Univ South Western Hybrid chip-set architecture for artificial neural network system
US6434541B1 (en) * 1996-10-23 2002-08-13 Ford Global Technologies, Inc. Automotive engine misfire detection system including a bit-serial based recurrent neuroprocessor
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
DE60234900D1 (de) * 2001-12-21 2010-02-11 Ibm Verfahren und Schaltungen zur Bildskalierung mit Hilfe neuronaler Netzwerke
JP2007504576A (ja) * 2003-01-17 2007-03-01 アヤラ，フランシスコ，ジェイ 人工知能を開発するためのシステム及び方法
US7430546B1 (en) 2003-06-07 2008-09-30 Roland Erwin Suri Applications of an algorithm that mimics cortical processing
GB0506253D0 (en) 2005-03-29 2005-05-04 Univ Ulster Electronic synapse device
US7533071B2 (en) 2005-06-28 2009-05-12 Neurosciences Research Foundation, Inc. Neural modeling and brain-based devices using special purpose processor
US7599895B2 (en) 2005-07-07 2009-10-06 Knowm Tech, Llc Methodology for the configuration and repair of unreliable switching elements
US20090292661A1 (en) 2008-05-21 2009-11-26 Haas Alfred M Compact Circuits and Adaptation Techniques for Implementing Adaptive Neurons and Synapses with Spike Timing Dependent Plasticity (STDP).
GB0811057D0 (en) 2008-06-17 2008-07-23 Univ Ulster Artificial neural network architecture
US8463723B2 (en) 2009-03-01 2013-06-11 International Business Machines Corporation Electronic synapse
US8510244B2 (en) * 2009-03-20 2013-08-13 ISC8 Inc. Apparatus comprising artificial neuronal assembly

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5212766A (en) * 1990-01-11 1993-05-18 Mitsubishi Denki Kabushiki Kaisha Neural network representing apparatus having self-organizing function
US6865434B1 (en) * 2003-07-30 2005-03-08 Powerchip Semiconductor Corp. Management system of monitor wafers
US20080162391A1 (en) * 2006-12-29 2008-07-03 Neurosciences Research Foundation, Inc. Solving the distal reward problem through linkage of stdp and dopamine signaling
WO2009113993A1 (en) * 2008-03-14 2009-09-17 Hewlett-Packard Development Company, L.P. Neuromorphic circuit

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194462A (zh) * 2016-03-15 2017-09-22 清华大学 三值神经网络突触阵列及利用其的神经形态计算网络
CN107194462B (zh) * 2016-03-15 2020-05-19 清华大学 三值神经网络突触阵列及利用其的神经形态计算网络系统
CN107368888A (zh) * 2016-05-11 2017-11-21 上海磁宇信息科技有限公司 类脑计算系统及其突触
CN107368888B (zh) * 2016-05-11 2021-05-25 上海磁宇信息科技有限公司 类脑计算系统及其突触
CN109716364A (zh) * 2016-10-14 2019-05-03 英特尔公司 使用延迟因果更新的突触前学习
CN109844772A (zh) * 2016-11-09 2019-06-04 国际商业机器公司 存储器单元结构
CN109844772B (zh) * 2016-11-09 2023-05-02 三星电子株式会社 存储器单元、存储器单元系统和制造存储器单元的方法
CN108154225A (zh) * 2016-12-06 2018-06-12 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN108154225B (zh) * 2016-12-06 2021-09-03 上海磁宇信息科技有限公司 一种使用模拟计算的神经网络芯片
CN113723602A (zh) * 2021-09-01 2021-11-30 哈尔滨工程大学 一种光纤结构的神经突触方案

Also Published As

Publication number Publication date
US20140310220A1 (en) 2014-10-16
US8892487B2 (en) 2014-11-18
JP2014504756A (ja) 2014-02-24
KR101507671B1 (ko) 2015-03-31
EP2641214A1 (en) 2013-09-25
JP5907994B2 (ja) 2016-05-11
CN103282919B (zh) 2016-02-17
EP2641214B1 (en) 2017-06-14
CA2817802A1 (en) 2012-07-05
WO2012089360A1 (en) 2012-07-05
KR20130114183A (ko) 2013-10-16
CA2817802C (en) 2018-07-24
TW201227545A (en) 2012-07-01
TWI515670B (zh) 2016-01-01

Similar Documents

Publication Publication Date Title
CN103282919A (zh) 强化学习的电子突触
US11055609B2 (en) Single router shared by a plurality of chip structures
US10885424B2 (en) Structural plasticity in spiking neural networks with symmetric dual of an electronic neuron
US10628732B2 (en) Reconfigurable and customizable general-purpose circuits for neural networks
US20200034687A1 (en) Multi-compartment neurons with neural cores
US10460228B2 (en) Synaptic, dendritic, somatic, and axonal plasticity in a network of neural cores using a plastic multi-stage crossbar switching
CN114365078A (zh) 重构mac运算

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant