CN107924485B - 具有基于电阻的学习规则电路的电子神经网络电路 - Google Patents

具有基于电阻的学习规则电路的电子神经网络电路 Download PDF

Info

Publication number
CN107924485B
CN107924485B CN201680048968.9A CN201680048968A CN107924485B CN 107924485 B CN107924485 B CN 107924485B CN 201680048968 A CN201680048968 A CN 201680048968A CN 107924485 B CN107924485 B CN 107924485B
Authority
CN
China
Prior art keywords
circuit
learning rule
neuron
learning
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680048968.9A
Other languages
English (en)
Other versions
CN107924485A (zh
Inventor
C·奥古斯丁
S·保尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107924485A publication Critical patent/CN107924485A/zh
Application granted granted Critical
Publication of CN107924485B publication Critical patent/CN107924485B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Integrated Circuits (AREA)
  • Measurement Of Resistance Or Impedance (AREA)

Abstract

描述了一种装置。所述装置包括半导体芯片。所述半导体芯片包括脉冲神经网络电路系统。所述脉冲神经网络电路系统包括学习规则电路。所述学习规则电路包括电阻元件。所述电阻元件的电阻用于确定所述脉冲神经网络电路系统的神经元之间的突触的权重变化。

Description

具有基于电阻的学习规则电路的电子神经网络电路
技术领域
本发明的领域总体上涉及电子领域，并且更具体地涉及一种具有基于电阻的学习规则电路的电子神经网络电路。
背景技术
在计算科学领域中，人工神经网络可以用于实现各种形式的认知科学，比如，机器学习和人工智能。实质上，人工神经网络是具有以类似于人脑的方式构造并且被表征为具有通过突触互连的多个神经元的设计的自适应信息处理网络。
附图说明
可以结合以下附图根据以下详细说明获得对本发明的更好理解，在附图中：
图1示出了神经网络；
图2a和图2b示出了抑制学习规则和激发学习规则；
图3示出了磁性隧穿结器件的作为所施加电压或电流的函数的电阻；
图4示出了用于实现电子神经网络的电路；
图5示出了学习规则电路的第一实施例；
图6示出了学习规则电路的第二实施例；
图7a示出了作为所施加电压或电流的函数的不同电阻/学习规则曲线；
图7b示出了用于实现图7a的不同电阻/学习规则曲线的电路系统；
图8示出了流经同一磁性隧穿结器件的执行路径和学习路径；
图9示出了计算系统。
具体实施方式
图1示出了对神经网络100的简化描绘。如在图1中所观察到的，所述网络包括通过多个突触102互连的多个神经元101。在操作中，神经元101通过突触102在彼此之间交换消息。突触102中的每一个都具有其自身的可以基于经验调整的特定数值权重。因此，神经网络100是自适应的并且能够进行学习。
被称为“脉冲(spiking)”神经网络的一类神经网络具有采用脉冲形式的突触消息。在此，如果神经元的状态达到特定值，则所述神经元向与其连接的神经元“发射(fire)”脉冲/消息。简单地说，神经元的状态值将随着所述神经元从其他神经元处接收到脉冲/消息而发生变化。如果所接收到的脉冲活动的幅度达到某一强度，则接收神经元的状态可以改变为使所述神经元进行发射的水平。
突触的权重影响其传输的消息的幅度。脉冲时间依赖可塑性(Spike TimingDependent Plasticity，STDP)是用于响应于突触的任一端上的脉冲时间差而改变脉冲神经网络中的突触的权重的学习函数。总体上存在两种类型的STDP学习函数：抑制学习函数和激发学习函数。抑制学习函数用于其消息往往减少消息接收神经元的发射活动的突触。相比而言，激发学习函数用于其消息往往促进消息接收神经元的发射活动的突触。
通过对学习函数的应用，突触的权重将鉴于所观察到的前神经元发射和后神经元发射而发生变化，这进而对应于所述网络的学习活动。图2a示出了STDP抑制学习函数并且图2b示出了STDP激发学习函数。对于两种函数，Δt对应于突触的任一侧上的神经元之间的发射时间差，而Δz对应于突触权重变化。
实际脉冲神经网络的实施方式和构造的问题是突触的绝对数量。在此，从图1注意到，由于单个神经元可以连接至许多其他神经元，所以突触的数量可能大大超过神经元的数量。考虑到某个临界质量的智能水平通常需要大量神经元，因此实现实际脉冲神经网络所需的突触数量可能是极大的(例如，神经元数量的一百或一千倍)。
因此，对其组成电路系统被设计用于实现脉冲神经网络的半导体芯片的制造面临这样一种挑战：试图使用减小数量的有源器件来实现突触，以便减小其整体大小和制造复杂度。
在背景技术中所描述的问题的一种解决方案是构造具有磁性隧穿结(magnetictunneling junction，MTJ)器件的突触电路。磁性隧穿器件根据器件内的两个磁矩的相对取向而展现出高电阻或低电阻。在此，根据一种类型的MTJ实施方式，当所述器件的第一磁层(例如，固定层)的磁矩与所述器件的第二磁层(例如，自由层)指向相同方向时，所述器件具有低电阻(RL)。相比而言，参照图3，当第一磁层的磁矩与第二磁层指向相反方向时，MTJ器件具有高电阻(RH)。在各种实施方式中，固定层的磁矩不改变方向，而自由层的磁矩确实改变方向。
如在图3中所观察到的，MTJ器件的高电阻状态将把电阻变化展现为所施加电压或者电流的函数，所述函数与图2a的抑制STDP学习函数的形状非常类似。因此，如果施加到高电阻状态MTJ器件上的电压或电流表示神经网络中的神经元之间的时间差，则MTJ器件的电阻可以用于建立所述神经元之间的突触的权重变化。也就是说，MTJ器件可以用于实现抑制学习规则。
图4示出了具有实现第一和第二神经元的第一和第二电路401、402的一般神经网络电路400。在各个实施例中，神经元电路包括用于维持某种状态(例如，寄存器、触发器、电容器等等)的电路系统以及用于在所述状态达到某一水平的情况下发射消息的电路系统。
时序测量电路403测量这两个神经元电路401、402的发射时间之差，并且生成在幅度和极性方面表示发射时间差的输出信号(例如，数字信号、电压或电流)。具体地，如果后神经元在前神经元401之后进行发射402(其中，脉冲/消息沿着执行路径从前神经元401传播至后神经元402)，则Δt为正并且时间电路403将生成第一极性(例如，正)的信号，所述信号的幅度表示时间差。
然后，所述信号被施加到具有处于高电阻状态的MTJ器件405的学习电路404上。由学习规则电路404以使得表示信号被施加到MTJ器件405上的方式来处理来自时序测量电路404的输入信号，并且测量所述器件的电阻。
例如，如果跨MTJ器件的端子施加了表示Δt的电压，则测量流经MTJ器件的合成电流以便确定MTJ器件的电阻。同样，如果表示Δt的电流被驱动通过MTJ器件，则测量跨MTJ器件的合成电压以便确定所述器件的电阻。然后，所测量的电阻用于生成权重电路406的输入信号。
在此，回顾一下，MTJ器件的所测量的电阻表示这两个神经元401、402之间的突触的权重变化。响应于从学习规则电路404处接收到的输入信号，权重电路406计算突触的新权重值。然后，消息可以继续沿着执行路径从前神经元开始通过权重电路406到达后神经元，以便将新权重应用到消息上。因此，每当时序测量电路沿着学习路径发送新信号时，都可以对突触应用新的权重。
在各个实施例中，学习规则电路404可以根据被提供为来自寄存器(未示出)的值的输入控制信号来实现抑制或激发规则。在此，寄存器中的值可以被加载为神经网络电路的配置的一部分。
图5示出了学习规则电路504的实施例。在此，简要地返回参照图2a和图2b，注意，图2b的激发函数可以被视为图2a的抑制函数，但是做出了颠倒正时间差的极性的轻微修改。也就是说，沿着横轴在原点的左侧，图2a和图2b的规则是相同的。相比而言，沿着横轴在原点的右侧，图2b的规则的幅度与图2a相同，但是极性相反。
参照图5，电路系统501实现了学习规则电路504的抑制突触，而电路系统502实现了学习规则电路504的激发突触。也就是说，如果学习规则电路504用于实现抑制学习规则，则多路复用器509选择通道501。相比而言，如果学习规则电路504用于实现激发学习规则，则多路复用器509选择通道502。回顾一下，例如寄存器中的值可以建立合适的学习规则并且向学习规则电路提供输入信号以便指示将应用哪种学习规则。
根据图5的学习规则电路，通过以下方式来测量MTJ器件503的电阻：驱动电流通过器件503、利用A/D转换器507来测量跨器件503的电压并且利用逻辑电路508来将所测量的电压除以所测量的电流(其他实施例可以选择将电压施加到所述器件上并测量通过所述器件的电流)。注意，图3的MTJ曲线跨横轴对称。也就是说，无论所施加电压或电流的极性如何，MTJ器件都展示特定电阻。如此，无论Δt测量结果的极性如何，电流源电路系统505都只在一个方向上驱动电流。
因此，电流源电路系统505接受指示前神经元与后神经元之间的时间差的幅度的输入(例如，如由图4的时序测量电路403提供的)，并且驱动与Δt幅度成比例的电流通过MTJ器件503。Δt幅度输入信号使多个驱动电流晶体管导通(对于更大幅度时间差，更多驱动电流晶体管被导通以便驱动更多电流，对于更小幅度时间差，更少驱动电流晶体管被导通以便驱动更少电流)。接收Δt幅度输入信号的模数转换器506将所述信号转换为多个位(例如，采用温度计码的形式)以便导通合适数量的驱动电流晶体管。
时间差测量结果的极性对抑制学习规则输出没有影响。因此，抑制学习通道501恰好是MTJ器件电阻的直接读数。在实施例中，如由逻辑电路508所提供的MTJ器件电阻被视为具有正极性的值。
相比而言，时间差测量结果的极性对激发学习规则输出有影响。具体地，在负Δt测量结果的情况下，输出电阻为正并且因此恰好是逻辑电路508的输出。相比而言，在正Δt测量结果的情况下，学习规则的输出值为负，并且正确的输出是来自逻辑电路的电阻值，但具有负极性。如此，激发通道包括两个子通道，一个提供正电阻，并且另一个提供负电阻。多路复用器510在负Δt测量结果的情况下选择正子通道，并且在正Δt测量结果的情况下选择负子通道。
图5提供了包括模拟和数字信号处理特征两者的混合信号学习规则电路的实施例。相比而言，图6示出了模拟学习规则电路604的实施例。在此，接收到指示时间差测量结果的幅度和极性两者的模拟输入信号Δt。Δt时间差输入信号被提供给整流放大器601，所述整流放大器提供Δt的幅度乘以常数A(A可以是单位一)的绝对值。
如此，随着时间差(Δt)的幅度增大，施加到MTJ器件603上的电压的量增大。电流表电路602测量通过MTJ器件603的电流，而电压表电路605测量通过MTJ器件603的电流。除法电路606接收电流表602和电压表605的输出，并且确定MTJ电路的电阻(V/I＝R)。
一对开关电路608、609将根据以下各项提供学习规则电路的输出：1)指示将实现抑制学习规则还是激发学习规则的控制信号(例如，如配置寄存器提供的)；以及2)Δt时间差信号的极性。在图6的实施例中，如果控制信号指示将应用抑制学习规则，则开关609的NFET器件“导通”，并且开关609的PFET器件“断开”。在此状态下，无论Δt测量信号的极性如何，除法电路606的正极性输出都被直接馈送到学习电路输出中。
相比而言，如果控制信号指示将应用激发学习规则，则开关609的NFET器件“断开”，并且开关609的PFET器件“导通”。在此状态下，学习电路的输出或者是除法电路606的正极性输出(如果Δt为正，则开关608的NFET“导通”并且开关608的PFET“断开”)或者是除法电路606的如由单位反相放大器607产生的负极性输出(如果Δt为负，则开关608的NFET“断开”并且开关608的PFET“导通”)。为了简单起见，已经示出了通过门(pass gate)结构609以便于进行说明。为了避免跨门结构的电压降问题，可以使用传输门结构来代替通过门结构609。
对图5和图6的电路系统的实施方式改进是以可编程的方式改变学习规则的斜率和幅度的能力。在此，图7a示出了如由通过MTJ电阻器节点的电阻的不同线性斜率和纵轴截距表征的抑制规则曲线。各种实施方式可能期望不同高度/斜率的学习规则，因此改变学习规则曲线(就其高度和斜率而言)的能力可以是可期望的。图7b描绘了可以应用于图5或图6的电路中的任一电路以便实现所述电路实现的学习曲线的可编程高度和斜率的改进。在此，通过将可编程电阻与MTJ器件并联放置，可以调整通过MTJ器件的有效电阻以便实现各种斜率和高度的学习规则。
在实施例中，各个并联电阻中的每一个都具有两种可编程状态：开路或者电阻R。当处于开路状态下时，并联电阻对电路没有影响。然而，当并联电阻在电阻R状态下被激活时，并联电阻减小MTJ器件的电阻，这进而降低学习规则的斜率及其纵轴截距。每个并联电阻都被单独地设置为开路/R状态，以便通过激活/停用并联电阻的不同组合来允许宽范围的不同学习规则斜率。激活的并联电阻越多，电路的学习规则的斜率和高度降低得越多。其他实施例可以选择实现可编程电阻范围(例如，可以将每个电阻设置为开路、最大电阻R以及开路与R之间的多个电阻值中的任何一种)。可设想地，可以通过将可编程电阻值与MTJ串联放置来实现电阻/规则曲线的形状的类似变化。我们还可以具有这样一种实施方式：在所述实施方式中，可编程电阻可以是取代的MTJ以便实现具有(多个)不同高度和(多个)斜率的学习函数。
再次参考图4，注意，神经网络的基本模型包括将权重输入值的变化馈送到权重电路406的学习规则电路404。通过学习路径的方式来建立决定权重变化的学习规则电路输出。当前神经元沿着执行路径将消息发射到后神经元时，发生对具有权重变化的权重的实际使用。如在图4中观察到的，学习路径和学习规则电路基本上与执行路径和权重电路隔离。
图8示出了可以潜在地利用基于MTJ器件的学习规则实施方式来实现的另一种改进。根据图8的设计原理，因为权重变化被建立为MTJ器件803的电阻，所以如果权重本身W也被建立为电阻，则执行路径可以直接流经MTJ803。在这种情况下，学习路径和执行路径两者将流经MTJ 803。在此，如在图8中观察到的，权重电路806利用值为W的电阻来设置基本权重。然后，执行路径流经电阻W和MTJ 803，以便影响权重和权重变化。
虽然已经参照MTJ描述了上述实施例，但是在各个其他实施例中，另一种类型的电阻元件可以用于代替如上所述的MTJ。在此，具有具备某一斜率和高度的电压相关电阻的性质的任何电阻器件都可以用于STDP学习。
在此所讨论的神经网络电路系统可以在各种半导体电路中具体化，所述半导体电路中的至少一些可以与计算系统(比如，智能机器学习外围设备(比如，语音或图像识别外围设备))整合。
图9示出了对示例性计算系统900的描绘，如个人计算系统(例如，台式计算机或膝上型计算机)或者移动或手持式计算系统(如平板设备或智能电话)。如图9中所观察到的，基本计算系统可以包括中央处理单元901(所述中央处理单元可以包括例如多个通用处理核以及布置在应用处理器或多核处理器上的主存储器控制器)、系统存储器902、显示器903(例如，触摸屏、平板)、本地有线点到点链路(例如，USB)接口904、各种网络I/O功能905(如以太网接口和/或蜂窝调制解调器子系统)、无线局域网(例如，WiFi)接口906、无线点到点链路(例如，蓝牙)接口907和全球定位系统接口908、各种传感器909_1到909_N(例如，陀螺仪、加速度计、磁力计、温度传感器、压力传感器、湿度传感器等中的一个或多个)、相机910、电池911、功率管理控制单元912、扬声器和话筒913以及音频编码器/解码器914。传感器901_1到909_N中的任何传感器以及相机910可以包括具有上文所述的MTJ学习规则电路系统的神经网络传感器芯片。
应用处理器或多核处理器950可以包括在其CPU 901内的一个或多个通用处理核915、一个或多个图形处理单元916、存储器管理功能917(例如，存储器控制器)以及I/O控制功能918。通用处理核915通常执行操作系统以及计算系统的应用软件。图形处理单元916通常执行图形密集功能以便例如生成呈现在显示器903上的图形信息。存储器控制功能917与系统存储器902接口连接。功率管理控制单元912通常控制系统900的功耗。
触摸屏显示器903、通信接口904至907、GPS接口908、传感器909、相机910以及扬声器/话筒编解码器913、914中的每一个全都可以被视为相对于整个计算系统的各种形式的I/O(输入和/或输出)，所述整个计算系统在适当的情况下也包括集成外围设备(例如，相机910)。根据实施方式，这些I/O部件中的各种部件可以集成到应用处理器/多核处理器950上，或者可以被定位成远离裸片或被定位在应用处理器/多核处理器950的封装体之外。
本发明的实施例可包括如上所述的各个过程。所述过程可以被实施为机器可执行指令。所述指令可以用于使通用或专用处理器执行某些过程。可替代地，这些过程可以由包含用于执行所述过程的硬连线逻辑的特定硬件部件来执行，或者由编程计算机部件和定制硬件部件的任意组合来执行。
本发明的元件还可以被提供为用于存储机器可执行指令的机器可读介质。机器可读介质可以包括但不限于软盘、光盘、CD-ROM和磁-光盘、闪存、ROM、RAM、EPROM、EEPROM、磁卡或光卡、传播介质或适用于存储电子指令的其他类型的介质/机器可读介质。例如，本发明可以被下载为计算机程序，所述计算机程序可以经由通信链路(例如，调制解调器或网络连接)以实现在载波或其他传播介质中的数据信号的方式从远程计算机(例如，服务器)被传送到请求计算机(例如，客户端)。
在前述说明书中，已经参考其特定示例性实施例描述了本发明。然而，将明显的是，可以在不脱离于如随附权利要求中阐述的本发明的更宽的精神和范围的情况下对其做出各种修改和改变。相应地，本说明书和附图中应被视为说明性的而非限制性的。

Claims (20)

1.一种用于神经网络的装置，包括：
半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括：
第一神经元电路；
第二神经元电路；
突触，耦合在所述第一神经元电路与所述第二神经元电路之间；以及
学习规则电路，所述学习规则电路用于接收输入信号和输入控制信号，所述输入信号指示所述第一神经元电路和所述第二神经元电路的相应发射之间的时间量，所述输入控制信号用于指示要应用的学习规则；
所述学习规则电路进一步包括电阻元件，所述电阻元件将电阻的变化展现为所施加的电压和/或电流的函数，
所述学习规则电路用于：
驱动与所述第一神经元电路和所述第二神经元电路的相应发射之间的所述时间量的幅度成比例的信号通过所述电阻元件；以及
基于所述电阻元件的电阻和所述输入控制信号来生成指示所述突触的权重的变化的输出信号。
2.如权利要求1所述的装置，其中，所述学习规则电路用于实现以下各项中的至少一项：
抑制规则；
激发规则。
3.如权利要求2所述的装置，其中，所述学习规则电路是混合信号电路。
4.如权利要求2所述的装置，其中，所述学习规则电路是模拟电路。
5.如权利要求1所述的装置，进一步包括耦合至所述电阻元件的一个或多个可编程电阻。
6.如权利要求1所述的装置，其中，所述电阻元件是磁性隧穿结器件。
7.如权利要求1所述的装置，其中，学习路径和执行路径流经所述电阻元件。
8.一种用于神经网络的计算系统，包括：
一个或多个处理器；
存储器控制器，所述存储器控制器耦合至系统存储器；
传感器，所述传感器包括半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括：
第一神经元电路；
第二神经元电路；
突触，耦合在所述第一神经元电路与所述第二神经元电路之间；以及
学习规则电路，所述学习规则电路用于接收输入信号和输入控制信号，所述输入信号指示所述第一神经元电路和所述第二神经元电路的相应发射之间的时间量，所述输入控制信号用于指示要应用的学习规则；
所述学习规则电路进一步包括电阻元件，所述电阻元件将电阻的变化展现为所施加的电压和/或电流的函数，
所述学习规则电路用于：
驱动与所述第一神经元电路和所述第二神经元电路的相应发射之间的所述时间量的幅度成比例的信号通过所述电阻元件；以及
基于所述电阻元件的电阻和所述输入控制信号来生成指示所述突触的权重的变化的输出信号。
9.如权利要求8所述的计算系统，其中，所述学习规则电路用于实现以下各项中的至少一项：
抑制规则；
激发规则。
10.如权利要求9所述的计算系统，其中，所述学习规则电路是混合信号电路。
11.如权利要求9所述的计算系统，其中，所述学习规则电路是模拟电路。
12.如权利要求8所述的计算系统，进一步包括耦合至所述电阻元件的一个或多个可编程电阻。
13.如权利要求8所述的计算系统，其中，所述电阻元件是磁性隧穿结器件。
14.如权利要求8所述的计算系统，其中，学习路径和执行路径流经所述电阻元件。
15.一种用于神经网络的装置，包括：
半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括：
第一神经元电路；
第二神经元电路；
突触，耦合在所述第一神经元电路与所述第二神经元电路之间；以及
学习规则电路，所述学习规则电路用于接收输入信号和输入控制信号，所述输入信号指示所述第一神经元电路和所述第二神经元电路的相应发射之间的时间量，所述输入控制信号用于指示要应用的学习规则；
所述学习规则电路进一步包括磁性隧穿结器件，所述磁性隧穿结器件将电阻的变化展现为所施加电压和/或电流的函数，
所述学习规则电路用于：
驱动与所述第一神经元电路和所述第二神经元电路的相应发射之间的所述时间量的幅度成比例的信号通过所述磁性隧穿结器件；以及
基于所述磁性隧穿结器件的电阻和所述输入控制信号来生成指示所述突触的权重的变化的输出信号。
16.如权利要求15所述的装置，其中，所述学习规则电路用于实现以下各项中的至少一项：
抑制规则；
激发规则。
17.如权利要求16所述的装置，其中，所述学习规则电路包括用于接收表明将实现所述抑制规则还是所述激发规则的指示的另一输入。
18.如权利要求15所述的装置，其中，所述学习规则电路是混合信号电路。
19.如权利要求15所述的装置，其中，所述学习规则电路是模拟电路。
20.如权利要求15所述的装置，进一步包括耦合至所述电阻元件的一个或多个可编程电阻。
CN201680048968.9A 2015-09-23 2016-07-18 具有基于电阻的学习规则电路的电子神经网络电路 Active CN107924485B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/863,138 2015-09-23
US14/863,138 US20170083813A1 (en) 2015-09-23 2015-09-23 Electronic neural network circuit having a resistance based learning rule circuit
PCT/US2016/042839 WO2017052729A1 (en) 2015-09-23 2016-07-18 Electronic neural network circuit having a resistance based learning rule circuit

Publications (2)

Publication Number Publication Date
CN107924485A CN107924485A (zh) 2018-04-17
CN107924485B true CN107924485B (zh) 2021-12-14

Family

ID=58282524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680048968.9A Active CN107924485B (zh) 2015-09-23 2016-07-18 具有基于电阻的学习规则电路的电子神经网络电路

Country Status (4)

Country Link
US (1) US20170083813A1 (zh)
EP (1) EP3353719B1 (zh)
CN (1) CN107924485B (zh)
WO (1) WO2017052729A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106966B2 (en) 2017-03-13 2021-08-31 International Business Machines Corporation Battery-based neural network weights
US10331999B2 (en) * 2017-04-03 2019-06-25 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
US10534996B2 (en) * 2017-04-03 2020-01-14 Gyrfalcon Technology Inc. Memory subsystem in CNN based digital IC for artificial intelligence
CN111630527A (zh) * 2017-11-14 2020-09-04 技术研发基金会有限公司 在神经网络中使用存储器的模拟数字转换器
KR20200026455A (ko) * 2018-09-03 2020-03-11 삼성전자주식회사 인공 신경망 시스템 및 인공 신경망의 고정 소수점 제어 방법
CN110889260B (zh) * 2018-09-05 2023-01-17 长鑫存储技术有限公司 用于侦测工艺参数的方法及装置、电子设备和计算机可读介质
US11182686B2 (en) 2019-03-01 2021-11-23 Samsung Electronics Co., Ltd 4T4R ternary weight cell with high on/off ratio background
CN112183734A (zh) * 2019-07-03 2021-01-05 财团法人工业技术研究院 神经元电路
CN111725386B (zh) * 2019-09-23 2022-06-10 中国科学院上海微系统与信息技术研究所 一种磁性存储器件及其制作方法、存储器和神经网络系统
CN111459205B (zh) * 2020-04-02 2021-10-12 四川三联新材料有限公司 基于增强学习的加热器具控制系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
CN103917992A (zh) * 2011-11-09 2014-07-09 高通股份有限公司 用于按概率性方式使用存储器来存储神经网络的突触权重的方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090259609A1 (en) * 2008-04-15 2009-10-15 Honeywell International Inc. Method and system for providing a linear signal from a magnetoresistive position sensor
US8447714B2 (en) * 2009-05-21 2013-05-21 International Business Machines Corporation System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US20100312736A1 (en) * 2009-06-05 2010-12-09 The Regents Of The University Of California Critical Branching Neural Computation Apparatus and Methods
JP2014517659A (ja) * 2011-06-20 2014-07-17 ザ リージェンツ オブ ザ ユニヴァーシティー オブ カリフォルニア 神経増幅器
US9208431B2 (en) * 2012-05-10 2015-12-08 Qualcomm Incorporated Method and apparatus for strategic synaptic failure and learning in spiking neural networks
KR102230784B1 (ko) * 2013-05-30 2021-03-23 삼성전자주식회사 Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
JP5659361B1 (ja) * 2013-07-04 2015-01-28 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US20150117087A1 (en) * 2013-10-31 2015-04-30 Honeywell International Inc. Self-terminating write for a memory cell

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103201610A (zh) * 2010-10-29 2013-07-10 国际商业机器公司 带有使用模拟学习的突触权重的神经形态-突触器脉冲神经网络
CN103917992A (zh) * 2011-11-09 2014-07-09 高通股份有限公司 用于按概率性方式使用存储器来存储神经网络的突触权重的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Integration of nanoscale memristor synapses in neuromorphic computing architectures";Giacomo Indiveri et al.;《arXiv》;20130227;第1-22页，第3-4节 *
"Tunnel junction based memristors as artificial synapses";Andy Thomas et al.;《frontiers in Neuroscience》;20150707;第1-9页，摘要，第5节 *
Giacomo Indiveri et al.."Integration of nanoscale memristor synapses in neuromorphic computing architectures".《arXiv》.2013, *

Also Published As

Publication number Publication date
CN107924485A (zh) 2018-04-17
EP3353719B1 (en) 2020-12-23
WO2017052729A1 (en) 2017-03-30
EP3353719A4 (en) 2019-05-08
EP3353719A1 (en) 2018-08-01
US20170083813A1 (en) 2017-03-23

Similar Documents

Publication Publication Date Title
CN107924485B (zh) 具有基于电阻的学习规则电路的电子神经网络电路
US11579677B2 (en) Memristor crossbar arrays to activate processors
Wijesinghe et al. An all-memristor deep spiking neural computing system: A step toward realizing the low-power stochastic brain
JP6477922B2 (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
Chen et al. Associate learning and correcting in a memristive neural network
JP2018521400A (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
Koo et al. SBSNN: Stochastic-bits enabled binary spiking neural network with on-chip learning for energy efficient neuromorphic computing at the edge
US20210201110A1 (en) Methods and systems for performing inference with a neural network
US10602722B1 (en) Smart leash system
US11868874B2 (en) Two-dimensional array-based neuromorphic processor and implementing method
US9876979B1 (en) Current generator
JP2019511799A (ja) アナログ電子ニューラルネットワーク
US20190197391A1 (en) Homeostatic plasticity control for spiking neural networks
GB2581310A (en) Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
JP2016532216A (ja) 人工神経システムにおけるブレークポイント決定ユニットを実現するための方法および装置
Baumann et al. Memristor‐enhanced humanoid robot control system–Part II: Circuit theoretic model and performance analysis
EP3955253A1 (en) Processing apparatus and electronic device including the same
US20200320385A1 (en) Using quantization in training an artificial intelligence model in a semiconductor solution
Yajima Ultra-low-power switching circuits based on a binary pattern generator with spiking neurons
Pechmann et al. A low-power RRAM memory block for embedded, multi-level weight and bias storage in artificial neural networks
KR20190075788A (ko) 캘리브레이션 장치를 포함하는 스토리지 장치
KR20220066574A (ko) 인공지능 시스템을 훈련시키기 위한 이미지 데이터를 처리하도록 구성되는 전자 장치
CN109324941A (zh) 一种温度采集方法、终端及存储介质
WO2020133492A1 (zh) 一种神经网络压缩方法及装置
CN111580783A (zh) 权重单元和电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant