CN112598124A - 神经元模拟电路及神经网络装置 - Google Patents

神经元模拟电路及神经网络装置 Download PDF

Info

Publication number
CN112598124A
CN112598124A CN202011575150.7A CN202011575150A CN112598124A CN 112598124 A CN112598124 A CN 112598124A CN 202011575150 A CN202011575150 A CN 202011575150A CN 112598124 A CN112598124 A CN 112598124A
Authority
CN
China
Prior art keywords
memristor
neuron
dynamic
operational amplifier
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011575150.7A
Other languages
English (en)
Other versions
CN112598124B (zh
Inventor
李辛毅
吴华强
钱鹤
伍冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011575150.7A priority Critical patent/CN112598124B/zh
Publication of CN112598124A publication Critical patent/CN112598124A/zh
Priority to US17/560,801 priority patent/US20220207338A1/en
Application granted granted Critical
Publication of CN112598124B publication Critical patent/CN112598124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)
  • Logic Circuits (AREA)

Abstract

一种神经元模拟电路及神经网络装置。该神经元模拟电路包括运算放大器、第一电阻性器件和第二电阻性器件，该运算放大器包括第一输入端、第二输入端和输出端，该第一电阻性器件连接在该运算放大器的第一输入端或第二输入端与该运算放大器的输出端之间；该第二电阻性器件连接在该运算放大器的输出端和该神经元模拟电路的输出端之间；该第二电阻性器件包括阈值开关型忆阻器，该阈值开关型忆阻器的第一端与该神经元模拟电路的输出端电连接；该第一电阻性器件和该第二电阻性器件中至少之一包括动态忆阻器。该神经元模拟电路具有较强的仿生能力。

Description

神经元模拟电路及神经网络装置
技术领域
本公开的实施例涉及一种神经元模拟电路及神经网络装置。
背景技术
当前信息爆炸的时代，计算单元和存储单元分离的冯诺依曼计算架构由于需要在计算单元和存储单元之间来回搬运数据，在进行大数据运算的时候，数据读取速度和运算速度的不匹配造成的“存储墙”问题日益严重。受生物神经网络启发，计算单元和存储单元融合的类脑计算被认为是解决“存储墙”问题的最有效途径之一。
生物神经网络和当前的人工计算系统除了信息处理架构上的不同之外，底层的计算单元也具有本质的不同。生物神经网络中的基本计算单元，神经元和突触包含了非常丰富的离子动态过程。而当先人工信息系统的基石，晶体管的工作机制则仅仅是依靠电子(空穴)的输运。引入具有新物理机制的新原理器件能够丰富人工计算系统的信息处理机制，赋予人工信息处理模块更加丰富的动态过程，进而构建出能够和生物神经网络信息处理能力相匹敌的更加高效智能的人工计算系统。
发明内容
本公开至少一实施例提供一种神经元模拟电路，包括运算放大器、第一电阻性器件和第二电阻性器件。所述运算放大器包括第一输入端、第二输入端和输出端，所述第一电阻性器件连接在所述运算放大器的第一输入端或第二输入端与所述运算放大器的输出端之间；所述第二电阻性器件连接在所述运算放大器的输出端和所述神经元模拟电路的输出端之间；所述第二电阻性器件包括阈值开关型忆阻器，所述阈值开关型忆阻器的第一端与所述神经元模拟电路的输出端电连接；所述第一电阻性器件和所述第二电阻性器件中至少之一包括动态忆阻器。
在一些示例中，所述第一电阻性器件包括所述动态忆阻器，所述动态忆阻器的第一端与所述运算放大器的第一输入端或第二输入端电连接，所述动态忆阻器的第二端与所述运算放大器的输出端电连接。
在一些示例中，所述神经元模拟电路还包括第一电阻，所述第一电阻连接在所述神经元模拟电路的输出端和第一电压端之间。
在一些示例中，所述第二电阻性器件包括所述动态忆阻器，所述动态忆阻器与所述阈值开关型忆阻器串联或并联。
在一些示例中，在所述动态忆阻器与所述阈值开关型忆阻器串联的情形，所述动态忆阻器的第一端与所述运算放大器的输出端电连接，所述动态忆阻器的第二端与所述阈值开关性忆阻器的第二端电连接。
在一些示例中，在所述动态忆阻器与所述阈值开关型忆阻器并联的情形，所述动态忆阻器的第一端与所述阈值开关型忆阻器的第一端电连接；所述动态忆阻器的第二端与所述阈值开关型忆阻器的第二端电连接，并与所述运算放大器的输出端电连接。
在一些示例中，所述第一电阻性器件包括第二电阻，所述第二电阻的一端与所述运算放大器的第一输入端或第二输入端电连接，另一端与所述运算放大器的输出端电连接。
在一些示例中，所述第一电阻性器件包括第一动态忆阻器，所述第一动态忆阻器的第一端与所述运算放大器的第一输入端或第二输入端电连接，所述第一动态忆阻器的第二端与所述运算放大器的输出端电连接；所述第二电阻性器件包括第二动态忆阻器，所述第二动态忆阻器与所述阈值开关型忆阻器串联或并联。
本公开至少一实施例还提供一种神经网络装置，包括至少一个神经元单元，所述至少一个神经元单元包括以上任一实施例提供的神经元模拟电路。
在一些示例中，所述神经网络装置还包括突触阵列模拟电路，所述突触阵列模拟电路的输出信号被提供至所述至少一个神经元单元的运算放大器的第一输入端或第二输入端。
在一些实例中，所述突触阵列模拟电路包括由多个非挥发型忆阻器组成的阵列。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1A为一种生物神经元单元的示意图；
图1B为一个神经元的信息处理模型的示意图；
图2A-2C为动态忆阻器的特性曲线示意图；
图3为阈值开关型忆阻器的特性曲线示意图；
图4为本公开一实施例提供的神经元模拟电路的示意图；
图5A为本公开一实施例提供的神经元模拟电路的具体实现示例的电路图；
图5B-5D示出了图5A所示神经元模拟电路的特性曲线；
图6A为本公开另一实施例提供的神经元模拟电路的具体实现示例的电路图；
图6B-6D示出了图6A所示神经元模拟电路的特性曲线；
图7A-7B为本公开又一些实施例提供的神经元模拟电路的电路图；
图8为本公开一实施例提供的神经网络装置的示意图；以及
图9为非挥发型忆阻器的特性曲线示意图。
具体实施方式
为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
人的大脑主要依靠神经元和在神经元之间进行信息传递的突触来实现信息的传递和处理。神经元是大脑神经系统处理信息的基本单元，其可以用于接收、整合、过滤、存储和传递信息等，从而使人的各种机能活动有规律地进行，以适应内外环境的变化。
神经元是神经网络的基本组成单元，其可以对信息进行传递、过滤和整合等。图1A示出了一种生物神经元单元。如图1A所示，神经元包括细胞体、树突和轴突，细胞体具有联络和整合输入信息并传出信息的作用；树突的作用是接受其他神经元轴突传来的冲动并传给细胞体；轴突的作用是接受外来刺激，再由细胞体传出。轴突除分出侧枝外，其末端形成树枝样的神经末梢。
神经元的轴突末梢经过多次分支，最后每一小支的末端膨大呈杯状或球状，叫做突触小体。这些突触小体可以与其它神经元的细胞体或树突相接触，形成突触。这种突触是由突触前膜、突触间隙和突触后膜三部分构成。
当神经元接收刺激时，神经元传出的信号通过轴突传导到突触小体，突触前膜对钙离子的通透性增加，使轴突末梢中的囊泡产生变化从而释放神经递质，该神经递质通过突触间隙进入到另一个神经元的树突中，树突上的受体能够接受神经递质从而改变细胞体的离子的通透性，使细胞膜内外离子的浓度产生变化，进而使细胞体内外的电位产生变化。由此，信息就由一个神经元传输到另一个神经元中。在信息传递过程中，一些轴突在轴突末梢可以形成多个分支，来自轴突主支上的电位动作可以在各个分支上同时继续传递，最终到达不同的目标神经元，从而轴突可以实现多个神经元之间的通信。另一方面，在神经网络结构上，不同神经元的轴突末梢的分支可以到达同一个神经元的树突并形成大量的突触，来源不同的突触所释放的神经递质都可以对同一个神经元的细胞体的膜电位的变化产生作用，由此，神经元可以对来源不同的输入信息进行整合。再一方面，在神经元中，突触中神经递质的释放和细胞体的膜电位的变化是连续的，当膜电位高于一定阈值时，输入信息则由轴突传递出去；当膜电位小于该阈值时，则输入信息无法被传递出去，由此，神经元实现过滤信息的功能。
神经元是一个多输入单输出的信息处理单元，它对信息的处理是非线性的，根据神经元的功能和特性，其可以被抽象为一个简单的数学模型。图1B示出了一个神经元的信息处理模型。如图1B所示，x0，x1，x2，…，xn是来自前多个神经元的轴突传输的信号，w0，w1，w2，…，wn是突触01的权重参数，x0，x1，x2，…，xn经过突触01后得到神经元的输入信号P0，P1，P2，…，Pn，该输入信号进入树突02；然后，树突02和细胞体03对输入信号进行处理，并得到输出信号Y，输出信号Y最终被传输到轴突04，轴突04可以将输出信号Y继续传输给其他的神经元。
当一个神经元接收来自其他神经元的信息时，树突02具有阈值函数的功能，其功能可以被表示为公式(1)：
Figure BDA0002863438810000051
当输入信号的值大于阈值β，channel(通道)的值为1，从而树突02中的电压门控离子通道打开，输入信号可以被传输到细胞体03中；当输入信号的值小于阈值β，channel的值为0，从而树突02中的电压门控离子通道关闭，输入信号在树突02的传输过程中衰减，从而无法传输到细胞体03中。当细胞体03接收到来自树突02传递的输入信号后，其膜电位按时间连续逐渐变化，当膜电位的变化超出一定阈值时，细胞体03产生突变上升的脉冲信号，该脉冲信号即为神经元的输出信号，接着，这个脉冲信号沿轴突传递到其他的神经元中，从而完成神经元的信息传递。
生物神经网络中的神经元具有非常丰富的动态过程和非常强大的时空信息处理能力，而当前人工神经网络中的神经元电路主要采用晶体管和电容等电子器件实现，其功能也只是实现人工神经网络中的非线性激活函数功能。这就使得人工神经网络缺少类似生物神经系统中那样丰富的离子动态过程和强大的时空信息处理能力。当前的人工神经网络在处理相对简单的时空任务时就需要非常复杂的网络结构和消耗大量的硬件资源。构建具有高效处理时空任务能力的人工神经网络是类脑计算的重要发展方向之一。
本公开至少一实施例提供一种神经元模拟电路，包括运算放大器、第一电阻性器件和第二电阻性器件，该运算放大器包括第一输入端、第二输入端和输出端，该第一电阻性器件连接在该运算放大器的第一输入端或第二输入端与该运算放大器的输出端之间；该第二电阻性器件连接在该运算放大器的输出端和该神经元模拟电路的输出端之间；该第二电阻性器件包括阈值开关型忆阻器，该阈值开关型忆阻器的第一端与该神经元模拟电路的输出端电连接；该第一电阻性器件和该第二电阻性器件中至少之一包括动态忆阻器。
本公开至少一实施例提供的神经元模拟电路，利用动态忆阻器和阈值开关型忆阻器构建神经元模拟电路，可以在人工神经元模块中引入丰富的时序动态过程，为搭建具有时空任务处理能力的高效人工神经网络提供了关键计算模块，并且提高人工神经网络的仿生能力。
动态忆阻器是一种在电压或电流脉冲激励下电阻不断降低、而在激励移除后电阻随时间近似指数关系增加(恢复)的器件。例如，该电阻恢复的时间为微秒到毫秒量级。动态忆阻器能够响应于不同的激励信号(如电压信号或电流信号)而具有丰富的电阻行为，从而可以在人工神经元电路中引入丰富的时序动态过程。
图2A-2C示出了动态忆阻器的几种特性曲线，图中分别示出了动态忆阻器响应于不同脉冲宽度以及不同占空比的电压激励的电阻变化曲线。如图2A-2C所示，当电压信号的占空较大，也即一个周期内有效电压的时间宽度较大，在一个电压信号的周期内，电阻来不及恢复到初始值，因此电阻的衰减随着时间周期具有累加效应。如图2B所示，当周期均匀时，动态忆阻器的电阻呈阶梯状下降。例如，该动态忆阻器的电阻的初始值为10M-100G欧，衰减后的低阻大于50K欧。
阈值开关型忆阻器是一种能够在外加电压作用下在高阻态(High ResistanceState,HRS)和低阻态(Low Resistance State,LRS)之间切换的器件。图3示出了阈值开关型忆阻器的特性曲线，如图3所示，当阈值开关型忆阻器的两端施加的电压差高于其阈值电压Vth时，器件从高阻态置位(SET)转为低阻态；而处于低阻态的器件，当其两端电压低于保持电压Vh时，器件复位(RESET)转为高阻状态。例如，该高阻态的的阻值HRS为该低阻态的阻值LRS的一百倍以上，例如为一千倍以上。例如，该高阻值HRS为100K欧-10M(兆)欧，例如为500000欧；例如，该低阻值LRS为1000欧-3000欧，例如为2000欧。例如，阈值开关型忆阻器包括基于金属原子的导电细丝型器件以及Mott器件等。
图4为本公开至少一实施例提供的神经元模拟电路的示意图。如图4所示，该神经元模拟电路30包括运算放大器20、第一电阻性器件21和第二电阻性器件22。该运算放大器20包括第一输入端IN1、第二输入端IN2和输出端OUT1，该第一电阻性器件21连接在该运算放大器的第一输入端IN1或第二输入端IN2与该运算放大器的输出端OUT1之间。例如，该第一输入端IN1和第二输入端IN2其中之一为同相输入端，另一端为反相输入端。例如，该第一输入端IN1和第二输入端IN2其中之一与该第一电阻性器件21电连接，并配置为接收激励信号(例如电流信号)，另一端连接到固定电压端，例如接地。如图4所示，该运算放大器的同相输入端与第一电阻性器件的一端电连接并配置为接收激励信号Iin，反相输入端接地。
例如，该运算放大器的第一输入端IN1和第二输入端IN2具有“虚短”和“虚短”的特性，因此可以将该第一输入端IN1接收的电流Iin通过跨接的第一电阻性器件21转换为电压信号在该输出端OUT1输出。
如图4所示，该第二电阻性器件22连接在该运算放大器21的输出端OUT1和该神经元模拟电路的输出端OUT2之间。该第二电阻性器件22包括阈值开关型忆阻器，该阈值开关型忆阻器的第一端与该神经元模拟电路的输出端OUT2电连接，也即该输出端OUT2的电压受该阈值开关型忆阻器的控制。当该阈值开关型忆阻器两端的电压差达到该阈值开关型忆阻器的阈值电压Vth时，该阈值开关型忆阻器由高阻态转为低阻态，从而控制该输出端OUT2发放脉冲，例如该脉冲可以通过突触网络转换为下一层神经元模拟电路的输入激励信号，因此可以使得该神经元模拟电路具有更好的仿生性能。
该第一电阻性器件21和该第二电阻性器件22中至少之一包括动态忆阻器。由于动态忆阻器能够响应于不同的激励信号波形而具有不同的电阻行为，因此在神经元模拟电路中引入该动态忆阻器可以使得该神经元模拟电路能够处理具有复杂时间信息的输入信号，从而更加仿生。
以下将结合具体的电路对本公开实施例提供的神经元模拟电路进行说明，然而这并不对本公开实施例造成限制。
图5A示出了本公开一实施例提供的神经元模拟电路的一种具体实现示例的电路图。如图5A所示，该第一电阻性器件21包括动态忆阻器Rm，该动态忆阻器Rm的第一端与该运算放大器的第一输入端IN1电连接并配置为接收输入的激励信号，例如输入电流Iin，该动态忆阻器Rm的第二端与该运算放大器的输出端OUT1电连接。
该第二电阻性器件22包括阈值开关型忆阻器Rt，该阈值开关型忆阻器Rt的一端与该运算放大器的输出端OUT1电连接，另一端与该神经元模拟电路的输出端OUT2电连接。
如图5A所示，该神经元模拟电路30还包括第一电阻R1，该第一电阻R1连接在该神经元模拟电路的输出端OUT2和第一电压端V1之间。该第一电压端V1用于提供固定的低电压，例如该第一电压端V1为接地端，也即提供的电压为0V。在另一些示例中，该第一电压端V1提供的电压还可以是1V、2V、3V等，本公开实施例对此不作限制。例如，该运算放大器20不与该第一电阻性器件21连接的输入端(也即图5A中的第二输入端IN2)也可以连接到该第一电压端。
例如，该第一电阻R1的阻值小于1000欧，例如为300-500欧或500-800欧。
根据运算放大器的特性，该运算放大器的输出端OUT1的电压和该神经元模拟电路的输出端OUT2的电压可以分别根据如下关系式(2)和(3)得到：
VOUT1＝Iin*Rm (2)
VOUT2＝R1*VOUT1/(Rt+R1) (3)
其中，Rm、Rt和R1分别为该动态忆阻器Rm、阈值开关型忆阻器Rt以及第一电阻R1的阻值。
图5B-5D分别示出了图5A所示神经元模拟电路中动态忆阻器Rm的阻值以及输出端OUT1、OUT2的电压响应于输入电流Iin的变化的曲线示意图，其中，图5B示出了输入电流Iin依次增大的情形，图5B中用箭头示出了各信号的变化方向；图5C示出了输入电流Iin周期性均匀变化的情形，图5D示出了输入电流Iin周期不均匀的情形。
图5B示出了一个时间周期内的五种电流大小的情形，箭头示出了电流的变化方向。如图5B所示，当输入电流Iin流过动态忆阻器Rm，动态忆阻器Rm的阻值Rm非线性减小，相应地，运算放大器的输出端OUT1的电压VOUT1非线性减小。随着输入电流Iin的增大，Rm的降低的幅度增大，VOUT1的下降的幅度减小。
在周期开始时，该运算放大器的输出端OUT1的电压VOUT1较大，若此时该阈值开关型忆阻器Rt两端的电压差(也即VOUT1-VOUT2)达到其阈值电压Vth，该阈值开关型忆阻器Rt会由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2的电压VOUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲发放结束；若初始时VOUT1的下降的幅度较小，导致脉冲发放结束时阈值开关型忆阻器Rt两端的电压差仍然高于其阈值电压Vth，则会使得输出端OUT2继续发放脉冲，如此反复震荡，直至运算放大器的输出端OUT1的电压VOUT1降低至无法触发该阈值开关型忆阻器Rt由高阻态转为低阻态，脉冲发放完毕。
该神经元模拟电路在周期初即发放脉冲，可以用于模拟神经元对新鲜的刺激比较敏感而响应较强，对比较熟悉的或旧的刺激不产生或产生很弱的响应的特性。
例如，在相同时间内发放的脉冲个数越多，也即脉冲发放频率越高，表示该神经元模拟电路的响应越强烈，或者对激励信号越敏感。通过对该神经元模拟电路设置不同的激励条件或者器件特性还可以进一步控制该神经元模拟电路在一个周期或多个周期内发放脉冲的次数或者脉冲发放频率，从而使得人工神经网络具有更好的仿生性能，例如可以模仿不同敏感特性的神经元。
如图5C所示，输入电流Iin为周期性均匀的信号，在一个周期内，响应于该输入电流Iin的有效数据，动态忆阻器Rm的阻值Rm非线性减小，运算放大器的输出端OUT1的电压VOUT1也相应地非线性降低；由于电流信号的占空比较大，动态忆阻器Rm的阻值Rm在一个周期内来不及恢复到初始值，随着时间周期的进行，动态忆阻器Rm的阻值Rm的衰减具有累加效应；相应地，电压VOUT1的衰减也随着时间周期累加。如图5C所示，动态忆阻器Rm的阻值Rm和输出端OUT1的电压VOUT1均随着时间周期呈阶梯状下降。
在初始时，该运算放大器的输出端OUT1的电压VOUT1较大，此时该阈值开关型忆阻器Rt两端的电压差(也即VOUT1-VOUT2)达到其阈值电压Vth，导致该阈值开关型忆阻器Rt由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2的电压VOUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲结束；如此反复震荡，直至运算放大器的输出端OUT1的电压VOUT1降低至无法触发该阈值开关型忆阻器Rt由高阻态转为低阻态，脉冲发放完毕。当第一个周期结束时，由于动态忆阻器Rm的阻值Rm不能恢复到初始值，无法触发该阈值开关型忆阻器Rt由高阻态转为低阻态，脉冲发放完毕。这里模仿的是多脉冲发放的情形。
如图5D所示，输入电流Iin为不均匀的周期信号，第一个周期的时长以及占空比较后续周期高。在每个周期内，响应于该输入电流Iin的有效数据，动态忆阻器Rm的阻值Rm非线性减小，运算放大器的输出端OUT1的电压VOUT1也相应地非线性降低；由于电流信号的占空比较大，动态忆阻器Rm的阻值Rm在一个周期内来不及恢复到初始值，随着时间周期的进行，动态忆阻器Rm的阻值Rm的衰减具有累加效应；相应地，电压VOUT1的衰减也随着时间周期累加。如图5C所示，动态忆阻器Rm的阻值Rm和输出端OUT1的电压VOUT1均随着时间周期呈阶梯状下降。
在初始时，该运算放大器的输出端OUT1的电压VOUT1较大，此时该阈值开关型忆阻器Rt两端的电压差(也即VOUT1-VOUT2)达到其阈值电压Vth，导致该阈值开关型忆阻器Rt由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲结束；由于该第一周期的输入电流Iin的脉冲宽度较宽，该动态忆阻器Rm的阻值Rm响应于该脉冲单调下降；相较于图5C所示实施例，在相同的时间长度下，一个较宽的电流脉冲对于该动态忆阻器Rm的作用效果较两个较窄的脉冲的共同作用效果强，因此当第一个脉冲发放结束后，动态忆阻器Rm的阻值Rm可能由于衰减得过低，无法再次触发该阈值开关型忆阻器Rt由高阻态转为低阻态，脉冲发放完毕。这里模仿的是单一脉冲发放的情形。
在另一些示例中，第二电阻性器件22可以包括动态忆阻器Rm，该动态忆阻器Rm与该阈值开关型忆阻器Rt串联或并联。
图6A示出了本公开另一实施例提供的神经元模拟电路的一种具体实现示例的电路图。如图6A所示，第二电阻性器件22包括动态忆阻器Rm，动态忆阻器Rm的第一端与该运算放大器的输出端OUT1电连接，阈值开关型忆阻器Rt的两端分别与动态忆阻器Rm的第二端以及输出端OUT2电连接，也即该动态忆阻器Rm与该阈值开关型忆阻器Rt串联。
如图6A所示，该第一电阻性器件21包括第二电阻R2，该第二电阻R2的一端与该运算放大器的第一输入端IN1电连接并配置为接收输入电流Iin，该第二电阻R2的另一端与该运算放大器的输出端OUT1电连接。例如，该第二电阻R2的阻值为100K-10M(兆)欧。
根据运算放大器的特性，该运算放大器的输出端OUT1的电压和该神经元模拟电路的输出端OUT2的电压可以分别根据如下关系式(2)和(3)得到：
VOUT1＝Iin*R2 (2)
VOUT2＝R1*VOUT1/(Rm+Rt+R1) (3)
其中，Rm、Rt、R1和R2分别为该动态忆阻器Rm、阈值开关型忆阻器Rt、第一电阻R1以及第二电阻R2的阻值。
图6B-6D分别示出了图6A所示神经元模拟电路中动态忆阻器Rm以及输出端OUT1、OUT2的电压响应于输入电流Iin的变化的曲线示意图，其中，图6B示出了输入电流Iin依次增大的情形，图6B中用箭头示出了各信号的变化方向；图6C示出了输入电流Iin周期性均匀变化的情形，图6D示出了输入电流Iin周期不均匀的情形。
图6B示出了一个时间周期内的五种电流大小的情形，箭头示出了电流的变化方向。如图6B所示，由于第二电阻R2为恒定电阻，运算放大器的输出端OUT1的电压VOUT1随着输入电流Iin的不变而保持不变，动态忆阻器Rm的阻值Rm响应于输入电流非线性减小，神经元模拟电路的输出端OUT2的电压VOUT2相应非线性增大。随着输入电流Iin的增大，Rm的降低的幅度增大，VOUT1线性增加，从而在一个周期中可以允许发放的脉冲数目增多。
当动态忆阻器Rm的阻值Rm降低到一定程度，该阈值开关型忆阻器Rt两端的电压差达到其阈值电压Vth，该阈值开关型忆阻器Rt就会由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2的电压VOUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲结束；若动态忆阻器Rm的阻值Rm下降的幅度较大，导致脉冲发放结束时阈值开关型忆阻器Rt两端的电压差仍然高于其阈值电压Vth，则会使得输出端OUT2继续发放脉冲，如此反复震荡，直至该周期结束，脉冲发放完毕。
该神经元模拟电路可以用于模仿神经元对一件事情的学习能力的实现，当对该神经元模拟电路持续地施加相同的信号，该神经元模拟电路就会对响应于该信号进行积分，当积分达到阈值电流就会发放脉冲。
例如，在相同时间内发放的脉冲个数越多，表示该神经元模拟电路的响应越强烈，或者对激励信号越敏感。通过对该神经元模拟电路设置不同的激励条件或者器件特性还可以进一步控制该神经元模拟电路在一个周期或多个周期内发放脉冲的次数或者脉冲发放频率，从而使得人工神经网络具有更好的仿生性能，例如可以模仿不同敏感特性的神经元。
如图6C所示，输入电流Iin为周期性均匀的信号，在一个周期内，响应于该输入电流Iin的有效数据，动态忆阻器Rm的阻值Rm非线性减小，神经元模拟电路的输出端OUT2的电压VOUT2相应非线性增大；由于电流信号的占空比较大，动态忆阻器Rm的阻值Rm在一个周期内来不及恢复到初始值，随着时间周期的进行，动态忆阻器Rm的阻值Rm的衰减具有累加效应；电压VOUT2的增加也随着时间周期累加。如图6C所示，动态忆阻器Rm的阻值Rm随着时间周期呈阶梯状下降，该神经元模拟电路的输出端OUT2的电压VOUT2随着时间周期呈阶梯状上升。
在经过若干时间周期的累积后，动态忆阻器Rm的阻值Rm降低到一定程度，使得该阈值开关型忆阻器Rt两端的电压差达到其阈值电压Vth，该阈值开关型忆阻器Rt由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2的电压VOUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲结束。这里模仿的是单一脉冲发放的情形。
如图6D所示，输入电流Iin为不均匀的周期信号，第一个周期时长以及占空比较后续周期高。在一个周期内，响应于该输入电流Iin的有效数据，动态忆阻器Rm的阻值Rm非线性减小；由于电流信号的占空比较大，动态忆阻器Rm的阻值Rm在一个周期内来不及恢复到初始值，随着时间周期的进行，动态忆阻器Rm的阻值Rm的衰减具有累加效应；电压VOUT2的增加也随着时间周期累加。如图6D所示，动态忆阻器Rm的阻值Rm随着时间周期呈阶梯状下降，该神经元模拟电路的输出端OUT2的电压VOUT2随着时间周期呈阶梯状上升。
在经过若干时间周期的累积后，动态忆阻器Rm的阻值Rm降低到一定程度，使得该阈值开关型忆阻器Rt两端的电压差达到其阈值电压Vth，该阈值开关型忆阻器Rt由高阻态转变为低阻态，该神经元模拟电路的输出端OUT2的电压VOUT2迅速增大而发放脉冲；之后由于输出端OUT2的电压VOUT2增大导致该阈值开关型忆阻器Rt两端的电压差低于其保持电压Vh，器件复位转为高阻状态，从而使得输出端OUT2的电压迅速降低，也即脉冲结束；由于该第一周期的输入电流Iin的脉冲宽度较宽，该动态忆阻器Rm的阻值Rm响应于该脉冲单调下降；相较于图6C所示实施例，在相同的时间长度下，一个较宽的电流脉冲对于该动态忆阻器Rm的作用效果较两个较窄的脉冲的共同作用效果强，因此当第一个脉冲发放后，该动态忆阻器Rm的阻值Rm可能处于一个较低的值，从而使得该神经元模拟电路的输出端OUT2的电压VOUT2可以反复震荡从而发放多次脉冲。这里模仿的是多脉冲发放的情形。
图7A和图7B分别示出了本公开又一些实施例提供的神经元模拟电路的示意图。
图7A所示实施例与图6A所示实施例的不同之处在于，该第二电阻性器件22中的动态忆阻器Rm和阈值开关型忆阻器Rt为并联连接，该动态忆阻器Rm的两端分别与该阈值开关型忆阻器Rt的两端电连接。
图7B所示实施例与图5A所示实施例的不同之处在于，除了该第一电阻性器件21包括第一动态忆阻器Rm1之外，该第二电阻性器件22还包括第二动态忆阻器Rm2，该第二动态忆阻器Rm2与该阈值开关型忆阻器Rt串联或并联，图7B中示出了二者直接并联的情形。
例如，可以根据电路需要，在神经元模拟电路中引入多个动态忆阻器从而可以模拟更丰富的动态时序过程，提高神经元模拟电路的仿生性能。
本公开至少一实施例还提供一种神经网络装置，包括至少一个神经元单元，该神经元单元包括以上任一实施例提供的神经元模拟电路30。
图8示出了本公开实施例提供的一种神经网络装置50。如图8所示，该神经网络装置50包括逐一连接的多层神经元层，图8示出了相邻的第N层神经元层和第N+1层神经元层，并用箭头示出了信号传输的方向。每层神经元层包括多个神经元单元40，每个神经元单元40包括以上任一实施例提供的神经元模拟电路30。
如图8所示，该神经网络装置50还包括突触阵列模拟电路410，该第N层神经元层和第N+1层神经元层通过该突触阵列模拟电路410连接。该突触阵列模拟电路的输出信号被提供至下一层神经元模拟电路30的运算放大器的第一输入端或第二输入端作为输入激励信号。当上一层神经元层响应于激励信号输出脉冲驱动信号，该驱动脉冲信号通过突触阵列模拟电路410形成加权电流Iin作为下一层神经元层的激励信号输入至下一层神经元层，从而完成神经元的信息传递。
如图8所示，该突触阵列模拟电路410包括由多个电阻性器件411组成的阵列，电阻性器件411用于模拟突触，例如可以通过调整各电阻性器件411的阻值来调节突触的权重参数。
例如，该电阻性器件411可以是恒定电阻，也可以是忆阻器。例如，该电阻性器件411为非挥发型忆阻器。
非挥发型忆阻器是一种电导状态可以随着外加激励信号在开态电导Gon和关态电导Goff之间连续变化的阻变器件。图9示出了非挥发型忆阻器的特性曲线。如图9所示，非挥发型忆阻器具有较好的数据保持性，能够在外加电压激励信号作用下近似连续地改变电导状态，并且在无外界电信号激励下能够保持电导状态。例如，非挥发型忆阻器包括导电细丝型器件和界面态器件。
通过使用非挥发型忆阻器形成的突触阵列模拟电路410来模拟生物神经网络中神经元之间的连接强度，并基于此构建人工神经网络，相比基于传统晶体管的神经网络硬件系统具有明显的功耗和速度优势。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种神经元模拟电路，包括运算放大器、第一电阻性器件和第二电阻性器件，
其中，所述运算放大器包括第一输入端、第二输入端和输出端，所述第一电阻性器件连接在所述运算放大器的第一输入端或第二输入端与所述运算放大器的输出端之间；
所述第二电阻性器件连接在所述运算放大器的输出端和所述神经元模拟电路的输出端之间；
所述第二电阻性器件包括阈值开关型忆阻器，所述阈值开关型忆阻器的第一端与所述神经元模拟电路的输出端电连接；
所述第一电阻性器件和所述第二电阻性器件中至少之一包括动态忆阻器。
2.如权利要求1所述的神经元模拟电路，其中，所述第一电阻性器件包括所述动态忆阻器，
所述动态忆阻器的第一端与所述运算放大器的第一输入端或第二输入端电连接，所述动态忆阻器的第二端与所述运算放大器的输出端电连接。
3.如权利要求1或2所述的神经元模拟电路，还包括第一电阻，所述第一电阻连接在所述神经元模拟电路的输出端和第一电压端之间。
4.如权利要求1所述的神经元模拟电路，其中，所述第二电阻性器件包括所述动态忆阻器，
所述动态忆阻器与所述阈值开关型忆阻器串联或并联。
5.如权利要求4所述的神经元模拟电路，其中，在所述动态忆阻器与所述阈值开关型忆阻器串联的情形，所述动态忆阻器的第一端与所述运算放大器的输出端电连接，所述动态忆阻器的第二端与所述阈值开关性忆阻器的第二端电连接。
6.如权利要求4所述的神经元模拟电路，其中，在所述动态忆阻器与所述阈值开关型忆阻器并联的情形，所述动态忆阻器的第一端与所述阈值开关型忆阻器的第一端电连接；
所述动态忆阻器的第二端与所述阈值开关型忆阻器的第二端电连接，并与所述运算放大器的输出端电连接。
7.如权利要求4-6任一所述的神经元模拟电路，其中，所述第一电阻性器件包括第二电阻，所述第二电阻的一端与所述运算放大器的第一输入端或第二输入端电连接，另一端与所述运算放大器的输出端电连接。
8.如权利要求1所述的神经元模拟电路，其中，所述第一电阻性器件包括第一动态忆阻器，所述第一动态忆阻器的第一端与所述运算放大器的第一输入端或第二输入端电连接，所述第一动态忆阻器的第二端与所述运算放大器的输出端电连接；
所述第二电阻性器件包括第二动态忆阻器，所述第二动态忆阻器与所述阈值开关型忆阻器串联或并联。
9.一种神经网络装置，包括至少一个神经元单元，
其中，所述至少一个神经元单元包括如权利要求1-8任一所述的神经元模拟电路。
10.如权利要求9所述的神经网络装置，还包括突触阵列模拟电路，
其中，所述突触阵列模拟电路的输出信号被提供至所述至少一个神经元单元的运算放大器的第一输入端或第二输入端；
所述突触阵列模拟电路包括由多个非挥发型忆阻器组成的阵列。
CN202011575150.7A 2020-12-28 2020-12-28 神经元模拟电路及神经网络装置 Active CN112598124B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011575150.7A CN112598124B (zh) 2020-12-28 2020-12-28 神经元模拟电路及神经网络装置
US17/560,801 US20220207338A1 (en) 2020-12-28 2021-12-23 Neuron simulation circuit and neural network apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011575150.7A CN112598124B (zh) 2020-12-28 2020-12-28 神经元模拟电路及神经网络装置

Publications (2)

Publication Number Publication Date
CN112598124A true CN112598124A (zh) 2021-04-02
CN112598124B CN112598124B (zh) 2022-12-20

Family

ID=75203590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011575150.7A Active CN112598124B (zh) 2020-12-28 2020-12-28 神经元模拟电路及神经网络装置

Country Status (2)

Country Link
US (1) US20220207338A1 (zh)
CN (1) CN112598124B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906880A (zh) * 2021-04-08 2021-06-04 华中科技大学 一种基于忆阻器的自适应神经元电路
CN113311702A (zh) * 2021-05-06 2021-08-27 清华大学 一种基于Master-Slave神经元的人工神经网络控制器
WO2023155910A1 (zh) * 2022-02-20 2023-08-24 北京大学 神经元单元电路、脉冲神经网络及智能物联网芯片

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2583463B (en) * 2019-04-16 2023-04-26 Univ Oxford Brookes Memristor-based circuit and method
CN115600665B (zh) * 2022-11-16 2024-04-09 湖南师范大学 一种基于vta-da神经元的忆阻自修复神经网络电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083810A1 (en) * 2015-09-23 2017-03-23 Politecnico Di Milano Electronic Neuromorphic System, Synaptic Circuit With Resistive Switching Memory And Method Of Performing Spike-Timing Dependent Plasticity
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN107742153A (zh) * 2017-10-20 2018-02-27 华中科技大学 一种基于忆阻器的具有稳态可塑性的神经元电路
CN111585562A (zh) * 2020-04-29 2020-08-25 西安交通大学 一种神经形态输出的电容型触觉传感单元
CN111680792A (zh) * 2020-06-18 2020-09-18 中国人民解放军国防科技大学 激活函数电路、忆阻神经网络及忆阻神经网络的控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170083810A1 (en) * 2015-09-23 2017-03-23 Politecnico Di Milano Electronic Neuromorphic System, Synaptic Circuit With Resistive Switching Memory And Method Of Performing Spike-Timing Dependent Plasticity
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN107742153A (zh) * 2017-10-20 2018-02-27 华中科技大学 一种基于忆阻器的具有稳态可塑性的神经元电路
CN111585562A (zh) * 2020-04-29 2020-08-25 西安交通大学 一种神经形态输出的电容型触觉传感单元
CN111680792A (zh) * 2020-06-18 2020-09-18 中国人民解放军国防科技大学 激活函数电路、忆阻神经网络及忆阻神经网络的控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINYI LI，ET AL.: "Power-efficient neural network with artificial dendrites", 《NATURE NANOTECHNOLOGY》 *
朱航涛等: "基于神经元晶体管和忆阻器的Hopfield神经网络及其在联想记忆中的应用", 《西南大学学报(自然科学版)》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112906880A (zh) * 2021-04-08 2021-06-04 华中科技大学 一种基于忆阻器的自适应神经元电路
CN112906880B (zh) * 2021-04-08 2022-04-26 华中科技大学 一种基于忆阻器的自适应神经元电路
CN113311702A (zh) * 2021-05-06 2021-08-27 清华大学 一种基于Master-Slave神经元的人工神经网络控制器
CN113311702B (zh) * 2021-05-06 2022-06-21 清华大学 一种基于Master-Slave神经元的人工神经网络控制器
WO2023155910A1 (zh) * 2022-02-20 2023-08-24 北京大学 神经元单元电路、脉冲神经网络及智能物联网芯片

Also Published As

Publication number Publication date
CN112598124B (zh) 2022-12-20
US20220207338A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
CN112598124B (zh) 神经元模拟电路及神经网络装置
US11270192B2 (en) Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
CN111967589B (zh) 神经元模拟电路及其驱动方法、神经网络装置
Milo et al. Demonstration of hybrid CMOS/RRAM neural networks with spike time/rate-dependent plasticity
Covi et al. HfO2-based memristors for neuromorphic applications
CN103580668B (zh) 一种基于忆阻器的联想记忆电路
Suri et al. Bio-inspired stochastic computing using binary CBRAM synapses
US20100299297A1 (en) System for electronic learning synapse with spike-timing dependent plasticity using phase change memory
US10318861B2 (en) Artificial neuron apparatus
US9208434B2 (en) Neuromorphic system exploiting the intrinsic characteristics of memory cells
US8463723B2 (en) Electronic synapse
US8832011B2 (en) Electronic synapses from stochastic binary memory devices
CN107122828B (zh) 电路结构及其驱动方法、神经网络
Milo et al. Attractor networks and associative memories with STDP learning in RRAM synapses
KR102365324B1 (ko) 뉴런 하나당 다수의 시냅스들을 갖는 3차원 뉴로모픽 소자
KR102434119B1 (ko) 시냅스 스트링 어레이를 이용한 신경망
US20190279078A1 (en) Artificial neuron synaptic weights implemented with variable dissolvable conductive paths
Zhu et al. Harnessing adaptive dynamics in neuro-memristive nanowire networks for transfer learning
Garbin et al. Probabilistic neuromorphic system using binary phase-change memory (PCM) synapses: Detailed power consumption analysis
Milo et al. Resistive switching synapses for unsupervised learning in feed-forward and recurrent neural networks
CN112906880B (zh) 一种基于忆阻器的自适应神经元电路
Sayyaparaju et al. A bi-memristor synapse with spike-timing-dependent plasticity for on-chip learning in memristive neuromorphic systems
Naous et al. Stochastic synaptic plasticity with memristor crossbar arrays
Huang et al. Adaptive SRM neuron based on NbOx memristive device for neuromorphic computing
Berdan et al. Temporal processing with volatile memristors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant