CN113469334A - 一种忆阻递归神经网络电路 - Google Patents

一种忆阻递归神经网络电路 Download PDF

Info

Publication number
CN113469334A
CN113469334A CN202110725231.9A CN202110725231A CN113469334A CN 113469334 A CN113469334 A CN 113469334A CN 202110725231 A CN202110725231 A CN 202110725231A CN 113469334 A CN113469334 A CN 113469334A
Authority
CN
China
Prior art keywords
circuit
memristor
memristive
inverter
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110725231.9A
Other languages
English (en)
Other versions
CN113469334B (zh
Inventor
万葛亮
王雷敏
万雄波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202110725231.9A priority Critical patent/CN113469334B/zh
Publication of CN113469334A publication Critical patent/CN113469334A/zh
Application granted granted Critical
Publication of CN113469334B publication Critical patent/CN113469334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Abstract

本发明提供了一种忆阻递归神经网络电路,包括神经元模块电路、反向求和电路和忆阻交叉突触阵列电路:忆阻交叉突触阵列电路中的突触前神经元通过忆阻器将电流信号传递给神经元模块电路的输入端,神经元模块电路的输出端将电流信号传递给反向求和模块电路,反向求和电路将电流信号反向传播到忆阻交叉突触阵列电路的负极。将忆阻神经网络与联想记忆相结合,同时基于忆阻实现人工神经网络的全连接层,可以极大地减小网络面积和功耗。

Description

一种忆阻递归神经网络电路
技术领域
本发明涉及人工智能领域技术领域,具体涉及一种忆阻递归神经网络电路。
背景技术
近年来,利用人工神经网络(ANNs)来模拟人脑的神经行为已经做了大量的研究。一方面,许多大型神经形态架构的实现方案已经被提出,目的是为了寻找与人脑计算能力相当的模型结构。另一方面,许多研究也在尝试制造具有类似人脑特征和行为的智能体。
其中,离散型Hopfield神经网络是一种全反馈网络的结构。全反馈网络的特点是任意神经元的输入都是由其他神经元的输出通过一个连接权重连接过来,相应地,任意神经元的输出也都通过一个连接权重反馈到其他神经元作为输入,每个神经元均有一个固定的阈值,要使神经网络工作需要有一个初始的输入,网络的初始输入就是在t=0时网络的状态,表示为X(0)=(x1(0),x2(0),....,xn(0)),X(0)是在解决不同的问题前事先计算出来的,当X(0)输入到网络中之后,整个神经网络就进入到了动态演化过程。当整个神经网络稳定之后,所有的神经元输出都将为恒定值,不再发生改变。对于离散型Hopfield神经网络,神经元一般没有自反馈通路,神经元之间的连接权重是对称的,当阻值一旦固定整个网络的功能也就相应地固定了,由于不能灵活地编程突触的权重,这种电路在应用上会受到很大的限制。
采用电子线路去模拟真实生物中的神经网络,由于所提出的这个神经网络和连续变化的时间有关,人们把这种网络称之为连续型Hopfield神经网络。这种新的网络可以模拟生物神经网络的一些特性,通过电容的积分模拟生物神经元具有的延迟效应,这种系统的状态随时间演变的过程可以用微分方程表示。由于连续型Hopfield神经网络全部采用的是电子线路进行搭建,所以这个网络中所有神经元都具有在时间上连续和同步变化的功能。连续型Hopfield神经网络相比于离散型Hopfield神经网络在信息处理的实时性和并行性等方面更接近于生物神经网络的工作机理。连续型Hopfield神经网络中用运算放大器表示神经元,任意两个神经元之间的连接权重用物理器件电阻表示。
在连续型Hopfiled神经网络中,任意两个神经元之间的连接权用电阻的倒数电导表示,电阻起到了神经网络中突触的作用。每个运算放大器有两个输出,一个是正相输出,另外一个是反相输出。与运算放大器正相输出相连的电阻表示兴奋性突触,与运算放大器反相输出相连的电阻表示抑制性突触。每一个神经元的输入端都有一个外界输入偏置电流,它相当于神经元的阈值。
上述两种Hopfield神经网络中突触使用的是电阻,当阻值一旦固定整个网络的功能也就相应地固定了,由于不能灵活地编程突触的权重,这种电路在应用上会受到很大的限制,同时离散型Hopfield神经网络和连续型Hopfield神经网络中使用了大量的非线性器件,整个电路的功耗会很高同时不利于电路的集成化。因此设计联想记忆神经网络电路,是硬件实现联想记忆神经网络的利器。
发明内容
本发明解决的一个主要问题是传统的Hopfield神经网络中突触使用的是电阻,当阻值一旦固定整个网络的功能也就相应地固定了,由于不能灵活地编程突触的权重,神经网络电路在应用上受到很大的限制,同时离散型Hopfield神经网络和连续型Hopfield神经网络中使用了大量的非线性器件,整个电路的功耗会很高、也不利于电路的集成化。
本发明提供一种忆阻递归神经网络电路,包括神经元模块电路、反向求和电路和忆阻交叉突触阵列电路:
所述忆阻交叉突触阵列电路中的突触前神经元通过忆阻器将电流信号传递给所述神经元模块电路的输入端,所述神经元模块电路的输出端将所述电流信号传递给所述反向求和模块电路,所述反向求和电路将所述电流信号反向传播到所述忆阻交叉突触阵列电路的负极。
进一步地,所述神经元模块电路包括输入端、第一逆变器、第一电容、第二电容、第二逆变器、第三逆变器、第四逆变器、第五逆变器、第六逆变器、第七逆变器和输出端;
所述输入端与所述第一逆变器的源极连接;
所述第一逆变器与所述第一电容的串联;
所述第一电容还与所述第二电容串联,所述第一电容的阴极接地;
所述第二电容的阴极与所述输出端连接;
所述第二逆变器和所述第三逆变器串联用于反馈信号,所述第二逆变器的源极与所述第一电容的阳极相连;
所述第三逆变器的栅极分别与所述第一逆变器的漏极和所述神经元模块电路的输出端相连,所述第三逆变器的漏极接地;
所述第二电容的阳极还分别连接第四逆变器的栅极和第五逆变器的栅极;
所述第二电容的阴极还分别连接第六逆变器的栅极和第七逆变器的栅极;
所述第五逆变器的源极和所述第六逆变器的栅极连接。
进一步地,所述忆阻器为经过改进后的忆阻器:
在忆阻器模型中增加了与电流相关的一个窗函数f(x);
在增加窗函数后的忆阻器模型中增加两个表示阈值电压的参数,设置为正阈值电压和负阈值电压;
在增加参数后的忆阻器模型中增加一个常数,用于表示忆阻器的遗忘效应。
进一步地,所述忆阻器的数学模型为:
Figure BDA0003137459010000031
其中,M为忆阻器的忆阻值,vth为忆阻器的正向电压阈值,-vth为忆阻器的负向电压阈值,Ap为正电压的作用系数,α为外加电压小于阈值时候的阻值变化系数,β为外加电压大于阈值电压时阻值的变化系数,θ是阶跃函数,δ代表遗忘速率。
进一步地,所述忆阻交叉突触阵列电路由N乘N个忆阻器采用交叉阵列的方式组成,在纵向方向:
所述忆阻交叉突触阵列电路的底端连接到电路底端一个忆阻器的正极,用于接入输入的电流信号;
所述忆阻交叉突触阵列电路的顶端连接到电路顶端一个忆阻器的正极,用于接入神经元模块电路输出电压的反馈信号;在横向方向:
所述神经元模块电路输出电压的反馈信号经过电阻与求和电路后将所述求和电路输出的电压接入到忆阻器负极。
进一步地,所述忆阻器的阻值通过局部竞争算法调整。
进一步地,所述反向求和电路将电流信号反向传播到所述忆阻交叉突触阵列电路的负极包括:所述电流信号依次经过所述反向求和电路中的定值电阻和求和加法器,反向传播到忆阻交叉突触阵列电路的负极。
进一步地,所述电流信号经过所述定值电阻前还要经过运算放大器,所述运算放大器用于激活输出神经元的分段函数,所述分段函数为:
Figure BDA0003137459010000041
其中,Vin为输入端,Vout为输出端,Vc和Ve分别为运算放大器的正供电电压和负供电电压。
进一步地,直接反馈到所述忆阻交叉阵列电路的所述神经元模块电路的输出的电流信号为兴奋型输入;
经过所述反向求和电路再反馈到忆阻交叉阵列的所述神经元模块电路的输入的电流信号为抑制型输入。
进一步地,调节所述忆阻器的电导值,用于实现忆阻递归神经网络的正负权重和零权重。
本发明采用可编程的忆阻器来作为神经网络的突触结构,通过施加在忆阻器两端的电压来改变忆阻器的电导值,从而实现对网络突触权重的调节,以此在一定程度上使网络电路在应用上更具灵活性。考虑到忆阻交叉阵列结构中有可能出现的漏电流现象,本发明采用外围电路解决该问题,在漏积分触发神经元电路基础上做进一步改进,将漏积分触发神经元电路中的运算放大器用场效应管代替,进一步简化电路结构,增大电路可集成化程度,减少能耗,并使得神经元电路不仅具有利用输入电流控制兴奋脉冲频率的生物模拟特性,而且能够实现动态的改变触发阈值的大小与调节脉冲宽度的大小。由于使用忆阻交叉阵列进行网络的存储和计算,可以实现网络的大规模并行计算,忆阻权重阵列的可编程性也使得电路的应用在一定程度上更加广泛,灵活性更高。
附图说明
本发明构成说明书的一部分附图描述了本发明的实施例,并且连同说明书一起用于解释本发明的原理。
图1为本发明实施例中忆阻器设计封装流程图设计示意图。
图2为本发明实施例中忆阻器两端电压与电流的关系图。
图3为本发明实施例中改进后的忆阻器的电压电流关系图。
图4为本发明实施例中忆阻交叉阵列突触电路的示意图。
图5为本发明实施例中神经元模块电路结构示意图。
图6为本发明实施例中反向求和电路结构示意图。
图7为本发明实施例中完整的忆阻Hopfield神经网络电路结构示意图。
图8为本发明实施例中忆阻交叉阵列权重示意图。
图9为本发明实施例中迭代20次后忆阻Hopfield神经网络电路膜电压的变化。
图10为本发明实施例中经过迭代过后忆阻Hopfield神经网络电路的Vout的输入大小。
图11为本发明实施例中的联想记忆效果图。
具体实施方式
下面将结合附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为授权说明书的一部分。
在这里示出和讨论的所有示例中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它示例可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
实施例一,神经元模块电路的设计。如图5所示,为本实施例的神经元模块电路结构示意图,该部分主要由MOSFSET管(下述称为场效应管)和电容构成,场效应管Q1作为输入,场效应管Q2和场效应管Q3串联作为反馈信号,场效应管Q4和Q5的栅极两端连接,同理,场效应管Q6和Q7的栅极两端连接,Q5的源极和Q6的栅极两端连接。基本原理是当突触前神经元通过突触将信号传递给Vin时,电容C1和C2作为膜电容将电流进行积分,直到C1的正极电压Vc1超过逆变器Q4和Q5的阈值电压Vth1。然后,逆变器Q6和Q7输出一个高电压,此时神经元输出一个动作电位,然后,MOS管Q3开启,Q1关闭。同时,因为电容C2的两端电压不能突然改变,则电容C1的电压Vc1便迅速上升,然后电容C1和C2通过Q2和Q3开始放电,同时Q2端子的电压Vreset进行控制放电速率。当电容C1的电压Vc1下降到低于另一个阈值电压Vth2时,动作电位消失,神经元恢复到被触发前的静态状态。
本实施例将漏积分触发神经元电路中的运算放大器用场效应管代替,进一步简化电路结构,增大电路可集成化程度,减少能耗,并使得神经元电路不仅具有利用输入电流控制兴奋脉冲频率的生物模拟特性,而且能够实现动态的改变触发阈值的大小与调节脉冲宽度的大小。
如图1所示,使用改进的忆阻器作为突触的神经网络。由于传统的连续型Hopfield神经网络电路采用电阻来作为突触,其阻值一旦确定,便无法灵活改变其突触权重,网络的功能就会变得单一,应用场景有限而难以推广。为了克服电路在应用方面的限制问题,本发明采用可编程的忆阻器来作为神经网络的突触结构,通过施加在忆阻器两端的电压来改变忆阻器的电导值,从而实现对网络突触权重的调节,以此在一定程度上使网络电路在应用上更具灵活性。
忆阻器的种类繁多,但并不是每一种忆阻都适合作为神经网络的突触结构。为了利用忆阻功耗低、快速读写、易集成等特点,将忆阻作为神经网络突触,不同的忆阻模型有不同的特性,比如HP忆阻器,它的数学表达式如下:
Figure BDA0003137459010000071
Figure BDA0003137459010000072
其中,M是忆阻器的忆阻值,Ron是最小忆阻值,Roff是最大忆阻值,w是参杂区厚度,D是忆阻器的厚度,uV是氧空穴的漂移速率。k为边界的移动速度与流经电流之间的比例因子。对于确定的忆阻器模型,uV、Ron和D是固定的值,所以k的值为一个常数。除了这些通用的参数,还有一个状态参数x,它的范围在0到1之间。
忆阻器改进的具体步骤:首先将忆阻器模型中增加与电流相关的一个窗函数f(x),再在忆阻器模型中增加两个表示阈值电压的参数,设置为两个阈值电压(正、负阈值电压),最后将忆阻器模型中增加一个常数,用于表示忆阻器的遗忘效应。
图1中a是忆阻器的物理模型,图1中b是忆阻器的数学模型,图1中c是依据数学模型建立PSPICE的电路网格文件,图1中d是根据图1中c的网格文件封装成一个电路元器件,基于该封装好的忆阻器就可以对其进行功能验证。
本发明最终提出了如下的改进的忆阻器模型:
Figure BDA0003137459010000081
vth表示的是忆阻器的正向电压阈值,-vth表示的是忆阻器的负向电压阈值,Ap和An分别表示正负电压的作用系数,α是外加电压小于阈值的时候阻值变化系数,通常Ap是远大于α的,同理,β是外加电压大于阈值电压时阻值的变化系数。一般采用RH和RL表示两个忆阻器边界电阻,θ是阶跃函数用来确保的忆阻器的两边的范围,只能在RL和RH之间改变。δ代表遗忘速率,它的大小是由设备材料,忆阻器所处的状态,以及环境等因素决定。
当施加一个正弦电压在此改进的忆阻器的两端,其伏安特性曲线如图2所示,电压与电流最终关系将呈现一个“8”字型。
从图3中可以看出,当正电压或负电压的绝对值小于阈值时,忆阻器阻值不会改变。然后当电压大于阈值时,忆阻值减少。当电压小于阈值时,忆阻值增加。同理,在负电压的施加下,当施加的负电压的绝对值大于阈值电压时,忆阻器阻值增加得快。
如图4所示是忆阻交叉阵列突触电路的示意图。在考虑神经突触电路设计时,要全面考虑电路的连接能力,并且突触要具有较高的可塑性,其连接效率要可根据神经元脉冲进行相应改变。分析忆阻器自身特性与神经突触之间类似的特征,要充分利用忆阻器自身纳米级和非易失的特性,同时在设计突触电路时考虑神经网络学习规则的实现。前人的研究中为了实现相关的学习算法需要对时间进行严格的控制,所以需要添加时间检测单元,从而增加了很多额外的处理电路并且没有考虑神经元之间脉冲的逆向影响,不能真实地模拟生物突触的特性。因此本发明拟设计更合适的忆阻器突触电路结构,使得在使用单个忆阻器神经突触的情况下可以由突触前后神经元产生的脉冲来塑造自身连接强度完成学习过程,使其更加符合生物神经系统的真实情况。
其基本原理是:在纵向方向,阵列底端接入输入信号连接到忆阻器的正极,阵列顶端接入的是神经元电路输出电压的反馈信号,最终也是连接到忆阻器的正极方向。在横向方向上,连接到忆阻器负极的电压是:神经元电路输出电压的反馈信号经过电阻与求和电路输出的电压。
神经网络电路采用离线训练方法来存储信息。为了完成模式存储,本发明设计的思想采用局部竞争算法来调整忆阻器的阻值,局部竞争算法它是使用特征向量字典将输入信号的矢量转换成相对少量的输出系数,局部竞争算法可以用在图像压缩或者目标检测以及路径优化中。
根据局部竞争算法学习规则,在软件中首先计算忆阻器的忆导值,再利用忆阻交叉阵列将最终结果写入相应忆阻。在忆阻交叉阵列中,可以通过施加在忆阻器两端电压的时间或脉冲数来调节忆阻器的电导值。在调整过程中,考虑到忆阻交叉阵列结构中有可能出现的漏电流现象,有必要设计一定的调整规则,在本发明中采用外围电路进行实现。漏电流问题是指当调整忆阻交叉阵列中的某个忆阻器电导值时,由于该忆阻周围器件的状态,电流可能会流向阵列中除需要调整的忆阻器外的其他忆阻器。
如图6所示,为反向求和电路的结构示意图。整个架构设计中,该部分的连接架构如下:忆阻突触阵列的输出信号传输到UiA的Vin中,然后Vin大于神经元的阈值电压时,电压信号就会从每个神经元UiA的输出端Vout反向连接忆阻突触阵列的正极,同时Vout的反馈信号再经过定值电阻R并经过求和加法器Usum,将所有的反馈信号反向传播到忆阻阵列的负极,最终构成反向求和电路。
如图7所示,为本实施例中的忆阻Hopfield神经网络电路整体示意图。该电路主要包含忆阻交叉突触阵列电路、神经元模块电路和反相求和模块三部分。其中,对于具有n个神经元的Hopfield神经网络,忆阻阵列大小为N*N,M11、M12、...、Mnn均表示忆阻器,其中N为忆阻器阵列的大小,M表示的是该神经网络电路中忆阻器突触。Neuron 1、Neuron 2、...、Neuron n表示的是1~n个输入神经元模块。
OPE、电容C以及电阻Ri组成输出神经元。假设神经元i中的内部膜电位为ui,Ci和Ri分别表示神经元的细胞膜输入电容和传递电阻,Vi为输出电压,Ii为外部偏置电流,OP1,OP i…OP n是1~n个运算放大器,这部分主要起积分作用。Ri的大小分影响外部偏置输入和神经元自身抑制输入的衰减比例。而Ui A模块也是运算放大器,主要起激活函数的作用。
由于神经元以分段函数作为激活函数来近似Sigmoid函数,本发明采用的激活函数形式如下:
Figure BDA0003137459010000101
其中,Vc和Ve分别为运算放大器Ui A的正供电电压和负供电电压。忆阻Hopfield神经网络电路的初始输入分别为V1、Vi、…、Vn。该电路网络中的根据各神经元初始状态自动进行迭代变化。同时对于网络中的每个神经元,根据运算放大器的积分电路可得:
Figure BDA0003137459010000102
其中,其中i和j表示的是电路中突触阵列的中每行和每列中忆阻器突触神经元的个数,Gij表示忆阻交叉阵列中Mij忆阻器的忆导值,Gf表示电阻的电导值。神经元输出直接反馈到忆阻交叉阵列的为兴奋型输入,经过反相求和模块再反馈到忆阻交叉阵列的为抑制型输入,由基尔霍夫定律可得:
Figure BDA0003137459010000111
其中wij表示神经网络的突触权重,wij可以由Gij和Gf来进行表示。它们的关系式为:wij=Gij·Gf。由于Gf为固定电导值,所以可以通过调节忆阻器的电导值来实现网络的正负权重和零权重。由于使用忆阻交叉阵列进行网络的存储和计算,可以实现网络的大规模并行计算,忆阻权重阵列的可编程性也使得电路的应用在一定程度上更加广泛,灵活性更高。
实施后的效果:首先在应用前述实施例的网络系统里面存储20个二值图像信息,然后经过在软件中的在线学习之后,可以得到忆阻的忆导值,也就是该系统中权重wij的大小值。
如图8所示,为忆阻交叉阵列权重示意图,从应用忆阻Hopfield神经网络电路的神经网络系统的输入端输入参数就可以进行实现二值图像联想记忆。当输入端的输入参数为:V=[11011;11011;11011;11011;11011],其中1在二值图像中表示黑色,0,在二值图像中表示白色,0.5在二值图像中表示灰色。
经过仿真迭代之后,神经元的膜电压:
U=[0.23,0.24,0.23,0.23,0.23,1.16,1.17,-3.13,1.16,1.17,0.47,0.47,0.47,0.47,0.47,0.47,0.47,0.47,0.47,0.47]。
神经元的输出电压为:
vout=[0,0,0,0,0,1,1,0,1,1,0,0,0,0,0,0,0,0,0,0]。
图9为忆阻Hopfield神经网络联想记忆的膜电压的输出曲线轨迹,其直观展示了经忆阻Hopfield神经网络电路处理后的输出变化。
图10为经过迭代过后忆阻Hopfield神经网络电路的Vout的输入大小。
图11为忆阻Hopfield神经网络联想记忆电路的效果图,输入相关参数经过训练之后,可以联想出预先存储的图像信息。
与现有技术比较,本发明的优点是:
1、借助忆阻器自身阻值可变的特性,解决了基于电阻实现的神经网络电路连接权不可调整的缺陷,具有更好的灵活性。
2、以忆阻实现的神经网络电路由于权值可调整,所提出的规则可以实现忆阻Hopfield神经网络电路的离线训练,忆阻突触权重可以随着应用的不同而改变,从而使得网络可以适用于不同应用场景。
3、实验采用了对二值图像进行学习和联想。通过网络电路对不同字母图像的联想记忆结果可知,忆阻Hopfield神经网络电路可以实现出已知学习图像的效果图。
4、由于忆阻器是纳米级材料,因此将传统神经网络电路中的电阻替换为忆阻将使得神经网络电路更加利于集成化。
以上所述仅为本发明的较佳实施例而已,并不用于限制本发明,凡在本发明的精神和原则范围之内所作的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

Claims (10)

1.一种忆阻递归神经网络电路,其特征在于,包括神经元模块电路、反向求和电路和忆阻交叉突触阵列电路:
所述忆阻交叉突触阵列电路中的突触前神经元通过忆阻器将电流信号传递给所述神经元模块电路的输入端,所述神经元模块电路的输出端将所述电流信号传递给所述反向求和模块电路,所述反向求和电路将所述电流信号反向传播到所述忆阻交叉突触阵列电路的负极。
2.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述神经元模块电路包括输入端、第一逆变器、第一电容、第二电容、第二逆变器、第三逆变器、第四逆变器、第五逆变器、第六逆变器、第七逆变器和输出端;
所述输入端与所述第一逆变器的源极连接;
所述第一逆变器与所述第一电容的串联;
所述第一电容还与所述第二电容串联,所述第一电容的阴极接地;
所述第二电容的阴极与所述输出端连接;
所述第二逆变器和所述第三逆变器串联用于反馈信号,所述第二逆变器的源极与所述第一电容的阳极相连;
所述第三逆变器的栅极分别与所述第一逆变器的漏极和所述神经元模块电路的输出端相连,所述第三逆变器的漏极接地;
所述第二电容的阳极还分别连接第四逆变器的栅极和第五逆变器的栅极;
所述第二电容的阴极还分别连接第六逆变器的栅极和第七逆变器的栅极;
所述第五逆变器的源极和所述第六逆变器的栅极连接。
3.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述忆阻器为经过改进后的忆阻器,具体模型为:
在忆阻器模型中增加了与电流相关的一个窗函数f(x);
在增加窗函数后的忆阻器模型中增加两个表示阈值电压的参数,设置为正阈值电压和负阈值电压;
在增加参数后的忆阻器模型中增加一个常数,用于表示忆阻器的遗忘效应。
4.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述忆阻器的数学模型为:
Figure FDA0003137459000000021
其中,M为忆阻器的忆阻值,vth为忆阻器的正向电压阈值,-vth为忆阻器的负向电压阈值,Ap为正电压的作用系数,α为外加电压小于阈值时候的阻值变化系数,β为外加电压大于阈值电压时阻值的变化系数,θ是阶跃函数,δ代表遗忘速率。
5.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述忆阻交叉突触阵列电路由N乘N个忆阻器采用交叉阵列的方式组成,在纵向方向:
所述忆阻交叉突触阵列电路的底端连接到电路底端一个忆阻器的正极,用于接入输入的电流信号;
所述忆阻交叉突触阵列电路的顶端连接到电路顶端一个忆阻器的正极,用于接入神经元模块电路输出电压的反馈信号;
在横向方向:
所述神经元模块电路输出电压的反馈信号经过电阻与求和电路后将所述求和电路输出的电压接入到忆阻器负极。
6.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述忆阻器的阻值通过局部竞争算法调整。
7.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,所述反向求和电路将所述电流信号反向传播到所述忆阻交叉突触阵列电路的负极包括:所述电流信号依次经过所述反向求和电路中的定值电阻和求和加法器,反向传播到忆阻交叉突触阵列电路的负极。
8.如权利要求7所述的一种忆阻递归神经网络电路,其特征在于,所述电流信号经过所述定值电阻前还要经过运算放大器,所述运算放大器用于激活输出神经元的分段函数,所述分段函数为:
Figure FDA0003137459000000031
其中,Vin为输入端,Vout为输出端,Vc和Ve分别为运算放大器的正供电电压和负供电电压。
9.如权利要求7所述的一种忆阻递归神经网络电路,其特征在于,直接反馈到所述忆阻交叉阵列电路的所述神经元模块电路的输出的电流信号为兴奋型输入;
经过所述反向求和电路再反馈到忆阻交叉阵列的所述神经元模块电路的输入的电流信号为抑制型输入。
10.如权利要求1所述的一种忆阻递归神经网络电路,其特征在于,调节所述忆阻器的电导值,用于实现忆阻递归神经网络的正负权重和零权重。
CN202110725231.9A 2021-06-29 2021-06-29 一种忆阻递归神经网络电路 Active CN113469334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110725231.9A CN113469334B (zh) 2021-06-29 2021-06-29 一种忆阻递归神经网络电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110725231.9A CN113469334B (zh) 2021-06-29 2021-06-29 一种忆阻递归神经网络电路

Publications (2)

Publication Number Publication Date
CN113469334A true CN113469334A (zh) 2021-10-01
CN113469334B CN113469334B (zh) 2022-09-13

Family

ID=77873847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110725231.9A Active CN113469334B (zh) 2021-06-29 2021-06-29 一种忆阻递归神经网络电路

Country Status (1)

Country Link
CN (1) CN113469334B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004343A (zh) * 2021-12-31 2022-02-01 之江实验室 基于忆阻器脉冲耦合神经网络的最短路径获取方法及装置
CN114169511A (zh) * 2021-11-11 2022-03-11 山东科技大学 一种基于实物忆阻器的联想记忆电路及方法
CN114219082A (zh) * 2021-12-29 2022-03-22 杭州电子科技大学 一种改进的忆阻神经元电路
CN115456157A (zh) * 2022-11-11 2022-12-09 华中科技大学 一种基于忆阻器的多感觉互联想记忆网络电路
CN115600665A (zh) * 2022-11-16 2023-01-13 湖南师范大学(Cn) 一种基于vta-da神经元的忆阻自修复神经网络电路
CN115630693A (zh) * 2022-12-21 2023-01-20 湖南师范大学 一种基于Elman神经网络学习算法的忆阻器自学习电路
CN116523011A (zh) * 2023-07-03 2023-08-01 中国人民解放军国防科技大学 基于忆阻的二值神经网络层电路及二值神经网络训练方法
CN116523013A (zh) * 2023-07-04 2023-08-01 清华大学 人工神经元及人工神经网络
CN114219082B (zh) * 2021-12-29 2024-05-14 杭州电子科技大学 一种改进的忆阻神经元电路

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815636A (zh) * 2016-12-30 2017-06-09 华中科技大学 一种基于忆阻器的神经元电路
CN108804786A (zh) * 2018-05-26 2018-11-13 江西理工大学 一种联想神经网络突触权值可塑的忆阻模型电路设计方法
US20190244088A1 (en) * 2018-02-08 2019-08-08 University Of Massachusetts Artificial Neurons Using Diffusive Memristor
CN110163364A (zh) * 2019-04-28 2019-08-23 南京邮电大学 一种基于忆阻桥突触的神经网络单元电路
US20200134416A1 (en) * 2018-10-25 2020-04-30 Electronic Warfare Associates, Inc. System-on-a-chip incorporating artificial neural network and general-purpose processor circuitry

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106815636A (zh) * 2016-12-30 2017-06-09 华中科技大学 一种基于忆阻器的神经元电路
US20190244088A1 (en) * 2018-02-08 2019-08-08 University Of Massachusetts Artificial Neurons Using Diffusive Memristor
CN108804786A (zh) * 2018-05-26 2018-11-13 江西理工大学 一种联想神经网络突触权值可塑的忆阻模型电路设计方法
US20200134416A1 (en) * 2018-10-25 2020-04-30 Electronic Warfare Associates, Inc. System-on-a-chip incorporating artificial neural network and general-purpose processor circuitry
CN110163364A (zh) * 2019-04-28 2019-08-23 南京邮电大学 一种基于忆阻桥突触的神经网络单元电路

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114169511B (zh) * 2021-11-11 2024-03-19 山东科技大学 一种基于实物忆阻器的联想记忆电路及方法
CN114169511A (zh) * 2021-11-11 2022-03-11 山东科技大学 一种基于实物忆阻器的联想记忆电路及方法
CN114219082A (zh) * 2021-12-29 2022-03-22 杭州电子科技大学 一种改进的忆阻神经元电路
CN114219082B (zh) * 2021-12-29 2024-05-14 杭州电子科技大学 一种改进的忆阻神经元电路
CN114004343B (zh) * 2021-12-31 2022-10-14 之江实验室 基于忆阻器脉冲耦合神经网络的最短路径获取方法及装置
CN114004343A (zh) * 2021-12-31 2022-02-01 之江实验室 基于忆阻器脉冲耦合神经网络的最短路径获取方法及装置
CN115456157A (zh) * 2022-11-11 2022-12-09 华中科技大学 一种基于忆阻器的多感觉互联想记忆网络电路
CN115600665A (zh) * 2022-11-16 2023-01-13 湖南师范大学(Cn) 一种基于vta-da神经元的忆阻自修复神经网络电路
CN115600665B (zh) * 2022-11-16 2024-04-09 湖南师范大学 一种基于vta-da神经元的忆阻自修复神经网络电路
CN115630693A (zh) * 2022-12-21 2023-01-20 湖南师范大学 一种基于Elman神经网络学习算法的忆阻器自学习电路
CN116523011B (zh) * 2023-07-03 2023-09-15 中国人民解放军国防科技大学 基于忆阻的二值神经网络层电路及二值神经网络训练方法
CN116523011A (zh) * 2023-07-03 2023-08-01 中国人民解放军国防科技大学 基于忆阻的二值神经网络层电路及二值神经网络训练方法
CN116523013B (zh) * 2023-07-04 2023-10-20 清华大学 人工神经元及人工神经网络
CN116523013A (zh) * 2023-07-04 2023-08-01 清华大学 人工神经元及人工神经网络

Also Published As

Publication number Publication date
CN113469334B (zh) 2022-09-13

Similar Documents

Publication Publication Date Title
CN113469334B (zh) 一种忆阻递归神经网络电路
US10708522B2 (en) Image sensor with analog sample and hold circuit control for analog neural networks
Krestinskaya et al. Analog backpropagation learning circuits for memristive crossbar neural networks
US10740671B2 (en) Convolutional neural networks using resistive processing unit array
US9779355B1 (en) Back propagation gates and storage capacitor for neural networks
JP6477924B2 (ja) メモリスタ神経形態学的回路及びメモリスタ神経形態学的回路をトレーニングするための方法
Adhikari et al. Memristor bridge synapse-based neural network and its learning
US10373051B2 (en) Resistive processing unit
Adhikari et al. A circuit-based learning architecture for multilayer neural networks with memristor bridge synapses
US11087204B2 (en) Resistive processing unit with multiple weight readers
Dou et al. Memristor-based LSTM network for text classification
WO2019116128A1 (en) Counter based resistive processing unit for programmable and reconfigurable artificial-neural-networks
US20200356847A1 (en) Transistorless all-memristor neuromorphic circuits for in-memory computing
Yan et al. Training memristor-based multilayer neuromorphic networks with SGD, momentum and adaptive learning rates
US20210374546A1 (en) Row-by-row convolutional neural network mapping for analog artificial intelligence network training
Zoppo et al. Equilibrium propagation for memristor-based recurrent neural networks
Yan et al. Challenges of memristor based neuromorphic computing system
Saxena et al. Energy-efficient CMOS memristive synapses for mixed-signal neuromorphic system-on-a-chip
Sun et al. Low-consumption neuromorphic memristor architecture based on convolutional neural networks
US11195089B2 (en) Multi-terminal cross-point synaptic device using nanocrystal dot structures
Thomas et al. Analysis of parasitic effects in a crossbar in CMOS based neuromorphic system for pattern recognition using memristive synapses
Amirsoleimani et al. Brain-inspired pattern classification with memristive neural network using the Hodgkin-Huxley neuron
Huang et al. Adaptive SRM neuron based on NbOx memristive device for neuromorphic computing
Li et al. Design of Analog CMOS-Memristive Neural Network Circuits for Pattern Recognition
US11250316B2 (en) Aggregate adjustments in a cross bar neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant