CN117648960B - 基于忆阻器的脉冲神经网络在线训练电路及方法 - Google Patents
基于忆阻器的脉冲神经网络在线训练电路及方法 Download PDFInfo
- Publication number
- CN117648960B CN117648960B CN202410122895.XA CN202410122895A CN117648960B CN 117648960 B CN117648960 B CN 117648960B CN 202410122895 A CN202410122895 A CN 202410122895A CN 117648960 B CN117648960 B CN 117648960B
- Authority
- CN
- China
- Prior art keywords
- signals
- memristor
- training
- output
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 110
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000002569 neuron Anatomy 0.000 claims abstract description 116
- 230000000946 synaptic effect Effects 0.000 claims abstract description 52
- 230000004044 response Effects 0.000 claims description 73
- 210000000225 synapse Anatomy 0.000 claims description 54
- 230000004913 activation Effects 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 11
- 230000003213 activating effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 11
- 230000005284 excitation Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000008054 signal transmission Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于忆阻器的脉冲神经网络在线训练电路及方法。该在线训练电路包括:包括M个前神经元模块、忆阻器突触阵列模块和N个后神经元模块,前向识别模式利用了神经元模块在不同输入下产生输出识别信号的时间差异,以最先产生输出识别信号的后神经元模块对应的类别作为识别结果。反向传播模式中,将由调整信号、训练信号和控制信号决定的电压同时施加到忆阻器阵列模块,使得整个忆阻器突触阵列模块的权值调整同步进行,实现了对权值调整的并行操作,因此大大提高了训练速度,为实现高性能的基于忆阻器的脉冲神经网络提供了重要支持。
Description
技术领域
本发明涉及人工神经网络和微纳电子器件领域,特别是涉及一种基于忆阻器的脉冲神经网络在线训练电路及方法。
背景技术
随着摩尔定律逐渐逼近其物理极限,传统计算系统越来越难以满足人工智能对大数据的高性能处理需求。基于忆阻器的神经网络借助忆阻器阵列低功耗、低时延和高并行度等优势,是后摩尔时代中最有希望突破传统计算架构瓶颈的方法之一。
现有的忆阻器神经网络可分为两种方案,一种是将预先训练好的权值映射到忆阻器阵列中,忆阻器神经网络仅进行识别过程,且突触权值在整个识别过程中保持不变,被称为非在线训练;另一种是识别过程中根据结果进行再训练,突触权值会根据训练结果不断变化,被称为在线训练。非在线训练结构简单,技术相对成熟,然而受限于预先的训练结果,难以满足复杂多变的应用环境,因此在线训练是更符合现实需求的解决方案。
然而,上述传统的在线训练神经网络,存在训练速度慢的技术问题。
发明内容
基于此,有必要提供一种基于忆阻器的脉冲神经网络在线训练电路及一种神经网络在线训练方法。
为了实现上述目的,本发明实施例采用以下技术方案:
一方面,提供一种基于忆阻器的脉冲神经网络在线训练电路,包括M个前神经元模块、忆阻器突触阵列模块和N个后神经元模块;M和N均为不小于2的正整数。
忆阻器突触阵列模块包括N个忆阻器突触子阵列,N个忆阻器突触子阵列分别包括M个忆阻器突触1T1R单元;每一忆阻器突触子阵列的各忆阻器突触1T1R单元的底电极相连,每一忆阻器突触子阵列的各忆阻器突触1T1R单元的控制极相连,各忆阻器突触子阵列中位于同一行的各忆阻器突触1T1R单元的顶电极相连;M个前神经元模块的输出端分别与M行忆阻器突触1T1R单元的顶电极一一对应连接,N个后神经元模块的第一端分别与N个忆阻器突触子阵列的底电极一一对应连接。
在前向识别模式下,M个前神经元模块用于将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号,忆阻器突触阵列模块用于根据M个脉冲信号输出N个激活信号,N个后神经元模块用于根据对应的N个激活信号分别输出N个识别信号;在反向传播模式下,M个前神经元模块用于将接入的目标信号分别输出为时序不同的调整信号,N个后神经元模块用于产生对应的训练信号,忆阻器突触阵列模块用于根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块的权值;忆阻器在电压作用下表现出连续的电导变化特性。
另一方面,还提供一种神经网络在线训练方法,包括步骤:
在前向识别模式下:
M个前神经元模块将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号;
忆阻器突触阵列模块根据M个脉冲信号输出N个激活信号;
N个后神经元模块根据对应的N个激活信号分别输出N个识别信号;
在反向传播模式下:
M个前神经元模块将接入的目标信号分别输出为时序不同的调整信号;
N个后神经元模块产生对应的训练信号;
忆阻器突触阵列模块根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块的权值;忆阻器在电压作用下表现出连续的电导变化特性。
本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
上述基于忆阻器的脉冲神经网络在线训练电路及方法,由于采用的忆阻器在电压作用下呈连续的电导变化特性,这一性质可以用于模拟神经网络的激活函数及其导数。反向传播模式中,在控制信号作用下,通过在忆阻器突触阵列模块的前后端同时施加不同参数的调整信号和训练信号,使得忆阻器突触阵列模块权值的更新可以在整个阵列内并行进行,也即神经网络的反向传播训练过程的大部分计算可以在忆阻器突触阵列内完成,因此大大提高了训练速度,为实现高性能的基于忆阻器的脉冲神经网络提供了重要支持。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中基于忆阻器的脉冲神经网络在线训练电路的结构第一示意图;
图2为一个实施例中基于忆阻器的脉冲神经网络在线训练电路的结构第二示意图;
图3为一个实施例中基于忆阻器的脉冲神经网络在线训练电路的结构第三示意图。
具体实施方式
为了便于理解本申请,下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的实施例。但是,本申请可以以许多不同的形式来实现,并不限于本文所描述的实施例。相反地,提供这些实施例的目的是使本申请的公开内容更加透彻全面。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一响应信号称为第二响应信号,且类似地,可将第二响应信号称为第一响应信号。第一响应信号和第二响应信号两者都是响应信号,但其不是同一响应信号。
可以理解,以下实施例中的“连接”,如果被连接的电路、模块、单元等相互之间具有电信号或数据的传递,则应理解为“电连接”、“通信连接”等。此外,“输入端”、“输出端”等术语并不限定相应的部件仅有一个输入端或输出端,也可以有多个同类输入端或输出端,还可以在一个输入/出端口中集成了多个子输入/出端口,具体可以根据实际使用部件的端口设置确定。
在此使用时,单数形式的“一”、“一个”和“所述/该”也可以包括复数形式,除非上下文清楚指出另外的方式。还应当理解的是,术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在,但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
在研究实现本申请的过程中,发明人发现,如果将神经网络的训练过程在上位机或现场可编程门阵列(FPGA)中完成,然后将训练得到的权值重新映射到忆阻器阵列,这种方法会大大降低在线训练的速度,难以在实际应用中发挥作用。
基于此,本发明提供了一种基于忆阻器的脉冲神经网络在线训练电路及方法,包括M个前神经元模块、忆阻器突触阵列模块和N个后神经元模块,在反向传播模式下,M个前神经元模块用于将接入的目标信号分别输出为时序不同的调整信号,N个后神经元模块用于产生对应的训练信号,忆阻器突触阵列模块用于根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块的权值;忆阻器在电压作用下表现出连续的电导变化特性。由于采用的忆阻器在电压作用下呈连续的电导变化特性,这一性质可以用于模拟神经网络的激活函数及其导数。反向传播模式中,在控制信号作用下,通过在忆阻器突触阵列模块的前后端同时施加不同参数的调整信号和训练信号,使得忆阻器突触阵列模块权值的更新可以在整个阵列内并行进行,也即神经网络的反向传播训练过程的大部分计算可以在忆阻器突触阵列内完成,因此大大提高了训练速度,为实现高性能的基于忆阻器的脉冲神经网络提供了重要支持。
下面将结合本发明实施例图中的附图,对本发明实施方式进行详细说明。
在一个实施例中,如图1所示,本申请实施例提供了一种基于忆阻器的脉冲神经网络在线训练电路,包括M个前神经元模块11、忆阻器突触阵列模块13和N个后神经元模块15;M和N均为不小于2的正整数。
忆阻器突触阵列模块13包括N个忆阻器突触子阵列,N个忆阻器突触子阵列分别包括M个忆阻器突触1T1R单元;每一忆阻器突触子阵列的各忆阻器突触1T1R单元的底电极相连,每一忆阻器突触子阵列的各忆阻器突触1T1R单元的控制极相连,各忆阻器突触子阵列中位于同一行的各忆阻器突触1T1R单元的顶电极相连;M个前神经元模块11的输出端分别与M行忆阻器突触1T1R单元的顶电极一一对应连接,N个后神经元模块15的第一端分别与N个忆阻器突触子阵列的底电极一一对应连接。
在前向识别模式下,M个前神经元模块11用于将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号,忆阻器突触阵列模块13用于根据M个脉冲信号输出N个激活信号,N个后神经元模块15用于根据对应的N个激活信号分别输出N个识别信号;在反向传播模式下,M个前神经元模块11用于将接入的目标信号分别输出为时序不同的调整信号,N个后神经元模块15用于产生对应的训练信号,忆阻器突触阵列模块13用于根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块13的权值;忆阻器在电压作用下表现出连续的电导变化特性。
可以理解,前神经元模块11可以采用时序响应神经元和幅度调制器构建得到,也可以采用时基发生器、比较器和可编程电源构建得到,只要能将输入信号分别调整为时序不同且幅度相同的多个脉冲信号即可。后神经元模块15可以采用多路选择器、时序响应神经元和训练信号单元构建得到,也可以采用微控制器、数字信号处理器和训练信号单元构建得到,只要能在前向识别模式下,根据激活信号输出识别信号,在反向传播模式下,产生对应的训练信号即可。忆阻器突触1T1R单元可以分别包括串联的一个忆阻器和一个NMOS管,忆阻器的底电极端连接所述NMOS管的漏极,忆阻器突触1T1R单元还可以采用忆阻器和PMOS管构建得到,忆阻器的顶电极端连接PMOS管的源极,并对整体电路作适应性调整。
具体的,在前向识别模式下,M个前神经元模块11接收到待识别信号后分别在不同的时刻产生脉冲,输入信号的幅度越大,该前神经元模块11越快产生输出脉冲,且每一个输入信号只会产生一个输出脉冲,并且M个前神经元模块11会调整脉冲至相同幅度,这个幅度低于前神经元模块11的响应阈值,但高于其抑制阈值,这可以使前神经元模块11输出一个幅度较小的脉冲信号,避免过强激励对神经网络中信号传导的干扰,也即M个前神经元模块11输出时序不同幅度相同的M个脉冲信号。忆阻器突触阵列模块13根据M个脉冲信号输出为N个激活信号,N个后神经元模块15根据对应的N个激活信号分别输出N个识别信号,最早产生识别信号的后神经元模块15即为识别结果,在前向识别过程中,将所有控制信号设置为特定值,保证NMOS管开启,实现信号的传递。
前向识别模式利用了神经元模块在不同输入下产生输出识别信号的时间差异,以最先产生输出识别信号的后神经元模块15对应的类别作为识别结果。由于不同待识别信号与每个神经元模块之间的连接强度不同,所以对同一待识别信号,其最先激活的神经元模块对应最强的连接强度,即对应待识别信号的类别。这就实现了基于这些连接强度差异的信号识别。
在反向传播模式下,M个前神经元模块11接收到目标信号后分别在不同的时刻产生脉冲,M个前神经元模块11将脉冲信号偏置设置为第二设定值,当产生响应时输出变为第三设定值,使得神经网络更容易探测到前神经元模块11对目标信号的响应,M个前神经元模块11输出M个调整信号,N个后神经元模块15产生对应的训练信号,在目标对象对应的忆阻器突触子阵列上产生的训练信号为幅度接近于0V的小脉冲,使目标对象对应的忆阻器突触子阵列顶电极的电位高于此忆阻器突触子阵列底电极的电位,其余忆阻器突触子阵列上产生的训练信号为大于第二设定值的脉冲,使得其余忆阻器突触子阵列顶电极的电位低于此忆阻器突触子阵列底电极的电位,根据忆阻器电导的变化规律,目标对象对应的忆阻器突触子阵列的电导会上升,其余忆阻器突触子阵列的电导会下降。
同时,设置控制信号脉冲的幅度且宽度逐渐变宽,直到到达前向过程中后神经元模块15产生脉冲的时刻该控制信号脉冲停止。M个前神经元模块11输出调整信号的时刻不同,作用于忆阻器突触阵列模块13不同行上的电压(由调整信号和训练信号共同决定)持续的时间(由控制信号决定)也不同。输出调整信号时刻与后神经元模块15越接近的前神经模块11对应的突触,在控制信号之下持续更长时间,其权重就可以调整到一个更大的程度;输出调整信号时刻与后神经元模块15越远离的前神经元模块11对应的突触,在控制信号之下持续的时间相对较短,其权重就只能调整到一个相对较小的程度。所以,由于不同前神经元模块11在不同时间产生调整信号输出,其对应的突触在控制信号之下受控的时间也就不同,从而实现了对突触不同程度的调节。由于上述的所有电压(由调整信号、训练信号和控制信号决定)可以同时施加到忆阻器突触阵列模块13中,所以整个忆阻器突触阵列模块13的权值调整同步进行,实现了对权值调整的并行操作。
其中,忆阻器在电压作用下表现出连续的电导变化特性具体如下:首先器件的初始态处于低电导状态,在忆阻器突触1T1R单元的顶电极施加幅度为A1(A1>0),宽度为M1的电脉冲信号,底电极接地。在该电脉冲信号的连续激励下,器件的电导会逐渐上升;然后将忆阻器突触1T1R单元的顶电极接地,底电极施加幅度为A2(A2>0),宽度为M2的电脉冲信号,在信号的连续激励下,器件的电导逐渐降低。类似的,改变激励信号的幅度A1为B1或C1(A1<B1<C1),改A2为B2,C2(A2<B2<C2),器件电导会表现出类似的变化,但电导变化速度会更快。
上述基于忆阻器的脉冲神经网络在线训练电路,由于采用的忆阻器在电压作用下呈连续的电导变化特性,这一性质可以用于模拟神经网络的激活函数及其导数。反向传播模式中,在控制信号作用下,通过在忆阻器突触阵列模块13的前后端同时施加不同参数的调整信号和训练信号,使得忆阻器突触阵列模块13权值的更新可以在整个阵列内并行进行,也即神经网络的反向传播训练过程的大部分计算可以在忆阻器突触阵列内完成,因此大大提高了训练速度,为实现高性能的基于忆阻器的脉冲神经网络提供了重要支持。
在一个实施例中,如图2所示,上述基于忆阻器的脉冲神经网络在线训练电路中,M个前神经元模块11分别包括一个前时序响应神经元111和一个幅度调制器112;M个前时序响应神经元111的输出端分别与M个幅度调制器112的输入端一一对应连接,M个幅度调制器112的输出端分别与M行忆阻器突触1T1R单元的顶电极一一对应连接。
在前向识别模式下,M个前时序响应神经元111用于根据待识别信号在不同时刻产生脉冲,输出M个第一响应信号,M个幅度调制器112用于将M个第一响应信号的幅度均调整为第一设定值,输出M个脉冲信号。在反向传播模式下,M个前时序响应神经元111用于根据目标信号在不同时刻产生脉冲,输出M个第二响应信号,M个幅度调制器112用于将M个第二响应信号偏置均设为第二设定值,当产生输出响应时调整为第三设定值,输出M个调整信号。
可以理解,在前向识别模式下,M个前时序响应神经元111接收到待识别信号后分别在不同的时刻产生脉冲,输入信号的幅度越大,该M个前时序响应神经元111越快产生输出脉冲,且每一个输入信号只会产生一个输出脉冲,并且M个幅度调制器112会调整脉冲至相同幅度,这个幅度低于前时序响应神经元111的响应阈值,但高于其抑制阈值,这可以使前神经元模块11输出一个幅度较小的脉冲信号,避免过强激励对神经网络中信号传导的干扰。在反向传播模式下,前时序响应神经元111接收到目标信号后分别在不同的时刻产生脉冲,M个幅度调制器112将脉冲信号偏置设置为第二设定值,当产生响应时输出变为第三设定值,输出M个调整信号。
前时序响应神经元111与幅度调制器112的结合,使神经网络既具有对序列信号的时序特征进行捕捉的能力,也具有对信号幅度进行调节的能力。这两种能力的结合可以产生更加丰富和灵活的信号表达与传递。在反向传播模式下,幅度调制器112可以根据目标信号的不同而对前时序响应神经元111的输出信号进行不同程度的放大或抑制,可以产生更加清晰和准确的调整信号,有利于网络的训练。
在一个实施例中,如图3所示,上述基于忆阻器的脉冲神经网络在线训练电路中,N个后神经元模块15分别包括一个多路选择器151、一个后时序响应神经元152和一个训练信号单元153;N个多路选择器151的第一端分别与N个忆阻器突触子阵列的底电极一一对应连接,N个多路选择器151的第二端分别与N个后时序响应神经元152的输入端一一对应连接,N个多路选择器151的第三端分别与N个训练信号单元153的输出端一一对应连接。
在前向识别模式下,N个多路选择器151用于将对应的N个激活信号传递至N个后时序响应神经元152,N个后时序响应神经元152用于根据N个激活信号分别输出N个识别信号。在反向传播模式下,N个训练信号单元153用于产生对应的训练信号,N个多路选择器151用于传递对应的N个训练信号至N个忆阻器突触子阵列。
可以理解,在前向识别模式下,多路选择器151选择与同一后神经元模块15的后时序响应神经元152接通,训练信号单元153浮空,N个多路选择器151将接收到的N个激活信号传递至N个后时序响应神经元152,N个后时序响应神经元152根据N个激活信号分别输出N个识别信号。在反向传播模式下,多路选择器151选择与同一后神经元模块15的训练信号单元153接通,后时序响应神经元152浮空,N个训练信号单元153产生对应的训练信号。
多路选择器151可以实现对不同输入信号的选择与切换,可以根据神经网络的工作模式,选择性地将激活信号或训练信号传递给后续模块。这实现了信号路径的切换,为不同工作模式提供了必要的信号输入。后时序响应神经元152可以对序列信号进行运算,输出识别结果。它实现了神经网络的识别功能,可以判断输入信号属于哪一类别。如果仅使用常规神经元,神经网络难以对序列信号进行有效识别。一个后神经元模块15分别包括一个多路选择器151、一个后时序响应神经元152和一个训练信号单元153的设置,使神经网络具有选择工作模式与对序列信号进行计算的双重能力。
在一个实施例中,提供了一种神经网络在线训练方法,使用上述实施例中基于忆阻器的脉冲神经网络在线训练电路,包括步骤,在前向识别模式下:M个前神经元模块11将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号;忆阻器突触阵列模块13根据M个脉冲信号输出N个激活信号;N个后神经元模块15根据对应的N个激活信号分别输出N个识别信号。在反向传播模式下:M个前神经元模块11将接入的目标信号分别输出为时序不同的调整信号;N个后神经元模块15产生对应的训练信号;忆阻器突触阵列模块13根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块13的权值;忆阻器在电压作用下表现出连续的电导变化特性。
上述神经网络在线训练方法,由于采用的忆阻器在电压作用下呈连续的电导变化特性,这一性质可以用于模拟神经网络的激活函数及其导数。反向传播模式中,在控制信号作用下,通过在忆阻器突触阵列模块13的前后端同时施加不同参数的调整信号和训练信号,使得忆阻器突触阵列模块13权值的更新可以在整个阵列内并行进行,也即神经网络的反向传播训练过程的大部分计算可以在忆阻器突触阵列内完成,因此大大提高了训练速度,为实现高性能的基于忆阻器的脉冲神经网络提供了重要支持。
在一个实施例中,本发明上述神经网络在线训练方法中,M个前神经元模块11将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号的步骤,包括:M个前时序响应神经元111根据待识别信号在不同时刻产生脉冲,输出M个第一响应信号;M个幅度调制器112将M个第一响应信号的幅度均调整为第一设定值,输出M个脉冲信号。
在一个实施例中,本发明上述神经网络在线训练方法中,M个前神经元模块11将接入的目标信号分别输出为时序不同的调整信号的步骤,包括:M个前时序响应神经元111根据目标信号在不同时刻产生脉冲,输出M个第二响应信号;M个幅度调制器112将M个第二响应信号偏置均设为第二设定值,当产生输出响应时调整为第三设定值,输出M个调整信号。
在一个实施例中,本发明上述神经网络在线训练方法中,N个后神经元模块15根据对应的N个激活信号分别输出N个识别信号的步骤,包括:N个多路选择器151将对应的N个激活信号传递至N个后时序响应神经元152;N个后时序响应神经元152根据N个激活信号分别输出N个识别信号。
在一个实施例中,本发明上述神经网络在线训练方法中,忆阻器突触阵列模块13根据N个接入的控制信号、M个调整信号和N个训练信号并行调整忆阻器突触阵列模块13的权值的步骤,包括:N个训练信号单元153产生对应的训练信号;N个多路选择器151传递对应的N个训练信号至忆阻器突触阵列模块13。
关于神经网络在线训练方法的具体限定可以参见上文中对于基于忆阻器的脉冲神经网络在线训练电路的相应限定,在此不再赘述。
在本说明书的描述中,参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性描述不一定指的是相同的实施例或示例。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种基于忆阻器的脉冲神经网络在线训练电路,其特征在于,包括M个前神经元模块、忆阻器突触阵列模块和N个后神经元模块;M和N均为不小于2的正整数;
所述忆阻器突触阵列模块包括N个忆阻器突触子阵列,N个所述忆阻器突触子阵列分别包括M个忆阻器突触1T1R单元;每一所述忆阻器突触子阵列的各所述忆阻器突触1T1R单元的底电极相连,每一所述忆阻器突触子阵列的各所述忆阻器突触1T1R单元的控制极相连,各所述忆阻器突触子阵列中位于同一行的各所述忆阻器突触1T1R单元的顶电极相连;M个所述前神经元模块的输出端分别与M行所述忆阻器突触1T1R单元的顶电极一一对应连接,N个所述后神经元模块的第一端分别与N个所述忆阻器突触子阵列的底电极一一对应连接;
在前向识别模式下,M个所述前神经元模块用于将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号,所述忆阻器突触阵列模块用于根据M个所述脉冲信号输出N个激活信号,N个所述后神经元模块用于根据对应的N个所述激活信号分别输出N个识别信号;在反向传播模式下,M个所述前神经元模块用于将接入的目标信号分别输出为时序不同的调整信号,N个所述后神经元模块用于产生对应的训练信号,所述忆阻器突触阵列模块用于根据N个接入的控制信号、M个所述调整信号和N个所述训练信号并行调整所述忆阻器突触阵列模块的权值;所述忆阻器在电压作用下表现出连续的电导变化特性;所述在前向识别模式下,M个所述前神经元模块用于将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号包括:在所述前向识别模式下,M个所述前神经元模块接收到所述待识别信号后分别在不同时刻产生输出脉冲从而输出M个第一响应信号,M个所述前神经元模块分别调整M个所述第一响应信号至幅度相同后,输出M个所述脉冲信号;所述前神经元模块的输入信号幅度越大,所述前神经元模块越快产生所述输出脉冲,且每一个所述输入信号只产生一个所述输出脉冲。
2.根据权利要求1所述的基于忆阻器的脉冲神经网络在线训练电路,其特征在于,M个所述前神经元模块分别包括一个前时序响应神经元和一个幅度调制器;M个所述前时序响应神经元的输出端分别与M个所述幅度调制器的输入端一一对应连接,M个所述幅度调制器的输出端分别与M行所述忆阻器突触1T1R单元的顶电极一一对应连接;
在所述前向识别模式下,M个所述前时序响应神经元用于根据所述待识别信号在不同时刻产生脉冲,输出M个所述第一响应信号,M个所述幅度调制器用于将M个所述第一响应信号的幅度均调整为第一设定值,输出M个所述脉冲信号;在所述反向传播模式下,M个所述前时序响应神经元用于根据所述目标信号在不同时刻产生脉冲,输出M个第二响应信号,M个所述幅度调制器用于将M个所述第二响应信号偏置均设为第二设定值,当产生输出响应时调整为第三设定值,输出M个所述调整信号。
3.根据权利要求2所述的基于忆阻器的脉冲神经网络在线训练电路,其特征在于,N个后神经元模块分别包括一个多路选择器、一个后时序响应神经元和一个训练信号单元;N个所述多路选择器的第一端分别与N个所述忆阻器突触子阵列的底电极一一对应连接,N个所述多路选择器的第二端分别与N个所述后时序响应神经元的输入端一一对应连接,N个所述多路选择器的第三端分别与N个所述训练信号单元的输出端一一对应连接;
在所述前向识别模式下,N个所述多路选择器用于将对应的N个所述激活信号传递至N个所述后时序响应神经元,N个所述后时序响应神经元用于根据N个所述激活信号分别输出N个所述识别信号;在所述反向传播模式下,N个所述训练信号单元用于产生对应的所述训练信号,N个所述多路选择器用于传递对应的N个所述训练信号至N个所述忆阻器突触子阵列。
4.一种神经网络在线训练方法,其特征在于,使用如权利要求3所述的基于忆阻器的脉冲神经网络在线训练电路,包括步骤:
在所述前向识别模式下:
M个所述前神经元模块将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号;
所述忆阻器突触阵列模块根据M个所述脉冲信号输出N个激活信号;
N个所述后神经元模块根据对应的N个所述激活信号分别输出N个识别信号;
在反向传播模式下:
M个所述前神经元模块将接入的目标信号分别输出为时序不同的调整信号;
N个所述后神经元模块产生对应的所述训练信号;
所述忆阻器突触阵列模块根据N个接入的控制信号、M个所述调整信号和N个所述训练信号并行调整所述忆阻器突触阵列模块的权值;所述忆阻器在电压作用下表现出连续的电导变化特性。
5.根据权利要求4所述的神经网络在线训练方法,其特征在于,M个所述前神经元模块将接入的待识别信号分别调整为时序不同幅度相同的M个脉冲信号的步骤,包括:
M个所述前时序响应神经元根据所述待识别信号在不同时刻产生脉冲,输出M个第一响应信号;
M个所述幅度调制器将M个所述第一响应信号的幅度均调整为第一设定值,输出M个所述脉冲信号。
6.根据权利要求4所述的神经网络在线训练方法,其特征在于,
M个所述前神经元模块将接入的目标信号分别输出为时序不同的调整信号的步骤,包括:
M个所述前时序响应神经元根据所述目标信号在不同时刻产生脉冲,输出M个第二响应信号;
M个所述幅度调制器将M个所述第二响应信号偏置均设为第二设定值,当产生输出响应时调整为第三设定值,输出M个所述调整信号。
7.根据权利要求4所述的神经网络在线训练方法,其特征在于,N个所述后神经元模块根据对应的N个所述激活信号分别输出N个识别信号的步骤,包括:
N个所述多路选择器将对应的N个所述激活信号传递至N个所述后时序响应神经元;
N个所述后时序响应神经元根据N个所述激活信号分别输出N个所述识别信号。
8.根据权利要求4所述的神经网络在线训练方法,其特征在于,所述忆阻器突触阵列模块根据N个接入的控制信号、M个所述调整信号和N个所述训练信号并行调整所述忆阻器突触阵列模块的权值的步骤,包括:
N个所述训练信号单元产生对应的所述训练信号;
N个所述多路选择器传递对应的N个所述训练信号至所述忆阻器突触阵列模块。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410122895.XA CN117648960B (zh) | 2024-01-30 | 2024-01-30 | 基于忆阻器的脉冲神经网络在线训练电路及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410122895.XA CN117648960B (zh) | 2024-01-30 | 2024-01-30 | 基于忆阻器的脉冲神经网络在线训练电路及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117648960A CN117648960A (zh) | 2024-03-05 |
CN117648960B true CN117648960B (zh) | 2024-04-19 |
Family
ID=90046439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410122895.XA Active CN117648960B (zh) | 2024-01-30 | 2024-01-30 | 基于忆阻器的脉冲神经网络在线训练电路及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117648960B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105702856A (zh) * | 2014-11-26 | 2016-06-22 | 华为技术有限公司 | 一种基于有机铁电薄膜材料的忆阻器器件及其制备方法 |
WO2017014719A1 (en) * | 2015-07-17 | 2017-01-26 | Hewlett Packard Enterprise Development Lp | Memristor array with active memristors |
CN210488595U (zh) * | 2019-08-25 | 2020-05-08 | 湖北大学 | 基于忆阻器实现多样化stdp学习规则的突触仿生电路 |
CN111582462A (zh) * | 2020-05-21 | 2020-08-25 | 中国人民解放军国防科技大学 | 权值原位更新方法、装置、终端设备和可读存储介质 |
CN111882064A (zh) * | 2020-08-03 | 2020-11-03 | 中国人民解放军国防科技大学 | 基于忆阻器实现脉冲神经网络竞争学习机制的方法及系统 |
CN112750485A (zh) * | 2019-10-31 | 2021-05-04 | 美光科技公司 | 脉冲神经网络的忆阻器交叉开关阵列实施方案中的脉冲检测 |
CN115310581A (zh) * | 2021-05-06 | 2022-11-08 | 桂林电子科技大学 | 一种忆阻器卷积神经网络权重训练方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6501146B2 (ja) * | 2014-03-18 | 2019-04-17 | パナソニックIpマネジメント株式会社 | ニューラルネットワーク回路およびその学習方法 |
US20160034812A1 (en) * | 2014-07-31 | 2016-02-04 | Qualcomm Incorporated | Long short-term memory using a spiking neural network |
WO2020115746A1 (en) * | 2018-12-04 | 2020-06-11 | Technion Research & Development Foundation Limited | Delta-sigma modulation neurons for high-precision training of memristive synapses in deep neural networks |
WO2022109593A1 (en) * | 2020-11-20 | 2022-05-27 | The Regents Of The University Of California | Error-triggered learning of multi-layer memristive spiking neural networks |
-
2024
- 2024-01-30 CN CN202410122895.XA patent/CN117648960B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105702856A (zh) * | 2014-11-26 | 2016-06-22 | 华为技术有限公司 | 一种基于有机铁电薄膜材料的忆阻器器件及其制备方法 |
WO2017014719A1 (en) * | 2015-07-17 | 2017-01-26 | Hewlett Packard Enterprise Development Lp | Memristor array with active memristors |
CN210488595U (zh) * | 2019-08-25 | 2020-05-08 | 湖北大学 | 基于忆阻器实现多样化stdp学习规则的突触仿生电路 |
CN112750485A (zh) * | 2019-10-31 | 2021-05-04 | 美光科技公司 | 脉冲神经网络的忆阻器交叉开关阵列实施方案中的脉冲检测 |
CN111582462A (zh) * | 2020-05-21 | 2020-08-25 | 中国人民解放军国防科技大学 | 权值原位更新方法、装置、终端设备和可读存储介质 |
CN111882064A (zh) * | 2020-08-03 | 2020-11-03 | 中国人民解放军国防科技大学 | 基于忆阻器实现脉冲神经网络竞争学习机制的方法及系统 |
CN115310581A (zh) * | 2021-05-06 | 2022-11-08 | 桂林电子科技大学 | 一种忆阻器卷积神经网络权重训练方法及装置 |
Non-Patent Citations (2)
Title |
---|
Designing pulse-coupled neural networks with spike-synchronization-dependent plasticity rule: image segmentation and memristor circuit application;Xudong Xie等;《Neural Computing and Applications 》;20200203;第32卷;第13441–13452页 * |
基于忆阻器的脉冲神经网络研究综述;徐桂芝;姚林静;李子康;;生物医学工程学杂志;20180630(第03期);第155-160页 * |
Also Published As
Publication number | Publication date |
---|---|
CN117648960A (zh) | 2024-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10692570B2 (en) | Neural network matrix multiplication in memory cells | |
CN106845634B (zh) | 一种基于忆阻器件的神经元电路 | |
CN108985447B (zh) | 一种硬件脉冲神经网络系统 | |
CN109447250B (zh) | 一种基于忆阻器中电池效应的人工神经元 | |
CN106981567B (zh) | 一种基于光电耦合忆阻器的人工突触器件及其调制方法 | |
JP6644064B2 (ja) | ニューロモーフィック・シナプス、そのアレイ、および、そのシステム | |
US9466362B2 (en) | Resistive cross-point architecture for robust data representation with arbitrary precision | |
EP2718933B1 (en) | Synapse for function cell of spike timing dependent plasticity (stdp), function cell of stdp, and neuromorphic circuit using function cell of stdp | |
KR20100129741A (ko) | 뉴로모픽 회로 | |
US10740672B2 (en) | Capacitative artificial neural networks | |
CN108804786B (zh) | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 | |
CN105224986A (zh) | 基于忆阻器件的深度神经网络系统 | |
KR20130036318A (ko) | Stdp 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들 | |
KR20150034900A (ko) | 뉴런 회로들을 연결하는 시냅스 회로, 뉴로모픽 회로를 구성하는 단위 셀 및 뉴로모픽 회로 | |
US20140172762A1 (en) | Unknown | |
CN210627259U (zh) | 实现液体状态机的脉冲神经网络数模混合电路系统 | |
WO2019202427A1 (en) | Resistive processing unit architecture with separate weight update and inference circuitry | |
JP2022533407A (ja) | 相変化メモリの閉ループ・プログラミング | |
CN111950720A (zh) | 一种新型类脑视觉系统 | |
CN117648960B (zh) | 基于忆阻器的脉冲神经网络在线训练电路及方法 | |
CN110232443B (zh) | 实现液体状态机的脉冲神经网络数模混合电路系统 | |
Milo et al. | Brain-inspired recurrent neural network with plastic RRAM synapses | |
US20220138546A1 (en) | Expandable neuromorphic circuit | |
CN111461312B (zh) | 一种基于忆阻器随机丢弃神经元 | |
CN115906961B (zh) | 基于易失性阈值阻变忆阻器的自适应人工脉冲神经元电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |