CN104021420A - 可编程离散霍普菲尔德网络电路 - Google Patents

可编程离散霍普菲尔德网络电路 Download PDF

Info

Publication number
CN104021420A
CN104021420A CN201410222172.3A CN201410222172A CN104021420A CN 104021420 A CN104021420 A CN 104021420A CN 201410222172 A CN201410222172 A CN 201410222172A CN 104021420 A CN104021420 A CN 104021420A
Authority
CN
China
Prior art keywords
field effect
effect transistor
circuit
programmable
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410222172.3A
Other languages
English (en)
Other versions
CN104021420B (zh
Inventor
刘洋
徐艳飞
胡绍刚
王俊杰
于奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201410222172.3A priority Critical patent/CN104021420B/zh
Publication of CN104021420A publication Critical patent/CN104021420A/zh
Application granted granted Critical
Publication of CN104021420B publication Critical patent/CN104021420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及集成电路和神经网络领域,特别涉及可编程离散霍普菲尔德网络电路,目的是为了用硬件电路来实现单层反馈式霍普菲尔德神经网络模型,实现模拟神经记忆功能。本发明提出了一种基于硬件电路的霍普菲尔德单层网络模型,主要通过可编程阈值电路来模拟神经元,反馈电容的电压记忆特性实现反馈功能。本发明通过数字时钟脉冲来控制各个传输门开关的开启与关闭,从而实现离散型霍普菲尔德网络的功能。霍普菲尔德网络的功能:先给网络中的每个反馈电容一个初始的状态,然后通过其余的开关控制整个霍普菲尔德电路工作,最终实现给定一个初始态,通过霍普菲尔德网络电路寻找到一个最终的稳定状态的目标。本发明适用于模拟神经元。

Description

可编程离散霍普菲尔德网络电路
技术领域
本发明涉及集成电路和神经网络领域,特别涉及一种基于忆阻器和神经元场效应管(NEUMOS)的可编程离散霍普菲尔德网络电路。
背景技术
科学工作者根据神经网络运行过程中的信息流向,把神经网络分为前馈式和反馈式两种基本类型。前馈网络的输出仅由当前输入和权值矩阵决定,而与网络先前的输出状态无关。反馈式网络则相反,与网络的先前输出状态密切相关。
作为本申请的表述需求,先介绍一下霍普菲尔德神经网络方面的相关知识。神经网络的学习方式有三种类型。其中的第三类学习方式是“死记硬背”,即网络的权值不是经过反复学习获得,而是按一定规则计算出来。基于这一点,美国加州理工学院物理学家霍普菲尔德教授于1982年提出一种单层反馈神经网络,后来人们将这种反馈网络称作霍普菲尔德网络。霍普菲尔德网络采用了第三种学习方式,其权值一经确定就不再改变,而网络中各神经元的状态在运行过程中不断更新,网络演变到稳态时各神经元的状态便是问题之解。
进一步,霍普菲尔德网络又分为离散型和连续型两种网络模型,分别记作DHNN(Discrete霍普菲尔德Neural Network)和CHNN(Continues霍普菲尔德Neural Network)。本申请模拟实现的离散型反馈网络的拓扑结构如图1所示。这是一种单层全反馈网络,共有n个神经元。第i个神经元的输出Pi通过突触的连接权值Wij,反馈至第j个神经元作为输入,i、j为正整数,可以取相同的数值。每个神经元都通过连接权值接收所有其它神经元输出反馈回来的信息,目的是为了让任何一神经元的输出都能受所有神经元输出的控制,从而使各神经元的输出能相互制约。每个神经元均设有一个阈值θ(每个神经元的阈值可以相等,可以不相等)。
运行时,当向该网络施加一个起原始推动作用的初始输入P1_init,P2_init,P3_init,…,Pn_init后,网络便将各个输出反馈回来作为下次的输入。如果某个时刻,第i个神经元满足以下条件:
∑=Wi1*P1+Wi2*P2+Wi3*P3+......+Win*Pn
则:该神经元对应的输出Pi将改变为1,反之Pi变为0。如此经若干次循环(迭代)之后,在网络结构满足一定条件的前提下,网络最终将会稳定在某一预先设定的稳定态。
利用霍普菲尔德网络的稳态便可实现联想记忆功能,在拓扑结构及权矩阵均一定的情况下,霍普菲尔德网络能存储若干个预先设置的稳定状态,而网络运行后达到哪个稳定状态将与其初始状态有关。若用网络的稳态代表一种记忆模式,初始状态朝着稳态收敛的过程便是神经网络寻找该记忆模式的过程。初态可视为该记忆模式的部分信息,网络演变的过程可视为从部分信息回忆起该记忆模式全部信息的过程,从而实现了联想记忆功能。
为了便于说明,我们以三个神经元组成的离散型霍普菲尔德网络为例子,见图2。第一个神经元三个突触权值(从左往右,W11,W21,W31)分别设定为:{0 0.2 0.8},第二个神经元三个突触权值(从左往右,W12,W22,W32)分别为{0.2 0 0.4},第三个神经元三个突触权值(从左往右,W13,W23,W33)分别为:{0.8 0.4 0}。写成权值矩阵如下:
W11=0 W21=0.2 W13=0.8
W21=0.2 W22=0 W23=0.4
W31=0.8 W32=0.4 W33=0
阈值均设置为0.7。
简单起见,我们假设初始状态为:111(P1P2P3),循环更新顺序固定为:P1->P2->P3->P1……。先更新P1
∑=P1*W11+P2*W21+P3*W31=1*0+1*0.2+1*0.8>0.7
所以结果为P1=1,此时状态更新为:111。
再更新P2:
∑=P1*W12+P2*W22+P3*W32=1*0.2+1*0+1*0.4<0.7
所以结果为P2=0,此时状态更新为:101。
再更新P3:
∑=P1*W13+P2*W23+P3*W33=1*0.8+0*0.4+1*0>0.7
所以结果为P3=1,此时状态更新为:101。
再更新P1:
∑=P1*W11+P2*W21+P3*W31=1*0+0*0.2+1*0.8>0.7
所以结果为P1=1,此时状态更新为:101。
再更新P2:
∑=P1*W12+P2*W22+P3*W32=1*0.2+0*0+1*0.4<0.7
所以结果为P2=0,此时状态更新为:101。
再更新P3:
∑=P1*W13+P2*W23+P3*W33=1*0.8+0*0.4+1*0>0.7
所以结果为P3=1,此时状态更新为:101。
所以最终状态锁定在101,过程是:初始状态:111->111->101->101->101->101……。最终达到了101的稳定状态,这就是我们预先设定的稳态,上面就是演示了通过初态111寻找到预设的稳态101的一个过程。
实际中可能每一步随机更新某一个Pi,但是最终都会找到我们预设的稳态。随机更新流向图如图3,分析方式完全相同。可以看出我们预设了两个稳态:000和101。图3中每条导线上的数字表示这个导线方向发生的概率。
由于传统霍普菲尔德网络的研究基本上是基于计算机软件层面的。实际当中与硬件电路实现相比,在并发性等等方面还是有一定差距。
发明内容
本发明的目的:用硬件电路来实现单层反馈式霍普菲尔德神经网络模型,实现模拟神经记忆功能的目标。
为达到上述目的,本发明提供一种可编程离散霍普菲尔德网络电路,包括数字时钟模块,还包括N个霍普菲尔德反馈网络主体,所述霍普菲尔德反馈网络主体包括第一电源模块、可编程阈值电路、场效应管、反馈电容及第一传输门开关;
数字时钟模块,用于产生各种所需时钟对所有的传输门开关进行控制;
可编程阈值电路,用于模拟神经元,每一个可编程阈值电路的输出反向之后都反馈回所有的可编程阈值电路作为输入;
场效应管,用于将可编程阈值电路的输出电平进行反向;
第一传输门开关,用于控制反馈电容的输出及可编程阈值电路的输出反向之后的电平反馈回所有的可编程阈值电路;
所述可编程阈值电路中神经元场效应管的漏极输出连接到场效应管的栅极上,控制场效应管的的导通与关闭,所述反馈电容的一端接地,另一端与场效应管的漏极连接,所述反馈电容与场效应管的漏极连接的一端与第一电源模块连接,每一个可编程阈值电路对应N个权值选择电路及N个第一传输门开关,N为大于或等于2的正整数。
具体地,,所述霍普菲尔德反馈网络主体还包括第二传输门开关,所述反馈电容通过第二传输门开关与第一电源模块连接。
具体地,所述可编程阈值电路包括权值选择电路,所述权值选择电路与所述可编程阈值电路中神经元场效应管的栅电极连接,所述权值选择电路的一条支路由一个电阻和一个忆阻器构成,用于形成具有正权值的栅电极连接;另一条支路由运放实现的反向比例器构成,用于形成具有负权值特性的栅电极连接。
具体地,还包括第三传输门开关模块,用于控制选择权值选择电路的一条支路连接到可编程阈值电路中神经元场效应管的栅电极上,所述第三传输门开关模块包括两个传输门开关,分别设置在所述权值选择电路的两条支路上。
进一步地,还包括第二电源,所述场效应管的漏极与第二电源连接。
可选地,还包括第一上拉电阻,所述可编程阈值电路中神经元场效应管为N型神经元场效应管,所述场效应管为N型场效应管,所述N型场效应管的漏极通过第一上拉电阻与所述第二电源连接。
可选地,还包括第一下拉电阻,所述可编程阈值电路中神经元场效应管为N型神经元场效应管,所述场效应管为P型场效应管,所述P型场效应管的漏极通过第一下拉电阻接地。
可选地,还包括第二上拉电阻,所述可编程阈值电路中神经元场效应管为P型神经元场效应管,所述场效应管为N型场效应管,所述N型场效应管的漏极通过第二上拉电阻与所述第二电源连接。
可选地,还包括第二下拉电阻,所述可编程阈值电路中神经元场效应管为P型神经元场效应管,所述场效应管为P型场效应管,所述P型场效应管的漏极通过第二下拉电阻接地。
可选地,可编程阈值电路的类型及对应场效应管的类型还有其它类似结构组成,相应地选择配套的上拉电阻或者下拉电阻。
在可编程阈值电路之后连接场效应管的主要目的是为了将可编程阈值电路的输出电压进行反向,因此,场效应管可用反相器进行替换。将神经元场效应管的输出连接到一个反相器的输入端控制其输出,反相器的输出端与反馈电容相连,一起反馈回神经网络电路中各个神经元场效应管的相应输入端口控制整个电路的正常运行。
权值选择电路中的两组电阻单位和忆阻器单位位置可以随意搭配,并且可以没有电阻的存在,只需满足每条支路至少有一个忆阻器单位就可以,它们组合起来实现权值比例的功能就可。
本发明的有益效果是:通过硬件电路来实现单层反馈式霍普菲尔德神经网络模型,实现模拟神经记忆功能的目标,对于以后智能化电路的集成起到的指引作用也是很巨大的。
附图说明
图1是现有的单层霍普菲尔德网络示意图;
图2是现有的三个神经元的单层霍普菲尔德网络示意图;
图3是现有的三个神经元的单层霍普菲尔德网络的状态流向图;
图4是现有的基于N型神经元场效应管的可编程阈值电路结构图;
图5是现有的基于P型神经元场效应管的可编程阈值电路结构图;
图6是实施例的整体霍普菲尔德网络电路图;
图7是本发明的PARTk部分电路图;
图8是本发明的权值选择电路图;
图9是实施例一中使用的全局控制时钟图;
图10是实例一的随机更新流向图;
图11是实例二的随机更新流向图;
图12是实例三的随机更新流向图。
具体实施方式
本发明提出了一种基于硬件电路的霍普菲尔德单层网络模型。主要通过可编程阈值电路来模拟神经元,反馈电容的电压记忆特性实现反馈功能。本发明通过数字时钟脉冲来控制各个传输门开关的开启与关闭,从而实现离散型霍普菲尔德网络的功能。霍普菲尔德网络的功能:先给网络中的每个反馈电容一个初始的状态,然后通过其余的开关控制整个霍普菲尔德电路工作,最终实现给定一个初始态,通过霍普菲尔德网络电路寻找到一个最终的稳定状态的目标。这个过程就模拟出了部分记忆片段回忆起全部信息的大脑回忆功能。
下面结合附图及实施例对本发明的方案作进一步的描述。
首先以模拟三个神经元为例,对本发明的技术方案作一详细解释。此处的神经元场效应管选择N型神经元场效应管,如图4所示,场效应管为N型场效应管,若选用P型神经元场效应管,则其结构如图5所示。本发明的整体霍普菲尔德网络电路图,包括3个霍普菲尔德反馈网络主体,霍普菲尔德反馈网络主体包括第一电源模块、可编程阈值电路、场效应管、反馈电容及第一传输门开关;
数字时钟模块,用于产生各种所需时钟对所有的传输门开关进行控制;
可编程阈值电路,用于模拟神经元,每一个可编程阈值电路的输出反向之后都反馈回所有的可编程阈值电路作为输入;
场效应管,用于将可编程阈值电路的输出电平进行反向;
第一传输门开关,用于控制反馈电容的输出及可编程阈值电路的输出反向之后的电平反馈回所有的可编程阈值电路;
可编程阈值电路中N型神经元场效应管的每个栅电极连接的是权值选择电路,如图8所示,权值选择电路包括两条支路,一条支路由一个电阻和一个忆阻器构成,用于形成具有正权值的栅电极连接;另一条支路由运放实现的反向比例器构成,用于形成具有负权值特性的栅电极连接。如图7所示,可编程阈值电路中N型神经元场效应管的漏极输出连接到N型场效应管的栅极上,控制N型场效应管的的导通与关闭,N型场效应管的漏极与第二电源连接,其源级接地。N型神经元场效应管的漏极通过第一上拉电阻与所述第二电源连接。N型场效应管的漏极通过第二上拉电阻与第二电源连接。反馈电容的一端接地,另一端与N型场效应管的漏极连接,所述反馈电容与N型场效应管的漏极连接的一端与第一电源连接,用于实现初始阶段,给反馈电容赋初值的目标,这些初值就组成了霍普菲尔德网络的初态。第一电源可根据需求提供不同电压的电源,第一传输门开关、第二传输门开关及第三传输门开关模块中的所有传输门开关均受数字时钟模块的时钟脉冲信号控制,其具体的连接控制方式如图6所示。
实施例一
首先我们设定了如下的时钟,使得更新是按照P1,P2,P3,P1,P2,……顺序轮流更新,各个控制时钟见图9。
sa0是为反馈电容预充电的控制时钟,一开始为1.6us的1.8v电压,接着就是保持0电平的状态。sa0用于初始阶段分别为3个反馈电容cap1,cap2,cap3充电到各自的一个固定电压值v1,v2,v3,这就是霍普菲尔德电路的初始态v1v2v3
sa1是控制第一个神经元PART1的三个栅电极导通的脉冲,开始直到2.0us为低电平0,然后按照脉冲宽度为0.4us,大小为1.8V,周期为2.4us的规律变化,当sa1等于高电平1.8V时候,PART1三栅电极导通。
sa2是控制第二个神经元PART2的三个栅电极导通的脉冲,开始直到2.8us为低电平0,然后按照脉冲宽度为0.4us,大小为1.8V,周期为2.4us的规律变化。当sa2等于高电平1.8V时候,PART2三个栅电极导通。
sa3是控制第三个神经元PART3的三个栅电极导通的脉冲,开始直到3.6us为低电平0,然后按照脉冲宽度为0.4us,大小为1.8V,周期为2.4us的规律变化。当sa3等于高电平1.8V时候,PART3三个栅电极导通。
sa1m是sa1脉冲的稍加调整的版本,共同作用于PART1。开始直到2.1us为低电平0,然后按照脉冲宽度为0.3us,大小为1.8V,周期为2.4us的规律变化。作用:由于N_NEUMOS_1在sa1导通的开始很短时间不能正常工作,所以我们就用稍加延后的sa1m来控制PART1输出P1对cap1的充电行为,这样就可以保证在对cap1充电时,P1电压已经正常工作。
sa2m是sa2脉冲的稍加调整的版本,共同作用于PART2。开始直到2.9us为低电平0,然后按照脉冲宽度为0.3us,大小为1.8V,周期为2.4us的规律变化。作用类似sa1m。
sa3m是sa3脉冲的稍加调整的版本,共同作用于PART3。开始直到3.7us为低电平0,然后按照脉冲宽度为0.3us,大小为1.8V,周期为2.4us的规律变化。作用类似sa1m。
vsltij直流电压,用于选择电路中第i个神经元的第j条栅极是全正权值状态(vsltij等于0),还是负权值的状态(vsltij等于1.8V)。vsltij是在sa0,sa1,sa2,sa3,sa1m,sa2m,sa3m工作之前确定的。因为是它预先设置好整个霍普菲尔德电路的权值状态。我们在本例中选择所有的vslt为低电平0,也就是说本例实现的是全正权值型霍普菲尔德网络。
本实例中设定了上面的各控制电压和控制时钟之后,设置各个阻值如下:所有上拉电阻等于5K;R11,R21,R31,R12,R22,R32,R13,R23,R33等于500k;M表示忆阻器,我们可以通过一定的手段对其进行编程,从而让它的阻值固定在我们希望的数值之上,本实例中我们设定:
M11=100,M21=1.2M,M31=1.5M
M12=1.2M,M22=100,M32=330k
M13=1.5M,M23=330k,M33=100
电阻单位为欧姆,反馈电容大小设定:cap1,cap2,cap3均为5pf。
涉及到神经元场效应管的电容比值设定为0.3。神经元场效应管(以1号神经元场效应管为例)有下面的公式:
C i C = 0.3
Vg 1 = 0.3 * M 11 ( R 11 + M 11 ) v 11 + 0.3 * M 21 ( R 21 + M 21 ) v 21 + 0.3 * M 31 ( R 31 + M 31 ) v 31
其中的v11,v21,v31就是该时刻对应的P1,P2,P3的值,也即:电容cap1,cap2,cap3上面记忆的电压值v1,v2,v3。本例中所有N_NEUMOS的阈值电压设定为0.6V,此值相当于单层霍普菲尔德模型中神经元的θ值。而单层霍普菲尔德模型中第i个神经元有:
∑=Wi1*P1+Wi2*P2+Wi3*P3
我们的设计中与之相对应的是(还是以1号神经元MOS管为例):
W 11 = 0.3 * M 11 ( R 11 + M 11 ) , W 12 = 0.3 * M 21 ( R 21 + M 21 ) , W 13 = 0.3 * M 31 ( R 31 + M 31 )
这三个值为1号神经元MOS管各栅极对应的权值。我们可以通过调节各个忆阻器的阻值来改变各个栅极的权值。简化起见,下文所说的权值矩阵是不计入0.3比值的权值。
只要Vg超过0.6V,N_NEUMOS就会像一般的nmos一样开启导通。最终由此拉升输出电压变为高电平。此过程就可以模拟神经元中:∑>θ时,神经元状态置为1的效果。
由这些电阻形成的权值矩阵为:
0 0.7 0.75
0.7 0 0.4
0.75 0.4 0
现在我们随机以v1=0v,v2=0v,v3=1.8v也就是初值为(001)为例:也就是一开始控制sa0为高电平时候,通过直流电压源v1,v2,v3(大小分别为0v,0v,1.8V的直流电压)给电容cap1,cap2,cap3充电至0V,0V,1.8V,然后sa0变为0,使得由sa0P,sa0N控制的三个开关关闭,此时充电结束,三个电容被隔离起来,保持电压值。
在2.0us时刻,sa1脉冲变为高,持续0.4us,此时PART1的X11,X21,X31三输入端导通,三个端口电压分别为电容cap1,cap2,cap3的电压,由上面的公式得到:
Vg1=0.3*0*0+0.3*0.7*0+0.3*0.75*1.8=0.405V
这个等式中各个求和项中开始的0.3是N_NEUMOS_1的电容比;各个求和项中间的0,0.7,0.75是第一个部分PART1的权值。各个求和项中的末尾的0,0,1.8分别是此刻cap1,cap2,cap3的电压值。
由于0.405<0.6,所以N_NEUMOS_1关闭,图7中Z1电压被拉高,使得NMOS_1导通,P1端拉低为低电平,大小等于0.5V左右,这是因为末端的固定电阻Rup12和NMOS_1管开态电阻的分压效果,P3电压会因为电容电荷的少量流失稍微下降一点。然后sa1关闭,所以此时保持的状态用数字信号表示是001(真实电压大约是:v1v2v3为0.5v,0v,1.7v)。
当sa1刚关闭0.4us后,sa2脉冲变为高,持续0.4us,此时同理:
Vg2=0.3*0.7*0.5+0.3*0*0+0.3*0.4*1.7=0.31V
这个等式中各个求和项中开始的0.3是N_NEUMOS_2的电容比;各个求和项中间的0.7,0,0.4是第二个部分PART2的权值。各个求和项中的末尾的0.5,0,1.7分别是此刻cap1,cap2,cap3的电压值。
0.31v<0.6V,N_NEUMOS_2关闭,所以,最终导致P2端是低电平,大小等于0.5V左右,原理同上。端口P3保持原样。同时P1端口电压也在作用于N_NEUMOS_2的过程中,由于短暂的放电原因电压下降了一点,然后sa3关闭。此时保持的状态用数字信号表示是001(真实电压大约:v1v2v3为0.5v,0.5v,1.6v)。
当sa2刚关闭0.4us后,sa3脉冲变为高,持续0.4us,此时同理有:
Vg3=0.3*0.75*0.5+0.3*0.4*0.5+0.3*0*1.6=0.17V
这个等式中各个求和项中开始的0.3是N_NEUMOS_3的电容比;各个求和项中间的0,75,0.4,0是第三个部分PART3的权值。各个求和项中的末尾的0.5,0.5,1.6分别是此刻cap1,cap2,cap3的电压值。
0.17v<0.6V,N_NEUMOS_3关闭,所以,最终导致P3端是低电平,大小等于0.5V左右,这是因为末端固定电阻Rup和NMOS_3管开态电阻的分压效果。其他两端P1、P2保持原样。然后sa3关闭,此时保持的状态用数字信号表示是000(真实电压大约:v1v2v3为0.5v,0.5v,0.5v)。
当sa3刚关闭0.4us后,sa1脉冲变为高,持续0.4us,此时同理有:
Vg1=0.3*0*0.5+0.3*0.7*0.5+0.3*0.75*0.5=0.22V
0.22v<0.6V N_NEUMOS_1关闭,所以,最终导致P1端是低电平,大小等于0.5V左右,这是因为末端固定电阻Rup和NMOS_1管开态电阻的分压效果。其他两端P1、P2保持原样。然后sa3关闭,此时保持的状态用数字信号表示是000(真实电压大约:v1v2v3为0.5v,0.5v,0.5v)。
所以这之后状态将保持在000状态,这就是我们预先锁存在这个电路中的状态。其他情况都类似分析,通过整理,本例中各种起始状态转换情况如下表所示,其中的sa1_1表示控制时钟sa1的第一个脉冲,sa1_2表示sa1脉冲的第二个脉冲。
初始态 Sa1_1 Sa2_1 Sa3_1 Sa1_2
000 000 000 000 000
001 001 001 000 000
010 010 000 000 000
011 111 101 100 000
100 000 000 000 000
101 001 001 000 000
110 010 000 000 000
111 111 101 100 000
结果说明:我们设定的权值对应的稳定状态是000,也就是我们通过各个记忆片段最终都找到了000这个记忆全景。另外,如果我们给定的是随机更新的时钟脉冲,让每一步随机更新Pi中的某一个,得到的状态转换图如图10所示。
实施例二
设置所有vsltij为低电平0,使得权值矩阵全部为正值,再调节忆阻器阻值如下:
M11=100,M21=2.8M,M31=2M
M12=2.8M,M22=100,M32=2.8M
M13=2M,M23=2.8M,M33=100
电阻单位为欧姆,从而得到改变后的权值矩阵如下:
0 0.85 0.8
0.85 0 0.85
0.8 0.85 0
仿真结果如下:
初始态 Sa1_1 Sa2_1 Sa3_1 Sa1_2
000 000 000 000 000
001 001 001 000 000
010 010 000 000 000
011 111 111 111 111
100 000 000 000 000
101 001 001 000 000
110 010 000 000 000
111 111 111 111 111
此实例说明:不同的初始态最终可能有多于一个的稳定态,这意味着:记忆片段追寻的结果可能有两个结果。另外,如果我们给定的是随机更新时钟脉冲,让每一步随机更新Pi中的某一个,得到的状态转换图如图11所示。
实施例三
如果想要有负权值,就让对应的vsltij等于1,本实例中令:vslt12与vslt21等于高电平1,这样就选中了N_NEUMOS_1中2号栅极与N_NEUMOS_2中1号栅极的负权值支路。各分支电阻如下:
M12f=250k,R12f=500k
M21f=250k,R21f=500k
电阻单位是欧姆,所以得到权值矩阵如下:
0 -0.5 0.8
-0.5 0 0.85
0.8 0.85 0
然后分析参照实施例一。
测试结果如下:
初始态 Sa1_1 Sa2_1 Sa3_1 Sa1_2
000 000 000 000 000
001 001 001 000 000
010 010 000 000 000
011 011 001 000 000
100 000 000 000 000
101 001 001 000 000
110 010 000 000 000
111 011 001 000 000
如果我们给定的是随机更新时钟脉冲,让每一步随机更新Pi中的某一个,得到的状态转换图如图12所示。

Claims (9)

1.可编程离散霍普菲尔德网络电路,包括数字时钟模块,其特征在于,还包括N个霍普菲尔德反馈网络主体,所述霍普菲尔德反馈网络主体包括第一电源模块、可编程阈值电路、场效应管、反馈电容及第一传输门开关;
数字时钟模块,用于产生各种所需时钟对所有的传输门开关进行控制;
可编程阈值电路,用于模拟神经元,每一个可编程阈值电路的输出反向之后都反馈回所有的可编程阈值电路作为输入;
场效应管,用于将可编程阈值电路的输出电平进行反向;
第一传输门开关,用于控制反馈电容的输出及可编程阈值电路的输出反向之后的电平反馈回所有的可编程阈值电路;
所述可编程阈值电路中神经元场效应管的漏极输出连接到场效应管的栅极上,控制场效应管的的导通与关闭,所述反馈电容的一端接地,另一端与场效应管的漏极连接,所述反馈电容与场效应管的漏极连接的一端与第一电源模块连接,每一个可编程阈值电路对应N个权值选择电路及N个第一传输门开关,N为大于或等于2的正整数。
2.如权利要求1所述的可编程离散霍普菲尔德网络电路,其特征在于,所述霍普菲尔德反馈网络主体还包括第二传输门开关,所述反馈电容通过第二传输门开关与第一电源模块连接。
3.如权利要求1所述的可编程离散霍普菲尔德网络电路,其特征在于,所述可编程阈值电路包括权值选择电路,所述权值选择电路与所述可编程阈值电路中神经元场效应管的栅电极连接,所述权值选择电路的一条支路由一个电阻和一个忆阻器构成,用于形成具有正权值的栅电极连接;另一条支路由运放实现的反向比例器构成,用于形成具有负权值特性的栅电极连接。
4.如权利要求3所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第三传输门开关模块,用于控制选择权值选择电路的一条支路连接到可编程阈值电路中神经元场效应管的栅电极上,所述第三传输门开关模块包括两个传输门开关,分别设置在所述权值选择电路的两条支路上。
5.如权利要求1所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第二电源,所述场效应管的漏极与第二电源连接。
6.如权利要求5所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第一上拉电阻,所述可编程阈值电路中神经元场效应管为N型神经元场效应管,所述场效应管为N型场效应管,所述N型场效应管的漏极通过第一上拉电阻与所述第二电源连接。
7.如权利要求5所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第一下拉电阻,所述可编程阈值电路中神经元场效应管为N型神经元场效应管,所述场效应管为P型场效应管,所述P型场效应管的漏极通过第一下拉电阻接地。
8.如权利要求5所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第二上拉电阻,所述可编程阈值电路中神经元场效应管为P型神经元场效应管,所述场效应管为N型场效应管,所述N型场效应管的漏极通过第二上拉电阻与所述第二电源连接。
9.如权利要求5所述的可编程离散霍普菲尔德网络电路,其特征在于,还包括第二下拉电阻,所述可编程阈值电路中神经元场效应管为P型神经元场效应管,所述场效应管为P型场效应管,所述P型场效应管的漏极通过第二下拉电阻接地。
CN201410222172.3A 2014-05-23 2014-05-23 可编程离散霍普菲尔德网络电路 Active CN104021420B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410222172.3A CN104021420B (zh) 2014-05-23 2014-05-23 可编程离散霍普菲尔德网络电路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410222172.3A CN104021420B (zh) 2014-05-23 2014-05-23 可编程离散霍普菲尔德网络电路

Publications (2)

Publication Number Publication Date
CN104021420A true CN104021420A (zh) 2014-09-03
CN104021420B CN104021420B (zh) 2017-07-04

Family

ID=51438162

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410222172.3A Active CN104021420B (zh) 2014-05-23 2014-05-23 可编程离散霍普菲尔德网络电路

Country Status (1)

Country Link
CN (1) CN104021420B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598919A (zh) * 2014-12-22 2015-05-06 宁波力芯科信息科技有限公司 用于相似度智能匹配的模糊识别器及方法
CN107301453A (zh) * 2016-04-15 2017-10-27 北京中科寒武纪科技有限公司 支持离散数据表示的人工神经网络正向运算装置和方法
WO2018058452A1 (zh) * 2016-09-29 2018-04-05 北京中科寒武纪科技有限公司 一种执行人工神经网络运算的装置和方法
WO2018072070A1 (zh) * 2016-10-18 2018-04-26 中国科学院深圳先进技术研究院 神经元电路
CN109214502A (zh) * 2017-07-03 2019-01-15 清华大学 神经网络权重离散化方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516070A (zh) * 2003-01-08 2004-07-28 剑 王 一种联想记忆神经网络
CN102542334A (zh) * 2012-01-14 2012-07-04 中国人民解放军国防科学技术大学 基于忆阻器的汉明网电路

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1516070A (zh) * 2003-01-08 2004-07-28 剑 王 一种联想记忆神经网络
CN102542334A (zh) * 2012-01-14 2012-07-04 中国人民解放军国防科学技术大学 基于忆阻器的汉明网电路

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
S. H. JO ETAL.: "Nanoscale memristor device as synapse in neuromorphic", 《NANO LETTERS》 *
S. SHIN ETAL.: "Memristor applications for programmable analog ICs", 《NANOTECHNOLOGY, IEEE TRANSACTIONS ON》 *
徐红 等: "Hopfield 网络联想记忆外积法设计权的研究", 《计算机与网络》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104598919A (zh) * 2014-12-22 2015-05-06 宁波力芯科信息科技有限公司 用于相似度智能匹配的模糊识别器及方法
CN104598919B (zh) * 2014-12-22 2017-09-19 宁波力芯科信息科技有限公司 用于相似度智能匹配的模糊识别器及方法
CN107301453A (zh) * 2016-04-15 2017-10-27 北京中科寒武纪科技有限公司 支持离散数据表示的人工神经网络正向运算装置和方法
CN107301453B (zh) * 2016-04-15 2021-04-20 中科寒武纪科技股份有限公司 支持离散数据表示的人工神经网络正向运算装置和方法
WO2018058452A1 (zh) * 2016-09-29 2018-04-05 北京中科寒武纪科技有限公司 一种执行人工神经网络运算的装置和方法
WO2018072070A1 (zh) * 2016-10-18 2018-04-26 中国科学院深圳先进技术研究院 神经元电路
CN109214502A (zh) * 2017-07-03 2019-01-15 清华大学 神经网络权重离散化方法和系统
CN109214502B (zh) * 2017-07-03 2021-02-26 清华大学 神经网络权重离散化方法和系统

Also Published As

Publication number Publication date
CN104021420B (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
KR102230784B1 (ko) Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템
US11270192B2 (en) Producing spike-timing dependent plasticity in a neuromorphic network utilizing phase change synaptic devices
CN104021420A (zh) 可编程离散霍普菲尔德网络电路
US10282657B2 (en) Neuromorphic synapses
EP2718933B1 (en) Synapse for function cell of spike timing dependent plasticity (stdp), function cell of stdp, and neuromorphic circuit using function cell of stdp
CN102610274B (zh) 一种阻变突触权值调整电路
Abbott et al. Model neurons: from hodgkin-huxley to hopfield
DE112016000148B4 (de) Neuromorpher Speicherschaltkreis sowie zugehöriges Verfahren, Computerprogrammprodukt und Computerprogramm
KR101432202B1 (ko) Stdp 및 도파민 시그널을 갖는 3―멤리스터 시냅스에 대한 방법들 및 시스템들
US20050137993A1 (en) Hebbian synapse circuit
US9330355B2 (en) Computed synapses for neuromorphic systems
CN106779059A (zh) 一种基于忆阻的巴普洛夫联想记忆的人工神经网络电路
WO2014189970A2 (en) Efficient hardware implementation of spiking networks
Bamford et al. Spike-timing-dependent plasticity with weight dependence evoked from physical constraints
KR20160125967A (ko) 일반적인 뉴런 모델들의 효율적인 구현을 위한 방법 및 장치
WO2015020815A2 (en) Implementing delays between neurons in an artificial nervous system
Mostafa et al. Beyond spike-timing dependent plasticity in memristor crossbar arrays
Wang et al. A programmable axonal propagation delay circuit for time-delay spiking neural networks
CN111967589A (zh) 神经元模拟电路及其驱动方法、神经网络装置
CN110232443B (zh) 实现液体状态机的脉冲神经网络数模混合电路系统
KR102366783B1 (ko) 뉴로모픽 시스템 및 뉴로모픽 시스템의 동작방법
Srivastava et al. Silicon neuron-analog CMOS VLSI implementation and analysis at 180nm
Wang et al. An analogue VLSI implementation of polychromous spiking neural networks
CN109948792A (zh) 一种基于晶体管和忆阻器的模拟联想学习电路及控制方法
Chen et al. STDP learning rule based on memristor with STDP property

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant