CN113469348A - 一种联想记忆中多次泛化和分化的神经形态电路 - Google Patents
一种联想记忆中多次泛化和分化的神经形态电路 Download PDFInfo
- Publication number
- CN113469348A CN113469348A CN202110684264.3A CN202110684264A CN113469348A CN 113469348 A CN113469348 A CN 113469348A CN 202110684264 A CN202110684264 A CN 202110684264A CN 113469348 A CN113469348 A CN 113469348A
- Authority
- CN
- China
- Prior art keywords
- voltage
- output
- switch
- signal
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 34
- 230000004069 differentiation Effects 0.000 title claims abstract description 25
- 230000000877 morphologic effect Effects 0.000 title description 2
- 230000001537 neural effect Effects 0.000 title description 2
- 210000002569 neuron Anatomy 0.000 claims abstract description 119
- 230000013016 learning Effects 0.000 claims abstract description 46
- 230000011514 reflex Effects 0.000 claims abstract description 11
- 230000000638 stimulation Effects 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 101100534682 Arabidopsis thaliana SUMO4 gene Proteins 0.000 claims description 6
- 101100204393 Arabidopsis thaliana SUMO2 gene Proteins 0.000 claims description 4
- 101100311460 Schizosaccharomyces pombe (strain 972 / ATCC 24843) sum2 gene Proteins 0.000 claims description 4
- 230000001143 conditioned effect Effects 0.000 claims description 3
- 101100534673 Arabidopsis thaliana SUMO3 gene Proteins 0.000 claims description 2
- 101150112492 SUM-1 gene Proteins 0.000 claims description 2
- 101150096255 SUMO1 gene Proteins 0.000 claims description 2
- 101100116390 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ded1 gene Proteins 0.000 claims description 2
- 230000008713 feedback mechanism Effects 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 210000000225 synapse Anatomy 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000004936 stimulating effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 206010039424 Salivary hypersecretion Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000035045 associative learning Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004031 neuronal differentiation Effects 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 208000026451 salivation Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Networks Using Active Elements (AREA)
- Semiconductor Memories (AREA)
Abstract
本发明公开了一种联想记忆中多次泛化和分化的神经形态电路,包括三个输入信号端IN1、IN2、IN3,一个总输出信号OUT,输入信号端IN1、IN2、IN3定义为三个前神经元,前神经元IN1对应巴甫洛夫联想记忆中的非条件反射信号,前神经元IN2和IN3对应条件反射信号;输入信号经处理后得到对应的三个输出信号OUT1、OUT2、OUT3,再经或门U12后得到总输出信号OUT;其中,或门U12定义为后神经元,总输出信号OUT为后神经元接受刺激后发出的信号。上述电路能仿生巴甫洛夫联想记忆中的多次泛化和彻底分化现象,也能仿生传统巴甫洛夫联想记忆中的学习和遗忘现象,具有广阔的应用前景。
Description
技术领域
本发明涉及神经形态电路技术领域,尤其涉及一种联想记忆中多次泛化和分化的神经形态电路。
背景技术
忆阻器是一种带记忆的非线性电阻,无需内部电源即可存储信息,所以应用时能量消耗少,在数字存储、人工神经网络、数字逻辑电路和非线性电路中有着巨大的潜在应用。由于忆阻器非易失性,结构简单且和现在的MOS管工艺兼容等特点,使其成为突触仿生的完美候选物。无源非易失性忆阻器可以很好地模拟突触特征,是模仿记忆和学习等现象的基本模块。
在生物学中,经典的巴甫洛夫联想记忆实验中,主要由四个基本生理现象组成:学习、遗忘、泛化、分化。但现有的基于巴甫洛夫联想记忆的神经形态电路中,大多只是验证了两个神经元之间的联想学习及遗忘现象,并不涉及多个神经元之间的验证问题,也无法实现多个神经元之间的多次泛化和分化现象。
发明内容
本发明的目的是提供一种联想记忆中多次泛化和分化的神经形态电路,该电路能仿生巴甫洛夫联想记忆中的多次泛化和彻底分化现象,也能仿生传统巴甫洛夫联想记忆中的学习和遗忘现象,具有广阔的应用前景。
本发明的目的是通过以下技术方案实现的:
一种联想记忆中多次泛化和分化的神经形态电路,所述电路包括三个输入信号端IN1、IN2、IN3,一个总输出信号OUT,其中:
输入信号端IN1、IN2、IN3定义为三个前神经元,前神经元IN1对应巴甫洛夫联想记忆中的非条件反射信号,前神经元IN2和IN3对应条件反射信号;
所述输入信号端IN1、IN2、IN3输入的信号经处理后得到对应的三个输出信号OUT1、OUT2、OUT3,三个输出信号OUT1、OUT2、OUT3再经或门U12后得到总输出信号OUT;其中,所述或门U12定义为后神经元,所述总输出信号OUT为后神经元接受刺激后发出的信号;
所述电路具体包括控制模块、运算模块和三个反馈模块,且所述控制模块、运算模块和三个反馈模块位于前后神经元之间,其中:
所述控制模块用于控制三个前神经元IN1、IN2、IN3的输入信号,接收三个反馈模块发出的反馈信号VF1、VF2、VF3,并得到输入给所述运算模块的三个前向电压Vpre1、Vpre2、Vpre3;
所述运算模块接收来自所述控制模块输入的三个前向电压Vpre1、Vpre2、Vpre3,并分别对所述前向电压Vpre1、Vpre2、Vpre3处理后得到三个输出信号OUT1、OUT2、OUT3;
所述三个反馈模块分别接收由电压自定义模块ABM输出的电压Vf作为输入,将电压Vf与接入的比较电压Vth1进行比较,根据比较结果输出高电平或低电平的反馈信号VF1、VF2、VF3,并将反馈信号VF1、VF2、VF3输出给所述控制模块;其中,电压自定义模块ABM连接着运放A1的输出和前向电压Vpre2,用于将两个电压进行相关自定义运算后输出电压Vf。
由上述本发明提供的技术方案可以看出,上述电路能仿生巴甫洛夫联想记忆中的多次泛化和彻底分化现象,也能仿生传统巴甫洛夫联想记忆中的学习和遗忘现象,具有广阔的应用前景。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的联想记忆中多次泛化和分化的神经形态电路的整体结构示意图;
图2为本发明实施例所述控制模块的结构示意图;
图3为本发明实施例所述运算模块的结构示意图;
图4为本发明实施例所述反馈模块1的结构示意图;
图5为本发明所举实例步骤一执行时的波形示意图;
图6为本发明所举实例步骤二执行时的输入波形示意图;
图7为本发明所举实例步骤三执行时的波形示意图;
图8为本发明所举实例步骤四执行的波形示意图;
图9为本发明所举实例步骤五执行的波形示意图;
图10为本发明所举实例步骤六执行的波形示意图;
图11为本发明所举实例步骤七执行的波形示意图;
图12为本发明所举实例步骤八执行的波形示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
下面将结合附图对本发明实施例作进一步地详细描述,如图1所示为本发明实施例提供的联想记忆中多次泛化和分化的神经形态电路的整体结构示意图,所述电路包括三个输入信号端IN1、IN2、IN3,一个总输出信号OUT,其中:
输入信号端IN1、IN2、IN3定义为三个前神经元,前神经元IN1对应巴甫洛夫联想记忆中的非条件反射信号(食物信号),前神经元IN2和IN3对应条件反射信号(1KHz铃声信号和2KHz铃声信号);具体实现中,输入信号可以采用周期为2s,幅度为±5V,占空比为50%的脉冲信号;
所述输入信号端IN1、IN2、IN3输入的信号经处理后得到对应的三个输出信号OUT1、OUT2、OUT3,三个输出信号OUT1、OUT2、OUT3再经或门U12后得到总输出信号OUT;其中,所述或门U12定义为后神经元,总输出信号OUT为后神经元接受刺激后发出的信号,具体在巴甫洛夫联想记忆中的表现是分泌唾液。
所述电路具体包括控制模块、运算模块和三个反馈模块,且所述控制模块、运算模块和三个反馈模块位于前后神经元之间,由于在生物上前后神经元之间的部位称为突触,故在本神经形态电路中前-后神经元中间的运算模块、控制模块以及反馈模块可看作生物中的突触,其中:
如图2所示为本发明实施例所述控制模块的结构示意图,所述控制模块用于控制三个前神经元IN1、IN2、IN3的输入信号,接收三个反馈模块发出的反馈信号VF1、VF2、VF3,并得到输入给所述运算模块的三个前向电压Vpre1、Vpre2、Vpre3,其中:
前神经元IN1输入的信号直接接到电阻M1,此时所述运算模块的前向电压Vpre1即为前神经元IN1输入的信号;
前神经元IN1输入的信号和前神经元IN2输入的信号经过与门U4接入双路开关U6的控制端;前神经元IN1输入的信号和经过非门U2的前神经元IN2输入的信号共同接入与门U7;经过非门U1的前神经元IN1输入的信号和前神经元IN2输入的信号接入与门U8;与门U7和与门U8接入或门U9;或门U9接入双路开关U10的控制端,双路开关U10的输出端得到输入给所述运算模块的前向电压Vpre2;
前神经元IN1输入的信号和经过非门U2后前神经元IN2输入的信号共同接入与门U3,与门U3的输出接开关S1的控制正端,开关S1的输出正端接开关S7的输出正端;开关S3的控制正端接与门U4的输出,开关S3的输出正端接双路开关S5的输出正端和开关S7的输出负端;开关S5的输出端得到输入给所述运算模块的前向电压Vpre3;
前神经元IN3输入的信号接开关S2控制正端,开关S2的输出正端接开关S7的输出正端和电阻R2,开关S2的输出负端接电压求和单元SUM1的输出端;
电压求和单元SUM1的输入端分别为接地电压V1和开关S4的输出正端;电压求和单元SUM2的输入端分别为开关S6的输出正端和电压求和单元SUM3的输出端;电压求和单元SUM3的输入端为接地电压V9和开关S11的输出正端;
双路开关U10的上开关接双路开关U5的输出(双路开关U5的两个输出短接),双路开关U10的下开关接双路开关U6的输出(双路开关U6的两个输出短接);双路开关U5的上开关接开关S8输出负端,双路开关U5的下开关接开关S9输出负端;双路开关U6的上开关接电压求和单元SUM2输出端,双路开关U6的下开关接开关S10输出负端;
反馈信号VF3接开关S4和S6的控制正端;反馈信号VF2接开关S7、S8、S9、S10的控制正端;反馈信号VF1接开关S11的控制正端,且经过非门U11后接入开关S5的控制正端;
如图3所示为本发明实施例所述运算模块的结构示意图,在所述运算模块中,输入的前向电压Vpre1为非条件反射信号,作为输出信号OUT1与所述后神经元U12直连;
输入的前向电压Vpre2和Vpre3为条件反射信号,以前向电压Vpre2为例:
首先,所述前向电压Vpre2经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;
运算结果再经过绝对值模块ABS,并将绝对值模块ABS输出的电压在运放A4中与激活电压Vth2进行比较,根据比较结果决定运放A4输出信号OUT2为高电平或低电平,激活电压Vth2是根据单独输入IN2时的(测试)电压,与自定义的遗忘阻值5kΩ的运算比例关系决定的,其中:
当绝对值模块ABS输出的电压小于激活电压Vth2时,运放A4输出信号OUT2为低电平,Vpre2>Vth+=1V(忆阻器M2的正阈值电压),则所述忆阻器M2的阻值下降,即权值增大,这一过程为巴甫洛夫联想记忆中的学习;
当所述忆阻器M2的阻值下降到2kΩ时,定义为学习完成,此时单独向所述前神经元IN2输入信号,得到的前向电压Vpre2再经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;运算结果再经过绝对值模块ABS,此时绝对值模块ABS输出的电压就大于激活电压Vth2,运放A4输出信号OUT2为高电平,则后神经元U12输出为1;
当所述前向电压Vpre2小于忆阻器M2的负阈值电压时,例如Vpre2<Vth-=-1V(忆阻器M2的负阈值电压),忆阻器M2的阻值上升,即权值下降,这一过程为巴甫洛夫联想记忆中的遗忘,当所述忆阻器M2的阻值上升到5kΩ时,定义为遗忘完成(未学习时的遗忘表现为无关联),此时单独向所述前神经元IN2输入信号,得到的前向电压Vpre2再经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;运算结果再经过绝对值模块ABS,此时绝对值模块ABS输出的电压小于激活电压Vth2,运放A4输出信号OUT2为低电平,则后神经元U12输出为0;
所述前向电压Vpre3与所述前向电压Vpre2的处理过程相同。
所述三个反馈模块分别接收由电压自定义模块ABM输出的电压Vf作为输入,将电压Vf与接入的比较电压Vth1、Vth3、Vth4进行比较,根据比较结果输出高电平或低电平的反馈信号VF1、VF2、VF3,并将反馈信号VF1、VF2、VF3输出给所述控制模块;其中,电压自定义模块ABM连接着运放A1的输出和前向电压Vpre2,用于将两个电压进行相关自定义运算后输出电压Vf。
举例来说,如图4所示为本发明实施例所述反馈模块1的结构示意图,在所述三个反馈模块中,以输出反馈信号VF1的反馈模块1为例:
电压自定义模块ABM输出的电压Vf连接到所述反馈模块1的运放A3的负极,和运放A3正极接入的比较电压Vth1构成比较器电路,运放A3的输出接到开关S12的控制正端,开关S12的输出正端接到电压求和单元SUM4的输入端,比较结果经开关S12进入电压求和单元SUM4,在电压求和单元SUM4内和另一定值电压V14一起求和,并将求和结果输出到忆阻器M4的正端(PLUS端),其中:
当电压自定义模块ABM输出的电压Vf>比较电压Vth1时,运放A3输出低电平,开关S12打开,则输出到忆阻器M4正端的RESET电压只有求和后的定值电压V14,本实例中定值电压V14设定为-12V,由于定值电压V14大于忆阻器M4的负阈值电压-12.1V,则忆阻器M4阻值不发生改变,定值电压V14通过由运放A8,电阻R14和忆阻器M4构成的反向运算电路,此时若运放A8的输出电压大于比较电压Vth5,本实例中Vth5设定为6.5V,则运放A9输出反馈信号VF1为低电平,视为无反馈;
当电压自定义模块ABM输出的电压Vf<比较电压Vth1时,运放A3输出高电平,开关S12闭合,则输出到忆阻器M4正端的RESET电压为定值电压V14+另一定值V11=-12.2V,该另一定值V11设定为-0.2V,且小于忆阻器M4的负阈值电压-12.1V,则忆阻器M4的阻值上升,在不到1s的信号时间内阻值上升至0.2kΩ,定值电压V14和V11之和再通过由运放A8,电阻R14和忆阻器M4构成的反向运算电路,若运放A8的输出电压小于比较电压Vth5,则运放A9输出反馈信号VF1为高电平,视为有反馈;
其余两个反馈模块2和3的反馈机制与所述反馈模块1相同。
具体实现中,比较电压Vth1,Vth3,Vth4是根据Vf所反映的忆阻器M2的阻值来设定的;Vth5是根据加到忆阻器M4,经过运放算出的电压来设定的。
具体实现中,所述电路中采用的忆阻器均为阈值型忆阻器,其中:
所述运算模块中采用的忆阻器参数为:初始电阻值Rinit=5kΩ;最大电阻值Roff=8kΩ;最小电阻值Ron=0.1kΩ;正阈值电压Vth+=1V;负阈值电压Vth-=-1V;
所述三个反馈模块中采用的忆阻器参数为:初始电阻值Rinit=0.1kΩ;最大电阻值Roff=0.2kΩ;最小电阻值Ron=0.1kΩ;正阈值电压Vth+=1V;负阈值电压Vth-=-12.1V。
下面以具体的实例对上述神经形态电路的运行过程进行详细说明,在本实例中定义忆阻器阻值初始态的5kΩ为遗忘完成,下降至2kΩ为学习完成,具体过程为:
步骤一:神经元IN1、IN2、IN3分别单独输入信号,观测神经元U12的输出表现;
步骤二:神经元IN1、IN2一起输入刺激进行IN1与IN2之间的学习80s,学习完成后在单独刺激神经元IN2和IN3,观察神经元U12的输出表现;
步骤三:神经元IN1和IN2一起输入刺激加强学习后再单独给神经元IN3输入刺激,循环几次,观察神经元U12的输出表现;
步骤四:单独输入神经元IN1进行F1遗忘,观察忆阻器M2阻值参数,再输入神经元IN2刺激,观察神经元U12输出表现,表明完成遗忘;
步骤五:先同步骤二一样进行80s的学习,观察忆阻器M2阻值参数,发现比步骤二的第一次学习更快,再单独刺激神经元IN2和IN3,观察神经元U12的输出表现;
步骤六:先同步骤三一样,发现完成神经元分化现象的循环周期比步骤三少,即1循环。再单独刺激神经元IN2进行F2遗忘,发现比第一次的F1遗忘需要更长的时间来进行;
步骤七:先同步骤二一样进行80s的学习,观察忆阻器M2阻值参数,发现比步骤五的第二次学习更快,再单独刺激神经元IN2和IN3,观察神经元U12的输出表现;
步骤八:不进行任何刺激,进行160s的自然遗忘时间,刺激神经元IN2,观察神经元U12的输出表现。
当步骤一即测试过程开始时,由于反馈信号VF1=VF2=VF3=0,开关S7、S8打开,神经元IN2和IN3都不会对后神经元U12产生作用,所以OUT端输出为0,证明神经元IN1突触与其余两个突触之间并无联系,即神经元IN1导通至电阻M1,神经元IN2和IN3单独输入的信号都无法传递到后神经元U12。如图5所示为本发明所举实例步骤一执行时的波形示意图,当单独对神经元IN1输入信号时,后神经元U12输出为高电平(逻辑1);但当单独对神经元IN2或IN3输入信号时,后神经元U12并无反应,此时在生物学上并无产生联想记忆。
当步骤二执行,第一次学习,如图6所示为本发明所举实例步骤二执行时的输入波形示意图,在第一个脉冲期间,电压自定义模块ABM的输出电压Vf>比较电压Vth3,反馈VF2输出高电平,使开关S7-S10闭合,神经元IN2的学习电压为V9,神经元IN3的学习电压为V3,由于开关S8-S10控制着忆阻器M2的三类遗忘,所以使得神经元IN2具有遗忘功能。统一进行80s的学习过程,即神经元IN1和IN2进行联想记忆,根据学习的深度我们规定忆阻器M2的阻值下降为2kΩ时学习完成,又根据电压V6和激活电压Vth2确定了M2的阻值上升到为5kΩ时达到遗忘效应,观察忆阻器M2的阻值在61s学习完成(31个脉冲周期)。在80s的学习后,神经元IN2和IN3单独测试一个脉冲,即神经元IN2施加的是V6,神经元IN3施加的是V1,发现神经元U12输出都为1,说明神经元IN1和IN2完成了联想记忆,并且神经元IN3也与IN2完成了条件反射中的泛化。可以在图6中看出:在神经元IN2和IN3单独测试时,忆阻器M2和M3阻值又会上升,对应着学习完成后,开始了遗忘的过程,而在前面80s的学习阶段,开始忆阻器阻值下降很快,越学习到后面下降速率反而变慢了,很好的复合了生物特征。
当步骤三执行,如图7所示为本发明所举实例步骤三执行时的波形示意图,在第一次分化,先刺激神经元IN1和IN2三个脉冲信号加强它们之间的联系,再单独刺激神经元IN3三个脉冲信号,如此循环到第三次,最终在33s处完成神经元IN2和IN3之间的分化。但是在学习过程中,往往一次泛化和分化并不能完全的认知到事情的本质,所以在下次学习时往往还会伴随着刺激的泛化造成认知的错误,不过经过前一次的泛化(学习)与分化,很明显下一次的泛化(学习)与分化需要的时间更少。
不过为了模拟下一次的泛化(学习)和分化,需要先对神经元IN2施加遗忘,即步骤四的操作,这一次先模拟F1遗忘,只对神经元IN1施加刺激,由于记忆间的相互干扰,此时神经元IN2的遗忘电压为V7,IN3的遗忘电压为V2,如图8所示为本发明所举实例步骤四执行的波形示意图,由图8可知:28s超过5kΩ,单独刺激神经元IN2,神经元U12输出为0,表明遗忘完成(14个脉冲周期)。此时电压自定义模块的输出电压Vf<比较电压Vth4,反馈模块3的输出反馈信号VF3为高电平,神经元IN2学习电压变成V9+V5,神经元IN3的学习电压依旧为V3。
如图9所示为本发明所举实例步骤五执行的波形示意图,第二次学习过程依旧是80s的时间,如图9所示在40s时忆阻器M2下降到2kΩ,经历20个周期完成学习,比第一次的31个周期大幅缩短。
如图10所示为本发明所举实例步骤六执行的波形示意图,在第二次学习后,进行第二次分化过程,由于反馈电压VF3输出高电平,此时单独刺激神经元IN3的电压变成V1+V4。此次一个循环完成分化,较第一次的三个循环历时更少,这次只给神经元IN2输入电压,遗忘模式为F2遗忘,神经元IN2的遗忘电压为V6,过程经历了16个周期比第一次更长,在遗忘完成后神经元IN2接着输入4个周期的脉冲信号使得电压自定义模块的输出电压Vf<比较电压Vth1,反馈VF1输出高电平,此时学习电压为V9+V5+V10。
如图11所示为本发明所举实例步骤七执行的波形示意图,第三次学习过程依旧是80s的时间,如图11所示在19s时忆阻器M2下降到2kΩ,经历10个周期完成学习,在进行神经元IN2和IN3的测试时发现,单独刺激神经元IN2,后神经元U12输出高电平,神经元IN3因为反馈VF1的原因使得开关S5打开,即生物行为上表现为彻底地完成了相似刺激间的分化现象。
如图12所示为本发明所举实例步骤八执行的波形示意图,在第三次学习后,进行自然遗忘,无任何刺激,此时电压V8作用到忆阻器M2上,历时160s,在单独刺激神经元IN2,后神经元U12输出电压已经为0(低电平),在图12中也可看出忆阻器M3的阻值一直没有发生变化。
至此,上述神经形态电路的完整运行过程结束,实现了预期中的功能。
值得注意的是,本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (5)
1.一种联想记忆中多次泛化和分化的神经形态电路,其特征在于,所述电路包括三个输入信号端IN1、IN2、IN3,一个总输出信号OUT,其中:
输入信号端IN1、IN2、IN3定义为三个前神经元,前神经元IN1对应巴甫洛夫联想记忆中的非条件反射信号,前神经元IN2和IN3对应条件反射信号;
所述输入信号端IN1、IN2、IN3输入的信号经处理后得到对应的三个输出信号OUT1、OUT2、OUT3,三个输出信号OUT1、OUT2、OUT3再经或门U12后得到总输出信号OUT;其中,所述或门U12定义为后神经元,所述总输出信号OUT为后神经元接受刺激后发出的信号;
所述电路具体包括控制模块、运算模块和三个反馈模块,且所述控制模块、运算模块和三个反馈模块位于前后神经元之间,其中:
所述控制模块用于控制三个前神经元IN1、IN2、IN3的输入信号,接收三个反馈模块发出的反馈信号VF1、VF2、VF3,并得到输入给所述运算模块的三个前向电压Vpre1、Vpre2、Vpre3;
所述运算模块接收来自所述控制模块输入的三个前向电压Vpre1、Vpre2、Vpre3,并分别对所述前向电压Vpre1、Vpre2、Vpre3处理后得到三个输出信号OUT1、OUT2、OUT3;
所述三个反馈模块分别接收由电压自定义模块ABM输出的电压Vf作为输入,将电压Vf与接入的比较电压Vth1进行比较,根据比较结果输出高电平或低电平的反馈信号VF1、VF2、VF3,并将反馈信号VF1、VF2、VF3输出给所述控制模块;其中,电压自定义模块ABM连接着运放A1的输出和前向电压Vpre2,用于将两个电压进行相关自定义运算后输出电压Vf。
2.根据权利要求1所述联想记忆中多次泛化和分化的神经形态电路,其特征在于,在所述控制模块中:
前神经元IN1输入的信号直接接到电阻M1,此时所述运算模块的前向电压Vpre1即为前神经元IN1输入的信号;
前神经元IN1输入的信号和前神经元IN2输入的信号经过与门U4接入双路开关U6的控制端;前神经元IN1输入的信号和经过非门U2的前神经元IN2输入的信号共同接入与门U7;经过非门U1的前神经元IN1输入的信号和前神经元IN2输入的信号接入与门U8;与门U7和与门U8接入或门U9;或门U9接入双路开关U10的控制端,双路开关U10的输出端得到输入给所述运算模块的前向电压Vpre2;
前神经元IN1输入的信号和经过非门U2后前神经元IN2输入的信号共同接入与门U3,与门U3的输出接开关S1的控制正端,开关S1的输出正端接开关S7的输出正端;开关S3的控制正端接与门U4的输出,开关S3的输出正端接双路开关S5的输出正端和开关S7的输出负端;开关S5的输出端得到输入给所述运算模块的前向电压Vpre3;
前神经元IN3输入的信号接开关S2控制正端,开关S2的输出正端接开关S7的输出正端和电阻R2,开关S2的输出负端接电压求和单元SUM1的输出端;
电压求和单元SUM1的输入端分别为接地电压V1和开关S4的输出正端;电压求和单元SUM2的输入端分别为开关S6的输出正端和电压求和单元SUM3的输出端;电压求和单元SUM3的输入端为接地电压V9和开关S11的输出正端;
双路开关U10的上开关接双路开关U5的输出,双路开关U10的下开关接双路开关U6的输出;双路开关U5的上开关接开关S8输出负端,双路开关U5的下开关接开关S9输出负端;双路开关U6的上开关接电压求和单元SUM2输出端,双路开关U6的下开关接开关S10输出负端;
反馈信号VF3接开关S4和S6的控制正端;反馈信号VF2接开关S7、S8、S9、S10的控制正端;反馈信号VF1接开关S11的控制正端,且经过非门U11后接入开关S5的控制正端。
3.根据权利要求1所述联想记忆中多次泛化和分化的神经形态电路,其特征在于,在所述运算模块中:
输入的前向电压Vpre1为非条件反射信号,作为输出信号OUT1与所述后神经元U12直连;
输入的前向电压Vpre2和Vpre3为条件反射信号,以前向电压Vpre2为例:
首先,所述前向电压Vpre2经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;
运算结果再经过绝对值模块ABS,并将绝对值模块ABS输出的电压在运放A4中与激活电压Vth2进行比较,根据比较结果决定运放A4输出信号OUT2为高电平或低电平,其中:
当绝对值模块ABS输出的电压小于激活电压Vth2时,运放A4输出信号OUT2为低电平,则所述忆阻器M2的阻值下降,即权值增大,这一过程为巴甫洛夫联想记忆中的学习;
当所述忆阻器M2的阻值下降到2kΩ时,定义为学习完成,此时单独向所述前神经元IN2输入信号,得到的前向电压Vpre2再经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;运算结果再经过绝对值模块ABS,此时绝对值模块ABS输出的电压就大于激活电压Vth2,运放A4输出信号OUT2为高电平,则后神经元U12输出为1;
当所述前向电压Vpre2小于忆阻器M2的负阈值电压时,忆阻器M2的阻值上升,即权值下降,这一过程为巴甫洛夫联想记忆中的遗忘,当所述忆阻器M2的阻值上升到5kΩ时,定义为遗忘完成,此时单独向所述前神经元IN2输入信号,得到的前向电压Vpre2再经过由忆阻器M2、电阻R7和运放A1构成的反向运算电路;运算结果再经过绝对值模块ABS,此时绝对值模块ABS输出的电压小于激活电压Vth2,运放A4输出信号OUT2为低电平,则后神经元U12输出为0;
所述前向电压Vpre3与所述前向电压Vpre2的处理过程相同。
4.根据权利要求1所述联想记忆中多次泛化和分化的神经形态电路,其特征在于,在所述三个反馈模块中,以输出反馈信号VF1的反馈模块1为例:
电压自定义模块ABM输出的电压Vf连接到所述反馈模块1的运放A3的负极,和运放A3正极接入的比较电压Vth1构成比较器电路,运放A3的输出接到开关S12的控制正端,开关S12的输出正端接到电压求和单元SUM4的输入端,比较结果经开关S12进入电压求和单元SUM4,在电压求和单元SUM4内和另一定值电压V14一起求和,并将求和结果输出到忆阻器M4的正端,其中:
当电压自定义模块ABM输出的电压Vf>比较电压Vth1时,运放A3输出低电平,开关S12打开,则输出到忆阻器M4正端的RESET电压只有求和后的定值电压V14,由于该定值电压V14大于忆阻器M4的负阈值电压,则忆阻器M4阻值不发生改变,定值电压V14通过由运放A8,电阻R14和忆阻器M4构成的反向运算电路,此时若运放A8的输出电压大于比较电压Vth5,则运放A9输出反馈信号VF1为低电平,视为无反馈;
当电压自定义模块ABM输出的电压Vf<比较电压Vth1时,运放A3输出高电平,开关S12闭合,则输出到忆阻器M4正端的RESET电压为定值电压V14和另一定值V11之和,且小于忆阻器M4的负阈值电压,则忆阻器M4的阻值上升,定值电压V14和V11之和通过由运放A8,电阻R14和忆阻器M4构成的反向运算电路,若运放A8的输出电压小于比较电压Vth5,则运放A9输出反馈信号VF1为高电平,视为有反馈;
其余两个反馈模块2和3的反馈机制与所述反馈模块1相同。
5.根据权利要求1所述联想记忆中多次泛化和分化的神经形态电路,其特征在于,所述电路中采用的忆阻器均为阈值型忆阻器,其中:
所述运算模块中采用的忆阻器参数为:初始电阻值Rinit=5kΩ;最大电阻值Roff=8kΩ;最小电阻值Ron=0.1kΩ;正阈值电压Vth+=1V;负阈值电压Vth-=-1V;
所述三个反馈模块中采用的忆阻器参数为:初始电阻值Rinit=0.1kΩ;最大电阻值Roff=0.2kΩ;最小电阻值Ron=0.1kΩ;正阈值电压Vth+=1V;负阈值电压Vth-=-12.1V。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110684264.3A CN113469348B (zh) | 2021-06-21 | 2021-06-21 | 一种联想记忆中多次泛化和分化的神经形态电路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110684264.3A CN113469348B (zh) | 2021-06-21 | 2021-06-21 | 一种联想记忆中多次泛化和分化的神经形态电路 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113469348A true CN113469348A (zh) | 2021-10-01 |
CN113469348B CN113469348B (zh) | 2024-02-20 |
Family
ID=77868780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110684264.3A Active CN113469348B (zh) | 2021-06-21 | 2021-06-21 | 一种联想记忆中多次泛化和分化的神经形态电路 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113469348B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014187059A1 (zh) * | 2013-05-24 | 2014-11-27 | 北京大学 | 基于阻变忆阻器的时间关联学习神经元电路及其实现方法 |
CN109002647A (zh) * | 2018-08-17 | 2018-12-14 | 郑州轻工业学院 | 一种具有延时学习功能的忆阻联想记忆神经网络电路 |
CN110110840A (zh) * | 2019-04-22 | 2019-08-09 | 中国地质大学(武汉) | 一种基于忆阻神经网络的联想记忆情感识别电路 |
WO2020052342A1 (zh) * | 2018-09-11 | 2020-03-19 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
CN110909860A (zh) * | 2018-09-14 | 2020-03-24 | 华为技术有限公司 | 神经网络参数初始化的方法和装置 |
-
2021
- 2021-06-21 CN CN202110684264.3A patent/CN113469348B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014187059A1 (zh) * | 2013-05-24 | 2014-11-27 | 北京大学 | 基于阻变忆阻器的时间关联学习神经元电路及其实现方法 |
CN109002647A (zh) * | 2018-08-17 | 2018-12-14 | 郑州轻工业学院 | 一种具有延时学习功能的忆阻联想记忆神经网络电路 |
WO2020052342A1 (zh) * | 2018-09-11 | 2020-03-19 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
CN110909860A (zh) * | 2018-09-14 | 2020-03-24 | 华为技术有限公司 | 神经网络参数初始化的方法和装置 |
CN110110840A (zh) * | 2019-04-22 | 2019-08-09 | 中国地质大学(武汉) | 一种基于忆阻神经网络的联想记忆情感识别电路 |
Non-Patent Citations (2)
Title |
---|
张晨曦;陈艳;仪明东;朱颖;李腾飞;刘露涛;王来源;解令海;黄维;: "基于忆阻器模拟的突触可塑性的研究进展", 中国科学:信息科学, no. 02, 20 February 2018 (2018-02-20) * |
朱航涛;王丽丹;段书凯;杨婷;: "基于神经元晶体管和忆阻器的Hopfield神经网络及其在联想记忆中的应用", 西南大学学报(自然科学版), no. 02, 22 January 2018 (2018-01-22) * |
Also Published As
Publication number | Publication date |
---|---|
CN113469348B (zh) | 2024-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9418331B2 (en) | Methods and apparatus for tagging classes using supervised learning | |
CN110110840B (zh) | 一种基于忆阻神经网络的联想记忆情感识别电路 | |
KR102313075B1 (ko) | 인공 뉴런 및 멤리스터를 갖는 장치 | |
Chen et al. | Real-time simulation of biologically realistic stochastic neurons in VLSI | |
US20200167638A1 (en) | Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique | |
Milo et al. | Attractor networks and associative memories with STDP learning in RRAM synapses | |
KR20160084401A (ko) | 스파이킹 뉴럴 네트워크들에서 리플레이를 사용한 시냅스 학습의 구현 | |
US20190012597A1 (en) | Method and A System for Creating Dynamic Neural Function Libraries | |
CA2921831A1 (en) | Methods and apparatus for implementation of group tags for neural models | |
CA2926649A1 (en) | Evaluation of a system including separable sub-systems over a multidimensional range | |
CN114925818A (zh) | 一种模拟生物学习的忆阻层级记忆神经网络电路 | |
US9542645B2 (en) | Plastic synapse management | |
CA2926034A1 (en) | Dynamically assigning and examining synaptic delay | |
Malavena et al. | Unsupervised learning by spike-timing-dependent plasticity in a mainstream NOR flash memory array—part II: array learning | |
CN114169511A (zh) | 一种基于实物忆阻器的联想记忆电路及方法 | |
CN113469348A (zh) | 一种联想记忆中多次泛化和分化的神经形态电路 | |
Chen et al. | Memristive neural network circuit of operant conditioning with reward delay and variable punishment intensity | |
Chang et al. | Interchangeable Hebbian and anti-Hebbian STDP applied to supervised learning in spiking neural network | |
Shang et al. | A memristor-based generalization and differentiation circuit design and the application in recognition | |
WO2014197175A2 (en) | Efficient implementation of neural population diversity in neural system | |
Huayaney et al. | A VLSI implementation of a calcium-based plasticity learning model | |
Nease et al. | STDP-enabled learning on a reconfigurable neuromorphic platform | |
Feng et al. | Design of Winner-Takes-All Circuits in Competitive Neural Networks | |
Zhang et al. | Brain-Inspired Model and Neuromorphic Circuit Implementation for Feature-Affective Associative Memory Network | |
CN113408719B (zh) | 一种基于非熔融态相变器件的多级联想记忆电路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |