CN113658493B - 一种用于模拟联想记忆的强化学习仿生电路架构 - Google Patents
一种用于模拟联想记忆的强化学习仿生电路架构 Download PDFInfo
- Publication number
- CN113658493B CN113658493B CN202110962416.1A CN202110962416A CN113658493B CN 113658493 B CN113658493 B CN 113658493B CN 202110962416 A CN202110962416 A CN 202110962416A CN 113658493 B CN113658493 B CN 113658493B
- Authority
- CN
- China
- Prior art keywords
- operational amplifier
- resistor
- voltage
- gate
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 title claims abstract description 123
- 239000011664 nicotinic acid Substances 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000002787 reinforcement Effects 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000000946 synaptic effect Effects 0.000 claims abstract description 16
- 210000002364 input neuron Anatomy 0.000 claims abstract description 15
- 210000000225 synapse Anatomy 0.000 claims description 31
- 230000000638 stimulation Effects 0.000 claims description 13
- 230000004069 differentiation Effects 0.000 claims description 11
- 206010052804 Drug tolerance Diseases 0.000 claims description 4
- 230000026781 habituation Effects 0.000 claims description 3
- 239000003990 capacitor Substances 0.000 claims description 2
- 238000004088 simulation Methods 0.000 abstract description 19
- 238000005728 strengthening Methods 0.000 abstract description 9
- 230000002452 interceptive effect Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 235000013599 spices Nutrition 0.000 description 8
- 238000012545 processing Methods 0.000 description 4
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000035045 associative learning Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000005281 excited state Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000021363 nonassociative learning Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 208000000044 Amnesia Diseases 0.000 description 1
- 208000026139 Memory disease Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006984 memory degeneration Effects 0.000 description 1
- 208000023060 memory loss Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 125000002924 primary amino group Chemical group [H]N([H])* 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
- G09B23/06—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics
- G09B23/18—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for electricity or magnetism
- G09B23/183—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for physics for electricity or magnetism for circuits
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Computational Mathematics (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Theoretical Computer Science (AREA)
- Networks Using Active Elements (AREA)
- Amplifiers (AREA)
Abstract
本发明公开一种用于模拟联想记忆的强化学习仿生电路架构，所述电路架构包括MUX，所述MUX上连接有突触模块、控制模块和输出模块，突触模块包括用于模拟输入神经元的方波电压信号，方波电压信号为2n个，其中，n为大于1的整数，控制模块包括控制信号，控制信号为可以为n个，n和控制信号可强化形成2n种不同类型的强化控制信号代表学习方法强化的人群刺激进入2n个突触模块。本发明强化学习仿生电路架构是基于巴甫洛夫联想记忆以及非联想记忆的，它更真实地模拟了人类记忆的特点，这与我们人类的记忆是一致的；通过输入模拟输入神经元的方波电压信号，通过设置控制信号模拟学习方法强化的人群，能够更加全面的模拟人的学习过程。
Description
技术领域
本发明涉及一种强化学习仿生领域，具体是一种用于模拟联想记忆的强化 学习仿生电路架构。
背景技术
1971年，Leonchua以电荷和磁通之间的关系为出发点，提出了第四个基本 电路元件的假说。然而，在很长一段时间里，并没有合适的模型。2008年，惠 普实验室的Crossbarlatch和他的团队做出了第一个纳米级的记忆体器件，引 起了记忆体研究的热潮。纳米记忆体器件的出现有可能实现非挥发性随机存取 存储器。进一步说，基于记忆体的RAM(随机存取存储器)在集成度、功耗和读 写速度上都优于传统的RAM。
传统的仿生手段不能很好的克服生物学中的遗忘问题，且现有的仿生电路 只能实现部分仿生功能如联想记忆，非联想记忆，泛化和分化、学习和遗忘其 中一个功能，交互式学习和强化学习的生物学现象未能在电路中很好的诠释； 个体差异化的现象会改变学习效率的问题在仿生电路中难以实现。
发明内容
本发明的目的在于提供一种用于模拟联想记忆的强化学习仿生电路架构， 该强化学习仿生电路架构是基于巴甫洛夫联想记忆以及非联想记忆的，它更真 实地模拟了人类记忆的特点，这与我们人类的记忆是一致的；通过输入模拟输 入神经元的方波电压信号，通过设置控制信号模拟学习方法强化的人群，能够 更加全面的模拟人的学习过程。
本发明的目的可以通过以下技术方案实现：
一种用于模拟联想记忆的强化学习仿生电路架构，所述电路架构包括MUX (多路选择器)，MUX为仿生电路架构的逻辑控制层，所述MUX上连接有突触模 块、控制模块和输出模块，突触模块包括用于模拟输入神经元的方波电压信号， 方波电压信号为2n个，其中，n为大于1的整数，控制模块包括控制信号，控制 信号为可以为n个，n和控制信号可强化形成2n种不同类型的强化控制信号代表 学习方法强化的人群刺激进入2n个突触模块。
2n个所述方波信号分别表示为
分别 代表不同的学习方法施加在突触上的刺激。
进一步的，所述MUX的输出端包括第一输出端、第二输出端、...、第2n输出端，第一输出端、第二输出端、...、第2n输出端的电压分别表示为
第一模块、第二模块和第三模块均n个，第一模块是模拟习 惯化和去习惯化过程的非关联学习电路。
所述第一模块只支持单一刺激输入，第三模块是关联学习模块，模拟泛化 和分化过程，第二模块是输出接收模块，第二模块通过改变其自身电路的阈值 电压来完成4-6V脉冲刺激的输出。
2n个所述第一模块分别连接在MUX的2n个输出端。
所述第三模块包括2n个输入端和一个输出端，第三模块的2n个输入端分别 连接在MUX的2n个输出端，2n个第三模块的输出端分别连接2n个第一模块的输 出端。
所述第三模块和第一模块的输出端均连接第二模块的输入端，第二模块的 输出端电压分别为Vp1、Vp2、Vp3和Vp4。
进一步的，所述第一模块包括第十四与门、第十五非门、第十七与门和第 十六或门，第十四与门上连接有第一输入支路和第二输入支路。
所述第一输入支路包括第十运放，第十运放的正相输入端连接MUX的输出 端，反相输入端连接电压为V10的脉冲电压源。
所述第二输入支路包括第十一运放，第十一运放的正相输入端连接MUX的 输出端，反相输入端接地，第二输入支路的正相输入端与输出端之间连接有第 三十电阻，第二输入支路的输出端与第一输入支路的输出端分别连接第十四与 门的两个输入端。
所述第十四与门的输出端连接第十五非门的输入端，第一输入支路和第二 输入支路的输出端分别连接第十六或门的输入端，第十五非门和第十六或门的 输出端分别连接第十七与门的两个输入端，第十七与门的输出端连接有输出支 路。
所述输出支路包括依次相连的负反馈运放电路、比值运放电路、第一忆阻 器和阈值运放电路。
所述负反馈运放电路包括第十二运放，第十二运放的反相输入端连接第三 十二电阻的一端，第三十二电阻的另一端连接第十七与门的输出端，第十二运 放的正相输入端连接有接地的第三十三电阻，第三十三电阻上并联有电压为V12的直流电源与第三十九电阻的串联电路，第十七与门的输出端与第十二运放的 输出端之间连接有第三十一电阻，第三十一电阻上的反馈电压为0.4-0.6V。
所述比值运放电路包括第十三运放，第十三运放的反相输入端连接有第三 十五电阻，第十三运放的正相输入端接地，第十三运放的反相输入端与输出端 之间连接有第三十六电阻，可通过调节第三十六电阻与第三十五电阻的比值， 调节比值运放电路的输出电压。
所述阈值运放电路包括第十四运放，第十四运放的正相输入端连接第十三 运放输出端，第十四运放的反相输入端接地，第十四运放的输出端连接第三十 七电阻的一端，第三十七电阻的另一端为第一模块的输出端。
所述第十运放、第十一运放、第十二运放和第十三运放的正电源端和负电 源端均是连接有电压为VCC的直流电源，第六运放的正电源端连接有电压为V12的直流电源，负电源端接地。
进一步的，所述第三十电阻R30-第三十九电阻R39的阻值均为1KΩ，第十运 放A10-第十六运放A16的型号均为LM675，VCC＝30V，V10为5V的脉冲电压， V12＝0.5V，代表学习过程中的干扰。
进一步的，所述第三模块包括第一逻辑选择电路,第二逻辑选择电路、第三 逻辑选择电路和第十三或门，第一逻辑选择电路上连接有第一分支电路，第二 逻辑选择电路上连接有第二分支电路，第三逻辑选择电路上连接有第三分支电 路，第一分支电路、第二分支电路和第三分支电路的输出端分别连接第十三或 门的三个输入端，第十三或门的输出端与MUX的第一输出端之间连接有第一电 阻。
所述第一逻辑选择电路包括第一与门、第二与门、第三与门、第四或门、 第五或门、第一压控开关和第二压控开关，MUX的第一输出端和第二输出端分别 连接第一与门的两个输入端，MUX的第一输出端和第三输出端分别连接第二与门 的两个输入端，MUX的第一输出端和第四输出端分别连接第三与门的两个输入端。
所述第一与门的输出端、第二与门的输出端和第三与门的输出端分别连接 第四或门的三个输入端，MUX的第二输出端和第三输出端和第四输出端分别连接 第五或门的三个输入端，第四或门的输出端连接第一压控开关的输入端，第五 或门的输出端连接第二压控开关的输入端，第一压控开关和第二压控开关的输 出端均连接在第一分支电路的输入端。
所述第二逻辑选择电路包括第六与门、第七与门、第八与门、第九或门、 第十或门、第三压控开关和第四压控开关，第六与门的三个输入端、第七与门 的三个输入端和第八与门的三个输入端均是连接MUX的第一输出端、第二输出 端和第三输出端，MUX的第二输出端、第三输出端和第四输出端分别连接第十或 门的三个输入端。
所述第九或门的输出端连接第三压控开关的输入端，第十或门的输出端连 接第四压控开关的输入端，第三压控开关和第四压控开关的输出端均连接在第 二分支电路的输入端。
所述第三逻辑选择电路包括第十一与门、第十二或门、第五压控开关和第 六压控开关，MUX的第二输出端、第二输出端、第三输出端和第四输出端分别连 接第十一与门的四个输入端，MUX的共三个输入端，其中两个输入端均连接第四 输出端连接第二输入端，另外一个输入端连接MUX的第四输出端。
所述第十一与门的输出端连接第五压控开关的输入端，第十二或门的输出 端连接第六压控开关的输入端，第五压控开关和第六压控开关的输出端均连接 在第三分支电路的输入端。
进一步的，所述第一分支电路包括第一放大器电路、第二放大器电路、第 二忆阻器和第三放大器电路，第一放大器电路包括第一运放，第一运放的正相 输入端以及正相输入端与输出端之间均连接有第二电阻，第一运放的反相输入 端接地。
所述第二放大器电路包括第二运放，第二运放的正相输入端连接有第三电 阻与第六电阻的串联支路，第二运放的反相输入端连接有电压为的直流电源与 第五电阻的串联支路，第二运放的反相输入端接地。
所述第二运放的输出端连接有电压为的直流电源，第二运放A2的输出端连 接有第四电阻，第四电阻的一端与第二运放的输出端相连，另一端连接在第三 电阻与第六电阻之间。
所述第三放大器电路包括第三运放，第三运放的正相输入端连接有第八电 阻，第三运放的反相输入端连接有第九电阻与电压为Vc的直流电源的串联支路， 第三运放的反相输入端接地，第三运放的输出端连接有第七电阻，第七电阻的 一端连接在第三运放的输出端，另一端连接在第八电阻与第二忆阻器之间。
所述第二分支电路和第三分支电路均与第一分支电路的结构相同，其区别 在于，第一分支电路中的第一运放在第二分支电路中替换为第四运放，在第三 分支电路中替换为第七运放。
所述第一分支电路中的第二运放在第二分支电路中替换为第五运放，在第 三分支电路中替换为第八运放，第一分支电路中的第三运放在第二分支电路中 替换为第六运放，在第三分支电路中替换为第九运放。
所述第一分支电路中的第二电阻在第二分支电路中替换为第十电阻，在第 三分支电路中替换为第十八电阻，第一分支电路中的第四电阻在第二分支电路 中替换为第十二电阻，在第三分支电路中替换为第二十电阻。
所述第一分支电路中的第三电阻在第二分支电路中替换为第十一电阻，在 第三分支电路中替换为第十九电阻，第一分支电路中的第六电阻在第二分支电 路中替换为第十三电阻，在第三分支电路中替换为第二十一电阻。
所述第一分支电路中的第五电阻在第二分支电路中替换为第十四电阻，在 第三分支电路中替换为第二十二电阻，第一分支电路中的第七电阻在第二分支 电路中替换为第十五电阻，在第三分支电路中替换为第二十三电阻。
所述第一分支电路中的第八电阻在第二分支电路中替换为第十六电阻，在 第三分支电路中替换为第二十四电阻，第一分支电路中的第九电阻在第二分支 电路中替换为第十七电阻，在第三分支电路中替换为第二十五电阻。
所述第一分支电路中的第一压控开关和第二压控开关，在第二分支电路中 替换为第三压控开关和第四压控开关，在第三分支电路中替换为第五压控开关 和第六压控开关。
进一步的，所述第一压控开关的正电源端连接电压为V1的脉冲电压源，负 电源端接地，第二压控开关的正电源端连接电压为V2的脉冲电压源，负电源端 接地，第三压控开关的正电源端连接电压为V3的脉冲电压源，负电源端接地， 第四压控开关的正电源端连接电压为V4的脉冲电压源，负电源端接地，第五压 控开关的正电源端连接电压为V5的脉冲电压源，负电源端接地，第六压控开关 的正电源端连接电压为V6的脉冲电压源，负电源端接地。
进一步的，所述第二模块包括依次相连的第四放大器电路、第五放大器电 路和第六放大器电路。
所述第四放大器电路和第五放大器电路均与比值运放电路的结构相同，其 区别在于，第四放大器电路将比值运放电路中的第十三运放替换为第十五运放、 第三十五电阻替换为第四十一电阻、第三十六电阻R36替换为第四十电阻。
所述第五放大器电路将比值运放电路中的第十三运放替换为第十六运放、 第三十五电阻替换为第四十二电阻、第三十六电阻替换为第四十三电阻。
所述第六放大器电路与阈值运放电路的结构相同，其区别在于，第六放大 器电路将阈值运放电路中的第十四运放替换为第十七运放，第三十七电阻替换 为第四十四电阻，第六放大器电路中第十四运放的正电源端连接有电压为Vd的 脉冲电压源，负电源端接地。
进一步的，所述第一压控开关-第六压控开关均为3V的电压控制开关，V1-V6均为5V脉冲电压。
所述第三模块中的所有电阻均为1KΩ。
所述Va＝Vb＝Vc＝0.5V。
所述第一分支电路、第二分支电路和第三分支电路中的第二忆阻器的参数 不同。
所述第一运放-第九运放的型号均为LM675。
所述第二模块中所有的电阻均为1KΩ；
所述Vd为5V的脉冲电压。
所述第十五运放-第十七运放的型号均为LM675。
进一步的，所述V1、N2、N3、N4分别代表听、说、读、写四种学习方法施 加在突触上的刺激。
本发明的有益效果：
1、本发明强化学习仿生电路架构是基于巴甫洛夫联想记忆以及非联想记 忆的，它更真实地模拟了人类记忆的特点，这与我们人类的记忆是一致的，该 仿生电路不仅能够模仿非联想记忆，还能模仿泛化和分化、学习和遗忘其中一 个功能，能在电路中很好的诠释交互式学习和强化学习的生物学现象；能够模 拟个体差异化的现象改变学习效率的问题；
2、本发明强化学习仿生电路架构通过输入模拟输入神经元的方波电压信 号，通过设置控制信号模拟学习方法强化的人群，能够更加全面的模拟人的学 习过程。
附图说明
下面结合附图对本发明作进一步的说明。
图1是本发明强化学习硬件架构的电路图；
图2是本发明第一模块电路结构图；
图3是本发明第二模块电路结构图；
图4是本发明第三模块电路结构图；
图5是本发明强化学习仿生电路架构Spice模拟原理图；
图6是本发明强化学习仿生电路架构Spice模拟原理图；
图7是本发明强化学习仿生电路架构Spice模拟原理图；
图8是本发明强化学习仿生电路架构Spice模拟原理图；
图9是本发明强化学习仿生电路架构Spice模拟原理图；
图10是本发明强化学习仿生电路架构Spice模拟原理图；
图11是本发明step4-step6的电路Spice模拟图；
图12是本发明step12-step16的电路Spice模拟图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是 全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
一种用于模拟联想记忆的强化学习仿生电路架构，所述电路架构包括MUX， MUX为仿生电路架构的逻辑控制层，MUX上连接有突触模块、控制模块和输出模 块，突触模块包括可输入用于模拟输入神经元的方波电压信号，方波电压信号 为2n个，其中，n为大于1的整数，控制模块包括控制信号，控制信号为可以为 n个，n个控制信号可强化形成2n种不同类型的强化控制信号代表学习方法强化 的人群刺激进入2n个突触模块。
MUX包括处理层，处理层包括四个型号为ch444的开关芯片。
2n个所述方波信号分别表示为
分别 代表不同的学习方法施加在突触上的刺激。
其中，N1、N2、N3、N4可以分别代表听、说、读、写四种学习方法施加在 突触上的刺激。
控制模块包括控制信号，控制信号为可以为n个，本示例中，以两个控制 信号为例进行说明，两个控制信号分别为表示为D0和D1，D0和D1组合可以形成 四种不同类型的强化控制信号，四种强化控制信号分别代表四种学习方法强化 的人群，刺激进入四个突触模块。
MUX的输出端包括第一输出端、第二输出端、...、第2n输出端，第一输出 端、第二输出端、...、第2n输出端的电压分别表示为
第一模块one、第二模块two和第三模块tr均n个，第一模块one是模拟习惯 化和去习惯化过程的非关联学习电路；
所述第一模块one只支持单一刺激输入，第三模块tr是关联学习模块，模 拟泛化和分化过程，第二模块two是输出接收模块，第二模块two通过改变其 自身电路的阈值电压来完成5V脉冲刺激的输出。
2n个第一模块one的输入端分别连接MUX的2n个输出端，第一模块one的 输出端信号为Vout。
第三模块tr包括2n个输入端和一个输出端，第三模块tr的2n个输入端分 别连接在MUX的2n个输出端，2n个第三模块tr的输出端分别连接2n个第一模块 one的输出端。
第三模块tr和第一模块one的输出端均连接第二模块two的输入端，第二 模块two的输出端电压分别为Vp1、Vp2、Vp3和Vp4。
如图2所示，第一模块one包括第十四与门U14、第十五非门U15、第十七 与门U17和第十六或门U16，第十四与门U14上连接有第一输入支路和第二输入支 路，第一输入支路包括第十运放A10，第十运放A10的正相输入端连接MUX的输出 端，反相输入端连接电压为V10的脉冲电压源。
第二输入支路包括第十一运放A11，第十一运放A11的正相输入端连接MUX 的输出端，反相输入端接地，第二输入支路的正相输入端与输出端之间连接有 第三十电阻R30，第二输入支路的输出端与第一输入支路的输出端分别连接第十 四与门U14的两个输入端。
第十四与门U14的输出端连接第十五非门U15的输入端，第一输入支路和第 二输入支路的输出端分别连接第十六或门U16的输入端，第十五非门U15和第十 六或门U16的输出端分别连接第十七与门U17的两个输入端，第十七与门U17的输 出端连接有输出支路。
输出支路包括依次相连的负反馈运放电路、比值运放电路、第一忆阻器M1和阈值运放电路。
负反馈运放电路包括第十二运放A12，第十二运放A12的反相输入端连接第三 十二电阻R32的一端，第三十二电阻R32的另一端连接第十七与门U17的输出端， 第十二运放A12的正相输入端连接有接地的第三十三电阻R33，第三十三电阻R33上并联有电压为V12的直流电源与第三十九电阻R39的串联电路，第十七与门U17的输出端与第十二运放A12的输出端之间连接有第三十一电阻R31，第三十一电 阻R31上的反馈电压为0.5V。
比值运放电路包括第十三运放A13，第十三运放A13的反相输入端连接有第三 十五电阻R35，第十三运放A13的正相输入端接地，第十三运放A13的反相输入端 与输出端之间连接有第三十六电阻R36，可通过调节第三十六电阻R36与第三十 五电阻R35的比值，调节比值运放电路的输出电压。
阈值运放电路包括第十四运放A14，第十四运放A14的正相输入端连接第十三 运放A13输出端，第十四运放A14的反相输入端接地，第十四运放A14的输出端连 接第三十七电阻R37的一端，第三十七电阻R37的另一端为第一模块one的输出 端。
第十运放A10、第十一运放A11、第十二运放A12和第十三运放A13的正电源端 和负电源端均是连接有电压为VCC的直流电源，第六运放A6的正电源端连接有 电压为V12的直流电源，负电源端接地。
第三十电阻R30-第三十九电阻R39的阻值均为1KΩ，第十运放A10-第十六运 放A16的型号均为LM675，VCC＝30V，V10为5V的脉冲电压，V12＝0.5V，代表学习 过程中的干扰。
第一模块one是根据认知神经学中对脑突触的研究设计的，四个第一模块 one代表脑突触的四个不同的敏感度，不同的敏感度代表了学习效率的差异，这 些差异由学者参数S的不同值组成的失忆突触表示，模拟遗忘过程。
学者参数S＝1,S＝0.5,S＝0.3和S＝0.1，分别用于代表学习效率差异和不同强化类型的四个分支，由四个第一模块one组成，每个第一模块one可以单独执 行非关联学习功能，具体分析和模拟如下：
step1：将1个周期的方波信号传递给一个刺激，模拟非联想记忆的短期习 惯化过程，得出：
VMi＝VA13＝-4.5V
其中，i＝1、2、3、4，VA10、VA11、VA12、VA13和VA14分别为第十运放 A10、第十一运放A11、第十二运放A12、第十三运放A13和第十四运放A14的输出 电压，VMi为第一忆阻器M1的输出电压值，k为迁移常量，Ron为第一忆阻器M1能达到的最大电阻值，Roff为第一忆阻器M1能达到的最小电阻值，M1max为80K Ω。
step2:突触模块输入三周期脉冲模拟长期习惯阶段，得出：
VM1i＝VA13＝-4.5V
Vout→1
其中，M1forget为20kΩ。
step3：停止输入更多的刺激，进入了去习惯化阶段
VNi＝0
M1i→M1min≈0.1K
Vout→0
第一模块one的真值表下表所示：
表1
表中，M11、M12、M13和M14分别表示第一输出端、第二输出端、第三输出 端和第四输出端上连接的第一忆阻器M1的阻值。
如图4所示，第三模块tr包括第一逻辑选择电路,第二逻辑选择电路、第 三逻辑选择电路和第十三或门U13，第一逻辑选择电路上连接有第一分支电路， 第二逻辑选择电路上连接有第二分支电路，第三逻辑选择电路上连接有第三分 支电路，第一分支电路、第二分支电路和第三分支电路的输出端分别连接第十 三或门U13的三个输入端，第十三或门U13的输出端与MUX的第一输出端之间连 接有第一电阻R1。
第一逻辑选择电路包括第一与门U1、第二与门U2、第三与门U3、第四或门U4、 第五或门U5、第一压控开关和第二压控开关，MUX的第一输出端和第二输出端分 别连接第一与门U1的两个输入端，MUX的第一输出端和第三输出端分别连接第二 与门U2的两个输入端，MUX的第一输出端和第四输出端分别连接第三与门U3的 两个输入端。
第一与门U1的输出端、第二与门U2的输出端和第三与门U3的输出端分别连 接第四或门U4的三个输入端，MUX的第二输出端和第三输出端和第四输出端分别 连接第五或门U5的三个输入端，第四或门U4的输出端连接第一压控开关的输入 端，第五或门U5的输出端连接第二压控开关的输入端，第一压控开关和第二压 控开关的输出端均连接在第一分支电路的输入端。
第二逻辑选择电路包括第六与门U6、第七与门U7、第八与门U8、第九或门U9、 第十或门U10、第三压控开关和第四压控开关，第六与门U6的三个输入端、第七 与门U7的三个输入端和第八与门U8的三个输入端均是连接MUX的第一输出端、 第二输出端和第三输出端，MUX的第二输出端、第三输出端和第四输出端分别连 接第十或门U10的三个输入端。
第九或门U9的输出端连接第三压控开关的输入端，第十或门U10的输出端连 接第四压控开关的输入端，第三压控开关和第四压控开关的输出端均连接在第 二分支电路的输入端。
第三逻辑选择电路包括第十一与门U11、第十二或门U12、第五压控开关和 第六压控开关，MUX的第二输出端、第二输出端、第三输出端和第四输出端分别 连接第十一与门U11的四个输入端，MUX的共三个输入端，其中两个输入端均连 接第四输出端连接第二输入端，另外一个输入端连接MUX的第四输出端。
第十一与门U11的输出端连接第五压控开关的输入端，第十二或门U12的输 出端连接第六压控开关的输入端，第五压控开关和第六压控开关的输出端均连 接在第三分支电路的输入端。
第一分支电路包括第一放大器电路、第二放大器电路、第二忆阻器M2和第 三放大器电路，第一放大器电路包括第一运放A1，第一运放A1的正相输入端以 及正相输入端与输出端之间均连接有第二电阻R2，第一运放A1的反相输入端接 地。
第二放大器电路包括第二运放A2，第二运放A2的正相输入端连接有第三电 阻R3与第六电阻R6的串联支路，第二运放A2的反相输入端连接有电压为Va的直 流电源与第五电阻R5的串联支路，第二运放A2的反相输入端接地。
第二运放A2的输出端连接有电压为Vb的直流电源，第二运放A2的输出端连 接有第四电阻R4，第四电阻R4的一端与第二运放A2的输出端相连，另一端连接 在第三电阻R3与第六电阻R6之间。
第三放大器电路包括第三运放A3，第三运放A3的正相输入端连接有第八电 阻R8，第三运放A3的反相输入端连接有第九电阻R9与电压为Vc的直流电源的串 联支路，第三运放A3的反相输入端接地，第三运放A3的输出端连接有第七电阻R7， 第七电阻R7的一端连接在第三运放A3的输出端，另一端连接在第八电阻R8与第 二忆阻器M2之间。
第二分支电路和第三分支电路均与第一分支电路的结构相同，其区别在于， 第一分支电路中的第一运放A1在第二分支电路中替换为第四运放A4，在第三分 支电路中替换为第七运放A7。
第一分支电路中的第二运放A2在第二分支电路中替换为第五运放A5，在第 三分支电路中替换为第八运放A8，第一分支电路中的第三运放A3在第二分支电 路中替换为第六运放A6，在第三分支电路中替换为第九运放A9。
第一分支电路中的第二电阻R2在第二分支电路中替换为第十电阻R10，在第 三分支电路中替换为第十八电阻R18，第一分支电路中的第四电阻R4在第二分支 电路中替换为第十二电阻R12，在第三分支电路中替换为第二十电阻R20。
第一分支电路中的第三电阻R3在第二分支电路中替换为第十一电阻R11，在 第三分支电路中替换为第十九电阻R19，第一分支电路中的第六电阻R6在第二分 支电路中替换为第十三电阻R13，在第三分支电路中替换为第二十一电阻R21。
第一分支电路中的第五电阻R5在第二分支电路中替换为第十四电阻R14，在 第三分支电路中替换为第二十二电阻R22，第一分支电路中的第七电阻R7在第二 分支电路中替换为第十五电阻R15，在第三分支电路中替换为第二十三电阻R23。
第一分支电路中的第八电阻R8在第二分支电路中替换为第十六电阻R16，在 第三分支电路中替换为第二十四电阻R24，第一分支电路中的第九电阻R9在第二 分支电路中替换为第十七电阻R17，在第三分支电路中替换为第二十五电阻R25。
第一分支电路中的第一压控开关和第二压控开关，在第二分支电路中替换 为第三压控开关和第四压控开关，在第三分支电路中替换为第五压控开关和第 六压控开关。
第一压控开关的正电源端连接电压为V1的脉冲电压源，负电源端接地，第 二压控开关的正电源端连接电压为V2的脉冲电压源，负电源端接地，第三压控 开关的正电源端连接电压为V3的脉冲电压源，负电源端接地，第四压控开关的 正电源端连接电压为V4的脉冲电压源，负电源端接地，第五压控开关的正电源 端连接电压为V5的脉冲电压源，负电源端接地，第六压控开关的正电源端连接 电压为V6的脉冲电压源，负电源端接地。
通过设置第三模块tr模拟认知神经学中的强化和互动学习过程，该模块使 用一个具有不同档位参数的氨基电阻模型，多种学习方式的互动学习同时刺激 大脑皮层进入更敏感的突触，完成学习过程，实现强化学习和泛化分化，具体 分析和模拟如下：
step4：输入一个周期为3s的3周期脉冲刺激被用于N1访问的tr模块，模 拟的过程中得出如下参数：
VNi＝V1＝5V
Vout→1
VM2＝(Vb-Vc)＝0V
Vout→0
其中，Vth为阈值电压，RM2为忆阻器M2的阻值，VA1、VA2和VA3分别 为第一运放A1、第二运放A2和第三运放A3的输出电压，VM2为用于N1访问 的tr模块时，第二忆阻器M2的输出电压。
step5：同时对N1和N2施加3周期的脉冲刺激，得出：
VM2＝(VA2+Vb-Vc)＝6.5V
Vout→1
step6：对N2、N3、N4使用相等的脉冲,得出：
Vout→1。
步骤step7-step12分别与步骤step1-step6相同，step13-step16分别与 步骤step1-step4相同。
第三模块tr电路的真值表入下表所示：
表2
表中，M2max＝100KΩ
第二模块two包括依次相连的第四放大器电路、第五放大器电路和第六放 大器电路，如图3所示。
第四放大器电路和第五放大器电路均与比值运放电路的结构相同，其区别 在于，第四放大器电路将比值运放电路中的第十三运放A13替换为第十五运放A15、 第三十五电阻R35替换为第四十一电阻R41、第三十六电阻R36替换为第四十电阻 R40。
第五放大器电路将比值运放电路中的第十三运放A13替换为第十六运放A16、 第三十五电阻R35替换为第四十二电阻R42、第三十六电阻R36替换为第四十三电 阻R43。
第六放大器电路与阈值运放电路的结构相同，其区别在于，第六放大器电 路将阈值运放电路中的第十四运放A14替换为第十七运放A17，第三十七电阻R37替换为第四十四电阻R44，第六放大器电路中第十四运放A14的正电源端连接有 电压为Vd的直流电源，负电源端接地。
第二模块TWO主要作用是对相应的刺激作出反应，如图5所示，其中第十 七运放A17是一个阈值器件，当第十七运放A17的输入电压大于3V时，Ad＝5V， 在输出端有响应。
该电路架构根据不同人的不同学习方法，自发调整学习效率，达到强化学 习的效果，而学习效率的进一步强化是通过多种学习方法的相互作用来实现。
如图8所示，输入神经元的刺激信号可以通过每个模块的处理层直接发送 到不同强度的突触上，并让输入神经元发出输出信号，该过程被称为刺激学习 阶段的方法。
在遗忘阶段，相应突触中的电阻将增加，导致突触输出信号的电压振幅回 到抑制阶段，互动强化学习阶段完成。
在互动学习过程中，学习速度由输入刺激的数量决定，为多种学习方法共 同作用。
个体化差异输入的主要功能是区分四个强化学习个体以确定关联阶段，根 据四个输入信号的状态，个体可以通过逻辑控制层的输入来确定进入哪个强度 的突触。
综上可以看出，个体化差异输入和逻辑控制层共同起到了实现个体化差异 和强化学习的作用。
本实施例所有模拟过程都是由PSPICE实现的，为了便于叙述，所有函数都 被合理地分为两个案例，案例1和案例2的相似之处在于，它们都包含两个学 习阶段，其目的是反映学习率的调整功能。除此之外，两个案例都包含几个测 试阶段，其目的是验证交互式强化学习模型的功能和不同刺激输入后强化学习 的功能变化，这两个案例的区别在于它们涉及不同的学习阶段，案例1实现了 强化学习和个体化差异，而案例2则关注互动强化学习的验证，案例1实现了 强化学习、个体化差异和非关联性学习，而案例2则关注关联性学习的验证。
场景1，如图5所示，该场景包括四种学习方法的刺激和四种不同灵敏度的 突触。在一种学习方法的刺激阶段，突触模块产生一个宽度为1s的5V脉冲， 该脉冲通过突触模块进入处理层处理信号，使相应的神经突触达到兴奋状态。
突触学习完成后，信息由相应的输出端传输，在学习方法的行动阶段，突 触受到学习方法刺激和个体差异的共同刺激，在这个过程中，由于输入神经元 不断发出刺激信号，总有一个突触处于兴奋状态，学习完成后，突触的强度逐 渐增加，输入神经元可以通过单独发射刺激信号来刺激突触，这个阶段相当于 在单一学习方法下实施强化学习和个体化差异。
一个学习方法的刺激阶段，未知的学习刺激单独出现，不同的个体在学习 效率上表现出差异，输入神经元单独发出刺激信号，而其他突触始终处于抑制 状态，学习阶段二是交互式学习阶段，这是一个多种学习方法可以共同工作的 阶段，与第一个学习阶段相比，它需要的时间更少，这与人类的多种学习方法 学习同一事物的速度一致。
在模拟中，输入神经元产生多个输入信号，多个输入突触被激发，然后在 处理层输入相应的突触，输入神经元的输入刺激数量越多，突触强度就会明显 提高，即为强化学习过程。
输入神经元的刺激信号一开始就存在，最后消失，除了在相应的突触处受 到刺激外，突触总是被抑制的，如图5-图9所示，图5表述表示输入的方波信 号，图6-图9分别表示S＝0.1、S＝0.3、S＝0.5和S＝1是第一忆阻器M1的电阻值， 图中的标记点表示学习完成时间点。
从图中可以看出，强化学习完成是由单一学习方法为3.27s到0.24s，而最 快的交互式强化学习时间为0.06s，从图5-图8可以看出在个体化差异下，经 过皮质处理后，不同学习方法实现的强化学习效果，由于输入了一致的电信号 刺激，学习强度和学习时间没有差别。
相比之下，从图7-图9可以看出由交互式学习实现的强化学习的效果，即 使只有两种交互式学习方法，其记忆完成时间也比最敏感的单一学习突触短， 这与神经认知研究的结果一致。从上述模拟可以看出，选择正确的窗口函数模 型是非常重要的，新的窗函数模型由于其强大的灵活性和对突触强度的精确控 制，成为实现人类突触行为交互式强化学习的良好范例。
本实施例在认知神经学中实现了个体化差异、互动学习和强化学习功能， 并改变了学习速率。
一种用于模拟联想记忆的强化学习仿生电路架构模拟联想记忆的泛化实验， 如图10、图11和图12所示，图10是实验的前9s是一个学习过程，期间N1和N2一起被激活，tr模块的第一分支电路的突触权重逐渐增加，由于两个刺激之间 的一些相似因素，N2、N3和N4之间的关系被确立。
当N2被单独激活时，输出端也被激活并产生一个高电平的电压脉冲信号， 当N3和N4分别被激活时，也会产生输出信号，按照step4-step6的分析，仿真 结果如图10所示。
进行了分化形成和测试实验，在长达9s的遗忘过程后，单独对N2的输入没 有反应，图11表示双输入联想存储器的仿真图，step7中输入N2和N3，输出端 没有反应，step8同时输入N1、N2和N3，输出有反应。
9秒的学习过程完成后，step9随机输入N1、N2和N3，输出有响应。step10 是遗忘过程，也就是分化的过程，step11中N2和N3的输入没有反应，表明分化 已经完成。
图12表示三输入联想存储器的模拟图，其实现方式与二输入类似，至此， 模拟全部完成，电路完成了各种功能，如个体化差异、记忆遗忘、非关联学习 和关联学习功能。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例” 等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含 于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表 述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或 者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中 描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明 还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。
Claims (7)
1.一种用于模拟联想记忆的强化学习仿生电路架构，所述电路架构包括MUX，MUX为仿生电路架构的逻辑控制层，其特征在于，所述MUX上连接有突触模块、控制模块和输出模块，突触模块包括用于模拟输入神经元的方波电压信号，方波电压信号为2n个，其中，n为大于1的整数，控制模块包括控制信号，控制信号为可以为n个，n和控制信号可强化形成2n种不同类型的强化控制信号代表学习方法强化的人群刺激进入2n个突触模块；
2n个所述方波信号分别表示为N1、N2、...、N2 n,N1、N2、...、N2 n分别代表不同的学习方法施加在突触上的刺激；
所述MUX的输出端包括第一输出端、第二输出端、...、第2n输出端，第一输出端、第二输出端、...、第2n输出端的电压分别表示为VN1、VN2、...、VN2n，第一模块(one)、第二模块(two)和第三模块(tr)均n个，第一模块(one)是模拟习惯化和去习惯化过程的非关联学习电路；
所述第一模块(one)只支持单一刺激输入，第三模块(tr)是关联学习模块，模拟泛化和分化过程，第二模块(two)是输出接收模块，第二模块(two)通过改变其自身电路的阈值电压来完成4-6V脉冲刺激的输出；
2n个所述第一模块(one)分别连接在MUX的2n个输出端，第一模块one的输出端信号为Vout；
所述第三模块(tr)包括2n个输入端和一个输出端，第三模块(tr)的2n个输入端分别连接在MUX的2n个输出端，2n个第三模块(tr)的输出端分别连接2n个第一模块(one)的输出端；
所述第三模块(tr)和第一模块(one)的输出端均连接第二模块(two)的输入端，第二模块(two)的输出端电压分别为Vp1、Vp2、Vp3和Vp4；
所述第一模块(one)包括第十四与门(U14)、第十五非门(U15)、第十七与门(U17)和第十六或门(U16)，第十四与门(U14)上连接有第一输入支路和第二输入支路；
所述第一输入支路包括第十运放(A10)，第十运放(A10)的正相输入端连接MUX的输出端，反相输入端连接电压为V10的脉冲电压源；
所述第二输入支路包括第十一运放(A11)，第十一运放(A11)的正相输入端连接MUX的输出端，反相输入端接地，第二输入支路的正相输入端与输出端之间连接有第三十电阻(R30)，第二输入支路的输出端与第一输入支路的输出端分别连接第十四与门(U14)的两个输入端；
所述第十四与门(U14)的输出端连接第十五非门(U15)的输入端，第一输入支路和第二输入支路的输出端分别连接第十六或门(U16)的输入端，第十五非门(U15)和第十六或门(U16)的输出端分别连接第十七与门(U17)的两个输入端，第十七与门(U17)的输出端连接有输出支路；
所述输出支路包括依次相连的负反馈运放电路、比值运放电路、第一忆阻器(M1)和阈值运放电路；
所述负反馈运放电路包括第十二运放(A12)，第十二运放(A12)的反相输入端连接第三十二电阻(R32)的一端，第三十二电阻(R32)的另一端连接第十七与门(U17)的输出端，第十二运放(A12)的正相输入端连接有接地的第三十三电阻(R33)，第三十三电阻(R33)上并联有电压为V12的直流电源与第三十九电阻(R39)的串联电路，第十七与门(U17)的输出端与第十二运放(A12)的输出端之间连接有第三十一电阻(R31)，第三十一电阻(R31)上的反馈电压为0.4-0.6V；
所述比值运放电路包括第十三运放(A13)，第十三运放(A13)的反相输入端连接有第三十五电阻(R35)，第十三运放(A13)的正相输入端接地，第十三运放(A13)的反相输入端与输出端之间连接有第三十六电阻(R36)，可通过调节第三十六电阻(R36)与第三十五电阻(R35)的比值，调节比值运放电路的输出电压；
所述阈值运放电路包括第十四运放(A14)，第十四运放(A14)的正相输入端连接第十三运放(A13)输出端，第十四运放(A14)的反相输入端接地，第十四运放(A14)的输出端连接第三十七电阻(R37)的一端，第三十七电阻(R37)的另一端为第一模块(one)的输出端；
所述第十运放(A10)、第十一运放(A11)、第十二运放(A12)和第十三运放(A13)的正电源端和负电源端均是连接有电压为VCC的直流电源，第六运放(A6)的正电源端连接有电压为V12的直流电源，负电源端接地；
所述第三模块(tr)包括第一逻辑选择电路，第二逻辑选择电路、第三逻辑选择电路和第十三或门(U13)，第一逻辑选择电路上连接有第一分支电路，第二逻辑选择电路上连接有第二分支电路，第三逻辑选择电路上连接有第三分支电路，第一分支电路、第二分支电路和第三分支电路的输出端分别连接第十三或门(U13)的三个输入端，第十三或门(U13)的输出端与MUX的第一输出端之间连接有第一电阻(R1)；
所述第一逻辑选择电路包括第一与门(U1)、第二与门(U2)、第三与门(U3)、第四或门(U4)、第五或门(U5)、第一压控开关和第二压控开关，MUX的第一输出端和第二输出端分别连接第一与门(U1)的两个输入端，MUX的第一输出端和第三输出端分别连接第二与门(U2)的两个输入端，MUX的第一输出端和第四输出端分别连接第三与门(U3)的两个输入端；
所述第一与门(U1)的输出端、第二与门(U2)的输出端和第三与门(U3)的输出端分别连接第四或门(U4)的三个输入端，MUX的第二输出端和第三输出端和第四输出端分别连接第五或门(U5)的三个输入端，第四或门(U4)的输出端连接第一压控开关的输入端，第五或门(U5)的输出端连接第二压控开关的输入端，第一压控开关和第二压控开关的输出端均连接在第一分支电路的输入端；
所述第二逻辑选择电路包括第六与门(U6)、第七与门(U7)、第八与门(U8)、第九或门(U9)、第十或门(U10)、第三压控开关和第四压控开关，第六与门(U6)的三个输入端、第七与门(U7)的三个输入端和第八与门(U8)的三个输入端均是连接MUX的第一输出端、第二输出端和第三输出端，MUX的第二输出端、第三输出端和第四输出端分别连接第十或门(U10)的三个输入端；
所述第九或门(U9)的输出端连接第三压控开关的输入端，第十或门(U10)的输出端连接第四压控开关的输入端，第三压控开关和第四压控开关的输出端均连接在第二分支电路的输入端；
所述第三逻辑选择电路包括第十一与门(U11)、第十二或门(U12)、第五压控开关和第六压控开关，MUX的第二输出端、第二输出端、第三输出端和第四输出端分别连接第十一与门(U11)的四个输入端，MUX的共三个输入端，其中两个输入端均连接第四输出端连接第二输入端，另外一个输入端连接MUX的第四输出端；
所述第十一与门(U11)的输出端连接第五压控开关的输入端，第十二或门(U12)的输出端连接第六压控开关的输入端，第五压控开关和第六压控开关的输出端均连接在第三分支电路的输入端。
2.根据权利要求1所述的一种用于模拟联想记忆的强化学习仿生电路架构其特征在于，所述第三十电阻R30-第三十九电阻R39的阻值均为1KΩ，第十运放A10-第十六运放A16的型号均为LM675，VCC＝30V，V2为5V的脉冲电压，V4＝0.5V，代表学习过程中的干扰。
3.根据权利要求2所述的一种用于模拟联想记忆的强化学习仿生电路架构其特征在于，所述第一分支电路包括第一放大器电路、第二放大器电路、第二忆阻器(M2)和第三放大器电路，第一放大器电路包括第一运放(A1)，第一运放(A1)的正相输入端以及正相输入端与输出端之间均连接有第二电阻(R2)，第一运放(A1)的反相输入端接地；
所述第二放大器电路包括第二运放(A2)，第二运放(A2)的正相输入端连接有第三电阻(R3)与第六电阻(R6)的串联支路，第二运放(A2)的反相输入端连接有电压为(Va)的直流电源与第五电阻(R5)的串联支路，第二运放(A2)的反相输入端接地；
所述第二运放(A2)的输出端连接有电压为(Vb)的直流电源，第二运放(A2)的输出端连接有第四电阻(R4)，第四电阻(R4)的一端与第二运放(A2)的输出端相连，另一端连接在第三电阻(R3)与第六电阻(R6)之间；
所述第三放大器电路包括第三运放(A3)，第三运放(A3)的正相输入端连接有第八电阻(R8)，第三运放(A3)的反相输入端连接有第九电阻(R9)与电压为Vc的直流电源的串联支路，第三运放(A3)的反相输入端接地，第三运放(A3)的输出端连接有第七电阻(R7)，第七电阻(R7)的一端连接在第三运放(A3)的输出端，另一端连接在第八电阻(R8)与第二忆阻器(M2)之间；
所述第二分支电路和第三分支电路均与第一分支电路的结构相同，其区别在于，第一分支电路中的第一运放(A1)在第二分支电路中替换为第四运放(A4)，在第三分支电路中替换为第七运放(A7)；
所述第一分支电路中的第二运放(A2)在第二分支电路中替换为第五运放(A5)，在第三分支电路中替换为第八运放(A8)，第一分支电路中的第三运放(A3)在第二分支电路中替换为第六运放(A6)，在第三分支电路中替换为第九运放(A9)；
所述第一分支电路中的第二电阻(R2)在第二分支电路中替换为第十电阻(R10)，在第三分支电路中替换为第十八电阻(R18)，第一分支电路中的第四电阻(R4)在第二分支电路中替换为第十二电阻(R12)，在第三分支电路中替换为第二十电阻(R20)；
所述第一分支电路中的第三电阻(R3)在第二分支电路中替换为第十一电阻(R11)，在第三分支电路中替换为第十九电阻(R19)，第一分支电路中的第六电阻(R6)在第二分支电路中替换为第十三电阻(R13)，在第三分支电路中替换为第二十一电阻(R21)；
所述第一分支电路中的第五电阻(R5)在第二分支电路中替换为第十四电阻(R14)，在第三分支电路中替换为第二十二电阻(R22)，第一分支电路中的第七电阻(R7)在第二分支电路中替换为第十五电阻(R15)，在第三分支电路中替换为第二十三电阻(R23)；
所述第一分支电路中的第八电阻(R8)在第二分支电路中替换为第十六电阻(R16)，在第三分支电路中替换为第二十四电阻(R24)，第一分支电路中的第九电阻(R9)在第二分支电路中替换为第十七电阻(R17)，在第三分支电路中替换为第二十五电阻(R25)；
所述第一分支电路中的第一压控开关和第二压控开关，在第二分支电路中替换为第三压控开关和第四压控开关，在第三分支电路中替换为第五压控开关和第六压控开关。
4.根据权利要求3所述的一种用于模拟联想记忆的强化学习仿生电路架构其特征在于，所述第一压控开关的正电源端连接电压为V1的脉冲电压源，负电源端接地，第二压控开关的正电源端连接电压为V2的脉冲电压源，负电源端接地，第三压控开关的正电源端连接电压为V3的脉冲电压源，负电源端接地，第四压控开关的正电源端连接电压为V4的脉冲电压源，负电源端接地，第五压控开关的正电源端连接电压为V5的脉冲电压源，负电源端接地，第六压控开关的正电源端连接电压为V6的脉冲电压源，负电源端接地。
5.根据权利要求4所述的一种用于模拟联想记忆的强化学习仿生电路架构其特征在于，所述第二模块(two)包括依次相连的第四放大器电路、第五放大器电路和第六放大器电路；
所述第四放大器电路和第五放大器电路均与比值运放电路的结构相同，其区别在于，第四放大器电路将比值运放电路中的第十三运放(A13)替换为第十五运放(A15)、第三十五电阻(R35)替换为第四十一电阻(R41)、第三十六电阻(R36)替换为第四十电阻(R40)；
所述第五放大器电路将比值运放电路中的第十三运放(A13)替换为第十六运放(A16)、第三十五电阻(R35)替换为第四十二电阻(R42)、第三十六电阻(R36)替换为第四十三电阻(R43)；
所述第六放大器电路与阈值运放电路的结构相同，其区别在于，第六放大器电路将阈值运放电路中的第十四运放(A14)替换为第十七运放(A17)，第三十七电阻(R37)替换为第四十四电阻(R44)，第六放大器电路中第十四运放(A14)的正电源端连接有电压为Vd的脉冲电压源，负电源端接地。
6.根据权利要求5所述的一种用于模拟联想记忆的强化学习仿生电路架构其特征在于，所述第一压控开关-第六压控开关均为3V的电压控制开关，V1-V6均为5V脉冲电压；
所述第三模块(tr)中的所有电阻均为1KΩ；
Va＝Vb＝Vc＝0.5V；
所述第一分支电路、第二分支电路和第三分支电路中的第二忆阻器(M2)的参数不同；
所述第一运放(A1)-第九运放(A9)的型号均为LM675；
所述第二模块(two)中所有的电阻均为1KΩ；
所述Vd为5V的脉冲电压；
所述第十五运放(A15)-第十七运放(A17)的型号均为LM675。
7.根据权利要求1-6任意一项所述的一种用于模拟联想记忆的强化学习仿生电路架构，其特征在于，所述N1、N2、N3、N4分别代表听、说、读、写四种学习方法施加在突触上的刺激。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962416.1A CN113658493B (zh) | 2021-08-20 | 2021-08-20 | 一种用于模拟联想记忆的强化学习仿生电路架构 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110962416.1A CN113658493B (zh) | 2021-08-20 | 2021-08-20 | 一种用于模拟联想记忆的强化学习仿生电路架构 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113658493A CN113658493A (zh) | 2021-11-16 |
| CN113658493B true CN113658493B (zh) | 2023-05-02 |
Family
ID=78491971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110962416.1A Active CN113658493B (zh) | 2021-08-20 | 2021-08-20 | 一种用于模拟联想记忆的强化学习仿生电路架构 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113658493B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
| JPH09185596A (ja) * | 1996-01-08 | 1997-07-15 | Ricoh Co Ltd | パルス密度型信号処理回路網における結合係数更新方法 |
| CN106796669A (zh) * | 2014-10-30 | 2017-05-31 | 国际商业机器公司 | 神经形态突触 |
| CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
| CN112651495A (zh) * | 2020-12-16 | 2021-04-13 | 郑州轻工业大学 | 一种面向情绪自稳态调节和联想记忆的神经网络电路 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2612640B2 (ja) * | 1989-12-29 | 1997-05-21 | 株式会社リコー | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 |
| DE69430870T2 (de) * | 1994-07-28 | 2003-03-13 | International Business Machines Corp., Armonk | Innovative Neuronalschaltungsarchitektur |
| CN103199813B (zh) * | 2013-04-27 | 2016-02-24 | 清华大学 | 基于负反馈思想的忆阻器阻值状态控制电路 |
| CN103246904B (zh) * | 2013-05-24 | 2016-04-06 | 北京大学 | 基于阻变忆阻器的时间关联学习神经元电路及其实现方法 |
| CN103873182B (zh) * | 2014-03-13 | 2016-06-29 | 华南师范大学 | 一种波分复用数字通信实验教学系统 |
| CN108804786B (zh) * | 2018-05-26 | 2022-04-15 | 江西理工大学 | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 |
| CN108597329A (zh) * | 2018-06-28 | 2018-09-28 | 桂林理工大学 | 数字电子技术课程多功能学习板系统 |
| CN109002647B (zh) * | 2018-08-17 | 2019-06-07 | 郑州轻工业学院 | 一种具有延时学习功能的忆阻联想记忆神经网络电路 |
| CN110600610A (zh) * | 2019-09-26 | 2019-12-20 | 中国科学院微电子研究所 | 人工神经突触器件及其制备方法 |
| CN110910723B (zh) * | 2019-12-23 | 2020-09-29 | 郑州轻工业大学 | 一种基于忆阻器的巴甫洛夫双模式切换的学习记忆电路 |
| CN112884141B (zh) * | 2021-04-16 | 2022-10-21 | 安徽大学 | 一种忆阻耦合Hindmarsh-Rose神经元电路 |
-
2021
- 2021-08-20 CN CN202110962416.1A patent/CN113658493B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4874963A (en) * | 1988-02-11 | 1989-10-17 | Bell Communications Research, Inc. | Neuromorphic learning networks |
| JPH09185596A (ja) * | 1996-01-08 | 1997-07-15 | Ricoh Co Ltd | パルス密度型信号処理回路網における結合係数更新方法 |
| CN107045649A (zh) * | 2014-07-21 | 2017-08-15 | 徐志强 | 具有短期记忆和长期记忆的模拟神经网络 |
| CN106796669A (zh) * | 2014-10-30 | 2017-05-31 | 国际商业机器公司 | 神经形态突触 |
| CN112651495A (zh) * | 2020-12-16 | 2021-04-13 | 郑州轻工业大学 | 一种面向情绪自稳态调节和联想记忆的神经网络电路 |
Non-Patent Citations (2)
| Title |
|---|
| 张晨曦 ; 陈艳 ; 仪明东 ; 朱颖 ; 李腾飞 ; 刘露涛 ; 王来源 ; 解令海 ; 黄维 ; .基于忆阻器模拟的突触可塑性的研究进展.中国科学:信息科学.2018,(第02期),第115-142页. * |
| 王旭,刘力,夏守真,冯春华,郭爱克.果蝇视觉学习记忆能力与脑部cAMP水平的相关性.中国科学C辑.1998,第28卷(第06期),第521-528页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113658493A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hu et al. | Modeling affections with memristor-based associative memory neural networks | |
| Qiao et al. | A reconfigurable on-line learning spiking neuromorphic processor comprising 256 neurons and 128K synapses | |
| CN106981567B (zh) | 一种基于光电耦合忆阻器的人工突触器件及其调制方法 | |
| CN106796669B (zh) | 神经形态突触电路和神经形态系统 | |
| Pfeil et al. | Six networks on a universal neuromorphic computing substrate | |
| JP6906602B2 (ja) | 人工ニューロン | |
| Yu et al. | Biophysical neural spiking, bursting, and excitability dynamics in reconfigurable analog VLSI | |
| Zhang et al. | A multi-functional memristive Pavlov associative memory circuit based on neural mechanisms | |
| Shang et al. | A memristor-based circuit design for generalization and differentiation on Pavlov associative memory | |
| CN108804786A (zh) | 一种联想神经网络突触权值可塑的忆阻模型电路设计方法 | |
| CN105976022A (zh) | 电路结构、人工神经网络及用电路结构模拟突触的方法 | |
| Imani et al. | Digital multiplierless realization of coupled Wilson neuron model | |
| CN109978159B (zh) | 一种简易的Fitzhugh-Nagumo神经元电路 | |
| Blum | An electronic system for extracellular neural stimulation and recording | |
| Zhang et al. | Implementation of memristive neural networks with spike-rate-dependent plasticity synapses | |
| Pershin et al. | Experimental demonstration of associative memory with memristive neural networks | |
| Gerasimova et al. | Design of memristive interface between electronic neurons | |
| CN113658493B (zh) | 一种用于模拟联想记忆的强化学习仿生电路架构 | |
| Widrow | Cybernetics 2.0: A General Theory of Adaptivity and Homeostasis in the Brain and in the Body | |
| CN109165731A (zh) | 电子神经网络及其参数设置方法 | |
| Cederström et al. | A model based comparison of BiFeO3 device applicability in neuromorphic hardware | |
| Huayaney et al. | A VLSI implementation of a calcium-based plasticity learning model | |
| Chen et al. | STDP learning rule based on memristor with STDP property | |
| Singh et al. | A Study of Adaptive CMOS Circuits Extracting Feature of Neuroplasticity in Human Brain | |
| Han et al. | Memristor-Based Neural Network Circuit of Associative Memory With Occasion Setting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |