CN107346449B - 可同时计算和编程的神经形态电路 - Google Patents
可同时计算和编程的神经形态电路 Download PDFInfo
- Publication number
- CN107346449B CN107346449B CN201610283410.0A CN201610283410A CN107346449B CN 107346449 B CN107346449 B CN 107346449B CN 201610283410 A CN201610283410 A CN 201610283410A CN 107346449 B CN107346449 B CN 107346449B
- Authority
- CN
- China
- Prior art keywords
- terminal
- neuron
- module
- gate
- memristor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 37
- 210000002569 neuron Anatomy 0.000 claims abstract description 84
- 210000000225 synapse Anatomy 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 239000000463 material Substances 0.000 claims description 31
- 238000000034 method Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 11
- 239000012212 insulator Substances 0.000 claims description 9
- 230000007704 transition Effects 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 5
- 229910052760 oxygen Inorganic materials 0.000 claims description 5
- 239000001301 oxygen Substances 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 claims description 5
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 4
- GWEVSGVZZGPLCZ-UHFFFAOYSA-N Titan oxide Chemical compound O=[Ti]=O GWEVSGVZZGPLCZ-UHFFFAOYSA-N 0.000 claims description 4
- MCMNRKCIXSYSNV-UHFFFAOYSA-N Zirconium dioxide Chemical compound O=[Zr]=O MCMNRKCIXSYSNV-UHFFFAOYSA-N 0.000 claims description 4
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims description 4
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 claims description 4
- 230000010287 polarization Effects 0.000 claims description 4
- 230000005684 electric field Effects 0.000 claims description 3
- 229910052961 molybdenite Inorganic materials 0.000 claims description 3
- 229910052982 molybdenum disulfide Inorganic materials 0.000 claims description 3
- ZXMGHDIOOHOAAE-UHFFFAOYSA-N 1,1,1-trifluoro-n-(trifluoromethylsulfonyl)methanesulfonamide Chemical compound FC(F)(F)S(=O)(=O)NS(=O)(=O)C(F)(F)F ZXMGHDIOOHOAAE-UHFFFAOYSA-N 0.000 claims description 2
- JOTQIXXCBHIDKJ-UHFFFAOYSA-N 1-ethyl-3-methylimidazolidine Chemical compound CCN1CCN(C)C1 JOTQIXXCBHIDKJ-UHFFFAOYSA-N 0.000 claims description 2
- NJMWOUFKYKNWDW-UHFFFAOYSA-N 1-ethyl-3-methylimidazolium Chemical compound CCN1C=C[N+](C)=C1 NJMWOUFKYKNWDW-UHFFFAOYSA-N 0.000 claims description 2
- 229910002902 BiFeO3 Inorganic materials 0.000 claims description 2
- 229910005542 GaSb Inorganic materials 0.000 claims description 2
- 229910001218 Gallium arsenide Inorganic materials 0.000 claims description 2
- 229910002244 LaAlO3 Inorganic materials 0.000 claims description 2
- 229910003781 PbTiO3 Inorganic materials 0.000 claims description 2
- 229910002370 SrTiO3 Inorganic materials 0.000 claims description 2
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 claims description 2
- 229910002113 barium titanate Inorganic materials 0.000 claims description 2
- 229910052681 coesite Inorganic materials 0.000 claims description 2
- 229910052593 corundum Inorganic materials 0.000 claims description 2
- 229910052906 cristobalite Inorganic materials 0.000 claims description 2
- CJNBYAVZURUTKZ-UHFFFAOYSA-N hafnium(IV) oxide Inorganic materials O=[Hf]=O CJNBYAVZURUTKZ-UHFFFAOYSA-N 0.000 claims description 2
- 150000003949 imides Chemical class 0.000 claims description 2
- 239000002608 ionic liquid Substances 0.000 claims description 2
- CWQXQMHSOZUFJS-UHFFFAOYSA-N molybdenum disulfide Chemical compound S=[Mo]=S CWQXQMHSOZUFJS-UHFFFAOYSA-N 0.000 claims description 2
- 239000000377 silicon dioxide Substances 0.000 claims description 2
- 229910052682 stishovite Inorganic materials 0.000 claims description 2
- PBCFLUZVCVVTBY-UHFFFAOYSA-N tantalum pentoxide Inorganic materials O=[Ta](=O)O[Ta](=O)=O PBCFLUZVCVVTBY-UHFFFAOYSA-N 0.000 claims description 2
- 229910052905 tridymite Inorganic materials 0.000 claims description 2
- GCRCSLNXFKCFHB-UHFFFAOYSA-N triethyl(hexyl)azanium Chemical compound CCCCCC[N+](CC)(CC)CC GCRCSLNXFKCFHB-UHFFFAOYSA-N 0.000 claims description 2
- 125000001889 triflyl group Chemical group FC(F)(F)S(*)(=O)=O 0.000 claims description 2
- 229910001845 yogo sapphire Inorganic materials 0.000 claims description 2
- 239000013078 crystal Substances 0.000 claims 1
- 230000001537 neural effect Effects 0.000 abstract description 4
- 230000000877 morphologic effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 10
- 229910002353 SrRuO3 Inorganic materials 0.000 description 3
- 229910045601 alloy Inorganic materials 0.000 description 3
- 239000000956 alloy Substances 0.000 description 3
- 229910052782 aluminium Inorganic materials 0.000 description 3
- 229910052802 copper Inorganic materials 0.000 description 3
- 229910052737 gold Inorganic materials 0.000 description 3
- 229910052742 iron Inorganic materials 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 229910052697 platinum Inorganic materials 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 229910052719 titanium Inorganic materials 0.000 description 3
- 229910052721 tungsten Inorganic materials 0.000 description 3
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005342 ion exchange Methods 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 150000002739 metals Chemical class 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 229910052717 sulfur Inorganic materials 0.000 description 2
- 239000011593 sulfur Substances 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 230000003446 memory effect Effects 0.000 description 1
- -1 oxygen ions Chemical class 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
- Semiconductor Memories (AREA)
Abstract
本发明提供一种可同时计算和编程的神经形态电路，包括：第一神经元、第二神经元、突触，所述突触为三端忆阻器，所述三端忆阻器包括源端、漏端和门端。所述源端与所述第一神经元的输出端连接，用于接收该第一神经元发出的前向信号。所述漏端与所述第二神经元的输入端连接。所述门端与所述第二神经元的输出端连接，用于接收该第二神经元发出的反馈信号。所述三端忆阻器的阻值由所述前向信号与所述反馈信号共同控制。本发明提供的神经形态电路能够使得计算和学习同时进行而互不干扰，不存在由于忆阻器阻值调节时间而导致的网络工作速度物理极限，理论上能够达到更高的工作频率。
Description
技术领域
本发明涉及一种可同时计算及编程的神经形态电路。
背景技术
神经网络中两个神经元之间通过突触连接在一起。神经网络中的信号在神经元之间单向传导，通常认为突触完成对传导信号的线性变换，而神经元将突触处理后的信号再做非线性变换，进而将两次变换后的信号传递给下行神经元。突触对信号进行线性变换的线性变换因子(又称为连接强度或权值)是可调节的，且能被保留下来的。忆阻器是一种依赖电荷通量而改变阻值，且对阻值具有非易失的记忆效应的电子元件。忆阻器的上述两个性质恰好对应神经网络中突触的性质，因此忆阻器可以被用于神经形态电路中模拟人脑神经网络中的突触。图1与图2为现有的用于神经网络的忆阻器原理示意图，其中图1为忆阻器1(突触)在阻值(权值)不变的情况下参与计算(或称信号处理)的过程，图2为所述忆阻器1(突触)的阻值(权值)在学习(或称自适应)过程中改变，这种改变是由来自第一神经元2的前向信号和来自第二神经元3的反馈信号共同作用引起的。上述忆阻器计算和学习都占用同一条信号传输通道，因此现有的基于忆阻器的神经形态电路无法同时进行计算和学习。由于计算和学习过程无法同时进行，神经元无法时间连续地计算，而必须在t时间步完成计算后，等待脉冲调制模块产生脉冲并调节忆阻器阻值后，才能继续进行t+dt时间步的计算。因此，忆阻器阻值调节的时间是dt可取的最小值，该值通常在ns-μs之间。
发明内容
有鉴于此，确有必要提供一种可以同时计算和编程的神经形态电路。
一种可同时计算和编程的神经形态电路，包括：第一神经元、第二神经元、突触，其中，所述突触为三端忆阻器，所述三端忆阻器包括源端、漏端和门端；所述源端与所述第一神经元的输出端连接，用于接收该第一神经元发出的前向信号；所述漏端与所述第二神经元的输入端连接；所述门端与所述第二神经元的输出端连接，用于接收该第二神经元发出的反馈信号；所述三端忆阻器的阻值由所述前向信号与所述反馈信号共同控制。
一种可同时计算和编程的神经形态电路，包括：第一连接权值矩阵模块、第二连接权值矩阵模块、第三连接权值矩阵模块、神经元模块、递归最小二乘法模块、脉冲调制模块、线性放大器模块、数模转换模块以及模数转换模块；所述第一连接权值矩阵模块用于对外加恒定偏置I(t)进行线性变换，该第一连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；所述线性放大器模块对来自所述第一连接权值矩阵、所述第二连接权值矩阵的输入到同一神经元的多路信号进行加和；所述模数转换模块用于对所述线性放大器模块加和后的信号进行模数转换；所述神经元模块用于对所述模数转换模块输出的数字信号进行非线性变换，输出前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)值；所述数模转换模块对所述前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)进行模数转换；所述第二连接权值矩阵模块用于对经所述数模转换模块转换后的所述前一时间步神经元输出向量r(t-dt)进行线性变换，该第二连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；所述第三连接权值矩阵模块用于对经所述数模转换模块转换后的所述当前时间步神经元输出向量r(t)进行线性变换，该第三连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；所述递归最小二乘法模块用于计算网络输出z(t-dt)与目标函数f(t-dt)之间的误差平方e(t-dt)；所述脉冲调制模块 用于产生权值按递归最小二乘法模计算结果更新的脉冲，并将该脉冲由所述三端忆阻器的门端输入。
与现有技术相比，本发明提供的神经形态电路由于使用了三端忆阻器，该网络能够使得计算和学习同时进行而互不干扰，不存在由于忆阻器阻值调节时间而导致的网络工作速度物理极限，理论上能够达到更高的工作频率。
附图说明
图1为现有的神经网络突触参与计算过程的示意图。
图2为现有的神经网络突触参与学习过程的示意图。
图3为本发明实施例中神经网络突触参学习与计算过程的示意图。
图4为本发明实施例中神经网络突触参与计算过程的示意图。
图5为本发明实施例提供的第一种三端忆阻器的结构示意图。
图6为本发明实施例提供的第二种三端忆阻器的结构示意图。
图7为本发明实施例提供的第三种三端忆阻器的结构示意图。
图8为本发明实施例提供的神经形态电路结构示意图。
主要元件符号说明
| 两端忆阻器 | 1 |
| 第一神经元 | 2 |
| 第二神经元 | 3 |
| 三端忆阻器 | 10，100，200，300 |
| 源端 | 11 |
| 漏端 | 12 |
| 门端 | 13 |
| 导电沟道 | 102，202，302 |
| 导电细丝结构 | 3022 |
| 绝缘层 | 104，204，304 |
| 栅极 | 106，206，306 |
| 神经形态电路 | 400，500 |
| 第一连接权值矩阵模块 | 510 |
| 线性放大器模块 | 520 |
| 模数转换模块 | 530 |
| 神经元模块 | 540 |
| 数模转换模块 | 550 |
| 第二连接权值矩阵模块 | 560 |
| 第三连接权值矩阵模块 | 570 |
| 递归最小二乘法模块 | 580 |
| 脉冲调制模块 | 590 |
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
下面将结合附图及具体实施例对本发明提供的可同时计算和编程的神经形态电路作进一步的详细说明。
请一并参阅图3与图4，本发明第一实施例提供一种可同时计算和编程的方法，包括：提供一三端忆阻器10，该三端忆阻器10包括源端11、漏端12和门端13，来自第一神经元2的前向信号由所述源端11输入并向所述漏端12传输，来自第二神经元3的反馈信号由所述门端13输入，所述三端忆阻器10的阻值在所述前向信号与所述反馈信号的共同控制下实时变化。
请参阅图3，该图为所述三端忆阻器10同时参与学习与计算过程示意图。来自第一神经元2的前向信号由源端11向漏端12传输，来自第二神经元3的反馈信号由门端13输入。所述三端忆阻器10的阻值在学习过程中改变，这种阻值的改变是由来自第一神经元2的前向信号和来自第二神经元3的反馈信号共同作用引起的。所述三端忆阻器10计算和学习分占两条信号传输通道，因此可以同时进行计算和学习。
请参阅图4，该图为所述三端忆阻器10仅参与计算过程示意图。此时第一神经元2发出的信号由源端11向漏端12传输，门端13则接以0偏置，以使所述三端忆阻器10的阻值保持不变。
本发明实施例进一步提供一种可同时计算和编程的神经形态电路400，包括：第一神经元2、第二神经元3、突触，其中，所述突触为三端忆阻器10，所述三端忆阻器10包括源端11、漏端12和门端13。所述源端11与所述第一神经元2的输出端连接，用于接收该第一神经元2发出的前向信号，所述漏端12与所述第二神经元3的输入端连接，所述门端13与所述第二神经元3的输出端连接，用于接收该第二神经元3发出的反馈信号。所述三端忆阻器10的阻值由所述前向信号与所述反馈信号共同控制。
所述三端忆阻器10的实现的方法有多种，包括但不限于以下方案。
方案一
请参阅图5，所述三端忆阻器100采用半导体晶体管器件中的“栅极-绝缘层-导电沟道”三层结构，包括依次层叠设置的导电沟道102、绝缘层104及栅极106。所述导电沟道102的两端分别作为源端和漏端。所述栅极106对应三端忆阻器10的门端，接以偏置电压。
所述导电沟道102的材料为半导体，包括但不限于ZnO、GaAs、Si、Ge、GaN、MoS2、WS2、Si/Ge的化合物、GaP、InSb、In/Ga/As的化合物、GaSb、InSb等。
所述绝缘层104采用铁电材料，包括但不限于PbTiO3(或Zr掺杂的)、BaTiO3、BiFeO 3等。
所述栅极106具有金属性，包括但不限于SrRuO3，单质金属Fe、W、Pt、Cu、Al、Ti、Ag、Au以及它们的合金，高掺杂Si等。
所述绝缘层104中的铁电材料在外电场(门端偏置)作用下产生电极化，偏置消失后极化保留(非易失)。所述导电沟道102在计算过程中提供信号的传输通道，电极化使得导电沟道102内载流子密度随之变化，从而改变导电沟道102的阻值。本方案中导电沟道材料本身没有出现新的内部原子结构。
方案二
请参阅图6，所述三端忆阻器200同样采用三层结构，包括依次层叠设置的导电沟道202、绝缘层204及栅极206。所述导电沟道202的两端分别作为源端和漏端。所述栅极206对应三端忆阻器10的门端，接以偏置电压。
所述导电沟道202的材料采用可因组成原子比例发生改变而发生金属-绝缘体转变的材料。所述金属-绝缘体转变包括但不限于因氧比例变化而发生的金属-绝缘体转变，因氧比例变化而发生金属-绝缘体转变的材料包括但不限于SmNiO3。
所述绝缘层204采用电导差(绝缘性好)且高原子或离子（对应引起导电沟道材料金属-绝缘体转变的原子或离子）溶解度的材料。若所述导电沟道202的材料采用因氧比例变化而发生金属-绝缘体转变的材料，则绝缘层204的材料包括但不限于：离子液体1-乙基-3-甲基咪唑啉双(三氟甲基磺酰基)亚胺([EMIM][N(Tf)2])、己基三乙基铵三乙基硫双(三氟甲基磺酰)亚胺([N6222][N(Tf)2])。
所述栅极206具有金属性，包括但不限于SrRuO3,单质金属Fe、W、Pt、Cu、Al、Ti、Ag、Au以及由它们的合金，高掺杂Si等。
在外电场(门端偏置)作用下，氧离子在导电沟道202和绝缘层204之间转移，导电沟道202中产生金属变价导致其发生金属-绝缘体之间的转变，从而直接改变了导电沟道202的阻值(非易失)。本方案中导电沟道材料与绝缘层材料之间有原子或离子交换，导电沟道材料和绝缘层材料本身都出现了新的内部原子结构。
方案三
请参阅图7，所述三端忆阻器300同样采用三层结构，包括依次层叠设置的导电沟道302、绝缘层304及栅极306。所述导电沟道302的两端分别为源端和漏端。所述栅极306对应三端忆阻器10的门端，接以偏置电压。
所述导电沟道302的导电性能在栅极下具有可调性，所述导电沟道302的材料包括但不限于带有特定晶界结构的二维半导体MoS2、WS2。不同于方案一，本方案中导电沟道材料内部在阻变过程中出现了新的原子结构，现以MoS2为例进行说明。MoS2阻变过程中出现了硫缺陷聚集在晶界周围而出现的导电细丝结构3022，聚集程度越大，导电细丝结构3022的体积越大，此时导电沟道302呈现低阻态；硫缺陷散开导致导电细丝结构3022局部缩小或破裂，此时导电沟道302呈现低阻态高阻态。
所述绝缘层304的材料包括但不限于SiO2、HfO2、Al2O3、TiO2、Ta2O5、ZrO2、LaAlO3、SrTiO3等。
所述栅极306具有金属性，包括但不限于SrRuO3、单质金属Fe、W、Pt、Cu、Al、Ti、Ag、Au以及由它们的合金，高掺杂Si等。
本方案中所述导电沟道材料不和绝缘层材料之间发生原子或离子交换，绝缘层材料内部不出现新的原子结构，新的原子结构只出现在导电沟道材料中，且来自局限于导电沟道材料内部的原子重新分布。
请参见图8，本发明实施例进一步提供一种具体的可同时计算和编程的神经形态电路500，该电路为高速时序信号学习网络，包括：第一连接权值矩阵模块510、线性放大器模块520、模数转换模块530、神经元模块540、数模转换模块550、第二连接权值矩阵模块560、第三连接权值矩阵模块570、递归最小二乘法模块580、脉冲调制模块590。
该神经形态电路500的动力学方程为：
其中，x(t)代表t时刻各神经元的状态参数(膜电位)组成的向量，τ代表膜时间常数，g是一个变换常数，WNN(t)代表各神经元之间的连接权值矩阵，r(t)代表各神经元的输出信号组成的向量，z(t)代表网络的最终输出值(标量),z(t)由各神经元输出信号向量r(t)经连接权值矩阵WZN(t)，WNI(t)为外加恒定偏置与各神经元之间的连接权值矩阵，I(t)为外加恒定偏置。
所述第一连接权值矩阵模块510存储外加恒定偏置I(t)与各神经元之间的连接权值矩阵WNI(t)，用于对外加恒定偏置I(t)进行线性变换，该第一连接权值矩阵模块510的矩阵元素由所述三端忆阻器10构成。输入信号经过该三端忆阻器10的源端11、漏端12完成线性变换(计算过程)，并向目标神经元输出。所述三端忆阻器10的门端13连接所述脉冲调制模块590。
所述线性放大器模块520包括多个线性放大器，输入到同一神经元的几路输入信号共用一个线性放大器，该线性放大器对这几路输入信号进行加和。
所述模数转换模块530对经线性放大器加和后的信号进行模数转换，转换后的数字信号送入所述神经元模块540。
所述神经元模块540用于对输入信号进行非线性变换，其输入端与所述模数转换模块530连接，其输出端与所述数模转换模块550连接。所述神经元模块540包括函数运算单元及寄存器。所述函数运算单元包括加法器、tanh函数、微分器等神经网络计算所需的函数运算单元。所述寄存器用于存储前一时间步x(t-dt)和r(t-dt)的值，使得在当前时间步t可以被调用参与计算。所述神经元模块540输出前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)值。
所述数模转换模块550对神经元模块540获得的前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)进行模数转换。
所述第二连接权值矩阵模块560存储各神经元之间的连接权值矩阵WNN(t),用于对经所述数模转换模块550转换后的所述前一时间步神经元输出向量r(t-dt)进行线性变换。该第二连接权值矩阵模块560的矩阵元素由三端忆阻器10构成，输入信号经过该三端忆阻器10的源端11、漏端12完成线性变换(计算过程)，并向目标神经元输出。所述三端忆阻器10的门端13连接所述脉冲调制模块590。
所述第三连接权值矩阵模块570存储连接权值矩阵WZN(t),用于对经所述数模转换模块550转换后的所述当前时间步神经元输出向量r(t)进行线性变换。该第三连接权值矩阵模块570的矩阵元素由三端忆阻器10构成，输入信号经过该三端忆阻器10的源端11、漏端12完成线性变换(计算过程)，并向目标神经元输出。所述三端忆阻器10的门端13连接所述脉冲调制模块590。
所述递归最小二乘法模块580计算网络输出z(t-dt)与目标函数(即学习目标)f(t-dt)之间的误差平方e(t-dt)。为使该误差平方达到最小，所述递归最小二乘法模块580给出当前时间步t连接权值的应取值，具体的，
其中
，P(0)初始化为I/α(I为单位矩阵，α为学习速率常数)。
所述脉冲调制模块590块用于产生使得权值按式（2）更新的脉冲，该脉冲由所述三端忆阻器10的门端13输入，进行的是学习过程。
与现有技术相比，本发明实施例提供的可同时计算和编程的神经形态电路由于使用了三端忆阻器，该网络能够使得计算和学习同时进行而互不干扰，不存在由于忆阻器阻值调节时间而导致的网络工作速度物理极限，理论上能够达到更高的工作频率。现实生活中，绝大多数信号都是时间连续的，或很多信号有着很高的频率成分，本实施例提出的三端忆阻器高速时序信号学习网络能够比两端忆阻器网络学习更高频的时序信号。
另外，本领域技术人员还可在本发明精神内做其他变化，当然，这些依据本发明精神所做的变化，都应包含在本发明所要求保护的范围之内。
Claims (10)
1.一种可同时计算和编程的神经形态电路，包括：第一神经元、第二神经元、突触，其特征在于，所述突触为三端忆阻器，所述三端忆阻器包括源端、漏端和门端；所述源端与所述第一神经元的输出端连接，用于接收该第一神经元发出的前向信号；所述漏端与所述第二神经元的输入端连接；所述门端与所述第二神经元的输出端连接，用于接收该第二神经元发出的反馈信号；所述三端忆阻器的阻值由所述前向信号与所述反馈信号共同控制；当所述述三端忆阻器同时参与学习与计算时，所述前向信号由所述源端向所述漏端传输，所述反馈信号由所述门端输入。
2.如权利要求1所述的可同时计算和编程的神经形态电路，其特征在于，所述三端忆阻器包括依次层叠设置的导电沟道、绝缘层及栅极；所述导电沟道的两端分别作为源端和漏端，所述导电沟道的材料为半导体；所述绝缘层采用铁电材料，在外电场作用下产生电极化，偏置消失后极化保留；所述栅极具有金属性，连接偏置电压。
3.如权利要求2所述的可同时计算和编程的神经形态电路，其特征在于，所述导电沟道的材料为ZnO、GaAs、Si、Ge、GaN、MoS2、WS2、Si/Ge的化合物、GaP、InSb、In/Ga/As的化合物、GaSb、InSb。
4.如权利要求2所述的可同时计算和编程的神经形态电路，其特征在于，所述绝缘层的材料为PbTiO3、BaTiO3、BiFeO3。
5.如权利要求1所述的可同时计算和编程的神经形态电路，其特征在于，所述三端忆阻器包括依次层叠设置的导电沟道、绝缘层及栅极；所述导电沟道的两端分别作为源端和漏端，所述导电沟道的材料可因组成原子比例发生改变而发生金属-绝缘体转变；所述绝缘层采用绝缘性好且高原子或离子溶解度的材料；所述栅极具有金属性，连接偏置电压。
6.如权利要求5所述的可同时计算和编程的神经形态电路，其特征在于，所述金属-绝缘体转变为因氧比例变化而发生的金属-绝缘体转变。
7.如权利要求6所述的可同时计算和编程的神经形态电路，其特征在于，所述导电沟道的材料为SmNiO3。
8.如权利要求6所述的可同时计算和编程的神经形态电路，其特征在于，所述绝缘层材料为离子液体1-乙基-3-甲基咪唑啉双(三氟甲基磺酰基)亚胺([EMIM][N(Tf)2])、己基三乙基铵三乙基硫双(三氟甲基磺酰)亚胺([N6222][N(Tf)2])。
9.如权利要求1所述的可同时计算和编程的神经形态电路，其特征在于，所述三端忆阻器包括依次层叠设置的导电沟道、绝缘层及栅极；所述导电沟道的两端分别作为源端和漏端，所述导电沟道的材料为带有特定晶界结构的二维半导体MoS2、WS2；所述绝缘层的材料为SiO2、HfO2、Al2O3、TiO2、Ta2O5、ZrO2、LaAlO3、SrTiO3；所述栅极具有金属性，连接偏置电压。
10.一种可同时计算和编程的神经形态电路，其特征在于，包括：第一连接权值矩阵模块、第二连接权值矩阵模块、第三连接权值矩阵模块、神经元模块、递归最小二乘法模块、脉冲调制模块、线性放大器模块、数模转换模块以及模数转换模块；
所述第一连接权值矩阵模块用于对外加恒定偏置I(t)进行线性变换，该第一连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；
所述线性放大器模块对来自所述第一连接权值矩阵、所述第二连接权值矩阵的输入到同一神经元的多路信号进行加和；
所述模数转换模块用于对所述线性放大器模块加和后的信号进行模数转换；
所述神经元模块用于对所述模数转换模块输出的数字信号进行非线性变换，输出前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)值；
所述数模转换模块对所述前一时间步神经元输出向量r(t-dt)和当前时间步神经元输出向量r(t)进行模数转换；
所述第二连接权值矩阵模块用于对经所述数模转换模块转换后的所述前一时间步神经元输出向量r(t-dt)进行线性变换，该第二连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；
所述第三连接权值矩阵模块用于对经所述数模转换模块转换后的所述当前时间步神经元输出向量r(t)进行线性变换，该第三连接权值矩阵模块的矩阵元素由三端忆阻器构成，所述三端忆阻器的门端连接所述脉冲调制模块；
所述递归最小二乘法模块用于计算网络输出z(t-dt)与目标函数f(t-dt)之间的误差平方e(t-dt)；
所述脉冲调制模块用于产生权值按递归最小二乘法模计算结果更新的脉冲，并将该脉冲由所述三端忆阻器的门端输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610283410.0A CN107346449B (zh) | 2016-05-04 | 2016-05-04 | 可同时计算和编程的神经形态电路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610283410.0A CN107346449B (zh) | 2016-05-04 | 2016-05-04 | 可同时计算和编程的神经形态电路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107346449A CN107346449A (zh) | 2017-11-14 |
| CN107346449B true CN107346449B (zh) | 2020-05-22 |
Family
ID=60252780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610283410.0A Active CN107346449B (zh) | 2016-05-04 | 2016-05-04 | 可同时计算和编程的神经形态电路 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107346449B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102251765B1 (ko) * | 2018-12-19 | 2021-05-14 | 한양대학교 산학협력단 | 뉴런 및 이를 포함하는 뉴로모픽 시스템 |
| CN109657787B (zh) * | 2018-12-19 | 2022-12-06 | 电子科技大学 | 一种二值忆阻器的神经网络芯片 |
| CN109800870B (zh) * | 2019-01-10 | 2020-09-18 | 华中科技大学 | 一种基于忆阻器的神经网络在线学习系统 |
| US11133063B1 (en) * | 2020-06-22 | 2021-09-28 | International Business Machines Corporation | Suppressing undesired programming at half-selected devices in a crosspoint array of 3-terminal resistive memory |
| CN111753976B (zh) * | 2020-07-02 | 2022-04-05 | 西安交通大学 | 面向神经形态脉冲神经网络的电子传入神经元及实现方法 |
| US11615843B2 (en) * | 2020-12-17 | 2023-03-28 | International Business Machines Corporation | Controlling voltage resistance through metal-oxide device |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916393A (zh) * | 2010-07-14 | 2010-12-15 | 中国科学院半导体研究所 | 具有图像分割功能的脉冲耦合神经网络的实现电路 |
| CN102543172A (zh) * | 2012-02-27 | 2012-07-04 | 北京大学 | 一种适用于神经元电路的阻变忆阻器的控制方法 |
| CN102610274A (zh) * | 2012-04-06 | 2012-07-25 | 电子科技大学 | 一种阻变突触权值调整电路 |
| CN103023839A (zh) * | 2012-12-04 | 2013-04-03 | 温州大学 | 基于输出反馈偏置型复连续反馈神经网络结构的无线光通信系统盲均衡方法 |
| CN103346256A (zh) * | 2013-07-03 | 2013-10-09 | 南京大学 | 一种基于铁电隧道结的忆阻器 |
| CN103455843A (zh) * | 2013-08-16 | 2013-12-18 | 华中科技大学 | 一种反馈型人工神经网络训练方法及计算系统 |
| CN103580668A (zh) * | 2013-10-28 | 2014-02-12 | 华中科技大学 | 一种基于忆阻器的联想记忆电路 |
| CN103810497A (zh) * | 2014-01-26 | 2014-05-21 | 华中科技大学 | 一种基于忆阻器的图像识别系统及方法 |
-
2016
- 2016-05-04 CN CN201610283410.0A patent/CN107346449B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916393A (zh) * | 2010-07-14 | 2010-12-15 | 中国科学院半导体研究所 | 具有图像分割功能的脉冲耦合神经网络的实现电路 |
| CN102543172A (zh) * | 2012-02-27 | 2012-07-04 | 北京大学 | 一种适用于神经元电路的阻变忆阻器的控制方法 |
| CN102610274A (zh) * | 2012-04-06 | 2012-07-25 | 电子科技大学 | 一种阻变突触权值调整电路 |
| CN103023839A (zh) * | 2012-12-04 | 2013-04-03 | 温州大学 | 基于输出反馈偏置型复连续反馈神经网络结构的无线光通信系统盲均衡方法 |
| CN103346256A (zh) * | 2013-07-03 | 2013-10-09 | 南京大学 | 一种基于铁电隧道结的忆阻器 |
| CN103455843A (zh) * | 2013-08-16 | 2013-12-18 | 华中科技大学 | 一种反馈型人工神经网络训练方法及计算系统 |
| CN103580668A (zh) * | 2013-10-28 | 2014-02-12 | 华中科技大学 | 一种基于忆阻器的联想记忆电路 |
| CN103810497A (zh) * | 2014-01-26 | 2014-05-21 | 华中科技大学 | 一种基于忆阻器的图像识别系统及方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Two-and Three-Terminal Resistive Switches:Nanometer-Scale Memristors and Memistors";Qiang Xia等;《Advanced Functional Material》;20111231;第21卷(第14期);第2660-2665页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107346449A (zh) | 2017-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107346449B (zh) | 可同时计算和编程的神经形态电路 | |
| CN110289317B (zh) | 铁电石墨烯晶体管及基于它的互补型突触器件和调控方法 | |
| US9792547B2 (en) | Neural network circuit and learning method for neural network circuit | |
| Aoki et al. | An image storage system using complex-valued associative memories | |
| Chung et al. | First demonstration of Ge ferroelectric nanowire FET as synaptic device for online learning in neural network with high number of conductance state and G max/G min | |
| Kim et al. | Neural synaptic weighting with a pulse-based memristor circuit | |
| JP5659361B1 (ja) | ニューラルネットワーク回路、およびその学習方法 | |
| DE69421106T2 (de) | Neuronales Netzwerk mit räumlich verteilter Arbeitsweise | |
| CN110739393B (zh) | 一种仿生突触器件及其制作方法及其应用 | |
| Deng et al. | Complex learning in bio-plausible memristive networks | |
| WO2020226740A1 (en) | Transistorless all-memristor neuromorphic circuits for in-memory computing | |
| WO2016187500A1 (en) | Method and apparatus for training memristive learning systems | |
| CN209182823U (zh) | 一种数模混合存算一体芯片以及用于神经网络的运算装置 | |
| US20190237137A1 (en) | Memristive arrays with offset elements | |
| US20200218967A1 (en) | Complex-Valued Neural Networks | |
| CN112488308A (zh) | 基于动态忆阻器的储备池计算系统 | |
| CN111125616A (zh) | 一种二维离散傅里叶变换运算电路及运算方法 | |
| Sah et al. | Memristor circuit for artificial synaptic weighting of pulse inputs | |
| Zhai et al. | Reconfigurable 2D-ferroelectric platform for neuromorphic computing | |
| Tiotto et al. | Learning to approximate functions using Nb-doped SrTiO3 memristors | |
| Afshari et al. | Unsupervised learning in hexagonal boron nitride memristor-based spiking neural networks | |
| Slema et al. | A radial basis function neural network model reference adaptive controller for nonlinear systems | |
| US20200125940A1 (en) | Fixed-weighting-code learning device | |
| Mladenov et al. | Learning of an Artificial Neuron with Resistor-Memristor Synapses | |
| CN113964121A (zh) | 一种跨导可变场效应晶体管阵列及应用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |