CN113191492B - 一种突触训练装置 - Google Patents
一种突触训练装置 Download PDFInfo
- Publication number
- CN113191492B CN113191492B CN202110403373.3A CN202110403373A CN113191492B CN 113191492 B CN113191492 B CN 113191492B CN 202110403373 A CN202110403373 A CN 202110403373A CN 113191492 B CN113191492 B CN 113191492B
- Authority
- CN
- China
- Prior art keywords
- memristor
- resistance value
- module
- training
- signal source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 60
- 210000000225 synapse Anatomy 0.000 title claims abstract description 37
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 5
- BASFCYQUMIYNBI-UHFFFAOYSA-N platinum Chemical group [Pt] BASFCYQUMIYNBI-UHFFFAOYSA-N 0.000 claims description 11
- 230000000670 limiting effect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- VEALVRVVWBQVSL-UHFFFAOYSA-N strontium titanate Chemical compound [Sr+2].[O-][Ti]([O-])=O VEALVRVVWBQVSL-UHFFFAOYSA-N 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 4
- 229910052758 niobium Inorganic materials 0.000 claims description 3
- 239000010955 niobium Substances 0.000 claims description 3
- GUCVJGMIXFAOAE-UHFFFAOYSA-N niobium atom Chemical compound [Nb] GUCVJGMIXFAOAE-UHFFFAOYSA-N 0.000 claims description 3
- 229910052697 platinum Inorganic materials 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 2
- 230000000946 synaptic effect Effects 0.000 abstract description 12
- 238000000034 method Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 abstract description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 229910002367 SrTiO Inorganic materials 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003956 synaptic plasticity Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000001755 magnetron sputter deposition Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000007747 plating Methods 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000003518 presynaptic effect Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Character Discrimination (AREA)
- Semiconductor Memories (AREA)
Abstract
本发明公开了一种突触训练装置，属于人工神经网络相关技术领域。包括训练模块、映射模块和推理模块；所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应。本发明能克服训练过程中突触权重值不能长久保存和推理过程中运算和识别精度不高的问题，延长了推理模块中推理运算功能的有效使用期，还可降低训练推理过程中的功耗。
Description
技术领域
本发明属于人工神经网络相关技术领域，更具体地，涉及一种突触训练装置。
背景技术
大脑不仅是一个高度并行和高效率的信息处理系统，还是一个由大约1015个突触和大约1011个神经元相互交错形成的复杂神经网络，其中，神经元之间的复杂的信息传输过程是通过突触完成的，突触之间的信息传递效率称为突触权重，突触权重能根据神经脉冲产生变化的现象被称为突触可塑性，是大脑进行学习、记忆等活动的基础。因此通过电子器件模拟突触可塑性是实现神经形态计算的关键步骤。
现阶段，本领域相关技术人员已经做了一些研究，用一个忆阻器即可模拟生物突触的大部分功能，在脉冲的作用下表现出电导的连续增加或者降低，并可实现对脉冲时序依赖可塑性(Spike-timing-dependent plasticity，STDP)或脉冲频率依赖可塑性(Spike-rate-dependent plasticity，SRDP)学习规则的模拟。因此，忆阻器可作为人工突触来实现并行推理运算等功能。然而，现阶段在使用STDP或SRDP学习规则对人工突触进行训练的时候，通常基于易失或者半易失忆阻器实现的，因此面临突触权重不能长久保持的问题，当利用训练完的人工突触直接再进行推理运算或者完成识别任务时，会导致运算和识别精度不足。
发明内容
针对相关技术的缺陷，本发明的目的在于提供一种突触训练装置，旨在解决现有人工突触运算和识别精度不足的问题。
为实现上述目的，本发明提供了一种突触训练装置，包括训练模块、映射模块和推理模块；
所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；
所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；
所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应。
进一步地，所述映射模块包括分压电阻和阻值读取单元，所述阻值读取单元用于读取第一忆阻器的阻值；
第一忆阻器的输入端连接信号源PRE，输出端连接信号源POST；信号源POST的第一输出端经所述分压电阻接地，信号源POST的第二输出端连接所述阻值读取单元；
第二忆阻器的一端连接信号源PUL，另一端接信号输出端；其中，信号源PUL根据所述阻值读取单元所读取的阻值设计脉冲，调节所述第二忆阻器的阻值。
进一步地，所述阻值读取单元包括ADC。
进一步地，所述映射模块包括切换开关、分压电阻和晶体管；
第一忆阻器的一端连接信号源PRE，另一端连接所述切换开关的公共端；所述切换开关的第一连接端与信号源POST相连，所述切换开关的第二连接端经所述分压电阻接地；
所述晶体管的栅极与切换开关的第二连接端相连，所述晶体管的漏极与信号源PUL相连，所述晶体管的源极与第二忆阻器的一端连接；第二忆阻器的另一端接信号输出端。
进一步地，所述第一忆阻器具有连续可调的电阻态，并能在脉冲的作用下实现STDP/SRDP学习规则。
进一步地，所述第一忆阻器为铂、钛酸锶或铌掺杂的钛酸锶器件。
进一步地，所述第二忆阻器具有多阻态特性，且其在低阻态时的阻值随着限流值的变化而变化。
进一步地，所述晶体管的输出特性中的饱和电流为1μA-1mA。
通过本发明所构思的以上技术方案，在现有基于突触可塑性的训练方法基础上增加了映射模块，将训练模块与推理模块分开，训练模块中的忆阻器采用易失或者半易失的忆阻器器件，将训练完的权重值(忆阻器电阻值)经映射模块映射到推理模块，推理模块中的忆阻器采用非易失的忆阻器，使得其突触权重值得以长期存储。因此，本发明能克服训练过程中突触权重值不能长久保存和推理过程中运算和识别精度不高的问题，延长了推理模块中推理运算功能的有效使用期，还可降低训练推理过程中的功耗。
附图说明
图1是本发明实施例突触训练装置示意图。
图2是本发明第一实施例突触训练装置示意图。
图3是本发明第二实施例突触训练装置示意图。
图4是本发明第二实施例突触训练装置工作流程图。
图5是采用训练模块中易失性或半易失性忆阻器M1测试得到的STDP学习行为。
图6是采用推理模块中非易失性忆阻器M2在不同限流作用下的电阻分布。
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：M1-易失或半易失忆阻器，M2-非易失忆阻器，T1-晶体管，R-分压电阻，S1-切换开关。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种突触训练装置，包括训练模块、映射模块和推理模块，所述训练模块中忆阻器为易失或半易失性单器件，用来实现突触的功能，其电导用来模拟突触权重，可在训练模块的训练信号作用下实现突触权重的连续调节；所述映射模块将训练后的突触权重值映射到推理模块中，由推理模块中的非易失性器件实现长期存储功能；所述推理模块可以在推理信号下完成并行推理运算。所述突触训练装置能克服训练突触权重值不能长久保存的问题，延长了推理模块中推理运算功能的有效使用期。
下面结合两个优选实施例，对上述实施例中涉及的内容进行说明。
请参阅图2，本发明第一实施例提供的突触训练装置，所述训练装置特征在于：忆阻器M1一端连接信号源PRE，另一端连接信号源POST，组成训练模块；POST输出端分两路，一路经分压电阻R接地，另一路接阻值读取单元，忆阻器M2一端连接信号源PUL，另一端接信号输出端，组成推理模块。
所述训练装置工作原理如下：训练模块中利用信号源PRE和POST的信号对忆阻器M1的突触权重值进行训练；利用阻值读取单元对训练完后M1的突触权重值进行读取，信号源PUL根据该读取值，通过向忆阻器M2发出SET/RESET脉冲调节其突触权重值使之与忆阻器M1的突触权重值对应，实现训练模块的权重值到推理模块的映射存储。
请参阅图3，本发明第二实施例提供的突触训练装置，所述训练装置特征在于：忆阻器M1一端连接信号源PRE，另一端连接双路切换开关S1的公共端，S1的输出分两路，一路连接端(第一连接端)连接信号源POST；另一路连接端(第二连接端)经分压电阻R接地，晶体管T1栅极连接第二连接端，T1漏极连接信号源PUL，T1源极接忆阻器M2，M2另一端接信号输出端。
请参阅图4，所述训练结构工作流程如下：当开关S1切换到POST端时，训练模块激活，训练完后将开关S1切换到分压电阻R处，推理模块激活，训练完后M1的突触权重值经分压电阻转换成加载在晶体管T1的栅极电压，T1的沟道电流可随栅压发生变化，而当PUL输出脉冲信号，忆阻器M2的限流值随T1沟道电流而变化，忆阻器M2的电阻值随限流值变化而变化，最终实现训练模块的权重值到推理模块的映射存储。
其中训练模块中的M1为易失性忆阻器，可采用结构为Pt/SrTiO3/Nb-SrTiO3(铂/钛酸锶/铌掺杂的钛酸锶)器件，该忆阻器可以通过STDP规则来调节突触的可塑性，如图5所示，前突触脉冲信号PRE与后突触脉冲信号POST的时间间隔为Δt，当Δt>0时，突触权重呈增强现象，且随着Δt的减小，突触权重增强现象更明显；当Δt<0时，突触权重呈抑制状态，且随着Δt的减小，突触权重抑制现象更强。该忆阻器的制造步骤如下：在脉冲激光沉积设备中，以Nb-SrTiO3单晶为基体沉积一层SrTiO3；随后利用磁控溅射设备在SrTiO3顶部镀上Pt电极，制备出具有类突触功能的半易失性Pt/SrTiO3/Nb-SrTiO3忆阻器。
其中推理模块中的M2可采用Pt/Ta/TaOx/Pt/Ti非易失性忆阻器，该忆阻器具有多阻态特性，且低阻态时的电阻随限流值的变化而变化，如图6所示，当电压为0.5V时，限流值越大，忆阻器低阻态时的电阻越小。
其中晶体管T1为晶体管，其输出特性中的饱和电流在1μA-1mA左右。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种突触训练装置，其特征在于，包括训练模块、映射模块和推理模块；
所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；
所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；
所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应；
其中，
所述映射模块包括分压电阻和阻值读取单元，所述阻值读取单元用于读取第一忆阻器的阻值；第一忆阻器的输入端连接信号源PRE，输出端连接信号源POST；信号源POST的第一输出端经所述分压电阻接地，信号源POST的第二输出端连接所述阻值读取单元；第二忆阻器的一端连接信号源PUL，另一端接信号输出端；其中，信号源PUL根据所述阻值读取单元所读取的阻值设计脉冲，调节所述第二忆阻器的阻值，实现训练模块的权重值到推理模块的映射存储；
或，
所述映射模块包括切换开关、分压电阻和晶体管；第一忆阻器的一端连接信号源PRE，另一端连接所述切换开关的公共端；所述切换开关的第一连接端与信号源POST相连，所述切换开关的第二连接端经所述分压电阻接地；所述晶体管的栅极与切换开关的第二连接端相连，所述晶体管的漏极与信号源PUL相连，所述晶体管的源极与第二忆阻器的一端连接；第二忆阻器的另一端接信号输出端，所述第二忆阻器的限流值随所述晶体管沟道电流而变化，所述第二忆阻器的电阻值跟随限流值变化而变化，实现训练模块的权重值到推理模块的映射存储。
2.如权利要求1所述的突触训练装置，其特征在于，所述阻值读取单元包括ADC。
3.如权利要求1或2所述的突触训练装置，其特征在于，所述第一忆阻器具有连续可调的电阻态，并能在脉冲的作用下实现STDP/SRDP学习规则。
4.如权利要求3所述的突触训练装置，其特征在于，所述第一忆阻器为铂、钛酸锶或铌掺杂的钛酸锶器件。
5.如权利要求1所述的突触训练装置，其特征在于，所述第二忆阻器具有多阻态特性，且其在低阻态时的阻值随着限流值的变化而变化。
6.如权利要求1所述的突触训练装置，其特征在于，所述晶体管的输出特性中的饱和电流为1μA-1mA。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110403373.3A CN113191492B (zh) | 2021-04-14 | 2021-04-14 | 一种突触训练装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110403373.3A CN113191492B (zh) | 2021-04-14 | 2021-04-14 | 一种突触训练装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113191492A CN113191492A (zh) | 2021-07-30 |
| CN113191492B true CN113191492B (zh) | 2022-09-27 |
Family
ID=76975778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110403373.3A Active CN113191492B (zh) | 2021-04-14 | 2021-04-14 | 一种突触训练装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113191492B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845634A (zh) * | 2016-12-28 | 2017-06-13 | 华中科技大学 | 一种基于忆阻器件的神经元电路 |
| CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11625590B2 (en) * | 2019-04-05 | 2023-04-11 | The Government Of The United States Of America, As Represented By The Secretary Of The Navy | Memristive multi-terminal spiking neuron |
-
2021
- 2021-04-14 CN CN202110403373.3A patent/CN113191492B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106845634A (zh) * | 2016-12-28 | 2017-06-13 | 华中科技大学 | 一种基于忆阻器件的神经元电路 |
| CN109460817A (zh) * | 2018-09-11 | 2019-03-12 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
| WO2020052342A1 (zh) * | 2018-09-11 | 2020-03-19 | 华中科技大学 | 一种基于非易失存储器的卷积神经网络片上学习系统 |
Non-Patent Citations (2)
| Title |
|---|
| Functionally Complete Boolean Logic in 1T1R Resistive Random Access Memory;Zhuo-Rui Wang，et al.;《IEEE Electron Device Letters》;20161228;全文 * |
| 基于忆阻器阵列的神经网络系统的研究;林钰登;《cnki》;20200715;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113191492A (zh) | 2021-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11663457B2 (en) | Neural network circuits having non-volatile synapse arrays | |
| Mehonic et al. | Simulation of inference accuracy using realistic RRAM devices | |
| US20180330236A1 (en) | Neural network processing system | |
| KR102230784B1 (ko) | Stdp 동작을 위한 시냅스 회로 및 시냅스 회로를 포함하는 뉴로모픽 시스템 | |
| Pershin et al. | Experimental demonstration of associative memory with memristive neural networks | |
| Prezioso et al. | Modeling and implementation of firing-rate neuromorphic-network classifiers with bilayer Pt/Al2O3/TiO2− x/Pt memristors | |
| US20180114569A1 (en) | Hardware accelerators for calculating node values of neural networks | |
| JP2021507349A (ja) | 抵抗処理ユニット・アレイのクロスポイント・デバイスに重みを記憶するための方法、そのクロスポイント・デバイス、ニューラル・ネットワークを実施するためのクロスポイント・アレイ、そのシステム、およびニューラル・ネットワークを実施するための方法 | |
| CN111967589B (zh) | 神经元模拟电路及其驱动方法、神经网络装置 | |
| Acciarito et al. | Hardware design of LIF with Latency neuron model with memristive STDP synapses | |
| US20200167638A1 (en) | Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique | |
| Irmanova et al. | Neuron inspired data encoding memristive multi-level memory cell | |
| Demirağ et al. | PCM-trace: scalable synaptic eligibility traces with resistivity drift of phase-change materials | |
| Ji et al. | Adaptive sparse coding based on memristive neural network with applications | |
| US20200218967A1 (en) | Complex-Valued Neural Networks | |
| US20200202202A1 (en) | Synapse circuit with memory | |
| Berdan et al. | In-memory reinforcement learning with moderately-stochastic conductance switching of ferroelectric tunnel junctions | |
| Mahalanabis et al. | Demonstration of spike timing dependent plasticity in CBRAM devices with silicon neurons | |
| Muńoz-Martín et al. | Hardware implementation of PCM-based neurons with self-regulating threshold for homeostatic scaling in unsupervised learning | |
| US20240304267A1 (en) | Artificial intelligence processing device and training inference method for artificial intelligence processing device | |
| CN113191492B (zh) | 一种突触训练装置 | |
| CN117151176A (zh) | 用于神经网络学习的突触阵列、运算电路及操作方法 | |
| Shukla et al. | A case for multiple and parallel RRAMs as synaptic model for training SNNs | |
| Kiani et al. | Electroforming-free BiFeO 3 switches for neuromorphic computing: Spike-timing dependent plasticity (STDP) and cycle-number dependent plasticity (CNDP) | |
| CN114970846A (zh) | 一种储备池计算网络的硬件实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |