CN113191492B - 一种突触训练装置 - Google Patents

一种突触训练装置 Download PDF

Info

Publication number
CN113191492B
CN113191492B CN202110403373.3A CN202110403373A CN113191492B CN 113191492 B CN113191492 B CN 113191492B CN 202110403373 A CN202110403373 A CN 202110403373A CN 113191492 B CN113191492 B CN 113191492B
Authority
CN
China
Prior art keywords
memristor
resistance value
module
training
signal source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110403373.3A
Other languages
English (en)
Other versions
CN113191492A (zh
Inventor
郭新
温娟
黄鹤鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110403373.3A priority Critical patent/CN113191492B/zh
Publication of CN113191492A publication Critical patent/CN113191492A/zh
Application granted granted Critical
Publication of CN113191492B publication Critical patent/CN113191492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Character Discrimination (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明公开了一种突触训练装置，属于人工神经网络相关技术领域。包括训练模块、映射模块和推理模块；所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应。本发明能克服训练过程中突触权重值不能长久保存和推理过程中运算和识别精度不高的问题，延长了推理模块中推理运算功能的有效使用期，还可降低训练推理过程中的功耗。

Description

一种突触训练装置
技术领域
本发明属于人工神经网络相关技术领域，更具体地，涉及一种突触训练装置。
背景技术
大脑不仅是一个高度并行和高效率的信息处理系统，还是一个由大约1015个突触和大约1011个神经元相互交错形成的复杂神经网络，其中，神经元之间的复杂的信息传输过程是通过突触完成的，突触之间的信息传递效率称为突触权重，突触权重能根据神经脉冲产生变化的现象被称为突触可塑性，是大脑进行学习、记忆等活动的基础。因此通过电子器件模拟突触可塑性是实现神经形态计算的关键步骤。
现阶段，本领域相关技术人员已经做了一些研究，用一个忆阻器即可模拟生物突触的大部分功能，在脉冲的作用下表现出电导的连续增加或者降低，并可实现对脉冲时序依赖可塑性(Spike-timing-dependent plasticity，STDP)或脉冲频率依赖可塑性(Spike-rate-dependent plasticity，SRDP)学习规则的模拟。因此，忆阻器可作为人工突触来实现并行推理运算等功能。然而，现阶段在使用STDP或SRDP学习规则对人工突触进行训练的时候，通常基于易失或者半易失忆阻器实现的，因此面临突触权重不能长久保持的问题，当利用训练完的人工突触直接再进行推理运算或者完成识别任务时，会导致运算和识别精度不足。
发明内容
针对相关技术的缺陷，本发明的目的在于提供一种突触训练装置，旨在解决现有人工突触运算和识别精度不足的问题。
为实现上述目的，本发明提供了一种突触训练装置，包括训练模块、映射模块和推理模块；
所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；
所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；
所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应。
进一步地，所述映射模块包括分压电阻和阻值读取单元，所述阻值读取单元用于读取第一忆阻器的阻值；
第一忆阻器的输入端连接信号源PRE，输出端连接信号源POST；信号源POST的第一输出端经所述分压电阻接地，信号源POST的第二输出端连接所述阻值读取单元；
第二忆阻器的一端连接信号源PUL，另一端接信号输出端；其中，信号源PUL根据所述阻值读取单元所读取的阻值设计脉冲，调节所述第二忆阻器的阻值。
进一步地，所述阻值读取单元包括ADC。
进一步地，所述映射模块包括切换开关、分压电阻和晶体管；
第一忆阻器的一端连接信号源PRE，另一端连接所述切换开关的公共端；所述切换开关的第一连接端与信号源POST相连，所述切换开关的第二连接端经所述分压电阻接地；
所述晶体管的栅极与切换开关的第二连接端相连，所述晶体管的漏极与信号源PUL相连，所述晶体管的源极与第二忆阻器的一端连接；第二忆阻器的另一端接信号输出端。
进一步地，所述第一忆阻器具有连续可调的电阻态，并能在脉冲的作用下实现STDP/SRDP学习规则。
进一步地，所述第一忆阻器为铂、钛酸锶或铌掺杂的钛酸锶器件。
进一步地，所述第二忆阻器具有多阻态特性，且其在低阻态时的阻值随着限流值的变化而变化。
进一步地，所述晶体管的输出特性中的饱和电流为1μA-1mA。
通过本发明所构思的以上技术方案，在现有基于突触可塑性的训练方法基础上增加了映射模块，将训练模块与推理模块分开，训练模块中的忆阻器采用易失或者半易失的忆阻器器件，将训练完的权重值(忆阻器电阻值)经映射模块映射到推理模块，推理模块中的忆阻器采用非易失的忆阻器，使得其突触权重值得以长期存储。因此，本发明能克服训练过程中突触权重值不能长久保存和推理过程中运算和识别精度不高的问题，延长了推理模块中推理运算功能的有效使用期，还可降低训练推理过程中的功耗。
附图说明
图1是本发明实施例突触训练装置示意图。
图2是本发明第一实施例突触训练装置示意图。
图3是本发明第二实施例突触训练装置示意图。
图4是本发明第二实施例突触训练装置工作流程图。
图5是采用训练模块中易失性或半易失性忆阻器M1测试得到的STDP学习行为。
图6是采用推理模块中非易失性忆阻器M2在不同限流作用下的电阻分布。
在所有附图中，相同的附图标记用来表示相同的元件或结构，其中：M1-易失或半易失忆阻器，M2-非易失忆阻器，T1-晶体管，R-分压电阻，S1-切换开关。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种突触训练装置，包括训练模块、映射模块和推理模块，所述训练模块中忆阻器为易失或半易失性单器件，用来实现突触的功能，其电导用来模拟突触权重，可在训练模块的训练信号作用下实现突触权重的连续调节；所述映射模块将训练后的突触权重值映射到推理模块中，由推理模块中的非易失性器件实现长期存储功能；所述推理模块可以在推理信号下完成并行推理运算。所述突触训练装置能克服训练突触权重值不能长久保存的问题，延长了推理模块中推理运算功能的有效使用期。
下面结合两个优选实施例，对上述实施例中涉及的内容进行说明。
请参阅图2，本发明第一实施例提供的突触训练装置，所述训练装置特征在于：忆阻器M1一端连接信号源PRE，另一端连接信号源POST，组成训练模块；POST输出端分两路，一路经分压电阻R接地，另一路接阻值读取单元，忆阻器M2一端连接信号源PUL，另一端接信号输出端，组成推理模块。
所述训练装置工作原理如下：训练模块中利用信号源PRE和POST的信号对忆阻器M1的突触权重值进行训练；利用阻值读取单元对训练完后M1的突触权重值进行读取，信号源PUL根据该读取值，通过向忆阻器M2发出SET/RESET脉冲调节其突触权重值使之与忆阻器M1的突触权重值对应，实现训练模块的权重值到推理模块的映射存储。
请参阅图3，本发明第二实施例提供的突触训练装置，所述训练装置特征在于：忆阻器M1一端连接信号源PRE，另一端连接双路切换开关S1的公共端，S1的输出分两路，一路连接端(第一连接端)连接信号源POST；另一路连接端(第二连接端)经分压电阻R接地，晶体管T1栅极连接第二连接端，T1漏极连接信号源PUL，T1源极接忆阻器M2，M2另一端接信号输出端。
请参阅图4，所述训练结构工作流程如下：当开关S1切换到POST端时，训练模块激活，训练完后将开关S1切换到分压电阻R处，推理模块激活，训练完后M1的突触权重值经分压电阻转换成加载在晶体管T1的栅极电压，T1的沟道电流可随栅压发生变化，而当PUL输出脉冲信号，忆阻器M2的限流值随T1沟道电流而变化，忆阻器M2的电阻值随限流值变化而变化，最终实现训练模块的权重值到推理模块的映射存储。
其中训练模块中的M1为易失性忆阻器，可采用结构为Pt/SrTiO3/Nb-SrTiO3(铂/钛酸锶/铌掺杂的钛酸锶)器件，该忆阻器可以通过STDP规则来调节突触的可塑性，如图5所示，前突触脉冲信号PRE与后突触脉冲信号POST的时间间隔为Δt，当Δt>0时，突触权重呈增强现象，且随着Δt的减小，突触权重增强现象更明显；当Δt<0时，突触权重呈抑制状态，且随着Δt的减小，突触权重抑制现象更强。该忆阻器的制造步骤如下：在脉冲激光沉积设备中，以Nb-SrTiO3单晶为基体沉积一层SrTiO3；随后利用磁控溅射设备在SrTiO3顶部镀上Pt电极，制备出具有类突触功能的半易失性Pt/SrTiO3/Nb-SrTiO3忆阻器。
其中推理模块中的M2可采用Pt/Ta/TaOx/Pt/Ti非易失性忆阻器，该忆阻器具有多阻态特性，且低阻态时的电阻随限流值的变化而变化，如图6所示，当电压为0.5V时，限流值越大，忆阻器低阻态时的电阻越小。
其中晶体管T1为晶体管，其输出特性中的饱和电流在1μA-1mA左右。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种突触训练装置，其特征在于，包括训练模块、映射模块和推理模块；
所述训练模块包括第一忆阻器，在训练信号的作用下实现阻值的调节；其中，所述第一忆阻器为易失或半易失忆阻器；
所述推理模块包括第二忆阻器，用于进行推理运算；其中，所述第二忆阻器为非易失忆阻器；
所述映射模块用于使第二忆阻器的阻值与第一忆阻器的阻值相对应；
其中，
所述映射模块包括分压电阻和阻值读取单元，所述阻值读取单元用于读取第一忆阻器的阻值；第一忆阻器的输入端连接信号源PRE，输出端连接信号源POST；信号源POST的第一输出端经所述分压电阻接地，信号源POST的第二输出端连接所述阻值读取单元；第二忆阻器的一端连接信号源PUL，另一端接信号输出端；其中，信号源PUL根据所述阻值读取单元所读取的阻值设计脉冲，调节所述第二忆阻器的阻值，实现训练模块的权重值到推理模块的映射存储；
或，
所述映射模块包括切换开关、分压电阻和晶体管；第一忆阻器的一端连接信号源PRE，另一端连接所述切换开关的公共端；所述切换开关的第一连接端与信号源POST相连，所述切换开关的第二连接端经所述分压电阻接地；所述晶体管的栅极与切换开关的第二连接端相连，所述晶体管的漏极与信号源PUL相连，所述晶体管的源极与第二忆阻器的一端连接；第二忆阻器的另一端接信号输出端，所述第二忆阻器的限流值随所述晶体管沟道电流而变化，所述第二忆阻器的电阻值跟随限流值变化而变化，实现训练模块的权重值到推理模块的映射存储。
2.如权利要求1所述的突触训练装置，其特征在于，所述阻值读取单元包括ADC。
3.如权利要求1或2所述的突触训练装置，其特征在于，所述第一忆阻器具有连续可调的电阻态，并能在脉冲的作用下实现STDP/SRDP学习规则。
4.如权利要求3所述的突触训练装置，其特征在于，所述第一忆阻器为铂、钛酸锶或铌掺杂的钛酸锶器件。
5.如权利要求1所述的突触训练装置，其特征在于，所述第二忆阻器具有多阻态特性，且其在低阻态时的阻值随着限流值的变化而变化。
6.如权利要求1所述的突触训练装置，其特征在于，所述晶体管的输出特性中的饱和电流为1μA-1mA。
CN202110403373.3A 2021-04-14 2021-04-14 一种突触训练装置 Active CN113191492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110403373.3A CN113191492B (zh) 2021-04-14 2021-04-14 一种突触训练装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110403373.3A CN113191492B (zh) 2021-04-14 2021-04-14 一种突触训练装置

Publications (2)

Publication Number Publication Date
CN113191492A CN113191492A (zh) 2021-07-30
CN113191492B true CN113191492B (zh) 2022-09-27

Family

ID=76975778

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110403373.3A Active CN113191492B (zh) 2021-04-14 2021-04-14 一种突触训练装置

Country Status (1)

Country Link
CN (1) CN113191492B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11625590B2 (en) * 2019-04-05 2023-04-11 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Memristive multi-terminal spiking neuron

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106845634A (zh) * 2016-12-28 2017-06-13 华中科技大学 一种基于忆阻器件的神经元电路
CN109460817A (zh) * 2018-09-11 2019-03-12 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统
WO2020052342A1 (zh) * 2018-09-11 2020-03-19 华中科技大学 一种基于非易失存储器的卷积神经网络片上学习系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Functionally Complete Boolean Logic in 1T1R Resistive Random Access Memory;Zhuo-Rui Wang，et al.;《IEEE Electron Device Letters》;20161228;全文 *
基于忆阻器阵列的神经网络系统的研究;林钰登;《cnki》;20200715;全文 *

Also Published As

Publication number Publication date
CN113191492A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
US11361215B2 (en) Neural network circuits having non-volatile synapse arrays
Mehonic et al. Simulation of inference accuracy using realistic RRAM devices
US20180330236A1 (en) Neural network processing system
Pershin et al. Experimental demonstration of associative memory with memristive neural networks
Hansen et al. Unsupervised Hebbian learning experimentally realized with analogue memristive crossbar arrays
Prezioso et al. Modeling and implementation of firing-rate neuromorphic-network classifiers with bilayer Pt/Al2O3/TiO2− x/Pt memristors
Acciarito et al. Hardware design of LIF with Latency neuron model with memristive STDP synapses
CN111967589B (zh) 神经元模拟电路及其驱动方法、神经网络装置
US20200167638A1 (en) Circuit neuronal apte à mettre en oeuvre un apprentissage synaptique
Irmanova et al. Neuron inspired data encoding memristive multi-level memory cell
US11449740B2 (en) Synapse circuit with memory
Demirağ et al. PCM-trace: scalable synaptic eligibility traces with resistivity drift of phase-change materials
US20200218967A1 (en) Complex-Valued Neural Networks
Ji et al. Adaptive sparse coding based on memristive neural network with applications
Berdan et al. In-memory reinforcement learning with moderately-stochastic conductance switching of ferroelectric tunnel junctions
Mahalanabis et al. Demonstration of spike timing dependent plasticity in CBRAM devices with silicon neurons
Muńoz-Martín et al. Hardware implementation of PCM-based neurons with self-regulating threshold for homeostatic scaling in unsupervised learning
CN113191492B (zh) 一种突触训练装置
TWI778374B (zh) 神經網路記憶體
CN111461312B (zh) 一种基于忆阻器随机丢弃神经元
CN117151176A (zh) 用于神经网络学习的突触阵列、运算电路及操作方法
Shukla et al. A case for multiple and parallel RRAMs as synaptic model for training SNNs
Zhao et al. A current-feedback method for programming memristor array in bidirectional associative memory
Kiani et al. Electroforming-free BiFeO 3 switches for neuromorphic computing: Spike-timing dependent plasticity (STDP) and cycle-number dependent plasticity (CNDP)
KR102480434B1 (ko) 선형 전류-전압 특성의 시냅스 소자 및 신경망 회로

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant