CN109460818A - 一种基于忆阻桥和阵列的多层神经网络设计方法 - Google Patents

一种基于忆阻桥和阵列的多层神经网络设计方法 Download PDF

Info

Publication number
CN109460818A
CN109460818A CN201811118317.XA CN201811118317A CN109460818A CN 109460818 A CN109460818 A CN 109460818A CN 201811118317 A CN201811118317 A CN 201811118317A CN 109460818 A CN109460818 A CN 109460818A
Authority
CN
China
Prior art keywords
memristor
bridge
neural network
weight
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811118317.XA
Other languages
English (en)
Inventor
于永斌
唐浩文
王向向
黄航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201811118317.XA priority Critical patent/CN109460818A/zh
Publication of CN109460818A publication Critical patent/CN109460818A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Abstract

本发明属于人工智能领域，涉及一种基于忆阻桥和阵列多层神经网络设计的方法。通过调整忆阻器的输入电压，可灵活地改变忆阻器的阻值，实现突触的可塑性，从而实现人工神经网络。所设计的忆阻桥和阵列突触模型可构成改进的忆阻多层神经网络电路。以突触模型为基础并结合CMOS元器件所搭建出的多层忆阻神经网络电路拥有强大的信息处理能力，开发者可按自身需求去构建多类神经网络解决各种复杂问题，易于大规模集成电路的实现。

Description

一种基于忆阻桥和阵列的多层神经网络设计方法
技术领域
本发明涉及人工智能领域，在基于忆阻桥和阵列构建的突触基础上，设计忆阻型多层神经网络。
背景技术
忆阻器是一种新型的非线性两端电路元件，其天然的记忆功能、连续的输入输出特性和非易失性，使其在人工神经网络、模式识别和图像处理等方面有着巨大的应用潜能。
忆阻器和CMOS元器件不仅具有很好的兼容性，而且都具有功耗低、高可靠性和可扩展性等优势。忆阻器充当神经突触，CMOS构建神经元使得神经网络电路设计更加优越可靠。
在搭建忆阻神经网络电路模型时，往往需要保证仿真结果的精度与速度，提高仿真精度意味着提高分析结果的可靠程度，但模型的精度越高，模型本身也就越复杂，而SPICE 仿真器由于具有丰富的原理图编辑界面，能方便的输出网表文件，并且可以进行统计容差分析，有效的分析原件及模型参数变化对电路的影响，能够很好地提高仿真精度和速度，有效的降低了开发的成本，在设计集成电路时被广泛使用。
利用忆阻器及CMOS等元件设计出的忆阻桥或阵列的多层神经网络模型，不仅具有大规模并行处理和巨大存储量等优势，而且调节模型两端的施加电压，可以灵活地改变其阻值状态，从而实现突触可塑性。所设计的忆阻桥和阵列模型具有功耗低，速度快和模块化等优势，可根据开发者的需求去构建多种神经网，如BP神经网络、细胞神经网络、WTA 神经网络和卷积神经网络等。在一定程度上节约了开发时间和开发成本，具有良好的市场应用前景。
发明内容
本发明公开了一种基于忆阻桥和阵列的多层神经网络设计方法。该模型突触部分分别采用忆阻桥式结构、忆阻阵列结构。采用忆阻桥或忆阻阵列设计的突触模型具有很强的信息处理能力和灵活性，可通过不断地重复连接构建出完整的硬件神经网络。
一种基于忆阻桥式结构的突触模型构建方法，包括：四个忆阻器和四个引脚。所述忆阻器串接在一起，形成环状结构。所述串接忆阻器的中间引出管脚。所述左右管脚左端接输入电压Vin，右端接地防止电磁耦合干扰。所述上下管脚都接输出电压，送往后级模块。
对基于忆阻桥式结构的突触模型提供一套对权值构建的方法。所述权重的改变可通过施加正负脉冲来实现。
另一种基于忆阻阵列的突触模型构建方法，包括(以单个神经元为例)：2N+1个输入端口、1个输出端口。基于KCL定理，所述2N+1个输入端施加电压，通过各自对应的忆阻器得到电流汇集在列线上。
对基于忆阻阵列结构的突触模型提供一套对权值构建的方法。所述权重的改变可通过施加正负脉冲来实现。
我们用SPICE搭建了基于忆阻桥和阵列突触结构的神经元模拟电路图。开发者可据此再结合自身需求生产出不同类型的神经网络芯片用于解决各种复杂问题。
附图说明
图1为本发明提供的基于忆阻桥的多层神经网络拓扑图
图1(A)、图6(A)为本发明提供的多层神经网络模型示意图
图1(B)、图6(B)分别为本发明提供的基于图1(A)、图6(A)中虚线框中的具体模块示意图
图1(C)、图6(C)分别为本发明提供的基于图1(B)、图6(B)中虚线框中的具体模块示意图
图2为本发明提供的忆阻桥式突触结构模型示意图
图3为本发明提供的忆阻桥式突触结构忆阻值变化示意图
图4为本发明提供的基于图1(C)的SPICE电路图
图5为本发明提供的基于图4的网表图
图6为本发明提供的基于忆阻阵列的多层神经网络拓扑图
图7为本发明提供的忆阻阵列单个神经元列模型示意图
图8为本发明提供的忆阻阵列突触结构忆导值变化示意图
图9为本发明提供的基于图6(C)的SPICE电路图
图10为本发明提供的基于图9的网表图
图11为本发明提供的神经网络拓扑图
具体实施方式
下面结合附图对基于忆阻桥和阵列的多层神经网络设计方法作具体说明。
基于忆阻桥的多层神经网络设计方法
图2为基于忆阻桥式结构的突触模型，包括：四个忆阻器和四个引脚，其中四个忆阻器对应的阻值为M1、M2、M3和M4。所述忆阻器串接在一起，形成环状结构。所述串接忆阻器的中间引出管脚。所述左右管脚左端接输入电压Vin，右端接地防止电磁耦合干扰。所述上下管脚都接输出电压，送往后级模块。需特别说明的是对于多层神经网络中的每一个神经元就是对该电路和激活函数电路的不断重复。
根据分压公式，图2中A点的电压为B点的电压值为忆阻桥式突触结构的输入输出电压关系为：权重具体为当大于时，权重为正；当等于时，权重为零；当小于时，权重为负。
本发明使用两个极性相反的串联忆阻器构成环，它们相互互补，即上下两半部分的权值和恒定，也就是M1+M2与M3+M4等于定值。通过输入一定正负的脉冲，可以修改权值。具体过程如下：我们输入正向脉冲，各忆阻器的阻值变化情况如图所示。从图3(a)中我们可以知道，M2上的分压增大，M4上的分压减小，根据上述上下两半部分的权值和恒定，我们可以知道A点电势高于B点，此时权重为正。我们输入负向脉冲，各忆阻器的阻值变化情况如图3(b)所示。从图中我们可以知道，M2上的分压减小，M4上的分压增大，我们可以知道A点电势低于B点，此时权重为负。
我们的输出电压先通过转换模块转换成电流，再通过求和模块得到总电流，最后通过一个电阻得到总电压并让其通过激活函数模块得到神经元的输出电压，计算机读取该电压并存放到计算机的内存中用于对该神经网络的局部权值进行修改，具体过程为当神经网络的实际输出与期望输出超过阈值，计算机依据其存储的值计算得到相应的脉冲宽度，然后输入相应宽度的脉冲修改权值。
本发明使用惠普实验室忆阻器模型。当我们训练数据时，根据上述，当我们需要增大权重时，施加正向脉冲宽度为当我们需减小权重时，施加的反向脉冲宽度为其中D为忆阻器的长度，Ron为drop的区域电阻，μv为掺杂物的流动性，其值为μv＝10-14m2s-1V-1。
基于忆阻阵列的多层神经网络设计方法
参见图5。该图为本发明提供的一个基于忆阻阵列神经网络单元图。包括：2N+1个输入端口、1个输出端口。基于KCL定理，所述2N+1个输入端的电压输入通过各自对应的忆阻器汇集在列线上得到电流之和。需特别说明的是对于多层神经网络中的每一个神经元就是对该电路和激活函数电路的不断重复。
所述与其中x1,...,xN,-x1,...,-xN为输入， xb为偏置，相接的忆阻器的另一端接公共的列线。使得等效合成的忆导值为2N+1个忆阻器的忆导值之和，具体表达式为：根据分流公式，列线上的总电流为：I＝x1(Gx1-G-x1)+…+xn×(Gxn-G-xn)+xb×Gxb。由于欧姆定律，输入与输出成线性关系，对于分量x1，我们可以把Gx1-G-x1看成对它的加权，Gx1大于G-x1，权重为正，Gx1小于G-x1，权重为负。
列线上的电流根据KCL定律得到总电流后再通过转换模块将电流转换成电压，再通过激活函数模块得到神经元的输出电压，计算机读取该电压并存放到计算机的内存当中用于对我们的局部权值进行修改，具体过程为当神经网络的实际输出与期望输出超过阈值，计算机依据其存储的值计算得到相应的脉冲宽度，然后输入相应宽度的脉冲修改权值。
本发明使用极性相同的忆阻器，通过输入一定的正负脉冲，可以修改权值。具体过程如下：当我们在xi端输入一个正向脉冲，-xi端输入一个大小相等的反向脉冲，与xi端和-xi端相接的忆阻器的忆导值变化情况如图8(a)所示，xi端忆导值减小，-xi端的忆导值增大，在一定情况下可以实现权重为负。当我们在xi端输入一个反向脉冲，-xi端输入一个大小相等的正向脉冲，与xi端和-xi端相接的忆阻器的忆导值变化情况如图8(b)所示，xi端忆导值增大，-xi端的忆导值减小，在一定情况下可以实现权重为正。最终基于忆阻桥和阵列突触结构设计出来的多层神经网络拓扑图如图11所示。

Claims (3)

1.一种基于忆阻桥和阵列的多层神经网络设计方法，其特征在于，包括：
A、对基于忆阻桥式结构的突触模型提供一套对权值构建的方法；
B、对基于忆阻阵列式结构的突触模型提供一套对权值构建的方法；
C、在SPICE中对基于忆阻桥和阵列的神经元搭建了等效电路图。
2.根据权利要求1所述的一种基于忆阻桥和阵列的多层神经网络设计方法，其特征在于，所述步骤A还包括：
A1、当输入信号电压Vin施加到桥电路时可知忆阻桥的输出电压Vout就是忆阻桥A端与B端的电压差，即
A2、Vout可写成Vin与权重w的乘积，则可得出因此可通过施加正负脉冲来改变桥式电路的权值；
A3、当权值调整好后通过由运算放大器组成的转换、求和、激活函数模块可得到神经元的输出电压。
3.根据权利要求1所述的一种基于忆阻桥和阵列的多层神经网络设计方法，其特征在于，所述步骤B还包括：
B1、与x1(考虑了-x1)相接的忆阻器的忆导值整体等效于|GX1|-|G-X1|；
B2、在上述过程中，|GX1|-|G-X1|会出现三种数值：正，负，零，即实现了突触权重改变的目的；
B3、输入信号以电压形式输入，权值以忆导形式存储，据欧姆定律可实现电压与忆导的乘法运算，又由于电流可相加，就实现了多个输入与权值的乘法运算，最后再通过激活函数模块得到整个神经元的输出信号。
CN201811118317.XA 2018-09-25 2018-09-25 一种基于忆阻桥和阵列的多层神经网络设计方法 Pending CN109460818A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811118317.XA CN109460818A (zh) 2018-09-25 2018-09-25 一种基于忆阻桥和阵列的多层神经网络设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811118317.XA CN109460818A (zh) 2018-09-25 2018-09-25 一种基于忆阻桥和阵列的多层神经网络设计方法

Publications (1)

Publication Number Publication Date
CN109460818A true CN109460818A (zh) 2019-03-12

Family

ID=65606887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811118317.XA Pending CN109460818A (zh) 2018-09-25 2018-09-25 一种基于忆阻桥和阵列的多层神经网络设计方法

Country Status (1)

Country Link
CN (1) CN109460818A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059816A (zh) * 2019-04-09 2019-07-26 南京邮电大学 一种基于忆阻器的神经网络单元电路
CN110163364A (zh) * 2019-04-28 2019-08-23 南京邮电大学 一种基于忆阻桥突触的神经网络单元电路
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
WO2020206890A1 (zh) * 2019-04-11 2020-10-15 上海集成电路研发中心有限公司 一种基于细胞突触结构的单层线性神经网络
CN111985630A (zh) * 2019-05-22 2020-11-24 力旺电子股份有限公司 运用于类神经网络系统的乘积累加电路的控制电路
CN113077046A (zh) * 2021-03-30 2021-07-06 西南大学 一种基于遗忘忆阻桥的并行多算子卷积运算器
CN113516138A (zh) * 2021-07-21 2021-10-19 中国民航大学 一种基于双模式忆阻桥突触电路的图像处理方法
CN113811896A (zh) * 2019-05-07 2021-12-17 Hrl实验室有限责任公司 用于存储器内计算的双极全忆阻器电路

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704093B2 (en) * 2013-01-14 2017-07-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Asymmetrical memristor
CN107424647A (zh) * 2017-08-03 2017-12-01 电子科技大学 一种基于忆阻器的语音存储与分类系统
CN110444660A (zh) * 2019-08-13 2019-11-12 南京邮电大学 一种具有类脑特性的忆阻器件及其制备方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9704093B2 (en) * 2013-01-14 2017-07-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Asymmetrical memristor
CN107424647A (zh) * 2017-08-03 2017-12-01 电子科技大学 一种基于忆阻器的语音存储与分类系统
CN110444660A (zh) * 2019-08-13 2019-11-12 南京邮电大学 一种具有类脑特性的忆阻器件及其制备方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张洋: "忆阻多层神经网络的设计及其应用", 《万方数据》 *
杨婷: "基于忆阻细胞神经网络的 彩色图像边缘提取", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
杨玖: "忆阻器的耦合连接特性与突触电路设计", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059816A (zh) * 2019-04-09 2019-07-26 南京邮电大学 一种基于忆阻器的神经网络单元电路
CN110059816B (zh) * 2019-04-09 2022-08-16 南京邮电大学 一种基于忆阻器的神经网络单元电路
WO2020206890A1 (zh) * 2019-04-11 2020-10-15 上海集成电路研发中心有限公司 一种基于细胞突触结构的单层线性神经网络
CN110163364A (zh) * 2019-04-28 2019-08-23 南京邮电大学 一种基于忆阻桥突触的神经网络单元电路
CN110163364B (zh) * 2019-04-28 2022-08-30 南京邮电大学 一种基于忆阻桥突触的神经网络单元电路
CN113811896A (zh) * 2019-05-07 2021-12-17 Hrl实验室有限责任公司 用于存储器内计算的双极全忆阻器电路
US11694070B2 (en) 2019-05-07 2023-07-04 Hrl Laboratories, Llc Bipolar all-memristor circuit for in-memory computing
CN113811896B (zh) * 2019-05-07 2022-12-09 Hrl实验室有限责任公司 用于存储器内计算的双极全忆阻器电路
CN111985630A (zh) * 2019-05-22 2020-11-24 力旺电子股份有限公司 运用于类神经网络系统的乘积累加电路的控制电路
CN111460365A (zh) * 2020-03-10 2020-07-28 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN111460365B (zh) * 2020-03-10 2021-12-03 华中科技大学 一种基于忆阻线性神经网络的方程组求解器及其操作方法
CN113077046B (zh) * 2021-03-30 2022-12-30 西南大学 一种基于遗忘忆阻桥的并行多算子卷积运算器
CN113077046A (zh) * 2021-03-30 2021-07-06 西南大学 一种基于遗忘忆阻桥的并行多算子卷积运算器
CN113516138A (zh) * 2021-07-21 2021-10-19 中国民航大学 一种基于双模式忆阻桥突触电路的图像处理方法
CN113516138B (zh) * 2021-07-21 2022-07-29 中国民航大学 一种基于双模式忆阻桥突触电路的图像处理方法

Similar Documents

Publication Publication Date Title
CN109460818A (zh) 一种基于忆阻桥和阵列的多层神经网络设计方法
Panda et al. Toward scalable, efficient, and accurate deep spiking neural networks with backward residual connections, stochastic softmax, and hybridization
CN104573238B (zh) 一种忆阻细胞神经网络的电路设计方法
Kadetotad et al. Parallel architecture with resistive crosspoint array for dictionary learning acceleration
CN109460817A (zh) 一种基于非易失存储器的卷积神经网络片上学习系统
CN105976022B (zh) 电路结构、人工神经网络及用电路结构模拟突触的方法
US11694070B2 (en) Bipolar all-memristor circuit for in-memory computing
Smithson et al. Stochastic computing can improve upon digital spiking neural networks
CN103297025B (zh) 一种忆阻器仿真器
CN106133755A (zh) 使用尖峰发放神经网络的图像的不变对象表示
CN113344191B (zh) 具有超级多稳定性的连续型Rulkov电子神经元电路
Zhao et al. Analog spike-timing-dependent resistive crossbar design for brain inspired computing
CN109086870A (zh) 一种基于忆阻器的三维卷积神经网络实现方法
Yu et al. Log-domain time-multiplexed realization of dynamical conductance-based synapses
Pham et al. A review of SNN implementation on FPGA
CN109977470B (zh) 忆阻Hopfield神经网络稀疏编码的电路及其操作方法
CN109325588A (zh) 基于忆阻器矩阵的权值运算模块
Rahman A neural network with O (N) neurons for ranking N numbers in O (1/N) time
Hadfield et al. Twisted homology of quantum SL (2)-part II
CN106104586A (zh) 神经元形态模型开发的上下文实时反馈
Sofatzis et al. The synaptic kernel adaptation network
CN212695978U (zh) 一种基于忆阻器神经元电路的多输入逻辑门电路
CN110175384B (zh) 一种二次光滑流控忆阻器模拟电路
Kendall et al. Deep learning in memristive nanowire networks
Sun et al. Coupling matrix extraction for microwave filter design using neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190312