CN112308223A - 一种基于忆阻器的深度神经网络 - Google Patents

一种基于忆阻器的深度神经网络 Download PDF

Info

Publication number
CN112308223A
CN112308223A CN202011595993.3A CN202011595993A CN112308223A CN 112308223 A CN112308223 A CN 112308223A CN 202011595993 A CN202011595993 A CN 202011595993A CN 112308223 A CN112308223 A CN 112308223A
Authority
CN
China
Prior art keywords
layer
resistor
memristor
diode
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011595993.3A
Other languages
English (en)
Inventor
冉欢欢
蒙顺开
李毅捷
张雁苹
庄祖江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Kerui Ai Technology Co ltd
Original Assignee
Chengdu Kerui Ai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kerui Ai Technology Co ltd filed Critical Chengdu Kerui Ai Technology Co ltd
Priority to CN202011595993.3A priority Critical patent/CN112308223A/zh
Publication of CN112308223A publication Critical patent/CN112308223A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明公开了一种基于忆阻器的深度神经网络，包括若干基于BN层的忆阻卷积层，所述忆阻卷积层包括忆阻交叉阵列、DAC模块、ADC模块、与门、放大器、第一二极管、第二二极管、第一电阻、第二电阻、第三电阻、第四电阻和第五电阻。本发明在忆阻器实现的深度神经网络中，不仅实现了BN层的功能，加快了网络的训练速度，提高了网络的泛化能力，降低了梯度弥散，使得使用忆阻器构建更深层的神经网络更加容易；同时，还将BN层与CNN层相结合，降低了电路的复杂度以及功耗。

Description

一种基于忆阻器的深度神经网络
技术领域
本发明属于神经网络技术领域，特别是涉及一种基于忆阻器的深度神经网络。
背景技术
在深度神经网络中批量标准化（BN,Batch Normalization）层是一种典型的处理层，可以加快网络的训练速度，增加网络的泛化能力，改善梯度弥散的问题。然而目前基于忆阻器实现的BN层，都是孤立的，没有与CNN（卷积层）层相互结合。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于忆阻器的深度神经网络。
本发明的目的是通过以下技术方案来实现的：一种基于忆阻器的深度神经网络，包括若干基于BN层的忆阻卷积层，所述忆阻卷积层包括忆阻交叉阵列、DAC模块、ADC模块、与门、放大器、第一二极管、第二二极管、第一电阻、第二电阻、第三电阻、第四电阻和第五电阻；
所述忆阻交叉阵列的输入端与DAC模块的输出端连接，所述忆阻交叉阵列的第一输出端经与门与第一电阻的第一端连接，所述忆阻交叉阵列的第二输出端与第二电阻的第一端连接，所述第一电阻的第二端和第二电阻的第二端均与放大器的正输入端连接，所述放大器的负输入端经第三电阻接地，所述放大器的负输入端经第四电阻与放大器的输出端连接，所述放大器的输出端与第一二极管的阳极连接，所述第一二极管的阴极与第五电阻的第一端连接，所述第五电阻的第二端与ADC模块的输入端和第二二极管的阳极连接，所述第二二极管的阴极接参考电压。
优选的，基于忆阻器的深度神经网络还包括输入层、最大池化层、平均池化层、全连接层、softmax层和分类输出层，所述输入层、忆阻卷积层、全连接层、softmax层和分类输出层依次设置，最后一个忆阻卷积层后面紧跟一个平均池化层，其余每个忆阻卷积层后面均紧跟一个最大池化层。
本发明的有益效果是：本发明在忆阻器实现的深度神经网络中，不仅实现了BN层的功能，而且还将BN层与CNN层相结合，降低了电路的复杂度以及功耗。
附图说明
图1为本发明中基于忆阻器构建的BN层的电路图；
图2为本发明中基于此BN层的忆阻卷积层的电路图；
图3为本发明中深度神经网络的一种结构；
图4为本发明的深度神经网络的一种效果图；
图5为基于忆阻器的图像分类网络预测过程功耗图；
图6为基于本发明的图像分类网络写入过程功耗图。
具体实施方式
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1-6，本发明提供一种基于忆阻器的深度神经网络：
如图1和图2所示，一种基于忆阻器的深度神经网络，包括若干基于BN层的忆阻卷积层，所述忆阻卷积层包括忆阻交叉阵列T1、DAC模块、ADC模块、与门T2、放大器T3、第一二极管D1、第二二极管D2、第一电阻R1、第二电阻R2、第三电阻R3、第四电阻R4和第五电阻R5。图1和图2中每个黑色方块代表的是一个1T1R的忆阻器；Xi1、Xi2和XiN*N表示第i层神经网络中N*N的卷积核对应的输入电压；Xb表示卷积核的偏置电压。
所述忆阻交叉阵列T1的输入端与DAC模块的输出端连接，所述忆阻交叉阵列T1的第一输出端经与门T2与第一电阻R1的第一端连接，所述忆阻交叉阵列T1的第二输出端与第二电阻R2的第一端连接，所述第一电阻R1的第二端和第二电阻R2的第二端均与放大器T3的正输入端连接，所述放大器T3的负输入端经第三电阻R3接地，所述放大器T3的负输入端经第四电阻R4与放大器T3的输出端连接，所述放大器T3的输出端与第一二极管D1的阳极连接，所述第一二极管D1的阴极与第五电阻R5的第一端连接，所述第五电阻R5的第二端与ADC模块的输入端和第二二极管D2的阳极连接，所述第二二极管D2的阴极接参考电压Vp。
在深度神经网络中，假定某一层的输入为
Figure 953152DEST_PATH_IMAGE001
，其中
Figure DEST_PATH_IMAGE002
表示输入数据的维度，对每一维进行标准化，有：
Figure 870292DEST_PATH_IMAGE003
（1）
其中，
Figure DEST_PATH_IMAGE004
表示的是输入数据的均值，
Figure 587713DEST_PATH_IMAGE005
表示的是输入数据的方差，
Figure DEST_PATH_IMAGE006
为k维bn转换的结果，
Figure 671337DEST_PATH_IMAGE007
为k维bn层的输入。
由于标准化的结果会影响到下一层网络的训练，因此BN层的输出为：
Figure DEST_PATH_IMAGE008
（2）
其中，
Figure 423393DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
为第k层的学习参数。
在反向传播过程中BN层的参数还有均值
Figure 432806DEST_PATH_IMAGE011
和方差
Figure DEST_PATH_IMAGE012
，在训练过程中可以将BN层的输出简化为
Figure 699839DEST_PATH_IMAGE013
的一个线性变化，因此可以等效为如下公式：
Figure DEST_PATH_IMAGE014
（3）
其中，
Figure 836422DEST_PATH_IMAGE015
是对角矩阵，
Figure DEST_PATH_IMAGE016
为输出，
Figure 190787DEST_PATH_IMAGE017
为偏置，
Figure DEST_PATH_IMAGE018
为BN层的输入。
在BN层后，网络通常链接的是卷积层，则有
Figure 121834DEST_PATH_IMAGE019
。在卷积层中有：
Figure DEST_PATH_IMAGE020
（4）
其中，
Figure 63114DEST_PATH_IMAGE021
分别为卷积层中对应的参数。
因此有：
Figure 800126DEST_PATH_IMAGE022
（5）
令
Figure 261194DEST_PATH_IMAGE023
，输入为
Figure DEST_PATH_IMAGE024
，则：
Figure 379454DEST_PATH_IMAGE025
（6）
因此，只需要改变忆阻器的交叉阵列的系数，就可以使得BN层和卷积层共用一个忆阻交叉陈列，减少了运算放大器的数量，同时也降低了系统的功耗。
如图3所示，基于忆阻器的深度神经网络还包括输入层、最大池化层、平均池化层、全连接层、softmax层和分类输出层，所述输入层、忆阻卷积层、全连接层、softmax层和分类输出层依次设置，最后一个忆阻卷积层后面紧跟一个平均池化层，其余每个忆阻卷积层后面均紧跟一个最大池化层。图3中以输入层：32*32*3为例。
本实施例在忆阻器实现的深度神经网络中，不仅实现了BN层的功能，加快了网络的训练速度，提高了网络的泛化能力，降低了梯度弥散，使得使用忆阻器构建更深层的神经网络更加容易；同时，还将BN层与CNN层相结合，降低了电路的复杂度以及功耗。
采用cafiar-10数据集进行了效果的验证。如图4所示，本实施例的BN层可以提高网络的收敛速度和准确率；如图5和图6所示，本实施例采用忆阻电路构建的卷积BN层的功耗较低。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (2)

1.一种基于忆阻器的深度神经网络，其特征在于，包括若干基于BN层的忆阻卷积层，所述忆阻卷积层包括忆阻交叉阵列、DAC模块、ADC模块、与门、放大器、第一二极管、第二二极管、第一电阻、第二电阻、第三电阻、第四电阻和第五电阻；
所述忆阻交叉阵列的输入端与DAC模块的输出端连接，所述忆阻交叉阵列的第一输出端经与门与第一电阻的第一端连接，所述忆阻交叉阵列的第二输出端与第二电阻的第一端连接，所述第一电阻的第二端和第二电阻的第二端均与放大器的正输入端连接，所述放大器的负输入端经第三电阻接地，所述放大器的负输入端经第四电阻与放大器的输出端连接，所述放大器的输出端与第一二极管的阳极连接，所述第一二极管的阴极与第五电阻的第一端连接，所述第五电阻的第二端与ADC模块的输入端和第二二极管的阳极连接，所述第二二极管的阴极接参考电压。
2.根据权利要求1所述的一种基于忆阻器的深度神经网络，其特征在于，基于忆阻器的深度神经网络还包括输入层、最大池化层、平均池化层、全连接层、softmax层和分类输出层，所述输入层、忆阻卷积层、全连接层、softmax层和分类输出层依次设置，最后一个忆阻卷积层后面紧跟一个平均池化层，其余每个忆阻卷积层后面均紧跟一个最大池化层。
CN202011595993.3A 2020-12-30 2020-12-30 一种基于忆阻器的深度神经网络 Pending CN112308223A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011595993.3A CN112308223A (zh) 2020-12-30 2020-12-30 一种基于忆阻器的深度神经网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011595993.3A CN112308223A (zh) 2020-12-30 2020-12-30 一种基于忆阻器的深度神经网络

Publications (1)

Publication Number Publication Date
CN112308223A true CN112308223A (zh) 2021-02-02

Family

ID=74487638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011595993.3A Pending CN112308223A (zh) 2020-12-30 2020-12-30 一种基于忆阻器的深度神经网络

Country Status (1)

Country Link
CN (1) CN112308223A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913119A (zh) * 2016-04-06 2016-08-31 中国科学院上海微系统与信息技术研究所 行列互联的异构多核心类脑芯片及其使用方法
US20200026993A1 (en) * 2018-07-18 2020-01-23 Denso Corporation Neural network circuit
CN110991633A (zh) * 2019-12-04 2020-04-10 电子科技大学 一种基于忆阻网络的残差神经网络模型及其应用方法
CN111047031A (zh) * 2018-10-12 2020-04-21 西部数据技术公司 用于神经网络中的数据重用的移位架构
CN111755062A (zh) * 2019-03-26 2020-10-09 慧与发展有限责任合伙企业 自修复点积引擎

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105913119A (zh) * 2016-04-06 2016-08-31 中国科学院上海微系统与信息技术研究所 行列互联的异构多核心类脑芯片及其使用方法
US20200026993A1 (en) * 2018-07-18 2020-01-23 Denso Corporation Neural network circuit
CN111047031A (zh) * 2018-10-12 2020-04-21 西部数据技术公司 用于神经网络中的数据重用的移位架构
CN111755062A (zh) * 2019-03-26 2020-10-09 慧与发展有限责任合伙企业 自修复点积引擎
CN110991633A (zh) * 2019-12-04 2020-04-10 电子科技大学 一种基于忆阻网络的残差神经网络模型及其应用方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
罗鑫: "基于模拟电路的神经形态系统研究", 《中国优秀硕士学位论文全文数据库_信息科技辑》 *
胡飞等: "基于忆阻器交叉阵列的卷积神经网络电路设计", 《计算机研究与发展》 *
陈佳等: "基于忆阻器的神经网络应用研究", 《微纳电子与智能制造》 *

Similar Documents

Publication Publication Date Title
US11574199B2 (en) Generative adversarial network device and training method thereof
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
JP6995131B2 (ja) 抵抗型処理ユニットアレイ、抵抗型処理ユニットアレイを形成する方法およびヒステリシス動作のための方法
US11475300B2 (en) Neural network training method and apparatus
TW202044126A (zh) 運用於類神經網路系統的乘積累加電路之控制電路
JPS60183645A (ja) 適応自己修理プロセツサアレイ及びこれを用いた信号処理方法
Qin et al. Design of high robustness BNN inference accelerator based on binary memristors
CN111193511A (zh) 一种应用于基于eFlash存算一体电路的数模混合读取电路的设计
WO2020074996A1 (en) Alignment techniques to match symmetry point as zero-weight point in analog crosspoint arrays
WO2022217673A1 (zh) 基于忆阻器的朴素贝叶斯分类器设计方法、系统及分类器
Tan et al. End-to-end supermask pruning: Learning to prune image captioning models
Ambrogio et al. Accelerating deep neural networks with analog memory devices
CN112308223A (zh) 一种基于忆阻器的深度神经网络
CN116596056A (zh) 基于混合变异策略遗传算法的深度光学神经网络训练方法及系统
Chen et al. WRAP: weight RemApping and processing in RRAM-based neural network accelerators considering thermal effect
CN111429954B (zh) 电压校准电路、半导体存储结构及其电压校准方法
CN114637720B (zh) 一种基于增长型环形som神经网络的片上光网络映射方法
CN112734022B (zh) 一种具有识别和排序功能的四字符忆阻神经网络电路
Lin et al. A competitive continuous Hopfield neural network for vector quantization in image compression
CN115099395A (zh) 神经网络构建方法及装置、设备、介质
Ou et al. Enhancing the Accuracy of Resistive In-Memory Architectures using Adaptive Signal Processing
Doevenspeck et al. Noise tolerant ternary weight deep neural networks for analog in-memory inference
Fang et al. High-Efficient Memristive Genetic Algorithm for Feature Selection
Zhang et al. Quantization considerations of dense layers in convolutional neural Networks for resistive crossbar implementation
CN115660079A (zh) 用于特征选择的忆阻器遗传算法的加速器及其操作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202

RJ01 Rejection of invention patent application after publication