CN112070220B - 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法 - Google Patents

一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法 Download PDF

Info

Publication number
CN112070220B
CN112070220B CN202010783712.0A CN202010783712A CN112070220B CN 112070220 B CN112070220 B CN 112070220B CN 202010783712 A CN202010783712 A CN 202010783712A CN 112070220 B CN112070220 B CN 112070220B
Authority
CN
China
Prior art keywords
neural network
layer
imt
rram
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010783712.0A
Other languages
English (en)
Other versions
CN112070220A (zh
Inventor
王宗巍
蔡一茂
鲍盛誉
凌尧天
喻志臻
康健
郑琪霖
黄如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202010783712.0A priority Critical patent/CN112070220B/zh
Publication of CN112070220A publication Critical patent/CN112070220A/zh
Application granted granted Critical
Publication of CN112070220B publication Critical patent/CN112070220B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Abstract

本发明涉及一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法。该原位自激活神经网络电路包含多层，其中至少一层包含输入模块、IMT‑RRAM阵列和输出模块：所述输入模块，用于将神经网络的该层向量信号的模拟量传递给IMT‑RRAM阵列进行运算；所述IMT‑RRAM阵列，包含多个存储单元，每个存储单元包含一个IMT‑RRAM器件即绝缘体‑金属转变式自选择阻变存储器；所述输出模块，用于将IMT‑RRAM阵列的计算结果的模拟信号传递到下一层。本发明实现了先激活再乘加的神经网络架构，在保持原有神经网络架构运算精度的同时，节省了大量的面积和外围电路带来的功耗。

Description

一种基于非线性器件的原位自激活神经网络电路及神经网络 运算方法
技术领域
本发明属于半导体(semiconductor)、人工智能(artificial intelligence)和CMOS混合集成电路技术领域，具体涉及一种原位自激活神经网络(in-situ self-activation neural network)以及对应其权值物理映射的绝缘体-金属转变式自选择阻变存储器阵列(IMT-RRAM array)的器件、算法、架构协同设计方案。
背景技术
随着信息技术的飞速发展，社会的信息化、智能化需求更加快速高效的智能终端和计算平台，这对传统硬件设备提出速度、功耗、面积和存储密度等方面的巨大挑战。
从传统信息存储角度出发，半导体工艺节点持续缩小，已经接近物理极限，集成密度的提高面临挑战。此外，传统冯诺依曼架构存在“存储墙”的问题，使得存储系统的运行效率受到限制，从而降低了信息传输和存储的性能。与此同时，人工智能和大数据时代来临对高性能存储计算技术的需求更加迫切。人工智能技术对低功耗、高速度和高并行度的计算资源的需求不断提高，现有计算机系统在未来难以满足更大规模的神经网络加速算法。基于忆阻效应(阻变效应)的阻变存储器(RRAM)凭借优良的非易失性存储特性和与生物突触特性类似的电学的缓变特征和记忆特性得以实现高性能的存储芯片和智能神经形态芯片。此外RRAM器件具有很高的集成度，这使得基于RRAM的神经形态计算电路有巨大的应用前景。
然而，对于复杂的神经网络算法，非线性激活函数必不可少。按照传统神经网络构建基于RRAM阵列的神经网络计算硬件时，采用先输出加和，然后整体激活再输入下一层的方式实现。非线性激活函数需要耗费大量外围电路，这不仅增大电路功耗和面积，还使得数据搬运路径无法缩减，延时难以降低。
发明内容
为克服现有的实现激活函数的方法带来的诸多问题，本发明提出了一种原位自激活神经网络电路及对应其权值物理映射的IMT-RRAM阵列协同设计。
本发明采用的技术方案如下：
一种基于非线性器件的原位自激活神经网络电路，包含多层，其中至少一层包含输入模块、IMT-RRAM阵列和输出模块：
所述输入模块，用于将神经网络的该层向量信号的模拟量传递给IMT-RRAM阵列进行运算；
所述IMT-RRAM阵列，包含多个存储单元，每个存储单元包含一个IMT-RRAM器件即绝缘体-金属转变式自选择阻变存储器；
所述输出模块，用于将IMT-RRAM阵列的计算结果的模拟信号传递到下一层。
进一步地，在数模混合设计中，所述输入模块用DAC将数字信号转换成模拟信号，所述输出模块将计算结果的模拟信号用ADC转换成数字信号；在纯模拟设计中，所述输入模块、所述输出模块使用驱动电路传递信号。
进一步地，所述IMT-RRAM阵列中每一个IMT-RRAM器件的顶电极连接字线，底电极连接位线；字线连接输入模块，位线连接输出模块。
进一步地，利用IMT-RRAM器件的低电压关断、高电压导通的特性，实现器件的选通和向量信号的激活；在神经网络每层的向量前向传递过程中，先将向量进行激活处理，得到激活后的向量结果，再把激活后的向量结果进行向量与权值矩阵的乘法运算，得到该层的最终输出向量。
进一步地，所述绝缘体-金属转变式自选择阻变存储器，从下至上依次包括：底层金属互联层、底电极、阻变层、选通层、顶电极、顶层金属互联层；所述选通层为绝缘体-金属转变层。
一种采用上述基于非线性器件的原位自激活神经网络电路的神经网络运算方法，包括以下步骤：
将训练好的神经网络权值写入到IMT-RRAM阵列中，将需要处理信息的向量信号输入到整个神经网络的输入层；
向量信号在神经网络的各层级间进行激活运算传递，最终在整个神经网络的输出层得到处理完成的信号。
进一步地，采用以下步骤进行神经网络的训练：
随机初始化IMT-RRAM阵列中存储的值，将训练的数据集输入到神经网络的输入层；
在输出层得到结果后，根据结果和权值更新算法计算IMT-RRAM阵列中存储权值的改变量，并将权值变化后的结果写入IMT-RRAM阵列中；
继续将训练数据集输入到自激活神经网络的输入层，得到结果，更新权值，如此循环往复，直到神经网络达到训练要求。
本发明的有益效果如下：
在算法层面，本发明调整了神经网络的运算顺序，实现了先激活再乘加的神经网络架构，使得神经网络算法适配于IMT-RRAM阵列，经过数学证明，本发明与传统神经网络可以实行效能一样的多层神经网络的非线性激活。
在硬件层面，本发明利用IMT-RRAM的自选择特性，用器件的选通特点实现了分布式的激活函数，节省了外围激活函数电路，实现了86％的最大面积节省。
本发明经过协同设计，使得调整后的神经网络运算顺序与IMT-RRAM阵列工作原理相契合，在保持原有神经网络架构运算精度的同时，节省了大量的面积和外围电路带来的功耗。
附图说明
图1是传统1T1R阵列的神经网络数模混合设计硬件架构图。
图2是本发明的自激活神经网络数模混合设计硬件架构图。
图3是本发明和传统1T1R阵列对比图。
图4是本发明的基于自激活神经网络的IMT-RRAM阵列、基于传统神经网络的IMT-RRAM阵列以及基于传统神经网络的1T1R阵列的仿真训练结果对比图。
图5是IMT-RRAM的结构示意图。
图6～14为IMT-RRAM的制备过程示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。
1.自激活神经网络电路的结构及运算方法
图1是基于传统1T1R(1个晶体管和1个阻变存储器)阵列的传统神经网络结构示意图。该神经网络结构包括输入层(第一层)、第二层、……第i层、第i+1层……输出层。图中5、9、7表示神经网络的训练数据集。图1的右侧是第i层、第i+1层的放大图。其中包括：
输入模块，用于将神经网络该层向量信号的模拟量传递给IMT-RRAM阵列进行运算。在数模混合设计中，神经网络各层向量是数字信号，需要用DAC(Digital to AnalogConvertor，数/模转换器，用于将数字信号转变为模拟信号)将数字信号转换成模拟信号；纯模拟设计中，神经网络各层向量信号是模拟信号，需要驱动电路进行信号传递。
输出模块，用于将电路计算结果的模拟信号传递到下一层，在数模混合设计中，将计算结果的模拟信号用ADC(Analog to Digital Converter，模/数转换器，用于将模拟信号转变为数字信号)转换成数字信号；在纯模拟设计中，用驱动电路传递信号。
RRAM阵列：RRAM阵列位于输入模块、输出模块之间，用于存储神经网络算法的权值。RRAM阵列中一个存储单元的结构为1T1R，即一个场效应晶体管transistor和一个RRAM器件。
激活函数电路：用于实现神经网络的激活函数，将计算结果即输出模块的输出向量做激活处理。
图1中右侧的空白圆圈的含义：位于第i层中的圆圈表示神经网络在该层的向量中的一个元素，圆圈个数表示神经网络该层的向量维度；位于第i+1层中的圆圈表示神经网络在该层的向量中的一个元素，圆圈个数表示向量维度；位于第i层、第i+1层之间的圆圈表示还未通过激活函数激活的向量计算结果。
图2是本发明的自激活神经网络硬件结构示意图。图3是本发明与传统1T1R阵列结构对比图。如图2、图3所示，本发明的自激活神经网络，包括：
输入模块，用于将神经网络该层向量信号的模拟量传递给IMT-RRAM阵列进行运算。在数模混合设计中，神经网络各层向量是数字信号，需要用DAC将数字信号转换成模拟信号；纯模拟设计中，神经网络各层向量信号是模拟信号，需要驱动电路进行信号传递。驱动电路可以采用现有技术实现，比如运算放大器级联，如图3中输入模块的纯模拟设计所示的驱动电路。
IMT-RRAM阵列：每一个存储单元包含一个IMT-RRAM器件，其中各器件、端口的连接关系是每一个IMT-RRAM的顶电极连接字线，底电极连接位线，字线连接输入向量的输入模块，位线连接输出向量的输出模块。其中，IMT-RRAM器件是指绝缘体-金属转变式自选择阻变存储器阵列(IMT-RRAM array)。IMT(Insulator-Metal-Transition)即绝缘体-金属转变，这类器件的绝缘体层和金属层之间会有显著的IV非线性，低电压关断，高电压导通，从而实现阵列上的选通。
输出模块：用于将电路计算结果的模拟信号传递到下一层，在数模混合设计中，将计算结果的模拟信号用ADC转换成数字信号；在纯模拟设计中，用驱动电路传递信号。驱动电路可以采用现有技术实现，比如图3中输出模块的纯模拟设计所示的驱动电路，该驱动电路可以和下一层输入公用一组同相放大器。
本发明的自激活神经网络与图1的传统结构的区别在于：
1)算法层面
在算法层面，本发明的自激活神经网络在网络各层运算中，先对向量信号做激活处理，再用激活后的向量进行运算；而传统神经网络则先进行向量运算，再对运算结果向量做激活处理。
本发明调整了神经网络的运算顺序，实现了先激活再乘加的神经网络架构，使得神经网络算法适配于IMT-RRAM阵列，经过数学证明，本发明与传统神经网络可以实行效能一样的多层神经网络的非线性激活。其中，“先激活再乘加”是指：在神经网络每层的向量前向传递过程中，先将向量进行激活处理，即向量先经过激活函数运算，得到激活后的向量结果，再把激活后的向量结果进行向量与权值矩阵的乘法运算(元素之间的相乘后再相加的过程)，得到该层的最终输出向量。
2)硬件层面
本发明的自激活神经网络中，“自激活”是指利用器件的低电压关断、高电压导通的特性，实现了神经网络向量的非线性化(这里是分段函数处理，低于阈值的信号被置零)映射，即不需要外围电路，器件本身实现了激活函数。
在硬件层面的架构上，本发明的自激活神经网络利用自选择器件的IV特性实现了向量信号的激活，而传统神经网络则需要额外的外围电路实现向量信号激活。本发明利用IMT-RRAM的自选择特性，用器件的选通特点实现了分布式的激活函数，节省了外围激活函数电路，实现了86％的最大面积节省。
其中，“自选择特性”是指可以利用器件的低电压关断、高电压导通的特性进行器件的选通，不用借助晶体管控制选通。IMT-RRAM有显著的IV非线性，低电压关断，高电压导通，在阵列上达到选通阈值的器件开启，未达到阈值的器件关断，不需要晶体管来控制器件选通，所以称为自选择特性。“器件的选通特点”是指输入电压达到阈值时，通过器件电流与电压大小呈线性相关；输入电压小于阈值，器件关断。激活函数是将神经网络向量信号非线性化处理的函数，该器件实现了将未达到阈值的输入信号置零的功能，即输入未达到阈值器件关断，将线性的输入向量信号转换成了分段的输入向量信号，从而实现了分布式的激活函数。
本发明的工作过程如下：
1)神经网络推理：将训练好的自激活神经网络权值写入到IMT-RRAM阵列中，将需要处理信息的向量信号输入到整个自激活神经网络的输入层，向量信号在各层级间进行激活运算传递，最终在整个自激活神经网络的输出层得到处理完成的信号。
2)神经网络的训练：随机初始化IMT-RRAM阵列中存储的值，将训练的数据集输入到自激活神经网络的输入层，在输出层得到结果后，根据结果和权值更新算法(可以采用现有的更新算法)计算IMT-RRAM阵列中存储权值的改变量，并将权值变化后的结果写入IMT-RRAM阵列中，随后继续将训练数据集输入到自激活神经网络的输入层，得到结果，更新权值，如此循环往复，直到神经网络达到训练要求。
仿真实验：
在180nm工艺节点下实现784*200*10的MNIST图片识别神经网络，本发明(基于自激活神经网络的IMT-RRAM阵列)、基于传统神经网络的IMT-RRAM阵列以及基于传统神经网络的1T1R阵列的仿真训练。仿真实验结果如图4所示。本发明的识别正确率和基于传统神经网络的1T1R阵列正确率在训练样本数大于20k时趋于一致，本发明与传统1T1R阵列神经网络具有同样的精度，远高于基于IMT-RRAM阵列的传统神经网络训练结果。下文从数学上证明了本发明和基于传统神经网络的1T1R阵列本质是等价的。
证明过程：
证明1：自激活神经网络与原始神经网络等价
设原始神经网络共有2层，yi表示第i层输入，wi表示第i层与i+1层权重矩阵，f为激活函数，则：
yi+1＝f(wiyi)
自激活形式神经网络：证明其等价：
yi+1＝wif(yi)
两层原始神经网络形式：
y2＝f(w1y1)
y1＝f(w0y0)
Figure BDA0002621161190000061
y2＝f(w1f(w0y0))
两层自激活神经网络形式：
y* 2＝w1f(y* 1)
y* 1＝w0f(y* 0)
Figure BDA0002621161190000062
y* 2＝w1f(w0f(y* 0))
若如下假设成立：
Figure BDA0002621161190000063
则：
y* 2＝w1f(y* 1)＝w1f(w0y* 0)
与原始神经网络形式相同。
其中
Figure BDA0002621161190000064
这个条件正是神经网络中激活函数的表现形式(Vth代表转变电压，是一个常数)，因此自激活神经网络与原始神经网络等价。
证明2：Crossbar映射下的电路架构等价于自激活神经网络
Figure BDA0002621161190000071
其中，V0是器件输入电压，Vth是器件阈值转变电压，Gs，off是IMT-RRAM中的自选择结构部分关态电导，Gs，on是IMT-RRAM中的自选择结构部分开态电导，Gr是阻变存储器电导，I是输出电流。
基本假设：selector关态电导远小于阻变存储器电导，Selector开态电导远大于阻变存储器电导。
化简：
Figure BDA0002621161190000072
Figure BDA0002621161190000073
Figure BDA0002621161190000074
当
Figure BDA0002621161190000075
成立时：
Figure BDA0002621161190000076
Figure BDA0002621161190000077
Figure BDA0002621161190000078
Figure BDA0002621161190000079
Figure BDA00026211611900000710
Ij＝∑f(V0)Gij
其中Ij代表了阵列第j列上器件电流的累加，Gij代表了阵列第i行第j列上器件的电导。
Figure BDA00026211611900000711
yi+1＝wi·f(yi)
所以，Crossbar映射下的电路架构等价于自激活神经网络。
2.本发明的自激活神经网络电路中IMT-RRAM的结构及制备方法
图5是IMT-RRAM的结构示意图，从下至上依次包括：底层金属互联层、底电极、阻变层、选通层、顶电极、顶层金属互联层。底层金属互联层、顶层金属互联层在图1中简称为“互联”，底层金属互联层的下面为衬底。其中，选通层即绝缘体-金属转变层(IMT，Insulator-Metal-Transition)，其绝缘体层和金属层之间会有显著的IV非线性，低电压关断，高电压导通。所述“绝缘体-金属转变”是指选通层的导电性质由绝缘体转变为金属性导体，以氧化钒选通层为例，在高电压情况下，氧化钒的电子云作用以及一点微小的晶格结构变化会导致自身能带从绝缘体能带转变为金属能带，从而实现高电压条件下的导通。
图6～14示意了IMT-RRAM的制备过程，包括以下步骤：
1)以金属互联层的表面为底面开始形成器件，如图6所示；
2)利用物理气相淀积或者化学气相淀积的方式生长底电极，如图7所示；
3)利用物理气相淀积或者化学气相淀积或者原子层沉积的方式在底电极上生长阻变层，如图8所示；
4)利用物理气相淀积或者化学气相淀积或原子层沉积的方式在阻变层上生长氧化钒选通层，如图9所示；
5)利用物理气相淀积或者化学气相淀积的方式在选通层上生长顶电极，如图10所示；
6)光刻图形化，利用反应刻蚀，刻蚀出IMT-RRAM器件图形，刻蚀停止层为底层金属互联层的表面，如图11所示；
7)利用物理气相淀积或者化学气相淀积的方式生长介质层，并利用化学机械抛光研磨平整表面，如图12所示；
8)利用双大马士革工艺，进行光刻图形化，通过光刻胶作为掩膜刻蚀出金属互连线线槽，再进行光刻图形化，通过光刻胶作为掩膜刻蚀金属互连线通孔，刻蚀截止层为器件顶电极表面，并电镀形成金属互联，利用化学机械抛光研磨平整表面，停止层为介质层，如图13-14所示。
本发明提出了一种非线性存储器IMT-RRAM的结构和制备方法，以及基于该器件的一种原位自激活神经网络电路结构。本发明所提出的原位自激活神经网络电路结构，在保持传统神经网络计算精度的同时，节省了大量外围电路面积和功耗，降低电路延时。因此，本发明对未来高速低功耗神经网络硬件实现有重要意义。
以上公开的本发明的具体实施例和附图，其目的在于帮助理解本发明的内容并据以实施，本领域的普通技术人员可以理解，在不脱离本发明的精神和范围内，各种替换、变化和修改都是可能的。本发明不应局限于本说明书的实施例和附图所公开的内容，本发明的保护范围以权利要求书界定的范围为准。

Claims (7)

1.一种基于非线性器件的原位自激活神经网络电路，其特征在于，包含多层，其中至少一层包含输入模块、IMT-RRAM阵列和输出模块：
所述输入模块，用于将神经网络的该层向量信号的模拟量传递给IMT-RRAM阵列进行运算；
所述IMT-RRAM阵列，包含多个存储单元，每个存储单元包含一个IMT-RRAM器件即绝缘体-金属转变式自选择阻变存储器；
所述输出模块，用于将IMT-RRAM阵列的计算结果的模拟信号传递到下一层；
所述基于非线性器件的原位自激活神经网络电路，利用IMT-RRAM器件的低电压关断、高电压导通的特性，实现器件的选通和向量信号的激活；在神经网络每层的向量前向传递过程中，先将向量进行激活处理，得到激活后的向量结果，再把激活后的向量结果进行向量与权值矩阵的乘法运算，得到该层的最终输出向量。
2.根据权利要求1所述的基于非线性器件的原位自激活神经网络电路，其特征在于：在数模混合设计中，所述输入模块用DAC将数字信号转换成模拟信号，所述输出模块将计算结果的模拟信号用ADC转换成数字信号；在纯模拟设计中，所述输入模块、所述输出模块使用驱动电路传递信号。
3.根据权利要求1所述的基于非线性器件的原位自激活神经网络电路，其特征在于：所述IMT-RRAM阵列中每一个IMT-RRAM器件的顶电极连接字线，底电极连接位线；字线连接输入模块，位线连接输出模块。
4.根据权利要求1所述的基于非线性器件的原位自激活神经网络电路，其特征在于，所述绝缘体-金属转变式自选择阻变存储器，从下至上依次包括：底层金属互联层、底电极、阻变层、选通层、顶电极、顶层金属互联层；所述选通层为绝缘体-金属转变层。
5.根据权利要求4所述的基于非线性器件的原位自激活神经网络电路，其特征在于，所述选通层为氧化钒选通层。
6.一种采用权利要求1～5中任一权利要求所述基于非线性器件的原位自激活神经网络电路的神经网络运算方法，其特征在于，包括以下步骤：
将训练好的神经网络权值写入到IMT-RRAM阵列中，将需要处理信息的向量信号输入到整个神经网络的输入层；
向量信号在神经网络的各层级间进行激活运算传递，最终在整个神经网络的输出层得到处理完成的信号。
7.根据权利要求6所述的方法，其特征在于，采用以下步骤进行神经网络的训练：
随机初始化IMT-RRAM阵列中存储的值，将训练的数据集输入到神经网络的输入层；
在输出层得到结果后，根据结果和权值更新算法计算IMT-RRAM阵列中存储权值的改变量，并将权值变化后的结果写入IMT-RRAM阵列中；
继续将训练数据集输入到自激活神经网络的输入层，得到结果，更新权值，如此循环往复，直到神经网络达到训练要求。
CN202010783712.0A 2020-08-06 2020-08-06 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法 Active CN112070220B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010783712.0A CN112070220B (zh) 2020-08-06 2020-08-06 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010783712.0A CN112070220B (zh) 2020-08-06 2020-08-06 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法

Publications (2)

Publication Number Publication Date
CN112070220A CN112070220A (zh) 2020-12-11
CN112070220B true CN112070220B (zh) 2023-01-17

Family

ID=73660763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010783712.0A Active CN112070220B (zh) 2020-08-06 2020-08-06 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法

Country Status (1)

Country Link
CN (1) CN112070220B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107315571B (zh) * 2016-04-27 2020-07-31 中科寒武纪科技股份有限公司 一种用于执行全连接层神经网络正向运算的装置和方法
CN110443356B (zh) * 2019-08-07 2022-03-25 南京邮电大学 一种基于多阻态忆阻器的电流型神经网络
CN110807519B (zh) * 2019-11-07 2023-01-17 清华大学 基于忆阻器的神经网络的并行加速方法及处理器、装置
CN110990060B (zh) * 2019-12-06 2022-03-22 北京瀚诺半导体科技有限公司 一种存算一体芯片的嵌入式处理器、指令集及数据处理方法
CN111260048B (zh) * 2020-01-14 2023-09-01 上海交通大学 一种基于忆阻器的神经网络加速器中激活函数的实现方法

Also Published As

Publication number Publication date
CN112070220A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
Xia et al. Switched by input: Power efficient structure for RRAM-based convolutional neural network
CN111431536B (zh) 子单元、mac阵列、位宽可重构的模数混合存内计算模组
Dong et al. Convolutional neural networks based on RRAM devices for image recognition and online learning tasks
Welser et al. Future computing hardware for AI
CN113627601B (zh) 子单元、mac阵列、位宽可重构的模数混合存内计算模组
US11922169B2 (en) Refactoring mac operations
Veluri et al. High-throughput, area-efficient, and variation-tolerant 3-D in-memory compute system for deep convolutional neural networks
US11121259B2 (en) Metal-oxide-based neuromorphic device
Li et al. Alleviating conductance nonlinearity via pulse shape designs in TaO x memristive synapses
Kwak et al. Implementation of convolutional kernel function using 3-D TiO x resistive switching devices for image processing
CN114791796A (zh) 一种基于分离栅闪存晶体管的多输入计算单元及其计算方法
CN112070220B (zh) 一种基于非线性器件的原位自激活神经网络电路及神经网络运算方法
Ananthakrishnan et al. All-passive hardware implementation of multilayer perceptron classifiers
Amin et al. Interconnect parasitics and partitioning in fully-analog in-memory computing architectures
Marukame et al. Proposal, analysis and demonstration of Analog/Digital-mixed Neural Networks based on memristive device arrays
Yang et al. Essence: Exploiting structured stochastic gradient pruning for endurance-aware reram-based in-memory training systems
CN115879530B (zh) 一种面向rram存内计算系统阵列结构优化的方法
Nasrin et al. Compute-in-memory upside down: A learning operator co-design perspective for scalability
Veluri et al. A Low-Power DNN Accelerator Enabled by a Novel Staircase RRAM Array
Chen et al. WRAP: weight RemApping and processing in RRAM-based neural network accelerators considering thermal effect
Choi et al. Implementation of an On-Chip Learning Neural Network IC Using Highly Linear Charge Trap Device
CN115906976A (zh) 一种全模拟向量矩阵乘法存内计算电路及其应用
Doevenspeck et al. Noise tolerant ternary weight deep neural networks for analog in-memory inference
CN113222131A (zh) 基于1t1r的可实现带符号权重系数的突触阵列电路
Fang et al. High-Efficient Memristive Genetic Algorithm for Feature Selection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant