CN108734271B - 神经形态权重单元及其形成的方法以及人工神经网络 - Google Patents

神经形态权重单元及其形成的方法以及人工神经网络 Download PDF

Info

Publication number
CN108734271B
CN108734271B CN201810329975.7A CN201810329975A CN108734271B CN 108734271 B CN108734271 B CN 108734271B CN 201810329975 A CN201810329975 A CN 201810329975A CN 108734271 B CN108734271 B CN 108734271B
Authority
CN
China
Prior art keywords
resistors
volatile memory
neuromorphic
resistor
flash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810329975.7A
Other languages
English (en)
Other versions
CN108734271A (zh
Inventor
博尔纳·J·奧布拉多维奇
乔治·A·凯特尔
莱恩·海雀
提塔许·瑞许特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN108734271A publication Critical patent/CN108734271A/zh
Application granted granted Critical
Publication of CN108734271B publication Critical patent/CN108734271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/02—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements
    • G11C11/16—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using magnetic elements using elements in which the storage effect is based on magnetic spin effect
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/27—ROM only
    • H10B20/40—ROM only having the source region and drain region on different levels, e.g. vertical channel
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
    • H10B41/20—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels
    • H10B41/23—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels with source and drain on different levels, e.g. with sloping channels
    • H10B41/27—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by three-dimensional arrangements, e.g. with cells on different height levels with source and drain on different levels, e.g. with sloping channels the channels comprising vertical portions, e.g. U-shaped channels
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G11C13/0021—Auxiliary circuits
    • G11C13/0069—Writing or programming circuits or methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/70—Manufacture or treatment of devices consisting of a plurality of solid state components formed in or on a common substrate or of parts thereof; Manufacture of integrated circuit devices or of parts thereof
    • H01L21/71—Manufacture of specific parts of devices defined in group H01L21/70
    • H01L21/76—Making of isolation regions between components
    • H01L21/762—Dielectric regions, e.g. EPIC dielectric isolation, LOCOS; Trench refilling techniques, SOI technology, use of channel stoppers
    • H01L21/7624—Dielectric regions, e.g. EPIC dielectric isolation, LOCOS; Trench refilling techniques, SOI technology, use of channel stoppers using semiconductor on insulator [SOI] technology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Semiconductor Memories (AREA)

Abstract

一种神经形态权重单元及其形成的方法以及人工神经网络。神经形态权重单元(NWC)包括：电阻器梯，包括串联连接的多个电阻器；以及多个分流非易失性存储器(NVM)元件，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中的一个对应的电阻器。

Description

神经形态权重单元及其形成的方法以及人工神经网络
[相关申请的交叉参考]
本申请主张在2017年4月14日提出申请的美国临时专利申请第62/485,867号的优先权及权利、以及在2017年8月15日提出申请的美国非临时专利申请第15/678,050号的优先权及权利，所述美国临时专利申请及美国非临时专利申请的内容全文并入本申请供参考。
技术领域
本公开的一些实施例大体来说涉及深度学习神经网络，尤其涉及一种神经形态权重单元及其形成的方法以及人工神经网络。
背景技术
神经网络及深度学习对在人工图像及语音识别中、以及在自然语言处理中、以及可被视为分类任务(classification task)的许多其他任务中出现的问题提供了改善的解决方案。神经网络体现了相对于计算机编程的先前形式的范式转移(paradigm shift)。
在传统的计算机编程中，通过将一个或多个大问题分解成可由计算机操作的较小的个别任务来向计算机给出关于如何响应于特定输入的明确指令。相比之下，在神经网络中，不会明确地指示经编程的计算机如何解决一般问题。而是，计算机能够基于观测数据进行自学，从而潜在地确定对输入到计算机的一般问题的未经编程的解决方案。
对于视觉模式识别(visual pattern recognition)、语音识别(speechrecognition)及自然语言处理(natural language processing)来说，能够进行深度学习的现代深度神经网络已超出了传统计算的性能。因此，越来越多地大规模布署神经网络来执行之前仅可由人类实现的任务。
作为实例，从数亿年的进化发展而来的人类视觉系统能够将手写数字序列识别为由手写数字表示的数。这部分地是由人类大脑的初级视觉皮层(primary visual cortex)来实现的，人类大脑的初级视觉皮层包括数以千万计的神经元(neuron)或突触(synapse)，在所述神经元或突触之间具有数以百亿计的连接。因此，当尝试以算术形式来表示初级视觉皮层的功能时，将计算机编程成具有相似的识别手写数字的能力可极其复杂。
可向人工神经网络或突触网络馈送大量的训练实例，每一训练实例表示以不同方式表示的手写数字。神经网络能够从训练实例进行学习来产生规则，或者实质上自己编程，以一般性地识别未作为训练实例中的一者被包括在内的其他手写数字。尽管神经网络的准确率可取决于训练实例的迭代次数，然而更准确来说，经训练的神经网络的准确性取决于被标记的数据集(训练实例)的大小。也就是说，尽管准确率也取决于用于训练网络的迭代次数，然而“经充分训练的”网络可达到通过附加迭代无法再进一步改善的性能级别。
图1绘示假想人工神经网络(artificial neural network，ANN)的实例。
参照图1，人工神经网络一般由多层神经元/突触组成。尽管本实例绘示仅具有三个层的人工神经网络100，在每一层中仅具有少数的神经元110，然而典型人工神经网络可具有数以千计的层，每一层具有数以千计的神经元。每一层的神经元110中的每一个神经元110的输出通常连接到下一层的神经元110的所有输入。本实例的人工神经网络100相对简单，且仅具有一个隐层130，隐层130是指人工神经网络100的既不是输入层120也不是输出层140的层。
人工神经网络100的输入层120被配置成接收多个输入，输入层120中的每一个神经元110接收相应的输入。输入表示例如图像的一小部分或语音的小片段。举例来说，每一个输入可表示对应像素的灰度值(greyscale value)，所述对应像素表示欲由人工神经网络100识别及归类的图像的所述一小部分。然而应注意，作为另外一种选择，输入可表示能够被分解成整体的多个小部分的任何事物的一部分，每一部分表示其中一个输入。
基于所述输入，可通过人工神经网络100的一个或多个层执行数学运算。在人工神经网络100的输出层140处，一般来说可存在用于单个具体输出150的高激活(highactivation)及用于所有其他输出150中的每一者的低激活(low activation)。这是因为人工神经网络100的目的是例如将输入图像分类成多个类别(例如，猫、狗、飞机等)中的一者，每一类别由输出150中的单个输出150表示。也就是说，人工神经网络100可将进入到输入层的所述多个输入分类成共同表示属于单个类别或类目的图像。
对于人工神经网络100的单个神经元/突触110(例如，隐层130中的神经元110)来说，神经元110可具有多个输入(例如，多个二进制输入)及单个输出(例如，单个二进制输出)。另外，可根据输入在确定输出值(例如，输出值为0或1)时的重要程度或值来向每一个输入指派相应的权重或突触权重。也就是说，各神经元110之间的每一连接均具有与此连接相关联的突触权重。每一相应的神经元110的激活是通过对神经元110的输入执行加权求和以及将线性组合馈送到阈值激励函数(thresholding activation function)中来计算。
因此，如果存在被赋予足够高/足够大的权重的足够数目的高输入(例如，二进制输入1)，则对应的神经元110将被激活(神经元一般来说被激活为低的或被激活为高的，但是在高与低之间可存在平滑过渡)。神经元110的变化的激活水平因此最终确定输出层140将如何对多个输入进行分类，且人工神经网络100可被训练成通过对权重中的一个或多个权重进行调整或最优化来提高类别的准确性。
因此，人工神经网络100的计算元件将一组输入信号与一组权重相乘，然后进行求和。权重在本质上是矩阵，其与对应的输入向量相乘以生成输出向量，所述输出向量接着进入非线性阈值中。也就是说，人工神经网络100最终基于输入到神经元110的输入信号的线性组合来确定每一个神经元110的每一个输出的值，所述值接着由比较器来进行阈值。
发明内容
本公开的一些实施例提供一种由包括非易失性存储器(nonvolatile memory，NVM)元件及电阻器的电路制成的可调整模拟单片多位式权重单元以及使用所述单元来实施神经形态/突触形态计算的方法。
根据一些实施例，提供一种神经形态权重单元(neuromorphic weight cell，NWC)，所述神经形态权重单元包括：电阻器梯，包括串联连接的多个电阻器；以及多个分流非易失性存储器(NVM)元件，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器。
所述多个电阻器中位于所述电阻器梯的顶部处的第一电阻器可具有所述多个电阻器中的最低电阻值，且所述多个电阻器中的每一下一电阻器的电阻值可为所述多个电阻器中紧接着的前一电阻器的电阻值的两倍。
所述多个分流非易失性存储器元件中的每一者可具有第一电阻状态及第二电阻状态，所述第一电阻状态大于所述第一电阻器的所述电阻值，且所述第二电阻状态小于所述第一电阻器的所述电阻值。
所述多个分流非易失性存储器元件中的每一者的端子可为能够分别寻址的。
所述多个分流非易失性存储器元件中的每一者可包括双端子式忆阻器，其中所述多个电阻器包括多个经掺杂多晶层的垂直堆叠。
根据一些实施例，提供一种人工神经网络，所述人工神经网络包括多个层，所述多个层中的每一者包括多个神经节点，其中所述多个神经节点中的一者的输入被配置成由实施在硬件中的神经形态权重单元(NWC)以可调整方式进行加权，所述神经形态权重单元包括电阻器梯以及多个分流非易失性存储器(NVM)元件，所述电阻器梯包括串联连接的多个电阻器，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器，其中所述多个神经节点中的所述一者的所述输入被配置成通过选择性地操作所述多个分流非易失性存储器元件中的一者或多者来被以可调整方式进行加权。
所述多个分流非易失性存储器元件可各自包括闪存晶体管。
所述多个分流非易失性存储器元件中的每一者的栅极可连接到共用栅极端子。
所述神经形态权重单元可被配置成通过以下方式被作为权重进行读取：使所述闪存晶体管的所有源极连接及漏极连接浮动；以及对所述共用栅极端子施加共用电压。
所述神经形态权重单元的单元权重可被配置成通过对所述多个闪存晶体管分别进行编程来被编程，其中所述多个闪存晶体管中的经编程的闪存晶体管包括被设定成地电压的源极端子及被设定成高电压的漏极端子，其中高于所述经编程的闪存晶体管的所述多个闪存晶体管的所有源极端子及漏极端子被设定成地电压，其中低于所述经编程的闪存晶体管的所述多个闪存晶体管的所有源极端子及漏极端子被设定成所述高电压，且其中所有所述多个闪存晶体管的栅极被设定成所述高电压。
所述神经形态权重单元的单元权重可被配置成通过以下方式被擦除：将所有所述多个闪存晶体管的所有源极端子及漏极端子接地并将所述共用栅极端子设定成遂穿电压，或者通过将所述共用栅极端子设定成地电压并将所有所述多个闪存晶体管的所有所述源极端子及所述漏极端子设定成遂穿电压。
所述多个闪存晶体管可被实施成位于共用多晶硅沟道上的垂直堆叠，且其中所述多个电阻器被实施成单独的垂直堆叠。
所述多个电阻器的电阻值可通过原位掺杂来设定，且所述多个电阻器的掺杂浓度可分别以2倍的因数变化。
所述多个闪存晶体管的源极及漏极可包括多个经重掺杂的硅层且可与所述多个电阻器的相应的多个接触件耦合，且所述多个经重掺杂的硅层的掺杂浓度可比所述多个电阻器中的被掺杂最重的一个电阻器的掺杂浓度高至少一个数量级。
所述多个经重掺杂的硅层可分别被多个沟槽接触件接触。
所述多个闪存晶体管的层的数目可大于或等于二。
所述神经形态权重单元可被配置成通过使所述多个闪存晶体管的所有所述源极及所述漏极浮动、并通过在所述神经形态权重单元的输入端子上施加读取电压来被读取。
根据一些实施例，提供一种形成神经形态权重单元(NWC)的方法，所述神经形态权重单元包括电阻器梯及多个分流非易失性存储器(NVM)元件，所述电阻器梯包括串联连接的多个电阻器，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器，所述方法包括：在绝缘衬底上沉积共用多晶硅沟道；在所述共用多晶硅沟道上沉积第一间隔件材料层；在所述第一间隔件材料层上沉积绝缘材料作为牺牲栅极；在所述绝缘材料上沉积第二间隔件材料层；在所述共用多晶硅沟道上形成多个闪存晶体管作为第一垂直堆叠；以及在所述共用多晶硅沟道上形成多个电阻器作为第二垂直堆叠。
所述方法还可包括对所述第二垂直堆叠的区域进行选择性原位掺杂，以设定所述多个电阻器的不同电阻值。
所述方法还可包括执行蚀刻及沉积来形成多个沟槽接触件以用于分别接触所述多个闪存晶体管的源极接触件及漏极接触件。
因此，所阐述的实施例提供一种用于神经形态/突触形态计算的模拟单片多位式权重单元。
附图说明
结合附图阅读以下说明可更详细地理解一些实施例，在附图中：
图1绘示假想人工神经网络(ANN)的实例。
图2绘示用于将手写数识别为人工神经网络(ANN)的隐藏神经元的数目的函数及在人工神经网络中使用的位的数目的函数的人工神经网络的性能。
图3绘示根据本公开实施例的包括非易失性存储器(NVM)元件的人工神经网络(ANN)的模拟神经形态权重单元。
图4绘示根据本公开实施例的包括闪存晶体管的人工神经网络(ANN)的模拟神经形态权重单元。
图5绘示根据本公开实施例的包括双端子式非易失性存储器元件的人工神经网络(ANN)的模拟神经形态权重单元。
图6绘示根据本公开实施例的神经形态权重单元的层的二维表示形式。
图7绘示根据本公开实施例的用于图6所示神经形态权重单元的闪存与电阻器堆叠的概念性的工艺流程。
[符号的说明]
100：人工神经网络
110：神经元/突触
120：输入层
130：隐层
140：输出层
150、452：输出
300：权重单元/神经形态权重单元/突触形态权重单元
310：电阻器
320：电阻器
330：电阻器
312、322、332：闪存装置/非易失性存储器元件/标准非易失性存储器元件
342、344、346、348、450、542、544、546、548、550、642、644、648：输入
350：输入/电压线/权重单元输入
352：输出/神经元线/权重单元输出
360：电阻器梯/固定值电阻器堆叠/电阻器堆叠
370：分流非易失性存储器堆叠
400：权重单元
410：电阻器
412：闪存晶体管
420：电阻器
422：闪存晶体管
430：电阻器
432：闪存晶体管
442：源极端子
444：源极端子/漏极端子
446、448：漏极端子
454：共用栅极端子
460：电阻器梯
470：闪存晶体管堆叠
500：权重单元
510、520、530：电阻器
512、522、532：忆阻器源极
560、660：电阻器堆叠
570：忆阻器元件堆叠
654：共用栅极
670：闪存堆叠
680：衬底
682：内部间隔件
684：栅极介电质
686：浮动栅极
Iout：电流值/输出电流值
R、R0、R1、R2：电阻值
S7010～S7150：步骤
V1：电压值/输入电压值
V2：电压值/输入电压值
V3：电压值/输入电压值
Vout：电压值/输出电压值
Vg：栅极电压值
Vin：电压值/输入电压/输入电压值
具体实施方式
通过参照对实施例及附图的以下详细说明，可更容易地理解本发明概念的特征及其实现方法。在下文中，将参照附图更详细地阐述实施例，在所有的附图中，相同的参考编号指代相同的元件。然而，本发明可被实施为各种不同形式，而不应被视为仅限于本文中所例示的实施例。确切来说，提供这些实施例作为实例是为了使本公开将透彻及完整，并将向所属领域中的技术人员全面传达本发明的各个方面及特征。因此，可不再阐述对于所属领域的普通技术人员完整地理解本发明的各个方面及特征而言并非必需的工艺、元件及技术。除非另外注明，否则在所有附图及书面说明通篇中相同的参考编号表示相同的元件，且因此，将不再对其予以重复说明。在图式中，为清晰起见，可夸大各元件、各层及各区的相对大小。
在以下说明中，出于解释目的，阐述各种具体细节来提供对各种实施例的透彻理解。然而，显而易见的是，可不使用这些具体细节或者使用一种或多种等效配置来实践各种实施例。在其他实例中，以方块图形式示出众所周知的结构及装置以避免不必要地混淆各种实施例。
应理解，尽管本文中可能使用用语“第一(first)”、“第二(second)”、“第三(third)”等来阐述各种元件、组件、区、层及/或区段，然而这些元件、组件、区、层及/或区段不应受这些用语限制。这些用语用于区分各个元件、组件、区、层或区段。因此，在不背离本发明的精神及范围的条件下，以下所述第一元件、组件、区、层或区段也可被称为第二元件、组件、区、层或区段。
为易于解释，本文中可使用例如“在…之下(beneath)”、“在…下面(below)”、“下部的(lower)”、“在…下方(under)”、“在…上方(above)”、“上部的(upper)”等空间相对性用语来阐述图中所示一个元件或特征与另一(其他)元件或特征的关系。应理解，空间相对性用语旨在除图中所绘示的取向外还囊括装置在使用或操作中的不同取向。举例来说，若图中所示装置被翻转，则被描述为位于其他元件或特征“下面”或“之下”或者“下方”的元件此时将被取向为位于所述其他元件或特征“上方”。因此，示例性用语“在…下面”及“在…下方”可囊括“上方”及“下方”两种取向。装置可具有其他取向(例如，旋转90度或处于其他取向)且本文中使用的空间相对性描述语应相应地进行解释。
应理解，当称一元件、层、区或组件位于另一元件、层、区或组件“上(on)”、“连接到(connected to)”或“耦合到(coupled to)”另一元件、层、区或组件时，所述元件、层、区或组件可直接位于所述另一元件、层、区或组件上、直接连接到或直接耦合到所述另一元件、层、区或组件，抑或可存在一个或多个中间元件、层、区或组件。然而，“直接连接/直接耦合(directly connected/directly coupled)”则是指一个组件与另一个组件直接连接或直接耦合，而不具有中间组件。另外，还应理解，当称一元件或层“位于”两个元件或层“之间(between)”时，所述元件或层可为所述两个元件或层之间的唯一元件或层，抑或也可存在一个或多个中间元件或层。
出于本公开的目的，“X、Y及Z中的至少一者”及“选自由X、Y及Z组成的群组中的至少一者”可被视为仅X、仅Y、仅Z或X、Y及Z中的两者或多者的任何组合，例如，举例来说，XYZ、XYY、YZ及ZZ。在通篇中相同的编号指代相同的元件。本文所用用语“及/或(and/or)”包括相关列出项中的一个或多个项的任意及所有组合。
在以下实例中，x轴、y轴及z轴并非仅限于矩形座标系的三个轴，且可被解释为更广泛的意义。举例来说，x轴、y轴及z轴可彼此垂直，或者可表示不彼此垂直的不同方向。
本文所用术语仅是出于阐述特定实施例的目的而并非旨在限制本发明。除非上下文清楚地另外指明，否则本文所用单数形式“一(a及an)”旨在也包括复数形式。还应理解，当在本说明书中使用用语“包括(comprises、comprising、includes及including)”时，是指明所陈述特征、整数、步骤、操作、元件及/或组件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、组件及/或其群组的存在或添加。本文所用用语“及/或”包括相关列出项中的一个或多个项的任意及所有组合。当例如“...中的至少一个(at least one of)”等表达位于一系列元件之后时，是修饰整个系列的元件而非修饰所述一系列元件中的各别元件。
本文所用用语“大体上(substantially)”、“大约(about)”及类似用语用作近似用语、而并非作为程度用语，并且旨在考虑到所属领域的普通技术人员将知的测量值或计算值的固有偏差。另外，在阐述本发明的实施例时使用“可(may)”是指“本发明的一个或多个实施例”。本文所用用语“使用(use)”、“正使用(using)”及“被使用(used)”可被视为分别与用语“利用(utilize)”、“正利用(utilizing)”及“被利用(utilized)”同义。另外，用语“示例性(exemplary)”旨在指实例或例示。
当某一实施例可被以不同方式实施时，特定工艺次序可与所阐述的次序不同地执行。举例来说，两个连续阐述的工艺可实质上同时执行或以与所阐述的次序相反的次序执行。
另外，本文所公开的及/或本文所述的任何数值范围均旨在包括归入所述范围内的相同数值精度的所有子范围。举例来说，“1.0到10.0”的范围旨在包括所述最小值1.0与所述最大值10.0之间(且包含所述最小值1.0与所述最大值10.0在内)的所有子范围，即，具有等于或大于1.0的最小值以及等于或小于10.0的最大值，例如(举例来说)2.4至7.6。本文所述任何最大数值限制旨在包括归入其中的所有更低的数值限制，并且本说明书中所述的任何最小数值限制旨在包括归入其中的所有更高的数值限制。因此，申请人保有对本说明书(包括权利要求书)进行修订的权利，以明确地陈述归入本文中所明确陈述的范围内的任何子范围。所有这些范围均旨在在本说明书中固有地阐述以使得进行修订来对将遵循35U.S.C.§112(a)及35 U.S.C.§132(a)的要求的任何这些子范围进行明确地陈述。
在本文中参照剖视图阐述各种实施例，所述剖视图为实施例及/或中间结构的示意性例示。因此，预期会因例如制造技术及/或容差而导致相对于例示形状的变化。因此，本文所公开的实施例不应被视为仅限于各个区的特定例示形状，而是应包含由例如制造引起的形状偏差。举例来说，被例示为矩形的植入区通常应具有圆形特征或曲线特征及/或在其边缘存在植入浓度的梯度而非从植入区到非植入区为二元变化。同样地，通过植入而形成的隐埋区可在所述隐埋区与在进行植入时所经过的表面之间的区中引起一些植入。因此，图式中所例示的区为示意性的且其形状并非旨在例示装置的区的实际形状且并非旨在进行限制。
根据本文所述本发明的实施例的电子装置或电装置及/或任何其他相关装置或组件可利用任何适合的硬件、固件(例如，应用专用集成电路(application-specificintegrated circuit))、软件或软件、固件及硬件的组合来实施。举例来说，可将这些装置的各种组件形成在一个集成电路(integrated circuit，IC)芯片上或单独的集成电路芯片上。此外，可将这些装置的各种组件实施在柔性印刷电路膜(flexible printed circuitfilm)、带载封装(tape carrier package，TCP)、印刷电路板(printed circuit board，PCB)上或形成在一个衬底上。此外，这些装置的各种组件可为在一个或多个计算装置中由一个或多个处理器运行、执行计算机程序指令并与用于执行本文所述各种功能性的其他系统组件进行交互的过程或线程(thread)。计算机程序指令存储在可在使用例如(举例来说)随机存取存储器(random access memory，RAM)等标准存储器装置的计算装置中实施的存储器中。计算机程序指令也可存储在例如(举例来说)压缩盘只读存储器(compact discread only memory，CD-ROM)、闪存驱动器(flash drive)或类似元件等其他非暂时性计算机可读媒体中。另外，所属领域中的技术人员应知，在不背离本发明示例性实施例的精神及范围的条件下，可将各种计算装置的功能性组合或整合成单一的计算装置，或者可使一特定计算装置的功能性跨越一个或多个其他计算装置分布。
除非另外定义，否则本文所用所有用语(包括技术及科学用语)的含义均与本发明所属领域中的普通技术人员所通常理解的含义相同。还应理解，用语(例如在常用字典中所定义的用语)应被解释为具有与其在相关技术的上下文及/或本说明书中的含义一致的含义，且除非在本文中明确定义，否则不应将其解释为具有理想化或过于正式的意义。
如上所述，人工神经网络可基于被输入到神经元的输入信号的线性组合来确定每一个神经元的每一个输出的值，所述值接着由比较器进行阈值。传统来说，在将一组输入信号乘以一组权重之后进行求和的计算是由人工神经网络使用专用图形处理单元(graphicprocessing unit，GPU)以向量化(例如，单指令多数据流(single instructionmultipledata，SIMD))方式执行。通过人工神经网络进行的向量化可为将矩阵转换成列向量(columnvector)的线性变换。尽管由人工神经网络执行的向量化将极大地加快与顺序性中央处理器风格计算(sequential CPU-style computation)相关的计算，然而这种向量化通常涉及大量的门(gate)以及每一计算循环涉及明显的能量消耗。
作为另外一种选择，可利用紧凑型模拟电路来实施乘法-加法计算。可使用导电性“被记忆(memorized)”的非易失性存储器(NVM)元件作为权重来应用乘法-加法计算。然而，使用模拟权重需要进行芯片上学习，这是由于将确切的模拟权重值从芯片外训练转移到模拟非易失性存储器可因集成电路工艺变化性及模拟编程随机性而为困难的或不可能实现的。另外，芯片上模拟学习显著地增大了表示人工神经网络的芯片的复杂性，且实际实施可能并非总是可能的。
使用模拟乘法-加法的人工神经网络的传统硬件实施一般来说对权重使用两种选项—硬件元件及多位式数字元件(multi-bit digital element)。硬件元件已用于纯模拟权重，且将模拟芯片上学习与复杂的外围电路一起使用，从而引起权重饱和(weightsaturation)及噪声问题。对于权重的多位式数字实施方式来说，可使用锁存器、触发器及/或静态随机存取存储器单元来进行位存储。尽管这种数字实施方式具有编程简单、不再需要芯片上学习、以及实现可转移到阵列的线下学习的有益效果，然而这种实施方式可具有以下不利方面：具有易失性、功率及性能降低、以及需要相对大的面积及大的能量(例如，因用于每一位的数模(digital-to-analog，D/A)转换器而造成)。
通过对权重进行本地存储(即，在神经元之间的神经元-神经元连接本地)可实现高效的执行。理论上，每一权重是实数，且每一神经元的激活级别也是实数。因此，可使用模拟存储器元件来存储权重，其中模拟存储器元件的电导(conductance)表示对应的权重(例如，电导越高，使用所述电导的输入的影响越大)。
尽管这些配置提供了对具有实数权重的数学人工神经网络的文字硬件说明，然而这些人工神经网络的硬件设计可具有挑战性问题。举例来说，模拟权重一般来说可能部分地因所涉及的元件(例如，闪存、相变存储器(phase change memory，PCM)或忆阻器(memristor))的非线性性质而难以精确地编程。另外，在非易失性存储器元件及/或编程电路中存在工艺变化表明：每一元件可被编程在用于感测编程级别(即，“权重”)的反馈环路(feedback loop)中。因此，通过芯片外编程简单地转移训练/学习权重将未必得出准确的权重。最终，如果使用模拟权重，则可在芯片上实施用于人工神经网络编程的全反向传播算法(full backpropagation algorithm)来实现准确性，从而导致电路复杂性、大小及能量需求的明显增大。因此，使芯片外学习(off-chip learned)神经网络(neural network，NN)权重转移到神经网络的硬件实施方式、同时保持用于乘法-加法的模拟方式的速度及能量优势可为有益的。
本公开的实施例为模拟神经形态单元/神经元/突触提供一种多位式数字权重。模拟神经元提供了一种快速且非常高效的方法来执行用于驱动人工神经网络(ANN)的乘法-加法运算以提供宽广范围的分类任务。
本公开的实施例利用多标数字权重(multi-bid digital weight)来取代完全模拟权重。权重的多标数字表示形式(不同于对应的模拟方式)使人工神经网络训练或网络学习能够在芯片外执行，且确切的权重可准确地转移到多标数字网络。通过存储多个位(而非如传统作法一样存储单个位)，可实施更宽广范围的可能的神经网，从而使得能够实现相对较高级别的复杂性。然而，由于多位权重可使得能够实现较高的权重精度，硬件网络的行为可因此与网络的软件版本的行为更好地匹配。
因此，本公开的实施例可包括用于人工神经网络的给定节点的模拟神经网络权重的多位表示形式的紧凑存储器单元(compact memory cell)。所述单元基本上是模拟的(例如，由电阻值表示)，且可相对于模拟输入电压信号及模拟输出电流来阐述。然而，权重值的可用范围可为离散的并且由位序列直接表示。
图2绘示用于将手写数识别为人工神经网络(ANN)的隐藏神经元的数目的函数及在人工神经网络中使用的位的数目的函数的人工神经网络的性能。
参照图2，可在考虑到权重精度与为达到给定程度的准确性而需要的神经元/突触的数目之间存在强的折衷的同时确定将在给定的神经网络应用中使用的位的数目。对人工神经网络的当前理解表明，仅使用三个位便可良好地执行大部分分类任务。近来，已以仅单个位的分辨率成功实现了可被视为手写数字识别基准的经修改的国家标准与技术研究所(Modified National Institute of Standards and Technology，MNIST)数据库。
通常，为实现约95％的分类准确性，具有1位分辨率的人工神经网络一般使用比具有3位分辨率的人工神经网络(使用3位神经元)多近似100倍的1位神经元。也就是说，分辨率越高，在人工神经网络中实现设定级别的准确性所需要的神经元的总数目越少。另外，一般人工神经网络的准确性可在三个位左右饱和，使得在使用模拟权重时具有附加位可带来相对很小的附加有益效果。然而，应注意，本公开的其他实施例可使用不同数目的位。举例来说，以下阐述的实施例证明使用三个位可实现8个级别的权重。然而，对于4位分辨率来说，可实现16个级别的权重，对于5位分辨率来说，可实现32个级别的权重等。
因此，相对复杂的人工神经网络很少使用模拟权重表示形式的多于三个位的精度。因此，用于对神经节点输入进行加权的权重单元可相对紧凑。由于存在逐位的离散化(bit-wise discretization)，因此可使用软件的确切匹配及在电脑中模拟的表示形式(in-silico representation)来将在芯片外学习的权重容易地转移到神经网络硬件。由于权重单元支持完全模拟输入/输出信号，因此可有望由完全模拟神经网络实现明显的时间及能量节约，而不需要进行芯片上学习。因此，以上阐述的实施例使得能够在硬件而非软件中实现人工神经网络中的加权。
图3绘示根据本公开实施例的包括非易失性存储器(NVM)元件的人工神经网络(ANN)的模拟神经形态权重单元。
参照图3，根据本实施例，以上阐述的多位量化电阻值可由权重单元(例如，神经形态权重单元(NWC))300来实现，权重单元300包括：电阻器梯360，包括多个串联连接的电阻器310、320、330(在量化过程中每一位一个电阻器或者n位n个电阻器)；以及多个非易失性存储器元件312、322、332，每一个非易失性存储器元件被配置成对电阻器梯360的对应的电阻器进行分流。也就是说，针对每一个权重单元300可形成装置的两个垂直堆叠：固定值电阻器堆叠360及分流非易失性存储器堆叠370。
因此，每一个电阻器310、320、330可通过作为分流装置的对应非易失性存储器元件的操作而有效地被激活或去激活，从而提供人工神经网络的可调整的各别神经形态权重单元300。也就是说，每一个电阻器可被具有宽广范围的可用电阻状态的非易失性存储器元件分流，以使得在非易失性存储器的“接通(ON)”状态中，与非易失性存储器元件并联的电阻器被完全分流(例如，非易失性存储器元件与电阻器的并联组合的电阻值比电阻器310、320、330中的任意一者的电阻值小得多)。同样地，在非易失性存储器元件的“关断(OFF)”状态中，非易失性存储器元件的电阻必须比电阻值R大得多，以使得非易失性存储器元件基本“断开”，且因此导通电流可忽略不计。
在本实施例中，三位神经网络可足以实现分类准确性的期望级别，因为人工神经网络可使用3位量化(甚至利用更少位的量化，此对一些人工神经网络而言足够)良好地工作而不需要完全模拟操作。由于电阻器梯360的结构，权重单元300可由经多位量化的电阻值Rweight表示，如以下方程式所示：
由于电阻器310、320、330在电阻器梯360中串联组合，因此对于每一下一电阻器来说，电阻器310、320、330的相应的电阻值R0、R1、R2以2的幂方式增大(例如，表示最高有效位(most significant bit)(或“位0(Bit0)”)的电阻器310的电阻值可为1R，而电阻器320的电阻值可为2R，且在使用3位量化的本实施例中表示最低有效位(least significant bit)的电阻器330的电阻值可为4R)。也就是说，电阻器310、320、330的电阻值R0、R1、R2形成二进制几何序列(例如，R、2R、4R等，其中R是电阻器梯360的基础电阻值(base resistancevalue))。
由于每一个非易失性存储器(NVM)开关在理论上可对对应的电阻器进行完全分流，或者可完全断开(以使得所有电流流经对应的电阻器)，因此电阻器的串联组合提供电阻值(2n-1)R的n位量化。也就是说，在本实例中，可通过作为开关工作的三个独立的非易失性存储器元件312、322、332的变化的操作(例如，通过改变与输入350、342、344、346及348对应的电压值Vin、V1、V2、V3及Vout)来实现电阻值0R、1R、2R、3R、4R、5R、6R及7R。
在其他实施例中，非易失性存储器元件可具有接触源极及漏极(source anddrain，SD)区、以及栅极(例如，非易失性存储器元件可为三端子式非易失性存储器元件)。使用非易失性存储器元件312、322、332的各种接触件，非易失性存储器元件312、322、332可分别被编程为接通状态或关断状态，从而使得能够实现电阻值的从近似0到(2n-1)R(在使用n个电阻器及n个非易失性存储器元件时，n是自然数)的n位量化。非易失性存储器元件312、322、332不需要被编程为高程度的准确性。而是，非易失性存储器元件312、322、332可在被操作成强“接通”或强“关断”时充分工作，其中强度是按照电阻器310、320、330中具有最低电阻的电阻器310的电阻值R的尺度衡量的。然而，确切的值无关紧要，从而极大地简化编程。
因此，可使用多个闪存装置/非易失性存储器元件312、322、332及电阻器310、320、330来表示单个神经形态/突触形态权重单元300。每一个权重单元300的权重对应于连接在电压线/权重单元输入350与神经元线/权重单元输出352之间的电阻器梯360的电导。非易失性存储器元件312、322、332可以数字模式被编程(例如，被强编程或被强擦除)。
与权重单元300的权重对应的矩阵是电阻器梯360的结构的一组电导，且被馈送到权重单元300中的向量是被输入到权重单元300的输入350的一组电压。另外，在权重单元300的输出352处生成的一组电流是电导矩阵乘以电压向量的乘积。因此，可使用所绘示的结构通过将权重单元300的输入改变成电压值以及将权重单元300的输出改变成电流值来获得近似矩阵向量乘积。
本实施例将电阻器梯360看作由标准CMOS元件(电阻器310、320、330)与标准非易失性存储器元件312、322、332形成的电路，所述电路可在现有的COMS工艺中实施。本实施例的电路布局使用与权重表示形式的位的数目成比例的空间量。电阻器堆叠360可通过垂直多晶硅柱的选择性原位掺杂形成。如果各层之间的间距不是恒定的，则可对电阻器掺杂浓度进行选择以使得电阻器序列的总电阻仍为1R、2R、4R等。适合的掺杂值可介于1e18/cm^3到1e19/cm^3范围内。
不同于传统方式，本公开的实施例与标准数模转换基本的不同之处在于，权重单元300的电性输入及输出是模拟的，而仅权重表示形式是多位数字的。尽管针对本实施例阐述了非易失性存储器元件312、322、332，然而如以下将论述，可使用各种选项作为对其他实施例的权重单元的电阻器梯的电阻器进行分流的分流开关。
图4绘示根据本公开实施例的包括闪存晶体管的人工神经网络(ANN)的模拟神经形态权重单元。
参照图4，可使用或非闪存元件(例如，闪存晶体管)作为非易失性存储器分流元件。因此，本实施例的权重单元400使用包括多个闪存晶体管412、422、432的闪存晶体管堆叠470而非在前一实施例的权重单元300中使用的分流非易失性存储器堆叠370。
本实施例的权重单元400提供具有多个数量级的大的动态范围的分流电阻值。因此，分流器(例如，闪存晶体管412、422、432中的一者)的最大电阻可比电阻器410的电阻值R0大得多(比电阻值R大得多)，从而实现优异的断开。另外，分流器可实现的最小电阻可小于或近似等于电阻器410的电阻值R0，此可在电阻器410的电阻值R0不充分大的条件下引起串联电阻的一些变化性。
另外，电阻器410的电阻值R0与耦合到权重单元400的输出452的求和放大器(summing amplifier)的输入处的电容值的乘积可小于实施权重单元400的系统的时钟周期。
在本实施例中，闪存晶体管412、422、432中的每一者可在共用栅极端子454处接收相同的栅极电压值Vg，但可通过使闪存晶体管412、422、432中的每一者的对应的输入电压及输出电压变化来分别得到控制。
举例来说，与电阻器410并联的闪存晶体管412可具有源极端子442及漏极端子444，源极端子442具有电压值V1，漏极端子444具有电压值V2。与电阻器420并联的闪存晶体管422可具有电压值与闪存晶体管412的漏极端子444的电压值(例如，V2)相等的源极端子444，且在漏极端子446处可具有与闪存晶体管432的源极端子的电压值V3相等的电压值V3。与电阻器430并联的闪存晶体管432可具有漏极端子448，漏极端子448具有电压值Vout。
因此，从权重单元400的输出452输出到求和/积分放大器且与权重单元400的输入450处的电压值Vin对应的电流值Iout可通过改变栅极电压值Vg及与不同的闪存晶体管412、422、432对应的输入/输出电压值V1、V2、V3及Vout来操纵。也就是说，基于权重单元400的输入450的输入电压值Vin的权重单元400的输出(即，输出电流值Iout)可通过闪存晶体管412、422、432的个别操作来以各种方式进行加权。因此，权重单元400可如下所述被编程。
使用与电阻器420及闪存晶体管422对应的第二位“位1(Bit1)”作为实例，可通过将栅极电压值Vg、闪存晶体管422的漏极端子446的电压值V3及闪存晶体管432的漏极端子448的电压值Vout设定成高电压(例如，VHIGH)以及通过将闪存晶体管412的源极端子442的电压值V1及闪存晶体管422的源极端子444的电压值V2设定成低电压(例如，GND)来实现高电阻(例如，使用热载流子注入(hot-carrier injection，HCI))。
可通过将栅极电压Vg设定成隧道电压值“-VTUNNEL”以及通过将电压值V1、V2、V3及Vout设定成GND来实现低电阻(使用隧穿，所有位)，从而对电阻器梯460进行分流，以使得电子通过隧穿穿过栅极氧化物而从浮动多晶(floating poly)移动到沟道。权重单元400的输入450的输入电压值Vin可被设定成电压值VLIN。
权重单元400可通过以下方式进行读取：将栅极电压值Vg设定成VHIGH、将电压值V1、V2、V3及Vout设定成具有高阻抗、以及将权重单元400的输入450的电压值Vin设定成VLIN或对于性能来说足够高但明显小于VHIGH的某个其他电压值。另外，通过对共用栅极端子施加共用电压，闪存晶体管以线性模式工作，而不论施加到神经形态权重单元的信号电压的值如何。另外，不会通过对应的栅极氧化物发生遂穿，且不会发生向浮动多晶的热载流子注入(HCI)，从而避免读取扰动(read disturb)。
在形成闪存晶体管412、422、432时，闪存晶体管412、422、432的层的数目可大于或等于2，但可与工艺能力所允许的一样高(例如，至少三层以实现最好的性能)。
图5绘示根据本公开实施例的包括双端子式非易失性存储器元件的人工神经网络(ANN)的模拟神经形态权重单元。
参照图5，根据本实施例，在权重单元500中，可使用忆阻器元件(例如，忆阻器元件512、522、532)作为非易失性存储器分流元件，而非前述实施例的权重单元300的非易失性存储器元件312、322、332及权重单元400的闪存晶体管412、422、432。因此，可与电阻器堆叠560并联使用忆阻器元件堆叠570。
所使用的忆阻器元件512、522、532的类型可为包括以下的若干类型中的一者：相变存储器(如在本实施例中一样)、导电桥接随机存取存储器(conductive-bridgingrandom access memory，CBRAM)或任何其他双端子式非易失性电阻器。本实施例提供有限的但可接受的动态范围(例如，两个数量级)。如同前面的实施例的分流元件一样，针对电阻器堆叠560的电阻器510、520、530中的每一者且与电阻器堆叠560的电阻器510、520、530中的每一者并联地提供非易失性存储器元件。因此，通过分别操作不同的忆阻器元件512、522、532，可在模拟电路中实施权重/电阻的范围。
对本实施例的权重单元500进行的编程可如下所述来实现。
目标非易失性存储器元件可通过将非易失性存储器元件的源极电压设定成GND及将非易失性存储器元件的漏极电压设定成VHIGH_P来进行编程，其中VHIGH_P的值依赖于所使用的忆阻器元件512、522、532的类型，且可处于1.5V到2.5V范围内。忆阻器上的位于被编程的忆阻器上方的所有输入端子可被设定成GND，而忆阻器上的位于被编程的忆阻器下方的所有输入端子可被设定成VHIGH_P。
举例来说，在对第二位“位1(Bit1)”进行编程以实现高电阻时，可将输入542的电压值V1及输入544的电压值V2设定成GND，且可将输入546的输入电压值V3及输入548的输出电压值Vout设定成相对极高的电压(例如，V_XHIGH，其中V_XHIGH比V_HIGH高得多)。
相似地，可通过对权重单元500的个别的忆阻器元件512、522、532进行复位来擦除权重单元500。对权重单元500的复位可通过与用于对权重单元500进行编程的方法相似的方法来完成，但反而可使用电压电平VHIGH_E而非VHIGH_P(其中，VHIGH_E比VHIGH_P大，但是电压电平的具体值可依赖于所选择的忆阻器的类型)。举例来说，VHIGH_P的值可低达1.5V，或高达10V。
因此，且仍使用第二位“位1(Bit1)”作为实例，为实现低电阻，可将电压值V1及电压值V2设定成GND，且可将电压值V3及输出电压值Vout设定成高电压(例如，V_HIGH)。
为对权重单元500进行读取，可将电压值V1、V2、V3及Vout设定成高阻抗，可将权重单元500的输入550的电压值Vin设定成VLIN(例如，对于性能而言足够高，但比VHIGH小得多)。然而，作为输入电压Vin向权重单元500的输入550施加的合适的读取电压电平可依赖于所使用的读取元件的具体类型，且应比所述元件的编程电压低。示例性的合适的电压可为0.7V，但也高达1.5V。
图6绘示根据本公开实施例的神经形态权重单元的层的二维表示形式。
参照图6，不同于前面相对于图3至图5所论述的实施例，本实施例绘示具有2位分辨率(而非3位分辨率)的权重单元。
权重单元可通过提供衬底680且接着在衬底680上沉积硅层来形成。之后，可在硅层上形成间隔件层(例如，SiO2)。在间隔件层的顶部上，可在多晶硅垂直沟道的各个侧上在闪存堆叠670的闪存元件中形成栅极介电质684(例如，IL+Hi-K、SiO2)及浮动栅极686(例如，多晶硅)。另外，可在电阻器堆叠660中在间隔件层的顶部上执行掺杂以对电阻器的电阻值进行设定。之后，可沉积附加间隔件层。
可接着在附加间隔件层的顶部上沉积另一个硅层，且可在硅层中形成共用栅极654的内部间隔件682。接着，可沉积另一个间隔件层，且可与电阻器堆叠660中的附加电阻器一起形成在闪存堆叠670中包括另一个闪存元件的附加层。附加电阻器可被掺杂成初始电阻器的两倍重，以由此具有为初始电阻器的电阻值的近似两倍的电阻值。之后，可沉积另一个间隔件层、之后沉积硅层及再一个间隔件层。
在沉积各个层之后，可对各个层进行选择性蚀刻及填充以形成闪存堆叠670中的两个闪存元件的共用栅极654及各个输入642、644、648。
图7绘示根据本公开实施例的用于图6所示神经形态权重单元的闪存与电阻器堆叠的概念性的工艺流程。
参照图7，首先，可在绝缘衬底上沉积经n+掺杂的多晶硅(S7010)。接着，可沉积SiO2或一些其他间隔件材料(S7020)。接着，可沉积α-碳或某种其他绝缘材料来作为牺牲栅极(S7030)。接着，可沉积间隔件材料(S7040)。接着可重复操作S7010至S7040直到所有期望层均已被沉积为止(例如，依赖于在目标权重单元中实施的位的数目)。
之后，可将沟道沟槽向下蚀刻到绝缘衬底(S7050)。接着，可在沟槽中外延生长多晶沟道(S7060)，且可适当地应用原位掺杂在沟槽中外延生长多晶电阻器柱(S7070)。
之后，可对牺牲栅极材料进行选择性蚀刻，且可生长热氧化物以得到栅极介电质(S7080)。接着，可沉积未经掺杂的多晶硅(用于浮动多晶栅极)，且可使用多个沉积蚀刻步骤(S7090)。
接着，可沉积顶部栅极介电质(S7100)，且可沉积功函数(work function,WF)金属。接着，可使用掩模来蚀刻接触开口(S7120)，且可使用另一个掩模来蚀刻栅极接触件(S7130)。接着，可在栅极接触件上形成内部间隔件(S7140)，且可利用接触金属来填充接触开口(S7150)。
因此，本公开的实施例提供一种用于神经形态/突触形态计算的由包括非易失性存储器元件及电阻器的电路制成的可调整模拟单片多位式权重单元。

Claims (13)

1.一种神经形态权重单元，其特征在于，包括：
电阻器梯，包括串联连接的多个电阻器；以及
多个分流非易失性存储器元件，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器；
其中所述多个电阻器中位于所述电阻器梯的顶部处的第一电阻器具有所述多个电阻器中的最低电阻值，且
其中所述多个电阻器中的每一下一电阻器的电阻值是所述多个电阻器中紧接着的前一电阻器的电阻值的两倍，
其中所述多个分流非易失性存储器元件包括多个闪存晶体管，且所述多个分流非易失性存储器元件各自包括一个闪存晶体管，
其中所述多个分流非易失性存储器元件中的每一者的栅极连接到共用栅极端子，
其中所述神经形态权重单元的单元权重被配置成通过以下方式被擦除：将所有所述多个闪存晶体管的所有源极端子及漏极端子接地并将所述共用栅极端子设定成遂穿电压。
2.根据权利要求1所述的神经形态权重单元，其特征在于，所述多个分流非易失性存储器元件中的每一者具有第一电阻状态及第二电阻状态，所述第一电阻状态大于所述第一电阻器的电阻值，且所述第二电阻状态小于所述第一电阻器的电阻值。
3.根据权利要求1所述的神经形态权重单元，其特征在于，所述多个分流非易失性存储器元件中的每一者的端子是能够分别寻址的。
4.根据权利要求1所述的神经形态权重单元，其特征在于，所述多个分流非易失性存储器元件中的每一者包括双端子式忆阻器，其中所述多个电阻器包括多个经掺杂多晶层的垂直堆叠。
5.一种人工神经网络，所述人工神经网络包括多个层，所述多个层中的每一者包括多个神经节点，其特征在于，
其中所述多个神经节点中的一者的输入被配置成由实施在硬件中的神经形态权重单元以可调整方式进行加权，所述神经形态权重单元包括：
电阻器梯，包括串联连接的多个电阻器；以及
多个分流非易失性存储器元件，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器，
其中所述多个电阻器中位于所述电阻器梯的顶部处的第一电阻器具有所述多个电阻器中的最低电阻值，且
其中所述多个电阻器中的每一下一电阻器的电阻值是所述多个电阻器中紧接着的前一电阻器的电阻值的两倍，
其中所述多个分流非易失性存储器元件包括多个闪存晶体管，且所述多个分流非易失性存储器元件各自包括一个闪存晶体管，
其中所述多个分流非易失性存储器元件中的每一者的栅极连接到共用栅极端子，
其中所述多个神经节点中的所述一者的所述输入被配置成通过选择性地操作所述多个分流非易失性存储器元件中的一者或多者来被以可调整方式进行加权，
其中所述神经形态权重单元的单元权重被配置成通过以下方式被擦除：将所有所述多个闪存晶体管的所有源极端子及漏极端子接地并将所述共用栅极端子设定成遂穿电压。
6.根据权利要求5所述的人工神经网络，其特征在于，所述神经形态权重单元被配置成通过以下方式被作为权重进行读取：
使所述多个闪存晶体管的所有源极连接及漏极连接浮动；以及
对所述共用栅极端子施加共用电压。
7.根据权利要求6所述的人工神经网络，其特征在于，所述神经形态权重单元的单元权重被配置成通过对所述多个闪存晶体管分别进行编程来被编程，
其中所述多个闪存晶体管中的经编程的闪存晶体管包括被设定成地电压的源极端子及被设定成高电压的漏极端子，
其中位于所述经编程的闪存晶体管和所述神经形态权重单元的所述单元权重的输入之间的所述多个闪存晶体管的所有源极端子及漏极端子被设定成所述地电压，
其中位于所述经编程的闪存晶体管和所述神经形态权重单元的所述单元权重的输出之间的所述多个闪存晶体管的所有源极端子及漏极端子被设定成所述高电压，且
其中所有所述多个闪存晶体管的栅极被设定成所述高电压。
8.根据权利要求5所述的人工神经网络，其特征在于，所述多个闪存晶体管被实施成位于共用多晶硅沟道上的垂直堆叠，且其中所述多个电阻器被实施成单独的垂直堆叠。
9.根据权利要求8所述的人工神经网络，其特征在于，所述多个电阻器的电阻值是通过原位掺杂来设定，且其中所述多个电阻器的掺杂浓度分别以2倍的因数变化。
10.根据权利要求9所述的人工神经网络，其特征在于，所述多个闪存晶体管的层的数目大于或等于二。
11.根据权利要求10所述的人工神经网络，其特征在于，所述神经形态权重单元被配置成通过使所述多个闪存晶体管的所有所述源极及所述漏极浮动、并通过在所述神经形态权重单元的输入端子上施加读取电压来被读取。
12.一种形成神经形态权重单元的方法，所述神经形态权重单元包括电阻器梯及多个分流非易失性存储器元件，所述电阻器梯包括串联连接的多个电阻器，所述多个分流非易失性存储器元件中的每一者并联耦合到所述多个电阻器中对应的一个电阻器，其特征在于，所述方法包括：
在绝缘衬底上沉积共用多晶硅沟道；
在所述共用多晶硅沟道上沉积第一间隔件材料层；
在所述第一间隔件材料层上沉积绝缘材料作为牺牲栅极；
在所述绝缘材料上沉积第二间隔件材料层；
在所述共用多晶硅沟道上形成多个闪存晶体管作为第一垂直堆叠；以及
在所述共用多晶硅沟道上形成所述多个电阻器作为第二垂直堆叠；
其中所述多个电阻器中位于所述电阻器梯的顶部处的第一电阻器具有所述多个电阻器中的最低电阻值，且
其中所述多个电阻器中的每一下一电阻器的电阻值是所述多个电阻器中紧接着的前一电阻器的电阻值的两倍，
其中所述多个分流非易失性存储器元件包括多个闪存晶体管，且所述多个分流非易失性存储器元件各自包括一个闪存晶体管，
其中所述多个分流非易失性存储器元件中的每一者的栅极连接到共用栅极端子，
其中所述神经形态权重单元的单元权重被配置成通过以下方式被擦除：将所有所述多个闪存晶体管的所有源极端子及漏极端子接地并将所述共用栅极端子设定成遂穿电压。
13.根据权利要求12所述的方法，其特征在于，还包括对所述第二垂直堆叠的区域进行选择性原位掺杂，以设定所述多个电阻器的不同电阻值。
CN201810329975.7A 2017-04-14 2018-04-13 神经形态权重单元及其形成的方法以及人工神经网络 Active CN108734271B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485867P 2017-04-14 2017-04-14
US62/485,867 2017-04-14
US15/678,050 2017-08-15
US15/678,050 US10909449B2 (en) 2017-04-14 2017-08-15 Monolithic multi-bit weight cell for neuromorphic computing

Publications (2)

Publication Number Publication Date
CN108734271A CN108734271A (zh) 2018-11-02
CN108734271B true CN108734271B (zh) 2024-04-02

Family

ID=63790167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810329975.7A Active CN108734271B (zh) 2017-04-14 2018-04-13 神经形态权重单元及其形成的方法以及人工神经网络

Country Status (4)

Country Link
US (2) US10909449B2 (zh)
KR (1) KR102519293B1 (zh)
CN (1) CN108734271B (zh)
TW (1) TWI661428B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180136202A (ko) * 2017-06-14 2018-12-24 에스케이하이닉스 주식회사 컨볼루션 신경망 및 컨볼루션 신경망을 가진 신경망 시스템
US11461620B2 (en) 2017-07-05 2022-10-04 Samsung Electronics Co., Ltd. Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US11403529B2 (en) * 2018-04-05 2022-08-02 Western Digital Technologies, Inc. Noise injection training for memory-based learning
US20200104635A1 (en) * 2018-09-28 2020-04-02 Konica Minolta Laboratory U.S.A., Inc. Invertible text embedding for lexicon-free offline handwriting recognition
KR102221763B1 (ko) * 2018-11-19 2021-02-26 포항공과대학교 산학협력단 이진 신경망에서의 저항성 메모리 기반 배치 정규화 장치
CN117669663A (zh) * 2018-12-06 2024-03-08 西部数据技术公司 具有深度学习神经网络的非易失性存储器管芯
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US11074318B2 (en) 2018-12-14 2021-07-27 Western Digital Technologies, Inc. Hardware accelerated discretized neural network
US11270763B2 (en) * 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
GB201907685D0 (en) 2019-02-06 2019-07-17 Cirrus Logic Int Semiconductor Ltd Multi-level memristor elements
US11182686B2 (en) 2019-03-01 2021-11-23 Samsung Electronics Co., Ltd 4T4R ternary weight cell with high on/off ratio background
US11699070B2 (en) * 2019-03-05 2023-07-11 Samsung Electronics Co., Ltd Method and apparatus for providing rotational invariant neural networks
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
CN112183734A (zh) * 2019-07-03 2021-01-05 财团法人工业技术研究院 神经元电路
US20210011732A1 (en) * 2019-07-09 2021-01-14 MemryX Inc. Matrix Data Reuse Techniques in Processing Systems
US12125527B2 (en) 2019-07-30 2024-10-22 Jun-Sung Kim Apparatus and method for controlling gradual conductance change in synaptic element
US10726331B1 (en) 2019-08-26 2020-07-28 International Business Machines Corporation Neural network circuits providing early integration before analog-to-digital conversion
KR20210052059A (ko) * 2019-10-31 2021-05-10 에스케이하이닉스 주식회사 반도체장치
CN112801328B (zh) * 2019-11-14 2023-10-31 富联精密电子(天津)有限公司 产品印刷参数设定装置、方法及计算机可读存储介质
TWI715289B (zh) * 2019-11-14 2021-01-01 新加坡商鴻運科股份有限公司 產品印刷參數設定裝置、方法及電腦可讀取存儲介質
KR20210075542A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
KR102419201B1 (ko) * 2019-12-27 2022-07-08 포항공과대학교 산학협력단 멀티 비트 특성을 갖는 뉴로모픽 시냅스 소자 및 이의 동작 방법
KR20210119805A (ko) * 2020-03-25 2021-10-06 삼성전자주식회사 뉴로모픽 장치 및 그 구동 방법
US11855641B2 (en) * 2020-07-07 2023-12-26 Infineon Technologies LLC Integrated resistor network and method for fabricating the same
CN113311702B (zh) * 2021-05-06 2022-06-21 清华大学 一种基于Master-Slave神经元的人工神经网络控制器
US11514981B1 (en) 2021-06-04 2022-11-29 International Business Machines Corporation Programming devices and weights in hardware
US11782642B2 (en) * 2021-06-14 2023-10-10 Western Digital Technologies, Inc. Systems and methods of determining degradation in analog compute-in-memory (ACIM) modules
US12086461B2 (en) * 2021-06-14 2024-09-10 SanDisk Technologies, Inc. Systems and methods of compensating degradation in analog compute-in-memory (ACIM) modules
TWI795967B (zh) * 2021-06-29 2023-03-11 財團法人工業技術研究院 記憶體內的可配置運算單元
JP7209068B1 (ja) * 2021-10-19 2023-01-19 ウィンボンド エレクトロニクス コーポレーション 半導体記憶装置
CN114580630B (zh) * 2022-03-01 2024-05-31 厦门大学 用于ai芯片设计的神经网络模型训练方法及图形分类方法
CN115019854B (zh) * 2022-04-28 2024-07-05 深圳市金和思锐科技有限公司 基于忆阻器的存算一体存算单元和存算阵列
US20240249132A1 (en) * 2023-01-23 2024-07-25 Brisk Computing LLC Multi-resistor unit cell configuration for impementaiton in analog neuromorphic circuits
KR102695856B1 (ko) * 2023-09-13 2024-08-16 (주)웨이비스 칩 좌표 정보가 표시된 웨이퍼

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
US4884070A (en) * 1988-04-04 1989-11-28 California Institute Of Technology Method and apparatus for multiplexing switch signals
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks
US5293148A (en) * 1992-07-13 1994-03-08 Honeywell Inc. High resolution resistor ladder network with reduced number of resistor elements
US5355438A (en) * 1989-10-11 1994-10-11 Ezel, Inc. Weighting and thresholding circuit for a neural network
CN102543172A (zh) * 2012-02-27 2012-07-04 北京大学 一种适用于神经元电路的阻变忆阻器的控制方法
CN105229675A (zh) * 2013-05-21 2016-01-06 高通股份有限公司 尖峰网络的高效硬件实现
WO2016072964A1 (en) * 2014-11-03 2016-05-12 Hewlett Packard Enterprise Development Lp Device with multiple resistance switches with different switching characteristics
US9514818B1 (en) * 2016-05-04 2016-12-06 Tower Semiconductor Ltd. Memristor using parallel asymmetrical transistors having shared floating gate and diode

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3104358A (en) * 1959-10-05 1963-09-17 Jr William J Heacock Memory circuit with positive and negative limiters
JP2595051B2 (ja) * 1988-07-01 1997-03-26 株式会社日立製作所 半導体集積回路
US5055897A (en) * 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
US5247606A (en) 1990-12-26 1993-09-21 Intel Corporation Adaptively setting analog weights in a neural network and the like
US5268320A (en) * 1990-12-26 1993-12-07 Intel Corporation Method of increasing the accuracy of an analog circuit employing floating gate memory devices
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US6157751A (en) * 1997-12-30 2000-12-05 Cognex Corporation Method and apparatus for interleaving a parallel image processing memory
WO2001061865A1 (en) * 2000-02-14 2001-08-23 Koninklijke Philips Electronics N.V. Current-to-voltage converter with controllable gain, and signal processing circuit comprising such converter
US6628216B2 (en) * 2002-02-13 2003-09-30 Intersil Americas Inc. Calibration of resistor ladder using difference measurement and parallel resistive correction
US6781186B1 (en) * 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US7524722B2 (en) * 2006-10-12 2009-04-28 Macronix International Co., Ltd. Resistance type memory device and fabricating method and operating method thereof
US8633537B2 (en) * 2007-05-25 2014-01-21 Cypress Semiconductor Corporation Memory transistor with multiple charge storing layers and a high work function gate electrode
US20110004579A1 (en) 2008-03-14 2011-01-06 Greg Snider Neuromorphic Circuit
US8250011B2 (en) 2008-09-21 2012-08-21 Van Der Made Peter A J Autonomous learning dynamic artificial neural computing device and brain inspired system
US7884747B2 (en) 2009-06-12 2011-02-08 Analog Devices, Inc. Digital to analog converters having circuit architectures to overcome switch losses
US8275727B2 (en) * 2009-11-13 2012-09-25 International Business Machines Corporation Hardware analog-digital neural networks
US8331127B2 (en) * 2010-05-24 2012-12-11 Macronix International Co., Ltd. Nonvolatile memory device having a transistor connected in parallel with a resistance switching device
US8515885B2 (en) * 2010-10-29 2013-08-20 International Business Machines Corporation Neuromorphic and synaptronic spiking neural network with synaptic weights learned using simulation
KR20120059023A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 저항 소자 및 이를 이용한 디지털-아날로그 컨버터
FR2968808A1 (fr) 2010-12-08 2012-06-15 Commissariat Energie Atomique Circuit électronique a architecture neuromorphique
US8860597B2 (en) * 2011-07-06 2014-10-14 Qualcomm Incorporated Digital to-analog converter circuitry with weighted resistance elements
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
JP5684081B2 (ja) * 2011-09-22 2015-03-11 株式会社東芝 アナログ／デジタル変換器
FR2983664B1 (fr) 2011-12-05 2013-12-20 Commissariat Energie Atomique Convertisseur analogique-numerique et circuit neuromorphique utilisant un tel convertisseur
TW201528439A (zh) * 2013-10-07 2015-07-16 Conversant Intellectual Property Man Inc 用於非揮發性半導體記憶體裝置具有可製造選擇閘極的胞元陣列
US9798751B2 (en) 2013-10-16 2017-10-24 University Of Tennessee Research Foundation Method and apparatus for constructing a neuroscience-inspired artificial neural network
US20150324691A1 (en) * 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9760533B2 (en) 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US10885429B2 (en) 2015-07-06 2021-01-05 University Of Dayton On-chip training of memristor crossbar neuromorphic processing systems
CN105095967B (zh) 2015-07-16 2018-02-16 清华大学 一种多模态神经形态网络核
US11120884B2 (en) * 2015-09-30 2021-09-14 Sunrise Memory Corporation Implementing logic function and generating analog signals using NOR memory strings
US11308382B2 (en) * 2017-08-25 2022-04-19 International Business Machines Corporation Neuromorphic synapses
US11586884B2 (en) * 2018-02-08 2023-02-21 University Of Massachusetts Artificial neurons using diffusive memristor
US10790002B2 (en) * 2018-06-21 2020-09-29 Samsung Electronics Co., Ltd. Giant spin hall-based compact neuromorphic cell optimized for differential read inference
US10643119B2 (en) * 2018-07-24 2020-05-05 Sandisk Technologies Llc Differential non-volatile memory cell for artificial neural network
US10528643B1 (en) * 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10534840B1 (en) * 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4874963A (en) * 1988-02-11 1989-10-17 Bell Communications Research, Inc. Neuromorphic learning networks
US4884070A (en) * 1988-04-04 1989-11-28 California Institute Of Technology Method and apparatus for multiplexing switch signals
US5101361A (en) * 1989-09-29 1992-03-31 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Analog hardware for delta-backpropagation neural networks
US5355438A (en) * 1989-10-11 1994-10-11 Ezel, Inc. Weighting and thresholding circuit for a neural network
US5293148A (en) * 1992-07-13 1994-03-08 Honeywell Inc. High resolution resistor ladder network with reduced number of resistor elements
CN102543172A (zh) * 2012-02-27 2012-07-04 北京大学 一种适用于神经元电路的阻变忆阻器的控制方法
CN105229675A (zh) * 2013-05-21 2016-01-06 高通股份有限公司 尖峰网络的高效硬件实现
WO2016072964A1 (en) * 2014-11-03 2016-05-12 Hewlett Packard Enterprise Development Lp Device with multiple resistance switches with different switching characteristics
US9514818B1 (en) * 2016-05-04 2016-12-06 Tower Semiconductor Ltd. Memristor using parallel asymmetrical transistors having shared floating gate and diode

Also Published As

Publication number Publication date
US10909449B2 (en) 2021-02-02
US20210117769A1 (en) 2021-04-22
TW201837917A (zh) 2018-10-16
KR20180116094A (ko) 2018-10-24
US20180300618A1 (en) 2018-10-18
TWI661428B (zh) 2019-06-01
CN108734271A (zh) 2018-11-02
KR102519293B1 (ko) 2023-04-06

Similar Documents

Publication Publication Date Title
CN108734271B (zh) 神经形态权重单元及其形成的方法以及人工神经网络
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
US11348002B2 (en) Training of artificial neural networks
Wang et al. In situ training of feed-forward and recurrent convolutional memristor networks
Chen et al. Mitigating effects of non-ideal synaptic device characteristics for on-chip learning
CN110807519B (zh) 基于忆阻器的神经网络的并行加速方法及处理器、装置
US9934463B2 (en) Neuromorphic computational system(s) using resistive synaptic devices
US11461620B2 (en) Multi-bit, SoC-compatible neuromorphic weight cell using ferroelectric FETs
US11087204B2 (en) Resistive processing unit with multiple weight readers
US11544540B2 (en) Systems and methods for neural network training and deployment for hardware accelerators
CN111433792A (zh) 可编程可重置人工神经网络的基于计数器的电阻处理单元
US11610105B2 (en) Systems and methods for harnessing analog noise in efficient optimization problem accelerators
WO2019147522A2 (en) Neural network circuits having non-volatile synapse arrays
CN113643175B (zh) 数据处理方法及电子装置
CN108154225B (zh) 一种使用模拟计算的神经网络芯片
CN115699028A (zh) 模拟人工智能网络推理的逐行卷积神经网络映射的高效瓦片映射
US20190005379A1 (en) Cortical processing with thermodynamic ram
Ahn et al. On-chip adaptive matching learning with charge-trap synapse device and ReLU activation circuit
Cai et al. Feature extraction and analysis using memristor networks
CN115796252A (zh) 权重写入方法及装置、电子设备和存储介质
Choi et al. Implementation of an On-Chip Learning Neural Network IC Using Highly Linear Charge Trap Device
KR20230090849A (ko) 뉴럴 네트워크 장치 및 이를 포함하는 전자 시스템
CN113592081A (zh) 数据处理装置及数据处理方法
US20240037394A1 (en) System and method for neural network multiple task adaptation
CN114020239B (zh) 数据处理方法及电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant