CN113366572A - 用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路 - Google Patents

用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路 Download PDF

Info

Publication number
CN113366572A
CN113366572A CN201980090494.8A CN201980090494A CN113366572A CN 113366572 A CN113366572 A CN 113366572A CN 201980090494 A CN201980090494 A CN 201980090494A CN 113366572 A CN113366572 A CN 113366572A
Authority
CN
China
Prior art keywords
memory cell
output
volatile memory
voltage
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980090494.8A
Other languages
English (en)
Other versions
CN113366572B (zh
Inventor
H·V·特兰
T·乌
S·特林
S·洪
A·李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of CN113366572A publication Critical patent/CN113366572A/zh
Application granted granted Critical
Publication of CN113366572B publication Critical patent/CN113366572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G11C16/3454—Arrangements for verifying correct programming or for detecting overprogrammed cells
    • G11C16/3459—Circuits or methods to verify correct programming of nonvolatile memory cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/0223—User address space allocation, e.g. contiguous or non contiguous base addressing
    • G06F12/023—Free address space management
    • G06F12/0238—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory
    • G06F12/0246—Memory management in non-volatile memory, e.g. resistive RAM or ferroelectric memory in block erasable memory, e.g. flash memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0811—Multiuser, multiprocessor or multiprocessing cache systems with multilevel cache hierarchies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/401—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming cells needing refreshing or charge regeneration, i.e. dynamic cells
    • G11C11/4063—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing or timing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
    • G11C16/0433—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a single floating gate transistor and one or more separate select transistors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7201—Logical to physical mapping or translation of blocks or pages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
    • G06F2212/72—Details relating to flash memory management
    • G06F2212/7202—Allocation control and policies

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)
  • Control Of Electrical Variables (AREA)
  • Networks Using Active Elements (AREA)

Abstract

本发明公开了用于在非易失性存储器单元的多级编程操作之后通过将存储的权重转换成多个数字输出位来验证神经网络中非易失性存储器单元中的存储的权重的各种算法。本发明公开了用于实现算法的电路，诸如可调参考电流源。

Description

用于验证在深度学习人工神经网络中的模拟神经存储器中的 非易失性存储器单元的编程操作期间存储的值的算法和电路
优先权声明
本申请要求于2019年1月29日提交的标题为“用于深度学习人工神经网络中的模拟神经存储器的精密编程电路(Precision Programming Circuit For Analog NeuralMemory In Deep Learning Artificial Neural Network)”的美国临时专利申请号62/798,394和于2019年3月21日提交的标题为“用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路(AlgorithmsAnd Circuitry For Verifying A Value Stored During A Programming Operation OfA Non-volatile Memory Cell In An Analog Neural Memory In Deep LearningArtificial Neural Network)”的美国专利申请号16/360,955的优先权。
技术领域
本发明公开了用于验证在模拟神经存储器中的编程操作期间在非易失性存储器单元中存储的值的多种验证算法和电路。
背景技术
人工神经网络模拟生物神经网络(动物的中枢神经系统，特别是大脑)，并且用于估计或近似可取决于大量输入并且通常未知的函数。人工神经网络通常包括互相交换消息的互连“神经元”层。
图1示出了人工神经网络，其中圆圈表示神经元的输入或层。连接部(称为突触)用箭头表示，并且具有可以根据经验进行调整的数值权重。这使得神经网络适应于输入并且能够学习。通常，神经网络包括多个输入的层。通常存在神经元的一个或多个中间层，以及提供神经网络的输出的神经元的输出层。处于每一级别的神经元分别地或共同地根据从突触所接收的数据作出决定。
在开发用于高性能信息处理的人工神经网络方面的主要挑战中的一个挑战是缺乏足够的硬件技术。实际上，实际神经网络依赖于大量的突触，从而实现神经元之间的高连通性，即非常高的计算并行性。原则上，此类复杂性可通过数字超级计算机或专用图形处理单元集群来实现。然而，相比于生物网络，这些方法除了高成本之外，能量效率也很普通，生物网络主要由于其执行低精度的模拟计算而消耗更少的能量。CMOS模拟电路已被用于人工神经网络，但由于需要大量神经元和突触，大多数CMOS实现的突触都过于庞大。
申请人先前在美国专利申请15/594,439(公开为美国专利公布2017/0337466)中公开了一种利用一个或多个非易失性存储器阵列作为突触的人工(模拟)神经网络，该专利申请以引用方式并入本文。非易失性存储器阵列作为模拟神经形态存储器操作。神经网络设备包括被配置成接收第一多个输入并从其生成第一多个输出的第一多个突触，以及被配置成接收第一多个输出的第一多个神经元。第一多个突触包括多个存储器单元，其中存储器单元中的每个存储器单元包括：形成于半导体衬底中的间隔开的源极区和漏极区，其中沟道区在源极区和漏极区之间延伸；设置在沟道区的第一部分上方并且与第一部分绝缘的浮栅；以及设置在沟道区的第二部分上方并且与第二部分绝缘的非浮栅。多个存储器单元中的每个存储器单元被配置成存储与浮栅上的多个电子相对应的权重值。多个存储器单元被配置成将第一多个输入乘以所存储的权重值以生成第一多个输出。
必须擦除和编程在模拟神经形态存储器系统中使用的每个非易失性存储器单元，以在浮栅中保持非常特定且精确的电荷量(即电子数量)。例如，每个浮栅必须保持N个不同值中的一个，其中N是可由每个单元指示的不同权重的数量。N的示例包括16、32、64、128和256。
VMM系统中的一个挑战是对VMM的存储器单元进行准确编程的能力，因为将需要对所选择单元的浮栅进行编程以保持非常具体和精确的电荷量，使得每个浮栅可保持不同N值中的一个N值。相关挑战是验证编程值是否在旨在被编程的值的可接受范围内的能力。
所需要的是用于验证在编程操作期间在非易失性存储器单元中存储的值的准确性的改进验证算法和电路。
发明内容
本发明公开了用于在非易失性存储器单元的多级编程操作之后通过将存储的权重转换成多个数字输出位来验证神经网络中非易失性存储器单元中的存储的权重的各种算法。本发明公开了用于实现算法的电路，诸如可调参考电流源。
附图说明
图1为示出现有技术的人工神经网络的示意图。
图2示出现有技术的分裂栅闪存存储器单元。
图3示出另一现有技术的分裂栅闪存存储器单元。
图4示出另一现有技术的分裂栅闪存存储器单元。
图5示出另一现有技术的分裂栅闪存存储器单元。
图6示出另一现有技术的分裂栅闪存存储器单元。
图7示出现有技术的堆叠栅闪存存储器单元。
图8为示出使用一个或多个非易失性存储器阵列的示例性人工神经网络的不同层级的示意图。
图9为示出矢量-矩阵乘法系统的框图。
图10为示出使用一个或多个矢量-矩阵乘法系统的示例性人工神经网络的框图。
图11示出矢量-矩阵乘法系统的另一实施方案。
图12示出矢量-矩阵乘法系统的另一实施方案。
图13示出矢量-矩阵乘法系统的另一实施方案。
图14示出矢量-矩阵乘法系统的另一实施方案。
图15示出矢量-矩阵乘法系统的另一实施方案。
图16示出现有技术的长短期存储器系统。
图17示出在长短期存储器系统中使用的示例性单元。
图18示出图17的示例性单元的一个实施方案。
图19示出图17的示例性单元的另一实施方案。
图20示出现有技术的栅控递归单元系统。
图21示出在栅控递归单元系统中使用的示例性单元。
图22示出图21的示例性单元的一个实施方案。
图23示出图21的示例性单元的另一实施方案。
图24示出矢量-矩阵乘法系统的另一实施方案。
图25示出矢量-矩阵乘法系统的另一实施方案。
图26示出矢量-矩阵乘法系统的另一实施方案。
图27示出矢量-矩阵乘法系统的另一实施方案。
图28示出矢量-矩阵乘法系统的另一实施方案。
图29示出矢量-矩阵乘法系统的另一实施方案。
图30示出矢量-矩阵乘法系统的另一实施方案。
图31示出矢量-矩阵乘法系统的另一实施方案。
图32示出VMM系统。
图33示出模拟神经存储器系统。
图34示出用于与矢量乘法器矩阵系统一起使用的高电压生成块。
图35示出电荷泵和电荷泵调节电路。
图36示出具有电流补偿电路的高电压生成块。
图37示出具有电流补偿电路的另一高电压生成块。
图38示出另一高电压生成块。
图39示出用于提供电流补偿的虚拟位线。
图40示出高电压解码器。
图41示出高电压测试电路。
图42示出高电压生成块。
图43示出另一高电压生成块。
图44示出另一高电压生成块。
图45示出高电压运算放大器。
图46示出另一高电压运算放大器。
图47示出自适应高电压源。
图48示出列驱动器。
图49示出列读出放大器。
图50示出读取参考电路。
图51示出另一读取参考电路。
图52示出自适应高电压源。
图53示出另一自适应高电压源。
图54示出另一自适应高电压源。
图55示出另一自适应高电压源。
图56示出另一自适应高电压源。
图57示出单参考验证算法。
图58示出双参考验证算法。
图59示出可调参考电压源。
图60示出在图59的可调参考电压源中使用的子电路。
具体实施方式
本发明的人工神经网络利用CMOS技术和非易失性存储器阵列的组合。
非易失性存储器单元
数字非易失性存储器是众所周知的。例如，美国专利5,029,130(“130专利”)，其以引用方式并入本文，公开了分裂栅非易失性存储器单元的阵列，它是一种闪存存储器单元。此类存储器单元210在图2中示出。每个存储器单元210包括形成于半导体衬底12中的源极区14和漏极区16，其间具有沟道区18。浮栅20形成在沟道区18的第一部分上方并且与其绝缘(并控制其电导率)，并且形成在源极区14的一部分上方。字线端子22(其通常被耦接到字线)具有设置在沟道区18的第二部分上方并且与该沟道区的第二部分绝缘(并且控制其电导率)的第一部分，以及向上延伸并且位于浮栅20上方的第二部分。浮栅20和字线端子22通过栅极氧化物与衬底12绝缘。位线24耦接到漏极区16。
通过将高的正电压置于字线端子22上来对存储器单元210进行擦除(其中电子从浮栅去除)，这导致浮栅20上的电子经由Fowler-Nordheim隧穿从浮栅20到字线端子22隧穿通过中间绝缘体。
通过将正的电压置于字线端子22上以及将正的电压置于源极区14上来编程存储器单元210(其中电子被置于浮栅上)。电子电流将从源极区14流向漏极区16。当电子到达字线端子22和浮栅20之间的间隙时，电子将加速并且变热。由于来自浮栅20的静电引力，一些加热的电子将通过栅极氧化物被注入到浮栅20上。
通过将正的读取电压置于漏极区16和字线端子22(其接通沟道区18的在字线端子下方的部分)上来读取存储器单元210。如果浮栅20带正电(即，电子被擦除)，则沟道区18的在浮栅20下方的部分也被接通，并且电流将流过沟道区18，该沟道区被感测为擦除状态或“1”状态。如果浮栅20带负电(即，通过电子进行了编程)，则沟道区的在浮栅20下方的部分被大部分或完全关断，并且电流将不会(或者有很少的电流)流过沟道区18，该沟道区被感测为编程状态或“0”状态。
表1示出了可以施加到存储器单元110的端子用于执行读取、擦除和编程操作的典型电压范围：
表1：图2的闪存存储器单元210的操作
WL BL SL
读取 2-3V 0.6-2V 0V
擦除 约11-13V 0V 0V
编程 1-2V 1-3μA 9-10V
图3示出了存储器单元310，其与图2的存储器单元210类似，但增加了控制栅(CG)28。控制栅28在编程中被偏置在高电压处(例如，10V)，在擦除中被偏置在低电压或负电压处(例如，0v/-8V)，在读取中被偏置在低电压或中等电压处(例如，0v/2.5V)。其他端子类似于图2那样偏置。
图4示出了四栅极存储器单元410，其包括源极区14、漏极区16、在沟道区18的第一部分上方的浮栅20、在沟道区18的第二部分上方的选择栅22(通常耦接到字线WL)、在浮栅20上方的控制栅28、以及在源极区14上方的擦除栅30。这种配置在美国专利6,747,310中有所描述，该专利以引用方式并入本文以用于所有目的。这里，除了浮栅20之外，所有的栅极均为非浮栅，这意味着它们电连接到或能够电连接到电压源。编程由来自沟道区18的将自身注入到浮栅20的加热的电子执行。擦除通过从浮栅20隧穿到擦除栅30的电子来执行。
表2示出可施加到存储器单元310的端子用于执行读取、擦除和编程操作的典型电压范围：
表2：图4的闪存存储器单元410的操作
WL/SG BL CG EG SL
读取 1.0-2V 0.6-2V 0-2.6V 0-2.6V 0V
擦除 -0.5V/0V 0V 0V/-8V 8-12V 0V
编程 1V 1μA 8-11V 4.5-9V 4.5-5V
图5示出了存储器单元510，除了不含擦除栅EG，存储器单元510与图4的存储器单元410类似。通过将衬底18偏置到高电压并将控制栅CG28偏置到低电压或负电压来执行擦除。另选地，通过将字线22偏置到正电压并将控制栅28偏置到负电压来执行擦除。编程和读取类似于图4的那样。
图6示出三栅极存储器单元610，其为另一种类型的闪存存储器单元。存储器单元610与图4的存储器单元410相同，不同的是存储器单元610没有单独的控制栅。除了没有施加控制栅偏置，擦除操作(由此通过使用擦除栅进行擦除)和读取操作与图4的操作类似。在没有控制栅偏置的情况下，编程操作也被完成，并且结果，在编程操作期间必须在源极线上施加更高的电压，以补偿控制栅偏置的缺乏。
表3示出可施加到存储器单元610的端子用于执行读取、擦除和编程操作的典型电压范围：
表3：图6的闪存存储器单元610的操作
WL/SG BL EG SL
读取 0.7-2.2V 0.6-2V 0-2.6V 0V
擦除 -0.5V/0V 0V 11.5V 0V
编程 1V 2-3μA 4.5V 7-9V
图7示出堆叠栅存储器单元710，其为另一种类型的闪存存储器单元。存储器单元710与图2的存储器单元210类似，不同的是浮栅20在整个沟道区18上方延伸，并且控制栅22(其在这里将耦接到字线)在浮栅20上方延伸，由绝缘层(未示出)分开。擦除、编程和读取操作以与先前针对存储器单元210所述类似的方式操作。
表4示出可以施加到存储器单元710和衬底12的端子用于执行读取、擦除和编程操作的典型电压范围：
表4：图7的闪存存储器单元710的操作
CG BL SL 衬底
读取 2-5V 0.6-2V 0V 0V
擦除 -8至-10V/0V FLT FLT 8-10V/15-20V
编程 8-12V 3-5V 0V 0V
为了在人工神经网络中利用包括上述类型的非易失性存储器单元之一的存储器阵列，进行了两个修改。第一，对线路进行配置，使得每个存储器单元可被单独编程、擦除和读取，而不会不利地影响阵列中的其他存储器单元的存储器状态，如下文进一步解释。第二，提供存储器单元的连续(模拟)编程。
具体地，阵列中的每个存储器单元的存储器状态(即，浮栅上的电荷)可在独立地并且对其他存储器单元的干扰最小的情况下连续地从完全擦除状态变为完全编程状态。在另一个实施方案，阵列中的每个存储器单元的存储器状态(即，浮栅上的电荷)可在独立地并且对其他存储器单元的干扰最小的情况下连续地从完全编程状态变为完全擦除状态，反之亦然。这意味着单元存储装置是模拟的，或者至少可存储许多离散值(诸如16或64个不同的值)中的一个离散值，这允许对存储器阵列中的所有单元进行非常精确且单独的调谐，并且这使得存储器阵列对于存储和对神经网络的突触权重进行微调调整是理想的。
本文所述的方法和装置可应用于其他非易失性存储器技术，诸如但不限于SONOS(硅-氧化物-氮化物-氧化物-硅，电荷捕获在氮化物中)、MONOS(金属-氧化物-氮化物-氧化物-硅，金属电荷捕获在氮化物中)、ReRAM(电阻式ram)、PCM(相变存储器)、MRAM(磁性ram)、FeRAM(铁电ram)、OTP(双层或多层式一次可编程)和CeRAM(关联电子ram)等。本文所述的方法和装置可应用于用于神经网络的易失性存储器技术，诸如但不限于SRAM、DRAM和/或易失性突触单元。
采用非易失性存储器单元阵列的神经网络
图8概念性地示出本实施方案的使用非易失性存储器阵列的神经网络的非限制性示例。该示例将非易失性存储器阵列神经网络用于面部识别应用，但任何其他适当的应用也可使用基于非易失性存储器阵列的神经网络来实现。
对于该示例，S0为输入层，其为具有5位精度的32×32像素RGB图像(即，三个32×32像素阵列，分别用于每个颜色R、G和B，每个像素为5位精度)。从输入层S0到层C1的突触CB1在一些情况下应用不同的权重集，在其他情况下应用共享权重，并且用3×3像素重叠滤波器(内核)扫描输入图像，将滤波器移位1个像素(或根据模型所指示的多于1个像素)。具体地，将图像的3×3部分中的9个像素的值(即，称为滤波器或内核)提供给突触CB1，其中将这9个输入值乘以适当的权重，并且在对该乘法的输出求和之后，由CB1的第一突触确定并提供单个输出值以用于生成特征映射的其中一层C1的像素。然后将3x3滤波器在输入层S0内向右移位一个像素(即，添加右侧的三个像素的列，并释放左侧的三个像素的列)，由此将该新定位的滤波器中的9个像素值提供给突触CB1，其中将它们乘以相同的权重并且由相关联的突触确定第二单个输出值。继续该过程，直到3×3滤波器在输入层S0的整个32×32像素图像上扫描所有三种颜色和所有位(精度值)。然后使用不同组的权重重复该过程以生成C1的不同特征映射，直到计算出层C1的所有特征映射。
在层C1处，在本示例中，存在16个特征映射，每个特征映射具有30×30像素。每个像素是从输入和内核的乘积中提取的新特征像素，因此每个特征映射是二维阵列，因此在该示例中，层C1由16层的二维阵列构成(记住本文所引用的层和阵列是逻辑关系，而不必是物理关系，即阵列不必定向于物理二维阵列)。在层C1中的16个特征映射中的每个特征映射均由应用于滤波器扫描的十六个不同组的突触权重中的一组生成。C1特征映射可全部涉及相同图像特征的不同方面，诸如边界识别。例如，第一映射(使用第一权重组生成，针对用于生成该第一映射的所有扫描而共享)可识别圆形边缘，第二映射(使用与第一权重组不同的第二权重组生成)可识别矩形边缘，或某些特征的纵横比，以此类推。
在从层C1转到层S1之前，应用激活函数P1(池化)，该激活函数将来自每个特征映射中连续的非重叠2×2区域的值进行池化。池化函数的目的是对邻近位置求均值(或者也可使用max函数)，以例如减少边缘位置的依赖性，并在进入下一阶段之前减小数据大小。在层S1处，存在16个15×15特征映射(即，十六个每个特征映射15×15像素的不同阵列)。从层S1到层C2的突触CB2利用4×4滤波器扫描S1中的映射，其中滤波器移位1个像素。在层C2处，存在22个12×12特征映射。在从层C2转到层S2之前，应用激活函数P2(池化)，该激活函数将来自每个特征映射中连续的非重叠2×2区域的值进行池化。在层S2处，存在22个6×6特征映射。将激活函数(池化)应用于从层S2到层C3的突触CB3，其中层C3中的每个神经元经由CB3的相应突触连接至层S2中的每个映射。在层C3处，存在64个神经元。从层C3到输出层S3的突触CB4完全将C3连接至S3，即层C3中的每个神经元都连接到层S3中的每个神经元。S3处的输出包括10个神经元，其中最高输出神经元确定类。例如，该输出可指示对原始图像的内容的识别或分类。
使用非易失性存储器单元的阵列或阵列的一部分来实现每层的突触。
图9为可用于该目的的阵列的框图。矢量-矩阵乘法(VMM)阵列32包括非易失性存储器单元，并且用作一层与下一层之间的突触(诸如图6中的CB1、CB2、CB3和CB4)。具体地，VMM阵列32包括非易失性存储器单元阵列33、擦除栅和字线栅解码器34、控制栅解码器35、位线解码器36和源极线解码器37，这些解码器对非易失性存储器单元阵列33的相应输入进行解码。对VMM阵列32的输入可来自擦除栅和字线栅解码器34或来自控制栅解码器35。在该示例中，源极线解码器37还对非易失性存储器单元阵列33的输出进行解码。另选地，位线解码器36可以解码非易失性存储器单元阵列33的输出。
非易失性存储器单元阵列33用于两个目的。首先，它存储将由VMM阵列32使用的权重。其次，非易失性存储器单元阵列33有效地将输入与存储在非易失性存储器单元阵列33中的权重相乘并且每个输出线(源极线或位线)将它们相加以产生输出，该输出将作为下一层的输入或最终层的输入。通过执行乘法和加法函数，非易失性存储器单元阵列33消除了对单独的乘法和加法逻辑电路的需要，并且由于其原位存储器计算其也是高功效的。
将非易失性存储器单元阵列33的输出提供至差分求和器(诸如求和运算放大器或求和电流镜)38，该差分求和器对非易失性存储器单元阵列33的输出进行求和，以为该卷积创建单个值。差分求和器38被布置用于执行正权重和负权重的求和。
然后将差分求和器38的输出值求和后提供至激活函数电路39，该激活函数电路对输出进行修正。激活函数电路39可提供sigmoid、tanh、ReLU函数或任何其他非线性函数。激活函数电路39的经修正的输出值成为作为下一层(例如，图8中的层C1)的特征映射的元素，然后被应用于下一个突触以产生下一个特征映射层或最终层。因此，在该示例中，非易失性存储器单元阵列33构成多个突触(其从现有神经元层或从输入层诸如图像数据库接收它们的输入)，并且求和器38和激活函数电路39构成多个神经元。
图9中对VMM阵列32的输入(WLx、EGx、CGx以及任选的BLx和SLx)可为模拟电平、二进制电平、数字脉冲(在这种情况下，可能需要脉冲-模拟转换器PAC来将脉冲转换至合适的输入模拟电平)或数字位(在这种情况下，提供DAC以将数字位转换至合适的输入模拟电平)；输出可为模拟电平、二进制电平、数字脉冲或数字位(在这种情况下，提供输出ADC以将输出模拟电平转换成数字位)。
图10为示出多层VMM阵列32(此处标记为VMM阵列32a、32b、32c、32d和32e)的使用的框图。如图10所示，通过数模转换器31将输入(表示为Inputx)从数字转换为模拟，并将其提供至输入VMM阵列32a。转换的模拟输入可以是电压或电流。第一层的输入D/A转换可通过使用将输入Inputx映射到输入VMM阵列32a的矩阵乘法器的适当模拟电平的函数或LUT(查找表)来完成。输入转换也可以由模拟至模拟(A/A)转换器完成，以将外部模拟输入转换成到输入VMM阵列32a的映射模拟输入。输入转换也可以由数字至数字脉冲(D/P)转换器完成，以将外部数字输入转换成到输入VMM阵列32a的映射的一个或多个数字脉冲。
由输入VMM阵列32a产生的输出被作为到下一个VMM阵列(隐藏级别1)32b的输入提供，该输入继而生成作为下一VMM阵列(隐藏级别2)32c的输入而提供的输出，以此类推。VMM阵列32的各层用作卷积神经网络(CNN)的突触和神经元的不同层。每个VMM阵列32a、32b、32c、32d和32e可以是独立的物理非易失性存储器阵列、或者多个VMM阵列可以利用相同非易失性存储器阵列的不同部分、或者多个VMM阵列可以利用相同物理非易失性存储器阵列的重叠部分。每个VMM阵列32a、32b、32c、32d和32e也可针对其阵列或神经元的不同部分进行时分复用。图10所示的示例包含五个层(32a、32b、32c、32d、32e)：一个输入层(32a)、两个隐藏层(32b、32c)和两个全连接层(32d、32e)。本领域的普通技术人员将会知道，这仅仅是示例性的，并且相反，系统可包括两个以上的隐藏层和两个以上的完全连接的层。
矢量-矩阵乘法(VMM)阵列
图11示出神经元VMM阵列1100，该神经元VMM阵列特别适用于图3所示的存储器单元310，并且用作输入层与下一层之间的神经元的突触和部件。VMM阵列1100包括非易失性存储器单元的存储器阵列1101和非易失性参考存储器单元的参考阵列1102(在阵列的顶部)。另选地，可将另一个参考阵列置于底部。
在VMM阵列1100中，控制栅线(诸如控制栅线1103)在竖直方向上延伸(因此参考阵列1102在行方向上与控制栅线1103正交)，并且擦除栅线(诸如擦除栅线1104)在水平方向上延伸。此处，VMM阵列1100的输入设置在控制栅线(CG0、CG1、CG2、CG3)上，并且VMM阵列1100的输出出现在源极线(SL0、SL1)上。在一个实施方案中，仅使用偶数行，并且在另一个实施方案中，仅使用奇数行。置于各源极线(分别为SL0、SL1)上的电流执行来自连接到该特定源极线的存储器单元的所有电流的求和函数。
如本文针对神经网络所述，VMM阵列1100的非易失性存储器单元(即VMM阵列1100的闪存存储器)优选地被配置成在亚阈值区域中操作。
在弱反转中偏置本文所述的非易失性参考存储器单元和非易失性存储器单元：
Ids＝Io*e(Vg-Vth)/kVt＝w*Io*e(Vg)/kVt,
其中w＝e(-Vth)/kVt
对于使用存储器单元(诸如参考存储器单元或外围存储器单元)或晶体管将输入电流转换为输入电压的I到V对数转换器：
Vg＝k*Vt*log[Ids/wp*Io]
此处，wp为参考存储器单元或外围存储器单元的w。
对于用作矢量矩阵乘法器VMM阵列的存储器阵列，输出电流为：
Iout＝wa*Io*e(Vg)/kVt，即
Iout＝(wa/wp)*Iin＝W*Iin
W＝e(Vthp-Vtha)/kVt
此处，wa＝存储器阵列中的每个存储器单元的w。
字线或控制栅可用作输入电压的存储器单元的输入。
另选地，本文所述的VMM阵列的闪存存储器单元可被配置成在线性区域中操作：
Ids＝β*(Vgs-Vth)*Vds；β＝u*Cox*W/L
W＝α(Vgs-Vth)
字线或控制栅或位线或源极线可以用作在线性区域中操作的存储器单元的输入。位线或源极线可用作存储器单元的输出。
对于I到V线性转换器，在线性区域工作的存储器单元(例如参考存储器单元或外围存储器单元)或晶体管或电阻器可以用来将输入/输出电流线性转换成输入/输出电压。
美国专利申请15/826,345描述了图9的VMM阵列32的其他实施方案，该申请以引用方式并入本文。如本文所述，源极线或位线可以用作神经元输出(电流求和输出)。另选地，本文所述的VMM阵列的闪存存储器单元可被配置成在饱和区域中操作：
Ids＝α1/2*β*(Vgs-Vth)2；β＝u*Cox*W/L
W＝α(Vgs-Vth)2
字线、控制栅或擦除栅可以用作在饱和区域中操作的存储器单元的输入。位线或源极线可用作输出神经元的输出。
另选地，本文所述的VMM阵列的闪存存储器单元可用于所有区域或其组合(亚阈值、线性或饱和区域)。
图12示出神经元VMM阵列1200，该神经元VMM阵列特别适用于图2所示的存储器单元210，并且用作输入层与下一层之间的突触。VMM阵列1200包括非易失性存储器单元的存储器阵列1203、第一非易失性参考存储器单元的参考阵列1201和第二非易失性参考存储器单元的参考阵列1202。沿阵列的列方向布置的参考阵列1201和1202用于将流入端子BLR0、BLR1、BLR2和BLR3的电流输入转换为电压输入WL0、WL1、WL2和WL3。实际上，第一非易失性参考存储器单元和第二非易失性参考存储器单元通过多路复用器1214(仅部分示出)二极管式连接，其中电流输入流入其中。参考单元被调谐(例如，编程)为目标参考电平。目标参考电平由参考微阵列矩阵(未示出)提供。
存储器阵列1203用于两个目的。首先，它将VMM阵列1200将使用的权重存储在其相应的存储器单元上。第二，存储器阵列1203有效地将输入(即，在端子BLR0、BLR1、BLR2和BLR3中提供的电流输入，参考阵列1201和1202将它们转换成输入电压以提供给字线WL0、WL1、WL2和WL3)乘以存储在存储器阵列1203中的权重，然后将所有结果(存储器单元电流)相加以在相应的位线(BL0-BLN)上产生输出，该输出将是下一层的输入或最终层的输入。通过执行乘法和加法函数，存储器阵列1203消除了对单独的乘法和加法逻辑电路的需要，并且也是高功效的。这里，电压输入在字线(WL0、WL1、WL2和WL3)上提供，并且输出在读取(推断)操作期间出现在相应位线(BL0-BLN)上。置于位线BL0-BLN中的每个位线上的电流执行来自连接到该特定位线的所有非易失性存储器单元的电流的求和函数。
表5示出用于VMM阵列1200的工作电压。表中的列指示置于用于所选单元的字线、用于未选单元的字线、用于所选单元的位线、用于未选单元的位线、用于所选单元的源极线和用于未选单元的源极线上的电压。行指示读取、擦除和编程操作。
表5：图12的VMM阵列1200的操作
WL WL-未选 BL BL-未选 SL SL-未选
读取 1-3.5V -0.5V/0V 0.6-2V(Ineuron) 0.6V-2V/0V 0V 0V
擦除 约5-13V 0V 0V 0V 0V 0V
编程 1-2V -0.5V/0V 0.1-3uA Vinh约2.5V 4-10V 0-1V/FLT
图13示出神经元VMM阵列1300，该神经元VMM阵列特别适用于图2所示的存储器单元210，并且用作输入层与下一层之间的神经元的突触和部件。VMM阵列1300包括非易失性存储器单元的存储器阵列1303、第一非易失性参考存储器单元的参考阵列1301和第二非易失性参考存储器单元的参考阵列1302。参考阵列1301和1302在VMM阵列1300的行方向上延伸。VMM阵列与VMM1000类似，不同的是在VMM阵列1300中，字线在竖直方向上延伸。这里，输入设置在字线(WLA0、WLB0、WLA1、WLB2、WLA2、WLB2、WLA3、WLB3)上，并且输出在读取操作期间出现在源极线(SL0、SL1)上。置于各源极线上的电流执行来自连接到该特定源极线的存储器单元的所有电流的求和函数。
表6示出用于VMM阵列1300的工作电压。表中的列指示置于用于所选单元的字线、用于未选单元的字线、用于所选单元的位线、用于未选单元的位线、用于所选单元的源极线和用于未选单元的源极线上的电压。行指示读取、擦除和编程操作。
表6：图13的VMM阵列1300的操作
WL WL-未选 BL BL-未选 SL SL-未选
读取 1-3.5V -0.5V/0V 0.6-2V 0.6V-2V/0V 约0.3-1V(Ineuron) 0V
擦除 约5-13V 0V 0V 0V 0V SL-禁止(约4-8V)
编程 1-2V -0.5V/0V 0.1-3uA Vinh约2.5V 4-10V 0-1V/FLT
图14示出神经元VMM阵列1400，该神经元VMM阵列特别适用于图3所示的存储器单元310，并且用作输入层与下一层之间的神经元的突触和部件。VMM阵列1400包括非易失性存储器单元的存储器阵列1403、第一非易失性参考存储器单元的参考阵列1401和第二非易失性参考存储器单元的参考阵列1402。参考阵列1401和1402用于将流入端子BLR0、BLR1、BLR2和BLR3的电流输入转换为电压输入CG0、CG1、CG2和CG3。实际上，第一非易失性参考存储器单元和第二非易失性参考存储器单元通过多路复用器1412(仅部分示出)二极管式连接，其中电流输入通过BLR0、BLR1、BLR2和BLR3流入其中。多路复用器1412各自包括相应的多路复用器1405和共源共栅晶体管1404，以确保在读取操作期间第一非易失性参考存储器单元和第二非易失性参考存储器单元中的每一者的位线(诸如BLR0)上的恒定电压。将参考单元调谐至目标参考电平。
存储器阵列1403用于两个目的。首先，它存储将由VMM阵列1400使用的权重。第二，存储器阵列1403有效地将输入(提供到端子BLR0、BLR1、BLR2和BLR3的电流输入，参考阵列1401和1402将这些电流输入转换成输入电压以提供给控制栅CG0、CG1、CG2和CG3)乘以存储在存储器阵列中的权重，然后将所有结果(单元电流)相加以产生输出，该输出出现在BL0-BLN并且将是下一层的输入或最终层的输入。通过执行乘法和加法函数，存储器阵列消除了对单独的乘法和加法逻辑电路的需要，并且也是高功效的。这里，输入提供在控制栅线(CG0、CG1、CG2和CG3)上，输出在读取操作期间出现在位线(BL0–BLN)上。置于各位线上的电流执行来自连接到该特定位线的存储器单元的所有电流的求和函数。
VMM阵列1400为存储器阵列1403中的非易失性存储器单元实现单向调谐。也就是说，每个非易失性存储器单元被擦除，然后被部分编程，直到达到浮栅上的所需电荷。这可例如使用下文所述的精确编程技术来执行。如果在浮栅上放置过多电荷(使得错误的值存储在单元中)，则必须擦除单元，并且部分编程操作的序列必须重新开始。如图所示，共享同一擦除栅(诸如EG0或EG1)的两行需要一起擦除(其被称为页面擦除)，并且此后，每个单元被部分编程，直到达到浮栅上的所需电荷。
表7示出用于VMM阵列1400的工作电压。表中的列指示置于用于所选单元的字线、用于未选单元的字线、用于所选单元的位线、用于未选单元的位线、用于所选单元的控制栅、用于与所选单元相同扇区中的未选单元的控制栅、用于与所选单元不同扇区中的未选单元的控制栅、用于所选单元的擦除栅、用于未选单元的擦除栅、用于所选单元的源极线、用于未选单元的源极线上的电压。行指示读取、擦除和编程操作。
表7：图14的VMM阵列1400的操作
Figure BDA0003182561360000181
图15示出神经元VMM阵列1500，该神经元VMM阵列特别适用于图3所示的存储器单元310，并且用作输入层与下一层之间的神经元的突触和部件。VMM阵列1500包括非易失性存储器单元的存储器阵列1503、第一非易失性参考存储器单元的参考阵列1501和第二非易失性参考存储器单元的参考阵列1502。EG线EGR0、EG0、EG1和EGR1竖直延伸，而CG线CG0、CG1、CG2和CG3以及SL线WL0、WL1、WL2和WL3水平延伸。VMM阵列1500与VMM阵列1400类似，不同的是VMM阵列1500实现双向调谐，其中每个单独的单元可以根据需要被完全擦除、部分编程和部分擦除，以由于使用单独的EG线而在浮栅上达到期望的电荷量。如图所示，参考阵列1501和1502将端子BLR0、BLR1、BLR2和BLR3中的输入电流转换成要在行方向上施加到存储器单元的控制栅电压CG0、CG1、CG2和CG3(通过经由多路复用器1514的二极管连接的参考单元的动作)。电流输出(神经元)在位线BL0-BLN中，其中每个位线对来自连接到该特定位线的非易失性存储器单元的所有电流求和。
表8示出用于VMM阵列1500的工作电压。表中的列指示置于用于所选单元的字线、用于未选单元的字线、用于所选单元的位线、用于未选单元的位线、用于所选单元的控制栅、用于与所选单元相同扇区中的未选单元的控制栅、用于与所选单元不同扇区中的未选单元的控制栅、用于所选单元的擦除栅、用于未选单元的擦除栅、用于所选单元的源极线、用于未选单元的源极线上的电压。行指示读取、擦除和编程操作。
表8：图15的VMM阵列1500的操作
Figure BDA0003182561360000191
图24示出神经元VMM阵列2400，该神经元VMM阵列特别适用于图2所示的存储器单元210，并且用作输入层与下一层之间的神经元的突触和部件。在VMM阵列2400中，输入INPUT0.…,INPUTN分别在位线BL0,…BLN上被接收，并且输出OUTPUT1、OUTPUT2、OUTPUT3和OUTPUT4分别在源极线SL0、SL1、SL2和SL3上生成。
图25示出神经元VMM阵列2500，该神经元VMM阵列特别适用于图2所示的存储器单元210，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0、INPUT1、INPUT2和INPUT3分别在源极线SL0、SL1、SL2和SL3上被接收，并且输出OUTPUT0,…OUTPUTN在位线BL0,…,BLN上生成。
图26示出神经元VMM阵列2600，该神经元VMM阵列特别适用于图2所示的存储器单元210，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0,…,INPUTM分别在字线WL0,…,WLM上被接收，并且输出OUTPUT0,…OUTPUTN在位线BL0,…,BLN上生成。
图27示出神经元VMM阵列2700，该神经元VMM阵列特别适用于图3所示的存储器单元310，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0,…,INPUTM分别在字线WL0,…,WLM上被接收，并且输出OUTPUT0,…OUTPUTN在位线BL0,…,BLN上生成。
图28示出神经元VMM阵列2800，该神经元VMM阵列特别适用于图4所示的存储器单元410，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0,…,INPUTn分别在控制栅线CG0,…,CGN上被接收，并且输出OUTPUT1和OUTPUT2在源极线SL0和SL1上生成。
图29示出神经元VMM阵列2900，该神经元VMM阵列特别适用于图4所示的存储器单元410，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0至INPUTN分别在位线控制栅极2901-1、2901-2至2901-(N-1)和2901-N的栅极上被接收，这些栅极分别耦接到位线BL0至BLN。示例性输出OUTPUT1和OUTPUT2在源极线SL0和SL1上生成。
图30示出了神经元VMM阵列3000，该神经元VMM阵列特别适用于图3所示的存储器单元310、图5所示的存储单元510和图7所示的存储单元710，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0,…,INPUTM在字线WL0,…,WLM上被接收，并且输出OUTPUT0,…,OUTPUTN分别在位线BL0,…,BLN上生成。
图31示出神经元VMM阵列3100，该神经元VMM阵列特别适用于图3所示的存储器单元310、图5所示的存储器单元510和图7所示的存储器单元710，并且用作输入层与下一层之间的神经元的突触和部件。在该示例中，输入INPUT0至INPUTM在控制栅线CG0至CGM上被接收。输出OUTPUT0至OUTPUTN分别在源极线SL0至SLN上生成，其中每个源极线SLi耦接到列i中的所有存储器单元的源极线端子。
图32示出VMM系统3200。VMM系统3200包括VMM阵列3201(其可基于先前讨论的VMM设计中的任一种，诸如VMM 900、1000、1100、1200和1320，或其他VMM设计)、低电压行解码器3202、高电压行解码器3203、参考单元低电压列解码器3204(在列方向上示出，这意味着其在行方向上提供输入到输出的转换)、位线多路复用器3205、控制逻辑3206、模拟电路3207、神经元输出块3208、输入VMM电路块3209、预解码器3210、测试电路3211、擦除-编程控制逻辑EPCTL 3212、模拟和高电压生成电路3213、位线PE驱动器3214、冗余阵列3215和3216、NVR扇区3217以及参考扇区3218。输入电路块3209用作从外部输入到存储器阵列的输入端子的接口。神经元输出块3208用作从存储器阵列输出到外部接口的接口。
低电压行解码器3202为读取操作和编程操作提供偏置电压，并且为高电压行解码器3203提供解码信号。高电压行解码器3203为编程操作和擦除操作提供高电压偏置信号。任选的参考单元低电压列解码器3204为参考单元提供解码功能。位线PE驱动器3214为处于编程、验证和擦除操作期间的位线提供控制功能。模拟和高电压生成电路3213是提供各种编程、擦除、编程验证和读取操作所需的多个电压的共享偏置块。任选的冗余阵列3215和3216提供用于替换缺陷阵列部分的阵列冗余。任选的NVR(非易失性寄存器，也称为信息扇区)扇区3217是作为用于存储不限于用户信息、设备ID、密码、安全密钥、修正位、配置位和制造信息的阵列扇区的扇区。
图33示出了模拟神经存储器系统3300。模拟神经存储器系统3300包括宏块3301a、3301b、3301c、3301d、3301e、3301f、3301g和3301h；神经元输出块(诸如求和器电路以及采样和保持S/H电路)3302a、3302b、3302c、3302d、3302e、3302f、3302g和3302h；以及输入电路块3303a、3303b、3303c、3303d、3303e、3303f、3303g和3304h。宏块3301a、3301b、3301c、3301d、3301e和3301f中的每个宏块都是包含VMM阵列的VMM子系统。神经存储器子系统3333包括宏块3301、输入块3303和神经元输出块3302。神经存储器子系统3333可具有其自己的数字控制块。
模拟神经存储器系统3300还包括系统控制块3304、模拟低电压块3305和高电压块3306。
系统控制块3304可包括微控制器内核(诸如ARM/MIPS/RISC_V内核)以处理通用控制功能和算术操作。系统控制块3304还可包括SIMD(单条指令多条数据)单元以利用单条指令对多个数据进行操作。该系统控制块可包括DSP内核。该系统控制块可包括用于执行函数诸如但不限于池化、平均、最小、最大、softmax、加、减、乘、除、对数、反对数、ReLu、sigmoid、tanh、数据压缩的硬件或软件。该系统控制块可包括执行诸如激活逼近器/量化器/归一化器功能的硬件或软件。该系统控制块可包括执行诸如输入数据逼近器/量化器/归一化器功能的能力。该系统控制块可包括执行激活逼近器/量化器/归一化器功能的硬件或软件。神经存储器子系统3333的控制块可包括系统控制块3304的类似元件，诸如微控制器内核、SIMD内核、DSP内核和其他功能单元。
在一个实施方案中，神经元输出块3302a、3302b、3302c、3302d、3302e、3302f、3302g和3302h各自包括缓冲(例如，运算放大器)低阻抗输出型电路，该电路可驱动长且可配置的互连器。在一个实施方案中，输入电路块3303a、3303b、3303c、3303d、3303e、3303f、3303g和3303h各自提供求和高阻抗电流输出。在另一个实施方案中，神经元输出块3302a、3302b、3302c、3302d、3302e、3302f、3302g和3302h各自包括激活电路，在这种情况下，需要附加的低阻抗缓冲器来驱动输出。
在另一个实施方案中，神经元输出块3302a、3302b、3302c、3302d、3302e、3302f、3302g和3302h各自包括输出数字位而非模拟信号的模拟-数字转换块。在该实施方案中，输入电路块3303a、3303b、3303c、3303d、3303e、3303f、3303g和3303h各自包括从相应的神经元输出块接收数字位并将该数字位转换为模拟信号的数字-模拟转换块。
因此，神经元输出块3302a、3302b、3302c、3302d、3302e、3302f、3302g和3302h从宏块3301a、3301b、3301c、3301d、3301e和3301f接收输出电流，并且任选地将该输出电流转换成模拟电压、数字位或一个或多个数字脉冲，其中每个脉冲的宽度或脉冲数量响应于输出电流的值而变化。类似地，输入电路块3303a、3303b、3303c、3303d、3303e、3303f、3303g和3303h任选地接收模拟电流、模拟电压、数字位或数字脉冲，其中每个脉冲的宽度或脉冲数量响应于输出电流的值而变化，并且向宏块3301a、3301b、3301c、3301d、3301e和3301f提供模拟电流。输入电路块3303a、3303b、3303c、3303d、3303e、3303f、3303g和3303h任选地包括电压-电流转换器、用于对输入信号中的数字脉冲数或输入信号中的数字脉冲的宽度进行计数的模拟或数字计数器、或数模转换器。
长短期存储器
现有技术包括被称为长短期存储器(LSTM)的概念。LSTM单元通常用于神经网络中。LSTM允许神经网络在预定的任意时间间隔内记住信息并在后续操作中使用该信息。常规的LSTM单元包括单元、输入栅、输出栅和忘记栅。三个栅调控进出单元的信息流以及信息在LSTM中被记住的时间间隔。VMM尤其可用于LSTM单元中。
图16示出了示例性LSTM 1600。该示例中的LSTM 1600包括单元1601、1602、1603和1604。单元1601接收输入矢量x0并生成输出矢量h0和单元状态矢量c0。单元1602接收输入矢量x1、来自单元1601的输出矢量(隐藏状态)h0和来自单元1601的单元状态c0，并生成输出矢量h1和单元状态矢量c1。单元1603接收输入矢量x2、来自单元1602的输出矢量(隐藏状态)h1和来自单元1602的单元状态c1，并生成输出矢量h2和单元状态矢量c2。单元1604接收输入矢量x3、来自单元1603的输出矢量(隐藏状态)h2和来自单元1603的单元状态c2，并生成输出矢量h3。可使用另外的单元，并且具有四个单元的LSTM仅为示例。
图17示出可用于图16中的单元1601、1602、1603和1604的LSTM单元1700的示例性具体实施。LSTM单元1700接收输入矢量x(t)、来自前一单元的单元状态矢量c(t-1)和来自前一单元的输出矢量h(t-1)，并生成单元状态矢量c(t)和输出矢量h(t)。
LSTM单元1700包括sigmoid函数设备1701、1702和1703，每个sigmoid函数设备应用0至1之间的数字来控制允许输入向量中的每个分量通过到输出向量的数量。LSTM单元1700还包括用于将双曲线正切函数应用于输入向量的tanh设备1704和1705、用于将两个向量相乘在一起的乘法器设备1706、1707和1708以及用于将两个向量相加在一起的加法设备1709。输出矢量h(t)可被提供给系统中的下一个LSTM单元，或者其可被访问用于其他目的。
图18示出LSTM单元1800，该LSTM单元为LSTM单元1700的具体实施的示例。为了方便读者，在LSTM单元1800中使用与LSTM单元1700相同的编号。sigmoid函数设备1701、1702和1703以及tanh设备1704各自包括多个VMM阵列1801和激活电路块1802。因此，可以看出，VMM阵列在某些神经网络系统中使用的LSTM单元中特别有用。乘法器设备1706、1707和1708以及加法设备1709以数字方式或模拟方式实施。激活函数块1802可以数字方式或模拟方式实施。
LSTM单元1800的替代形式(以及LSTM单元1700的具体实施的另一示例)在图19中示出。在图19中，sigmoid函数设备1701、1702和1703以及tanh设备1704以时分复用方式共享相同的物理硬件(VMM阵列1901和激活函数块1902)。LSTM单元1900还包括将两个矢量相乘在一起的乘法器设备1903，将两个矢量相加在一起的加法设备1908，tanh设备1705(其包括激活电路块1902)，当从sigmoid函数块1902输出值i(t)时存储值i(t)的寄存器1907，当值f(t)*c(t-1)通过多路复用器1910从乘法器设备1903输出时存储该值的寄存器1904，当值i(t)*u(t)通过多路复用器1910从乘法器设备1903输出时存储该值的寄存器1905，当值o(t)*c～(t)通过多路复用器1910从乘法器设备1903输出时存储该值的寄存器1906，和多路复用器1909。
LSTM单元1800包含多组VMM阵列1801和相应的激活函数块1802，而LSTM单元1900仅包含一组VMM阵列1901和激活函数块1902，它们用于表示LSTM单元1900的实施方案中的多个层。LSTM单元1900将需要比LSTM1800更少的空间，因为与LSTM单元1800相比，LSTM单元1900只需要其1/4的空间用于VMM和激活函数块。
还可理解，LSTM单元通常将包括多个VMM阵列，每个VMM阵列需要由VMM阵列之外的某些电路区块(诸如求和器和激活电路区块以及高电压生成区块)提供的功能。为每个VMM阵列提供单独的电路区块将需要半导体设备内的大量空间，并且将在一定程度上是低效的。
栅控递归单元
模拟VMM具体实施可用于栅控递归单元(GRU)系统。GRU是递归神经网络中的栅控机构。GRU类似于LSTM，不同的是GRU单元一般包含比LSTM单元更少的部件。
图20示出了示例性GRU 2000。该示例中的GRU 2000包括单元2001、2002、2003和2004。单元2001接收输入矢量x0并生成输出矢量h0。单元2002接收输入矢量x1、来自单元2001的输出矢量h0并生成输出矢量h1。单元2003接收输入矢量x2和来自单元2002的输出矢量(隐藏状态)h1，并生成输出矢量h2。单元2004接收输入矢量x3和来自单元2003的输出矢量(隐藏状态)h2，并生成输出矢量h3。可以使用另外的单元，并且具有四个单元的GRU仅仅是示例。
图21示出可用于图20的单元2001、2002、2003和2004的GRU单元2100的示例性具体实施。GRU单元2100接收输入矢量x(t)和来自前一个GRU单元的输出矢量h(t-1)，并生成输出矢量h(t)。GRU单元2100包括sigmoid函数设备2101和2102，每个设备将介于0和1之间的数应用于来自输出矢量h(t-1)和输入矢量x(t)的分量。GRU单元2100还包括用于将双曲线正切函数应用于输入矢量的tanh设备2103、用于将两个矢量相乘在一起的多个乘法器设备2104、2105和2106、用于将两个矢量相加在一起的加法设备2107，以及用于从1中减去输入以生成输出的互补设备2108。
图22示出GRU单元2200，该GRU单元为GRU单元2100的具体实施的示例。为了方便读者，GRU单元2200中使用与GRU单元2100相同的编号。如图22所示，sigmoid函数设备2101和2102以及tanh设备2103各自包括多个VMM阵列2201和激活函数块2202。因此，可以看出，VMM阵列在某些神经网络系统中使用的GRU单元中特别有用。乘法器设备2104、2105和2106、加法设备2107和互补设备2108以数字方式或模拟方式实施。激活函数块2202可以数字方式或模拟方式实施。
GRU单元2200的替代形式(以及GRU单元2300的具体实施的另一示例)在图23中示出。在图23中，GRU单元2300利用VMM阵列2301和激活函数块2302，当该激活函数块在被配置成sigmoid函数时，应用0至1之间的数字来控制允许输入矢量中的每个分量到达输出矢量的数量。在图23中，sigmoid函数设备2101和2102以及tanh设备2103以时分复用方式共享相同的物理硬件(VMM阵列2301和激活函数块2302)。GRU单元2300还包括将两个矢量相乘在一起的乘法器设备2303，将两个矢量相加在一起的加法设备2305，从1减去输入以生成输出的互补设备2309，多路复用器2304，当值h(t-1)*r(t)通过多路复用器2304从乘法器设备2303输出时保持该值的寄存器2306，当值h(t-1)*z(t)通过多路复用器2304从乘法器设备2303输出时保持该值的寄存器2307，和当值h^(t)*(1-z(t))通过多路复用器2304从乘法器设备2303输出时保持该值的寄存器2308。
GRU单元2200包含多组VMM阵列2201和激活函数块2202，而GRU单元2300仅包含一组VMM阵列2301和激活函数块2302，它们用于表示GRU单元2300的实施方案中的多个层。GRU单元2300将需要比GRU单元2200更少的空间，因为与GRU单元2200相比，GRU单元2300只需要其1/3的空间用于VMM和激活函数块。
还可以理解的是，GRU系统通常将包括多个VMM阵列，每个VMM阵列需要由VMM阵列之外的某些电路区块(诸如求和器和激活电路区块以及高电压生成区块)提供的功能。为每个VMM阵列提供单独的电路区块将需要半导体设备内的大量空间，并且将在一定程度上是低效的。
VMM阵列的输入可为模拟电平、二进制电平或数字位(在这种情况下，需要DAC来将数字位转换成适当的输入模拟电平)，并且输出可为模拟电平、二进制电平或数字位(在这种情况下，需要输出ADC来将输出模拟电平转换成数字位)。
对于VMM阵列中的每个存储器单元，每个权重w可由单个存储器单元或由差分单元或由两个混合存储器单元(2个单元的平均值)来实现。在差分单元的情况下，需要两个存储器单元来实现权重w作为差分权重(w＝w+–w-)。在两个混合存储器单元中，需要两个存储器单元来实现权重w作为两个单元的平均值。
高电压生成电路和其他电路
图34示出VMM系统3400的框图。VMM系统3400包括VMM阵列3408、行解码器3407、高电压解码器3409、列解码器3410和位线驱动器3411。VMM系统3400还包括高电压生成块3412，该高电压生成块包括电荷泵3401、电荷泵调节器3402和高电压电平发生器3403。VMM系统3400还包括算法控制器3404、模拟电路3405和控制逻辑3406。
图35提供了关于电荷泵3401和电荷泵调节器3402的进一步细节。电荷泵3401由启用信号3501控制。当启用信号3501未生效时，电荷泵3401继续增加其输出的电压。当启用信号3501生效时，电荷泵3401保持其输出的电压电平。电荷泵调节器3402包括分压器结构，该分压器结构包括二极管3504、3506和3508以及电阻器3505、3507和3509的串联连接，每个电阻器耦接到二极管3504、3506和3508中的相应一个二极管的阴极。该结构内的分压电压节点被输入到比较器3503，该比较器接收包括电压参考的另一输入。当从电荷泵3401输出的电压足以激活二极管3504、3506和3508使得电流将流动，并且来自分压电压节点的电压超过电压参考时，启用信号将生效。因此，电荷泵调节器3402控制电荷泵3401，直到实现期望的电压电平，这是基于二极管3504、3506和3508以及电阻器3505、3507和3509的特性。作为分压器结构的示例，示出了三个二极管和三个电阻器，通常需要多于三个二极管和三个电阻器。另选地，可实现电容器而不是二极管和电阻器以产生期望的电压比，从而向比较器3503提供输入。另选地，可将适当的比电容器与二极管和电阻器并联连接，以加速分压器结构的响应。
图36示出VMM系统3600，该VMM系统为VMM系统3400的一个实施方案。VMM系统3600包括高电压缓冲器3601和可调电流吸收器3602。高电压生成块3412生成提供到高电压缓冲器3601的电压，该高电压缓冲器继而将该电压提供到高电压解码器3409和可调电流吸收器(编程补偿电流Icomp)3602。可调整由可调电流吸收器3602从高电压缓冲器3601汲取的电流Icomp，以例如引起高电压缓冲器3601内的补偿电压降，从而补偿待编程的存储器单元的数量(例如，用于待编程的1个/2个/…/32个IO的dVout1/2/…/32压降)并且降低高电压缓冲器3601的温度。例如，Icomp＝(待编程的存储器单元的数量)*Iprog*M，其中Iprog＝单元编程电流，并且M＝由于编程操作期间的存储器单元热载流子效应而引起的乘数因子。应用补偿Icomp以在变化的输出负载上保持恒定的高电压输出。
图37示出与高电压缓冲器3701和可调电流吸收器3702一起使用的VMM系统3700的一个实施方案。高电压发生器3412生成提供到高电压缓冲器3701的电压，该高电压缓冲器继而将该电压提供到高电压解码器3409。可调整由可调电流吸收器从高电压解码器3409汲取的电流(补偿电流)Icomp 3702，以例如降低高电压解码器3409内的电流降(作为待编程的存储器单元的数量的函数)，和/或降低高电压解码器3409的温度。例如，Icomp＝(待编程的存储器单元的数量)*Iprog*M。Iprog＝单元编程电流，M＝由于编程操作期间的存储器单元热载流子效应而引起的乘数因子。应用补偿Icomp以在变化的输出负载上保持恒定的高电压输出。
图38示出与高电压缓冲器3801一起使用的VMM系统3800，该高电压缓冲器此处为运算放大器。高电压发生器3412生成提供到高电压缓冲器3801的电压，该高电压缓冲器继而将该电压提供到高电压解码器3409。来自高电压解码器3409的输出(例如，该输出是解码器中的HV电压的反馈指示器)作为输入提供到高电压缓冲器3801，该高电压缓冲器然后作为闭环运算放大器操作。应用闭环补偿以在变化的输出负载上保持恒定的高电压输出。
图39示出要与VMM系统2400、2600、2700或2800结合使用的编程电流补偿块3900，例如，作为每个VMM系统中的VMM阵列的补充。这里，虚拟编程位线(可编程虚拟阵列)设置有每组32个位线。例如，组3901包括虚拟位线3903，并且组3902包括虚拟位线3904。在组3901和3902中的一个或多个其他位分别未被编程的情况下，这些虚拟位线3903和3904可被导通(以提供位线编程电流)。相较于不使用虚拟位线3903和3904的情况，这将使编程操作期间汲取的电流保持更为恒定。应用编程虚拟阵列补偿方案以在变化的输出负载上保持恒定的高电压输出。
图40示出可用于实现高电压解码器3409的高电压解码器块4000的示例。此处，源极线4005耦接到VMM阵列3408中的一行或两行。NMOS晶体管4001、4002、4003和4004耦接到源极线4005，如图所示。HV电源4010由HV缓冲器(诸如HV缓冲器3601、3701或3801)提供，并且HV comp信号4011诸如在图38中所示。
图41示出测试电路4100。测试电路4100包括高电压发射器4101，该高电压发射器接收启用信号EN。高电压发射器向NMOS晶体管4102和NMOS共源共栅晶体管4103提供高电压启用信号。NMOS晶体管4102的一个端子连接到外部测试焊盘，并且NMOS晶体管4103的一个端子耦接到VMM系统3400内的内部节点。该电路可例如在电压校准过程期间使用。
图42示出高电压生成块3412的实施方案，该高电压生成块此处包括高电压生成电路4200、控制逻辑块4201、模拟电路块4202和测试块4203。高电压生成电路4200包括电荷泵和调节器4204、高电压增量器4205和高电压运算放大器4206。可基于发送至高电压增量器4205中的晶体管的微调信号来控制高电压增量器4205的输出的电压，如将在下文中进一步说明。控制逻辑块4201接收控制逻辑输入并且生成控制逻辑输出。模拟电路块4202包括电流偏置发生器4207，该电流偏置发生器用于接收参考电压Vref，并且生成可用于施加在其他地方使用的偏置信号iBias的电流。模拟电路块4202还包括电压发生器4208，该电压发生器用于接收一组微调位TRBIT_WL，并且在各种操作期间生成施加到字线的电压。测试块4203在测试焊盘MONHV_PAD上接收信号，并且输出各种信号以供在测试期间监视。
图43示出高电压生成块3412的另一实施方案。此处，高电压生成块包括电荷泵和调节器4301、高电压(HV)增量器4303和高电压运算放大器4302。可基于发送至高电压增量器4303中的晶体管的栅极的信号来控制高电压增量器4303的输出的电压。HV增量器4303包括电阻器串4315i，该电阻器串从地串联连接到电荷泵4301的输出。开关4310a,4310b,,,,4310z的网络用于以增量方式多路复用输出沿着串的电压电平。晶体管的栅极由高电压电平位移器(HVLS)4320启用/禁用，该HVLS继而由数字控制输入启用/禁用。HVLS 4320用于将数字电压电平(例如，1V)转换为高电压电平(例如，12V)。例如，电阻器串4315i将提供从3V到10V的电压电平，其中电压增量为10mV(跨一个电阻器的电压)。因此，电阻器串的输出VHVROUT将具有从3V到10V的值，其中增量为10mV。HV运算放大器4302用于缓冲该VHVROUT增量电压。由于在最高电压(例如，10V)下需要HV电压，PMOS开关处于或接近该值时会出现与接近击穿(BV)条件相关联的泄漏。这会影响小增量电压(例如，10mV)的准确性。因此，需要改进以克服这种BV泄漏。首先，根据PMOS开关的位置分接HVLS电路的电源。例如，对于4V-6V串位置处的PMOS开关，HVLS的高电源为6V(而不是更典型的12V电源)。此外，低电源可为4V(而不是更典型的接地值)。这将降低在该电阻器串位置处跨PMOS开关的电压应力。对于连接到VHVROUT的PMOS开关，需要具有自适应HV偏置的两个串联的PMOS开关来禁用相应的多路复用路径以避免BV应力，例如示出了PMOS 4310e/4310f和4310y/4310z。PMOS 4310f和4310z用于多路复用路径禁用。例如，PMOS 4310f和4310z的栅极处于高电压(例如，10V)以禁用10V多路复用路径。在关断条件下，PMOS 4310e的栅极优选地处于约6V，以用于共源共栅以减少BV泄漏，并且PMOS4310f的栅极处于10V。在导通状态下，PMOS 4310f的栅极可处于约6V并且PMOS 4310f的栅极可处于<6V，以从相应串到VHVROUT传递8V-10V(作为示例)多路复用路径。在关断条件下，PMOS 4310y的栅极处于约6V以用于共源共栅以减少BV泄漏，并且PMOS 4310z的栅极处于10V。在导通条件下，PMOS 4310y的栅极可处于0V并且PMOS 4310z的栅极可处于0V，以从串到VHVROUT传递3V-5V(作为示例)多路复用路径。
图44示出高电压生成块3412的另一实施方案。高电压生成块3412包括高电压运算放大器4403、SC(开关电容)网络4402和SC网络4401。SC网络4402包括可调电容器4404。SC网络4401包括开关4405、4407、4408和4409以及可调电容器4406。将需要在HV电平(例如，10V-13V)下操作的高电压电平位移器(HVLS)电路来调整SC网络4402的电容器4404。SC网络4401需要IO电压(例如，1.8V、2.5V)或内核电压(例如，1.2V)开关电路。
图45示出高电压运算放大器4500，该高电压运算放大器可用于图44中的高电压运算放大器4403。高电压运算放大器4500包括所示布置中示出的部件。HV共源共栅偏置节点VCASP、VCASN1和VCASN2以自适应方式实现，使得电压值取决于输出电压VOUT以使跨晶体管的最大应力电压降最小化。例如，当节点电压VOUT为高时，VCASN2为高并且VCASN1为低。
图46示出高电压运算放大器4600，该高电压运算放大器可用于图44中的高电压运算放大器4403。高电压运算放大器4600包括所示布置中示出的部件。HV共源共栅偏置节点VCASN2A和VCASN2B被实现为使得电压值取决于输出电压VOUT以跨晶体管的最大电压降最小化。例如，当节点电压VOUT为高时，VCASN1B和VCAS2B为高。
图47示出自适应高电压源4700，该自适应高电压源可用于为图44中的高电压运算放大器4403提供自适应高电压共源共栅偏置。自适应高电压源4700包括所示布置中示出的部件。
图48示出列驱动器4800，该列驱动器可用于位线驱动器3411中的每个位线驱动器。在所示配置中，列驱动器4800包括锁存器4801、反相器4802、或非门4803、PMOS晶体管4804、NMOS晶体管4805和4806以及读出放大器4807。如图所示，VCASA电平在较高电平下跟踪VIN，即＝～VIN+2*VT_PMOS。VCASB电平在较低电平下跟踪VIN，即＝～VIN-V*VT_NMOS。对于不同的MOS晶体管和不同的I*R电压降(诸如将电阻R插入电流路径中)，其他值是可能的。
图49示出读出放大器4900，该读出放大器可用于图48中的读出放大器4807。在所示配置中，读出放大器4900包括可调电流参考源4901、开关4902、NMOS晶体管4903、电容器4904、开关4905、电流源4906和反相器4907。读出放大器4907耦接到VMM阵列3408中的存储器单元4908。
图50示出参考阵列电路5000，该参考阵列电路包括位线参考解码器5001和参考单元50010至5002N。
图51示出参考阵列电路5100，该参考阵列电路包括位线参考解码器5101和参考单元51020至5100N。
精密编程电路和算法
图52示出用于为HV运算放大器4403提供电压的自适应高电压源5200，该自适应高电压源包括运算放大器5201、电阻器5203和可变电阻器5202(其可为低电压域可变电阻器)。自适应高电压源5200接收输入VIN并生成高电压信号HVOUT，其中可通过由电阻微调电路网络(未示出)调整可变电阻器5202的电阻来调整增益。在一个实施方案中，电阻器5203处于低电压域(例如，1V或1.8V)中并且使用低电压设备和运算放大器5201，并且具有微调电路网络的可变电阻器5202处于高电压域(例如，12V)中并且使用高电压设备。然后，可使用HVOUT对非易失性存储器单元进行编程。
图53示出用于为HV运算放大器3403提供电压的自适应高电压源5300，该自适应高电压源包括运算放大器5301、可变电阻器5303和电阻器5302。自适应高电压源5300接收输入VIN并生成高电压信号HVOUT，其中可通过电阻微调电路网络(未示出)调整可变电阻器5303的电阻来调整增益。在一个实施方案中，可变电阻器5303和微调电路网络处于低电压域(例如，1V或1.8V)中并使用低电压设备，并且运算放大器5301和电阻器5302处于高电压域(例如，12V)中并使用高电压设备。然后，可使用HVOUT对非易失性存储器单元进行编程。
图54示出用于为HV运算放大器4403提供电压的自适应高电压源5400，该自适应高电压源包括运算放大器5401、电阻器5402、电阻器5403、运算放大器5404和可调分压器5405。可调分压器5405接收电压源VS并且包括电阻器5408以及电阻器5406i和开关5407i的i组。由可调分压器5405输出的电压(其也为运算放大器5404的非反相端子上的输入电压并且为输入电压VIN)将根据开关5407i中的哪个开关闭合而变化。响应于输入VIN，生成高电压信号HVOUT。此处，可通过可调分压器5405调整VIN的量值。在一个实施方案中，可调分压器5405和运算放大器5404为低电压域(例如，1V或1.8V)并且使用低电压设备，并且运算放大器5401为高电压域(例如，12V)并且使用高电压设备。然后，可使用HVOUT对非易失性存储器单元进行编程。
图55示出用于为HV运算放大器4403提供电压的自适应高电压源5500，该自适应高电压源包括可调分压器5505和细电阻器HV网络5580。细电阻器HV网络5580包括缓冲器5501、缓冲器5502、可调分压器5503，该可调分压器包括电阻器5504j和开关5504j的j组。可调分压器5505接收电压源VS并且包括电阻器4408以及电阻器5506i和开关网络5507i的i组。由可调分压器5505输出的电压将根据开关网络5507i的开关中的哪个开关闭合而变化。可调分压器5503接收高电压HV_COARSE 1和HV_COARSE 2。高电压HV_COARSE 1进一步为自适应高电压源5500的第一输出。由可调分压器5503输出的电压(其为HV_FINE)将根据HV_COARSE以及开关网络5504j的开关中的哪个开关闭合而变化。此处，可通过改变在可调分压器5505中闭合的开关网络5507i的开关来调整HV_COARSE1/2的量值。可通过改变在可调分压器5503中闭合的开关网络5504j的开关来调整HV_FINE的量值。作为数值示例，可调分压器5505可每步提供200mV(即，电压增量、跨一个电阻器5506的电压)，跨HV_COARSE 1和HV_COARSE 2的电压为600mV，可调分压器5503可每步提供5mV(即，电压增量、跨一个电阻器5504j的电压)。可使用这些高电压对非易失性存储器单元进行编程。
图56示出用于为HV运算放大器4403提供电压的自适应高电压源5600，该自适应高电压源包括粗SC(开关电容)网络5650和细电阻器HV网络5680。粗SC网络5650包括运算放大器5601、SC网络5609和SC网络5608。SC网络5609包括电容CFB的可调电容器5602。SC网络5608包括电容CIN的可调电容器5603以及开关5604、5605、5606和5607。此处，HVOUT＝V*(CIN/CFB)。细电阻器HV网络5680类似于图55中的网络5580。粗SC网络5650提供粗可调电平(例如，200mV阶跃)，并且细电阻器HV网络5680提供细电平(例如，5mV阶跃)。HVOUT可用于对非易失性存储器单元进行编程。
如图52、图43、图52至图56所示的HV运算放大器5403的自适应HV电源用于根据输出电压来优化功率。VHVOPA＝VOUT+dV，例如，VHVOPA＝6V，其中VOUT＝4V并且dV＝2V。基本上，HVOPA 4403不需要始终被提供最大HV电压(例如，12V)。
图57示出仅使用一个单电平参考实现的修改的SAR(逐次逼近)顺序验证算法5700，这简化了硬件具体实施。该图示出了4位验证算法，该4位验证算法用于将单元输出转换成4个输出数字位以与4个输入数字位进行比较。通过在参考线上应用中间参考值并比较单元输出与参考电平来首先转换最高有效位DOUT3。下一有效位DOUT2接下来通过在上半部(即从L8到L15)应用中间参考值并比较单元输出与中间参考电平，然后在下半部(即从L7到L0)应用中间参考值并比较单元输出与中间参考电平来转换。接下来的数字位以类似方式转换。对于4位输出，该方法需要15个转换脉冲(阶跃)。单元输出是从存储器单元中存储的权重转换而来的电流或电压。
图58示出使用两个参考线且转换脉冲数减半的修改的SAR顺序验证算法5800。最高有效位如上所述使用单个参考线来完成。接下来的顺序转换步骤使用两个参考线。对于每个参考线，转换步骤与上文相似。对于4位输出，该方法将需要8个步骤。
上述验证算法可用于将神经元电流(来自VMM阵列的输出电流)转换成数字位。
图59示出在非易失性存储器单元的编程操作之后的验证操作期间使用的可调2D温度计代码参考电流源5900。2D温度计代码参考电流源5900包括缓冲镜5901(该缓冲镜包括运算放大器5902和PMOS晶体管5903)、可调偏置源5904和2D阵列5905，该2D阵列包括设备5906的i行和j列的阵列，其中特定设备5906由标签5906-(行)(列)标注。此处，可激活设备5906的各种组合，使得可调整由缓冲镜5901输出的参考电流的量。如图所示，2D阵列5905中存在16个电流镜(设备5906)。可调2D温度计代码参考电流源5900基本上将4数字输入代码转换成参考电流偏置，该参考电流偏置的值为从偏置源5904提供的Ibiasunit的1至16倍。例如，这些值对应于诸如图58所示的VMM阵列中的存储器单元的16个电平。
例如，偏置源5904可提供1nA的电流Ibiasunit，该电流被镜像到设备5906中。此处，第一行由设备5906-11至5906-1j组成，并且从左到右顺序地启用，一次启用一个设备5906。然后从左到右以顺序方式启用下一行以添加到第一行，这意味着启用5个，然后6个，然后7个，然后8个设备5906。因此，通过顺序地启用设备5906，可避免与常规二进制解码相关联的晶体管失配情况。启用的设备5906的总和然后由缓冲镜5901镜像并作为可调电流输出，该可调电流可用于图39中的可调电流参考源3901。偏置源5904可提供可微调的单位偏置范围，诸如50pA/100pA/200pA/../100nA。所示的可调4x4 2D温度计代码参考电流源5900可为任何其他尺寸，诸如32x32或8x32。
图60示出参考子电路6000，该参考子电路可用于图59中的设备5906。参考子电路6000包括如图所示配置的NMOS晶体管6001和6002。晶体管6002为电流镜偏置晶体管，并且晶体管6001为启用晶体管(以使偏置晶体管6002能够连接到输出节点OUTPUT)。
应当指出，如本文所用，术语“在…上方”和“在…上”两者包容地包含“直接在…上”(之间未设置中间材料、元件或空间)和“间接在…上”(之间设置有中间材料、元件或空间)。类似地，术语“相邻”包括“直接相邻”(之间没有设置中间材料、元件或空间)和“间接相邻”(之间设置有中间材料、元件或空间)，“安装到”包括“直接安装到”(之间没有设置中间材料、元件或空间)和“间接安装到”(之间设置有中间材料、元件或空间)，并且“电耦接至”包括“直接电耦接至”(之间没有将元件电连接在一起的中间材料或元件)和“间接电耦接至”(之间有将元件电连接在一起的中间材料或元件)。例如，“在衬底上方”形成元件可包括在两者间没有中间材料/元件的情况下在衬底上直接形成元件，以及在两者间有一个或多个中间材料/元件的情况下在衬底上间接形成元件。

Claims (16)

1.一种用于神经网络的验证方法，所述验证方法用于在非易失性存储器单元的多级编程操作之后通过将存储的权重转换成多个数字输出位来验证所述非易失性存储器单元中的所述存储的权重，所述验证方法包括：
将所述非易失性存储器单元的输出与单个参考线上的参考值进行比较，并且如果所述存储器单元输出大于所述参考值，则生成第一值的数字输出位，并且如果所述存储器单元输出小于所述参考值，则生成第二值的数字输出位；以及
重复所述比较步骤以生成所述剩余数字输出位中的每个数字输出位，其中基于所述先前比较步骤的所述数字输出位来选择参考值。
2.根据权利要求1所述的验证方法，其中所述非易失性存储器单元的所述输出为从所述存储的权重转换的电流或电压。
3.根据权利要求1所述的验证方法，其中所执行的第一比较步骤生成所述多个数字输出位中的最高有效位。
4.根据权利要求1所述的验证方法，其中所执行的最后一个比较步骤生成所述多个数字输出位中的最低有效位。
5.根据权利要求1所述的验证方法，其中所述非易失性存储器单元为叠栅存储器单元。
6.根据权利要求1所述的验证方法，其中所述非易失性存储器单元为分裂栅存储器单元。
7.一种验证方法，所述验证方法用于在神经网络的非易失性存储器单元的多级编程操作之后通过将存储的权重转换成多个数字输出位来验证所述非易失性存储器单元中的所述存储的权重，所述验证方法包括：
将所述非易失性存储器单元的输出与参考值进行比较，并且如果所述非易失性存储器单元输出超过所述参考值，则生成第一值的第一数字输出位，并且如果所述非易失性存储器单元输出小于所述参考值，则生成第二值的第一数字输出位；以及
如果所述第一数字输出位具有第一值，则将所述存储器单元输出与第二参考值进行比较，并且如果所述第一数字输出位具有第二值，则将所述存储器单元输出与第三参考值进行比较，并且执行以下操作中的一者：
如果所述非易失性存储器单元输出大于所述第二参考值，则生成第一值的第二数字输出位，并且如果存储的电压小于所述第二参考值，则生成第二值的第二数字输出位；以及
如果所述非易失性存储器单元输出大于所述第三参考值，则生成第一值的第二数字输出位，并且如果所述非易失性存储器单元输出小于所述第三参考电压，则生成第二值的第二数字输出位。
8.根据权利要求7所述的验证方法，其中所述存储器单元的所述输出为从所述存储的权重转换的电流或电压。
9.根据权利要求7所述的验证方法，其中所执行的第一比较步骤生成所述多个数字输出位中的最高有效位。
10.根据权利要求7所述的验证方法，其中所述非易失性存储器单元为叠栅存储器单元。
11.根据权利要求7所述的验证方法，其中所述非易失性存储器单元为分裂栅存储器单元。
12.一种用于在神经网络的非易失性存储器单元的编程操作之后的验证操作期间使用的可调参考电流源，所述可调参考电流源包括：
可调电流源，所述可调电流源用于提供输入电压；
设备阵列，所述设备阵列用于接收所述输入电压和控制信号并生成输出电流，其中所述控制信号以温度计编码方式激活所述设备阵列中的一个或多个设备；和
缓冲镜，所述缓冲镜用于接收所述输出电流并生成参考电压；
其中所述参考电压响应于所述可调电压源和所述控制信号而变化。
13.根据权利要求12所述的可调参考电流源，其中所述缓冲镜包括驱动镜偏置电压的运算放大器。
14.根据权利要求12所述的可调参考电流源，其中所述设备阵列中的每个设备包括第一NMOS晶体管和第二NMOS晶体管，其中所述第一NMOS晶体管的源极耦接到所述第二NMOS晶体管的漏极。
15.根据权利要求12所述的可调参考电流源，其中所述非易失性存储器单元为分裂栅存储器单元。
16.根据权利要求12所述的可调参考电流源，其中所述非易失性存储器单元为叠栅存储器单元。
CN201980090494.8A 2019-01-29 2019-09-07 用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路 Active CN113366572B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962798394P 2019-01-29 2019-01-29
US62/798,394 2019-01-29
US16/360,955 US11144824B2 (en) 2019-01-29 2019-03-21 Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
US16/360,955 2019-03-21
PCT/US2019/050119 WO2020159583A1 (en) 2019-01-29 2019-09-07 Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network

Publications (2)

Publication Number Publication Date
CN113366572A true CN113366572A (zh) 2021-09-07
CN113366572B CN113366572B (zh) 2023-03-24

Family

ID=71731340

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980090685.4A Pending CN113366573A (zh) 2019-01-29 2019-09-05 用于深度学习人工神经网络中的模拟神经存储器的精密编程电路
CN201980090494.8A Active CN113366572B (zh) 2019-01-29 2019-09-07 用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201980090685.4A Pending CN113366573A (zh) 2019-01-29 2019-09-05 用于深度学习人工神经网络中的模拟神经存储器的精密编程电路

Country Status (7)

Country Link
US (4) US11144824B2 (zh)
EP (3) EP3918601A1 (zh)
JP (2) JP7201831B2 (zh)
KR (2) KR20210110638A (zh)
CN (2) CN113366573A (zh)
TW (3) TWI803727B (zh)
WO (2) WO2020159582A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144824B2 (en) * 2019-01-29 2021-10-12 Silicon Storage Technology, Inc. Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network
US11886987B2 (en) * 2019-06-25 2024-01-30 Arm Limited Non-volatile memory-based compact mixed-signal multiply-accumulate engine
US20200410319A1 (en) * 2019-06-26 2020-12-31 Micron Technology, Inc. Stacked artificial neural networks
US20210064379A1 (en) 2019-08-29 2021-03-04 Arm Limited Refactoring MAC Computations for Reduced Programming Steps
US11164068B1 (en) * 2020-11-13 2021-11-02 International Business Machines Corporation Feature recognition with oscillating neural network
KR102514652B1 (ko) * 2021-11-19 2023-03-29 서울대학교산학협력단 뉴로모픽 소자를 위한 가중치 전사 장치 및 이를 이용한 가중치 전사 방법
CN116504281A (zh) * 2022-01-18 2023-07-28 浙江力德仪器有限公司 计算单元、阵列及计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237210A (en) * 1992-03-12 1993-08-17 Intel Corporation Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
US6097634A (en) * 1998-06-25 2000-08-01 Sony Corporation Latch-type sensing circuit and program-verify circuit
US20090083202A1 (en) * 2007-09-26 2009-03-26 Kabushiki Kaisha Toshiba Semiconductor storage device
JP2012113671A (ja) * 2010-11-29 2012-06-14 Renesas Electronics Corp 静的検証方法及び静的検証システム並びに記録媒体
CN102820057A (zh) * 2011-06-08 2012-12-12 三星电子株式会社 非易失性存储装置及编程非易失性存储装置的方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2630573B1 (fr) * 1988-04-26 1990-07-13 Sgs Thomson Microelectronics Memoire programmable electriquement avec plusieurs bits d'information par cellule
US5055897A (en) 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5093900A (en) * 1991-02-13 1992-03-03 At&T Bell Laboratories Reconfigurable neural network
DE69524558T2 (de) * 1995-01-27 2002-07-18 St Microelectronics Srl Schnittweises Annäherungsverfahren zum Abtasten von nichtflüchtigen Mehrfachniveauspeicherzellen und dementsprechende Abtastschaltung
KR100192476B1 (ko) * 1996-06-26 1999-06-15 구본준 다중 비트 메모리 셀의 데이타 센싱장치 및 방법
US6876468B1 (en) * 2000-09-19 2005-04-05 Kabushiki Kaisha Toshiba Image processing apparatus that performs black coloring, gamma correction and tone processing
EP1249841B1 (en) * 2001-04-10 2008-10-29 STMicroelectronics S.r.l. Reading circuit and method for a multilevel non volatile memory
KR100418720B1 (ko) 2001-06-29 2004-02-19 주식회사 하이닉스반도체 플래시 메모리 셀의 소거 전압 조절 회로
JP3908957B2 (ja) 2002-01-24 2007-04-25 シャープ株式会社 不揮発性半導体メモリ装置
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
DE102005047172B4 (de) 2005-09-30 2007-09-27 Xignal Technologies Ag Schaltungsanordnung mit einem rückgekoppelten Operationsverstärker
US7254071B2 (en) 2006-01-12 2007-08-07 Sandisk Corporation Flash memory devices with trimmed analog voltages
JP4946260B2 (ja) 2006-08-16 2012-06-06 富士通セミコンダクター株式会社 アンチヒューズ書込電圧発生回路を内蔵する半導体メモリ装置
US20080056035A1 (en) 2006-08-31 2008-03-06 Micron Technology, Inc. Method and apparatus for adaptive programming of flash memory, flash memory devices, and systems including flash memory having adaptive programming capability
KR100909362B1 (ko) * 2006-11-21 2009-07-24 삼성전자주식회사 향상된 프로그램 성능을 갖는 플래시 메모리 장치 및그것을 포함한 스마트 카드
JP4306763B2 (ja) 2007-04-19 2009-08-05 セイコーエプソン株式会社 ガンマ補正回路
JP4365873B2 (ja) * 2007-06-06 2009-11-18 株式会社東芝 電圧供給回路および半導体記憶装置
US7768868B2 (en) 2007-06-15 2010-08-03 Micron Technology, Inc. Digital filters for semiconductor devices
US7948802B2 (en) * 2007-12-04 2011-05-24 Micron Technology, Inc. Sensing memory cells
US8797202B2 (en) * 2008-03-13 2014-08-05 Electro Industries/Gauge Tech Intelligent electronic device having circuitry for highly accurate voltage sensing
KR101463584B1 (ko) * 2008-07-30 2014-11-19 삼성전자주식회사 비휘발성 메모리 장치 및 그것의 프로그램 방법
JP2011041172A (ja) 2009-08-18 2011-02-24 Ricoh Co Ltd 電子ボリューム回路
US8441847B2 (en) 2009-09-23 2013-05-14 International Business Machines Corporation Programming multi-level phase change memory cells
US8625337B2 (en) 2010-05-06 2014-01-07 Qualcomm Incorporated Method and apparatus of probabilistic programming multi-level memory in cluster states of bi-stable elements
US8409944B2 (en) 2010-06-24 2013-04-02 Semiconductor Components Industries, Llc Process of forming an electronic device including a nonvolatile memory cell having a floating gate electrode or a conductive member with different portions
KR101732585B1 (ko) * 2010-08-26 2017-05-04 삼성전자주식회사 불휘발성 메모리 장치, 그것의 동작 방법, 그리고 그것을 포함하는 메모리 시스템
EP2616992A4 (en) * 2010-09-15 2014-06-11 E Vision Smart Optics Inc SYSTEMS, DEVICES AND / OR METHODS FOR IMAGE MANAGEMENT
US8163615B1 (en) 2011-03-21 2012-04-24 Freescale Semiconductor, Inc. Split-gate non-volatile memory cell having improved overlap tolerance and method therefor
KR101736457B1 (ko) * 2011-07-12 2017-05-17 삼성전자주식회사 불휘발성 메모리 장치, 불휘발성 메모리 장치의 소거 방법, 불휘발성 메모리 장치의 동작 방법, 불휘발성 메모리 장치를 포함하는 메모리 시스템, 메모리 시스템의 동작 방법, 불휘발성 메모리 장치를 포함하는 메모리 카드 및 솔리드 스테이트 드라이브
US8400212B1 (en) * 2011-09-22 2013-03-19 Sandisk Technologies Inc. High voltage charge pump regulation system with fine step adjustment
US8896327B2 (en) * 2012-04-12 2014-11-25 Atmel Corporation Current mirror self-capacitance measurement
US8816421B2 (en) * 2012-04-30 2014-08-26 Broadcom Corporation Semiconductor device with semiconductor fins and floating gate
US20150324691A1 (en) * 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
KR102237710B1 (ko) 2014-06-18 2021-04-09 주식회사 해치텍 커패시터형 습도센서
US9373408B2 (en) 2014-10-07 2016-06-21 SanDisk Technologies, Inc. Highly linear analog-to-digital converter and method for nonvolatile memory
US9715924B2 (en) * 2015-10-22 2017-07-25 Sandisk Technologies Llc Three dimensional non-volatile memory with current sensing programming status
KR102182583B1 (ko) 2016-05-17 2020-11-24 실리콘 스토리지 테크놀로지 인크 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기
US10891536B1 (en) * 2016-12-06 2021-01-12 The United States Of America As Represented By The Secretary Of The Air Force Artificial neural network for reservoir computing using stochastic logic
WO2018201060A1 (en) 2017-04-27 2018-11-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
KR102473579B1 (ko) * 2017-05-11 2022-12-01 포항공과대학교 산학협력단 가중치 소자 및 이의 작동 방법
US10580492B2 (en) * 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
KR102406868B1 (ko) * 2017-11-23 2022-06-10 삼성전자주식회사 메모리 장치, 메모리 시스템 및 메모리 장치의 동작 방법
US10748630B2 (en) * 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
KR102610842B1 (ko) * 2017-12-01 2023-12-07 한국전자통신연구원 뉴럴 네트워크에서의 프로세싱 엘리먼트 및 그 동작 방법
US10908817B2 (en) * 2017-12-08 2021-02-02 Sandisk Technologies Llc Signal reduction in a microcontroller architecture for non-volatile memory
KR102658230B1 (ko) * 2018-06-01 2024-04-17 삼성전자주식회사 반도체 메모리 장치, 이를 포함하는 메모리 시스템 및 반도체 메모리 장치의 동작 방법
US10692570B2 (en) * 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US10860918B2 (en) * 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US11144824B2 (en) * 2019-01-29 2021-10-12 Silicon Storage Technology, Inc. Algorithms and circuitry for verifying a value stored during a programming operation of a non-volatile memory cell in an analog neural memory in deep learning artificial neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237210A (en) * 1992-03-12 1993-08-17 Intel Corporation Neural network accomodating parallel synaptic weight adjustments for correlation learning algorithms
US6097634A (en) * 1998-06-25 2000-08-01 Sony Corporation Latch-type sensing circuit and program-verify circuit
US20090083202A1 (en) * 2007-09-26 2009-03-26 Kabushiki Kaisha Toshiba Semiconductor storage device
JP2012113671A (ja) * 2010-11-29 2012-06-14 Renesas Electronics Corp 静的検証方法及び静的検証システム並びに記録媒体
CN102820057A (zh) * 2011-06-08 2012-12-12 三星电子株式会社 非易失性存储装置及编程非易失性存储装置的方法

Also Published As

Publication number Publication date
JP7153802B2 (ja) 2022-10-14
KR20210110638A (ko) 2021-09-08
TW202046317A (zh) 2020-12-16
US20230119017A1 (en) 2023-04-20
JP2022523316A (ja) 2022-04-22
EP4280113A3 (en) 2024-05-08
EP3918601A1 (en) 2021-12-08
TW202333154A (zh) 2023-08-16
US20200242460A1 (en) 2020-07-30
US20230104689A1 (en) 2023-04-06
EP3918602A1 (en) 2021-12-08
EP4280113A2 (en) 2023-11-22
KR102404411B1 (ko) 2022-06-02
EP3918602B1 (en) 2023-11-15
TW202040578A (zh) 2020-11-01
US11144824B2 (en) 2021-10-12
TWI742508B (zh) 2021-10-11
CN113366573A (zh) 2021-09-07
US11586898B2 (en) 2023-02-21
JP7201831B2 (ja) 2023-01-10
WO2020159583A1 (en) 2020-08-06
KR20210100194A (ko) 2021-08-13
TWI803727B (zh) 2023-06-01
CN113366572B (zh) 2023-03-24
US20200242461A1 (en) 2020-07-30
WO2020159582A1 (en) 2020-08-06
JP2022523075A (ja) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102654503B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리용 고전압 생성을 위한 방법 및 장치
JP7399153B2 (ja) 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム
CN113366572B (zh) 用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路
CN112868063B (zh) 深度学习人工神经网络中的模拟神经存储器的编程的精确调谐
CN113316793A (zh) 用于深度学习人工神经网络中的模拟神经存储器的功率管理
CN112585623B (zh) 用于深度学习神经网络的可配置模拟神经存储器系统
KR102616977B1 (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상
CN114930458A (zh) 用于人工神经网络中的模拟神经存储器的精确数据调谐方法和装置
CN113748432A (zh) 用于深度学习人工神经网络中的模拟神经存储器的解码系统和物理布局
CN111837190A (zh) 用于在深度学习人工神经网络中对模拟神经存储器进行编程的方法和设备
CN116917905A (zh) 用于人工神经网络中的模拟神经存储器的精确数据调谐方法和装置
CN115516565A (zh) 人工神经网络中的具有源极线拉低机构的模拟神经存储器阵列
CN115968495A (zh) 用于人工神经网络中的模拟神经存储器阵列的自适应偏置解码器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant