CN113261062A - 经配置以产生用于神经网络的加权输入的存储器单元 - Google Patents

经配置以产生用于神经网络的加权输入的存储器单元 Download PDF

Info

Publication number
CN113261062A
CN113261062A CN201980086445.7A CN201980086445A CN113261062A CN 113261062 A CN113261062 A CN 113261062A CN 201980086445 A CN201980086445 A CN 201980086445A CN 113261062 A CN113261062 A CN 113261062A
Authority
CN
China
Prior art keywords
memory cell
voltage
memory
current
memory cells
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980086445.7A
Other languages
English (en)
Other versions
CN113261062B (zh
Inventor
U·米努奇
T·瓦利
F·伊尔埃拉
L·德桑蒂斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Micron Technology Inc
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of CN113261062A publication Critical patent/CN113261062A/zh
Application granted granted Critical
Publication of CN113261062B publication Critical patent/CN113261062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/24—Bit-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/26—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/32—Timing circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

一种方法可包含：将第一电压施加到第一存储器单元以激活所述第一存储器单元；将第二电压施加到与所述第一存储器单元串联耦合的第二存储器单元以激活所述第二存储器单元，使得电流流过所述第一及第二存储器单元；及响应于所述电流产生输出。所述第一电压及所述第二存储器单元的阈值电压可使得所述电流与所述第一电压与所述第二存储器单元的所述阈值电压的积成比例。

Description

经配置以产生用于神经网络的加权输入的存储器单元
技术领域
本公开大体上涉及存储器，且更特定来说，涉及经配置以产生用于神经网络的加权输入的存储器单元。
背景技术
存储器系统可经实施于例如计算机、手机、手持式电子装置等的电子系统中。一些存储器系统(例如固态驱动(SSD)、嵌入式多媒体控制器(eMMC)装置、通用快闪存储装置(UFS)装置及类似物)可包含用于存储来自主机的主机(例如用户)数据的非易失性存储存储器。非易失性存储存储器可通过在未供电时保持所存储数据提供永久性数据，且可包含NAND快闪存储器、NOR快闪存储器、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)及电阻可变存储器(例如相变随机存取存储器(PCRAM))、三维交叉点存储器(例如3D XPoint)、电阻性随机存取存储器(RRAM)、铁电随机存取存储器(FeRAM)、磁阻性随机存取存储器(MRAM)、及可编程导电存储器以及其它类型的存储器。
神经网络是可通过对神经元(例如人脑中的神经元)的网络进行建模以处理已在特定环境中感测到的信息(例如刺激)来处理信息的网络。类似于人脑，神经网络通常包含多个神经元拓扑(例如，其可称为人工神经元)。
附图说明
图1说明根据本公开的数个实施例的人工神经元的实例。
图2A是根据本公开的数个实施例的经配置以促进神经网络操作的存储器装置的一部分的示意图。
图2B是根据本公开的数个实施例的经配置以促进神经网络操作的存储器装置的一部分的示意图。
图2C说明根据本公开的数个实施例的突触模型。
图3A说明根据本公开的数个实施例的经配置为用以促进神经网络操作的神经网络模型的存储器的一部分。
图3B说明根据本公开的数个实施例的神经网络模型的层。
图4说明根据本发明的数个实施例的人工神经网络的实例模型。
图5是根据本公开的数个实施例的经配置以促进神经网络操作的设备的框图。
具体实施方式
已做出各种尝试来在存储器装置中实施神经网络。举例来说，在神经网络的一些先前实施方案中，存储器单元已操作以模拟数个神经模型来促进存储器中的一或多个神经网络操作特性。
本文中公开的实施例通过包含到神经模型的加权输入以说明输入对神经元的相对影响来改进先前方法，其涉及用以促进神经网络操作的存储器。例如，权重可对应于人脑行为中的记忆。
在一些实例中，一种方法的实施例可包含：将第一电压施加到第一存储器单元以激活所述第一存储器单元；将第二电压施加到与所述第一存储器单元串联耦合的第二存储器单元以激活所述第二存储器单元，使得电流流过所述第一及第二存储器单元；及响应于所述电流产生输出。所述第一电压及所述第二存储器单元的阈值电压可使得所述电流与所述第一电压与所述第二存储器单元的所述阈值电压的积成比例。所述第二存储器单元的所述阈值电压可为对所述电流加权的权重。举例来说，所述加权电流可对应于到神经模型的加权输入。
图1说明根据本公开的数个实施例的可用于模拟(例如，人脑的)神经元的人工神经元(例如神经元模型)100的实例。此类神经元模型有时可称为感知机。可称为刺激的数个输入x1到xN可分别经施加到神经元模型100的输入102-1到102-N。对应于输入x1到xN的例如电压、电流或特定数据值(例如二进制数字)的信号可响应于感测到某种形式的刺激而产生且可被施加到输入102-1到102-N。
在各种例子中，输入x1到xN可分别以可称为突触权重的权重w1到wN加权。举例来说，输入x1到xN可分别乘以权重w1到wN以分别对输入x1到xN进行加权。举例来说，每一加权输入可称为突触，且权重可对应于人脑行为中的记忆。
神经元模型100可包含求和函数104，其可对加权输入执行加法运算以产生输出106，例如SUM＝x1w1+x2w2+…+xNwN。在神经网络理论中，例如，“SUM”可称为“NET”(例如，来自术语“网络(NETwork)”)。举例来说，可对对应于加权输入x1w1到xNwN的加权信号进行求和。在一些实例中，求和函数可称为传递函数。神经元模型100进一步包含经配置以对求和SUM作出响应并在输出110处产生输出值Y的函数108，例如函数
Figure BDA0003133572200000031
在一些实例中，函数108可称为激活函数。神经元模型的输出有时可称为类别。
各种函数可用于函数108。举例来说，函数108可包含用于确定SUM是高于还是低于特定阈级的阈值函数(例如阶跃函数)。如果SUM大于或等于特定阈值量那么此阈值函数可在输出110上产生逻辑高输出(例如逻辑1)，且如果SUM低于特定阈值量那么可在输出110上产生逻辑低(例如逻辑0)。
在一些实例中，函数108可为S型(sigmoid)函数，其中S型函数可表达为S(z)＝1/(1+eλz)，其中λ是常数且z可为SUM。举例来说，函数108可为非线性函数。在一些实例中，在输出110处所产生的输出值Y可应用到数个额外神经元模型，例如应用到不同神经元模型的输入102、神经元模型的神经网络的输入102。
在一些实例中，NAND快闪存储器可经配置以促进根据本文中公开的数个实施例的神经网络操作。NAND快闪存储器可包含串联耦合的(例如一晶体管)非易失性存储器单元群组(例如串)。通过对电荷存储结构(例如浮动门或电荷俘获层等)的编程，单元的阈值电压的变化可确定每一单元的数据状态。
串中的串联耦合的存储器单元可在数据线(例如位线)与源极之间。举例来说，串的一个端可与可经配置以选择性地将串耦合到数据线的选择晶体管串联耦合，且串的相对端可与可经配置以选择性地将串耦合到源极的选择晶体管串联耦合。串中相应位置处的存储器单元共同耦合到相应存取线，例如字线。举例来说，串中每一相应位置处的存储器单元的控制栅极可经耦合到或形成相应存取线的一部分。
在一些实例中，存储器阵列可为可称为三维存储器阵列(例如三维NAND存储器阵列)的堆叠式存储器阵列。在堆叠式存储器阵列中，串可邻近半导体结构(例如垂直半导体支柱)，且串中的存储器单元可处于不同层级(例如垂直层级)。共同层级处的存储器单元例如可形成存储器单元层级，有时称为存储器单元层面。每一相应层级处的存储器单元可共同耦合到相应共同存取线。
存储器单元可每单元存储单个位或每单元存储多个位，例如每单元存储两个位、每单元存储三个位、每单元存储四个位等。存储器单元可经编程到2n种数据状态中的一者，其中n是每单元位的数目。每一数据状态可对应于不同阈值电压(Vt)分布，且存储器单元可经编程到可对应于Vt分布中的一者的Vt。举例来说，针对每单元两个位，存储器单元可经编程到对应于四种数据状态11、10、01及00中的一者的Vt，且针对每单元一个位，存储器单元可经编程到对应于两种数据状态0及1中的一者的Vt。
图2A及2B是根据本公开的数个实施例的经配置以促进神经网络操作的存储器装置215的一部分的示意图。举例来说，图2A及2B分别包含对应于神经元模型100的处于神经元网络的不同层(例如层级)的神经元模型200及200′。在一些实例中，图2A及2B对应于前馈神经网络，其中对应于图2A的层的输出可用作到对应于图2B的层的输入。
存储器215具有串联耦合的存储器单元219-1到219-M的N个串(例如NAND串)217-1到217-N。在一些实例中，串217可为堆叠式存储器阵列中的垂直串。存储器单元219-1到219-M的控制栅极可分别耦合到或可分别形成存取线220-1到220-M的一部分。举例来说，每一存储器单元219可包含控制栅极222及电荷存储结构224。串217-1到217-N中的每一者的一个端经耦合到同一数据线221。串217-1到217-N中的每一者的相对端经耦合到源极。针对一些实施例，相应串217-1到17-N可为存储器单元217的块的相应部分。存储器单元块可指代共同擦除的存储器单元群组。举例来说，不同组的存取线220-1到220-M可耦合相应块。
在图2A中，数据线221可经配置以对分别流过串217-1到217-N的加权电流I1到IN求和以产生总电流Isum，而在图2B中，数据线221可经配置以对分别流过串217-1到217-N的加权电流I1′到IN′求和以产生总电流Isum′。举例来说，数据线221可经配置以实施神经元模型200及200′的求和函数，例如求和函数104。
数据线221经耦合到可包含感测放大器、比较器及数据锁存器的感测电路系统223。举例来说，感测电路系统223可感测电流Isum或Isum′，且可锁存对应于感测到的电流Isum或Isum′的单个数据位或多个数据位(例如，四个位)。感测电路系统223可经配置以响应于Isum实施例如函数108的函数以产生输出Y或响应于Isum′在输出210上产生输出Y′。
感测电路系统223可经配置以执行模/数转换。举例来说，感测电路系统223可包含模/数转换器(ADC)，其可将感测到的电流转换成对应于感测到的电流的数据值(例如数字数据值)，例如感测到的电流的数字表示。在一些实例中，输出Y或Y′可为Isum或Isum′的阈值函数。举例来说，输出Y或Y′可响应于Isum或Isum′大于或等于阈值量为逻辑一(1)或响应于Isum或Isum′小于阈值量为逻辑(0)。
相应选择晶体管225可经配置以响应于激活相应选择晶体管225选择性地将相应串217-1到217-N中的每一者耦合到数据线221。相应选择晶体管227可经配置以响应于激活相应选择晶体管227选择性地将相应串217-1到217-N中的每一者耦合到源极。
图2A中描绘的神经元模型200可包含分别在串217-1到217-N中的存储器单元(例如邻近存储器单元)对230-1到230-N、数据线221及感测电路系统223。图2A中的电流I1到IN可响应于分别激活对230-1到230-N的加权电流，而串217-1到217-N中的每一者中的剩余存储器单元可在直通模式中操作。举例来说，传递电压可经由耦合到那些存储器单元的控制栅极的存取线220经施加到那些控制栅极以将存储器单元置于直通模式中。传递电压可足够高，使得在直通模式中操作的存储器单元对电流流量提供相对较少的电阻。因而，通过相应串217-1到217-N的相应电流I1到IN可取决于相应对230-1到230-N的状态及施加到相应对230-1到230-N的电压。
相应对230-1到230-N中的每一者可包含存储器单元M1及M2。举例来说，对230-1到230-N可分别包含存储器单元M1-1及M2-1到M1-N到M1-N。存储器单元M1-1到M1-N可分别经编程到阈值电压Vt1-1到Vt1-N，且存储器单元M2-1到M2-N可分别经编程到阈值电压Vt2-1到Vt2-N。在一些实例中，相应对230-1到230-N可分别称为神经元模型200的突触模型(例如突触单元)231-1到231-N。
存储器单元M1-1到M1-N可分别响应于将分别大于阈值电压Vt1-1到Vt1-N的感测(例如读取)电压Vg1-1到Vg1-N分别同时施加到存储器单元M1-1到M1-N的控制栅极而同时激活。存储器单元M2-1到M2-N可响应于与施加电压Vg1-1到Vg1-N同时将分别大于阈值电压Vt2-1到Vt2-N的感测电压Vg2-1到Vg2-N分别施加到存储器单元M2-1到M2-N的控制栅极而与存储器单元M1-1到M1-N同时分别激活。
在一些实例中，电压Vg1-1到Vg1-N可被215接收为初始输入以供神经网络对其进行作用。替代地，例如，电压Vg1-1到Vg1-N可能先前已由存储器215的其它神经元模型产生。
在施加电压Vg1-1到Vg1-N及Vg2-1到Vg2-N之前，可将数据线221可充电到一电压。举例来说，数据线221上的电压可大于源极的电压。因而，当选择晶体管225及227被激活时，电流Isum的相应部分I1到IN可响应于相应对230-1到230-N被相应电压Vg1-1到Vg1-N及Vg2-1到Vg2-N激活而通过相应串217-1到217-N从数据线221流到源极以使数据线221放电。
在一些实例中，电压Vg1及Vg2可称为输入栅极电压。电压Vg1-1到Vg1-N可分别对应于输入x1到xN，且阈值电压Vt2-1到Vt2-N可分别对应于权重w1到wN。在一些实例中，电压Vg2-1到Vg2-N、Vt1-1到Vt1-N及Vt2-1到Vt2-N可具有固定值。电压Vg2-1到Vg2-N及Vt1-1到Vt1-N可从存储器单元M1及M2的模拟预先确定，且Vt2-1到Vt2-N可从神经网络机器学习模型预先确定。
图2C说明根据本公开的数个实施例的可为本文中描述的各种突触模型的代表性突触模型231。突触模型231包含存储器单元M1及M2的代表性对230，其可为本文中例如在图2A及2B中公开的各种对。举例来说，存储器单元M1及M2串联耦合且可分别经编程到阈值电压Vt1及Vt2。举例来说，存储器单元M1及M2可形成双跨导器。
输入电压Vg1及Vg2分别经施加到存储器单元M1及M2的控制栅极。输入电压Vg1及Vg2可分别激活存储器单元M1及M2，使得电流I可流过存储器单元M1及M2。
电流I可为Vg1与Vt2的函数。举例来说，电流I可对应于Vg1与Vg2的积。在一些实例中，输入电压Vg1及阈值电压Vg2可经选择使得电流I是Vg1与Vt2的积的线性函数(例如，直接与所述积成比例)。电流I可为g x(Vg1 x Vt2)，其中g是存储器组件M1与M2组合的跨导增益。因而，对230可操作为可产生电流I的模拟乘法器。
跨导增益g可通过在VG2、Vt1及Vt2固定的情况下改变Vg1来调整。存储器单元M2可提供可由可用作源极跟随器的存储器单元M1的栅极-源极电压Vgs1调节的可变电阻(例如，其可称为退化电阻)。
应注意，电流I由Vt2加权。举例来说，Vg1可对应于输入x，且Vt2可对应于权重w。在神经元模型200中，电流I1到IN可分别为g1 x(Vg1-1 x Vt2-1)到gN x(Vg1-Nx Vt2-N)，其中g1到gN分别是对230-1到230-N的跨导增益。
在一些实例中，存储器单元M2可经编程以存储多个位。举例来说，Vt2可为存储器单元M2可被编程到其的数个Vt2中的一者，借此允许数个不同权重。
图2B中描绘的神经元模型200′可包含分别在串217-1到217-N中的存储器单元(例如邻近存储器单元)的对230′-1到230′-N、数据线221及感测电路系统223。电流I1′到IN′可为响应于分别激活对230′-1到230′-N的加权电流，而串217-1到217-N中的每一者中的剩余存储器单元在直通模式中操作。举例来说，相应对230′可在相应串217中处于与图2A中的相应对230不同的位置。
对230′-1到230′-N可分别包含存储器单元M1′-1及M2′-1到M1′-N到M2′-N。存储器单元M1′-1到M1′-N可分别经编程到阈值电压Vt1′-1到Vt1′-N，且存储器单元M2′-1到M2′-N可分别经编程到阈值电压Vt2′-1到Vt2′-N。应注意，神经元模型200′的突触模型231′-1到231′-N可分别包含对230′-1到230′-N。
存储器单元M1′-1到M1′-N可响应于将分别大于阈值电压Vt1′-1到Vt1′-N的感测电压Vg1′-1到Vg1′-N分别同时施加到存储器单元M1′-1到M1′-N的控制栅极而同时分别激活。存储器单元M2′-1到M2′-N可响应于与施加可从神经网络的软件模型预先确定的电压Vg1′-1到Vg1′-N同时将分别大于阈值电压Vt2′-1到Vt2′-N的感测电压Vg2′-1到Vg2′-N分别施加到存储器单元M2′-1到M2′-N的控制栅极而与激活存储器单元M1′-1到M1′-N同时分别激活。
电压Vg1′-1到Vg1′-N可分别对应于输入x1到xN，且阈值电压Vt2′-1到Vt2′-N可分别对应于权重w1到wN。在一些实例中，Vg2′-1到Vg2′-N、Vt1′-1到Vt1′-N及Vt2′-1到Vt2′-N可具有固定值。
在前馈方法的实例中，Vg1′-1到Vg1′-N可为基于输出Y(例如神经元模型200的输出)。举例来说，耦合到存储器单元M1′-1到M1′-N的控制栅极的存取线驱动器可基于输出Y产生Vg1′-1到Vg1′-N。举例来说，Vg1′-1到Vg1′-N可产生为Y的函数，例如阈值函数或S型函数。在一些实例中，电压的数字表示可从Isum的数字表示产生，且数/模转换器(DAC)(图2A及2B中未展示)可将数字表示转换成模拟电压，且模拟电压Vg1′-1到Vg1′-N可为那个模拟电压。应注意，电流I′1到I′N可分别为g1′x(Vg1′-1xVt2′-1)到gN′x(Vg1′-N x Vt2′-N)，其中g1′到gN′分别是对230′-1到230′-N的跨导增益。
图3A说明根据本公开的数个实施例的经配置为神经网络模型316以促进神经网络操作的存储器315的一部分。神经网络模型316可包含神经网络的数个不同层330，例如层330-1到330-3。层330-1到330-3中的每一者包含神经元模型300-1到300-L。神经元模型300-1到300-L中的每一者可为神经元模型200且可对应于神经元模型100。层330-1到330-3中的每一者的神经元模型300-1到300-L可分别在输出310-1到310-L上分别产生输出Y1到YL。
相应层330的输出310-1到310-L经耦合到控制器340。控制器340经耦合到分别耦合到层330-1到330-3的开关342-1到342-3。控制器340还经耦合到寄存器346-1到346-N，寄存器346-1到346-N分别经耦合到DAC 348-1到348-N，DAC 348-1到348-N分别经耦合到全局存取线驱动器350-1到350-N，全局存取线驱动器350-1到350-N各自经耦合到相应全局存取线352-i。全局存取线驱动器350-1到350-N经配置以将模拟电压Vg1-1到Vg1-N输出到相应全局存取线352-i。尽管分离地展示，但寄存器346-1到346-N、DAC 348-1到348-N及/或存取线驱动器350-1到350-N可包含于控制器340中。
双向接口355-1到355-N可分别经耦合到寄存器346-1到346-N。举例来说，例如来自层330-3的数据的数据可从存储器315输出(例如，输出到主机)到存储器315的其它部分、或经由双向接口355-1到355-N输出到另一神经网络。举例来说，数据可经由双向接口355-1到355-N从主机、存储器315的另一部分或另一神经网络在寄存器346-1到346-N处接收为到层330-1的输入数据。因而，寄存器346-1到346-N可用作神经网络模型316的输入层及/或输出层。
全局存取线352-i经耦合到开关342-1到342-3。开关342-1到342-3中的每一者经配置以响应于从控制器340接收信号选择性地将相应全局存取线352-i耦合到相应本地存取线320-i，使得相应电压Vg1-1到Vg1-N被施加到相应本地存取线320-i。
图3B说明根据本公开的数个实施例的可为各种层330-1到330-3的神经网络模型的代表性层330。举例来说，相应层330-1到330-3中的每一者可如针对层330所描绘及描述。在一些实例中，层330可包含分别包含若干组串317-1到若干组串317-N的数个块360，例如块360-1到360-N。串317中的每一者包含串联耦合的存储器单元319-1到319-M。应注意，相应块360可独立于彼此共同擦除。
层330包含神经元模型330-1到300-L。相应神经元模型300-1到300-L中的每一者可为神经元模型200。神经元模型300-1到300-L可分别包含数据线321-1到321-L及分别耦合到数据线321-1到321-L的感测电路系统323-1到323-L。感测电路系统323-1到323-L中的每一者可为感测电路系统223。感测电路系统323-1到323-L可在输出310-1到310-L上分别产生输出Y1到YL。
代表性神经元模型330-1到330-L中的每一者可包含耦合到相应数据线321-1到321-L的突触模型331-1到331-N(例如，由图3A中的圆圈表示)。相应突触模型333-1到331-N中的每一者可包含串联耦合的一对邻近存储器单元M1及M2，如先前关于图2A到2C描述。举例来说，突触模型331-1到331-N可分别包含存储器单元对M1-1及M2-2到存储器单元对M1-N到M2-N。相应突触模型331-1到331-N中的每一者可为例如突触模型231。
如先前描述，存储器单元M1-1到M1-N可分别经编程到Vt1-1到Vt1-N，且存储器单元M2-1到M2-N可分别被编程到Vt2-1到Vt2-N。在一些实例中，相应神经元模型300-1到300-N的Vt1可不同或相同，且相应神经元模型300-1到300-N的Vt2可不同或相同。此外，相应层330-1到330-3的Vt1可不同或相同，且相应层330-1到330-3的Vt2可不同或相同。
存储器单元对M1-1及M2-2到存储器单元对M1-N及M2-N可分别包含于串317-1中的每一者到串317-N中的每一者中。相应神经元模型330-1到330-L的串317-1到317-N可经耦合到相应神经元模型300-1到300-L的相应数据线数据线321-1到321-L。
每一相应串317可经耦合于相应选择晶体管325与327之间。相应选择晶体管325经配置以响应于相应选择晶体管325被激活选择性地将相应串317耦合到数据线321。相应选择晶体管327经配置以响应于相应选择晶体管327被激活选择性地将相应串317耦合到源极。
一组相应本地存取线321-1到320-M可共同耦合到相应块360中的每一者中的若干组串317。举例来说，一组相应存取线的存取线321-1到320-M可分别共同耦合到相应块360的若干组串317的控制栅极存储器单元319-1到319-M。相应存取线320-i共同耦合到相应突触模型331-1到331-N中的每一者的存储器单元M1。相应存取线320-(i-1)共同耦合到相应突触模型331-1到331-N中的每一者的存储器单元M2。
电压Vg1-1到Vg1-N分别经施加到分别共同耦合到存储器单元M1-1到M1-N的存取线320-i，且电压Vg2-1到Vg2-N分别经施加到分别共同耦合到存储器单元M2-1到M2-N的存取线320-(i-1)。因而，电压Vg1-1到Vg1-N分别共同经施加到存储器单元M1-1到M1-N，且电压Vg2-1到Vg2-N分别共同经施加到存储器单元M2-1到M2-N。
在层330的操作期间，数据线321-1到321-L可被充电到一电压。随后，电压Vg1-1到Vg1-N分别共同同时经施加到存储器单元M1-1到M1-N，且电压Vg2-1到Vg2-N与施加电压Vg1-1到Vg1-N同时分别共同经施加到存储器单元M2-1到M2-N，同时串317中的每一者中的剩余存储器单元被置于直通模式中，同时串317通过选择晶体管325选择性地经耦合到数据线321，且同时串317通过选择晶体管327选择性地经耦合到源极。
加权电流I1-1到IN-1可响应于神经元模型330-1中的存储器单元对M1-1及M2-2到存储器单元对M1-N及M2-N被激活分别在耦合数据线321-1的串317-1到317-N中流动，使得数据线321-1上的电流Isum-1是电流I1-1到IN-1的和。加权电流I1-L到IN-L可响应于神经元模型330-L中的存储器单元对M1-1及M2-2到存储器单元对M1-N及M2-N被激活分别在耦合数据线321-L的串317-1到317-N中流动，使得数据线321-L上的电流Isum-L是电流I1-L到IN-L的和。
应注意，电流I1-1到IN-1及/或电流I1-L到IN-L可分别是g1 x(Vg1-1 x Vt2-1)到gN x(Vg1-N x Vt2-N)，其中g1到gN分别是突触模型331-1到331-N的跨导增益，Vg1-1到Vg1-N分别是到突触模型331-1到331-N的输入，且Vt2-1到Vt2-N分别是突触模型331-1到331-N的权重。举例来说，电流I1-1到IN-1及/或电流I1-L到IN-L可分别由Vt2-1到Vt2-N加权。
感测电路系统323-1到323-L可分别感测电流Isum-1到Isum-L，且可响应于分别感测到电流Isum-1到Isum-L分别产生输出Y1到YL。在一些实例中，感测电路系统323-1到323-L可包含经配置以将感测到的模拟电流Isum-1到Isum-L转换成其数字表示的ADC。接着，可将输出Y1到YL发送到控制器340。在一些实例中，输出Y1到YL可由位的数目表示，例如一个锁存器中一个位，两个锁存器中两个位，三个锁存器中三个位，四个锁存器中四个位等。举例来说，所述位可对应于另一神经元模型的相应激活水平。
在图3A中的神经网络模型316的操作期间，模拟电压Vg1-1到Vg1-N的数字表示可分别经由双向接口355-1到355-N分别在寄存器346-1到346-N处接收。DAC 348-1到348-N随后可将模拟电压Vg1-1到Vg1-N的数字表示分别转换成模拟电压Vg1-1到Vg1-N。
接着，控制器340可激活开关342-1，使得电压Vg1-1到Vg1-N分别由全局存取线驱动器350-1到350-N施加到分别耦合到层330-1的突触模型331-1到331-N的相应存储器单元M1-1到M1-N的本地存取线320-i。在电压Vg1-1到Vg1-N被施加时，电压Vg2-1到Vg2-N分别被施加到分别耦合到层330-1的突触模型331-1到331-N的相应存储器单元M2-1到M2-N的本地存取线320-(i-1)。因此，电流Isum-1到Isum-L分别在层330-1的数据线321-1到321-L上产生，如关于图3B描述。
层330-1的感测放大器323-1到323-L响应于分别感测到电流Isum-1到Isum-L在输出310-1到310-L上分别产生输出Y1到YL，如关于图3B描述。举例来说，输出Y1到YL可分别为电流Isum-1到Isum-L的数字表示。接着，可将输出Y1到YL发送到响应于层330-1的输出Y1到YL选择性地激活开关342-2的控制器340。
在一些实例中，控制器340可产生对应于输出Y1到YL的电压的数字表示，且可将电压的数字表示发送到寄存器346-1到346-N。在一些实例中，控制器340可产生输出作为Y1到YL的函数的输出，例如阈值函数或S型函数。接着，控制器340可基于那个输出产生电压的数字表示且可将电压的数字表示发送到寄存器346-1到346-N。
举例来说，控制器340可产生对应于由阈值函数产生的逻辑高的电压的数字表示及对应于由阈值函数产生的逻辑低的另一电压的数字表示。在一些实例中，控制器340可产生由S型函数产生的各种电压的各种数字表示。
DAC 348-1到348-N随后可分别将寄存器346-1到346-N中的电压的数字表示转换成模拟电压Vg1-1到Vg1-N。电压Vg1-1到Vg1-N分别由全局存取线驱动器350-1到350-N经由经激活开关342-2施加到分别耦合到层330-2的突触模型331-1到331-N的相应存储器单元M1-1到M1-N的本地存取线320-i。在电压Vg1-1到Vg1-N被施加时，电压Vg2-1到Vg2-N分别被施加到分别耦合到层330-2的突触模型331-1到331-N的相应存储器单元M2-1到M2-N的本地存取线320-(i-1)。因此，电流Isum-1到Isum-L分别在层330-2的数据线321-1到321-L上产生，如关于图3B描述。
层330-2的感测放大器323-1到323-L响应于分别感测到电流Isum-1到Isum-L在输出310-1到310-L上分别产生输出Y1到YL，如关于图3B描述。接着，可将层330-2的输出Y1到YL发送到响应于输出Y1到YL选择性地激活开关342-3的控制器340。
控制器340可产生对应于层330-2的输出Y1到YL的电压的数字表示且可将电压的数字表示发送到寄存器346-1到346-N，如关于层330-1描述。举例来说，控制器340可基于层330-2的输出Y1到YL的函数(例如层330-2的输出Y1到YL的阈值函数或S型函数)产生电压的数字表示。
DAC 348-1到348-N随后可分别将寄存器346-1到346-N中的电压的数字表示转换成模拟电压Vg1-1到Vg1-N。电压Vg1-1到Vg1-N分别由全局存取线驱动器350-1到350-N经由经激活开关342-3施加到分别耦合到层330-3的突触模型331-1到331-N的相应存储器单元M1-1到M1-N的本地存取线320-i。在电压Vg1-1到Vg1-N被施加时，电压Vg2-1到Vg2-N分别被施加到分别耦合到层330-3的突触331-1到331-N的相应存储器单元M2-1到M2-N的本地存取线320-(i-1)。因此，电流Isum-1到Isum-L分别在层330-3的数据线321-1到321-L上产生，如关于图3B描述。
层330-3的感测放大器323-1到323-L响应于分别感测到电流Isum-1到Isum-L在输出310-1到310-L上分别产生输出Y1到YL，如关于图3B描述。接着，可将层330-3的输出Y1到YL发送到控制器340。控制器340可产生对应于层330-3的输出Y1到YL的电压的数字表示且可将电压的数字表示发送到寄存器346-1到346-N，如关于层330-1描述。举例来说，控制器340可基于层330-2的输出Y1到YL的函数(例如层330-2的输出Y1到YL的阈值函数或S型函数)产生电压的数字表示。接着，可经由双向接口355-1到355-N输出寄存器346-1到346-N中的电压的数字表示。
图4说明根据本发明的数个实施例的对应于神经网络模型316的人工神经网络416的实例模型。举例来说，神经网络416可称为人工神经网络。神经网络416可包含具有可对应于本文中公开的各种输入(例如输入x1到xN及/或输入电压Vg1-1到Vg1-N)的节点467-1到467-N的输入层465。
神经网络416可包含可分别对应于层330-1到330-3的层430-1到430-3。层430-1可包含神经元模型469-1到469-L。相应神经元模型469-1到469-L中的每一者可对应于本文中公开的各种神经元模型。举例来说，神经元模型469-1到469-L可分别对应于层330-1的神经元模型330-1到300-L。应注意，相应神经元模型469-1到469-L中的每一者可经耦合以从节点467-1到467-N接收输入。节点467-1到467-N与层430-1中的相应神经元模型469-1到469-L中的每一者之间在互连区域471-1中的互连可对应于本文中公开的各种加权突触模型，例如层330-1的相应神经元模型300-1到300-L中的每一者的突触模型331-1到331-N。
层430-2可包含神经元模型473-1到473-L。相应神经元模型473-1到473-L中的每一者可对应于本文中公开的各种神经元模型。举例来说，神经元模型473-1到473-L可分别对应于层330-2的神经元模型330-1到300-L。应注意，相应神经元模型473-1到473-L中的每一者可经耦合以从神经元模型469-1到469-L接收输入。神经元模型469-1到469-L与相应神经元模型473-1到473-L中的每一者之间在互连区域471-2中的互连可对应于本文中公开的各种加权突触模型，例如层330-2的相应神经元模型300-1到300-L中的每一者的突触模型331-N到331-N。
层430-3可包含神经元模型475-1到475-L。相应神经元模型475-1到475-L中的每一者可对应于本文中公开的各种神经元模型。举例来说，神经元模型475-1到475-L可分别对应于层330-3的神经元模型330-1到300-L。应注意，相应神经元模型475-1到475-L中的每一者可经耦合以从神经元模型473-1到473-L接收输入。神经元模型473-1到473-L与相应神经元模型475-1到475-L中的每一者之间在互连区域471-3中的互连可对应于本文中公开的各种加权突触模型，例如层330-3的相应神经元模型300-1到300-L中的每一者的突触模型331-N到331-N。
神经网络416可包含具有输出节点479-1到479-K的输出层477。相应输出节点479-1到479-K中的每一者可经耦合以从神经元模型475-1到475-L接收输入。
图5是根据本公开的数个实施例的呈计算系统580的形式的设备的框图。计算系统580包含存储器系统582，其可为例如存储系统，例如SSD、UFS装置、eMMC装置等。然而，实施例不限于特定类型的存储器系统。举例来说，存储器系统582可用作系统580的主存储器。
如图5中展示，存储器系统582可包含可称为存储器系统控制器的控制器585，这是因为控制器585可控制可为本文中公开的各种存储器的存储器515。举例来说，存储器515可经配置为用以促进根据本公开的数个实施例的神经网络操作的神经网络模型。控制器585经耦合到主机590及存储器515。举例来说，存储器515可包含数个存储器装置(例如裸片、芯片等)且可用作计算系统580的存储器(例如主存储器)及/或用作计算系统580的存储卷。
存储器515可经由接口591(例如存储器接口)经耦合到控制器585，接口591可包含数据总线且可支持各种标准及/或符合各种接口类型，例如双倍数据速率(DDR)等。控制器585可从主机590接收命令，例如读取及写入命令。控制器585可例如经由主机接口592从主机590接收将写入到存储器515的主机数据。如本文中使用，存储器系统582、控制器585、存储器515或控制器594也可被单独视作“设备”。
主机590可为例如主机系统，例如个人膝上型计算机、桌面计算机、数码相机、移动装置(例如蜂窝电话)、网络服务器、物联网(IoT)启用装置或存储卡读取器以及各种其它类型的主机。例如，主机590可包含能够经由可包含总线的接口592存取存储器515(例如，经由控制器585)的一或多个处理器。接口592可为标准化接口，例如串行高级技术附件(SATA)、外围组件互连高速(PCIe)或通用串行总线(USB)以及各种其它接口。
存储器515可包含数个存储器阵列596(例如，统称为阵列596)及可称为嵌入式控制器的控制器594。举例来说，控制器594可包含控制器340且可经配置以执行本文中公开的各种神经网络操作。控制器594可定位在存储器515内部，且可经由存储器接口591从控制器585接收命令(例如写入命令、读取命令等)。控制器594可包含状态机及/或序列发生器。控制器594可经配置以控制存储器515的操作。
在本公开的前述详细描述中，参考形成本公开的一部分的附图，且在附图中通过说明展示可如何实践本公开的数个实施例。足够详细地描述这些实施例以使所属领域的一般技术人员能够实践本公开的实施例，且应理解，可利用其它实施例且可在不背离本公开的范围的情况下做出过程变化、电变化及/或结构变化。
本文的图遵循编号惯例，其中第一数字或前几个数字对应于绘图号且剩余数字识别图式中的元件或组件。不同图之间的类似元件或组件可通过使用类似数字来识别。如应了解，本文各种实施例中展示的元件可经添加、交换及/或消除以便提供本公开的数个额外实施例。另外，如应了解，图中提供的元件的比例及相对尺度希望说明本公开的实施例，且不应以限制意义来理解。
如本文中使用，“数个”或“一定量”某物可指代一或多个此类事物。举例来说，数个或一定量存储器单元可指代一或多个存储器单元。“多个”某物希望是两个或更多个。如本文中使用，多个动作被同时执行指代动作在特定时段内至少部分重叠。如本文中使用，术语“耦合”可包含电耦合、直接耦合、及/或无中介元件的直接连接(例如，通过直接物理接触)、使用中介元件间接耦合及/或连接、或无线耦合。术语耦合可进一步包含与彼此共同合作或交互的两个或更多个元件(例如，如呈因果关系)。
尽管本文已说明及描述特定实施例，单所属领域的一般技术人员应了解，实现相同结果计算的布置可代替展示的特定实施例。本公开希望涵盖本公开的数个实施例的调适或变化。应理解，以说明性方式而非限制性方式进行上文描述。所属领域的技术人员在审阅上文描述之后应明白上文实施例的组合及本文未明确描述的其它实施例。本公开的数个实施例的范围包含其中使用上文结构及方法的其它应用。因此，应参考所附权利要求书以及此类权利要求有权获得的等效物完整范围确定本公开的数个实施例的范围。
在前述具体实施方式中，出于简化本公开的目的，一些特征被一起分组在单个实施例中。本公开的此方法不应被解译为反映本公开的所公开实施例必须使用比每一权利要求中明确所述的更多的特征的意图。而是，如所附权利要求书反映，发明标的物在于少于所公开单个实施例的所有特征。因此，所附权利要求特此并入到详细描述中，其中每个权利要求独立地作为单独的实施例。

Claims (22)

1.一种方法，其包括：
将第一电压施加到第一存储器单元以激活所述第一存储器单元；
将第二电压施加到与所述第一存储器单元串联耦合的第二存储器单元以激活所述第二存储器单元，使得电流流过所述第一及第二存储器单元；及
响应于所述电流产生输出；
其中所述第一电压及所述第二存储器单元的阈值电压使得所述电流与所述第一电压与所述第二存储器单元的所述阈值电压的积成比例。
2.根据权利要求1所述的方法，其中所述第二存储器单元的所述阈值电压是对所述电流加权的权重。
3.根据权利要求1所述的方法，其进一步包括：
产生作为所述输出的函数的第三电压；
将所述第三电压施加到第三存储器单元以激活所述第三存储器单元；及
将第四电压施加到与所述第三存储器单元串联耦合的第四存储器单元以激活所述第四存储器单元，使得电流流过所述第三及第四存储器单元；
其中所述第三电压及所述第四存储器单元的阈值电压使得流过所述第三及第四存储器单元的所述电流与所述第三电压与所述第四存储器单元的所述阈值电压的积成比例。
4.根据权利要求3所述的方法，其中所述函数包括S型函数。
5.根据权利要求3所述的方法，其中所述函数包括阈值函数。
6.根据权利要求3所述的方法，其中所述第一及第二存储器单元以及所述第三及第四存储器单元在耦合到数据线的同一串联耦合的存储器单元串中。
7.根据权利要求3所述的方法，其中所述第一及第二存储器单元在神经网络模型的第一层中；且其中所述第三及第四存储器单元在所述神经网络模型的第二层中。
8.根据权利要求1到7中任一权利要求所述的方法，其中所述输出包括对应于所述电流的数据值。
9.根据权利要求1到7中任一权利要求所述的方法，其中所述电流等于所述第一及第二存储器单元组合的跨导增益乘以所述第一电压与所述第二存储器单元的所述阈值电压的所述积。
10.一种方法，其包括：
同时激活多个串联耦合的存储器单元对以致使相应加权电流流过所述多个同时激活的串联耦合的存储器单元对中的每一相应对，每一相应加权电流对应于施加到所述相应对的第一存储器单元的电压与所述相应对的第二存储器单元的阈值电压的积；
对耦合到所述多个同时激活的串联耦合的存储器单元对的数据线上的所述相应加权电流进行求和以产生总电流；及
基于所述总电流产生输出。
11.根据权利要求10所述的方法，其中基于所述总电流产生所述输出包括由耦合到所述数据线的感测电路系统产生所述总电流的数字表示。
12.一种设备，其包括：
控制器；
多个串联耦合的存储器单元群组，其耦合到数据线；
其中：
每一相应群组包括与相应第二存储器单元串联耦合的相应第一存储器单元；
每一相应第二存储器单元经编程到相应阈值电压；
所述控制器经配置以：
将相应第一电压同时施加到所述相应第一存储器单元以同时激活所述相应第一存储器单元；及
与施加所述相应第一电压同时，将相应第二电压同时施加到所述相应第二存储器单元，以同时激活所述相应第二存储器单元，使得所述数据线上的相应部分的电流同时流过所述相应群组，使得所述数据线上的所述电流是所述相应部分的电流的和；且
流过每一相应存储器单元群组的所述相应部分的电流与施加到所述相应群组的所述相应第一存储器单元的所述第一电压与所述相应群组的所述第二存储器单元的所述阈值电压的积成比例。
13.根据权利要求12所述的设备，其中：
所述相应第一存储器单元及所述相应第二存储器单元经配置以模拟神经网络的突触单元；
所述相应第一存储器单元的栅极经配置以接收对应于所述突触单元的输入的信号；
所述相应第二存储器单元的阈值电压对应于所述突触单元的突触权重；且
当所述信号被施加到所述相应第一存储器单元的所述栅极时，所述突触单元能够通过将信号施加到所述相应第二单元的栅极来操作，使得所述相应第一及第二存储器单元耦合到的数据线上的所得电流对应于所述突触单元的输出。
14.根据权利要求12所述的设备，其进一步包括感测电路系统，所述感测电路系统耦合到所述数据线且经配置以：
感测所述数据线上的所述电流；及
将感测到的电流转换成所述感测到的电流的数字表示。
15.根据权利要求14所述的设备，其中所述控制器经配置以：
从所述感测到的电流的所述数字表示产生模拟电压的数字表示；及
从所述设备输出所述模拟电压的所述数字表示。
16.根据权利要求14所述的设备，其中所述控制器经配置以从所述感测到的电流的所述数字表示产生模拟电压的数字表示，且进一步包括经配置以将所述模拟电压的所述数字表示转换成所述模拟电压的模/数转换器。
17.根据权利要求16所述的设备，其中：
所述设备进一步包括耦合到包括与第四存储器单元串联耦合的第三存储器单元的额外存储器单元群组的额外数据线；且
所述控制器经配置以：
将所述模拟电压施加到所述第三存储器单元以激活所述第三存储器单元；
将第三电压施加到所述第四存储器单元以激活所述第四存储器单元，使得所述额外数据线上的电流流过所述第三及第四存储器单元；
其中流过所述第三及第四存储器单元的所述电流与所述模拟电压与所述第四存储器单元的阈值电压的积成比例。
18.一种设备，其包括：
多个串联耦合的存储器单元对，其耦合到数据线；及
感测电路系统，其耦合到所述数据线；且
其中：
所述数据线经配置以对同时流过所述多个对的相应激活的对的相应加权电流进行求和以产生总电流；
每一相应加权电流对应于施加到所述相应激活的对的所述存储器单元中的一者的电压与所述相应激活的对的另一存储器单元的阈值电压的积；且
所述感测电路系统经配置以感测所述总电流并响应于所述总电流产生输出。
19.根据权利要求18所述的设备，其中所述控制器经配置以产生作为由所述感测电路系统产生的所述输出的函数的输出。
20.根据权利要求18所述的设备，其中所述感测电路系统经配置以
响应于所述总电流大于或等于阈值量产生第一逻辑输出；及
响应于所述总电流小于所述阈值量产生第二逻辑输出。
21.根据权利要求18到20中任一权利要求所述的设备，其中所述多个对中的每一者表示实施于包括所述存储器单元的存储器中的神经网络的突触单元。
22.根据权利要求18到20中任一权利要求所述的设备，其中所述多个对中的每一者是模拟乘法器。
CN201980086445.7A 2018-12-28 2019-12-17 经配置以产生用于神经网络的加权输入的存储器单元 Active CN113261062B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/235,066 US10861551B2 (en) 2018-12-28 2018-12-28 Memory cells configured to generate weighted inputs for neural networks
US16/235,066 2018-12-28
PCT/US2019/066740 WO2020139615A1 (en) 2018-12-28 2019-12-17 Memory cells configured to generate weighted inputs for neural networks

Publications (2)

Publication Number Publication Date
CN113261062A true CN113261062A (zh) 2021-08-13
CN113261062B CN113261062B (zh) 2022-07-08

Family

ID=71124376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980086445.7A Active CN113261062B (zh) 2018-12-28 2019-12-17 经配置以产生用于神经网络的加权输入的存储器单元

Country Status (5)

Country Link
US (2) US10861551B2 (zh)
EP (1) EP3903313A4 (zh)
KR (1) KR102409859B1 (zh)
CN (1) CN113261062B (zh)
WO (1) WO2020139615A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240006614A (ko) * 2021-05-07 2024-01-15 블루마인드 인크. 트랜지스터 기반 신경망을 위한 시스템, 방법 및 컴퓨터 디바이스
KR102645354B1 (ko) * 2021-08-17 2024-03-11 서울대학교산학협력단 3차원 적층형 시냅스 스트링 및 이를 이용한 3차원 적층형 시냅스 어레이 및 3차원 적층형 시냅스 스트링의 제조 방법
US11756565B2 (en) 2022-01-25 2023-09-12 Blumind Inc. Analog systems and methods for audio feature extraction and natural language processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201254A (zh) * 2004-12-30 2011-09-28 桑迪士克3D公司 使用多头解码器的多个级对密集型存储器阵列进行分层解码的设备和方法
CN107070824A (zh) * 2016-02-10 2017-08-18 恩智浦美国有限公司 通信接收器均衡器
GB2552014A (en) * 2016-07-07 2018-01-10 Advanced Risc Mach Ltd An artificial neural network
US20180211162A1 (en) * 2017-01-20 2018-07-26 International Business Machines Corporation System, method and article of manufacture for synchronization-free transmittal of neuron values in a hardware artificial neural networks

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040134A (en) 1989-05-26 1991-08-13 Intel Corporation Neural network employing leveled summing scheme with blocked array
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US8766666B2 (en) 2010-06-10 2014-07-01 Micron Technology, Inc. Programmable device, hierarchical parallel machines, and methods for providing state information
US8601013B2 (en) 2010-06-10 2013-12-03 Micron Technology, Inc. Analyzing data using a hierarchical structure
US9430735B1 (en) * 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
US9105330B1 (en) 2012-04-17 2015-08-11 Micron Technology, Inc. Memory devices configured to apply different weights to different strings of memory cells coupled to a data line and methods
WO2016076534A1 (ko) * 2014-11-12 2016-05-19 서울대학교산학협력단 뉴런 디바이스 및 뉴런 디바이스를 포함하는 집적회로
KR20230133409A (ko) * 2016-08-03 2023-09-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템
TWI625681B (zh) 2017-05-11 2018-06-01 國立交通大學 神經網路處理系統
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201254A (zh) * 2004-12-30 2011-09-28 桑迪士克3D公司 使用多头解码器的多个级对密集型存储器阵列进行分层解码的设备和方法
CN107070824A (zh) * 2016-02-10 2017-08-18 恩智浦美国有限公司 通信接收器均衡器
GB2552014A (en) * 2016-07-07 2018-01-10 Advanced Risc Mach Ltd An artificial neural network
US20180211162A1 (en) * 2017-01-20 2018-07-26 International Business Machines Corporation System, method and article of manufacture for synchronization-free transmittal of neuron values in a hardware artificial neural networks

Also Published As

Publication number Publication date
KR20210090722A (ko) 2021-07-20
US20210090656A1 (en) 2021-03-25
KR102409859B1 (ko) 2022-06-16
US10861551B2 (en) 2020-12-08
EP3903313A4 (en) 2022-10-12
EP3903313A1 (en) 2021-11-03
CN113261062B (zh) 2022-07-08
US20200211648A1 (en) 2020-07-02
WO2020139615A1 (en) 2020-07-02
US11437103B2 (en) 2022-09-06

Similar Documents

Publication Publication Date Title
CN110782027B (zh) 用于人工神经网络的差分非易失性存储器单元
US10643705B2 (en) Configurable precision neural network with differential binary non-volatile memory cell structure
US10741258B2 (en) Memory configured to generate a data value from a data line connected to more than one string of series-connected memory cells
US11361216B2 (en) Neural network circuits having non-volatile synapse arrays
CN113261062B (zh) 经配置以产生用于神经网络的加权输入的存储器单元
US11657259B2 (en) Kernel transformation techniques to reduce power consumption of binary input, binary weight in-memory convolutional neural network inference engine
US11620505B2 (en) Neuromorphic package devices and neuromorphic computing systems
TWI783538B (zh) 多階超低功率推理引擎加速器
WO2019147522A2 (en) Neural network circuits having non-volatile synapse arrays
CN110751276A (zh) 在nand存储器阵列中实现具有三值输入和二值权重的神经网络
Lee et al. Novel method enabling forward and backward propagations in NAND flash memory for on-chip learning
CN114222999A (zh) 用于神经网络中的权重更新的存储器元件
US20220366211A1 (en) Dropout in neutral networks using threshold switching selectors in non-volatile memories
Lu et al. NVMLearn: a simulation platform for non-volatile-memory-based deep learning hardware
US11556311B2 (en) Reconfigurable input precision in-memory computing
IT201900000691A1 (it) Celle di memoria configurate per generare input ponderati per reti neurali
KR102511526B1 (ko) 하드웨어 기반 인공 신경망 제공 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant