CN110729011A - 用于类神经网路的存储器内运算装置 - Google Patents

用于类神经网路的存储器内运算装置 Download PDF

Info

Publication number
CN110729011A
CN110729011A CN201910147878.0A CN201910147878A CN110729011A CN 110729011 A CN110729011 A CN 110729011A CN 201910147878 A CN201910147878 A CN 201910147878A CN 110729011 A CN110729011 A CN 110729011A
Authority
CN
China
Prior art keywords
type
memory cells
memory
synapse
memory cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910147878.0A
Other languages
English (en)
Other versions
CN110729011B (zh
Inventor
林榆瑄
王超鸿
李明修
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Macronix International Co Ltd
Original Assignee
Macronix International Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Macronix International Co Ltd filed Critical Macronix International Co Ltd
Publication of CN110729011A publication Critical patent/CN110729011A/zh
Application granted granted Critical
Publication of CN110729011B publication Critical patent/CN110729011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10—Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006—Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C5/00—Details of stores covered by group G11C11/00
    • G11C5/02—Disposition of storage elements, e.g. in the form of a matrix array
    • G11C5/025—Geometric lay-out considerations of storage- and peripheral-blocks in a semiconductor storage device
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C13/00—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00
    • G11C13/0002—Digital stores characterised by the use of storage elements not covered by groups G11C11/00, G11C23/00, or G11C25/00 using resistive RAM [RRAM] elements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2213/00—Indexing scheme relating to G11C13/00 for features not covered by this group
    • G11C2213/70—Resistive array aspects
    • G11C2213/77—Array wherein the memory element being directly connected to the bit lines and word lines without any access device being used

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Memories (AREA)

Abstract

本发明公开了一种用于类神经网路的存储器内运算装置，该存储器内运算装置包括多个突触层。此些突触层包括一第一类型突触层及一第二类型突触层。第一类型突触层包括多个第一类型存储单元，第二类型的突触层包括多个第二类型存储单元。第一类型存储单元相异于第二类型存储单元。第一类型存储单元和第二类型存储单元可以是不同类型的存储器，具有不同的结构、不同的存储器材料及/或不同的读/写算法，任一其中之一可导致稳定性或数据储存准确性的变化。

Description

用于类神经网路的存储器内运算装置
技术领域
本发明是有关于一种存储器内运算装置(in-memory computing device)，特别是涉及一种包括多种类型存储单元的存储器内运算装置。
背景技术
类神经网路(neural network)是一种受到生物神经系统处理信息方式所启发的信息处理方法。随着大型训练数据集合和复杂的学习算法的发展，类神经网路促进了电脑视觉、语音识别和自然语言处理等众多领域的重大进步。
类神经网路中的基本运算单元是神经元(neuron)。神经元接收来自其他神经元或来自外部的输入来计算输出。图1示例说明类神经网路100。类神经网路100包含多层排列的神经元。类神经网路100包括输入神经元(input neurons)的输入层(input layer)102(即提供输入数据的神经元)、隐藏神经元(hidden neurons)的三个隐藏层(hidden layers)106、108、110(即执行运算并从输入神经元传递信息至输出神经元的神经元)及输出神经元(output neurons)的输出层(output layer)104(即提供输出数据的神经元)。相邻层的神经元之间通过突触层(synaptic layers)连接。例如，突触层112连接输入层102及隐藏层106中的神经元，突触层114连接隐藏层106及隐藏层108中的神经元，突触层116连接隐藏层108及隐藏层110的神经元，突触层118连接隐藏层110和输出层104中的神经元。所有的这些连接皆具有相关联的权重。例如，隐藏层106中的神经元122、124、126分别通过权重w1 132、w2134及w3136的连接而连接到隐藏层108中的神经元128。隐藏层108的神经元128的输出可依据来自隐藏层106中的神经元122、124和126的输入(x1、x2和x3)以及连接上的权重w1132、w2134和w3136的函数来运算。该函数可表示如下：
在上述乘积和(sum-of-products)中，每个乘积项是可变输入Xi和权重Wi的乘积。权重Wi对应到的可变输入Xi可能不同。类似地，在隐藏层的其他神经元的输出也能够被计算出来。隐藏层110中的两个神经元的输出作为输出层104中的输出神经元的输入。
类神经网路用以学习出最能代表大数据集合的信息。靠近输入层的隐藏层学习高阶通用模式，而靠近输出层的隐藏层学习更多数据特定模式。训练是类神经网路从训练数据中进行学习的阶段。在训练期间，突触层的连接依据训练期间的结果来分配权重。推论(inference)是一个通过预测来推论/预测输入数据且产生输出数据的阶段。类神经网路的推论准确性为正确预测或推论输入数据的比率。
存储器内运算(In memory computing)是一种方法，存储器内运算装置内的存储单元可用于数据处理和存储器储存。类神经网路可以在存储器内运算装置中实现。用于乘积和函数的权重可以储存在存储器内运算装置的存储单元中。乘积和函数可以是存储器内运算装置中的电路操作，其通过存储单元阵列实现该功能。
存储单元的变动、错误读取和写入操作及其他非理想装置特性将可能导致储存在存储器内运算装置的存储单元权重有所波动。特别是在存储器内运算装置中使用可编程的非易失存储单元(reprogrammable non-volatile memory cells)(例如浮动栅极存储器(floating gate memories)、相变存储器(phase change memories)、电阻式随机存取存储器(resistive RAMs)等)，储存权重的波动可能会导致类神经网路较为不准确的输出数据。因此，需要提供一种具有更高推论准确度的存储器内运算装置。
发明内容
本发明描述了一种集成电路，其包括实现类神经网路的存储器内运算装置(in-memory computing device)。存储器内运算装置具有多个突触层(synaptic layers)。此些突触层包括多个第一类型突触层(first type of synaptic layers)及多个第二类型突触层(second type of synaptic layers)。第一类型突触层包括多个第一类型存储单元(first type of memory cells)，而第二类型突触层包括多个第二类型存储单元(secondtype of memory cells)。相较于第二类型存储单元，第一类型存储单元具有较准确的数据储存及/或更稳定的读/写操作。相较于第二类型存储单元，储存在第一类型存储单元的权重的波动趋势较低。第一类型存储单元与第二类型存储单元在存储单元的结构、存储单元的尺寸及/或在执行读/写操作的算法可以不相同。
在一些实施例中，储存在第一和第二类型存储单元中的权重可以是存储单元的电阻。举例来说，存储单元例如是电阻式随机存取存储器(resistive RAM)、磁性随机存取存储器(magnetic RAM)、铁电随机存取存储器(ferroelectric RAM)和电荷捕获存储器(charge trapping memories)。在一些实施例中，储存的权重可以是储存在存储单元的信息，例如是静态随机存取存储器(static RAM)和动态随机存取存储器(dynamic RAM)中的位“0”和“1”。在一些实施例中，权重的数值可以储存在一列存储单元中，其中每个存储单元表示一二进位数。
第一类型突触层和第二类型突触层可包括具有M列和N行的存储单元阵列。存储单元阵列中的每个存储单元储存权重因子Wmn。阵列中数行存储单元耦接到一第一存取线集合(set of first access lines)，而数列存储单元耦接到一第二存取线集合(set ofsecond access lines)。存储单元阵列可以更包括一解码与驱动电路(decoder anddriver circuitry)及一感测电路(sensing circuitry)及激活函数电路(activationfunction circuit)。解码与驱动电路电性耦接至第一存取线集合及第二存取线集合。感测电路(例如是感测放大器(sense amplifiers))电性耦接至第二存取线集合。
在一些实施例中，第一存取线集合中的第一存取线的信号表示各列的输入Xm。通过感测电路在第二存取线集合中的特定第二存取线上所感测的输出电流可表示通过耦接到特定第二存取线的一行存储单元的权重因子Wmn与输入Xm的乘积和。在一些实施例中，在第一类型突触层或第二类型突触层中的存储器阵列中感测的输出是另一突触层中的存储单元阵列的输入信号。
存储器内运算装置的一些实施例可更包括乘法与累加单元(multiplier andaccumulator unit)。乘法与累加单元可接收储存在第一类型突触层和第二类型突触层的存储单元的权重因子及输入，以估计输入与权重因子的乘积和。
存储器内运算装置的一些实施例还可包括多个第三类型突触层(third type ofsynaptic layer)，第三类型突触层包括一第三类型存储单元(third type ofmemorycells)。第三类型存储单元不同于第一类型存储单元和第二类型存储单元。
本发明还提供了如本文所述的用于制造存储器内运算装置的方法。
为了对本发明的上述及其他方面有更佳的了解，下文特举实施例，并配合所附图式详细说明如下。
附图说明
本技术的实施例搭配图1～图12进行详细说明。
图1示例说明类神经网路。
图2绘示具有第一类型突触层和第二类型突触层的存储器内运算装置。
图3A和图3B说明第一类型存储单元的电阻值。
图4A、图4B及图4C说明第二类型存储单元的电阻值。
图5绘示具有第一类型突触层和第二类型突触层的存储器内运算装置的简化芯片方块图的第一例。
图6绘示具有两个第一类型突触层和两个第二类型突触层的存储器系统。
图7绘示图6的第一类型突触层中的第一类型存储单元阵列。
图8绘示图6的第一类型突触层中的第一类型存储单元阵列与第二类型突触层中的第二类型存储单元阵列。
图9绘示储存权重的数值的一列存储单元。
图10绘示包括存储器内运算装置及乘法与累加单元的集成电路的简化芯片方块图(存储器内运算装置具有第一类型突触层和第二类型突触层)。
图11说明具有第一类型突触层和第二类型突触层的存储器内运算装置的推论准确性。
图12绘示根据本技术的制造集成电路的存储器内运算装置的简化流程图。
【符号说明】
100：类神经网路
102、106、108、110：隐藏层
104：输出层
112、114、116、118：突触层
200、502、600：存储器系统
210、220、230：第一类型突触层
240、250、260：第二类型突触层
302、402：低电阻扩展
303、404：高电阻扩展
306、406：第一电阻扩展
308、408：第二电阻扩展
310、410：第三电阻扩展
312、412：第四电阻扩展
416：电阻范围
500、1000：存储器内运算装置
503：总线
504：控制器
505：数据总线
512：偏压配置状态机
590：缓冲电路
593：输入/输出电路
610、620：第一类型突触层
611、621：第一类型存储单元阵列
612、761、762、763、781、782、841、842、843、853、854、
901：第一存取线集合
613、771、772、851、852、863、864、865、911、912、913：第二存取线集合
615、625、635、645：列译码器/驱动器
616、626、636、646：行译码器/驱动器
617、627、637、647：感测电路
618、628、638、648：数据缓冲器
614、624、634、644：激活函数电路
630、640：第二类型突触层
631、641：第二类型存储单元阵列
711、712、713、721、722、723、731、732、741、742、751、
752：第一类型存储单元
811、812、821、822、831、832、871、872、873、881、882、
883：存储单元
861、862：第三存取线
900：第一类型存储单元的列存储单元的一部分
921、922、923：第一类型存储单元
1010：乘法与累加单元
1210、1220、1230：步骤
具体实施方式
本技术的实施例搭配图1～图12进行详细说明。
参考图1，类神经网路(neural network)100的推论准确性(inference accuracy)可取决于储存在一些突触层(synaptic layers)中的权重而非储存在其他突触层中的权重。例如，储存权重的准确性在靠近输入层(input layer)102的突触层比靠近输出层(output layer)104的突触层更为重要。换句话说，相较于靠近输出层104的突触层中的权重波动(weight fluctuations)，靠近输入层102的突触层中的权重波动更容易造成推论不准确。对靠近输入层的突触层中，减少其权重波动或增加其权重精确性可提高类神经网路的整体推论准确性。
图2为存储器内运算装置(in-memory computing device)的存储器系统200的示例性简化图。存储器系统200包括多个第一类型突触层(firsttype of synaptic layers)(例如突触层210、220、230)及多个第二类型突触层(second type of synaptic layers)(例如突触层240、250、260)。为了清楚起见，图2仅绘示出第一类型突触层和第二类型突触层的三层。然而，第一类型突触层的一或多个与第二类型突触层中的一个或多个的任何组合可用于实现本文描述技术的存储器系统中。
存储器系统200中的第一类型突触层包括第一类型存储单元(first type ofmemory cells)，其可用于储存靠近输入层的权重。存储器系统200中的第二类型突触层包括第二类型存储单元(second type of memory cells)，其可用于储存靠近输出层的权重。
相较于第二类型存储单元的存储单元，通过在第一类型突触层中使用第一类型存储单元可增加类神经网路的总体推论准确性，第一类型存储单元可以储存更准确的权重，或者使其不易于产生权重波动。相较于第二类型存储单元的存储单元，第一类型存储单元具有更准确的数据储存籍/或更稳定的读/写操作。就存储单元类型、存储单元结构或存储单元尺寸而言，第一类型存储单元可以不同于第二类型存储单元。第一类型存储单元也较不容易产生装置变化和操作失败，例如读取或写入操作失败。
第一类型存储单元的存储单元可以是易失性存储单元(volatile memory cells)(如静态随机存取存储器(SRAM)和动态随机存取存储器(DRAM))或非易失性存储单元(non-volatile memory cells)(如掩模式只读存储器(mask ROM)、熔丝只读存储器(fuse ROM)和电阻式随机存取存储器(resistive RAM))。第一类型存储单元的存储单元可以是只读存储单元(read-only memory cells)(如掩模式ROM、熔丝ROM)或可重新编程的存储单元(reprogrammable memory cells)(如SRAM、DRAM和电阻式RAM)。在一些实施例中，储存在第一类型存储单元中的权重可以是储存在存储单元中的数据，例如是以SRAM和DRAM储存位“0”和“1”。储存在SRAM或DRAM单元中的权重的准确性可以由连接到存储单元的感测放大器来处理。在一些实施例中，储存在第一类型存储单元中的权重可通过感测存储单元的电阻来获得，存储单元例如是电阻式RAM、浮动栅极金属氧化物半导体场效晶体管(floatinggate MOSFETs)、介电电荷捕获装置(dielectric charge trapping devices)(如SONOS、BE-SONOS、TANOS、MABE-SONOS)和相变存储器(phase change memories)。
相较于第一类型存储单元，第二类型存储单元更易于产生权重波动、装置变化和操作失败。第二类型存储单元可以是非易失性存储单元，例如电阻式RAM、浮动栅极MOSFET、介电电荷捕获器件(如SONOS、BE-SONOS、TANOS、MA BE-SONOS)、相变存储器、铁电随机存取存储器(ferroelectric RAMS)和磁性随机存取存储器(magnetic RAM)。第二类型存储单元可以是可重新编程的存储单元，使得在训练类神经网路或微调类神经网路时，储存在第二类型存储单元中的权重可以被改变，以提高的推论准确性。
在一些实施例中，储存在第二类型存储单元中的权重可以通过感测存储单元的电阻来获得，存储单元例如是电阻式RAM、浮动栅极MOSFET、介电电荷捕获器件的存储单元(如SONOS、BE-SONOS、TANOS、MABE-SONOS)和相变存储器等存储单元。
图3A和图4A分别绘示第一类型存储单元和第二类型存储单元的电阻值的分布。图3A和图4A中的存储单元具有两种电阻状态。在图3A中的第一类型存储单元具有低电阻扩展(low resistance spread)302和高电阻扩展(high resistance spread)303。在图4A中的第二类型存储单元也具有低电阻扩展402和高电阻扩展404。第一类型存储单元的电阻扩展比第二类型存储单元的电阻扩展(resistance spreads)窄。相较于图4B中的第二类型存储单元，在图3A中的第一类型存储单元较不易产生电阻漂移(resistance drift)和噪声(如随机电报噪声(random telegraph noises)、热噪声(thermal noises)等)。相较于第一类型存储单元，第二类型存储单元较易产生电阻漂移和热噪声。对第二类型存储单元重新编成为低电阻(low resistance)可能会在低电阻扩展中的任何地方产生电阻。换句话说，较不准确的权重可以储存在第二类型存储单元中。
在第一类型存储单元的一些实施例中，储存的权重可以是储存在存储单元的二位或更多位数据，例如是储存在SRAM、DRAM和只读存储器(ROM)中的位“0”和“1”。
图3B和图4B分别说明第一类型存储单元和第二类型存储单元的电阻值，其在每个存储单元储存两个或多位的数据。这种存储单元具有多个电阻层(resistance levels)，如图3B中第一类型存储单元的第一电阻扩展(first resistance spread)306、第二电阻扩展(second resistance spread)308、第三电阻扩展(third resistance spread)310和第四电阻扩展(fourth resistance spread)312及图4B中第二类型存储单元的第一电阻扩展406、第二电阻扩展408、第三电阻扩展410和第四电阻扩展412。相较于第二类型存储单元，具有多个电阻状态的第一类型存储单元类似于具有两个电阻状态的第一类型存储单元，也不易于发生电阻漂移和噪声。第二类型存储单元可具有如图4C所示的电阻范围(range ofresistance)416。
在一些实施例中，第一类型存储单元和第二类型的存储单元可以包括不同的存储单元，即第一类型存储单元的结构不同于第二类型存储单元的结构。第一类型存储单元可以包括易失性存储单元(如SRAM和DRAM)，第二类型存储单元可以包括非易失性存储单元(如电阻式RAM)。在一些实施例中，第一类型存储单元可以包括只读存储单元(如熔丝ROM)，第二类型存储单元可以包括可重新编程的存储单元(如电阻式RAM、相位追踪存储器、电荷捕获存储器)。
在存储器内运算(in-memory computing)的一些实施例中，第一类型存储单元和第二类型存储单元可包括相同类型的存储器(如电阻式RAM)，第一类型存储单元的尺寸可以大于第二种类型存储单元。较大的第一类型存储单元将比第二类型存储单元有较少的噪声，其导致第一类型存储单元中较少的权重波动。在一些实施例中，第一类型存储单元的制造过程(fabrication process)可能不同于第二类型存储单元的制造过程，其导致第一类型存储单元比第二类型存储单元具有较少的装置变化。在一些实施例中，用于第一类型存储单元中数据储存的存储器材料可以不同于第二类型存储单元中使用的存储器材料。例如，第一类型存储单元可以是以HfOx作为材料的电阻式随机存取存储器(resistiveRAMs)，而第二类型存储单元单元可以是以CoOx作为材料的电阻式随机存取存储器(resistive RAMs)。
在一些实施例中，可以利用不同算法来对第一类型存储单元及第二类型存储单元读取或写入数据。例如，当以储存电荷捕获存储器的多个位作为第一类型存储单元和第二类型存储单元时，增量步阶脉冲编程(incremental-step-pulse programming，ISPP)可以被用来收缩第一类型存储单元的阈值电压分布(threshold voltage distribution)和电阻扩展，单脉冲编程(single pulse programming)则可用于第二类型存储单元。
在一些实施例中，存储器系统200可包括多个第三类型突触层(third type ofsynaptic layer)。第三类型突触层可包括第三类型存储单元(third type of memorycells)，第三类型存储单元可用于储存权重至类神经网路的中间突触层(middle synapticlayers)。储存在第三类型存储单元中的权重相较于第一类型存储单元中的权重可以较不准确，但比储存在第二类型存储单元中的权重更准确。在一些实施例中，存储器系统200可包括任何数量类型的存储单元，每种类型的存储单元具有不同程度的权重波动。
图5绘示实施类神经网路的存储器内运算装置500的简化芯片方块图的第一范例。存储器内运算装置500包括存储器系统502。存储器系统502包括多个第一类型突触层和多个第二类型突触层。存储器系统502中第一类型突触层的第一类型存储单元储存权重于输入层附近的突触层。第二类型突触层的第二类型存储单元储存权重于输出层附近的突触层。第一类型突触层和第二类型突触层的第一类型存储单元和第二类型存储单元的电路操作执行类神经网路输入数据的推论并产生输出数据。
输入/输出电路(Input/output circuits)593接收从外部至存储器内运算装置500的输入数据(input data)。输入/输出电路593也驱动输出数据至存储器内运算装置500的外部。输入/输出数据和控制信号通过数据总线(data bus)505移动至输入/输出电路593、存储器内运算装置500上的控制器504和输入/输出端口(input/output ports)或运算装置500中其他内部或外部数据源(data sources internal or external)之间，例如通用处理器(general purpose processor)或专用应用电路(special purpose applicationcircuitry)，或提供由存储器系统502支持的系统芯片功能的模组。缓冲电路(Buffercircuits)590可耦接到输入/输出电路593和控制器(controller)504以储存输入/输出数据和控制信号。
控制器504可以包括用于选择性地将编程电压(program voltages)施加到第一类型突触层中的第一类型存储单元以及在存储器系统502中第二类型突触层的第二类型存储单元的电路，以响应在缓冲电路590中的输入数据和控制信号。在图5所示的范例中，控制器504使用偏压配置状态机(bias arrangement state machine)512来控制通过存储器系统502的电压源所供应的供应电压，以用于乘积和运算(sum-of-products operations)、用于第一类型存储单元的第一写入算法(first write algorithm)和用于第二类型存储单元的第二写入算法(second write algorithm)的写入运算(write operations)、和用于第一类型存储单元的第一读取算法(first read algorithm)与用于第二类型存储单元的第二读取算法(second read algorithm)的读取操作(read operations)。控制器504耦接到缓冲电路590和存储器系统502。控制器504可以使用已知技术的专用逻辑电路(special-purpose logic circuitry)来实现。在另一代实施例中，控制器504包括通用处理器(general-purpose processor)，通用处理器可以在同一集成电路上实现，集成电路执行计算机编程(computer program)以控制装置的操作。在其他实施例中，专用逻辑电路和通用处理器的组合可用于实现控制器504。偏压配置状态机512控制如本文所述的偏压配置供应电压。
图6绘示了具有两个第一类型突触层610和620以及两个第二类型突触层630和640的存储器系统600。第一类型突触层610包括第一类型存储单元阵列(array of memorycells of first type)611。为清楚起见，在图6中的第一类型突触层610的突触层中仅绘示了一个第一类型存储单元阵列。然而，第一类型突触层可具有多个第一类型存储单元阵列。第一类型突触层610也包括耦接到第一类型存储单元的各列中的第一类型存储单元的一第一存取线集合(a set of first access lines)612，以及列译码器/驱动器(row decoder/drivers)615。列译码器/驱动器615可接收来自图5中控制器504的输入或其他突触层，以及表示第一类型存储单元的各列输入的第一存取线集合中的第一存取线上的信号。
第一类型突触层610还包括耦接到第一类型存储单元的各行中的第一类型存储单元的第二存取线集合(a set of second access lines)613，以及行译码器/驱动器(column decoder/drivers)616。感测电路集合617(set of sensing circuits)(例如感测放大器)通过行译码器/驱动器616耦接到第二存取线集合中的各第二存取线。在一些实施例中，该感测电路集合617可直接耦接到第二存取线集合(set of second access line)中的第二存取线。对于使用第一类型存储单元阵列的乘积和运算，感测电路集合617可以感测来自第一类型存储单元阵列611的第二存取线613的电流。在第二存取线集合中的特定第二存取线上所感测的电流可以表示第一存取线的输入与储存在第一类型存储单元阵列611的权重因子的乘积和。来自第二存取线的感测数据(Sensed data)提供至激活函数电路(activation function circuit)614进行非线性数据运算。运算后的感测数据会提供至数据缓冲器(data buffer)618。数据缓冲器618可以储存来自第一类型存储单元阵列611的输出。
来自外部来源的存储单元地址(Memory cell addresses)和输入数据通过总线(bus)503从控制器504提供至第一类型存储单元阵列611的列译码器/驱动器(rowdecoder/drivers)615。来自其他突触层的输入数据也可以提供给第一类型存储单元阵列611的列译码器/驱动器615。对于存储器读取操作(memory read operations)，来自感测电路(sensing circuits)617的感测数据被提供至激活函数电路(activation functioncircuit)614。运算后的感测数据会提供至数据缓冲器618，数据缓冲器618通过总线503耦接到控制器504。
类似于第一类型突触层610，第一类型突触层620包括第一类型存储单元阵列621、列译码器/驱动器625、行译码器/驱动器626、一组感测电路集合627和数据缓冲器628。
存储器系统600还包括第二类型突触层630和640。第二类型突触层630包括第二类型存储单元阵列631、列译码器/驱动器635、行译码器/驱动器636、一组感测电路集合637和数据缓冲器638。第二类型突触层640包括第二类型存储单元阵列641、列译码器/驱动器645、行译码器/驱动器646、一组感测电路集合647和数据缓冲器648。
第一类型存储单元和第二类型存储单元包括相变存储器、电阻式RAM、铁电RAM和磁性RAM，第一存取线可以是位线(bit lines)，第二存取线可以是字线(word lines)，反之亦然。对于电荷捕获存储器，第一存取线可以是字线，第二存取线可以是位线。电荷捕获存储器还可以具有第三存取线(third access lines)，例如电源线(source lines)。
图7绘示了图6中两个第一类型突触层610和620的第一类型存储单元阵列611和621的范例。第一类型存储单元阵列611和621可以是电阻式RAM，其中存储单元的电阻表示储存在存储单元的权重。第一类型存储单元阵列包括M列和N行存储单元。阵列中每个存储单元表示单元的权重因子Wmn。第一类型存储单元的存储单元阵列611包括两列和三行。第一类型存储单元711、712、713、721、722和723的存储单元分别储存权重w11、w12、w13、w21、w22和w23。
一第二存取线集合(例如791、792、793)耦接到第一类型存储单元的各行中的第一类型存储单元。一第一存取线集合(例如781、782)耦接到第一类型存储单元的各列中的第一类型存储单元。第一存取线集合(例如781、782)耦接到列译码器/驱动器615，并且第二存取线集合耦接到行译码器/驱动器616。在第一存取线集合中的第一存取线上的信号表示各列输入x1、x2。如图6所示，列译码器/驱动器615施加一输入x1在第一存取线781上以及施加一输入x2在第一存取线782上。
感测电路617通过行译码器/驱动器616耦接到第二存取线集合中的各第二存取线。在第二存取线集合中的特定第二存取线(例如，791、792、793)处的电流感测信号(例如y1、y2、y3)可代表由各个权重因子的输入的乘积和。感测信号y1、y2、y3可以储存在数据缓冲器618中。储存的感测信号可以被发送到存储器系统600的第二类型突触层620的第二类型存储单元阵列621中。
第一类型存储单元阵列621包括三列和两行。阵列中的每个存储单元表示单元的权重因子Wmn。第一类型存储单元的存储单元731、732、741、742、751和752分别储存权重w31、w32、w41、w42、w51和w52。
一第二存取线集合(例如771、772)耦接到存储单元的各列中的存储单元。一第一存取线集合(例如761、762和763)耦接到存储单元的各列中的存储单元。第一存取线集合(例如761、762、763)耦接到列译码器/驱动器625，并且第二存取线集合耦接到行译码器/驱动器626。列译码器/驱动器625接收来自第一类型突触层610的突触层中的第一类型存储单元的存储单元阵列611的输入信号y1′、y2′、y3′，并将其记录在第一存取线集合中。如图6所示，列译码器/驱动器625施加输入y1′在第一存取线761上、施加输入信号y2′在第一存取线762上，以及施加输入信号y3′在第一存取线763上。
感测电路627通过行译码器/驱动器626耦接到第二存取线集合中的各第二存取线。在第二存取线集合中的特定第二存取线(例如771、772)处的电流感测信号(例如z1、z2)可代表由各个权重因子的输入的乘积和。感测信号z1、z2可以储存在数据缓冲器628中。储存的感测信号可以被发送到存储器系统600的第二类型突触层630的第二类型存储单元阵列631中或图5的控制器504。
图8绘示了采电荷捕获存储器的第一类型突触层620的第一类型存储单元和采电阻式随机存取存储器的第二类型突触层630的第二类型存储单元。
第一类型存储单元621的存储单元阵列包括第一类型存储单元的三列和两行，其中一第三存取线集合(例如电荷捕获存储器的源极线)耦接第一类型存储单元的各行中的第一类型存储单元。阵列中第一类型存储单元可各自包括具有电压阈值的晶体管，表示单元的权重因子Wmn。存储单元811、812、821、822、831和832分别储存权重w31、w32、w41、w42、w51和w52。
一第二存取线集合(例如851、852)耦接到第一类型存储单元的各行中的第一类型存储单元。一第一存取线集合(例如841、842和843)耦接到第一类型存储单元的各列中的第一类型存储单元。第一存取线集合(例如841、842和843)耦接到列译码器/驱动器625。第一存取线集合中的第一存取线上的信号可以表示各列的输入信号y1′、y2′、y3′。如图8所示，列译码器/驱动器625施加输入y1′在第一存取线841上，列译码器/驱动器625施加输入信号y2′在第一存取线842上和列译码器/驱动器625施加输入信号y3′在第一存取线843上。第二存取线集合(例如851、852)耦接到第一类型存储单元的各行中的晶体管栅极。在第二存取线集合中的第二存取线上的信号可以选择第一类型存储单元的各行。
第三存取线集合(例如861、862)耦接到行译码器/驱动器626。感测电路627耦接到第三存取线集合中的各第三存取线。在第三存取线集合中的特定第二存取线(例如861、862)处的电流感测信号(例如z1、z2)可以表示由各个权重因子的输入的乘积和。感测信号z1、z2可以储存在数据缓冲器628中。储存的感测信号z1、z2可以被发送到存储器系统600的第二类型突触层630的第二类型存储单元阵列631中。
第二类型存储单元的存储单元阵列631包括两列和三行电阻RAM。阵列中每个第二类型存储单元表示单元的权重因子W。存储单元871、872、873、881、882和883分别储存权重w71、w72、w73、w81、w82和w83。
一第二存取线集合(例如863、864和865)耦接到存储单元的各行中的存储单元。一第一存取线集合(例如853、854)耦接到存储单元的各列中的存储单元。第一存取线集合(例如853、854)耦接到列译码器/驱动器635，并且第二存取线集合(例如863、864和865)耦接到行译码器/驱动器636。列译码器/驱动器635从第一类型突触层610中第一类型存储单元的存储单元阵列621接收输入信号z1′、z2′，并将其施加在第一存取线集合中的第一存取线上。输入信号z1’施加在第一存取线853上，并且输入信号z2′施加在第一存取线854上。
在第二存取线集合中的特定第二存取线(例如863、864、865)处的电流感测信号(例如a1、a2、a3)可以表示由各个权重因子的输入的乘积和。感测信号a1、a2、a3可以储存在数据缓冲器638中。
权重的代表数字也可以储存在第一类型存储单元阵列中。图9示绘示了第一类型存储单元900的列存储单元(row of memory cells)的一部分，其储存了权重的代表数字w1、w2、w3。第一类型存储单元耦接到第一存取线901和第二存取线911、912和913。第一类型存储单元921、922和923的三个存储单元具有两个电阻状态，低电阻状态(low resistancestate)表示位“0”和表示位“1”的高电阻状态(high resistance state)。储存在第一类型存储单元921中的权重w1、储存在第一类型存储单元922中的权重w2和储存在第一类型存储单元923中的权重w3表示数字权重展示的第一数字(first digit)、第二数字(seconddigit)和第三数字(third digit)。输入x施加在第一存取线901上。在第二存取线集合中的特定第二存取线(例如911、912、913)处的电流感测信号(例如y1、y2、y3)可以表示输入x和数字权重w1、w2、w3的乘积和。
图10绘示了实现类神经网路的存储器内运算装置1000的第二示例的简化芯片方块图。类似于图5中的存储器内运算装置500，存储器内运算装置1000包括存储器系统502，该存储器系统502包括多个第一类型突触层、多个第二类型突触层、输入/输出电路593、缓冲电路590、控制器504和偏压配置状态机512。此外，存储器内运算装置1000包括乘法与累加单元(multiplier and accumulator unit)1010。
存储器系统502的第一类型突触层中第一类型存储单元储存权重在输入层附近的类神经网路的突触层。第二类型突触层中的第二类型存储单元储存权重在类神经网路的输出层附近的突触层。乘法与累加单元1010利用从存储器内运算装置外部来源接收的输入数据和储存在第一类型存储单元与第二类型存储单元的权重来执列乘积和运算。乘法与累加单元1010可以是通用处理器或专用应用电路，或者是提供芯片上系统功能的模组。
控制器504可更包括用于提供储存在第N个突触层权重的存储单元位址至存储器系统502中的列译码器和行译码器以及将第N个突触层输入提供至乘法与累加单元1010的电路。乘法与累加单元1010从存储器系统502接收第N个突触层所储存的权重，以计算乘积和。乘法与累加单元向控制器504提供乘积和，以作为第N个突触层的输出。第N个突触层输出可以用作第N+1个突触层输入，或者输出可以是类神经网路的最终输出。
图11绘示了总共具有九个突触层的存储器内运算装置的推论准确性。前N个突触层是具有SRAM装置的第一类型突触层，以作为第一类型存储单元，其余的N-9突触层是具有电阻式RAM装置的第二类型突触层，以作为第二类型存储单元。当所有突触层都是第一类型突触层时，推论准确性为90.94％。推论准确性由分类10,000个测试图像数据后的平均准确性来决定。当所有突触层都是第二类型突触层时，推论准确性为16.73％。当存在一个第一类型突触层和八个第二类型突触层时，推论准确性为84.45％。对于一个额外的第一类型突触层，推论准确度增加到87.78％。当所有突触层都是第一类型突触层时，将第一类型突触层数量增加到四个提高的推论准确性。
图12是依据本技术而用于制造集成电路装置中的存储器内运算装置的简化流程图。在步骤1210中，包含第一类型存储单元的多个第一类型突触层被形成(例如图6中的第一类型突触层610、620)。在步骤1220中，包含第二类型存储单元的多个第二类型突触层被形成(例如图6中的第二类型突触层630、640)
第一类型存储单元比第二类型存储单元更不易于出现权重波动。在一些实施例中，第一类型存储单元的制造过程可以不同于第二类型存储单元的制造过程，与第二类型存储单元相比，第一类型存储单元具有较少的装置变化性。
在存储器内运算装置的一些实施例中，第一类型存储单元和第二类型存储单元可包括相同类型的存储单元(例如电阻式RAMs)，以及第一类型存储单元的尺寸可以大于第二类型存储单元，较大的第一类型存储单元将比第二类型存储单元有较少的噪声，其导致第一类型存储单元中较少的权重波动。
在一些实施例中，第一类型存储单元和第二类型存储单元可包括不同的存储单元，即第一类型存储单元的结构不同于第二类型存储单元的结构。第一类型存储单元可包括易失性存储单元(例如SRAM和DRAM)，并且第二类型存储单元可包括非易失性存储单元(例如电阻式RAM)。在一些实施例中，第一类型存储单元可包括只读存储单元(例如熔丝ROM)，而第二类型存储单元可包括可重新编程的存储单元(例如电阻式RAM)。
第一类型存储单元可以是易失性存储单元(例如SRAM和DRAM)或非易失性存储单元(例如掩模式ROM、熔丝ROM和电阻式RAM)。第一类型存储单元可以是只读存储单元(例如掩模式ROM、熔丝ROM)或可重新编程的存储单元(例如SRAM、DRAM和电阻式RAM)。在一些实施例中，储存在第一类型存储单元的权重可以是存储单元的电阻，例如电阻式RAM、浮动栅极MOSFET、介电电荷捕获装置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相变存储器等存储单元。在一些实施例中，储存的权重可以是储存在存储单元中的两个或更多位的信息，例如SRAM、DRAM和ROM中的位“0”和“1”。
第二类型存储单元可以是非易失性存储单元，例如电阻式RAM，浮动栅极MOSFET、介电电荷捕获装置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)、相变存储器、铁电RAMS和磁性RAMs。在一些实施例中，储存在第二类型存储单元的权重可以是存储单元的电阻，例如像是电阻式RAM、浮动栅极MOSFET、介电电荷捕获装置(例如SONOS、BE-SONOS、TANOS、MA BE-SONOS)和相变存储器等存储单元。
在步骤1330，支持存储器内运算装置的周边电路(peripheral circuitries)被形成。周边电路可以是列译码器/驱动器(例如图6中的列译码器/驱动器615、625、635、645)、行译码器/驱动器(例如图6中的行译码器/驱动器616、626、636、646)、感测电路(例如图6中的感测电路617、627、637、647)和缓冲电路(例如图6中的数据缓冲器618、628、638、648)。周边电路也可以包括控制器(例如图5中的控制器504)，以及乘法与累加单元(例如，图10中的单元1010)。控制器也可以包括在第一类型存储单元中利用第一写入算法和在第二类型存储单元中利用第二写入算法来执行写入操作的电路。控制器也可以包括在第一类型存储单元中利用第一读取算法和在第二类型存储单元中利用第二读取算法来执行读取操作的电路。
综上所述，虽然本发明已以实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中普通技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围随附的权利要求范围所界定为准。

Claims (10)

1.一种装置，包括：
多个突触层，这些突触层的至少其中之一为一第一类型突触层，该第一类型突触层包含多个第一类型存储单元，这些突触层的至少其中之一为一第二类型突触层，该第二类型突触层包含多个第二类型存储单元，这些第一类型存储单元不同于这些第二类型存储单元。
2.根据权利要求1所述的装置，包括一周边电路，该周边电路在这些第一类型存储单元中以一第一写入算法来执行写入操作，该周边电路在这些第二类型存储单元中以一第二写入算法来执行写入操作，该第一写入算法不同于该第二写入算法。
3.根据权利要求1所述的装置，其中这些第一类型存储单元为只读存储单元，这些第二类型存储单元为可重复编程存储单元。
4.根据权利要求1所述的装置，其中这些第一类型存储单元为易失性存储单元，这些第二类型存储单元为非易失性存储单元。
5.根据权利要求1所述的装置，其中这些第一类型突触层和这些第二类型突触层的至少其中之一包括：
一存储单元阵列，具有M列和N行存储单元，该存储单元阵列中的各该存储单元储存一权重因子；
一第一存取线集合，耦接在这些存储单元的各行；以及
一第二存取线集合，耦接在这些存储单元的各列。
6.根据权利要求5所述的装置，其中表示多个输入的多个信号记载在该第一存取线集合的多个第一存取线上；在这些第二存取线集合中的特定的一第二存取线上感测到的一电流为储存在耦接在特定的一第二存取线的特定的一行存储单元中的这些权重因子与这些输入的乘积和。
7.根据权利要求5所述的装置，其中这些第一类型突触层及这些第二类型突触层的至少其中之一的乘积和为这些第一类型突触层及这些第二类型突触层的另一的输入。
8.一种制造装置的方法，包括：
形成多个突触层，这些突触层的至少其中之一为一第一类型突触层，该第一类型突触层包含多个第一类型存储单元，这些突触层的至少其中之一为一第二类型突触层，该第二类型突触层包含多个第二类型存储单元，这些第一类型存储单元不同于这些第二类型存储单元。
9.根据权利要求8所述的方法，更包括一周边电路在这些第一类型存储单元以一第一写入算法来执行写入操作，该周边电路在这些第二类型存储单元中以一第二写入算法来执行写入操作，该第一写入算法不同于该第二写入算法。
10.根据权利要求9所述的方法，该周边电路还在这些第一类型存储单元中以一第一读取算法执行读取操作，该周边电路还在这些第二类型存储单元中以一第二读取算法来执行读取操作，该第一读取算法不同于该第二读取算法。
CN201910147878.0A 2018-07-17 2019-02-27 用于类神经网路的存储器内运算装置 Active CN110729011B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862698982P 2018-07-17 2018-07-17
US62/698,982 2018-07-17
US16/224,602 2018-12-18
US16/224,602 US11138497B2 (en) 2018-07-17 2018-12-18 In-memory computing devices for neural networks

Publications (2)

Publication Number Publication Date
CN110729011A true CN110729011A (zh) 2020-01-24
CN110729011B CN110729011B (zh) 2021-07-06

Family

ID=69163107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910147878.0A Active CN110729011B (zh) 2018-07-17 2019-02-27 用于类神经网路的存储器内运算装置

Country Status (3)

Country Link
US (1) US11138497B2 (zh)
CN (1) CN110729011B (zh)
TW (1) TWI699711B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11531898B2 (en) * 2019-05-16 2022-12-20 International Business Machines Corporation Training of artificial neural networks
US11183266B2 (en) * 2019-06-26 2021-11-23 Micron Technology, Inc. Apparatuses and methods for repairing defective memory cells based on a specified error rate for certain memory cells
TWI789589B (zh) * 2020-02-04 2023-01-11 旺宏電子股份有限公司 脈衝神經網路電路及其運作方法
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
WO2022047422A1 (en) * 2020-08-31 2022-03-03 Botimer Jacob Inter-layer communication techniques for memory processing unit architectures
US20240274193A1 (en) * 2023-02-11 2024-08-15 NEO Semiconductor, Inc. 3d cell and array structures

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718994A (zh) * 2015-07-29 2016-06-29 上海磁宇信息科技有限公司 细胞阵列计算系统
CN105789139A (zh) * 2016-03-31 2016-07-20 上海新储集成电路有限公司 一种神经网络芯片的制备方法
US20180174026A1 (en) * 2016-12-20 2018-06-21 Michael I. Davies Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2619663C3 (de) 1976-05-04 1982-07-22 Siemens AG, 1000 Berlin und 8000 München Feldeffekttransistor, Verfahren zu seinem Betrieb und Verwendung als schneller Schalter sowie in einer integrierten Schaltung
US4987090A (en) 1987-07-02 1991-01-22 Integrated Device Technology, Inc. Static ram cell with trench pull-down transistors and buried-layer ground plate
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
JP3073645B2 (ja) 1993-12-27 2000-08-07 株式会社東芝 不揮発性半導体記憶装置およびその動作方法
US7089218B1 (en) 2004-01-06 2006-08-08 Neuric Technologies, Llc Method for inclusion of psychological temperament in an electronic emulation of the human brain
US6107882A (en) 1997-12-11 2000-08-22 Lucent Technologies Inc. Amplifier having improved common mode voltage range
US6960499B2 (en) 1998-02-24 2005-11-01 Texas Instruments Incorporated Dual-counterdoped channel field effect transistor and method
US6313486B1 (en) 2000-06-15 2001-11-06 Board Of Regents, The University Of Texas System Floating gate transistor having buried strained silicon germanium channel layer
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6703661B2 (en) 2001-12-27 2004-03-09 Ching-Yuan Wu Contactless NOR-type memory array and its fabrication methods
JP4620943B2 (ja) 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
US7057216B2 (en) 2003-10-31 2006-06-06 International Business Machines Corporation High mobility heterojunction complementary field effect transistors and methods thereof
US6906940B1 (en) 2004-02-12 2005-06-14 Macronix International Co., Ltd. Plane decoding method and device for three dimensional memories
US20050287793A1 (en) 2004-06-29 2005-12-29 Micron Technology, Inc. Diffusion barrier process for routing polysilicon contacts to a metallization layer
US7372753B1 (en) 2006-10-19 2008-05-13 Unity Semiconductor Corporation Two-cycle sensing in a two-terminal memory array having leakage current
JP4252110B2 (ja) 2007-03-29 2009-04-08 パナソニック株式会社 不揮発性記憶装置、不揮発性記憶素子および不揮発性記憶素子アレイ
KR20090037690A (ko) 2007-10-12 2009-04-16 삼성전자주식회사 비휘발성 메모리 소자, 그 동작 방법 및 그 제조 방법
US8000151B2 (en) 2008-01-10 2011-08-16 Micron Technology, Inc. Semiconductor memory column decoder device and method
US8860124B2 (en) 2009-01-15 2014-10-14 Macronix International Co., Ltd. Depletion-mode charge-trapping flash device
JP5462490B2 (ja) 2009-01-19 2014-04-02 株式会社日立製作所 半導体記憶装置
JP5317742B2 (ja) 2009-02-06 2013-10-16 株式会社東芝 半導体装置
US8203187B2 (en) 2009-03-03 2012-06-19 Macronix International Co., Ltd. 3D memory array arranged for FN tunneling program and erase
US9099181B2 (en) 2009-08-19 2015-08-04 Grandis, Inc. Non-volatile static ram cell circuit and timing method
JP2011065693A (ja) 2009-09-16 2011-03-31 Toshiba Corp 不揮発性半導体記憶装置
US8275728B2 (en) 2009-11-05 2012-09-25 The United States Of America As Represented By The Secretary Of The Air Force Neuromorphic computer
US8311965B2 (en) 2009-11-18 2012-11-13 International Business Machines Corporation Area efficient neuromorphic circuits using field effect transistors (FET) and variable resistance material
TWI427636B (zh) 2009-11-27 2014-02-21 Macronix Int Co Ltd 於一記憶積體電路上進行抹除操作之方法與裝置
EP2532005A4 (en) 2010-02-07 2016-06-22 Zeno Semiconductor Inc SEMICONDUCTOR MEMORY DEVICE HAVING AN ELECTRICALLY FLOATING BODY TRANSISTOR, SEMICONDUCTOR MEMORY DEVICE HAVING A VOLATILE AND NON-VOLATILE FUNCTION, AND METHOD OF OPERATION THEREOF
US8331127B2 (en) 2010-05-24 2012-12-11 Macronix International Co., Ltd. Nonvolatile memory device having a transistor connected in parallel with a resistance switching device
US20110297912A1 (en) 2010-06-08 2011-12-08 George Samachisa Non-Volatile Memory Having 3d Array of Read/Write Elements with Vertical Bit Lines and Laterally Aligned Active Elements and Methods Thereof
US8890233B2 (en) 2010-07-06 2014-11-18 Macronix International Co., Ltd. 3D memory array with improved SSL and BL contact layout
WO2012015450A1 (en) 2010-07-30 2012-02-02 Hewlett-Packard Development Company, L.P. Systems and methods for modeling binary synapses
US20120044742A1 (en) 2010-08-20 2012-02-23 Micron Technology, Inc. Variable resistance memory array architecture
US8432719B2 (en) 2011-01-18 2013-04-30 Macronix International Co., Ltd. Three-dimensional stacked and-type flash memory structure and methods of manufacturing and operating the same hydride
US8630114B2 (en) 2011-01-19 2014-01-14 Macronix International Co., Ltd. Memory architecture of 3D NOR array
US8759895B2 (en) 2011-02-25 2014-06-24 Micron Technology, Inc. Semiconductor charge storage apparatus and methods
JP2013069356A (ja) 2011-09-20 2013-04-18 Toshiba Corp 半導体記憶装置
JP5722180B2 (ja) 2011-09-26 2015-05-20 株式会社日立製作所 不揮発性記憶装置
US9698185B2 (en) 2011-10-13 2017-07-04 Omnivision Technologies, Inc. Partial buried channel transfer device for image sensors
US9430735B1 (en) 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
US8981445B2 (en) 2012-02-28 2015-03-17 Texas Instruments Incorporated Analog floating-gate memory with N-channel and P-channel MOS transistors
JP5998521B2 (ja) 2012-02-28 2016-09-28 セイコーエプソン株式会社 不揮発性半導体メモリー及び不揮発性半導体メモリーの製造方法
JP2014053056A (ja) 2012-09-06 2014-03-20 Toshiba Corp 半導体記憶装置
US9747230B2 (en) 2012-10-15 2017-08-29 Rambus Inc. Memory rank and ODT configuration in a memory system
US9019771B2 (en) 2012-10-26 2015-04-28 Macronix International Co., Ltd. Dielectric charge trapping memory cells with redundancy
US20140149773A1 (en) 2012-11-29 2014-05-29 Agency For Science, Technology And Research Latch circuit and data processing system
KR20140113024A (ko) 2013-03-15 2014-09-24 에스케이하이닉스 주식회사 저항 변화 메모리 장치 및 그 구동방법
KR102179899B1 (ko) 2013-08-05 2020-11-18 삼성전자주식회사 뉴로모픽 시스템 및 그 구현 방법
US9502133B2 (en) 2013-10-11 2016-11-22 Sharp Kabushiki Kaisha Semiconductor device
KR102139944B1 (ko) 2013-11-26 2020-08-03 삼성전자주식회사 3차원 반도체 메모리 장치
KR20150070819A (ko) 2013-12-17 2015-06-25 에스케이하이닉스 주식회사 반도체 메모리 소자 및 그 제조방법
US9535831B2 (en) 2014-01-10 2017-01-03 Advanced Micro Devices, Inc. Page migration in a 3D stacked hybrid memory
US9698156B2 (en) 2015-03-03 2017-07-04 Macronix International Co., Ltd. Vertical thin-channel memory
US9147468B1 (en) 2014-05-21 2015-09-29 Macronix International Co., Ltd. Multiple-bit-per-cell, independent double gate, vertical channel memory
US9391084B2 (en) 2014-06-19 2016-07-12 Macronix International Co., Ltd. Bandgap-engineered memory with multiple charge trapping layers storing charge
US9536969B2 (en) 2014-09-23 2017-01-03 Taiwan Semiconductor Manufacturing Co., Ltd. Self-aligned split gate flash memory
US9607692B2 (en) 2014-10-03 2017-03-28 Micron Technology, Inc. Threshold voltage distribution determination
WO2016060617A1 (en) 2014-10-15 2016-04-21 Agency For Science, Technology And Research Flip-flop circuit, method of controlling a flip-flop circuit and memory device
US9431099B2 (en) 2014-11-11 2016-08-30 Snu R&Db Foundation Neuromorphic device with excitatory and inhibitory functionalities
US9356074B1 (en) 2014-11-17 2016-05-31 Sandisk Technologies Inc. Memory array having divided apart bit lines and partially divided bit line selector switches
KR20160073847A (ko) 2014-12-17 2016-06-27 에스케이하이닉스 주식회사 전자 장치 및 그 제조 방법
US10403363B2 (en) 2015-02-11 2019-09-03 Samsung Electronics Co., Ltd. Nonvolatile memory and storage device including nonvolatile memory
KR102396422B1 (ko) 2015-02-11 2022-05-11 삼성전자주식회사 불휘발성 메모리 및 불휘발성 메모리를 포함하는 스토리지 장치
US9524980B2 (en) 2015-03-03 2016-12-20 Macronix International Co., Ltd. U-shaped vertical thin-channel memory
US9379129B1 (en) 2015-04-13 2016-06-28 Macronix International Co., Ltd. Assist gate structures for three-dimensional (3D) vertical gate array memory structure
KR20160122531A (ko) 2015-04-14 2016-10-24 에스케이하이닉스 주식회사 전자 장치
TWI580087B (zh) 2015-04-28 2017-04-21 旺宏電子股份有限公司 記憶裝置及其製造方法
US10074661B2 (en) 2015-05-08 2018-09-11 Sandisk Technologies Llc Three-dimensional junction memory device and method reading thereof using hole current detection
US9934463B2 (en) 2015-05-15 2018-04-03 Arizona Board Of Regents On Behalf Of Arizona State University Neuromorphic computational system(s) using resistive synaptic devices
US10083395B2 (en) * 2015-05-21 2018-09-25 Google Llc Batch processing in a neural network processor
KR102445662B1 (ko) 2015-07-01 2022-09-22 삼성전자주식회사 스토리지 장치
KR101701250B1 (ko) 2015-08-03 2017-02-01 서울대학교산학협력단 딥 빌리프 네트워크를 위한 복수 레이어가 적층된 뉴런 어레이 및 뉴런 어레이 동작 방법
KR102311916B1 (ko) 2015-08-17 2021-10-15 삼성전자주식회사 스토리지 장치
US10020317B2 (en) 2015-08-31 2018-07-10 Cypress Semiconductor Corporation Memory device with multi-layer channel and charge trapping layer
US10037167B2 (en) 2015-09-11 2018-07-31 Sandisk Technologies Llc Multiple scheduling schemes for handling read requests
US9589982B1 (en) 2015-09-15 2017-03-07 Macronix International Co., Ltd. Structure and method of operation for improved gate capacity for 3D NOR flash memory
US10157012B2 (en) 2015-09-29 2018-12-18 Sandisk Technologies Llc Zero read on trimmed blocks in a non-volatile memory system
US9842651B2 (en) 2015-11-25 2017-12-12 Sunrise Memory Corporation Three-dimensional vertical NOR flash thin film transistor strings
US9892800B2 (en) 2015-09-30 2018-02-13 Sunrise Memory Corporation Multi-gate NOR flash thin-film transistor strings arranged in stacked horizontal active strips with vertical control gates
US10418369B2 (en) 2015-10-24 2019-09-17 Monolithic 3D Inc. Multi-level semiconductor memory device and structure
US9767028B2 (en) 2015-10-30 2017-09-19 Advanced Micro Devices, Inc. In-memory interconnect protocol configuration registers
KR102412781B1 (ko) 2015-11-03 2022-06-24 삼성전자주식회사 비휘발성 메모리 장치 및 비휘발성 메모리 장치의 독출 방법
CN115019859B (zh) 2015-11-25 2023-10-31 日升存储公司 存储器结构
US9983829B2 (en) 2016-01-13 2018-05-29 Sandisk Technologies Llc Physical addressing schemes for non-volatile memory systems employing multi-die interleave schemes
US10725860B2 (en) 2016-03-04 2020-07-28 Sandisk Technologies Llc Storage system and method for handling a burst of errors
CN115995242A (zh) 2016-03-18 2023-04-21 株式会社半导体能源研究所 半导体装置
JP2017195275A (ja) 2016-04-20 2017-10-26 東芝メモリ株式会社 半導体記憶装置およびその製造方法
KR102508532B1 (ko) 2016-05-02 2023-03-09 삼성전자주식회사 감지 증폭기 및 이를 포함하는 메모리 장치
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
CN106530210B (zh) 2016-10-31 2019-09-06 北京大学 基于阻变存储器件阵列实现并行卷积计算的设备和方法
US10649665B2 (en) 2016-11-08 2020-05-12 Micron Technology, Inc. Data relocation in hybrid memory
US20180144240A1 (en) * 2016-11-21 2018-05-24 Imec Vzw Semiconductor cell configured to perform logic operations
US10725777B2 (en) 2016-12-06 2020-07-28 Gsi Technology, Inc. Computational memory cell and processing array device using memory cells
US10296224B2 (en) 2016-12-21 2019-05-21 Intel Corporation Apparatus, system and method for increasing the capacity of a storage device available to store user data
US10565494B2 (en) * 2016-12-31 2020-02-18 Via Alliance Semiconductor Co., Ltd. Neural network unit with segmentable array width rotator
US10269824B2 (en) 2017-04-01 2019-04-23 Intel Corporation Non-volatile memory structures having multi-layer conductive channels
US11556771B2 (en) 2017-04-10 2023-01-17 Semiconductor Energy Laboratory Co., Ltd. Semiconductor neural network device including a synapse circuit comprising memory cells and an activation function circuit
US12106211B2 (en) 2017-04-27 2024-10-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
JP2019028569A (ja) 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
US10073733B1 (en) 2017-09-01 2018-09-11 Purdue Research Foundation System and method for in-memory computing
US10777566B2 (en) 2017-11-10 2020-09-15 Macronix International Co., Ltd. 3D array arranged for memory and in-memory sum-of-products operations
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10719296B2 (en) 2018-01-17 2020-07-21 Macronix International Co., Ltd. Sum-of-products accelerator array
US20190244662A1 (en) 2018-02-02 2019-08-08 Macronix International Co., Ltd. Sum-of-products array for neuromorphic computing system
US10242737B1 (en) 2018-02-13 2019-03-26 Macronix International Co., Ltd. Device structure for neuromorphic computing system
US10635398B2 (en) 2018-03-15 2020-04-28 Macronix International Co., Ltd. Voltage sensing type of matrix multiplication method for neuromorphic computing system
US11429348B2 (en) 2018-03-16 2022-08-30 Tdk Corporation Multiply and accumulate calculation device, neuromorphic device, and method for using multiply and accumulate calculation device
US20190311749A1 (en) * 2018-04-09 2019-10-10 Anaflash Inc. Logic Compatible Embedded Flash Memory
US10741246B2 (en) * 2018-04-23 2020-08-11 Arm Limited Method, system and device for integration of volatile and non-volatile memory bitcells
US20190363131A1 (en) * 2018-05-25 2019-11-28 Gyrfalcon Technology Inc. Memory architecture having different type of memory devices and logic circuit disposed over a semiconductor substrate
US11461621B2 (en) 2018-06-26 2022-10-04 Vishal Sarin Methods and systems of implementing positive and negative neurons in a neural array-based flash memory
JP7070190B2 (ja) 2018-07-18 2022-05-18 株式会社デンソー ニューラルネットワーク回路
US10528643B1 (en) 2018-08-01 2020-01-07 Sandisk Technologies Llc Vector-matrix multiplication using non-volatile memory cells
US10534840B1 (en) 2018-08-08 2020-01-14 Sandisk Technologies Llc Multiplication using non-volatile memory cells
US10860918B2 (en) 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10831446B2 (en) 2018-09-28 2020-11-10 Intel Corporation Digital bit-serial multi-multiply-and-accumulate compute in memory
US10642922B2 (en) 2018-09-28 2020-05-05 Intel Corporation Binary, ternary and bit serial compute-in-memory circuits
US10748603B2 (en) 2018-09-28 2020-08-18 Intel Corporation In-memory multiply and accumulate with global charge-sharing
US10877752B2 (en) 2018-09-28 2020-12-29 Intel Corporation Techniques for current-sensing circuit design for compute-in-memory
US10643713B1 (en) 2019-02-08 2020-05-05 Sandisk Technologies Llc Toggling power supply for faster bit line settling during sensing
US10825510B2 (en) 2019-02-09 2020-11-03 Purdue Research Foundation Multi-bit dot product engine

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105718994A (zh) * 2015-07-29 2016-06-29 上海磁宇信息科技有限公司 细胞阵列计算系统
CN105789139A (zh) * 2016-03-31 2016-07-20 上海新储集成电路有限公司 一种神经网络芯片的制备方法
US20180174026A1 (en) * 2016-12-20 2018-06-21 Michael I. Davies Scalable neuromorphic core with shared synaptic memory and variable precision synaptic memory

Also Published As

Publication number Publication date
TWI699711B (zh) 2020-07-21
US20200026991A1 (en) 2020-01-23
TW202006609A (zh) 2020-02-01
US11138497B2 (en) 2021-10-05
CN110729011B (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
CN110729011B (zh) 用于类神经网路的存储器内运算装置
US11663457B2 (en) Neural network circuits having non-volatile synapse arrays
US11604974B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
US10552510B2 (en) Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US11568223B2 (en) Neural network circuit
CN111581141B (zh) 存储器装置及其操作方法
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
CN110892480A (zh) 采用nvm矩阵电路以执行矩阵计算的非易失性(nv)存储器(nvm)矩阵电路
TWI751403B (zh) 具有非揮發性突觸陣列的神經網路電路及神經晶片
US20200356843A1 (en) Systems and methods for neural network training and deployment for hardware accelerators
CN113517014A (zh) 神经形态装置及其操作方法
US20230059091A1 (en) Neuromorphic circuit based on 2t2r rram cells
CN108154227B (zh) 一种使用模拟计算的神经网络芯片
CN110245749B (zh) 用于执行同或运算的计算单元、神经网络及方法
JP7480391B2 (ja) インメモリコンピューティングのための記憶装置
US20230317124A1 (en) Memory system and operating method of memory system
WO2023171683A1 (ja) ニューラルネットワーク演算回路
KR20230078024A (ko) 삼항 정밀도 xor 논리 연산을 기반으로 하는 반도체 소자 및 이를 포함하는 뉴로모픽 컴퓨팅 시스템
JPS63261874A (ja) 半導体集積回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant