CN113325909A - 运用于二进制类神经网络系统的乘积累加电路 - Google Patents

运用于二进制类神经网络系统的乘积累加电路 Download PDF

Info

Publication number
CN113325909A
CN113325909A CN202110006176.8A CN202110006176A CN113325909A CN 113325909 A CN113325909 A CN 113325909A CN 202110006176 A CN202110006176 A CN 202110006176A CN 113325909 A CN113325909 A CN 113325909A
Authority
CN
China
Prior art keywords
multiply
current
terminal
neuron
accumulate circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110006176.8A
Other languages
English (en)
Other versions
CN113325909B (zh
Inventor
张家福
锺承亨
林庆源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eMemory Technology Inc
Original Assignee
eMemory Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eMemory Technology Inc filed Critical eMemory Technology Inc
Publication of CN113325909A publication Critical patent/CN113325909A/zh
Application granted granted Critical
Publication of CN113325909B publication Critical patent/CN113325909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05F—SYSTEMS FOR REGULATING ELECTRIC OR MAGNETIC VARIABLES
    • G05F1/00—Automatic systems in which deviations of an electric quantity from one or more predetermined values are detected at the output of the system and fed back to a device within the system to restore the detected quantity to its predetermined value or values, i.e. retroactive systems
    • G05F1/10—Regulating voltage or current
    • G05F1/46—Regulating voltage or current wherein the variable actually regulated by the final control device is dc
    • G05F1/56—Regulating voltage or current wherein the variable actually regulated by the final control device is dc using semiconductor devices in series with the load as final control devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C17/00—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards
    • G11C17/06—Read-only memories programmable only once; Semi-permanent stores, e.g. manually-replaceable information cards using diode elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L23/00—Details of semiconductor or other solid state devices
    • H01L23/52—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames
    • H01L23/522—Arrangements for conducting electric current within the device in operation from one component to another, i.e. interconnections, e.g. wires, lead frames including external interconnections consisting of a multilayer structure of conductive and insulating layers inseparably formed on the semiconductor body
    • H01L23/5226—Via connections in a multilevel interconnection structure
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B63/00—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices
    • H10B63/30—Resistance change memory devices, e.g. resistive RAM [ReRAM] devices comprising selection components having three or more electrodes, e.g. transistors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/011—Manufacture or treatment of multistable switching devices
    • H10N70/041—Modification of switching materials after formation, e.g. doping
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N—ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10N70/00—Solid-state devices having no potential barriers, and specially adapted for rectifying, amplifying, oscillating or switching
    • H10N70/801—Constructional details of multistable switching devices
    • H10N70/881—Switching materials
    • H10N70/883—Oxides or nitrides
    • H10N70/8833—Binary metal oxides, e.g. TaOx
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/20—Programmable ROM [PROM] devices comprising field-effect components
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10B—ELECTRONIC MEMORY DEVICES
    • H10B20/00—Read-only memory [ROM] devices
    • H10B20/27—ROM only
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Semiconductor Memories (AREA)
  • Read Only Memory (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Filters That Use Time-Delay Elements (AREA)

Abstract

一种乘积累加电路，接收类神经网路系统中第一层的m个一比特神经元数值。此乘积累加电路包括：m个非易失性存储单元与m个电流源，其中m个非易失性存储单元与m个电流源形成m条电流路径。再者，第一非易失性存储单元与第一电流源形成第一电流路径，第一电流源的第一端接收第一供应电压，第一电流源的第二端连接至第一非易失性存储单元的第一端，第一非易失性存储单元的第二端连接至乘积累加电路的输出端。另外，第一电流源的控制端接收第一一比特神经元数值。

Description

运用于二进制类神经网络系统的乘积累加电路
技术领域
本发明是有关于一种运用于类神经网络系统的电路，且特别是有关于一种运用于二进制类神经网络系统的乘积累加电路。
背景技术
近年来，类神经网络系统(neural network system)已经广泛的运用在人工智能的用途(AI application)以提供智能处理能力，例如图形识别(pattern recognition)、数据分类(data classification)和对象检测(object detection)。以下先简单介绍具备识别数字能力的类神经网络系统。
请参照图1，其所绘示为识别数字的类神经网络系统示意图。利用类神经网络系统100可运用于识别手写板102上所书写的数字，其中手写板102是由784(28×28)个感应点(sense point)所建构而成。
类神经网络系统100包括输入层(input layer)110、隐藏层(hidden layer)120与输出层(output layer)130。基本上，手写板102上的每个感应点会对应到输入层110的一个输入神经元(input neuron)，因此输入层110共有784(28×28)个输入神经元I0～I783，并可视为输入层110的大小(size)为784。
由于类神经网络系统100需要识别0～9的十个数字，因此输出层130共有10个输出神经元(output neuron)O0～O9，并可视为输出层130的大小(size)为10。
再者，类神经网络系统100的隐藏层120被设计为具有30个神经元H0～H29，亦即隐藏层130的大小(size)为30。因此，类神经网络系统100的尺寸为784-30-10。
每个神经元之间的连线都代表一个神经元连接权重(neuron connectionweight)。如图1所示，输入层110中的784个输入神经元I0～I783连接至隐藏层120的神经元H0，而对应的784个神经元连接权重为(IH0,0～IH783,0)。同理，输入层110中的784个输入神经元I0～I783对应地连接至隐藏层120的30个神经元H0～H29。因此，输入层110与隐藏层120之间有734×30个神经元连接权重(IH0,0～IH783,0)、(IH0,1～IH783,1)～(IH0,29～IH783,29)。
同理，隐藏层120的30个神经元H0～H29对应地连接至输出层130的10个神经元O0～O9。因此，隐藏层120与输出层130之间有30×10个神经元连接权重(HO0,0～HO29,0)～(HO0,9～HO29,9)。其中，类神经网络系统100中所有的神经元连接权重(IH0,0～IH783,0)～(IH0,29～IH783,29)与(HO0,0～HO29,0)～(HO0,9～HO29,9)即组合成为权重群组(weight group)。
基本上，将前一层(previous layer)的每个神经元数值乘以对应的神经元连接权重后并加总之后即可获得下一层(next layer)的神经元数值。以隐藏层120的神经元数值H0为例，
Figure BDA0002883475450000021
同理，隐藏层120中其他神经元H1～H29也是以相同的方式来计算。
再者，输出层130的输出神经元数值O0即为，
Figure BDA0002883475450000022
同理，而输出层130其他神经元O1～O9也是以相同的方式来计算。
在实际应用类神经网络系统100之前，需要进行训练阶段(training phase)，以获得权重群组中所有的神经元连接权重。举例来说，经过多次的迭代训练(iterations oftraining)并获得所有神经元连接权重后，即可获得一个训练完成的(well-trained)类神经网络系统100。
在应用阶段(application phase)时，即可在手写板102上写入数字，并由类神经网络系统100来进行识别。如图1所示，在手写板102上写入数字7后，输出层130中的输出神经元O7数值最高，亦即类神经网络系统100识别出数字7。
当然，图1的类神经网络系统100仅是一个范例。对于更复杂的类神经网络系统，可以使用多个隐藏层来让类神经网络系统具备更佳的识别能力，而每个隐藏层的尺寸也不限定。
由于类神经网络系统中需要不断的进行乘法与加法运算，因此利用计算机系统可以进行上述的运算。举例来说，将所有的神经元连接权重储存于计算机系统的存储器中。接着，利用计算机系统的中央处理单元(CPU)来存取(access)存储器中的神经元连接权重，并进行乘法与加法运算后即可计算出所有神经元数值。
然而，当类神经网络系统的尺寸越大时，存储器的容量也必须增加以便用来储存神经元连接权重以及神经元数值。并且，由于中央处理单元必须不断地存取存储器中的数据，使得计算机系统的效能大幅地降低且耗费大量的功耗(power consumption)。
现今，针对类神经网络系统的特性，已发展出一种乘积累加电路(MultiplyAccumulate circuit，简称MAC)，用来计算神经元数值。
请参照图2A至图2C，其所绘示为乘积累加电路器的方块图(block diagram)、公知乘积累加电路组(MAC group)与控制电路示意图。
如图2A所示，乘积累加电路200中，每个输入数值X1～Xm乘上对应的权重W1,j～Wm,j后，将结果加总即获得输出数值Yj。亦即，
Figure BDA0002883475450000031
应用到类神经网络系统时，乘积累加电路200中的权重W1,j～Wm,j即为神经元连接权重。将前一层(previous layer)的多个神经元数值即为输入数值，而乘积累加电路200的输出值Yj即为下一层(next layer)的神经元数值。
如图2B所示，乘积累加电路组250包括j个乘积累加电路251～25j，此乘积累加电路组250可以进行类神经网络系统中前一层大小(size)m，下一层的大小(size)j的运算。
以乘积累加电路251为例来作说明，乘积累加电路251包括m个电导(electricalconductance)，其电导值(conductance value)分别为G1,1～Gm,1。其中，每个电导皆由可变电阻(variable resistor)所组成。而调整后(tuned)的可变电阻，其电阻值(resistancevalue)的倒数即为电导值。举例来说，调整好的电阻值为5欧姆(ohm，Ω)，其电导值为0.2西门子(siemens，S)。再者，根据类神经网络系统中的神经元连接权重来调整对应的电导值G1,1～Gm,1。
再者，乘积累加电路251的m个输入端接收m个输入电压V1～Vm，每个电压值V1～Vm分别代表前一层的m个神经元数值，乘积累加电路251的输出端产生一个输出电流I1代表下一层的神经元数值。乘积累加电路251的m个输入端与输出端之间连接对应的电导G1,1～Gm,1。再者，乘积累加电路252～25j也有相同的结构，此处不再赘述。
在类神经网络系统的训练阶段(training phase)时，可调整每个乘积累加电路251～25j中的所有m×j个电导值G1,1～Gm,j作为m×j个神经元连接权重。
在类神经网络系统的应用阶段(application phase)时，所有乘积累加电路251～25j的输入端接收m个输入电压V1～Vm，所有输出端连接至接地电压(未示出)。因此，所有乘积累加电路251～25j的输出端产生的输出电流I1～Ij即代表下一层的j个神经元数值。
以乘积累加电路251为例，n个电导G1,1～Gm,j接收对应的m个输入电压V1～Vm后，产生m个电流I1,1～Im,1。而叠加的(superposed)m个电流I1,1～Im,1即为输出电流I1，亦即
Figure BDA0002883475450000041
如图2C所示，控制电路290包括数字模拟转换器(digital-to-analog converter，DAC)260、乘积累加电路组250、模拟数字转换器(analog-to-digital converter，ADC)270。其中，数字模拟转换器260可将数字数值转换为模拟电压，模拟数字转换器270可将模拟电流转换成数字数值。
首先，前一层的m个神经元数值Din_1～Din_m输入数字模拟转换器260，并转换为对应的m个输入电压V1～Vm。再者，乘积累加电路组250接收m个输入电压V1～Vm，并产生j个输出电流I1～Ij。之后，模拟数字转换器270接收j个输出电流I1～Ij，并转换为下一层的j个神经元数值Do_1～Do_j。其中，神经元数值Din_1～Din_m、Do_1～Do_j皆为数字数值。
换言之，任意尺寸的类神经网络系统即可利用图2C的控制电路290来组成。以图1的类神经网络系统100为例，其尺寸为784-30-10。因此，类神经网络系统100包括二个控制电路。第一个控制电路接收输入层110的748个神经元数值I0～I783，并产生隐藏层120的30个神经元数值H0～H29。第二个控制电路接收隐藏层120的30个神经元数值H0～H29，并产生输出层130的10个神经元数值O0～O9。
以上述图2B与图2C为例，神经元数值Din_1～Din_m、Do_1～Do_j皆为多个比特的数字数值(multi-bit digital value)，且对应的电导G1,1～Gm,1也是需要根据多个比特的数字数值的神经元连接权重来进行调整。
近年来，二进制类神经网络系统(binary neural network system)逐渐受到重视。二进制类神经网络系统的神经元数值以及神经元连接权重皆为一比特的二进制码(one-bit binary code)。因此，相较于图1与图2B的类神经网络系统需要进行复杂的数值计算，二进制类神经网络系统可以有效地减少存储器的储存空间、降低计算机系统的计算量、以及降低功耗(power consumption)。
发明内容
本发明系有关于一种乘积累加电路，接收类神经网络系统中第一层的m个一比特神经元数值。该乘积累加电路包括：m个非易失性存储单元与m个电流源。该m个非易失性存储单元与该m个电流源形成m条电流路径，该m条电流路径连接于第一供应电压与输出端之间。该m个非易失性存储单元中的第一非易失性存储单元与该m个电流源中的第一电流源形成第一电流路径，该第一电流源的第一端接收该第一供应电压，该第一电流源的第二端连接至该第一非易失性存储单元的第一端，该第一非易失性存储单元的第二端连接至该输出端，且该第一电流源的控制端接收该第一层的m个一比特神经元数值中的第一一比特神经元数值。
为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合附图，作详细说明如下：
附图说明
图1为识别数字的类神经网络系统示意图；
图2A至图2C为乘积累加电路器的方块图、公知乘积累加电路组与控制电路示意图；
图3为本发明乘积累加电路的第一实施例；
图4为本发明第二实施例的乘积累加电路及其乘积累加电路组；
图5为本发明第三实施例的乘积累加电路及其乘积累加电路组；
图6为本发明第四实施例的乘积累加电路及其乘积累加电路组；
图7为本发明第五实施例的乘积累加电路及其乘积累加电路组；以及
图8为可运用于多比特类神经网络系统的乘积累加电路。
具体实施方式
本发明提出一种运用于二进制类神经网络系统的乘积累加电路。在乘积累加电路中，利用非易失性存储器的存储单元来记录神经元连接权重，并且搭配电流源(currentsource)即可完成乘积累加电路。
众所周知，现今的非易失性存储器的存储单元可分为多次编程存储单元(MTPmemory cell)、单次编程存储单元(OTP memory cell)、掩膜式只读存储单元(Mask ROMcell)。举例来说，可变电阻式存储器(Resistive random access memory，简称RRAM或者ReRAM)的存储单元可作为MTP存储单元。浮动栅晶体管(floating gate transistor)可组成MTP或者OTP存储单元。反熔丝晶体管(antifuse transistor)可组成OTP存储单元。
基本上，上述的MTP或者OTP存储单元皆可利用适当的偏压来控制存储单元呈现二种不同的储存状态。再者，掩膜式只读存储单元则是利用半导体制程，将存储单元制作成二种不同的储存状态。
以反熔丝晶体管所组成的OTP存储单元为例，当反熔丝晶体管的栅极氧化层未破裂(rupture)时，反熔丝晶体管的电阻值很大，大约为几百万欧姆(MΩ)以上，可视为第一储存状态。当反熔丝晶体管的栅极氧化层破裂(rupture)时，反熔丝晶体管的电阻值非常小，大约为几千欧姆(KΩ)以下，可视为第二储存状态。换言之，针对OTP存储单元，在编程动作(program action)时，可以提供适当的偏压来控制OTP存储单元呈现二种不同的储存状态。
类似地，在ReRAM存储单元中，当ReRAM存储单元未进行初始化动作(formingaction)之前，ReRAM存储单元的电阻值非常大，约为几百万欧姆(MΩ)以上，可视为第一储存状态。当ReRAM存储单元进行初始化动作之后，ReRAM存储单元的电阻值大幅降低，约为几千欧姆(KΩ)以下，可视为第二储存状态。也就是说，针对ReRAM存储单元，可以选择性地进行初始化动作用以控制ReRAM存储单元呈现二种不同的储存状态。
由以上的说明可知，经由适当的控制，非易失性存储单元可呈现高电阻值的第一储存状态或者低电阻值的第二储存状态。其中，高低电阻值相差可达103倍以上。再者，以下的说明中，将高电阻值的第一储存状态定义为关闭状态(off state)，将低电阻值的第二储存状态定义为开启状态(on state)。
根据本发明的实施例，本发明运用可呈现二种储存状态的非易失性存储器的存储单元并搭配电流源(current source)，组成运用于二进制类神经网络系统的乘积累加电路。
请参照图3，其所绘示为本发明乘积累加电路的第一实施例。乘积累加电路300包括：m个电流源301～30m及m个非易失性存储单元311～31m。其中，乘积累加电路300的m个输入端接收前一层的m个一比特的神经元数值Din_1～Din_m，m个电流源301～30m受控于m个神经元数值Din_1～Din_m。当任一个电流源301～30m动作时，可以产生的电流大小为Iu，例如Iu等于0.1μA。
在乘积累加电路300包括m条电流路径(current path)，每一条电流路径包括电流源与非易失性存储单元。在第一电流路径中，电流源301受控于神经元数值Din_1，电流源301的第一端接收第一供应电压Vss，电流源301的第二端连接至非易失性存储单元311的第一端，非挥发存储单元311的第二端连接至乘积累加电路300的输出端O。在第二电流路径中，电流源302受控于神经元数值Din_2，电流源302的第一端接收第一供应电压Vss，电流源302的第二端连接至非易失性存储单元312的第一端，非挥发存储单元312的第二端连接至乘积累加电路300的输出端O。依此类推，在第m电流路径中，电流源30m受控于神经元数值Din_m，电流源30m的第一端接收第一供应电压Vss，电流源30m的第二端连接至非易失性存储单元31m的第一端，非挥发存储单元31m的第二端连接至乘积累加电路300的输出端O。
根据本发明的实施例，非易失性存储单元311～31m可储存一比特的神经元连接权重w1～wm。非易失性存储单元311～31m可由MTP存储单元、OTP存储单元或者掩膜式只读存储单元来实现。根据本发明的实施例，非易失性存储单元311～31m的动作原理类似于开关(switch)。举例来说，当非易失性存储单元为关闭状态(off state)时，其电阻值非常大，电流无法通过非易失性存储单元，视为神经元连接权重为"逻辑0"。当非易失性存储单元为开启状态(on state)时，其电阻值较小，电流可通过非易失性存储单元，视为神经元连接权重为"逻辑1"。
基本上，乘积累加电路300于应用阶段时，乘积累加电路300的输出端O会接收第二供应电压Vd，且第二供应电压Vd会大于第一供应电压Vss。例如，第二供应电压Vd为3.3V，第一供应电压Vss为接地电压。
再者，乘积累加电路300于应用阶段时，根据前一层的m个一比特的神经元数值Din_1～Din_m，以及非易失性存储单元311～31m储存的一比特的神经元连接权重w1～wn，即可在乘积累加电路300的输出端O产生输出电流Io。
以第一电流路径为例，当非易失性存储单元311所储存的神经元连接权重w1为"逻辑0"时，无论电流源301是否动作，第一电流路径的电流Ib1为零。当非易失性存储单元311所储存的神经元连接权重w1为"逻辑1"且神经元数值Din_1为"逻辑0"时，电流源301不动作无法产生电流，第一电流路径的电流Ib1为零。当非易失性存储单元311所储存的神经元连接权重w1为"逻辑1"且神经元数值Din_1为"逻辑1"时，电流源301动作，产生电流Iu，第一电流路径的电流Ib1即为Iu。同理，其他电流路径运作皆相同于第一电流路径，此处不再赘述。
因此，乘积累加电路300于应用阶段所产生的输出电流Io即为：
Figure BDA0002883475450000081
在上式中，wi与Din_i皆为一比特的二进制码。再者，将输出电流Io进行数字化(digitalized)后，即可成为下一层的一个一比特的神经元数值。举例来说，当输出电流Io大于参考电流时，则下一层的一个一比特的神经元数值为"逻辑1"。当输出电流Io小于参考电流时，则下一层的一个一比特的神经元数值为"逻辑0"。
相同地，组合数个乘积累加电路即可以成为乘积累加电路组(MACgroup)。以下以实际的电路元件来实现本发明的乘积累加电路。请参照图4，其所绘示为本发明第二实施例的乘积累加电路及其乘积累加电路组。
乘积累加电路组包括j个乘积累加电路41～4j，每一个乘积累加电路41～4j可产生对应的输出电流Io1～Ioj。每一个乘积累加电路41～4j的结构相同，以下仅介绍乘积累加电路41。
乘积累加电路41包括：m个电流源411～41m以及m个非易失性存储单元431～43m。其中，乘积累加电路41的m个输入端接收前一层的m个一比特的神经元数值Din_1～Din_m，m个电流源411～41m受控于m个神经元数值Din_1～Din_m。再者，乘积累加电路41包括m条电流路径(current path)，每一条电流路径包括电流源与非易失性存储单元。m条电流路径的连接关系类似于第一实施例的乘积累加电路300，此处不再赘述。
根据本发明的第二实施例，乘积累加电路41中的电流源411～41m以n型晶体管来实现，且所有的n型晶体管的尺寸(size)相同。因此，当任一个n型晶体管开启(turn on)时，可产生的电流大小为Iu。
以电流源411为例，n型晶体管的栅极端接收对应的一比特的神经元数值Din_1，n型晶体管的第一漏/源端(drain/source terminal)接收第一供应电压，n型晶体管的第二漏/源端连接至非易失性存储单元431的第一端，非易失性存储单元431的第二端连接至输出端O1。
举例来说，将"逻辑1"的神经元数值定义为n型晶体管的开启电压(onvoltage)，将"逻辑0"的神经元数值定义为n型晶体管的关闭电压(off voltage)。因此，神经元数值为逻辑"1"时，n型晶体管开启并产生电流Iu，神经元数值为逻辑"0"时，n型晶体管关闭且无法产生电流。其中，开启电压(on voltage)可为3.3V，关闭电压(off voltage)可为接地电压。
相同地，非易失性存储单元431～43m可由MTP存储单元、OTP存储单元或者掩膜式只读存储单元来实现。乘积累加电路41中的非易失性存储单元431～43m可储存一比特的神经元连接权重w1,1～wm,1。当非易失性存储单元为关闭状态(off state)时，其电阻值非常大，电流无法通过非易失性存储单元，视为神经元连接权重为"逻辑0"。当非易失性存储单元为开启状态(on state)时，其电阻值较小，电流可通过非易失性存储单元，视为神经元连接权重为"逻辑1"。
因此，乘积累加电路41于应用阶段所产生的输出电流Io1即为：
Figure BDA0002883475450000091
其中，wi,1与Din_i皆为一比特的二进制码，且Din_i为逻辑1时，输出电流为Iu。同理，乘积累加电路42的输出电流Io2为：
Figure BDA0002883475450000092
其中，wi,2为一比特的二进制码。依此类推，乘积累加电路4j的输出电流Ioj为：
Figure BDA0002883475450000093
其中，wi,j为一比特的二进制码。
再者，每个乘积累加电路41～4j的输出端O1～Oj连接至对应的转换电路(converting circuit)491～49j，用以将j个输出电流Io1～Ioj转换为下一层的一比特的神经元数值Dout_1～Dout_j。举例来说，转换电路491～49j为电流比较器(currentcomparator)，当输出电流Io1大于参考电流时，则下一层的神经元数值Dout_1为"逻辑1"。当输出电流Io1小于参考电流时，则下一层的神经元数值为"逻辑0"。
请参照图5，其所绘示为本发明第三实施例的乘积累加电路及其乘积累加电路组。乘积累加电路组包括j个乘积累加电路51～5j，每一个乘积累加电路51～5j可产生对应的输出电流Io1～Ioj。每一个乘积累加电路51～5j的结构相同，以下仅介绍乘积累加电路51。
乘积累加电路51包括：m个电流源511～51m以及m个非易失性存储单元531～53m。其中，乘积累加电路51的m个输入端接收前一层的m个一比特的神经元数值Din_1～Din_m，m个电流源511～51m受控于m个神经元数值Din_1～Din_m。再者，乘积累加电路51包括m条电流路径(current path)，每一条电流路径包括电流源与非易失性存储单元。m条电流路径的连接关系类似于第一实施例的乘积累加电路300，此处不再赘述。
相较于第二实施例，第三实施例的差异在于电流源的构造，以下介绍电流源511。电流源511由二个n型晶体管所组成，电流源511包括开关晶体管(switching transistor)与偏压晶体管(bias transistor)。在电流源511中，偏压晶体管的栅极端接收偏压电压(bias voltage，Vb)，偏压晶体管的第一漏/源端接收第一供应电压，偏压晶体管的第二漏/源端连接至开关晶体管的第一漏/源端，开关晶体管的第二漏/源端连接至非易失性存储单元531的第一端，开关晶体管的栅极端接收对应的一比特的神经元数值Din_1。
根据本发明的第三实施例，所有电流源511～51m中的偏压晶体管有相同的尺寸(size)。因此，当任一个电流源511～51m动作时，即可产生的电流大小为Iu。
举例来说，将"逻辑1"的神经元数值定义为开关晶体管的开启电压(on voltage)，将"逻辑0"的神经元数值定义为开关晶体管的关闭电压(off voltage)。因此，神经元数值为逻辑"1"时，开关晶体管开启使得电流源动作并产生电流Iu，神经元数值为逻辑"0"时，开关晶体管关闭使得电流源不动作且无法产生电流。其中，开启电压(on voltage)可为3.3V，关闭电压(off voltage)可为接地电压。
因此，乘积累加电路51于应用阶段所产生的输出电流Io1即为：
Figure BDA0002883475450000101
其中wi,1与Din_i皆为一比特的二进制码。同理，乘积累加电路52的输出电流Io2为：
Figure BDA0002883475450000102
其中wi,2为一比特的二进制码。依此类推，乘积累加电路5j的输出电流Ioj为：
Figure BDA0002883475450000103
其中wi,j为一比特的二进制码。
再者，每个乘积累加电路51～5j的输出端O1～Oj连接至对应的转换电路591～59j，用以将j个输出电流Io1～Ioj转换为下一层的一比特的神经元数值Dout_1～Dout_j。举例来说，转换电路591～59j为电流比较器(current comparator)，当输出电流Io1大于参考电流时，则下一层的神经元数值Dout_1为"逻辑1"。当输出电流Io1小于参考电流时，则下一层的神经元数值为"逻辑0"。
当然，第二实施例与第三实施例的乘积累加电路也可利用p型晶体管来实现电流源。
请参照图6，其所绘示为本发明第四实施例的乘积累加电路及其乘积累加电路组。乘积累加电路组包括j个乘积累加电路61～6j，每一个乘积累加电路61～6j可产生对应的输出电流Io1～Ioj。每一个乘积累加电路61～6j的结构相同，以下仅介绍乘积累加电路61。
乘积累加电路61包括：m个电流源611～61m以及m个非易失性存储单元631～63m。其中，乘积累加电路61的m个输入端接收前一层的m个一比特的神经元数值Din_1～Din_m，m个电流源611～61m受控于m个神经元数值Din_1～Din_m。再者，乘积累加电路61包括m条电流路径(current path)，每一条电流路径包括电流源与非易失性存储单元。m条电流路径的连接关系类似于第一实施例的乘积累加电路300，此处不再赘述。
根据本发明的第四实施例，乘积累加电路61中的电流源611～61m系以p型晶体管来实现，且所有的p型晶体管的尺寸(size)相同。因此，当任一个p型晶体管开启(turn on)时，即可产生的电流大小为Iu。
以电流源611为例，p型晶体管的栅极端接收对应的一比特的神经元数值Din_1，p型晶体管的第一漏/源端(drain/source terminal)接收第一供应电压，p型晶体管的第二漏/源端连接至非易失性存储单元631的第一端，非易失性存储单元631的第二端连接至输出端O1。
举例来说，将"逻辑1"的神经元数值定义为p型晶体管的开启电压(on voltage)，将"逻辑0"的神经元数值定义为p型晶体管的关闭电压(off voltage)。因此，神经元数值为逻辑"1"时，p型晶体管开启并产生电流Iu，神经元数值为逻辑"0"时，p型晶体管关闭且无法产生电流。其中，第一供应电压可为3.3V，开启电压(on voltage)可为接地电压，关闭电压(off voltage)可为3.3V。
相同地，非易失性存储单元631～63m可由MTP存储单元、OTP存储单元或者掩膜式只读存储单元来实现。乘积累加电路61中的非易失性存储单元631～63m可储存一比特的神经元连接权重w1,1～wm,1。当非易失性存储单元为关闭状态(off state)时，其电阻值非常大，电流无法通过非易失性存储单元，视为神经元连接权重为"逻辑0"。当非易失性存储单元为开启状态(on state)时，其电阻值较小，电流可通过非易失性存储单元，视为神经元连接权重为"逻辑1"。
因此，乘积累加电路61于应用阶段所产生的输出电流Io1即为：
Figure BDA0002883475450000121
比特的二进制码。
再者，每个乘积累加电路61～6j的输出端O1～Oj连接至对应的转换电路(converting circuit)691～69j，用以将j个输出电流Io1～Ioj转换为下一层的一比特的神经元数值Dout_1～Dout_j。举例来说，转换电路691～69j为电流比较器(currentcomparator)，当输出电流Io1大于参考电流时，则下一层的神经元数值Dout_1为"逻辑1"。当输出电流Io1小于参考电流时，则下一层的神经元数值为"逻辑0"。
请参照图7，其所绘示为本发明第五实施例的乘积累加电路及其乘积累加电路组。乘积累加电路组包括j个乘积累加电路71～7j，每一个乘积累加电路71～7j可产生对应的输出电流Io1～Ioj。每一个乘积累加电路71～7j的结构相同，以下仅介绍乘积累加电路71。
乘积累加电路71包括：m个电流源711～71m以及m个非易失性存储单元731～73m。其中，乘积累加电路71的m个输入端接收前一层的m个一比特的神经元数值Din_1～Din_m，m个电流源711～71m受控于m个神经元数值Din_1～Din_m。再者，乘积累加电路71包括m条电流路径(current path)，每一条电流路径包括电流源与非易失性存储单元。m条电流路径的连接关系类似于第一实施例的乘积累加电路300，此处不再赘述。
相较于第四实施例，第五实施例的差异在于电流源的构造，以下介绍电流源711。电流源711由二个p型晶体管所组成，电流源711包括开关晶体管(switching transistor)与偏压晶体管(bias transistor)。在电流源711中，偏压晶体管的栅极端接收偏压电压(bias voltage，Vb)，偏压晶体管的第一漏/源端接收第一供应电压，偏压晶体管的第二漏/源端连接至开关晶体管的第一漏/源端，开关晶体管的第二漏/源端连接至非易失性存储单元731的第一端，开关晶体管的栅极端接收对应的一比特的神经元数值Din_1。
根据本发明的第五实施例，所有电流源711～71m中的偏压晶体管有相同的尺寸(size)。因此，当任一个电流源711～71m动作时，即可产生的电流大小为Iu。
举例来说，将"逻辑1"的神经元数值定义为开关晶体管的开启电压(on voltage)，将"逻辑0"的神经元数值定义为开关晶体管的关闭电压(off voltage)。因此，神经元数值为逻辑"1"时，开关晶体管开启使得电流源动作并产生电流Iu，神经元数值为逻辑"0"时，开关晶体管关闭使得电流源不动作且无法产生电流。其中，第一供应电压可为3.3V，开启电压(on voltage)可为接地电压，关闭电压(off voltage)可为3.3V。
因此，乘积累加电路71于应用阶段所产生的输出电流Io1即为：
Figure BDA0002883475450000131
比特的二进制码。
再者，每个乘积累加电路71～7j的输出端O1～Oj连接至对应的转换电路791～79j，用以将j个输出电流Io1～Ioj转换为下一层的一比特的神经元数值Dout_1～Dout_j。举例来说，转换电路791～79j为电流比较器(current comparator)，当输出电流Io1大于参考电流时，则下一层的神经元数值Dout_1为"逻辑1"。当输出电流Io1小于参考电流时，则下一层的神经元数值为"逻辑0"。
由以上的说明可知，本发明提出一种运用于二进制类神经网络系统的乘积累加电路。在乘积累加电路的每一条电流路径中，利用非易失性存储单元来储存一比特的神经元连接权重，并利用前一级的一比特的神经元数值来控制电流源，进而达成运用于二进制类神经网络系统的乘积累加电路。
再者，经过适当地修改，更可使本发明的乘积累加电路运用于多比特类神经网络系统，以下简单介绍。
请参照图8，其所绘示为可运用于多比特类神经网络系统的乘积累加电路。乘积累加电路800包括：m个子乘积累加电路81～8m，每个子乘积累加电路81～8m接收对应的前一层神经元数值Din_1～Din_m。其中，每一个神经元数值Din_1～Din_m皆为n比特的二进制码(n-bit binary code)，且n大于1。
再者，每个子乘积累加电路81～8m有相同的结构，以下仅介绍子乘积累加电路81。子乘积累加电路81包括n个电流源811～81n及n个非易失性存储单元821～82n。其中，由于前一层神经元数值Din_1有n个比特b11～bn1，所以子乘积累加电路81的n个输入端对应地接收神经元数值Din_1的n比特b11～bn1。再者，n个电流源811～81n受控于神经元数值Din_1的n比特b11～bn1。
另外，每个非易失性存储单元821～82n皆可储存一比特的神经元连接权重w11～wn1。亦即，所有n个非易失性存储单元821～82n共可储存n比特的神经元连接权重。再者，非易失性存储单元821～82n可由MTP存储单元、OTP存储单元或者掩膜式只读存储单元来实现。
在子乘积累加电路81包括n条电流路径(current path)并联(parallelconnected)于第一供应电压Vss与输出端O之间。每一条电流路径包括电流源与非易失性存储单元。在第一电流路径中，电流源811受控于神经元数值Din_1的最低比特(LSB)b11。在第二电流路径中，电流源812受控于神经元数值Din_1的次低比特b21。依此类推，在第n电流路径中，电流源81n受控于神经元数值Din_1的最高比特(MSB)bn1。
根据本发明的实施例，电流源811～81n产生的电流大小相关于神经元数值Din_1的比特次序。举例来说，神经元数值Din_1的最低比特(LSB)b11所控制的电流源811可以产生的电流大小为Iu，神经元数值Din_1的次低比特b21所控制的电流源812可以产生的电流大小为2倍Iu，神经元数值Din_1的最高比特bn1所控制的电流源81n可以产生的电流大小为(2n-1)倍Iu。
基本上，乘积累加电路800于应用阶段时，乘积累加电路800的输出端O会接收第二供应电压Vd，且第二供应电压Vd会大于第一供应电压Vss。
再者，乘积累加电路800于应用阶段时，根据前一层的m个神经元数值Din_1～Din_m，以及非易失性存储单元821～82n与841～84n储存的一比特的神经元连接权重w11～n1与w1m～wnm，即可在乘积累加电路800的输出端O产生输出电流Io：
Figure BDA0002883475450000151
再者，利用模拟转数字电路(ADC)，即可将输出电流Io转换为下一层的n比特的神经元数值。
综上所述，虽然本发明已以较佳实施例公开如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视后附的权利要求书所界定者为准。
【符号说明】
100:类神经网络系统
102：手写板
110：输入层
120：隐藏层
130：输出层
200,251～25j,300,41～4j,51～5j,61～6j,71～7j,800：乘积累加电路
250：乘积累加电路组
260：数字模拟转换器
270：模拟数字转换器
301～30m,411～41m,421～42m,4j1～4jm,511～51m,521～52m,5j1～5jm：电流源
311～31m,431～43m,441～44m,451～45m,531～53m,541～54m,551～55m：存储单元
611～61m,621～62m,6j1～6jm,711～71m,721～72m,7j1～7jm：电流源
631～63m,641～64m,6j1～6jm,731～73m,741～74m,751～75m：存储单元
81～8m：子乘积累加电路
811～81n,831～83n：电流源
821～82n,841～84n：存储单元

Claims (12)

1.一种乘积累加电路，接收类神经网络系统中第一层的m个一比特神经元数值，该乘积累加电路包括：
m个非易失性存储单元；以及
m个电流源；
其中，该m个非易失性存储单元与该m个电流源形成m条电流路径，该m条电流路径连接于第一供应电压与输出端之间；
其中，该m个非易失性存储单元中的第一非易失性存储单元与该m个电流源中的第一电流源形成第一电流路径，该第一电流源的第一端接收该第一供应电压，该第一电流源的第二端连接至该第一非易失性存储单元的第一端，该第一非易失性存储单元的第二端连接至该输出端，且该第一电流源的控制端接收该第一层的m个一比特神经元数值中的第一一比特神经元数值。
2.根据权利要求1所述的乘积累加电路，其中该m个非易失性存储单元为多次编程存储单元、单次编程存储单元或者掩膜式只读存储单元，且每一该非易失性存储单元储存一比特神经元连接权重。
3.根据权利要求2所述的乘积累加电路，其中当该第一非易失性存储单元为高电阻值的第一储存状态时，该第一非易失性存储单元储存的该一比特神经元连接权重为第一逻辑数值；以及该第一非易失性存储单元为低电阻值的第二储存状态时，该第一非易失性存储单元储存的该一比特神经元连接权重为第二逻辑数值。
4.根据权利要求3所述的乘积累加电路，其中该第一逻辑数值为逻辑0，且该第二逻辑数值为逻辑1。
5.根据权利要求1所述的乘积累加电路，其中在应用阶段中时，该乘积累加电路根据该第一层的m个一比特神经元数值来控制对应的该m条电流路径，使得该乘积累加电路的该输出端产生输出电流。
6.根据权利要求5所述的乘积累加电路，还包括转换电路接收该输出电流，并将该输出电流转换为该类神经网络系统中第二层的一比特神经元数值。
7.根据权利要求6所述的乘积累加电路，其中该转换电路为电流比较器，当输出电流小于参考电流时，该第二层的该一比特神经元数值为第一逻辑数值；以及，当该输出电流大于该参考电流时，该第二层的该一比特神经元数值第二逻辑数值。
8.根据权利要求7所述的乘积累加电路，其中该第一逻辑数值为逻辑0，且该第二逻辑数值为逻辑1。
9.根据权利要求1所述的乘积累加电路，其中该第一电流源包括晶体管，该晶体管的栅极端接收该第一一比特神经元数值，该晶体管的第一漏/源端接收该第一供应电压，该晶体管的第二漏/源端连接至该第一非易失性存储单元的该第一端。
10.根据权利要求9所述的乘积累加电路，其中该晶体管为p型晶体管或者n型晶体管。
11.根据权利要求1所述的乘积累加电路，其中该第一电流源包括偏压晶体管与开关晶体管，该偏压晶体管的栅极端接收偏压电压，该偏压晶体管的第一漏/源端接收该第一供应电压，该偏压晶体管的第二漏/源端连接至该开关晶体管的第一漏/源端，该开关晶体管的第二漏/源端连接至该第一非易失性存储单元的该第一端，该开关晶体管的栅极端接收该第一一比特神经元数值。
12.根据权利要求11所述的乘积累加电路，其中该偏压晶体管与该开关晶体管为p型晶体管或者n型晶体管。
CN202110006176.8A 2020-02-12 2021-01-05 运用于二进制类神经网络系统的乘积累加电路 Active CN113325909B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202062975671P 2020-02-12 2020-02-12
US62/975,671 2020-02-12

Publications (2)

Publication Number Publication Date
CN113325909A true CN113325909A (zh) 2021-08-31
CN113325909B CN113325909B (zh) 2022-11-01

Family

ID=77177573

Family Applications (3)

Application Number Title Priority Date Filing Date
CN202011536677.9A Active CN113257850B (zh) 2020-02-12 2020-12-23 电阻式存储器胞及其相关的阵列结构
CN202110006176.8A Active CN113325909B (zh) 2020-02-12 2021-01-05 运用于二进制类神经网络系统的乘积累加电路
CN202110067401.9A Active CN113257820B (zh) 2020-02-12 2021-01-19 玻璃基板上的一次编程非挥发性存储单元

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202011536677.9A Active CN113257850B (zh) 2020-02-12 2020-12-23 电阻式存储器胞及其相关的阵列结构

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110067401.9A Active CN113257820B (zh) 2020-02-12 2021-01-19 玻璃基板上的一次编程非挥发性存储单元

Country Status (3)

Country Link
US (3) US11663455B2 (zh)
CN (3) CN113257850B (zh)
TW (3) TWI732723B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11227894B2 (en) * 2019-10-30 2022-01-18 Globalfoundries U.S. Inc. Memory cells with vertically overlapping wordlines
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure
US11715520B2 (en) 2021-04-05 2023-08-01 Micron Technology, Inc. Socket structure for spike current suppression in a memory array
US11348640B1 (en) * 2021-04-05 2022-05-31 Micron Technology, Inc. Charge screening structure for spike current suppression in a memory array
US11862215B2 (en) 2021-08-27 2024-01-02 Micron Technology, Inc. Access line having a resistive layer for memory cell access
TWI813217B (zh) * 2021-12-09 2023-08-21 友達光電股份有限公司 半導體裝置及其製造方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049842A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049741A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019147522A2 (en) * 2018-01-23 2019-08-01 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
CN110209375A (zh) * 2019-05-30 2019-09-06 浙江大学 一种基于radix-4编码和差分权重存储的乘累加电路
CN110378475A (zh) * 2019-07-08 2019-10-25 浙江大学 一种基于多位并行二进制突触阵列的神经形态计算电路
CN110569962A (zh) * 2019-08-08 2019-12-13 华中科技大学 一种基于1t1r存储器阵列的卷积计算加速器及其操作方法

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4037243A (en) * 1974-07-01 1977-07-19 Motorola, Inc. Semi conductor memory cell utilizing sensing of variations in PN junction current conrolled by stored data
KR100193101B1 (ko) * 1994-07-22 1999-06-15 모리시다 요이치 비휘발성 반도체 기억장치 및 그 구동방법
JP3475634B2 (ja) 1996-01-24 2003-12-08 ソニー株式会社 ツェナーダイオードおよびその製造方法
JP3853981B2 (ja) * 1998-07-02 2006-12-06 株式会社東芝 半導体記憶装置の製造方法
US6490194B2 (en) * 2001-01-24 2002-12-03 Infineon Technologies Ag Serial MRAM device
EP1233453A3 (en) * 2001-02-19 2005-03-23 Kawasaki Microelectronics, Inc. Semiconductor integrated circuit having anti-fuse, method of fabricating, and method of writing data in the same
US7084437B2 (en) * 2001-10-31 2006-08-01 International Business Machines Corporation Semiconductor device
TWI320571B (en) * 2002-09-12 2010-02-11 Qs Semiconductor Australia Pty Ltd Dynamic nonvolatile random access memory ne transistor cell and random access memory array
US8637366B2 (en) 2002-12-19 2014-01-28 Sandisk 3D Llc Nonvolatile memory cell without a dielectric antifuse having high- and low-impedance states
JP4004534B2 (ja) * 2004-05-19 2007-11-07 エンゼル工業株式会社 太陽電池用リード端子付ダイオード
US7638855B2 (en) * 2005-05-06 2009-12-29 Macronix International Co., Ltd. Anti-fuse one-time-programmable nonvolatile memory
TWI286815B (en) * 2005-11-03 2007-09-11 Ind Tech Res Inst Memory cell, pixel structure and manufacturing process of memory cell
US20070247915A1 (en) * 2006-04-21 2007-10-25 Intersil Americas Inc. Multiple time programmable (MTP) PMOS floating gate-based non-volatile memory device for a general-purpose CMOS technology with thick gate oxide
US7489535B2 (en) * 2006-10-28 2009-02-10 Alpha & Omega Semiconductor Ltd. Circuit configurations and methods for manufacturing five-volt one time programmable (OTP) memory arrays
JP2007201494A (ja) * 2007-03-26 2007-08-09 Toshiba Corp 不揮発性半導体記憶装置
CN101452938B (zh) * 2007-11-30 2010-11-03 上海华虹Nec电子有限公司 一次可编程非挥发性存储器单元
US9343665B2 (en) * 2008-07-02 2016-05-17 Micron Technology, Inc. Methods of forming a non-volatile resistive oxide memory cell and methods of forming a non-volatile resistive oxide memory array
US8519509B2 (en) * 2010-04-16 2013-08-27 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and manufacturing method thereof
US8804398B2 (en) * 2010-08-20 2014-08-12 Shine C. Chung Reversible resistive memory using diodes formed in CMOS processes as program selectors
US9070437B2 (en) * 2010-08-20 2015-06-30 Shine C. Chung Circuit and system of using junction diode as program selector for one-time programmable devices with heat sink
US8803124B2 (en) 2012-02-29 2014-08-12 Intermolecular, Inc. Creating an embedded reram memory from a high-K metal gate transistor structure
US8748940B1 (en) * 2012-12-17 2014-06-10 Intel Corporation Semiconductor devices with germanium-rich active layers and doped transition layers
US9293509B2 (en) * 2013-03-20 2016-03-22 HangZhou HaiCun Information Technology Co., Ltd. Small-grain three-dimensional memory
US9281074B2 (en) 2013-05-16 2016-03-08 Ememory Technology Inc. One time programmable memory cell capable of reducing leakage current and preventing slow bit response
US9286973B2 (en) * 2013-09-24 2016-03-15 Taiwan Semiconductor Manufacturing Company Limited Device and method for forming resistive random access memory cell
CN104681558B (zh) * 2013-12-03 2017-11-07 珠海创飞芯科技有限公司 Otp器件结构及其加工方法
US9431111B2 (en) * 2014-07-08 2016-08-30 Ememory Technology Inc. One time programming memory cell, array structure and operating method thereof
US9397157B2 (en) * 2014-08-20 2016-07-19 Taiwan Semiconductor Manufacturing Company, Ltd. Multi-gate device structure including a fin-embedded isolation region and methods thereof
US20160093672A1 (en) 2014-09-26 2016-03-31 Qualcomm Incorporated Logic high-k/metal gate 1t-1c rram mtp/otp devices
US9799662B2 (en) * 2015-08-18 2017-10-24 Ememory Technology Inc. Antifuse-type one time programming memory cell and array structure with same
US9634015B2 (en) 2015-08-18 2017-04-25 Ememory Technology Inc. Antifuse-type one time programming memory cell and array structure with same
US20190148286A1 (en) * 2015-09-21 2019-05-16 Monolithic 3D Inc. Multi-level semiconductor device and structure with memory
CN106447036B (zh) * 2015-10-08 2019-03-15 上海兆芯集成电路有限公司 执行随机舍入的神经网络单元
TWI672796B (zh) * 2015-10-30 2019-09-21 聯華電子股份有限公司 半導體元件
US10622365B2 (en) * 2015-11-07 2020-04-14 Monolithic 3D Inc. Semiconductor memory device and structure
WO2017111848A1 (en) * 2015-12-24 2017-06-29 Intel Corporation Transistor including tensile-strained germanium germanium channel
US9613714B1 (en) * 2016-01-19 2017-04-04 Ememory Technology Inc. One time programming memory cell and memory array for physically unclonable function technology and associated random code generating method
US9514818B1 (en) * 2016-05-04 2016-12-06 Tower Semiconductor Ltd. Memristor using parallel asymmetrical transistors having shared floating gate and diode
US11195924B2 (en) * 2016-06-27 2021-12-07 Intel Corporation Broken bandgap contact
GB2552014B (en) * 2016-07-07 2020-05-13 Advanced Risc Mach Ltd Reconfigurable artificial neural networks comprising programmable non-volatile memory elements
KR102178025B1 (ko) * 2016-08-09 2020-11-13 매그나칩 반도체 유한회사 감소된 레이아웃 면적을 갖는 otp 셀
JP2018055742A (ja) * 2016-09-28 2018-04-05 エイブリック株式会社 不揮発性半導体記憶装置
US10082736B2 (en) * 2017-01-13 2018-09-25 International Business Machines Corporation Approach to lowering extreme ultraviolet exposure dose for inorganic hardmasks for extreme ultraviolet patterning
WO2018174874A1 (en) * 2017-03-22 2018-09-27 Intel Corporation Embedded memory employing self-aligned top-gated thin film transistors
JP6349008B1 (ja) * 2017-04-13 2018-06-27 力旺電子股▲ふん▼有限公司ｅＭｅｍｏｒｙ Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｃ． 乱数発生装置及びその制御方法
FR3066310B1 (fr) * 2017-05-12 2020-01-24 Stmicroelectronics (Rousset) Sas Cellule memoire de type ram resistive
US10522580B2 (en) * 2017-08-23 2019-12-31 Taiwan Semiconductor Manufacturing Co., Ltd. Structure and formation method of light-sensing device
US11138497B2 (en) * 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
US20190042949A1 (en) * 2018-09-28 2019-02-07 Intel Corporation Methodology for porting an ideal software implementation of a neural network to a compute-in-memory circuit
US11663455B2 (en) * 2020-02-12 2023-05-30 Ememory Technology Inc. Resistive random-access memory cell and associated cell array structure

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019049842A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019049741A1 (ja) * 2017-09-07 2019-03-14 パナソニック株式会社 不揮発性半導体記憶素子を用いたニューラルネットワーク演算回路
WO2019147522A2 (en) * 2018-01-23 2019-08-01 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
CN110209375A (zh) * 2019-05-30 2019-09-06 浙江大学 一种基于radix-4编码和差分权重存储的乘累加电路
CN110378475A (zh) * 2019-07-08 2019-10-25 浙江大学 一种基于多位并行二进制突触阵列的神经形态计算电路
CN110569962A (zh) * 2019-08-08 2019-12-13 华中科技大学 一种基于1t1r存储器阵列的卷积计算加速器及其操作方法

Also Published As

Publication number Publication date
CN113257850B (zh) 2024-01-30
US20210249426A1 (en) 2021-08-12
TWI774201B (zh) 2022-08-11
US20210249601A1 (en) 2021-08-12
CN113325909B (zh) 2022-11-01
US11663455B2 (en) 2023-05-30
CN113257820B (zh) 2023-10-17
TW202145509A (zh) 2021-12-01
TWI773076B (zh) 2022-08-01
TW202131333A (zh) 2021-08-16
US11610103B2 (en) 2023-03-21
CN113257820A (zh) 2021-08-13
TWI732723B (zh) 2021-07-01
US20210248452A1 (en) 2021-08-12
CN113257850A (zh) 2021-08-13
TW202131205A (zh) 2021-08-16

Similar Documents

Publication Publication Date Title
CN113325909B (zh) 运用于二进制类神经网络系统的乘积累加电路
TWI760746B (zh) 運用於類神經網路系統的乘積累加電路之控制電路
US20230082240A1 (en) Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
US10332592B2 (en) Hardware accelerators for calculating node values of neural networks
KR20190107143A (ko) 혼합-신호 연산 시스템 및 방법
US11580368B2 (en) Artificial neural network circuit
US20180285721A1 (en) Neuromorphic device including a synapse having a variable resistor and a transistor connected in parallel with each other
US11544540B2 (en) Systems and methods for neural network training and deployment for hardware accelerators
US11886987B2 (en) Non-volatile memory-based compact mixed-signal multiply-accumulate engine
US11922169B2 (en) Refactoring mac operations
CN111194467A (zh) 差分忆阻电路
Vahdat et al. Interstice: Inverter-based memristive neural networks discretization for function approximation applications
Gi et al. A ReRAM-based convolutional neural network accelerator using the analog layer normalization technique
He et al. Rvcomp: Analog variation compensation for rram-based in-memory computing
US20230177319A1 (en) Methods and systems of operating a neural circuit in a non-volatile memory based neural-array
Amirsoleimani CODEX: Stochastic Encoding Method to Relax Resistive Crossbar Accelerator Design Requirements
CN113160860B (zh) 计算系统、计算器件和计算方法
TWI788128B (zh) 記憶體裝置及其操作方法
Mondal et al. Current comparator-based reconfigurable adder and multiplier on hybrid memristive crossbar
Caselli et al. Analog In-Memory Computing with SOT-MRAM: Architecture and Circuit Challenges
Jeong Greedy Edge-Wise Training of Resistive Switch Arrays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant