JP2021536600A - 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム - Google Patents
複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム Download PDFInfo
- Publication number
- JP2021536600A JP2021536600A JP2021509739A JP2021509739A JP2021536600A JP 2021536600 A JP2021536600 A JP 2021536600A JP 2021509739 A JP2021509739 A JP 2021509739A JP 2021509739 A JP2021509739 A JP 2021509739A JP 2021536600 A JP2021536600 A JP 2021536600A
- Authority
- JP
- Japan
- Prior art keywords
- vector matrix
- matrix multiplication
- cell
- block
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 208
- 239000013598 vector Substances 0.000 title claims abstract description 94
- 239000011159 matrix material Substances 0.000 title claims abstract description 48
- 238000003491 array Methods 0.000 title claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 title abstract description 29
- 238000013135 deep learning Methods 0.000 title abstract description 6
- 230000001537 neural effect Effects 0.000 title description 3
- 238000012795 verification Methods 0.000 claims abstract description 22
- 230000000306 recurrent effect Effects 0.000 claims abstract description 10
- 230000007787 long-term memory Effects 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 59
- 230000004913 activation Effects 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 29
- 230000004044 response Effects 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 abstract description 7
- 238000012360 testing method Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 abstract description 5
- 210000004027 cell Anatomy 0.000 description 278
- 210000002569 neuron Anatomy 0.000 description 37
- 210000000225 synapse Anatomy 0.000 description 27
- 239000000463 material Substances 0.000 description 10
- 239000000758 substrate Substances 0.000 description 7
- 102100036301 C-C chemokine receptor type 7 Human genes 0.000 description 6
- 102100031658 C-X-C chemokine receptor type 5 Human genes 0.000 description 6
- 101000716065 Homo sapiens C-C chemokine receptor type 7 Proteins 0.000 description 6
- 101000922405 Homo sapiens C-X-C chemokine receptor type 5 Proteins 0.000 description 6
- 239000003990 capacitor Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000002071 nanotube Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000009966 trimming Methods 0.000 description 2
- 102100023226 Early growth response protein 1 Human genes 0.000 description 1
- 230000005689 Fowler Nordheim tunneling Effects 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 101001049697 Homo sapiens Early growth response protein 1 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
- G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
- G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/08—Address circuits; Decoders; Word-line control circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
- G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
- G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
- G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/26—Sensing or reading circuits; Data output circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/30—Power supply circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
- G11C16/3436—Arrangements for verifying correct programming or erasure
- G11C16/3454—Arrangements for verifying correct programming or for detecting overprogrammed cells
- G11C16/3459—Circuits or methods to verify correct programming of nonvolatile memory cells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/40—Electrodes ; Multistep manufacturing processes therefor
- H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
- H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
- H01L29/42312—Gate electrodes for field effect devices
- H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
- H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
- H01L29/42324—Gate electrodes for transistors with a floating gate
- H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Neurology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Non-Volatile Memory (AREA)
- Read Only Memory (AREA)
Abstract
Description
本出願は、「Analog NeuroMemory System for Deep Learning NeuroNetwork Comprising Multiple Vector−By−Matrix Multiliplications Arrays and Shared Components」と題する、2018年8月21日に出願された米国仮特許出願第62/720,902号、及び「Analog Neural Memory System for Deep Learning Neural Network Comprising Multiple Vector−By−Matrix Multiplication Arrays and Shared Components」と題する、2018年11月6日に出願された米国特許出願第16/182,492号に対する優先権を主張する。
深層学習ニューラルネットワークで使用するためのアナログニューロモーフィックメモリシステムについて、多数の実施形態が開示される。アナログニューロモーフィックメモリシステムは、複数のベクトルマトリックス乗算アレイと、それらのアレイによって共有される様々な構成要素であって、高電圧生成ブロック、検証ブロック、及び試験ブロックを含む、様々な構成要素と、を備える。
不揮発性メモリセル
不揮発性メモリセルアレイを使用するニューラルネットワーク
ベクトルマトリックス乗算(VMM)アレイ
Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
ここで、w=e(-Vth)/kVtである。
Vg=k*Vt*log[Ids/wp*Io]
ここで、wpは、基準又は周辺メモリセルのwである。
Iout=wa*Io*e(Vg)/kVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt
ここで、メモリアレイの各メモリセルのwa=wである。
Ids=β*(Vgs−Vth)*Vds;β=u*Cox*W/L
W=α(Vgs−Vth)
ゲート付き回帰型ユニット
フラッシュアナログニューロモーフィックメモリ共有アーキテクチャシステム
・アナログ回路ブロック2210と、
・高電圧発生回路2211と、
・検証ブロック2212と、
・システム制御ブロック2213と、
・アレイ基準ブロック2214と、
・検知ブロック2215と、を含む。
・システム質量消去動作であって、システム2200の全ての選択されたマクロの選択されたセルが消去され、
・システム質量プログラム動作であって、システム2200の全ての選択されたマクロの選択されたセルがプログラムされ、プログラム高電圧補償はマクロごと(マクロ高電圧補償ブロックを使用して)に行われ、つまり、補償はマクロレベルで、例えば各マクロ、Icomp=プログラムされていないビット*Iprogの数で局所的に行われ、あるいは、高電圧補償は、システムレベルごと(システムレベル高電圧補償ブロックを使用して)に行われ、例えば、この場合、大部分のプログラムされていないビットを有するマクロを使用して、高電圧生成回路(hvgen)、例えば、hvgenで、Icomp=プログラムされていないビット*Iprogの数を補償する。
・システム読み出し/検証動作であって、システム2200の全ての選択されたマクロの選択されたセルが読み出されかつ検証され、複数のコアの複数のセルについて「0」(プログラムされた状態)を読み出す場合、基準「0」マージンI−M0電流を電流検知で使用して、選択されたセル電流の合計が、>I−M0であるかを検出し、次いで「0」の読み出しに失敗し、複数のコアの複数のセルについて「1」(プログラムされた状態)を読み出すために、基準「1」マージンk*I−M1電流を電流検知で使用して、選択されたセル電流の合計が、<k*I−M1であるかを検出し、次いで「1」の読み出しに失敗し、例えば、2個のセル、k=2を並列に読み出す。
・マクロ消去動作であって、この場合1つのみのマクロブロック、ここではMACRO1と標示されたものが消去される。セクタ(複数の行からなる)を、マクロセクタ消去で消去することができ、又はマクロ質量消去によってアレイ全体を消去することができる。
・マクロプログラム動作であって、この場合1つのみのマクロブロック、ここではMACRO1と標示されたものがプログラムされる。ワード(複数の列の複数のセルからなる)は、複数の行及び/又は複数の列を有するマクロワードプログラム又は選択された質量アレイでプログラムすることができ、及び/又は複数の列はマクロ質量プログラムによってプログラムすることができる。
・マクロ読み出し/検証動作であって、この場合1つのみのマクロブロック、ここではMACRO1と標示されたものが読み出され、検証される。
・ニューラル読み出し動作であって、この場合単一のマクロブロックの全てのセルが一度に読み出される。
Claims (27)
- アナログニューロモーフィックメモリシステムであって、
複数のベクトルマトリックス乗算システムであって、各ベクトルマトリックス乗算システムは、
メモリセルのアレイと、
低電圧行デコーダと、
高電圧行デコーダと、
低電圧列デコーダと、を備える、複数のベクトルマトリックス乗算システムと、
複数の出力ブロックであって、各出力ブロックは、前記複数のベクトルマトリックス乗算システムのうちの少なくとも1つに応答して出力を提供する、複数の出力ブロックと、
消去動作及びプログラミング動作のうちの1つ以上のために、前記複数のベクトルマトリックス乗算システムの各々に高電圧を同時に提供するように構成された共有高電圧発生器ブロックと、を備える、アナログニューロモーフィックメモリシステム。 - 前記複数のベクトルマトリックス乗算システムの各々に対する高電圧補償ブロックを更に備える、請求項1に記載のシステム。
- 前記複数のベクトルマトリックス乗算システムの全てに対する高電圧補償ブロックを更に備える、請求項1に記載のシステム。
- 前記システムは、2つ以上のベクトルマトリックス乗算システムに対してプログラミング動作を同時に実行するように構成されている、請求項1に記載のシステム。
- 前記同時プログラミング動作は、単一のコマンドに応答して実行される、請求項1に記載のシステム。
- 前記システムは、前記同時プログラミング動作後に、前記2つ以上のベクトルマトリックス乗算システムに対する検証動作を同時に実行するように構成されている、請求項4に記載のシステム。
- 前記高電圧発生器ブロックは、前記ベクトルマトリックス乗算システムの全てにおいて、メモリセルの全てのアレイに対してプログラム動作及び消去動作を同時に実行するのに十分な電圧及び電流を提供することができる、請求項1に記載のシステム。
- 前記メモリセルは、スプリットゲートフラッシュメモリセルである、請求項1に記載のシステム。
- 各ベクトルマトリックス乗算システムは、長・短期メモリシステムのセルである、請求項1に記載のシステム。
- 各ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットメモリシステムのセルである、請求項1に記載のシステム。
- 前記高電圧発生器ブロックは、チャージポンプを備える、請求項1に記載のシステム。
- 前記複数の出力ブロックの各々は、加算器及び活性化ブロックを備える、請求項1に記載のシステム。
- 各加算器及び活性化ブロックは、前記複数のベクトルマトリックス乗算システムのうちの少なくとも1つに対する加算及び活性化関数を実行するように構成されている、請求項12に記載のシステム。
- アナログニューロモーフィックメモリシステムであって、
複数のベクトルマトリックス乗算システムであって、各ベクトルマトリックス乗算システムは、
メモリセルのアレイと、
低電圧行デコーダと、
高電圧行デコーダと、
低電圧列デコーダと、を備える、複数のベクトルマトリックス乗算システムと、
複数の出力ブロックであって、各出力ブロックは、前記複数のベクトルマトリックス乗算システムのうちの少なくとも1つに応答して出力を提供する、複数の出力ブロックと、
前記複数のベクトルマトリックスシステムのうちの2つ以上のプログラム動作後に、検証動作を同時に実行するように構成された共有検証ブロックと、を備える、システム。 - メモリセルの「0」値を検知するための検知ブロックを更に備え、前記検知ブロックは、前記複数のベクトルマトリックス乗算システムのうちの1つ以上に結合され得る、請求項14に記載のシステム。
- メモリセルの「1」値を検知するための検知ブロックを更に備え、前記検知ブロックは、前記複数のベクトルマトリックス乗算システムのうちの1つ以上に結合され得る、請求項14に記載のシステム。
- 前記複数のベクトルマトリックスシステムのうちの2つ以上のメモリセルにおいて読み出し動作を同時に実行するように構成された共有検知ブロックを更に備える、請求項14に記載のシステム。
- 前記複数のベクトルマトリックスシステムのうちのいずれかにおいて1つ以上の構成要素を調整するように構成された共有トリムブロックを更に備える、請求項14に記載のシステム。
- 前記1つ以上の構成要素は、調節可能な抵抗器を備える、請求項18に記載のシステム。
- 前記1つ以上の構成要素は、調節可能なトランジスタを備える、請求項18に記載のシステム。
- 前記1つ以上の構成要素は、調節可能な電流源を備える、請求項18に記載のシステム。
- 前記共有検証ブロックは、前記ベクトルマトリックス乗算システムの全てにおいて、メモリセルで読み取り動作を同時に実行することができる、請求項14に記載のシステム。
- 前記メモリセルは、スプリットゲートフラッシュメモリセルである、請求項14に記載のシステム。
- 各ベクトルマトリックス乗算システムは、長・短期メモリシステムのセルである、請求項14に記載のシステム。
- 各ベクトルマトリックス乗算システムは、ゲート付き回帰型ユニットメモリシステムのセルである、請求項14に記載のシステム。
- 前記複数の出力ブロックの各々は、加算器及び活性化ブロックを備える、請求項14に記載のシステム。
- 各加算器及び活性化ブロックは、前記複数のベクトルマトリックス乗算システムのうちの少なくとも1つに対する加算及び活性化関数を実行するように構成されている、請求項26に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862720902P | 2018-08-21 | 2018-08-21 | |
US62/720,902 | 2018-08-21 | ||
US16/182,492 US10860918B2 (en) | 2018-08-21 | 2018-11-06 | Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components |
US16/182,492 | 2018-11-06 | ||
PCT/US2019/041039 WO2020040893A1 (en) | 2018-08-21 | 2019-07-09 | Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021536600A true JP2021536600A (ja) | 2021-12-27 |
JP7399153B2 JP7399153B2 (ja) | 2023-12-15 |
Family
ID=69583780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021509739A Active JP7399153B2 (ja) | 2018-08-21 | 2019-07-09 | 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム |
Country Status (7)
Country | Link |
---|---|
US (2) | US10860918B2 (ja) |
EP (2) | EP4202769A1 (ja) |
JP (1) | JP7399153B2 (ja) |
KR (1) | KR102653629B1 (ja) |
CN (1) | CN112567391A (ja) |
TW (1) | TWI725509B (ja) |
WO (1) | WO2020040893A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10957392B2 (en) | 2018-01-17 | 2021-03-23 | Macronix International Co., Ltd. | 2D and 3D sum-of-products array for neuromorphic computing system |
US11138497B2 (en) | 2018-07-17 | 2021-10-05 | Macronix International Co., Ltd | In-memory computing devices for neural networks |
US10956814B2 (en) * | 2018-08-27 | 2021-03-23 | Silicon Storage Technology, Inc. | Configurable analog neural memory system for deep learning neural network |
US11636325B2 (en) | 2018-10-24 | 2023-04-25 | Macronix International Co., Ltd. | In-memory data pooling for machine learning |
US11562229B2 (en) | 2018-11-30 | 2023-01-24 | Macronix International Co., Ltd. | Convolution accelerator using in-memory computation |
US11184446B2 (en) | 2018-12-05 | 2021-11-23 | Micron Technology, Inc. | Methods and apparatus for incentivizing participation in fog networks |
US11934480B2 (en) | 2018-12-18 | 2024-03-19 | Macronix International Co., Ltd. | NAND block architecture for in-memory multiply-and-accumulate operations |
US11586898B2 (en) * | 2019-01-29 | 2023-02-21 | Silicon Storage Technology, Inc. | Precision programming circuit for analog neural memory in deep learning artificial neural network |
US11327551B2 (en) | 2019-02-14 | 2022-05-10 | Micron Technology, Inc. | Methods and apparatus for characterizing memory devices |
US11256778B2 (en) | 2019-02-14 | 2022-02-22 | Micron Technology, Inc. | Methods and apparatus for checking the results of characterized memory searches |
US11119674B2 (en) | 2019-02-19 | 2021-09-14 | Macronix International Co., Ltd. | Memory devices and methods for operating the same |
US11132176B2 (en) * | 2019-03-20 | 2021-09-28 | Macronix International Co., Ltd. | Non-volatile computing method in flash memory |
US10867655B1 (en) | 2019-07-08 | 2020-12-15 | Micron Technology, Inc. | Methods and apparatus for dynamically adjusting performance of partitioned memory |
KR102196523B1 (ko) * | 2019-07-16 | 2020-12-29 | 성균관대학교산학협력단 | 플로팅 게이트 멤리스터 소자 및 이를 구비하는 뉴런 소자 |
US11449577B2 (en) | 2019-11-20 | 2022-09-20 | Micron Technology, Inc. | Methods and apparatus for performing video processing matrix operations within a memory array |
US11853385B2 (en) | 2019-12-05 | 2023-12-26 | Micron Technology, Inc. | Methods and apparatus for performing diversity matrix operations within a memory array |
US11600321B2 (en) | 2020-03-05 | 2023-03-07 | Silicon Storage Technology, Inc. | Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network |
US11289164B2 (en) * | 2020-06-03 | 2022-03-29 | Silicon Storage Technology, Inc. | Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network |
US20220067499A1 (en) * | 2020-08-25 | 2022-03-03 | Silicon Storage Technology, Inc. | Concurrent write and verify operations in an analog neural memory |
CN114785539A (zh) * | 2022-03-04 | 2022-07-22 | 清华大学 | 基于神经形态器件的高可靠性密码验证方法及装置 |
WO2023196000A1 (en) * | 2022-04-07 | 2023-10-12 | Silicon Storage Technology, Inc. | Vector-by-matrix-multiplication array utilizing analog inputs |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04132087A (ja) * | 1990-09-21 | 1992-05-06 | Hitachi Ltd | 半導体集積回路装置 |
JP2011233198A (ja) * | 2010-04-27 | 2011-11-17 | Oki Semiconductor Co Ltd | 半導体不揮発性記憶装置 |
JP2012164384A (ja) * | 2011-02-07 | 2012-08-30 | Toshiba Corp | 不揮発性半導体記憶装置 |
JP2014057077A (ja) * | 2009-02-24 | 2014-03-27 | Conversant Intellectual Property Management Inc | マスタデバイスを含む積み重ね半導体デバイス |
US20170337466A1 (en) * | 2016-05-17 | 2017-11-23 | Silicon Storage Technology, Inc. | Deep Learning Neural Network Classifier Using Non-volatile Memory Array |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
KR101354608B1 (ko) * | 2007-09-21 | 2014-01-22 | 삼성전자주식회사 | 플래시 메모리 장치 및 그것의 프로그램 방법 |
KR101435164B1 (ko) * | 2008-05-14 | 2014-09-02 | 삼성전자주식회사 | 고전압 발생회로 및 이를 포함하는 플래시 메모리 장치 |
US8433980B2 (en) * | 2008-06-23 | 2013-04-30 | Sandisk Il Ltd. | Fast, low-power reading of data in a flash memory |
US9123401B2 (en) * | 2012-10-15 | 2015-09-01 | Silicon Storage Technology, Inc. | Non-volatile memory array and method of using same for fractional word programming |
US9659636B2 (en) | 2014-07-22 | 2017-05-23 | Peter Wung Lee | NAND memory array with BL-hierarchical structure for concurrent all-BL, all-threshold-state program, and alternative-WL program, odd/even read and verify operations |
US10325006B2 (en) * | 2015-09-29 | 2019-06-18 | International Business Machines Corporation | Scalable architecture for analog matrix operations with resistive devices |
US9972395B2 (en) * | 2015-10-05 | 2018-05-15 | Silicon Storage Technology, Inc. | Row and column decoders comprising fully depleted silicon-on-insulator transistors for use in flash memory systems |
TWI645335B (zh) | 2016-11-14 | 2018-12-21 | 耐能股份有限公司 | 卷積運算裝置及卷積運算方法 |
US11003988B2 (en) | 2016-11-23 | 2021-05-11 | General Electric Company | Hardware system design improvement using deep learning algorithms |
US10261705B2 (en) | 2016-12-15 | 2019-04-16 | Alibaba Group Holding Limited | Efficient data consistency verification for flash storage |
US10394929B2 (en) | 2016-12-20 | 2019-08-27 | Mediatek, Inc. | Adaptive execution engine for convolution computing systems |
US10748630B2 (en) | 2017-11-29 | 2020-08-18 | Silicon Storage Technology, Inc. | High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks |
US10552510B2 (en) * | 2018-01-11 | 2020-02-04 | Mentium Technologies Inc. | Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays |
-
2018
- 2018-11-06 US US16/182,492 patent/US10860918B2/en active Active
-
2019
- 2019-07-09 EP EP23157551.5A patent/EP4202769A1/en active Pending
- 2019-07-09 KR KR1020217003032A patent/KR102653629B1/ko active IP Right Grant
- 2019-07-09 CN CN201980054181.7A patent/CN112567391A/zh active Pending
- 2019-07-09 EP EP19745503.3A patent/EP3841527B1/en active Active
- 2019-07-09 JP JP2021509739A patent/JP7399153B2/ja active Active
- 2019-07-09 WO PCT/US2019/041039 patent/WO2020040893A1/en unknown
- 2019-08-12 TW TW108128607A patent/TWI725509B/zh active
-
2020
- 2020-01-18 US US16/746,837 patent/US10896368B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04132087A (ja) * | 1990-09-21 | 1992-05-06 | Hitachi Ltd | 半導体集積回路装置 |
JP2014057077A (ja) * | 2009-02-24 | 2014-03-27 | Conversant Intellectual Property Management Inc | マスタデバイスを含む積み重ね半導体デバイス |
JP2011233198A (ja) * | 2010-04-27 | 2011-11-17 | Oki Semiconductor Co Ltd | 半導体不揮発性記憶装置 |
JP2012164384A (ja) * | 2011-02-07 | 2012-08-30 | Toshiba Corp | 不揮発性半導体記憶装置 |
US20170337466A1 (en) * | 2016-05-17 | 2017-11-23 | Silicon Storage Technology, Inc. | Deep Learning Neural Network Classifier Using Non-volatile Memory Array |
Non-Patent Citations (1)
Title |
---|
GUO, XINJIE: "Mixed Signal Neurocomputing Based on Floating-gate Memories", UC SANTA BARBARA ELECTRONIC THESES AND DISSERTATIONS[ONLINE], JPN6023018212, 2017, pages 44 - 57, ISSN: 0005053003 * |
Also Published As
Publication number | Publication date |
---|---|
US20200272886A1 (en) | 2020-08-27 |
US10896368B2 (en) | 2021-01-19 |
JP7399153B2 (ja) | 2023-12-15 |
WO2020040893A1 (en) | 2020-02-27 |
TWI725509B (zh) | 2021-04-21 |
EP3841527A1 (en) | 2021-06-30 |
KR20210024639A (ko) | 2021-03-05 |
EP3841527B1 (en) | 2023-04-05 |
EP4202769A1 (en) | 2023-06-28 |
US10860918B2 (en) | 2020-12-08 |
TW202025003A (zh) | 2020-07-01 |
KR102653629B1 (ko) | 2024-04-01 |
CN112567391A (zh) | 2021-03-26 |
US20200065650A1 (en) | 2020-02-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7399153B2 (ja) | 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム | |
JP7288461B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 | |
TWI780415B (zh) | 用於深度學習人工神經網路中之類比神經記憶體的解碼系統與實體佈局 | |
JP7209811B2 (ja) | 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム | |
JP2021536623A (ja) | 深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償 | |
JP2023093463A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ | |
JP2021517704A (ja) | 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置 | |
JP7153802B2 (ja) | 深層学習人工ニューラルネットワークのアナログニューラルメモリにおいて不揮発性メモリセルのプログラミング動作中に格納された値を検証するためのアルゴリズム及び回路 | |
JP2021531609A (ja) | ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償 | |
JP7394827B2 (ja) | ディープラーニングの人工ニューラルネットワーク内のアナログニューラルメモリ内に不良メモリセルを含む行又は列に関する冗長メモリアクセス | |
KR102630992B1 (ko) | 딥 러닝 인공 신경망 내의 아날로그 신경 메모리를 위한 워드 라인 및 제어 게이트 라인 탠덤 디코더 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220325 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230808 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7399153 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |