JP2021523511A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 - Google Patents
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 Download PDFInfo
- Publication number
- JP2021523511A JP2021523511A JP2020560979A JP2020560979A JP2021523511A JP 2021523511 A JP2021523511 A JP 2021523511A JP 2020560979 A JP2020560979 A JP 2020560979A JP 2020560979 A JP2020560979 A JP 2020560979A JP 2021523511 A JP2021523511 A JP 2021523511A
- Authority
- JP
- Japan
- Prior art keywords
- cells
- programming
- high voltage
- cell
- array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000013528 artificial neural network Methods 0.000 title abstract description 25
- 238000013135 deep learning Methods 0.000 title abstract description 6
- 230000001537 neural effect Effects 0.000 title abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 234
- 239000011159 matrix material Substances 0.000 claims description 39
- 210000002569 neuron Anatomy 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 27
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 230000000946 synaptic effect Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 abstract description 6
- 238000007667 floating Methods 0.000 description 34
- 210000000225 synapse Anatomy 0.000 description 26
- 238000003491 array Methods 0.000 description 12
- 239000000463 material Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000004913 activation Effects 0.000 description 7
- 239000000758 substrate Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 239000003990 capacitor Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000005689 Fowler Nordheim tunneling Effects 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
- G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
- G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/30—Power supply circuits
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/40—Electrodes ; Multistep manufacturing processes therefor
- H01L29/41—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions
- H01L29/423—Electrodes ; Multistep manufacturing processes therefor characterised by their shape, relative sizes or dispositions not carrying the current to be rectified, amplified or switched
- H01L29/42312—Gate electrodes for field effect devices
- H01L29/42316—Gate electrodes for field effect devices for field-effect transistors
- H01L29/4232—Gate electrodes for field effect devices for field-effect transistors with insulated gate
- H01L29/42324—Gate electrodes for transistors with a floating gate
- H01L29/42328—Gate electrodes for transistors with a floating gate with at least one additional gate other than the floating gate and the control gate, e.g. program gate, erase gate or select gate
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
- H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
- H01L29/76—Unipolar devices, e.g. field effect transistors
- H01L29/772—Field effect transistors
- H01L29/78—Field effect transistors with field effect produced by an insulated gate
- H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
- H01L29/7881—Programmable transistors with only two possible levels of programmation
- H01L29/7883—Programmable transistors with only two possible levels of programmation charging by tunnelling of carriers, e.g. Fowler-Nordheim tunnelling
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L29/00—Semiconductor devices specially adapted for rectifying, amplifying, oscillating or switching and having potential barriers; Capacitors or resistors having potential barriers, e.g. a PN-junction depletion layer or carrier concentration layer; Details of semiconductor bodies or of electrodes thereof ; Multistep manufacturing processes therefor
- H01L29/66—Types of semiconductor device ; Multistep manufacturing processes therefor
- H01L29/68—Types of semiconductor device ; Multistep manufacturing processes therefor controllable by only the electric current supplied, or only the electric potential applied, to an electrode which does not carry the current to be rectified, amplified or switched
- H01L29/76—Unipolar devices, e.g. field effect transistors
- H01L29/772—Field effect transistors
- H01L29/78—Field effect transistors with field effect produced by an insulated gate
- H01L29/788—Field effect transistors with field effect produced by an insulated gate with floating gate
- H01L29/7881—Programmable transistors with only two possible levels of programmation
- H01L29/7884—Programmable transistors with only two possible levels of programmation charging by hot carrier injection
- H01L29/7885—Hot carrier injection from the channel
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10B—ELECTRONIC MEMORY DEVICES
- H10B41/00—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates
- H10B41/30—Electrically erasable-and-programmable ROM [EEPROM] devices comprising floating gates characterised by the memory core region
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
- G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
Landscapes
- Engineering & Computer Science (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Ceramic Engineering (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Neurology (AREA)
- Read Only Memory (AREA)
- Non-Volatile Memory (AREA)
- Measurement Of Current Or Voltage (AREA)
- Control Of Electrical Variables (AREA)
- Analogue/Digital Conversion (AREA)
- Semiconductor Memories (AREA)
Abstract
【選択図】図6
Description
本出願は、2018年5月1日に出願された「Method and Apparatus for High Voltage Generation for Analog Neural Memory in Deep Learning Artificial Neural Network」と題する米国特許仮出願第62/665,359号、及び2018年7月23日に出願された「Method and Apparatus for High Voltage Generation for Analog Neural Memory in Deep Learning Artificial Neural Network」と題する米国特許出願第16/042,972号の優先権を主張する。
深層学習人工ニューラルネットワークで使用されるアナログニューラルメモリにおける特定のプログラミング動作に必要な高電圧を生成するための高電圧生成アルゴリズム及びシステムについて、多数の実施形態が開示されている。
不揮発性メモリセル
不揮発性メモリセルアレイを使用するニューラルネットワーク
ベクトルマトリックス乗算(VMM)アレイ
Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
w=e(-Vth)/kVt
Vg=k*Vt*log[Ids/wp*Io]
Iout=wa*Io*e(Vg)/kVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt
Ids=β*(Vgs−Vth)*Vds;β=u*Cox*W/L
Wα(Vgs−Vth)
Claims (46)
- 単一のプログラミング動作においてメモリアレイ内のプログラムされるセルの数に応じて高電圧出力を生成するための方法であって、該方法は、
プログラムされる選択された複数のセルにおいてセルの数を決定するステップと、
前記選択された複数のセルをプログラミングする際に使用される第1の出力電圧を決定するステップと、
前記選択された複数のセルの前記第1の出力電圧を使用してプログラミングシーケンスを実行するステップと、
前記選択された複数のセルにおいてどのセルが正しくプログラムされているかを検証するステップと、
セルのサブセットをプログラミングする際に使用される第2の出力電圧を決定するステップであって、前記セルのサブセットは、前記複数のセルにおいて正しくプログラムされていないセルを含む、決定するステップと、
前記セルのサブセットの前記第2の出力電圧を使用してプログラミングシーケンスを実行するステップと、を含む、方法。 - 前記セルのサブセットにおいてどのセルが正しくプログラムされているかを検証するステップと、
第2のセルのサブセットをプログラミングする際に使用される第3の出力電圧を決定するステップであって、前記第2のセルのサブセットは、前記セルのサブセットにおいて正しくプログラムされていないセルを含む、決定するステップと、
前記第2のセルのサブセットの前記第3の出力電圧を使用してプログラミングシーケンスに関与するステップと、を更に含む、請求項1に記載の方法。 - 前記第1の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項1に記載の方法。
- 前記第2の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項3に記載の方法。
- 前記第3の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項4に記載の方法。
- 前記第1の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項2に記載の方法。
- 前記第2の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項6に記載の方法。
- 前記第3の出力電圧を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項7に記載の方法。
- 前記第1の出力電圧を決定するステップは、近似関数によって値を見つけることを含む、請求項1に記載の方法。
- 前記第1の出力電圧を決定するステップは、現在のセル値及び前のセル値に基づいて値を見つけることを含む、請求項1に記載の方法。
- 前記セルのサブセットにおいてセルの数が、前記選択された複数のセルにおけるセルの数よりも少ない場合、前記第2の出力電圧は、前記第1の出力電圧よりも低い、請求項1に記載の方法。
- 前記第1の出力電圧は、前記セルのサブセットに結合されたソース線、制御ゲート線、及び消去ゲート線のうちの1つ以上に印加される、請求項1に記載の方法。
- 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項1に記載の方法。
- 前記ベクトルマトリックス乗算器は、前記メモリアレイのビット線にニューロンの読み出しを提供する、請求項13に記載の方法。
- 前記ベクトルマトリックス乗算器は、前記メモリアレイのソース線にニューロンの読み出しを提供する、請求項13に記載の方法。
- 前記ベクトルマトリックス乗算器内の前記メモリセルは、重み乗算を実行する、請求項13に記載の方法。
- 前記ベクトルマトリックス乗算器内の前記メモリセルは、シナプス加算を実行する、請求項13に記載の方法。
- 単一のプログラミング動作においてメモリアレイ内のプログラムされるセルの数に応じて高電圧出力を生成するための方法であって、該方法は、
プログラムされる選択された複数のセルにおいてセルの数を決定するステップと、
前記選択された複数のセルをプログラミングする際に使用される第1のプログラミング持続時間を決定するステップと、
前記選択された複数のセルの前記第1のプログラミング持続時間を使用してプログラミングシーケンスに関与するステップと、
前記選択された複数のセルにおいてどのセルが正しくプログラムされているかを検証するステップと、
セルのサブセットをプログラミングする際に使用される第2のプログラミング持続時間を決定するステップであって、前記セルのサブセットは、前記複数のセルにおいて正しくプログラムされていないセルを含む、決定するステップと、
前記セルのサブセットの前記第2のプログラミング持続時間を使用してプログラミングシーケンスに関与するステップと、を含む、方法。 - 前記セルのサブセットにおいてどのセルが正しくプログラムされているかを検証するステップと、
第2のセルのサブセットをプログラミングする際に使用される第3のプログラミング持続時間を決定するステップであって、前記第2のセルのサブセットは、前記セルのサブセットにおいて正しくプログラムされていないセルを含む、決定するステップと、
前記第2のセルのサブセットの前記第3のプログラミング持続時間を使用してプログラミングシーケンスに関与するステップと、を更に含む、請求項18に記載の方法。 - 前記第1のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項18に記載の方法。
- 前記第2のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項20に記載の方法。
- 前記第3のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項21に記載の方法。
- 前記第1のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項19に記載の方法。
- 前記第2のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項23に記載の方法。
- 前記第3のプログラミング持続時間を決定するステップは、ルックアップテーブル内の値を見つけることを含む、請求項19に記載の方法。
- 前記第1のプログラミング持続時間を決定するステップは、近似関数によって値を見つけることを含む、請求項18に記載の方法。
- 前記第1のプログラミング持続時間を決定するステップは、現在のセル値及び前のセル値に基づいて値を見つけることを含む、請求項18に記載の方法。
- 前記セルのサブセットにおいてセルの数が、前記選択された複数のセルにおけるセルの数よりも少ない場合、前記第2のプログラミング持続時間は、前記第1のプログラミング持続時間よりも短い、請求項18に記載の方法。
- 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項18に記載の方法。
- 前記ベクトルマトリックス乗算器は、前記メモリアレイのビット線にニューロンの読み出しを提供する、請求項29に記載の方法。
- 前記ベクトルマトリックス乗算器は、前記メモリアレイのソース線にニューロンの読み出しを提供する、請求項29に記載の方法。
- 前記ベクトルマトリックス乗算器内の前記メモリセルは、重み乗算を実行する、請求項29に記載の方法。
- 前記ベクトルマトリックス乗算器内の前記メモリセルは、シナプス加算を実行する、請求項29に記載の方法。
- プログラミング動作中に高電圧生成器によってメモリアレイに印加された電流の変化を補償するためのシステムであって、該システムは、
不揮発性メモリセルのアレイと、
プログラミング動作中に前記アレイ内の前記不揮発性メモリセルの選択されたセットに高電圧を印加するための高電圧生成器と、
補償電流を引き込むために高電圧バッファに結合された調整可能な補償電流源であって、高電圧負荷が変化するとき、前記補償電流は変化する、調整可能な補償電流源と、を備える、システム。 - 前記補償電流は、プログラムセル電流、プログラムされるセルの数、及びホットキャリア乗算係数に比例する、請求項34に記載のシステム。
- 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項34に記載の方法。
- プログラミング動作中に高電圧生成器によってメモリアレイに印加された電流の変化を補償するためのシステムであって、該システムは、
不揮発性メモリセルのアレイと、
プログラミング動作中に前記アレイ内の不揮発性メモリセルの選択されたセットに高電圧を印加するための高電圧生成器と、
前記高電圧生成器に結合された調整可能な補償電流源であって、高電圧負荷が変化するとき、前記調整可能な電流源によって引き込まれる電流が変化する、調整可能な補償電流源と、を備える、システム。 - 前記補償電流は、プログラムセル電流、プログラムされるセルの数、及びホットキャリア乗算係数に比例する、請求項37に記載のシステム。
- 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項37に記載のシステム。
- プログラミング動作中に高電圧生成器によってメモリアレイに印加された電流の変化を補償するためのシステムであって、該システムは、
不揮発性メモリセルのアレイであって、前記セルは列及び行に配置され、各列はビット線に結合される、不揮発性メモリセルのアレイを備え、
列のセットはダミービット線と関連付けられ、前記列のセット内の他のビット線がプログラミング動作中にオンにされていないときに、前記ダミービット線はオンにされる、システム。 - 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項42に記載のシステム。
- メモリセルのアレイ内の複数の選択されたメモリセルをプログラミングするための方法であって、該方法は、
前記複数の選択されたメモリセルのプログラミング持続時間を有効にするステップを含み、
前記プログラミング持続時間は、複数の異なる持続時間を含み、前記複数の異なる持続時間は、異なるプログラムパルスエッジで開始し、同じプログラムパルスエッジで終了する、方法。 - 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項44に記載の方法。
- メモリセルのアレイ内の選択されたメモリセルをプログラミングするための方法であって、該方法は、
前記選択されたメモリセルの一括プログラミングを実行するステップと、
前記選択されたメモリセルのソフト消去を実行するステップと、
使用されていない選択されたメモリセルのハードプログラムを実行するステップと、
使用される選択されたメモリセルのソフトプログラムを実行するステップと、
使用される選択されたメモリセルの精密なプログラミングを実行するステップであって、前記精密なプログラミングは、高電圧供給及び補償スキームを使用する、実行するステップと、を含む、方法。 - 前記補償スキームは、補償電流に依存する、請求項46に記載の方法。
- 前記メモリアレイは、ベクトルマトリックス乗算器である、請求項46に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023086886A JP2023130332A (ja) | 2018-05-01 | 2023-05-26 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862665359P | 2018-05-01 | 2018-05-01 | |
US62/665,359 | 2018-05-01 | ||
US16/042,972 US10522226B2 (en) | 2018-05-01 | 2018-07-23 | Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network |
US16/042,972 | 2018-07-23 | ||
PCT/US2019/026409 WO2019212699A1 (en) | 2018-05-01 | 2019-04-08 | Method and apparatus for high voltage generation for analog neural memory in deep learning artificial neural network |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023086886A Division JP2023130332A (ja) | 2018-05-01 | 2023-05-26 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021523511A true JP2021523511A (ja) | 2021-09-02 |
JPWO2019212699A5 JPWO2019212699A5 (ja) | 2022-04-04 |
JP7288461B2 JP7288461B2 (ja) | 2023-06-07 |
Family
ID=68385458
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560979A Active JP7288461B2 (ja) | 2018-05-01 | 2019-04-08 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 |
JP2023086886A Pending JP2023130332A (ja) | 2018-05-01 | 2023-05-26 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023086886A Pending JP2023130332A (ja) | 2018-05-01 | 2023-05-26 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 |
Country Status (7)
Country | Link |
---|---|
US (7) | US10522226B2 (ja) |
EP (2) | EP3788625A4 (ja) |
JP (2) | JP7288461B2 (ja) |
KR (2) | KR102654503B1 (ja) |
CN (1) | CN112106140A (ja) |
TW (4) | TWI787099B (ja) |
WO (1) | WO2019212699A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6482690B1 (ja) * | 2018-01-11 | 2019-03-13 | ウィンボンド エレクトロニクス コーポレーション | 半導体記憶装置 |
US10910061B2 (en) * | 2018-03-14 | 2021-02-02 | Silicon Storage Technology, Inc. | Method and apparatus for programming analog neural memory in a deep learning artificial neural network |
US10719737B2 (en) * | 2018-08-23 | 2020-07-21 | Denso International America, Inc. | Image classification system for resizing images to maintain aspect ratio information |
US20200110987A1 (en) * | 2018-10-09 | 2020-04-09 | Aistorm Inc. | Charge based switched matrix and method therefor |
US10720217B1 (en) * | 2019-01-29 | 2020-07-21 | Silicon Storage Technology, Inc. | Memory device and method for varying program state separation based upon frequency of use |
US11755899B2 (en) * | 2019-11-11 | 2023-09-12 | Silicon Storage Technology, Inc. | Precise programming method and apparatus for analog neural memory in an artificial neural network |
US11636322B2 (en) * | 2020-01-03 | 2023-04-25 | Silicon Storage Technology, Inc. | Precise data tuning method and apparatus for analog neural memory in an artificial neural network |
TWI789589B (zh) * | 2020-02-04 | 2023-01-11 | 旺宏電子股份有限公司 | 脈衝神經網路電路及其運作方法 |
US11355184B2 (en) * | 2020-03-05 | 2022-06-07 | Silicon Storage Technology, Inc. | Analog neural memory array in artificial neural network with substantially constant array source impedance with adaptive weight mapping and distributed power |
US20210350217A1 (en) * | 2020-05-10 | 2021-11-11 | Silicon Storage Technology, Inc. | Analog neural memory array in artificial neural network with source line pulldown mechanism |
US11875852B2 (en) * | 2020-07-06 | 2024-01-16 | Silicon Storage Technology, Inc. | Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network |
TWI739598B (zh) * | 2020-09-15 | 2021-09-11 | 力旺電子股份有限公司 | 運用於多階型記憶胞陣列之編程與驗證方法 |
CN116710931A (zh) * | 2020-11-25 | 2023-09-05 | 许富菖 | 用于神经网络阵列的方法和装置 |
CN113391188B (zh) * | 2021-04-22 | 2022-04-22 | 厦门大学 | 一种基于神经网络的自校准系统及方法 |
US11789857B2 (en) * | 2021-08-11 | 2023-10-17 | International Business Machines Corporation | Data transfer with continuous weighted PPM duration signal |
US11972111B2 (en) | 2021-11-09 | 2024-04-30 | Samsung Electronics Co., Ltd. | Memory device for improving speed of program operation and operating method thereof |
TWI827143B (zh) * | 2022-07-15 | 2023-12-21 | 旺宏電子股份有限公司 | 用於記憶體內運算之記憶體裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008544435A (ja) * | 2005-06-17 | 2008-12-04 | マイクロン テクノロジー, インク. | プログラミングに失敗したことが検出されたビットの数に応じて最適化された電圧レベルによってフラッシュメモリーにプログラムする方法。 |
US20090016116A1 (en) * | 2007-07-13 | 2009-01-15 | Macronix International Co., Ltd. | Method of Programming and Erasing a Non-Volatile Memory Array |
JP2012109003A (ja) * | 2010-11-18 | 2012-06-07 | Micron Technology Inc | メモリの動作条件に作用するためのパラメータを含むメモリ命令 |
US20120268999A1 (en) * | 2011-04-25 | 2012-10-25 | Ning Tan | Dynamic programming for flash memory |
WO2017200883A1 (en) * | 2016-05-17 | 2017-11-23 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
Family Cites Families (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US502910A (en) * | 1893-08-08 | o brien | ||
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
JP3718251B2 (ja) * | 1994-02-28 | 2005-11-24 | 株式会社ルネサステクノロジ | データ処理装置 |
US5764090A (en) * | 1996-08-26 | 1998-06-09 | United Microelectronics Corporation | Write-control circuit for high-speed static random-access-memory (SRAM) devices |
US6134140A (en) | 1997-05-14 | 2000-10-17 | Kabushiki Kaisha Toshiba | Nonvolatile semiconductor memory device with soft-programming to adjust erased state of memory cells |
WO1999033019A1 (en) * | 1997-12-19 | 1999-07-01 | Bae Systems Plc | Neural networks and neural memory |
TW420806B (en) * | 1998-03-06 | 2001-02-01 | Sanyo Electric Co | Non-volatile semiconductor memory device |
KR100388179B1 (ko) | 1999-02-08 | 2003-06-19 | 가부시끼가이샤 도시바 | 불휘발성 반도체 메모리 |
JP3842609B2 (ja) * | 2001-10-22 | 2006-11-08 | 株式会社東芝 | Icカード用lsi,icカード及びicカードの動作方法 |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
KR100519793B1 (ko) * | 2003-01-06 | 2005-10-10 | 삼성전자주식회사 | 플래쉬 메모리 장치 및 이 장치의 프로그램 방법 |
EP1654736B1 (en) | 2003-07-30 | 2009-09-16 | SanDisk IL Ltd. | Method and system for optimizing reliability and performance of programming data in non-volatile memory devices |
US7177199B2 (en) * | 2003-10-20 | 2007-02-13 | Sandisk Corporation | Behavior based programming of non-volatile memory |
US7092290B2 (en) * | 2004-11-16 | 2006-08-15 | Sandisk Corporation | High speed programming system with reduced over programming |
US7626859B2 (en) * | 2006-02-16 | 2009-12-01 | Samsung Electronics Co., Ltd. | Phase-change random access memory and programming method |
KR100733953B1 (ko) * | 2006-06-15 | 2007-06-29 | 삼성전자주식회사 | 플래시 메모리 장치의 전압 레귤레이터 |
US7804724B2 (en) * | 2007-05-02 | 2010-09-28 | Alcatel Lucent | Method and apparatus for boundary scan programming of memory devices |
US7965545B2 (en) * | 2008-03-31 | 2011-06-21 | Intel Corporation | Reducing temporal changes in phase change memories |
US7855913B2 (en) * | 2008-06-10 | 2010-12-21 | Micron Technology, Inc. | Dynamically configurable MLC state assignment |
JP2011014205A (ja) * | 2009-07-03 | 2011-01-20 | Renesas Electronics Corp | 不揮発性半導体記憶装置 |
US8400864B1 (en) * | 2011-11-01 | 2013-03-19 | Apple Inc. | Mechanism for peak power management in a memory |
KR20150022242A (ko) | 2013-08-22 | 2015-03-04 | 에스케이하이닉스 주식회사 | 반도체 메모리 장치 |
US9672875B2 (en) * | 2014-01-27 | 2017-06-06 | Micron Technology, Inc. | Methods and apparatuses for providing a program voltage responsive to a voltage determination |
CN103886916B (zh) * | 2014-03-27 | 2017-01-25 | 中国科学院电子学研究所 | 输入位宽可伸缩的编码/编解码存储系统 |
KR102128466B1 (ko) * | 2014-04-14 | 2020-06-30 | 삼성전자주식회사 | 메모리 시스템, 상기 메모리 시스템의 프로그램 방법 및 상기 메모리 시스템의 테스트 방법 |
KR20160001097A (ko) * | 2014-06-26 | 2016-01-06 | 에스케이하이닉스 주식회사 | 반도체 장치 |
US9324419B2 (en) * | 2014-07-15 | 2016-04-26 | Sandisk Technologies Inc. | Multiple pass programming for memory with different program pulse widths |
US9760533B2 (en) * | 2014-08-14 | 2017-09-12 | The Regents On The University Of Michigan | Floating-gate transistor array for performing weighted sum computation |
KR102358463B1 (ko) * | 2014-10-20 | 2022-02-07 | 삼성전자주식회사 | 불휘발성 메모리 장치의 동작 방법 |
US9891643B2 (en) | 2014-12-05 | 2018-02-13 | Vidatronic, Inc. | Circuit to improve load transient behavior of voltage regulators and load switches |
KR102360211B1 (ko) * | 2015-01-21 | 2022-02-08 | 삼성전자주식회사 | 메모리 시스템의 동작 방법 |
US9324431B1 (en) * | 2015-01-27 | 2016-04-26 | Macronix International Co., Ltd. | Floating gate memory device with interpoly charge trapping structure |
JP2017011123A (ja) | 2015-06-23 | 2017-01-12 | ルネサスエレクトロニクス株式会社 | 半導体装置および半導体装置の駆動方法 |
US9779810B2 (en) * | 2015-09-11 | 2017-10-03 | Macronix International Co., Ltd. | Adjustable writing circuit |
US10325006B2 (en) | 2015-09-29 | 2019-06-18 | International Business Machines Corporation | Scalable architecture for analog matrix operations with resistive devices |
CN106599989B (zh) * | 2015-10-08 | 2019-04-09 | 上海兆芯集成电路有限公司 | 神经网络单元和神经处理单元阵列 |
KR102423291B1 (ko) * | 2016-01-15 | 2022-07-20 | 삼성전자주식회사 | 프로그램 전압을 보정하는 플래시 메모리 장치, 3차원 메모리 장치, 메모리 시스템 및 그의 프로그램 방법 |
KR102424371B1 (ko) * | 2016-01-19 | 2022-07-25 | 에스케이하이닉스 주식회사 | 반도체 메모리 장치 및 이의 동작 방법 |
CA2990709C (en) * | 2016-05-26 | 2018-09-04 | The Governing Council Of The University Of Toronto | Accelerator for deep neural networks |
US10043573B2 (en) | 2016-08-04 | 2018-08-07 | Intel Corporation | Apparatus and method for endurance friendly programming using lower voltage thresholds |
KR102421299B1 (ko) | 2016-09-12 | 2022-07-18 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 기억 장치, 이의 구동 방법, 반도체 장치, 전자 부품, 및 전자 기기 |
US10097086B2 (en) * | 2016-10-12 | 2018-10-09 | Cypress Semiconductor Corporation | Fast ramp low supply charge pump circuits |
US10431267B2 (en) | 2016-11-28 | 2019-10-01 | SK Hynix Inc. | Electronic device and method for driving the same |
US10026486B1 (en) | 2017-03-06 | 2018-07-17 | Sandisk Technologies Llc | First read countermeasures in memory |
IT201700034719A1 (it) * | 2017-03-29 | 2018-09-29 | Sk Hynix Inc | Metodo per controllare le operazioni di verifica di programmazione di una memoria non volatile e relativo circuito |
CN107665718B (zh) | 2017-09-19 | 2020-08-11 | 上海华虹宏力半导体制造有限公司 | 电荷转移型灵敏放大器 |
KR102386242B1 (ko) * | 2017-11-14 | 2022-04-12 | 삼성전자주식회사 | 전원 전압 변동에 독립적인 워드 라인 불량 검출 회로를 포함하는 메모리 장치 및 그 구동 방법 |
US10748630B2 (en) | 2017-11-29 | 2020-08-18 | Silicon Storage Technology, Inc. | High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks |
US20190207034A1 (en) * | 2017-12-28 | 2019-07-04 | Microchip Technology Incorporated | Split-Gate Memory Cell With Field-Enhanced Source Junctions, And Method Of Forming Such Memory Cell |
US10552510B2 (en) * | 2018-01-11 | 2020-02-04 | Mentium Technologies Inc. | Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays |
KR102505929B1 (ko) | 2018-04-25 | 2023-03-06 | 에스케이하이닉스 주식회사 | 메모리 장치 및 이의 동작 방법 |
-
2018
- 2018-07-23 US US16/042,972 patent/US10522226B2/en active Active
-
2019
- 2019-04-08 JP JP2020560979A patent/JP7288461B2/ja active Active
- 2019-04-08 EP EP19796373.9A patent/EP3788625A4/en not_active Withdrawn
- 2019-04-08 KR KR1020207031553A patent/KR102654503B1/ko active IP Right Grant
- 2019-04-08 EP EP23211663.2A patent/EP4343625A1/en active Pending
- 2019-04-08 CN CN201980029361.XA patent/CN112106140A/zh active Pending
- 2019-04-08 KR KR1020247010857A patent/KR20240046313A/ko active Application Filing
- 2019-04-08 WO PCT/US2019/026409 patent/WO2019212699A1/en unknown
- 2019-04-26 TW TW111109346A patent/TWI787099B/zh active
- 2019-04-26 TW TW111145167A patent/TWI821047B/zh active
- 2019-04-26 TW TW109132610A patent/TWI760853B/zh active
- 2019-04-26 TW TW108114755A patent/TWI708249B/zh active
- 2019-08-24 US US16/550,223 patent/US10839907B2/en active Active
- 2019-08-25 US US16/550,253 patent/US10943661B2/en active Active
- 2019-08-25 US US16/550,254 patent/US10790022B2/en active Active
- 2019-08-25 US US16/550,248 patent/US10650893B2/en active Active
-
2021
- 2021-03-03 US US17/191,392 patent/US11521683B2/en active Active
-
2022
- 2022-05-02 US US17/734,807 patent/US11727989B2/en active Active
-
2023
- 2023-05-26 JP JP2023086886A patent/JP2023130332A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008544435A (ja) * | 2005-06-17 | 2008-12-04 | マイクロン テクノロジー, インク. | プログラミングに失敗したことが検出されたビットの数に応じて最適化された電圧レベルによってフラッシュメモリーにプログラムする方法。 |
US20090016116A1 (en) * | 2007-07-13 | 2009-01-15 | Macronix International Co., Ltd. | Method of Programming and Erasing a Non-Volatile Memory Array |
JP2012109003A (ja) * | 2010-11-18 | 2012-06-07 | Micron Technology Inc | メモリの動作条件に作用するためのパラメータを含むメモリ命令 |
US20120268999A1 (en) * | 2011-04-25 | 2012-10-25 | Ning Tan | Dynamic programming for flash memory |
WO2017200883A1 (en) * | 2016-05-17 | 2017-11-23 | Silicon Storage Technology, Inc. | Deep learning neural network classifier using non-volatile memory array |
JP2019517138A (ja) * | 2016-05-17 | 2019-06-20 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7288461B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 | |
US11829859B2 (en) | Verification of a weight stored in a non-volatile memory cell in a neural network following a programming operation | |
JP2021536600A (ja) | 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム | |
JP7493065B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置 | |
JP2021536623A (ja) | 深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償 | |
JP2021517705A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ | |
JP2021517704A (ja) | 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置 | |
JP2021531609A (ja) | ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償 | |
CN113366572A (zh) | 用于验证在深度学习人工神经网络中的模拟神经存储器中的非易失性存储器单元的编程操作期间存储的值的算法和电路 | |
JP7394827B2 (ja) | ディープラーニングの人工ニューラルネットワーク内のアナログニューラルメモリ内に不良メモリセルを含む行又は列に関する冗長メモリアクセス | |
TWI834595B (zh) | 用於在深度學習人工類神經網路中的類比類神經記憶體之高電壓產生之方法及設備 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220325 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230509 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230526 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7288461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |