JP2021536623A - 深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償 - Google Patents
深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償 Download PDFInfo
- Publication number
- JP2021536623A JP2021536623A JP2021510952A JP2021510952A JP2021536623A JP 2021536623 A JP2021536623 A JP 2021536623A JP 2021510952 A JP2021510952 A JP 2021510952A JP 2021510952 A JP2021510952 A JP 2021510952A JP 2021536623 A JP2021536623 A JP 2021536623A
- Authority
- JP
- Japan
- Prior art keywords
- memory cell
- flash memory
- array
- voltage
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 352
- 238000013528 artificial neural network Methods 0.000 title abstract description 33
- 238000013135 deep learning Methods 0.000 title abstract description 5
- 230000001537 neural effect Effects 0.000 title description 3
- 239000013598 vector Substances 0.000 claims description 85
- 238000000034 method Methods 0.000 claims description 38
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000003491 array Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 9
- 230000009467 reduction Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 6
- 230000003044 adaptive effect Effects 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 abstract description 2
- 238000010168 coupling process Methods 0.000 abstract description 2
- 238000005859 coupling reaction Methods 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 329
- 230000006870 function Effects 0.000 description 43
- 238000007667 floating Methods 0.000 description 36
- 210000002569 neuron Anatomy 0.000 description 27
- 210000000225 synapse Anatomy 0.000 description 26
- 230000004913 activation Effects 0.000 description 21
- 239000000463 material Substances 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000000306 recurrent effect Effects 0.000 description 7
- 102100036301 C-C chemokine receptor type 7 Human genes 0.000 description 6
- 102100031658 C-X-C chemokine receptor type 5 Human genes 0.000 description 6
- 101000716065 Homo sapiens C-C chemokine receptor type 7 Proteins 0.000 description 6
- 101000922405 Homo sapiens C-X-C chemokine receptor type 5 Proteins 0.000 description 6
- 230000006403 short-term memory Effects 0.000 description 6
- 230000007787 long-term memory Effects 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 102100023226 Early growth response protein 1 Human genes 0.000 description 1
- 230000005689 Fowler Nordheim tunneling Effects 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 101001049697 Homo sapiens Early growth response protein 1 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
- G11C16/0408—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors
- G11C16/0425—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells containing floating gate transistors comprising cells containing a merged floating gate and select transistor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/10—Programming or data input circuits
- G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
- G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/26—Sensing or reading circuits; Data output circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
- G11C2216/02—Structural aspects of erasable programmable read-only memories
- G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/04—Arrangements for writing information into, or reading information out from, a digital store with means for avoiding disturbances due to temperature effects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Neurology (AREA)
- Databases & Information Systems (AREA)
- Algebra (AREA)
- Computer Hardware Design (AREA)
- Non-Volatile Memory (AREA)
- Read Only Memory (AREA)
- Complex Calculations (AREA)
Abstract
Description
本出願は、2018年8月27日に出願された米国特許仮出願第62/723,398号、発明の名称「Temperature And Leakage Compensation For Memory Cells in an Analog Neural Memory System Used in a Deep Learning Neural Network」及び2018年11月7日に出願された米国特許出願第16/183,250号、発明の名称「Temperature And Leakage Compensation For Memory Cells In An Analog Neural Memory System Used In A Deep Learning Neural Network」の優先権を主張する。
深層学習ニューラルネットワークで使用されるアナログニューロモーフィックメモリシステムのメモリセルに対する温度補償及び漏れ補償を提供するための多数の実施形態が開示される。
不揮発性メモリセル
不揮発性メモリセルアレイを使用するニューラルネットワーク
ベクトルマトリックス乗算(VMM)アレイ
Ids=Io*e(Vg-Vth)/kVt=w*Io*e(Vg)/kVt
ここで、w=e(-Vth)/kVtである。
Vg=k*Vt*log[Ids/wp*Io]
ここで、wpは、基準又は周辺メモリセルのwである。
Iout=wa*Io*e(Vg)/kVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/kVt
ここで、メモリアレイの各メモリセルのwa=wである。
Ids=β*(Vgs−Vth)*Vds;β=u*Cox*W/L
W=α(Vgs−Vth)
表5:図10のVMMアレイ1000の動作
表6:図11のVMMアレイ1100の動作
表7:図12のVMMアレイ1200の動作
表8:図13のVMMアレイ1300の動作
ゲート付き回帰型ユニット
デバイスの動作温度及び電流電圧特性
Ids=Ids0*exp(a*Vgs1−Vt)/(k*Vt)、式中、Vtは熱電圧である。
Ids1=Ids0*exp(Vgs1−Vt)/k1*Utである。
Ids2=Ids0*exp(Vgs2−Vt)/k2*Utである。
Vgs1=k*Vgs2の第1のデバイスのゲートソース電圧を使用することによって実装される。
これは、Ids1及びIdsが、傾き正規化後に同じ傾きを有することを意味する。
Claims (50)
- アナログニューロモーフィックメモリシステムであって、
複数のベクトルマトリックス乗算アレイであって、各ベクトルマトリックス乗算アレイはメモリセルのアレイを備える、複数のベクトルマトリックス乗算アレイと、
前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて、前記メモリセルの前記アレイの前記メモリセルの電流電圧特性曲線の傾きを連続的に修正するための温度補償ブロックであって、前記温度補償ブロックは、
動作温度を示す出力を生成するための温度センサと、
前記温度センサの前記出力に応答して1つ以上の制御信号を生成するためのコントローラと、
前記1つ以上の制御信号に応答して温度補償電圧を生成するための1つ以上の調整可能なデバイスと、を備える温度補償ブロックと、を備える、アナログニューロモーフィックメモリシステム。 - ベクトルマトリックス乗算システムにおける重みは、メモリセルによって実現される、請求項1に記載のシステム。
- ベクトルマトリックス乗算システムにおける重みは、差動セルによって実現される、請求項1に記載のシステム。
- ベクトルマトリックス乗算システムにおける重みは、1対のブレンドメモリセルによって実現される、請求項1に記載のシステム。
- 前記メモリセルの前記アレイの前記メモリセルのそれぞれはフラッシュメモリセルであり、前記1つ以上の調整可能なデバイスは、1つ以上の調整可能な電流源を備え、前記1つ以上の調整可能な電流源の各々は、前記1つ以上の制御信号のうちの1つによって調整され、かつレジスタに結合されており、前記温度補償電圧は、前記1つ以上の調整可能な電流源と前記レジスタとの間のノードにおいて生成され、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項1に記載のシステム。
- 前記温度補償電圧は、前記フラッシュメモリセルの制御ゲート端子に印加される、請求項5に記載のシステム。
- 前記温度補償電圧は、前記フラッシュメモリセルの消去ゲート端子に印加される、請求項5に記載のシステム。
- 前記温度補償電圧は、前記フラッシュメモリセルのソース線端子に印加される、請求項5に記載のシステム。
- 前記温度補償電圧は、前記フラッシュメモリセルのビット線端子に印加される、請求項5に記載のシステム。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項5に記載のシステム。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項5に記載のシステム。
- 前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて漏れを低減させるために、前記メモリセルの前記アレイの前記メモリセルの端子に印加されたバイアス電圧を修正するための漏れ低減ブロックを更に備える、請求項1に記載のシステム。
- アナログニューロモーフィックメモリシステムであって、
複数のベクトルマトリックス乗算システムであって、各ベクトルマトリックス乗算システムはメモリセルのアレイを備える、複数のベクトルマトリックス乗算システムと、
前記メモリセルの前記アレイのメモリセルの動作温度のレベルが変化するにつれて、前記メモリセルの前記アレイの前記メモリセルの電流電圧特性曲線を不連続的に修正するための温度補償ブロックと、を備える、アナログニューロモーフィックメモリシステム。 - ベクトルマトリックス乗算システムにおける重みは、メモリセルによって実現される、請求項13に記載のシステム。
- ベクトルマトリックス乗算システムにおける重みは、差動セルによって実現される、請求項13に記載のシステム。
- ベクトルマトリックス乗算システムにおける重みは、ブレンドメモリセルによって実現される、請求項13に記載のシステム。
- 前記メモリセルの前記アレイの前記メモリセルの各々はフラッシュメモリセルであり、前記温度補償ブロックは、
動作温度を示す出力を生成するための温度センサと、
前記温度センサの前記出力に応答して1つ以上の制御ビットを生成するためのコントローラと、
複数の電流源であって、各電流源は、スイッチを介してレジスタに選択的に結合され、各スイッチは、前記制御ビットのうちの1つによって制御された、複数の電流源と、を備え、
前記レジスタの一端において生成された電圧は、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項13に記載のシステム。 - 前記修正することは、フラッシュメモリセルの電流電圧特性曲線の傾きを修正することを含む、請求項13に記載のシステム。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項13に記載のシステム。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項13に記載のシステム。
- 前記温度補償ブロックは、
動作温度を示す出力を生成するための温度センサと、
前記温度センサの前記出力に応答して1つ以上の制御ビットを生成するためのコントローラと、
複数のレジスタを備える増幅回路であって、各レジスタは、スイッチを介して前記増幅器に選択的に結合されており、各スイッチは、前記制御ビットのうちの1つによって制御される、複数の増幅回路と、を備え、
前記増幅器の出力において生成された電圧は、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項13に記載のシステム。 - 前記傾きを修正することは、あるフラッシュメモリセルの電流電圧特性曲線の傾きを修正することを含む、請求項21に記載のシステム。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項21に記載のシステム。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項21に記載のシステム。
- 前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて漏れを低減させるために、前記メモリセルの前記アレイの前記メモリセルの端子に印加されたバイアス電圧を修正するための漏れ低減ブロック
を更に備える、請求項13に記載のシステム。 - 複数のベクトルマトリックス乗算アレイを備えるアナログニューロモーフィックメモリシステムにおいて温度補償を実行する方法であって、各ベクトルマトリックス乗算アレイはメモリセルのアレイを備え、前記方法は、
前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて、前記メモリセルの前記アレイの前記メモリセルの電流電圧特性曲線の傾きを、温度補償ブロックによって連続的に修正するステップであって、前記温度補償ブロックは、動作温度を示す出力を生成するための温度センサと、前記温度センサの前記出力に応答して1つ以上の制御信号を生成するためのコントローラと、前記1つ以上の制御信号に応答して温度補償電圧を生成するための1つ以上の調整可能なデバイスと、を備える、修正するステップを含む、方法。 - ベクトルマトリックス乗算方法における重みは、メモリセルによって実現される、請求項26に記載の方法。
- ベクトルマトリックス乗算方法における重みは、差動セルによって実現される、請求項26に記載の方法。
- ベクトルマトリックス乗算方法における重みは、1対のブレンドメモリセルによって実現される、請求項26に記載の方法。
- 前記メモリセルの前記アレイの前記メモリセルのそれぞれはフラッシュメモリセルであり、前記1つ以上の調整可能なデバイスは、1つ以上の調整可能な電流源を備え、前記1つ以上の調整可能な電流源の各々は、前記1つ以上の制御信号のうちの1つによって調整され、かつレジスタに結合され、前記温度補償電圧は、前記1つ以上の調整可能な電流源と前記レジスタとの間のノードにおいて生成され、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項26に記載の方法。
- 前記温度補償電圧は、前記フラッシュメモリセルの制御ゲート端子に印加される、請求項30に記載の方法。
- 前記温度補償電圧は、前記フラッシュメモリセルの消去ゲート端子に印加される、請求項30に記載の方法。
- 前記温度補償電圧は、前記フラッシュメモリセルのソース線端子に印加される、請求項30に記載の方法。
- 前記温度補償電圧は、前記フラッシュメモリセルのビット線端子に印加される、請求項30に記載の方法。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項30に記載の方法。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項30に記載の方法。
- 前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて漏れを低減させるために、前記メモリセルの前記アレイの前記メモリセルの端子に印加されたバイアス電圧を修正するステップを更に含む、請求項26に記載の方法。
- 複数のベクトルマトリックス乗算システムを備えるアナログニューロモーフィックメモリシステムにおいて温度補償を実行する方法であって、各ベクトルマトリックス乗算システムはメモリセルのアレイを備え、前記方法は、
前記メモリセルの前記アレイのメモリセルの動作温度のレベルが変化するにつれて、前記メモリセルの前記アレイの前記メモリセルの電流電圧特性曲線のために温度補償ブロックによって不連続的に修正するステップを含む、方法。 - ベクトルマトリックス乗算方法における重みは、メモリセルによって実現される、請求項38に記載の方法。
- ベクトルマトリックス乗算方法における重みは、差動セルによって実現される、請求項38に記載の方法。
- ベクトルマトリックス乗算方法における重みは、ブレンドメモリセルによって実現される、請求項38に記載の方法。
- 前記メモリセルの前記アレイの前記メモリセルの各々はフラッシュメモリセルであり、前記温度補償ブロックは、動作温度を示す出力を生成するための温度センサと、前記温度センサの前記出力に応答して1つ以上の制御ビットを生成するためのコントローラと、複数の電流源であって、各電流源は、スイッチを介してレジスタに選択的に結合され、各スイッチは、前記制御ビットのうちの1つによって制御された、複数の電流源と、を備え、前記レジスタの一端において生成された電圧は、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項38に記載の方法。
- 前記修正するステップは、フラッシュメモリセルの電流電圧特性曲線の傾きを修正するステップを含む、請求項38に記載のシステム。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項38に記載の方法。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項38に記載の方法。
- 前記温度補償ブロックは、動作温度を示す出力を生成するための温度センサと、前記温度センサの前記出力に応答して1つ以上の制御ビットを生成するためのコントローラと、複数のレジスタを備える増幅回路であって、各レジスタは、スイッチを介して前記増幅器に選択的に結合され、各スイッチは、前記制御ビットのうちの1つによって制御された、複数の増幅回路と、を備え、前記増幅器の出力において生成された電圧は、前記フラッシュメモリセルに印加されて、前記フラッシュメモリセルの電流電圧特性曲線の傾きを修正する、請求項38に記載の方法。
- 前記修正するステップは、フラッシュメモリセルの電流電圧特性曲線の傾きを修正するステップを含む、請求項45に記載の方法。
- 前記フラッシュメモリセルは、スプリットゲートフラッシュメモリセルである、請求項45に記載の方法。
- 前記フラッシュメモリセルは、積層ゲートフラッシュメモリセルである、請求項45に記載の方法。
- 前記メモリセルの前記アレイのメモリセルの動作温度が変化するにつれて漏れを低減させるために、前記メモリセルの前記アレイの前記メモリセルの端子に印加されたバイアス電圧を修正するための漏れ低減ブロック
を更に備える、請求項38に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862723398P | 2018-08-27 | 2018-08-27 | |
US62/723,398 | 2018-08-27 | ||
US16/183,250 | 2018-11-07 | ||
US16/183,250 US10755783B2 (en) | 2018-08-27 | 2018-11-07 | Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network |
PCT/US2019/043101 WO2020046495A1 (en) | 2018-08-27 | 2019-07-23 | Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021536623A true JP2021536623A (ja) | 2021-12-27 |
JPWO2020046495A5 JPWO2020046495A5 (ja) | 2022-08-01 |
JP7281535B2 JP7281535B2 (ja) | 2023-05-25 |
Family
ID=69586480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021510952A Active JP7281535B2 (ja) | 2018-08-27 | 2019-07-23 | 深層学習ニューラルネットワークで使用されるアナログニューラルメモリシステムのメモリセルに対する温度補償及び漏れ補償 |
Country Status (7)
Country | Link |
---|---|
US (3) | US10755783B2 (ja) |
EP (2) | EP3844680B1 (ja) |
JP (1) | JP7281535B2 (ja) |
KR (1) | KR102457394B1 (ja) |
CN (1) | CN112602095B (ja) |
TW (1) | TWI754162B (ja) |
WO (1) | WO2020046495A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020068048A (ja) * | 2018-10-18 | 2020-04-30 | 株式会社デンソー | 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法 |
JP2022045335A (ja) * | 2020-09-08 | 2022-03-18 | 旺宏電子股▲ふん▼有限公司 | メモリデバイス及びその動作方法 |
JP2022045333A (ja) * | 2020-09-08 | 2022-03-18 | 旺宏電子股▲ふん▼有限公司 | メモリデバイスおよびその動作方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10755783B2 (en) * | 2018-08-27 | 2020-08-25 | Silicon Storage Technology | Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network |
US11513797B2 (en) * | 2018-09-12 | 2022-11-29 | Mentium Technologies Inc. | Systems and methods for analog vector by matrix multiplier |
US11507641B2 (en) * | 2019-05-31 | 2022-11-22 | Advanced Micro Devices, Inc. | Temperature-based adjustments for in-memory matrix multiplication |
US11074976B2 (en) * | 2019-08-26 | 2021-07-27 | Sandisk Technologies Llc | Temperature dependent impedance mitigation in non-volatile memory |
US11875852B2 (en) * | 2020-07-06 | 2024-01-16 | Silicon Storage Technology, Inc. | Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network |
US11630002B2 (en) * | 2021-02-08 | 2023-04-18 | Macronix International Co., Ltd. | Method for sensing temperature in memory die, memory die and memory with temperature sensing function |
KR102553403B1 (ko) * | 2021-02-23 | 2023-07-11 | 한국과학기술원 | 우수한 선형성 특성을 갖는 뉴로모픽 시냅스 소자 및 그 동작 방법 |
US11380373B1 (en) * | 2021-05-12 | 2022-07-05 | Globalfoundries U.S. Inc. | Memory with read circuit for current-to-voltage slope characteristic-based sensing and method |
US11716089B1 (en) * | 2022-03-16 | 2023-08-01 | Xilinx, Inc. | Delay-tracking biasing for voltage-to-time conversion |
US11955193B1 (en) * | 2023-12-05 | 2024-04-09 | Aspinity, Inc. | Compute-in-memory array multi-range temperature compensation |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021531609A (ja) * | 2018-07-11 | 2021-11-18 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3668440A (en) | 1970-10-16 | 1972-06-06 | Motorola Inc | Temperature stable monolithic multiplier circuit |
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US6359499B1 (en) | 2000-06-23 | 2002-03-19 | Marvell International Ltd. | Temperature and process independent CMOS circuit |
US6560152B1 (en) * | 2001-11-02 | 2003-05-06 | Sandisk Corporation | Non-volatile memory with temperature-compensated data read |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
JP2007059024A (ja) * | 2005-08-26 | 2007-03-08 | Micron Technol Inc | 温度補償された読み出し・検証動作をフラッシュ・メモリにおいて生成するための方法及び装置 |
JP2007164960A (ja) * | 2005-11-15 | 2007-06-28 | Nec Electronics Corp | 半導体集積回路装置 |
US8102201B2 (en) * | 2006-09-25 | 2012-01-24 | Analog Devices, Inc. | Reference circuit and method for providing a reference |
ITRM20060652A1 (it) * | 2006-12-06 | 2008-06-07 | Micron Technology Inc | Compensazione di temperatura di segnali di memoria impiegando segnali digitali |
US7889575B2 (en) * | 2008-09-22 | 2011-02-15 | Sandisk Corporation | On-chip bias voltage temperature coefficient self-calibration mechanism |
KR101868332B1 (ko) * | 2010-11-25 | 2018-06-20 | 삼성전자주식회사 | 플래시 메모리 장치 및 그것을 포함한 데이터 저장 장치 |
CN102684683B (zh) * | 2012-05-14 | 2014-07-02 | 常熟银海集成电路有限公司 | 任意项全系数高精度温度补偿晶体振荡器 |
US8873316B2 (en) * | 2012-07-25 | 2014-10-28 | Freescale Semiconductor, Inc. | Methods and systems for adjusting NVM cell bias conditions based upon operating temperature to reduce performance degradation |
KR102215204B1 (ko) * | 2013-11-29 | 2021-02-16 | 삼성디스플레이 주식회사 | 표시 장치, 그 보상 데이터 산출 방법 및 그 구동 방법 |
US9330790B2 (en) * | 2014-04-25 | 2016-05-03 | Seagate Technology Llc | Temperature tracking to manage threshold voltages in a memory |
DE102015112276B3 (de) * | 2015-07-28 | 2016-06-30 | Océ Printing Systems GmbH & Co. KG | Verfahren und Vorrichtung zur Verbesserung des Tonertransfers in einem elektrographischen Digitaldrucker |
US9899450B2 (en) * | 2015-09-15 | 2018-02-20 | The Regents Of The University Of California | Memristors and method for fabricating memristors |
US10564900B2 (en) * | 2016-03-04 | 2020-02-18 | Western Digital Technologies, Inc. | Temperature variation compensation |
CN107533668B (zh) * | 2016-03-11 | 2021-01-26 | 慧与发展有限责任合伙企业 | 用于计算神经网络的节点值的硬件加速器和方法 |
JP6833873B2 (ja) * | 2016-05-17 | 2021-02-24 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 |
US10269440B2 (en) * | 2016-05-17 | 2019-04-23 | Silicon Storage Technology, Inc. | Flash memory array with individual memory cell read, program and erase |
US20200006567A1 (en) * | 2017-02-15 | 2020-01-02 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device |
US10748630B2 (en) | 2017-11-29 | 2020-08-18 | Silicon Storage Technology, Inc. | High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks |
US10528643B1 (en) * | 2018-08-01 | 2020-01-07 | Sandisk Technologies Llc | Vector-matrix multiplication using non-volatile memory cells |
US10755783B2 (en) * | 2018-08-27 | 2020-08-25 | Silicon Storage Technology | Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network |
-
2018
- 2018-11-07 US US16/183,250 patent/US10755783B2/en active Active
-
2019
- 2019-07-23 EP EP19790890.8A patent/EP3844680B1/en active Active
- 2019-07-23 KR KR1020217007006A patent/KR102457394B1/ko active IP Right Grant
- 2019-07-23 EP EP22201333.6A patent/EP4138079B1/en active Active
- 2019-07-23 CN CN201980055114.7A patent/CN112602095B/zh active Active
- 2019-07-23 WO PCT/US2019/043101 patent/WO2020046495A1/en unknown
- 2019-07-23 JP JP2021510952A patent/JP7281535B2/ja active Active
- 2019-08-20 TW TW108129667A patent/TWI754162B/zh active
-
2020
- 2020-07-16 US US16/930,777 patent/US11158374B2/en active Active
- 2020-11-11 US US17/095,661 patent/US11521682B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021531609A (ja) * | 2018-07-11 | 2021-11-18 | シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. | ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償 |
Non-Patent Citations (1)
Title |
---|
GUO, X ほか: "Temperature-Insensitive Analog Vector-by-Matrix Multiplier Based on 55 nm NOR Flash Memory Cells", ARXIV[ONLINE], JPN6022045595, 10 November 2016 (2016-11-10), ISSN: 0004910906 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020068048A (ja) * | 2018-10-18 | 2020-04-30 | 株式会社デンソー | 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法 |
JP7196803B2 (ja) | 2018-10-18 | 2022-12-27 | 株式会社デンソー | 人工ニューラルネットワーク回路及び人工ニューラルネットワーク回路における学習値切替方法 |
JP2022045335A (ja) * | 2020-09-08 | 2022-03-18 | 旺宏電子股▲ふん▼有限公司 | メモリデバイス及びその動作方法 |
JP2022045333A (ja) * | 2020-09-08 | 2022-03-18 | 旺宏電子股▲ふん▼有限公司 | メモリデバイスおよびその動作方法 |
JP7255068B2 (ja) | 2020-09-08 | 2023-04-11 | 旺宏電子股▲ふん▼有限公司 | メモリデバイス及びその動作方法 |
JP7279293B2 (ja) | 2020-09-08 | 2023-05-23 | 旺宏電子股▲ふん▼有限公司 | メモリデバイスおよびその動作方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI754162B (zh) | 2022-02-01 |
US10755783B2 (en) | 2020-08-25 |
WO2020046495A1 (en) | 2020-03-05 |
KR102457394B1 (ko) | 2022-10-21 |
KR20210032538A (ko) | 2021-03-24 |
TW202026955A (zh) | 2020-07-16 |
CN112602095A (zh) | 2021-04-02 |
US11158374B2 (en) | 2021-10-26 |
US11521682B2 (en) | 2022-12-06 |
JP7281535B2 (ja) | 2023-05-25 |
US20200350015A1 (en) | 2020-11-05 |
EP3844680B1 (en) | 2022-11-23 |
EP3844680A1 (en) | 2021-07-07 |
EP4138079B1 (en) | 2024-08-28 |
US20210090654A1 (en) | 2021-03-25 |
CN112602095B (zh) | 2022-05-27 |
US20200066345A1 (en) | 2020-02-27 |
EP4138079A1 (en) | 2023-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102457394B1 (ko) | 딥 러닝 신경 네트워크에서 사용되는 아날로그 신경 메모리 시스템 내의 메모리 셀들에 대한 온도 및 누설 보상 | |
JP7399153B2 (ja) | 複数のベクトルマトリックス乗算アレイ及び共有構成要素を備える、深層学習ニューラルネットワーク用のアナログニューラルメモリシステム | |
JP7288461B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置 | |
JP7253563B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ | |
KR102616977B1 (ko) | 딥 러닝 인공 신경망에서의 아날로그 신경 메모리 내의 기준 트랜지스터들 및 메모리 셀들에 대한 보상 | |
JP7153802B2 (ja) | 深層学習人工ニューラルネットワークのアナログニューラルメモリにおいて不揮発性メモリセルのプログラミング動作中に格納された値を検証するためのアルゴリズム及び回路 | |
JP2021536614A (ja) | 深層学習ニューラルネットワーク用の構成可能なアナログニューラルメモリシステム | |
JP7523674B2 (ja) | アナログニューラルメモリにおける書き込みと検証との同時動作 | |
JP7561203B2 (ja) | 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路 | |
JP2023520255A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのためのワード線及び制御ゲート線タンデムデコーダ | |
JP2023525771A (ja) | 論理セル及び改善されたプログラミング機構を備える人工ニューラルネットワーク内のアナログニューラルメモリアレイ | |
CN115968495A (zh) | 用于人工神经网络中的模拟神经存储器阵列的自适应偏置解码器 | |
US20240265951A1 (en) | Current-to-voltage converter comprising common mode circuit | |
WO2024162979A1 (en) | Current-to-voltage converter comprising common mode circuit | |
TW202324211A (zh) | 可配置為以類比形式或數位形式儲存神經記憶體權重資料的混合記憶體系統 | |
TW202418146A (zh) | 人工神經網路陣列中的多列程式化操作 | |
WO2024162978A1 (en) | Multiplexors for neural network array | |
TW202433468A (zh) | 神經網路陣列的多工器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220722 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220722 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230425 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230515 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7281535 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |