JP2023139013A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト - Google Patents
深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト Download PDFInfo
- Publication number
- JP2023139013A JP2023139013A JP2023109273A JP2023109273A JP2023139013A JP 2023139013 A JP2023139013 A JP 2023139013A JP 2023109273 A JP2023109273 A JP 2023109273A JP 2023109273 A JP2023109273 A JP 2023109273A JP 2023139013 A JP2023139013 A JP 2023139013A
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- analog
- arrays
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000015654 memory Effects 0.000 title claims abstract description 243
- 230000001537 neural effect Effects 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 title description 32
- 238000013135 deep learning Methods 0.000 title description 3
- 238000003491 array Methods 0.000 claims abstract description 135
- 239000013598 vector Substances 0.000 claims abstract description 122
- 239000011159 matrix material Substances 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 39
- 210000004027 cell Anatomy 0.000 claims description 327
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 21
- 210000004205 output neuron Anatomy 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 description 65
- 230000006870 function Effects 0.000 description 51
- 238000007667 floating Methods 0.000 description 33
- 210000000225 synapse Anatomy 0.000 description 31
- 230000004913 activation Effects 0.000 description 25
- 239000003990 capacitor Substances 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 10
- 239000000758 substrate Substances 0.000 description 8
- 102100036301 C-C chemokine receptor type 7 Human genes 0.000 description 6
- 102100031658 C-X-C chemokine receptor type 5 Human genes 0.000 description 6
- 101000716065 Homo sapiens C-C chemokine receptor type 7 Proteins 0.000 description 6
- 101000922405 Homo sapiens C-X-C chemokine receptor type 5 Proteins 0.000 description 6
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000006403 short-term memory Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000000946 synaptic effect Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 150000004767 nitrides Chemical class 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 102100023226 Early growth response protein 1 Human genes 0.000 description 1
- 230000005689 Fowler Nordheim tunneling Effects 0.000 description 1
- 101001049697 Homo sapiens Early growth response protein 1 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- LPQOADBMXVRBNX-UHFFFAOYSA-N ac1ldcw0 Chemical compound Cl.C1CN(C)CCN1C1=C(F)C=C2C(=O)C(C(O)=O)=CN3CCSC1=C32 LPQOADBMXVRBNX-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 210000004692 intercellular junction Anatomy 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
- G06N3/065—Analogue means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
- G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
- G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
- G11C11/5642—Sensing or reading circuits; Data output circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
- G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C16/00—Erasable programmable read-only memories
- G11C16/02—Erasable programmable read-only memories electrically programmable
- G11C16/06—Auxiliary circuits, e.g. for writing into memory
- G11C16/08—Address circuits; Decoders; Word-line control circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
- G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/02—Detection or location of defective auxiliary circuits, e.g. defective refresh counters
- G11C29/028—Detection or location of defective auxiliary circuits, e.g. defective refresh counters with adaption or trimming of parameters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C29/44—Indication or identification of errors, e.g. for repair
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/50—Marginal testing, e.g. race, voltage or current testing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
- G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
- G11C2029/4402—Internal storage of test result, quality data, chip identification, repair information
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
- G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
- G11C29/50—Marginal testing, e.g. race, voltage or current testing
- G11C2029/5006—Current
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
- G11C2216/02—Structural aspects of erasable programmable read-only memories
- G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Neurology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Mathematics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Non-Volatile Memory (AREA)
- Read Only Memory (AREA)
- Semiconductor Memories (AREA)
- Image Processing (AREA)
- Memory System (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
【課題】構成可能な入力ブロック及び出力ブロック並びに物理的レイアウトを有、不揮発性メモリセルを利用するアナログニューラルメモリシステム及び方法を提供する。【解決手段】ベクトル行列乗算(VMM)システム3400において、入力回路ブロック3409(3410)は、水平方向に配置された異なる数のアレイ3401、3402(3403、3404)をサポートし、出力回路ブロック3411(3412)は、垂直方向に配置された異なる数のアレイ3401、3403(3402、3404)をサポートする。【選択図】図34
Description
(優先権の主張)
本出願は、2019年5月2日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許仮出願第62/842,279号、及び2019年6月21日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許出願第16/449,201号の優先権を主張する。
本出願は、2019年5月2日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許仮出願第62/842,279号、及び2019年6月21日に出願された「CONFIGURABLE INPUT BLOCKS AND OUTPUT BLOCKS AND PHYSICAL LAYOUT FOR ANALOG NEURAL MEMORY IN DEEP LEARNING ARTIFICIAL NEURAL NETWORK」と題する米国特許出願第16/449,201号の優先権を主張する。
(発明の分野)
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
人工ニューラルネットワークは、生物学的ニューラルネットワーク(動物の中枢神経系、特に脳)を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
図1は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続(シナプスと呼ばれる)は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、1つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の1つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用GPU(グラフィックプロセッシングユニット)クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはCMOSアナログ回路が使用されてきたが、ほとんどのCMOS実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許公開第2017/0337466号として公開された米国特許出願第15/594,439号において、シナプスとして1つ以上の不揮発性メモリアレイを利用する人工(アナログ)ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第1の複数の入力を受信して、それらから第1の複数の出力を生成するように構成されている第1の複数のシナプス、及び第1の複数の出力を受信するように構成された第1の複数のニューロンを含む。第1の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第1の部分の上方に配設され、チャネル領域の第1の部分から絶縁された浮遊ゲートと、チャネル領域の第2の部分の上方に配設され、チャネル領域の第2の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第1の複数の入力に、格納された重み値を乗算して第1の複数の出力を生成するように構成される。
アナログニューラルメモリシステムに使用される各不揮発性メモリセルは、非常に特異的かつ正確な電荷量、すなわち電子の数を浮遊ゲート内に保持するよう、消去及びプログラムされなければならない。例えば、各浮遊ゲートはN個の異なる値のうちの1つを保持しなければならず、ここで、Nは、各セルによって示され得る異なる重みの数である。Nの例としては、16、32、64、128及び256が挙げられる。
ベクトル行列乗算(VMM)システムにおける1つの課題は、VMMからの出力を別のVMMへの入力として迅速かつ正確に送達する能力であり、半導体ダイ内の物理的空間を効率的に利用しながらそれを行うことである。
必要とされるのは、不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウトである。
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
アナログニューラルメモリシステムの一実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Nの複数の前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、を備え、前記入力を受け取る前記アレイは、前記入力に応じて出力を提供する。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、複数のベクトル行列乗算アレイのそれぞれは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Nの前記複数のベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、前記出力は、受け取られた入力に応じて提供される。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Nの前記ベクトル行列乗算アレイに対するプログラミング動作後に検証動作を実行するための出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備える。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、第1の構成可能数Nの前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、第2の構成可能数Mの前記ベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Mは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、前記出力ブロックは、前記入力に応じて前記出力を生成する。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、前記ベクトル行列乗算アレイのうちの1つ以上から出力ニューロン電流を受け取り、ランプ型アナログ-デジタル変換器を使用してデジタル出力ビットを生成することが可能な出力ブロックと、を備える。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、複数のデジタル入力ビットを、前記ベクトル行列乗算アレイのうちの少なくとも1つに対するタイミング入力として、バイナリインデックス化された時間加算信号に変換することが可能な入力ブロックと、を備える。
各ベクトル行列乗算アレイは不揮発性メモリセルを含む、複数のベクトル行列乗算アレイを含むアナログニューラルメモリに対して出力変換を実行する方法の実施形態は、前記複数のベクトル行列乗算アレイのうちの1つ以上から出力ニューロン電流を受け取るステップと、前記出力ニューロン電流及びランプ型アナログ-デジタル変換器を使用してデジタル出力ビットを生成するステップであって、前記変換器は、粗比較モード及び微細比較モードで動作する、ステップと、を含む。
本発明の人工ニューラルネットワークは、CMOS技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
不揮発性メモリセル
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第5,029,130号(「’130号特許」)は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル210を図2に示す。各メモリセル210は、半導体基板12内に形成されたソース領域14とドレイン領域16と、を含み、ソース領域14とドレイン領域16の間にはチャネル領域18がある。浮遊ゲート20は、チャネル領域18の第1の部分の上方に形成され、チャネル領域18の第1の部分から絶縁され(並びに、チャネル領域18の第1の部分の導電性を制御して)、ソース領域14の一部分の上方にかけて形成される。ワード線端子22(典型的には、ワード線に結合される)は、チャネル領域18の第2の部分の上方に配設され、チャネル領域18の第2の部分から絶縁された、(並びに、チャネル領域18の第2の部分の導電性を制御する)第1の部分と、上に向かって浮遊ゲート20の上方にかけて延在する第2の部分と、を有する。浮遊ゲート20及びワード線端子22は、ゲート酸化物によって基板12から絶縁される。ビット線24はドレイン領域16に結合される。
ワード線端子22に高圧正電圧を印加することによって、メモリセル210に対して消去が行われ(電子が浮遊ゲートから除去される)、これによって、浮遊ゲート20の電子は、浮遊ゲート20からワード線端子22までそれらの間にある絶縁体の中をファウラーノルドハイム(Fowler-Nordheim)トンネリングを介して通過する。
メモリセル210は、ワード線端子22に正電圧、及びソース領域14に正電圧を印加することによってプログラムされる(電子が浮遊ゲートに印加される)。電子電流は、ソース領域14からドレイン領域16に向かって流れる。電子は加速し、ワード線端子22と浮遊ゲート20との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート20からの静電引力に起因して、浮遊ゲート20にゲート酸化物を介して注入される。
メモリセル210は、ドレイン領域16及びワード線端子22に正の読み出し電圧を印加する(ワード線端子の下方のチャネル領域18の部分をオンにする)ことによって、読み出される。浮遊ゲート20が正に帯電する(すなわち、電子を消去する)と、浮遊ゲート20の下方のチャネル領域18の部分も同様にオンになり、電流はチャネル領域18を流れ、これは、消去された状態つまり「1」の状態として検知される。浮遊ゲート20が負に帯電する(すなわち、電子でプログラムされる)と、浮遊ゲート20の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域18を流れず(又はほとんど流れず)、これは、プログラムされた状態つまり「0」の状態として検出される。
表1は、読み出し、消去、及びプログラム動作を実行するためのメモリセル110の端子に印加され得る典型的な電圧範囲を示す。
表1:図2のフラッシュメモリセル210の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線に出力される読み出しモードである。
表1:図2のフラッシュメモリセル210の動作
図3は、制御ゲート(control gate、CG)28を追加した、図2のメモリセル210と同様のメモリセル310を示す。制御ゲート28は、プログラミング中に高電圧(例えば、10V)、消去中に低又は負電圧(例えば、0v/-8V)、読み出し中に低又は中程度電圧(例えば、0v/2.5V)でバイアスされる。他の端子は、図2の端子と同様にバイアスされる。
図4は、ソース領域14と、ドレイン領域16と、チャネル領域18の第1の部分の上方にある浮遊ゲート20と、チャネル領域18の第2の部分の上方にある選択ゲート22(典型的には、ワード線、WL、に結合される)と、浮遊ゲート20の上方にある制御ゲート28と、ソース領域14の上方にある消去ゲート30と、を含む4ゲートメモリセル410を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第6,747,310号に記載されている。ここで、全てのゲートは、浮遊ゲート20を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域18から浮遊ゲート20にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート20から消去ゲート30へトンネリングすることによって実行される。
表2は、読み出し、消去、及びプログラム動作を実行するためのメモリセル310の端子に印加され得る典型的な電圧範囲を示す。
表2:図4のフラッシュメモリセル410の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線に出力される読み出しモードである。
表2:図4のフラッシュメモリセル410の動作
図5は、メモリセル510が消去ゲート(erase gate、EG)を含まないことを除いて、図4のメモリセル410と同様のメモリセル510を示す。消去は、基板18を高電圧にバイアスし、制御ゲートCG28を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線22を正電圧にバイアスし、制御ゲート28を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図4のものと同様である。
図6は、別の種類のフラッシュメモリセルである、3ゲートメモリセル610を示す。メモリセル610は、メモリセル610が別個の制御ゲートを有しないことを除いて、図4のメモリセル410と同一である。(消去ゲートの使用を通じて消去が起こる)消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図4のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
表3は、読み出し、消去、及びプログラム動作を実行するためのメモリセル610の端子に印加され得る典型的な電圧範囲を示す。
表3:図6のフラッシュメモリセル610の動作
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線に出力される読み出しモードである。
表3:図6のフラッシュメモリセル610の動作
図7は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル710を示す。メモリセル710は、浮遊ゲート20がチャネル領域18全体の上方にわたって延在し、制御ゲート22(ワード線に結合される)が絶縁層(図示せず)によって分離されて浮遊ゲート20の上方に延在することを除いて、図2のメモリセル210と同様である。消去、プログラミング、及び読み出し動作は、メモリセル210について前述したものと同様の方法で動作する。
「読み出し1」は、セル電流がビット線に出力される読み出しモードである。「読み出し2」は、セル電流がソース線に出力される読み出しモードである。任意選択的に、メモリセル210、310、410、510、610、又は710の行及び列を含むアレイにおいて、ソース線は、メモリセルの1つの行に又はメモリセルの2つの隣接する行に結合することができる。すなわち、ソース線は、メモリセルの隣接する行によって共有され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの1つを含むメモリアレイを利用するために、2つの修正が行われる。第1に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第2に、メモリセルの連続(アナログ)プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲート上の電荷)を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲートの電荷)を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値(16又は64の異なる値など)のうちの1つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
本明細書に記載される方法及び手段は、限定することなく、SONOS(ケイ素-酸化物-窒化物-酸化物-ケイ素、窒化物中の電荷トラップ)、MONOS(金属-酸化物-窒化物-酸化物-ケイ素、窒化物中の金属電荷トラップ)、ReRAM(抵抗変化型メモリ)、PCM(相変化メモリ)、MRAM(磁気抵抗メモリ)、FeRAM(強誘電体メモリ)、OTP(バイレベル又はマルチレベルの1回のみのプログラムが可能)及びCeRAM(強相関電子メモリ)などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、SRAM、DRAM、及び揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
不揮発性メモリセルアレイを使用するニューラルネットワーク
図8は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
S0は入力層であり、この例では、5ビット精度の32×32ピクセルRGB画像である(すなわち、各色R、G、及びBにつき1つずつで3つの32×32ピクセルアレイであり、各ピクセルは5ビット精度である)。入力層S0から層C1に行くシナプスCB1は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を3×3ピクセルの重なり合うフィルタでスキャンし(カーネル)、1ピクセル(又はモデルによっては2ピクセル以上)ずつフィルタをシフトする。具体的には、画像の3×3部分における9ピクセルの値(すなわち、フィルタ又はカーネルと呼ばれる)はシナプスCB1に提供され、そこでこれらの9個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップC1の層の1つのピクセルを生成するためにCB1の第1のシナプスによって与えられる。3×3フィルタは次に、入力層S0内で右側に1ピクセルだけシフトされ(すなわち、3ピクセルの列を右側に追加し、左側で3ピクセルの列をドロップする)、これにより、この新しく位置づけられたフィルタの9ピクセル値はシナプスCB1に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第2の単一の出力値を決定する。このプロセスを、3×3フィルタが入力層S0の32×32ピクセル画像全体にわたって3色全て及び全てのビット(精度値)についてスキャンするまで続ける。プロセスは次に、層C1の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、C1の異なる特徴マップを生成する。
本例では、層C1において、それぞれ30×30ピクセルを有する16個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、2次元アレイであり、したがってこの例では、層C1は、2次元アレイの16層を構成する(本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な2次元アレイに配向されないことに留意されたい)。層C1内の16個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット16個のうちの1つによって生成される。C1特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第1のマップ(この第1のマップを生成するのに使用される全てのスキャンに共有される第1の重みセットを使用して生成される)は、円形エッジを識別することができ、第2のマップ(第1の重みセットと異なる第2の重みセットを使用して生成される)は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層C1から層S1へ行く前には、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする活性化関数P1(プーリング)が適用される。プーリング関数の目的は、近隣の位置を平均すること(又はmax関数を使用することも可能である)、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層S1において、16個の15×15特徴マップ(すなわち、それぞれ15×15ピクセルの異なるアレイ16個)が存在する。層S1から層C2に行くシナプスCB2は、S1内のマップを4×4フィルタにより1ピクセルのフィルタシフトでスキャンする。層C2において、22個の12×12特徴マップが存在する。層C2から層S2へ行く前には、各特徴マップ内の重なり合わずに連続する2×2領域からの値をプールする活性化関数P2(プーリング)が適用される。層S2において、22個の6×6特徴マップが存在する。層S2から層C3へ行くシナプスCB3では活性化関数(プーリング)が適用され、ここで層C3内の全てのニューロンは、CB3のそれぞれのシナプスを介して層S2内の全てのマップに接続する。層C3において、64個のニューロンが存在する。層C3から出力層S3へと行くシナプスCB4は、C3をS3に完全に接続する、すなわち、層C3内の全てのニューロンは、層S3内の全てのニューロンに接続される。S3における出力は、10個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
図9は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算(VMM)システム32は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス(図6のCB1、CB2、CB3、及びCB4など)として利用される。具体的には、VMMシステム32は、行及び列に配置された不揮発性メモリセルを含むアレイ33、消去ゲート及びワード線ゲートデコーダ34、制御ゲートデコーダ35、ビット線デコーダ36、並びにソース線デコーダ37を含み、それらのデコーダは不揮発性メモリセルアレイ33に対するそれぞれの入力をデコードする。VMMアレイ33への入力は、消去ゲート及びワード線ゲートデコーダ34から、又は制御ゲートデコーダ35から行うことができる。この例におけるソース線デコーダ37はまた、VMMアレイ33の出力をデコードする。あるいは、ビット線デコーダ36が、VMMアレイ33の出力をデコードすることができる。
VMMアレイ33は、2つの目的を果たす。第1に、VMMシステム32によって使用される重みを格納する。第2に、VMMアレイ33は、VMMアレイ33に格納された重みによって、入力を有効に乗算して、それらを出力線(ソース線又はビット線)ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、VMMアレイ33は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
VMMアレイ33の出力は、VMMアレイ33の出力を合計してその畳み込み用の単一の値を作成する、差動加算器(加算オペアンプ又は加算カレントミラーなど)38に供給される。差動加算器38は、正の重み及び負の重みの総和を実行するように配置される。
差動加算器38の合計された出力値は、次に出力を整流する活性化関数回路39に供給される。活性化関数回路39は、シグモイド関数、tanh関数、ReLU関数、又は任意の他の非線形関数を提供し得る。活性化関数回路39の整流された出力値は、次の層(例えば図8のC1)の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、VMMアレイ33は、複数のシナプスを構成し(ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する)、加算器38及び活性化関数回路39は、複数のニューロンを構成する。
図9のVMMシステム32への入力(WLx、EGx、CGx、及び任意選択的にBLx及びSLx)は、アナログレベル、バイナリレベル、デジタルパルス(この場合、パルス-アナログ変換器PACが、パルスを適切な入力アナログレベルに変換するために必要とされ得る)又はデジタルビット(この場合、DACが、デジタルビットを適切な入力アナログレベルに変換するために提供される)であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る(この場合、出力ADCが、出力アナログレベルをデジタルビットに変換するために提供される)。
図10は、図中でVMMシステム32a、32b、32c、32d及び32eとして標示されたVMMシステム32の多数の層の使用を示すブロック図である。図10に示されるように、入力(Inputxで示される)は、デジタル-アナログ変換器31によってデジタルからアナログに変換され、入力VMMシステム32aに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第1の層の入力D/A変換は、入力VMMシステム32aの行列乗算器の適切なアナログレベルに入力Inputxをマッピングする関数又はLUT(ルックアップテーブル)を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力VMMシステム32aへのマッピングされたアナログ入力に変換するために、アナログ-アナログ(A/A)変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力VMMシステム32aへのマッピングされたデジタルパルス(単数又は複数)に変換するために、デジタル-デジタルパルス(D/P)変換器によって行うこともできる。
入力VMMシステム32aによって生成された出力は、次のVMMシステム(隠しレベル1)32bへの入力として提供され、次いで、そのVMMシステムが、次のVMMシステム(隠しレベル2)32cへの入力として提供される出力を生成し、以降も同様に続く。VMMシステム32の様々な層は、畳み込みニューラルネットワーク(CNN)のシナプス及びニューロンの様々な層として機能する。VMMシステム32a、32b、32c、32d、及び32eはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のVMMシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のVMMシステムは、同じ物理的不揮発性メモリシステムの重なり合う部分を利用することができる。各VMMシステム32a、32b、32c、32d、及び32eはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図10に示される例は、5つの層(32a、32b、32c、32d、32e)、すなわち、1つの入力層(32a)、2つの隠れ層(32b、32c)、及び2つの完全に接続された層(32d、32e)を含む。当業者であれば、これは単なる例示であり、代わりにシステムが2つを超える隠れ層及び2つを超える完全に接続された層を含み得ることを理解するであろう。更に、異なる層は、2レベルのメモリセル(「0」及び「1」の2つのレベルのみであることを意味する)を含むnビットのメモリセルの異なる組み合わせ(異なるセルは複数の異なるレベルをサポートする)を使用することができる。
VMMアレイ
VMMアレイ
図11は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1100を示す。VMMアレイ1100は、不揮発性メモリセルのメモリアレイ1101と、不揮発性基準メモリセルの基準アレイ1102(アレイの頂部に位置する)と、を含む。あるいは、別の基準アレイが底部に位置することができる。
VMMアレイ1100では、制御ゲート線1103などの制御ゲート線が垂直方向に延びており(したがって、行方向の基準アレイ1102が、制御ゲート線1103に直交する)、消去ゲート線1104などの消去ゲート線が水平方向に延びている。ここで、VMMアレイ1100への入力は、制御ゲート線(CG0、CG1、CG2、CG3)に提供され、VMMアレイ1100の出力はソース線(SL0、SL1)に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線(それぞれSL0、SL1)に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、VMMアレイ1100の不揮発性メモリセル、すなわちVMMアレイ1100のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる:
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVt
式中、Vgはメモリセルへのゲート電圧であり、Vthはメモリセルのスレッショルド電圧であり、Vtは熱電圧=k*T/qであり(式中、kはボルツマン定数、Tはケルビン単位での温度、qは電子電荷である)、nは傾斜係数=1+(Cdep/Cox)であり(式中、Cdep=空乏層の静電容量、Coxはゲート酸化物層の静電容量である)、Ioはスレッショルド電圧に等しいゲート電圧でのメモリセル電流である。Ioは(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLは、それぞれ、メモリセルの幅及び長さである。
Ids=Io*e(Vg-Vth)/nVt=w*Io*e(Vg)/nVt
式中、w=e(-Vth)/nVt
式中、Vgはメモリセルへのゲート電圧であり、Vthはメモリセルのスレッショルド電圧であり、Vtは熱電圧=k*T/qであり(式中、kはボルツマン定数、Tはケルビン単位での温度、qは電子電荷である)、nは傾斜係数=1+(Cdep/Cox)であり(式中、Cdep=空乏層の静電容量、Coxはゲート酸化物層の静電容量である)、Ioはスレッショルド電圧に等しいゲート電圧でのメモリセル電流である。Ioは(Wt/L)*u*Cox*(n-1)*Vt2に比例し、式中、uはキャリア移動度であり、Wt及びLは、それぞれ、メモリセルの幅及び長さである。
メモリセル(基準メモリセル又は周辺メモリセルなど)又はトランジスタを使用して入力電流を入力電圧に変換するI-Vログ変換器を使用した場合:
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
Vg=n*Vt*log[Ids/wp*Io]
式中、wpは、基準又は周辺メモリセルのwである。
ベクトル行列乗算器VMMアレイとして使用されるメモリアレイについて、出力電流は以下である:
Iout=wa*Io*e(Vg)/nVt、すなわち、
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
式中、メモリアレイの各メモリセルのwa=wである。
Iout=wa*Io*e(Vg)/nVt、すなわち、
Iout=(wa/wp)*Iin=W*Iin
W=e(Vthp-Vtha)/nVt
式中、メモリアレイの各メモリセルのwa=wである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、本明細書に記載されたVMMアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ids=beta*(Vgs-Vth)*Vds、beta=u*Cox*Wt/L、
式中、Wt及びLは、トランジスタのそれぞれの幅及び長さである。
W=α(Vgs-Vth)、
すなわち、重みWは(Vgs-Vth)に比例する。
Ids=beta*(Vgs-Vth)*Vds、beta=u*Cox*Wt/L、
式中、Wt及びLは、トランジスタのそれぞれの幅及び長さである。
W=α(Vgs-Vth)、
すなわち、重みWは(Vgs-Vth)に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
I-V線形変換器用に、線形領域で動作するメモリセル(基準メモリセル又は周辺メモリセルなど)若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
あるいは、本明細書に記載されたVMMアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ids=1/2*beta*(Vgs-Vth)2、beta=u*Cox*Wt/L
W=α(Vgs-Vth)2、すなわち、重みWは(Vgs-Vth)2に比例する。
Ids=1/2*beta*(Vgs-Vth)2、beta=u*Cox*Wt/L
W=α(Vgs-Vth)2、すなわち、重みWは(Vgs-Vth)2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
あるいは、本明細書に記載されるVMMアレイのフラッシュメモリセルは、全ての領域又はそれらの組み合わせ(サブスレッショルド、線形、又は飽和)で使用することができる。
図9のVMMアレイ32のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第15/826,345号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力(電流和出力)として使用することができる。
図12は、図2に示されるメモリセル210に特に適したニューロンVMMアレイ1200を示し、入力層と次の層との間のシナプスとして利用される。VMMアレイ1200は、不揮発性メモリセルのメモリアレイ1203と、第1の不揮発性基準メモリセルの基準アレイ1201と、第2の不揮発性基準メモリセルの基準アレイ1202と、を含む。アレイの列方向に配置された基準アレイ1201及び1202は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力WL0、WL1、WL2、及びWL3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ1214(一部のみ示す)を通してダイオード接続される。基準セルは、標的基準レベルに調整(例えば、プログラム)される。標的基準レベルは、基準ミニアレイマトリックス(図示せず)によって提供される。
メモリアレイ1203は、2つの目的を果たす。第1に、VMMアレイ1200により使用される重みを、それぞれのメモリセルに格納する。第2に、メモリアレイ1203は、メモリアレイ1203に格納された重みによって、入力(すなわち、端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、これを基準アレイ1201及び1202が入力電圧に変換して、ワード線WL0、WL1、WL2、及びWL3に供給する)を有効に乗算して、次いで、全ての結果(メモリセル電流)を加算して、それぞれのビット線(BL0~BLN)の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ1203が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線WL0、WL1、WL2、及びWL3に提供され、出力は、読み出し(推論)動作中にビット線BL0~BLNそれぞれに現れる。各々のビット線BL0~BLNに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表5は、VMMアレイ1200の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、FLTは、フローティング、すなわち、電圧が印加されていないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表5 図12のVMMアレイ1200の動作
表5 図12のVMMアレイ1200の動作
図13は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1300を示す。VMMアレイ1300は、不揮発性メモリセルのメモリアレイ1303と、第1の不揮発性基準メモリセルの基準アレイ1301と、第2の不揮発性基準メモリセルの基準アレイ1302と、を含む。基準アレイ1301及び1302は、VMMアレイ1300の行方向に延びる。VMMアレイは、VMMアレイ1300においてワード線が垂直方向に延びることを除いて、VMM1100と同様である。ここで、入力はワード線(WLA0、WLB0、WLA1、WLB2、WLA2、WLB2、WLA3、WLB3)に提供され、出力は、読み出し動作中にソース線(SL0、SL1)に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表6は、VMMアレイ1300の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表6:図13のVMMアレイ1300の動作
表6:図13のVMMアレイ1300の動作
図14は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1400を示す。VMMアレイ1400は、不揮発性メモリセルのメモリアレイ1403と、第1の不揮発性基準メモリセルの基準アレイ1401と、第2の不揮発性基準メモリセルの基準アレイ1402と、を含む。基準アレイ1401及び1402は、端子BLR0、BLR1、BLR2、及びBLR3に流入する電流入力を電圧入力CG0、CG1、CG2、及びCG3に変換するように機能する。実際には、第1及び第2の不揮発性基準メモリセルは、電流入力がBLR0、BLR1、BLR2、及びBLR3を通って流入する状態で、マルチプレクサ1412(一部のみ示す)を通してダイオード接続される。マルチプレクサ1412は、読み出し動作中に第1及び第2の不揮発性基準メモリセルの各々のビット線(BLR0など)の一定電圧を確実にするために、それぞれのマルチプレクサ1405及びカスコーディングトランジスタ1404を各々含む。基準セルは、標的基準レベルに調整される。
メモリアレイ1403は、2つの目的を果たす。第1に、VMMアレイ1400によって使用される重みを格納する。第2に、メモリアレイ1403は、メモリセルアレイに格納された重みによって、入力(端子BLR0、BLR1、BLR2、及びBLR3に提供された電流入力であり、基準アレイ1401及び1402がこれらの電流入力を入力電圧に変換して、制御ゲートCG0、CG1、CG2、及びCG3に供給する)を有効に乗算して、次いで、全ての結果(セル電流)を加算して出力を生成し、この出力はBL0~BLNに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線(CG0、CG1、CG2、及びCG3)に提供され、出力は、読み出し動作中にビット線(BL0~BLN)に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
VMMアレイ1400は、メモリアレイ1403内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合(誤った値がセルに格納されるなど)、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート(EG0又はEG1など)を共有する2つの行は、一緒に消去される必要があり(ページ消去として知られる)、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表7は、VMMアレイ1400の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表7:図14のVMMアレイ1400の動作
表7:図14のVMMアレイ1400の動作
図15は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ1500を示す。VMMアレイ1500は、不揮発性メモリセルのメモリアレイ1503と、基準アレイ1501又は第1の不揮発性基準メモリセルと、第2の不揮発性基準メモリセルの基準アレイ1502とを含む。EG線EGR0、EG0、EG1、及びEGR1は垂直に延び、CG線CG0、CG1、CG2、及びCG3並びにSL線WL0、WL1、WL2、及びWL3は水平に延びる。VMMアレイ1500は、VMMアレイ1500が双方向調整を実装することを除いてVMMアレイ1400と同様であり、個々のセルはそれぞれ、個別のEG線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ1501及び1502は、端子BLR0、BLR1、BLR2及びBLR3内の入力電流を制御ゲート電圧CG0、CG1、CG2及びCG3に変換し(マルチプレクサ1514を介したダイオード接続された基準セルの作用を通じて)、これらの電圧は行方向でメモリセルに印加される。電流出力(ニューロン)は、ビット線BL0~BLN中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表8は、VMMアレイ1500の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表8:図15のVMMアレイ1500の動作
表8:図15のVMMアレイ1500の動作
図24は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2400を示す。VMMアレイ2400では、入力INPUT0、...、INPUTNは、ビット線BL0、...BLNにそれぞれ受信され、出力OUTPUT1、OUTPUT2、OUTPUT3、及びOUTPUT4は、ソース線SL0、SL1、SL2、及びSL3にそれぞれ生成される。
図25は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2500を示す。この例では、入力INPUT0、INPUT1、INPUT2、及びINPUT3は、ソース線SL0、SL1、SL2、及びSL3にそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNに生成される。
図26は、図2に示されるメモリセル210に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2600を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMにそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNに生成される。
図27は、図3に示されるメモリセル310に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2700を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMにそれぞれ受信され、出力OUTPUT0、...OUTPUTNは、ビット線BL0、...、BLNに生成される。
図28は、図4に示されるメモリセル410に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2800を示す。この例では、入力INPUT0、...、INPUTnがそれぞれ垂直制御ゲート線CG0、...、CGNに受信され、出力OUTPUT1及びOUTPUT2がソース線SL0及びSL1に生成される。
図29は、図4に示されるメモリセル410に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ2900を示す。この例では、入力INPUT0、...、INPUTNは、ビット線BL0、...、BLNにそれぞれ結合されているビット線制御ゲート2901-1、2901-2、...、2901-(N-1)、及び2901-Nのゲートにそれぞれ受信される。例示的な出力OUTPUT1及びOUTPUT2が、ソース線SL0及びSL1に生成される。
図30は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ3000を示す。この例では、入力INPUT0、...、INPUTMは、ワード線WL0、...、WLMに受信され、出力OUTPUT0、...、OUTPUTNは、ビット線BL0、...、BLNにそれぞれ生成される。
図31は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ3100を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMに受信される。出力OUTPUT0、...、OUTPUTNは、垂直ソース線SL0、...、SLNにそれぞれ生成され、各ソース線SLiは、列i内の全てのメモリセルのソース線端子に結合されている。
図32は、図3に示されるメモリセル310、図5に示されるメモリセル510、及び図7に示されるメモリセル710に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンVMMアレイ3200を示す。この例では、入力INPUT0、...、INPUTMは、制御ゲート線CG0、...、CGMに受信される。出力OUTPUT0、...、OUTPUTNは、垂直ビット線BL0、...、BLNにそれぞれ生成され、各ビット線BLiは、列i内の全てのメモリセルのビット線端子に結合されている。
長・短期メモリ
長・短期メモリ
先行技術は、長・短期メモリ(long short-term memory、LSTM)として知られる概念を含む。LSTMユニットは、しばしば、ニューラルネットワーク内で使用される。LSTMによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のLSTMユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。3つのゲートは、セル内及びセル外への情報の流れ、及び情報がLSTM内で記憶される期間を調整する。VMMは、LSTMユニットにおいて特に有用である。
図16は、例示的なLSTM1600を示す。この例におけるLSTM1600は、セル1601、1602、1603、及び1604を含む。セル1601は、入力ベクトルx0を受け取り、出力ベクトルh0及びセル状態ベクトルc0を生成する。セル1602は、入力ベクトルx1と、セル1601からの出力ベクトル(隠れ状態)h0と、セル1601からのセル状態c0とを受け取り、出力ベクトルh1とセル状態ベクトルc1とを生成する。セル1603は、入力ベクトルx2と、セル1602からの出力ベクトル(隠れ状態)h1と、セル1602からのセル状態c1とを受け取り、出力ベクトルh2とセル状態ベクトルc2とを生成する。セル1604は、入力ベクトルx3と、セル1603からの出力ベクトル(隠れ状態)h2と、セル1603からのセル状態c2とを受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するLSTMは、単なる例である。
図17は、図16のセル1601、1602、1603及び1604に使用可能なLSTMセル1700の例示的な実装を示す。LSTMセル1700は、入力ベクトルx(t)と、先行するセルからのセル状態ベクトルc(t-1)と、先行するセルからの出力ベクトルh(t-1)とを受け取り、セル状態ベクトルc(t)及び出力ベクトルh(t)を生成する。
LSTMセル1700は、シグモイド関数デバイス1701、1702、及び1703を含み、各々が0~1の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。LSTMセル1700はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス1704及び1705と、2つのベクトルを乗算するための乗算器デバイス1706、1707、及び1708と、2つのベクトルを加算するための加算器デバイス1709と、を含む。出力ベクトルh(t)は、システム内の次のLSTMセルに提供することができ、又は他の目的でアクセスすることができる。
図18は、LSTMセル1700の一実装例であるLSTMセル1800を示す。読者の便宜のために、LSTMセル1700からの同じ採番方法が、LSTMセル1800で使用される。シグモイド関数デバイス1701、1702、及び1703、並びにtanhデバイス1704は各々、複数のVMMアレイ1801及び活性化回路ブロック1802を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるLSTMセルにおいて特に有用であることが理解できる。乗算器デバイス1706、1707、及び1708、並びに加算器デバイス1709は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック1802は、デジタル方式、又はアナログ方式で実装され得る。
LSTMセル1800の代替例(及びLSTMセル1700の実装の別の例)を図19に示す。図19では、シグモイド関数デバイス1701、1702及び1703、並びにtanhデバイス1704は、同じ物理ハードウェア(VMMアレイ1901及び活性化関数ブロック1902)を、時分割多重化された方式で共有する。LSTMセル1900はまた、2つのベクトルを乗算するための乗算器デバイス1903と、2つのベクトルを加算するための加算器デバイス1908と、(活性化回路ブロック1902を含む)tanhデバイス1705と、シグモイド関数ブロック1902から出力される値i(t)を格納するレジスタ1907と、マルチプレクサ1910を介して乗算器デバイス1903から出力される値f(t)*c(t-1)を格納するレジスタ1904と、マルチプレクサ1910を介して乗算器デバイス1903から出力される値i(t)*u(t)を格納するレジスタ1905と、マルチプレクサ1910を介して乗算器デバイス1903から出力される値o(t)*c~(t)を格納する、レジスタ1906と、マルチプレクサ1909と、を含む。
LSTMセル1800が複数のVMMアレイ1801とそれぞれの活性化関数ブロック1802のセットを複数含むのに対し、LSTMセル1900は、LSTMセル1900の実施形態において複数の層を表すために使用されるVMMアレイ1901と活性化関数ブロック1902のセットを1つのみ含む。LSTMセル1900は、LSTMセル1800と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/4で済むので、LSTM1800よりも必要とするスペースが少ない。
LSTMユニットは典型的には複数のVMMアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
ゲート付き回帰型ユニット
アナログVMM実装は、ゲート付き回帰型ユニット(gated recurrent unit、GRU)システムに利用することができる。GRUは、反復ニューラルネットワーク内のゲート機構である。GRUは、GRUセルが一般にLSTMセルよりも少ない構成要素を含むことを除いて、LSTMに類似している。
図20は、例示的なGRU2000を示す。この例におけるGRU2000は、セル2001、2002、2003及び2004を含む。セル2001は入力ベクトルx0を受け取り、出力ベクトルh0を生成する。セル2002は、入力ベクトルx1と、セル2001からの出力ベクトルh0とを受け取り、出力ベクトルh1を生成する。セル2003は、入力ベクトルx2と、セル2002からの出力ベクトル(隠れ状態)h1とを受け取り、出力ベクトルh2を生成する。セル2004は、入力ベクトルx3と、セル2003からの出力ベクトル(隠れ状態)h2とを受け取り、出力ベクトルh3を生成する。追加のセルも使用可能であり、4つのセルを有するGRUは、単なる例である。
図21は、図20のセル2001、2002、2003及び2004に使用可能なGRUセル2100の例示的な実装を示す。GRUセル2100は、入力ベクトルx(t)と、先行するGRUセルからの出力ベクトルh(t-1)とを受け取り、出力ベクトルh(t)を生成する。GRUセル2100は、シグモイド関数デバイス2101及び2102を備え、各々が、出力ベクトルh(t-1)及び入力ベクトルx(t)からの構成要素に0~1の数を適用する。GRUセル2100はまた、入力ベクトルに双曲線正接関数を適用するためのtanhデバイス2103と、2つのベクトルを乗算するための複数の乗算器デバイス2104、2105及び2106と、2つのベクトルを加算するための加算器デバイス2107と、1から入力を減算して出力を生成するコンプリメンタリデバイス2108とを含む。
図22は、GRUセル2100の一実装例であるGRUセル2200を示す。読者の便宜のために、GRUセル2100からの同じ採番方法が、GRUセル2200で使用される。図22から分かるように、シグモイド関数デバイス2101及び2102、並びにtanhデバイス2103は各々、複数のVMMアレイ2201及び活性化関数ブロック2202を含む。したがって、VMMアレイは、特定のニューラルネットワークシステムで使用されるGRUセルにおいて特に使用されることが理解できる。乗算器デバイス2104、2105、2106、加算器デバイス2107、及びコンプリメンタリデバイス2108は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック2202は、デジタル方式、又はアナログ方式で実装され得る。
GRUセル2200の代替例(及びGRUセル2300の実装の別の例)を図23に示す。図23において、GRUセル2300は、VMMアレイ2301及び活性化関数ブロック2302を使用しており、シグモイド関数として構成された場合には、0~1の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図23では、シグモイド関数デバイス2101及び2102、並びにtanhデバイス2103は、同じ物理ハードウェア(VMMアレイ2301及び活性化関数ブロック2302)を、時分割多重化された方式で共有する。GRUセル2300はまた、2つのベクトルを乗算するための乗算器デバイス2303と、2つのベクトルを加算するための加算器デバイス2305と、1から入力を減算して出力を生成するためのコンプリメンタリデバイス2309と、マルチプレクサ2304と、マルチプレクサ2304を介して乗算器デバイス2303から出力される値h(t-1)*r(t)を保持するレジスタ2306と、マルチプレクサ2304を介して乗算器デバイス2303から出力される値h(t-1)*z(t)を保持するレジスタ2307と、マルチプレクサ2304を介して乗算器デバイス2303から出力される値h^(t)*(1-z((t))を保持するレジスタ2308と、を含む。
GRUセル2200がVMMアレイ2201と活性化関数ブロック2202のセットを複数含むのに対し、GRUセル2300は、GRUセル2300の実施形態において複数の層を表すために使用されるVMMアレイ2301と活性化関数ブロック2302のセット1つのみを含む。GRUセル2300は、GRUセル2200と比較して、VMM及び活性化関数ブロックのために必要とするスペースは1/3で済むので、GRUセル2200よりも必要とするスペースが少ない。
GRUシステムは典型的には複数のVMMアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、VMMアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各VMMアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
VMMアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット(この場合、デジタルビットを適切な入力アナログレベルに変換するためにDACが必要とされる)であり、出力はアナログレベル、バイナリレベル、又はデジタルビット(この場合、出力アナログレベルをデジタルビットに変換するために出力ADCが必要とされる)であり得る。
VMMアレイ内の各メモリセルに関して、各重みWは、単一のメモリセルによって、又は差分セルによって、又は2つのブレンドメモリセル(2つのセルの平均)によって実装することができる。差分セルの場合では、重みWを差分重み(W=W+-W-)として実装するために、2つのメモリセルが必要とされる。2つのブレンドメモリセルの場合は、2つのセルの平均として重みWを実装するために2つのメモリセルが必要とされる。
VMMアレイ用の構成可能な入出力システム
VMMアレイ用の構成可能な入出力システム
図33は、VMMシステム3300を示す。VMMシステム3300は、VMMアレイ3301(VMMアレイ1100、1200、1300、1400、1500、2400、2500、2600、2700、2800、2900、3000 3100、及び3200又は他のVMMアレイ設計など、前述のVMMアレイ設計のいずれかに基づくことができる)、低電圧行デコーダ3302、高電圧行デコーダ3303、列デコーダ3304、列ドライバ3305、制御論理3306、バイアス回路3307、ニューロン出力回路ブロック3308、入力VMM回路ブロック3309、アルゴリズムコントローラ3310、高電圧生成器ブロック3311、アナログ回路ブロック3315、及び制御論理3316を含む。
入力回路ブロック3309は、外部入力からメモリアレイ3301の入力端子へのインターフェースとして機能する。入力回路ブロック3309は、限定することなく、DAC(デジタル-アナログ変換器)、DPC(デジタル-パルス変換器)、APC(アナログ-パルス変換器)、IVC(電流-電圧変換器)、AAC(電圧-電圧スケーラなどのアナログ-アナログ変換器)、又はFAC(周波数-アナログ変換器)を含むことができる。ニューロン出力ブロック3308は、メモリアレイ出力から外部インターフェース(図示せず)へのインターフェースとして機能する。ニューロン出力ブロック3308は、限定することなく、ADC(アナログ-デジタル変換器)、APC(アナログ-パルス変換器)、DPC(デジタル-パルス変換器)、IVC(電流-電圧変換器)、又はIFC(電流-周波数変換器)を含むことができる。ニューロン出力ブロック3308は、限定することなく、活性化関数、正規化回路、及び/又は再スケーリング回路を含んでもよい。
図34はVMMシステム3400を示しており、このシステムは、VMMアレイ3401、3402、3403、及び3404、高電圧行デコーダ3405及び3406、低電圧行デコーダ3407及び3408、入力ブロック3409及び3410(それぞれ図33の入力ブロック3309と同様である)、並びに出力ブロック3411及び3412を含む。この構成では、VMMアレイ3401及び3403は、ビット線のセット、及び出力ブロック3411を共有し、VMMアレイ3402及び3404は、ビット線のセット、及び出力ブロック3412を共有する。VMMアレイ3401及び3403は、同時に読み出すことができ(これにより、効果的に組み合わされて単一のより大きいアレイになり得る)、又は異なる時間に読み出すことができる。出力ブロック3411及び3412(図33の出力ブロック3308と同様である)は、一度に1つのアレイからの読み出し動作(アレイ3401又は3403のみからの読み出しなど)又は一度に複数のアレイからの読み出し動作(アレイ3401及び3403の両方からの読み出しなど)を処理することができるように構成可能である。
図35AはVMMシステム3500を示しており、このシステムは、VMMアレイ3503、3504、及び3505、共有グローバル高電圧行デコーダ3506、ローカル高電圧行デコーダ3507及び3508、共有低電圧行デコーダ3509、並びに入力ブロック3510を含む。この構成では、VMMアレイ3503、3504、及び3505は入力ブロック3510を共有する。VMMアレイ3503、3504、及び3505は、入力ブロック3510を介して入力(例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線における電圧又はパルス)を同時に受け取ることができ(これにより、効果的に組み合わされて単一のより大きいVMMアレイになる)、又は入力ブロック3510を介して入力を異なる時間に受け取ることができる(これにより、同じ入力ブロックを有する3つの別個のVMMアレイとして効果的に動作する)。入力ブロック3510は、一度に1つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
図35BはVMMシステム3550を示しており、このシステムは、VMMアレイ3511、3512、3513、及び3514、グローバル高電圧デコーダ3515、ローカル高電圧行デコーダ3516、3517、及び3518、共有低電圧行デコーダ3519、並びに入力ブロック3520を含む。この構成では、VMMアレイ3511、3512、3513、及び3514は入力ブロック3520を共有する。VMMアレイ3511、3512、3513、及び3514は、入力ブロック3520を介して入力(例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線における電圧又はパルス)を同時に受け取ることができ(これにより、効果的に組み合わされて単一のより大きいアレイになる)、又は入力ブロック3520を介して入力を異なる時間に受け取ることができる(これにより、同じ入力ブロック3520を有する3つの別個のVMMアレイとして効果的に動作する)。入力ブロック3520は、一度に1つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。例えば、図35Aの入力ブロック3510は、3つのアレイに入力を提供するように構成されており、入力ブロック3520は、4つのアレイに対して入力を提供するように構成されている。
図36はVMMシステム3600を示しており、このシステムは、水平セット3601及び水平セット3611を含む。水平セット3601は、VMMアレイ3602及び3603、共有グローバル高電圧行デコーダ3604、ローカル高電圧行デコーダ3605、共有低電圧行デコーダ3606、並びに入力ブロック3607を含む。VMMアレイ3602及び3603は、入力ブロック3607を共有する。入力ブロック3607は、一度に1つのアレイ又は一度に複数のアレイに入力を提供することができるように構成可能である。
水平セット3611は、VMMアレイ3612及び3613、共有グローバル高電圧デコーダ3614、ローカル高電圧行デコーダ3615、共有低電圧行デコーダ3616、並びに入力ブロック3617を含む。VMMアレイ3612及び3613は、入力ブロック3617を共有する。入力ブロック3617は、一度に1つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
第1の構成では、水平セット3601は出力ブロック3608及び3609を利用し、水平セット3611は出力ブロック3618及び3619を利用する。出力ブロック3608、3609、3618、及び3619は、出力として電流、デジタルパルス、又はデジタルビットを出力することができる。デジタルビットが出力される一実施形態では、出力ブロック3608、3609、3618、及び3619はそれぞれ、8個のデジタル出力ビットを出力する。
第2の構成では、出力ブロック3608及び3609は無効化され、VMMアレイ3602及び3612は出力ブロック3618を共有し、VMMアレイ3603及び3613は出力ブロック3619を共有する。VMMアレイ3602及び3612は、同時に読み出すことができ、これにより、効果的に組み合わされて単一のより大きい垂直のアレイになり得(すなわち、ビット線当たりの行数が増える)、又はそれらは、異なる時間に読み出すことができる。VMMアレイ3602及び3612が同時に読み出される場合、各出力ブロックが、1つのアレイのみに結合されているときに8ビットの範囲の値を出力する一実施形態では、出力ブロック3608及び3609はそれぞれ、9ビットの範囲の値を出力する。これは、2つのアレイを単一の大きいアレイとして使用することによって倍増した出力ニューロンのダイナミックレンジに起因する。この場合、次のアレイが8ビットのダイナミックレンジしか必要としなければ、出力は再スケーリング又は正規化する(例えば、9ビットから8ビットにスケールダウンする)必要があり得る。別の実施形態では、出力ビットの数は、垂直アレイの数を増加させるときに同じに維持することができる。
同様に、VMMアレイ3603及び3613は、同時に読み出すことができ(これにより、効果的に組み合わされて単一のより大きいアレイになる)、又は異なる時間に読み出すことができる。出力ブロック3618及び3619は、一度に1つのアレイから、又は一度に複数のアレイからの読み出し動作を処理することができるように構成可能である。
VMMシステム3400、3500、3550、及び3600では、システムが、各入力ブロック及び/又は出力ブロックと共に異なる数のアレイを利用するように構成可能である場合、入力ブロック又は出力ブロック自体も構成可能でなければならない。例えば、VMMシステム3600では、出力ブロック3608、3609、3612、及び3619がそれぞれ、単一のアレイに結合されたときに8ビットの出力を出力する場合、出力ブロック3618及び3619はそれぞれ、2つのアレイ(例えば、それぞれ、アレイ3602及び3612、及びアレイ3603及び3609)に結合されたときに、9ビットの出力を出力するように構成される必要がある。次いで、それらの出力が別のVMMシステムの入力ブロックに提供される場合、入力ブロックが9ビットの入力ではなく8ビットの入力を期待しているならば、出力は最初に正規化する必要がある。Nビットの値をMビットの値に変換するための多数のアナログ及びデジタル技術が知られている。前述の例では、Nは9となり、Mは8となるが、当業者であれば、N及びMが任意の正の整数となり得ることを理解するであろう。
VMMシステム3400、3500、3550、及び3600において、追加のアレイを入力ブロック及び出力ブロックに結合することができる。例えば、VMMシステム3400では、3つ以上のアレイを入力ブロック3409に結合することができ、3つ以上のアレイを入力ブロック3410に結合することができ、VMMシステム3500では、4つ以上のアレイを入力ブロック3510に結合することができ、VMMシステム3550では、5つ以上のアレイを入力ブロック3520に結合することができ、VMMシステム3600では、3つ以上のアレイを入力ブロック3607に結合することができ、3つ以上のアレイを入力ブロック3617に結合することができ、3つ以上のアレイを出力ブロック3618に結合することができ、3つ以上のアレイを出力ブロック3619に結合することができる。それらの状況では、関連する入力ブロック及び出力ブロックは、追加のアレイに適応するように更に構成される必要がある。
VMMシステム3400の出力ブロック3411及び3412、並びに出力ブロック3618及び3619は、プログラミング動作後の検証動作のために構成可能である必要があり、検証動作は、出力ブロックに接続されたアレイの数の影響を受ける。更に、プログラム/消去検証(調整するために使用され、メモリの浮遊ゲートに特定の電荷を生成して所望のセル電流を生成することを意味する)では、出力ブロック回路の精度(例えば、10ビット)は、推論読み出しに必要とされる精度(例えば、8ビット)より大きい必要がある。例えば、検証精度は、推論精度よりも1ビット以上、例えば、1~5ビット大きい。これは、限定することなく、検証結果分布、データ保持ドリフト、温度又は変動などのために、あるレベルと次のレベルとの間に十分な余裕を確保するために必要である。
加えて、図34、図35A、図35B、及び図36における入力ブロック3409、3410、3510、3520、3607、及び3617並びに出力ブロック3411、3412、3608、3609、3618、及び3619は、出力ブロックに接続されたアレイの数が較正に影響を及ぼすので、較正プロセスのために構成可能である必要がある。較正プロセスの例としては、オフセット、漏れ、製造プロセス、及び温度変化による変化を補償するプロセスが挙げられる。
次のセクションでは、入力ブロック及び出力ブロックが入力ブロック又は出力ブロックに結合されたアレイの数に基づいて構成されることを可能にするための、入力ブロック及び出力ブロックにおいて使用する様々な調整可能な構成要素を開示する。
入力ブロック及び出力ブロックの構成要素
入力ブロック及び出力ブロックの構成要素
図37Aは、積分型二重混合傾斜アナログ-デジタル変換器(ADC)3700を示しており、このADCは、図34及び図36における出力ブロック3411、3412、3608、3609、3618、及び3619などの出力ブロックで使用することができ、出力ニューロン、INEU 3706は、出力ブロックが受け取った、VMMアレイからの出力電流である。積分型二重混合傾斜アナログ-デジタル変換器(ADC)3700は、INEU 3706を一連のデジタル/アナログパルス又はデジタル出力ビットに変換する。図37Bは、図37Aの積分型ADC 3700の動作波形を示す。出力波形3710、3711、及び3714は、1つの電流レベルに対するものである。出力波形3712、3713、及び3715は、別の、より高い電流レベルに対するものである。波形3710及び3712は、出力電流の値に比例するパルス幅を有する。波形3711及び3713は、出力電流の値に比例するパルス数を有する。波形3714及び3715は、出力電流の値に比例するデジタル出力ビットを有する。
一実施形態では、ADC 3700は、INEU 3706(出力ブロックがVMMアレイから受け取ったアナログ出力電流)を、図38に示した例で示されるように、ニューロン出力ブロックにおいてアナログ出力電流の大きさに比例して幅が変化するデジタルパルスに変換する。ADC 3700は、調整可能な基準電流IREF 3707に対してINEU 3706を積分する、積分オペアンプ3701及び調節可能な積分コンデンサ3702から構成される積分器を含む。任意選択的に、IREF 3707は、0の温度係数、又はニューロン電流INEU3706を追跡する温度係数を有するバンドギャップフィルタ含むことができる。後者は、必要に応じて、試験フェーズ中に決定された値を含む基準アレイから得ることができる。初期化フェーズの間、スイッチ3708は閉じられる。次いで、Vout 3703及びオペアンプ3701の負端子への入力は、VREF値に等しくなる。その後、スイッチ3708が開かれ、一定時間trefの間、スイッチS1は閉じられ、ニューロン電流INEU 3706が上方に積分される。一定時間trefの間、Voutは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間tmeasの間、スイッチS1を開き、スイッチS2を閉じることにより、一定基準電流IREFは時間tmeasにわたって下方に積分され(この期間の間、Voutが降下する)、tmeasは、VoutをVREFまで下方に積分するために必要とされる時間である。
出力EC 3705は、VOUT>VREFVのときに高くなり、そうでなければ低くなる。したがって、EC 3705は、期間tmeasを反映した幅のパルスを生成し、その結果、この幅は、電流INEU3706に比例する(図37Bのパルス3710及び3712)。
任意選択的に、出力パルスEC 3705は、別のVMMアレイの入力ブロックなど、次の段の回路への送信のために、均一な期間の一連のパルスに変換することができる。期間tmeasの開始時に、出力EC 3705は、基準クロック3741と共にANDゲート3740に入力される。出力は、VOUT>VREFの期間中、パルス系列3742(パルス系列3742のパルスの周波数はクロック3741の周波数と同じである)になる。パルスの数は、期間tmeasに比例し、期間tmeasは、電流INEU3706に比例する(図37Bの波形3711及び3713)。
任意選択的に、パルス系列3743を、カウンタ3720に入力することができ、カウンタ3720は、パルス系列3742のパルスの数をカウントし、ニューロン電流INEU 3706に正比例するパルス系列3742におけるパルスの数のデジタルカウントであるカウント値3721を生成する。カウント値3721は、デジタルビットのセットを含む(図37Bの波形3714及び3715)。
別の実施形態では、積分型二重傾斜ADC 3700は、ニューロン電流INEU3706をパルスに変換することができ、パルスの幅は、ニューロン電流INEU 3706の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための一連のパルス又はデジタルビットに変換することができる。
調整可能な積分コンデンサ3702及び調節可能な基準電流IREF 3707は、積分型二重混合傾斜アナログ-デジタル変換器(ADC)3700に接続されたアレイの数Nに応じて調整される。例えば、N個のアレイが積分型二重混合傾斜アナログ-デジタル変換器(ADC)3700に接続されている場合、調節可能な積分コンデンサ3702が1/Nで調整されるか、又は調整可能な基準電流IREF 3707がNで調整される。
任意選択的に、VMMアレイ及びADC 3700が動作温度以上である間に較正ステップを実行して、VMMアレイ又は制御回路内に存在する任意の漏れ電流をオフセットすることができ、その後、そのオフセット値を図37AのIneuから差し引くことができる。較正ステップはまた、温度変動に加えて、プロセス変動又は電圧供給変動を補償するために実行することもできる。
出力回路ブロックの動作方法は、最初に、オフセット及び電圧供給変動補償のための較正を実行することを含む。次に、出力変換が実行され(ニューロン電流をパルス又はデジタルビットに変換するなど)、次いで、出力範囲を次のVMMアレイの入力範囲に合わせるためにデータ正規化が行われる。データ正規化は、データ圧縮又は出力データ量子化(ビット数を、例えば、10ビットから8ビットに減らすなど)を含んでもよい。活性化は、出力変換後、又はデータ正規化、圧縮、若しくは量子化後に実行されてよい。較正アルゴリズムの例については、図49、図50A、図50B、及び図51を参照して後述する。
図39は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流-電圧変換器3900を示し、この電圧は、例えば、VMMメモリアレイの(例えば、WL線又はCG線の)入力として印加され得る。したがって、電流-電圧変換器3900は、図34、図35A、図35B、及び図36の入力ブロック3409、3410、3510、3520、3607、及び3617において、それらのブロックが入力として(パルス又はデジタルデータとは対照的に)アナログ電流を受け取っているときに使用することができる。
電流-電圧変換器3900は、オペアンプ3901、調整可能なコンデンサ3902、スイッチ3903、スイッチ3904、及び、ここで、入力ブロックが受け取ったニューロン電流INEUを表す、電流源3905を含む。電流ー電圧動作中、スイッチ3903は開かれ、スイッチ3904は閉じられる。出力Voutは、ニューロン電流INEU 3905の大きさに比例して振幅を増加させる。
図40は、任意選択的に使用して、信号DINとして受け取られたデジタルデータを電圧に変換することができるデジタルデータ-電圧変換器4000を示し、この電圧は、例えば、VMMメモリアレイの(例えば、WL線又はCG線の)入力として印加され得る。スイッチ4002が閉じられると、信号DINのデータ入力は、IREF_u基準電流4001がコンデンサ4003に入り、その端子に電圧を発生させることを可能にする。したがって、デジタルデータ-電圧変換器4000は、図34、図35A、図35B、及び図36の入力ブロック3409、3410、3510、3520、3607、及び3617において、それらのブロックが入力として(パルス又はアナログ電流とは対照的に)デジタルデータを受け取っているときに使用することができる。加えて、デジタルデータ-電圧変換器4000は、スイッチ4002及び4004を開き、スイッチ4005を閉じることにより、信号DINとして入力で受け取ったデジタルデータが、出力OUTに直接流れるように構成することができる。したがって、スイッチ4002、4004及び4005は、出力OUTがコンデンサ4003の電圧を受け取ること、又は信号DINとして受け取ったデジタルデータを直接受け取ることのいずれかを可能にするように構成されている。示されている実施形態では、信号DINはデータパルスとして受け取られる。
デジタルデータ-電圧パルス変換器4000は、調節可能な基準電流4001、スイッチ4002、可変コンデンサ4003、スイッチ4004、及びスイッチ4005を含む。調整可能な基準電流4001及び可変コンデンサ4003は、デジタルデータ-電圧パルス変換器400が取り付けられているアレイのサイズの差を調整するために、異なる値を有するように構成することができる。動作中、デジタルデータは、デジタルデータが高であるときはいつでもスイッチ4002が閉じるように、スイッチ4002を制御する。スイッチが閉じると、調節可能な基準電流4001は可変コンデンサ4003を充電する。スイッチ4004は、アレイの読み出し準備ができているときなど、ノードOUTに出力を提供することが所望されるときはいつでも閉じられる。代替的に、スイッチ4004を開き、スイッチ4005を閉じて、データ入力を出力として通過させることができる。
図41は、アナログニューロン電流をデジタルデータに変換するために任意選択的に使用することができる、構成可能なアナログ-デジタル変換器4100を示す。構成可能なアナログ-デジタル変換器4100は、図34及び図36における出力ブロック3411、3412、3608、3609、3618、及び3619などの出力ブロックで使用することができ、出力ニューロン、INEU 4101は、出力ブロックによって受け取られた出力電流である。
構成可能なアナログ-デジタル変換器4100は、電流源4101、可変抵抗器4102、及びアナログ-デジタル変換器4103を含む。電流INEU 4101は、可変抵抗器4102 Rneuの両端で降下して電圧Vneu=Ineu*Rneuを生じさせる。ADC 4103(限定することなく、積分型ADC、SAR ADC、フラッシュADC、又はシグマデルタ型ADCなど)は、この電圧をデジタルビットに変換する。
図42は、任意選択的に使用して、アナログニューロン電流を電圧に変換することができる構成可能な電流-電圧変換器4200を示し、この電圧は、VMMメモリアレイの(例えば、WL線又はCG線の)入力として印加され得る。したがって、構成可能な電流-電圧変換器4200は、図34、図35A、図35B、及び図36の入力ブロック3409、3410、3510、3520、3607、及び3617において、それらのブロックが入力として(パルス又はデジタルデータとは対照的に)アナログ電流を受け取っているときに使用することができる。構成可能な電流-電圧変換器4200は、調節可能な抵抗器Rin 4202を含んでおり、入力電流Iin 4201(上記の受け取られた入力電流である)を受け取って、Vin 4203(=Iin*Rin)を生成する。
図43A及び図43Bは、入力ブロック、行デコーダ、又は出力ブロック内で使用されるデジタルビット-パルス幅変換器4300を示す。デジタルビット-パルス幅変換器4300から出力されるパルス幅は、デジタルビットの値に比例する。
デジタルビット-パルス幅変換器は、バイナリカウンタ4301を含む。バイナリカウンタ4301の状態Q[N:0]は、ロードシーケンス内のシリアルデータ又はパラレルデータによってロードされ得る。行制御論理4310は、図37の積分型ADCなどのブロックから提供されるデジタルデータ入力の値に比例するパルス幅を有する電圧パルスWLENを出力する。
図43Bは、出力パルス幅の波形を示しており、この幅は、デジタルビット値に比例する。最初に、受け取ったデジタルビット内のデータが反転され、反転されたデジタルビットは、カウンタ4301にシリアル又はパラレルのどちらかでロードされる。次いで、行パルス幅は、最大カウンタ値に達するまで、バイナリ方式でカウントすることによって、波形4320に示されるように行制御論理4310によって生成される。
任意選択的に、パルス系列-パルス変換器を使用して、パルス系列を含む出力をパルス系列のパルス数に比例して幅が変化する単一パルスに変換し、VMMアレイ内のワード線又は制御ゲートに印加されるVMMアレイへの入力として使用することができる。パルス系列-パルス変換器の例は、制御論理を有するバイナリカウンタである。
別の実施形態は、アップバイナリカウンタ及びデジタル比較論理を利用する。すなわち、出力パルス幅は、バイナリカウンタのデジタル出力がデジタル入力ビットと同じになるまで、アップバイナリカウンタを使用してカウントすることによって生成される。
別の実施形態は、ダウンバイナリカウンタを利用する。最初に、ダウンバイナリカウンタは、デジタルデータ入力パターンをシリアル又はパラレルにロードされる。次に、出力パルス幅は、バイナリカウンタのデジタル出力が最小値、すなわち「0」論理状態に達するまでダウンバイナリカウンタをカウントダウンすることによって生成される。
図44Aは、バイナリインデックス化パルス段4401-iを含む、デジタルデータ-パルス行変換器4400を示し、iは0~N(すなわち、最下位ビットLSB~最上位ビットMSB)の範囲である。行変換器4400は、アレイへの行入力を提供するために使用される。各段4401-iは、ラッチ4402-i、スイッチ4403-i、及び行デジタルバイナリインデックス化パルス入力4404-i(RDIN_Ti)を含む。例えば、バイナリインデックス化パルス入力4404-0(RDIN_T0)は、1つの時間単位、すなわち、1*tpls1unitに等しいパルス幅を有する。バイナリインデックス化パルス入力4404-1(RDIN_T1)は、2つの時間単位、すなわち、2*tpls1unitに等しいパルス幅を有する。バイナリインデックス化パルス入力4404-2(RDIN_T2)は、4つの時間単位、すなわち、4*tpls1unitに等しいパルス幅を有する。バイナリインデックス化パルス入力4403-3(RDIN_T3)は、8つの時間単位、すなわち、8*tpls1unitに等しいパルス幅を有する。各行の(ニューロン出力からの)パターンDINiのデジタルデータは、ラッチ4402-iに格納される。ラッチ4402-iの出力Qiが「1」である場合、バイナリインデックス化パルス入力4404-i(RDIN_Ti)は、スイッチ4403-iを介して時間加算変換器ノード4408に転送される。各時間加算変換器ノード4408は、NANDゲート4404のそれぞれの入力に接続されており、NANDゲート4404の出力は、レベルシフティングインバータ4405を介して行変換器の出力WLIN/CGIN 4409を生成する。時間加算変換器ノード4408は、バイナリインデックス化パルス入力4404-iを共通クロッキング信号CLKに応じて時間的に順次加算する。これは、バイナリインデックスパルス入力4404-i(RDIN_Ti)が、例えば、LSBからMSBまで、又はMSBからLSBまで、又は任意のランダムビットパターンで、逐次的に一度に1つのデジタルビットにおいて有効化されるためである。
図44Bは、例示的な波形4420を示す。ここでは、行デジタルバイナリインデックス化パルス入力4404-i、具体的には、4404-0、4404-1、4404-2、及び4404-3のための例示的な信号、並びにWL0及びWL3として標示された、レベルシフティングインバータ4405からの例示的な出力が示され、WL0及びWL3は、行変換器4400の回路から生成される。この例では、WL0は、その行デコーダの行デジタル入力4403-0及び4403-3がアサートされていることによって生成され(WL0:Q0=「1」、Q3=「1」)、WL3は、その行デコーダの行デジタル入力4403-1及び4403-2がアサートされていることによって生成される(WL3:Q1=「1」、Q2=「1」)。行デジタル入力4403-xのいずれもアサートされていない場合、WL0又はWL3にパルスは存在しない(この場合の制御論理は図44Aに示されていない)。デジタル-パルス行変換器4400の他の行からの入力、すなわち、NANDゲート4404への他の入力は、この期間中は高いと想定される。
図44Cは、行デジタルバイナリインデックス化パルス入力4403-i(RDIN_Ti)を生成する、行デジタルパルス生成器4410を示し、パルスの幅は、図44Aに関連して上述したように、デジタルビットのバイナリ値に比例する。
図45Aは、ランプ型アナログ-デジタル変換器4400を示しており、この変換器は、電流源4401(受け取られたニューロン電流Ineuを表す)、スイッチ4402、可変の構成可能なコンデンサ4403、及びコンパレータ4404を含み、このコンパレータは、Vneuで示される、可変の構成可能なコンデンサ4403の両端に発生した電圧を非反転入力として、及び構成可能な基準電圧Vreframpを反転入力として受け取り、出力Coutを生成する。Vreframpは、比較クロックサイクルごとに離散的なレベルで上昇させられる。コンパレータ4404はVneuをVreframpと比較し、結果として、出力Coutは、Vneu>Vreframpのときは「1」となり、そうでなければ「0」となる。したがって、出力Coutはパルスとなり、その幅はIneuに応じて変化する。より大きなIneuは、より長い期間にわたってCoutを「1」にし、結果として出力Coutのパルスの幅が拡大する。デジタルカウンタ4420は、それぞれOT1A及びOT2Aと示される2つの異なるIneu電流について図45Bに示されているように、出力Coutの各パルスをデジタル出力ビットに変換する。あるいは、ランプ電圧Vreframpは、図45Bのグラフ4450に示されるような連続的なランプ電圧4455である。粗-微細ランプ変換アルゴリズムを利用することによって変換時間を短縮するための、マルチランプの実施形態が図45Cに示されている。最初に、各Ineuのサブ範囲を見つけるために、粗基準ランプ基準電圧4471が高速で上昇させられる。次に、微細基準ランプ基準電圧4472、すなわち、Vreframp1及びVreframp2が、対応するサブ範囲内のIneu電流を変換するためにサブ範囲ごとにそれぞれ使用される。図示のように、微細基準ランプ電圧に対して2つのサブ範囲が存在する。3つ以上の粗/微細ステップ又は2つのサブ範囲が可能である。
図52は、図37A及び図45Aのコンパレータ3704及び4404の代わりに任意選択的に使用するコンパレータ5200を示す。コンパレータ5200は、静的コンパレータ(必ずしもクロック信号を利用するとは限らない)であっても、動的コンパレータ(比較クロック信号を利用する)であってもよい。コンパレータ5200は、動的コンパレータである場合、クロックド交差結合インバータコンパレータ、StrongARMコンパレータ、又は他の既知の動的コンパレータを含むことができる。コンパレータ5200は、粗イネーブル5203がアサートされると、粗コンパレータとして動作し、コンパレータ5200は、微細イネーブル5204がアサートされると、微細コンパレータとして動作する。選択信号5206は、粗コンパレータモード若しくは微細イネーブルモードを示すために任意選択的に使用することができ、又は静的コンパレータ若しくは動的コンパレータとして動作するようにコンパレータ5200を構成するために任意選択的に使用することができる。コンパレータ5200が動的コンパレータとして機能する場合、コンパレータ5200はクロック信号5205を受信する。動的コンパレータとして動作しているとき、コンパレータが粗コンパレータであると、比較クロック信号5205は、第1の周波数の第1のクロック信号となり、コンパレータが微細コンパレータであると、クロック信号5205は、第1の周波数より大きい第2の周波数の第2のクロック信号となる。コンパレータ5200は、粗コンパレータとして動作させられると、より低い精度及びより遅い速度を有するが、コンパレータ5200が微細コンパレータとして動作する状況と比較して、より低い電力を使用することになる。したがって、粗比較に使用される動的コンパレータは、低速の比較クロックを利用することができ、一方で、微細比較に使用される動的コンパレータは、変換ランピング期間中に高速の比較クロックを利用することができる。
コンパレータ5200は、図37A及び図45Aにおけるコンパレータ3704及び4404と同様に、基準電圧5202に対してアレイ出力5201を比較し、出力5205を生成する。コンパレータ5200が粗コンパレータとして動作しているとき、基準電圧5202は、オフセット電圧とすることができる。
図37B及び図45B/図45Cに示されるようなデジタル出力ビットを生成する変換期間中、コンパレータ5200は、粗比較期間及び微細比較期間中にそれぞれ粗コンパレータとして及び微細コンパレータとして機能することができる。このデジタル出力ビット変換の開始時に、微細比較期間又はハイブリッドの粗微細比較期間(微細比較に並行して粗比較)が一定期間にわたって実行される。次に、粗比較期間が実行され、次いで最後に微細比較が実行されて、変換を完了させる。
図46は、スイッチ4601、スイッチ4602、サンプルアンドホールド(S/H)回路4603、1ビットアナログ-デジタル変換器(ADC)4604、1ビットデジタル-アナログ変換器(DAC)4605、加算器4606、及び2残差オペアンプ(2xオペアンプ)4607のゲインを含む、アルゴリズム型アナログ-デジタル出力変換器4600を示す。アルゴリズム型アナログ-デジタル出力変換器4600は、アナログ入力Vin、並びにスイッチ4602及び4602に印加された制御信号に応じて、変換デジタル出力4608を生成する。アナログ入力Vin(例えば、図45AのVneu)において受け取られた入力は、最初に、スイッチ4602を介してS/H回路4603によってサンプリングされ、次いで、N個のビットに対してN個のクロックサイクルで変換が実行される。変換クロックサイクルごとに、1ビットADC 4604は、S/H電圧4609を基準電圧(例えば、VREF/2であり、VREFは、N個のビットに対するフルスケール電圧である)と比較し、デジタルビット(例えば、入力<=VREF/2の場合は「0」、入力>VREF/2の場合は「1」)を出力する。デジタル出力信号4608である、このデジタルビットは、次いで、1ビットDAC 4605によってアナログ電圧に(例えば、VREF/2又は0Vのいずれかに)変換され、加算器4606に供給されて、S/H電圧4609から差し引かれる。次いで、2×残差オペアンプ4607は、加算器差分電圧出力を変換残差電圧4610に増幅し、この変換残差電圧は、次のクロックサイクルのためにスイッチ4601を介してS/H回路4603に供給される。ADC 4604及び残差オペアンプ4607からなどのオフセットの影響を低減するために、この1ビット(すなわち、2レベル)アルゴリズム型ADCの代わりに、1.5ビット(すなわち、3レベル)アルゴリズム型ADCを使用することができる。1.5ビットアルゴリズム型ADCには、1.5ビット又は2ビット(すなわち、4レベル)DACが必要とされる。
図47Aは、出力ニューロンを表すセル電流をデジタル出力ビットに変換するために出力ニューロンに適用される逐次比較型(SAR)アナログ-デジタル変換器4700を示す。SAR ADC 4700は、SAR 4701、デジタル-アナログ変換器4702、及びコンパレータ4703を含む。セル電流は、抵抗器の両端で降下して電圧VCELLを生成することができ、この電圧はコンパレータ4703の反転入力に印加される。あるいは、セル電流は、サンプルアンドホールドコンデンサを充電して、電圧VCELL(図45Aに示すようなVneuなど)を生成することができる。次いで、MSBビット(最上位ビット)からLSBビット(最下位ビット)までの各ビットを計算するために、二分探索がSAR 4701によって使用される。SAR 4701からのデジタルビット(DN~D0)に基づいて、適切なアナログ基準電圧をコンパレータ4703に設定するために、DAC 4702が使用される。次いで、コンパレータ4703の出力は、コンパレータ4703に対するアナログ基準電圧の次のアナログレベルを選択するために、SAR 4701にフィードバックされる。図47Bに示すように、4ビットのデジタル出力ビットの例では、4つの評価期間が存在する。第1のパルスは、コンパレータ4703に対するアナログ基準電圧のアナログレベルを範囲の中点に設定することによってDOUT3を評価し、次いで、第2のパルスは、コンパレータ4703に対するアナログ基準電圧のアナログレベルを範囲の中点から範囲の最大点までの中間に、又は範囲の中点から範囲の最小点までの中間に設定することによってDOUT2を評価する。この後に更なるステップが続き、各ステップは、コンパレータ4703に対するアナログ基準電圧レベルを更に細かくする。SAR 4701の連続した出力は、出力デジタルビットである。代替的なSAR ADC回路は、連続した比較のために比率基準レベルを連続的に生成する、1つのみの基準レベル及び局所SC比を有するスイッチドキャパシタ(SC)回路である。
図48は、セル電流4806(ICELL又はIneu)をデジタル出力ビット4807に変換するために出力ニューロンに適用されるシグマデルタ型アナログ-デジタル変換器4800を示す。オペアンプ4801及び構成可能なコンデンサ4805(Cint)を含む積分器は、セル電流4806からの電流と、デジタル出力4807を電流に変換する1ビット電流DAC 4804から得られる構成可能な基準電流との合計を積分する。コンパレータ4802は、コンパレータ4801からの積分出力電圧Vintを基準電圧VREF2と比較し、コンパレータ4802の出力は、クロックドDFF 4803のD入力に供給される。クロックドDFF 4803は、コンパレータ4802の出力に応じてデジタル出力ストリーム4807を提供する。デジタル出力ストリーム4807は、デジタル出力ビット4807として出力される前にデジタルフィルタに供給されてもよい。クロックドDFF 4803のクロック周期は、異なるIneu範囲に対して構成可能である。
次に、較正方法4900、5010 5020、及び5100について、それぞれ、図49、図50A、図50B、及び図51を参照して説明する。方法4900、5010、5020、及び5100は、漏れ及び/又はオフセットを補償する。漏れは、アレイ漏れ及び回路漏れのうちの1つ以上を含むことができる。アレイ漏れは、メモリセル漏れと、デコーディング回路及び列書き込み回路のうちの1つ以上からの漏れとのうちの1つ以上を含むことができる。オフセットは、アレイオフセット及び回路オフセットのうちの1つ以上を含むことができる。アレイオフセットは、メモリセル容量及びセル接合容量のうちの1つ以上に起因するアレイ変動からのオフセットを含むことができる。回路オフセットは、デコーディング回路及び列書き込み回路のうちの1つ以上からのオフセットを含むことができる。
図49は、漏れ及び/又はオフセットを補償するための較正方法4900を示す。漏れ及び/又はオフセット較正ステップが実行される(ステップ4901)。漏れ及び/又はオフセットが測定され、測定された量は、leakage_value及び/又はoffset_valueとして格納される(ステップ4902)。LSBは、次式を用いて決定される:LSB=leakage_value及び/又はoffset_value+deltaLmin。任意選択的に、deltaLMinは、プロセス、温度、ノイズ、又は使用劣化によるレベル間の変動を補償し、かつレベル間の分離が十分であることを確実にする電流値である。deltaLminは、任意選択的に、サンプルデータ特性評価から決定することができる。(ステップ4903)。MSBは、次式を用いて決定される:MSB=LSB+(N-1)*deltaL、式中、Nはレベルの数であり、deltaLは、2つの連続するレベル間の平均差又は理想差に等しいデルタレベル量である。(ステップ4904)。一実施形態では、DeltaLは、LSBに等しい。別の実施形態では、DeltaLは、サンプルデータ特性評価から決定される。DeltaLは、異なる連続するレベルの対に対して均一又は不均一な値を有してもよい。
例えば、6ビットのメモリセルの場合、64レベルの電流が存在し、各レベルは、ニューラルネットワークアプリケーションにおける重みに関連し、N=64である。ベースライン値を作成するために、最小のオフセット電流が、較正中及び測定ステップ中にこのステップで注入されてもよい。
図50A及び図50Bは、リアルタイム較正方法5010及びバックグラウンド較正方法5020のうちの1つ以上を含む、較正方法5000を示す。
リアルタイム較正方法5010では、漏れ及び/又はオフセットを測定することと、測定した値をleakage_value及び/又はoffset_valueとして格納することとを含む、漏れ及び/又はオフセット較正が実行される(ステップ5011)。LSBは、次式を用いて決定される:LSBレベル=leakage_value及び/又はoffset_value+deltaLmin。(ステップ5012)。MSBは、次式を用いて決定される:MSB=LSB+(N-1)*deltaL、式中、Nはレベルの数である(ステップ5013)。図49に関するdeltaLmin及びdeltaLの説明は、図50Aにおいても同様に適用される。数値例は以下のとおりである:漏れ及びオフセット=200pA、deltaLmin=300pA、LSB=500pA、deltaL=400pA、N=16のとき、MSB=500pA+(16-1)*400pA=6500pA。
バックグラウンド較正方法5020では、offset_value及び/又はleakage_value+温度データが、ヒューズ(例えば、オフセット及び/又は漏れ対温度のルックアップテーブル)に格納される(ステップ5021)。これは、バックグラウンド較正ステップにおいて、1回又は周期的に行われる。offset_value及び/又はleakage_value+温度データが呼び出される(ステップ5022)。offset_value及び/又はleakage_valueに対する温度調整が、ルックアップテーブルに従って、又はデバイストランジスタ方程式によって実行される(ステップ5023)。次いで、LSBが、次式を用いて決定される:LSBレベル=offset_value及び/又はleakage_value+deltaLmin(ステップ5024)。MSBは、次式を用いて決定される:MSB=LSB+(N-1)*deltaL(ステップ5025)。図49に関するdeltaLmin及びdeltaLの説明は、図50Bにおいても同様に適用される。温度調整は、ルックアップテーブルによって行うか、又はデバイス方程式(例えば、サブスレッショルド、線形、又は飽和方程式)から外挿することができる。
図51Aは、漏れ及び/又はオフセットの自動相殺を有する較正及び変換方法5100を示す。漏れ及び/又はオフセット較正が実行される(ステップ5101)。漏れ及び/又はオフセットがADC変換などによって測定され、測定されたデジタル出力は、カウンタに格納される(ステップ5102)。ニューロン出力の変換が有効化され、カウンタがゼロに達するまでカウンタのカウントダウンが実行され(これにより、カウンタに最初に格納された漏れ及び/又はオフセットを補償する)、次いで、デジタル出力ビットに対してカウントアップが実行される(ステップ5103)。
図51Bは、漏れ及び/又はオフセットの自動相殺を有する較正及び変換方法5110を示しており、この方法は、方法5100の変形である。漏れ及び/又はオフセット較正が実行される(ステップ5111)。漏れ及び/又はオフセットがADC変換などによって測定され、測定されたデジタル出力は、レジスタに格納される(ステップ5112)。ニューロン出力の変換が有効化され、デジタル出力ビットに対してカウントアップが実行され、次いで、格納したデジタル出力が減算される(ステップ5113)。
本明細書で使用される場合、「の上方に(over)」及び「に(on)」という用語は両方とも、「の上に直接」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「の上に間接的に」(中間材料、要素、又は間隙がそれらの間に配設されている)を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「間接的に隣接した」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「に取り付けられた」は、「に直接取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されていない)、及び「に間接的に取り付けられた」(中間材料、要素、又は間隙がそれらの間に配設されている)を含み、「電気的に結合された」は、「に直接電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない)、及び「に間接的に電気的に結合された」(要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある)を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料/要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に1つ以上の中間材料/要素をそれらの間に伴って形成することを含み得る。
図46は、スイッチ4601、スイッチ4602、サンプルアンドホールド(S/H)回路4603、1ビットアナログ-デジタル変換器(ADC)4604、1ビットデジタル-アナログ変換器(DAC)4605、加算器4606、及び2残差オペアンプ(2xオペアンプ)4607のゲインを含む、アルゴリズム型アナログ-デジタル出力変換器4600を示す。アルゴリズム型アナログ-デジタル出力変換器4600は、アナログ入力Vin、並びにスイッチ4601及び4602に印加された制御信号に応じて、変換デジタル出力4608を生成する。アナログ入力Vin(例えば、図45AのVneu)において受け取られた入力は、最初に、スイッチ4602を介してS/H回路4603によってサンプリングされ、次いで、N個のビットに対してN個のクロックサイクルで変換が実行される。変換クロックサイクルごとに、1ビットADC 4604は、S/H電圧4609を基準電圧(例えば、VREF/2であり、VREFは、N個のビットに対するフルスケール電圧である)と比較し、デジタルビット(例えば、入力<=VREF/2の場合は「0」、入力>VREF/2の場合は「1」)を出力する。デジタル出力信号4608である、このデジタルビットは、次いで、1ビットDAC 4605によってアナログ電圧に(例えば、VREF/2又は0Vのいずれかに)変換され、加算器4606に供給されて、S/H電圧4609から差し引かれる。次いで、2×残差オペアンプ4607は、加算器差分電圧出力を変換残差電圧4610に増幅し、この変換残差電圧は、次のクロックサイクルのためにスイッチ4601を介してS/H回路4603に供給される。ADC 4604及び残差オペアンプ4607からなどのオフセットの影響を低減するために、この1ビット(すなわち、2レベル)アルゴリズム型ADCの代わりに、1.5ビット(すなわち、3レベル)アルゴリズム型ADCを使用することができる。1.5ビットアルゴリズム型ADCには、1.5ビット又は2ビット(すなわち、4レベル)DACが必要とされる。
Claims (63)
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記複数のベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、を備え、
前記入力を受け取る前記アレイは、前記入力に応じて出力を提供する、アナログニューラルメモリシステム。 - 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項1に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項1に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項1に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、複数のベクトル行列乗算アレイのそれぞれは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記複数のベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
前記出力は、受け取られた入力に応じて提供される、アナログニューラルメモリシステム。 - 前記出力ブロックは、
前記N個のベクトル行列乗算アレイから受け取ったアナログ電流を前記出力に変換するためのアナログ-デジタル変換器を含み、前記出力は、一連のデジタルパルスを含む、請求項8に記載のシステム。 - 前記アナログ-デジタル変換器はコンパレータを含む、請求項9に記載のシステム。
- 前記コンパレータは、第1のクロック信号又は第2のクロック信号に応じて動作するように構成することができ、前記第2のクロック信号の周波数は、前記第1のクロック信号の前記周波数より大きい、請求項10に記載のシステム。
- 前記アナログ-デジタル変換器は、積分型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、ランプ型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、アルゴリズム型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、シグマデルタ型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記アナログ-デジタル変換器は、逐次比較型アナログ-デジタル変換器を含む、請求項9に記載のシステム。
- 前記システムは、
前記一連のデジタルパルスを電圧に変換するためのデジタルデータ-電圧変換器を更に備える、請求項9に記載のシステム。 - 前記システムは、
前記アナログ電流をデジタルビットのセットに変換するための積分型アナログ-デジタルデータ変換器を更に備える、請求項9に記載のシステム。 - 前記システムは、
前記デジタルビットのセットを1つ以上のパルスに変換するためのデジタルビット-パルス幅変換器を更に備え、前記1つ以上のパルスの幅は、前記デジタルビットのセットの値に比例する、請求項18に記載のシステム。 - 前記システムは、
前記出力されたアナログ電流を電圧に変換するための電流-電圧変換器を更に備える、請求項9に記載のシステム。 - 前記出力は可変長のパルスである、請求項8に記載のシステム。
- 前記出力は一連の均一なパルスである、請求項8に記載のシステム。
- 前記出力はビットのセットである、請求項8に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項8に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項8に記載のシステム。
- 前記出力ブロックは、温度を補償するために較正を実行する、請求項8に記載のシステム。
- 前記出力ブロックは、プロセス変動又は電圧供給変動を補償するために較正を実行する、請求項8に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
構成可能数Nの前記ベクトル行列乗算アレイに対するプログラミング動作後に検証動作を実行するための出力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備える、アナログニューラルメモリシステム。 - 前記検証動作の精度は推論精度を超える、請求項28に記載のシステム。
- 前記推論は、積分型ADCによって実行される、請求項29に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
第1の構成可能数Nの前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Nは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、
第2の構成可能数Mの前記ベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Mは、1と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
前記出力ブロックは、前記入力に応じて前記出力を生成する、アナログニューラルメモリシステム。 - 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項31に記載のシステム。
- 前記出力はアナログ電流である、請求項31に記載のシステム。
- 前記出力は可変長のパルスである、請求項31に記載のシステム。
- 前記出力は一連の均一なパルスである、請求項31に記載のシステム。
- 前記出力はビットのセットである、請求項31に記載のシステム。
- 前記出力ブロックは、コンパレータを含むアナログ-デジタル変換器を含む、請求項31に記載のシステム。
- 前記コンパレータは、第1のクロック信号又は第2のクロック信号に応じて動作するように構成することができ、前記第2のクロック信号の周波数は、前記第1のクロック信号の前記周波数より大きい、請求項40に記載のシステム。
- 前記コンパレータは、変換中に粗比較期間又は微細比較期間で動作するように構成することができる、請求項40に記載のシステム。
- 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項31に記載のシステム。
- 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項31に記載のシステム。
- 前記出力ブロックは、温度を補償するために較正を実行する、請求項31に記載のシステム。
- 前記出力ブロックは、プロセス変動を補償するために較正を実行する、請求項31に記載のシステム。
- 前記出力ブロックは、電圧供給変動を補償するために較正を実行する、請求項31に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
前記ベクトル行列乗算アレイのうちの1つ以上から出力ニューロン電流を受け取り、ランプ型アナログ-デジタル変換器を使用してデジタル出力ビットを生成することが可能な出力ブロックと、を備える、アナログニューラルメモリシステム。 - 離散的又は連続的なランピング基準電圧を更に備える、請求項48に記載のシステム。
- サンプルアンドホールド回路と、コンパレータと、を更に備え、ランピング基準電圧が前記コンパレータの入力に印加される、請求項48に記載のシステム。
- 前記ランピング基準電圧は、粗電圧ランプ、続いて複数の微細電圧ランプを含む、請求項50に記載のシステム。
- 前記粗電圧ランプは、複数の粗ランピング電圧を含む、請求項51に記載のシステム。
- アナログニューラルメモリシステムであって、
複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
複数のデジタル入力ビットを、前記ベクトル行列乗算アレイのうちの少なくとも1つに対するタイミング入力として、バイナリインデックス化された時間加算信号に変換することが可能な入力ブロックと、を備える、アナログニューラルメモリシステム。 - 前記入力ブロックは、各桁入力ビットに対してバイナリインデックス化パルスを生成する、請求項53に記載のシステム。
- 前記入力ブロックは、各入力デジタルビットに対する記憶ラッチを含む、請求項53に記載のシステム。
- バイナリインデックス化パルスを生成するための生成器を更に備える、請求項53に記載のシステム。
- 前記入力ブロックは行デコーダを含む、請求項53に記載のシステム。
- 前記バイナリインデックス化された時間加算信号は、各行に対するデジタル入力ビットに応じて生成される、請求項53に記載のシステム。
- 前記時間加算は、LSBからMSBまで、又は任意のランダムな順序である、請求項53に記載のシステム。
- 複数のベクトル行列乗算アレイを含むアナログニューラルメモリに対して出力変換を実行する方法であって、各ベクトル行列乗算アレイは不揮発性メモリセルを含み、前記方法は、
前記複数のベクトル行列乗算アレイのうちの1つ以上から出力ニューロン電流を受け取るステップと、
前記出力ニューロン電流及びランプ型アナログ-デジタル変換器を使用してデジタル出力ビットを生成するステップであって、前記変換器は、粗比較モード及び微細比較モードで動作する、ステップと、を含む、方法。 - 前記生成するステップは、動的コンパレータを利用する、請求項60に記載の方法。
- 前記動的コンパレータは、粗比較モード及び前記微細比較モードに関して異なるように構成されている、請求項61に記載の方法。
- 前記動的コンパレータは、粗比較モードのための第1の比較クロック及び前記微細比較モードのための第2の比較クロックを受け取り、前記第2の比較クロックの周波数は、前記第1の比較クロックの前記周波数を超える、請求項62に記載の方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962842279P | 2019-05-02 | 2019-05-02 | |
US62/842,279 | 2019-05-02 | ||
US16/449,201 | 2019-06-21 | ||
US16/449,201 US11507642B2 (en) | 2019-05-02 | 2019-06-21 | Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network |
JP2021564789A JP7308290B2 (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
PCT/US2019/061902 WO2020222868A1 (en) | 2019-05-02 | 2019-11-18 | Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564789A Division JP7308290B2 (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023139013A true JP2023139013A (ja) | 2023-10-03 |
Family
ID=73015948
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564789A Active JP7308290B2 (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
JP2021564790A Pending JP2022531766A (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 |
JP2023109273A Pending JP2023139013A (ja) | 2019-05-02 | 2023-07-03 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021564789A Active JP7308290B2 (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト |
JP2021564790A Pending JP2022531766A (ja) | 2019-05-02 | 2019-11-18 | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11507642B2 (ja) |
EP (2) | EP3963513B1 (ja) |
JP (3) | JP7308290B2 (ja) |
KR (2) | KR20210147032A (ja) |
CN (2) | CN113785360A (ja) |
TW (2) | TWI805909B (ja) |
WO (2) | WO2020222868A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10970630B1 (en) * | 2017-06-15 | 2021-04-06 | National Technology & Engineering Solutions Of Sandia, Llc | Neuromorphic computing architecture with dynamically accessible contexts |
US20210125049A1 (en) * | 2019-10-29 | 2021-04-29 | Taiwan Semiconductor Manufacturing Co., Ltd. | System for executing neural network |
US11600321B2 (en) | 2020-03-05 | 2023-03-07 | Silicon Storage Technology, Inc. | Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network |
US11875852B2 (en) | 2020-07-06 | 2024-01-16 | Silicon Storage Technology, Inc. | Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network |
US20220215239A1 (en) * | 2021-01-01 | 2022-07-07 | Silicon Storage Technology, Inc. | Digital output mechanisms for analog neural memory in a deep learning artificial neural network |
WO2022146468A1 (en) * | 2021-01-01 | 2022-07-07 | Silicon Storage Technology, Inc. | Digital output mechanisms for analog neural memory in a deep learning artificial neural network |
US20220230064A1 (en) * | 2021-01-20 | 2022-07-21 | Mediatek Singapore Pte. Ltd. | Calibration of analog circuits for neural network computing |
US11693560B2 (en) * | 2021-01-22 | 2023-07-04 | Taiwan Semiconductor Manufacturing Company, Ltd. | SRAM-based cell for in-memory computing and hybrid computations/storage memory architecture |
US11720784B2 (en) * | 2021-04-01 | 2023-08-08 | Mythic, Inc. | Systems and methods for enhancing inferential accuracy of an artificial neural network during training on a mixed-signal integrated circuit |
CA3218300A1 (en) | 2021-05-07 | 2022-11-10 | Blumind Inc. | System, method, and computer device for transistor-based neural networks |
TWI769875B (zh) * | 2021-06-24 | 2022-07-01 | 國立中央大學 | 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介 |
US11989440B2 (en) | 2021-08-11 | 2024-05-21 | Silicon Storage Technology, Inc. | Hybrid memory system configurable to store neural memory weight data in analog form or digital form |
JP2023088730A (ja) * | 2021-12-15 | 2023-06-27 | キオクシア株式会社 | 演算システム |
US11756565B2 (en) | 2022-01-25 | 2023-09-12 | Blumind Inc. | Analog systems and methods for audio feature extraction and natural language processing |
Family Cites Families (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6346581A (ja) * | 1986-08-13 | 1988-02-27 | Toshiba Corp | 半導体記憶装置 |
AU633812B2 (en) * | 1988-08-31 | 1993-02-11 | Fujitsu Limited | Neurocomputer |
US5216746A (en) | 1989-02-28 | 1993-06-01 | Fujitsu Limited | Error absorbing system in a neuron computer |
US5029130A (en) | 1990-01-22 | 1991-07-02 | Silicon Storage Technology, Inc. | Single transistor non-valatile electrically alterable semiconductor memory device |
US5298796A (en) | 1992-07-08 | 1994-03-29 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Nonvolatile programmable neural network synaptic array |
JP3561096B2 (ja) * | 1996-09-10 | 2004-09-02 | 株式会社東芝 | 関数学習装置 |
JP3910707B2 (ja) * | 1997-12-01 | 2007-04-25 | 松下電器産業株式会社 | ディジタル信号処理回路 |
KR100370164B1 (ko) * | 2000-12-20 | 2003-01-30 | 주식회사 하이닉스반도체 | 비트라인의 누설전류 보상이 가능한 풀업회로 |
JP2003263624A (ja) * | 2002-03-07 | 2003-09-19 | Matsushita Electric Ind Co Ltd | ニューラル・ネットワーク装置の学習演算回路 |
US6747310B2 (en) | 2002-10-07 | 2004-06-08 | Actrans System Inc. | Flash memory cells with separated self-aligned select and erase gates, and process of fabrication |
JP2005322198A (ja) * | 2004-04-07 | 2005-11-17 | Sony Corp | データ処理装置 |
US7366021B2 (en) * | 2005-05-04 | 2008-04-29 | Micron Technology, Inc. | Method and apparatus for sensing flash memory using delta sigma modulation |
ITTO20070109A1 (it) * | 2007-02-14 | 2008-08-15 | St Microelectronics Srl | Circuito e metodo di lettura per un dispositivo di memoria non volatile basati sulla generazione adattativa di una grandezza elettrica di riferimento |
US7768868B2 (en) | 2007-06-15 | 2010-08-03 | Micron Technology, Inc. | Digital filters for semiconductor devices |
US7755948B2 (en) * | 2008-08-19 | 2010-07-13 | Agere Systems Inc. | Process and temperature tolerant non-volatile memory |
CN102203876B (zh) * | 2008-09-30 | 2015-07-15 | Lsi公司 | 用于存储器器件的软数据生成的方法和装置 |
US7868800B2 (en) * | 2008-10-22 | 2011-01-11 | Industrial Technology Research Institute | Mixed-signal control apparatus of modulation system |
US8473439B2 (en) * | 2010-12-08 | 2013-06-25 | International Business Machines Corporation | Integrate and fire electronic neurons |
TWI530183B (zh) * | 2011-12-08 | 2016-04-11 | Sony Corp | An imaging element, a control method, and an imaging device |
US10217045B2 (en) * | 2012-07-16 | 2019-02-26 | Cornell University | Computation devices and artificial neurons based on nanoelectromechanical systems |
US9164526B2 (en) * | 2012-09-27 | 2015-10-20 | Sandisk Technologies Inc. | Sigma delta over-sampling charge pump analog-to-digital converter |
US8643168B1 (en) * | 2012-10-16 | 2014-02-04 | Lattice Semiconductor Corporation | Integrated circuit package with input capacitance compensation |
US9325321B2 (en) * | 2013-03-13 | 2016-04-26 | Microsemi SoC Corporation | Background auto-refresh apparatus and method for non-volatile memory array |
KR102140787B1 (ko) | 2014-07-07 | 2020-08-03 | 삼성전자주식회사 | 저항성 메모리 장치, 저항성 메모리 시스템 및 저항성 메모리 장치의 동작방법 |
KR20170134444A (ko) * | 2015-04-10 | 2017-12-06 | 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 | 온도 보상 회로 |
US9654132B2 (en) * | 2015-07-08 | 2017-05-16 | Marvell World Trade Ltd. | Hybrid charge-sharing charge-redistribution DAC for successive approximation analog-to-digital converters |
US10748058B2 (en) * | 2015-12-28 | 2020-08-18 | International Business Machines Corporation | LUT based neuron membrane potential update scheme in STDP neuromorphic systems |
US10216703B2 (en) * | 2016-02-08 | 2019-02-26 | Spero Devices, Inc. | Analog co-processor |
CN108701474B (zh) * | 2016-03-18 | 2022-12-30 | 株式会社半导体能源研究所 | 半导体装置及使用该半导体装置的系统 |
KR102182583B1 (ko) | 2016-05-17 | 2020-11-24 | 실리콘 스토리지 테크놀로지 인크 | 비휘발성 메모리 어레이를 사용하는 딥러닝 신경망 분류기 |
US10123143B2 (en) | 2016-09-26 | 2018-11-06 | Cirrus Logic, Inc. | Correction for speaker monitoring |
US11238887B2 (en) * | 2017-01-23 | 2022-02-01 | Dsp Group Ltd. | Interface to leaky spiking neurons |
JP2018133016A (ja) * | 2017-02-17 | 2018-08-23 | 株式会社半導体エネルギー研究所 | ニューラルネットワークシステム |
US10896367B2 (en) | 2017-03-07 | 2021-01-19 | Google Llc | Depth concatenation using a matrix computation unit |
JPWO2018163005A1 (ja) * | 2017-03-10 | 2020-01-23 | 株式会社半導体エネルギー研究所 | タッチパネルシステム、電子機器および半導体装置 |
US10460817B2 (en) | 2017-07-13 | 2019-10-29 | Qualcomm Incorporated | Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors |
EP3432226B1 (en) * | 2017-07-19 | 2023-11-01 | IMEC vzw | Control plane organisation for flexible digital data plane |
JP2019028569A (ja) * | 2017-07-26 | 2019-02-21 | 株式会社東芝 | メモリシステム、半導体記憶装置及び信号処理システム |
KR20190020408A (ko) * | 2017-08-21 | 2019-03-04 | 에스케이하이닉스 주식회사 | 고 선형성의 투-스텝 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서 |
US10580492B2 (en) * | 2017-09-15 | 2020-03-03 | Silicon Storage Technology, Inc. | System and method for implementing configurable convoluted neural networks with flash memories |
US10748630B2 (en) | 2017-11-29 | 2020-08-18 | Silicon Storage Technology, Inc. | High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks |
US10594334B1 (en) * | 2018-04-17 | 2020-03-17 | Ali Tasdighi Far | Mixed-mode multipliers for artificial intelligence |
CN108932548A (zh) * | 2018-05-22 | 2018-12-04 | 中国科学技术大学苏州研究院 | 一种基于fpga的稀疏度神经网络加速系统 |
US10205463B1 (en) | 2018-07-18 | 2019-02-12 | Teledyne Scientific & Imaging, Llc | Dual-gain single-slope ADC with digital CDS |
US10861553B2 (en) * | 2018-09-27 | 2020-12-08 | Taiwan Semiconductor Manufacturing Co., Ltd. | Device-region layout for embedded flash |
US11061646B2 (en) * | 2018-09-28 | 2021-07-13 | Intel Corporation | Compute in memory circuits with multi-Vdd arrays and/or analog multipliers |
CN109658471B (zh) * | 2018-12-20 | 2023-07-25 | 上海联影医疗科技股份有限公司 | 一种医学图像重建方法和系统 |
EP3909155B1 (en) * | 2019-01-11 | 2023-11-29 | Apple Inc. | Method for measurement of ue-to-ue reference signal in new radio networks with cross-link interference |
US10756748B1 (en) * | 2019-04-26 | 2020-08-25 | Xilinx, Inc. | Capacitor-enhanced comparator for switched-capacitor (SC) circuits with reduced kickback |
US11562249B2 (en) * | 2019-05-01 | 2023-01-24 | International Business Machines Corporation | DNN training with asymmetric RPU devices |
-
2019
- 2019-06-21 US US16/449,201 patent/US11507642B2/en active Active
- 2019-06-21 US US16/449,205 patent/US20200349422A1/en active Pending
- 2019-11-18 CN CN201980095990.2A patent/CN113785360A/zh active Pending
- 2019-11-18 JP JP2021564789A patent/JP7308290B2/ja active Active
- 2019-11-18 EP EP19817533.3A patent/EP3963513B1/en active Active
- 2019-11-18 JP JP2021564790A patent/JP2022531766A/ja active Pending
- 2019-11-18 KR KR1020217035908A patent/KR20210147032A/ko not_active Application Discontinuation
- 2019-11-18 KR KR1020217035930A patent/KR102657705B1/ko active IP Right Grant
- 2019-11-18 WO PCT/US2019/061902 patent/WO2020222868A1/en unknown
- 2019-11-18 EP EP19821455.3A patent/EP3963587A1/en active Pending
- 2019-11-18 WO PCT/US2019/062073 patent/WO2020222869A1/en unknown
- 2019-11-18 CN CN201980095991.7A patent/CN113785311A/zh active Pending
-
2020
- 2020-03-24 TW TW109109710A patent/TWI805909B/zh active
- 2020-03-24 TW TW109109709A patent/TWI805908B/zh active
-
2023
- 2023-07-03 JP JP2023109273A patent/JP2023139013A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN113785311A (zh) | 2021-12-10 |
US20200349422A1 (en) | 2020-11-05 |
JP7308290B2 (ja) | 2023-07-13 |
JP2022539486A (ja) | 2022-09-12 |
WO2020222868A1 (en) | 2020-11-05 |
JP2022531766A (ja) | 2022-07-11 |
EP3963513A1 (en) | 2022-03-09 |
TW202044123A (zh) | 2020-12-01 |
KR20210147032A (ko) | 2021-12-06 |
WO2020222869A1 (en) | 2020-11-05 |
TW202042233A (zh) | 2020-11-16 |
EP3963513B1 (en) | 2024-04-17 |
KR102657705B1 (ko) | 2024-04-15 |
CN113785360A (zh) | 2021-12-10 |
TWI805909B (zh) | 2023-06-21 |
EP3963587A1 (en) | 2022-03-09 |
TWI805908B (zh) | 2023-06-21 |
US11507642B2 (en) | 2022-11-22 |
US20200349421A1 (en) | 2020-11-05 |
KR20210145809A (ko) | 2021-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308290B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト | |
JP7346579B2 (ja) | 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム | |
JP7385657B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整 | |
JP7340694B2 (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整 | |
JP7340101B2 (ja) | 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置 | |
KR20230110360A (ko) | 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를위한 디지털 출력 메케니즘 | |
KR20230158570A (ko) | 딥 러닝 인공 신경망에서의 아날로그 뉴럴 메모리를 위한 출력 회로 | |
WO2022245384A1 (en) | Output circuit for analog neural memory in a deep learning artificial neural network | |
JP2024504003A (ja) | 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230728 |