JP2022539486A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト - Google Patents

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト Download PDF

Info

Publication number
JP2022539486A
JP2022539486A JP2021564789A JP2021564789A JP2022539486A JP 2022539486 A JP2022539486 A JP 2022539486A JP 2021564789 A JP2021564789 A JP 2021564789A JP 2021564789 A JP2021564789 A JP 2021564789A JP 2022539486 A JP2022539486 A JP 2022539486A
Authority
JP
Japan
Prior art keywords
output
input
analog
arrays
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564789A
Other languages
English (en)
Other versions
JP7308290B2 (ja
Inventor
バン トラン、ヒュー
トリン、ステファン
ブー、サン
ホン、スタンレー
ティワリ、ビピン
レイテン、マーク
ドー、ナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2022539486A publication Critical patent/JP2022539486A/ja
Priority to JP2023109273A priority Critical patent/JP2023139013A/ja
Application granted granted Critical
Publication of JP7308290B2 publication Critical patent/JP7308290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/02—Detection or location of defective auxiliary circuits, e.g. defective refresh counters
    • G11C29/028—Detection or location of defective auxiliary circuits, e.g. defective refresh counters with adaption or trimming of parameters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/44—Indication or identification of errors, e.g. for repair
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C2029/4402—Internal storage of test result, quality data, chip identification, repair information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G11C2029/5006—Current
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)
  • Analogue/Digital Conversion (AREA)
  • Image Processing (AREA)

Abstract

不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウトを開示する。入力ブロックは、水平方向に配置された異なる数のアレイをサポートするように構成することができ、出力ブロックは、垂直方向に配置された異なる数のアレイをサポートするように構成することができる。構成可能な入力ブロック及び出力ブロックで使用する調整可能な構成要素を開示する。【選択図】図８

Description

（優先権の主張）
本出願は、２０１９年５月２日に出願された「ＣＯＮＦＩＧＵＲＡＢＬＥ ＩＮＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＯＵＴＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＰＨＹＳＩＣＡＬ ＬＡＹＯＵＴ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」と題する米国特許仮出願第６２／８４２，２７９号、及び２０１９年６月２１日に出願された「ＣＯＮＦＩＧＵＲＡＢＬＥ ＩＮＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＯＵＴＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＰＨＹＳＩＣＡＬ ＬＡＹＯＵＴ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」と題する米国特許出願第１６／４４９，２０１号の優先権を主張する。
（発明の分野）
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用ＧＰＵ（グラフィックプロセッシングユニット）クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信して、それらから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗算して第１の複数の出力を生成するように構成される。
アナログニューラルメモリシステムに使用される各不揮発性メモリセルは、非常に特異的かつ正確な電荷量、すなわち電子の数を浮遊ゲート内に保持するよう、消去及びプログラムされなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
ベクトル行列乗算（ＶＭＭ）システムにおける１つの課題は、ＶＭＭからの出力を別のＶＭＭへの入力として迅速かつ正確に送達する能力であり、半導体ダイ内の物理的空間を効率的に利用しながらそれを行うことである。
必要とされるのは、不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウトである。
不揮発性メモリセルを利用するアナログニューラルメモリシステムのための構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトを開示する。
アナログニューラルメモリシステムの一実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Ｎの複数の前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、を備え、前記入力を受け取る前記アレイは、前記入力に応じて出力を提供する。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、複数のベクトル行列乗算アレイのそれぞれは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Ｎの前記複数のベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、前記出力は、受け取られた入力に応じて提供される。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、構成可能数Ｎの前記ベクトル行列乗算アレイに対するプログラミング動作後に検証動作を実行するための出力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備える。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、第１の構成可能数Ｎの前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、第２の構成可能数Ｍの前記ベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Ｍは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、前記出力ブロックは、前記入力に応じて前記出力を生成する。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、前記ベクトル行列乗算アレイのうちの１つ以上から出力ニューロン電流を受け取り、ランプ型アナログ－デジタル変換器を使用してデジタル出力ビットを生成することが可能な出力ブロックと、を備える。
アナログニューラルメモリシステムの別の実施形態は、複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、複数のデジタル入力ビットを、前記ベクトル行列乗算アレイのうちの少なくとも１つに対するタイミング入力として、バイナリインデックス化された時間加算信号に変換することが可能な入力ブロックと、を備える。
各ベクトル行列乗算アレイは不揮発性メモリセルを含む、複数のベクトル行列乗算アレイを含むアナログニューラルメモリに対して出力変換を実行する方法の実施形態は、前記複数のベクトル行列乗算アレイのうちの１つ以上から出力ニューロン電流を受け取るステップと、前記出力ニューロン電流及びランプ型アナログ－デジタル変換器を使用してデジタル出力ビットを生成するステップであって、前記変換器は、粗比較モード及び微細比較モードで動作する、ステップと、を含む。
先行技術の人工ニューラルネットワークを示す図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 先行技術の積層ゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。 ベクトル行列乗算システムを示すブロック図である。 １つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 先行技術の長・短期記憶システムを示す。 長・短期記憶システムで使用する例示的なセルを示す。 図１７の例示的なセルの一実施形態を示す。 図１７の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。 図２１の例示的なセルの一実施形態を示す。 図２１の例示的なセルの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの例示的なブロック図を示す。 ベクトル行列乗算システムの例示的なブロック図を示し、垂直に隣接するアレイは、出力ブロックを共有する。 ベクトル行列乗算システムの例示的なブロック図を示し、水平に隣接するアレイは、入力ブロックを共有する。 ベクトル行列乗算システムの例示的なブロック図を示し、水平に隣接するアレイは、入力ブロックを共有する。 ベクトル行列乗算システムの例示的なブロック図を示す。 積分型アナログ－デジタル変換器の一実施形態を示す。 図３７Ａのシステムのための例示的な出力波形を示す。 図３７Ａの積分型アナログ－デジタル変換器に提供することができる例示的な入力を示す。 電流－電圧変換器の一実施形態を示す。 デジタルデータ－電圧変換器を示す。 構成可能なアナログ－デジタル変換器を示す。 構成可能な電流－電圧入力回路を示す。 デジタル－パルス行変換器を示す。 図４３Ａのデジタル－パルス行変換器の例示的な波形を示す。 デジタル－パルス行変換器を示す。 図４４Ａのデジタル－パルス行変換器の例示的な波形を示す。 図４４Ａのデジタル－パルス行変換器と共に使用する行デジタルパルス生成器を示す。 ランプ型アナログ－デジタル変換器出力変換器を示す。 図４５Ａのランプ型アナログ－デジタル変換器出力変換器で使用する例示的な基準電圧を示す。 図４５Ａのランプ型アナログ－デジタル変換器出力変換器で使用する例示的な基準電圧を示す。 アルゴリズム型アナログ－デジタル変換器出力変換器４６００を示す。 ＳＡＲ ＡＤＣを示す。 図４７ＡのＳＡＲ ＡＤＣ用のデジタル出力ビットを生成するためのアルゴリズムを示す。 シグマデルタ型アナログ－デジタル変換器を示す。 較正方法を示す。 リアルタイム較正方法を示す。 バックグラウンド較正方法を示す。 較正及び変換方法を示す。 別の較正及び変換方法を示す。 図３７Ａ～図３７Ｂ及び図４５Ａ～図４５Ｃの実施形態と共に任意選択的に使用するコンパレータを示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、上に向かって浮遊ゲート２０の上方にかけて延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検出される。
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
Figure 2022539486000002
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図３は、制御ゲート（control gate、ＣＧ）２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
Figure 2022539486000003
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ２８を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線２２を正電圧にバイアスし、制御ゲート２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲートを有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
Figure 2022539486000004
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル７１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４ 図７のフラッシュメモリセル７１０の動作
Figure 2022539486000005
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイにおいて、ソース線は、メモリセルの１つの行に又はメモリセルの２つの隣接する行に結合することができる。すなわち、ソース線は、メモリセルの隣接する行によって共有され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
図９は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算（ＶＭＭ）システム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを含むアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。あるいは、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、ＶＭＭシステム３２によって使用される重みを格納する。第２に、ＶＭＭアレイ３３は、ＶＭＭアレイ３３に格納された重みによって、入力を有効に乗算して、それらを出力線（ソース線又はビット線）ごとに加算して、出力を生成し、この出力は次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み及び負の重みの総和を実行するように配置される。
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルス－アナログ変換器ＰＡＣが、パルスを適切な入力アナログレベルに変換するために必要とされ得る）又はデジタルビット（この場合、ＤＡＣが、デジタルビットを適切な入力アナログレベルに変換するために提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力ＡＤＣが、出力アナログレベルをデジタルビットに変換するために提供される）。
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
入力ＶＭＭシステム３２ａによって生成された出力は、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次いで、そのＶＭＭシステムが、次のＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成し、以降も同様に続く。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（ＣＮＮ）のシナプス及びニューロンの様々な層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリシステムの重なり合う部分を利用することができる。各ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。更に、異なる層は、２レベルのメモリセル（「０」及び「１」の２つのレベルのみであることを意味する）を含むｎビットのメモリセルの異なる組み合わせ（異なるセルは複数の異なるレベルをサポートする）を使用することができる。
ＶＭＭアレイ
図１１は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。あるいは、別の基準アレイが底部に位置することができる。
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力はソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVt
式中、Ｖｇはメモリセルへのゲート電圧であり、Ｖｔｈはメモリセルのスレッショルド電圧であり、Ｖｔは熱電圧＝ｋ*Ｔ／ｑであり（式中、ｋはボルツマン定数、Ｔはケルビン単位での温度、ｑは電子電荷である）、ｎは傾斜係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり（式中、Ｃｄｅｐ＝空乏層の静電容量、Ｃｏｘはゲート酸化物層の静電容量である）、Ｉｏはスレッショルド電圧に等しいゲート電圧でのメモリセル電流である。Ｉｏは（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動度であり、Ｗｔ及びＬは、それぞれ、メモリセルの幅及び長さである。
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち、
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝ｂｅｔａ*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ、ｂｅｔａ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ、
式中、Ｗｔ及びＬは、トランジスタのそれぞれの幅及び長さである。
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）、
すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*ｂｅｔａ*（Ｖｇｓ－Ｖｔｈ）2、ｂｅｔａ＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2、すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
あるいは、本明細書に記載されるＶＭＭアレイのフラッシュメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに格納する。第２に、メモリアレイ１２０３は、メモリアレイ１２０３に格納された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、フローティング、すなわち、電圧が印加されていないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５ 図１２のＶＭＭアレイ１２００の動作
Figure 2022539486000006
図１３は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ１１００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
Figure 2022539486000007
図１４は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１４００によって使用される重みを格納する。第２に、メモリアレイ１４０３は、メモリセルアレイに格納された重みによって、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲートＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に供給する）を有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
Figure 2022539486000008
図１５は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルはそれぞれ、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
Figure 2022539486000009
図２４は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２４００を示す。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．ＢＬNにそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ生成される。
図２５は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3にそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２６は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMにそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２７は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMにそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNに生成される。
図２８は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
図２９は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）、及び２９０１－Ｎのゲートにそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、各ソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線端子に結合されている。
図３２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、各ビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線端子に結合されている。
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
図１７は、図１６のセル１６０１、１６０２、１６０３及び１６０４に使用可能なＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算器デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
図１８は、ＬＳＴＭセル１７００の一実装例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算器デバイス１７０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式、又はアナログ方式で実装され得る。
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算器デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、シグモイド関数ブロック１９０２から出力される値ｉ（ｔ）を格納するレジスタ１９０７と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を格納するレジスタ１９０４と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｉ（ｔ）*ｕ（ｔ）を格納するレジスタ１９０５と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を格納する、レジスタ１９０６と、マルチプレクサ１９０９と、を含む。
ＬＳＴＭセル１８００が複数のＶＭＭアレイ１８０１とそれぞれの活性化関数ブロック１８０２のセットを複数含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用されるＶＭＭアレイ１９０１と活性化関数ブロック１９０２のセットを１つのみ含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３及び２００４を含む。セル２００１は入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
図２１は、図２０のセル２００１、２００２、２００３及び２００４に使用可能なＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を備え、各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの構成要素に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための複数の乗算器デバイス２１０４、２１０５及び２１０６と、２つのベクトルを加算するための加算器デバイス２１０７と、１から入力を減算して出力を生成するコンプリメンタリデバイス２１０８とを含む。
図２２は、ＧＲＵセル２１００の一実装例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は各々、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。乗算器デバイス２１０４、２１０５、２１０６、加算器デバイス２１０７、及びコンプリメンタリデバイス２１０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式、又はアナログ方式で実装され得る。
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の実装の別の例）を図２３に示す。図２３において、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算器デバイス２３０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２３０９と、マルチプレクサ２３０４と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ２３０６と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ２３０７と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ＾（ｔ）*（１－ｚ（（ｔ））を保持するレジスタ２３０８と、を含む。
ＧＲＵセル２２００がＶＭＭアレイ２２０１と活性化関数ブロック２２０２のセットを複数含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用されるＶＭＭアレイ２３０１と活性化関数ブロック２３０２のセット１つのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２２００よりも必要とするスペースが少ない。
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
ＶＭＭアレイ内の各メモリセルに関して、各重みＷは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
ＶＭＭアレイ用の構成可能な入出力システム
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭシステム３３００は、ＶＭＭアレイ３３０１（ＶＭＭアレイ１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００ ３１００、及び３２００又は他のＶＭＭアレイ設計など、前述のＶＭＭアレイ設計のいずれかに基づくことができる）、低電圧行デコーダ３３０２、高電圧行デコーダ３３０３、列デコーダ３３０４、列ドライバ３３０５、制御論理３３０６、バイアス回路３３０７、ニューロン出力回路ブロック３３０８、入力ＶＭＭ回路ブロック３３０９、アルゴリズムコントローラ３３１０、高電圧生成器ブロック３３１１、アナログ回路ブロック３３１５、及び制御論理３３１６を含む。
入力回路ブロック３３０９は、外部入力からメモリアレイ３３０１の入力端子へのインターフェースとして機能する。入力回路ブロック３３０９は、限定することなく、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器）、ＡＰＣ（アナログ－パルス変換器）、ＩＶＣ（電流－電圧変換器）、ＡＡＣ（電圧－電圧スケーラなどのアナログ－アナログ変換器）、又はＦＡＣ（周波数－アナログ変換器）を含むことができる。ニューロン出力ブロック３３０８は、メモリアレイ出力から外部インターフェース（図示せず）へのインターフェースとして機能する。ニューロン出力ブロック３３０８は、限定することなく、ＡＤＣ（アナログ－デジタル変換器）、ＡＰＣ（アナログ－パルス変換器）、ＤＰＣ（デジタル－パルス変換器）、ＩＶＣ（電流－電圧変換器）、又はＩＦＣ（電流－周波数変換器）を含むことができる。ニューロン出力ブロック３３０８は、限定することなく、活性化関数、正規化回路、及び／又は再スケーリング回路を含んでもよい。
図３４はＶＭＭシステム３４００を示しており、このシステムは、ＶＭＭアレイ３４０１、３４０２、３４０３、及び３４０４、高電圧行デコーダ３４０５及び３４０６、低電圧行デコーダ３４０７及び３４０８、入力ブロック３４０９及び３４１０（それぞれ図３３の入力ブロック３３０９と同様である）、並びに出力ブロック３４１１及び３４１２を含む。この構成では、ＶＭＭアレイ３４０１及び３４０３は、ビット線のセット、及び出力ブロック３４１１を共有し、ＶＭＭアレイ３４０２及び３４０４は、ビット線のセット、及び出力ブロック３４１２を共有する。ＶＭＭアレイ３４０１及び３４０３は、同時に読み出すことができ（これにより、効果的に組み合わされて単一のより大きいアレイになり得る）、又は異なる時間に読み出すことができる。出力ブロック３４１１及び３４１２（図３３の出力ブロック３３０８と同様である）は、一度に１つのアレイからの読み出し動作（アレイ３４０１又は３４０３のみからの読み出しなど）又は一度に複数のアレイからの読み出し動作（アレイ３４０１及び３４０３の両方からの読み出しなど）を処理することができるように構成可能である。
図３５ＡはＶＭＭシステム３５００を示しており、このシステムは、ＶＭＭアレイ３５０３、３５０４、及び３５０５、共有グローバル高電圧行デコーダ３５０６、ローカル高電圧行デコーダ３５０７及び３５０８、共有低電圧行デコーダ３５０９、並びに入力ブロック３５１０を含む。この構成では、ＶＭＭアレイ３５０３、３５０４、及び３５０５は入力ブロック３５１０を共有する。ＶＭＭアレイ３５０３、３５０４、及び３５０５は、入力ブロック３５１０を介して入力（例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線における電圧又はパルス）を同時に受け取ることができ（これにより、効果的に組み合わされて単一のより大きいＶＭＭアレイになる）、又は入力ブロック３５１０を介して入力を異なる時間に受け取ることができる（これにより、同じ入力ブロックを有する３つの別個のＶＭＭアレイとして効果的に動作する）。入力ブロック３５１０は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
図３５ＢはＶＭＭシステム３５５０を示しており、このシステムは、ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４、グローバル高電圧デコーダ３５１５、ローカル高電圧行デコーダ３５１６、３５１７、及び３５１８、共有低電圧行デコーダ３５１９、並びに入力ブロック３５２０を含む。この構成では、ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４は入力ブロック３５２０を共有する。ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４は、入力ブロック３５２０を介して入力（例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線における電圧又はパルス）を同時に受け取ることができ（これにより、効果的に組み合わされて単一のより大きいアレイになる）、又は入力ブロック３５２０を介して入力を異なる時間に受け取ることができる（これにより、同じ入力ブロック３５２０を有する３つの別個のＶＭＭアレイとして効果的に動作する）。入力ブロック３５２０は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。例えば、図３５Ａの入力ブロック３５１０は、３つのアレイに入力を提供するように構成されており、入力ブロック３５２０は、４つのアレイに対して入力を提供するように構成されている。
図３６はＶＭＭシステム３６００を示しており、このシステムは、水平セット３６０１及び水平セット３６１１を含む。水平セット３６０１は、ＶＭＭアレイ３６０２及び３６０３、共有グローバル高電圧行デコーダ３６０４、ローカル高電圧行デコーダ３６０５、共有低電圧行デコーダ３６０６、並びに入力ブロック３６０７を含む。ＶＭＭアレイ３６０２及び３６０３は、入力ブロック３６０７を共有する。入力ブロック３６０７は、一度に１つのアレイ又は一度に複数のアレイに入力を提供することができるように構成可能である。
水平セット３６１１は、ＶＭＭアレイ３６１２及び３６１３、共有グローバル高電圧デコーダ３６１４、ローカル高電圧行デコーダ３６１５、共有低電圧行デコーダ３６１６、並びに入力ブロック３６１７を含む。ＶＭＭアレイ３６１２及び３６１３は、入力ブロック３６１７を共有する。入力ブロック３６１７は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
第１の構成では、水平セット３６０１は出力ブロック３６０８及び３６０９を利用し、水平セット３６１１は出力ブロック３６１８及び３６１９を利用する。出力ブロック３６０８、３６０９、３６１８、及び３６１９は、出力として電流、デジタルパルス、又はデジタルビットを出力することができる。デジタルビットが出力される一実施形態では、出力ブロック３６０８、３６０９、３６１８、及び３６１９はそれぞれ、８個のデジタル出力ビットを出力する。
第２の構成では、出力ブロック３６０８及び３６０９は無効化され、ＶＭＭアレイ３６０２及び３６１２は出力ブロック３６１８を共有し、ＶＭＭアレイ３６０３及び３６１３は出力ブロック３６１９を共有する。ＶＭＭアレイ３６０２及び３６１２は、同時に読み出すことができ、これにより、効果的に組み合わされて単一のより大きい垂直のアレイになり得（すなわち、ビット線当たりの行数が増える）、又はそれらは、異なる時間に読み出すことができる。ＶＭＭアレイ３６０２及び３６１２が同時に読み出される場合、各出力ブロックが、１つのアレイのみに結合されているときに８ビットの範囲の値を出力する一実施形態では、出力ブロック３６０８及び３６０９はそれぞれ、９ビットの範囲の値を出力する。これは、２つのアレイを単一の大きいアレイとして使用することによって倍増した出力ニューロンのダイナミックレンジに起因する。この場合、次のアレイが８ビットのダイナミックレンジしか必要としなければ、出力は再スケーリング又は正規化する（例えば、９ビットから８ビットにスケールダウンする）必要があり得る。別の実施形態では、出力ビットの数は、垂直アレイの数を増加させるときに同じに維持することができる。
同様に、ＶＭＭアレイ３６０３及び３６１３は、同時に読み出すことができ（これにより、効果的に組み合わされて単一のより大きいアレイになる）、又は異なる時間に読み出すことができる。出力ブロック３６１８及び３６１９は、一度に１つのアレイから、又は一度に複数のアレイからの読み出し動作を処理することができるように構成可能である。
ＶＭＭシステム３４００、３５００、３５５０、及び３６００では、システムが、各入力ブロック及び／又は出力ブロックと共に異なる数のアレイを利用するように構成可能である場合、入力ブロック又は出力ブロック自体も構成可能でなければならない。例えば、ＶＭＭシステム３６００では、出力ブロック３６０８、３６０９、３６１２、及び３６１９がそれぞれ、単一のアレイに結合されたときに８ビットの出力を出力する場合、出力ブロック３６１８及び３６１９はそれぞれ、２つのアレイ（例えば、それぞれ、アレイ３６０２及び３６１２、及びアレイ３６０３及び３６０９）に結合されたときに、９ビットの出力を出力するように構成される必要がある。次いで、それらの出力が別のＶＭＭシステムの入力ブロックに提供される場合、入力ブロックが９ビットの入力ではなく８ビットの入力を期待しているならば、出力は最初に正規化する必要がある。Ｎビットの値をＭビットの値に変換するための多数のアナログ及びデジタル技術が知られている。前述の例では、Ｎは９となり、Ｍは８となるが、当業者であれば、Ｎ及びＭが任意の正の整数となり得ることを理解するであろう。
ＶＭＭシステム３４００、３５００、３５５０、及び３６００において、追加のアレイを入力ブロック及び出力ブロックに結合することができる。例えば、ＶＭＭシステム３４００では、３つ以上のアレイを入力ブロック３４０９に結合することができ、３つ以上のアレイを入力ブロック３４１０に結合することができ、ＶＭＭシステム３５００では、４つ以上のアレイを入力ブロック３５１０に結合することができ、ＶＭＭシステム３５５０では、５つ以上のアレイを入力ブロック３５２０に結合することができ、ＶＭＭシステム３６００では、３つ以上のアレイを入力ブロック３６０７に結合することができ、３つ以上のアレイを入力ブロック３６１７に結合することができ、３つ以上のアレイを出力ブロック３６１８に結合することができ、３つ以上のアレイを出力ブロック３６１９に結合することができる。それらの状況では、関連する入力ブロック及び出力ブロックは、追加のアレイに適応するように更に構成される必要がある。
ＶＭＭシステム３４００の出力ブロック３４１１及び３４１２、並びに出力ブロック３６１８及び３６１９は、プログラミング動作後の検証動作のために構成可能である必要があり、検証動作は、出力ブロックに接続されたアレイの数の影響を受ける。更に、プログラム／消去検証（調整するために使用され、メモリの浮遊ゲートに特定の電荷を生成して所望のセル電流を生成することを意味する）では、出力ブロック回路の精度（例えば、１０ビット）は、推論読み出しに必要とされる精度（例えば、８ビット）より大きい必要がある。例えば、検証精度は、推論精度よりも１ビット以上、例えば、１～５ビット大きい。これは、限定することなく、検証結果分布、データ保持ドリフト、温度又は変動などのために、あるレベルと次のレベルとの間に十分な余裕を確保するために必要である。
加えて、図３４、図３５Ａ、図３５Ｂ、及び図３６における入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７並びに出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９は、出力ブロックに接続されたアレイの数が較正に影響を及ぼすので、較正プロセスのために構成可能である必要がある。較正プロセスの例としては、オフセット、漏れ、製造プロセス、及び温度変化による変化を補償するプロセスが挙げられる。
次のセクションでは、入力ブロック及び出力ブロックが入力ブロック又は出力ブロックに結合されたアレイの数に基づいて構成されることを可能にするための、入力ブロック及び出力ブロックにおいて使用する様々な調整可能な構成要素を開示する。
入力ブロック及び出力ブロックの構成要素
図３７Ａは、積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００を示しており、このＡＤＣは、図３４及び図３６における出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９などの出力ブロックで使用することができ、出力ニューロン、ＩNEU ３７０６は、出力ブロックが受け取った、ＶＭＭアレイからの出力電流である。積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００は、ＩNEU ３７０６を一連のデジタル／アナログパルス又はデジタル出力ビットに変換する。図３７Ｂは、図３７Ａの積分型ＡＤＣ ３７００の動作波形を示す。出力波形３７１０、３７１１、及び３７１４は、１つの電流レベルに対するものである。出力波形３７１２、３７１３、及び３７１５は、別の、より高い電流レベルに対するものである。波形３７１０及び３７１２は、出力電流の値に比例するパルス幅を有する。波形３７１１及び３７１３は、出力電流の値に比例するパルス数を有する。波形３７１４及び３７１５は、出力電流の値に比例するデジタル出力ビットを有する。
一実施形態では、ＡＤＣ ３７００は、ＩNEU ３７０６（出力ブロックがＶＭＭアレイから受け取ったアナログ出力電流）を、図３８に示した例で示されるように、ニューロン出力ブロックにおいてアナログ出力電流の大きさに比例して幅が変化するデジタルパルスに変換する。ＡＤＣ ３７００は、調整可能な基準電流ＩＲＥＦ ３７０７に対してＩNEU ３７０６を積分する、積分オペアンプ３７０１及び調節可能な積分コンデンサ３７０２から構成される積分器を含む。任意選択的に、ＩＲＥＦ ３７０７は、０の温度係数、又はニューロン電流ＩNEU３７０６を追跡する温度係数を有するバンドギャップフィルタ含むことができる。後者は、必要に応じて、試験フェーズ中に決定された値を含む基準アレイから得ることができる。初期化フェーズの間、スイッチ３７０８は閉じられる。次いで、Ｖｏｕｔ ３７０３及びオペアンプ３７０１の負端子への入力は、ＶＲＥＦ値に等しくなる。その後、スイッチ３７０８が開かれ、一定時間ｔｒｅｆの間、スイッチＳ１は閉じられ、ニューロン電流ＩNEU ３７０６が上方に積分される。一定時間ｔｒｅｆの間、Ｖｏｕｔは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間ｔｍｅａｓの間、スイッチＳ１を開き、スイッチＳ２を閉じることにより、一定基準電流ＩＲＥＦは時間ｔｍｅａｓにわたって下方に積分され（この期間の間、Ｖｏｕｔが降下する）、ｔｍｅａｓは、ＶｏｕｔをＶＲＥＦまで下方に積分するために必要とされる時間である。
出力ＥＣ ３７０５は、ＶＯＵＴ＞ＶＲＥＦＶのときに高くなり、そうでなければ低くなる。したがって、ＥＣ ３７０５は、期間ｔｍｅａｓを反映した幅のパルスを生成し、その結果、この幅は、電流ＩNEU３７０６に比例する（図３７Ｂのパルス３７１０及び３７１２）。
任意選択的に、出力パルスＥＣ ３７０５は、別のＶＭＭアレイの入力ブロックなど、次の段の回路への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力ＥＣ ３７０５は、基準クロック３７４１と共にＡＮＤゲート３７４０に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３７４２（パルス系列３７４２のパルスの周波数はクロック３７４１の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３７０６に比例する（図３７Ｂの波形３７１１及び３７１３）。
任意選択的に、パルス系列３７４３を、カウンタ３７２０に入力することができ、カウンタ３７２０は、パルス系列３７４２のパルスの数をカウントし、ニューロン電流ＩNEU ３７０６に正比例するパルス系列３７４２におけるパルスの数のデジタルカウントであるカウント値３７２１を生成する。カウント値３７２１は、デジタルビットのセットを含む（図３７Ｂの波形３７１４及び３７１５）。
別の実施形態では、積分型二重傾斜ＡＤＣ ３７００は、ニューロン電流ＩNEU３７０６をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU ３７０６の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための一連のパルス又はデジタルビットに変換することができる。
調整可能な積分コンデンサ３７０２及び調節可能な基準電流ＩＲＥＦ ３７０７は、積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００に接続されたアレイの数Ｎに応じて調整される。例えば、Ｎ個のアレイが積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００に接続されている場合、調節可能な積分コンデンサ３７０２が１／Ｎで調整されるか、又は調整可能な基準電流ＩＲＥＦ ３７０７がＮで調整される。
任意選択的に、ＶＭＭアレイ及びＡＤＣ ３７００が動作温度以上である間に較正ステップを実行して、ＶＭＭアレイ又は制御回路内に存在する任意の漏れ電流をオフセットすることができ、その後、そのオフセット値を図３７ＡのＩｎｅｕから差し引くことができる。較正ステップはまた、温度変動に加えて、プロセス変動又は電圧供給変動を補償するために実行することもできる。
出力回路ブロックの動作方法は、最初に、オフセット及び電圧供給変動補償のための較正を実行することを含む。次に、出力変換が実行され（ニューロン電流をパルス又はデジタルビットに変換するなど）、次いで、出力範囲を次のＶＭＭアレイの入力範囲に合わせるためにデータ正規化が行われる。データ正規化は、データ圧縮又は出力データ量子化（ビット数を、例えば、１０ビットから８ビットに減らすなど）を含んでもよい。活性化は、出力変換後、又はデータ正規化、圧縮、若しくは量子化後に実行されてよい。較正アルゴリズムの例については、図４９、図５０Ａ、図５０Ｂ、及び図５１を参照して後述する。
図３９は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３９００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。したがって、電流－電圧変換器３９００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７において、それらのブロックが入力として（パルス又はデジタルデータとは対照的に）アナログ電流を受け取っているときに使用することができる。
電流－電圧変換器３９００は、オペアンプ３９０１、調整可能なコンデンサ３９０２、スイッチ３９０３、スイッチ３９０４、及び、ここで、入力ブロックが受け取ったニューロン電流ＩＮＥＵを表す、電流源３９０５を含む。電流ー電圧動作中、スイッチ３９０３は開かれ、スイッチ３９０４は閉じられる。出力Ｖｏｕｔは、ニューロン電流ＩＮＥＵ ３９０５の大きさに比例して振幅を増加させる。
図４０は、任意選択的に使用して、信号ＤＩＮとして受け取られたデジタルデータを電圧に変換することができるデジタルデータ－電圧変換器４０００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。スイッチ４００２が閉じられると、信号ＤＩＮのデータ入力は、ＩＲＥＦ＿ｕ基準電流４００１がコンデンサ４００３に入り、その端子に電圧を発生させることを可能にする。したがって、デジタルデータ－電圧変換器４０００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７において、それらのブロックが入力として（パルス又はアナログ電流とは対照的に）デジタルデータを受け取っているときに使用することができる。加えて、デジタルデータ－電圧変換器４０００は、スイッチ４００２及び４００４を開き、スイッチ４００５を閉じることにより、信号ＤＩＮとして入力で受け取ったデジタルデータが、出力ＯＵＴに直接流れるように構成することができる。したがって、スイッチ４００２、４００４及び４００５は、出力ＯＵＴがコンデンサ４００３の電圧を受け取ること、又は信号ＤＩＮとして受け取ったデジタルデータを直接受け取ることのいずれかを可能にするように構成されている。示されている実施形態では、信号ＤＩＮはデータパルスとして受け取られる。
デジタルデータ－電圧パルス変換器４０００は、調節可能な基準電流４００１、スイッチ４００２、可変コンデンサ４００３、スイッチ４００４、及びスイッチ４００５を含む。調整可能な基準電流４００１及び可変コンデンサ４００３は、デジタルデータ－電圧パルス変換器４００が取り付けられているアレイのサイズの差を調整するために、異なる値を有するように構成することができる。動作中、デジタルデータは、デジタルデータが高であるときはいつでもスイッチ４００２が閉じるように、スイッチ４００２を制御する。スイッチが閉じると、調節可能な基準電流４００１は可変コンデンサ４００３を充電する。スイッチ４００４は、アレイの読み出し準備ができているときなど、ノードＯＵＴに出力を提供することが所望されるときはいつでも閉じられる。代替的に、スイッチ４００４を開き、スイッチ４００５を閉じて、データ入力を出力として通過させることができる。
図４１は、アナログニューロン電流をデジタルデータに変換するために任意選択的に使用することができる、構成可能なアナログ－デジタル変換器４１００を示す。構成可能なアナログ－デジタル変換器４１００は、図３４及び図３６における出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９などの出力ブロックで使用することができ、出力ニューロン、ＩNEU ４１０１は、出力ブロックによって受け取られた出力電流である。
構成可能なアナログ－デジタル変換器４１００は、電流源４１０１、可変抵抗器４１０２、及びアナログ－デジタル変換器４１０３を含む。電流ＩＮＥＵ ４１０１は、可変抵抗器４１０２ Ｒｎｅｕの両端で降下して電圧Ｖｎｅｕ＝Ｉｎｅｕ*Ｒｎｅｕを生じさせる。ＡＤＣ ４１０３（限定することなく、積分型ＡＤＣ、ＳＡＲ ＡＤＣ、フラッシュＡＤＣ、又はシグマデルタ型ＡＤＣなど）は、この電圧をデジタルビットに変換する。
図４２は、任意選択的に使用して、アナログニューロン電流を電圧に変換することができる構成可能な電流－電圧変換器４２００を示し、この電圧は、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。したがって、構成可能な電流－電圧変換器４２００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７において、それらのブロックが入力として（パルス又はデジタルデータとは対照的に）アナログ電流を受け取っているときに使用することができる。構成可能な電流－電圧変換器４２００は、調節可能な抵抗器Ｒｉｎ ４２０２を含んでおり、入力電流Ｉｉｎ ４２０１（上記の受け取られた入力電流である）を受け取って、Ｖｉｎ ４２０３（＝Ｉｉｎ*Ｒｉｎ）を生成する。
図４３Ａ及び図４３Ｂは、入力ブロック、行デコーダ、又は出力ブロック内で使用されるデジタルビット－パルス幅変換器４３００を示す。デジタルビット－パルス幅変換器４３００から出力されるパルス幅は、デジタルビットの値に比例する。
デジタルビット－パルス幅変換器は、バイナリカウンタ４３０１を含む。バイナリカウンタ４３０１の状態Ｑ［Ｎ：０］は、ロードシーケンス内のシリアルデータ又はパラレルデータによってロードされ得る。行制御論理４３１０は、図３７の積分型ＡＤＣなどのブロックから提供されるデジタルデータ入力の値に比例するパルス幅を有する電圧パルスＷＬＥＮを出力する。
図４３Ｂは、出力パルス幅の波形を示しており、この幅は、デジタルビット値に比例する。最初に、受け取ったデジタルビット内のデータが反転され、反転されたデジタルビットは、カウンタ４３０１にシリアル又はパラレルのどちらかでロードされる。次いで、行パルス幅は、最大カウンタ値に達するまで、バイナリ方式でカウントすることによって、波形４３２０に示されるように行制御論理４３１０によって生成される。
ＤＩＮに４ビットの値を使用した例を表９に示す。
表９：出力パルス幅へのデジタル入力ビット
Figure 2022539486000010
任意選択的に、パルス系列－パルス変換器を使用して、パルス系列を含む出力をパルス系列のパルス数に比例して幅が変化する単一パルスに変換し、ＶＭＭアレイ内のワード線又は制御ゲートに印加されるＶＭＭアレイへの入力として使用することができる。パルス系列－パルス変換器の例は、制御論理を有するバイナリカウンタである。
別の実施形態は、アップバイナリカウンタ及びデジタル比較論理を利用する。すなわち、出力パルス幅は、バイナリカウンタのデジタル出力がデジタル入力ビットと同じになるまで、アップバイナリカウンタを使用してカウントすることによって生成される。
別の実施形態は、ダウンバイナリカウンタを利用する。最初に、ダウンバイナリカウンタは、デジタルデータ入力パターンをシリアル又はパラレルにロードされる。次に、出力パルス幅は、バイナリカウンタのデジタル出力が最小値、すなわち「０」論理状態に達するまでダウンバイナリカウンタをカウントダウンすることによって生成される。
図４４Ａは、バイナリインデックス化パルス段４４０１－ｉを含む、デジタルデータ－パルス行変換器４４００を示し、ｉは０～Ｎ（すなわち、最下位ビットＬＳＢ～最上位ビットＭＳＢ）の範囲である。行変換器４４００は、アレイへの行入力を提供するために使用される。各段４４０１－ｉは、ラッチ４４０２－ｉ、スイッチ４４０３－ｉ、及び行デジタルバイナリインデックス化パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）を含む。例えば、バイナリインデックス化パルス入力４４０４－０（ＲＤＩＮ＿Ｔ０）は、１つの時間単位、すなわち、１*ｔｐｌｓ１ｕｎｉｔに等しいパルス幅を有する。バイナリインデックス化パルス入力４４０４－１（ＲＤＩＮ＿Ｔ１）は、２つの時間単位、すなわち、２*ｔｐｌｓ１ｕｎｉｔに等しいパルス幅を有する。バイナリインデックス化パルス入力４４０４－２（ＲＤＩＮ＿Ｔ２）は、４つの時間単位、すなわち、４*ｔｐｌｓ１ｕｎｉｔに等しいパルス幅を有する。バイナリインデックス化パルス入力４４０３－３（ＲＤＩＮ＿Ｔ３）は、８つの時間単位、すなわち、８*ｔｐｌｓ１ｕｎｉｔに等しいパルス幅を有する。各行の（ニューロン出力からの）パターンＤＩＮｉのデジタルデータは、ラッチ４４０２－ｉに格納される。ラッチ４４０２－ｉの出力Ｑｉが「１」である場合、バイナリインデックス化パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）は、スイッチ４４０３－ｉを介して時間加算変換器ノード４４０８に転送される。各時間加算変換器ノード４４０８は、ＮＡＮＤゲート４４０４のそれぞれの入力に接続されており、ＮＡＮＤゲート４４０４の出力は、レベルシフティングインバータ４４０５を介して行変換器の出力ＷＬＩＮ／ＣＧＩＮ ４４０９を生成する。時間加算変換器ノード４４０８は、バイナリインデックス化パルス入力４４０４－ｉを共通クロッキング信号ＣＬＫに応じて時間的に順次加算する。これは、バイナリインデックスパルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）が、例えば、ＬＳＢからＭＳＢまで、又はＭＳＢからＬＳＢまで、又は任意のランダムビットパターンで、逐次的に一度に１つのデジタルビットにおいて有効化されるためである。
図４４Ｂは、例示的な波形４４２０を示す。ここでは、行デジタルバイナリインデックス化パルス入力４４０４－ｉ、具体的には、４４０４－０、４４０４－１、４４０４－２、及び４４０４－３のための例示的な信号、並びにＷＬ０及びＷＬ３として標示された、レベルシフティングインバータ４４０５からの例示的な出力が示され、ＷＬ０及びＷＬ３は、行変換器４４００の回路から生成される。この例では、ＷＬ０は、その行デコーダの行デジタル入力４４０３－０及び４４０３－３がアサートされていることによって生成され（ＷＬ０：Ｑ０＝「１」、Ｑ３＝「１」）、ＷＬ３は、その行デコーダの行デジタル入力４４０３－１及び４４０３－２がアサートされていることによって生成される（ＷＬ３：Ｑ１＝「１」、Ｑ２＝「１」）。行デジタル入力４４０３－ｘのいずれもアサートされていない場合、ＷＬ０又はＷＬ３にパルスは存在しない（この場合の制御論理は図４４Ａに示されていない）。デジタル－パルス行変換器４４００の他の行からの入力、すなわち、ＮＡＮＤゲート４４０４への他の入力は、この期間中は高いと想定される。
図４４Ｃは、行デジタルバイナリインデックス化パルス入力４４０３－ｉ（ＲＤＩＮ＿Ｔｉ）を生成する、行デジタルパルス生成器４４１０を示し、パルスの幅は、図４４Ａに関連して上述したように、デジタルビットのバイナリ値に比例する。
図４５Ａは、ランプ型アナログ－デジタル変換器４４００を示しており、この変換器は、電流源４４０１（受け取られたニューロン電流Ｉｎｅｕを表す）、スイッチ４４０２、可変の構成可能なコンデンサ４４０３、及びコンパレータ４４０４を含み、このコンパレータは、Ｖｎｅｕで示される、可変の構成可能なコンデンサ４４０３の両端に発生した電圧を非反転入力として、及び構成可能な基準電圧Ｖｒｅｆｒａｍｐを反転入力として受け取り、出力Ｃｏｕｔを生成する。Ｖｒｅｆｒａｍｐは、比較クロックサイクルごとに離散的なレベルで上昇させられる。コンパレータ４４０４はＶｎｅｕをＶｒｅｆｒａｍｐと比較し、結果として、出力Ｃｏｕｔは、Ｖｎｅｕ＞Ｖｒｅｆｒａｍｐのときは「１」となり、そうでなければ「０」となる。したがって、出力Ｃｏｕｔはパルスとなり、その幅はＩｎｅｕに応じて変化する。より大きなＩｎｅｕは、より長い期間にわたってＣｏｕｔを「１」にし、結果として出力Ｃｏｕｔのパルスの幅が拡大する。デジタルカウンタ４４２０は、それぞれＯＴ１Ａ及びＯＴ２Ａと示される２つの異なるＩｎｅｕ電流について図４５Ｂに示されているように、出力Ｃｏｕｔの各パルスをデジタル出力ビットに変換する。あるいは、ランプ電圧Ｖｒｅｆｒａｍｐは、図４５Ｂのグラフ４４５０に示されるような連続的なランプ電圧４４５５である。粗－微細ランプ変換アルゴリズムを利用することによって変換時間を短縮するための、マルチランプの実施形態が図４５Ｃに示されている。最初に、各Ｉｎｅｕのサブ範囲を見つけるために、粗基準ランプ基準電圧４４７１が高速で上昇させられる。次に、微細基準ランプ基準電圧４４７２、すなわち、Ｖｒｅｆｒａｍｐ１及びＶｒｅｆｒａｍｐ２が、対応するサブ範囲内のＩｎｅｕ電流を変換するためにサブ範囲ごとにそれぞれ使用される。図示のように、微細基準ランプ電圧に対して２つのサブ範囲が存在する。３つ以上の粗／微細ステップ又は２つのサブ範囲が可能である。
図５２は、図３７Ａ及び図４５Ａのコンパレータ３７０４及び４４０４の代わりに任意選択的に使用するコンパレータ５２００を示す。コンパレータ５２００は、静的コンパレータ（必ずしもクロック信号を利用するとは限らない）であっても、動的コンパレータ（比較クロック信号を利用する）であってもよい。コンパレータ５２００は、動的コンパレータである場合、クロックド交差結合インバータコンパレータ、ＳｔｒｏｎｇＡＲＭコンパレータ、又は他の既知の動的コンパレータを含むことができる。コンパレータ５２００は、粗イネーブル５２０３がアサートされると、粗コンパレータとして動作し、コンパレータ５２００は、微細イネーブル５２０４がアサートされると、微細コンパレータとして動作する。選択信号５２０６は、粗コンパレータモード若しくは微細イネーブルモードを示すために任意選択的に使用することができ、又は静的コンパレータ若しくは動的コンパレータとして動作するようにコンパレータ５２００を構成するために任意選択的に使用することができる。コンパレータ５２００が動的コンパレータとして機能する場合、コンパレータ５２００はクロック信号５２０５を受信する。動的コンパレータとして動作しているとき、コンパレータが粗コンパレータであると、比較クロック信号５２０５は、第１の周波数の第１のクロック信号となり、コンパレータが微細コンパレータであると、クロック信号５２０５は、第１の周波数より大きい第２の周波数の第２のクロック信号となる。コンパレータ５２００は、粗コンパレータとして動作させられると、より低い精度及びより遅い速度を有するが、コンパレータ５２００が微細コンパレータとして動作する状況と比較して、より低い電力を使用することになる。したがって、粗比較に使用される動的コンパレータは、低速の比較クロックを利用することができ、一方で、微細比較に使用される動的コンパレータは、変換ランピング期間中に高速の比較クロックを利用することができる。
コンパレータ５２００は、図３７Ａ及び図４５Ａにおけるコンパレータ３７０４及び４４０４と同様に、基準電圧５２０２に対してアレイ出力５２０１を比較し、出力５２０５を生成する。コンパレータ５２００が粗コンパレータとして動作しているとき、基準電圧５２０２は、オフセット電圧とすることができる。
図３７Ｂ及び図４５Ｂ／図４５Ｃに示されるようなデジタル出力ビットを生成する変換期間中、コンパレータ５２００は、粗比較期間及び微細比較期間中にそれぞれ粗コンパレータとして及び微細コンパレータとして機能することができる。このデジタル出力ビット変換の開始時に、微細比較期間又はハイブリッドの粗微細比較期間（微細比較に並行して粗比較）が一定期間にわたって実行される。次に、粗比較期間が実行され、次いで最後に微細比較が実行されて、変換を完了させる。
図４６は、スイッチ４６０１、スイッチ４６０２、サンプルアンドホールド（Ｓ／Ｈ）回路４６０３、１ビットアナログ－デジタル変換器（ＡＤＣ）４６０４、１ビットデジタル－アナログ変換器（ＤＡＣ）４６０５、加算器４６０６、及び２残差オペアンプ（２ｘオペアンプ）４６０７のゲインを含む、アルゴリズム型アナログ－デジタル出力変換器４６００を示す。アルゴリズム型アナログ－デジタル出力変換器４６００は、アナログ入力Ｖｉｎ、並びにスイッチ４６０２及び４６０２に印加された制御信号に応じて、変換デジタル出力４６０８を生成する。アナログ入力Ｖｉｎ（例えば、図４５ＡのＶｎｅｕ）において受け取られた入力は、最初に、スイッチ４６０２を介してＳ／Ｈ回路４６０３によってサンプリングされ、次いで、Ｎ個のビットに対してＮ個のクロックサイクルで変換が実行される。変換クロックサイクルごとに、１ビットＡＤＣ ４６０４は、Ｓ／Ｈ電圧４６０９を基準電圧（例えば、ＶＲＥＦ／２であり、ＶＲＥＦは、Ｎ個のビットに対するフルスケール電圧である）と比較し、デジタルビット（例えば、入力＜＝ＶＲＥＦ／２の場合は「０」、入力＞ＶＲＥＦ／２の場合は「１」）を出力する。デジタル出力信号４６０８である、このデジタルビットは、次いで、１ビットＤＡＣ ４６０５によってアナログ電圧に（例えば、ＶＲＥＦ／２又は０Ｖのいずれかに）変換され、加算器４６０６に供給されて、Ｓ／Ｈ電圧４６０９から差し引かれる。次いで、２×残差オペアンプ４６０７は、加算器差分電圧出力を変換残差電圧４６１０に増幅し、この変換残差電圧は、次のクロックサイクルのためにスイッチ４６０１を介してＳ／Ｈ回路４６０３に供給される。ＡＤＣ ４６０４及び残差オペアンプ４６０７からなどのオフセットの影響を低減するために、この１ビット（すなわち、２レベル）アルゴリズム型ＡＤＣの代わりに、１．５ビット（すなわち、３レベル）アルゴリズム型ＡＤＣを使用することができる。１．５ビットアルゴリズム型ＡＤＣには、１．５ビット又は２ビット（すなわち、４レベル）ＤＡＣが必要とされる。
図４７Ａは、出力ニューロンを表すセル電流をデジタル出力ビットに変換するために出力ニューロンに適用される逐次比較型（ＳＡＲ）アナログ－デジタル変換器４７００を示す。ＳＡＲ ＡＤＣ ４７００は、ＳＡＲ ４７０１、デジタル－アナログ変換器４７０２、及びコンパレータ４７０３を含む。セル電流は、抵抗器の両端で降下して電圧ＶＣＥＬＬを生成することができ、この電圧はコンパレータ４７０３の反転入力に印加される。あるいは、セル電流は、サンプルアンドホールドコンデンサを充電して、電圧ＶＣＥＬＬ（図４５Ａに示すようなＶｎｅｕなど）を生成することができる。次いで、ＭＳＢビット（最上位ビット）からＬＳＢビット（最下位ビット）までの各ビットを計算するために、二分探索がＳＡＲ ４７０１によって使用される。ＳＡＲ ４７０１からのデジタルビット（ＤＮ～Ｄ０）に基づいて、適切なアナログ基準電圧をコンパレータ４７０３に設定するために、ＤＡＣ ４７０２が使用される。次いで、コンパレータ４７０３の出力は、コンパレータ４７０３に対するアナログ基準電圧の次のアナログレベルを選択するために、ＳＡＲ ４７０１にフィードバックされる。図４７Ｂに示すように、４ビットのデジタル出力ビットの例では、４つの評価期間が存在する。第１のパルスは、コンパレータ４７０３に対するアナログ基準電圧のアナログレベルを範囲の中点に設定することによってＤＯＵＴ３を評価し、次いで、第２のパルスは、コンパレータ４７０３に対するアナログ基準電圧のアナログレベルを範囲の中点から範囲の最大点までの中間に、又は範囲の中点から範囲の最小点までの中間に設定することによってＤＯＵＴ２を評価する。この後に更なるステップが続き、各ステップは、コンパレータ４７０３に対するアナログ基準電圧レベルを更に細かくする。ＳＡＲ ４７０１の連続した出力は、出力デジタルビットである。代替的なＳＡＲ ＡＤＣ回路は、連続した比較のために比率基準レベルを連続的に生成する、１つのみの基準レベル及び局所ＳＣ比を有するスイッチドキャパシタ（ＳＣ）回路である。
図４８は、セル電流４８０６（ＩＣＥＬＬ又はＩｎｅｕ）をデジタル出力ビット４８０７に変換するために出力ニューロンに適用されるシグマデルタ型アナログ－デジタル変換器４８００を示す。オペアンプ４８０１及び構成可能なコンデンサ４８０５（Ｃｉｎｔ）を含む積分器は、セル電流４８０６からの電流と、デジタル出力４８０７を電流に変換する１ビット電流ＤＡＣ ４８０４から得られる構成可能な基準電流との合計を積分する。コンパレータ４８０２は、コンパレータ４８０１からの積分出力電圧Ｖｉｎｔを基準電圧ＶＲＥＦ２と比較し、コンパレータ４８０２の出力は、クロックドＤＦＦ ４８０３のＤ入力に供給される。クロックドＤＦＦ ４８０３は、コンパレータ４８０２の出力に応じてデジタル出力ストリーム４８０７を提供する。デジタル出力ストリーム４８０７は、デジタル出力ビット４８０７として出力される前にデジタルフィルタに供給されてもよい。クロックドＤＦＦ ４８０３のクロック周期は、異なるＩｎｅｕ範囲に対して構成可能である。
次に、較正方法４９００、５０１０ ５０２０、及び５１００について、それぞれ、図４９、図５０Ａ、図５０Ｂ、及び図５１を参照して説明する。方法４９００、５０１０、５０２０、及び５１００は、漏れ及び／又はオフセットを補償する。漏れは、アレイ漏れ及び回路漏れのうちの１つ以上を含むことができる。アレイ漏れは、メモリセル漏れと、デコーディング回路及び列書き込み回路のうちの１つ以上からの漏れとのうちの１つ以上を含むことができる。オフセットは、アレイオフセット及び回路オフセットのうちの１つ以上を含むことができる。アレイオフセットは、メモリセル容量及びセル接合容量のうちの１つ以上に起因するアレイ変動からのオフセットを含むことができる。回路オフセットは、デコーディング回路及び列書き込み回路のうちの１つ以上からのオフセットを含むことができる。
図４９は、漏れ及び／又はオフセットを補償するための較正方法４９００を示す。漏れ及び／又はオフセット較正ステップが実行される（ステップ４９０１）。漏れ及び／又はオフセットが測定され、測定された量は、ｌｅａｋａｇｅ＿ｖａｌｕｅ及び／又はｏｆｆｓｅｔ＿ｖａｌｕｅとして格納される（ステップ４９０２）。ＬＳＢは、次式を用いて決定される：ＬＳＢ＝ｌｅａｋａｇｅ＿ｖａｌｕｅ及び／又はｏｆｆｓｅｔ＿ｖａｌｕｅ＋ｄｅｌｔａＬｍｉｎ。任意選択的に、ｄｅｌｔａＬＭｉｎは、プロセス、温度、ノイズ、又は使用劣化によるレベル間の変動を補償し、かつレベル間の分離が十分であることを確実にする電流値である。ｄｅｌｔａＬｍｉｎは、任意選択的に、サンプルデータ特性評価から決定することができる。（ステップ４９０３）。ＭＳＢは、次式を用いて決定される：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*ｄｅｌｔａＬ、式中、Ｎはレベルの数であり、ｄｅｌｔａＬは、２つの連続するレベル間の平均差又は理想差に等しいデルタレベル量である。（ステップ４９０４）。一実施形態では、ＤｅｌｔａＬは、ＬＳＢに等しい。別の実施形態では、ＤｅｌｔａＬは、サンプルデータ特性評価から決定される。ＤｅｌｔａＬは、異なる連続するレベルの対に対して均一又は不均一な値を有してもよい。
例えば、６ビットのメモリセルの場合、６４レベルの電流が存在し、各レベルは、ニューラルネットワークアプリケーションにおける重みに関連し、Ｎ＝６４である。ベースライン値を作成するために、最小のオフセット電流が、較正中及び測定ステップ中にこのステップで注入されてもよい。
表１０に、４ビットセルの例示的な値を示す。
表１０：４ビットセル（１６レベル）の例示的なレベル：
Figure 2022539486000011
図５０Ａ及び図５０Ｂは、リアルタイム較正方法５０１０及びバックグラウンド較正方法５０２０のうちの１つ以上を含む、較正方法５０００を示す。
リアルタイム較正方法５０１０では、漏れ及び／又はオフセットを測定することと、測定した値をｌｅａｋａｇｅ＿ｖａｌｕｅ及び／又はｏｆｆｓｅｔ＿ｖａｌｕｅとして格納することとを含む、漏れ及び／又はオフセット較正が実行される（ステップ５０１１）。ＬＳＢは、次式を用いて決定される：ＬＳＢレベル＝ｌｅａｋａｇｅ＿ｖａｌｕｅ及び／又はｏｆｆｓｅｔ＿ｖａｌｕｅ＋ｄｅｌｔａＬｍｉｎ。（ステップ５０１２）。ＭＳＢは、次式を用いて決定される：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*ｄｅｌｔａＬ、式中、Ｎはレベルの数である（ステップ５０１３）。図４９に関するｄｅｌｔａＬｍｉｎ及びｄｅｌｔａＬの説明は、図５０Ａにおいても同様に適用される。数値例は以下のとおりである：漏れ及びオフセット＝２００ｐＡ、ｄｅｌｔａＬｍｉｎ＝３００ｐＡ、ＬＳＢ＝５００ｐＡ、ｄｅｌｔａＬ＝４００ｐＡ、Ｎ＝１６のとき、ＭＳＢ＝５００ｐＡ＋（１６－１）*４００ｐＡ＝６５００ｐＡ。
バックグラウンド較正方法５０２０では、ｏｆｆｓｅｔ＿ｖａｌｕｅ及び／又はｌｅａｋａｇｅ＿ｖａｌｕｅ＋温度データが、ヒューズ（例えば、オフセット及び／又は漏れ対温度のルックアップテーブル）に格納される（ステップ５０２１）。これは、バックグラウンド較正ステップにおいて、１回又は周期的に行われる。ｏｆｆｓｅｔ＿ｖａｌｕｅ及び／又はｌｅａｋａｇｅ＿ｖａｌｕｅ＋温度データが呼び出される（ステップ５０２２）。ｏｆｆｓｅｔ＿ｖａｌｕｅ及び／又はｌｅａｋａｇｅ＿ｖａｌｕｅに対する温度調整が、ルックアップテーブルに従って、又はデバイストランジスタ方程式によって実行される（ステップ５０２３）。次いで、ＬＳＢが、次式を用いて決定される：ＬＳＢレベル＝ｏｆｆｓｅｔ＿ｖａｌｕｅ及び／又はｌｅａｋａｇｅ＿ｖａｌｕｅ＋ｄｅｌｔａＬｍｉｎ（ステップ５０２４）。ＭＳＢは、次式を用いて決定される：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*ｄｅｌｔａＬ（ステップ５０２５）。図４９に関するｄｅｌｔａＬｍｉｎ及びｄｅｌｔａＬの説明は、図５０Ｂにおいても同様に適用される。温度調整は、ルックアップテーブルによって行うか、又はデバイス方程式（例えば、サブスレッショルド、線形、又は飽和方程式）から外挿することができる。
図５１Ａは、漏れ及び／又はオフセットの自動相殺を有する較正及び変換方法５１００を示す。漏れ及び／又はオフセット較正が実行される（ステップ５１０１）。漏れ及び／又はオフセットがＡＤＣ変換などによって測定され、測定されたデジタル出力は、カウンタに格納される（ステップ５１０２）。ニューロン出力の変換が有効化され、カウンタがゼロに達するまでカウンタのカウントダウンが実行され（これにより、カウンタに最初に格納された漏れ及び／又はオフセットを補償する）、次いで、デジタル出力ビットに対してカウントアップが実行される（ステップ５１０３）。
図５１Ｂは、漏れ及び／又はオフセットの自動相殺を有する較正及び変換方法５１１０を示しており、この方法は、方法５１００の変形である。漏れ及び／又はオフセット較正が実行される（ステップ５１１１）。漏れ及び／又はオフセットがＡＤＣ変換などによって測定され、測定されたデジタル出力は、レジスタに格納される（ステップ５１１２）。ニューロン出力の変換が有効化され、デジタル出力ビットに対してカウントアップが実行され、次いで、格納したデジタル出力が減算される（ステップ５１１３）。
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
図４６は、スイッチ４６０１、スイッチ４６０２、サンプルアンドホールド（Ｓ／Ｈ）回路４６０３、１ビットアナログ－デジタル変換器（ＡＤＣ）４６０４、１ビットデジタル－アナログ変換器（ＤＡＣ）４６０５、加算器４６０６、及び２残差オペアンプ（２ｘオペアンプ）４６０７のゲインを含む、アルゴリズム型アナログ－デジタル出力変換器４６００を示す。アルゴリズム型アナログ－デジタル出力変換器４６００は、アナログ入力Ｖｉｎ、並びにスイッチ４６０１及び４６０２に印加された制御信号に応じて、変換デジタル出力４６０８を生成する。アナログ入力Ｖｉｎ（例えば、図４５ＡのＶｎｅｕ）において受け取られた入力は、最初に、スイッチ４６０２を介してＳ／Ｈ回路４６０３によってサンプリングされ、次いで、Ｎ個のビットに対してＮ個のクロックサイクルで変換が実行される。変換クロックサイクルごとに、１ビットＡＤＣ ４６０４は、Ｓ／Ｈ電圧４６０９を基準電圧（例えば、ＶＲＥＦ／２であり、ＶＲＥＦは、Ｎ個のビットに対するフルスケール電圧である）と比較し、デジタルビット（例えば、入力＜＝ＶＲＥＦ／２の場合は「０」、入力＞ＶＲＥＦ／２の場合は「１」）を出力する。デジタル出力信号４６０８である、このデジタルビットは、次いで、１ビットＤＡＣ ４６０５によってアナログ電圧に（例えば、ＶＲＥＦ／２又は０Ｖのいずれかに）変換され、加算器４６０６に供給されて、Ｓ／Ｈ電圧４６０９から差し引かれる。次いで、２×残差オペアンプ４６０７は、加算器差分電圧出力を変換残差電圧４６１０に増幅し、この変換残差電圧は、次のクロックサイクルのためにスイッチ４６０１を介してＳ／Ｈ回路４６０３に供給される。ＡＤＣ４６０４及び残差オペアンプ４６０７からなどのオフセットの影響を低減するために、この１ビット（すなわち、２レベル）アルゴリズム型ＡＤＣの代わりに、１．５ビット（すなわち、３レベル）アルゴリズム型ＡＤＣを使用することができる。１．５ビットアルゴリズム型ＡＤＣには、１．５ビット又は２ビット（すなわち、４レベル）ＤＡＣが必要とされる。

Claims (63)

  1. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    構成可能数Ｎの前記複数のベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、を備え、
    前記入力を受け取る前記アレイは、前記入力に応じて出力を提供する、アナログニューラルメモリシステム。
  2. 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項１に記載のシステム。
  3. 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項１に記載のシステム。
  4. 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項１に記載のシステム。
  5. 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項１に記載のシステム。
  6. 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載のシステム。
  7. 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１に記載のシステム。
  8. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、複数のベクトル行列乗算アレイのそれぞれは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    構成可能数Ｎの前記複数のベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
    前記出力は、受け取られた入力に応じて提供される、アナログニューラルメモリシステム。
  9. 前記出力ブロックは、
    前記Ｎ個のベクトル行列乗算アレイから受け取ったアナログ電流を前記出力に変換するためのアナログ－デジタル変換器を含み、前記出力は、一連のデジタルパルスを含む、請求項８に記載のシステム。
  10. 前記アナログ－デジタル変換器はコンパレータを含む、請求項９に記載のシステム。
  11. 前記コンパレータは、第１のクロック信号又は第２のクロック信号に応じて動作するように構成することができ、前記第２のクロック信号の周波数は、前記第１のクロック信号の前記周波数より大きい、請求項１０に記載のシステム。
  12. 前記アナログ－デジタル変換器は、積分型アナログ－デジタル変換器を含む、請求項９に記載のシステム。
  13. 前記アナログ－デジタル変換器は、ランプ型アナログ－デジタル変換器を含む、請求項９に記載のシステム。
  14. 前記アナログ－デジタル変換器は、アルゴリズム型アナログ－デジタル変換器を含む、請求項９に記載のシステム。
  15. 前記アナログ－デジタル変換器は、シグマデルタ型アナログ－デジタル変換器を含む、請求項９に記載のシステム。
  16. 前記アナログ－デジタル変換器は、逐次比較型アナログ－デジタル変換器を含む、請求項９に記載のシステム。
  17. 前記システムは、
    前記一連のデジタルパルスを電圧に変換するためのデジタルデータ－電圧変換器を更に備える、請求項９に記載のシステム。
  18. 前記システムは、
    前記アナログ電流をデジタルビットのセットに変換するための積分型アナログ－デジタルデータ変換器を更に備える、請求項９に記載のシステム。
  19. 前記システムは、
    前記デジタルビットのセットを１つ以上のパルスに変換するためのデジタルビット－パルス幅変換器を更に備え、前記１つ以上のパルスの幅は、前記デジタルビットのセットの値に比例する、請求項１８に記載のシステム。
  20. 前記システムは、
    前記出力されたアナログ電流を電圧に変換するための電流－電圧変換器を更に備える、請求項９に記載のシステム。
  21. 前記出力は可変長のパルスである、請求項８に記載のシステム。
  22. 前記出力は一連の均一なパルスである、請求項８に記載のシステム。
  23. 前記出力はビットのセットである、請求項８に記載のシステム。
  24. 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項８に記載のシステム。
  25. 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項８に記載のシステム。
  26. 前記出力ブロックは、温度を補償するために較正を実行する、請求項８に記載のシステム。
  27. 前記出力ブロックは、プロセス変動又は電圧供給変動を補償するために較正を実行する、請求項８に記載のシステム。
  28. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    構成可能数Ｎの前記ベクトル行列乗算アレイに対するプログラミング動作後に検証動作を実行するための出力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備える、アナログニューラルメモリシステム。
  29. 前記検証動作の精度は推論精度を超える、請求項２８に記載のシステム。
  30. 前記推論は、積分型ＡＤＣによって実行される、請求項２９に記載のシステム。
  31. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、各アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    第１の構成可能数Ｎの前記ベクトル行列乗算アレイに入力を提供することが可能な入力ブロックであって、Ｎは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、入力ブロックと、
    第２の構成可能数Ｍの前記ベクトル行列乗算アレイから出力を提供することが可能な出力ブロックであって、Ｍは、１と、前記複数のベクトル行列乗算アレイにおけるアレイの総数との間の範囲とすることができる、出力ブロックと、を備え、
    前記出力ブロックは、前記入力に応じて前記出力を生成する、アナログニューラルメモリシステム。
  32. 前記入力は、前記入力ブロックによって受け取られたアナログ電流に応じて前記入力ブロックによって生成される、請求項３１に記載のシステム。
  33. 前記入力は、前記入力ブロックによって受け取られた可変長のパルスに応じて前記入力ブロックによって生成される、請求項３１に記載のシステム。
  34. 前記入力は、前記入力ブロックによって受け取られた一連の均一なパルスに応じて前記入力ブロックによって生成される、請求項３１に記載のシステム。
  35. 前記入力は、前記入力ブロックによって受け取られたビットのセットに応じて前記入力ブロックによって生成される、請求項３１に記載のシステム。
  36. 前記出力はアナログ電流である、請求項３１に記載のシステム。
  37. 前記出力は可変長のパルスである、請求項３１に記載のシステム。
  38. 前記出力は一連の均一なパルスである、請求項３１に記載のシステム。
  39. 前記出力はビットのセットである、請求項３１に記載のシステム。
  40. 前記出力ブロックは、コンパレータを含むアナログ－デジタル変換器を含む、請求項３１に記載のシステム。
  41. 前記コンパレータは、第１のクロック信号又は第２のクロック信号に応じて動作するように構成することができ、前記第２のクロック信号の周波数は、前記第１のクロック信号の前記周波数より大きい、請求項４０に記載のシステム。
  42. 前記コンパレータは、変換中に粗比較期間又は微細比較期間で動作するように構成することができる、請求項４０に記載のシステム。
  43. 前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項３１に記載のシステム。
  44. 前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項３１に記載のシステム。
  45. 前記出力ブロックは、温度を補償するために較正を実行する、請求項３１に記載のシステム。
  46. 前記出力ブロックは、プロセス変動を補償するために較正を実行する、請求項３１に記載のシステム。
  47. 前記出力ブロックは、電圧供給変動を補償するために較正を実行する、請求項３１に記載のシステム。
  48. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、行及び列に編成された不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    前記ベクトル行列乗算アレイのうちの１つ以上から出力ニューロン電流を受け取り、ランプ型アナログ－デジタル変換器を使用してデジタル出力ビットを生成することが可能な出力ブロックと、を備える、アナログニューラルメモリシステム。
  49. 離散的又は連続的なランピング基準電圧を更に備える、請求項４８に記載のシステム。
  50. サンプルアンドホールド回路と、コンパレータと、を更に備え、ランピング基準電圧が前記コンパレータの入力に印加される、請求項４８に記載のシステム。
  51. 前記ランピング基準電圧は、粗電圧ランプ、続いて複数の微細電圧ランプを含む、請求項５０に記載のシステム。
  52. 前記粗電圧ランプは、複数の粗ランピング電圧を含む、請求項５１に記載のシステム。
  53. アナログニューラルメモリシステムであって、
    複数のベクトル行列乗算アレイであって、各ベクトル行列乗算アレイは、不揮発性メモリセルを含む、複数のベクトル行列乗算アレイと、
    複数のデジタル入力ビットを、前記ベクトル行列乗算アレイのうちの少なくとも１つに対するタイミング入力として、バイナリインデックス化された時間加算信号に変換することが可能な入力ブロックと、を備える、アナログニューラルメモリシステム。
  54. 前記入力ブロックは、各桁入力ビットに対してバイナリインデックス化パルスを生成する、請求項５３に記載のシステム。
  55. 前記入力ブロックは、各入力デジタルビットに対する記憶ラッチを含む、請求項５３に記載のシステム。
  56. バイナリインデックス化パルスを生成するための生成器を更に備える、請求項５３に記載のシステム。
  57. 前記入力ブロックは行デコーダを含む、請求項５３に記載のシステム。
  58. 前記バイナリインデックス化された時間加算信号は、各行に対するデジタル入力ビットに応じて生成される、請求項５３に記載のシステム。
  59. 前記時間加算は、ＬＳＢからＭＳＢまで、又は任意のランダムな順序である、請求項５３に記載のシステム。
  60. 複数のベクトル行列乗算アレイを含むアナログニューラルメモリに対して出力変換を実行する方法であって、各ベクトル行列乗算アレイは不揮発性メモリセルを含み、前記方法は、
    前記複数のベクトル行列乗算アレイのうちの１つ以上から出力ニューロン電流を受け取るステップと、
    前記出力ニューロン電流及びランプ型アナログ－デジタル変換器を使用してデジタル出力ビットを生成するステップであって、前記変換器は、粗比較モード及び微細比較モードで動作する、ステップと、を含む、方法。
  61. 前記生成するステップは、動的コンパレータを利用する、請求項６０に記載の方法。
  62. 前記動的コンパレータは、粗比較モード及び前記微細比較モードに関して異なるように構成されている、請求項６１に記載の方法。
  63. 前記動的コンパレータは、粗比較モードのための第１の比較クロック及び前記微細比較モードのための第２の比較クロックを受け取り、前記第２の比較クロックの周波数は、前記第１の比較クロックの前記周波数を超える、請求項６２に記載の方法。
JP2021564789A 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト Active JP7308290B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023109273A JP2023139013A (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962842279P 2019-05-02 2019-05-02
US62/842,279 2019-05-02
US16/449,201 US11507642B2 (en) 2019-05-02 2019-06-21 Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network
US16/449,201 2019-06-21
PCT/US2019/061902 WO2020222868A1 (en) 2019-05-02 2019-11-18 Configurable input blocks and output blocks and physical layout for analog neural memory in deep learning artificial neural network

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023109273A Division JP2023139013A (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Publications (2)

Publication Number Publication Date
JP2022539486A true JP2022539486A (ja) 2022-09-12
JP7308290B2 JP7308290B2 (ja) 2023-07-13

Family

ID=73015948

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021564789A Active JP7308290B2 (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト
JP2021564790A Pending JP2022531766A (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正
JP2023109273A Pending JP2023139013A (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021564790A Pending JP2022531766A (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正
JP2023109273A Pending JP2023139013A (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Country Status (7)

Country Link
US (2) US20200349422A1 (ja)
EP (2) EP3963513B1 (ja)
JP (3) JP7308290B2 (ja)
KR (2) KR102657705B1 (ja)
CN (2) CN113785360A (ja)
TW (2) TWI805908B (ja)
WO (2) WO2020222869A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970630B1 (en) * 2017-06-15 2021-04-06 National Technology & Engineering Solutions Of Sandia, Llc Neuromorphic computing architecture with dynamically accessible contexts
US20210125049A1 (en) * 2019-10-29 2021-04-29 Taiwan Semiconductor Manufacturing Co., Ltd. System for executing neural network
US11355184B2 (en) 2020-03-05 2022-06-07 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with substantially constant array source impedance with adaptive weight mapping and distributed power
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
WO2022146468A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
US20220215239A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
US20220230064A1 (en) * 2021-01-20 2022-07-21 Mediatek Singapore Pte. Ltd. Calibration of analog circuits for neural network computing
US11693560B2 (en) 2021-01-22 2023-07-04 Taiwan Semiconductor Manufacturing Company, Ltd. SRAM-based cell for in-memory computing and hybrid computations/storage memory architecture
US11720784B2 (en) * 2021-04-01 2023-08-08 Mythic, Inc. Systems and methods for enhancing inferential accuracy of an artificial neural network during training on a mixed-signal integrated circuit
WO2022232947A1 (en) * 2021-05-07 2022-11-10 Blumind Inc. System, method, and computer device for transistor-based neural networks
TWI769875B (zh) * 2021-06-24 2022-07-01 國立中央大學 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介
JP2023088730A (ja) * 2021-12-15 2023-06-27 キオクシア株式会社 演算システム
WO2023141701A1 (en) 2022-01-25 2023-08-03 Blumind Inc. Analog systems and methods for audio feature extraction and natural language processing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6346581A (ja) * 1986-08-13 1988-02-27 Toshiba Corp 半導体記憶装置
JP2005322198A (ja) * 2004-04-07 2005-11-17 Sony Corp データ処理装置
US20190034111A1 (en) * 2017-07-19 2019-01-31 Imec Vzw Control plane organization for flexible digital data plane
WO2019055182A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc. SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940001173B1 (ko) * 1988-08-31 1994-02-16 후지쓰 가부시끼가이샤 뉴로 컴퓨터
DE69026740D1 (de) 1989-02-28 1996-06-05 Fujitsu Ltd Fehler absorbierendes System in einem neuronalen Rechner
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
JP3561096B2 (ja) * 1996-09-10 2004-09-02 株式会社東芝 関数学習装置
JP3910707B2 (ja) * 1997-12-01 2007-04-25 松下電器産業株式会社 ディジタル信号処理回路
KR100370164B1 (ko) * 2000-12-20 2003-01-30 주식회사 하이닉스반도체 비트라인의 누설전류 보상이 가능한 풀업회로
JP2003263624A (ja) * 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd ニューラル・ネットワーク装置の学習演算回路
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US7366021B2 (en) * 2005-05-04 2008-04-29 Micron Technology, Inc. Method and apparatus for sensing flash memory using delta sigma modulation
ITTO20070109A1 (it) * 2007-02-14 2008-08-15 St Microelectronics Srl Circuito e metodo di lettura per un dispositivo di memoria non volatile basati sulla generazione adattativa di una grandezza elettrica di riferimento
US7768868B2 (en) 2007-06-15 2010-08-03 Micron Technology, Inc. Digital filters for semiconductor devices
US7755948B2 (en) * 2008-08-19 2010-07-13 Agere Systems Inc. Process and temperature tolerant non-volatile memory
CN102203877B (zh) * 2008-09-30 2016-07-06 Lsi公司 使用解码器性能反馈的用于存储器器件的软数据生成的方法和装置
US7868800B2 (en) * 2008-10-22 2011-01-11 Industrial Technology Research Institute Mixed-signal control apparatus of modulation system
US8473439B2 (en) * 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
TWI530183B (zh) * 2011-12-08 2016-04-11 Sony Corp An imaging element, a control method, and an imaging device
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
US9164526B2 (en) * 2012-09-27 2015-10-20 Sandisk Technologies Inc. Sigma delta over-sampling charge pump analog-to-digital converter
US8643168B1 (en) * 2012-10-16 2014-02-04 Lattice Semiconductor Corporation Integrated circuit package with input capacitance compensation
US9325321B2 (en) * 2013-03-13 2016-04-26 Microsemi SoC Corporation Background auto-refresh apparatus and method for non-volatile memory array
KR102140787B1 (ko) 2014-07-07 2020-08-03 삼성전자주식회사 저항성 메모리 장치, 저항성 메모리 시스템 및 저항성 메모리 장치의 동작방법
US10325655B2 (en) * 2015-04-10 2019-06-18 Hewlett Packard Enterprise Development Lp Temperature compensation circuits
US9654132B2 (en) * 2015-07-08 2017-05-16 Marvell World Trade Ltd. Hybrid charge-sharing charge-redistribution DAC for successive approximation analog-to-digital converters
US10748058B2 (en) * 2015-12-28 2020-08-18 International Business Machines Corporation LUT based neuron membrane potential update scheme in STDP neuromorphic systems
US10216703B2 (en) * 2016-02-08 2019-02-26 Spero Devices, Inc. Analog co-processor
KR102505695B1 (ko) * 2016-03-18 2023-03-02 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 이를 사용한 시스템
US11308383B2 (en) 2016-05-17 2022-04-19 Silicon Storage Technology, Inc. Deep learning neural network classifier using non-volatile memory array
US10123143B2 (en) 2016-09-26 2018-11-06 Cirrus Logic, Inc. Correction for speaker monitoring
US11238887B2 (en) * 2017-01-23 2022-02-01 Dsp Group Ltd. Interface to leaky spiking neurons
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
US10896367B2 (en) 2017-03-07 2021-01-19 Google Llc Depth concatenation using a matrix computation unit
JPWO2018163005A1 (ja) * 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
JP2019028569A (ja) * 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
KR20190020408A (ko) * 2017-08-21 2019-03-04 에스케이하이닉스 주식회사 고 선형성의 투-스텝 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10594334B1 (en) * 2018-04-17 2020-03-17 Ali Tasdighi Far Mixed-mode multipliers for artificial intelligence
CN108932548A (zh) * 2018-05-22 2018-12-04 中国科学技术大学苏州研究院 一种基于fpga的稀疏度神经网络加速系统
US10205463B1 (en) 2018-07-18 2019-02-12 Teledyne Scientific & Imaging, Llc Dual-gain single-slope ADC with digital CDS
US10861553B2 (en) * 2018-09-27 2020-12-08 Taiwan Semiconductor Manufacturing Co., Ltd. Device-region layout for embedded flash
US11061646B2 (en) * 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
CN109658471B (zh) * 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
US20220123847A1 (en) * 2019-01-11 2022-04-21 Apple Inc. Method for measurement of ue-to-ue reference signal in new radio networks with cross-link interference
US10756748B1 (en) * 2019-04-26 2020-08-25 Xilinx, Inc. Capacitor-enhanced comparator for switched-capacitor (SC) circuits with reduced kickback
US11562249B2 (en) * 2019-05-01 2023-01-24 International Business Machines Corporation DNN training with asymmetric RPU devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6346581A (ja) * 1986-08-13 1988-02-27 Toshiba Corp 半導体記憶装置
JP2005322198A (ja) * 2004-04-07 2005-11-17 Sony Corp データ処理装置
US20190034111A1 (en) * 2017-07-19 2019-01-31 Imec Vzw Control plane organization for flexible digital data plane
WO2019055182A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc. SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES
JP2020534686A (ja) * 2017-09-15 2020-11-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． フラッシュメモリを備えた構成可能な畳み込みニューラルネットワークを実装するためのシステム及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHAEL KLACHKO; ET AL: ""IMPROVING NOISE TOLERANCE OF MIXED-SIGNAL NEURAL NETWORKS"", ARXIV.ORG, JPN5022007820, 3 April 2019 (2019-04-03), US, pages 1 - 8, ISSN: 0005001437 *

Also Published As

Publication number Publication date
JP7308290B2 (ja) 2023-07-13
TWI805908B (zh) 2023-06-21
WO2020222869A1 (en) 2020-11-05
WO2020222868A1 (en) 2020-11-05
KR20210145809A (ko) 2021-12-02
CN113785311A (zh) 2021-12-10
EP3963587A1 (en) 2022-03-09
US11507642B2 (en) 2022-11-22
TWI805909B (zh) 2023-06-21
EP3963513A1 (en) 2022-03-09
TW202044123A (zh) 2020-12-01
JP2023139013A (ja) 2023-10-03
TW202042233A (zh) 2020-11-16
CN113785360A (zh) 2021-12-10
US20200349421A1 (en) 2020-11-05
EP3963513B1 (en) 2024-04-17
KR20210147032A (ko) 2021-12-06
US20200349422A1 (en) 2020-11-05
JP2022531766A (ja) 2022-07-11
KR102657705B1 (ko) 2024-04-15

Similar Documents

Publication Publication Date Title
JP7308290B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト
JP7346579B2 (ja) 深層学習人工ニューラルネットワーク内のアナログニューラルメモリにおいてニューロン電流をニューロン電流ベースの時間パルスに変換するためのシステム
JP7385657B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
JP7340101B2 (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
JP7340694B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
US11893478B2 (en) Programmable output blocks for analog neural memory in a deep learning artificial neural network
US20210118894A1 (en) Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network
KR20230110360A (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를위한 디지털 출력 메케니즘
KR20230158570A (ko) 딥 러닝 인공 신경망에서의 아날로그 뉴럴 메모리를 위한 출력 회로
WO2022245384A1 (en) Output circuit for analog neural memory in a deep learning artificial neural network
JP2024504003A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R150 Certificate of patent or registration of utility model

Ref document number: 7308290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150