JP2022531766A - 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 - Google Patents

深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 Download PDF

Info

Publication number
JP2022531766A
JP2022531766A JP2021564790A JP2021564790A JP2022531766A JP 2022531766 A JP2022531766 A JP 2022531766A JP 2021564790 A JP2021564790 A JP 2021564790A JP 2021564790 A JP2021564790 A JP 2021564790A JP 2022531766 A JP2022531766 A JP 2022531766A
Authority
JP
Japan
Prior art keywords
output
analog
array
input
digital
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021564790A
Other languages
English (en)
Inventor
バン トラン、ヒュー
ブー、サン
ホン、スタンレー
トリン、ステファン
ティワリ、ビピン
レイテン、マーク
ドー、ナン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2022531766A publication Critical patent/JP2022531766A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/56—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency
    • G11C11/5621—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using storage elements with more than two stable states represented by steps, e.g. of voltage, current, phase, frequency using charge storage in a floating gate
    • G11C11/5642—Sensing or reading circuits; Data output circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/04—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS
    • G11C16/0483—Erasable programmable read-only memories electrically programmable using variable threshold transistors, e.g. FAMOS comprising cells having several storage transistors connected in series
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C27/00—Electric analogue stores, e.g. for storing instantaneous values
    • G11C27/005—Electric analogue stores, e.g. for storing instantaneous values with non-volatile charge storage, e.g. on floating gate or MNOS
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/02—Detection or location of defective auxiliary circuits, e.g. defective refresh counters
    • G11C29/028—Detection or location of defective auxiliary circuits, e.g. defective refresh counters with adaption or trimming of parameters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/44—Indication or identification of errors, e.g. for repair
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C2029/4402—Internal storage of test result, quality data, chip identification, repair information
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/50—Marginal testing, e.g. race, voltage or current testing
    • G11C2029/5006—Current
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Read Only Memory (AREA)
  • Non-Volatile Memory (AREA)
  • Semiconductor Memories (AREA)
  • Memory System (AREA)
  • Analogue/Digital Conversion (AREA)
  • Image Processing (AREA)

Abstract

Figure 2022531766000001
不揮発性メモリセルを利用するアナログニューラルメモリシステムについて、構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウトが開示される。入力ブロックは、水平方向に配列された異なる数のアレイをサポートするように構成することができ、出力ブロックは、垂直方向に配列された異なる数のアレイをサポートするように構成することができる。構成可能な入力ブロック及び出力ブロックに使用するための調整可能な構成要素が開示される。アナログニューラルメモリシステム内の入力ブロック及び出力ブロックにおける漏れ及びオフットを補償するためのシステム及び方法が利用される。
【選択図】図４９

Description

（優先権の主張）
本出願は、２０１９年５月２日に出願された米国特許仮出願第６２／８４２，２７９号、表題「ＣＯＮＦＩＧＵＲＡＢＬＥ ＩＮＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＯＵＴＰＵＴ ＢＬＯＣＫＳ ＡＮＤ ＰＨＹＳＩＣＡＬ ＬＡＹＯＵＴ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」、及び２０１９年６月２１日に出願された米国特許出願第１６／４４９，２０５号、表題「ＯＵＴＰＵＴ ＡＲＲＡＹ ＮＥＵＲＯＮ ＣＯＮＶＥＲＳＩＯＮ ＡＮＤ ＣＡＬＩＢＲＡＴＩＯＮ ＦＯＲ ＡＮＡＬＯＧ ＮＥＵＲＡＬ ＭＥＭＯＲＹ ＩＮ ＤＥＥＰ ＬＥＡＲＮＩＮＧ ＡＲＴＩＦＩＣＩＡＬ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫ」の優先権を主張するものである。
（発明の分野）
不揮発性メモリセルを利用するアナログニューラルメモリシステムについて、構成可能な入力ブロック及び出力ブロック、並びに関連する物理的レイアウトが開示される。
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、メッセージを交換する相互接続された「ニューロン」の層を含む。
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これにより、ニューラルネットワークは入力に適応し、学習可能になる。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信したデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用ＧＰＵ（グラフィックプロセッシングユニット）クラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、必要な多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューラルメモリとして動作する。ニューラルネットワークデバイスは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、各メモリセルは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配設され、チャネル領域の第１の部分から絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配設され、チャネル領域の第２の部分から絶縁された非浮遊ゲートと、を含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗算して第１の複数の出力を生成するように構成される。
アナログニューラルメモリシステムに使用されるそれぞれの不揮発性メモリセルは、非常に特異的かつ正確な電荷量、すなわち電子の数を浮遊ゲート内に保持するよう、消去及びプログラムされなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。
ベクトル行列乗算（ＶＭＭ）システムにおける１つの課題は、ＶＭＭからの出力を別のＶＭＭへの入力として迅速かつ正確に送達し、かつ半導体ダイ内の物理的空間を効率的に利用しながらそれを行う能力である。
必要とされるのは、構成可能な入力ブロック及び出力ブロック、並びに不揮発性メモリセルを利用するアナログニューラルメモリシステムの物理的レイアウトである。更に必要とされるのは、入力ブロック内の漏れ及びオフセットを補償するためのシステム及び方法、並びにそのようなシステムのための出力ブロックである。
アナログニューラルメモリシステム内の入力ブロック及び出力ブロックにおける漏れ及びオフセットを補償するためのシステム及び方法が開示される。
アナログニューラルメモリセル用の出力回路ブロックを動作させる方法の一実施形態は、漏れ及び／又はオフセットを測定するステップと、測定した量を第１の値として格納するステップと、式：ＬＳＢ＝次のレベルに切り上げられた第１の値を使用して、メモリセルの最下位ビット（ＬＳＢ）を決定するステップと、を含む。
アナログニューラルメモリセル用の出力回路ブロックを動作させる別の実施形態は、オフセット又は漏れを測定するステップと、測定した量を第１の値として格納するステップと、第１の値を呼び出すステップと、温度調整を実行するステップと、式：ＬＳＢ＝次のレベルに切り上げられた第１の値を使用して、メモリセル範囲の最下位ビット（ＬＳＢ）を決定するステップと、を含む。
アナログニューラルメモリセルのアレイに結合された出力回路ブロックからの出力を生成する間に漏れ又はオフセットを補償する方法の一実施形態は、デジタルの漏れ値又はオフセット値を生成するためにアナログ－デジタル変換器を使用して出力回路ブロック値内の漏れ又はオフセットを測定するステップと、デジタル漏れ又はオフセット値をカウンタ内の第１の値として格納するステップと、漏れ又はオフセットを補正するステップと、を含む。
先行技術の人工ニューラルネットワークを示す図である。 先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 別の先行技術のスプリットゲートフラッシュメモリセルを示す。 先行技術の積層ゲートフラッシュメモリセルを示す。 １つ以上の不揮発性メモリアレイを利用する例示的な人工ニューラルネットワークの様々なレベルを示す図である。 ベクトル行列乗算システムを示すブロック図である。 １つ以上のベクトル行列乗算システムを利用する例示的な人工ニューラルネットワークを示すブロック図である。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 先行技術の長・短期記憶システムを示す。 長・短期記憶システムで使用する例示的なセルを示す。 図１７の例示的なセルの一実施形態を示す。 図１７の例示的なセルの別の実施形態を示す。 先行技術のゲート付き回帰型ユニットシステムを示す。 ゲート付き回帰型ユニットシステムで使用する例示的なセルを示す。 図２１の例示的なセルの一実施形態を示す。 図２１の例示的なセルの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの別の実施形態を示す。 ベクトル行列乗算システムの例示的なブロック図を示す。 垂直に隣接するアレイが出力ブロックを共有する、ベクトル行列乗算システムの例示的なブロック図を示す。 水平に隣接するアレイが入力ブロックを共有する、ベクトル行列乗算システムの例示的なブロック図を示す。 水平に隣接するアレイが入力ブロックを共有する、ベクトル行列乗算システムの例示的なブロック図を示す。 ベクトル行列乗算システムの例示的なブロック図を示す。 積分型アナログ－デジタル変換器の一実施形態を示す。 図３７Ａのシステムのための例示的な出力波形を示す。 図３７Ａの積分型アナログ－デジタル変換器に提供され得る例示的な入力を示す。 電流－電圧変換器の一実施形態を示す。 デジタルデータ－電圧変換器を示す。 構成可能なアナログ－デジタル変換器を示す。 構成可能な電流－電圧入力回路を示す。 デジタル－パルス行変換器を示す。 図４３Ａのデジタル－パルス行変換器の例示的な波形を示す。 デジタル－パルス行変換器を示す。 図４４Ａのデジタル－パルス行変換器の例示的な波形を示す。 図４４Ａのデジタル－パルス行変換器と共に使用するための行デジタルパルス発生器を示す。 ランプ型アナログ－デジタル変換器出力変換機を示す。 図４５Ａのランプ型アナログ－デジタル変換器出力変換器で使用する例示的な基準電圧を示す。 図４５Ａのランプ型アナログ－デジタル変換器出力変換器で使用する例示的な基準電圧を示す。 アルゴリズム型アナログ－デジタル変換器出力変換機４６００を示す。 ＳＡＲ ＡＤＣを示す。 図４７ＡのＳＡＲ ＡＤＣのデジタル出力ビットを生成するためのアルゴリズムを示す。 シグマデルタ型アナログ－デジタル変換器を示す。 較正方法を示す。 リアルタイム較正方法を示す。 バックグラウンド較正方法を示す。 較正及び変換方法を示す。 別の較正及び変換方法を示す。 図３７Ａ～図３７Ｂ及び図４５Ａ～図４５Ｃの実施形態との任意選択的な使用のための比較器を示す。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。
不揮発性メモリセル
デジタル不揮発性メモリは、周知である。例えば、参照により本明細書に組み込まれる、米国特許第５，０２９，１３０号（「’１３０号特許」）は、フラッシュメモリセルの一種である、スプリットゲート型不揮発性メモリセルのアレイを開示する。このようなメモリセル２１０を図２に示す。各メモリセル２１０は、半導体基板１２内に形成されたソース領域１４とドレイン領域１６と、を含み、ソース領域１４とドレイン領域１６の間にはチャネル領域１８がある。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方に形成され、チャネル領域１８の第１の部分から絶縁され（並びに、チャネル領域１８の第１の部分の導電性を制御して）、ソース領域１４の一部分の上方にかけて形成される。ワード線端子２２（典型的には、ワード線に結合される）は、チャネル領域１８の第２の部分の上方に配設され、チャネル領域１８の第２の部分から絶縁された、（並びに、チャネル領域１８の第２の部分の導電性を制御する）第１の部分と、上に向かって浮遊ゲート２０の上方にかけて延在する第２の部分と、を有する。浮遊ゲート２０及びワード線端子２２は、ゲート酸化物によって基板１２から絶縁される。ビット線２４はドレイン領域１６に結合される。
ワード線端子２２に高圧正電圧を印加することによって、メモリセル２１０に対して消去が行われ（電子が浮遊ゲートから除去される）、これによって、浮遊ゲート２０の電子は、浮遊ゲート２０からワード線端子２２までそれらの間にある絶縁体の中をファウラーノルドハイム（Fowler-Nordheim）トンネリングを介して通過する。
メモリセル２１０は、ワード線端子２２に正電圧、及びソース領域１４に正電圧を印加することによってプログラムされる（電子が浮遊ゲートに印加される）。電子電流は、ソース領域１４からドレイン領域１６に向かって流れる。電子は加速し、ワード線端子２２と浮遊ゲート２０との間の間隙に達すると、発熱する。熱せられた電子の一部が、浮遊ゲート２０からの静電引力に起因して、浮遊ゲート２０にゲート酸化物を介して注入される。
メモリセル２１０は、ドレイン領域１６及びワード線端子２２に正の読み出し電圧を印加する（ワード線端子の下方のチャネル領域１８の部分をオンにする）ことによって、読み出される。浮遊ゲート２０が正に帯電する（すなわち、電子を消去する）と、浮遊ゲート２０の下方のチャネル領域１８の部分も同様にオンになり、電流はチャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検知される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラムされる）と、浮遊ゲート２０の下方のチャネル領域の部分はほとんど又は完全にオフになり、電流はチャネル領域１８を流れず（又はほとんど流れず）、これは、プログラムされた状態つまり「０」の状態として検出される。
表１は、読み出し、消去、及びプログラム動作を実行するためのメモリセル１１０の端子に印加され得る典型的な電圧範囲を示す。
表１：図２のフラッシュメモリセル２１０の動作
Figure 2022531766000002
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図３は、制御ゲート（control gate、ＣＧ）２８を追加した、図２のメモリセル２１０と同様のメモリセル３１０を示す。制御ゲート２８は、プログラミング中に高電圧（例えば、１０Ｖ）、消去中に低又は負電圧（例えば、０ｖ／－８Ｖ）、読み出し中に低又は中程度電圧（例えば、０ｖ／２．５Ｖ）でバイアスされる。他の端子は、図２の端子と同様にバイアスされる。
図４は、ソース領域１４と、ドレイン領域１６と、チャネル領域１８の第１の部分の上方にある浮遊ゲート２０と、チャネル領域１８の第２の部分の上方にある選択ゲート２２（典型的には、ワード線、ＷＬ、に結合される）と、浮遊ゲート２０の上方にある制御ゲート２８と、ソース領域１４の上方にある消去ゲート３０と、を含む４ゲートメモリセル４１０を示す。この構成は、あらゆる目的のため参照により本明細書に組み込まれる、米国特許第６，７４７，３１０号に記載されている。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、つまり、それらは電圧源に電気的に接続される又は接続可能である。プログラミングは、熱せられた電子がチャネル領域１８から浮遊ゲート２０にその電子自体を注入することによって実行される。消去は、電子が浮遊ゲート２０から消去ゲート３０へトンネリングすることによって実行される。
表２は、読み出し、消去、及びプログラム動作を実行するためのメモリセル３１０の端子に印加され得る典型的な電圧範囲を示す。
表２：図４のフラッシュメモリセル４１０の動作
Figure 2022531766000003
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図５は、メモリセル５１０が消去ゲート（erase gate、ＥＧ）を含まないことを除いて、図４のメモリセル４１０と同様のメモリセル５１０を示す。消去は、基板１８を高電圧にバイアスし、制御ゲートＣＧ２８を低電圧又は負電圧にバイアスすることによって行われる。あるいは、ワード線２２を正電圧にバイアスし、制御ゲート２８を負電圧にバイアスすることによって、消去が行われる。プログラミング及び読み出しは、図４のものと同様である。
図６は、別の種類のフラッシュメモリセルである、３ゲートメモリセル６１０を示す。メモリセル６１０は、メモリセル６１０が別個の制御ゲートを有しないことを除いて、図４のメモリセル４１０と同一である。（消去ゲートの使用を通じて消去が起こる）消去動作及び読み出し動作は、制御ゲートバイアスが印加されないことを除いて、図４のものと同様である。プログラミング動作もまた、制御ゲートバイアスなしで行われるため、結果として、プログラム動作中は、制御ゲートバイアスの不足を補償するため、より高い電圧がソース線に印加されなければならない。
表３は、読み出し、消去、及びプログラム動作を実行するためのメモリセル６１０の端子に印加され得る典型的な電圧範囲を示す。
表３：図６のフラッシュメモリセル６１０の動作
Figure 2022531766000004
 「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。
図７は、別の種類のフラッシュメモリセルである、積層ゲートメモリセル７１０を示す。メモリセル７１０は、浮遊ゲート２０がチャネル領域１８全体の上方にわたって延在し、制御ゲート２２（ワード線に結合される）が絶縁層（図示せず）によって分離されて浮遊ゲート２０の上方に延在することを除いて、図２のメモリセル２１０と同様である。消去、プログラミング、及び読み出し動作は、メモリセル２１０について前述したものと同様の方法で動作する。
表４は、読み出し、消去、及びプログラム動作を実行するためのメモリセル７１０及び基板１２の端子に印加され得る典型的な電圧範囲を示す。
表４：図７のフラッシュメモリセル７１０の動作
Figure 2022531766000005
「読み出し１」は、セル電流がビット線に出力される読み出しモードである。「読み出し２」は、セル電流がソース線に出力される読み出しモードである。任意選択的に、メモリセル２１０、３１０、４１０、５１０、６１０、又は７１０の行及び列を含むアレイでは、ソース線は、メモリセルの１行又はメモリセルの隣接する２行に結合され得る。すなわち、ソース線は、メモリセルの隣接する行によって共有され得る。
上記の人工ニューラルネットワークにおける不揮発性メモリセルの種類のうちの１つを含むメモリアレイを利用するために、２つの修正が行われる。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラム、消去、及び読み出しできるように線を構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。
具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラムされた状態へ、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。別の実施形態では、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲートの電荷）を、完全にプログラムされた状態から完全に消去された状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で、連続的に変えることができる。これはつまり、セル格納がアナログであるか、又は多数の不連続値（１６又は６４の異なる値など）のうちの１つを最低限格納できることを意味し、これにより、メモリアレイ内の全てのセルが非常に正確に、かつ個別に調整可能となり、またメモリアレイは格納に対して理想的になり、ニューラルネットワークのシナプシスの重みに微調整が可能となる。
本明細書に記載される方法及び手段は、限定することなく、ＳＯＮＯＳ（ケイ素－酸化物－窒化物－酸化物－ケイ素、窒化物中の電荷トラップ）、ＭＯＮＯＳ（金属－酸化物－窒化物－酸化物－ケイ素、窒化物中の金属電荷トラップ）、ＲｅＲＡＭ（抵抗変化型メモリ）、ＰＣＭ（相変化メモリ）、ＭＲＡＭ（磁気抵抗メモリ）、ＦｅＲＡＭ（強誘電体メモリ）、ＯＴＰ（バイレベル又はマルチレベルの１回のみのプログラムが可能）及びＣｅＲＡＭ（強相関電子メモリ）などの他の不揮発性メモリ技術に適用することができる。本明細書に記載される方法及び手段は、限定することなく、ＳＲＡＭ、ＤＲＡＭ、及び揮発性シナプスセルなどのニューラルネットワークに使用される揮発性メモリ技術に適用することができる。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図８は、本実施形態の不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に示す。この例は、顔認識アプリケーション用に不揮発性メモリアレイニューラルネットワークを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の適切なアプリケーションを実施することも可能である。
Ｓ０は入力層であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつで３つの３２×３２ピクセルアレイであり、各ピクセルは５ビット精度である）。入力層Ｓ０から層Ｃ１に行くシナプスＣＢ１は、一部のインスタンスには異なる重みのセットを適用し、他のインスタンスには共有の重みを適用し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによっては２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）はシナプスＣＢ１に提供され、そこでこれらの９個の入力値に適切な重みを乗算し、その乗算の出力を合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のシナプスによって与えられる。３×３フィルタは次に、入力層Ｓ０内で右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、これにより、この新しく位置づけられたフィルタの９ピクセル値はシナプスＣＢ１に提供され、そこでそれらに上記と同じ重みを乗算し、関連するシナプスによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが入力層Ｓ０の３２×３２ピクセル画像全体にわたって３色全て及び全てのビット（精度値）についてスキャンするまで続ける。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
本例では、層Ｃ１において、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、層Ｃ１は、２次元アレイの１６層を構成する（本明細書で言及される層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意されたい）。層Ｃ１内の１６個の特徴マップの各々は、フィルタスキャンに適用される異なるシナプス重みのセット１６個のうちの１つによって生成される。Ｃ１特徴マップは全て、境界同定など、同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
層Ｃ１から層Ｓ１へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ１（プーリング）が適用される。プーリング関数の目的は、近隣の位置を平均すること（又はｍａｘ関数を使用することも可能である）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。層Ｓ１において、１６個の１５×１５特徴マップ（すなわち、それぞれ１５×１５ピクセルの異なるアレイ１６個）が存在する。層Ｓ１から層Ｃ２に行くシナプスＣＢ２は、Ｓ１内のマップを４×４フィルタにより１ピクセルのフィルタシフトでスキャンする。層Ｃ２において、２２個の１２×１２特徴マップが存在する。層Ｃ２から層Ｓ２へ行く前には、各特徴マップ内の重なり合わずに連続する２×２領域からの値をプールする活性化関数Ｐ２（プーリング）が適用される。層Ｓ２において、２２個の６×６特徴マップが存在する。層Ｓ２から層Ｃ３へ行くシナプスＣＢ３では活性化関数（プーリング）が適用され、ここで層Ｃ３内の全てのニューロンは、ＣＢ３のそれぞれのシナプスを介して層Ｓ２内の全てのマップに接続する。層Ｃ３において、６４個のニューロンが存在する。層Ｃ３から出力層Ｓ３へと行くシナプスＣＢ４は、Ｃ３をＳ３に完全に接続する、すなわち、層Ｃ３内の全てのニューロンは、層Ｓ３内の全てのニューロンに接続される。Ｓ３における出力は、１０個のニューロンを含み、ここで出力が最も高いニューロンが、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各層は、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。
図９は、その目的のために使用可能なアレイのブロック図である。ベクトル行列乗算（ＶＭＭ）システム３２は、不揮発性メモリセルを含み、ある層と次の層との間のシナプス（図６のＣＢ１、ＣＢ２、ＣＢ３、及びＣＢ４など）として利用される。具体的には、ＶＭＭシステム３２は、行及び列に配置された不揮発性メモリセルを含むＶＭＭアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダは不揮発性メモリセルアレイ３３に対するそれぞれの入力をデコードする。ＶＭＭアレイ３３への入力は、消去ゲート及びワード線ゲートデコーダ３４から、又は制御ゲートデコーダ３５から行うことができる。この例におけるソース線デコーダ３７はまた、ＶＭＭアレイ３３の出力をデコードする。代替的に、ビット線デコーダ３６が、ＶＭＭアレイ３３の出力をデコードすることができる。
ＶＭＭアレイ３３は、２つの目的を果たす。第１に、ＶＭＭシステム３２によって使用される重みを格納する。第２に、ＶＭＭアレイ３３は、効果的に、入力に、ＶＭＭアレイ３３に格納された重みを乗算し、それらを出力線（ソース線又はビット線）ごとに合計して出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算及び加算の関数を実行することによって、ＶＭＭアレイ３３は、別個の乗算及び加算の論理回路の必要性をなくし、また、その場でのメモリ計算により電力効率も良い。
ＶＭＭアレイ３３の出力は、ＶＭＭアレイ３３の出力を合計してその畳み込み用の単一の値を作成する、差動加算器（加算オペアンプ又は加算カレントミラーなど）３８に供給される。差動加算器３８は、正の重み及び負の重みの総和を実行するように配置される。
差動加算器３８の合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。活性化関数回路３９は、シグモイド関数、ｔａｎｈ関数、ＲｅＬＵ関数、又は任意の他の非線形関数を提供し得る。活性化関数回路３９の整流された出力値は、次の層（例えば図８のＣ１）の特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、ＶＭＭアレイ３３は、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から、入力を受信する）、加算器３８及び活性化関数回路３９は、複数のニューロンを構成する。
図９のＶＭＭシステム３２への入力（ＷＬｘ、ＥＧｘ、ＣＧｘ、及び任意選択的にＢＬｘ及びＳＬｘ）は、アナログレベル、バイナリレベル、デジタルパルス（この場合、パルス－アナログ変換器ＰＡＣは、パルスを適切な入力アナログレベルに変換するのに必要とされ得る）又はデジタルビット（この場合、ＤＡＣは、デジタルビットを適切な入力アナログレベルに変換するのに提供される）であり得、出力は、アナログレベル、バイナリレベル、デジタルパルス、又はデジタルビットであり得る（この場合、出力ＡＤＣは出力アナログレベルをデジタルビットに変換するのに提供される）。
図１０は、図中でＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅとして標示されたＶＭＭシステム３２の多数の層の使用を示すブロック図である。図１０に示されるように、入力（Ｉｎｐｕｔｘで示される）は、デジタル－アナログ変換器３１によってデジタルからアナログに変換され、入力ＶＭＭシステム３２ａに提供される。変換されたアナログ入力は、電圧又は電流であり得る。第１の層の入力Ｄ／Ａ変換は、入力ＶＭＭシステム３２ａの行列乗算器の適切なアナログレベルに入力Ｉｎｐｕｔｘをマッピングする関数又はＬＵＴ（ルックアップテーブル）を使用することによって行うことができる。入力変換はまた、外部アナログ入力を入力ＶＭＭシステム３２ａへのマッピングされたアナログ入力に変換するために、アナログ－アナログ（Ａ／Ａ）変換器によって行うこともできる。入力変換はまた、外部デジタル入力を入力ＶＭＭシステム３２ａへのマッピングされたデジタルパルス（単数又は複数）に変換するために、デジタル－デジタルパルス（Ｄ／Ｐ）変換器によって行うこともできる。
入力ＶＭＭシステム３２ａによって生成された出力は、次に、次のＶＭＭシステム（隠しレベル１）３２ｂへの入力として提供され、次に入力ＶＭＭシステム（隠しレベル２）３２ｃへの入力として提供される出力を生成する、などとなる。ＶＭＭシステム３２の様々な層は、畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。ＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ及び３２ｅはそれぞれスタンドアローンの物理的不揮発性メモリアレイとすることができ、又は複数のＶＭＭアレイは、同じ物理的不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭシステムは、同じ物理的不揮発性メモリシステムの重なり合う部分を利用することができる。それぞれのＶＭＭシステム３２ａ、３２ｂ、３２ｃ、３２ｄ、及び３２ｅはまた、そのアレイ又はニューロンの様々な部分に対して時間多重化され得る。図１０に示される例は、５つの層（３２ａ、３２ｂ、３２ｃ、３２ｄ、３２ｅ）、すなわち、１つの入力層（３２ａ）、２つの隠れ層（３２ｂ、３２ｃ）、及び２つの完全に接続された層（３２ｄ、３２ｅ）を含む。当業者であれば、これは単なる例示であり、代わりにシステムが２つを超える隠れ層及び２つを超える完全に接続された層を含み得ることを理解するであろう。更に、異なる層は、２レベルメモリセル（２つのレベル、「０」及び「１」のみを意味する）を含むｎビットメモリセル（複数の異なるレベルをサポートする異なるセル）の異なる組み合わせを使用し得る。
ＶＭＭアレイ
図１１は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１１００を示す。ＶＭＭアレイ１１００は、不揮発性メモリセルのメモリアレイ１１０１と、不揮発性基準メモリセルの基準アレイ１１０２（アレイの頂部に位置する）と、を含む。あるいは、別の基準アレイが底部に位置することができる。
ＶＭＭアレイ１１００では、制御ゲート線１１０３などの制御ゲート線が垂直方向に延びており（したがって、行方向の基準アレイ１１０２が、制御ゲート線１１０３に直交する）、消去ゲート線１１０４などの消去ゲート線が水平方向に延びている。ここで、ＶＭＭアレイ１１００への入力は、制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、ＣＧ３）に提供され、ＶＭＭアレイ１１００の出力はソース線（ＳＬ０、ＳＬ１）に現れる。一実施形態では、偶数行のみが使用され、別の実施形態では、奇数行のみが使用される。各ソース線（それぞれＳＬ０、ＳＬ１）に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ニューラルネットワークについて本明細書に記載されているように、ＶＭＭアレイ１１００の不揮発性メモリセル、すなわちＶＭＭアレイ１１００のフラッシュメモリは、サブスレッショルド領域で動作するように構成されることが好ましい。
本明細書に記載される不揮発性基準メモリセル及び不揮発性メモリセルは、以下のように弱い反転でバイアスされる：
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/nVt＝ｗ*Ｉｏ*ｅ(Vg)/nVt
式中、ｗ＝ｅ(-Vth)/nVtであり、
式中、Ｖｇは、メモリセル上のゲート電圧であり、Ｖｔｈは、メモリセルの閾値電圧であり、Ｖｔは、熱電圧＝ｋ*Ｔ／ｑであり、ｋはボルツマン定数であり、Ｔ温度はケルビンであり、ｑは電子電荷であり、ｎは、勾配係数＝１＋（Ｃｄｅｐ／Ｃｏｘ）であり、式中、Ｃｄｅｐ＝空乏層の容量であり、Ｃｏｘは、ゲート酸化物層の容量であり、Ｉｏは、閾値電圧に等しいゲート電圧におけるメモリセル電流である。Ｉｏは、（Ｗｔ／Ｌ）*ｕ*Ｃｏｘ*（ｎ－１）*Ｖｔ2に比例し、式中、ｕはキャリア移動性であり、Ｗｔ及びＬは、それぞれメモリセルの幅及び長さである。
メモリセル（基準メモリセル又は周辺メモリセルなど）又はトランジスタを使用して入力電流を入力電圧に変換するＩ－Ｖログ変換器を使用した場合：
Ｖｇ＝ｎ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
式中、ｗｐは、基準又は周辺メモリセルのｗである。
ベクトル行列乗算器ＶＭＭアレイとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/nVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
Ｗ＝ｅ(Vthp-Vtha)/nVt
式中、メモリアレイの各メモリセルのｗａ＝ｗである。
ワード線又は制御ゲートは、入力電圧のためのメモリセルの入力として使用することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、線形領域で動作するように構成することができる。
Ｉｄｓ＝β*（Ｖｇｓ－Ｖｔｈ）*Ｖｄｓ、β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ、
式中、Ｗｔ及びＬは、トランジスタのそれぞれの幅及び長さである。
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）、
すなわち、重みＷは（Ｖｇｓ－Ｖｔｈ）に比例する。
ワード線又は制御ゲート又はビット線又はソース線は、線形領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、メモリセルの出力として使用することができる。
Ｉ－Ｖ線形変換器用に、線形領域で動作するメモリセル（基準メモリセル又は周辺メモリセルなど）若しくはトランジスタ、又は抵抗器を使用して、入出力電流を入出力電圧に線形変換することができる。
あるいは、本明細書に記載されたＶＭＭアレイのフラッシュメモリセルは、飽和領域で動作するように構成することができる。
Ｉｄｓ＝１／２*β*（Ｖｇｓ－Ｖｔｈ）2、β＝ｕ*Ｃｏｘ*Ｗｔ／Ｌ
Ｗ＝α（Ｖｇｓ－Ｖｔｈ）2、すなわち重みＷは（Ｖｇｓ－Ｖｔｈ）2に比例する。
ワード線、制御ゲート、又は消去ゲートは、飽和領域内で動作するメモリセルの入力として使用することができる。ビット線又はソース線は、出力ニューロンの出力として使用することができる。
あるいは、本明細書に記載されるＶＭＭアレイのフラッシュメモリセルは、全ての領域又はそれらの組み合わせ（サブスレッショルド、線形、又は飽和）で使用することができる。
図９のＶＭＭアレイ３２のための他の実施形態は、参照により本明細書に組み込まれる米国特許出願第１５／８２６，３４５号に記載されている。上記出願に記載されているように、ソース線又はビット線は、ニューロン出力（電流和出力）として使用することができる。
図１２は、図２に示されるメモリセル２１０に特に適したニューロンＶＭＭアレイ１２００を示し、入力層と次の層との間のシナプスとして利用される。ＶＭＭアレイ１２００は、不揮発性メモリセルのメモリアレイ１２０３と、第１の不揮発性基準メモリセルの基準アレイ１２０１と、第２の不揮発性基準メモリセルの基準アレイ１２０２と、を含む。アレイの列方向に配置された基準アレイ１２０１及び１２０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力が流入する状態で、マルチプレクサ１２１４（一部のみ示す）を通してダイオード接続される。基準セルは、標的基準レベルに調整（例えば、プログラム）される。標的基準レベルは、基準ミニアレイマトリックス（図示せず）によって提供される。
メモリアレイ１２０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１２００により使用される重みを、それぞれのメモリセルに格納する。第２に、メモリアレイ１２０３は、メモリセルアレイ１２０３に格納された重みによって、入力（すなわち、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、これを基準アレイ１２０１及び１２０２が入力電圧に変換して、ワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に供給する）を有効に乗算して、次いで、全ての結果（メモリセル電流）を加算して、それぞれのビット線（ＢＬ０～ＢＬＮ）の出力を生成し、この出力は次の層への入力又は最後の層への入力となる。メモリアレイ１２０３が乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性はなくなり、また、電力効率も良い。ここで、電圧入力はワード線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３に提供され、出力は、読み出し（推論）動作中にビット線ＢＬ０～ＢＬＮそれぞれに現れる。各々のビット線ＢＬ０～ＢＬＮに配置された電流は、その特定のビット線に接続された全ての不揮発性メモリセルからの電流の合計関数を実行する。
表５は、ＶＭＭアレイ１２００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示し、ＦＬＴは、浮遊、すなわち電圧が印可されないことを示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表５：図１２のＶＭＭアレイ１２００の動作
Figure 2022531766000006
図１３は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１３００を示す。ＶＭＭアレイ１３００は、不揮発性メモリセルのメモリアレイ１３０３と、第１の不揮発性基準メモリセルの基準アレイ１３０１と、第２の不揮発性基準メモリセルの基準アレイ１３０２と、を含む。基準アレイ１３０１及び１３０２は、ＶＭＭアレイ１３００の行方向に延びる。ＶＭＭアレイは、ＶＭＭアレイ１３００においてワード線が垂直方向に延びることを除いて、ＶＭＭ １１００と同様である。ここで、入力はワード線（ＷＬＡ０、ＷＬＢ０、ＷＬＡ１、ＷＬＢ２、ＷＬＡ２、ＷＬＢ２、ＷＬＡ３、ＷＬＢ３）に提供され、出力は、読み出し動作中にソース線（ＳＬ０、ＳＬ１）に現れる。各ソース線に加えられる電流は、その特定のソース線に接続されたメモリセルからの全ての電流の合計関数を実行する。
表６は、ＶＭＭアレイ１３００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表６：図１３のＶＭＭアレイ１３００の動作
Figure 2022531766000007
図１４は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１４００を示す。ＶＭＭアレイ１４００は、不揮発性メモリセルのメモリアレイ１４０３と、第１の不揮発性基準メモリセルの基準アレイ１４０１と、第２の不揮発性基準メモリセルの基準アレイ１４０２と、を含む。基準アレイ１４０１及び１４０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に流入する電流入力を電圧入力ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に変換するように機能する。実際には、第１及び第２の不揮発性基準メモリセルは、電流入力がＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３を通って流入する状態で、マルチプレクサ１４１２（一部のみ示す）を通してダイオード接続される。マルチプレクサ１４１２は、読み出し動作中に第１及び第２の不揮発性基準メモリセルの各々のビット線（ＢＬＲ０など）の一定電圧を確実にするために、それぞれのマルチプレクサ１４０５及びカスコーディングトランジスタ１４０４を各々含む。基準セルは、標的基準レベルに調整される。
メモリアレイ１４０３は、２つの目的を果たす。第１に、ＶＭＭアレイ１４００によって使用される重みを格納する。第２に、メモリアレイ１４０３は、メモリセルアレイに格納された重みによって、入力（端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２、及びＢＬＲ３に提供された電流入力であり、基準アレイ１４０１及び１４０２がこれらの電流入力を入力電圧に変換して、制御ゲートＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３に供給する）を有効に乗算して、次いで、全ての結果（セル電流）を加算して出力を生成し、この出力はＢＬ０～ＢＬＮに出現し、次の層への入力又は最後の層への入力となる。メモリアレイが乗算及び加算の関数を実行することで、別個の乗算及び加算の論理回路の必要性がなくなり、また、電力効率も良い。ここで、入力は制御ゲート線（ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３）に提供され、出力は、読み出し動作中にビット線（ＢＬ０～ＢＬＮ）に現れる。各ビット線に加えられる電流は、その特定のビット線に接続されたメモリセルからの全ての電流の合計関数を実行する。
ＶＭＭアレイ１４００は、メモリアレイ１４０３内の不揮発性メモリセルの一方向調整を実施する。すなわち、各不揮発性メモリセルは消去され、次いで、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。これは、例えば、以下に記載される精密プログラミング技術を使用して実行することができる。過度に多くの電荷が浮遊ゲートに加えられる場合（誤った値がセルに格納されるなど）、セルは消去されなければならず、一連の部分的なプログラミング動作をやり直さなければならない。示されるように、同じ消去ゲート（ＥＧ０又はＥＧ１など）を共有する２つの行は、一緒に消去される必要があり（ページ消去として知られる）、その後、各セルは、浮遊ゲート上の所望の電荷に達するまで部分的にプログラムされる。
表７は、ＶＭＭアレイ１４００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表７：図１４のＶＭＭアレイ１４００の動作
Figure 2022531766000008
図１５は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ１５００を示す。ＶＭＭアレイ１５００は、不揮発性メモリセルのメモリアレイ１５０３と、基準アレイ１５０１又は第１の不揮発性基準メモリセルと、第２の不揮発性基準メモリセルの基準アレイ１５０２とを含む。ＥＧ線ＥＧＲ０、ＥＧ０、ＥＧ１、及びＥＧＲ１は垂直に延び、ＣＧ線ＣＧ０、ＣＧ１、ＣＧ２、及びＣＧ３並びにＳＬ線ＷＬ０、ＷＬ１、ＷＬ２、及びＷＬ３は水平に延びる。ＶＭＭアレイ１５００は、ＶＭＭアレイ１５００が双方向調整を実装することを除いてＶＭＭアレイ１４００と同様であり、個々のセルはそれぞれ、個別のＥＧ線の使用により、浮遊ゲートの所望の電荷量に達するために、完全に消去され、部分的にプログラムされ、必要に応じて部分的に消去することができる。示されるように、基準アレイ１５０１及び１５０２は、端子ＢＬＲ０、ＢＬＲ１、ＢＬＲ２及びＢＬＲ３内の入力電流を制御ゲート電圧ＣＧ０、ＣＧ１、ＣＧ２及びＣＧ３に変換し（マルチプレクサ１５１４を介したダイオード接続された基準セルの作用を通じて）、これらの電圧は行方向でメモリセルに印加される。電流出力（ニューロン）は、ビット線ＢＬ０～ＢＬＮ中にあり、各ビット線は、その特定のビット線に接続された不揮発性メモリセルからの全ての電流を合計する。
表８は、ＶＭＭアレイ１５００の動作電圧を示す。表中の列は、選択セルのワード線、非選択セルのワード線、選択セルのビット線、非選択セルのビット線、選択セルの制御ゲート、選択セルと同じセクタ内の非選択セルの制御ゲート、選択セルとは異なるセクタ内の非選択セルの制御ゲート、選択セルの消去ゲート、非選択セルの消去ゲート、選択セルのソース線、及び非選択セルのソース線に加えられる電圧を示す。行は、読み出し、消去、及びプログラムの各動作を示す。
表８：図１５のＶＭＭアレイ１５００の動作
Figure 2022531766000009
図２４は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２４００を示す。ＶＭＭアレイ２４００では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNでそれぞれ受信され、出力ＯＵＴＰＵＴ1、ＯＵＴＰＵＴ2、ＯＵＴＰＵＴ3、及びＯＵＴＰＵＴ4は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ生成される。
図２５は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２５００を示す。この例では、入力ＩＮＰＵＴ0、ＩＮＰＵＴ1、ＩＮＰＵＴ2、及びＩＮＰＵＴ3は、ソース線ＳＬ0、ＳＬ1、ＳＬ2、及びＳＬ3でそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２６は、図２に示されるメモリセル２１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２６００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２７は、図３に示されるメモリセル３１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２７００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMでそれぞれ受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNで生成される。
図２８は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２８００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴnがそれぞれ垂直制御ゲート線ＣＧ0、．．．、ＣＧNに受信され、出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2がソース線ＳＬ0及びＳＬ1に生成される。
図２９は、図４に示されるメモリセル４１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ２９００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ結合されているビット線制御ゲート２９０１－１、２９０１－２、．．．、２９０１－（Ｎ－１）及び２９０１－Ｎのゲートにそれぞれ受信される。例示的な出力ＯＵＴＰＵＴ1及びＯＵＴＰＵＴ2が、ソース線ＳＬ0及びＳＬ1に生成される。
図３０は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３０００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、ワード線ＷＬ0、．．．、ＷＬMに受信され、出力ＯＵＴＰＵＴ0、．．．、ＯＵＴＰＵＴNは、ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成される。
図３１は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３１００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵ0、．．．、ＯＵＴＰＵＴNは、垂直ソース線ＳＬ0、．．．、ＳＬNにそれぞれ生成され、それぞれのソース線ＳＬiは、列ｉ内の全てのメモリセルのソース線端子に結合されている。
図３２は、図３に示されるメモリセル３１０、図５に示されるメモリセル５１０、及び図７に示されるメモリセル７１０に特に適し、入力層と次の層との間でシナプス及びニューロンの一部として利用されるニューロンＶＭＭアレイ３２００を示す。この例では、入力ＩＮＰＵＴ0、．．．、ＩＮＰＵＴMは、制御ゲート線ＣＧ0、．．．、ＣＧMに受信される。出力ＯＵＴＰＵ0、．．．、ＯＵＴＰＵＴNは、垂直ビット線ＢＬ0、．．．、ＢＬNにそれぞれ生成され、それぞれのビット線ＢＬiは、列ｉ内の全てのメモリセルのビット線端子に結合されている。
長・短期メモリ
先行技術は、長・短期メモリ（long short-term memory、ＬＳＴＭ）として知られる概念を含む。ＬＳＴＭユニットは、しばしば、ニューラルネットワーク内で使用される。ＬＳＴＭによって、ニューラルネットワークは所定の任意の期間にわたって情報を記憶し、後続の動作においてその情報を使用することができる。従来のＬＳＴＭユニットは、セル、入力ゲート、出力ゲート、及び忘却ゲートを含む。３つのゲートは、セル内及びセル外への情報の流れ、及び情報がＬＳＴＭ内で記憶される期間を調整する。ＶＭＭは、ＬＳＴＭユニットにおいて特に有用である。
図１６は、例示的なＬＳＴＭ１６００を示す。この例におけるＬＳＴＭ１６００は、セル１６０１、１６０２、１６０３、及び１６０４を含む。セル１６０１は、入力ベクトルｘ0を受け取り、出力ベクトルｈ0及びセル状態ベクトルｃ0を生成する。セル１６０２は、入力ベクトルｘ1と、セル１６０１からの出力ベクトル（隠れ状態）ｈ0と、セル１６０１からのセル状態ｃ0とを受け取り、出力ベクトルｈ1とセル状態ベクトルｃ1とを生成する。セル１６０３は、入力ベクトルｘ2と、セル１６０２からの出力ベクトル（隠れ状態）ｈ1と、セル１６０２からのセル状態ｃ1とを受け取り、出力ベクトルｈ2とセル状態ベクトルｃ2とを生成する。セル１６０４は、入力ベクトルｘ3と、セル１６０３からの出力ベクトル（隠れ状態）ｈ2と、セル１６０３からのセル状態ｃ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＬＳＴＭは、単なる例である。
図１７は、図１６のセル１６０１、１６０２、１６０３及び１６０４に使用可能なＬＳＴＭセル１７００の例示的な実装を示す。ＬＳＴＭセル１７００は、入力ベクトルｘ（ｔ）と、先行するセルからのセル状態ベクトルｃ（ｔ－１）と、先行するセルからの出力ベクトルｈ（ｔ－１）とを受け取り、セル状態ベクトルｃ（ｔ）及び出力ベクトルｈ（ｔ）を生成する。
ＬＳＴＭセル１７００は、シグモイド関数デバイス１７０１、１７０２、及び１７０３を含み、各々が０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。ＬＳＴＭセル１７００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス１７０４及び１７０５と、２つのベクトルを乗算するための乗算器デバイス１７０６、１７０７、及び１７０８と、２つのベクトルを加算するための加算器デバイス１７０９と、を含む。出力ベクトルｈ（ｔ）は、システム内の次のＬＳＴＭセルに提供することができ、又は他の目的でアクセスすることができる。
図１８は、ＬＳＴＭセル１７００の一実装例であるＬＳＴＭセル１８００を示す。読者の便宜のために、ＬＳＴＭセル１７００からの同じ採番方法が、ＬＳＴＭセル１８００で使用される。シグモイド関数デバイス１７０１、１７０２、及び１７０３、並びにｔａｎｈデバイス１７０４は各々、複数のＶＭＭアレイ１８０１及び活性化回路ブロック１８０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＬＳＴＭセルにおいて特に有用であることが理解できる。乗算器デバイス１７０６、１７０７、及び１７０８、並びに加算器デバイス１７０９は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック１８０２は、デジタル方式、又はアナログ方式で実装され得る。
ＬＳＴＭセル１８００の代替例（及びＬＳＴＭセル１７００の実装の別の例）を図１９に示す。図１９では、シグモイド関数デバイス１７０１、１７０２及び１７０３、並びにｔａｎｈデバイス１７０４は、同じ物理ハードウェア（ＶＭＭアレイ１９０１及び活性化関数ブロック１９０２）を、時分割多重化された方式で共有する。ＬＳＴＭセル１９００はまた、２つのベクトルを乗算するための乗算器デバイス１９０３と、２つのベクトルを加算するための加算器デバイス１９０８と、（活性化回路ブロック１９０２を含む）ｔａｎｈデバイス１７０５と、シグモイド関数ブロック１９０２から出力される値ｉ（ｔ）を格納するレジスタ１９０７と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｆ（ｔ）*ｃ（ｔ－１）を格納するレジスタ１９０４と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｉ（ｔ）*ｕ（ｔ）を格納するレジスタ１９０５と、マルチプレクサ１９１０を介して乗算器デバイス１９０３から出力される値ｏ（ｔ）*ｃ～（ｔ）を格納する、レジスタ１９０６と、マルチプレクサ１９０９と、を含む。
ＬＳＴＭセル１８００が複数のＶＭＭアレイ１８０１とそれぞれの活性化関数ブロック１８０２のセットを複数含むのに対し、ＬＳＴＭセル１９００は、ＬＳＴＭセル１９００の実施形態において複数の層を表すために使用されるＶＭＭアレイ１９０１と活性化関数ブロック１９０２のセットを１つのみ含む。ＬＳＴＭセル１９００は、ＬＳＴＭセル１８００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／４で済むので、ＬＳＴＭ１８００よりも必要とするスペースが少ない。
ＬＳＴＭユニットは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ゲート付き回帰型ユニット
アナログＶＭＭ実装は、ゲート付き回帰型ユニット（gated recurrent unit、ＧＲＵ）システムに利用することができる。ＧＲＵは、反復ニューラルネットワーク内のゲート機構である。ＧＲＵは、ＧＲＵセルが一般にＬＳＴＭセルよりも少ない構成要素を含むことを除いて、ＬＳＴＭに類似している。
図２０は、例示的なＧＲＵ２０００を示す。この例におけるＧＲＵ２０００は、セル２００１、２００２、２００３及び２００４を含む。セル２００１は入力ベクトルｘ0を受け取り、出力ベクトルｈ0を生成する。セル２００２は、入力ベクトルｘ1と、セル２００１からの出力ベクトルｈ0とを受け取り、出力ベクトルｈ1を生成する。セル２００３は、入力ベクトルｘ2と、セル２００２からの出力ベクトル（隠れ状態）ｈ1とを受け取り、出力ベクトルｈ2を生成する。セル２００４は、入力ベクトルｘ3と、セル２００３からの出力ベクトル（隠れ状態）ｈ2とを受け取り、出力ベクトルｈ3を生成する。追加のセルも使用可能であり、４つのセルを有するＧＲＵは、単なる例である。
図２１は、図２０のセル２００１、２００２、２００３及び２００４に使用可能なＧＲＵセル２１００の例示的な実装を示す。ＧＲＵセル２１００は、入力ベクトルｘ（ｔ）と、先行するＧＲＵセルからの出力ベクトルｈ（ｔ－１）とを受け取り、出力ベクトルｈ（ｔ）を生成する。ＧＲＵセル２１００は、シグモイド関数デバイス２１０１及び２１０２を含み、各々が、出力ベクトルｈ（ｔ－１）及び入力ベクトルｘ（ｔ）からの成分に０～１の数を適用する。ＧＲＵセル２１００はまた、入力ベクトルに双曲線正接関数を適用するためのｔａｎｈデバイス２１０３と、２つのベクトルを乗算するための乗算器デバイス２１０４、２１０５及び２１０６と、２つのベクトルを加算するための加算器デバイス２１０７と、１から入力を減算して出力を生成するコンプリメンタリデバイス２１０８とを含む。
図２２は、ＧＲＵセル２１００の一実装例であるＧＲＵセル２２００を示す。読者の便宜のために、ＧＲＵセル２１００からの同じ採番方法が、ＧＲＵセル２２００で使用される。図２２から分かるように、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は各々、複数のＶＭＭアレイ２２０１及び活性化関数ブロック２２０２を含む。したがって、ＶＭＭアレイは、特定のニューラルネットワークシステムで使用されるＧＲＵセルにおいて特に使用されることが理解できる。乗算器デバイス２１０４、２１０５、２１０６、加算器デバイス２１０７、及びコンプリメンタリデバイス２１０８は、デジタル方式又はアナログ方式で実装される。活性化関数ブロック２２０２は、デジタル方式、又はアナログ方式で実装され得る。
ＧＲＵセル２２００の代替例（及びＧＲＵセル２３００の実装の別の例）を図２３に示す。図２３において、ＧＲＵセル２３００は、ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２を使用しており、シグモイド関数として構成された場合には、０～１の数を適用することで、入力ベクトルの各成分が出力ベクトルに寄与する程度を制御する。図２３では、シグモイド関数デバイス２１０１及び２１０２、並びにｔａｎｈデバイス２１０３は、同じ物理ハードウェア（ＶＭＭアレイ２３０１及び活性化関数ブロック２３０２）を、時分割多重化された方式で共有する。ＧＲＵセル２３００はまた、２つのベクトルを乗算するための乗算器デバイス２３０３と、２つのベクトルを加算するための加算器デバイス２３０５と、１から入力を減算して出力を生成するためのコンプリメンタリデバイス２３０９と、マルチプレクサ２３０４と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｒ（ｔ）を保持するレジスタ２３０６と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ（ｔ－１）*ｚ（ｔ）を保持するレジスタ２３０７と、マルチプレクサ２３０４を介して乗算器デバイス２３０３から出力される値ｈ＾（ｔ）*（１－ｚ（ｔ））を保持するレジスタ２３０８と、を含む。
ＧＲＵセル２２００がＶＭＭアレイ２２０１と活性化関数ブロック２２０２のセットを複数含むのに対し、ＧＲＵセル２３００は、ＧＲＵセル２３００の実施形態において複数の層を表すために使用されるＶＭＭアレイ２３０１と活性化関数ブロック２３０２のセット１つのみを含む。ＧＲＵセル２３００は、ＧＲＵセル２２００と比較して、ＶＭＭ及び活性化関数ブロックのために必要とするスペースは１／３で済むので、ＧＲＵセル２２００よりも必要とするスペースが少ない。
ＧＲＵシステムは典型的には複数のＶＭＭアレイを含み、これらは各々、加算器及び活性化回路ブロック及び高電圧生成ブロックなどの、ＶＭＭアレイの外側の特定の回路ブロックによって提供される機能を必要とすることが更に理解できる。各ＶＭＭアレイのための別個の回路ブロックを提供することは、半導体デバイス内にかなりの量のスペースを必要とし、幾分非効率的であろう。
ＶＭＭアレイへの入力は、アナログレベル、バイナリレベル、又はデジタルビット（この場合、デジタルビットを適切な入力アナログレベルに変換するためにＤＡＣが必要とされる）であり、出力はアナログレベル、バイナリレベル、又はデジタルビット（この場合、出力アナログレベルをデジタルビットに変換するために出力ＡＤＣが必要とされる）であり得る。
ＶＭＭアレイ内のそれぞれのメモリセルに関して、それぞれの重みＷは、単一のメモリセルによって、又は差分セルによって、又は２つのブレンドメモリセル（２つのセルの平均）によって実装することができる。差分セルの場合では、重みＷを差分重み（Ｗ＝Ｗ＋－Ｗ－）として実装するために、２つのメモリセルが必要とされる。２つのブレンドメモリセルの場合は、２つのセルの平均として重みＷを実装するために２つのメモリセルが必要とされる。
ＶＭＭアレイ用の構成可能な入出力システム
図３３は、ＶＭＭシステム３３００を示す。ＶＭＭシステム３３００は、ＶＭＭアレイ３３０１（ＶＭＭアレイ１１００、１２００、１３００、１４００、１５００、２４００、２５００、２６００、２７００、２８００、２９００、３０００ ３１００、及び３２００又は他のＶＭＭアレイ設計など、前述のＶＭＭアレイ設計のいずれかに基づき得る）と、低電圧行デコーダ３３０２と、高電圧行デコーダ３３０３と、列デコーダ３３０４と、列ドライバ３３０５と、制御論理３３０６と、バイアス回路３３０７と、ニューロン出力回路ブロック３３０８と、入力ＶＭＭ回路ブロック３３０９と、アルゴリズムコントローラ３３１０と、高電圧発生器ブロック３３１１と、アナログ回路ブロック３３１５と、制御論理３３１６と、を含む。
入力回路ブロック３３０９は、外部入力からメモリアレイ３３０１の入力端子へのインターフェースとして機能する。入力回路ブロック３３０９は、限定することなく、ＤＡＣ（デジタル－アナログ変換器）、ＤＰＣ（デジタル－パルス変換器）、ＡＰＣ（アナログ－パルス変換器）、ＩＶＣ（電流－電圧変換器）、ＡＡＣ（電圧－電圧スケーラなどのアナログ－アナログ変換器）、又はＦＡＣ（周波数－アナログ変換器）を含み得る。ニューロン出力ブロック３３０８は、メモリアレイ出力から外部インターフェース（図示せず）へのインターフェースとして機能する。ニューロン出力ブロック３３０８は、限定することなく、ＡＤＣ（アナログ－デジタル変換器）、ＡＰＣ（アナログ－パルス変換器）、ＤＰＣ（デジタル－パルス変換器）、ＩＶＣ（電流－電圧変換器）、又はＩＦＣ（電流－周波数変換器）を含み得る。ニューロン出力ブロック３３０８は、限定することなく、アクティブ化機能、正規化回路、及び／又は再スケーリング回路を含んでもよい。
図３４は、ＶＭＭアレイ３４０１、３４０２、３４０３、及び３４０４と、高電圧行デコーダ３４０５及び３４０６と、低電圧行デコーダ３４０７及び３４０８と、入力ブロック３４０９及び３４１０（それぞれ、図３３の入力ブロック３３０９と同様）と、出力ブロック３４１１及び３４１２と、を含む、ＶＭＭシステム３４００を示す。この構成では、ＶＭＭアレイ３４０１及び３４０３は、１組のビット線並びに出力ブロック３４１１を共有し、ＶＭＭアレイ３４０２及び３４０４は、１組のビット線並びに出力ブロック３４１２を共有する。ＶＭＭアレイ３４０１及び３４０３は、同時に読み出すことができ、それにより、これらのアレイは単一のより大きいアレイへと効果的に組み合わされるが、異なる時間に読み出すこともできる。出力ブロック３４１１及び３４１２（図３３の出力ブロック３３０８と同様）は、一度に１つのアレイからの読み出し動作（アレイ３４０１又は３４０３からの読み出しのみなど）又は同時に複数のアレイからの読み出し動作（アレイ３４０１及び３４０３の両方からの読み出しなど）を処理することができるように構成可能である。
図３５Ａは、ＶＭＭアレイ３５０３、３５０４、及び３５０５と、共有グローバル高電圧行デコーダ３５０６と、ローカル高電圧行デコーダ３５０７及び３５０８と、共有低電圧行デコーダ３５０９と、入力ブロック３５１０と、を含む、ＶＭＭシステム３５００を示す。この構成では、ＶＭＭアレイ３５０３、３５０４、及び３５０５は入力ブロック３５１０を共有する。ＶＭＭアレイ３５０３、３５０４、及び３５０５は、入力ブロック３５１０を介して入力（例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線上の電圧又はパルス）を同時に受け取ることができ、それにより、これらのアレイは単一のより大きいＶＭＭアレイへと効果的に組み合わされるが、入力ブロック３５１０を介して異なる時間に入力を受け取ることもでき、それにより、これらのアレイは、同じ入力ブロックを有する３つの別個のＶＭＭアレイとして効果的に動作する。入力ブロック３５１０は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
図３５Ｂは、ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４と、グローバル高電圧デコーダ３５１５と、ローカル高電圧行デコーダ３５１６、３５１７、及び３５１８と、共有低電圧行デコーダ３５１９と、入力ブロック３５２０と、を含む、ＶＭＭシステム３５５０を示す。この構成では、ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４は入力ブロック３５２０を共有する。ＶＭＭアレイ３５１１、３５１２、３５１３、及び３５１４は、入力ブロック３５２０を介して入力（例えば、ワード線、制御ゲート線、消去ゲート線、又はソース線上の電圧又はパルス）を同時に受け取ることができ、それによって、それらを単一のより大きいアレイに効果的に組み合わせることになり、又は、入力ブロック３５２０を介して異なる時間に入力を受け取ることができ、それによって、それらを同じ入力ブロック３５２０を有する３つの別個のＶＭＭアレイとして効果的に動作させることになる。入力ブロック３５２０は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。例えば、図３５Ａの入力ブロック３５１０は、３つのアレイへの入力を提供するように構成され、入力ブロック３５２０は、４つのアレイに対する入力を提供するように構成される。
図３６は、水平セット３６０１及び水平セット３６１１を含む、ＶＭＭシステム３６００を示す。水平セット３６０１は、ＶＭＭアレイ３６０２及び３６０３と、共有グローバル高電圧行デコーダ３６０４と、ローカル高電圧行デコーダ３６０５と、共有低電圧行デコーダ３６０６と、入力ブロック３６０７と、を含む。ＶＭＭアレイ３６０２及び３６０３は、入力ブロック３６０７を共有する。入力ブロック３６０７は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
水平セット３６１１は、ＶＭＭアレイ３６１２及び３６１３と、共有グローバル高電圧デコーダ３６１４と、ローカル高電圧行デコーダ３６１５と、共有低電圧行デコーダ３６１６と、入力ブロック３６１７と、を含む。ＶＭＭアレイ３６１２及び３６１３は、入力ブロック３６１７を共有する。入力ブロック３６１７は、一度に１つのアレイに、又は一度に複数のアレイに入力を提供することができるように構成可能である。
第１の構成では、水平セット３６０１は出力ブロック３６０８及び３６０９を利用し、水平セット３６１１は出力ブロック３６１８及び３６１９を利用する。出力ブロック３６０８、３６０９、３６１８、及び３６１９は、出力として電流、デジタルパルス、又はデジタルビットを出力し得る。デジタルビットが出力される一実施形態では、出力ブロック３６０８、３６０９、３６１８、及び３６１９はそれぞれ８個のデジタル出力ビットを出力する。
第２の構成では、出力ブロック３６０８及び３６０９は無効化され、ＶＭＭアレイ３６０２及び３６１２は出力ブロック３６１８を共有し、ＶＭＭアレイ３６０３及び３６１３は出力ブロック３６１９を共有する。ＶＭＭアレイ３６０２及び３６１２は、同時に読み出すことができ、それにより、これらのアレイは単一のより大きい垂直アレイ（すなわち、ビット線あたりにより多くの行）へと効果的に組み合わされるが、異なる時間に読み出すこともできる。ＶＭＭアレイ３６０２及び３６１２が同時に読み出される場合、一実施形態では、それぞれの出力ブロックは、１つのアレイのみに結合されたときに８ビットの範囲の値を出力し、次いで、出力ブロック３６０８及び３６０９は、それぞれ９ビットの範囲の値を出力することになる。これは、２つのアレイを単一の大きいアレイとして使用することによって倍増された出力ニューロンのダイナミックレンジに起因する。この場合、次のアレイが８ビットのダイナミックレンジのみを必要とする場合、出力の再スケーリング又は正規化（例えば、９ビットから８ビットまでスケーリングする）が必要になり得る。別の実施形態では、出力ビットの数は、垂直アレイの数を増加させるときに同一に維持され得る。
同様に、ＶＭＭアレイ３６０３及び３６１３は、同時に読み出すことができ、これにより、それらを単一のより大きいアレイに効果的に組み合わせるか、又は異なる時間に読み出すこともできる。出力ブロック３６１８及び３６１９は、一度に１つのアレイから、又は一度に複数のアレイからの読み出し動作を処理することができるように構成可能である。
ＶＭＭシステム３４００、３５００、３５５０、及び３６００では、システムが、それぞれの入力ブロック及び／又は出力ブロックと共に異なる数のアレイを利用するように構成可能である場合、入力ブロック又は出力ブロック自体も構成可能でなければならない。例えば、ＶＭＭシステム３６００では、出力ブロック３６０８、３６０９、３６１２、及び３６１９がそれぞれ、単一のアレイに結合されたときに８ビット出力を出力し、次いで、出力ブロック３６１８及び３６１９はそれぞれ、２つのアレイ（例えば、それぞれアレイ３６０２及び３６１２、並びにアレイ３６０３及び３６０９）に結合されたときに、９ビット出力を出力するように構成される必要がある。次いで、それらの出力が別のＶＭＭシステムの入力ブロックに提供される場合、出力は、入力ブロックが９ビット入力の代わりに８ビット入力を予期している場合に最初に正規化される必要がある。Ｎビット値をＭビット値に変換するための多数のアナログ及びデジタル技術が知られている。前述の実施例では、Ｎは９となり、Ｍは８となるが、当業者は、Ｎ及びＭが任意の正の整数であり得ることを理解するであろう。
追加のアレイをＶＭＭシステム３４００、３５００、３５５０、及び３６００内の入力ブロック及び出力ブロックに結合することができる。例えば、ＶＭＭシステム３４００では、２つを超えるアレイを入力ブロック３４０９に結合することができ、２つを超えるアレイを入力ブロック３４１０に結合することができ、ＶＭＭシステム３５００では、３つを超えるアレイを入力ブロック３５１０に結合することができ、ＶＭＭシステム３５５０では、４つを超えるアレイを入力ブロック３５２０に結合することができ、ＶＭＭシステム３６００では、２つを超えるアレイを入力ブロック３６０７に結合することができ、２つを超えるアレイを入力ブロック３６１７に結合することができ、２つを越えるアレイを出力ブロック３６１８に結合することができ、２つを超えるアレイを出力ブロック３６１９に結合することができる。これらの状況では、関連する入力ブロック及び出力ブロックは、追加のアレイを収容するように更に構成される必要がある。
ＶＭＭシステム３４００内の出力ブロック３４１１及び３４１２、並びに出力ブロック３６１８及び３６１９は、プログラミング動作後の検証動作のために構成可能である必要があり、検証動作は、出力ブロックに接続されたアレイの数に影響を受けることになる。更に、プログラム／消去検証（調整のため、すなわち、所望のセル電流を生成するためにメモリの浮遊ゲートに特定の電荷を生成するために使用される）については、出力ブロック回路の精度（例えば、１０ビット）は、推論読み出しに必要とされる精度（例えば、８ビット）より大きい必要がある。例えば、検証精度は、推論精度よりも１ビット以上、例えば、１～５ビット大きい。これは、限定することなく、検証結果分布、データ保持ドリフト、温度又は変動などのために、１つのレベルと次のレベルとの間の十分なマージンを確保するために必要とされる。
加えて、較正は、出力ブロックに接続されたアレイの数によって影響されるため、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７並びに出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９は、較正プロセス用に構成可能である必要がある。較正プロセスの例としては、オフセット、漏れ、製造プロセス、及び温度変化による変化を補償するプロセスが挙げられる。
次のセクションでは、入力ブロック及び出力ブロックが、入力ブロック又は出力ブロックに結合されたアレイの数に基づいて構成されることを可能にするために、入力ブロック及び出力ブロックにおいて使用するための様々な調整可能な構成要素が開示される。
入力ブロック及び出力ブロックの構成要素
図３７Ａは、図３４及び図３６の出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９などの出力ブロックに使用され得る積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００を示し、出力ニューロン、ＩNEU３７０６は、出力ブロックによって受け取られたＶＭＭアレイからの出力電流である。積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００は、ＩNEU３７０６を一連のデジタル／アナログパルス又はデジタル出力ビットに変換する。図３７Ｂは、図３７Ａの積分型ＡＤＣ３７００の動作波形を示す。出力波形３７１０、３７１１、及び３７１４は、１つの電流レベルのものである。出力波形３７１２、３７１３、及び３７１５は、別のより高い電流レベルのものである。波形３７１０及び３７１２は、出力電流の値に比例するパルス幅を有する。波形３７１１及び３７１３は、出力電流の値に比例するパルス数を有する。波形３７１４及び３７１５は、出力電流の値に比例するデジタル出力ビットを有する。
一実施形態では、ＡＤＣ３７００は、ＩNEU３７０６（ＶＭＭアレイから出力ブロックによって受け取られたアナログ出力電流である）を、図３８中の例に示されるように、ニューロン出力ブロック内のアナログ出力電流の大きさに比例して幅が変化するデジタルパルスに変換する。ＡＤＣ３７００は、積分オペアンプ３７０１からなる積分器を含み、調整可能な積分コンデンサ３７０２は、調整可能な基準電流ＩＲＥＦ３７０７に対してＩNEU３７０６を積分する。任意選択的に、ＩＲＥＦ３７０７は、０の温度係数、又はニューロン電流ＩNEU３７０６を追跡する温度係数を有するバンドギャップフィルタ含み得る。後者は、必要に応じて、試験フェーズ中に決定された値を含む基準アレイから得ることができる。初期化フェーズの間、スイッチ３７０８は閉じられる。次いで、ＶOUT３７０３及び演算増幅器３７０１の負端子への入力は、ＶＲＥＦ値に等しくなる。その後、スイッチ３７０８が開かれ、固定された期間ｔｒｅｆの間、スイッチＳ１が閉じられ、ニューロン電流ＩNEU３７０６が上方に積分される。一定時間ｔｒｅｆの間、Ｖｏｕｔは上昇し、ニューロン電流が変化するにつれてその傾きは変化する。その後、期間ｔｍｅａｓの間、一定基準電流ＩＲＥＦは、時間ｔｍｅａｓ（Ｖｏｕｔが降下する期間）に、スイッチＳ１を開き、スイッチＳ２を閉じることによって下方に積分され、ｔｍｅａｓは、ＶｏｕｔをＶＲＥＦまで下方に積分するために必要とされる時間である。
出力ＥＣ３７０５は、ＶＯＵＴ＞ＶＲＥＦＶのときに高くなり、そうでなければ低くなる。したがって、ＥＣ３７０５は、幅が期間ｔｍｅａｓを反映するパルスを生成し、ｔｍｅａｓは次に、電流ＩNEU３７０６（図３７Ｂのパルス３７１０及び３７１２）に比例する。
任意選択的に、出力パルスＥＣ３７０５は、別のＶＭＭアレイの入力ブロックなどの、次の回路の段階への送信のために、均一な期間の一連のパルスに変換することができる。期間ｔｍｅａｓの開始時に、出力ＥＣ３７０５は、基準クロック３７４１を用いてＡＮＤゲート３７４０に入力される。出力は、ＶＯＵＴ＞ＶＲＥＦの期間中、パルス系列３７４２（パルス系列３７４２のパルスの周波数はクロック３７４１の周波数と同じである）になる。パルスの数は、期間ｔｍｅａｓに比例し、期間ｔｍｅａｓは、電流ＩNEU３７０６（図３７Ｂの波形３７１１及び３７１３）に比例する。
任意選択的に、パルス系列３７４３を、カウンタ３７２０に入力することができ、カウンタ３７２０は、パルス系列３７４２のパルスの数をカウントし、ニューロン電流ＩNEU３７０６に正比例するパルス系列３７４２におけるパルスの数のデジタルカウントであるカウント値３７２１を生成する。カウント値３７２１は、１組のデジタルビット（図３７Ｂの波形３７１４及び３７１５）を含む。
別の実施形態では、積分型二重傾斜ＡＤＣ３７００は、ニューロン電流ＩNEU３７０６をパルスに変換することができ、パルスの幅は、ニューロン電流ＩNEU３７０６の大きさに反比例している。この反転は、デジタル又はアナログ方式で行うことができ、後続の回路へ出力するための一連のパルス又はデジタルビットに変換することができる。
調整可能な積分コンデンサ３７０２及び調整可能な基準電流ＩＲＥＦ３７０７は、積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００に接続されたアレイの数Ｎに応じて調整される。例えば、Ｎ個のアレイが積分型二重混合傾斜アナログ－デジタル変換器（ＡＤＣ）３７００に接続されると、調整可能な積分コンデンサ３７０２が１／Ｎによって調整されるか、又は調整可能な基準電流ＩＲＥＦ３７０７がＮによって調整される。
任意選択的に、ＶＭＭアレイ及びＡＤＣ３７００が動作温度以上である間に較正ステップを実行して、ＶＭＭアレイ又は制御回路内に存在する任意の漏れ電流をオフセットすることができ、その後はオフセット値を図３７ＡのＩｎｅｕから差し引くことができる。較正ステップはまた、温度変動に加えて、プロセス又は電圧供給の変動を補正するために実行することができる。
出力回路ブロックの動作方法は、まず、オフセット及び電圧供給変動補償のための較正を実行することを含む。次に、出力変換を実行し（ニューロン電流をパルス又はデジタルビットに変換するなど）、次いで、出力範囲を次のＶＭＭアレイの入力範囲に揃えるためにデータ正規化を実行する。データ正規化は、データ圧縮又は出力データ量子化を含んでもよい（１０ビットから８ビットまでビット数を低減するためなど）。活性化は、出力変換後、又はデータ正規化、圧縮、若しくは量子化後に実行されてもよい。較正アルゴリズムの例は、以下に説明する図４９、図５０Ａ、図５０Ｂ、及び図５１を参照して以下に説明する。
図３９は、任意選択的に使用して、ニューロン出力電流を電圧に変換することができる電流－電圧変換器３９００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。このように、電流－電圧変換器３９００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７で、これらのブロックが入力としてアナログ電流（パルス又はデジタルデータとは対照的に）を受け取っているときに使用され得る。
電流－電圧変換器３９００は、オペアンプ３９０１、調整可能なコンデンサ３９０２、スイッチ３９０３、スイッチ３９０４、及びここで入力ブロックによって受け取られるニューロン電流ＩＮＥＵを表す電流源３９０５を含む。電流－電圧動作中、スイッチ３９０３は開かれ、スイッチ３９０４は閉じられる。出力Ｖｏｕｔは、ニューロン電流ＩＮＥＵ３９０５の大きさに比例して振幅を増加させる。
図４０は、任意選択的に使用して、信号ＤＩＮとして受信されるデジタルデータを電圧に変換することができるデジタルデータ－電圧変換器４０００を示し、この電圧は、例えば、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線上の）入力として印加され得る。スイッチ４００２が閉じられると、信号ＤＩＮのデータ入力により、コンデンサ４００３へのＩＲＥＦ＿ｕ基準電流４００１が有効となり、その端子に電圧が発生する。このように、デジタルデータ－電圧変換器４０００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７で、これらのブロックが入力としてデジタルデータ（パルス又はアナログ電流とは対照的に）を受信しているときに使用され得る。加えて、デジタルデータ－電圧変換器４０００は、信号ＤＩＮとして入力側で受信されたデジタルデータが、スイッチ４００２及び４００４を開き、スイッチ４００５を閉じることによって出力ＯＵＴへ直接供給されるように構成され得る。このように、スイッチ４００２、４００４及び４００５は、出力ＯＵＴがキャパシタ４００３で電圧を受け取るか、又は信号ＤＩＮとして受信されたデジタルデータを直接受け取ることを可能にするように構成される。図示の実施形態では、信号ＤＩＮはデータパルスとして受け取られる。
デジタルデータ－電圧パルス変換器４０００は、調整可能な基準電流４００１、スイッチ４００２、可変コンデンサ４００３、スイッチ４００４、及びスイッチ４００５を含む。調整可能な基準電流４００１及び可変コンデンサ４００３は、デジタルデータ－電圧パルス変換器４００が取り付けられるアレイのサイズの差を調整するために、異なる値で構成され得る。動作中、デジタルデータが高いときはいつでもスイッチ４００２が閉じるように、デジタルデータはスイッチ４００２を制御する。スイッチが閉じると、調整可能な基準電流４００１は可変コンデンサ４００３を充電する。スイッチ４００４は、アレイが読み出される準備ができたときなど、ノードＯＵＴで出力を提供することが所望されるときはいつでも閉じられる。代替的に、スイッチ４００４が開かれてもよく、スイッチ４００５が閉じられてもよく、データ入力を出力として通過させることができる。
図４１は、アナログニューロン電流をデジタルデータに変換するために任意選択的に使用され得る、構成可能なアナログ－デジタル変換器４１００を示す。構成可能なアナログ－デジタル変換器４１００は、出力ニューロン、ＩNEU４１０１が出力ブロックによって受け取られる出力電流である、図３４及び３６の出力ブロック３４１１、３４１２、３６０８、３６０９、３６１８、及び３６１９などの出力ブロックで使用され得る。
構成可能なアナログ－デジタル変換器４１００は、電流源４１０１、可変抵抗器４１０２、及びアナログ－デジタル変換器４１０３を含む。電流ＩＮＥＵ４１０１は可変抵抗器４１０２ Ｒｎｅｕを横切って降下し、電圧Ｖｎｅｕ＝Ｉｎｅｕ*Ｒｎｅｕを生成する。ＡＤＣ ４１０３（限定することなく、積分型ＡＤＣ、ＳＡＲ ＡＤＣ、フラッシュＡＤＣ、又はシグマデルタ型ＡＤＣなど）は、この電圧をデジタルビットに変換する。
図４２は、任意選択的に使用して、アナログニューロン電流を電圧に変換することができる構成可能な電流－電圧変換器４２００を示し、この電圧は、ＶＭＭメモリアレイの（例えば、ＷＬ線又はＣＧ線の）入力として印加され得る。このように、構成可能な電流－電圧変換器４２００は、図３４、図３５Ａ、図３５Ｂ、及び図３６の入力ブロック３４０９、３４１０、３５１０、３５２０、３６０７、及び３６１７で、これらのブロックが入力としてアナログ電流（パルス又はデジタルデータとは対照的に）を受け取っているときに使用され得る。構成可能な電流－電圧変換器４２００は、調整可能な抵抗器Ｒｉｎ４２０２を含み、入力電流Ｉｉｎ４２０１（受け取られた入力電流である）を受け取り、Ｖｉｎ４２０３＝Ｉｉｎ*Ｒｉｎを生成する。
図４３Ａ及び図４３Ｂは、入力ブロック、行デコーダ、又は出力ブロック内で使用されるデジタルビット－パルス幅変換器４３００を示す。デジタルビット－パルス幅変換器４３００から出力されるパルス幅は、デジタルビットの値に比例する。
デジタルビット－パルス幅変換器は、バイナリカウンタ４３０１を含む。バイナリカウンタ４３０１の状態Ｑ［Ｎ：０］は、ロードシーケンス内のシリアルデータ又はパラレルデータによってロードされ得る。行制御論理４３１０は、図３７の積分型ＡＤＣなどのブロックから提供されるデジタルデータ入力の値に比例するパルス幅を有する電圧パルスＷＬＥＮを出力する。
図４３Ｂは、幅がそのデジタルビット値に比例する出力パルス幅の波形を示す。最初に、受信されたデジタルビット内のデータが反転され、反転されたデジタルビットは、カウンタ４３０１にシリアル又はパラレルのどちらかでロードされる。次いで、行パルス幅は、最大カウンタ値に達するまで、バイナリ方式でカウントすることによって、波形４３２０に示されるように行制御論理４３１０によって生成される。
ＤＩＮに４ビット値を使用する例を表９に示す。
表９：出力パルス幅へのデジタル入力ビット
Figure 2022531766000010
任意選択的に、パルス系列－パルス変換器を使用して、パルス系列を含む出力を、パルス系列のパルス数に比例して幅が変化する単一パルスに変換して、ＶＭＭアレイ内のワード線又は制御ゲートに適用されるＶＭＭアレイへの入力として使用することができる。パルス系列－パルス変換器の例は、制御論理を有するバイナリカウンタである。
別の実施形態は、アップバイナリカウンタ及びデジタル比較論理を利用する。すなわち、出力パルス幅は、バイナリカウンタのデジタル出力がデジタル入力ビットと同じになるまで、アップバイナリカウンタを使用してカウントすることによって生成される。
別の実施形態は、ダウンバイナリカウンタを利用する。最初に、ダウンバイナリカウンタは、デジタルデータ入力パターンとシリアル又はパラレルにロードされる。次に、出力パルス幅は、バイナリカウンタのデジタル出力が最小値、すなわち「０」論理状態に達するまでダウンバイナリカウンタをカウントダウンすることによって生成される。
図４４Ａは、バイナリ指標パルスステージ４４０１－ｉを含むデジタルデータ－パルス行変換器４４００を示し、ｉは、０～Ｎ（すなわち、最下位ビットＬＳＢから最上位ビットＭＳＢ）の範囲である。行変換器４４００は、アレイへの行入力を提供するために使用される。それぞれのステージ４４０１－ｉは、ラッチ４４０２－ｉ、スイッチ４４０３－ｉ、及び行デジタルバイナリ指標パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）を含む。例えば、バイナリ指標パルス入力４４０４－０（ＲＤＩＮ＿Ｔ０）は、１つの時間単位、すなわち１＊ｔｐｌｓ１単位に等しいパルス幅を有する。バイナリ指標パルス入力４４０４－１（ＲＤＩＮ＿Ｔ１）は、２つの時間単位、すなわち２＊ｔｐｌｓ１単位に等しい幅を有する。バイナリ指標パルス入力４４０４－２（ＲＤＩＮ＿Ｔ２）は、４つの時間単位、すなわち４＊ｔｐｌｓ１単位に等しい幅を有する。バイナリ指標パルス入力４４０３－３（ＲＤＩＮ＿Ｔ３）は、８つの時間単位、すなわち８＊ｔｐｌｓ１単位に等しい幅を有する。それぞれの行の（ニューロン出力からの）パターンＤＩＮｉのデジタルデータは、ラッチ４４０２－ｉに格納される。ラッチ４４０２－ｉの出力Ｑｉが「１」である場合、スイッチ４４０３－ｉを介して、バイナリ指標パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）が時間加算変換器ノード４４０８に転送される。それぞれの時間加算変換器ノード４４０８は、ＮＡＮＤゲート４４０４の対応の入力に接続され、ＮＡＮＤゲート４４０４の出力は、レベルシフトインバータ４４０５を介して行変換器ＷＬＩＮ／／ＣＧＩＮ４４０９の出力を生成する。バイナリ指標パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）は、一度に１つのデジタルビットの逐次的な方法で、例えば、ＬＳＢからＭＳＢに、又はＭＳＢからＬＳＢに、又は任意のランダムなビットパターンでイネーブルされるため、時間加算変換器ノード４４０８は、共通の計時信号ＣＬＫに応答して、バイナリ指標パルス入力４４０４－ｉ（ＲＤＩＮ＿Ｔｉ）を時間的に順次加算する。
図４４Ｂは、例示的な波形４４２０を表す。ここでは、行デジタルバイナリ指標パルス入力４４０４－ｉ、具体的には４４０４－０、４４０４－１、４４０４－２、及び４４０４－３のための例示的な信号、並びにＷＬ０及びＷＬ３とラベル付けされたレベルシフトインバータ４４０５からの例示的な出力を示し、ＷＬ０及びＷＬ３は、行変換器４４００回路から生成されている。この例では、ＷＬ０は、その行デコーダの行デジタル入力４４０３－０及び４４０３－３がアサートされることによって生成され（ＷＬ０：Ｑ０＝「１」、Ｑ３＝「１」）、ＷＬ３は、その行デコーダの行デジタル入力４４０３－１及び４４０３－２がアサートされることによって生成される（ＷＬ３：Ｑ１＝「１」、Ｑ２＝「１」）。行デジタル入力４４０３－ｘのいずれもアサートされない場合、ＷＬ０又はＷＬ３にパルスは存在しない（この制御論理は図４４Ａには示されていない）。デジタル－パルス行変換器４４００の他の行からの入力、すなわち、ＮＡＮＤゲート４４０４への他の入力は、この期間中に高くなると想定される。
図４４Ｃは、行デジタルバイナリ指標パルス入力４４０３－ｉ（ＲＤＩＮ＿Ｔｉ）を生成する行デジタルパルス発生器４４１０を示し、パルスの幅は、図４４Ａに関連して上述したように、デジタルビットのバイナリ値に比例している。
図４５Ａは、電流源４４０１（受け取られたニューロン電流Ｉｎｅｕを表す）と、スイッチ４４０２と、可変構成可能コンデンサ４４０３と、比較器４４０４であって、Ｖｎｅｕと印された可変構成可能コンデンサ４４０３にわたって展開される電圧を非反転入力として受け取り、構成可能基準電圧Ｖｒｅｆｒａｍｐを反転入力として受け取り、出力Ｃｏｕｔを生成する、比較器４４０４と、を含む、ランプ型アナログ－デジタル変換器４４００を示す。Ｖｒｅｆｒａｍｐは、比較クロックサイクルごとに離散的なレベルでランプアップされる。比較器４４０４は、ＶｎｅｕをＶｒｅｆｒａｍｐと比較し、結果として、出力ＣｏｕｔはＶｎｅｕ＞Ｖｒｅｆｒａｍｐのときに「１」となり、そうでなければ「０」となる。このように、出力Ｃｏｕｔは、Ｉｎｅｕに応答して幅が変化するパルスとなる。Ｉｎｅｕが大きいほどＣｏｕｔが「１」となる期間は長くなり、その結果、出力Ｃｏｕｔのパルス幅は広くなる。デジタルカウンタ４４２０は、それぞれＯＴ１Ａ及びＯＴ２Ａと印された２つの異なるＩｎｅｕ電流について、図４５Ｂに示すように出力Ｃｏｕｔのそれぞれのパルスをデジタル出力ビットに変換する。代替的に、ランプ電圧Ｖｒｅｆｒａｍｐは、図４５Ｂのグラフ４４５０に示される連続ランプ電圧４４５５である。粗－微細ランプ変換アルゴリズムを利用することによって変換時間を短縮するための、複数ランプの実施形態を図４５Ｃに示す。第１の粗基準ランプ基準電圧４４７１を、それぞれのＩｎｅｕの部分範囲を求めるために高速でランプさせる。次に、部分範囲ごとの微細基準ランプ基準電圧４４７２、すなわちＶｒｅｆｒａｍｐ １及びＶｒｅｆｒａｍｐ ２をそれぞれ使用して、対応の部分範囲内のＩｎｅｕ電流を変換する。図示のように、微細基準ランプ電圧の２つの部分範囲が存在する。２つ以上の粗／微細ステップ又は２つの部分範囲が可能である。
図５２は、図３７Ａ及び図４５Ａの比較器３７０４及び４４０４の代わりに任意選択的に使用するための比較器５２００を示す。比較器５２００は、静的比較器（必ずしもクロック信号を利用しない）又は動的比較器（比較クロック信号を利用する）であり得る。比較器５２００が動的比較器である場合、比較器５２００は、クロック交差結合インバータ比較器、ＳｔｒｏｎｇＡＲＭ比較器、又は他の既知の動的比較器を含み得る。比較器５２００は、粗イネーブル５２０３がアサートされたときに粗比較器として動作し、比較器５２００は、微細イネーブル５２０４がアサートされたときに微細比較器として動作する。選択信号５２０６は、粗比較器モード又は精細イネーブルモードを示すために任意選択的に使用することができ、又は、比較器５２００を静的比較器又は動的比較器として動作させるために任意選択的に使用することができる。比較器５２００が動的比較器として動作する場合、比較器５２００はクロック信号５２０５を受信する。動的比較器として動作しているとき、比較クロック信号５２０５は、比較器が粗比較器であるとき、第１の周波数の第１のクロック信号となり、クロック信号５２０５は、比較器が微細比較器であるとき、第１の周波数より大きい第２の周波数の第２のクロック信号となる。比較器５２００は、粗比較器として動作するとき、比較器５２００が微細比較器として動作する状況と比較して、精度は低く、速度も遅くなるが、使用電力は少なくなる。したがって、粗比較に使用される動的比較器は、低速比較クロックを利用することができ、一方、微細比較に使用される動的比較器は、変換ランピング期間中に高速比較クロックを利用することができる。
比較器５２００は、図３７Ａ及び図４５Ａにおける比較器３７０４及び４４０４と同様に、基準電圧５２０２に対してアレイ出力５２０１を比較し、出力５２０５を生成する。比較器５２００が粗比較器として動作しているとき、基準電圧５２０２はオフセット電圧であり得る。
図３７Ｂ及び図４５Ｂ／図４５Ｃに示されるようなデジタル出力ビットを生成する変換期間中、比較器５２００は、粗比較期間中及び微細比較期間中に、それぞれ粗比較器及び微細比較器としての役目を果たし得る。このデジタルアウトビット変換の開始時に、一定の期間にわたって微細又はハイブリッド粗－微細（微細と並行して粗）比較期間が実行される。次に、粗比較期間が実行され、最終的に微細比較が実行されて変換が完了する。
図４６は、スイッチ４６０１、スイッチ４６０２、サンプルホールド（Ｓ／Ｈ）回路４６０３、１ビットアナログ－デジタル変換器（ＡＤＣ）４６０４、１ビットデジタル－アナログ変換器（ＤＡＣ）４６０５、加算器４６０６、及び２残差演算増幅器（２ｘオペアンプ）４６０７のゲインを含む、アルゴリズム型アナログ－デジタル出力変換器４６００を示す。アルゴリズム型アナログ－デジタル出力変換器４６００は、アナログ入力Ｖｉｎ並びにスイッチ４６０２及び４６０２に適用される制御信号に応答して、変換デジタル出力４６０８を生成する。アナログ入力Ｖｉｎで受信された入力（例えば、図４５ＡのＶｎｅｕ）は、スイッチ４６０２によってＳ／Ｈ回路４６０３で最初にサンプリングされ、次いでＮビットに対してＮクロックサイクルで変換が行われる。それぞれの変換クロックサイクルに関して、１ビットＡＤＣ ４６０４は、Ｓ／Ｈ電圧４６０９を基準電圧（例えば、ＶＲＥＦ／２であり、ＶＲＥＦは、Ｎビットのフルスケール電圧である）と比較し、デジタルビット（例えば、入力＜＝ＶＲＥＦ／２の場合は「０」、入力＞ＶＲＥＦ／２の場合は「１」）を出力する。デジタル出力信号４６０８であるこのデジタルビットは、次に、１ビットＤＡＣ４６０５（例えば、ＶＲＥＦ／２又は０Ｖのいずれか）によってアナログ電圧に変換され、加算器４６０６に供給されてＳ／Ｈ電圧４６０９から減算される。次いで、２×残差オペアンプ４６０７は、加算器差電圧出力を増幅して変換残差電圧４６１０とし、変換残差電圧４６１０は、次のクロックサイクルのためにスイッチ４６０１を介してＳ／Ｈ回路４６０３に供給される。この１ビット（すなわち、２レベル）アルゴリズムＡＤＣの代わりに、１．５ビット（すなわち、３レベル）アルゴリズムＡＤＣを使用して、ＡＤＣ ４０６４及び残差オペアンプ４６０７などからのオフセットの影響を低減することができる。１．５ビットアルゴリズムＡＤＣには、１．５ビット又は２ビット（すなわち、４レベル）ＤＡＣが必要とされる。
図４７Ａは、出力ニューロンを表すセル電流をデジタル出力ビットに変換するために、出力ニューロンに適用された逐次比較型（ＳＡＲ）アナログ－デジタル変換器４７００を示す。ＳＡＲ ＡＤＣ ４７００は、ＳＡＲ ４７０１、デジタル－アナログ変換器４７０２、及び比較器４７０３を含む。セル電流は、抵抗器を横切って降下されて電圧ＶＣＥＬＬを生成することができ、電圧ＶＣＥＬＬは、比較器４７０３の反転入力に印加される。あるいは、セル電流は、サンプルホールドコンデンサを充電して、電圧ＶＣＥＬＬ（図４５Ａに示すようなＶｎｅｕなど）を生成することができる。次いで、二分探索がＳＡＲ ４７０１によって使用されて、ＭＳＢビット（最上位ビット）からＬＳＢビット（最下位ビット）までのそれぞれのビットが計算される。ＳＡＲ ４７０１からのデジタルビット（ＤＮ～Ｄ０）に基づいて、適切なアナログ基準電圧を比較器４７０３に設定するために、ＤＡＣ ４７０２が使用される。比較器４７０３の出力は、次に、ＳＡＲ ４７０１にフィードバックされて、比較器４７０３へのアナログ基準電圧の次のアナログレベルが選択される。図４７Ｂに示されるように、４ビットデジタル出力ビットの例については、４つの評価期間が存在する。第１のパルスでは、範囲の中点で、アナログ基準電圧のアナログレベルを比較器４７０３に設定することによって、ＤＯＵＴ３を評価し、次いで、第２のパルスでは、範囲の中点から範囲の最大点までの途中又は範囲の中点から範囲の最小点までの途中で、アナログ基準電圧のアナログレベルを比較器４７０３に設定することによって、ＤＯＵＴ２を評価する。これに更なるステップが続き、それぞれのステップは、比較器４７０３へのアナログ基準電圧レベルを更に精緻化する。ＳＡＲ４７０１の連続出力は、出力デジタルビットである。代替的なＳＡＲ ＡＤＣ回路は、連続比較のために比率基準レベルを連続的に生成するために、１つの基準レベル及び局所ＳＣ比のみを有するスイッチドキャップ（ＳＣ）回路である。
図４８は、セル電流４８０６（ＩＣＥＬＬ又はＩｎｅｕ）をデジタル出力ビット４８０７に変換するために出力ニューロンに適用されるシグマデルタ型アナログ－デジタル変換器４８００を示す。オペアンプ４８０１及び構成可能コンデンサ４８０５（Ｃｉｎｔ）を含む積分器は、セル電流４８０６からの電流の合計と、デジタル出力４８０７を電流に変換する１ビット電流ＤＡＣ４８０４から得られる構成可能基準電流とを積分する。比較器４８０２は、比較器４８０１からの積分出力電圧Ｖｉｎｔを基準電圧ＶＲＥＦ２と比較し、比較器４８０２の出力は、クロックドＤＦＦ４８０３のＤ入力に供給される。クロックドＤＦＦ４８０３は、比較器４８０２の出力に応じてデジタル出力ストリーム４８０７を提供する。デジタル出力ストリーム４８０７は、デジタル出力ビット４８０７として出力される前にデジタルフィルタに供給されてもよい。クロックドＤＦＦ４８０３のクロック周期は、異なるＩｎｅｕ範囲に対して構成可能である。
次に、較正方法４９００、５０１０、５０２０、及び５１００について、図４９、図５０Ａ、図５０Ｂ、及び図５１をそれぞれ参照して説明する。方法４９００、５０１０、５０２０、及び５１００は、漏れ及び／又はオフセットを補償する。漏れは、アレイの漏れ及び回路の漏れのうちの１つ以上を含み得る。アレイの漏れは、メモリセルの漏れ並びにデコード回路及び列書き込み回路のうちの１つ以上からの漏れのうちの１つ以上を含み得る。オフセットは、アレイのオフセット及び回路のオフセットのうちの１つ以上を含み得る。アレイのオフセットは、メモリセル容量及びセル接合容量のうちの１つ以上に起因するアレイ変動からのオフセットを含み得る。回路のオフセットは、デコード回路及び列書き込み回路のうちの１つ以上からのオフセットを含み得る。
図４９は、漏れ及び／又はオフセットを補償するための較正方法４９００を示す。漏れ及び／又はオフセット較正ステップが実行される（ステップ４９０１）。漏れ及び／又はオフセットが測定され、測定された量は、漏れ値及び／又はオフセット値として格納される（ステップ４９０２）。ＬＳＢは、式：ＬＳＢ＝漏れ値及び／又はオフセット値＋ｄｅｌｔａＬｍｉｎを用いて決定される。任意選択的に、ｄｅｌｔａＬＭｉｎは、プロセス、温度、ノイズ、又は使用劣化によるレベル間の変動を補償し、レベル間の分離が適切であることを確実にする電流値である。ｄｅｌｔａＬｍｉｎは、任意選択的に、サンプルデータ特性から決定され得る。（ステップ４９０３）。ＭＳＢは、式：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）＊ｄｅｌｔａＬを用いて決定され、式中、Ｎは、レベルの数であり、ｄｅｌｔａＬは、２つの連続するレベル間の平均又は理想差に等しいデルタレベル量である。（ステップ４９０４）。一実施形態では、ＤｅｌｔａＬはＬＳＢに等しい。別の実施形態では、ＤｅｌｔａＬは、サンプルデータ特性から決定される。ＤｅｌｔａＬは、連続したレベルの異なる対について、均一又は不均一な値を有してもよい。
例えば、６ビットメモリセルについては、６４レベルの電流が存在し、それぞれのレベルは、ニューラルネットワークアプリケーションにおける重量に関連し、Ｎ＝６４である。較正中、及び測定ステップ中に、このステップで最小オフセット電流を注入して、ベースライン値を作ってもよい。
表１０は、４ビットセルの例示的な値を含む。
表１０：４ビットセル（１６レベル）の例示的なレベル：
Figure 2022531766000011
図５０Ａ及び図５０Ｂは、リアルタイム較正方法５０１０及びバックグラウンド較正方法５０２０のうちの１つ以上を含む較正方法５０００を示す。
リアルタイム較正方法５０１０では、漏れ及び／又はオフセットを測定し、漏れ値及び／又はオフセット値として測定値を格納するステップを含む、漏れ及び／又はオフセット較正が実行される（ステップ５０１１）。ＬＳＢは、式：ＬＳＢレベル＝漏れ値及び／又はオフセット値＋ｄｅｌｔａＬｍｉｎを用いて決定される。（ステップ５０１２）。ＭＳＢは、式：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*ｄｅｌｔａＬを用いて決定され、式中、Ｎは、レベルの数である（ステップ５０１３）。図４９のようなｄｅｌｔａＬｍｉｎ及びｄｅｌｔａＬの説明は、図５０Ａにおいても同様に適用される。数値例は以下の通りである：漏れ及びオフセット＝２００ｐＡ、ｄｅｌｔａＬｍｉｎ＝３００ｐＡ、ＬＳＢ＝５００ｐＡ、ｄｅｌｔａＬ＝４００ｐＡ、Ｎ＝１６、次いでＭＳＢ＝５００ｐＡ＋（１６－１）*４００ｐＡ＝６５００ｐＡ。
バックグラウンド較正方法５０２０では、オフセット値及び／又は漏れ値＋温度データは、ヒューズ（例えば、オフセット及び／又は漏れと温度とのルックアップテーブル）に格納される（ステップ５０２１）。これは、バックグラウンド較正ステップにおいて、１回又は周期的に行われる。オフセット値及び／又は漏れ値＋温度データが呼び出される（ステップ５０２２）。オフセット値及び／又は漏れ値に対する温度調整は、ルックアップテーブルごとに又はデバイストランジスタ方程式によって実行される（ステップ５０２３）。次いで、ＬＳＢは、式：ＬＳＢレベル＝オフセット値及び／又は漏れ値＋ｄｅｌｔａＬｍｉｎを用いて決定される（ステップ５０２４）。ＭＳＢは、式：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*ｄｅｌｔａＬを用いて決定される（ステップ５０２５）。図４９に関するｄｅｌｔａＬｍｉｎ及びｄｅｌｔａＬの説明は、図５０Ｂにおいても同様に適用される。温度調整は、ルックアップテーブルによって行われるか、又はデバイス方程式（例えば、サブスレッショルド、線形、又は飽和方程式）から外挿され得る。
図５１Ａは、自動漏れ及び／又はオフセット解除５１００を用いた較正及び変換方法を示す。漏れ及び／又はオフセット較正が実行される（ステップ５１０１）。漏れ及び／又はオフセットは、ＡＤＣ変換などによって測定され、測定されたデジタル出力はカウンタに格納される（ステップ５１０２）。ニューロン出力の変換がイネーブルされ、カウンタがゼロに達する（カウンタに初期に格納された漏れ及び／又はオフセットを補償する）までカウンタでカウントダウンが実行され、次いでデジタル出力ビットに対してカウントアップが実行される（ステップ５１０３）。
図５１Ｂは、方法５１００の変形である、自動漏れ及び／又はオフセット解除を用いた較正及び変換方法５１１０を示す。漏れ及び／又はオフセット較正が実行される（ステップ５１１１）。漏れ及び／又はオフセットは、ＡＤＣ変換などによって測定され、測定されたデジタル出力はレジスタに格納される（ステップ５１１２）。ニューロン出力の変換がイネーブルされ、デジタル出力ビットに対してカウントアップが実行され、次いで、格納されたデジタル出力が減算される（ステップ５１１３）。
本明細書で使用される場合、「の上方に（over）」及び「に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「の上に間接的に」（中間材料、要素、又は間隙がそれらの間に配設されている）を包括的に含むことに留意されるべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「間接的に隣接した」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「に取り付けられた」は、「に直接取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されていない）、及び「に間接的に取り付けられた」（中間材料、要素、又は間隙がそれらの間に配設されている）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にない）、及び「に間接的に電気的に結合された」（要素を一緒に電気的に接続する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板に直接、中間材料／要素をそれらの間に伴わずに形成すること、及びその要素を基板の上に間接的に１つ以上の中間材料／要素をそれらの間に伴って形成することを含み得る。
図４６は、スイッチ４６０１、スイッチ４６０２、サンプルホールド（Ｓ／Ｈ）回路４６０３、１ビットアナログ－デジタル変換器（ＡＤＣ）４６０４、１ビットデジタル－アナログ変換器（ＤＡＣ）４６０５、加算器４６０６、及び２残差演算増幅器（２ｘオペアンプ）４６０７のゲインを含む、アルゴリズム型アナログ－デジタル出力変換器４６００を示す。アルゴリズム型アナログ－デジタル出力変換器４６００は、アナログ入力Ｖｉｎ並びにスイッチ４６０１及び４６０２に適用される制御信号に応答して、変換デジタル出力４６０８を生成する。アナログ入力Ｖｉｎで受信された入力（例えば、図４５ＡのＶｎｅｕ）は、スイッチ４６０２によってＳ／Ｈ回路４６０３で最初にサンプリングされ、次いでＮビットに対してＮクロックサイクルで変換が行われる。それぞれの変換クロックサイクルに関して、１ビットＡＤＣ ４６０４は、Ｓ／Ｈ電圧４６０９を基準電圧（例えば、ＶＲＥＦ／２であり、ＶＲＥＦは、Ｎビットのフルスケール電圧である）と比較し、デジタルビット（例えば、入力＜＝ＶＲＥＦ／２の場合は「０」、入力＞ＶＲＥＦ／２の場合は「１」）を出力する。デジタル出力信号４６０８であるこのデジタルビットは、次に、１ビットＤＡＣ４６０５（例えば、ＶＲＥＦ／２又は０Ｖのいずれか）によってアナログ電圧に変換され、加算器４６０６に供給されてＳ／Ｈ電圧４６０９から減算される。次いで、２×残差オペアンプ４６０７は、加算器差電圧出力を増幅して変換残差電圧４６１０とし、変換残差電圧４６１０は、次のクロックサイクルのためにスイッチ４６０１を介してＳ／Ｈ回路４６０３に供給される。この１ビット（すなわち、２レベル）アルゴリズムＡＤＣの代わりに、１．５ビット（すなわち、３レベル）アルゴリズムＡＤＣを使用して、ＡＤＣ ４０６４及び残差オペアンプ４６０７などからのオフセットの影響を低減することができる。１．５ビットアルゴリズムＡＤＣには、１．５ビット又は２ビット（すなわち、４レベル）ＤＡＣが必要とされる。

Claims (44)

  1. アナログニューラルメモリセル用の出力回路ブロックを動作させる方法であって、
    漏れ及び／又はオフセットを測定するステップと、
    前記測定された量を第１の値として格納するステップと、
    下記式（１）を使用して、メモリセルの最下位ビット（ＬＳＢ）を決定するステップと、を含む、方法。
    式（１）：ＬＳＢ＝次のレベルに切り上げられた前記第１の値
  2. 下記式（２）を使用して、メモリセル範囲の最上位ビット（ＭＳＢ）を決定するステップを更に含み、式中、Ｎは、レベルの総数であり、前記デルタレベル量は、２つの連続するレベル間の差である、請求項１に記載の方法。
    式（２）：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）*デルタレベル量
  3. 前記デルタレベル量は前記ＬＳＢに等しい、請求項２に記載の方法。
  4. 前記デルタレベルは所定である、請求項２に記載の方法。
  5. 前記ＬＳＢはデルタＬＳＢ量を含む、請求項２に記載の方法。
  6. 前記漏れは、アレイの漏れ及び回路の漏れのうちの１つ以上を含む、請求項２に記載の方法。
  7. 前記アレイの漏れは、メモリセルの漏れ並びにデコード回路及び列書き込み回路のうちの１つ以上からの漏れのうちの１つ以上を含む、請求項６に記載の方法。
  8. 前記オフセットは、アレイのオフセット及び回路のオフセットのうちの１つ以上を含む、請求項２に記載の方法。
  9. 前記アレイのオフセットは、読み出し専用メモリセル容量及びセル接合のうちの１つ以上に起因するアレイ変動からのオフセットを含む、請求項８に記載の方法。
  10. 前記回路のオフセットは、デコード回路及び列書き込み回路のうちの１つ以上からのオフセットを含む、請求項８に記載の方法。
  11. 前記メモリセルは分割ゲートメモリセルである、請求項２に記載の方法。
  12. 前記測定ステップは、アナログ－デジタル変換器を含む出力ブロックによって実行される、請求項２に記載の方法。
  13. 前記ＬＳＢを決定するステップと、前記ＭＳＢを決定するステップは、出力ブロックによって実行される、請求項２に記載の方法。
  14. 前記アナログ－デジタル変換器は、積分型アナログ－デジタル変換器である、請求項１２に記載の方法。
  15. 前記測定するステップは、アナログ－デジタル変換を実行することを含み、前記格納するステップは、デジタル出力をカウンタに格納することを含む、請求項２に記載の方法。
  16. 前記カウンタがゼロに達するまで、格納された前記デジタル出力をカウントダウンするステップと、
    前記出力回路ブロックで受け取られたデジタルビットをカウントアップするステップと、を更に含む、請求項１５に記載の方法。
  17. アナログニューラルメモリセル用の出力回路ブロックを動作させる方法であって、
    オフセット又は漏れを測定し、前記測定された量を第１の値として格納するステップと、
    前記第１の値を呼び出すステップと、
    温度調整を実行するステップと、
    下記式（１）を使用して、メモリセル範囲の最下位ビット（ＬＳＢ）を決定するステップと、を含む、方法。
    式（１）：ＬＳＢ＝次のレベルに切り上げられた前記第１の値
  18. 下記式（２）を使用して、メモリセル範囲の最上位ビット（ＭＳＢ）を決定するステップを更に含み、式中、Ｎは、全レベルの数であり、前記デルタレベル量は、２つの連続するレベル間の差である、請求項１７に記載の方法。
    式（２）：ＭＳＢ＝ＬＳＢ＋（Ｎ－１）＊デルタレベル量
  19. 前記デルタレベル量は前記ＬＳＢに等しい、請求項１８に記載の方法。
  20. 前記デルタレベル量は所定である、請求項１８に記載の方法。
  21. 前記ＬＳＢはデルタＬＳＢ量を含む、請求項１８に記載の方法。
  22. 前記漏れは、アレイの漏れ及び回路の漏れのうちの１つ以上を含む、請求項１７に記載の方法。
  23. 前記アレイの漏れは、メモリセルの漏れ並びにデコード回路及び列書き込み回路のうちの１つ以上からの漏れのうちの１つ以上を含む、請求項２２に記載の方法。
  24. 前記オフセットは、アレイのオフセット及び回路のオフセットのうちの１つ以上を含む、請求項１７に記載の方法。
  25. 前記アレイのオフセットは、読み出し専用メモリセル容量及びセル接合のうちの１つ以上に起因するアレイ変動からのオフセットを含む、請求項２４に記載の方法。
  26. 前記回路のオフセットは、デコード回路及び列書き込み回路のうちの１つ以上からのオフセットを含む、請求項２４に記載の方法。
  27. 前記メモリセルは分割ゲートメモリセルである、請求項１７に記載の方法。
  28. 前記測定するステップは、アナログ－デジタル変換器を含む出力ブロックによって実行される、請求項１７に記載の方法。
  29. 前記ＬＳＢを決定するステップと、前記ＭＳＢを決定するステップは、前記出力ブロックによって実行される、請求項１７に記載の方法。
  30. 前記アナログ－デジタル変換器は、積分型アナログ－デジタル変換器である、請求項２８に記載の方法。
  31. アナログニューラルメモリセルのアレイに結合された出力回路ブロックから出力を生成する間に、漏れ又はオフセットを補償する方法であって、
    アナログ－デジタル変換器を使用してデジタルの漏れ値又はオフセット値を生成して、前記出力回路ブロック値の漏れ又はオフセットを測定するステップと、
    前記デジタルの漏れ値又はオフセット値を第１の値としてカウンタに格納するステップと、
    前記漏れ又は前記オフセットを補償するステップと、を含む、方法。
  32. 前記出力回路ブロックの出力を測定することによる前記補償は、前記カウンタがゼロに達するまで、前記格納された第１の値からカウントダウンし、次いで、カウントアップして前記出力を生成することによって前記カウンタを使用する、請求項３１に記載の方法。
  33. 前記出力回路ブロックの出力を測定することによる前記補償は、前記カウンタを使用し、次いで、格納された前記第１の値から前記出力を減算して前記出力を生成する、請求項３１に記載の方法。
  34. 前記アナログ－デジタル変換器は、積分型アナログ－デジタル変換器を含む、請求項３１に記載の方法。
  35. 前記アナログ－デジタル変換器は、ランプ型アナログ－デジタル変換器を含む、請求項３４に記載の方法。
  36. 前記アナログ－デジタル変換器は、アルゴリズム型アナログ－デジタル変換器を含む、請求項３１に記載の方法。
  37. 前記アナログ－デジタル変換器は、シグマデルタ型アナログ－デジタル変換器を含む、請求項３１に記載の方法。
  38. 前記アナログ－デジタル変換器は、逐次比較型アナログ－デジタル変換器を含む、請求項３１に記載の方法。
  39. 前記システムは、
    前記出力を電圧に変換するためのデジタルデータ－電圧変換器を更に含む、請求項３１に記載の方法。
  40. 前記システムは、
    前記出力を１つ以上のパルスに変換するためのデジタルデータ－パルス幅変換器を更に含み、前記１つ以上のパルスの幅は、前記デジタルデータの前記値に比例する、請求項３１に記載の方法。
  41. 前記アナログニューラルメモリセルは、スプリットゲートフラッシュメモリセルである、請求項３１に記載の方法。
  42. 前記アナログニューラルメモリセルは、積層ゲートフラッシュメモリセルである、請求項３１に記載の方法。
  43. 前記出力回路ブロックによって、温度を補償するための較正を実行するステップを更に含む、請求項３１に記載の方法。
  44. 前記出力回路ブロックによって、プロセス又は電圧供給の変動を補償するための較正を実行するステップを更に含む、請求項３１に記載の方法。
JP2021564790A 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正 Pending JP2022531766A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962842279P 2019-05-02 2019-05-02
US62/842,279 2019-05-02
US16/449,205 2019-06-21
US16/449,205 US12353503B2 (en) 2019-05-02 2019-06-21 Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network
PCT/US2019/062073 WO2020222869A1 (en) 2019-05-02 2019-11-18 Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network

Publications (1)

Publication Number Publication Date
JP2022531766A true JP2022531766A (ja) 2022-07-11

Family

ID=73015948

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021564790A Pending JP2022531766A (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の出力アレイニューロンの変換及び較正
JP2021564789A Active JP7308290B2 (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト
JP2023109273A Active JP7644178B2 (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021564789A Active JP7308290B2 (ja) 2019-05-02 2019-11-18 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト
JP2023109273A Active JP7644178B2 (ja) 2019-05-02 2023-07-03 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Country Status (7)

Country Link
US (2) US11507642B2 (ja)
EP (2) EP3963587B1 (ja)
JP (3) JP2022531766A (ja)
KR (2) KR102657705B1 (ja)
CN (2) CN113785311A (ja)
TW (2) TWI805908B (ja)
WO (2) WO2020222869A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024502798A (ja) * 2021-01-01 2024-01-23 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
WO2024247749A1 (ja) * 2023-06-01 2024-12-05 ソニーセミコンダクタソリューションズ株式会社 演算装置、信号処理装置及び信号処理回路

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10970630B1 (en) * 2017-06-15 2021-04-06 National Technology & Engineering Solutions Of Sandia, Llc Neuromorphic computing architecture with dynamically accessible contexts
US12075618B2 (en) 2018-10-16 2024-08-27 Silicon Storage Technology, Inc. Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network
US10741568B2 (en) 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US20210125049A1 (en) * 2019-10-29 2021-04-29 Taiwan Semiconductor Manufacturing Co., Ltd. System for executing neural network
US11355184B2 (en) 2020-03-05 2022-06-07 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with substantially constant array source impedance with adaptive weight mapping and distributed power
KR20210131099A (ko) * 2020-04-23 2021-11-02 삼성전자주식회사 뉴로모픽 컴퓨팅 장치 및 그것의 동작 방법
US12299562B2 (en) 2020-05-10 2025-05-13 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US12169534B2 (en) * 2020-12-07 2024-12-17 International Business Machines Corporation Worst case noise and bound management for RPU crossbar arrays
JP7599571B2 (ja) * 2020-12-23 2024-12-13 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力及びデジタル出力機構
WO2022146468A1 (en) * 2021-01-01 2022-07-07 Silicon Storage Technology, Inc. Digital output mechanisms for analog neural memory in a deep learning artificial neural network
US20220230064A1 (en) * 2021-01-20 2022-07-21 Mediatek Singapore Pte. Ltd. Calibration of analog circuits for neural network computing
US11693560B2 (en) * 2021-01-22 2023-07-04 Taiwan Semiconductor Manufacturing Company, Ltd. SRAM-based cell for in-memory computing and hybrid computations/storage memory architecture
US11720784B2 (en) 2021-04-01 2023-08-08 Mythic, Inc. Systems and methods for enhancing inferential accuracy of an artificial neural network during training on a mixed-signal integrated circuit
JP2024522244A (ja) * 2021-05-07 2024-06-11 ブルーマインド インコーポレイテッド トランジスタベースのニューラルネットワークのためのシステム、方法、およびコンピュータ装置
TWI769875B (zh) * 2021-06-24 2022-07-01 國立中央大學 深度學習網路裝置、其使用的記憶體存取方法與非揮發性儲存媒介
EP4557173A2 (en) * 2021-07-05 2025-05-21 Silicon Storage Technology Inc. Programmable output blocks for analog neural memory in a deep learning artificial neural network
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
JP2023088730A (ja) * 2021-12-15 2023-06-27 キオクシア株式会社 演算システム
US11756565B2 (en) 2022-01-25 2023-09-12 Blumind Inc. Analog systems and methods for audio feature extraction and natural language processing
WO2024063792A1 (en) * 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Verification method and system in artificial neural network array
WO2025111009A1 (en) * 2023-11-20 2025-05-30 Silicon Storage Technology, Inc. Sigma-delta analog-to-digital converter to generate digital output from vector-by-matrix multiplication array
CN118569332B (zh) * 2024-05-28 2024-12-20 北京大学 一种神经网络专用存内计算读出装置及其控制方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091604A (ja) * 1996-09-10 1998-04-10 Toshiba Corp 関数学習装置
JPH11163678A (ja) * 1997-12-01 1999-06-18 Matsushita Electric Ind Co Ltd ディジタル信号処理回路
JP2003263624A (ja) * 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd ニューラル・ネットワーク装置の学習演算回路
US20080310245A1 (en) * 2007-06-15 2008-12-18 Micron Technology, Inc. Digital filters for semiconductor devices
JP2012504820A (ja) * 2008-09-30 2012-02-23 エルエスアイ コーポレーション 性能要因調整に基づくメモリ・デバイスの軟データ生成の方法および装置
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
JP2019028569A (ja) * 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
WO2019055182A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc. SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55130229A (en) 1979-03-30 1980-10-08 Mitsubishi Electric Corp Analog-digital converter
JPS6346581A (ja) * 1986-08-13 1988-02-27 Toshiba Corp 半導体記憶装置
US5131072A (en) * 1988-08-31 1992-07-14 Fujitsu, Ltd. Neurocomputer with analog signal bus
DE69026740D1 (de) 1989-02-28 1996-06-05 Fujitsu Ltd Fehler absorbierendes System in einem neuronalen Rechner
JP2679738B2 (ja) * 1989-03-01 1997-11-19 富士通株式会社 ニューロコンピュータにおける学習処理方式
US4962342A (en) * 1989-05-04 1990-10-09 Synaptics, Inc. Dynamic synapse for neural network
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
US5167008A (en) * 1990-12-14 1992-11-24 General Electric Company Digital circuitry for approximating sigmoidal response in a neural network layer
US5222193A (en) * 1990-12-26 1993-06-22 Intel Corporation Training system for neural networks and the like
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US6523018B1 (en) * 1998-12-29 2003-02-18 International Business Machines Corporation Neural chip architecture and neural networks incorporated therein
KR100370164B1 (ko) * 2000-12-20 2003-01-30 주식회사 하이닉스반도체 비트라인의 누설전류 보상이 가능한 풀업회로
US6747310B2 (en) 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
JP4272967B2 (ja) 2003-10-16 2009-06-03 キヤノン株式会社 演算回路およびその動作制御方法
JP4620943B2 (ja) 2003-10-16 2011-01-26 キヤノン株式会社 積和演算回路及びその方法
EP1676197B1 (en) * 2003-10-16 2012-01-18 Canon Kabushiki Kaisha Operation circuit and operation control method thereof
US7395287B2 (en) 2003-12-15 2008-07-01 Micrel, Inc. Numerical value conversion using a saturation limited arithmetic logic unit supporting variable resolution operands
JP2005322198A (ja) * 2004-04-07 2005-11-17 Sony Corp データ処理装置
WO2006003663A2 (en) * 2004-07-06 2006-01-12 Technion Research & Development Foundation Ltd. An integrated system and method for multichannel neuronal recording with spike/lfp separation, integrated a/d conversion and threshold detection
US7129880B2 (en) 2004-08-09 2006-10-31 Northrop Grumman Corporation Auto-zoom sloped ADC
US7366021B2 (en) 2005-05-04 2008-04-29 Micron Technology, Inc. Method and apparatus for sensing flash memory using delta sigma modulation
CN100510633C (zh) * 2007-02-08 2009-07-08 北京航空航天大学 一种基于神经网络进行温度补偿的光纤陀螺
ITTO20070109A1 (it) * 2007-02-14 2008-08-15 St Microelectronics Srl Circuito e metodo di lettura per un dispositivo di memoria non volatile basati sulla generazione adattativa di una grandezza elettrica di riferimento
US7755948B2 (en) * 2008-08-19 2010-07-13 Agere Systems Inc. Process and temperature tolerant non-volatile memory
US7868800B2 (en) 2008-10-22 2011-01-11 Industrial Technology Research Institute Mixed-signal control apparatus of modulation system
US8473439B2 (en) * 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
TWI530183B (zh) * 2011-12-08 2016-04-11 Sony Corp An imaging element, a control method, and an imaging device
US10217045B2 (en) * 2012-07-16 2019-02-26 Cornell University Computation devices and artificial neurons based on nanoelectromechanical systems
US9164526B2 (en) * 2012-09-27 2015-10-20 Sandisk Technologies Inc. Sigma delta over-sampling charge pump analog-to-digital converter
US8643168B1 (en) * 2012-10-16 2014-02-04 Lattice Semiconductor Corporation Integrated circuit package with input capacitance compensation
US9325321B2 (en) * 2013-03-13 2016-04-26 Microsemi SoC Corporation Background auto-refresh apparatus and method for non-volatile memory array
US9418333B2 (en) * 2013-06-10 2016-08-16 Samsung Electronics Co., Ltd. Synapse array, pulse shaper circuit and neuromorphic system
KR102140787B1 (ko) * 2014-07-07 2020-08-03 삼성전자주식회사 저항성 메모리 장치, 저항성 메모리 시스템 및 저항성 메모리 장치의 동작방법
US10489700B1 (en) * 2014-07-07 2019-11-26 Crossbar, Inc. Neuromorphic logic for an array of high on/off ratio non-volatile memory cells
EP3035249B1 (en) * 2014-12-19 2019-11-27 Intel Corporation Method and apparatus for distributed and cooperative computation in artificial neural networks
KR20170134444A (ko) 2015-04-10 2017-12-06 휴렛 팩커드 엔터프라이즈 디벨롭먼트 엘피 온도 보상 회로
US20160328645A1 (en) * 2015-05-08 2016-11-10 Qualcomm Incorporated Reduced computational complexity for fixed point neural network
US9654132B2 (en) 2015-07-08 2017-05-16 Marvell World Trade Ltd. Hybrid charge-sharing charge-redistribution DAC for successive approximation analog-to-digital converters
US10748058B2 (en) * 2015-12-28 2020-08-18 International Business Machines Corporation LUT based neuron membrane potential update scheme in STDP neuromorphic systems
CN108780492B (zh) 2016-02-08 2021-12-14 斯佩罗设备公司 模拟协处理器
KR102382727B1 (ko) * 2016-03-18 2022-04-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 이를 사용한 시스템
US11501131B2 (en) * 2016-09-09 2022-11-15 SK Hynix Inc. Neural network hardware accelerator architectures and operating method thereof
US10123143B2 (en) 2016-09-26 2018-11-06 Cirrus Logic, Inc. Correction for speaker monitoring
US11087205B2 (en) * 2017-01-23 2021-08-10 Dsp Group Ltd. Neural cell and a neural network
US11238887B2 (en) * 2017-01-23 2022-02-01 Dsp Group Ltd. Interface to leaky spiking neurons
US10896367B2 (en) 2017-03-07 2021-01-19 Google Llc Depth concatenation using a matrix computation unit
JPWO2018163005A1 (ja) * 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US11568223B2 (en) * 2017-04-14 2023-01-31 Semiconductor Energy Laboratory Co., Ltd. Neural network circuit
US12106211B2 (en) * 2017-04-27 2024-10-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
EP3432226B1 (en) * 2017-07-19 2023-11-01 IMEC vzw Control plane organisation for flexible digital data plane
KR20190020408A (ko) 2017-08-21 2019-03-04 에스케이하이닉스 주식회사 고 선형성의 투-스텝 싱글-슬롭 비교 장치 및 그에 따른 씨모스 이미지 센서
KR102126791B1 (ko) * 2017-11-23 2020-06-25 서울대학교산학협력단 교차점 어레이를 이용한 신경 연결망 및 그 패턴 인식방법
US10748630B2 (en) 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10594334B1 (en) * 2018-04-17 2020-03-17 Ali Tasdighi Far Mixed-mode multipliers for artificial intelligence
CN108932548A (zh) * 2018-05-22 2018-12-04 中国科学技术大学苏州研究院 一种基于fpga的稀疏度神经网络加速系统
TWI705391B (zh) * 2018-05-29 2020-09-21 英屬開曼群島商意騰科技股份有限公司 適用於人工神經元的記憶體內運算記憶體裝置及記憶體內運算記憶體區塊
US10205463B1 (en) 2018-07-18 2019-02-12 Teledyne Scientific & Imaging, Llc Dual-gain single-slope ADC with digital CDS
US10643705B2 (en) * 2018-07-24 2020-05-05 Sandisk Technologies Llc Configurable precision neural network with differential binary non-volatile memory cell structure
US10861553B2 (en) * 2018-09-27 2020-12-08 Taiwan Semiconductor Manufacturing Co., Ltd. Device-region layout for embedded flash
US11061646B2 (en) * 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
CN109658471B (zh) * 2018-12-20 2023-07-25 上海联影医疗科技股份有限公司 一种医学图像重建方法和系统
WO2020146890A1 (en) * 2019-01-11 2020-07-16 Apple Inc. Method for measurement of ue-to-ue reference signal in new radio networks with cross-link interference
US10756748B1 (en) * 2019-04-26 2020-08-25 Xilinx, Inc. Capacitor-enhanced comparator for switched-capacitor (SC) circuits with reduced kickback
US11562249B2 (en) * 2019-05-01 2023-01-24 International Business Machines Corporation DNN training with asymmetric RPU devices

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091604A (ja) * 1996-09-10 1998-04-10 Toshiba Corp 関数学習装置
JPH11163678A (ja) * 1997-12-01 1999-06-18 Matsushita Electric Ind Co Ltd ディジタル信号処理回路
JP2003263624A (ja) * 2002-03-07 2003-09-19 Matsushita Electric Ind Co Ltd ニューラル・ネットワーク装置の学習演算回路
US20080310245A1 (en) * 2007-06-15 2008-12-18 Micron Technology, Inc. Digital filters for semiconductor devices
JP2012504820A (ja) * 2008-09-30 2012-02-23 エルエスアイ コーポレーション 性能要因調整に基づくメモリ・デバイスの軟データ生成の方法および装置
US20170337466A1 (en) * 2016-05-17 2017-11-23 Silicon Storage Technology, Inc. Deep Learning Neural Network Classifier Using Non-volatile Memory Array
JP2018133016A (ja) * 2017-02-17 2018-08-23 株式会社半導体エネルギー研究所 ニューラルネットワークシステム
JP2019028569A (ja) * 2017-07-26 2019-02-21 株式会社東芝 メモリシステム、半導体記憶装置及び信号処理システム
WO2019055182A1 (en) * 2017-09-15 2019-03-21 Silicon Storage Technology, Inc. SYSTEM AND METHOD FOR IMPLEMENTING CONVOLUTE NEURAL NETWORKS CONFIGURABLE WITH FLASH MEMOIRES

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024502798A (ja) * 2021-01-01 2024-01-23 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデジタル出力機構
WO2024247749A1 (ja) * 2023-06-01 2024-12-05 ソニーセミコンダクタソリューションズ株式会社 演算装置、信号処理装置及び信号処理回路

Also Published As

Publication number Publication date
JP7644178B2 (ja) 2025-03-11
US20200349422A1 (en) 2020-11-05
EP3963587B1 (en) 2024-09-11
US12353503B2 (en) 2025-07-08
EP3963513B1 (en) 2024-04-17
US20200349421A1 (en) 2020-11-05
JP2022539486A (ja) 2022-09-12
WO2020222869A1 (en) 2020-11-05
EP3963587A1 (en) 2022-03-09
KR20210145809A (ko) 2021-12-02
TW202044123A (zh) 2020-12-01
KR102709575B1 (ko) 2024-09-25
CN113785311A (zh) 2021-12-10
JP2023139013A (ja) 2023-10-03
TWI805908B (zh) 2023-06-21
WO2020222868A1 (en) 2020-11-05
EP3963513A1 (en) 2022-03-09
CN113785360A (zh) 2021-12-10
TWI805909B (zh) 2023-06-21
JP7308290B2 (ja) 2023-07-13
KR102657705B1 (ko) 2024-04-15
KR20210147032A (ko) 2021-12-06
TW202042233A (zh) 2020-11-16
US11507642B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
JP7644178B2 (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト
KR102715858B1 (ko) 딥 러닝 인공 신경 네트워크 내의 아날로그 신경 메모리의 프로그래밍을 위한 정밀도 튜닝
JP7676489B2 (ja) 人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なプログラミング方法及び装置
JP2024023266A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのプログラミングのための精密な調整
KR20230110360A (ko) 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를위한 디지털 출력 메케니즘
JP2025106236A (ja) 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリのための構成可能な入力ブロック及び出力ブロック、並びに物理的レイアウト

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230905