JP2019517138A - 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 - Google Patents

不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 Download PDF

Info

Publication number
JP2019517138A
JP2019517138A JP2018560205A JP2018560205A JP2019517138A JP 2019517138 A JP2019517138 A JP 2019517138A JP 2018560205 A JP2018560205 A JP 2018560205A JP 2018560205 A JP2018560205 A JP 2018560205A JP 2019517138 A JP2019517138 A JP 2019517138A
Authority
JP
Japan
Prior art keywords
memory cells
lines
electrically connecting
columns
synapses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018560205A
Other languages
English (en)
Other versions
JP6833873B2 (ja
Inventor
ファルヌード メリク バヤト
ファルヌード メリク バヤト
シンジェ グオ
シンジェ グオ
ディミトリ ストルコフ
ディミトリ ストルコフ
ニャン ドー
ニャン ドー
ヒュー ヴァン トラン
ヒュー ヴァン トラン
ヴィピン ティワリ
ヴィピン ティワリ
マーク ライテン
マーク ライテン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2019517138A publication Critical patent/JP2019517138A/ja
Application granted granted Critical
Publication of JP6833873B2 publication Critical patent/JP6833873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0688—Non-volatile semiconductor memory arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/08—Address circuits; Decoders; Word-line control circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/12—Programming voltage switching circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/10—Programming or data input circuits
    • G11C16/14—Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16—Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C16/00—Erasable programmable read-only memories
    • G11C16/02—Erasable programmable read-only memories electrically programmable
    • G11C16/06—Auxiliary circuits, e.g. for writing into memory
    • G11C16/34—Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436—Arrangements for verifying correct programming or erasure
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04—Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08—Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12—Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/38—Response verification devices
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C2216/00—Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02—Structural aspects of erasable programmable read-only memories
    • G11C2216/04—Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

１つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイス。シナプスは、入力を受信し、そこから出力を生成するように構成されている。ニューロンは、出力を受信するように構成されている。シナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、入力に、格納された重み値を乗じて出力を生成するように構成されている。【選択図】図１４

Description

［関連出願］
本出願は、参照により本明細書に組み込まれる、２０１６年５月１７日出願の米国仮出願第６２／３３７，７６０号の利益を主張するものである。
本発明は、ニューラルネットワークに関する。
人工ニューラルネットワークは、多数の入力によって異なり得る機能を推定する又は近似するために使用され、概ね未知である生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。図１は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の１つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。ＣＭＯＳアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのＣＭＯＳ実装シナプス（CMOS-implemented synapses）は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
上記問題及びニーズは、１つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイスによって対処される。ニューラルネットワークデバイスは、第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第１の複数の入力に、格納された重み値を乗じて第１の複数の出力を生成するように構成されている。
本発明の他の目的及び特徴は、明細書、請求項、添付図面を精読することによって明らかになるであろう。
人工ニューラルネットワークを示す図である。 従来の２ゲートの不揮発性メモリセルの側面断面図である。 図２のメモリセルに対する従来のアレイアーキテクチャを示す図である。 従来の２ゲートの不揮発性メモリセルの側面断面図である。 図４のメモリセルに対する従来のアレイアーキテクチャを示す図である。 従来の４ゲートの不揮発性メモリセルの側面断面図である。 図６のメモリセルに対する従来のアレイアーキテクチャを示す図である。 均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。 不均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。 双方向調整アルゴリズムを示すフローチャートである。 電流比較を使用した重みマッピングを示すブロック図である。 電圧比較を使用した重みマッピングを示すブロック図である。 不揮発性メモリアレイを利用する異なるレベルの例示のニューラルネットワークを示す図である。 ベクトル乗算器マトリクスを示すブロック図である。 様々なレベルのベクトル乗算器マトリクスを示すブロック図である。 ４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第３のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第４のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第５のアーキテクチャを示す概略図である。 ４ゲートのメモリセルのアレイの第６のアーキテクチャを示す概略図である。 ２ゲートのメモリセルのアレイの第１のアーキテクチャを示す概略図である。 ２ゲートのメモリセルのアレイの第２のアーキテクチャを示す概略図である。 電流電圧ログ変換器を示す図である。 電圧電流ログ変換器を示す図である。 接地基準（Gnd-referred）電流加算器を示す図である。 Ｖｄｄ基準（Vdd-referred）電流加算器を示す図である。 不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。 不揮発性メモリアレイのＮ2ニューラルネット入力の利用を示す図である。 周期的にシフトする入力線を有する不揮発性メモリアレイのニューラルネット入力の利用を示す図である。 図１５のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。 図２０のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。
本発明の人工ニューラルネットワークは、ＣＭＯＳ技術及び不揮発性メモリアレイの組み合わせを利用する。デジタル不揮発性メモリは、既知である。例えば、米国特許第５，０２９，１３０号（「’１３０号特許」）は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。メモリセルを図２に示す。各メモリセル１０は、半導体基板１２内に形成され、チャネル領域１８をその間に有するソース領域及びドレイン領域１４／１６を含む。浮遊ゲート２０は、チャネル領域１８の第１の部分の上方及びドレイン領域１６の一部の上方に形成され、それから絶縁される（かつその伝導率を制御する）。制御ゲート２２は、チャネル領域１８の第２の部分の上方に配置され、そこから絶縁される（かつその伝導率を制御する）第１の部分２２ａと、浮遊ゲート２０の上方に延在する第２の部分２２ｂと、を有する。浮遊ゲート２０及び制御ゲート２２は、ゲート酸化物２６によって基板１２からから絶縁される。
メモリセルは、制御ゲート２２上に高圧正電圧を印加することによって消去され（ここで電子は、浮遊ゲートから除去される）、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート２０から制御ゲート２２まで中間絶縁体２４を通って浮遊ゲート２０上の電子をトンネリングさせる。
メモリセルは、制御ゲート２２上に正電圧、及びドレイン１６上に正電圧を印加することによってプログラミングされる（ここで電子は、浮遊ゲート上に印加される）。電子電流は、ソース１４からドレイン１６に向かって流れることになる。電子は、制御ゲート２２と浮遊ゲート２０との間の間隙に達すると、加速し発熱する。熱せられた電子のいくつかは、浮遊ゲート２０からの静電引力に起因してゲート酸化物２６を通って浮遊ゲート２０の上に注入される。
メモリセルは、ドレイン１６及び制御ゲート２２上に正の読み出し電圧を印加することによって読み出される（制御ゲート下のチャネル領域をオンにする）。浮遊ゲート２０が正に帯電する（すなわち、電子を消去し、ドレイン１６に正に結合する）場合、浮遊ゲート２０下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域１８を流れ、これは、消去された状態つまり「１」の状態として検出される。浮遊ゲート２０が負に帯電する（すなわち、電子でプログラミングされる）場合、次に浮遊ゲート２０下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域１８を流れず（又はわずかに流れる）、プログラミングされた状態又は「０」の状態として検出される。
メモリアレイのアーキテクチャを図３に示す。メモリセル１０は、行及び列に配置される。各列において、メモリセルは、ミラー方式にエンドツーエンドで配置され、その結果、それらのメモリセルは、それぞれが共通ソース領域１４（Ｓ）を共有するメモリセルのペアとして形成され、メモリセルペアの隣接するセットはそれぞれ共通ドレイン領域１６（Ｄ）を共有する。任意の所与のメモリセルの行のソース領域１４は全て、ソース線１４ａによって電気的に接続される。任意の所与のメモリセルの列のドレイン領域１６は全て、ビット線１６ａによって電気的に接続される。任意の所与のメモリセルの行の制御ゲート２２は全て、制御ゲート線２２ａによって電気的に接続される。したがって、メモリセルを個々にプログラミング及び読み出しすることができる一方、メモリセル消去は１行ずつ実行される（メモリセルの各行は、制御ゲート線２２ａ上への高電圧の適用によって一緒に消去される）。特定のメモリセルを消去する場合は、同じ行にある全てのメモリセルもまた消去される。
当業者は、ソース及びドレインに互換性があり得ることを理解しており、ここで浮遊ゲートは、図４に示されるようにドレインの代わりにソースの上方に部分的に延在し得る。図５は、メモリセル１０、ソース線１４ａ、ビット線１６ａ、及び制御ゲート線２２ａを含む対応するメモリセルアーキテクチャを最も良く示している。図から明らかなように、同じ行のメモリセル１０は、同じソース線１４ａ及び同じ制御ゲート線２２ａを共有し、一方同じ列の全てのセルのドレイン領域は、同じビット線１６ａに電気的に接続されている。アレイの設計は、デジタルアプリケーション用に最適化されており、例えば、１．６Ｖ及び７．６Ｖを選択した制御ゲート線２２ａ及びソース線１４ａにそれぞれ印加し、選択したビット線１６ａを接地することによるなど、選択したセルの個々のプログラミングを可能にする。同じペア内の選択されていないメモリセルを妨害することは、選択されていないビット線１６ａに２ボルト超の電圧を印加し、残りの線を接地することによって回避される。消去に関与しているプロセス（浮遊ゲート２０から制御ゲート２２までの電子のファウラーノルドハイムトンネリング）は、ドレイン電圧（すなわち、同じソース線１４ａを共有する行方向で２つの隣接するセルにより異なり得る電圧のみ）に弱く影響を受けるだけであるので、メモリセル１０を個々に消去することはできない。
３つ以上のゲートを有する分割ゲートメモリセルもまた既知である。例えば、図６に示されるように、メモリセルは、ソース領域１４、ドレイン領域１６、チャネル領域１８の第１の部分の上方の浮遊ゲート２０、チャネル領域１８の第２の部分の上方の選択ゲート２８、浮遊ゲート２０の上方の制御ゲート２２、及びソース領域１４の上方の消去ゲート３０を有し、それらは既知である（例えば、米国特許第６，７４７，３１０号を参照されたく、これは参照によりあらゆる目的で本明細書に組み込まれる）。ここで、全てのゲートは、浮遊ゲート２０を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続されている又は接続可能であることを意味する。プログラミングは、浮遊ゲート２０上にそれ自体を注入するチャネル領域１８からの熱せられた電子によって示される。消去は、浮遊ゲート２０から消去ゲート３０へトンネリングする電子によって示される。
４ゲートのメモリセルアレイのアーキテクチャは、図７に示されるように構成され得る。この実施形態では、それぞれの水平の選択ゲート線２８ａは、メモリセルのその行の選択ゲート２８全てを電気的に一緒に接続する。それぞれの水平の制御ゲート線２２ａは、メモリセルのその行の制御ゲート２２全てを電気的に一緒に接続する。それぞれの水平のソース線１４ａは、ソース領域１４を共有するメモリセルの２つの行に対するソース領域１４全てを電気的に一緒に接続する。それぞれのビット線１６ａは、メモリセルのその列のドレイン領域１６を電気的に一緒に接続する。それぞれの消去ゲート線３０ａは、消去ゲート３０を共有するメモリセルの２つの行に対する消去ゲート３０全てを電気的に一緒に接続する。以前のアーキテクチャと同様に、個々のメモリセルは、独立してプログラミング及び読み出しを行うことができる。しかしながら、セルを個々に消去する方法はない。消去は、消去ゲート線３０ａ上に高圧正電圧を印加することによって実行され、このことは同じ消去ゲート線３０ａを共有するメモリセルの両方の行の同時消去をもたらす。代表的な動作電圧は、下の表１内のものを含む（この実施形態では、選択ゲート線２８ａはワード線ＷＬと呼ばれることがある）：
上述の不揮発性メモリアレイをニューラルネットワークで利用するために、２つの改変がなされている。第１に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラミング、消去、及び読み出しすることができるように線を再構成する。第２に、メモリセルの連続（アナログ）プログラミングを提供する。具体的には、アレイ内の各メモリセルのメモリ状態（すなわち、浮遊ゲート上の電荷）を、完全に消去された状態から完全にプログラミングされた状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル格納がアナログであるか、又は多数の別個の値のうちの１つを最低限格納することができ、それは、メモリアレイ内の全てのセルに対する非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
メモリセルのプログラミング及び格納
メモリセル内に格納されるニューラルネットワークの重みレベルの割り当ては、図８Ａに示されるような均等な間隔、又は図８Ｂに示されるような不均等な間隔であり得る。不揮発性メモリセルのプログラミングは、図９に示されるものなど双方向調整アルゴリズムを使用して実装され得る。Ｉｃｅｌｌは、プログラミングされる標的セルの読み出し電流であり、Ｉｔａｒｇｅｔは、セルが理想的にプログラミングされる際の所望の読み出し電流である。標的セル読み出し電流Ｉｃｅｌｌを読み出し（工程１）、標的読み出し電流Ｉｔａｒｇｅｔと比較する（工程２）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより大きい場合は、プログラミング調整プロセスを実行して（工程３）浮遊ゲート（ルックアップテーブルを使用して制御ゲート上の所望のプログラミング電圧ＶＣＧを決定する）上の電子数を増大させ（工程３ａ〜３ｂ）、必要に応じてこれを繰り返すことができる（工程３ｃ）。標的セル読み出し電流Ｉｃｅｌｌが、標的読み出し電流Ｉｔａｒｇｅｔより小さい場合は、消去調整プロセスを実行して（工程４）浮遊ゲート（ルックアップテーブルを使用して消去ゲート上の所望の消去電圧ＶＥＧを決定する）上の電子数を減少させ（工程４ａ〜４ｂ）、必要に応じてこれを繰り返すことができる（工程４ｃ）。プログラミング調整プロセスが標的読み出し電流を通り過ぎると、（許容できるデルタ値内で）標的読み出し電流を達成するまで次に消去調整プロセスを実行し（工程３ｄ及び工程４ａで始まる）、逆もまた同様である（工程４ｄ及び工程３ａで始まる）。
不揮発性メモリセルのプログラミングは、プログラミング調整を使用して一方向の調整アルゴリズムを使用して代わりに実装され得る。このアルゴリズムを使用して、メモリセルを最初に完全に消去し、次に標的セルの読み出し電流が標的閾値に達するまで図９のプログラミング調整工程３ａ〜３ｃを実行する。あるいは、不揮発性メモリセルの調整は、消去調整を使用して一方向の調整アルゴリズムを使用して実装され得る。このアプローチでは、メモリセルを最初に完全にプログラミングし、次に標的セルの読み出し電流が標的閾値に達するまで図９の消去調整工程４ａ〜４ｃを実行する。
図１０は、電流比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み、メモリセルの標的デジタル重みを表す）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル−５ビット）に変換する。Ｖｏｕｔは、電圧電流変換器Ｖ／Ｉ Ｃｏｎｖ４２によって電流Ｉｏｕｔ（例えば、６４電流レベル−５ビット）に変換される。電流は、電流比較器ＩＣｏｍｐ４４に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：インクリメントＥＧ電圧；又はプログラム：インクリメントＣＧ電圧）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔ（すなわち、読み出し動作から）は、電流比較器ＩＣｏｍｐ４４に供給される。電流比較器ＩＣｏｍｐ４４は、メモリセル電流Ｉｃｅｌｌｏｕｔを重みデジタルビット由来の電流Ｉｏｕｔと比較してメモリセル１０に格納された重みを示す信号を生成する。
図１１は、電圧比較を使用した重みマッピングを示す図である。重みデジタルビット（例えば、各シナプシスに対して５ビットの重み）は、デジタルアナログ変換器（ＤＡＣ）４０に入力され、ＤＡＣ４０はビットを電圧Ｖｏｕｔ（例えば、６４電圧レベル−５ビット）に変換する。Ｖｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル１０に入力される（例えば、消去：インクリメントＥＧ電圧；又はプログラム：インクリメントＣＧ電圧）。外へ出るメモリセル電流Ｉｃｅｌｌｏｕｔは、電圧Ｖ２ｏｕｔへの変換（例えば、６４電圧レベル−５ビット）のために電流電圧変換器Ｉ／Ｖ Ｃｏｎｖ４８に供給される。電圧Ｖ２ｏｕｔは、電圧比較器ＶＣｏｍｐ４６に供給される。電圧比較器ＶＣｏｍｐ４６は、電圧Ｖｏｕｔ及びＶ２ｏｕｔを比較してメモリセル１０に格納された重みを示す信号を生成する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図１２は、不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に図示する。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。Ｓ０は入力であり、この例では、５ビット精度の３２×３２ピクセルＲＧＢ画像である（すなわち、各色Ｒ、Ｇ、及びＢにつき１つずつの３つの３２×３２ピクセルアレイ、各ピクセルが５ビット精度である）。Ｓ０からＣ１に行くシナプスＣＢ１は、異なる重みのセット及び共有される重みの両方を有し、入力画像を３×３ピクセルの重なり合うフィルタでスキャンし（カーネル）、１ピクセル（又はモデルによって決まるように２ピクセル以上）ずつフィルタをシフトする。具体的には、画像の３×３部分における９ピクセルの値（すなわち、フィルタ又はカーネルと呼ばれる）は、シナプスＣＢ１に提供され、それによってこれらの９個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップＣ１の層の１つのピクセルを生成するためにＣＢ１の第１のニューロンによって与えられる。３×３フィルタは次に右側に１ピクセルだけシフトされ（すなわち、３ピクセルの列を右側に追加し、左側で３ピクセルの列をドロップする）、そのため、この新しく位置づけられたフィルタの９ピクセル値が、シナプスＣＢ１に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第２の単一の出力値を決定する。このプロセスを、３×３フィルタが３２×３２ピクセル画像全体にわたって３色全て及び全てのビットについてスキャンするまで続ける（精度値）。プロセスは次に、層Ｃ１の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、Ｃ１の異なる特徴マップを生成する。
Ｃ１において、本例では、それぞれ３０×３０ピクセルを有する１６個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、２次元アレイであり、したがってこの例では、シナプスＣＢ１は、２次元アレイの１６層を構成する（本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な２次元アレイに配向されないことに留意する）。１６個の特徴マップのそれぞれは、フィルタスキャンに適用される１６個の異なるシナプス重みのセットの１つによって生成される。Ｃ１特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第１のマップ（この第１のマップを生成するのに使用される全てのスキャンに共有される第１の重みセットを使用して生成される）は、円形エッジを識別することができ、第２のマップ（第１の重みセットと異なる第２の重みセットを使用して生成される）は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ１（プーリング）は、Ｃ１からＳ１へ行く前に適用される。プーリング段階の目的は、平均して近隣の位置にすること（又はｍａｘ関数もまた使用され得る）、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。Ｓ１において、１６個の１５×１５特徴マップ（すなわち、１６個のそれぞれ１５×１５ピクセルの異なるアレイ）が存在する。Ｓ１からＣ２へ行くＣＢ２内のシナプス及び関連するニューロンは、Ｓ１内のマップを１ピクセルのフィルタシフトを使用して４×４フィルタでスキャンする。Ｃ２において、２２個の１２×１２特徴マップが存在する。各特徴マップ中の連続する、重なり合わない２×２領域からの値をプールする活性化関数Ｐ２（プーリング）は、Ｃ２からＳ２へ行く前に適用される。Ｓ２において、２２個の６×６特徴マップが存在する。活性化関数は、Ｓ２からＣ３へ行くシナプスＣＢ３で適用され、ここでＣ３内の全てのニューロンはＳ２内の全てのマップに接続する。Ｃ３において、６４個のニューロンが存在する。Ｃ３から出力Ｓ３へ行くシナプスＣＢ４は、Ｓ３をＣ３と完全に接続する。Ｓ３における出力は、１０個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図１３は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクターとマトリクスとの乗算（ＶＭＭ）アレイのブロック図である。具体的には、ＶＭＭ３２は、不揮発性メモリセルのアレイ３３、消去ゲート及びワード線ゲートデコーダ３４、制御ゲートデコーダ３５、ビット線デコーダ３６、並びにソース線デコーダ３７を含み、それらのデコーダはメモリアレイ３３に対する入力をデコードする。この例におけるソース線デコーダ３７はまた、メモリセルアレイの出力をデコードする。メモリアレイは、２つの目的を果たす。第１に、ＶＭＭにより使用される重みを格納する。第２に、メモリアレイは、効果的に、入力に、メモリアレイに格納された重みを乗じて出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。
メモリアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する差動加算オペアンプ３８に供給される。合計された出力値は、次に出力を整流する活性化関数回路３９に供給される。整流された出力値は、次の層（例えば上の説明ではＣ１）として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し（ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する）、加算オペアンプ３８及び活性化関数回路３９は、複数のニューロンを構成する。
図１４は、様々なレベルのＶＭＭのブロック図である。図１４に示されるように、入力は、デジタルからアナログにデジタルアナログ変換器３１によって変換され、入力ＶＭＭ３２ａに提供される。入力ＶＭＭ３２ａによって生成された出力は、次に、次のＶＭＭ（隠しレベル２）３２ｃへの入力として提供される出力を生成する次のＶＭＭ（隠しレベル１）３２ｂへの入力として提供される、などとなる。ＶＭＭの３２の様々な層は、畳み込みニューラルネットワーク（ＣＮＮ）のシナプス及びニューロンの異なる層として機能する。各ＶＭＭは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のＶＭＭは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のＶＭＭは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。
図１５は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイを示す。図１５のアレイに関する様々なゲート線及び領域線は、消去ゲート線３０ａが、水平ではなく垂直に延びる（すなわち、各消去ゲート線３０ａは、メモリセルのその列に関して全ての消去ゲート３０を一緒に接続する）ことを除いて、（対応する構造に同じ要素番号を用いて）図７中のものと同じであり、その結果、各メモリセル１０は、独立してプログラミング、消去、及び読み出しを行うことができる。そのセルに適切な重み値を使用してメモリセルのそれぞれがプログラミングされた後で、アレイは、ドレイン加算マトリクス乗算器として作動する。マトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ７であり、選択ゲート線２８ａ上に印加される。図１５のアレイに関して出力のマトリクスＩｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上で生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。
ｌｏｕｔ＝Σ｛ｌｉｊ*Ｗｉｊ｝
各メモリセル（又はメモリセルのペア）は、その列内のメモリセル（又はメモリセルのペア）に格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。任意の所与のシナプスの出力は、電流の形態である。したがって、第１の段階後のそれぞれの後続のＶＭＭ段階は、好ましくは、前のＶＭＭ段階からの入力電流を入力電圧Ｖｉｎとして使用される電圧に変換するための回路機構を含む。図１６は、そのような電流電圧変換回路機構の例を示しているが、これは入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換する改変されたメモリセルの行である。
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt＝ｗ*Ｉｏ*ｅ(Vg)/kVt
入力電流を入力電圧に変換するためのメモリセルを使用するＩＶログ変換器について：
Ｖｇ＝ｋ*Ｖｔ*ｌｏｇ［Ｉｄｓ／ｗｐ*Ｉｏ］
ベクターマトリクス乗算器ＶＭＭとして使用されるメモリアレイについて、出力電流は以下である：
Ｉｏｕｔ＝ｗａ*Ｉｏ*ｅ(Vg)/kVt、すなわち
Ｉｏｕｔ＝（ｗａ／ｗｐ）*Ｉｉｎ＝Ｗ*Ｉｉｎ
図１７及び図１８は、ドレイン加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図１７及び図１８のアレイに関する線は、ソース線１４ａが水平ではなく垂直に延びる（すなわち、各ソース線１４ａは、メモリセルのその列に関して全てのソース領域１４を一緒に接続する）こと、及び消去ゲート線３０ａが垂直ではなく水平に延びる（すなわち、各消去ゲート線３０ａは、メモリセルペアのその行に関して全ての消去ゲート３０ｓを一緒に接続する）ことを除いて図１５及び図１６のアレイ内のものと同じであり、その結果各メモリセルは、独立してプログラミング、消去、及び読み出しを行うことができる。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上のままである。
図１９は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図１９のアレイの線は、選択ゲート線２８ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図１５及び図１６中のものと同じである。具体的には、メモリセルの各列は、２つの選択ゲート線、すなわち奇数行メモリセルの全ての選択ゲート２８を一緒に接続する第１の選択ゲート線２８ａ１、及び偶数行メモリセルの全ての選択ゲート２８を一緒に接続する第２の選択ゲート線２８ａ２を含む。
図１９の頂部と底部において回路は、入力電流Ｉｉｎ０．．．ＩｉｎＮを入力電圧Ｖｉｎ０．．．ＶｉｎＮにログ変換するように働く。この図で示されるマトリクス入力は、Ｖｉｎ０．．．Ｖｉｎ５であり、選択ゲート線２８ａ１及び２８ａ２上に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数セルについて選択線２８ａ１上に印加される。Ｖｉｎ１は、列１内の偶数セルについて選択ゲート線２８ａ２上に印加される。Ｖｉｎ２は、列２内の奇数セルについて選択ゲート線２８ａ１上に印加される。Ｖｉｎ３は、列２内の偶数セルについて選択ゲート線２８ａ２上に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．Ｉｏｕｔ３は、ソース線１４ａ上に提供される。ビット線１６ａは、固定バイアス電圧ＶＢＬｒｄでバイアスされる。各出力Ｉｏｕｔは、メモリセルのその行内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。したがって、このアーキテクチャについて、メモリセルの各行は、その行内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
図２０は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２０のアレイの線は、ビット線１６が垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図１９中のものと同じである。具体的には、メモリセルの各列は、２本のビット線、すなわち隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第１のビット線１６ａ１（同じビット線コンタクトを共有する２つのメモリセル）、及び次の隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第２のビット線１６ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上のままである。全ての第１のビット線１６ａ１のセットは、バイアスレベル（例えば、１．２ｖ）でバイアスされており、全ての第２のビット線１６ａ２のセットは、別のバイアスレベル（例えば、０ｖ）でバイアスされている。ソース線１４ａは、実質上のバイアスレベル（例えば、０．６ｖ）でバイアスされる。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、各出力Ｉｏｕｔは、これらの差動出力の合計である。
ｌｏｕｔ＝Σ（ｌｉｊｕ*Ｗｉｊｕ−ｌｉｊｄ*Ｗｉｊｄ）
ＳＬ電圧~１／２Ｖｄｄ，~０．５ｖ
したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
図２１は、ゲートカップリング／ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２１のアレイの線は、消去ゲート３０ａが水平に延び、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図２０中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ１及び２８ａ２上のままであり、マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上のままである。
図２２は、ソース加算マトリクス乗算器として配置された４ゲートのメモリセル（すなわち、図６に示されるものなど）のアレイの別の構成を示す。図２２のアレイの線及び入力は、図１７中のものと同じである。しかしながら、出力がビット線１６ａ上に提供される代わりに、それらはソース線１４ａ上に提供される。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、選択ゲート線２８ａ上のままである。
図２３は、ドレイン加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を示す。図２３のアレイの線は、水平のソース線１４ａが垂直のソース線１４ａに置き換えられたことを除き、図５中のものと同じである。具体的には、各ソース線１４ａは、メモリセルのその列のソース領域全てに接続されている。マトリクス入力Ｖｉｎ０．．．ＶｉｎＮは、制御ゲート線２２ａ上に印加される。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ビット線１６ａ上に生成される。各出力Ｉｏｕｔは、列内の全てのセルについてセル電流Ｉに、セルに格納された重みＷを乗じた値の合計である。メモリセルの各列は、その列内のメモリセルに格納された重み値の合計によって決まる出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
図２４は、ソース加算マトリクス乗算器として配置された２ゲートのメモリセル（すなわち、図１に示されるものなど）のアレイの構成を示す。図２４のアレイの線は、制御ゲート線２２ａが垂直に延び、メモリセルの各列についてそれらのうちの２つが存在することを除いて図５中のものと同じである。具体的には、メモリセルの各列は、２つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第１の制御ゲート線２２ａ１、及び偶数行メモリセルの全ての制御ゲート２２ａを一緒に接続する第２の制御ゲート線２２ａ２を含む。
この構成用のマトリクス入力は、Ｖｉｎ０．．．ＶｉｎＮであり、制御ゲート線２２ａ１及び２２ａ２上に印加される。具体的には、入力Ｖｉｎ０は、列１内の奇数行セルについて制御ゲート線２２ａ１上に印加される。Ｖｉｎ１は、列１内の偶数行セルについて制御ゲート線２２ａ２上に印加される。Ｖｉｎ２は、列２内の奇数行セルについて制御ゲート線２２ａ１上に印加される。Ｖｉｎ３は、列２内の偶数行セルについて選択ゲート線２２ａ２上に印加されるなど。マトリクス出力Ｉｏｕｔ０．．．ＩｏｕｔＮは、ソース線１４ａ上に生成される。共通ソース線１４ａを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ｉｏｕｔとして表される重み値を有する単一のシナプスとして作動する。
図１５〜図１６、図１９及び図２０の実施形態に関する例示の動作電圧は以下を含む。
おおよその数値として以下が挙げられる。
図１７〜図１８及び図２２の実施形態に関する例示の動作電圧は以下を含む。
おおよその数値として以下が挙げられる。
図２５は、本発明で使用するための例示の電流電圧ログ変換器５０を示す（ＷＬ＝選択ゲート線、ＣＧ＝制御ゲート線、ＥＧ＝消去ゲート線）。メモリは、弱反転領域にバイアスされる、Ｉｄｓ＝Ｉｏ*ｅ(Vg-Vth)/kVt。図２６は、本発明で使用するための例示の電圧電流ログ変換器５２を示す。メモリは、弱反転領域にバイアスされる。図２７は、本発明で使用するための接地基準電流加算器５４を示す。図２８は、本発明で使用するためのＶｄｄ基準電流加算器５６を下に示す。負荷の例として、ダイオード、不揮発性メモリセル、及びレジスタが挙げられる。
上述のメモリアレイ構成は、フィードフォワード分類エンジンを実装する。トレーニングは、メモリセル内に「重み」値を格納することによって完了し（シナプスアレイの生成）、このことは、個々のセルのサブスレッショルドスロープファクタが改変されたことを意味する。ニューロンは、シナプスの出力を加算すること及びニューロン閾値に応じて始動させる又は始動させないことによって実行される（すなわち、決定を下す）。
以下の工程を使用して、入力電流ＩEを処理することができる（例えば、入力電流は、画像認識のための特徴計算の出力から直接来ている）：
工程１−不揮発性メモリで、より簡単に処理するためにログスケールに変換する。
・双極トランジスタを使用した入力電流電圧変換。双極トランジスタのバイアス電圧ＶBEは、エミッタ電流と対数関係を有する。
・ＶＢＥ＝ａ*ｌｎＩE−ｂ→ＶBE∝ｌｎＩE
−式中、ａ（比）及びｂ（バイアス又はオフセット）は定数である
・ＶBE電圧は、メモリセルがサブスレッショルド領域で操作されるように発生する。
工程２−発生したバイアス電圧ＶＢＥをワード線（サブスレッショルド領域内の）に印加する。
・ＣＭＯＳトランジスタの出力電流ＩDRAINは、入力電圧（ＶGS）、熱電圧（ＵT）及びカッパ（ｋ＝Ｃox／（Ｃox＋Ｃdep））と指数関数的関係を有し、式中、Ｃox及びＣdepは、浮遊ゲートの電荷に線形従属である。
・ＩDRAIN∝Ｅｘｐ（ｋＶBE／ＵT）、又は
・ｌｎＩDRAIN∝ｋＶBE／ＵT
・ＩDRAINの対数は、複数のＶBE及び浮遊ゲート上の電荷（カッパに関連した）と線形関係を有し、式中、ＵTは、所与の温度で一定である。
・出力＝入力＊重みの関係がシナプスに対して存在する。
セルのそれぞれの出力（ＩDRAIN）は、読み出しモードにおいて結び付けられて、アレイ又はアレイのセクタ内の各シナプスの値を合計し得る。ＩDRAINは、ひとたび合計されると、電流比較器に送り込まれ、単一知覚ニューラルネットワークの比較に応じて「論理」０又は１を出力することができる。１つの知覚（１つのセクタ）は上述されている。各知覚からの出力は、複数の知覚のセクタの次のセットに送り込まれ得る。
メモリベースの畳み込みニューラルネットワークにおいて、入力のセットは、特定の重みを乗じて、隠し層又は出力層用の所望の結果を生成する必要がある。上述のように、１つの技術は、水平及び垂直の方向の両方で画像全体にＸピクセルずつシフトされるＭ×Ｍフィルタ（カーネル）を使用して、先行する画像（例えば、Ｎ×Ｎマトリクス）をスキャンすることである。ピクセルのスキャンは、メモリアレイに対する十分な入力が存在する限り、同時に少なくとも部分的に実行され得る。例えば、図２９に示されるように、Ｍのフィルタサイズ＝６（すなわち、３６ピクセルの６×６アレイ）を使用して、Ｎ×Ｎ画像アレイをＸ＝２のシフトを用いてスキャンすることができる。その例において、フィルタ内の６ピクセルの第１の行は、Ｎ2個の入力のメモリアレイへの入力のうち最初の６個に提供される。次に、フィルタ内の６ピクセルの第２の行は、Ｎ2個の入力の第２のＮ個の入力のうち入力の最初の６個に提供されるなど。これは、図２９の図の第１の行において表現されるが、ここで点は、上に示したように入力による乗算のためのメモリアレイ内に格納された重みを表す。次に、フィルタは、２ピクセルずつ右側にシフトされ、シフトされたフィルタ内の６ピクセルの第１の行は、第１のＮ個の入力の第３から第８の入力に提供され、６ピクセルの第２の行は、第２のＮ個の入力の第３から第８の入力に提供されるなど。ひとたびフィルタが画像の右側までシフトされると、フィルタは、左側に戻って再配置されるが、２ピクセルずつ下にシフトされ、ここでプロセスは、Ｎ×Ｎ画像全体がスキャンされるまで再び繰り返す。水平にシフトされたスキャンの各セットは、どのＮ2個のメモリアレイの入力が、乗算用のデータを有するかを示す台形により表現され得る。
したがって、スキャン間の２ピクセルのシフト及び６×６のフィルタサイズを使用したＮ×Ｎ画像アレイのスキャンは、Ｎ2個の入力及び（（Ｎ−４）／２））2個の行を必要とする。図３０は、メモリアレイ内の重みがどのようにフィルタスキャンのために格納されるかを示す台形をグラフィカルに示す。網掛け領域の各行は、水平のスキャンのうち１セットの間に入力に適用される重みを表現する。矢印は、メモリアレイの線形の入力線を示す（例えば、入力データを受信する図１５中の入力線２８ａは、直線的にメモリアレイにわたってずっと延び、それぞれ１つずつがメモリセルの同じ行に常にアクセスする；図１９のアレイの場合では、入力線のそれぞれは、メモリセルの同じ列に常にアクセスする）。白い領域は、入力に供給されるデータがない場所を示す。したがって、白い領域は、メモリセルアレイの非効率的な使用を示す。
効率は、高めることができ、また図３１に示されるようにメモリアレイを再構成することによって入力の総数を低減することができる。具体的には、メモリアレイの入力線は、別の行又は列に周期的にシフトされ、したがってアレイの未使用の部分を低減し、したがってスキャンを実行するのに必要なアレイ上に繰り返される入力線の数を低減する。具体的には、シフトＸ＝２である本例の場合では、矢印は、２行又は２列ずつ各入力線が周期的にシフトし、広く離間したメモリセル利用の台形を密集したメモリセル利用の方形に変形することを示す。メモリセル部分の間の余分な空間は、このシフトを実行する電線束に必要とされるが、メモリセルアレイに必要な入力の数は、大きく低減される（５ｎ＋６のみ）。
図３２は、図１５のアレイであるが、入力線として使用される線２８ａに対する２行の周期的なシフトを伴うアレイを示す。入力線に対する行の周期的なシフトは、図１７、図２２、及び図２３のアレイで同様に実行され得る。図３３は、図２０のアレイであるが、入力線として使用される線２８ａ１及び２８ａ２に対する２列の周期的なシフトを伴うアレイを示す。入力線に対する列の周期的なシフトは、図１９、図２１、及び図２４のアレイで同様に実行され得る。
本発明は、図示した上記実施形態（複数可）に限定されるものではなく、任意の請求の範囲にあるあらゆる全ての変形例も包含することが理解されよう。例えば、本明細書で本発明に言及することは、任意の請求項又は請求項の用語の範囲を限定することを意図されておらず、その代わり、単に、１つ以上の請求項によって網羅され得る１つ以上の特徴に言及するものである。上述の材料、プロセス、及び数値例は、単なる例示であり、請求項を限定するものと見なされるべきではない。単一の材料層は、複数のそのような又は類似の材料層として形成することができ、そして、逆もまた同様である。各メモリセルアレイの出力は、次のニューロン層に送られる前にフィルタコンデンセーションによって操作されるが、そうである必要はない。
本明細書で使用される場合、「の上方に（over）」及び「の上に（on）」という用語は両方とも、「の上に直接」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「の上に間接的に」（中間材料、要素、又は空間がそれらの間に配設される）を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「間接的に隣接した」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「に取付けられた」は、「に直接取付けられた」（中間材料、要素、又は空間がそれらの間に何ら配設されない）、及び「に間接的に取付けられた」（中間材料、要素、又は空間がそれらの間に配設される）を含み、「電気的に結合された」は、「に直接電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない）、及び「間接的に電気的に結合された」（要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある）を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板の上に直接、中間材料／要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、１つ以上の中間材料／要素をそれらの間に伴って、形成することを含み得る。

Claims (31)

  1. ニューラルネットワークデバイスであって、
    第１の複数の入力を受信するように、かつそれから第１の複数の出力を生成するように構成されている第１の複数のシナプスであって、前記第１の複数のシナプスが、
    複数のメモリセルを含み、前記メモリセルのそれぞれが、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、前記チャネル領域の第１の部分の上方に配置され、そこから絶縁された浮遊ゲートと、前記チャネル領域の第２の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、を含み、
    前記複数のメモリセルのそれぞれは、前記浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されており、
    前記複数のメモリセルは、前記第１の複数の入力に、前記格納された重み値を乗じて前記第１の複数の出力を生成するように構成されている、第１の複数のシナプスと、
    前記第１の複数の出力を受信するように構成されている第１の複数のニューロンと、を含む、ニューラルネットワークデバイス。
  2. 前記第１の複数のニューロンが、前記第１の複数の出力に基づいて第１の複数の決定を生成するように構成されている、請求項１に記載のニューラルネットワークデバイス。
  3. 前記第１の複数の決定に基づいて第２の複数の入力を受信し、そこから第２の複数の出力を生成するように構成されている第２の複数のシナプスであって、前記第２の複数のシナプスが、
    複数の第２のメモリセルを含み、前記第２のメモリセルのそれぞれが、前記半導体基板内に形成された、間に第２のチャネル領域が延在している離間した第２のソース領域及び第２のドレイン領域と、前記第２のチャネル領域の第１の部分の上方に配置され、そこから絶縁された第２の浮遊ゲートと、前記第２のチャネル領域の第２の部分の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、を含み、
    前記複数の第２のメモリセルのそれぞれは、前記第２の浮遊ゲート上の多くの電子に対応する第２の重み値を格納するように構成されており、
    前記複数の第２のメモリセルは、前記第２の複数の入力に、前記格納された第２の重み値を乗じて前記第２の複数の出力を生成するように構成されている、第２の複数のシナプスと、
    前記第２の複数の出力を受信するように構成されている第２の複数のニューロンと、を含む、第２の複数のシナプスを含む、を更に含む、請求項２に記載のニューラルネットワークデバイス。
  4. 前記第２の複数のニューロンが、前記第２の複数の出力に基づいて第２の複数の決定を生成するように構成されている、請求項３に記載のニューラルネットワークデバイス。
  5. 前記第１の複数のシナプスの前記メモリセルのそれぞれが
    前記ソース領域の上方に配置され、そこから絶縁された第２の非浮遊ゲートと、
    前記浮遊ゲートの上方に配置され、そこから絶縁された第３の非浮遊ゲートと、を更に含む、請求項１に記載のニューラルネットワークデバイス。
  6. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  7. 前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項６に記載のニューラルネットワークデバイス。
  8. 前記複数の第１の線上での前記第１の複数の入力の受信前に、前記第１の複数の入力の電流を電圧に対数変換するための回路機構を更に含む、請求項６に記載のニューラルネットワークデバイス。
  9. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  10. 前記複数の第５の線のそれぞれについて、前記第２の複数の出力のうちの１つが提供され、前記第２の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項９に記載のニューラルネットワークデバイス。
  11. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  12. 前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１１に記載のニューラルネットワークデバイス。
  13. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第５の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  14. 前記複数の第５の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１３に記載のニューラルネットワークデバイス。
  15. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  16. 前記複数の第６の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項１５に記載のニューラルネットワークデバイス。
  17. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  18. 前記複数の第４の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１７に記載のニューラルネットワークデバイス。
  19. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
  20. 前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１９に記載のニューラルネットワークデバイス。
  21. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
  22. 前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項２１に記載のニューラルネットワークデバイス。
  23. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  24. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  25. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  26. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第５の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第６の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第５の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  27. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第５の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第６の線と、
    前記メモリセルの前記列のうちの１つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第７の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第８の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第６の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  28. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第２の非浮遊ゲートをそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記第３の非浮遊ゲートをそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第４の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第５の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、また前記複数の第４の線上で前記第１の複数の出力を提供するように構成されている、請求項５に記載のニューラルネットワークデバイス。
  29. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記行のうちの１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の１つにおいて前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第３の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
  30. 前記複数の第３の線のそれぞれについて、前記第１の複数の出力のうちの１つが提供され、前記第１の複数の出力のうちの１つは、前記メモリセルの前記１列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項１９に記載のニューラルネットワークデバイス。
  31. 前記第１の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第１の複数のシナプスは、
    前記メモリセルの前記列のうちの１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて奇数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第１の線と、
    前記メモリセルの前記列のうちの１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の１つにおいて偶数行メモリセルの前記第１の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第２の線と、
    前記メモリセルの前記行のうちの１つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第３の線と、
    前記メモリセルの前記列のうちの１つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第４の線と、を含み、
    前記第１の複数のシナプスは、前記複数の第１の線上で前記第１の複数の入力の一部を、また前記複数の第２の線上で前記第１の複数の入力のその他を受信するように、かつ前記複数の第３の線上で前記第１の複数の出力を提供するように構成されている、請求項１に記載のニューラルネットワークデバイス。
JP2018560205A 2016-05-17 2017-05-12 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 Active JP6833873B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662337760P 2016-05-17 2016-05-17
US62/337,760 2016-05-17
US15/594,439 US11308383B2 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array
US15/594,439 2017-05-12
PCT/US2017/032552 WO2017200883A1 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array

Publications (2)

Publication Number Publication Date
JP2019517138A true JP2019517138A (ja) 2019-06-20
JP6833873B2 JP6833873B2 (ja) 2021-02-24

Family

ID=60326170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018560205A Active JP6833873B2 (ja) 2016-05-17 2017-05-12 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器

Country Status (5)

Country Link
US (10) US11308383B2 (ja)
JP (1) JP6833873B2 (ja)
KR (1) KR102182583B1 (ja)
TW (1) TWI631517B (ja)
WO (1) WO2017200883A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021517704A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP2021517706A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517705A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP2021523511A (ja) * 2018-05-01 2021-09-02 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
JP2021531609A (ja) * 2018-07-11 2021-11-18 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
JP7008167B1 (ja) 2019-01-29 2022-01-25 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP2022523316A (ja) * 2019-01-29 2022-04-22 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
US11942163B2 (en) 2020-11-10 2024-03-26 Renesas Electronics Corporation Neural network circuit comprising nonvolatile memory cells and reference-current cells
US11942152B2 (en) 2020-04-01 2024-03-26 Yoshinori Okajima Fuzzy string search circuit
JP7523674B2 (ja) 2020-08-25 2024-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッド アナログニューラルメモリにおける書き込みと検証との同時動作
JP7561203B2 (ja) 2020-03-22 2024-10-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311958B2 (en) 2016-05-17 2019-06-04 Silicon Storage Technology, Inc. Array of three-gate flash memory cells with individual memory cell read, program and erase
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
WO2018137177A1 (zh) * 2017-01-25 2018-08-02 北京大学 一种基于nor flash阵列的卷积运算方法
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection
US12106211B2 (en) 2017-04-27 2024-10-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
JP7217227B2 (ja) * 2017-05-02 2023-02-02 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
US10580492B2 (en) * 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
US10748630B2 (en) * 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10803943B2 (en) * 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
KR102408858B1 (ko) * 2017-12-19 2022-06-14 삼성전자주식회사 비휘발성 메모리 장치, 이를 포함하는 메모리 시스템 및 비휘발성 메모리 장치의 동작 방법
KR102121562B1 (ko) * 2017-12-21 2020-06-10 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
US10628295B2 (en) 2017-12-26 2020-04-21 Samsung Electronics Co., Ltd. Computing mechanisms using lookup tables stored on memory
CN108038542B (zh) * 2017-12-27 2022-01-07 上海闪易半导体有限公司 一种基于神经网络的存储模块、模组及数据处理方法
KR102130532B1 (ko) * 2017-12-29 2020-07-07 포항공과대학교 산학협력단 커널 하드웨어 장치
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
TWI659428B (zh) * 2018-01-12 2019-05-11 中原大學 運用非揮發性記憶體執行類神經網絡前饋與遞迴運算之方法
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
EP3743857A4 (en) * 2018-01-23 2021-12-29 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10242737B1 (en) * 2018-02-13 2019-03-26 Macronix International Co., Ltd. Device structure for neuromorphic computing system
US10580491B2 (en) * 2018-03-23 2020-03-03 Silicon Storage Technology, Inc. System and method for managing peak power demand and noise in non-volatile memory array
CN108509179B (zh) * 2018-04-04 2021-11-30 百度在线网络技术（北京）有限公司 用于检测人脸的方法、用于生成模型的装置
US11403518B2 (en) * 2018-04-25 2022-08-02 Denso Corporation Neural network circuit
US10891080B1 (en) 2018-06-04 2021-01-12 Mentium Technologies Inc. Management of non-volatile memory arrays
US11568229B2 (en) * 2018-07-11 2023-01-31 Silicon Storage Technology, Inc. Redundant memory access for rows or columns containing faulty memory cells in analog neural memory in deep learning artificial neural network
US11138497B2 (en) 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
WO2020018960A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Compute-in-memory architecture for neural networks
US10671891B2 (en) * 2018-07-19 2020-06-02 International Business Machines Corporation Reducing computational costs of deep reinforcement learning by gated convolutional neural network
CN109284474B (zh) * 2018-08-13 2020-09-11 北京大学 一种加法器辅助实现图像卷积运算的闪存系统及方法
US10860918B2 (en) * 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10755783B2 (en) * 2018-08-27 2020-08-25 Silicon Storage Technology Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
US10956814B2 (en) 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
KR20200028168A (ko) 2018-09-06 2020-03-16 삼성전자주식회사 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US12075618B2 (en) 2018-10-16 2024-08-27 Silicon Storage Technology, Inc. Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
US11449268B2 (en) * 2018-11-20 2022-09-20 Samsung Electronics Co., Ltd. Deep solid state device (deep-SSD): a neural network based persistent data storage
US11562229B2 (en) * 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
CN109558032B (zh) * 2018-12-05 2020-09-04 北京三快在线科技有限公司 操作处理方法、装置以及计算机设备
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
US11409352B2 (en) 2019-01-18 2022-08-09 Silicon Storage Technology, Inc. Power management for an analog neural memory in a deep learning artificial neural network
US11893478B2 (en) 2019-01-18 2024-02-06 Silicon Storage Technology, Inc. Programmable output blocks for analog neural memory in a deep learning artificial neural network
US11270763B2 (en) * 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
WO2020159579A1 (en) * 2019-01-29 2020-08-06 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11119674B2 (en) 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
US10916306B2 (en) 2019-03-07 2021-02-09 Western Digital Technologies, Inc. Burst mode operation conditioning for a memory device
US11132176B2 (en) 2019-03-20 2021-09-28 Macronix International Co., Ltd. Non-volatile computing method in flash memory
US10896726B2 (en) * 2019-04-02 2021-01-19 Junsung KIM Method for reading a cross-point type memory array comprising a two-terminal switching material
US11423979B2 (en) 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
US20200349422A1 (en) 2019-05-02 2020-11-05 Silicon Storage Technology, Inc. Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network
US11080152B2 (en) 2019-05-15 2021-08-03 Western Digital Technologies, Inc. Optimized neural network data organization
US11081168B2 (en) 2019-05-23 2021-08-03 Hefei Reliance Memory Limited Mixed digital-analog memory devices and circuits for secure storage and computing
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
US12026601B2 (en) * 2019-06-26 2024-07-02 Micron Technology, Inc. Stacked artificial neural networks
US11393546B2 (en) 2019-07-19 2022-07-19 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11449741B2 (en) 2019-07-19 2022-09-20 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11586943B2 (en) * 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
KR102448396B1 (ko) * 2019-09-16 2022-09-27 포항공과대학교 산학협력단 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
US11507816B2 (en) * 2019-09-19 2022-11-22 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
KR102225558B1 (ko) 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
US11755899B2 (en) 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
KR102434119B1 (ko) * 2019-12-03 2022-08-19 서울대학교산학협력단 시냅스 스트링 어레이를 이용한 신경망
KR102425869B1 (ko) * 2019-12-09 2022-07-28 광주과학기술원 씨모스에 기반하는 크로스바 어레이 딥러닝 가속기
KR20210075542A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
KR102556249B1 (ko) * 2020-01-02 2023-07-14 서울대학교산학협력단 신경망을 위한 시냅스 스트링 어레이 아키텍처
US11636322B2 (en) 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
US11393535B2 (en) 2020-02-26 2022-07-19 Silicon Storage Technology, Inc. Ultra-precise tuning of analog neural memory cells in a deep learning artificial neural network
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11521085B2 (en) 2020-04-07 2022-12-06 International Business Machines Corporation Neural network weight distribution from a grid of memory elements
US20210350217A1 (en) 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11682459B2 (en) 2020-05-13 2023-06-20 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network comprising logical cells and improved programming mechanism
US11289164B2 (en) 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
US11507835B2 (en) 2020-06-08 2022-11-22 Western Digital Technologies, Inc. Neural network data updates using in-place bit-addressable writes within storage class memory
KR102318819B1 (ko) * 2020-06-10 2021-10-27 연세대학교 산학협력단 멀티 비트 가중치의 연산을 위한 인 메모리 장치
US11309042B2 (en) * 2020-06-29 2022-04-19 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by program adjustment for memory cells exhibiting random telegraph noise
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11914973B2 (en) 2020-11-19 2024-02-27 Apple Inc. Performing multiple bit computation and convolution in memory
WO2022182378A1 (en) 2021-02-25 2022-09-01 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
KR20220145223A (ko) 2021-04-21 2022-10-28 삼성전자주식회사 프로세싱 소자 및 프로세싱 소자를 포함하는 전자 장치
WO2022245382A1 (en) * 2021-05-18 2022-11-24 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network
US20220374696A1 (en) * 2021-05-18 2022-11-24 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network
US12080355B2 (en) * 2021-06-02 2024-09-03 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by post-program tuning for memory cells exhibiting random telegraph noise
KR20240029074A (ko) 2021-07-05 2024-03-05 실리콘 스토리지 테크놀로지 인크 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 위한 프로그램 가능 출력 블록
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
WO2023146567A1 (en) 2022-01-28 2023-08-03 Silicon Storage Technology, Inc. Artificial neural network comprising an analog array and a digital array
WO2023154075A1 (en) 2022-02-08 2023-08-17 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
US20230306246A1 (en) 2022-02-08 2023-09-28 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
KR20240133999A (ko) 2022-04-06 2024-09-05 실리콘 스토리지 테크놀로지 인크 3차원 집적 회로를 포함하는 인공 신경망
WO2023195999A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Artificial neural network comprising reference array for i-v slope configuration
WO2023196002A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog outputs
WO2023196000A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog inputs
WO2024063792A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Verification method and system in artificial neural network array
US20240112003A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Output circuit for artificial neural network array
WO2024063793A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Input circuit for artificial neural network array
US20240112729A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Multiple Row Programming Operation In Artificial Neural Network Array
KR102705669B1 (ko) * 2022-11-22 2024-09-11 경북대학교 산학협력단 합성곱 신경망의 하드웨어 커널 시스템
WO2024162978A1 (en) 2023-02-01 2024-08-08 Silicon Storage Technology, Inc. Multiplexors for neural network array
WO2024162977A1 (en) 2023-02-01 2024-08-08 Silicon Storage Technology, Inc. Redundancy for an array of non-volatile memory cells using tag registers and for a redundant array using tag registers
WO2024162979A1 (en) 2023-02-02 2024-08-08 Silicon Storage Technology, Inc. Current-to-voltage converter comprising common mode circuit
WO2024172829A1 (en) 2023-02-16 2024-08-22 Silicon Storage Technology, Inc. Output block for a vector-by-matrix multiplication array of non-volatile memory cells
KR20240136603A (ko) * 2023-03-07 2024-09-19 주식회사 페블스퀘어 뉴럴 네트워크 시스템 및 그 구현 방법
WO2024196388A1 (en) * 2023-03-23 2024-09-26 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63261874A (ja) * 1987-04-20 1988-10-28 Nippon Telegr & Teleph Corp <Ntt> 半導体集積回路
JPH0318985A (ja) * 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
JPH03174679A (ja) * 1989-10-11 1991-07-29 Intel Corp シナプスセル
JPH03203085A (ja) * 1989-12-29 1991-09-04 Samsung Electron Co Ltd 半導体メモリアレイ
JP2000502224A (ja) * 1995-12-01 2000-02-22 イギリス国 イメージングシステム
JP2010267341A (ja) * 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置

Family Cites Families (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
US5055897A (en) * 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
JP2517410B2 (ja) 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US5242848A (en) * 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
WO1991018349A1 (en) * 1990-05-22 1991-11-28 International Business Machines Corporation Scalable flow virtual learning neurocomputer
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
DE69319162T2 (de) 1992-03-26 1999-03-25 Hitachi Vlsi Engineering Corp., Kodaira, Tokio/Tokyo Flash-Speicher
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
US5422846A (en) * 1994-04-04 1995-06-06 Motorola Inc. Nonvolatile memory having overerase protection
US5583808A (en) * 1994-09-16 1996-12-10 National Semiconductor Corporation EPROM array segmented for high performance and method for controlling same
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
TW420806B (en) * 1998-03-06 2001-02-01 Sanyo Electric Co Non-volatile semiconductor memory device
JPH11330426A (ja) * 1998-05-12 1999-11-30 Mitsubishi Electric Corp 不揮発性半導体記憶装置およびその製造方法
US6389404B1 (en) * 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
US6258668B1 (en) * 1999-11-24 2001-07-10 Aplus Flash Technology, Inc. Array architecture and process flow of nonvolatile memory devices for mass storage applications
US6282119B1 (en) * 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
JP2005522071A (ja) 2002-03-22 2005-07-21 ジョージア テック リサーチ コーポレイション 浮遊ゲートアナログ回路
US6747310B2 (en) * 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6898129B2 (en) * 2002-10-25 2005-05-24 Freescale Semiconductor, Inc. Erase of a memory having a non-conductive storage medium
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6781186B1 (en) 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) * 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
ATE542176T1 (de) * 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
DE602004018687D1 (de) 2004-02-19 2009-02-05 Spansion Llc Strom-spannungs-umsetzungsschaltung und steuerverfahren dafür
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) * 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
JP4364227B2 (ja) * 2006-09-29 2009-11-11 株式会社東芝 半導体記憶装置
US7663916B2 (en) * 2007-04-16 2010-02-16 Taiwan Semicondcutor Manufacturing Company, Ltd. Logic compatible arrays and operations
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
KR100910869B1 (ko) 2007-06-08 2009-08-06 주식회사 하이닉스반도체 테스트시 필요한 채널의 갯수를 줄인 반도체 메모리장치
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
US8320191B2 (en) * 2007-08-30 2012-11-27 Infineon Technologies Ag Memory cell arrangement, method for controlling a memory cell, memory array and electronic device
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US7567457B2 (en) * 2007-10-30 2009-07-28 Spansion Llc Nonvolatile memory array architecture
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US7916551B2 (en) * 2007-11-06 2011-03-29 Macronix International Co., Ltd. Method of programming cell in memory and memory apparatus utilizing the method
US7746698B2 (en) * 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
KR20090075062A (ko) * 2008-01-03 2009-07-08 삼성전자주식회사 플로팅 바디 트랜지스터를 이용한 동적 메모리 셀을구비하는 메모리 셀 어레이를 구비하는 반도체 메모리 장치
JP4513865B2 (ja) * 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US7668013B2 (en) * 2008-02-07 2010-02-23 Silicon Storage Technology, Inc. Method for erasing a flash memory cell or an array of such cells having improved erase coupling ratio
JP5092938B2 (ja) * 2008-06-30 2012-12-05 富士通セミコンダクター株式会社 半導体記憶装置及びその駆動方法
US20100332812A1 (en) * 2009-06-24 2010-12-30 Doug Burger Method, system and computer-accessible medium for low-power branch prediction
US8204927B1 (en) * 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
KR101205100B1 (ko) * 2010-08-30 2012-11-26 에스케이하이닉스 주식회사 비휘발성 메모리 장치
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
KR20120063395A (ko) * 2010-12-07 2012-06-15 에스케이하이닉스 주식회사 비휘발성 메모리 장치
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2012160244A (ja) * 2011-02-02 2012-08-23 Lapis Semiconductor Co Ltd 半導体不揮発性メモリ
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9430735B1 (en) * 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
WO2014021150A1 (ja) * 2012-07-31 2014-02-06 シャープ株式会社 表示装置およびその駆動方法
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9153230B2 (en) * 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
WO2015001697A1 (ja) 2013-07-04 2015-01-08 パナソニックＩｐマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US10248675B2 (en) * 2013-10-16 2019-04-02 University Of Tennessee Research Foundation Method and apparatus for providing real-time monitoring of an artifical neural network
US9025386B1 (en) * 2013-11-20 2015-05-05 International Business Machines Corporation Embedded charge trap multi-time-programmable-read-only-memory for high performance logic technology
US9146886B2 (en) * 2014-01-06 2015-09-29 International Business Machines Corporation Deterministic message processing in a direct memory access adapter
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) * 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US10474948B2 (en) * 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
US9659604B1 (en) * 2015-12-07 2017-05-23 Globalfoundries Inc. Dual-bit 3-T high density MTPROM array
US10698975B2 (en) 2016-01-27 2020-06-30 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10311958B2 (en) 2016-05-17 2019-06-04 Silicon Storage Technology, Inc. Array of three-gate flash memory cells with individual memory cell read, program and erase
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
US20180131946A1 (en) * 2016-11-07 2018-05-10 Electronics And Telecommunications Research Institute Convolution neural network system and method for compressing synapse data of convolution neural network
WO2018106969A1 (en) 2016-12-09 2018-06-14 Hsu Fu Chang Three-dimensional neural network array
US10860923B2 (en) 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
JP6906058B2 (ja) 2017-02-24 2021-07-21 エーエスエムエル ネザーランズ ビー．ブイ． 機械学習によるプロセスモデルの決定方法
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
WO2018215188A1 (en) 2017-05-26 2018-11-29 Asml Netherlands B.V. Assist feature placement based on machine learning
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10740181B2 (en) 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10217512B1 (en) 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US11061646B2 (en) 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10891222B2 (en) 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US10741611B1 (en) 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory
US11694070B2 (en) 2019-05-07 2023-07-04 Hrl Laboratories, Llc Bipolar all-memristor circuit for in-memory computing
US11289164B2 (en) * 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63261874A (ja) * 1987-04-20 1988-10-28 Nippon Telegr & Teleph Corp <Ntt> 半導体集積回路
JPH0318985A (ja) * 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
JPH03174679A (ja) * 1989-10-11 1991-07-29 Intel Corp シナプスセル
JPH03203085A (ja) * 1989-12-29 1991-09-04 Samsung Electron Co Ltd 半導体メモリアレイ
JP2000502224A (ja) * 1995-12-01 2000-02-22 イギリス国 イメージングシステム
JP2010267341A (ja) * 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7217753B2 (ja) 2018-03-14 2023-02-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517706A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517705A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP7547536B2 (ja) 2018-03-14 2024-09-09 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
US12046290B2 (en) 2018-03-14 2024-07-23 Silicon Storage Technology, Inc. Verifying or reading a cell in an analog neural memory in a deep learning artificial neural network
JP2021517704A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP7153737B2 (ja) 2018-03-14 2022-10-14 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP7253563B2 (ja) 2018-03-14 2023-04-06 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP2021523511A (ja) * 2018-05-01 2021-09-02 シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
JP7288461B2 (ja) 2018-05-01 2023-06-07 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
US11847557B2 (en) 2018-07-11 2023-12-19 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
JP7266665B2 (ja) 2018-07-11 2023-04-28 シリコン ストーリッジ テクノロージー インコーポレイテッド ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
US11797834B2 (en) 2018-07-11 2023-10-24 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
JP2021531609A (ja) * 2018-07-11 2021-11-18 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
JP7201831B2 (ja) 2019-01-29 2023-01-10 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
JP2022523316A (ja) * 2019-01-29 2022-04-22 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
JP2022514111A (ja) * 2019-01-29 2022-02-09 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP7008167B1 (ja) 2019-01-29 2022-01-25 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP7561203B2 (ja) 2020-03-22 2024-10-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路
US11942152B2 (en) 2020-04-01 2024-03-26 Yoshinori Okajima Fuzzy string search circuit
JP7523674B2 (ja) 2020-08-25 2024-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッド アナログニューラルメモリにおける書き込みと検証との同時動作
US11942163B2 (en) 2020-11-10 2024-03-26 Renesas Electronics Corporation Neural network circuit comprising nonvolatile memory cells and reference-current cells
JP7458960B2 (ja) 2020-11-10 2024-04-01 ルネサスエレクトロニクス株式会社 半導体装置

Also Published As

Publication number Publication date
KR20190008912A (ko) 2019-01-25
TWI631517B (zh) 2018-08-01
US12057160B2 (en) 2024-08-06
WO2017200883A1 (en) 2017-11-23
US11308383B2 (en) 2022-04-19
US12112798B2 (en) 2024-10-08
US11972795B2 (en) 2024-04-30
TW201741943A (zh) 2017-12-01
US20230206026A1 (en) 2023-06-29
JP6833873B2 (ja) 2021-02-24
US11790208B2 (en) 2023-10-17
KR102182583B1 (ko) 2020-11-24
US20230229887A1 (en) 2023-07-20
US20230259738A1 (en) 2023-08-17
US11829859B2 (en) 2023-11-28
US20210232893A1 (en) 2021-07-29
US20230229888A1 (en) 2023-07-20
US20220147794A1 (en) 2022-05-12
US20170337466A1 (en) 2017-11-23
US11853856B2 (en) 2023-12-26
US20200151543A1 (en) 2020-05-14
US20210287065A1 (en) 2021-09-16
US20230252265A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
JP7492042B2 (ja) 人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム
US11790208B2 (en) Output circuitry for non-volatile memory array in neural network
JP7250776B2 (ja) フラッシュメモリを備えた構成可能な畳み込みニューラルネットワークを実装するためのシステム及び方法
JP7270746B2 (ja) ２ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
JP7314286B2 (ja) スタックゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
EP3459019A1 (en) Deep learning neural network classifier using non-volatile memory array
JP7270747B2 (ja) ４ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250