JP2019517138A - 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 - Google Patents

不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 Download PDF

Info

Publication number
JP2019517138A
JP2019517138A JP2018560205A JP2018560205A JP2019517138A JP 2019517138 A JP2019517138 A JP 2019517138A JP 2018560205 A JP2018560205 A JP 2018560205A JP 2018560205 A JP2018560205 A JP 2018560205A JP 2019517138 A JP2019517138 A JP 2019517138A
Authority
JP
Japan
Prior art keywords
memory cells
lines
electrically connecting
columns
synapses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018560205A
Other languages
English (en)
Other versions
JP6833873B2 (ja
Inventor
ファルヌード メリク バヤト
ファルヌード メリク バヤト
シンジェ グオ
シンジェ グオ
ディミトリ ストルコフ
ディミトリ ストルコフ
ニャン ドー
ニャン ドー
ヒュー ヴァン トラン
ヒュー ヴァン トラン
ヴィピン ティワリ
ヴィピン ティワリ
マーク ライテン
マーク ライテン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Silicon Storage Technology Inc
Original Assignee
Silicon Storage Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Silicon Storage Technology Inc filed Critical Silicon Storage Technology Inc
Publication of JP2019517138A publication Critical patent/JP2019517138A/ja
Application granted granted Critical
Publication of JP6833873B2 publication Critical patent/JP6833873B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C11/00Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0688Non-volatile semiconductor memory arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/08Address circuits; Decoders; Word-line control circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/10Programming or data input circuits
    • G11C16/12Programming voltage switching circuits
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/10Programming or data input circuits
    • G11C16/14Circuits for erasing electrically, e.g. erase voltage switching circuits
    • G11C16/16Circuits for erasing electrically, e.g. erase voltage switching circuits for erasing blocks, e.g. arrays, words, groups
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C16/00Erasable programmable read-only memories
    • G11C16/02Erasable programmable read-only memories electrically programmable
    • G11C16/06Auxiliary circuits, e.g. for writing into memory
    • G11C16/34Determination of programming status, e.g. threshold voltage, overprogramming or underprogramming, retention
    • G11C16/3436Arrangements for verifying correct programming or erasure
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C29/00Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/04Detection or location of defective memory elements, e.g. cell constructio details, timing of test signals
    • G11C29/08Functional testing, e.g. testing during refresh, power-on self testing [POST] or distributed testing
    • G11C29/12Built-in arrangements for testing, e.g. built-in self testing [BIST] or interconnection details
    • G11C29/38Response verification devices
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C2216/00Indexing scheme relating to G11C16/00 and subgroups, for features not directly covered by these groups
    • G11C2216/02Structural aspects of erasable programmable read-only memories
    • G11C2216/04Nonvolatile memory cell provided with a separate control gate for erasing the cells, i.e. erase gate, independent of the normal read control gate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Non-Volatile Memory (AREA)
  • Read Only Memory (AREA)
  • Semiconductor Memories (AREA)

Abstract

1つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイス。シナプスは、入力を受信し、そこから出力を生成するように構成されている。ニューロンは、出力を受信するように構成されている。シナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第1の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第2の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、入力に、格納された重み値を乗じて出力を生成するように構成されている。【選択図】図14

Description

[関連出願]
本出願は、参照により本明細書に組み込まれる、2016年5月17日出願の米国仮出願第62/337,760号の利益を主張するものである。
本発明は、ニューラルネットワークに関する。
人工ニューラルネットワークは、多数の入力によって異なり得る機能を推定する又は近似するために使用され、概ね未知である生物学的ニューラルネットワーク(動物の中枢神経系、特に脳)によく似ている。人工ニューラルネットワークは、概して、メッセージを交換する相互接続した「ニューロン」の層を含む。図1は、人工ニューラルネットワークを図示しており、ここで円は、入力又はニューロンの層を表す。接続(シナプスと呼ばれる)は、矢印によって表され、経験に基づいて調整され得る数値の重みを有する。これは、ニューラルネットが入力に適応できるようにし、学習できるようにする。典型的には、ニューラルネットワークは、複数の入力の層を含む。典型的には、1つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。それぞれのレベルでニューロンは、シナプスから受信されたデータに基づいて個々に又は合わせて決定を行う。
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題の1つは、適切なハードウェア技術の欠如である。実際には、実用ニューラルネットワークは、非常に多数のシナプスに頼り、ニューロン間の高い接続性、すなわち、非常に高度な計算的並行処理を可能にする。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専門化したグラフィック処理ユニットクラスタによって実現され得る。しかしながら、高コストに加え、これらのアプローチはまた、主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しない生物学的ネットワークに比べてあまり良くないエネルギー効率に悩まされている。CMOSアナログ回路は、人工ニューラルネットワークに使用されてきたが、ほとんどのCMOS実装シナプス(CMOS-implemented synapses)は、多数のニューロン及びシナプスを考えると嵩高すぎていた。
上記問題及びニーズは、1つ以上の不揮発性メモリアレイをシナプスとして利用する人工ニューラルネットワークデバイスによって対処される。ニューラルネットワークデバイスは、第1の複数の入力を受信するように、かつそれから第1の複数の出力を生成するように構成されている第1の複数のシナプス、及び第1の複数の出力を受信するように構成された第1の複数のニューロンを含む。第1の複数のシナプスは、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、チャネル領域の第1の部分の上方に配置され、そこから絶縁された浮遊ゲートと、チャネル領域の第2の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、をそれぞれが含む複数のメモリセルを含む。複数のメモリセルのそれぞれは、浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されている。複数のメモリセルは、第1の複数の入力に、格納された重み値を乗じて第1の複数の出力を生成するように構成されている。
本発明の他の目的及び特徴は、明細書、請求項、添付図面を精読することによって明らかになるであろう。
人工ニューラルネットワークを示す図である。 従来の2ゲートの不揮発性メモリセルの側面断面図である。 図2のメモリセルに対する従来のアレイアーキテクチャを示す図である。 従来の2ゲートの不揮発性メモリセルの側面断面図である。 図4のメモリセルに対する従来のアレイアーキテクチャを示す図である。 従来の4ゲートの不揮発性メモリセルの側面断面図である。 図6のメモリセルに対する従来のアレイアーキテクチャを示す図である。 均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。 不均等な間隔であるニューラルネットワークの重みレベルの割当てを示す図である。 双方向調整アルゴリズムを示すフローチャートである。 電流比較を使用した重みマッピングを示すブロック図である。 電圧比較を使用した重みマッピングを示すブロック図である。 不揮発性メモリアレイを利用する異なるレベルの例示のニューラルネットワークを示す図である。 ベクトル乗算器マトリクスを示すブロック図である。 様々なレベルのベクトル乗算器マトリクスを示すブロック図である。 4ゲートのメモリセルのアレイの第1のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第1のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第2のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第2のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第3のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第4のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第5のアーキテクチャを示す概略図である。 4ゲートのメモリセルのアレイの第6のアーキテクチャを示す概略図である。 2ゲートのメモリセルのアレイの第1のアーキテクチャを示す概略図である。 2ゲートのメモリセルのアレイの第2のアーキテクチャを示す概略図である。 電流電圧ログ変換器を示す図である。 電圧電流ログ変換器を示す図である。 接地基準(Gnd-referred)電流加算器を示す図である。 Vdd基準(Vdd-referred)電流加算器を示す図である。 不揮発性メモリアレイのN2ニューラルネット入力の利用を示す図である。 不揮発性メモリアレイのN2ニューラルネット入力の利用を示す図である。 周期的にシフトする入力線を有する不揮発性メモリアレイのニューラルネット入力の利用を示す図である。 図15のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。 図20のメモリアレイアーキテクチャであるが、周期的にシフトする入力線を有するメモリアレイアーキテクチャを示す概略図である。
本発明の人工ニューラルネットワークは、CMOS技術及び不揮発性メモリアレイの組み合わせを利用する。デジタル不揮発性メモリは、既知である。例えば、米国特許第5,029,130号(「’130号特許」)は、分割ゲート不揮発性メモリセルのアレイを開示し、あらゆる目的のために参照により本明細書に組み込まれる。メモリセルを図2に示す。各メモリセル10は、半導体基板12内に形成され、チャネル領域18をその間に有するソース領域及びドレイン領域14/16を含む。浮遊ゲート20は、チャネル領域18の第1の部分の上方及びドレイン領域16の一部の上方に形成され、それから絶縁される(かつその伝導率を制御する)。制御ゲート22は、チャネル領域18の第2の部分の上方に配置され、そこから絶縁される(かつその伝導率を制御する)第1の部分22aと、浮遊ゲート20の上方に延在する第2の部分22bと、を有する。浮遊ゲート20及び制御ゲート22は、ゲート酸化物26によって基板12からから絶縁される。
メモリセルは、制御ゲート22上に高圧正電圧を印加することによって消去され(ここで電子は、浮遊ゲートから除去される)、それにより、ファウラーノルドハイムトンネリングによって浮遊ゲート20から制御ゲート22まで中間絶縁体24を通って浮遊ゲート20上の電子をトンネリングさせる。
メモリセルは、制御ゲート22上に正電圧、及びドレイン16上に正電圧を印加することによってプログラミングされる(ここで電子は、浮遊ゲート上に印加される)。電子電流は、ソース14からドレイン16に向かって流れることになる。電子は、制御ゲート22と浮遊ゲート20との間の間隙に達すると、加速し発熱する。熱せられた電子のいくつかは、浮遊ゲート20からの静電引力に起因してゲート酸化物26を通って浮遊ゲート20の上に注入される。
メモリセルは、ドレイン16及び制御ゲート22上に正の読み出し電圧を印加することによって読み出される(制御ゲート下のチャネル領域をオンにする)。浮遊ゲート20が正に帯電する(すなわち、電子を消去し、ドレイン16に正に結合する)場合、浮遊ゲート20下のチャネル領域の部分は、次に同様にオンになり、電流は、チャネル領域18を流れ、これは、消去された状態つまり「1」の状態として検出される。浮遊ゲート20が負に帯電する(すなわち、電子でプログラミングされる)場合、次に浮遊ゲート20下のチャネル領域の部分は、ほとんど又は完全にオフになり、電流は、チャネル領域18を流れず(又はわずかに流れる)、プログラミングされた状態又は「0」の状態として検出される。
メモリアレイのアーキテクチャを図3に示す。メモリセル10は、行及び列に配置される。各列において、メモリセルは、ミラー方式にエンドツーエンドで配置され、その結果、それらのメモリセルは、それぞれが共通ソース領域14(S)を共有するメモリセルのペアとして形成され、メモリセルペアの隣接するセットはそれぞれ共通ドレイン領域16(D)を共有する。任意の所与のメモリセルの行のソース領域14は全て、ソース線14aによって電気的に接続される。任意の所与のメモリセルの列のドレイン領域16は全て、ビット線16aによって電気的に接続される。任意の所与のメモリセルの行の制御ゲート22は全て、制御ゲート線22aによって電気的に接続される。したがって、メモリセルを個々にプログラミング及び読み出しすることができる一方、メモリセル消去は1行ずつ実行される(メモリセルの各行は、制御ゲート線22a上への高電圧の適用によって一緒に消去される)。特定のメモリセルを消去する場合は、同じ行にある全てのメモリセルもまた消去される。
当業者は、ソース及びドレインに互換性があり得ることを理解しており、ここで浮遊ゲートは、図4に示されるようにドレインの代わりにソースの上方に部分的に延在し得る。図5は、メモリセル10、ソース線14a、ビット線16a、及び制御ゲート線22aを含む対応するメモリセルアーキテクチャを最も良く示している。図から明らかなように、同じ行のメモリセル10は、同じソース線14a及び同じ制御ゲート線22aを共有し、一方同じ列の全てのセルのドレイン領域は、同じビット線16aに電気的に接続されている。アレイの設計は、デジタルアプリケーション用に最適化されており、例えば、1.6V及び7.6Vを選択した制御ゲート線22a及びソース線14aにそれぞれ印加し、選択したビット線16aを接地することによるなど、選択したセルの個々のプログラミングを可能にする。同じペア内の選択されていないメモリセルを妨害することは、選択されていないビット線16aに2ボルト超の電圧を印加し、残りの線を接地することによって回避される。消去に関与しているプロセス(浮遊ゲート20から制御ゲート22までの電子のファウラーノルドハイムトンネリング)は、ドレイン電圧(すなわち、同じソース線14aを共有する行方向で2つの隣接するセルにより異なり得る電圧のみ)に弱く影響を受けるだけであるので、メモリセル10を個々に消去することはできない。
3つ以上のゲートを有する分割ゲートメモリセルもまた既知である。例えば、図6に示されるように、メモリセルは、ソース領域14、ドレイン領域16、チャネル領域18の第1の部分の上方の浮遊ゲート20、チャネル領域18の第2の部分の上方の選択ゲート28、浮遊ゲート20の上方の制御ゲート22、及びソース領域14の上方の消去ゲート30を有し、それらは既知である(例えば、米国特許第6,747,310号を参照されたく、これは参照によりあらゆる目的で本明細書に組み込まれる)。ここで、全てのゲートは、浮遊ゲート20を除いて、非浮遊ゲートであり、それらは電圧源に電気的に接続されている又は接続可能であることを意味する。プログラミングは、浮遊ゲート20上にそれ自体を注入するチャネル領域18からの熱せられた電子によって示される。消去は、浮遊ゲート20から消去ゲート30へトンネリングする電子によって示される。
4ゲートのメモリセルアレイのアーキテクチャは、図7に示されるように構成され得る。この実施形態では、それぞれの水平の選択ゲート線28aは、メモリセルのその行の選択ゲート28全てを電気的に一緒に接続する。それぞれの水平の制御ゲート線22aは、メモリセルのその行の制御ゲート22全てを電気的に一緒に接続する。それぞれの水平のソース線14aは、ソース領域14を共有するメモリセルの2つの行に対するソース領域14全てを電気的に一緒に接続する。それぞれのビット線16aは、メモリセルのその列のドレイン領域16を電気的に一緒に接続する。それぞれの消去ゲート線30aは、消去ゲート30を共有するメモリセルの2つの行に対する消去ゲート30全てを電気的に一緒に接続する。以前のアーキテクチャと同様に、個々のメモリセルは、独立してプログラミング及び読み出しを行うことができる。しかしながら、セルを個々に消去する方法はない。消去は、消去ゲート線30a上に高圧正電圧を印加することによって実行され、このことは同じ消去ゲート線30aを共有するメモリセルの両方の行の同時消去をもたらす。代表的な動作電圧は、下の表1内のものを含む(この実施形態では、選択ゲート線28aはワード線WLと呼ばれることがある):
上述の不揮発性メモリアレイをニューラルネットワークで利用するために、2つの改変がなされている。第1に、以下に更に説明されるように、アレイ内の他のメモリセルのメモリ状態に悪影響を与えずに各メモリセルを個々にプログラミング、消去、及び読み出しすることができるように線を再構成する。第2に、メモリセルの連続(アナログ)プログラミングを提供する。具体的には、アレイ内の各メモリセルのメモリ状態(すなわち、浮遊ゲート上の電荷)を、完全に消去された状態から完全にプログラミングされた状態へ、及び逆もまた同様に、独立して、かつ他のメモリセルの異常が最小で連続的に変更することができる。このことは、セル格納がアナログであるか、又は多数の別個の値のうちの1つを最低限格納することができ、それは、メモリアレイ内の全てのセルに対する非常に正確、かつ個々の調整を可能にし、またメモリアレイを格納に理想的にし、ニューラルネットワークのシナプシスの重みに微調整を加えることを意味する。
メモリセルのプログラミング及び格納
メモリセル内に格納されるニューラルネットワークの重みレベルの割り当ては、図8Aに示されるような均等な間隔、又は図8Bに示されるような不均等な間隔であり得る。不揮発性メモリセルのプログラミングは、図9に示されるものなど双方向調整アルゴリズムを使用して実装され得る。Icellは、プログラミングされる標的セルの読み出し電流であり、Itargetは、セルが理想的にプログラミングされる際の所望の読み出し電流である。標的セル読み出し電流Icellを読み出し(工程1)、標的読み出し電流Itargetと比較する(工程2)。標的セル読み出し電流Icellが、標的読み出し電流Itargetより大きい場合は、プログラミング調整プロセスを実行して(工程3)浮遊ゲート(ルックアップテーブルを使用して制御ゲート上の所望のプログラミング電圧VCGを決定する)上の電子数を増大させ(工程3a〜3b)、必要に応じてこれを繰り返すことができる(工程3c)。標的セル読み出し電流Icellが、標的読み出し電流Itargetより小さい場合は、消去調整プロセスを実行して(工程4)浮遊ゲート(ルックアップテーブルを使用して消去ゲート上の所望の消去電圧VEGを決定する)上の電子数を減少させ(工程4a〜4b)、必要に応じてこれを繰り返すことができる(工程4c)。プログラミング調整プロセスが標的読み出し電流を通り過ぎると、(許容できるデルタ値内で)標的読み出し電流を達成するまで次に消去調整プロセスを実行し(工程3d及び工程4aで始まる)、逆もまた同様である(工程4d及び工程3aで始まる)。
不揮発性メモリセルのプログラミングは、プログラミング調整を使用して一方向の調整アルゴリズムを使用して代わりに実装され得る。このアルゴリズムを使用して、メモリセルを最初に完全に消去し、次に標的セルの読み出し電流が標的閾値に達するまで図9のプログラミング調整工程3a〜3cを実行する。あるいは、不揮発性メモリセルの調整は、消去調整を使用して一方向の調整アルゴリズムを使用して実装され得る。このアプローチでは、メモリセルを最初に完全にプログラミングし、次に標的セルの読み出し電流が標的閾値に達するまで図9の消去調整工程4a〜4cを実行する。
図10は、電流比較を使用した重みマッピングを示す図である。重みデジタルビット(例えば、各シナプシスに対して5ビットの重み、メモリセルの標的デジタル重みを表す)は、デジタルアナログ変換器(DAC)40に入力され、DAC40はビットを電圧Vout(例えば、64電圧レベル−5ビット)に変換する。Voutは、電圧電流変換器V/I Conv42によって電流Iout(例えば、64電流レベル−5ビット)に変換される。電流は、電流比較器IComp44に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル10に入力される(例えば、消去:インクリメントEG電圧;又はプログラム:インクリメントCG電圧)。外へ出るメモリセル電流Icellout(すなわち、読み出し動作から)は、電流比較器IComp44に供給される。電流比較器IComp44は、メモリセル電流Icelloutを重みデジタルビット由来の電流Ioutと比較してメモリセル10に格納された重みを示す信号を生成する。
図11は、電圧比較を使用した重みマッピングを示す図である。重みデジタルビット(例えば、各シナプシスに対して5ビットの重み)は、デジタルアナログ変換器(DAC)40に入力され、DAC40はビットを電圧Vout(例えば、64電圧レベル−5ビット)に変換する。Voutは、電圧比較器VComp46に供給される。プログラム又は消去アルゴリズムの有効化は、メモリセル10に入力される(例えば、消去:インクリメントEG電圧;又はプログラム:インクリメントCG電圧)。外へ出るメモリセル電流Icelloutは、電圧V2outへの変換(例えば、64電圧レベル−5ビット)のために電流電圧変換器I/V Conv48に供給される。電圧V2outは、電圧比較器VComp46に供給される。電圧比較器VComp46は、電圧Vout及びV2outを比較してメモリセル10に格納された重みを示す信号を生成する。
不揮発性メモリセルアレイを使用するニューラルネットワーク
図12は、不揮発性メモリアレイを利用するニューラルネットワークの非限定例を概念的に図示する。この例は、顔認識アプリケーションのために不揮発性メモリアレイニューラルネットを使用するが、不揮発性メモリアレイベースのニューラルネットワークを使用して他の任意の適切なアプリケーションを実施することができる。S0は入力であり、この例では、5ビット精度の32×32ピクセルRGB画像である(すなわち、各色R、G、及びBにつき1つずつの3つの32×32ピクセルアレイ、各ピクセルが5ビット精度である)。S0からC1に行くシナプスCB1は、異なる重みのセット及び共有される重みの両方を有し、入力画像を3×3ピクセルの重なり合うフィルタでスキャンし(カーネル)、1ピクセル(又はモデルによって決まるように2ピクセル以上)ずつフィルタをシフトする。具体的には、画像の3×3部分における9ピクセルの値(すなわち、フィルタ又はカーネルと呼ばれる)は、シナプスCB1に提供され、それによってこれらの9個の入力値に適切な重みを乗じ、その乗算の出力の合計後、単一の出力値が決定され、特徴マップC1の層の1つのピクセルを生成するためにCB1の第1のニューロンによって与えられる。3×3フィルタは次に右側に1ピクセルだけシフトされ(すなわち、3ピクセルの列を右側に追加し、左側で3ピクセルの列をドロップする)、そのため、この新しく位置づけられたフィルタの9ピクセル値が、シナプスCB1に提供されるため、それらに同じ重みを乗じ、関連するニューロンによって第2の単一の出力値を決定する。このプロセスを、3×3フィルタが32×32ピクセル画像全体にわたって3色全て及び全てのビットについてスキャンするまで続ける(精度値)。プロセスは次に、層C1の特徴マップ全てが計算されるまで、異なる重みのセットを使用して繰り返されて、C1の異なる特徴マップを生成する。
C1において、本例では、それぞれ30×30ピクセルを有する16個の特徴マップが存在する。各ピクセルは、入力とカーネルとの乗算から抽出された新しい特徴ピクセルであり、したがって、各特徴マップは、2次元アレイであり、したがってこの例では、シナプスCB1は、2次元アレイの16層を構成する(本明細書で言及されるニューロン層及びアレイは、必ずしも物理的関係ではなく論理的な関係であり、すなわち、アレイは必ずしも物理的な2次元アレイに配向されないことに留意する)。16個の特徴マップのそれぞれは、フィルタスキャンに適用される16個の異なるシナプス重みのセットの1つによって生成される。C1特徴マップは全て、境界同定など同じ画像特徴の異なる態様を対象とすることができる。例えば、第1のマップ(この第1のマップを生成するのに使用される全てのスキャンに共有される第1の重みセットを使用して生成される)は、円形エッジを識別することができ、第2のマップ(第1の重みセットと異なる第2の重みセットを使用して生成される)は、方形エッジ又は特定の特徴のアスペクト比などを識別することができる。
各特徴マップ中の連続する、重なり合わない2×2領域からの値をプールする活性化関数P1(プーリング)は、C1からS1へ行く前に適用される。プーリング段階の目的は、平均して近隣の位置にすること(又はmax関数もまた使用され得る)、例えばエッジ位置の依存を低減すること、及び次の段階に行く前にデータサイズを低減することである。S1において、16個の15×15特徴マップ(すなわち、16個のそれぞれ15×15ピクセルの異なるアレイ)が存在する。S1からC2へ行くCB2内のシナプス及び関連するニューロンは、S1内のマップを1ピクセルのフィルタシフトを使用して4×4フィルタでスキャンする。C2において、22個の12×12特徴マップが存在する。各特徴マップ中の連続する、重なり合わない2×2領域からの値をプールする活性化関数P2(プーリング)は、C2からS2へ行く前に適用される。S2において、22個の6×6特徴マップが存在する。活性化関数は、S2からC3へ行くシナプスCB3で適用され、ここでC3内の全てのニューロンはS2内の全てのマップに接続する。C3において、64個のニューロンが存在する。C3から出力S3へ行くシナプスCB4は、S3をC3と完全に接続する。S3における出力は、10個のニューロンを含み、ここで最も高い出力ニューロンは、クラスを決定する。この出力は、例えば、元の画像の内容の同定又は分類を示すことができる。
シナプスの各レベルは、不揮発性メモリセルのアレイ又はアレイの一部を使用して実行される。図13は、不揮発性メモリセルを含み、入力層と次の層との間のシナプスとして利用されるベクターとマトリクスとの乗算(VMM)アレイのブロック図である。具体的には、VMM32は、不揮発性メモリセルのアレイ33、消去ゲート及びワード線ゲートデコーダ34、制御ゲートデコーダ35、ビット線デコーダ36、並びにソース線デコーダ37を含み、それらのデコーダはメモリアレイ33に対する入力をデコードする。この例におけるソース線デコーダ37はまた、メモリセルアレイの出力をデコードする。メモリアレイは、2つの目的を果たす。第1に、VMMにより使用される重みを格納する。第2に、メモリアレイは、効果的に、入力に、メモリアレイに格納された重みを乗じて出力を生成し、これは、次の層への入力又は最後の層への入力になる。乗算関数を実行することによって、メモリアレイは、別個の乗算論理回路の必要性をなくし、また電力効率も良い。
メモリアレイの出力は、メモリセルアレイの出力を合計してその畳み込み用の単一の値を生成する差動加算オペアンプ38に供給される。合計された出力値は、次に出力を整流する活性化関数回路39に供給される。整流された出力値は、次の層(例えば上の説明ではC1)として特徴マップの要素になり、次いで、次のシナプスに適用されて次の特徴マップ層又は最後の層を生成する。したがって、この例では、メモリアレイは、複数のシナプスを構成し(ニューロンの前の層から、又は画像データベースなどの入力層から入力を受信する)、加算オペアンプ38及び活性化関数回路39は、複数のニューロンを構成する。
図14は、様々なレベルのVMMのブロック図である。図14に示されるように、入力は、デジタルからアナログにデジタルアナログ変換器31によって変換され、入力VMM32aに提供される。入力VMM32aによって生成された出力は、次に、次のVMM(隠しレベル2)32cへの入力として提供される出力を生成する次のVMM(隠しレベル1)32bへの入力として提供される、などとなる。VMMの32の様々な層は、畳み込みニューラルネットワーク(CNN)のシナプス及びニューロンの異なる層として機能する。各VMMは、スタンドアローンの不揮発性メモリアレイであり得、又は複数のVMMは、同じ不揮発性メモリアレイの異なる部分を利用することができ、又は複数のVMMは、同じ不揮発性メモリアレイの重なり合う部分を利用することができる。
図15は、ドレイン加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイを示す。図15のアレイに関する様々なゲート線及び領域線は、消去ゲート線30aが、水平ではなく垂直に延びる(すなわち、各消去ゲート線30aは、メモリセルのその列に関して全ての消去ゲート30を一緒に接続する)ことを除いて、(対応する構造に同じ要素番号を用いて)図7中のものと同じであり、その結果、各メモリセル10は、独立してプログラミング、消去、及び読み出しを行うことができる。そのセルに適切な重み値を使用してメモリセルのそれぞれがプログラミングされた後で、アレイは、ドレイン加算マトリクス乗算器として作動する。マトリクス入力は、Vin0...Vin7であり、選択ゲート線28a上に印加される。図15のアレイに関して出力のマトリクスIout0...IoutNは、ビット線16a上で生成される。各出力Ioutは、列内の全てのセルについてセル電流Iに、セルに格納された重みWを乗じた値の合計である。
lout=Σ{lij*Wij}
各メモリセル(又はメモリセルのペア)は、その列内のメモリセル(又はメモリセルのペア)に格納された重み値の合計によって決まる出力電流Ioutとして表される重み値を有する単一のシナプスとして作動する。任意の所与のシナプスの出力は、電流の形態である。したがって、第1の段階後のそれぞれの後続のVMM段階は、好ましくは、前のVMM段階からの入力電流を入力電圧Vinとして使用される電圧に変換するための回路機構を含む。図16は、そのような電流電圧変換回路機構の例を示しているが、これは入力電流Iin0...IinNを入力電圧Vin0...VinNにログ変換する改変されたメモリセルの行である。
本明細書に記載されたメモリセルは、弱反転にバイアスされる。
Ids=Io*(Vg-Vth)/kVt=w*Io*(Vg)/kVt
入力電流を入力電圧に変換するためのメモリセルを使用するIVログ変換器について:
Vg=k*Vt*log[Ids/wp*Io]
ベクターマトリクス乗算器VMMとして使用されるメモリアレイについて、出力電流は以下である:
Iout=wa*Io*(Vg)/kVt、すなわち
Iout=(wa/wp)*Iin=W*Iin
図17及び図18は、ドレイン加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイの別の構成を示す。図17及び図18のアレイに関する線は、ソース線14aが水平ではなく垂直に延びる(すなわち、各ソース線14aは、メモリセルのその列に関して全てのソース領域14を一緒に接続する)こと、及び消去ゲート線30aが垂直ではなく水平に延びる(すなわち、各消去ゲート線30aは、メモリセルペアのその行に関して全ての消去ゲート30sを一緒に接続する)ことを除いて図15及び図16のアレイ内のものと同じであり、その結果各メモリセルは、独立してプログラミング、消去、及び読み出しを行うことができる。マトリクス入力Vin0...VinNは、選択ゲート線28a上のままであり、マトリクス出力Iout0...IoutNは、ビット線16a上のままである。
図19は、ゲートカップリング/ソース加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイの別の構成を示す。図19のアレイの線は、選択ゲート線28aが垂直に延び、メモリセルの各列についてそれらのうちの2つが存在することを除いて図15及び図16中のものと同じである。具体的には、メモリセルの各列は、2つの選択ゲート線、すなわち奇数行メモリセルの全ての選択ゲート28を一緒に接続する第1の選択ゲート線28a1、及び偶数行メモリセルの全ての選択ゲート28を一緒に接続する第2の選択ゲート線28a2を含む。
図19の頂部と底部において回路は、入力電流Iin0...IinNを入力電圧Vin0...VinNにログ変換するように働く。この図で示されるマトリクス入力は、Vin0...Vin5であり、選択ゲート線28a1及び28a2上に印加される。具体的には、入力Vin0は、列1内の奇数セルについて選択線28a1上に印加される。Vin1は、列1内の偶数セルについて選択ゲート線28a2上に印加される。Vin2は、列2内の奇数セルについて選択ゲート線28a1上に印加される。Vin3は、列2内の偶数セルについて選択ゲート線28a2上に印加されるなど。マトリクス出力Iout0...Iout3は、ソース線14a上に提供される。ビット線16aは、固定バイアス電圧VBLrdでバイアスされる。各出力Ioutは、メモリセルのその行内の全てのセルについてセル電流Iに、セルに格納された重みWを乗じた値の合計である。したがって、このアーキテクチャについて、メモリセルの各行は、その行内のメモリセルに格納された重み値の合計によって決まる出力電流Ioutとして表される重み値を有する単一のシナプスとして作動する。
図20は、ゲートカップリング/ソース加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイの別の構成を示す。図20のアレイの線は、ビット線16が垂直に延び、メモリセルの各列についてそれらのうちの2つが存在することを除いて図19中のものと同じである。具体的には、メモリセルの各列は、2本のビット線、すなわち隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第1のビット線16a1(同じビット線コンタクトを共有する2つのメモリセル)、及び次の隣接する対のメモリセルの全てのドレイン領域を一緒に接続する第2のビット線16a2を含む。マトリクス入力Vin0...VinNは、選択ゲート線28a1及び28a2上のままであり、マトリクス出力Iout0...IoutNは、ソース線14a上のままである。全ての第1のビット線16a1のセットは、バイアスレベル(例えば、1.2v)でバイアスされており、全ての第2のビット線16a2のセットは、別のバイアスレベル(例えば、0v)でバイアスされている。ソース線14aは、実質上のバイアスレベル(例えば、0.6v)でバイアスされる。共通ソース線14aを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、各出力Ioutは、これらの差動出力の合計である。
lout=Σ(liju*Wiju−lijd*Wijd)
SL電圧~1/2Vdd,~0.5v
したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ioutとして表される重み値を有する単一のシナプスとして作動する。
図21は、ゲートカップリング/ソース加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイの別の構成を示す。図21のアレイの線は、消去ゲート30aが水平に延び、制御ゲート線22aが垂直に延び、メモリセルの各列についてそれらのうちの2つが存在することを除いて図20中のものと同じである。具体的には、メモリセルの各列は、2つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート22aを一緒に接続する第1の制御ゲート線22a1、及び偶数行メモリセルの全ての制御ゲート22aを一緒に接続する第2の制御ゲート線22a2を含む。マトリクス入力Vin0...VinNは、選択ゲート線28a1及び28a2上のままであり、マトリクス出力Iout0...IoutNは、ソース線14a上のままである。
図22は、ソース加算マトリクス乗算器として配置された4ゲートのメモリセル(すなわち、図6に示されるものなど)のアレイの別の構成を示す。図22のアレイの線及び入力は、図17中のものと同じである。しかしながら、出力がビット線16a上に提供される代わりに、それらはソース線14a上に提供される。マトリクス入力Vin0...VinNは、選択ゲート線28a上のままである。
図23は、ドレイン加算マトリクス乗算器として配置された2ゲートのメモリセル(すなわち、図1に示されるものなど)のアレイの構成を示す。図23のアレイの線は、水平のソース線14aが垂直のソース線14aに置き換えられたことを除き、図5中のものと同じである。具体的には、各ソース線14aは、メモリセルのその列のソース領域全てに接続されている。マトリクス入力Vin0...VinNは、制御ゲート線22a上に印加される。マトリクス出力Iout0...IoutNは、ビット線16a上に生成される。各出力Ioutは、列内の全てのセルについてセル電流Iに、セルに格納された重みWを乗じた値の合計である。メモリセルの各列は、その列内のメモリセルに格納された重み値の合計によって決まる出力電流Ioutとして表される重み値を有する単一のシナプスとして作動する。
図24は、ソース加算マトリクス乗算器として配置された2ゲートのメモリセル(すなわち、図1に示されるものなど)のアレイの構成を示す。図24のアレイの線は、制御ゲート線22aが垂直に延び、メモリセルの各列についてそれらのうちの2つが存在することを除いて図5中のものと同じである。具体的には、メモリセルの各列は、2つの制御ゲート線、すなわち奇数行メモリセルの全ての制御ゲート22aを一緒に接続する第1の制御ゲート線22a1、及び偶数行メモリセルの全ての制御ゲート22aを一緒に接続する第2の制御ゲート線22a2を含む。
この構成用のマトリクス入力は、Vin0...VinNであり、制御ゲート線22a1及び22a2上に印加される。具体的には、入力Vin0は、列1内の奇数行セルについて制御ゲート線22a1上に印加される。Vin1は、列1内の偶数行セルについて制御ゲート線22a2上に印加される。Vin2は、列2内の奇数行セルについて制御ゲート線22a1上に印加される。Vin3は、列2内の偶数行セルについて選択ゲート線22a2上に印加されるなど。マトリクス出力Iout0...IoutNは、ソース線14a上に生成される。共通ソース線14aを共有するメモリセルの各ペアについて、出力電流は、上部セルから下部セルを差し引いた差動出力になる。したがって、このアーキテクチャについて、ペアのメモリセルの各行は、そのペアのメモリセルの行内のメモリセルに格納された重み値によって決まる差動出力の合計である出力電流Ioutとして表される重み値を有する単一のシナプスとして作動する。
図15〜図16、図19及び図20の実施形態に関する例示の動作電圧は以下を含む。
おおよその数値として以下が挙げられる。
図17〜図18及び図22の実施形態に関する例示の動作電圧は以下を含む。
おおよその数値として以下が挙げられる。
図25は、本発明で使用するための例示の電流電圧ログ変換器50を示す(WL=選択ゲート線、CG=制御ゲート線、EG=消去ゲート線)。メモリは、弱反転領域にバイアスされる、Ids=Io*(Vg-Vth)/kVt。図26は、本発明で使用するための例示の電圧電流ログ変換器52を示す。メモリは、弱反転領域にバイアスされる。図27は、本発明で使用するための接地基準電流加算器54を示す。図28は、本発明で使用するためのVdd基準電流加算器56を下に示す。負荷の例として、ダイオード、不揮発性メモリセル、及びレジスタが挙げられる。
上述のメモリアレイ構成は、フィードフォワード分類エンジンを実装する。トレーニングは、メモリセル内に「重み」値を格納することによって完了し(シナプスアレイの生成)、このことは、個々のセルのサブスレッショルドスロープファクタが改変されたことを意味する。ニューロンは、シナプスの出力を加算すること及びニューロン閾値に応じて始動させる又は始動させないことによって実行される(すなわち、決定を下す)。
以下の工程を使用して、入力電流IEを処理することができる(例えば、入力電流は、画像認識のための特徴計算の出力から直接来ている):
工程1−不揮発性メモリで、より簡単に処理するためにログスケールに変換する。
・双極トランジスタを使用した入力電流電圧変換。双極トランジスタのバイアス電圧VBEは、エミッタ電流と対数関係を有する。
・VBE=a*lnIE−b→VBE∝lnIE
−式中、a(比)及びb(バイアス又はオフセット)は定数である
・VBE電圧は、メモリセルがサブスレッショルド領域で操作されるように発生する。
工程2−発生したバイアス電圧VBEをワード線(サブスレッショルド領域内の)に印加する。
・CMOSトランジスタの出力電流IDRAINは、入力電圧(VGS)、熱電圧(UT)及びカッパ(k=Cox/(Cox+Cdep))と指数関数的関係を有し、式中、Cox及びCdepは、浮遊ゲートの電荷に線形従属である。
・IDRAIN∝Exp(kVBE/UT)、又は
・lnIDRAIN∝kVBE/UT
・IDRAINの対数は、複数のVBE及び浮遊ゲート上の電荷(カッパに関連した)と線形関係を有し、式中、UTは、所与の温度で一定である。
・出力=入力*重みの関係がシナプスに対して存在する。
セルのそれぞれの出力(IDRAIN)は、読み出しモードにおいて結び付けられて、アレイ又はアレイのセクタ内の各シナプスの値を合計し得る。IDRAINは、ひとたび合計されると、電流比較器に送り込まれ、単一知覚ニューラルネットワークの比較に応じて「論理」0又は1を出力することができる。1つの知覚(1つのセクタ)は上述されている。各知覚からの出力は、複数の知覚のセクタの次のセットに送り込まれ得る。
メモリベースの畳み込みニューラルネットワークにおいて、入力のセットは、特定の重みを乗じて、隠し層又は出力層用の所望の結果を生成する必要がある。上述のように、1つの技術は、水平及び垂直の方向の両方で画像全体にXピクセルずつシフトされるM×Mフィルタ(カーネル)を使用して、先行する画像(例えば、N×Nマトリクス)をスキャンすることである。ピクセルのスキャンは、メモリアレイに対する十分な入力が存在する限り、同時に少なくとも部分的に実行され得る。例えば、図29に示されるように、Mのフィルタサイズ=6(すなわち、36ピクセルの6×6アレイ)を使用して、N×N画像アレイをX=2のシフトを用いてスキャンすることができる。その例において、フィルタ内の6ピクセルの第1の行は、N2個の入力のメモリアレイへの入力のうち最初の6個に提供される。次に、フィルタ内の6ピクセルの第2の行は、N2個の入力の第2のN個の入力のうち入力の最初の6個に提供されるなど。これは、図29の図の第1の行において表現されるが、ここで点は、上に示したように入力による乗算のためのメモリアレイ内に格納された重みを表す。次に、フィルタは、2ピクセルずつ右側にシフトされ、シフトされたフィルタ内の6ピクセルの第1の行は、第1のN個の入力の第3から第8の入力に提供され、6ピクセルの第2の行は、第2のN個の入力の第3から第8の入力に提供されるなど。ひとたびフィルタが画像の右側までシフトされると、フィルタは、左側に戻って再配置されるが、2ピクセルずつ下にシフトされ、ここでプロセスは、N×N画像全体がスキャンされるまで再び繰り返す。水平にシフトされたスキャンの各セットは、どのN2個のメモリアレイの入力が、乗算用のデータを有するかを示す台形により表現され得る。
したがって、スキャン間の2ピクセルのシフト及び6×6のフィルタサイズを使用したN×N画像アレイのスキャンは、N2個の入力及び((N−4)/2))2個の行を必要とする。図30は、メモリアレイ内の重みがどのようにフィルタスキャンのために格納されるかを示す台形をグラフィカルに示す。網掛け領域の各行は、水平のスキャンのうち1セットの間に入力に適用される重みを表現する。矢印は、メモリアレイの線形の入力線を示す(例えば、入力データを受信する図15中の入力線28aは、直線的にメモリアレイにわたってずっと延び、それぞれ1つずつがメモリセルの同じ行に常にアクセスする;図19のアレイの場合では、入力線のそれぞれは、メモリセルの同じ列に常にアクセスする)。白い領域は、入力に供給されるデータがない場所を示す。したがって、白い領域は、メモリセルアレイの非効率的な使用を示す。
効率は、高めることができ、また図31に示されるようにメモリアレイを再構成することによって入力の総数を低減することができる。具体的には、メモリアレイの入力線は、別の行又は列に周期的にシフトされ、したがってアレイの未使用の部分を低減し、したがってスキャンを実行するのに必要なアレイ上に繰り返される入力線の数を低減する。具体的には、シフトX=2である本例の場合では、矢印は、2行又は2列ずつ各入力線が周期的にシフトし、広く離間したメモリセル利用の台形を密集したメモリセル利用の方形に変形することを示す。メモリセル部分の間の余分な空間は、このシフトを実行する電線束に必要とされるが、メモリセルアレイに必要な入力の数は、大きく低減される(5n+6のみ)。
図32は、図15のアレイであるが、入力線として使用される線28aに対する2行の周期的なシフトを伴うアレイを示す。入力線に対する行の周期的なシフトは、図17、図22、及び図23のアレイで同様に実行され得る。図33は、図20のアレイであるが、入力線として使用される線28a1及び28a2に対する2列の周期的なシフトを伴うアレイを示す。入力線に対する列の周期的なシフトは、図19、図21、及び図24のアレイで同様に実行され得る。
本発明は、図示した上記実施形態(複数可)に限定されるものではなく、任意の請求の範囲にあるあらゆる全ての変形例も包含することが理解されよう。例えば、本明細書で本発明に言及することは、任意の請求項又は請求項の用語の範囲を限定することを意図されておらず、その代わり、単に、1つ以上の請求項によって網羅され得る1つ以上の特徴に言及するものである。上述の材料、プロセス、及び数値例は、単なる例示であり、請求項を限定するものと見なされるべきではない。単一の材料層は、複数のそのような又は類似の材料層として形成することができ、そして、逆もまた同様である。各メモリセルアレイの出力は、次のニューロン層に送られる前にフィルタコンデンセーションによって操作されるが、そうである必要はない。
本明細書で使用される場合、「の上方に(over)」及び「の上に(on)」という用語は両方とも、「の上に直接」(中間材料、要素、又は空間がそれらの間に何ら配設されない)、及び「の上に間接的に」(中間材料、要素、又は空間がそれらの間に配設される)を包括的に含むことに留意するべきである。同様に、「隣接した」という用語は、「直接隣接した」(中間材料、要素、又は空間がそれらの間に何ら配設されない)、及び「間接的に隣接した」(中間材料、要素、又は空間がそれらの間に配設される)を含み、「に取付けられた」は、「に直接取付けられた」(中間材料、要素、又は空間がそれらの間に何ら配設されない)、及び「に間接的に取付けられた」(中間材料、要素、又は空間がそれらの間に配設される)を含み、「電気的に結合された」は、「に直接電気的に結合された」(要素を一緒に電気的に連結する中間材料又は要素がそれらの間にない)、及び「間接的に電気的に結合された」(要素を一緒に電気的に連結する中間材料又は要素がそれらの間にある)を含む。例えば、要素を「基板の上方に」形成することは、その要素を基板の上に直接、中間材料/要素をそれらの間に何ら伴わずに、形成すること、並びにその要素を基板の上に間接的に、1つ以上の中間材料/要素をそれらの間に伴って、形成することを含み得る。

Claims (31)

  1. ニューラルネットワークデバイスであって、
    第1の複数の入力を受信するように、かつそれから第1の複数の出力を生成するように構成されている第1の複数のシナプスであって、前記第1の複数のシナプスが、
    複数のメモリセルを含み、前記メモリセルのそれぞれが、半導体基板内に形成された、間にチャネル領域が延在している離間したソース領域及びドレイン領域と、前記チャネル領域の第1の部分の上方に配置され、そこから絶縁された浮遊ゲートと、前記チャネル領域の第2の部分の上方に配置され、そこから絶縁された非浮遊ゲートと、を含み、
    前記複数のメモリセルのそれぞれは、前記浮遊ゲート上の多くの電子に対応する重み値を格納するように構成されており、
    前記複数のメモリセルは、前記第1の複数の入力に、前記格納された重み値を乗じて前記第1の複数の出力を生成するように構成されている、第1の複数のシナプスと、
    前記第1の複数の出力を受信するように構成されている第1の複数のニューロンと、を含む、ニューラルネットワークデバイス。
  2. 前記第1の複数のニューロンが、前記第1の複数の出力に基づいて第1の複数の決定を生成するように構成されている、請求項1に記載のニューラルネットワークデバイス。
  3. 前記第1の複数の決定に基づいて第2の複数の入力を受信し、そこから第2の複数の出力を生成するように構成されている第2の複数のシナプスであって、前記第2の複数のシナプスが、
    複数の第2のメモリセルを含み、前記第2のメモリセルのそれぞれが、前記半導体基板内に形成された、間に第2のチャネル領域が延在している離間した第2のソース領域及び第2のドレイン領域と、前記第2のチャネル領域の第1の部分の上方に配置され、そこから絶縁された第2の浮遊ゲートと、前記第2のチャネル領域の第2の部分の上方に配置され、そこから絶縁された第2の非浮遊ゲートと、を含み、
    前記複数の第2のメモリセルのそれぞれは、前記第2の浮遊ゲート上の多くの電子に対応する第2の重み値を格納するように構成されており、
    前記複数の第2のメモリセルは、前記第2の複数の入力に、前記格納された第2の重み値を乗じて前記第2の複数の出力を生成するように構成されている、第2の複数のシナプスと、
    前記第2の複数の出力を受信するように構成されている第2の複数のニューロンと、を含む、第2の複数のシナプスを含む、を更に含む、請求項2に記載のニューラルネットワークデバイス。
  4. 前記第2の複数のニューロンが、前記第2の複数の出力に基づいて第2の複数の決定を生成するように構成されている、請求項3に記載のニューラルネットワークデバイス。
  5. 前記第1の複数のシナプスの前記メモリセルのそれぞれが
    前記ソース領域の上方に配置され、そこから絶縁された第2の非浮遊ゲートと、
    前記浮遊ゲートの上方に配置され、そこから絶縁された第3の非浮遊ゲートと、を更に含む、請求項1に記載のニューラルネットワークデバイス。
  6. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  7. 前記複数の第5の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項6に記載のニューラルネットワークデバイス。
  8. 前記複数の第1の線上での前記第1の複数の入力の受信前に、前記第1の複数の入力の電流を電圧に対数変換するための回路機構を更に含む、請求項6に記載のニューラルネットワークデバイス。
  9. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  10. 前記複数の第5の線のそれぞれについて、前記第2の複数の出力のうちの1つが提供され、前記第2の複数の出力のうちの1つは、前記メモリセルの前記1列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項9に記載のニューラルネットワークデバイス。
  11. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第5の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第6の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  12. 前記複数の第5の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1行内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項11に記載のニューラルネットワークデバイス。
  13. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に一緒に接続する複数の第5の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第6の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第7の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  14. 前記複数の第5の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項13に記載のニューラルネットワークデバイス。
  15. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第5の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第6の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第7の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第8の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第6の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  16. 前記複数の第6の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項15に記載のニューラルネットワークデバイス。
  17. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、また前記複数の第4の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  18. 前記複数の第4の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項17に記載のニューラルネットワークデバイス。
  19. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第3の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第3の線上で前記第1の複数の出力を提供するように構成されている、請求項1に記載のニューラルネットワークデバイス。
  20. 前記複数の第3の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項19に記載のニューラルネットワークデバイス。
  21. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第4の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第3の線上で前記第1の複数の出力を提供するように構成されている、請求項1に記載のニューラルネットワークデバイス。
  22. 前記複数の第3の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1行内の前記メモリセルペアの全てについて、前記メモリセルのペアからの差動出力の合計であり、前記差動出力のそれぞれは、前記メモリセルの前記ペアを通る電流間の差に、メモリセルの前記ペアに格納された対応の重み値を乗じたものである、請求項21に記載のニューラルネットワークデバイス。
  23. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  24. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  25. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第5の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第6の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  26. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第5の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第6の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第7の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第5の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  27. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第5の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第6の線と、
    前記メモリセルの前記列のうちの1つにおいて奇数ドレイン領域をそれぞれ電気的に接続する複数の第7の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数ドレイン領域をそれぞれ電気的に接続する複数の第8の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第6の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  28. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第2の非浮遊ゲートをそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記第3の非浮遊ゲートをそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第4の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第5の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、また前記複数の第4の線上で前記第1の複数の出力を提供するように構成されている、請求項5に記載のニューラルネットワークデバイス。
  29. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記行のうちの1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記行のうちの別の1つにおいて前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第3の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力を受信するように、かつ前記複数の第3の線上で前記第1の複数の出力を提供するように構成されている、請求項1に記載のニューラルネットワークデバイス。
  30. 前記複数の第3の線のそれぞれについて、前記第1の複数の出力のうちの1つが提供され、前記第1の複数の出力のうちの1つは、前記メモリセルの前記1列内の前記メモリセルの全てについて、前記メモリセルを通る電流に、前記メモリセルに格納された対応の重み値を乗じた値の合計である、請求項19に記載のニューラルネットワークデバイス。
  31. 前記第1の複数のシナプスの前記メモリセルが、行及び列に配置され、前記第1の複数のシナプスは、
    前記メモリセルの前記列のうちの1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて奇数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第1の線と、
    前記メモリセルの前記列のうちの1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、また前記メモリセルの前記列のうちの別の1つにおいて偶数行メモリセルの前記第1の非浮遊ゲートの全てではなく一部を、それぞれ電気的に接続する複数の第2の線と、
    前記メモリセルの前記行のうちの1つにおいて前記ソース領域をそれぞれ電気的に接続する複数の第3の線と、
    前記メモリセルの前記列のうちの1つにおいて前記ドレイン領域をそれぞれ電気的に接続する複数の第4の線と、を含み、
    前記第1の複数のシナプスは、前記複数の第1の線上で前記第1の複数の入力の一部を、また前記複数の第2の線上で前記第1の複数の入力のその他を受信するように、かつ前記複数の第3の線上で前記第1の複数の出力を提供するように構成されている、請求項1に記載のニューラルネットワークデバイス。
JP2018560205A 2016-05-17 2017-05-12 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 Active JP6833873B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662337760P 2016-05-17 2016-05-17
US62/337,760 2016-05-17
US15/594,439 US11308383B2 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array
US15/594,439 2017-05-12
PCT/US2017/032552 WO2017200883A1 (en) 2016-05-17 2017-05-12 Deep learning neural network classifier using non-volatile memory array

Publications (2)

Publication Number Publication Date
JP2019517138A true JP2019517138A (ja) 2019-06-20
JP6833873B2 JP6833873B2 (ja) 2021-02-24

Family

ID=60326170

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018560205A Active JP6833873B2 (ja) 2016-05-17 2017-05-12 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器

Country Status (5)

Country Link
US (10) US11308383B2 (ja)
JP (1) JP6833873B2 (ja)
KR (1) KR102182583B1 (ja)
TW (1) TWI631517B (ja)
WO (1) WO2017200883A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021517704A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP2021517706A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517705A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP2021523511A (ja) * 2018-05-01 2021-09-02 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
JP2021531609A (ja) * 2018-07-11 2021-11-18 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
JP7008167B1 (ja) 2019-01-29 2022-01-25 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP2022523316A (ja) * 2019-01-29 2022-04-22 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
US11942163B2 (en) 2020-11-10 2024-03-26 Renesas Electronics Corporation Neural network circuit comprising nonvolatile memory cells and reference-current cells
US11942152B2 (en) 2020-04-01 2024-03-26 Yoshinori Okajima Fuzzy string search circuit
JP7523674B2 (ja) 2020-08-25 2024-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッド アナログニューラルメモリにおける書き込みと検証との同時動作
JP7561203B2 (ja) 2020-03-22 2024-10-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311958B2 (en) 2016-05-17 2019-06-04 Silicon Storage Technology, Inc. Array of three-gate flash memory cells with individual memory cell read, program and erase
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
WO2018137177A1 (zh) * 2017-01-25 2018-08-02 北京大学 一种基于nor flash阵列的卷积运算方法
JP6708146B2 (ja) * 2017-03-03 2020-06-10 株式会社デンソー ニューラルネットワーク回路
US10147019B2 (en) * 2017-03-20 2018-12-04 Sap Se Small object detection
US12106211B2 (en) 2017-04-27 2024-10-01 The Regents Of The University Of California Mixed signal neuromorphic computing with nonvolatile memory devices
JP7217227B2 (ja) * 2017-05-02 2023-02-02 株式会社半導体エネルギー研究所 撮像装置、及び電子機器
US10580492B2 (en) * 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
US10748630B2 (en) * 2017-11-29 2020-08-18 Silicon Storage Technology, Inc. High precision and highly efficient tuning mechanisms and algorithms for analog neuromorphic memory in artificial neural networks
US10803943B2 (en) * 2017-11-29 2020-10-13 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11361215B2 (en) * 2017-11-29 2022-06-14 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
KR102408858B1 (ko) * 2017-12-19 2022-06-14 삼성전자주식회사 비휘발성 메모리 장치, 이를 포함하는 메모리 시스템 및 비휘발성 메모리 장치의 동작 방법
KR102121562B1 (ko) * 2017-12-21 2020-06-10 이화여자대학교 산학협력단 3차원 크로스바 메모리 구조를 이용한 뉴로 모픽 소자
US10628295B2 (en) 2017-12-26 2020-04-21 Samsung Electronics Co., Ltd. Computing mechanisms using lookup tables stored on memory
CN108038542B (zh) * 2017-12-27 2022-01-07 上海闪易半导体有限公司 一种基于神经网络的存储模块、模组及数据处理方法
KR102130532B1 (ko) * 2017-12-29 2020-07-07 포항공과대학교 산학협력단 커널 하드웨어 장치
US11354562B2 (en) * 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
TWI659428B (zh) * 2018-01-12 2019-05-11 中原大學 運用非揮發性記憶體執行類神經網絡前饋與遞迴運算之方法
US10957392B2 (en) 2018-01-17 2021-03-23 Macronix International Co., Ltd. 2D and 3D sum-of-products array for neuromorphic computing system
EP3743857A4 (en) * 2018-01-23 2021-12-29 Anaflash Inc. Neural network circuits having non-volatile synapse arrays
US10242737B1 (en) * 2018-02-13 2019-03-26 Macronix International Co., Ltd. Device structure for neuromorphic computing system
US10580491B2 (en) * 2018-03-23 2020-03-03 Silicon Storage Technology, Inc. System and method for managing peak power demand and noise in non-volatile memory array
CN108509179B (zh) * 2018-04-04 2021-11-30 百度在线网络技术(北京)有限公司 用于检测人脸的方法、用于生成模型的装置
US11403518B2 (en) * 2018-04-25 2022-08-02 Denso Corporation Neural network circuit
US10891080B1 (en) 2018-06-04 2021-01-12 Mentium Technologies Inc. Management of non-volatile memory arrays
US11568229B2 (en) * 2018-07-11 2023-01-31 Silicon Storage Technology, Inc. Redundant memory access for rows or columns containing faulty memory cells in analog neural memory in deep learning artificial neural network
US11138497B2 (en) 2018-07-17 2021-10-05 Macronix International Co., Ltd In-memory computing devices for neural networks
WO2020018960A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Compute-in-memory architecture for neural networks
US10671891B2 (en) * 2018-07-19 2020-06-02 International Business Machines Corporation Reducing computational costs of deep reinforcement learning by gated convolutional neural network
CN109284474B (zh) * 2018-08-13 2020-09-11 北京大学 一种加法器辅助实现图像卷积运算的闪存系统及方法
US10860918B2 (en) * 2018-08-21 2020-12-08 Silicon Storage Technology, Inc. Analog neural memory system for deep learning neural network comprising multiple vector-by-matrix multiplication arrays and shared components
US10755783B2 (en) * 2018-08-27 2020-08-25 Silicon Storage Technology Temperature and leakage compensation for memory cells in an analog neural memory system used in a deep learning neural network
US10956814B2 (en) 2018-08-27 2021-03-23 Silicon Storage Technology, Inc. Configurable analog neural memory system for deep learning neural network
KR20200028168A (ko) 2018-09-06 2020-03-16 삼성전자주식회사 컨볼루셔널 뉴럴 네트워크를 이용하는 컴퓨팅 장치 및 그 동작 방법
US10741568B2 (en) * 2018-10-16 2020-08-11 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
US12075618B2 (en) 2018-10-16 2024-08-27 Silicon Storage Technology, Inc. Input and digital output mechanisms for analog neural memory in a deep learning artificial neural network
US11636325B2 (en) 2018-10-24 2023-04-25 Macronix International Co., Ltd. In-memory data pooling for machine learning
US11449268B2 (en) * 2018-11-20 2022-09-20 Samsung Electronics Co., Ltd. Deep solid state device (deep-SSD): a neural network based persistent data storage
US11562229B2 (en) * 2018-11-30 2023-01-24 Macronix International Co., Ltd. Convolution accelerator using in-memory computation
CN109558032B (zh) * 2018-12-05 2020-09-04 北京三快在线科技有限公司 操作处理方法、装置以及计算机设备
US11133059B2 (en) 2018-12-06 2021-09-28 Western Digital Technologies, Inc. Non-volatile memory die with deep learning neural network
US11934480B2 (en) 2018-12-18 2024-03-19 Macronix International Co., Ltd. NAND block architecture for in-memory multiply-and-accumulate operations
US11409352B2 (en) 2019-01-18 2022-08-09 Silicon Storage Technology, Inc. Power management for an analog neural memory in a deep learning artificial neural network
US11893478B2 (en) 2019-01-18 2024-02-06 Silicon Storage Technology, Inc. Programmable output blocks for analog neural memory in a deep learning artificial neural network
US11270763B2 (en) * 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US11023559B2 (en) 2019-01-25 2021-06-01 Microsemi Soc Corp. Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit
WO2020159579A1 (en) * 2019-01-29 2020-08-06 Silicon Storage Technology, Inc. Neural network classifier using array of four-gate non-volatile memory cells
US11119674B2 (en) 2019-02-19 2021-09-14 Macronix International Co., Ltd. Memory devices and methods for operating the same
US10916306B2 (en) 2019-03-07 2021-02-09 Western Digital Technologies, Inc. Burst mode operation conditioning for a memory device
US11132176B2 (en) 2019-03-20 2021-09-28 Macronix International Co., Ltd. Non-volatile computing method in flash memory
US10896726B2 (en) * 2019-04-02 2021-01-19 Junsung KIM Method for reading a cross-point type memory array comprising a two-terminal switching material
US11423979B2 (en) 2019-04-29 2022-08-23 Silicon Storage Technology, Inc. Decoding system and physical layout for analog neural memory in deep learning artificial neural network
US20200349422A1 (en) 2019-05-02 2020-11-05 Silicon Storage Technology, Inc. Output array neuron conversion and calibration for analog neural memory in deep learning artificial neural network
US11080152B2 (en) 2019-05-15 2021-08-03 Western Digital Technologies, Inc. Optimized neural network data organization
US11081168B2 (en) 2019-05-23 2021-08-03 Hefei Reliance Memory Limited Mixed digital-analog memory devices and circuits for secure storage and computing
US11501109B2 (en) 2019-06-20 2022-11-15 Western Digital Technologies, Inc. Non-volatile memory die with on-chip data augmentation components for use with machine learning
US11520521B2 (en) 2019-06-20 2022-12-06 Western Digital Technologies, Inc. Storage controller having data augmentation components for use with non-volatile memory die
US12026601B2 (en) * 2019-06-26 2024-07-02 Micron Technology, Inc. Stacked artificial neural networks
US11393546B2 (en) 2019-07-19 2022-07-19 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11449741B2 (en) 2019-07-19 2022-09-20 Silicon Storage Technology, Inc. Testing circuitry and methods for analog neural memory in artificial neural network
US11586943B2 (en) * 2019-08-12 2023-02-21 Micron Technology, Inc. Storage and access of neural network inputs in automotive predictive maintenance
KR102448396B1 (ko) * 2019-09-16 2022-09-27 포항공과대학교 산학협력단 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
US11507816B2 (en) * 2019-09-19 2022-11-22 Silicon Storage Technology, Inc. Precision tuning for the programming of analog neural memory in a deep learning artificial neural network
KR102225558B1 (ko) 2019-10-14 2021-03-08 연세대학교 산학협력단 온칩 활성화 함수가 구현된 아날로그 신호 전달 기반의 멀티 레이어 연산 회로
US11755899B2 (en) 2019-11-11 2023-09-12 Silicon Storage Technology, Inc. Precise programming method and apparatus for analog neural memory in an artificial neural network
KR102434119B1 (ko) * 2019-12-03 2022-08-19 서울대학교산학협력단 시냅스 스트링 어레이를 이용한 신경망
KR102425869B1 (ko) * 2019-12-09 2022-07-28 광주과학기술원 씨모스에 기반하는 크로스바 어레이 딥러닝 가속기
KR20210075542A (ko) 2019-12-13 2021-06-23 삼성전자주식회사 스위칭 소자와 저항 소자를 포함하는 3차원 뉴로모픽 장치
KR102556249B1 (ko) * 2020-01-02 2023-07-14 서울대학교산학협력단 신경망을 위한 시냅스 스트링 어레이 아키텍처
US11636322B2 (en) 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
US11393535B2 (en) 2020-02-26 2022-07-19 Silicon Storage Technology, Inc. Ultra-precise tuning of analog neural memory cells in a deep learning artificial neural network
US11600321B2 (en) 2020-03-05 2023-03-07 Silicon Storage Technology, Inc. Analog neural memory array storing synapsis weights in differential cell pairs in artificial neural network
US11521085B2 (en) 2020-04-07 2022-12-06 International Business Machines Corporation Neural network weight distribution from a grid of memory elements
US20210350217A1 (en) 2020-05-10 2021-11-11 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network with source line pulldown mechanism
US11682459B2 (en) 2020-05-13 2023-06-20 Silicon Storage Technology, Inc. Analog neural memory array in artificial neural network comprising logical cells and improved programming mechanism
US11289164B2 (en) 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network
US11507835B2 (en) 2020-06-08 2022-11-22 Western Digital Technologies, Inc. Neural network data updates using in-place bit-addressable writes within storage class memory
KR102318819B1 (ko) * 2020-06-10 2021-10-27 연세대학교 산학협력단 멀티 비트 가중치의 연산을 위한 인 메모리 장치
US11309042B2 (en) * 2020-06-29 2022-04-19 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by program adjustment for memory cells exhibiting random telegraph noise
US11875852B2 (en) 2020-07-06 2024-01-16 Silicon Storage Technology, Inc. Adaptive bias decoder to provide a voltage to a control gate line in an analog neural memory array in artificial neural network
US11914973B2 (en) 2020-11-19 2024-02-27 Apple Inc. Performing multiple bit computation and convolution in memory
WO2022182378A1 (en) 2021-02-25 2022-09-01 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
KR20220145223A (ko) 2021-04-21 2022-10-28 삼성전자주식회사 프로세싱 소자 및 프로세싱 소자를 포함하는 전자 장치
WO2022245382A1 (en) * 2021-05-18 2022-11-24 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network
US20220374696A1 (en) * 2021-05-18 2022-11-24 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network
US12080355B2 (en) * 2021-06-02 2024-09-03 Silicon Storage Technology, Inc. Method of improving read current stability in analog non-volatile memory by post-program tuning for memory cells exhibiting random telegraph noise
KR20240029074A (ko) 2021-07-05 2024-03-05 실리콘 스토리지 테크놀로지 인크 딥 러닝 인공 신경망에서의 아날로그 신경 메모리를 위한 프로그램 가능 출력 블록
US11989440B2 (en) 2021-08-11 2024-05-21 Silicon Storage Technology, Inc. Hybrid memory system configurable to store neural memory weight data in analog form or digital form
WO2023146567A1 (en) 2022-01-28 2023-08-03 Silicon Storage Technology, Inc. Artificial neural network comprising an analog array and a digital array
WO2023154075A1 (en) 2022-02-08 2023-08-17 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
US20230306246A1 (en) 2022-02-08 2023-09-28 Silicon Storage Technology, Inc. Calibration of electrical parameters in a deep learning artificial neural network
KR20240133999A (ko) 2022-04-06 2024-09-05 실리콘 스토리지 테크놀로지 인크 3차원 집적 회로를 포함하는 인공 신경망
WO2023195999A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Artificial neural network comprising reference array for i-v slope configuration
WO2023196002A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog outputs
WO2023196000A1 (en) 2022-04-07 2023-10-12 Silicon Storage Technology, Inc. Vector-by-matrix-multiplication array utilizing analog inputs
WO2024063792A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Verification method and system in artificial neural network array
US20240112003A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Output circuit for artificial neural network array
WO2024063793A1 (en) 2022-09-22 2024-03-28 Silicon Storage Technology, Inc. Input circuit for artificial neural network array
US20240112729A1 (en) 2022-09-22 2024-04-04 Silicon Storage Technology, Inc. Multiple Row Programming Operation In Artificial Neural Network Array
KR102705669B1 (ko) * 2022-11-22 2024-09-11 경북대학교 산학협력단 합성곱 신경망의 하드웨어 커널 시스템
WO2024162978A1 (en) 2023-02-01 2024-08-08 Silicon Storage Technology, Inc. Multiplexors for neural network array
WO2024162977A1 (en) 2023-02-01 2024-08-08 Silicon Storage Technology, Inc. Redundancy for an array of non-volatile memory cells using tag registers and for a redundant array using tag registers
WO2024162979A1 (en) 2023-02-02 2024-08-08 Silicon Storage Technology, Inc. Current-to-voltage converter comprising common mode circuit
WO2024172829A1 (en) 2023-02-16 2024-08-22 Silicon Storage Technology, Inc. Output block for a vector-by-matrix multiplication array of non-volatile memory cells
KR20240136603A (ko) * 2023-03-07 2024-09-19 주식회사 페블스퀘어 뉴럴 네트워크 시스템 및 그 구현 방법
WO2024196388A1 (en) * 2023-03-23 2024-09-26 Silicon Storage Technology, Inc. Split array architecture for analog neural memory in a deep learning artificial neural network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63261874A (ja) * 1987-04-20 1988-10-28 Nippon Telegr & Teleph Corp <Ntt> 半導体集積回路
JPH0318985A (ja) * 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
JPH03174679A (ja) * 1989-10-11 1991-07-29 Intel Corp シナプスセル
JPH03203085A (ja) * 1989-12-29 1991-09-04 Samsung Electron Co Ltd 半導体メモリアレイ
JP2000502224A (ja) * 1995-12-01 2000-02-22 イギリス国 イメージングシステム
JP2010267341A (ja) * 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置

Family Cites Families (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2603414B1 (fr) 1986-08-29 1988-10-28 Bull Sa Amplificateur de lecture
JPH06103782B2 (ja) 1987-04-17 1994-12-14 日本シイエムケイ株式会社 プリント配線板
US5055897A (en) * 1988-07-27 1991-10-08 Intel Corporation Semiconductor cell for neural network and the like
US4904881A (en) 1989-02-10 1990-02-27 Intel Corporation EXCLUSIVE-OR cell for neural network and the like
JP2517410B2 (ja) 1989-05-15 1996-07-24 三菱電機株式会社 学習機能付集積回路装置
JP3122756B2 (ja) 1991-01-12 2001-01-09 直 柴田 半導体装置
US5621336A (en) 1989-06-02 1997-04-15 Shibata; Tadashi Neuron circuit
US5028810A (en) 1989-07-13 1991-07-02 Intel Corporation Four quadrant synapse cell employing single column summing line
US4961002A (en) 1989-07-13 1990-10-02 Intel Corporation Synapse cell employing dual gate transistor structure
US5242848A (en) * 1990-01-22 1993-09-07 Silicon Storage Technology, Inc. Self-aligned method of making a split gate single transistor non-volatile electrically alterable semiconductor memory device
US5029130A (en) 1990-01-22 1991-07-02 Silicon Storage Technology, Inc. Single transistor non-valatile electrically alterable semiconductor memory device
WO1991018349A1 (en) * 1990-05-22 1991-11-28 International Business Machines Corporation Scalable flow virtual learning neurocomputer
US5150450A (en) 1990-10-01 1992-09-22 The United States Of America As Represented By The Secretary Of The Navy Method and circuits for neuron perturbation in artificial neural network memory modification
US5146602A (en) 1990-12-26 1992-09-08 Intel Corporation Method of increasing the accuracy of an analog neural network and the like
US5138576A (en) 1991-11-06 1992-08-11 Altera Corporation Method and apparatus for erasing an array of electrically erasable EPROM cells
US7071060B1 (en) 1996-02-28 2006-07-04 Sandisk Corporation EEPROM with split gate source side infection with sidewall spacers
DE69319162T2 (de) 1992-03-26 1999-03-25 Hitachi Vlsi Engineering Corp., Kodaira, Tokio/Tokyo Flash-Speicher
US5336936A (en) 1992-05-06 1994-08-09 Synaptics, Incorporated One-transistor adaptable analog storage element and array
US5264734A (en) * 1992-05-19 1993-11-23 Intel Corporation Difference calculating neural network utilizing switched capacitors
US5256911A (en) 1992-06-10 1993-10-26 Intel Corporation Neural network with multiplexed snyaptic processing
US5298796A (en) 1992-07-08 1994-03-29 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Nonvolatile programmable neural network synaptic array
US5336937A (en) * 1992-08-28 1994-08-09 State University Of New York Programmable analog synapse and neural networks incorporating same
US5386132A (en) 1992-11-02 1995-01-31 Wong; Chun C. D. Multimedia storage system with highly compact memory device
JP2835272B2 (ja) 1993-12-21 1998-12-14 株式会社東芝 半導体記憶装置
US5422846A (en) * 1994-04-04 1995-06-06 Motorola Inc. Nonvolatile memory having overerase protection
US5583808A (en) * 1994-09-16 1996-12-10 National Semiconductor Corporation EPROM array segmented for high performance and method for controlling same
KR0151623B1 (ko) 1994-12-07 1998-10-01 문정환 이이피롬 셀 및 그 제조방법
US6965142B2 (en) 1995-03-07 2005-11-15 Impinj, Inc. Floating-gate semiconductor structures
US5990512A (en) 1995-03-07 1999-11-23 California Institute Of Technology Hole impact ionization mechanism of hot electron injection and four-terminal ρFET semiconductor structure for long-term learning
US5825063A (en) 1995-03-07 1998-10-20 California Institute Of Technology Three-terminal silicon synaptic device
US5554874A (en) 1995-06-05 1996-09-10 Quantum Effect Design, Inc. Six-transistor cell with wide bit-line pitch, double words lines, and bit-line contact shared among four cells
US5721702A (en) 1995-08-01 1998-02-24 Micron Quantum Devices, Inc. Reference voltage generator using flash memory cells
US5966332A (en) 1995-11-29 1999-10-12 Sanyo Electric Co., Ltd. Floating gate memory cell array allowing cell-by-cell erasure
US5748534A (en) 1996-03-26 1998-05-05 Invox Technology Feedback loop for reading threshold voltage
TW420806B (en) * 1998-03-06 2001-02-01 Sanyo Electric Co Non-volatile semiconductor memory device
JPH11330426A (ja) * 1998-05-12 1999-11-30 Mitsubishi Electric Corp 不揮発性半導体記憶装置およびその製造方法
US6389404B1 (en) * 1998-12-30 2002-05-14 Irvine Sensors Corporation Neural processing module with input architectures that make maximal use of a weighted synapse array
US6222777B1 (en) 1999-04-09 2001-04-24 Sun Microsystems, Inc. Output circuit for alternating multiple bit line per column memory architecture
US6232180B1 (en) 1999-07-02 2001-05-15 Taiwan Semiconductor Manufacturing Corporation Split gate flash memory cell
US6258668B1 (en) * 1999-11-24 2001-07-10 Aplus Flash Technology, Inc. Array architecture and process flow of nonvolatile memory devices for mass storage applications
US6282119B1 (en) * 2000-06-02 2001-08-28 Winbond Electronics Corporation Mixed program and sense architecture using dual-step voltage scheme in multi-level data storage in flash memories
US6829598B2 (en) 2000-10-02 2004-12-07 Texas Instruments Incorporated Method and apparatus for modeling a neural synapse function by utilizing a single conventional MOSFET
US6563167B2 (en) 2001-01-05 2003-05-13 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with floating gates having multiple sharp edges
US6563733B2 (en) 2001-05-24 2003-05-13 Winbond Electronics Corporation Memory array architectures based on a triple-polysilicon source-side injection non-volatile memory cell
JP2005522071A (ja) 2002-03-22 2005-07-21 ジョージア テック リサーチ コーポレイション 浮遊ゲートアナログ回路
US6747310B2 (en) * 2002-10-07 2004-06-08 Actrans System Inc. Flash memory cells with separated self-aligned select and erase gates, and process of fabrication
US6898129B2 (en) * 2002-10-25 2005-05-24 Freescale Semiconductor, Inc. Erase of a memory having a non-conductive storage medium
JP2004171686A (ja) 2002-11-20 2004-06-17 Renesas Technology Corp 不揮発性半導体記憶装置およびそのデータ消去方法
JP4601287B2 (ja) 2002-12-26 2010-12-22 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US6822910B2 (en) 2002-12-29 2004-11-23 Macronix International Co., Ltd. Non-volatile memory and operating method thereof
US6781186B1 (en) 2003-01-30 2004-08-24 Silicon-Based Technology Corp. Stack-gate flash cell structure having a high coupling ratio and its contactless flash memory arrays
US6856551B2 (en) 2003-02-06 2005-02-15 Sandisk Corporation System and method for programming cells in non-volatile integrated memory devices
US6946894B2 (en) * 2003-06-12 2005-09-20 Winbond Electronics Corporation Current-mode synapse multiplier circuit
ATE542176T1 (de) * 2003-10-16 2012-02-15 Canon Kk Betriebsschaltung und betriebssteuerverfahren dafür
TWI220560B (en) 2003-10-27 2004-08-21 Powerchip Semiconductor Corp NAND flash memory cell architecture, NAND flash memory cell array, manufacturing method and operating method of the same
DE602004018687D1 (de) 2004-02-19 2009-02-05 Spansion Llc Strom-spannungs-umsetzungsschaltung und steuerverfahren dafür
US7315056B2 (en) 2004-06-07 2008-01-01 Silicon Storage Technology, Inc. Semiconductor memory array of floating gate memory cells with program/erase and select gates
US7092290B2 (en) 2004-11-16 2006-08-15 Sandisk Corporation High speed programming system with reduced over programming
TWI270199B (en) 2005-01-31 2007-01-01 Powerchip Semiconductor Corp Non-volatile memory and manufacturing method and operating method thereof
US8443169B2 (en) * 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7304890B2 (en) 2005-12-13 2007-12-04 Atmel Corporation Double byte select high voltage line for EEPROM memory block
JP4364227B2 (ja) * 2006-09-29 2009-11-11 株式会社東芝 半導体記憶装置
US7663916B2 (en) * 2007-04-16 2010-02-16 Taiwan Semicondcutor Manufacturing Company, Ltd. Logic compatible arrays and operations
US7626868B1 (en) 2007-05-04 2009-12-01 Flashsilicon, Incorporation Level verification and adjustment for multi-level cell (MLC) non-volatile memory (NVM)
KR100910869B1 (ko) 2007-06-08 2009-08-06 주식회사 하이닉스반도체 테스트시 필요한 채널의 갯수를 줄인 반도체 메모리장치
US7733262B2 (en) 2007-06-15 2010-06-08 Micron Technology, Inc. Quantizing circuits with variable reference signals
US7630246B2 (en) 2007-06-18 2009-12-08 Micron Technology, Inc. Programming rate identification and control in a solid state memory
US20090039410A1 (en) 2007-08-06 2009-02-12 Xian Liu Split Gate Non-Volatile Flash Memory Cell Having A Floating Gate, Control Gate, Select Gate And An Erase Gate With An Overhang Over The Floating Gate, Array And Method Of Manufacturing
US8320191B2 (en) * 2007-08-30 2012-11-27 Infineon Technologies Ag Memory cell arrangement, method for controlling a memory cell, memory array and electronic device
JP2009080892A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 半導体記憶装置
US7567457B2 (en) * 2007-10-30 2009-07-28 Spansion Llc Nonvolatile memory array architecture
US7894267B2 (en) 2007-10-30 2011-02-22 Spansion Llc Deterministic programming algorithm that provides tighter cell distributions with a reduced number of programming pulses
US7916551B2 (en) * 2007-11-06 2011-03-29 Macronix International Co., Ltd. Method of programming cell in memory and memory apparatus utilizing the method
US7746698B2 (en) * 2007-12-13 2010-06-29 Spansion Llc Programming in memory devices using source bitline voltage bias
KR20090075062A (ko) * 2008-01-03 2009-07-08 삼성전자주식회사 플로팅 바디 트랜지스터를 이용한 동적 메모리 셀을구비하는 메모리 셀 어레이를 구비하는 반도체 메모리 장치
JP4513865B2 (ja) * 2008-01-25 2010-07-28 セイコーエプソン株式会社 並列演算装置および並列演算方法
US7668013B2 (en) * 2008-02-07 2010-02-23 Silicon Storage Technology, Inc. Method for erasing a flash memory cell or an array of such cells having improved erase coupling ratio
JP5092938B2 (ja) * 2008-06-30 2012-12-05 富士通セミコンダクター株式会社 半導体記憶装置及びその駆動方法
US20100332812A1 (en) * 2009-06-24 2010-12-30 Doug Burger Method, system and computer-accessible medium for low-power branch prediction
US8204927B1 (en) * 2010-03-15 2012-06-19 California Institute Of Technology System and method for cognitive processing for data fusion
JP5300773B2 (ja) 2010-03-29 2013-09-25 ルネサスエレクトロニクス株式会社 不揮発性半導体記憶装置
US9665822B2 (en) 2010-06-30 2017-05-30 International Business Machines Corporation Canonical spiking neuron network for spatiotemporal associative memory
KR101205100B1 (ko) * 2010-08-30 2012-11-26 에스케이하이닉스 주식회사 비휘발성 메모리 장치
US8325521B2 (en) 2010-10-08 2012-12-04 Taiwan Semiconductor Manufacturing Company, Ltd. Structure and inhibited operation of flash memory with split gate
KR20120063395A (ko) * 2010-12-07 2012-06-15 에스케이하이닉스 주식회사 비휘발성 메모리 장치
US8473439B2 (en) 2010-12-08 2013-06-25 International Business Machines Corporation Integrate and fire electronic neurons
US8892487B2 (en) 2010-12-30 2014-11-18 International Business Machines Corporation Electronic synapses for reinforcement learning
JP2012160244A (ja) * 2011-02-02 2012-08-23 Lapis Semiconductor Co Ltd 半導体不揮発性メモリ
JP2013041654A (ja) 2011-08-19 2013-02-28 Toshiba Corp 不揮発性記憶装置
US8909576B2 (en) 2011-09-16 2014-12-09 International Business Machines Corporation Neuromorphic event-driven neural computing architecture in a scalable neural network
US8760955B2 (en) 2011-10-21 2014-06-24 Taiwan Semiconductor Manufacturing Company, Ltd. Electrical fuse memory arrays
US9430735B1 (en) * 2012-02-23 2016-08-30 Micron Technology, Inc. Neural network in a memory device
WO2014021150A1 (ja) * 2012-07-31 2014-02-06 シャープ株式会社 表示装置およびその駆動方法
US9466732B2 (en) 2012-08-23 2016-10-11 Silicon Storage Technology, Inc. Split-gate memory cell with depletion-mode floating gate channel, and method of making same
US9153230B2 (en) * 2012-10-23 2015-10-06 Google Inc. Mobile speech recognition hardware accelerator
CN103000218A (zh) 2012-11-20 2013-03-27 上海宏力半导体制造有限公司 存储器电路
US9275748B2 (en) 2013-03-14 2016-03-01 Silicon Storage Technology, Inc. Low leakage, low threshold voltage, split-gate flash cell operation
WO2015001697A1 (ja) 2013-07-04 2015-01-08 パナソニックIpマネジメント株式会社 ニューラルネットワーク回路、およびその学習方法
US10248675B2 (en) * 2013-10-16 2019-04-02 University Of Tennessee Research Foundation Method and apparatus for providing real-time monitoring of an artifical neural network
US9025386B1 (en) * 2013-11-20 2015-05-05 International Business Machines Corporation Embedded charge trap multi-time-programmable-read-only-memory for high performance logic technology
US9146886B2 (en) * 2014-01-06 2015-09-29 International Business Machines Corporation Deterministic message processing in a direct memory access adapter
US20150213898A1 (en) 2014-01-27 2015-07-30 Silicon Storage Technololgy, Inc. Byte Erasable Non-volatile Memory Architecture And Method Of Erasing Same
US20150324691A1 (en) 2014-05-07 2015-11-12 Seagate Technology Llc Neural network connections using nonvolatile memory devices
US9286982B2 (en) 2014-08-08 2016-03-15 Silicon Storage Technology, Inc. Flash memory system with EEPROM functionality
US9760533B2 (en) * 2014-08-14 2017-09-12 The Regents On The University Of Michigan Floating-gate transistor array for performing weighted sum computation
US9984754B2 (en) 2014-09-29 2018-05-29 Toshiba Memory Corporation Memory device and method for operating the same
US10312248B2 (en) 2014-11-12 2019-06-04 Silicon Storage Technology, Inc. Virtual ground non-volatile memory array
US9361991B1 (en) 2014-12-23 2016-06-07 Sandisk Technologies Inc. Efficient scanning of nonvolatile memory blocks
CN104615909B (zh) 2015-02-02 2018-02-13 天津大学 基于FPGA的Izhikevich神经元网络同步放电仿真平台
CN105990367B (zh) 2015-02-27 2019-03-12 硅存储技术公司 具有rom单元的非易失性存储器单元阵列
US10474948B2 (en) * 2015-03-27 2019-11-12 University Of Dayton Analog neuromorphic circuit implemented using resistive memories
US9659604B1 (en) * 2015-12-07 2017-05-23 Globalfoundries Inc. Dual-bit 3-T high density MTPROM array
US10698975B2 (en) 2016-01-27 2020-06-30 Hewlett Packard Enterprise Development Lp In situ transposition
US20170330070A1 (en) 2016-02-28 2017-11-16 Purdue Research Foundation Spin orbit torque based electronic neuron
US10269440B2 (en) 2016-05-17 2019-04-23 Silicon Storage Technology, Inc. Flash memory array with individual memory cell read, program and erase
JP6833873B2 (ja) 2016-05-17 2021-02-24 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器
US10311958B2 (en) 2016-05-17 2019-06-04 Silicon Storage Technology, Inc. Array of three-gate flash memory cells with individual memory cell read, program and erase
CN107425003B (zh) 2016-05-18 2020-07-14 硅存储技术公司 制造分裂栅非易失性闪存单元的方法
US9910827B2 (en) 2016-07-01 2018-03-06 Hewlett Packard Enterprise Development Lp Vector-matrix multiplications involving negative values
US10346347B2 (en) 2016-10-03 2019-07-09 The Regents Of The University Of Michigan Field-programmable crossbar array for reconfigurable computing
US20180131946A1 (en) * 2016-11-07 2018-05-10 Electronics And Telecommunications Research Institute Convolution neural network system and method for compressing synapse data of convolution neural network
WO2018106969A1 (en) 2016-12-09 2018-06-14 Hsu Fu Chang Three-dimensional neural network array
US10860923B2 (en) 2016-12-20 2020-12-08 Samsung Electronics Co., Ltd. High-density neuromorphic computing element
KR20180073118A (ko) * 2016-12-22 2018-07-02 삼성전자주식회사 컨볼루션 신경망 처리 방법 및 장치
JP6906058B2 (ja) 2017-02-24 2021-07-21 エーエスエムエル ネザーランズ ビー.ブイ. 機械学習によるプロセスモデルの決定方法
US10748059B2 (en) 2017-04-05 2020-08-18 International Business Machines Corporation Architecture for an electrochemical artificial neural network
WO2018215188A1 (en) 2017-05-26 2018-11-29 Asml Netherlands B.V. Assist feature placement based on machine learning
US10460817B2 (en) 2017-07-13 2019-10-29 Qualcomm Incorporated Multiple (multi-) level cell (MLC) non-volatile (NV) memory (NVM) matrix circuits for performing matrix computations with multi-bit input vectors
US10482929B2 (en) 2017-07-13 2019-11-19 Qualcomm Incorporated Non-volative (NV) memory (NVM) matrix circuits employing NVM matrix circuits for performing matrix computations
US10580492B2 (en) 2017-09-15 2020-03-03 Silicon Storage Technology, Inc. System and method for implementing configurable convoluted neural networks with flash memories
CN109522753B (zh) 2017-09-18 2020-11-06 清华大学 电路结构及其驱动方法、芯片及其认证方法、电子设备
US10303998B2 (en) 2017-09-28 2019-05-28 International Business Machines Corporation Floating gate for neural network inference
US11354562B2 (en) 2018-01-03 2022-06-07 Silicon Storage Technology, Inc. Programmable neuron for analog non-volatile memory in deep learning artificial neural network
US10552510B2 (en) 2018-01-11 2020-02-04 Mentium Technologies Inc. Vector-by-matrix multiplier modules based on non-volatile 2D and 3D memory arrays
US10740181B2 (en) 2018-03-06 2020-08-11 Western Digital Technologies, Inc. Failed storage device rebuild method
US10496374B2 (en) 2018-03-22 2019-12-03 Hewlett Packard Enterprise Development Lp Crossbar array operations using ALU modified signals
US10217512B1 (en) 2018-05-15 2019-02-26 International Business Machines Corporation Unit cell with floating gate MOSFET for analog memory
US10692570B2 (en) 2018-07-11 2020-06-23 Sandisk Technologies Llc Neural network matrix multiplication in memory cells
US11061646B2 (en) 2018-09-28 2021-07-13 Intel Corporation Compute in memory circuits with multi-Vdd arrays and/or analog multipliers
US10891222B2 (en) 2018-12-24 2021-01-12 Macronix International Co., Ltd. Memory storage device and operation method thereof for implementing inner product operation
US11270763B2 (en) 2019-01-18 2022-03-08 Silicon Storage Technology, Inc. Neural network classifier using array of three-gate non-volatile memory cells
US10741611B1 (en) 2019-02-11 2020-08-11 International Business Machines Corporation Resistive processing units with complementary metal-oxide-semiconductor non-volatile analog memory
US11694070B2 (en) 2019-05-07 2023-07-04 Hrl Laboratories, Llc Bipolar all-memristor circuit for in-memory computing
US11289164B2 (en) * 2020-06-03 2022-03-29 Silicon Storage Technology, Inc. Word line and control gate line tandem decoder for analog neural memory in deep learning artificial neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63261874A (ja) * 1987-04-20 1988-10-28 Nippon Telegr & Teleph Corp <Ntt> 半導体集積回路
JPH0318985A (ja) * 1989-06-16 1991-01-28 Hitachi Ltd 情報処理装置
JPH03174679A (ja) * 1989-10-11 1991-07-29 Intel Corp シナプスセル
JPH03203085A (ja) * 1989-12-29 1991-09-04 Samsung Electron Co Ltd 半導体メモリアレイ
JP2000502224A (ja) * 1995-12-01 2000-02-22 イギリス国 イメージングシステム
JP2010267341A (ja) * 2009-05-15 2010-11-25 Renesas Electronics Corp 半導体装置

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7217753B2 (ja) 2018-03-14 2023-02-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517706A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリをプログラミングするための方法及び装置
JP2021517705A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP7547536B2 (ja) 2018-03-14 2024-09-09 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
US12046290B2 (en) 2018-03-14 2024-07-23 Silicon Storage Technology, Inc. Verifying or reading a cell in an analog neural memory in a deep learning artificial neural network
JP2021517704A (ja) * 2018-03-14 2021-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP7153737B2 (ja) 2018-03-14 2022-10-14 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習ニューラルネットワークにおけるアナログ不揮発性メモリのデータリフレッシュのための方法及び装置
JP7253563B2 (ja) 2018-03-14 2023-04-06 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用のデコーダ
JP2021523511A (ja) * 2018-05-01 2021-09-02 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
JP7288461B2 (ja) 2018-05-01 2023-06-07 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリの高電圧生成のための方法及び装置
US11847557B2 (en) 2018-07-11 2023-12-19 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
JP7266665B2 (ja) 2018-07-11 2023-04-28 シリコン ストーリッジ テクノロージー インコーポレイテッド ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
US11797834B2 (en) 2018-07-11 2023-10-24 Silicon Storage Technology, Inc. Compensation for reference transistors and memory cells in analog neuro memory in deep learning artificial neural network
JP2021531609A (ja) * 2018-07-11 2021-11-18 シリコン ストーリッジ テクノロージー インコーポレイテッドSilicon Storage Technology, Inc. ディープラーニング人工ニューラルネットワークにおけるアナログニューロメモリ内の基準トランジスタ及びメモリセルに対する補償
JP7201831B2 (ja) 2019-01-29 2023-01-10 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
JP2022523316A (ja) * 2019-01-29 2022-04-22 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の精密プログラミング回路
JP2022514111A (ja) * 2019-01-29 2022-02-09 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP7008167B1 (ja) 2019-01-29 2022-01-25 シリコン ストーリッジ テクノロージー インコーポレイテッド 使用頻度に基づいてプログラム状態の分離を変更するためのメモリデバイス及び方法
JP7561203B2 (ja) 2020-03-22 2024-10-03 シリコン ストーリッジ テクノロージー インコーポレイテッド 人工ニューラルネットワークにおけるアナログニューラルメモリアレイのための不揮発性メモリセルのページ又はワードの精密チューニング及び関連する高電圧回路
US11942152B2 (en) 2020-04-01 2024-03-26 Yoshinori Okajima Fuzzy string search circuit
JP7523674B2 (ja) 2020-08-25 2024-07-26 シリコン ストーリッジ テクノロージー インコーポレイテッド アナログニューラルメモリにおける書き込みと検証との同時動作
US11942163B2 (en) 2020-11-10 2024-03-26 Renesas Electronics Corporation Neural network circuit comprising nonvolatile memory cells and reference-current cells
JP7458960B2 (ja) 2020-11-10 2024-04-01 ルネサスエレクトロニクス株式会社 半導体装置

Also Published As

Publication number Publication date
KR20190008912A (ko) 2019-01-25
TWI631517B (zh) 2018-08-01
US12057160B2 (en) 2024-08-06
WO2017200883A1 (en) 2017-11-23
US11308383B2 (en) 2022-04-19
US12112798B2 (en) 2024-10-08
US11972795B2 (en) 2024-04-30
TW201741943A (zh) 2017-12-01
US20230206026A1 (en) 2023-06-29
JP6833873B2 (ja) 2021-02-24
US11790208B2 (en) 2023-10-17
KR102182583B1 (ko) 2020-11-24
US20230229887A1 (en) 2023-07-20
US20230259738A1 (en) 2023-08-17
US11829859B2 (en) 2023-11-28
US20210232893A1 (en) 2021-07-29
US20230229888A1 (en) 2023-07-20
US20220147794A1 (en) 2022-05-12
US20170337466A1 (en) 2017-11-23
US11853856B2 (en) 2023-12-26
US20200151543A1 (en) 2020-05-14
US20210287065A1 (en) 2021-09-16
US20230252265A1 (en) 2023-08-10

Similar Documents

Publication Publication Date Title
JP7492042B2 (ja) 人工ニューラルネットワーク内のアナログニューロモーフィックメモリのための高精度かつ高効率な調整機構及びアルゴリズム
US11790208B2 (en) Output circuitry for non-volatile memory array in neural network
JP7250776B2 (ja) フラッシュメモリを備えた構成可能な畳み込みニューラルネットワークを実装するためのシステム及び方法
JP7270746B2 (ja) 2ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
JP7314286B2 (ja) スタックゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類子
EP3459019A1 (en) Deep learning neural network classifier using non-volatile memory array
JP7270747B2 (ja) 4ゲート不揮発性メモリセルのアレイを使用するニューラルネットワーク分類器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210203

R150 Certificate of patent or registration of utility model

Ref document number: 6833873

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250