JP2022102512A - 積和演算装置およびニューラルネットワーク - Google Patents

積和演算装置およびニューラルネットワーク Download PDF

Info

Publication number
JP2022102512A
JP2022102512A JP2020217286A JP2020217286A JP2022102512A JP 2022102512 A JP2022102512 A JP 2022102512A JP 2020217286 A JP2020217286 A JP 2020217286A JP 2020217286 A JP2020217286 A JP 2020217286A JP 2022102512 A JP2022102512 A JP 2022102512A
Authority
JP
Japan
Prior art keywords
input
transistor
source
drain terminal
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020217286A
Other languages
English (en)
Inventor
雅則 塚本
Masanori Tsukamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2020217286A priority Critical patent/JP2022102512A/ja
Priority to DE112021006702.8T priority patent/DE112021006702T5/de
Priority to PCT/JP2021/046621 priority patent/WO2022138463A1/ja
Priority to US18/258,278 priority patent/US20240069869A1/en
Publication of JP2022102512A publication Critical patent/JP2022102512A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
    • G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
    • G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
    • G06F7/5443—Sum of products
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/54—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using elements simulating biological cells, e.g. neuron
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/22—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using ferroelectric elements
    • G11C11/221—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using ferroelectric elements using ferroelectric capacitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Neurology (AREA)
  • Computer Hardware Design (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Semiconductor Memories (AREA)

Abstract

【課題】パラメータを保持することができ、かつ実用に耐える程度の回数の書き込みを行うことの可能な積和演算装置およびニューラルネットワークを提供する。【解決手段】本開示の一側面に係る積和演算装置は、各々がトランジスタと、トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルを備えている。この積和演算装置は、さらに、複数の入力配線と、複数の出力配線とを備えている。複数の入力配線は、複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、強誘電キャパシタに接続されている。複数の出力配線は、複数のセルにおける列ごとに１本ずつ割り当てられている。複数の出力配線は、トランジスタの第２のソース・ドレイン端子に接続され、各セルの強誘電キャパシタの容量および入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。【選択図】図２

Description

本開示は、強誘電キャパシタを用いた積和演算装置およびニューラルネットワークに関する。
近年、画像やパターンの認証を行う応用としてニューラルネットワーク回路が実用されている。メモリアレイをニューラルネットワーク回路の積和演算として利用することで、ノイマン型コンピューティングの課題であるメモリとＣＰＵ間の遅延や消費電力を解決することが期待できる。積和演算の例として、例えば、特許文献１～３に記載の方法が挙げられる。
特開２０１８－１２０４３３号公報 特開２０１９－２１９９９０号公報 特開２０１９－１７９４９９号公報
ところで、上記特許文献１，２に記載の発明では、揮発性の容量結合メモリにパラメータ（重み）が記憶されるため、パラメータを保持することができない。また、上記特許文献３に記載の発明では、強誘電トランジスタにパラメータが記憶されるため、書き込み回数（パラメータの書き換え回数）に実用に耐えない制限がある。従って、パラメータを保持することができ、かつ実用に耐える程度の回数の書き込みを行うことの可能な積和演算装置およびニューラルネットワークを提供することが望ましい。
本開示の第１の側面に係る積和演算装置は、各々がトランジスタと、トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルを備えている。この積和演算装置は、さらに、複数の入力配線と、複数の出力配線とを備えている。複数の入力配線は、複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、強誘電キャパシタに接続されている。複数の出力配線は、複数のセルにおける列ごとに１本ずつ割り当てられている。複数の出力配線は、トランジスタの第２のソース・ドレイン端子に接続され、各セルの強誘電キャパシタの容量および入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。
本開示の第２の側面に係るニューラルネットワークは、複数の積和演算装置を備えている。各積和演算装置は、上記の第１の側面に係る積和演算装置と同様の構成要素を備えている。
本開示の第１の側面に係る積和演算装置、および本開示の第２の側面に係るニューラルネットワークでは、セルには強誘電キャパシタが設けられている。これにより、強誘電キャパシタにパラメータ（重み）を保持することが可能となる。ここで、セルの負荷容量のばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本開示では、パラメータ（重み）を保持させる強誘電キャパシタにおける負荷容量のばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタでは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。
本開示の第３の側面に係る積和演算装置は、行列状に配置された複数のセルを備えている。各セルは、メインセルとレファレンスセルとを含む。メインセルは、第１のトランジスタと、第１のトランジスタの第１のソース・ドレイン端子に接続された第１の強誘電キャパシタとを含む。レファレンスセルは、第２のトランジスタと、第２のトランジスタの第２のソース・ドレイン端子に接続された第２の強誘電キャパシタとを含む。この積和演算装置は、さらに、複数の入力配線と、複数の第１の出力配線と、複数の第２の出力配線とを備えている。複数の入力配線は、複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、第１の強誘電キャパシタおよび第２の強誘電キャパシタに接続されている。複数の第１の出力配線は、複数のセルにおける列ごとに１本ずつ割り当てられ、第１のトランジスタの第３のソース・ドレイン端子に接続され、各メインセルの第１の強誘電キャパシタの容量および入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。複数の第２の出力配線は、複数のセルにおける列ごとに１本ずつ割り当てられ、第２のトランジスタの第４のソース・ドレイン端子に接続され、各レファレンスセルの第２の強誘電キャパシタの容量および入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。
本開示の第４の側面に係るニューラルネットワークは、複数の積和演算装置を備えている。各積和演算装置は、上記の第３の側面に係る積和演算装置と同様の構成要素を備えている。
本開示の第３の側面に係る積和演算装置、および本開示の第４の側面に係るニューラルネットワークでは、第１のセルおよび第２のセルには強誘電キャパシタが設けられている。これにより、強誘電キャパシタにパラメータ（重み）を保持することが可能となる。ここで、セルの負荷容量のばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本開示では、パラメータ（重み）を保持させる強誘電キャパシタにおける負荷容量のばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタでは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。
ニューラルネットワークの一例を表す模式図である。 本開示の第１の実施の形態に係る積和演算装置の構成の一例を表す図である。 図２の積和演算回路における各セルの入力電圧と分極との関係の一例を表す図である。 図２の積和演算回路の平面レイアウトの一例を表す図である。 図２の積和演算回路を用いたニューラルネットワークの一例を表す図である。 本開示の第２の実施の形態に係る積和演算装置の一例を表す図である。 図６のメモリセルの回路構成の一例を表す図である。 図６の積和演算回路の平面レイアウトの一例を表す図である。 図６の積和演算回路を用いたニューラルネットワークの一例を表す図である。 図６のメモリセルの回路構成の一変形例を表す図である。 図１０のメモリセルを備えた積和演算回路における読み出し電圧の一例を表す図である。 図１０のメモリセルを備えた積和演算回路における読み出し電圧の一例を表す図である。
以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．本開示に係る技術的背景＞
まず、図１を参照して、本開示に係る技術的背景について説明する。ニューラルネットワークは、生体の神経回路網をモデルとした情報処理システムである。ニューラルネットワークは、画像認識、又は画像の圧縮若しくは復元等のデジタル計算機では負荷が高い演算を効率良く実行することができる。このようなニューラルネットワークの１つとして、例えば、層状に並べられた人工ニューロンが隣接層間でのみ結合し、入力側から出力側に一方向にのみ情報が伝搬するパーセプトロンを例示することができる。
図１は、ニューラルネットワークの一例を表したものである。ニューラルネットワークは、例えば、入力層ＩＬ、中間層ＭＬ（隠れ層）および出力層ＯＬを含む。各層（ＩＬ，ＭＬ，ＯＬ）は、１または複数のニューロンを備えている。例えば、入力層ＩＬのニューロンの数は、例えば、動画データに含まれる画素数に応じて設定することができる。中間層ＭＬのニューロンの数は、適宜設定することができる。出力層ＯＬは、後段で必要となる数に応じて設定することができる。
互いに隣接する層のニューロン同士は結合されており、各結合には重み（結合荷重）が設定されている。ニューロンの結合数は、適宜設定されてよい。各ニューロンには閾値が設定されており、例えば、各ニューロンへの入力値と重みとの積の和が閾値を超えているか否かによって各ニューロンの出力値が決定される。
＜２．第１の実施の形態＞
次に、本開示の第１の実施の形態に係る積和演算装置１００について説明する。図２は、積和演算装置１００の構成の一例を表したものである。積和演算装置１００は、シナプスに対応する複数のセルＭＣが行列状に接続されることにより構成される積和演算回路１１０と、行デコーダ１２０、列デコーダ１３０、入力回路１４０と、出力回路１５０とを備えている。行デコーダ１２０、列デコーダ１３０および入力回路１４０によって積和演算回路１１０が駆動される。積和演算回路１１０は、例えば、シリコン基板上に形成されている。
行デコーダ１２０には複数のワード線ＷＬが接続されている。複数のワード線ＷＬは、行列状に配置された複数のセルＭＣに対して、例えば、行ごとに１本ずつ割り当てられている。列デコーダ１３０には複数のビット線ＢＬが接続されている。複数のビット線ＢＬは、行列状に配置された複数のセルＭＣに対して、例えば、列ごとに１本ずつ割り当てられている。入力回路１４０には複数の入力配線ＰＬが接続されている。複数の入力配線ＰＬは、行列状に配置された複数のセルＭＣに対して、例えば、行ごとに１本ずつ割り当てられている。各ビット線ＢＬには、複数の出力配線ＳＬが１本ずつ接続されている。ビット線ＢＬおよび出力配線ＳＬは、各セルＭＣの強誘電キャパシタＣｓの容量および入力配線ＰＬへ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。
行デコーダ１２０は、ワード線ＷＬに選択信号を印可することにより、アクセス対象であるセルＭＣを選択する。選択信号は、セルＭＣ内のトランジスタＴｒ（後述）の閾値電圧以上の波高値を有するパルスである。行デコーダ１２０によって選択されたセルＭＣでは、トランジスタＴｒが導通状態（オン）となる。列デコーダ１３０は、ビット線ＢＬに所定の電圧Ｖｂｌを印可することにより、ビット線ＢＬに接続された各セルＭＣに所定の電圧Ｖｂｌを供給する。入力回路１４０は、入力配線ＰＬに所定の電圧（入力電圧Ｖｐｌ）を印可することにより、入力配線ＰＬに接続された各セルＭＣに所定の電圧（入力電圧Ｖｐｌ）を供給する。各セルＭＣには、入力配線ＰＬに印加された入力電圧Ｖｐｌと、ビット線ＢＬに印加された電圧Ｖｂｌとの差分の電圧が印可される。
ここで、入力電圧Ｖｐｌが所定の正の電圧となっている場合に、電圧Ｖｂｌが、例えば、グラウンド電圧（０Ｖ）となっているとする。このとき、セルＭＣには、セルＭＣの分極状態として例えば、“０”が記憶される。また、入力電圧Ｖｐｌがグラウンド電圧（０Ｖ）となっている場合に、電圧Ｖｂｌが所定の正の電圧となっているとする。このとき、セルＭＣには、セルＭＣの分極状態として例えば、“１”が記憶される。
セルＭＣには、入力回路１４０から入力配線ＰＬを通じて入力電圧Ｖｐｌが印加されるとともに、列デコーダ１３０からビット線ＢＬを通じて電圧Ｖｂｌが印可される。これにより、セルＭＣには、セルＭＣの強誘電体の分極に応じたスイッチング電流が流れる。セルＭＣの各々の出力は、ビット線ＢＬを介して出力配線ＳＬに接続されており、出力回路１５０は、出力配線ＳＬに流れる電流、または、出力配線ＳＬの電位を測定することで、積和演算結果を取得する。出力回路１５０は、例えば、出力配線ＳＬの電圧の各々を同時かつ並列に測定するＡＤ（Analog-to-Digital）変換回路を有しており、積和演算結果をＡＤ変換することにより得られるデジタル信号を外部に出力する。なお、出力回路１５０は、必要に応じて、増幅回路などをさらに有していてもよい。
積和演算回路１１０は、行列状に配置された複数のセルＭＣを有している。各セルＭＣは、例えば、トランジスタＴｒと、トランジスタＴｒのソース・ドレイン端子に接続された強誘電キャパシタＣｓとを含んで構成された１Ｔｒ１Ｃの回路構成となっている。トランジスタＴｒは、例えば、ＭＯＳＦＥＴである。強誘電キャパシタＣｓは、一対の電極間に強誘電体材料が挟み込まれた構成となっている。強誘電体材料としては、例えば、酸化ハフニウム（ＨｆＯｘ）、酸化ジルコニウム（ＺｒＯｘ）、酸化ハフニウムジルコニウム（ＨｆＺｒＯｘ）などが挙げられる。例えば、酸化ハフニウム（ＨｆＯｘ）、酸化ジルコニウム（ＺｒＯｘ）、酸化ハフニウムジルコニウム（ＨｆＺｒＯｘ）などに対して結晶化アニールを行うことにより、これらの材料を強誘電体にすることが可能である。強誘電体材料には、Ｌａ，Ｓｉ，Ｇｄ等の原子がドープされていてもよい。強誘電キャパシタＣｓの電極には、例えば、窒化チタン（ＴｉＮ）や窒化タンタル（ＴａＮ）等が用いられ得る。
トランジスタＴｒのゲートはワード線ＷＬに接続されており、ワード線ＷＬを介して行デコーダ１２０からの信号が入力される。トランジスタＴｒの一方のソース・ドレイン端子は強誘電キャパシタＣｓを介して入力配線ＰＬに接続されている。強誘電キャパシタＣｓの一方の端子がトランジスタＴｒの一方のソース・ドレイン端子に接続されており、強誘電キャパシタＣｓの他方の端子が入力配線ＰＬに接続されている。トランジスタＴｒの一方のソース・ドレイン端子には強誘電キャパシタＣｓを介して入力回路１４０からの信号が入力される。トランジスタＴｒの他方のソース・ドレイン端子にはビット線ＢＬが接続されており、ビット線ＢＬを介して列デコーダ１３０からの信号が入力される。
積和演算回路１１０では、例えば、行デコーダ１２０によって選択されたセルＭＣの入力（入力配線ＰＬ）に電圧（入力電圧Ｖｐｌ）が印可されると、強誘電キャパシタＣｓの容量と、入力電圧Ｖｐｌとの乗算に対応する電荷量が出力配線ＳＬに蓄積され、これにより積和演算を行うことができる。例えば、積和演算の推論においては、行デコーダ１２０によって選択されたセルＭＣの入力（入力配線ＰＬ）に電圧（入力電圧Ｖｐｌ）が印可されると、Ｃ×Ｖ＝Ｑに応じた電荷量が出力配線ＳＬに蓄積される。ここで、Ｃは、例えば、図３に示したように、セルＭＣの分極状態（“０”）に応じた負荷容量ｃｌ、または、セルＭＣの分極状態（“１”）に応じた負荷容量ｃｈに対応する。すなわち、積和演算回路１１０において、Convolution Neural Network（ＣＮＮ）に代表されるニューラルネットワークにおける入力（例えば、前段の信号）とパラメータとの“積” を行うことができる。
なお、強誘電キャパシタＣｓの分極状態が“１”のときにキャパシタＣｓに印加される電圧が０（Ｖ）→Ｖａ（Ｖ）→０（Ｖ）と変化すると、キャパシタＣｓの分極状態が“０”となる。また、強誘電キャパシタＣｓの分極状態が“０”のときにキャパシタＣｓに印加される電圧が０（Ｖ）→Ｖａ（Ｖ）→０（Ｖ）と変化すると、キャパシタＣｓの分極状態は、遷移前と同じ状態“０”となる。従って、積和演算回路１１０では、データ読み出しの際に、セルＭＣに保持されたデータが破壊される場合がある。
図４は、積和演算回路１１０の平面レイアウトの一例を表したものである。複数のビット線ＢＬおよび複数の入力配線ＰＬがともに第１の方向に延在する配線を有しており、それらの配線が第１の方向と直交する第２の方向に交互に配置されている。互いに隣接する２本の入力配線ＰＬは、導電層Ｍで互いに接続されており、上記の図２の１本の入力配線ＰＬに対応している。複数のワード線ＷＬが第２の方向に延在しており、第１の方向に所定の間隔で配列されている。
ビット線ＢＬと、トランジスタＴｒの一方のソース・ドレイン端子とにビットコンタクトＮが接続されている。ビットコンタクトＮは、ビット線ＢＬとトランジスタＴｒの一方のソース・ドレイン端子とが互いに対向する位置に配置されている。トランジスタＴｒの他方のソース・ドレイン端子と入力配線ＰＬとの間に強誘電キャパシタＣｓが設けられている。強誘電キャパシタＣｓは入力配線ＰＬとトランジスタＴｒの他方のソース・ドレイン端子とが互いに対向する位置に配置されている。
複数のビットコンタクトＮと複数の強誘電キャパシタＣｓとが第１の方向に交互に配置されている。トランジスタＴｒは、ビットコンタクトＮと強誘電キャパシタＣｓとを結ぶ第３の方向に延在して形成されており、トランジスタＴｒにおいて、一方のソース・ドレイン端子と他方のソース・ドレイン端子とが第３の方向において互いに対向して配置されている。
図５は、２つの積和演算装置１００を用いたニューラルネットワーク２００の構成の一例を表したものである。ニューラルネットワーク２００は、２つの積和演算装置１００と、前段の積和演算装置１００の出力回路１５０から出力された複数のデジタル信号をＤＡ（Digital-to-Analog）変換し、後段の積和演算装置１００の入力回路１４０に入力するＤＡＣ３００とを備えている。このように、ＤＡＣ３００を介して、２つの積和演算装置１００を連結することにより、ニューラルネットワークを構築することができる。なお、複数の積和演算装置１００を用いてニューラルネットワークを構築することも可能である。このとき、前段側の積和演算装置１００と後段側の積和演算装置１００との間にはＤＡＣ３００が設けられている。
［動作］
次に、積和演算装置１００の動作について説明する。本実施の形態では、行デコーダ１２０が特定のワード線ＷＬを選択し、入力回路１４０が特定の入力配線ＰＬに入力電圧Ｖｐｌとして正の電圧を印可するとともに、列デコーダ１３０が特定のビット線ＢＬに電圧Ｖｂｌとしてグラウンド電圧を印可すると、選択されたワード線ＷＬと、入力電圧Ｖｐｌとして正の電圧が印可された入力配線ＰＬと、電圧Ｖｂｌとしてグラウンド電圧が印可されたビット線ＢＬとに接続されたセルＭＣ（アクセス対象のセルＭＣ）から入力配線ＰＬに対して、Ｃ×Ｖ＝Ｑに応じた電荷が供給される。その結果、アクセス対象のセルＭＣに接続された出力配線ＳＬには、Ｃ×Ｖ＝Ｑに応じた電荷が蓄積される。出力配線ＳＬには、蓄積された電荷に応じた電圧が発生し、この出力配線ＳＬの電圧が出力回路１５０においてＡＤ変換され、外部に出力される。
行デコーダ１２０が複数のワード線ＷＬを順次、選択することにより、１本の出力配線ＳＬには、当該出力配線ＳＬを共有する各セルＭＣから、Ｃ×Ｖ＝Ｑに応じた電荷が供給される。これにより、出力配線ＳＬを共有する各セルＭＣから供給された電荷の和に応じた電圧が出力配線ＳＬに発生し、この出力配線ＳＬの電圧が出力回路１５０においてＡＤ変換され、出力回路１５０から外部に出力される。このような読み出し動作が出力配線ＳＬごとに行われることにより、出力配線ＳＬを共有する各セルＭＣから供給された電荷の和に応じた電圧（積和演算結果）が出力回路１５０から出力配線ＳＬごとに外部に出力される。
［効果］
次に、積和演算装置１００の効果について説明する。本実施の形態では、セルＭＣには、強誘電キャパシタＣｓが設けられている。これにより、強誘電キャパシタＣｓにパラメータ（重み）を保持することが可能となる。ここで、負荷容量ｃｌ，ｃｈのばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本実施の形態では、パラメータ（重み）を保持させる強誘電キャパシタＣｓにおける負荷容量ｃｌ，ｃｈのばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタＣｓを用いた１Ｔ１ＣのセルＭＣは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた積和演算セルと比べて、小面積でシリコン基板上に形成することができる。従って、低コストの積和演算装置１００を提供することができる。また、強誘電キャパシタＣｓでは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。
本実施の形態では、各出力配線ＰＬに蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路１５０が設けられている。これにより、複数の積和演算装置１００を用いてニューラルネットワークを構築する際に、前段側の積和演算装置１００と後段側の積和演算装置１００との間にＡＤＣを設けることで、ニューラルネットワークを構築することが可能である。
本実施の形態では、各トランジスタＴｒは、複数のセルＭＣにおける行方向および列方向の双方と交差する斜め方向に延在しており、各トランジスタＴｒにおいて、一対のソース・ドレイン端子は斜め方向において互いに対向配置されている。これにより、積和演算回路１１０を半導体基板の表面に方形状に形成することが可能となり、設計の自由度を向上させることができる。
本実施の形態では、入力配線ＰＬは、強誘電キャパシタＣｓを介して一方のソース・ドレイン端子と対向する位置に配置されており、出力配線ＳＬは他方のソース・ドレイン端子と対向する位置に配置されている。これにより、積和演算回路１１０を半導体基板の表面に方形状に形成することが可能となり、設計の自由度を向上させることができる。
＜３．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る積和演算装置４００について説明する。図６は、積和演算装置４００の構成の一例を表したものである。積和演算装置４００は、シナプスに対応する複数のセルＭＣｄが行列状に接続されることにより構成される積和演算回路４１０と、行デコーダ４２０、列デコーダ４３０、入力回路４４０と、出力回路４５０とを備えている。行デコーダ４２０、列デコーダ４３０および入力回路４４０によって積和演算回路４１０が駆動される。積和演算回路４１０は、例えば、シリコン基板上に形成されている。
行デコーダ４２０には複数のワード線ＷＬ＋，ＷＬ－が接続されている。複数のワード線ＷＬ＋は、行列状に配置された複数のセルＭＣｄに対して、例えば、行ごとに１本ずつ割り当てられている。複数のワード線ＷＬ－は、行列状に配置された複数のセルＭＣｄに対して、例えば、行ごとに１本ずつ割り当てられている。つまり、複数組のワード線ＷＬ＋，ＷＬ－が、行列状に配置された複数のセルＭＣｄに対して、例えば、行ごとに一組ずつ割り当てられている。列デコーダ４３０には複数のビット線ＢＬ＋，ＢＬ－が接続されている。複数のビット線ＢＬ＋は、行列状に配置された複数のセルＭＣｄに対して、例えば、列ごとに１本ずつ割り当てられている。複数のビット線ＢＬ－は、行列状に配置された複数のセルＭＣｄに対して、例えば、列ごとに１本ずつ割り当てられている。つまり、複数組のビット線ＢＬ＋，ＢＬ－が、行列状に配置された複数のセルＭＣｄに対して、例えば、行ごとに一組ずつ割り当てられている。入力回路４４０には複数の入力配線ＰＬが接続されている。複数の入力配線ＰＬは、行列状に配置された複数のセルＭＣｄに対して、例えば、行ごとに１本ずつ割り当てられている。各ビット線ＢＬ＋には、複数の出力配線ＳＬ＋が１本ずつ接続されている。各ビット線ＢＬ－には、複数の出力配線ＳＬ－が１本ずつ接続されている。ビット線ＢＬ－および出力配線ＳＬ－は、各セルＭＣ１の強誘電キャパシタＣｓ１の容量および入力配線ＰＬへ入力される入力電圧の乗算に対応する電荷量を蓄積可能に構成されている。
積和演算回路４１０は、行列状に配置された複数のセルＭＣｄを有している。各セルＭＣｄは、例えば、図７に示したように、２つのセルＭＣ（セルＭＣ１，ＭＣ２）を含んで構成された２Ｔｒ２Ｃの回路構成となっている。各セルＭＣｄにおいて、セルＭＣ１が主セルであり、セルＭＣ２はレファレンスセルである。セルＭＣ１に対して所定の状態が設定されたとき、セルＭＣ２に対しては、セルＭＣ１の状態を反転させた状態が設定される。レファレンスセルの役割については後に詳述する。
セルＭＣ１，ＭＣ２は、上記実施の形態に係るセルＭＣと同様の構成・機能となっている。セルＭＣ１は、例えば、トランジスタＴｒ１と、トランジスタＴｒ１のソース・ドレイン端子に接続された強誘電キャパシタＣｓ１とを含んで構成された１Ｔｒ１Ｃの回路構成となっている。セルＭＣ２は、例えば、トランジスタＴｒ２と、トランジスタＴｒ２のソース・ドレイン端子に接続された強誘電キャパシタＣｓ２とを含んで構成された１Ｔｒ１Ｃの回路構成となっている。トランジスタＴｒ１，Ｔｒ２は、例えば、ＭＯＳＦＥＴである。強誘電キャパシタＣｓ１，Ｃｓ２は、一対の電極間に強誘電体材料が挟み込まれた構成となっている。
トランジスタＴｒ１のゲートはワード線ＷＬ－に接続されており、ワード線ＷＬ－を介して行デコーダ４２０からの信号が入力される。トランジスタＴｒ１の一方のソース・ドレイン端子は強誘電キャパシタＣｓ１を介して入力配線ＰＬに接続されている。強誘電キャパシタＣｓ１の一方の端子がトランジスタＴｒ１の一方のソース・ドレイン端子に接続されており、強誘電キャパシタＣｓ１の他方の端子が入力配線ＰＬに接続されている。トランジスタＴｒ１の一方のソース・ドレイン端子には強誘電キャパシタＣｓ１を介して入力回路４４０からの信号が入力される。トランジスタＴｒ１の他方のソース・ドレイン端子にはビット線ＢＬ－が接続されており、ビット線ＢＬ－を介して列デコーダ４３０からの信号が入力される。
トランジスタＴｒ２のゲートはワード線ＷＬ＋に接続されており、ワード線ＷＬ＋を介して行デコーダ４２０からの信号が入力される。トランジスタＴｒ２の一方のソース・ドレイン端子には強誘電キャパシタＣｓ２を介して、強誘電キャパシタＣｓ１が接続された入力配線ＰＬに接続されている。強誘電キャパシタＣｓ２の一方の端子がトランジスタＴｒ２の一方のソース・ドレイン端子に接続されており、強誘電キャパシタＣｓ２の他方の端子が、強誘電キャパシタＣｓ１が接続された入力配線ＰＬに接続されている。つまり、セルＭＣｄにおいて、強誘電キャパシタＣｓ１，Ｃｓ２は共通の入力配線ＰＬに接続されている。トランジスタＴｒ２の一方のソース・ドレイン端子には強誘電キャパシタＣｓ２を介して入力回路４４０からの信号が入力される。トランジスタＴｒ２の他方のソース・ドレイン端子にはビット線ＢＬ＋が接続されており、ビット線ＢＬ＋を介して列デコーダ４３０からの信号が入力される。
行デコーダ４２０は、ワード線ＷＬ－に選択信号を印可することにより、アクセス対象であるセルＭＣｄ（またはセルＭＣ１）を選択する。選択信号は、トランジスタＴｒ１の閾値電圧以上の波高値を有するパルスである。行デコーダ４２０によって選択されたセルＭＣ１では、トランジスタＴｒ１が導通状態（オン）となる。列デコーダ４３０は、ビット線ＢＬ－に所定の電圧Ｖｂｌ１を印可することにより、ビット線ＢＬ－に接続された各セルＭＣ１に所定の電圧Ｖｂｌ１を供給する。各セルＭＣ１には、入力配線ＰＬに印加された入力電圧Ｖｐｌと、ビット線ＢＬ－に印加された電圧Ｖｂｌ１との差分の電圧が印可される。
行デコーダ４２０は、ワード線ＷＬ＋に選択信号を印可することにより、アクセス対象であるセルＭＣｄ（またはセルＭＣ２）を選択する。選択信号は、トランジスタＴｒ２の閾値電圧以上の波高値を有するパルスである。行デコーダ４２０によって選択されたセルＭＣ２では、トランジスタＴｒ２が導通状態（オン）となる。列デコーダ４３０は、ビット線ＢＬ＋に所定の電圧Ｖｂｌ２を印可することにより、ビット線ＢＬ＋に接続された各セルＭＣ２に所定の電圧Ｖｂｌ２を供給する。各セルＭＣ２には、入力配線ＰＬに印加された入力電圧Ｖｐｌと、ビット線ＢＬ＋に印加された電圧Ｖｂｌ２との差分の電圧が印可される。
ここで、入力電圧Ｖｐｌが所定の正の電圧となっている場合に、電圧Ｖｂｌ１が、例えば、グラウンド電圧（０Ｖ）となっているとする。このとき、セルＭＣ１には、セルＭＣ１の分極状態として例えば、“０”が記憶される。また、入力電圧Ｖｐｌがグラウンド電圧（０Ｖ）となっている場合に、電圧Ｖｂｌ１が所定の正の電圧となっているとする。このとき、セルＭＣ１には、セルＭＣ１の分極状態として例えば、“１”が記憶される。
また、入力電圧Ｖｐｌが所定の正の電圧となっている場合に、電圧Ｖｂｌ２が、例えば、グラウンド電圧（０Ｖ）となっているとする。このとき、セルＭＣ２には、セルＭＣ２の分極状態として例えば、“０”が記憶される。また、入力電圧Ｖｐｌがグラウンド電圧（０Ｖ）となっている場合に、電圧Ｖｂｌ２が所定の正の電圧となっているとする。このとき、セルＭＣ２には、セルＭＣ２の分極状態として例えば、“１”が記憶される。
セルＭＣ１には、入力回路４４０から入力配線ＰＬを通じて入力電圧Ｖｐｌが印加されるとともに、列デコーダ４３０からビット線ＢＬ－を通じて電圧Ｖｂｌ１が印可される。これにより、セルＭＣ１には、セルＭＣ１の強誘電体の分極に応じたスイッチング電流が流れる。セルＭＣ１の各々の出力は、ビット線ＢＬ－を介して出力配線ＳＬ－に接続されており、出力回路４５０は、出力配線ＳＬ－に流れる電流、または、出力配線ＳＬ－の電位を測定することで、積和演算結果を取得する。出力回路４５０は、例えば、出力配線ＳＬ－の電圧の各々を同時かつ並列に測定するＡＤ変換回路を有しており、積和演算結果をＡＤ変換することにより得られるデジタル信号を外部に出力する。なお、出力回路４５０は、必要に応じて、増幅回路などをさらに有していてもよい。
積和演算回路４１０では、例えば、行デコーダ４２０によって選択されたセルＭＣ１の入力（入力配線ＰＬ）に電圧（入力電圧Ｖｐｌ）が印可されると、強誘電キャパシタＣｓ１の容量と、入力電圧Ｖｐｌとの乗算に対応する電荷量が出力配線ＳＬ－に蓄積され、これにより積和演算を行うことができる。例えば、積和演算の推論においては、行デコーダ４２０によって選択されたセルＭＣ１の入力（入力配線ＰＬ）に電圧（入力電圧Ｖｐｌ）が印可されると、Ｃ×Ｖ＝Ｑに応じた電荷量が出力配線ＳＬ－に蓄積される。ここで、Ｃは、例えば、図３に示したように、セルＭＣ１の分極状態（“０”）に応じた負荷容量ｃｌ、または、セルＭＣ１の分極状態（“１”）に応じた負荷容量ｃｈに対応する。すなわち、積和演算回路１１０において、Convolution Neural Network（ＣＮＮ）に代表されるニューラルネットワークにおける入力（例えば、前段の信号）とパラメータとの“積” を行うことができる。
図８は、積和演算回路４１０の平面レイアウトの一例を表したものである。複数のビット線ＢＬ－，ＢＬ＋および複数の入力配線ＰＬが第１の方向に延在する配線を有しており、それらの配線が第１の方向と直交する第２の方向に、ビット線ＢＬ－、２本の入力配線ＰＬおよびビット線ＢＬ＋の順で繰り返し配置されている。互いに隣接する２本の入力配線ＰＬは、導電層Ｍで互いに接続されており、上記の図７の１本の入力配線ＰＬに対応している。複数のワード線ＷＬ＋，ＷＬ－が第２の方向に延在しており、第１の方向に交互に配置されている。
ビット線ＢＬ－と、トランジスタＴｒ１の一方のソース・ドレイン端子とにビットコンタクトＮ１が接続されている。ビットコンタクトＮ１は、ビット線ＢＬ－とトランジスタＴｒ１の一方のソース・ドレイン端子とが互いに対向する位置に配置されている。トランジスタＴｒ１の他方のソース・ドレイン端子と入力配線ＰＬとの間に強誘電キャパシタＣｓ１が設けられている。強誘電キャパシタＣｓ１は入力配線ＰＬとトランジスタＴｒの他方のソース・ドレイン端子とが互いに対向する位置に配置されている。
ビット線ＢＬ＋と、トランジスタＴｒ２の一方のソース・ドレイン端子とにビットコンタクトＮ２が接続されている。ビットコンタクトＮ２は、ビット線ＢＬ＋とトランジスタＴｒ２の一方のソース・ドレイン端子とが互いに対向する位置に配置されている。トランジスタＴｒ２の他方のソース・ドレイン端子と入力配線ＰＬとの間に強誘電キャパシタＣｓ２が設けられている。強誘電キャパシタＣｓ２は入力配線ＰＬとトランジスタＴｒ２の他方のソース・ドレイン端子とが互いに対向する位置に配置されている。
複数のビットコンタクトＮ１，Ｎ２および複数の強誘電キャパシタＣｓ１，Ｃｓ２が第１の方向に、ビットコンタクトＮ１、強誘電キャパシタＣｓ１、強誘電キャパシタＣｓ２、ビットコンタクトＮ２の順で繰り返し配置されている。トランジスタＴｒ１は、第１の方向および第２の方向と交差する第３の方向に延在して形成されており、トランジスタＴｒ１において、一方のソース・ドレイン端子と他方のソース・ドレイン端子とが第３の方向において互いに対向して配置されている。トランジスタＴｒ２は、第１の方向および第２の方向と交差する第３の方向に延在して形成されており、トランジスタＴｒ２において、一方のソース・ドレイン端子と他方のソース・ドレイン端子とが第３の方向において互いに対向して配置されている。
図９は、２つの積和演算装置４００を用いたニューラルネットワーク５００の構成の一例を表したものである。ニューラルネットワーク５００は、２つの積和演算装置４００と、前段の積和演算装置４００の出力回路４５０から出力された複数のデジタル信号をＤＡ（Digital-to-Analog）変換し、後段の積和演算装置４００の入力回路４４０に入力するＤＡＣ６００とを備えている。このように、ＤＡＣ６００を介して、２つの積和演算装置４００を連結することにより、ニューラルネットワークを構築することができる。なお、複数の積和演算装置４００を用いてニューラルネットワークを構築することも可能である。このとき、前段側の積和演算装置４００と後段側の積和演算装置４００との間にはＤＡＣ６００が設けられている。
［動作］
次に、積和演算装置４００の動作について説明する。本実施の形態では、行デコーダ４２０が特定のワード線ＷＬ－を選択し、入力回路１４０が特定の入力配線ＰＬに入力電圧Ｖｐｌとして正の電圧を印可するとともに、列デコーダ１３０が特定のビット線ＢＬ－に電圧Ｖｂｌとしてグラウンド電圧を印可すると、選択されたワード線ＷＬ－と、入力電圧Ｖｐｌとして正の電圧が印可された入力配線ＰＬと、電圧Ｖｂｌとしてグラウンド電圧が印可されたビット線ＢＬ－とに接続されたセルＭＣ１（アクセス対象のセルＭＣ１）から出力配線ＳＬに対して、Ｃ×Ｖ＝Ｑに応じた電荷が供給される。その結果、アクセス対象のセルＭＣ１に接続された出力配線ＳＬ－には、Ｃ×Ｖ＝Ｑに応じた電荷が蓄積される。出力配線ＳＬ－には、蓄積された電荷に応じた電圧が発生し、この出力配線ＳＬ－の電圧が出力回路４５０においてＡＤ変換され、外部に出力される。
行デコーダ４２０が複数のワード線ＷＬ－を順次、選択することにより、１本の出力配線ＳＬ－には、当該出力配線ＳＬ－を共有する各セルＭＣ１から、Ｃ×Ｖ＝Ｑに応じた電荷が供給される。これにより、出力配線ＳＬ－を共有する各セルＭＣ１から供給された電荷の和に応じた電圧が出力配線ＳＬ－に発生し、この出力配線ＳＬ－の電圧が出力回路４５０においてＡＤ変換され、出力回路４５０から外部に出力される。このような読み出し動作が出力配線ＳＬ－ごとに行われることにより、出力配線ＳＬ－を共有する各セルＭＣ１から供給された電荷の和に応じた電圧（積和演算結果）が出力回路４５０から出力配線ＳＬ－ごとに外部に出力される。
ところで、積和演算回路１１０では、上述したように、データ読み出しの際に、セルＭＣに保持されたデータが破壊される場合がある。そこで、積和演算回路１１０は、レファレンスセルであるセルＭＣ２に、セルＭＣ１のバックアップの機能を持たせている。積和演算回路１１０は、例えば、セルＭＣ１に状態として“１”を書き込み、セルＭＣ２に、セルＭＣ１の状態を反転させた状態“０”を書き込んだ後、積和演算の推論を行う。このとき、積和演算の推論は破壊読出しとなるので、セルＭＣ１は“０”となる。続いて、積和演算装置４００は、セルＭＣ２から読み出した状態（“０”）を反転させた状態（“１”）をセルＭＣ１に書き込む。このようにして、セルＭＣ１に対する再書き込みが行われる。このような再書き込みは、セルＭＣ２をセルＭＣ１のバックアップとして機能させることにより実現することができる。
［効果］
次に、積和演算装置４００の効果について説明する。本実施の形態では、セルＭＣには、強誘電キャパシタＣｓ１，Ｃｓ２が設けられている。これにより、強誘電キャパシタＣｓ１，Ｃｓ２にパラメータ（重み）を保持することが可能となる。ここで、負荷容量ｃｌ，ｃｈのばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本実施の形態では、パラメータ（重み）を保持させる強誘電キャパシタＣｓ１，Ｃｓ２における負荷容量ｃｌ，ｃｈのばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタＣｓ１を用いた１Ｔ１ＣのセルＭＣ１、および強誘電キャパシタＣｓ２を用いた１Ｔ１ＣのセルＭＣ２は、他のメモリ（例えば、ＲｅＲＡＭ）を用いた積和演算セルと比べて、小面積でシリコン基板上に形成することができる。従って、低コストの積和演算装置１００を提供することができる。また、強誘電キャパシタＣｓ１，Ｃｓ２では、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。
本実施の形態では、各出力配線ＰＬ－に蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路４５０が設けられている。これにより、複数の積和演算装置４００を用いてニューラルネットワークを構築する際に、前段側の積和演算装置４００と後段側の積和演算装置４００との間にＡＤＣを設けることで、ニューラルネットワークを構築することが可能である。
本実施の形態では、各トランジスタＴｒ１，Ｔｒ２は、複数のセルＭＣｄにおける行方向および列方向の双方と交差する斜め方向に延在しており、各トランジスタＴｒ１，Ｔｒ２において、一対のソース・ドレイン端子は斜め方向において互いに対向配置されている。これにより、積和演算回路４１０を半導体基板の表面に方形状に形成することが可能となり、設計の自由度を向上させることができる。
本実施の形態では、入力配線ＰＬは、強誘電キャパシタＣｓ１，Ｃｓ２を介して一方のソース・ドレイン端子と対向する位置に配置されており、出力配線ＳＬ－は他方のソース・ドレイン端子と対向する位置に配置されている。これにより、積和演算回路４１０を半導体基板の表面に方形状に形成することが可能となり、設計の自由度を向上させることができる。
＜３．第２の実施の形態の変形例＞
上記第２の実施の形態において、例えば、図１０に示したように、セルＭＣ１に含まれる強誘電キャパシタＣｓ１の面積と、セルＭＣ２に含まれる強誘電キャパシタＣｓ２の面積とが互いに異なっていてもよい。
図１１、図１２は、６４ｋビットのセルアレイにおいて各セルＭＣから読み出した、“０”のときの電圧Ｖ０および“１”のときの電圧Ｖ１の分布の一例を表したものである。図１１、図１２には、セルＭＣ１に含まれる強誘電キャパシタＣｓ１の面積が＃０、＃１、＃２、＃３のときの電圧Ｖ０，Ｖ１の分布が例示されている。以下では、面積が＃１のセルＭＣ１に“１”が保持されているときの電圧Ｖ１をＶｂ１とし、面積が＃１のセルＭＣ１に“０”が保持されているときの電圧Ｖ０をＶｂ０とし、面積が＃３のセルＭＣ１に“１”が保持されているときの電圧Ｖ１をＶｃ１とし、面積が＃３のセルＭＣ１に“０”が保持されているときの電圧Ｖ０をＶｃ０とする。以下に、セルＭＣ１の面積が＃１、セルＭＣ２の面積が＃３となっているときの積和演算について説明する。
積和演算装置４００を制御する制御装置は、セルＭＣ１に“１”を書き込み、セルＭＣ２に“０”に書き込んだ後、積和演算の推論を行う。このとき、積和演算の推論は破壊読出しとなるので、セルＭＣ１は“０”となる（図１１）。続いて、積和演算装置４００を制御する制御装置は、セルＭＣ１から“０”を読み出すとともに、セルＭＣ２から“０”を読み出し、セルＭＣ１から得られた電圧Ｖｂ０と、セルＭＣ２から得られた電圧Ｖｃ０とを比較し、Ｖｂ０＞Ｖｃ０であることを確認したときは、セルＭＣ１に“１”を書き込む（図１１）。このようにして、セルＭＣ１に対する再書き込みが行われる。このような再書き込みは、セルＭＣ２をセルＭＣ１のバックアップとして機能させることにより実現することができる。
積和演算装置４００を制御する制御装置は、セルＭＣ１に“０”を書き込み、セルＭＣ２に“１”に書き込んだ後、積和演算の推論を行う。このとき、セルＭＣ１は“０”のままとなる（図１２）。続いて、積和演算装置４００を制御する制御装置は、セルＭＣ１から“０”を読み出すとともに、セルＭＣ２から“１”を読み出し、セルＭＣ１から得られた電圧Ｖｂ０と、セルＭＣ２から得られた電圧Ｖｃ１とを比較し、Ｖｂ０＜Ｖｃ１であることを確認したときは、セルＭＣ１に“０”を書き込む（図１２）。このようにして、セルＭＣ１に対する再書き込みが行われる。このような再書き込みは、セルＭＣ２をセルＭＣ１のバックアップとして機能させることにより実現することができる。
以上、複数の実施の形態およびそれらの変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
上記各実施の形態およびそれらの変形例において、ビット線ＢＬ自体が出力配線ＰＬを兼ねていてもよい。また、上記第１の実施の形態およびその変形例において、複数の入力配線ＰＬは、複数のセルＭＣにおける行ごとに１本ずつ割り当てられていてもよいし、２本ずつ割り当てられていてもよい。また、上記第２の実施の形態およびそれらの変形例において、複数の入力配線は、複数のセルＭＣにおける行ごとに１本ずつ割り当てられていてもよいし、２本ずつ割り当てられていてもよい。
また、例えば、本開示は以下のような構成を取ることができる。
（１）
各々がトランジスタと、前記トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルと、
前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記強誘電キャパシタに接続された複数の入力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記トランジスタの第２のソース・ドレイン端子に接続され、各前記セルの前記強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の出力配線と
を備えた
積和演算装置。
（２）
各前記出力配線に蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路を更に備えた
（１）に記載の積和演算装置。
（３）
各前記トランジスタは、前記複数のセルにおける行方向および列方向の双方と交差する斜め方向に延在しており、
各前記トランジスタにおいて、前記第１のソース・ドレイン端子および前記第２のソース・ドレイン端子は、前記斜め方向において互いに対向配置されている
（１）または（２）に記載の積和演算装置。
（４）
前記入力配線は、前記強誘電キャパシタを介して前記第１のソース・ドレイン端子と対向する位置に配置され、
前記出力配線は、前記第２のソース・ドレイン端子と対向する位置に配置されている
（３）に記載の積和演算装置。
（５）
各々が第１のトランジスタと、前記第１のトランジスタの第１のソース・ドレイン端子に接続された第１の強誘電キャパシタとを含むメインセルと、各々が第２のトランジスタと、前記第２のトランジスタの第２のソース・ドレイン端子に接続された第２の強誘電キャパシタとを含むレファレンスセルとを含み、行列状に配置された複数のセルと、
前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記第１の強誘電キャパシタおよび前記第２の強誘電キャパシタに接続された複数の入力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第１のトランジスタの第３のソース・ドレイン端子に接続され、各前記メインセルの前記第１の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第１の出力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第２のトランジスタの第４のソース・ドレイン端子に接続され、各前記レファレンスセルの前記第２の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第２の出力配線と
を備えた
積和演算装置。
（６）
各前記第１の出力配線に蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路を更に備えた
（５）に記載の積和演算装置。
（７）
各前記第１のトランジスタおよび各前記第２のトランジスタは、前記複数のセルにおける行方向および列方向の双方と交差する斜め方向に延在しており、
各前記第１のトランジスタにおいて、前記第１のソース・ドレイン端子および前記第３のソース・ドレイン端子は、前記斜め方向において互いに対向配置され、
各前記第２のトランジスタにおいて、前記第２のソース・ドレイン端子および前記第４のソース・ドレイン端子は、前記斜め方向において互いに対向配置されている
（５）または（６）に記載の積和演算装置。
（８）
前記複数の入力配線は、前記複数のセルにおける行ごとに２本ずつ割り当てられ、
前記複数のセルにおける行ごとに割り当てられた２本の前記入力配線において、第１の入力配線は、前記第１の強誘電キャパシタを介して前記第１のソース・ドレイン端子と対向する位置に配置され、第２の入力配線は、前記第２のソース・ドレイン端子と対向する位置に配置されている
（７）に記載の積和演算装置。
（９）
前記第１の強誘電キャパシタの面積と前記第２の強誘電キャパシタの面積とが互いに異なっている
（５）ないし（８）のいずれか１つに記載の積和演算装置。
（１０）
複数の積和演算装置を備え、
各前記積和演算装置は、
各々がトランジスタと、前記トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルと、
前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記強誘電キャパシタに接続された複数の入力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記トランジスタの第２のソース・ドレイン端子に接続され、各前記セルの前記強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の出力配線と
を有する
ニューラルネットワーク。
（１１）
複数の積和演算装置を備え、
各前記積和演算装置は、
各々が第１のトランジスタと、前記第１のトランジスタの第１のソース・ドレイン端子に接続された第１の強誘電キャパシタとを含むメインセルと、各々が第２のトランジスタと、前記第２のトランジスタの第２のソース・ドレイン端子に接続された第２の強誘電キャパシタとを含むレファレンスセルとを含み、行列状に配置された複数のセルと、
前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記第１の強誘電キャパシタおよび前記第２の強誘電キャパシタに接続された複数の入力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第１のトランジスタの第３のソース・ドレイン端子に接続され、各前記メインセルの前記第１の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第１の出力配線と、
前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第２のトランジスタの第４のソース・ドレイン端子に接続され、各前記レファレンスセルの前記第２の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第２の出力配線と
を有する
ニューラルネットワーク。
本開示の第１の側面に係る積和演算装置、および本開示の第２の側面に係るニューラルネットワークでは、セルには強誘電キャパシタが設けられている。これにより、強誘電キャパシタにパラメータ（重み）を保持することが可能となる。ここで、セルの負荷容量のばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本開示では、パラメータ（重み）を保持させる強誘電キャパシタにおける負荷容量のばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタでは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。従って、パラメータを保持することができ、かつ実用に耐える程度の回数の書き込みを行うことの可能な積和演算装置を提供することができる。
本開示の第３の側面に係る積和演算装置、および本開示の第４の側面に係るニューラルネットワークでは、第１のセルおよび第２のセルには強誘電キャパシタが設けられている。これにより、強誘電キャパシタにパラメータ（重み）を保持することが可能となる。ここで、セルの負荷容量のばらつきが大きい場合、そのばらつきが推論の際のノイズとなり、推論精度の低下が生じる可能性がある。しかし、本開示では、パラメータ（重み）を保持させる強誘電キャパシタにおける負荷容量のばらつきは小さいので、高精度の推論を行うことができる。また、強誘電キャパシタでは、他のメモリ（例えば、ＲｅＲＡＭ）を用いた場合と比べて、書き換え回数の上限が極めて大きく、実用上、書き換え回数の制限を受けない。従って、パラメータを保持することができ、かつ実用に耐える程度の回数の書き込みを行うことの可能な積和演算装置を提供することができる。
１００，４００…積和演算装置、１１０，４１０…積和演算回路、１２０，４２０…行デコーダ、１３０，４３０…列デコーダ、１４０，４４０…入力回路、１５０，４５０…出力回路、２００…ニューラルネットワーク、３００…ＤＡＣ、ＢＬ，ＢＬ＋，ＢＬ－…ビット線、Ｃｓ，Ｃｓ１，Ｃｓ２…強誘電キャパシタ、ＩＬ…入力層、ＭＣ，ＭＣ１，ＭＣ２，ＭＣｄ…セル、ＭＬ…中間層、Ｍ…導電層、Ｎ１，Ｎ２…ビットコンタクト、ＯＬ…出力層、ＰＬ…入力配線、ＳＬ，ＳＬ＋，ＳＬ－…出力配線、Ｔｒ，Ｔｒ１，Ｔｒ２…トランジスタ、ＷＬ，ＷＬ＋，ＷＬ－…ワード線。

Claims (11)

  1. 各々がトランジスタと、前記トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルと、
    前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記強誘電キャパシタに接続された複数の入力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記トランジスタの第２のソース・ドレイン端子に接続され、各前記セルの前記強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の出力配線と
    を備えた
    積和演算装置。
  2. 各前記出力配線に蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路を更に備えた
    請求項１に記載の積和演算装置。
  3. 各前記トランジスタは、前記複数のセルにおける行方向および列方向の双方と交差する斜め方向に延在しており、
    各前記トランジスタにおいて、前記第１のソース・ドレイン端子および前記第２のソース・ドレイン端子は、前記斜め方向において互いに対向配置されている
    請求項１に記載の積和演算装置。
  4. 前記入力配線は、前記強誘電キャパシタを介して前記第１のソース・ドレイン端子と対向する位置に配置され、
    前記出力配線は、前記第２のソース・ドレイン端子と対向する位置に配置されている
    請求項３に記載の積和演算装置。
  5. 各々が第１のトランジスタと、前記第１のトランジスタの第１のソース・ドレイン端子に接続された第１の強誘電キャパシタとを含むメインセルと、各々が第２のトランジスタと、前記第２のトランジスタの第２のソース・ドレイン端子に接続された第２の強誘電キャパシタとを含むレファレンスセルとを含み、行列状に配置された複数のセルと、
    前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記第１の強誘電キャパシタおよび前記第２の強誘電キャパシタに接続された複数の入力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第１のトランジスタの第３のソース・ドレイン端子に接続され、各前記メインセルの前記第１の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第１の出力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第２のトランジスタの第４のソース・ドレイン端子に接続され、各前記レファレンスセルの前記第２の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第２の出力配線と
    を備えた
    積和演算装置。
  6. 各前記第１の出力配線に蓄積された電荷に応じた電圧をＡＤ変換し、出力する出力回路を更に備えた
    請求項５に記載の積和演算装置。
  7. 各前記第１のトランジスタおよび各前記第２のトランジスタは、前記複数のセルにおける行方向および列方向の双方と交差する斜め方向に延在しており、
    各前記第１のトランジスタにおいて、前記第１のソース・ドレイン端子および前記第３のソース・ドレイン端子は、前記斜め方向において互いに対向配置され、
    各前記第２のトランジスタにおいて、前記第２のソース・ドレイン端子および前記第４のソース・ドレイン端子は、前記斜め方向において互いに対向配置されている
    請求項５に記載の積和演算装置。
  8. 前記複数の入力配線は、前記複数のセルにおける行ごとに２本ずつ割り当てられ、
    前記複数のセルにおける行ごとに割り当てられた２本の前記入力配線において、第１の入力配線は、前記第１の強誘電キャパシタを介して前記第１のソース・ドレイン端子と対向する位置に配置され、第２の入力配線は、前記第２のソース・ドレイン端子と対向する位置に配置されている
    請求項７に記載の積和演算装置。
  9. 前記第１の強誘電キャパシタの面積と前記第２の強誘電キャパシタの面積とが互いに異なっている
    請求項５に記載の積和演算装置。
  10. 複数の積和演算装置を備え、
    各前記積和演算装置は、
    各々がトランジスタと、前記トランジスタの第１のソース・ドレイン端子に接続された強誘電キャパシタとを含み、行列状に配置された複数のセルと、
    前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記強誘電キャパシタに接続された複数の入力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記トランジスタの第２のソース・ドレイン端子に接続され、各前記セルの前記強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の出力配線と
    を有する
    ニューラルネットワーク。
  11. 複数の積和演算装置を備え、
    各前記積和演算装置は、
    各々が第１のトランジスタと、前記第１のトランジスタの第１のソース・ドレイン端子に接続された第１の強誘電キャパシタとを含むメインセルと、各々が第２のトランジスタと、前記第２のトランジスタの第２のソース・ドレイン端子に接続された第２の強誘電キャパシタとを含むレファレンスセルとを含み、行列状に配置された複数のセルと、
    前記複数のセルにおける行ごとに１もしくは複数本ずつ割り当てられ、前記第１の強誘電キャパシタおよび前記第２の強誘電キャパシタに接続された複数の入力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第１のトランジスタの第３のソース・ドレイン端子に接続され、各前記メインセルの前記第１の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第１の出力配線と、
    前記複数のセルにおける列ごとに１本ずつ割り当てられ、前記第２のトランジスタの第４のソース・ドレイン端子に接続され、各前記レファレンスセルの前記第２の強誘電キャパシタの容量および前記入力配線へ入力される入力電圧の乗算に対応する電荷量を蓄積可能な複数の第２の出力配線と
    を有する
    ニューラルネットワーク。
JP2020217286A 2020-12-25 2020-12-25 積和演算装置およびニューラルネットワーク Pending JP2022102512A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020217286A JP2022102512A (ja) 2020-12-25 2020-12-25 積和演算装置およびニューラルネットワーク
DE112021006702.8T DE112021006702T5 (de) 2020-12-25 2021-12-16 Faltungsoperationsvorrichtung und neuronales netz
PCT/JP2021/046621 WO2022138463A1 (ja) 2020-12-25 2021-12-16 積和演算装置およびニューラルネットワーク
US18/258,278 US20240069869A1 (en) 2020-12-25 2021-12-16 Multiply-accumulate operation device and neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020217286A JP2022102512A (ja) 2020-12-25 2020-12-25 積和演算装置およびニューラルネットワーク

Publications (1)

Publication Number Publication Date
JP2022102512A true JP2022102512A (ja) 2022-07-07

Family

ID=82157777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020217286A Pending JP2022102512A (ja) 2020-12-25 2020-12-25 積和演算装置およびニューラルネットワーク

Country Status (4)

Country Link
US (1) US20240069869A1 (ja)
JP (1) JP2022102512A (ja)
DE (1) DE112021006702T5 (ja)
WO (1) WO2022138463A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030624A (ja) * 2002-05-10 2004-01-29 Matsushita Electric Ind Co Ltd 半導体装置及びその学習方法
JP2004157757A (ja) * 2002-11-06 2004-06-03 Canon Inc アナログ演算回路
JP6674838B2 (ja) * 2015-05-21 2020-04-01 株式会社半導体エネルギー研究所 電子装置
JP2019179499A (ja) 2018-03-30 2019-10-17 ソニー株式会社 半導体装置及び積和演算装置
JP6985988B2 (ja) 2018-06-21 2021-12-22 株式会社日立製作所 ニューラルネットワーク回路

Also Published As

Publication number Publication date
DE112021006702T5 (de) 2023-11-16
WO2022138463A1 (ja) 2022-06-30
US20240069869A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US20200202204A1 (en) Neural network computation circuit including non-volatile semiconductor memory element
US10534840B1 (en) Multiplication using non-volatile memory cells
CN109214510B (zh) 神经形态多位式数字权重单元
KR100330995B1 (ko) 반도체기억장치
US11615299B2 (en) Neural network computation circuit including non-volatile semiconductor memory element
US11341403B2 (en) Synapse system of a neuromorphic device including a ferroelectric transistor
US11397885B2 (en) Vertical mapping and computing for deep neural networks in non-volatile memory
Haensch et al. Compute in‐Memory with Non‐Volatile Elements for Neural Networks: A Review from a Co‐Design Perspective
CN112992226A (zh) 神经形态器件和存储器件
CN114388021A (zh) 利用外部磁场进行编程辅助的超低功率推理引擎
CN110729011A (zh) 用于类神经网路的存储器内运算装置
WO2007094133A1 (ja) 強誘電体キャパシタを用いた演算処理回路および演算方法
WO2022138463A1 (ja) 積和演算装置およびニューラルネットワーク
CN114388039A (zh) 多级超低功率推理引擎加速器
CN115862708A (zh) 忆阻器阵列的操作方法、数据处理装置
US20230059091A1 (en) Neuromorphic circuit based on 2t2r rram cells
CN115831185A (zh) 存算一体芯片、操作方法、制作方法和电子设备
Wei et al. Emerging Memory-Based Chip Development for Neuromorphic Computing: Status, Challenges, and Perspectives
CN115458005A (zh) 数据处理方法和存算一体装置、电子设备
KR102448396B1 (ko) 가중치 비트폭을 탄력적으로 적용할 수 있는 커패시턴스 기반 뉴럴 네트워크
JP2009059398A (ja) 強誘電体半導体記憶装置
TWI835181B (zh) 記憶體內運算元件及其運算方法
CN111243648A (zh) 闪存单元、闪存模块以及闪存芯片
CN218181836U (zh) 一种存内运算装置
US20230292533A1 (en) Neural network system, high efficiency embedded-artificial synaptic element and operating method thereof