JP2004030624A

JP2004030624A - 半導体装置及びその学習方法

Info

Publication number: JP2004030624A
Application number: JP2003132012A
Authority: JP
Inventors: Michihito Ueda; 上田　路人; Kenji Toyoda; 豊田　健治; Takashi Otsuka; 大塚　隆; Kiyoyuki Morita; 森田　清之
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-05-10
Filing date: 2003-05-09
Publication date: 2004-01-29

Abstract

【課題】学習の信頼性が高く、且つ実用に耐えうる演算速度を有するニューラルネットワーク装置として機能する半導体装置及びその学習方法を提供する。
【解決手段】本発明の半導体装置及びその学習方法は、入力される荷重電圧に応じて荷重が変化するシナプスとしての積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置又はその学習方法であって、前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を算出するステップＡと、その後、前記積算器の荷重を変化させて前記誤差の変化量を算出するステップＢと、前記誤差の変化量に基づいて前記積算器の荷重を変化させるステップＣとを有し、前記ステップＢ及びＣにおいて、前記積算器に対し、前記荷重を略一定値（Ｐｒｅｓ）に揃えるためのリセット電圧Ｖｒｅｓを前記荷重電圧として入力した後、変化させようとする荷重に対応する荷重電圧Ｖ_Ｄ２を入力することにより、前記荷重（Ｐ）を変化させる。
【選択図】　　　　図１３

Description

【０００１】
【発明の属する技術分野】
本発明は、ニューラルネットワーク情報処理に用いられる半導体装置及びその学習方法に関する。
【０００２】
【従来の技術】
半導体集積回路技術の進展はめまぐるしいものがあり、単なるメモリばかりでなく、様々な高機能論理集積回路が開発されている。しかし、これらの論理回路は、２値の信号を用いて演算を行なっており、単純な数値計算に対しては非常に高速な演算が可能であるが、パターン認識や画像の処理といったむしろ人間には容易な演算には膨大な時間を要してしまうという性質がある。
【０００３】
このような、従来のＬＳＩが不得手な演算処理を高速に行える装置として、生物の脳における情報処理方法を利用するコンピュータである、ニューラルネットワーク装置が研究されている。
【０００４】
図１８は、ニューラルネットワーク情報処理における最小単位の素子（パーセプトロン）を示す図であり、図１９はニューラルネットワーク（以下、本明細書中では「ニューラルネットワーク」を「ＮＮ」と略記する）情報処理を説明するための図である。
【０００５】
図１８において、２０１はニューロユニットであり、ＮＮ情報処理の基本演算を行う最小単位である。ニューロユニットはパーセプトロンとも呼ばれる。ニューロユニットは、シナプス２０３とニューロ２０５の２つの部分から成り立っている。シナプス２０３は、入力Ｘｋ（ｋは自然数）にそれぞれ荷重と呼ばれる係数Ｗｋを積算して出力する機能を有する。一方、ニューロ２０５は、複数のシナプス２０３から出力された入力信号を全て足し算する和算機能と、和算結果を閾値処理する閾値処理機能とを持つ。
【０００６】
このニューロユニットの機能を数式で表すと、
ｙ＝ｆ〔Σ（ｋ＝１〜ｎ）（Ｗｋ・Ｘｋ）〕　　　　　　　　（１）
となる（ｎは自然数）。ここに、ｆは閾値関数でありシグモイド関数などである。シグモイド関数は、下式（２）の形で表される。
【０００７】
ｆ（ｚ）＝１／（１＋ｅｘｐ^−Ｚ）　　　　　　　　　　（２）
図１９は、図１８に示すニューロユニットを用いて実際のＮＮ演算を行うときの構成を模式的に示す図である。同図には、最も単純なＮＮ演算である２入力１出力の場合を示している。
【０００８】
図１９に示すように、入力Ｖ１，Ｖ２と出力Ｖ０の間に中間層と呼ばれる層が設けられ、この中間層がニューロユニットを結合して構成される。
【０００９】
なお、以下では簡単のため、２段構成のニューラルネットワーク装置について説明する。最終的な出力を送出する段を出力層、入力とこの出力層との間の段を中間層、と称する。
【００１０】
入力と出力との相関は、各ニューロユニットで複数の演算が行われる積算において、入力に対して積算する係数（荷重）を最適に設定することで関連付けられる。なおこの荷重を最適に設定するための演算を学習と呼ぶ。
【００１１】
このように、ニューラルネットワーク装置では特に非常に多くの積算を行う必要があることから、その演算時間は入力数とともに爆発的に増加してしまう。
しかも、中間層が３段以上の場合には、演算数はさらに多くなり、演算時間は長くなる。
【００１２】
この課題に対し、積算、和算、閾値処理などの単純な演算をアナログ演算することで高速なＮＮ演算処理を実行しようとするニューラルネットワーク装置の研究がなされている。
【００１３】
このようなニューラルネットワーク装置の従来例としては、以下に説明する半導体装置（以下、第１の従来例という）が挙げられる（例えば特許文献１参照）。
【００１４】
図２０は、第１の従来例のニューラルネットワーク装置の構成を示す回路図である。同図に示すように、従来のニューラルネットワーク装置は、互いに接続されたＰチャネル型ＭＩＳトランジスタ（以下、「ＰＭＩＳ」と略記する）２２２と、Ｎチャネル型ＭＩＳトランジスタ（以下「ＮＭＩＳ」と略記する）２２１と、ＰＭＩＳ２２２及びＮＭＩＳ２２１に接続されたニューロン回路２２７とを備えている。このＮＭＩＳ２２１は、フローティングゲート２１３を有しており、このフローティングゲート２１３は、電荷注入用電源２１６に接続されている。ここで、ＰＭＩＳ２２２、ＮＭＩＳ２２１、及び電荷注入用電源２１６が図１８のシナプス２０３に相当し、ニューロン回路２２７が図１８のニューロ２０５に相当する。
【００１５】
従来のニューラルネットワーク装置では、ＭＩＳトランジスタのゲート電極へ複数のキャパシタを介して電圧を入力することで和算をアナログ的に実行する一方で、閾値処理はＭＩＳのゲート電圧−ドレイン電流特性（ＶＧ−ＩＤ特性）を利用することで表現している。さらに、フローティングゲート２１３に注入された電荷の有無により、ＮＭＩＳ２２１の閾値が変化するので、ＮＭＩＳ２２１が導通状態になるゲート電圧を変化させることができる。これにより、演算時の重み付けが行われる。
【００１６】
また、図２１は、従来のニューロン回路であるニューロンＭＩＳＦＥＴ（以下、本明細書中では、この素子をνＭＩＳと称する）を示す図である。図２０に示す、ニューロン回路２２７の入力端子２１８ａ〜２１８ｄは、図２１に示すνＭＩＳ２２７の入力端子ともなっており、和算処理及び閾値処理が行われる。
【００１７】
一方、このようなＮＮ演算の学習法については、例えばバックプロパゲーション法（以下、ＢＰ法という）が広く知られている。
ＢＰ法は、ある演算についての望ましい値（教師値Ｔｋ又は目標荷重）がある時に使用され、次のような手順で学習を行なう。
（ａ）ＮＮ演算を行って出力を得る（前向き演算）。
（ｂ）出力値Ｏｋと教師値Ｔｋとの間の誤差Ｅｐを算出する。
（ｃ）誤差Ｅｐを小さくするように荷重を修正する（後ろ向き演算）。
【００１８】
以上の手順（ａ）〜（ｃ）を繰り返すことによって最適な演算を行うための荷重が導かれる。荷重の修正は各シナプスについて行われるが、誤差に影響するシナプスの荷重ほど大きく修正される。なお、ニューラルネットワーク装置では、シナプスの機能を有する装置として積算器が用いられる。
【００１９】
このように、閾値関数や各ニューロの出力が分かる場合、ＢＰ法を用いることで効率的な演算が可能になる。
【００２０】
ＢＰ法による演算をソフトウェアで行なう場合、これらの変数は容易に呼出して参照し計算に用いることが可能である。しかし、ハードウェアでこの演算を行なう場合、特に中間層の出力を得るには、中間層から配線を伸ばすなどしてその出力値を検出する必要が出てくる。中間層のニューロン数が多い場合にはこの配線の占有面積がコストの面から不利であるだけでなく、特にアナログ動作をさせる場合には不安定動作の一因として懸念される。
【００２１】
また、閾値関数についても、ハードウェアを構成する素子の電気的特性が理論値からずれるため、ある程度近似的な関数として学習制御ルーチンを適用することになるが、このような近似が学習効率の低下や、最悪の場合、学習動作が発散するなどの悪影響を与える恐れが懸念される。
【００２２】
この課題に対し、中間層の出力を得ずともＢＰ法を実行する学習制御法（以下、
第２の従来例という）が提案されている（例えば特許文献２参照）。
【００２３】
この第２の従来例では、荷重を実際に微小変化させ、その時の出力変化からＢＰ法における荷重変更を行うことにより、中間層の出力が分からなくてもＢＰ法を適用できるという利点を有する。また、閾値関数が不明でも（又は関数として記述できなくても）、出力変化によりＢＰ法が適用でき、閾値素子のバラツキなどに柔軟に対応できるという長所を有している。
【００２４】
以上の２つの従来例によれば、ニューラルネットワーク装置をアナログのハードウェアとして高速演算を実行することができる。さらに、学習についても、素子の閾値特性によらず、ニューラルネットワーク装置の出力のみから最適荷重への収束処理が可能となる。
【００２５】
【特許文献１】
特許第３１２２７５６号公報
【特許文献２】
特開平３−２２６８８４号公報
【００２６】
【発明が解決しようとする課題】
しかし、第１の従来例のニューラルネットワーク装置で用いられる積算器では、極薄の絶縁薄膜のトンネル電流を用いて荷重の変更を行うために、動作が遅いという不具合があった。フローティングゲートへの電荷注入には、数１０ｍｓｅｃ程度の時間が必要であるが、ＢＰ法では学習時に荷重を微小変更するために膨大な回数の演算を行なうので、演算時間を実用に耐えられる程度に短縮することが難しかった。
【００２７】
また、上述のニューラルネットワーク装置では、複数の荷重を制御性良く設定することが困難であった。
【００２８】
図２２は、従来の積算器のフローティングゲートにおける印加電圧とトンネル電流との関係を示す図である。同図に示すように、トンネル電流は、印加電圧に対して指数関数的に増加するため、積算器のフローティング電極へ注入する電荷量を制御することは難しかった。そのため、従来のニューラルネットワーク装置においては、積算する係数（荷重）の階調数が限られていた。
【００２９】
一方、第２の従来例のニューラルネットワーク装置の学習動作方法によれば、荷重を微小変更したり、適切値に変更したりする際に、素子特性が理想的な場合には効率的な学習が可能であるが、実際の素子が非線形であったりヒステリシスを有する場合などについては学習の収束に信頼性が欠けていた。
【００３０】
本発明は、上記のような課題を解決するためになされたもので、学習の信頼性が高く、且つ実用に耐えうる演算速度を有するニューラルネットワーク装置として機能する半導体装置及びその学習方法を提供することを目的としている。
【００３１】
【課題を解決するための手段】
上記課題を解決すべく、本件発明者は、ニューラルネットワーク装置の実用化を図るために、積算器を改良することを考えた。これは、従来技術で用いられる積算器の演算速度が不十分であったことに加え、ニューラルネットワーク装置を構成する素子の中で積算器の素子数が最も多いため、積算器の性能を向上させることがニューラルネットワーク装置の性能向上に最も寄与すると考えられるからである。
【００３２】
そして、本件発明者は、不揮発の多値メモリ技術を積算器に応用することにより、複数の荷重を加えることと、積算器の動作速度の向上とが併せて実現可能であることを見いだした。強誘電体メモリや相変化メモリは、２値以上のデータを記憶することができ、且つ書き込み時間は共に１００ｎｓｅｃ以下である。そのため、これらの多値メモリを積算器に応用することで、従来の積算器に比べて大幅に荷重変調の速度を向上させることが可能になる。
具体的には、本発明に係る半導体装置及びその学習方法は、入力される荷重電圧に応じて荷重が変化するシナプスとしての積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置又はその学習方法であって、前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を算出するステップＡと、その後、前記積算器の荷重を変化させて前記誤差の変化量を算出するステップＢと、前記誤差の変化量に基づいて前記積算器の荷重を変化させるステップＣとを有し、前記ステップＢ及びＣにおいて、前記積算器に対し、前記荷重を略一定値に揃えるためのリセット電圧を前記荷重電圧として入力した後、変化させようとする荷重に対応する荷重電圧を入力することにより、前記荷重を変化させる。このような構成とすると、積算器にリセット電圧を入力することにより、荷重が、一旦、略一定値に揃えられるので、積算器の荷重が荷重電圧に対し前歴の影響を受ける特性を有していても、適切に荷重を設定することができる。その結果、学習の信頼性を高めることができる。
前記変化させようとする荷重に対応する荷重電圧の絶対値は前記リセット電圧の絶対値より小さいことが好ましい。このような構成とすると、荷重が荷重電圧に対しヒステリシス特性を有する場合に、効率良く荷重を最適化することができる。
前記リセット電圧の波形がパルス状であってもよい。
前記積算器と異なる積算器について、前記ステップＡ乃至Ｃを遂行してもよい。前記誤差が所定値を下回るまで、各積算器について、順に繰り返すようにして、前記ステップＡ乃至Ｃを遂行してもよい。
前記荷重電圧に対する前記積算器の荷重の変化がヒステリシス特性を有してもよい。このような構成とすると、本発明が特に顕著な効果を奏する。
前記リセット電圧の絶対値が前記ヒステリシス特性における飽和電圧の絶対値より大きいことが好ましい。飽和電圧より絶対値の大きい荷重電圧を入力すると、荷重が一義的に定まるので、このような構成とすることにより、リセット電圧を適切に設定することができる。
前記積算器は前記荷重電圧が一方の電極に印加される強誘電体キャパシタを有し、該強誘電体キャパシタの他方の電極の電位に応じて前記荷重が定まってもよい。
前記積算器は、前記荷重電圧の印加により結晶状態が変化する抵抗変化材料を有し、該結晶状態の変化に応じて前記荷重が定まってもよい。
前記リセット電圧の印加により前記抵抗変化材料が略非晶質状態になってもよい。このような構成とすると、リセット電圧の印加後に印加した荷重電圧に対し、抵抗変化材料の結晶状態が一義的に定まるので、適切に荷重を設定することができる。
また、本発明に係る半導体装置又はその学習方法は、入力される荷重電圧に対しヒステリシス特性を有して荷重が変化するシナプスとしての複数の積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置又はその学習方法であって、前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を、前記積算器に前記荷重電圧として前記荷重を略一定値に揃えるためのリセット電圧を入力しないで、所定値以下にして学習を収束させるステップＡと、前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記リセット電圧を所定電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＢとを有する。このような構成とすると、リセット電圧の印加回数を低減することができる。
前記ステップＢにおける前記リセット電圧及び前記探索用荷重電圧がパルス状であり、前記ステップＢで得られた前記誤差が前記ステップＡで得られた最終的な誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＣとを有してもよい。
前記探索用荷重電圧をステップ毎に所定のルールに従って変化させながら、そのステップで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＣを繰り返してもよい。
前記探索用荷重電圧が、前記ステップＢ以降のステップの進行に連れてステップ状に変化してもよい。
前記リセット電圧が負であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ大きくなってもよい。
前記リセット電圧が正であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ小さくなってもよい。
前記ステップＢは、前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、該荷重電圧を該リセット電圧からその極性が反転する方向に連続的に変化させて該荷重電圧が印加された状態で前記誤差が最小となる荷重電圧を取得するステップＤと、次いで、前記選択された積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記誤差が最小となる荷重電圧からなるパルス状の探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＥとを有し、さらに、前記ステップＥで得られた前記誤差が前記ステップＤで得られた最小の誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＦとを有してもよい。このような構成とすると、さらにリセット電圧の印加回数を低減することができる。
前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前のステップにおける前記探索用荷重電圧を前記所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＧをさらに有し、該ステップＧで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＧを繰り返してもよい。
前記探索用荷重電圧が、前記ステップＥ以降のステップの進行に連れて、前記ステップＤにおける荷重電圧の連続的な変化方向にステップ状に変化してもよい。
【００３３】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。
【００３５】
図１に示すように、本実施形態のニューラルネットワーク装置１は、入出力パターンなどのＮＮ情報処理に用いるデジタルデータからなる情報を格納するメモリ５と、メモリ５から読み出したデータを保持しかつ入力データとして出力する入力データ保持部７と、入力データ保持部７から出力されるデジタルデータをアナログデータに変換（以下、Ｄ／Ａ変換という）してニューロ素子３に入力するためのＤ／Ａコンバータ９と、Ｄ／Ａコンバータ９から出力されるアナログの入力データをＮＮ情報処理するニューロ素子３と、ニューロ素子３から出力されるアナログの出力データをデジタルデータに変換（以下、Ｄ／Ａ変換という）するためのＡ／Ｄコンバータ１３と、Ａ／Ｄコンバータ１３からデジタルで出力されるニューロ素子３の出力データを用いて、ニューロ素子３の学習動作の制御を含む各種の制御を行うための制御部１５と、制御部１５から出力される後述の誤差をＤ／Ａ変換してニューロ素子３に入力するＤ／Ａコンバータ１１と、制御部１５からの制御信号に基づいてニューロ素子３内の誤差を書き込むべきシナプスを選択するセル選択部１７と、制御部１５における演算結果などのデータを記憶するメモリ１９と、制御部１５による学習動作が完了した状態においてニューロ素子３から送出されるＮＮ情報処理結果を出力するための出力部２１とを有している。なお、制御部１５は、ＣＰＵなどの演算素子で構成され、メモリ５、メモリ１９などの記憶手段に格納された制御プログラムに従って上記制御を行う。
【００３６】
本実施形態においては、入力データは、特徴量を０から１の間の数値で表したデジタルデータのベクトルとしてメモリ５に記憶されている。
また、メモリ５には教師値が記憶されている。
【００３７】
以上のように構成されたニューラルネットワーク装置１では、学習動作時には、まず、制御部１５から入出力パターンを選択するための信号がメモリ５に出力され、その選択された入出力パターンが入力データとしてメモリ５から入力データ保持部７に出力される。
【００３８】
次いで、この入力データがＤ／Ａコンバータ９によりアナログデータに変換されてニューロ素子３に入力される。ニューロ素子３はこの入力データをＮＮ情報処理してその処理結果をＡ／Ｄコンバータ１３を介して制御部１５に出力する。
【００３９】
制御部１５は、ニューロ素子３からの出力とメモリ５から読み出した教師値との誤差を求め、その誤差に基づいて各シナプスにおける新規荷重を算出する。この結果に基づいて、セル選択部１７がニューロ素子３内の所定のシナプスを選択して書き込み可能な状態とする。
次いで、所定のシナプスが書き込み可能な状態になると、制御部１５から新規荷重がＤ／Ａコンバータ１１を介してニューロ素子３へ伝えられる。それにより、ニューロ素子３では所定のシナプスの荷重が新規過重に書き換えられる。
【００４０】
次いで、制御部１５から入出力パターンを選択するための信号がメモリ５に出力された後、メモリ５から入力データが入力データ保持部７に出力され、上記と同様にしてニューロ素子３で再度ＮＮ情報処理が行われる。
【００４１】
そして、ニューロ素子３から処理結果が、Ａ／Ｄコンバータ１３を介して制御部１５に入力される。制御部１５は、この処理結果をメモリ１９に送出する。メモリ１９はこれを保持する。以上の動作を繰り返すことにより、ニューロ素子３の全てのシナプスの荷重が最適化される（上記誤差が所定値以下になる）と学習動作が完了する。
【００４２】
一方、通常の制御動作においては、制御部１５により選択されメモリ５から入力データ保持部７に出力された入力データが、Ｄ／Ａコンバータ１１を介してニューロ素子３に入力され、そこでＮＮ情報処理される。そして、その処理結果が、Ａ／Ｄコンバータ１３及び制御部１５を介して出力部２１に送出され、出力部２１から外部に出力される。
【００４３】
次に、ニューロ素子３の構成について説明する。
【００４４】
図２は、図１のニューラルネットワーク装置におけるニューロ素子３の構成の一例を示す模式図である。
【００４５】
同図に示すように、ニューロ素子３は、大きく分けて入力層、中間層及び出力層の３層から構成されている。入力層は、多数の入力端子３１から構成されており、各入力端子３１は複数のニューロユニット３３に接続されている。また、中間層は多数のニューロユニット３３から構成されている。中間層を構成する各ニューロユニット３３は、出力層に配置された複数のニューロユニット３３に接続され、出力層内のニューロユニット３３は、同じ出力層内の出力端子３５に接続されている。
【００４６】
図３は、本実施形態のニューラルネットワーク装置におけるニューロユニット３３の構成を示す図である。同図に示すように、ニューロユニット３３は、多数の積算器４１と、その多数の積算器４１からの出力を総和する（正確には総和に比例する値を得る）ための和算器４３と、閾値処理器４５とを有している。そして、積算器４１がシナプスを構成し、和算器４３及び閾値処理器４５がニューロを構成している。閾値処理器４５は、和算器４３の出力を閾値処理するものであり、所定の閾値前後の入力に対し出力が急速に変化する入力−出力特性を有する。なお、本実施形態では和算器４３及び閾値処理器４５は、従来技術と同様に図２１に示すようなνＭＩＳにより構成されている。また、積算器４１は、入力信号に荷重を積算して出力する機能を有している。さらに、積算器４１は、図示しない荷重保持部を有し、荷重の変更が可能になっている。
【００４７】
このように構成されたニューロユニット３３では、複数の入力データがそれぞれ積算器４１において荷重を積算され、和算器４３において和算され、閾値処理器４５において閾値処理されて出力される。また、後述するように荷重保持部を通じて積算器４１の荷重が変更される。
【００４８】
本発明のニューラルネットワーク装置は、この積算器４１に特徴を有するので、以下、積算器４１について説明する。
【００４９】
図４は、本実施形態のニューラルネットワーク装置に用いられる積算器４１の構成を示す回路図である。
【００５０】
同図に示すように、本実施形態の積算器４１では、Ｎチャネル型ＭＩＳトランジスタ（ＮＭＩＳ）４９とＰチャネル型ＭＩＳトランジスタ（ＰＭＩＳ）４７とから構成されたソースフォロワ回路の共通ゲート電極に強誘電体キャパシタ４４が接続されている。ここで、ソースフォロワ回路とは、ＰＭＩＳ４７とＮＭＩＳ４９とのソース同士を互いに接続し、ＮＭＩＳ４９のドレイン電圧をＰＭＩＳ４７のドレイン電圧より高くして使用する回路である。また、本実施形態の積算器４１において、ＰＭＩＳ４７の基板領域はＮＭＩＳ４９のドレインと同電位にし、ＮＭＩＳ４９の基板領域はＰＭＩＳ４７のドレインと同電位とする。
【００５１】
本実施形態の積算器４１では、強誘電体キャパシタ４４の上部電極に荷重電圧Ｖ_Ｗがパルス状に印加され、その結果、強誘電体キャパシタ４４の電極のうちＰＭＩＳ４７及びＮＭＩＳ４９のゲート電極に接続された側の電極（以下、フローティング電極又はＦＧ電極と称する）に、強誘電体の分極に伴う電荷が保持され、電位（以下、ＦＧ電圧という）Ｖ_ＦＧを生じる。このとき、ＰＭＩＳ４７のドレインを例えば接地し、ＮＭＩＳ４９のドレインに入力電圧Ｖｉｎを入力すると、ＦＧ電圧Ｖ_ＦＧと入力電圧Ｖｉｎにより決定される出力電圧Ｖｏｕｔが出力される。このＦＧ電圧Ｖ_ＦＧ、入力電圧Ｖｉｎ及び出力電圧Ｖｏｕｔの関係については後で詳しく説明する。本実施形態の積算器においては、強誘電体の分極により荷重を設定することで、高速に荷重変調が可能な積算器を実現している。
【００５２】
次に、本実施形態の積算器の構造について説明する。
【００５３】
図５は、本実施形態の積算器４１を上から見たときの平面図であり、図６は、図５のＶＩ−ＶＩ線断面を示す図である。なお、図５、図６においては、図面を見やすくするため、一部の隠れ線を省略して示している。また、図５、図６において、図３、図４と同一又は相当する部分には同一符号を付しその説明を省略する。
【００５４】
図５、図６に示すように、本実施形態の積算器にはＳＯＩ（Ｓｉｌｉｃｏｎ　Ｏｎ　Ｉｎｓｕｌａｔｏｒ）基板が用いられている。ＳＯＩ基板は、Ｓｉなどからなり活性領域を有する半導体基板５１と、半導体基板５１内に埋め込まれた、例えば酸化シリコンからなる埋め込み絶縁膜５３と、埋め込み絶縁膜５３上に設けられ、活性領域を囲む素子分離用絶縁膜５７とを有している。
【００５５】
また、ＰＭＩＳ４７は、半導体基板５１の活性領域に設けられたＮ型半導体領域５５ａと、Ｎ型半導体領域５５ａ上に設けられた厚さ約９ｎｍの酸化シリコンからなるゲート絶縁膜５９と、ゲート絶縁膜５９上に設けられ、ポリシリコンからなるゲート電極６１と、Ｎ型半導体領域５５ａのうち、平面視においてゲート電極６１の両側方に位置する領域に設けられ、Ｐ型不純物を含むＰ型ソース及びドレイン５２ａとを有している。
【００５６】
そして、ＮＭＩＳ４９は、半導体基板５１の活性領域に設けられたＰ型半導体領域５５ｂと、Ｐ型半導体領域５５ｂ上に設けられたゲート絶縁膜５９と、ゲート絶縁膜５９の上に設けられ、ＰＭＩＳ４７と共通のゲート電極６１と、Ｐ型半導体領域５５ｂのうち、平面視においてゲート電極６１の両側方に位置する領域に設けられ、Ｎ型不純物を含むＮ型ソース及びドレイン領域５２ｂとを有している。
【００５７】
また、素子分離用絶縁膜５７、ゲート電極６１及びゲート絶縁膜５９の一部の上には層間絶縁膜６３が設けられており、この層間絶縁膜６３の上にはサイズが３００ｎｍ×３００ｎｍで、厚みが５０ｎｍの白金（Ｐｔ）からなる強誘電体キャパシタ４４の下部電極（すなわちＦＧ電極）６７が設けられている。ゲート電極６１と下部電極６７とは、層間絶縁膜６３を貫通するプラグ配線６６によって接続されている。なお、ＰＭＩＳ４７及びＮＭＩＳ４９のゲート長及びゲート幅はそれぞれ、２００ｎｍ、２０００ｎｍである。
【００５８】
また、強誘電体キャパシタ４４は、下部電極６７と、層間絶縁膜６３及び下部電極６７の上に設けられた厚みが約４００ｎｍのチタン酸鉛−ランタン（ＰＬＴ）からなる強誘電体膜６５と、強誘電体膜６５の上に設けられ、サイズが３００ｎｍ×３００ｎｍで、厚みが１００ｎｍのＰｔからなる上部電極６９とから構成されている。また、Ｎ型ソース及びドレイン領域５２ｂは配線７１ｂを介してＮ型半導体領域５５ａと接続され、Ｐ型ソース及びドレイン領域５２ａは配線７１ａを介してＰ型半導体領域５５ｂと接続されている。そして、Ｐ型ソース及びドレイン領域５２ａのソース領域とＮ型ソース及びドレイン領域５２ｂのソース領域とは、両ソース領域の上方に設けられた配線７３とプラグ５４とにより電気的に接続されている。
次に、以上のように構成された積算器の製造方法について簡単に説明する。なお、この積算器は公知の技術を用いて作製することができる。
【００５９】
まず、Ｓｉからなる半導体基板（以下、単に基板という）５１を準備し、この基板５１内に埋め込み絶縁膜５３を形成する。次いで、窒化シリコン膜をマスクとしたＬＯＣＯＳ法により素子分離用絶縁膜５７を形成する。
【００６０】
次いで、熱リン酸などを用いて窒化シリコン膜を除去した後、半導体基板５１の活性領域の一部にリンなどの不純物イオンを注入し、Ｎ型半導体領域５５ａを形成する。これと同様に、活性領域の一部にはボロンなどの不純物イオンを注入してＰ型半導体領域５５ｂを形成する。
続いて、基板５１を熱酸化することによってＮ型半導体領域５５ａ及びＰ型半導体領域５５ｂの上にシリコン酸化膜からなるゲート絶縁膜５９を形成する。次いで、公知技術により、ゲート絶縁膜５９の上にポリシリコンからなるゲート電極６１を形成する。
【００６１】
次に、ゲート電極６１をマスクとしてセルフアラインで不純物を注入してＰ型及びＮ型のソース及びドレイン領域５２ａ、５２ｂを形成する。
【００６２】
続いて、ＣＶＤ法により基板５１の表面上に酸化シリコンからなる層間絶縁膜６３を形成する。
【００６３】
次に、エッチング等により層間絶縁膜６３の一部を開口し、その後、スパッタ法によりタングステンで開口部を埋めることにより、プラグ配線６６、プラグ５４を形成する。次いで、配線７１ａ，７１ｂ，７３を形成する。
【００６４】
続いて、スパッタ法により層間絶縁膜６３上にＰｔを堆積した後、パターニングすることにより下部電極６７を形成する。
【００６５】
次に、例えば基板温度６００℃で、酸素及びアルゴン混合雰囲気中でＲＦマグネトロンスパッタリングを行なうことにより、基板上にＰＬＴからなる強誘電体膜６５を形成する。その後、スパッタ法により強誘電体膜６５上にＰｔ膜を堆積し、パターニングすることにより、上部電極６９を形成する。
【００６６】
次に、以上のように構成され作製された積算器４１の動作を説明する。
【００６７】
図４及び図５において、この積算器４１では、上部電極６９へ荷重信号（荷重電圧Ｖ_ｗ）が入力され、配線７１ａが接地される。また、配線７１ｂへは信号が入力され、配線７３から出力信号（Ｖｏｕｔ）が出力される。上部電極６９に、電圧を印加した後にその電圧の印加を停止すると、ＦＧ電極には強誘電体の分極に伴い、電荷の過不足が生じる。この電荷の過不足によりＦＧ電極の電位が変化し、出力電圧が変化する。なお、このソースフォロワ回路においては、ＦＧ電極の電位が一定の時には、入力電圧Ｖｉｎと出力電圧Ｖｏｕｔの比Ｖｏｕｔ／Ｖｉｎ（これを積算係数と称す）がほぼ一定となっている。
【００６８】
このように、本実施形態の積算器４１の優れている点は、出力電圧Ｖｏｕｔの変動に対してフローティング電極の電位Ｖ_ＦＧの変動が小さい点である。これは、言い換えると、ソースフォロワ回路のゲート入力は、出力に対してハイインピーダンスである、ということである。
【００６９】
つまり、ＮＮ演算時には、出力電圧ＶｏｕｔはνＭＩＳに伝達されるが、この出力電圧Ｖｏｕｔは、他の積算器４１からの出力電圧の影響を受けて変動することがある。本実施形態の積算器４１は強誘電体キャパシタを有しているため、Ｖ_ＦＧが出力電圧Ｖｏｕｔの変動によって変わってしまえば、予期しない分極が強誘電体に生じることになる。
【００７０】
本実施形態の積算器４１においては、ソースフォロワ回路を用いることでＦＧ電圧Ｖ_ＦＧの変動が小さくなっているので、強誘電体キャパシタにおいて望ましくない分極が発生するのを抑えることができる。これにより、本実施形態の積算器４１では、動作の信頼度が高くなっている。
【００７１】
また、本実施形態の積算器４１では、強誘電体の分極量を書き込み端子に印加する電圧パルス（荷重電圧Ｖ_Ｗ）の大きさや正負で制御することができるので、入力電圧と出力電圧の比を制御することが可能である。つまり、本実施形態の積算器によれば、積算における荷重係数（荷重）を変更することが可能である。
【００７２】
以下、これを詳しく説明する。
図７は、本実施形態の積算器に用いられるソースフォロワ回路におけるＦＧ電圧と積算係数との関係を示す図である。同図において、横軸はＦＧ電圧であり、荷重電圧Ｖ_Ｗが除かれた時のＦＧ電極の保持電位を意味している。縦軸は出力と入力の比である積算係数を示している。
【００７３】
図７に示す測定結果から、本実施形態の積算器においては、ＦＧ電圧により積算係数（荷重）の値を０以上１以下の範囲で線形に制御できることが分かる。つまり、この範囲では、Ｋを比例定数とし、δを電圧シフトとするとき、
Ｖｏｕｔ／Ｖｉｎ＝Ｋ（Ｖ_ＦＧ−δ）
すなわち、Ｖｏｕｔ＝Ｋ（Ｖ_ＦＧ−δ）・Ｖｉｎとなる。なお、電圧シフトδは、ソースフォロワ回路を構成するＮＭＩＳやＰＭＩＳの閾値の設定などにより決定される電圧である。図７を用いて説明すると、グラフの横軸と交差する電圧がδに相当し、図７ではおよそ−０．５［Ｖ］である。このように、Ｖｏｕｔ＝Ｋ（Ｖ_ＦＧ−δ）・Ｖｉｎであるため、入力電圧Ｖｉｎに対し、ＦＧ電圧Ｖ_ＦＧに比例する項（ひいてはＶ_Ｗにより背制御可能な項）を積算した出力Ｖｏｕｔを得ることができる。しかも、積算係数Ｖｏｕｔ／ＶｉｎはＦＧ電圧Ｖ_ＦＧにより線形制御できる。よって、荷重電圧Ｖ_Ｗを制御することにより荷重を容易に制御することができる。
本実施形態の例では、ＮＮ演算において荷重を設定する際には、荷重電圧Ｖ_Ｗを印加した後のＦＧ電圧がほぼ−０．５〜１．５Ｖの範囲になるように荷重電圧の範囲を設定すればよい。
【００７４】
また、本発明の積算器は、強誘電体により荷重係数を制御する方式であるため、従来の積算器に比べて著しく高速に荷重の調節を行なうことができる。例えば本実施形態の積算器は、１０ｎｓｅｃのパルス電圧を用いた場合にも荷重値を調整することが可能であった。
【００７５】
これに対し、絶縁薄膜の電荷トンネル現象を用いた従来の積算器では、数ｍｓｅｃ前後の書込時間が必要であったことから、本実施形態の積算器によれば、従来の積算器に比べておよそ５桁以上高速な荷重変調が可能であることが分かった。
【００７６】
このように、本発明の第１の実施形態のニューラルネットワーク装置では、強誘電体キャパシタをソースフォロワ回路のゲート電極に接続することで、高速に荷重変調が可能な積算器が用いられていることにより、演算時間及び学習時間が大幅に短縮されている。
【００７７】
なお、本実施形態のニューラルネットワーク装置では、基板としてＳＯＩ基板を用いる例について説明したが、ウェル分離を施した半導体基板を用いても同様の積算器が実現できる。
【００７８】
また、本実施形態で説明した積算器では、強誘電体キャパシタを構成する強誘電体材料としてＰＬＴを用いたが、チタン酸ビスマス（ＢＩＴ）やタンタル酸ストロンチウム−ビスマス（ＳＢＴ）などのペロブスカイト構造を有する強誘電体を用いても同様の積算器を作製できる。
【００７９】
また、本実施形態の積算器においては、荷重を制御するために加える電圧範囲は図７から、ほぼ−０．５Ｖ以上１．５Ｖ以下であったが、この範囲はソースフォロワ回路を構成するＭＩＳトランジスタのゲート電極の面積やゲート絶縁膜の厚み又はソース及びドレイン領域中の不純物濃度を変更するなど、部材の設計を変更することにより調節することが可能である。
【００８０】
また、本実施形態の積算器に含まれるソースフォロワ回路において、ＮＭＩＳ４９のドレインとＰＭＩＳ４７の基板領域、ＰＭＩＳ４７のドレインとＮＭＩＳ４９の基板領域とはそれぞれ互いに接続されているが、これは、動作の安定性を向上させるためである。しかし、本実施形態のように基板上の素子分離が図られている場合には、必ずしもこの構造をとらなくてもよい。
【００８１】
また、本実施形態のソースフォロワ回路において、ＦＧ電圧に対して積算係数が直線的に増加する領域が存在したが、逆に直線的に減少する領域を有する回路であっても本実施形態の積算器に好ましく使用することができる。また、このような回路を有する積算器を本実施形態のソースフォロワ回路を有する積算器と混合して用いてもＢＰ法に基づく学習は実行できる。また、制御はやや複雑になるが、ＦＧ電圧に対して積算係数が単調増加あるいは単調減少する回路であれば、積算器に用いることができる。なお、ＰＭＩＳ４７を抵抗体に置き換えることもできるが、この場合の学習時間は長くなる。
【００８２】
なお、本実施形態の積算器は、強誘電体膜を有していたが、これに代えて、後に説明する抵抗変化材料を用いてもよい。抵抗変化材料はその状態によって抵抗値が変化するので、荷重電圧Ｖ_Ｗにより抵抗値を変化させ、荷重電圧Ｖ_Ｗに対する出力電圧Ｖｏｕｔの値を変化させることができる。
【００８３】
なお、本実施形態の積算器において、ＰＭＩＳ４７とＮＭＩＳ４９はそれぞれＰＭＯＳとＮＭＯＳであってもよい。また、ＰＭＩＳ４７とＮＭＩＳ４９とを入れ替えたインバータであっても、デジタル的に出力を反転する積算器として機能する。
［第１の実施形態の変形例］
本発明の第１の実施形態に係るニューラルネットワーク装置に用いられる積算器の変形例について以下に説明する。
【００８４】
図８は、本実施形態のニューラルネットワーク装置に用いられる積算器の変形例を示す回路図である。
【００８５】
同図に示すように、本変形例に係る積算器は、第１の実施形態で説明した積算器において、強誘電体キャパシタ４４の下部電極と接地線との間に分圧調節用キャパシタ４８をさらに設けたものである。
【００８６】
本変形例の積算器では、強誘電体キャパシタ４４に対して分圧調節用キャパシタ４８がＰＭＩＳ４７、ＮＭＩＳ４９と並列に接続されているので、分圧調節用キャパシタ４８の容量を調節することで、強誘電体キャパシタ４４とＰＭＩＳ４７及びＮＭＩＳ４９に存在するＭＩＳキャパシタとに分配される電圧が最適になるように調節することが可能になっている。
【００８７】
この分配電圧調整が必要な理由を説明する。ある状態の強誘電体キャパシタの容量をＣ１　、ＰＭＩＳ４７，ＮＭＩＳ４９及び分圧調整用キャパシタ４８の容量をそれぞれＣ２，Ｃ３，Ｃ４　とし、強誘電体キャパシタ４４に分配される電圧をＶ１　、ＰＭＩＳ４７、ＮＭＩＳ４９及び分圧調節用キャパシタ４８に分配される電圧をＶ２とすると、Ｖ１／Ｖ２＝（Ｃ２＋Ｃ３＋Ｃ４）／Ｃ１となる。この式から、分圧調節用キャパシタ４８の面積を増やして容量Ｃ４　を大きくすることにより、強誘電体キャパシタ４４に分配される電圧を増加させることができることが分かる。
一方、第１の実施形態で示した積算器において、現在の製造技術では、強誘電体キャパシタはＭＩＳトランジスタと同程度までには微細化されていない。そのため、積算器の面積を極力小さくする場合には、強誘電体キャパシタ４４に分配される電圧が小さくなりすぎることがあり、荷重を設定通りに変化させにくいことがあった。これに対し、本変形例の積算器によれば、強誘電体キャパシタ４４に分配される電圧を増加させて、各キャパシタに分配される電圧を最適化することができるので、荷重を設定通りに変化させることができる。
【００８８】
（第２の実施形態）
本発明の第２の実施形態に係るニューラルネットワーク装置は、第１の実施形態に係るニューラルネットワーク装置と積算器の構造のみが異なるため、以下、積算器についてのみ説明する。
【００８９】
図９は、本実施形態のニューラルネットワーク装置に用いられる積算器の構成を示す回路図である。同図から分かるように、本実施形態の積算器は、第１の実施形態に係る積算器と比べて、ＮＭＩＳ及びＰＭＩＳの接続方法が異なっている。
すなわち、図９に示すように、本実施形態の積算器では、ＮＭＩＳ８４とＰＭＩＳ８３とから構成されたソースフォロワ回路の共通ゲート電極に強誘電体キャパシタ８１が接続されている。また、ＰＭＩＳ８３とＮＭＩＳ８４とのソース同士は互いに接続され、ＰＭＩＳ８３とＮＭＩＳ８４との基板領域同士も互いに接続されている。さらに、ＰＭＩＳ８３及びＮＭＩＳ８４のソースと基板領域とは互いに接続されている。そして、ＰＭＩＳ８３のドレインは接地線に接続される。
【００９０】
図１０は、本実施形態の積算器を上から見たときの平面図である。なお、図１０においては、図面を見やすくするため、一部の隠れ線を省略して示し、第１の実施形態の積算器と同じ部材の詳しい説明は省略する。
【００９１】
図１０に示すように、本実施形態の積算器は、ＳＯＩ基板（図示せず）と、ＳＯＩ基板上に設けられたＰＭＩＳ８３、ＮＭＩＳ８４、強誘電体キャパシタ８１とを有している。ＰＭＩＳ８３は基板領域と、Ｐ型ソース及びドレイン領域８２ａと、ゲート絶縁膜と、ゲート電極９１とを有しており、ＮＭＩＳ８４は、基板領域と、Ｎ型ソース及びドレイン領域８２ｂと、ゲート絶縁膜と、ＰＭＩＳ８３と共通のゲート電極９１とを有している。
【００９２】
また、Ｐ型ソース及びドレイン領域８２ａのソース領域とＮ型ソース及びドレイン領域８２ｂのソース領域とは配線１１１及びプラグ１１３ａ、１１３ｂにより接続される。そして、Ｐ型ソース及びドレイン領域８２ａのソース側は、プラグ１１３ａ、配線１１１、プラグ１１５ａ及びＮ型半導体領域８５ａによりＰＭＩＳ８３の基板領域に接続され、Ｎ型ソース及びドレイン領域８２ｂのソース側は、プラグ１１３ｂ、配線１１１、プラグ１１５ｂ及びＰ型半導体領域８５ｂによりＮＭＩＳ８４の基板領域に接続されている。
【００９３】
また、強誘電体キャパシタ８１は、ゲート電極９１に接続された下部電極９７と、強誘電体膜（図１０には示さず）と、上部電極９９とから構成されている。
【００９４】
図１０と図５との比較から、本実施形態の積算器は、第１の実施形態の積算器に比べてセルの専有面積を小さくできることが理解される。これは、本実施形態の積算器において、ＭＩＳトランジスタの基板電位を安定化させるための配線の長さが第１の実施形態の積算器に比べて短縮されているためである。
【００９５】
このように、本実施形態の積算器では、複雑な配線の引き回しや多層配線を用いることなく第１の実施形態の積算器と同様の優れた性能を発揮することができる。すなわち、本実施形態の積算器は、第１の実施形態の積算器と同様の優れた性能を有し、且つセル面積をより縮小された積算器である。
【００９６】
本件発明者が試作した積算器の面積を比較した結果、最小加工寸法をＦとするとき、第１の実施形態に係る積算器のセル面積は２８９Ｆ^２であるのに対し、本実施形態に係る積算器のセル面積は１８９Ｆ^２であった。この結果から、本実施形態に係る積算器によれば、第１の実施形態に係る積算器に比べ、およそ３５％のセル面積低減が可能であることが分かった。
【００９７】
ニューラルネットワーク装置においては、積算器の占有面積が極めて大きいので、本実施形態２の積算器を用いることで、ニューラルネットワーク装置のチップ面積もおよそ２０％削減でき、チップのさらなる低コスト化が実現できる。
【００９８】
ただし、本実施形態の積算器では、電圧が変化する出力の配線が半導体領域と接続されているため、ＳＯＩ基板を用いて、周辺の積算器の電位の影響を極力排除することが特に望ましい。
【００９９】
なお、本実施形態の積算器の動作原理は、第１の実施形態の積算器と基本的に同様であり、強誘電体の分極に伴う電荷によりＦＧ電極の電圧を変化させるものである。
【０１００】
図１１は、本実施形態の積算器に用いられるソースフォロワ回路におけるＦＧ電圧と積算係数との関係を示す図である。
【０１０１】
同図に示すように、本実施形態のようなソースフォロワ回路の構成でも、第１の実施形態の積算器に用いられるソースフォロワ回路と同様に、ＦＧ電極の電位により積算係数が０以上１以下の範囲で線形に制御できることがわかる。
【０１０２】
さらに、図１１と図７との比較により特筆すべき点として、積算係数が１付近での線形性が向上している点が挙げられる。これは第１の実施形態の積算器では、特にＰＭＩＳの基板電位が入力電圧まで引き上げられるため、閾値電圧が実効的に上昇し、ＰＭＩＳ、ＮＭＩＳのいずれもが高抵抗になりやすい場合があるのに対し、本実施形態の積算器では、基板電極（基板領域）が出力と接続されていることで、ＰＭＩＳかＮＭＩＳのいずれかが低抵抗になりやすく、結果として０〜１の積算係数の範囲でＦＧ電圧に対して非常に良好な線形性が得られるだけでなく、高速動作も実現できる。
【０１０３】
以上のように、本実施形態のニューラルネットワーク装置は、第１の実施形態に係る積算器よりセル面積が小さく、且つ非常に良好な線形性の積算機能を有する積算器を有している。そのため、ニューラルネットワーク装置を載せた半導体チップの製造コストを下げることや、装置の集積度を上げてより高性能のニューロンコンピュータの実現を図ることができる。
【０１０４】
なお、本実施形態の積算器においても、ＰＭＩＳ８３及びＮＭＩＳ８４と並列に接続された分圧調節用キャパシタをさらに設けることにより、強誘電体キャパシタ８１とＰＭＩＳ８３及びＮＭＩＳ８４に存在するＭＩＳキャパシタに分配される電圧を最適化することができる。
【０１０５】
（第３の実施形態）
本発明の第３の実施形態に係るニューラルネットワーク装置は、相変化メモリの技術を利用した積算器を備えたものである。
【０１０６】
図１２は、本実施形態のニューラルネットワーク装置が備える積算器の構成を示す図である。
【０１０７】
同図に示すように、本実施形態の積算器１２１は、第１の電極１２７ａと、第２の電極１２７ｂと、第１の電極１２７ａと第２の電極１２７ｂとの間に挟まれた抵抗変化材料１２３と、抵抗変化材料１２３に接続された抵抗体１２９とを備えている。また、第１の電極１２７ａには荷重電圧Ｖ_Ｗ　の印加をオン／オフ制御するためのスイッチ１２５ｄが接続され、抵抗変化材料１２３の一端には入力電圧Ｖｉｎの印加をオン／オフ制御するためのスイッチ１２５ａが接続され、抵抗体１２９と抵抗変化材料１２３とを接続する配線には、出力電圧Ｖｏｕｔの出力を制御するためのスイッチ１２５ｃが接続されている。さらに、抵抗体１２９には接地線への接続をオン／オフ制御するためのスイッチ１２５ｃが接続され、第２の電極１２７ｂには接地線への接続をオン／オフ制御するためのスイッチ１２５ｅが接続されている。ここでのスイッチは、論理回路を組み合わせてなるスイッチでもよいし、機構スイッチでもよい。
【０１０８】
本実施形態においては、抵抗変化材料は、例えばゲルマニウム（Ｇｅ）、テルル（Ｔｅ）、アンチモン（Ｓｂ）の３元素を主成分とする合金である。
【０１０９】
本実施形態の積算器は、抵抗変化材料１２３の電気抵抗を変化させることで、抵抗変化材料１２３と抵抗体１２９とに分配される電圧を変化させ、これにより入力電圧Ｖｉｎに対する出力電圧Ｖｏｕｔを変化させることにより積算を行なうものである。以下、本実施形態の積算器の動作について説明する。
【０１１０】
まず、本実施形態の積算器において、抵抗変化材料１２３の抵抗値を変化させるには、スイッチ１２５ａ，１２５ｂ及び１２５ｃをオフの状態にし、スイッチ１２５ｄ，１２５ｅをオンの状態にして荷重電圧Ｖ_Ｗ　を印加する。こうすることで、第１の電極２２７ａと第２の電極２２７ｂとの間に電流が流れ、抵抗変化材料１２３はこの電流により発熱する。このときの抵抗変化材料１２３の温度を例えばＶ_Ｗ　の大きさで制御することで、抵抗変化材料１２３の状態を多結晶状態あるいは非晶質状態に制御することができる。本実施形態の積算器に用いられる抵抗変化材料１２３は、非晶質の状態の抵抗値を、多結晶状態の場合の抵抗値よりも最大で１００倍まで大きくすることができる。抵抗変化材料の結晶性の制御は、例えば以下のようにして行なわれる。
【０１１１】
まず、抵抗変化材料１２３を非晶質にするためには、十分な荷重電圧Ｖ_Ｗ　を印加し、抵抗変化材料１２３の融点以上に温度を上げて抵抗変化材料１２３を溶融状態とする。次に、荷重電圧Ｖ_Ｗ　をオフにして、抵抗変化材料１２３の温度を急速に低下させることにより、非晶質状態にする。
【０１１２】
これに対し、抵抗変化材料１２３の結晶化を行うためには、抵抗変化材料１２３の温度がその融点以下となるように荷重電圧Ｖ_Ｗ　を印加する。この操作により、抵抗変化材料１２３の結晶化は徐々に進行し、抵抗値が徐々に低下する。このときのＶ_Ｗ　は一定幅のパルス状に印加する。
【０１１３】
このように、本実施形態の積算器においては、荷重電圧Ｖ_Ｗ　の値や波形の形状を制御することにより、抵抗変化材料１２３の結晶性を制御することができる。
【０１１４】
なお、抵抗変化材料１２３の抵抗値を徐々に大きくするのは困難であるため、抵抗変化材料１２３の抵抗値を下げる必要がある場合には、一度抵抗変化材料１２３を加熱して非晶質化した後に荷重電圧Ｖ_Ｗ　を印加する時間を調節することによって所望の抵抗値を得る。
【０１１５】
一方、本実施形態の積算器が演算を行なう際には、スイッチ１２５ａ，１２５ｂ及び１２５ｃをオン状態にするとともにスイッチ１２５ｄ，１２５ｅをオフ状態にする。これにより、抵抗変化材料１２３と抵抗体１２９とに分配される電圧に応じた出力電圧Ｖｏｕｔが出力される。このとき、抵抗変化材料１２３の抵抗値は複数の値（およそ１００階調）を取りうるので、所望の荷重を設定できる。
【０１１６】
以上のように、本実施形態の積算器によれば、第１及び第２の積算器と同様に、所望の荷重を設定することが可能である。加えて、抵抗変化材料１２３の書き込み時間は１００ｎｓｅｃ以下の短時間で済むため、本実施形態のニューラルネットワーク装置の学習動作は従来のニューラルネットワーク装置に比べて高速になっている。
【０１１７】
また、本実施形態の積算器は素子構造が比較的単純であるので、小型化しやすく、ニューラルネットワーク装置の集積化にも有利である。
【０１１８】
本実施形態の積算器は、第１及び第２の実施形態の積算器と同様に、アナログ信号に応じた複数の荷重を実現できるので、第１及び第２の実施形態の積算器と同様にＢＰ法により学習させることが可能である。
【０１１９】
なお、本実施形態の積算器では、抵抗体１２９が抵抗変化材料１２３とスイッチ１２５ｃの間に設けられていたが、抵抗体１２９が抵抗変化材料１２３とスイッチ１２５ａとの間に設けられていてもよい。この場合も、抵抗体１２９と抵抗変化材料１２３の間の中間点の電位は抵抗変化材料の結晶性により変わるので、該中間点から出力電圧を出力することができる。
【０１２０】
なお、図１２に示す本実施形態の積算器に、第１又は第２の実施形態で説明した構造を用いることもできる。この際には、本実施形態の積算器の出力部（スイッチ１２５ｂの部分）を図４に示すＰＭＩＳ４７及びＮＭＩＳ４９のゲート電極に接続すればよい。これにより、出力部に接続される素子の抵抗が変動し、出力部の電位が変動した場合にも、抵抗変化材料に係る電圧が変動しにくくなるので、荷重値を変動しにくくすることができる。抵抗変化材料を用いた積算器は、強誘電体を用いた積算器に比べて出力部の電圧変動の影響を受けにくいが、ニューラルネットワーク装置においては積算器の出力部に接続される抵抗が大きく変わる可能性があるので、この構造によってより安定な動作が実現できる。また、これと同様にして、本実施形態の積算器に図９に示す第２の実施形態の構成を接続してもよい。
【０１２１】
なお、本実施形態において、抵抗変化材料１２３としては、Ｇｅ、Ｔｅ、Ｓｂを含む合金が用いられたが、この他のカルコゲナイド材料も好ましく用いられるほか、異なる抵抗値を保持できる材料であれば用いられる。
【０１２２】
（第４の実施形態）
本発明の第４の実施形態として、ニューラルネットワーク装置の学習方法について図面を参照しながら説明する。本実施形態の学習方法は、第１〜第３の実施形態で説明した積算器（シナプス）を有するニューラルネットワーク装置に共通に利用できる方法である。以下、本実施形態のニューラルネットワーク装置の学習方法の手順についてのみ説明する。
【０１２３】
本実施形態のニューラルネットワーク装置の学習方法は、ＢＰ法により実行され、出力と荷重を微小変更したときの出力変化のみから荷重値を変更するものである。さらに、強誘電体の分極情報を荷重とする場合など、ニューロ素子が非線形性やヒステリシス特性を示す場合にも有効な荷重設定手順を提供する方法である。
【０１２４】
最初に、ＢＰ法に用いるパラメーターについて説明する。
【０１２５】
図２を参照して、ある入力値がニューロ素子３に与えられたときの出力値をＯｋ、目的値をＴｋ（教師値）とする。ここでｋは出力ベクトルの番号を示し、出力端子数がｎの時、ｋは１以上ｎ以下の自然数である。
【０１２６】
このとき、誤差Ｅｐを以下の式で定義する。
【０１２７】
Ｅｐ＝Σ（ｋ＝１〜ｎ）（Ｔｋ−Ｏｋ）^２　　　　　　　　　（３）
なお、添え字のｐは入出力パターン番号を表す。
【０１２８】
中間層の荷重の変更量をΔＶｋｊ、出力層の荷重変更量をΔＷｊｉとするとＢＰ法では、ΔＶｋｊ及びΔＷｊｉは次の式で計算される。
【０１２９】
ΔＶｋｊ＝−α・δＥｐ／δＶｋｊ　　　　　　　　　　　（４）
ΔＷｊｉ＝−α・δＥｐ／δＷｊｉ　　　　　　　　　　　（５）
なお、ｊは中間層のニューロユニット３３の番号であり、ｉは入力の番号である。
【０１３０】
ここで、αは学習係数であり、荷重の変更量を決める係数である。これが大きすぎると、誤差が極小になる点を飛び越えてしまい、小さすぎると学習に時間がかかるので、演算ごとに学習を効率的に実行できる数値に設定する。本実施形態では例えばα＝０．８としている。
【０１３１】
式（４）及び式（５）を用いて、新しい荷重Ｖｋｊ（ｎｅｗ）、Ｗｊｉ（ｎｅｗ）は次式で与えられる。
【０１３２】
Ｖｋｊ（ｎｅｗ）＝Ｗｊｉ（ｏｌｄ）＋ΔＶｋｊ　　　　　　　　　　（６）
Ｗｊｉ（ｎｅｗ）＝Ｗｊｉ（ｏｌｄ）＋ΔＷｊｉ　　　　　　　　　　（７）
式（３）〜（７）から、荷重を微小変更したときの誤差の変化を取得及び算出することでＢＰ法による学習動作を実行することができる。
【０１３３】
次に、本実施形態に係るニューラルネットワーク装置の学習動作について説明する。ここでは、ニューラルネットワーク装置が強誘電体キャパシタを有する積算器を備えた実施の形態１及び２のニューラルネットワーク装置１である場合の手順について説明する。
図１乃至図４を参照して、学習動作は、以下の（ａ）〜（ｓ）の手順で行なう。（ａ）全ての荷重を初期化する。初期化は乱数などを用いることが望ましい。
（ｂ）制御部１５がメモリ５中の入出力パターンのいずれかを選択する。
（ｃ）入力データ保持部７が選択された入出力パターンの入力データをメモリ５から読み出してニューロ素子３へ入力する。
（ｄ）過渡応答時間が経過し出力が安定した時点で、制御部１５が出力値のベクトルＯｏｋをメモリ１９へ格納する。
（ｅ）制御部１５がメモリ５から読み出した選択パターンの教師値Ｔｋと出力値Ｏｏｋから誤差Ｅｐｏを算出し、その算出値をメモリ１９へ格納する。
（ｆ）荷重変更するシナプス４１を、制御部１５からの信号を受けたセル選択部１７が選択する。この選択対象となるのは、中間層及び出力層の全てのシナプス４１である。
（ｇ）選択されたシナプス４１の現在の荷重値ＷｎｏｗをΔＷだけ微小変化させた微小変更荷重Ｗｔｍｐを制御部１５が算出する。変化量は荷重の分解能によるが、極力小さい値とするのが望ましい。本実施形態では、ΔＷ＝５０［ｍＶ］としている。
（ｈ）制御部１５が、強誘電体が十分飽和する正又は負の電圧をシナプスの荷重電極（強誘電体キャパシタ４４の上部電極６９）に印加し分極状態をリセットする。本実施形態では、リセットは負電圧で実行しており、例えば−１５［Ｖ］を印加することで、分極方向を一方向にそろえている。
（ｉ）制御部１５が微小変更荷重Ｗｔｍｐに対応する荷重電圧Ｖ_Ｗをシナプス４１に印加する。これにより、そのシナプス４１の荷重が微小変更荷重Ｗｔｍｐに書き換えられる（設定される）。
（ｊ）過渡応答時間が経過し出力が安定した時点で、制御部１５が出力値のベクトルＯ１ｋを取得する。
（ｋ）教師値Ｔｋと出力値Ｏ１ｋから制御部１５が誤差Ｅｐ１を算出する。
（ｌ）制御部１５が誤差Ｅｐ１と先にメモリ１９に格納した誤差Ｅｐ０の差ΔＥｐを算出する。
（ｍ）制御部１５が式（４）又は式（５）に従い、次式で誤差変更量を算出する。
【０１３４】
ΔＶｋｊ＝−α・ΔＥｐ／ΔＷ　　　　　　　　　　　　（８）
ΔＷｊｉ＝−α・ΔＥｐ／ΔＷ　　　　　　　　　　　　（９）
（ｎ）制御部１５が式（８）又は（９）の算出結果を式（６）又は式（７）へ代入することにより新しい荷重を算出する。
（ｏ）制御部１５がシナプス４１の荷重電極にリセット電圧を印加する。
（ｐ）制御部１５がシナプス４１の荷重電極に新しく算出された荷重に対応する荷重電圧Ｖ_Ｗを印加する。それにより、そのシナプス４１の荷重が新しく算出された荷重に書き換えられる。
（ｑ）制御部１５が、異なるシナプスについて同様に（ｂ）〜（ｐ）の手順を繰り返す。
（ｒ）制御部１５が、異なる入出力パターンについて同様に（ｂ）〜（ｑ）の手順を繰り返す。
（ｓ）全ての入出力パターンに対する誤差Ｅｐのいずれもが所望の値より小さくなれば、学習動作を終了する。
【０１３５】
以上の手順により、本実施の形態５のニューラルネットワーク装置の学習動作が実行される。
【０１３６】
本実施形態の学習動作は、特に手順（ｈ）及び手順（ｏ）に示すリセット電圧を印加した後に荷重変更を行う点に特徴を有する。
【０１３７】
このようなリセット動作が必要となる理由について以下、説明する。
【０１３８】
本実施形態のニューラルネットワーク装置ではシナプスの荷重制御に強誘電体を用いており、強誘電体は電圧の印加履歴によりその分極値がヒステリシスを示す。
【０１３９】
図１３は、強誘電体における印加電圧と分極との関係（Ｐ−Ｖ特性）を示す図である。同図において、横軸は強誘電体キャパシタに分配される電圧を示す。
【０１４０】
本実施形態では、厚さ４００ｎｍのチタン酸鉛−ランタンを強誘電体キャパシタの強誘電体層として用いているため、飽和電圧はおよそ１５［Ｖ］、残留分極値はおよそ１０［μＣ／ｃｍ^２］である。
【０１４１】
強誘電体のＰ−Ｖ特性は、分極が印加電圧に対し半時計回りのヒステリシス特性を示す上、飽和ループＬｓの内部を電圧の印加履歴に従って動く特徴を示す（マイナーループ）。すなわち、図１３にハッチングで示した部分を分極が電圧の印加履歴に従って動くことになる。このため、従来例のように、ＢＰ法に従って単純に数式で算出した荷重に対応する荷重電圧Ｖ_Ｗを印加すると、目的の荷重値とは全く異なる荷重が設定されてしまう。このため、学習が完了した時の荷重ベクトルを、再度、ニューラルネットワーク装置へ入力する際に致命的な誤りを生じてしまう。
【０１４２】
すなわち、分極を、マイナーループ上を動かすようにして収束させたときに、制御部が持っている最終の荷重マトリクスを再入力しても、強誘電体のヒステリシスが前歴に左右されるため、以前と同じ分極値にならなくなってしまい、以前と同じ荷重を入力したつもりでもニューラルネットワーク装置は全く誤った出力結果を出してしまうのである。
【０１４３】
このような課題に対し、本件発明者は、強誘電体を負電圧か正電圧のいずれかの飽和点まで一旦リセットすることにより、出力を安定して再現できることを見出した。
【０１４４】
すなわち、図１３に示すように、強誘電体に印加される電圧を所定の電圧（以下、リセット電圧という）Ｖｒｅｓまで増加（Ｖｒｅｓが正の場合）又は減少（Ｖｒｅｓが負の場合）させ、その後、リセット電圧Ｖｒｅｓを基準にして、積算すべき荷重値を再計算し、その荷重値に対応する荷重電圧を印加する。そして、このリセット電圧を、印加電圧の絶対値の増加に対し強誘電体の分極が飽和する飽和電圧以上の絶対値を有する電圧に設定する。このように設定すると、飽和電圧以上の絶対値を有する電圧に対しては、強誘電体の分極が１対１で対応するのでリセット電圧Ｖｒｅｓの印加により、強誘電体の分極が、一旦、一定値に揃えられる。そして、そのリセット電圧からその極性が反転する方向に印加電圧を変化させると、強誘電体の分極は、前歴に関わらず、常に飽和ループＬｓ上を移動するように変化するので、ニューラルネットワーク装置１における入力に対する出力の再現性を確保することができる。
図１、図４、及び図１３を参照して、具体的には、本実施形態では、リセット電圧Ｖｒｅｓを負の飽和電圧に設定する。つまり、最初の荷重値を、強誘電体キャパシタ４４に分配される電圧が負の飽和電圧になるように設定する。そして、そこから荷重値を上げていく。ここで、強誘電体キャパシタ４４にその分配電圧（荷重電圧Ｖ_Ｗ−ＦＧ電圧Ｖ_ＦＧ）Ｖ_Ｄ１を印加した状態から、微小荷重を変更する場合の強誘電体キャパシタ４４の強誘電体（以下、単に強誘電体という）の印加電圧及び分極の変化を例にとって説明する。制御部１５は、実際には、強誘電体キャパシタ４４の上部電極６９に、強誘電体キャパシタ４４の分配電圧が所要の電圧となるように荷重電圧Ｖ_Ｗを印加するのであるが、ここでは、便宜上、制御部１５が分配電圧Ｖ_Ｄを印加するものとして説明する。この場合、制御部１５は、分配電圧Ｖ_Ｄを所定倍した荷重電圧Ｖ_Ｗを印加し、それにより、荷重電圧Ｖ_Ｗに対応する荷重がシナプス４１に設定されることになる。
まず、制御部１５は、分配電圧Ｖ_Ｄ１を強誘電体に印加した後、その電圧印加を停止する。これにより、強誘電体の残留分極はＰｒ１となり、このＰｒ１に対応する荷重値がシナプス４１に設定される。
【０１４５】
次に、制御部１５は、分配電圧Ｖ_Ｄ１に微小荷重ΔＷに対応する微小分配電圧ΔＶ_Ｄを足した新しい分配電圧Ｖ_Ｄ２を計算し、かつ、一旦、リセット電圧Ｖｒｅｓを強誘電体に印加する。すると、強誘電体の分極は所定の分極Ｐｒｅｓに変化する。その後、制御部１５は、新しい分配電圧Ｖ_Ｄ２を強誘電体に印加した後、その電圧印加を停止する。すると、強誘電体の分極は、Ｐｒｅｓから飽和ループＬｓを辿って分配電圧Ｖ_Ｄ２に対応する分極Ｐｒ２’に到達した後、分配電圧Ｖ_Ｄ２に対応する残留分極Ｐｒ２となる。これにより、新しい荷重値がシナプス４１に設定される。本実施形態の学習方法では、この動作を、誤差が極小になる値に荷重電圧Ｖ_Ｗが到達するまで繰り返す。また、以上の学習をすべてのシナプス４１について行なう。なお、リセット電圧の波形はパルス状及びステップ状のいずれであっても構わない。
【０１４６】
このように、本実施形態の学習方法においては、新しく変更した荷重電圧Ｖ_Ｗを印加する直前にリセット電圧Ｖｒｅｓを印加することにより、強誘電体のようにヒステリシスやマイナーループといった非線形な特性を示す素子を有するシナプス４１を用いても、ＢＰ法により荷重の制御及び収束を良好に実行できる。
【０１４７】
また、本実施形態の学習方法において、荷重値は電圧の印加履歴に左右されないため、学習が収束した時点の荷重ベクトルを別のメモリに格納しておけば、これを再度呼出すことで、ニューラルネットワーク装置１の動作を再現することが可能になる。この方法により、１つのシナプス４１において得られた学習結果を別のシナプスが利用できることになり、ニューラルネットワーク装置全体の学習時間を大幅に短縮することができる。例えば、本発明のニューラルネットワーク装置４１をユーザーに出荷する前にあらかじめ多数の演算に対する学習収束時のデータを記憶させておくことにより、初期状態で出荷する場合よりもユーザーの利便性を高めることができる。
【０１４８】
本実施形態の学習方法により、強誘電体の持つ高速動作性及び荷重情報の保持性能を十分に生かしつつ、安定に学習および学習完了状態の復元を行なうことができるようになる。
【０１４９】
このように、本実施形態の学習方法は、従来にない極めて高機能なニューラルネットワーク装置の実用化に大きく寄与するものである。
【０１５０】
一方、以上では、シナプスである積算器が強誘電体キャパシタを有する場合について説明したが、本実施の形態の変形例として、ニューラルネットワーク装置が抵抗変化材料を有する積算器を備えた第３の実施形態のニューラルネットワーク装置である場合にも、上述の学習方法を適用することができる。
【０１５１】
つまり、学習動作時に十分高い電圧値のリセットパルス（本変形例では電圧波形がパルス状であることが好ましい）をシナプスに印加して抵抗変化材料を溶融、非晶質化し、次いで、結晶化が進行する範囲の荷重電圧をシナプスに印加する。この時のニューロ素子の出力を教師値と比較して誤差を算出する。
【０１５２】
その後、シナプスに対し、リセットパルスを再度印加してから先の荷重電圧を微小量変更した電圧を印加する。
【０１５３】
これにより、最適な出力値となるときの荷重電圧のデータ（荷重ベクトル）が、積算器に強誘電体キャパシタを用いる場合と同様に得られる。なお、抵抗変化材料（相変化材料）では電流による発熱を利用するので、印加する電圧の極性は単極性でよい。
【０１５４】
なお、本変形例では、抵抗変化材料をリセットパルスにより非晶質化し、徐々に結晶化させる制御について説明したが、この逆に、多結晶状態から非常に短い高電圧パルスを入れることで、徐々に非晶質化させてもよい。ただし、この場合には制御が難しくなる。
【０１５５】
なお、本実施形態では強誘電体を用いる場合のリセット電圧が負である場合について説明したが、強誘電体の分極が正電圧側に飽和するようにリセットパルスを印加しても、同様の動作が可能である。その際には、荷重電圧Ｖ_Ｗ　は負電圧とし、そこからより低い電圧の荷重電圧を加えていくようにする。
【０１５６】
なお、本実施形態の学習方法は、第１及び第２の実施形態のニューラルネットワーク装置に限らず、積算係数がＦＧ電圧に対して一意的に決まる単調増加あるいは単調減少などの特性を示すシナプスを備えるニューラルネットワーク装置に対して用いることができる。また、異なる特性を有するシナプスが混在していても、学習はそれぞれのシナプスについて行なうので、問題は生じない。
【０１５７】
なお、ニューラルネットワーク装置の設計によっては、シナプス中の強誘電体の分極が飽和するだけのリセットパルスを加えることができない場合がある。
このような場合には、可能な範囲の低電圧又は高電圧をリセットパルスとして用いることで、可能な限り正確な荷重値ベクトルを取得することができる。このような場合、リセットパルスを複数回印加することでより正確なリセット動作が得られる。
【０１５８】
なお、本実施形態では、上記の学習動作で説明した手順（ｐ）において、誤差変更量を取得、算出するごとに新しく算出された荷重に対応する荷重電圧を印加するとしているが、一通りのシナプスの修正荷重を演算して記憶し、修正は全シナプスに対して一括で行なうこともできる。つまり、新しい荷重として算出された値を記憶素子に格納しておき、素子上では、荷重を元に戻し、１つの入力パターンに対して全てのシナプスの新規荷重を算出した後、一括して荷重を修正してもよい。
【０１５９】
具体的には、手順（ｂ）〜（ｎ）を繰り返して全ての新規重値を算出した後、全てのシナプスの荷重を、順次、手順（ｏ）、（ｐ）に従い変更する。そして、手順（ｒ）に示すように、入出力パターンを変更して以上の動作を繰り返す、という方法によっても学習を収束させることが可能である。
【０１６０】
（第５の実施形態）
第４の実施形態で説明したニューラルネットワーク装置の学習方法は、ニューラルネットワーク装置が非線形性やヒステリシス特性を有する素子を備える場合、非常に有効な方法である。しかし、現在の技術においては、強誘電体の許容される分極反転回数に限界があるため、リセット電圧による分極反転回数を減らすことができれば、強誘電体の寿命を延ばすことができると考えられる。
【０１６１】
そこで、本件発明者は、ニューラルネットワーク装置が長期に亘って使用される可能性も考慮に入れ、リセットパルスの回数を減らすことのできるニューラルネットワーク装置の学習方法を模索した。
【０１６２】
図１４は、本発明のニューラルネットワーク装置において、リセット電圧を印加せずに荷重を変更した場合の、強誘電体キャパシタへの印加電圧及び分極の履歴を示す図である。
【０１６３】
図１４において、まず、初期の残留分極をＰｒ０とすると、微小量荷重を変化する手法で算出した分配電圧Ｖ_Ｄ１を印加することで残留分極はＰｒ１に変化する。次に、同様に算出した分配電圧Ｖ_Ｄ２を印加すると残留分極はＰｒ２に変化する。算出結果が逆極性になった場合の分配電圧Ｖ_Ｄ３を印加すると残留分極は減少しＰｒ３に変化する。リセット電圧を印加しない場合には、強誘電体の分極は以上のように変化する。
【０１６４】
しかしながら、ニューラルネットワーク装置の学習が完了した時点で荷重データとして残っているのは最終の荷重（最終的な残留分極に対応する荷重）であり、これは印加履歴を反映したものであるため、このときの正確な分極値や、その値を復元する方法がない。
【０１６５】
そこで、本件発明者は検討を重ね、リセット電圧を印加せずに連続的に荷重値を印加して一旦学習を収束させた後、個々のシナプス（積算器）の荷重を、リセットパルスを加える方法で変化させることに想到した。また、本件発明者は、リセット電圧を印加することなしに学習を収束させた後で、いずれか１つのシナプスを選択し、その荷重電圧Ｖ_Ｗを変化させると、誤差の総和が最も小さくなる時の荷重電圧Ｖ_Ｗが最適な荷重電圧として一意的に決定できることを見いだした。
【０１６６】
この知見に基づいて、全てのシナプスにリセット電圧を加える回数を減らしながら、学習が最終的に収束するときの荷重電圧を再現することを可能にする以下の学習方法が考案された。
【０１６７】
図１５は、本実施形態のニューラルネットワーク装置の学習方法を説明するための図であり、図１６は、図１５に示す学習方法における誤差総和の変化を示す図である。
【０１６８】
図１５は、ニューラルネットワーク装置の学習動作が収束した後に、最適な荷重値を再現するためのデータを取得する際の操作を示している。本実施形態の学習方法においては、まずリセットパルスを印加せずに学習を収束させる。
【０１６９】
すなわち、式（８）、（９）で算出される荷重に対応する荷重電圧Ｖ_Ｗをリセットパルスなしで印加する。強誘電体はヒステリシス特性を有するため、実際には狙ったＶ_ＦＧとは異なる値が保持されることになるが、学習の方向（荷重の増減）は一致しているため、繰り返しによりやがて収束する。これにより、保持されたＶ_ＦＧ群は、学習の完了した電圧値群となっている。しかし、Ｖ_ＦＧの値は外部から検出できない。
【０１７０】
そこで、図１５に示すように、学習が完了して収束した状態で、シナプスを１つのみ選択し、リセットパルス（分配電圧Ｖ_Ｄがリセット電圧Ｖｒｅｓとなるパルス）を加えた後に荷重電圧Ｖ_Ｗ（探索用荷重電圧、ひいては分配電圧Ｖ_Ｄ）を印加する。このとき、リセットパルスが負電圧である場合には、印加する荷重電圧Ｖ_Ｗはリセットパルスの電圧値から徐々に大きくしていく。この微小に変化（ここでは増加）させる電圧は、例えば、第４の実施形態の微小加重ΔＷに対応する荷重電圧とする。なお、選択しないシナプスに印加する電圧は０Ｖであるが、各シナプスのＦＧ電極には、強誘電体の残留分極による電圧が保持されている。
【０１７１】
この手順においては、荷重電圧Ｖ_Ｗを印加するたびに入出力のパターンを全て変更してそれぞれの誤差の総和ΣＥｐを算出する。印加した荷重電圧Ｖ_Ｗと誤差総和の対をメモリに格納しておき、最も誤差総和が小さくなる時の荷重電圧Ｖ_Ｗの値を取得する。この値が、このシナプスに対し、リセット後に印加すべき最適な荷重電圧値となる。その後、このシナプスに対し、リセット後にこの最適な荷重電圧値を印加する。
【０１７２】
次いで、以上に説明した学習終了後の動作をすべてのシナプスに対して実行することで、リセット後に印加すべき最適な荷重電圧値ベクトル（換言すれば、リセット後に書き込むべき最適な荷重値ベクトル）が得られる。
【０１７３】
このようにして得られた荷重電圧値は、シナプスにリセットパルスを印加した後に印加すれば、正確に復元できる荷重電圧値であるため、良好に再現することが可能である。
【０１７４】
以上に示す本実施形態の学習方法は、学習の収束動作時にリセット動作を行わないため、学習時間を短くできるという利点を有する。荷重電圧値を再現可能に変換する動作は学習後であるため、全てのシナプスに対して１度のスキャンで済み、第３の実施形態の学習方法よりもリセット回数をより少なくすることができる。
すなわち、第４の実施形態においては、学習時にリセット動作を行なうため、１つのシナプスにリセットと荷重電圧印加の２回の電圧印加が必要となる。これに対し、本実施形態の学習方法によれば、学習時にはリセットしないため、電圧印加回数を１／２にすることができる。その後、１つのシナプスごとに最適な荷重値の取得動作を行なうが、これは１回のスキャンでよいため、リセット回数をより少なくすることができ、学習動作の高速化を図ることができる。なお、特にニューロユニットが多い場合には、リセット動作を著しく減らすことができる。
【０１７５】
また、強誘電体の許容される分極反転回数が現状では１０^１５回程度と有限であるため、リセット回数を少なくできることにより、装置の寿命をより伸ばすことも可能となる。
【０１７６】
なお、第４の実施形態と同様に、リセットパルスが正電圧である場合には、荷重値の取得の際に加える荷重電圧を正電圧側から徐々に減らしていけばよい。
【０１７７】
（第６の実施形態）
本発明の第６の実施形態に係るニューラルネットワーク装置の学習方法は、第５の実施形態に係る学習方法を改善して、リセット動作の回数をさらに減らすことを可能にしたものである。そのため、以下では、第５の実施形態と異なる点について説明する。
【０１７８】
シナプスに対するリセット動作は、上述のように強誘電体を劣化させる上に時間も要するため、できるだけ回数を少なくすることが好ましい。　そこで、本件発明者は、第５の実施形態の学習方法に基づいて、さらにリセット動作を少なくするための検討を行った。その過程で、本件発明者は、本発明のニューラルネットワーク装置はアナログ回路で構成されているため、荷重をアナログ的に変化させると、出力もアナログ的に変化するという特性に着目した。
【０１７９】
図１７は、本発明のニューラルネットワーク装置において、リセットパルスとして−１５［Ｖ］を印加した後に荷重電圧をスイープさせたときの積算係数の変化を測定した結果を示す図である。
【０１８０】
同図に示すように、本発明のニューラルネットワーク装置において、荷重電圧を徐々に上昇させて行くと、積算係数は０から１へと上昇していく。しかし、その後に荷重電圧を除いていくと、主に強誘電体の常誘電成分の分だけＦＧ電極に誘起された電荷が減るために、積算係数も減少する。
【０１８１】
このため、荷重電圧をアナログ的（連続的）に上昇させていき、ある点で荷重電圧を除く（荷重電圧の印加を停止する）と、保持される荷重（及び積算係数）は、最大荷重電圧を印加している時の荷重より必ず小さくなることを本件発明者は発見した。実際にはＭＩＳトランジスタにおける空乏層の厚さの変化に伴うキャパシタンスの変化などにより、複雑な挙動を示す場合もあるが、その場合でも荷重電圧を除いた後には積算係数が小さくなる。
【０１８２】
さらに、本件発明者は、このような強誘電体の特性を応用することで、大幅に荷重復元手順を削減する手法を考案した。
【０１８３】
本実施形態の荷重復元動作の手順は以下のようにして実行される。なお、以下に示す手順（ｔ）〜（ｘ）は、第５の実施形態で説明した学習動作を収束させた後に行なう。
（ｔ）荷重値のデータを取得するシナプスを１つ選択し、そのシナプスにリセットパルスを加える。
（ｕ）荷重電圧をリセットパルスの電圧から連続的に上昇させていくと同時に誤差総和の値を連続的に測定及び算出する。実際には入出力パターンも切替えて誤差の総和を計算するため、荷重電圧を印加してからある程度の過渡応答時間、例えば１００ｎｓｅｃの待ち時間の後、出力を取得することが望ましい。
（ｖ）手順（ｕ）の荷重電圧を印加した状態で誤差が最小となるときの荷重電圧Ｖ_Ｗ０の値を取得する。
（ｗ）荷重電圧Ｖ_Ｗ０を始点として第５の実施形態と同様に、リセット動作を挟んでステップ状に荷重電圧Ｖ_Ｗを印加し、保持点（荷重電圧Ｖ_Ｗを印加しない状態）で誤差総和が最小となる荷重電圧Ｖ_Ｗの値を取得する。この誤差総和が最小となる荷重電圧値を取得した時点で荷重電圧Ｖ_Ｗの印加を終了し、別のシナプスについての荷重データの取得動作に移ることで、演算時間の短縮を図ることができる。
（ｘ）上述の（ｔ）〜（ｗ）の手順を全てのシナプスに対して実行する。
【０１８４】
第５の実施形態の学習方法では、荷重として設定しうる最小値から最大値までを段階的に変化させていた。これに対し、以上に示す本実施形態の学習方法によれば、誤差が最小となる付近で、しかも必ず最小の誤差が得られる荷重より小さい荷重値からステップ的に最適値を追いこむことができるため、リセット動作を行なう回数を大幅に減らすことができる。
【０１８５】
このため、本実施形態の学習方法によれば、強誘電体の寿命を大幅に延長することができると共に、ニューラルネットワーク装置の学習時間を大きく短縮することができる。
【０１８６】
なお、本実施形態の学習方法において、リセットパルスが負電圧の場合を説明したが、リセットパルスが正電圧である場合には、そこから低電圧側に荷重値を変更していくことで、同様の効果が得られる。
【０１８７】
【発明の効果】
本発明は、以上に説明したような形態で実施され、学習の信頼性が高く、且つ実用に耐えうる演算速度を有するニューラルネットワーク装置として機能する半導体装置及びその学習方法を提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るニューラルネットワーク装置の構成を示すブロック図である。
【図２】本発明のニューラルネットワーク装置におけるニューロ素子の構成を示す模式図である。
【図３】本発明の第１の実施形態に係るニューラルネットワーク装置におけるニューロユニットの構成を示す図である。
【図４】第１の実施形態に係るニューラルネットワーク装置に用いられる積算器の構成を示す回路図である。
【図５】第１の実施形態に係る積算器を上から見たときの平面図である。
【図６】図５におけるＶＩ−ＶＩ線断面を示す断面図である。
【図７】第１の実施形態に係る積算器に用いられるソースフォロワ回路におけるＦＧ電圧と積算係数との関係を示す図である。
【図８】本発明の第１の実施形態に係る積算器の変形例を示す回路図である。
【図９】本発明の第２の実施形態に係るニューラルネットワーク装置に用いられる積算器の構成を示す回路図である。
【図１０】図９の積算器を上から見たときの平面図である。
【図１１】図９の積算器に用いられるソースフォロワ回路におけるＦＧ電圧と積算係数との関係を示す図である。
【図１２】本発明の第３の実施形態に係るニューラルネットワーク装置に用いられる積算器の構成を示す図である。
【図１３】強誘電体における印加電圧と分極との関係（Ｐ−Ｖ特性）を示す図である。
【図１４】本発明のニューラルネットワーク装置において、リセット電圧を印加せずに荷重を変更した場合の、強誘電体キャパシタへの印加電圧及び分極の履歴を示す図である。
【図１５】本発明の第５の実施形態に係るニューラルネットワーク装置の学習方法を説明するための図である。
【図１６】図１５に示す学習方法における誤差総和の変化を示す図である。
【図１７】本発明のニューラルネットワーク装置において、リセットパルスを印加した後に荷重電圧をスイープさせたときの積算係数の変化を示す図である。
【図１８】ニューラルネットワーク情報処理における最小単位の素子を示す図である。
【図１９】ニューラルネットワーク情報処理を説明するための図である。
【図２０】従来のニューラルネットワーク装置を示す回路図である。
【図２１】従来のニューロン回路中のニューロンＭＩＳＦＥＴを示す図である。
【図２２】従来の積算器のフローティングゲートにおける印加電圧とトンネル電流との関係を示す図である。
【符号の説明】
１　　　　　　　　　ニューラルネットワーク装置
３　　　　　　　　　ニューロ素子
５　　　　　　　　　メモリ
７　　　　　　　　　入力データ保持部
９，１１　　　　　　Ｄ／Ａコンバータ
１３　　　　　　　　Ａ／Ｄコンバータ
１５　　　　　　　　制御部
１７　　　　　　　　セル選択部
１９　　　　　　　　メモリ
２１　　　　　　　　出力部
３１　　　　　　　　入力端子
３３　　　　　　　　ニューロユニット
３５　　　　　　　　出力端子
４１　　　　　　　　積算器
４３　　　　　　　　和算器
４４，８１　　　　　強誘電体キャパシタ
４５　　　　　　　　閾値処理器
４７，８３　　　　　ＰＭＩＳ
４８　　　　　　　　分圧調節用キャパシタ
４９，８４　　　　　ＮＭＩＳ
５１　　　　　　　　半導体基板
５２ａ，５２ｂ　　　ソース及びドレイン領域
５３　　　　　　　　埋め込み絶縁膜
５４，１１３ａ，１１３ｂ，１１５ａ，１１５ｂ　プラグ
５５ａ　　　　　　　Ｎ型半導体領域
５５ｂ　　　　　　　Ｐ型半導体領域
５７　　　　　　　　素子分離用絶縁膜
５９　　　　　　　　ゲート絶縁膜
６１　　　　　　　　ゲート電極
６３　　　　　　　　層間絶縁膜
６５　　　　　　　　強誘電体膜
６６　　　　　　　　プラグ配線
６７　　　　　　　　下部電極
６９　　　　　　　　上部電極
７１ａ，７１ｂ，７３　配線
８２ａ　　　　　　　　Ｐ型ソース及びドレイン領域
８２ｂ　　　　　　　　Ｎ型ソース及びドレイン領域
８５ａ　　　　　　　　Ｎ型半導体領域
８５ｂ　　　　　　　　Ｐ型半導体領域
９１　　　　　　　　　ゲート電極
９７　　　　　　　　　下部電極
９９　　　　　　　　　上部電極
１２１　　　　　　　　積算器
１２３　　　　　　　　抵抗変化材料
１２５ａ，１２５ｂ，１２６ｃ，１２６ｄ　スイッチ
１２７ａ　　　　　　　第１の電極
１２７ｂ　　　　　　　第２の電極
１２９　　　　　　　　抵抗体
Ｐ_ｒ０〜Ｐ_ｒ３　　　　　残留分極
Ｖ_Ｄ１〜Ｖ_Ｄ３　　　　　分配電圧
Ｖ_ＦＧ　　　　　　　　ＦＧ電圧
Ｖｉｎ　　　　　　　　入力電圧
Ｖｏｕｔ　　　　　　　出力電圧
Ｖｒｅｓ　　　　　　　リセット電圧
Ｖ_Ｗ　　　　　　　　　荷重電圧

Claims

入力される荷重電圧に応じて荷重が変化するシナプスとしての積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置の学習方法であって、
前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を算出するステップＡと、
その後、前記積算器の荷重を変化させて前記誤差の変化量を算出するステップＢと、
前記誤差の変化量に基づいて前記積算器の荷重を変化させるステップＣとを有し、
前記ステップＢ及びＣにおいて、前記積算器に対し、前記荷重を略一定値に揃えるためのリセット電圧を前記荷重電圧として入力した後、変化させようとする荷重に対応する荷重電圧を入力することにより、前記荷重を変化させる、半導体装置の学習方法。
前記変化させようとする荷重に対応する荷重電圧の絶対値が前記リセット電圧の絶対値より小さい、請求項１記載の半導体装置の学習方法。
前記リセット電圧の波形がパルス状である、請求項１記載の半導体装置の学習方法。
前記積算器と異なる積算器について、前記ステップＡ乃至Ｃを遂行する、請求項１記載の半導体装置の学習方法。
前記誤差が所定値を下回るまで、各積算器について、順に繰り返すようにして、前記ステップＡ乃至Ｃを遂行する、請求項４記載の半導体装置の学習方法。
前記荷重電圧に対する前記積算器の荷重の変化がヒステリシス特性を有する、請求項１記載の半導体装置の学習方法。
前記リセット電圧の絶対値が前記ヒステリシス特性における飽和電圧の絶対値より大きい、請求項６記載の半導体装置の学習方法。
前記積算器は前記荷重電圧が一方の電極に印加される強誘電体キャパシタを有し、該強誘電体キャパシタの他方の電極の電位に応じて前記荷重が定まる、請求項６記載の半導体装置の学習方法。
前記積算器は、前記荷重電圧の印加により結晶状態が変化する抵抗変化材料を有し、該結晶状態の変化に応じて前記荷重が定まる、請求項１記載の半導体装置の学習方法。
前記リセット電圧の印加により前記抵抗変化材料が略非晶質状態になる、請求項９記載の半導体装置の学習方法。
入力される荷重電圧に対しヒステリシス特性を有して荷重が変化するシナプスとしての複数の積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置の学習方法であって、
前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を、前記積算器に前記荷重電圧として前記荷重を略一定値に揃えるためのリセット電圧を入力しないで、所定値以下にして学習を収束させるステップＡと、
前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記リセット電圧を所定電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＢとを有する、半導体装置の学習方法。
前記リセット電圧の絶対値が前記ヒステリシス特性における飽和電圧の絶対値より大きい、請求項１１記載の半導体装置の学習方法。
前記積算器は前記荷重電圧が一方の電極に印加される強誘電体キャパシタを有し、該強誘電体キャパシタの他方の電極の電位に応じて前記荷重が定まる、請求項１２記載の半導体装置の学習方法。
前記ステップＢにおける前記リセット電圧及び前記探索用荷重電圧がパルス状であり、
前記ステップＢで得られた前記誤差が前記ステップＡで得られた最終的な誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＣとを有する、請求項１２記載の半導体装置の学習方法。
前記探索用荷重電圧をステップ毎に所定のルールに従って変化させながら、そのステップで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＣを繰り返す、請求項１４記載の半導体装置の学習方法。
前記探索用荷重電圧が、前記ステップＢ以降のステップの進行に連れてステップ状に変化する、請求項１５記載の半導体装置の学習方法。
前記リセット電圧が負であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ大きくなる、請求項１６記載の半導体装置の学習方法。
前記リセット電圧が正であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ小さくなる、請求項１６記載の半導体装置の学習方法。
前記ステップＢは、前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、該荷重電圧を該リセット電圧からその極性が反転する方向に連続的に変化させて該荷重電圧が印加された状態で前記誤差が最小となる荷重電圧を取得するステップＤと、次いで、前記選択された積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記誤差が最小となる荷重電圧からなるパルス状の探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＥとを有し、
さらに、前記ステップＥで得られた前記誤差が前記ステップＤで得られた最小の誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＦとを有する、請求項１２記載の半導体装置の学習方法。
前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前のステップにおける前記探索用荷重電圧を前記所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＧをさらに有し、該ステップＧで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＧを繰り返す、請求項１９記載の半導体装置の学習方法。
前記探索用荷重電圧が、前記ステップＥ以降のステップの進行に連れて、前記ステップＤにおける荷重電圧の連続的な変化方向にステップ状に変化する、請求項２０記載の半導体装置の学習方法。
入力される荷重電圧に応じて荷重が変化するシナプスとしての積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置であって、
前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を算出するステップＡと、
その後、前記積算器の荷重を変化させて前記誤差の変化量を算出するステップＢと、
前記誤差の変化量に基づいて前記積算器の荷重を変化させるステップＣとを有し、
前記ステップＢ及びＣにおいて、前記積算器に対し、前記荷重を略一定値に揃えるためのリセット電圧を前記荷重電圧として入力した後、変化させようとする荷重に対応する荷重電圧を入力することにより、前記荷重を変化させるよう学習動作する、半導体装置。
前記変化させようとする荷重に対応する荷重電圧の絶対値が前記リセット電圧の絶対値より小さい、請求項２２記載の半導体装置。
前記リセット電圧の波形がパルス状である、請求項２２記載の半導体装置。
前記積算器と異なる積算器について、前記ステップＡ乃至Ｃを遂行する、請求項２２記載の半導体装置。
前記誤差が所定値を下回るまで、各積算器について、順に繰り返すようにして、前記ステップＡ乃至Ｃを遂行する、請求項２５記載の半導体装置。
前記荷重電圧に対する前記積算器の荷重の変化がヒステリシス特性を有する、請求項２２記載の半導体装置。
前記リセット電圧の絶対値が前記ヒステリシス特性における飽和電圧の絶対値より大きい、請求項２７記載の半導体装置。
前記積算器は前記荷重電圧が一方の電極に印加される強誘電体キャパシタを有し、該強誘電体キャパシタの他方の電極の電位に応じて前記荷重が定まる、請求項２７記載の半導体装置。
前記積算器は、前記荷重電圧の印加により結晶状態が変化する抵抗変化材料を有し、該結晶状態の変化に応じて前記荷重が定まる、請求項２２記載の半導体装置。
前記リセット電圧の印加により前記抵抗変化材料が略非晶質状態になる、請求項３０記載の半導体装置。
入力される荷重電圧に対しヒステリシス特性を有して荷重が変化するシナプスとしての複数の積算器を有するニューロ素子を備え、アナログデータを処理するニューラルネットワーク装置として機能する半導体装置であって、
前記ニューロ素子に所定の入力データを入力し、該入力データに対する該ニューロ素子の出力の目標値と実際の出力との誤差を、前記積算器に前記荷重電圧として前記荷重を略一定値に揃えるためのリセット電圧を入力しないで、所定値以下にして学習を収束させるステップＡと、
前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記リセット電圧を所定電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＢとを有するように学習動作する、半導体装置。
前記リセット電圧の絶対値が前記ヒステリシス特性における飽和電圧の絶対値より大きい、請求項３２記載の半導体装置。
前記積算器は前記荷重電圧が一方の電極に印加される強誘電体キャパシタを有し、該強誘電体キャパシタの他方の電極の電位に応じて前記荷重が定まる、請求項３３記載の半導体装置。
前記ステップＢにおける前記リセット電圧及び前記探索用荷重電圧がパルス状であり、
前記ステップＢで得られた前記誤差が前記ステップＡで得られた最終的な誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＣとを有する、請求項３３記載の半導体装置。
前記探索用荷重電圧をステップ毎に所定のルールに従って変化させながら、そのステップで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＣを繰り返す、請求項３５記載の半導体装置。
前記探索用荷重電圧が、前記ステップＢ以降のステップの進行に連れてステップ状に変化する、請求項３６記載の半導体装置。
前記リセット電圧が負であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ大きくなる、請求項３７記載の半導体装置。
前記リセット電圧が正であり、前記探索用荷重電圧がステップ毎に前記所定範囲内の電圧だけ小さくなる、請求項３７記載の半導体装置。
前記ステップＢは、前記ステップＡの後に、前記複数の積算器のうちから１つのみを選択し、選択されない前記積算器の荷重を維持したまま、該選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、該荷重電圧を該リセット電圧からその極性が反転する方向に連続的に変化させて該荷重電圧が印加された状態で前記誤差が最小となる荷重電圧を取得するステップＤと、次いで、前記選択された積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記誤差が最小となる荷重電圧からなるパルス状の探索用荷重電圧を入力し、そのときの前記誤差と前記探索用荷重電圧との対を取得するステップＥとを有し、
さらに、前記ステップＥで得られた前記誤差が前記ステップＤで得られた最小の誤差を超える場合に、前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前記探索用荷重電圧を所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＦとを有する、請求項３３記載の半導体装置。
前記選択された前記積算器に対し、前記リセット電圧を前記荷重電圧として入力した後、前のステップにおける前記探索用荷重電圧を前記所定範囲内の電圧だけ変化させた探索用荷重電圧を入力し、そのときの前記誤差と前記変化させた探索用荷重電圧との対を取得するステップＧをさらに有し、該ステップＧで得られた前記誤差が前記ステップＡで得られた最終的な誤差を下回るまで前記ステップＧを繰り返す、請求項３０記載の半導体装置。
前記探索用荷重電圧が、前記ステップＥ以降のステップの進行に連れて、前記ステップＤにおける荷重電圧の連続的な変化方向にステップ状に変化する、請求項４１記載の半導体装置。