JP2004157757A

JP2004157757A - アナログ演算回路

Info

Publication number: JP2004157757A
Application number: JP2002322719A
Authority: JP
Inventors: Katsuhiko Mori; 克彦森; Masakazu Matsugi; 優和真継; Hirosuke Mitarai; 裕輔御手洗
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-11-06
Filing date: 2002-11-06
Publication date: 2004-06-03

Abstract

【課題】アナログ演算回路の性能を向上させ、かつ回路の面積を削減する。
【解決手段】前段ニューロンの各出力値と、それぞれのシナプス荷重保持手段５ａ〜５ｃに保持されたシナプス荷重値との積を乗算回路１ａ〜１ｃで乗算し、それらの和を積和演算結果保持手段２に保持し、非線形演算保持手段４は、その非線形演算保持手段４の非線形な物理的特性に基づいて、その積和演算結果に対する非線形変換演算を行って、その結果を保持する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、積和演算と非線形変換演算とを行うアナログ演算回路に関するものである。
【０００２】
【従来の技術】
現在、コンピュータは大きな進展を見せ、世の中の様々な場面で使用されている。しかしながら、これらノイマン型と呼ばれるコンピュータは、その処理方式自体の特性により、ヒトが容易に行うことができる処理（リアルタイムでのヒトの顔の認識等）を非常に不得意としている。
【０００３】
これに対して、脳の情報処理様式を真似た演算処理モデルである、ニューラルネットワークの研究が行われている。
【０００４】
ニューラルネットワークを構成するニューロンのモデルとしては、ニューロンに相当するユニットに対して、他の複数のユニット（ニューロン）の出力値をシナプス荷重値で重み付けした乗算値が入力され、その入力値の総和値をさらに非線形変換した値を出力値とするものが一般的である。
【０００５】
すなわち、一般的なニューラルネットワークにおいては、各ユニット、及びユニット間における積和演算と非線形変換により、所望の処理が実現される。
このニューロンモデルを用いたニューラルネットワークアーキテクチャとしては、これまでに、非線形な入出力特性を有するユニットを相互に結合した連想メモリや、同じく非線型な入出力特性を有するユニットを階層的に結合したパターン認識モデル等が提案されている。
【０００６】
ここでニューラルネットワークは、超並列・分散型の情報処理モデルであるため、逐次処理方式であるノイマン型コンピュータでの実行は極めて効率が悪い。従って、ニューラルネットワークの実用化に際しては、専用のハードウェアとしての集積回路化が必須である。
【０００７】
また集積回路化に際しては、前記の積和演算や非線形変換を実現する演算回路としてアナログ演算回路を使用することで、デジタル演算回路に比較して、素子数の大幅な削減が可能である。
【０００８】
すなわちアナログ演算回路で前記の積和演算や非線形変換を実現する場合は、デバイスや材料の物理的性質を機能的に利用することにより、デジタル演算回路よりも桁違いに少ない素子で所望の機能を実現することが可能となる。
【０００９】
そこで、上記のようなニューロンモデル、及びニューラルネットワークアーキテクチャに適する回路が、各種提案されている。
【００１０】
例えば、Ｔ．Ｍｏｒｉｅ，Ｊ．Ｆｕｎａｋｏｓｈｉ，Ｍ．ＮａｇａｔａａｎｄＡ．Ｉｗａｔａ，「ＡｎＡｎａｌｏｇ−ＤｉｇｉｔａｌＭｅｒｇｅｄＮｅｕｒａｌＣｉｒｃｕｉｔＵｓｉｎｇＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎＴｅｃｈｎｉｑｕｅ」，ＩＥＩＣＥＴｒａｎｓ．Ｆｕｎｄａｍｅｎｔａｌｓ，Ｖｏｌ．Ｅ８２−Ａ，Ｎｏ．２，ｐｐ．３５６−３６３，１９９９，ｈｔｔｐ／／ｓｅａｒｃｈ．ｉｅｉｃｅ．ｏｒｇ／１９９９／ｆｉｌｅｓ／ｅ０００ａ０２．ｈｔｍ／ｅ８２−ａ，２，３５６では、正負のシナプス荷重に対して、それぞれ符号に対応するキャパシタを用意し、各符号毎に積和演算結果を電荷として蓄え、その後キャパシタの結合で正負の加算結果を求め、外部から入力した非線形関数を示す信号に基づいて非線形変換を行ったＰＷＭ信号を得る方式を提案している。
【００１１】
【発明が解決しようとしている課題】
前記背景技術においては、多数のアナログ演算回路の演算結果を電荷としてキャパシタに保持する際に、キャパシタに蓄積した電荷は、ｐｎ接合部分の漏れのために短時間で消失することから、演算結果を精度良く、長時間保持したい場合のためにも、さらなる性能向上が望まれていた。
【００１２】
また、チップの実装密度向上のため、ニューロンモデル回路の面積の削減が望まれていた。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本願発明のアナログ回路は、第１の演算を行う第１の演算回路と、第２の演算と第２の演算結果保持を行う演算保持手段とを備え、前記第１の演算回路で演算された演算結果に対する第２の演算を前記演算保持手段の物理的特性に基づいて行い、その結果を前記演算保持手段に保持することを特徴とする。
【００１４】
【発明の実施の形態】
〔第１の実施形態〕
以下、図面を参照して本発明の第１の実施形態を説明する。
【００１５】
図１は、本実施形態での演算回路１００の全体構成を示す図である。
【００１６】
図１に示すように、演算回路１００は、乗算回路１ａ〜１ｃ、前記複数の乗算回路１ａ〜１ｃに接続する積和演算結果保持手段２、前記積和演算結果保持手段２に接続するスイッチ３、前記スイッチ３に接続する非線形演算保持手段４、さらにシナプス荷重保持手段５ａ〜５ｃで構成される。
【００１７】
図１に示した演算回路１００は、複数の乗算結果の総和値を算出し、その総和値に対して非線形演算を行い、その非線形演算結果を保持する機能を実現するものである。
【００１８】
この演算回路１００の動作について説明する前に、ニューロンにおける演算処理を図２を用いて説明する。
【００１９】
図２において、ニューロン２０１は、前段に接続する複数のニューロンの出力値Ｘｉ（ｉ＝１，２，…）をシナプス荷重Ｗｉ（ｉ＝１，２，…）で重み付けした後、入力として受け取る。ニューロン内部では、入力された値の総和値を内部状態値として算出し、これに所定の変換ｆを施して出力値とする。
【００２０】
各ニューロンにおける演算処理は、次式（１）で表される。
【００２１】
【外１】

ｙ：出力値、ｕ：内部状態値、ｆ：変換関数、ω：シナプス荷重、ｘ：前段ニューロンの出力値
なお変換関数としては、様々なモデルが提案されているが、本実施形態では、次式（２）で表される一般的なシグモイド関数、またはシグモイド関数を近似する非線形関数を適用している。
【００２２】
【外２】

（ａは、シグモイド関数の傾きを決定するパラメータ）
シグモイド関数の特性を図３に示す。
【００２３】
続いて、図１の演算回路１００の動作について説明する。
【００２４】
各乗算回路１ａ〜１ｃには、前段に接続する各ニューロンの出力値とシナプス荷重値とが入力され、それらの積が演算される。なお、前段に接続する各ニューロンの出力値は前段の各ニューロンより、シナプス荷重値はシナプス荷重保持手段５ａ〜５ｃより入力される。このように乗算回路１ａ〜１ｃを複数用いることで、前段に接続する複数のニューロンの出力値と各ニューロンの出力値に対応するシナプス荷重との積を並列に演算することが出来る。
【００２５】
そして、複数の乗算回路１ａ〜１ｃで演算された積和演算結果を積和演算結果保持手段２に保持する。つまり、この積和演算結果保持手段２に保持される結果は、式（１）の内部状態値ｕに対応する。続いて、スイッチ３がＯＮになると、積和演算結果保持手段２に保持された値に対応した値が、非線形演算保持手段４に入力される。そして、スイッチ３をＯＦＦにすることで、非線形演算保持手段４の物理的特性により、非線形変換が行われ、その結果、つまり式（１）の出力値ｙに対応する値を、非線形演算保持手段４が保持するように動作する。
【００２６】
図４は、図１に示された演算回路１００の構成を詳細に説明したものである。
【００２７】
図４に示す乗算回路４１ａ〜４１ｃは、定電流源として機能するＰＭＯＳトランジスタＭ１、およびスイッチとして機能するＰＭＯＳトランジスタＭ２を有する。また、同様に乗算回路４６ａ〜４６ｃは定電流源として機能するＮＭＯＳトランジスタＭ３、およびスイッチとして機能するＮＭＯＳトランジスタＭ４を有する。
【００２８】
なお、乗算回路４１ａ〜４１ｃは後述するようにシナプス荷重値が正の時に前段のニューロンの出力値との乗算を行い、また乗算回路４６ａ〜４６ｃはシナプス荷重値が負時に前段のニューロンの出力値との乗算を行う。この時、乗算回路４６ａ〜４６ｃに入力されるシナプス荷重値は絶対値で入力される。また、積和演算結果保持手段２はキャパシタ４２で構成される。
【００２９】
乗算回路４１ａ〜４１ｃ、４６ａ〜４６ｃは、本実施形態においては被乗算値Ａと乗算値Ｂの乗算：（Ａ×Ｂ）を実現する。なおＡ、Ｂは、以下の条件式を満たすものとする。
【００３０】
Ａ≧０、Ｂ≧０
ここで、被乗算値Ａと乗算値Ｂは、前記乗算を前記乗算回路４１ａ〜４１ｃ、４６ａ〜４６ｃで実現するために、後述するように所定の換算を施したＰＷＭ信号Ｖｉｎと、アナログ電圧Ｖｗとしてそれぞれ入力される。
【００３１】
なお乗算回路４１ａ〜４１ｃ、４６ａ〜４６ｃは、前記乗算を実現するもの以外に、何らかの演算を行うものであれば、別の回路でも構わない。
【００３２】
被乗算値を換算したＰＷＭ信号Ｖｉｎが入力端子Ａに入力され、また乗算値を換算したアナログ電圧Ｖｗが入力端子Ｂに入力される。
【００３３】
ここで、ＰＷＭ信号の特性について簡単に説明しておく。ＰＷＭ（ＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎ）は、情報をパルス波形の幅に持たせた変調方式であり、ノイズに強いデジタル的な特性（電圧方向にＨｉｇｈレベルとＬｏｗレベルの２値の情報）と、連続情報を１パルスで表現することができるアナログ的な特性（時間方向に連続情報）の両者を併せ持つものである。
【００３４】
トランジスタＭ１のゲート端子には、入力端子Ｂに入力された乗算値Ｖｗの電圧がかかる。また、トランジスタＭ２のゲート端子には、入力端子ＡよりＰＷＭ信号Ｖｉｎが反転入力される。
【００３５】
なおＰＷＭ信号は、Ｌｏｗレベルを０Ｖ、Ｈｉｇｈレベルを電源電圧Ｖｄｄ（本実施形態では３．３Ｖ）と設定している。
【００３６】
ここで、ＰＷＭ信号がＨｉｇｈレベルの時、すなわちトランジスタＭ１のソース端子に電源電圧Ｖｄｄが加えられた時に、トランジスタＭ１が飽和領域で動作するようにアナログ電圧Ｖｗを適切な電圧範囲に設定することにより、ＰＷＭ信号がＨｉｇｈレベルの間、トランジスタＭ１を定電流源として動作させることができる。
【００３７】
またこの時、トランジスタＭ１を流れる電流量は、ゲート−ソース間電圧、すなわち（Ｖｄｄ−Ｖｗ）で決定される。この時、ＰＷＭ信号Ｖｉｎのパルス幅は、被乗算値Ａに比例するように換算されている。
【００３８】
またアナログ電圧Ｖｗは、（Ｖｄｄ−Ｖｗ）によって決定される電流量が乗算値Ｂに比例するように換算されている。
【００３９】
従って、トランジスタＭ１は、ＰＷＭ信号がＨｉｇｈレベルの間だけ前記（Ｖｄｄ−Ｖｗ）により決定される電流を流すため、トランジスタＭ１が流す電荷量は、Ａ×Ｂに比例したものとなる。なお、上記説明は、ＰＭＯＳを用いた乗算回路４１ａ〜４１ｃを例に行ったが、乗算回路４６ａ〜４６ｃでもＰＭＯＳがＮＭＯＳになっていることを考慮すれば、動作としては同様に考えることが出来る。
【００４０】
続いて、乗算回路４１ａ〜４１ｃ、４６ａ〜４６ｃによる演算結果が、どのようにキャパシタ４２に保持されるかについて説明する。
【００４１】
まず、乗算回路４１ａ〜４１ｃの演算結果がキャパシタ４２に保持される動作について説明する。バスにはそれぞれ独立に演算を行う複数の乗算回路４１ａ〜４１ｃが接続されているため、それぞれの乗算回路４１ａ〜４１ｃにより並列に実行された演算結果、すなわち上で説明したトランジスタＭ１が流す電荷量は、バスを通してキャパシタ４２に蓄積され、加算される。
【００４２】
また、乗算回路４６ａ〜４６ｃの演算結果がキャパシタ４２に保持される動作は、乗算回路４６ａ〜４６ｃにより並列に実行された演算結果、つまりトランジスタＭ３が流す電荷量が、キャパシタ４２に蓄積されていた電荷から引き抜かれる動作となる。つまり、負の重み係数に対する積和演算結果は負になるため、キャパシタ４２の保持されていた電荷を引き抜くことで、減算を実現している。
【００４３】
なお、キャパシタ４２に電荷が保持されていない状態では減算が正確に行なわれない。そのため、あらかじめキャパシタ４２に、既定量の電荷を保持しておくようにする。その既定量とは、例えば予想される前段のニューロンの出力値とシナプス荷重との積和の最小値の絶対値に相当する量で良い。なおこの場合、キャパシタ４２の最終的な電荷量（電位）が上記既定の電荷量（電位）の時に、積和演算結果が０となる。
【００４４】
上記で示したように、キャパシタ４２に蓄積される総電荷量は、共通のバスでキャパシタに接続された複数の乗算回路４１ａ〜４１ｃ，４６ａ〜４６ｃの演算結果の総和値を示している。
【００４５】
図４において、ＭＯＳトランジスタ４３は図１のスイッチ３に、強誘電体キャパシタ４４は図１の非線形演算保持手段４に、それぞれ対応する。強誘電体キャパシタとは、強誘電体材料を用いたキャパシタである。また、トランジスタ４３と強誘電体キャパシタ４４の間には、抵抗４５が存在する。つまり、トランジスタ４３のＯＮ／ＯＦＦをスイッチとして使用し、強誘電体キャパシタ４４に非線形演算結果を保持する。
【００４６】
スイッチ３に対応するトランジスタ４３がＯＮになり導通すると、強誘電体キャパシタ４４は、抵抗４５の時定数で充電され、キャパシタ４２と強誘電体キャパシタ４４の容量、及びキャパシタ４２に保持されていた電荷量で決まる電位になる。そして、次にトランジスタ４３をＯＦＦにすると、図３に示した非線形関数（シグモイド関数等）と類似した強誘電体キャパシタ４４の物理特性により非線形演算に相当する動作が行われ、結果としてシグモイド関数等による非線形演算を行った結果の値が保持される。
【００４７】
上記の非線形演算に対応する強誘電体キャパシタの物理特性について説明する。
【００４８】
強誘電体材料は、電界が０でも自発分極を示す材料であり、それを利用した強誘電体キャパシタはアナログメモリとして使用可能である。また、図５に示すように、印加電圧と残留分極量には、非線形の関係がある（日経エレクトロニクス２００２年５月２０日号、Ｐ１４４）。つまり、この非線形性を示す物理特性を利用し、ニューロンにおける、内部状態値を印加電圧とした時、シグモイド関数またはシグモイド関数に近似される非線形な残留分極特性により得られる電位として、非線形演算を行う。
【００４９】
上記で示したように、積和演算結果保持手段２としてのキャパシタ４２が示す電位に比例した電位を、非線形演算保持手段４としての強誘電体キャパシタ４４に印加し、そして強誘電体の残留分極量の特性を用いて非線形演算を行うことが本実施形態の特徴である。この構成により、ニューロンの非線形演算を行う回路を別途構成する必要がなくなり、回路面積の削減が可能となる。また、ニューロンの演算結果を、精度良く長時間保持することも可能となる。
【００５０】
〔第２の実施形態〕
本実施形態におけるニューラルネットワーク回路６００の構成の一部を図６に示す。
【００５１】
図６に示すように、本実施形態におけるニューラルネットワーク回路は、第１の実施形態で説明した演算回路１００ａ，１００ｂ，…と、ＰＷＭ変換回路６１ａ，６１ｂ，…を含むことを特徴としている。ただし、図６の演算回路１００ａ、１００ｂ…ではシナプス荷重保持手段５を省略してある。
【００５２】
本実施形態で実現するニューラルネットワークモデルの構成図７００を図７に示す。
【００５３】
図７に示すように、本実施形態におけるニューラルネットワークは、階層構造を成し、かつ異なる階層間のニューロンが互いにシナプスを介して結合している。
【００５４】
なお、ニューラルネットワークの構成には、本実施形態の他にニューロンがアレイ状に配置されたものなどがあり、またニューロン間の結合にも、２つのニューロン間で相互に結合を有するものなどがある。
【００５５】
本発明におけるニューラルネットワークは、その構成や結合手法によって限定されるものではなく、本実施形態で示す階層構造以外の構造および結合手法を有するものであっても構わない。
【００５６】
続いて、図６を用いて本実施形態におけるニューラルネットワーク回路を説明する。
【００５７】
本実施形態におけるニューラルネットワーク回路は、第１の実施形態で説明した演算回路を階層的に構成したものを含んでいる。
【００５８】
本実施形態で説明する演算回路では、階層的な演算処理を行うために、ある階層の演算回路により算出された演算結果を次の階層の演算回路の入力としている。
【００５９】
この際には、ＰＷＭ変換回路６１により、非線形演算保持手段４に保持された演算結果をＰＷＭ信号として読み出している。
【００６０】
このＰＷＭ変換回路６１の構成の１例を図８に示す。図８は、強誘電体キャパシタ４４とスイッチ８３、コンパレータ８５から構成されている。またコンパレータ８５にはＲＡＭＰ信号も入力されるようになっている。
【００６１】
つまり、スイッチ８３がＯＮになると、このＲＡＭＰ信号と強誘電体キャパシタ４４の電位とを比較して、ＲＡＭＰ信号の電位よりも強誘電体キャパシタ４４の電位の方が高い間は、コンパレータ８５の出力信号の電位はＨｉｇｈになり、逆にＲＡＭＰ信号の電位の方が強誘電体キャパシタ４４の電位よりも高くなるとコンパレータ８５の出力信号の電位がＬｏｗになることで、ＰＷＭ信号が作成される。
【００６２】
以上の様に強誘電体キャパシタに保持された、各ニューロンにおける演算値をＰＷＭ変換回路６１によってＰＷＭ信号として読み出し、次の階層のニューロンに対する入力とすることで、図７に示したニューラルネットワークのモデルを実現することができる。
【００６３】
以下、上記実施形態に係わる本発明の特徴を整理する。
【００６４】
特徴１．
所定の演算を行う演算回路と、演算結果を保持する演算結果保持手段とを備え、
前記演算結果保持手段は、当該演算結果保持手段の物理的特性に基づいて、前記演算回路の演算結果に対して所定のアナログ演算を行い、その結果を保持することを特徴とするアナログ演算回路。
【００６５】
特徴２．
所定の演算を行う演算回路と、前記演算回路の演算結果を保持する第１の演算結果保持手段と、第２の演算結果保持手段とを備え、
前記第２の演算結果保持手段は、当該第２の演算結果保持手段の物理的特性に基づいて、前記第１の演算結果保持手段に保持された演算結果に対して所定のアナログ演算を行い、その結果を保持することを特徴とするアナログ演算回路。
【００６６】
特徴３．
特徴１または特徴２のアナログ演算回路において、前記所定のアナログ演算は、非線形変換演算であることを特徴とするアナログ演算回路。
【００６７】
特徴４．
特徴１のアナログ演算回路において、前記演算結果保持手段は、強誘電体材料を用いたアナログメモリで構成され、前記所定のアナログ演算は非線形変換演算であって、前記強誘電体材料を用いたアナログメモリにおける、印加電圧と残留分極量特性に基づいて演算されることを特徴とするアナログ演算回路。
【００６８】
特徴５．
特徴２のアナログ演算回路において、前記第２の演算結果保持手段は、強誘電体材料を用いたアナログメモリで構成され、前記所定のアナログ演算は非線形変換演算であって、前記強誘電体材料を用いたアナログメモリにおける、印加電圧と残留分極量特性に基づいて演算されることを特徴とするアナログ演算回路。
【００６９】
特徴６．
入力信号と所定の荷重値との積を演算する複数の演算回路と、演算結果を保持する演算結果保持手段とを備え、
前記演算結果保持手段は、当該演算結果保持手段の物理的特性に基づいて、前記複数の演算回路の演算結果値に対する非線形変換演算を行い、その結果を保持することを特徴とするニューロン回路。
【００７０】
特徴７．
前記演算保持手段は、強誘電体材料を用いたアナログメモリで構成され、前記非線形変換演算は、前記強誘電体材料を用いたアナログメモリにおける、印加電圧と残留分極量特性に基づいて演算されることを特徴とする特徴６のニューロン回路。
【００７１】
特徴８．
入力信号と所定の荷重値との積を演算する複数の演算回路と、前記複数の演算回路の演算結果値の和を積和演算結果として保持する第１の演算結果保持手段と、第２の演算結果保持手段とを備え、
前記第２の演算結果保持手段は、当該第２の演算結果保持手段の物理的特性に基づいて、前記第１の演算結果保持手段に保持された積和演算結果に対する非線形変換演算を行い、その結果を保持することを特徴とするニューロン回路。
【００７２】
特徴９．
前記第２の演算保持手段は、強誘電体材料を用いたアナログメモリで構成され、前記非線形変換演算は、前記強誘電体材料を用いたアナログメモリにおける、印加電圧と残留分極量特性に基づいて演算されることを特徴とする特徴８のニューロン回路。
【００７３】
特徴１０．
特徴１から５のアナログ演算回路のいずれかを含むことを特徴とするニューラルネットワーク回路。
【００７４】
特徴１１．
特徴６から９のニューロン回路のいずれかを含むことを特徴とするニューラルネットワーク回路。
【００７５】
【発明の効果】
以上説明したように、本発明によれば、演算結果保持手段が、当該演算結果保持手段の物理的特性に基づいて、演算回路の演算結果に対して所定のアナログ演算を行い、その結果を保持するようにしたので、回路の占有面積の増大を招くことなく、かつ演算結果の保持精度が短時間で低下することの無い演算回路を得ることができるという効果がある。
【図面の簡単な説明】
【図１】第１の実施形態における、演算回路の全体構成を示す図である。
【図２】ニューロンの演算モデルを示す図である。
【図３】シグモイド関数を示す図である。
【図４】第１の実施形態における演算回路の詳細構成を示す図である。
【図５】強誘電体キャパシタの印加電圧と残留分極量の関係を示す図である。
【図６】第２の実施形態における、ニューラルネットワーク回路の構成を示す図である。
【図７】第２の実施形態における、ニューラルネットワークモデルの構成を示す図である。
【図８】ＰＷＭ変換回路の構成を示す図である。
【符号の説明】
１乗算回路
２積和演算保持手段
３スイッチ
４非線形演算保持手段
５シナプス荷重保持手段
４２キャパシタ
４３ＭＯＳトランジスタ
４４強誘電体キャパシタ
４５抵抗
６１ＰＷＭ変換回路
８３スイッチ
８５コンパレータ
１００演算回路
２０１ニューロン
６００ニューラルネットワーク回路
７００ニューラルネットワークモデル
Ｍ１、Ｍ２ＰＭＯＳトランジスタ
Ｍ３、Ｍ４ＮＭＯＳトランジスタ

Claims

第１の演算を行う第１の演算回路と、第２の演算と第２の演算結果保持を行う演算保持手段とを備え、
前記第１の演算回路で演算された演算結果に対する第２の演算を前記演算保持手段の物理的特性に基づいて行い、その結果を前記演算保持手段に保持することを特徴とするアナログ演算回路。