JP2004110421A - 演算回路およびこれを用いたニューラルネットワーク - Google Patents
演算回路およびこれを用いたニューラルネットワーク Download PDFInfo
- Publication number
- JP2004110421A JP2004110421A JP2002272181A JP2002272181A JP2004110421A JP 2004110421 A JP2004110421 A JP 2004110421A JP 2002272181 A JP2002272181 A JP 2002272181A JP 2002272181 A JP2002272181 A JP 2002272181A JP 2004110421 A JP2004110421 A JP 2004110421A
- Authority
- JP
- Japan
- Prior art keywords
- analog
- circuit
- voltage
- arithmetic
- transistor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Complex Calculations (AREA)
- Analogue/Digital Conversion (AREA)
Abstract
【課題】独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路を得ることを目的とする。
【解決手段】複数の入力値に対して、各々に非線形変換処理と重み付け演算処理を施し、処理後の総和値を算出するための演算回路１００であって、並列に接続された複数のアナログ演算回路１と、複数のアナログ演算回路１と直列に接続されたキャパシタ３と、を備え、各々のアナログ演算回路１は、時間的に非線形に変換するアナログ非線形電圧Ｖｆがゲート電極に印加されるトランジスタＭ１と、前記重みに応じたアナログ定常電圧Ｖｗがゲート電極に印加され、トランジスタＭ１に直列に接続されたトランジスタＭ２と、を備え、各々のアナログ演算回路において、トランジスタＭ２に対して、アナログ定常電圧Ｖｗを複数の入力値のそれぞれに比例する時間印加することを特徴とする。
【選択図】 図１
【解決手段】複数の入力値に対して、各々に非線形変換処理と重み付け演算処理を施し、処理後の総和値を算出するための演算回路１００であって、並列に接続された複数のアナログ演算回路１と、複数のアナログ演算回路１と直列に接続されたキャパシタ３と、を備え、各々のアナログ演算回路１は、時間的に非線形に変換するアナログ非線形電圧Ｖｆがゲート電極に印加されるトランジスタＭ１と、前記重みに応じたアナログ定常電圧Ｖｗがゲート電極に印加され、トランジスタＭ１に直列に接続されたトランジスタＭ２と、を備え、各々のアナログ演算回路において、トランジスタＭ２に対して、アナログ定常電圧Ｖｗを複数の入力値のそれぞれに比例する時間印加することを特徴とする。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、アナログ回路により、非線形変換演算と積和演算を行う演算回路に関する。
【０００２】
【従来の技術】
現在、コンピュータは大きな進展を見せ、世の中の様々な場面で使用されている。しかしながら、これらノイマン型と呼ばれるコンピュータは、その処理方式自体の特性により、人が容易に行うことができる処理（リアルタイムでの人の顔の認識等）を非常に不得意としている。
【０００３】
これに対して、脳の情報処理様式を真似た演算処理モデルである、ニューラルネットワークの研究が行われている。
【０００４】
ニューラルネットワークを構成するニューロンのモデルとしては、ニューロンに相当するユニットに対して、他の複数のユニット（ニューロン）の出力値をシナプス荷重値で重み付けした乗算値が入力され、その入力値の総和値をさらに非線形変換した値を出力値とするものが一般的である。
【０００５】
すなわち、一般的なニューラルネットワークにおいては、各ユニット、及びユニット間における積和演算と非線形変換により、所望の処理が実現される。
【０００６】
このニューロンモデルを用いたニューラルネットワークアーキテクチャとしては、これまでに、非線形な入出力特性を有するユニットを相互に結合した連想メモリや、同じく非線型な入出力特性を有するユニットを階層的に結合したパターン認識モデル等が提案されている。
【０００７】
ここでニューラルネットワークは、超並列・分散型の情報処理モデルであるため、逐次処理方式であるノイマン型コンピュータでの実行は極めて効率が悪い。従って、ニューラルネットワークの実用化に際しては、専用のハードウェアとしての集積回路化が必須である。
【０００８】
また集積回路化に際しては、前記の積和演算や非線形変換を実現する演算回路としてアナログ演算回路を使用することで、デジタル演算回路に比較して、素子数の大幅な削減が可能である。
【０００９】
すなわちアナログ演算回路で前記の積和演算や非線形変換を実現する場合は、デバイスや材料の物理的性質を機能的に利用することにより、デジタル演算回路よりも桁違いに少ない素子で所望の機能を実現することが可能となる。
【００１０】
そこで、上記のようなニューロンモデル、及びニューラルネットワークアーキテクチャに適するアナログ演算回路が、各種提案されている。
【００１１】
例えば、特許第３２５６７３８号公報では、任意に非線形変換可能な回路の原理が開示されている。
【００１２】
【特許文献１】
特許第３２５６７３８号公報
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、複数個の非線形変換を同時に行う場合、非線形変換関数に対応する電圧の時間波形を各回路に共通に与えるため、それぞれの回路において、重み付けなどの独立した演算を行うことができないという問題があった。
【００１３】
本発明は、上記課題を鑑みてなされたものであり、各回路で独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路を得ることを目的とするものである。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る演算回路は以下のような構成を備える。即ち、
複数の入力値に対して、各々に非線形変換処理と重み付け演算処理を施し、処理後の総和値を算出するための演算回路であって、
並列に接続された複数のアナログ演算回路と、
前記複数のアナログ演算回路と直列に接続されたキャパシタと、を備え、
前記各々のアナログ演算回路は、
時間的に非線形に変換するアナログ非線形電圧がゲート電極に印加される第１のトランジスタと、
前記重みに応じたアナログ定常電圧がゲート電極に印加され、前記第１のトランジスタに直列に接続された第２のトランジスタと、を備え、
前記各々のアナログ演算回路において、前記第２のトランジスタに対して、前記アナログ定常電圧を前記複数の入力値のそれぞれに比例する時間印加することを特徴とする。
【００１５】
【発明の実施の形態】
【第一の実施形態】
以下、図面を参照して本発明の第一の実施形態を説明する。
【００１６】
図１は、本実施形態での積和演算回路１００の全体構成図を示す。図１に示すように、積和演算回路１００は、複数（本実施形態では４個）のアナログ演算回路１と、複数のアナログ演算回路１に接続する複数のスイッチング回路２と、複数のアナログ演算回路１に接続するキャパシタ３とから構成される。なおスイッチング回路２は、図２に示すように、トランジスタを用いて、スイッチ４とＴＧスイッチ５より構成される。
【００１７】
図２は、本実施形態でのアナログ演算回路１の詳細な回路構成を示す。図２に示すように、本実施形態でのアナログ演算回路１は、２つのＰＭＯＳトランジスタＭ１、Ｍ２が直列に接続され、Ｍ１のソース端子は電源に接続され、Ｍ２のドレイン端子はキャパシタ３に接続されている。
【００１８】
また、Ｍ１のゲート端子には、波形発生回路１５により、時間的に非線形に変化するアナログ非線形電圧（Ｖｆ）を加える。また、Ｍ２のゲート端子には、電圧源１６により、ＴＧスイッチ５を介してアナログ定常電圧（Ｖｗ）を加える。また、ＴＧスイッチ５およびスイッチ４には、制御信号としてパルス変調信号（ＰＷＭ信号Ｖｘ）を加える。
【００１９】
図３は、シグモイド関数の形状を示す。図４は、時間的に非線形に変化するアナログ非線形電圧の特性を示す。図５は、本実施形態における積和演算回路１００のシミュレーションによる演算結果の一例を示す。
【００２０】
以下では、まず図２、図３、図４および図５を用いて、単一のアナログ演算回路１による演算処理過程について説明し、続いて図１を用いて、本実施形態における積和演算回路１００による演算処理過程を説明する。
【００２１】
本実施形態において、図２に示すアナログ演算回路１は、以下の演算式（１）で示される演算を実現する。
【００２２】
【数１】
【００２３】
演算式（１）より、アナログ演算回路１によって実現される演算は、入力値をシグモイド変換した後に重み付け係数を乗算するものとして定義される。
【００２４】
アナログ演算回路１で演算式（１）を演算する際には、ωによる乗算を実現するためにアナログ定常電圧ＶｗをＭ２のゲートにＴＧスイッチ５を介して与え、シグモイド変換関数を実現するために時間的に非線形に変化するアナログ非線形電圧ＶｆをＭ１のゲートに与える。
【００２５】
また、ｘの値を入力するために、ＰＷＭ信号ＶｘによりＴＧスイッチ５およびスイッチ４の開閉を制御する。
【００２６】
ここで、ＰＷＭ信号の特性について簡単に説明しておく。ＰＷＭ（ＰｕｌｓｅＷｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）は、情報をパルス波形の幅に持たせた変調方式であり、ノイズに強いデジタル的な特性（電圧方向にＨｉｇｈレベルとＬｏｗレベルの２値の情報を有するという特性）と、連続情報を１パルスで表現することができるアナログ的な特性（時間方向に連続な情報を有するという特性）の両者を併せ持つものである。
【００２７】
なお本実施形態では、ＰＷＭ信号Ｖｘは、Ｌｏｗレベルを０Ｖ、Ｈｉｇｈレベルを電源電圧を３．３Ｖに設定している。
【００２８】
ここで、ＰＷＭ信号ＶｘがＬｏｗレベルの間は、ＴＧスイッチ５がＯＦＦ、スイッチ４がＯＮとなり、Ｍ２のゲートには、電源電圧３．３Ｖが与えられるため、Ｍ２のゲート−ソース間電位は正または０Ｖとなり、Ｍ２（およびＭ１）のソース−ドレイン間に電流は流れない。すなわちＰＷＭ信号ＶｘがＬｏｗレベルの時、アナログ演算回路は演算動作を停止する。
【００２９】
逆に、ＰＷＭ信号ＶｘがＨｉｇｈレベルに立ち上がると、ＴＧスイッチ５がＯＮ、スイッチ４がＯＦＦとなるため、Ｍ２のゲートには、アナログ定常電圧Ｖｗが与えられる。ここで、ＰＷＭ信号Ｖｘのパルス幅は、演算式（１）中のｘの値に比例するように換算されている。
【００３０】
従ってアナログ演算回路１は、ＰＷＭ信号Ｖｘの入力に伴い、ｘの値に比例した時間中（ＰＷＭ信号の時間幅に相当）、演算動作を行う。なお本実施形態において、ＰＷＭ信号Ｖｘの時間幅は０〜１０００ｎｓｅｃ．の範囲で設定した。
【００３１】
またさらに、アナログ定常電圧はＭ２が飽和領域で動作するように、Ｖｗを適切な電圧範囲に設定している。本実施形態では、１．６Ｖ≦Ｖｗ≦２．７Ｖの範囲に設定した。
【００３２】
この時、Ｍ２を流れる電流量は、Ｍ２のゲート−ソース間電圧で決定される。ここでＶｗは、Ｍ２のゲート−ソース間電圧によって決定される電流量がωに比例するように換算されている。またさらに、図２に示すようにＰＷＭ信号がＨｉｇｈレベルに立ち上がるのと同時に、Ｍ１のゲートに時間的に非線形に変化するアナログ非線形電圧Ｖｆの付与を開始する（ＰＷＭ信号Ｖｘの立ち上がりタイミングと、時間的に非線形に変化するアナログ非線形電圧Ｖｆの開始タイミングを同期させる）。
【００３３】
ここで、時間的に非線形に変化するアナログ非線形電圧Ｖｆは、Ｖｗを一定とした時にＭ２のゲート−ソース間電圧によって決定される電流量の時間に関する関数形状が、図３に特性図を示す以下のシグモイド変換関数式部分（２）の、ｘに関する関数形状と、相似な形状となるように決定する。
【００３４】
【数２】
【００３５】
本実施形態においては、前記時間的に変化するアナログ非線形電圧Ｖｆを以下のよに設定した（図４の特性図参照）。
【００３６】
【数３】
【００３７】
以上のようにアナログ演算回路１を設定することにより、入力されたＰＷＭ信号Ｖｘの時間幅の間、アナログ演算回路１の演算動作が実行され、演算動作中に出力された総電荷量が、演算式（１）の演算結果としてキャパシタ３に蓄積される。この際キャパシタ３においては、演算結果が電圧の増加分として観察される。なお本実施形態では、キャパシタ３の容量値を６ｐＦに設定した。
【００３８】
ここで、本実施形態における積和演算回路１００の演算処理を回路シミュレータによってシミュレーションした結果を、ＰＷＭ信号Ｖｘの時間幅に対して、キャパシタ３が保持する電圧の増加分（すなわち演算結果）のグラフとしてプロットし、さらにアナログ定常電圧Ｖｗ の電圧値を変化させたグラフを重ね書きした形で図５に示す。
【００３９】
以上説明したように、本実施形態におけるアナログ演算回路では、時間に関して非線形な特性を有し、かつ重み付け係数に対応した比例関係を有する電流を、入力されたＰＷＭ信号の時間幅の間キャパシタ３に流し込み、その演算結果をキャパシタ３の総電荷量もしくは電圧値として保持することにより、非線形変換演算と重み付け演算を実行する。
【００４０】
続いて、図１を用いて、本実施形態における積和演算回路１００による演算処理過程を説明する。
【００４１】
図１に示す通り、本実施形態における積和演算回路１００は、４個のアナログ演算回路１が並列に接続され、かつバスを介して直列にキャパシタ３に接続されている。
【００４２】
各アナログ演算回路１では、前述したように非線形変換変算と重み付け演算が行われるのであるが、各アナログ演算回路１による演算結果は、電荷としてバスを経由してキャパシタ３に流れ込むため、４個のアナログ演算回路１による演算動作を並列に実行した場合、キャパシタ３に蓄積される総電荷量は、４個のアナログ演算回路１により算出した演算結果の、総和値に相当する。
【００４３】
従って、本実施形態における積和演算回路１００では、以下の（５）式の演算を実現することができる。
【００４４】
【数４】
【００４５】
ここで、各アナログ演算回路１におけるパラメータωｉおよびａｉの値は、前述したように、アナログ演算回路１におけるＭ２のゲート端子に与えるアナログ定常電圧値Ｖｗ、およびＭ１のゲート端子に与える時間的に非線形に変化するアナログ非線形電圧値Ｖｆとして与えられる。
【００４６】
従って、一部もしくは全てのアナログ演算回路１において、それぞれにおけるＭ１およびＭ２のゲート端子に対して、それぞれ独立な電圧源および独立な波形発生回路１５を用意し、互いに独立な電圧特性を設定することにより、それぞれの回路において独立な非線形変換演算および独立な重み付け演算を行うことができる。
【００４７】
もちろん、一部もしくは全てのアナログ演算回路１において、それぞれにおけるＭ１およびＭ２のゲート端子に対して共通の電圧特性を設定することも可能であり、その際にはそれぞれの回路において共通な非線形変換演算および共通な重み付け演算を行うことができる。
【００４８】
【第二の実施形態】
以下、図面を参照して本発明の第二の実施形態を説明する。図６は、本実施形態での積和演算回路２００の全体構成図を示す。
【００４９】
図６に示すように、積和演算回路２００は、複数（本実施形態では４個）のアナログ演算回路６、前記複数のアナログ演算回路６に接続するスイッチング回路７、前記複数のアナログ演算回路に接続するキャパシタ８から構成される。
【００５０】
なおスイッチング回路７は、図７に示すように２個のインバータＡ（９）、インバータＢ（１０）により構成される。
【００５１】
図７は、本実施形態での前記アナログ演算回路６の詳細な回路構成を示す。図７に示すように、本実施形態でのアナログ演算回路６は、２つのＰＭＯＳトランジスタＭ１、Ｍ２が直列に接続され、Ｍ１のソース端子はインバータＢの出力に接続され、Ｍ２のドレイン端子はキャパシタ８に接続されている。
【００５２】
また、Ｍ１のゲート端子には、波形発生回路１５により、時間的に非線形に変化するアナログ非線形電圧Ｖｆを加える。また、Ｍ２のゲート端子には、電圧源１６により、アナログ定常電圧Ｖｗを加える。また２個のインバータは直列に接続し、入力端子にパルス変調信号であるＰＷＭ信号Ｖｘを加える。
【００５３】
以下では図６、図７を用いて、単一のアナログ演算回路６による演算処理過程における第一の実施形態と異なる箇所について詳しく説明し、それ以外の箇所については、第一の実施形態と同様として、説明を省略する。
【００５４】
本実施形態において、図７に示すアナログ演算回路６は、第一の実施形態と同様に演算式（１）を実現するものである。
【００５５】
また、アナログ演算回路６で演算式（１）を実現するために、時間的に非線形に変化するアナログ非線形電圧ＶｆをＭ１のゲート端子に与え、さらにアナログ定常電圧ＶｗをＭ２のゲート端子に与えることも第一の実施形態と同様である。
【００５６】
ただし本実施形態においては、アナログ定常電圧をＭ２のゲート端子に与える際に、スイッチを介した制御を行わない点が、第一の実施形態と異なっている。
【００５７】
また、直列に接続されたインバータＡ（９）の入力端子にＰＷＭ信号Ｖｘが入力され、アナログ演算回路６の演算動作を制御する点も、第一の実施形態と異なっている。なお、ＰＷＭ信号Ｖｘは第一の実施形態と同様の性質を有するものであり、説明を省略する。
【００５８】
ここで、ＰＷＭ信号ＶｘがＬｏｗレベルの間は、インバータＡ（９）の出力がＨｉｇｈ、インバータＢ（１０）の出力がＬｏｗとなるため、Ｍ１のソース端子電圧はＬｏｗレベル（０Ｖ）となり、Ｍ１のゲート−ソース電位が正であるため、Ｍ１（およびＭ２）のソース−ドレイン間に電流は流れない。すなわちＰＷＭ信号ＶｘがＬｏｗレベルの時、アナログ演算回路６は演算動作を停止する。
【００５９】
逆に、ＰＷＭ信号ＶｘがＨｉｇｈレベルに立ち上がると、インバータＡ（９）の出力がＬｏｗ、インバータＢ（１０）の出力がＨｉｇｈとなるため、Ｍ１のソース端子電圧はＨｉｇｈレベル（３．３Ｖ）となり、Ｍ１のソース端子に電源３．３Ｖが接続されるのと同一となる。
【００６０】
そして、第一の実施形態と同様に、ＰＷＭ信号がＨｉｇｈレベルに立ち上がるのと同時に、Ｍ１のゲート端子に対して、時間的に非線形に変化するアナログ非線形電圧Ｖｆの付与を開始する（ＰＷＭ信号Ｖｘの立ち上がりタイミングと、時間的に非線形に変化するアナログ非線形電圧Ｖｆの開始タイミングを同期させる）ため、ＰＷＭ信号ＶｘがＨｉｇｈレベルの間（演算動作中）は、本実施形態におけるアナログ演算回路６は、第一の実施形態と同様に機能することが分かる。
【００６１】
なお本実施形態のアナログ演算回路６において、Ｍ１のゲート端子に与えられる時間的に非線形に変化するアナログ非線形電圧Ｖｆと、Ｍ２のゲート端子に与えられるアナログ定常電圧Ｖｗの特性は、第一の実施形態と全く同様に与えた。
【００６２】
また図６のように、複数のアナログ演算回路６をキャパシタ８に並列に接続した積和演算回路２００においても、第一の実施形態と同様に、各アナログ演算回路６による演算結果が、電荷としてバスを経由してキャパシタ８に流れ込み、キャパシタ８の総電荷量として、４個のアナログ演算回路６による演算結果の総和値が算出される。
【００６３】
また、一部もしくは全てのアナログ演算回路６において、それぞれにおけるＭ１およびＭ２のゲート端子に対して、それぞれ独立な電圧源１６および独立な波形発生回路１５を用意し、互いに独立な電圧特性を設定することにより、それぞれの回路において独立な非線形変換演算および独立な重み付け演算を行うことができるのも、第一の実施形態と同様である。
【００６４】
また、一部もしくは全てのアナログ演算回路６において、それぞれにおけるＭ１およびＭ２のゲート端子に対して共通の電圧特性を設定することも可能であり、その際にはそれぞれの回路において共通な非線形変換演算および共通な重み付け演算を行うことができるのも、第一の実施形態と同様である。
【００６５】
【第三の実施形態】
本発明の第三の実施形態におけるニューラルネットワークモデルの一部を図８に示す。また、本実施形態におけるニューラルネットワーク回路の一部を図９に示す。
【００６６】
図９に示すように、本実施形態におけるニューロン素子回路は、第一もしくは第二の実施形態で説明した積和演算回路から構成される。
【００６７】
ニューラルネットワークにおけるニューロン素子のモデルとしては、ニューロン素子１１に対して、前段の複数のニューロン素子１３において非線形変換処理が施された出力値をシナプス荷重値１２で重み付けした乗算値が入力され、その入力値の総和値をとることでニューロン素子１１の内部状態値を決定するものが一般的である。
【００６８】
本実施形態におけるニューロン素子回路は、ニューロン素子のモデルとして、第一もしくは第二の実施形態で説明した積和演算回路を用いている。
【００６９】
すなわち第一もしくは第二の実施形態で説明した積和演算回路における重み付け演算が、ニューロン素子モデルにおけるシナプス荷重値による重み付けに相当し、かつ積和演算回路における非線形変換演算が、ニューロン素子モデルにおいて入力値の総和値を非線形変換した値を出力値とすることに相当する。
【００７０】
ただしここで、一般的なニューロン素子モデルにおいては、入力値の総和値を非線形変換した後に出力値とするのに対して、第一もしくは第二の実施形態で説明した積和演算回路においては、入力値に対して非線形変換演算を施した後に重み付け演算を行い、さらにその総和値を算出している点が異なっている。
【００７１】
しかしながら、図９に示すように、積和演算回路Ａにおいてキャパシタに保持された演算結果を例えばコンパレータ１４によってＰＷＭ信号Ｖｉｎとして読み出し、そのＰＷＭ信号Ｖｉｎを別の積和演算回路Ｂに入力する場合、入力されたＰＷＭ信号Ｖｉｎは、積和演算回路Ｂにおいて非線形変換演算を施され、さらに重み付け演算を施された後、演算結果がキャパシタに蓄積される。
【００７２】
なお、キャパシタに保持された電圧値をコンパレータ１４によってＰＷＭ信号として読み出す際には、図９に示すように、コンパレータ１４に入力したランプ電圧波形とキャパシタの電圧値とをコンパレータ１４により比較し、ランプ電圧波形のスタート時にＨｉｇｈレベルに立ち上がった出力が、ランプ電圧値とキャパシタの電圧値が等しくなった時点でＬｏｗレベルに立ち下がることによってＰＷＭ信号Ｖｉｎが生成される。
【００７３】
なお、ＰＷＭ信号Ｖｉｎの生成過程に関しては、本発明の主眼とするところではないため、これ以上の詳しい説明は省略する。
【００７４】
ここで、上述した積和演算回路Ａ、Ｂによる演算をニューロン素子モデルと比較すると、非線形演算処理が、ニューロン素子からの出力の時点で行われるか、もしくはニューロン素子への入力の時点で行われるかの点に関して相違があるものの、本質的な演算手法に関しては全く同一であることが分かる。
【００７５】
すなわち、本実施形態におけるニューロン素子回路で行われる演算は、一般的なニューロン素子モデルにおいて行われる重み付け演算および非線形変換演算と、本質的に同一な演算であるとみなすことができる。
【００７６】
また、第一および第二の実施形態で説明したように、ニューロン素子回路における重み付け演算および非線形変換演算は、それぞれのアナログ演算回路に対して、それぞれ独立な電圧源および独立な波形発生回路を用意することで、それぞれのニューロン素子回路において独立に設定することが可能なため、一般的なニューロン素子モデルにおける、それぞれ異なるシナプス荷重値および非線形変換特性を実現することが可能である。
【００７７】
したがって、本実施形態におけるニューロン素子回路を結合して構成したニューラルネットワーク回路は、一般的なニューラルネットワークと同等の演算を行うことが可能であることが分かる。
【００７８】
【発明の効果】
以上説明したように本発明によれば、各回路で独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態にかかる積和演算回路の全体構成を示す図である。
【図２】本発明の第一の実施形態にかかる積和演算回路を構成するアナログ演算回路とキャパシタとを示す図である。
【図３】本発明の第一の実施形態にかかる積和演算回路を構成するシグモイド関数の特性を示す図である。
【図４】本発明の第一の実施形態にかかる積和演算回路において、時間的に非線形に変化するアナログ電圧の特性を示す図である。
【図５】本発明の第一の実施形態にかかる積和演算回路のシミュレーションによる演算結果例を示す図である。
【図６】本発明の第一の実施形態にかかる積和演算回路の全体構成を示す図である。
【図７】本発明の第二の実施形態にかかる積和演算回路を構成するアナログ演算回路とキャパシタの構成を示す図である。
【図８】ニューラルネットワークモデルの一部を示す図である。
【図９】ニューラルネットワーク回路の一部を示す図である。
【符号の説明】
１ アナログ演算回路
２ スイッチング回路
３ キャパシタ
４ スイッチ
５ ＴＧスイッチ
６ アナログ演算回路
７ スイッチング回路
８ キャパシタ
９ インバータＡ
１０ インバータＢ
１１ ニューロン素子
１２ シナプス荷重値
１３ 前段のニューロン素子
１４ コンパレータ
１５ 波形発生回路
１６ 電圧源
Ｍ１ ＰＭＯＳトランジスタ
Ｍ２ ＰＭＯＳトランジスタ
１００ 積和演算回路
２００ 積和演算回路
【発明の属する技術分野】
本発明は、アナログ回路により、非線形変換演算と積和演算を行う演算回路に関する。
【０００２】
【従来の技術】
現在、コンピュータは大きな進展を見せ、世の中の様々な場面で使用されている。しかしながら、これらノイマン型と呼ばれるコンピュータは、その処理方式自体の特性により、人が容易に行うことができる処理（リアルタイムでの人の顔の認識等）を非常に不得意としている。
【０００３】
これに対して、脳の情報処理様式を真似た演算処理モデルである、ニューラルネットワークの研究が行われている。
【０００４】
ニューラルネットワークを構成するニューロンのモデルとしては、ニューロンに相当するユニットに対して、他の複数のユニット（ニューロン）の出力値をシナプス荷重値で重み付けした乗算値が入力され、その入力値の総和値をさらに非線形変換した値を出力値とするものが一般的である。
【０００５】
すなわち、一般的なニューラルネットワークにおいては、各ユニット、及びユニット間における積和演算と非線形変換により、所望の処理が実現される。
【０００６】
このニューロンモデルを用いたニューラルネットワークアーキテクチャとしては、これまでに、非線形な入出力特性を有するユニットを相互に結合した連想メモリや、同じく非線型な入出力特性を有するユニットを階層的に結合したパターン認識モデル等が提案されている。
【０００７】
ここでニューラルネットワークは、超並列・分散型の情報処理モデルであるため、逐次処理方式であるノイマン型コンピュータでの実行は極めて効率が悪い。従って、ニューラルネットワークの実用化に際しては、専用のハードウェアとしての集積回路化が必須である。
【０００８】
また集積回路化に際しては、前記の積和演算や非線形変換を実現する演算回路としてアナログ演算回路を使用することで、デジタル演算回路に比較して、素子数の大幅な削減が可能である。
【０００９】
すなわちアナログ演算回路で前記の積和演算や非線形変換を実現する場合は、デバイスや材料の物理的性質を機能的に利用することにより、デジタル演算回路よりも桁違いに少ない素子で所望の機能を実現することが可能となる。
【００１０】
そこで、上記のようなニューロンモデル、及びニューラルネットワークアーキテクチャに適するアナログ演算回路が、各種提案されている。
【００１１】
例えば、特許第３２５６７３８号公報では、任意に非線形変換可能な回路の原理が開示されている。
【００１２】
【特許文献１】
特許第３２５６７３８号公報
【発明が解決しようとする課題】
しかしながら、上記従来技術においては、複数個の非線形変換を同時に行う場合、非線形変換関数に対応する電圧の時間波形を各回路に共通に与えるため、それぞれの回路において、重み付けなどの独立した演算を行うことができないという問題があった。
【００１３】
本発明は、上記課題を鑑みてなされたものであり、各回路で独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路を得ることを目的とするものである。
【００１４】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る演算回路は以下のような構成を備える。即ち、
複数の入力値に対して、各々に非線形変換処理と重み付け演算処理を施し、処理後の総和値を算出するための演算回路であって、
並列に接続された複数のアナログ演算回路と、
前記複数のアナログ演算回路と直列に接続されたキャパシタと、を備え、
前記各々のアナログ演算回路は、
時間的に非線形に変換するアナログ非線形電圧がゲート電極に印加される第１のトランジスタと、
前記重みに応じたアナログ定常電圧がゲート電極に印加され、前記第１のトランジスタに直列に接続された第２のトランジスタと、を備え、
前記各々のアナログ演算回路において、前記第２のトランジスタに対して、前記アナログ定常電圧を前記複数の入力値のそれぞれに比例する時間印加することを特徴とする。
【００１５】
【発明の実施の形態】
【第一の実施形態】
以下、図面を参照して本発明の第一の実施形態を説明する。
【００１６】
図１は、本実施形態での積和演算回路１００の全体構成図を示す。図１に示すように、積和演算回路１００は、複数（本実施形態では４個）のアナログ演算回路１と、複数のアナログ演算回路１に接続する複数のスイッチング回路２と、複数のアナログ演算回路１に接続するキャパシタ３とから構成される。なおスイッチング回路２は、図２に示すように、トランジスタを用いて、スイッチ４とＴＧスイッチ５より構成される。
【００１７】
図２は、本実施形態でのアナログ演算回路１の詳細な回路構成を示す。図２に示すように、本実施形態でのアナログ演算回路１は、２つのＰＭＯＳトランジスタＭ１、Ｍ２が直列に接続され、Ｍ１のソース端子は電源に接続され、Ｍ２のドレイン端子はキャパシタ３に接続されている。
【００１８】
また、Ｍ１のゲート端子には、波形発生回路１５により、時間的に非線形に変化するアナログ非線形電圧（Ｖｆ）を加える。また、Ｍ２のゲート端子には、電圧源１６により、ＴＧスイッチ５を介してアナログ定常電圧（Ｖｗ）を加える。また、ＴＧスイッチ５およびスイッチ４には、制御信号としてパルス変調信号（ＰＷＭ信号Ｖｘ）を加える。
【００１９】
図３は、シグモイド関数の形状を示す。図４は、時間的に非線形に変化するアナログ非線形電圧の特性を示す。図５は、本実施形態における積和演算回路１００のシミュレーションによる演算結果の一例を示す。
【００２０】
以下では、まず図２、図３、図４および図５を用いて、単一のアナログ演算回路１による演算処理過程について説明し、続いて図１を用いて、本実施形態における積和演算回路１００による演算処理過程を説明する。
【００２１】
本実施形態において、図２に示すアナログ演算回路１は、以下の演算式（１）で示される演算を実現する。
【００２２】
【数１】
演算式（１）より、アナログ演算回路１によって実現される演算は、入力値をシグモイド変換した後に重み付け係数を乗算するものとして定義される。
【００２４】
アナログ演算回路１で演算式（１）を演算する際には、ωによる乗算を実現するためにアナログ定常電圧ＶｗをＭ２のゲートにＴＧスイッチ５を介して与え、シグモイド変換関数を実現するために時間的に非線形に変化するアナログ非線形電圧ＶｆをＭ１のゲートに与える。
【００２５】
また、ｘの値を入力するために、ＰＷＭ信号ＶｘによりＴＧスイッチ５およびスイッチ４の開閉を制御する。
【００２６】
ここで、ＰＷＭ信号の特性について簡単に説明しておく。ＰＷＭ（ＰｕｌｓｅＷｉｄｔｈ Ｍｏｄｕｌａｔｉｏｎ）は、情報をパルス波形の幅に持たせた変調方式であり、ノイズに強いデジタル的な特性（電圧方向にＨｉｇｈレベルとＬｏｗレベルの２値の情報を有するという特性）と、連続情報を１パルスで表現することができるアナログ的な特性（時間方向に連続な情報を有するという特性）の両者を併せ持つものである。
【００２７】
なお本実施形態では、ＰＷＭ信号Ｖｘは、Ｌｏｗレベルを０Ｖ、Ｈｉｇｈレベルを電源電圧を３．３Ｖに設定している。
【００２８】
ここで、ＰＷＭ信号ＶｘがＬｏｗレベルの間は、ＴＧスイッチ５がＯＦＦ、スイッチ４がＯＮとなり、Ｍ２のゲートには、電源電圧３．３Ｖが与えられるため、Ｍ２のゲート−ソース間電位は正または０Ｖとなり、Ｍ２（およびＭ１）のソース−ドレイン間に電流は流れない。すなわちＰＷＭ信号ＶｘがＬｏｗレベルの時、アナログ演算回路は演算動作を停止する。
【００２９】
逆に、ＰＷＭ信号ＶｘがＨｉｇｈレベルに立ち上がると、ＴＧスイッチ５がＯＮ、スイッチ４がＯＦＦとなるため、Ｍ２のゲートには、アナログ定常電圧Ｖｗが与えられる。ここで、ＰＷＭ信号Ｖｘのパルス幅は、演算式（１）中のｘの値に比例するように換算されている。
【００３０】
従ってアナログ演算回路１は、ＰＷＭ信号Ｖｘの入力に伴い、ｘの値に比例した時間中（ＰＷＭ信号の時間幅に相当）、演算動作を行う。なお本実施形態において、ＰＷＭ信号Ｖｘの時間幅は０〜１０００ｎｓｅｃ．の範囲で設定した。
【００３１】
またさらに、アナログ定常電圧はＭ２が飽和領域で動作するように、Ｖｗを適切な電圧範囲に設定している。本実施形態では、１．６Ｖ≦Ｖｗ≦２．７Ｖの範囲に設定した。
【００３２】
この時、Ｍ２を流れる電流量は、Ｍ２のゲート−ソース間電圧で決定される。ここでＶｗは、Ｍ２のゲート−ソース間電圧によって決定される電流量がωに比例するように換算されている。またさらに、図２に示すようにＰＷＭ信号がＨｉｇｈレベルに立ち上がるのと同時に、Ｍ１のゲートに時間的に非線形に変化するアナログ非線形電圧Ｖｆの付与を開始する（ＰＷＭ信号Ｖｘの立ち上がりタイミングと、時間的に非線形に変化するアナログ非線形電圧Ｖｆの開始タイミングを同期させる）。
【００３３】
ここで、時間的に非線形に変化するアナログ非線形電圧Ｖｆは、Ｖｗを一定とした時にＭ２のゲート−ソース間電圧によって決定される電流量の時間に関する関数形状が、図３に特性図を示す以下のシグモイド変換関数式部分（２）の、ｘに関する関数形状と、相似な形状となるように決定する。
【００３４】
【数２】
本実施形態においては、前記時間的に変化するアナログ非線形電圧Ｖｆを以下のよに設定した（図４の特性図参照）。
【００３６】
【数３】
以上のようにアナログ演算回路１を設定することにより、入力されたＰＷＭ信号Ｖｘの時間幅の間、アナログ演算回路１の演算動作が実行され、演算動作中に出力された総電荷量が、演算式（１）の演算結果としてキャパシタ３に蓄積される。この際キャパシタ３においては、演算結果が電圧の増加分として観察される。なお本実施形態では、キャパシタ３の容量値を６ｐＦに設定した。
【００３８】
ここで、本実施形態における積和演算回路１００の演算処理を回路シミュレータによってシミュレーションした結果を、ＰＷＭ信号Ｖｘの時間幅に対して、キャパシタ３が保持する電圧の増加分（すなわち演算結果）のグラフとしてプロットし、さらにアナログ定常電圧Ｖｗ の電圧値を変化させたグラフを重ね書きした形で図５に示す。
【００３９】
以上説明したように、本実施形態におけるアナログ演算回路では、時間に関して非線形な特性を有し、かつ重み付け係数に対応した比例関係を有する電流を、入力されたＰＷＭ信号の時間幅の間キャパシタ３に流し込み、その演算結果をキャパシタ３の総電荷量もしくは電圧値として保持することにより、非線形変換演算と重み付け演算を実行する。
【００４０】
続いて、図１を用いて、本実施形態における積和演算回路１００による演算処理過程を説明する。
【００４１】
図１に示す通り、本実施形態における積和演算回路１００は、４個のアナログ演算回路１が並列に接続され、かつバスを介して直列にキャパシタ３に接続されている。
【００４２】
各アナログ演算回路１では、前述したように非線形変換変算と重み付け演算が行われるのであるが、各アナログ演算回路１による演算結果は、電荷としてバスを経由してキャパシタ３に流れ込むため、４個のアナログ演算回路１による演算動作を並列に実行した場合、キャパシタ３に蓄積される総電荷量は、４個のアナログ演算回路１により算出した演算結果の、総和値に相当する。
【００４３】
従って、本実施形態における積和演算回路１００では、以下の（５）式の演算を実現することができる。
【００４４】
【数４】
ここで、各アナログ演算回路１におけるパラメータωｉおよびａｉの値は、前述したように、アナログ演算回路１におけるＭ２のゲート端子に与えるアナログ定常電圧値Ｖｗ、およびＭ１のゲート端子に与える時間的に非線形に変化するアナログ非線形電圧値Ｖｆとして与えられる。
【００４６】
従って、一部もしくは全てのアナログ演算回路１において、それぞれにおけるＭ１およびＭ２のゲート端子に対して、それぞれ独立な電圧源および独立な波形発生回路１５を用意し、互いに独立な電圧特性を設定することにより、それぞれの回路において独立な非線形変換演算および独立な重み付け演算を行うことができる。
【００４７】
もちろん、一部もしくは全てのアナログ演算回路１において、それぞれにおけるＭ１およびＭ２のゲート端子に対して共通の電圧特性を設定することも可能であり、その際にはそれぞれの回路において共通な非線形変換演算および共通な重み付け演算を行うことができる。
【００４８】
【第二の実施形態】
以下、図面を参照して本発明の第二の実施形態を説明する。図６は、本実施形態での積和演算回路２００の全体構成図を示す。
【００４９】
図６に示すように、積和演算回路２００は、複数（本実施形態では４個）のアナログ演算回路６、前記複数のアナログ演算回路６に接続するスイッチング回路７、前記複数のアナログ演算回路に接続するキャパシタ８から構成される。
【００５０】
なおスイッチング回路７は、図７に示すように２個のインバータＡ（９）、インバータＢ（１０）により構成される。
【００５１】
図７は、本実施形態での前記アナログ演算回路６の詳細な回路構成を示す。図７に示すように、本実施形態でのアナログ演算回路６は、２つのＰＭＯＳトランジスタＭ１、Ｍ２が直列に接続され、Ｍ１のソース端子はインバータＢの出力に接続され、Ｍ２のドレイン端子はキャパシタ８に接続されている。
【００５２】
また、Ｍ１のゲート端子には、波形発生回路１５により、時間的に非線形に変化するアナログ非線形電圧Ｖｆを加える。また、Ｍ２のゲート端子には、電圧源１６により、アナログ定常電圧Ｖｗを加える。また２個のインバータは直列に接続し、入力端子にパルス変調信号であるＰＷＭ信号Ｖｘを加える。
【００５３】
以下では図６、図７を用いて、単一のアナログ演算回路６による演算処理過程における第一の実施形態と異なる箇所について詳しく説明し、それ以外の箇所については、第一の実施形態と同様として、説明を省略する。
【００５４】
本実施形態において、図７に示すアナログ演算回路６は、第一の実施形態と同様に演算式（１）を実現するものである。
【００５５】
また、アナログ演算回路６で演算式（１）を実現するために、時間的に非線形に変化するアナログ非線形電圧ＶｆをＭ１のゲート端子に与え、さらにアナログ定常電圧ＶｗをＭ２のゲート端子に与えることも第一の実施形態と同様である。
【００５６】
ただし本実施形態においては、アナログ定常電圧をＭ２のゲート端子に与える際に、スイッチを介した制御を行わない点が、第一の実施形態と異なっている。
【００５７】
また、直列に接続されたインバータＡ（９）の入力端子にＰＷＭ信号Ｖｘが入力され、アナログ演算回路６の演算動作を制御する点も、第一の実施形態と異なっている。なお、ＰＷＭ信号Ｖｘは第一の実施形態と同様の性質を有するものであり、説明を省略する。
【００５８】
ここで、ＰＷＭ信号ＶｘがＬｏｗレベルの間は、インバータＡ（９）の出力がＨｉｇｈ、インバータＢ（１０）の出力がＬｏｗとなるため、Ｍ１のソース端子電圧はＬｏｗレベル（０Ｖ）となり、Ｍ１のゲート−ソース電位が正であるため、Ｍ１（およびＭ２）のソース−ドレイン間に電流は流れない。すなわちＰＷＭ信号ＶｘがＬｏｗレベルの時、アナログ演算回路６は演算動作を停止する。
【００５９】
逆に、ＰＷＭ信号ＶｘがＨｉｇｈレベルに立ち上がると、インバータＡ（９）の出力がＬｏｗ、インバータＢ（１０）の出力がＨｉｇｈとなるため、Ｍ１のソース端子電圧はＨｉｇｈレベル（３．３Ｖ）となり、Ｍ１のソース端子に電源３．３Ｖが接続されるのと同一となる。
【００６０】
そして、第一の実施形態と同様に、ＰＷＭ信号がＨｉｇｈレベルに立ち上がるのと同時に、Ｍ１のゲート端子に対して、時間的に非線形に変化するアナログ非線形電圧Ｖｆの付与を開始する（ＰＷＭ信号Ｖｘの立ち上がりタイミングと、時間的に非線形に変化するアナログ非線形電圧Ｖｆの開始タイミングを同期させる）ため、ＰＷＭ信号ＶｘがＨｉｇｈレベルの間（演算動作中）は、本実施形態におけるアナログ演算回路６は、第一の実施形態と同様に機能することが分かる。
【００６１】
なお本実施形態のアナログ演算回路６において、Ｍ１のゲート端子に与えられる時間的に非線形に変化するアナログ非線形電圧Ｖｆと、Ｍ２のゲート端子に与えられるアナログ定常電圧Ｖｗの特性は、第一の実施形態と全く同様に与えた。
【００６２】
また図６のように、複数のアナログ演算回路６をキャパシタ８に並列に接続した積和演算回路２００においても、第一の実施形態と同様に、各アナログ演算回路６による演算結果が、電荷としてバスを経由してキャパシタ８に流れ込み、キャパシタ８の総電荷量として、４個のアナログ演算回路６による演算結果の総和値が算出される。
【００６３】
また、一部もしくは全てのアナログ演算回路６において、それぞれにおけるＭ１およびＭ２のゲート端子に対して、それぞれ独立な電圧源１６および独立な波形発生回路１５を用意し、互いに独立な電圧特性を設定することにより、それぞれの回路において独立な非線形変換演算および独立な重み付け演算を行うことができるのも、第一の実施形態と同様である。
【００６４】
また、一部もしくは全てのアナログ演算回路６において、それぞれにおけるＭ１およびＭ２のゲート端子に対して共通の電圧特性を設定することも可能であり、その際にはそれぞれの回路において共通な非線形変換演算および共通な重み付け演算を行うことができるのも、第一の実施形態と同様である。
【００６５】
【第三の実施形態】
本発明の第三の実施形態におけるニューラルネットワークモデルの一部を図８に示す。また、本実施形態におけるニューラルネットワーク回路の一部を図９に示す。
【００６６】
図９に示すように、本実施形態におけるニューロン素子回路は、第一もしくは第二の実施形態で説明した積和演算回路から構成される。
【００６７】
ニューラルネットワークにおけるニューロン素子のモデルとしては、ニューロン素子１１に対して、前段の複数のニューロン素子１３において非線形変換処理が施された出力値をシナプス荷重値１２で重み付けした乗算値が入力され、その入力値の総和値をとることでニューロン素子１１の内部状態値を決定するものが一般的である。
【００６８】
本実施形態におけるニューロン素子回路は、ニューロン素子のモデルとして、第一もしくは第二の実施形態で説明した積和演算回路を用いている。
【００６９】
すなわち第一もしくは第二の実施形態で説明した積和演算回路における重み付け演算が、ニューロン素子モデルにおけるシナプス荷重値による重み付けに相当し、かつ積和演算回路における非線形変換演算が、ニューロン素子モデルにおいて入力値の総和値を非線形変換した値を出力値とすることに相当する。
【００７０】
ただしここで、一般的なニューロン素子モデルにおいては、入力値の総和値を非線形変換した後に出力値とするのに対して、第一もしくは第二の実施形態で説明した積和演算回路においては、入力値に対して非線形変換演算を施した後に重み付け演算を行い、さらにその総和値を算出している点が異なっている。
【００７１】
しかしながら、図９に示すように、積和演算回路Ａにおいてキャパシタに保持された演算結果を例えばコンパレータ１４によってＰＷＭ信号Ｖｉｎとして読み出し、そのＰＷＭ信号Ｖｉｎを別の積和演算回路Ｂに入力する場合、入力されたＰＷＭ信号Ｖｉｎは、積和演算回路Ｂにおいて非線形変換演算を施され、さらに重み付け演算を施された後、演算結果がキャパシタに蓄積される。
【００７２】
なお、キャパシタに保持された電圧値をコンパレータ１４によってＰＷＭ信号として読み出す際には、図９に示すように、コンパレータ１４に入力したランプ電圧波形とキャパシタの電圧値とをコンパレータ１４により比較し、ランプ電圧波形のスタート時にＨｉｇｈレベルに立ち上がった出力が、ランプ電圧値とキャパシタの電圧値が等しくなった時点でＬｏｗレベルに立ち下がることによってＰＷＭ信号Ｖｉｎが生成される。
【００７３】
なお、ＰＷＭ信号Ｖｉｎの生成過程に関しては、本発明の主眼とするところではないため、これ以上の詳しい説明は省略する。
【００７４】
ここで、上述した積和演算回路Ａ、Ｂによる演算をニューロン素子モデルと比較すると、非線形演算処理が、ニューロン素子からの出力の時点で行われるか、もしくはニューロン素子への入力の時点で行われるかの点に関して相違があるものの、本質的な演算手法に関しては全く同一であることが分かる。
【００７５】
すなわち、本実施形態におけるニューロン素子回路で行われる演算は、一般的なニューロン素子モデルにおいて行われる重み付け演算および非線形変換演算と、本質的に同一な演算であるとみなすことができる。
【００７６】
また、第一および第二の実施形態で説明したように、ニューロン素子回路における重み付け演算および非線形変換演算は、それぞれのアナログ演算回路に対して、それぞれ独立な電圧源および独立な波形発生回路を用意することで、それぞれのニューロン素子回路において独立に設定することが可能なため、一般的なニューロン素子モデルにおける、それぞれ異なるシナプス荷重値および非線形変換特性を実現することが可能である。
【００７７】
したがって、本実施形態におけるニューロン素子回路を結合して構成したニューラルネットワーク回路は、一般的なニューラルネットワークと同等の演算を行うことが可能であることが分かる。
【００７８】
【発明の効果】
以上説明したように本発明によれば、各回路で独立した非線形変換演算と重み付け演算とを同時に実行することができる演算回路を得ることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施形態にかかる積和演算回路の全体構成を示す図である。
【図２】本発明の第一の実施形態にかかる積和演算回路を構成するアナログ演算回路とキャパシタとを示す図である。
【図３】本発明の第一の実施形態にかかる積和演算回路を構成するシグモイド関数の特性を示す図である。
【図４】本発明の第一の実施形態にかかる積和演算回路において、時間的に非線形に変化するアナログ電圧の特性を示す図である。
【図５】本発明の第一の実施形態にかかる積和演算回路のシミュレーションによる演算結果例を示す図である。
【図６】本発明の第一の実施形態にかかる積和演算回路の全体構成を示す図である。
【図７】本発明の第二の実施形態にかかる積和演算回路を構成するアナログ演算回路とキャパシタの構成を示す図である。
【図８】ニューラルネットワークモデルの一部を示す図である。
【図９】ニューラルネットワーク回路の一部を示す図である。
【符号の説明】
１ アナログ演算回路
２ スイッチング回路
３ キャパシタ
４ スイッチ
５ ＴＧスイッチ
６ アナログ演算回路
７ スイッチング回路
８ キャパシタ
９ インバータＡ
１０ インバータＢ
１１ ニューロン素子
１２ シナプス荷重値
１３ 前段のニューロン素子
１４ コンパレータ
１５ 波形発生回路
１６ 電圧源
Ｍ１ ＰＭＯＳトランジスタ
Ｍ２ ＰＭＯＳトランジスタ
１００ 積和演算回路
２００ 積和演算回路
Claims (7)
- 複数の入力値に対して、各々に非線形変換処理と重み付け演算処理を施し、処理後の総和値を算出するための演算回路であって、
並列に接続された複数のアナログ演算回路と、
前記複数のアナログ演算回路と直列に接続されたキャパシタと、を備え、
前記各々のアナログ演算回路は、
時間的に非線形に変換するアナログ非線形電圧がゲート電極に印加される第１のトランジスタと、
前記重みに応じたアナログ定常電圧がゲート電極に印加され、前記第１のトランジスタに直列に接続された第２のトランジスタと、を備え、
前記各々のアナログ演算回路において、前記第２のトランジスタに対して、前記アナログ定常電圧を前記複数の入力値のそれぞれに比例する時間印加することを特徴とする演算回路。 - 前記アナログ定常電圧は、スイッチング回路を介して前記第２のトランジスタに印加され、
前記第２のトランジスタへの電圧印加時間は、該アナログ定常電圧が、該スイッチング回路により、導通と非導通とを切り替えられることにより、制御されることを特徴とする請求項１に記載の演算回路。 - 前記スイッチング回路は、トランジスタを備えることを特徴とする請求項２に記載の演算回路。
- 前記第１のトランジスタのソース端子にスイッチング回路を設けたことを特徴とする請求項１に記載の演算回路。
- 前記スイッチング回路は、インバータを備えることを特徴とする請求項４に記載の演算回路。
- 前記スイッチング回路は、パルス幅変調信号により制御されることを特徴とする請求項２または４に記載の演算回路。
- 前記演算回路をニューロン素子として用いたことを特徴とするニューラルネットワーク。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272181A JP4181837B2 (ja) | 2002-09-18 | 2002-09-18 | 演算回路およびこれを用いたニューラルネットワーク |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002272181A JP4181837B2 (ja) | 2002-09-18 | 2002-09-18 | 演算回路およびこれを用いたニューラルネットワーク |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004110421A true JP2004110421A (ja) | 2004-04-08 |
| JP4181837B2 JP4181837B2 (ja) | 2008-11-19 |
Family
ID=32269275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002272181A Expired - Fee Related JP4181837B2 (ja) | 2002-09-18 | 2002-09-18 | 演算回路およびこれを用いたニューラルネットワーク |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4181837B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015136401A1 (ja) * | 2014-03-14 | 2015-09-17 | 株式会社半導体エネルギー研究所 | アナログ演算回路、半導体装置、及び電子機器 |
| US9851942B2 (en) | 2016-03-10 | 2017-12-26 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device |
| WO2018034163A1 (ja) * | 2016-08-19 | 2018-02-22 | 国立大学法人 九州工業大学 | 積和演算装置 |
| US10109633B2 (en) | 2016-04-27 | 2018-10-23 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device, electronic device, and authentication system |
| US10699628B2 (en) | 2016-05-17 | 2020-06-30 | Semiconductor Energy Laboratory Co., Ltd. | Display system and vehicle |
| US10733946B2 (en) | 2016-08-26 | 2020-08-04 | Semiconductor Energy Laboratory Co., Ltd. | Display device and electronic device |
-
2002
- 2002-09-18 JP JP2002272181A patent/JP4181837B2/ja not_active Expired - Fee Related
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102234840B1 (ko) | 2014-03-14 | 2021-04-01 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 아날로그 연산 회로, 반도체 장치, 및 전자 기기 |
| KR20160132895A (ko) * | 2014-03-14 | 2016-11-21 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 아날로그 연산 회로, 반도체 장치, 및 전자 기기 |
| JPWO2015136401A1 (ja) * | 2014-03-14 | 2017-06-08 | 株式会社半導体エネルギー研究所 | アナログ演算回路、半導体装置、及び電子機器 |
| KR102367788B1 (ko) | 2014-03-14 | 2022-02-24 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 아날로그 연산 회로, 반도체 장치, 및 전자 기기 |
| WO2015136401A1 (ja) * | 2014-03-14 | 2015-09-17 | 株式会社半導体エネルギー研究所 | アナログ演算回路、半導体装置、及び電子機器 |
| US10222848B2 (en) | 2014-03-14 | 2019-03-05 | Semiconductor Energy Laboratory Co., Ltd. | Analog arithmetic circuit, semiconductor device, and electronic device |
| US11137813B2 (en) | 2014-03-14 | 2021-10-05 | Semiconductor Energy Laboratory Co., Ltd. | Analog arithmetic circuit, semiconductor device, and electronic device |
| KR20210037011A (ko) * | 2014-03-14 | 2021-04-05 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 아날로그 연산 회로, 반도체 장치, 및 전자 기기 |
| US9851942B2 (en) | 2016-03-10 | 2017-12-26 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device |
| US10114611B2 (en) | 2016-03-10 | 2018-10-30 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device |
| US10109633B2 (en) | 2016-04-27 | 2018-10-23 | Semiconductor Energy Laboratory Co., Ltd. | Semiconductor device, electronic device, and authentication system |
| US10699628B2 (en) | 2016-05-17 | 2020-06-30 | Semiconductor Energy Laboratory Co., Ltd. | Display system and vehicle |
| US11482146B2 (en) | 2016-05-17 | 2022-10-25 | Semiconductor Energy Laboratory Co., Ltd. | Display system and vehicle |
| US10831447B2 (en) | 2016-08-19 | 2020-11-10 | Sony Corporation | Multiply-accumulate operation device |
| JPWO2018034163A1 (ja) * | 2016-08-19 | 2019-10-10 | ソニー株式会社 | 積和演算装置 |
| KR20190039506A (ko) * | 2016-08-19 | 2019-04-12 | 소니 주식회사 | 곱합 연산 장치 |
| KR20210142782A (ko) * | 2016-08-19 | 2021-11-25 | 소니그룹주식회사 | 곱합 연산 장치 |
| KR102331382B1 (ko) | 2016-08-19 | 2021-11-26 | 소니그룹주식회사 | 곱합 연산 장치 |
| WO2018034163A1 (ja) * | 2016-08-19 | 2018-02-22 | 国立大学法人 九州工業大学 | 積和演算装置 |
| KR102403307B1 (ko) | 2016-08-19 | 2022-05-30 | 소니그룹주식회사 | 곱합 연산 장치 |
| US11392349B2 (en) | 2016-08-19 | 2022-07-19 | Sony Group Corporation | Multiply-accumulate operation device |
| US10733946B2 (en) | 2016-08-26 | 2020-08-04 | Semiconductor Energy Laboratory Co., Ltd. | Display device and electronic device |
| US11404016B2 (en) | 2016-08-26 | 2022-08-02 | Semiconductor Energy Laboratory Co., Ltd. | Display device and electronic device having neural network for calculating set values of luminance and color tone |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4181837B2 (ja) | 2008-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4620943B2 (ja) | 積和演算回路及びその方法 | |
| CN106447033B (zh) | 神经元突触电路及神经元电路 | |
| Matsubara et al. | A generalized rotate-and-fire digital spiking neuron model and its on-FPGA learning | |
| CA2926824A1 (en) | Implementing synaptic learning using replay in spiking neural networks | |
| JP3582737B2 (ja) | 信号処理装置 | |
| Adnan et al. | A twin memristor synapse for spike timing dependent learning in neuromorphic systems | |
| JP4181837B2 (ja) | 演算回路およびこれを用いたニューラルネットワーク | |
| JP2007066258A (ja) | 演算装置 | |
| Uenohara et al. | A 18.7 TOPS/W mixed-signal spiking neural network processor with 8-bit synaptic weight on-chip learning that operates in the continuous-time domain | |
| Zhao et al. | Circuit implementation of FitzHugh-Nagumo neuron model using field programmable analog arrays | |
| GB2267171A (en) | Neural network employing absolute value calculating synapse | |
| Sahin et al. | Fuzzy logic controlled synchronous buck DC-DC converter IOR solar energy-hydrogen systems | |
| US20140365413A1 (en) | Efficient implementation of neural population diversity in neural system | |
| Vohra et al. | CMOS circuit implementation of spiking neural network for pattern recognition using on-chip unsupervised STDP learning | |
| JPH02181284A (ja) | ニューラルネットワーク | |
| JP2004157757A (ja) | アナログ演算回路 | |
| CN117610629B (zh) | 一种基于仿生机制的抑制负面情绪与自我修复的忆阻神经网络电路 | |
| Hasan et al. | Hardware model based simulation of spiking neuron using phase plane | |
| JPH09185596A (ja) | パルス密度型信号処理回路網における結合係数更新方法 | |
| JP2612640B2 (ja) | 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 | |
| Phong et al. | Silicon synapse designs for VLSI neuromorphic platform | |
| Lu et al. | Analogue circuit realization of a programmable sigmoidal function and its derivative for on-chip bp learning | |
| Bahuguna et al. | 32nm CMOS Analog Circuit Implementation of STDP for SNNs | |
| Sinha et al. | Workload-aware neuromorphic design of low-power supply voltage controller | |
| Gupta et al. | Low power neuromorphic analog system based on sub-threshold current mode circuits |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050920 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071122 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080822 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4181837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |