JP2001117900A

JP2001117900A - ニューラルネットワーク演算装置

Info

Publication number: JP2001117900A
Application number: JP29617899A
Authority: JP
Inventors: Sukeji Kato; 典司加藤; Hirotsugu Kashimura; 洋次鹿志村; Hitoshi Ikeda; 仁池田
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1999-10-19
Filing date: 1999-10-19
Publication date: 2001-04-27

Abstract

(57)【要約】【課題】ニューロン演算及び学習を多数の演算ユニッ
トを用いて並列計算する場合に、ニューロン演算用の演
算ユニットと誤差信号計算用の演算ユニットを別個に設
ける必要がなく、シナプス接続重みの更新時にバスの帯
域の消費量が少ないニューラルネットワーク演算装置を
提供する。【解決手段】ローカルバス１８を介して演算ユニット
１０₁〜１０_xの演算結果とマスターノード１２の設定情
報及び誤差信号が互いに受け渡される構成であり、ニュ
ーロン演算時には、各演算ユニット１０₁〜１０_xからの
ニューロン出力値を各演算ユニット１０₁〜１０_xとマス
ターノード１２で保存し、誤差信号演算時には、各演算
ユニット１０₁〜１０_xからの誤差信号の部分和をマスタ
ーノード１２が累積加算して特定のニューロンの誤差信
号を生成して出力し、該特定のニューロンが割り当てら
れた演算ユニットが出力された誤差信号を受け取って保
存する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワーク演算装置に係り、特に、複数の演算要素によって
並列にニューロン演算を行うニューラルネットワーク演
算装置に関する。

【０００２】

【従来の技術】従来より、脳を中心とする神経系におけ
る情報処理を模倣して構築したニューラルネットワーク
は、認識、知識処理などの情報処理に応用されている。
そのようなニューラルネットワークは、一般に、複数の
ニューロンが多数接続され、各ニューロンに対応する信
号伝達ユニットを複数備えたものとして構成される。

【０００３】個々のニューロンｊには、他のニューロン
ｉからニューロン出力値Ｙ_iが入力される。そして、そ
れぞれの入力に対しシナプス接続重みＷ_jiで重みづけを
行い、その総和ｕ_jを計算する。この値を例えばシグモ
イド関数fによって変換し、ニューロン出力値Ｙ_jを出力
する。この動作を式で示すと以下の（１）の式のように
なる。

【０００４】

【数１】

【０００５】この演算をニューロン演算と呼ぶ。また、
一般的に使用されるバックプロパゲーションによる学習
過程においては、与えられた入力に対して期待する出力
値ｄ _jを外部から与え、実際の出力値との誤差ｄ_j−Ｙ_j
＝δ_jが少なくなるようにシナプス接続重みＷ_jiを更新
していく。その更新量は以下の（２）の式で演算され
る。

【０００６】

【数２】

【０００７】ここで、ηは学習係数、δ_jは学習誤差で
ある。また、出力層では、以下の（３）の式で演算を行
う。

【０００８】

【数３】

【０００９】また、隠れ層では、以下の（４）の式で演
算を行う。

【００１０】

【数４】

【００１１】このような演算を数千から数万のニューロ
ンからなる大規模ニューラルネットワークで行う場合、
膨大な演算量となり、専用のハードウェアが必要とな
る。

【００１２】特開平５‐１９７７０７号公報には、図１
４に示すように、ニューロン演算を受け持つ複数のニュ
ーロン演算ユニット５０₁〜５０_x（但し、ｘは正の整
数）と、学習に用いる誤差信号の演算を受け持つ複数の
誤差信号演算ユニット５２₁〜５２_x（但し、ｘは正の整
数）とが時分割バス５６によって結合され、コントロー
ラ５８により選択された１つのニューロン演算ユニット
のみがニューロン演算値を時分割バス５６に出力する構
成の情報処理システムが開示されている。

【００１３】ニューロン演算では、各ニューロン演算ユ
ニット５０₁〜５０_xは、それぞれ特定のニューロンｊの
持つシナプスの接続重みすなわち行列Ｗ_jiのｊ行をシナ
プス接続メモリ５４₁〜５４_xに保持しており、コントロ
ーラ５８によって選択されたニューロン演算ユニットに
より出力され、時分割バス５６から逐次入力される値
に、該ニューロン演算ユニットに対応するシナプス接続
重みをシナプス接続メモリ５４₁〜５４_xから読み出して
重み付けし、その積を累積加算する。

【００１４】また、コントローラ５８によって選択され
たニューロン演算ユニット（図１４の状態では第２ニュ
ーロン演算ユニット５０₂）は、累積加算した値を上記
(１)の式のシグモイド関数によって変換して時分割バス
５６に出力する。各ニューロン演算ユニット５０₁〜５
０_xが一通り時分割バス５６へ出力すれば、すべてのニ
ューロン演算ユニット５０₁〜５０_xが上記（１）の式の
演算を行うこととなる。

【００１５】一方、学習過程では、ニューロン演算ユニ
ット５０₁〜５０_xとは別個に設けられた誤差信号演算ユ
ニット５２₁〜５２_xが上記(４)の式で表される隠れ層の
誤差信号を計算する。すなわち、複数の誤差信号演算ユ
ニット５２₁〜５２_xの各々は、それぞれ行列Ｗ_jiの転置
行列Ｗ_ijの特定のi行をシナプス接続メモリ５４₁〜５４
_xに保持しており、時分割バス５６から逐次入力する値
に、対応する行列成分をメモリから読み出して重み付け
し、その積を累積加算して(４)式を計算する。

【００１６】(２)式の接続重みの更新では、ニューロン
演算ユニット５０₁〜５０_xに対しては、それぞれ特定の
誤差信号δ_jを各誤差信号演算ユニットに設定した後、
ニューロン出力値Ｙ_iを時分割バス５６に送出し、各ニ
ューロン演算ユニット５０₁〜５０_xは対応するシナプス
接続重みＷ_jiを更新する。

【００１７】誤差信号演算ユニット５２₁〜５２_xに対し
ては、それぞれ特定のニューロン出力値Ｙ_iを各誤差信
号演算ユニット５２₁〜５２_xに設定した後、誤差信号δ
_jを時分割バス５６に送出し、各誤差信号演算ユニット
５２₁〜５２_xの各々で対応するシナプス接続重みＷ_ijを
更新する。

【００１８】特開平５‐１９７７０７号公報では、この
ような構成による並列演算によって、大規模ニューラル
ネットワークのニューロン演算及びバックプロパゲーシ
ョンによる学習を構築している。

【００１９】

【発明が解決しようとする課題】しかしながら、前記の
ような従来技術では、ニューロン演算用の演算ユニット
と誤差信号計算用の演算ユニットを別個に設けているた
め、コストが増大したり、また一つの基板に実装できる
演算ユニットの数には限りがあるため、大規模なニュー
ラルネットワークには対応できないという問題点があ
る。

【００２０】さらに、シナプス接続重みの更新のため
に、時分割バスにニューロン出力値および誤差信号の両
者を送出する必要があり、時分割バスの帯域不足による
データの供給律速となり、演算速度が向上しないという
問題点がある。

【００２１】以上のことから、本発明は、ニューラルネ
ットワークのニューロン演算およびバックプロパゲーシ
ョンによる学習を多数の演算ユニットを用いて並列計算
する場合に、ニューロン演算用の演算ユニットと誤差信
号計算用の演算ユニットを別個に設ける必要がなく、し
かもシナプス接続重みの更新時に時分割バスの帯域の消
費量が少ないニューラルネットワーク演算装置を提供す
ることを目的とする。

【００２２】

【課題を解決するための手段】上記目的を達成するため
に、請求項１記載の発明のニューラルネットワーク演算
装置は、少なくとも１つ以上の伝送路で接続され、複数
のニューロンのうちの所定数のニューロンがそれぞれ割
り当てられた複数の演算要素によって並列にニューロン
演算を行うニューラルネットワーク演算装置であって、
前記複数の演算要素の各々は、１つのニューロンが持つ
全てのシナプスのシナプス接続重みを、割り当てられた
所定数のニューロン分保存するシナプス接続重み保存メ
モリと、ニューロン演算時には、前記所定数のニューロ
ンを順次選択すると共に、該選択したニューロンのシナ
プスを順次選択して、選択したシナプスのシナプス接続
重みと該シナプスと接続されたニューロンのニューロン
出力値とを乗算してニューロン毎に累積加算して出力
し、誤差信号演算時には、特定のニューロンと接続する
前記所定数のニューロンのシナプスを順次選択し、選択
されたシナプスの接続重みと、該選択されたシナプスを
持つニューロンの誤差信号とを乗算して、前記所定数の
ニューロン分累積加算し、得られた値を誤差信号の部分
和として出力する積和演算手段と、保存メモリに格納さ
れたシナプス接続重みのうち、選択したニューロンのシ
ナプス接続重みの各々を与えられた誤差信号に基いて更
新する接続重み更新手段と、を備え、前記誤差信号の部
分和を前記特定のニューロンと接続された全てのニュー
ロン分累積加算し、得られた値を前記特定のニューロン
の誤差信号として前記特定のニューロンが割り当てられ
た演算要素に出力する誤差信号生成手段を更に、備えて
いる。

【００２３】すなわち、請求項１の発明では、少なくと
も１つ以上の伝送路で接続され、ニューラルネットワー
クを構成する複数のニューロンのうちの所定数のニュー
ロン割り当てられた複数の演算要素の各々が、シナプス
接続重み保存メモリと、積和演算手段と、接続重み更新
手段と、を備えているため、割り当てられた所定数のニ
ューロンに関するニューロン演算、及び、誤差信号演算
を演算要素単位で独立して行うことができる。

【００２４】前記演算要素に割り当てられる所定数のニ
ューロンは、ニューロン演算時では、ニューラルネット
ワークを構成する１部のニューロンであり、誤差信号演
算時では、前記特定のニューロンと接続する全てのニュ
ーロンのうちの所定数のニューロンである。そのため、
各演算要素毎に得られる値は、ニューロン演算時では、
所定数のニューロンのニューロン出力値であり、誤差信
号演算時では、前記特定のニューロンと接続する所定数
のニューロンの各シナプスのシナプス接続重みと該シナ
プスを持つニューロンの誤差信号の積を所定数のニュー
ロン分累積加算した値、即ち、特定のニューロンの誤差
信号の部分和の値である。

【００２５】請求項１の発明では、誤差信号生成手段を
更に備えており、各演算要素から出力された誤差信号の
部分和を前記特定のニューロンと接続された全てのニュ
ーロン分累積加算し、得られた値を前記特定のニューロ
ンの誤差信号として前記特定のニューロンが割り当てら
れた演算要素に出力する。これにより、ニューロン毎に
誤差信号が与えられることとなる。

【００２６】シナプス接続重みの更新量は、上述した
（２）の式により算出できるので、上記演算の結果、ニ
ューロン毎に与えられた誤差信号を用いて各演算要素毎
に割り当てられたニューロンに関するシナプス接続重み
更新を行うことができる。

【００２７】このように、各演算要素が各々独立して割
り当てられたニューロンに関するニューロン演算、誤差
信号演算、及びシナプス接続重み更新を行うことができ
る。そのため、従来のようにニューロン演算用の演算要
素と、誤差信号演算演算用の演算要素とを個別に設ける
必要がなく、従来よりも少ない演算要素数でニューラル
ネットワークの演算を実現できる。そのため、従来と同
程度又は従来より少ない演算要素数で、かつ、演算速度
を低下させることなく大規模ニューラルネットワークの
演算を行えるニューラルネットワーク演算装置が得られ
る。

【００２８】また、複数の演算要素が各演算要素毎に保
持するシナプス接続重みを用いて演算を行い、各々の演
算要素において演算した演算結果を外部に出力する構成
であるため、データの受け渡しの回数が従来よりも少な
くなる。そのため、伝送路の帯域不足による演算速度の
低下を起こすことなく、大規模ニューラルネットワーク
の演算を実現出来る。

【００２９】また、前記複数の演算要素の各々には、請
求項２に記載したように、前記複数の演算要素の各々に
は、各々複数のニューロンから構成され、かつ、ニュー
ラルネットワークを構成する複数の演算層の各々を分割
して得られた前記所定数のニューロンよりなる複数のグ
ループのうちの少なくとも１つのグループを割り当てる
ようにしてもよいし、請求項３に記載したように、前記
複数の演算要素の各々には、複数のニューロンから構成
され、かつ、ニューラルネットワークを構成する複数の
演算層のうちの演算対象となる演算層を分割して得られ
た前記所定数のニューロンよりなる複数のグループのう
ちの少なくとも１つのグループを割り当てるようにして
もよい。

【００３０】演算要素は、所定数のニューロン単位で、
言い換えると、グループ単位で演算を行うため、１つの
グループが割り当てられた場合は１回の演算で演算対象
の演算層の演算が終了するように構成し、２つ以上のグ
ループが割り当てられた場合は、割り当てられたグルー
プ数回演算を行うことにより演算対象の演算層の演算が
終了するように構成することができる。

【００３１】また、複数の演算要素の全てに演算対象の
演算層を構成する複数のグループを分散させて割り当て
るようにしてもよいし、複数の演算要素の１部の演算要
素に演算対象の演算層を構成する複数のグループを分散
させて割り当てるようにしてもよい。

【００３２】また、演算要素の演算時間が割り当てられ
たニューロン数によって決まるため、割り当てられたニ
ューロンの数にバラツキがあると、各演算要素毎に演算
が終了する時間が異なる。複数の演算要素を用いて並列
して演算を行う場合、ロスタイムを短くするには各演算
要素が同じ時間に演算終了するように構成することが好
ましい。

【００３３】そのため、請求項４に記載の発明は、請求
項２又は請求項３に記載のニューラルネットワーク演算
装置において、前記複数のグループの各々は、グループ
を構成するニューロン数を略同数としている。即ち、各
演算要素の１回の演算において演算対象となるニューロ
ン数が略同数であるので、各演算要素毎に演算が終了す
る時間が大きくことなること無く、ロスタイムを短くで
きる。これにより、各演算要素間の待ち時間が少なくな
り、演算要素を有効に利用することが可能である。

【００３４】なお、グループを構成するニューロン数が
略同数とは、各グループを構成するニューロン数が同数
の場合と、グループを構成するニューロン数が全く同数
ではないがほぼ同じ数である場合とを含んでいる。

【００３５】また、請求項５に記載の発明は、請求項１
から請求項４のいずれか１項に記載のニューラルネット
ワーク演算装置において、前記演算要素が、ニューロン
演算時には、少なくとも前記シナプス接続重み保存に保
存されたシナプスと接続するニューロン出力値が保存さ
れ、誤差信号演算時には、少なくとも割り当てられたグ
ループのニューロン毎に与えられる誤差信号の少なくと
も一方が保存されるデータ保存メモリを備えたものとし
ている。

【００３６】即ち、前記複数の演算要素の各々に、シナ
プス接続重みの他に演算に必要な値（即ち、ニューロン
演算時には、少なくとも前記シナプス接続重み保存に保
存されたシナプスと接続するニューロン出力値、誤差信
号演算時には、少なくとも割り当てられたグループのニ
ューロン毎に与えられる誤差信号）が保存されるデータ
保存メモリを備える構成とすることにより、演算に必要
なデータを各々の演算要素に保持させておくことができ
るので、データの受け渡しの回数がさらに少なくなる。
そのため、伝送路の帯域不足による演算速度の低下を起
こすことなく、大規模ニューラルネットを適用した場合
にも充分な帯域を確保することができる。

【００３７】好ましくは、請求項６に記載したように、
前記データ保存メモリを、ニューロン出力値を保存する
ニューロン出力値保存メモリと、誤差信号を保存する誤
差信号保存メモリとから構成すること、より受け渡すデ
ータ量を少なくできる。

【００３８】また、請求項７に記載したように、データ
保存メモリ、又は、ニューロン出力値保存メモリ及び誤
差信号保存メモリの少なくとも一方は、２つのバンクか
らなり、一方のバンクには演算に用いるデータを保存す
ると共に、他方のバンクには演算により得られた結果を
保存するように設定される構成とすることにより、次の
演算層についての演算を開始する段階で、必要なデータ
を演算要素内に保持しておくことができるので、各々の
演算要素にデータを供給し直す必要がなく、その分速く
次の演算処理を開始させることが可能である。

【００３９】なお、請求項８に記載したように、ニュー
ロン演算時に、前記積和演算手段により累積加算された
値を非線型演算し、前記１つのニューロンのニューロン
出力値として出力する非線型演算手段をさらに備える構
成とすることもできる。この非線型演算手段は、前記複
数の演算要素の各々に設けてもよいし、制御要素に設け
てもよく、また、演算要素と制御要素とは独立して設け
てもよい。

【００４０】また、請求項９に記載したように、前記複
数の演算要素の少なくとも１つが制御要素を兼ねる構成
とすることも可能である。このような構成とすること
で、極力不要な部品数を少なくできるので、その分演算
要素を増やすことができ、より大規模なニューラルネッ
トを構築できる。

【００４１】

【発明の実施の形態】以下、図１〜図１３を参照してフ
ィードフォワード型のニューラルネットワークに本発明
を適用した実施の形態を詳細に説明する。

【００４２】第１の実施の形態の情報処理装置は、図１
に示すように、大別して、複数の演算ユニット１０₁〜
１０_x（１＜ｘ；但し、ｘは正の整数）、マスターノー
ド１２、プログラムメモリ１４、ホストコンピュータ１
６とから構成され、図３に示す入力層、隠れ層、及び出
力層からなる３層のパーセプトロンの処理を行う。

【００４３】この３層のパーセプトロンは、入力層から
隠れ層、および隠れ層から出力層へは全結合をしてい
る。また、図３では説明のため、入力層ｉのニューロン
にはニューロン番号１からｎまでの番号を付与し、隠れ
層ｊのニューロンにはニューロン番号ｎ＋１からｎ＋ｍ
までの番号を付与し、出力層ｋのニューロンにはニュー
ロン番号ｎ＋ｍ＋１からｎ＋ｍ＋ｐまでの番号を連続し
て付与している（但し、ｎ、ｍ、ｐは正の整数、ｉ、
ｊ、ｋは連続する任意の整数）。

【００４４】まず、第１の実施の形態の情報処理装置の
構成について説明する。図１に示すように、演算ユニッ
ト１０₁〜１０_xとマスターノード１２は、ローカルバス
１８によって接続され、ローカルバス１８を介して演算
ユニット１０₁〜１０_xからの演算結果がマスターノード
１２に受け渡され、また、マスターノード１２からの制
御情報が演算ユニット１０₁〜１０_xに伝送される。

【００４５】マスターノード１２は、例えば、ＣＰＵな
どのプログラム可能な演算処理装置により構成され、後
に詳述する演算ユニット１０₁〜１０_xの制御を行うとと
もに、演算ユニット１０₁〜１０_xから送信される誤差信
号の部分和α（後述する）を加算して誤差信号を生成
し、演算ユニット１０₁〜１０_xに送出する。

【００４６】このマスターノード１２には、プログラム
メモリ１４がローカルに接続されている。プログラムメ
モリ１４は、後述する演算制御のためのプログラムや計
算されたニューロン出力値等を保存する。さらにマスタ
ーノード１２は、ホストバス１９を介してホストコンピ
ュータ１６と接続され、ホストコンピュータ１６とデー
タをやり取りする。

【００４７】ホストコンピュータ１６は、プログラムメ
モリ１４にマスターノード１２の動作を記述するプログ
ラムを書き込み、マスターノード１２の動作を制御す
る。すなわち、プログラムメモリ１４にマスターノード
１２の動作を記述するプログラムを書き込んだ後、ニュ
ーロン演算開始信号をマスターノード１２に送って複数
の演算ユニット１０₁〜１０_xによるニューロン演算を開
始させ、得られた演算結果をマスターノード１２から受
け取る。また、ホストコンピュータ１６は、プログラム
メモリ１４に教師信号ｄを書き込み、学習開始信号をマ
スターノード１２に送ってバックプロパゲーションによ
る学習を開始させる。

【００４８】本実施の形態では、演算ユニット１０₁〜
１０_xは、各々独立した１つの半導体チップに形成さ
れ、マスターノード１２からの制御データに基いてニュ
ーロン演算、誤差信号の部分和演算およびシナプス接続
重みの更新の３種類の動作を行う。

【００４９】すなわち、ニューロン演算においては、隠
れ層ｊのニューロンｎ＋１〜ｎ＋ｍがそれぞれ持つシナ
プスのシナプス接続重み｛（Ｗ_n+1,1〜Ｗ_n+1,n）〜（Ｗ
_n+m, ₁〜Ｗ_n+m,n）｝と、これらのシナプスのそれぞれに
接続する入力層ｉのニューロン出力値Ｙ₁〜Ｙ_nと、を乗
算し、乗算結果を全シナプスに渡って累積加算し、その
加算結果を非線型変換してニューロン出力値Ｙ_n+1〜Ｙ
_n+mを得る。

【００５０】バックプロパゲーションによる学習におい
ては、ホストコンピュータ１６から入力された教師信号
ｄとニューロン演算で得られた出力層のニューロンのニ
ューロン出力値Ｙ_n+m+1〜Ｙ_n+m+pとの差である誤差信号
δ_n+m+1〜δ_n+m+pを割り当てられた出力層のニューロン
について演算し、該誤差信号を用いて、前段の隠れ層ｊ
のニューロンの１つと接続するシナプスの接続重みとを
乗算して得た誤差信号の部分和αを演算ユニット毎に演
算した後、マスターノード１２が部分和を累積加算して
誤差信号を計算する。これを全てのシナプスについて行
う。さらに、それぞれの演算ユニットは各自の持つシナ
プス接続重みの更新を行う。これらの演算をそれぞれの
演算ユニットは、指定されたニューロンから順番に、割
り当てられた全てのニューロンに対して行う。

【００５１】各々の演算ユニット１０₁〜１０_xは、図２
に示すように（図２は説明のため、第Ｈ演算ユニット１
０_hのみを示す。;但し、Ｈ＞１、かつ、Ｈは任意の整
数)、ローカルバスインターフェイス２０、制御回路２
２、ニューロン出力値メモリ２４、シナプス接続重みメ
モリ２６、乗算器２８、加算器３０、累積レジスタ３
２、非線型演算回路３４、学習回路３６とから構成され
る。

【００５２】ローカルバスインターフェイス２０は、自
身の非線型演算回路３４から出力されたニューロン出力
値をローカルバス１８へ出力したり、他の演算ユニット
が出力ニューロン出力値をローカルバス１８から入力し
たり、マスターノード１２からの制御データの受信を行
う。

【００５３】制御回路２２は、ローカルバスインターフ
ェイス２０を介して入力されたマスターノード１２から
の制御データによって第Ｈ演算ユニット１０_hの動作を
制御する。制御回路２２内には、図示しない複数のアド
レスカウンタがあり、制御回路２２は、ローカルバスイ
ンターフェイス２０介して入力されたマスターノード１
２からの制御データによって、ニューロン出力値メモリ
２４およびシナプス接続重みメモリ２６をアクセスする
アドレスを指定する。

【００５４】また、この制御回路２２は、シナプス数レ
ジスタ４０とニューロン数レジスタ４２とを含んで構成
されており、シナプス数レジスタ４０には１つのニュー
ロンが持つシナプス数Ｓが保存され、また、ニューロン
数レジスタ４２には個々の演算ユニットに割り当てられ
たニューロン数Ｔ（但し、Ｔは任意の整数）が保存され
ている。

【００５５】ニューロン出力値メモリ２４は、例えば、
バンクＡとバンクＢの２つのバンクからなり、各バンク
にはそれぞれＳ個のニューロン出力値、または、Ｔ個の
誤差信号δが保存される。

【００５６】すなわち、ニューロン演算およびシナプス
接続重み更新の場合、ニューロン出力値メモリ２４の一
方のバンク(例えば、バンクＡ)には、演算に用いられる
前段の演算層のニューロン出力値Ｙ_i〜Ｙ_i+sが保存さ
れ、他方のバンク(例えば、バンクＢ)には演算によって
自身もしくは他の演算ユニットで求められた出力値Ｙ_j
〜Ｙ_j+sが保存される。他方のバンク(例えば、バンク
Ｂ)に保存された出力値Ｙ_j〜Ｙ_j+sは、次の層のニュー
ロン演算で用いられる。

【００５７】また、誤差信号演算の場合、ニューロン出
力値メモリ２４の一方のバンク(例えば、バンクＡ)に
は、後段の演算層から逆伝搬された演算に用いる誤差信
号δ_j ₁〜δ_jTが保存され、他方のバンク(例えば、バン
クＢ)には演算によって自身もしくは他の演算ユニット
で求められた誤差信号δ_i1〜δ_iTが保存される。他方の
バンク(例えば、バンクＢ)に保存された誤差信号は、次
の層の誤差信号演算に用いられる。どちらのバンクを計
算に用いるかは、計算ごとに任意に設定できる。

【００５８】例えば、第Ｈ演算ユニット１０_Hに、図３
における連続したニューロンｎ＋１からニューロンｎ＋
ＴのＴ個のニューロンの演算が割り当てられている場
合、ニューロン演算においては、図４（Ａ）に示すよう
に、第Ｈ演算ユニット１０_Hのニューロン出力値メモリ
２４のバンクＡには、ｎ個のニューロン出力値Ｙ₁〜Ｙ_n
がアドレス０からアドレス（ｎ−１）まで連続して保存
される。また、誤差信号演算においては、図４（Ｂ）に
示すように、第Ｈ演算ユニット１０_Hのニューロン出力
値メモリ２４のバンクＡには、Ｔ個の誤差信号δ_n+m+1
〜δ_n+m+Tがアドレス０からアドレス（Ｔ−１）まで連
続して保存される。

【００５９】また、シナプス接続重みメモリ２６は、１
つの演算ユニットに割り当てられた全てのニューロンの
シナプス接続重みが全て保存されている。シナプス接続
重みは、１つの演算ユニットに割り当てられたニューロ
ンのうち、最もニューロン番号が小さいニューロンのシ
ナプス接続重みが先頭アドレスから連続して格納され、
続いて次のアドレスに次に番号の小さいニューロンのシ
ナプス接続重みが連続して格納され、…というように番
号の小さいニューロンのシナプス接続重みから順に連続
してシナプス接続重みメモリ２６に格納されている。

【００６０】例えば、第Ｈ演算ユニット１０_Hに、図３
における連続したニューロンｎ＋１からニューロンｎ＋
ＴのＴ個のニューロンの演算が割り当てられている場
合、図５に示すように、シナプス接続重みメモリ２６に
は、ニューロンｎ＋１のｎ個のシナプスの接続重みＷ
_n+1,1〜Ｗ_n+1,nがアドレス０からアドレスｎ−１まで順
に格納され、続いて、ニューロンｎ＋２のｎ個のシナプ
スの接続重みＷ_n+2,1〜Ｗ_n _+2,nが次のアドレスｎからア
ドレス２ｎ−１まで順に格納され、…最後は、ニューロ
ンｎ＋Ｔのｎ個のシナプスの接続重みＷ_n+T,1〜Ｗ_n+T,n
がアドレス（Ｔ‐１）ｎ＋１からアドレスＴ・ｎに順に
格納される。

【００６１】乗算器２８は、制御回路の指示に基き、ニ
ューロン出力値メモリ２４およびシナプス接続重みメモ
リ２６からデータを順次読み出して乗算する。

【００６２】加算器３０は、乗算器２８から入力された
乗算結果と累積レジスタ３２に一旦保存された累積加算
値とを加算し、得られた累積加算値を累積レジスタ３２
に一旦保存する。この演算は、ニューロン演算の場合は
シナプス数レジスタ４０に設定された回数だけ、誤差信
号演算の場合はニューロン数レジスタ４２に設定された
回数だけ繰り返される。

【００６３】累積レジスタ３２は、加算器３０にから出
力された累積加算値を一旦保存し、加算器３０により前
記設定された回数の累積加算が繰り返されるまで、一旦
保存した累積加算値を加算器３０に出力する。加算器３
０により前記設定された回数の累積加算が繰り返される
と、累積レジスタ３２は、保存した累積加算値を非線型
演算回路３４に出力する。

【００６４】非線型演算回路３４は、ニューロン演算に
おいて累積加算された値に非線型演算を施してニューロ
ン出力を生成し、ローカルバスインターフェイス２０に
出力する。なお、非線型演算としてはシグモイド関数や
閾値論理等の関数を用いることができる。

【００６５】また、学習回路３６は、学習係数レジスタ
４４を含み、学習係数レジスタ４４には、マスターノー
ド１２から送出されたニューロンの誤差信号と学習係数
の積が書き込まれる。学習回路３６は、シナプス接続重
みメモリ２６からシナプス接続重みを読み出し、学習係
数レジスタ４４に書き込まれたニューロンの誤差信号と
学習係数の積を用いてシナプス接続重みを変更し、シナ
プス接続重みメモリ２６に書き込む。なお、学習回路３
６内にも制御回路２２と同様のアドレスカウンタがあ
る。

【００６６】上記構成の情報処理装置によるニューロン
演算処理ルーチンについて図６のフローチャートを参照
して説明する。なお、ここでは説明のため、１つのニュ
ーロンが持つシナプス数をＳとし、１つの演算ユニット
に割り当てられたニューロン数をＴとする。

【００６７】まず、ステップ１００において、全ての演
算ユニット１０₁〜１０_xのニューロン出力値メモリ２４
のバンクＡ、及び、シナプス接続重みメモリ２６に初期
データを書き込む。この書き込みは、例えば、ローカル
バス１８に出力された入力層のニューロン出力値Ｙ₁〜
Ｙ_nを読み出し、ニューロン出力値メモリ２４のアドレ
ス０〜（ｎ−１）とニューロン出力値Ｙ₁〜Ｙ_n及び、書
き込み指示を受け取って、各ニューロン出力値Ｙ₁〜Ｙ_n
を、各演算ユニット１０₁〜１０_xの各ニューロン出力値
メモリ２４のバンクＡのアドレスＮＡＤＲ０〜（ｎ−
１）に１対１で対応させるように行う。

【００６８】なお、これらのデータの値はニューラルネ
ットワークの構成に従い、例えば、後述する割り当て方
法のように設定される。なお、接続重みの初期値として
は、ランダムな値や、あらかじめ学習によって決定され
た値など、自由に与えることができる。

【００６９】次のステップ１０２では、シナプス接続重
みメモリ２６の読み出しアドレスＳＡＤＲをクリアし
て、変数jを０にセットする。その後、ステップ１０４
に移行して、累積レジスタ３２の値をクリアし、ニュー
ロン出力値メモリ２４の読み出しアドレスＮＡＤＲを０
に設定する。

【００７０】次のステップ１０６では、現在のシナプス
接続重みメモリ２６の読み出しアドレスＳＡＤＲに格納
されたシナプス接続重みＷ_jiを読み出し、次のステップ
１０８では、現在のニューロン出力値メモリ２４のバン
クＡのアドレスから読み出しアドレスＮＡＤＲに格納さ
れたニューロン出力値Ｙ_jを読み出す。

【００７１】ステップ１１０では、読み出したシナプス
接続重みＷ_jiとニューロン出力値Ｙ _jとを乗算器２８に
よって乗算する。得られた乗算結果を加算器３０によっ
て現在累積レジスタ３２に保存されている値と加算し
て、累積レジスタ３２に保存する。

【００７２】次のステップ１１２では、１つのニューロ
ンの持つシナプス数の回数、すなわち、Ｓ回、積和演算
を行ったかを判断する。Ｓ回、積和演算を行っていない
と判断された場合は、ステップ１２２に移行し、ニュー
ロン出力値メモリ２４の読み出しアドレスＮＡＤＲ及び
シナプス接続重みメモリ２６の読み出しアドレスＳＡＤ
Ｒをインクリメントしてから、ステップ１０６に戻り、
上述した処理を繰り返す。

【００７３】Ｓ回、積和演算を行っていると判断された
場合は、ステップ１１４に移行し、累積レジスタ３２保
存されたデータを非線型演算回路３４によって非線型演
算し、新規のニューロン出力値Ｙ_jを生成し、自身のニ
ューロン出力値メモリ２４のバンクＢのアドレスjに格
納する。同時に、生成した新規のニューロン出力値Ｙ_j
を変数jの値とともにローカルバスインターフェイス２
０を介してローカルバス１８に出力する。これにより、
他の演算ユニットが新規のニューロン出力値Ｙ_jと変数j
をローカルバス１８を介して受信し、各々、自身のニュ
ーロン出力値メモリ２４のバンクＢのアドレスjに格納
する。また、このとき後の学習演算に用いるための、非
線型関数の微分値も計算され、ローカルバス１８に出力
される。

【００７４】次のステップ１１８では、演算ユニットに
割り当てられたニューロン数Ｔの演算が終了したかを判
断する。すなわち、演算対象のニューロンのニューロン
番号ｊがＴ−１であるかを判断する。ニューロン番号ｊ
がＴ−１でないと判断された場合は、ステップ１２４に
移行し、ニューロン番号ｊをインクリメントしてから、
ステップ１０４に戻り、上述した処理を繰り返す。

【００７５】ニューロン番号ｊがＴ−１であると判断さ
れた場合は、割り当てられた全てのニューロンの演算が
終了したため、ステップ１２０に移行し、終了信号をロ
ーカルバス１８を介してマスターノードに出力し、本ル
ーチンを終了する。なお、次のニューロンのシナプス数
が前回演算したニューロンのシナプス数と異なる場合、
演算を開始する前にシナプス数レジスタ４０に記憶され
た値を今回演算するニューロンのシナプス数に変更する
ことも可能である。

【００７６】以上のように演算ユニット１０₁〜１０_xは
シナプス接続重みメモリ２６の先頭アドレスにその重み
が格納されたニューロンから順に演算を行う。ニューロ
ン数レジスタ４２で示されたＴ個のニューロンのニュー
ロン演算を行った後、マスターノード１２に終了信号を
送信し、動作が終了する。以上では、演算ユニットが一
つの加算器および一つの乗算器を持つ場合について説明
したが、演算器が複数あり、複数のニューロンに関する
ニューロン演算を同時に行う構成も可能である。

【００７７】また、上記構成の情報処理装置による誤差
信号の部分和演算処理ルーチンについて図７のフローチ
ャートを参照して説明する。ここでも説明のため、１つ
のニューロンが持つシナプス数をＳとし、１つの演算ユ
ニットに割り当てられたニューロン数をＴとする。な
お、誤差信号演算処理では、ニューロン出力値メモリ２
４のバンクＡには、逆伝播された誤差信号δ_n+1〜δ_n+T
が格納されている。

【００７８】まず、ステップ２００において、全ての演
算ユニット１０₁〜１０_xのシナプス接続重みメモリ２６
に初期データを書き込む。次のステップ２０１で、マス
ターノード１２からのリセット信号を受け取ると、ステ
ップ２０２に移行してシナプス接続重みメモリ２６の読
み出しアドレスＳＡＤＲをクリアして、変数jを０にセ
ットする。その後、ステップ２０４に移行して、累積レ
ジスタ３２の値をクリアし、ニューロン出力値メモリ２
４の読み出しアドレスＮＡＤＲを０に設定する。

【００７９】次のステップ２０６では、現在のシナプス
接続重みメモリ２６の読み出しアドレスＳＡＤＲに格納
されたシナプス接続重みＷ_jiを読み出し、次のステップ
２０８では、現在のニューロン出力値メモリ２４のバン
クＡのアドレスから読み出しアドレスＮＡＤＲに格納さ
れた誤差信号δ_jを読み出す。

【００８０】ステップ２１０では、読み出したシナプス
接続重みＷ_jiと誤差信号δ_jとを乗算器２８によって乗
算する。得られた乗算結果を加算器３０によって現在累
積レジスタ３２に保存されている値と加算して、累積レ
ジスタ３２に保存する。

【００８１】次のステップ２１２では、割り当てられた
ニューロン数分、すなわち、Ｔ回、積和演算を行ったか
を判断する。Ｔ回、積和演算を行っていないと判断され
た場合は、ステップ２１８に移行し、シナプス接続重み
メモリ２６のアドレスＳＡＤＲをシナプス数レジスタ４
０に記憶された値、すなわちＳ分加算し、ニューロン出
力値メモリ２４の読み出しアドレスＮＡＤＲをインクリ
メントしてから、ステップ２０６に戻り、上述した処理
を繰り返す。

【００８２】ステップ２１２において、Ｔ回、積和演算
を行っていると判断された場合は、ステップ２１４に移
行し、累積レジスタ３２保存されたデータをローカルバ
スインターフェイス２０に出力しローカルバス１８を介
してマスターノード１２に出力する。

【００８３】次のステップ２１６では、マスターノード
１２から次のニューロンの誤差信号演算指示の入力まで
待機する。誤差信号演算指示の入力が有ると判断される
と、ステップ２２２に移行し、ニューロン番号ｊ及びシ
ナプス接続重みメモリ２６のアドレスＳＡＤＲをインク
リメントしてから、ステップ１０４に戻り、上述した処
理を繰り返す。また、リセット信号が入力されると、ス
テップ２０２に戻り、上述した処理を繰り返す。

【００８４】以上のように演算ユニット１０₁〜１０_xは
マスターノード１２からの誤差信号演算開始信号を受け
取るたびにニューロンｊから順に誤差信号演算を行う。
マスターノード１２からのリセット信号を受け取ると、
制御回路２２内のシナプス接続重みメモリ２６の読み出
しアドレスがクリアされ、再びニューロンｊから誤差信
号演算を行う。

【００８５】次に、上記構成の情報処理装置によるシナ
プス接続重みの更新処理ルーチンについて図８のフロー
チャートを参照して説明する。ここでも説明のため、１
つのニューロンが持つシナプス数をＳとし、１つの演算
ユニットに割り当てられたニューロン数をＴとする。

【００８６】このシナプス接続重みの更新処理は、マス
ターノード１２から接続重み更新信号が送られると開始
される。なお、ｊ番目のニューロンの学習開始時には、
マスターノード１２からニューロンｊの誤差信号と学習
係数の積が与えられ、学習係数レジスタ４４に保存され
る。

【００８７】マスターノード１２から接続重み更新信号
が送られると、まず、ステップ３００では、全ての演算
ユニット１０₁〜１０_xのニューロン出力値メモリ２４の
バンクＡ、シナプス接続重みメモリ２６、シナプス数レ
ジスタ４０、及び、ニューロン数レジスタ４２に、上記
ニューロン演算で設定した値と同じ値を設定する。

【００８８】次のステップ３０１で、マスターノード１
２からのリセット信号を受け取ると、ステップ３０２に
移行して、学習回路３６内のシナプス接続重みメモリ２
６の更新アドレスＬＡＤＲをクリアし、変数jを０にセ
ットする。次のステップ３０４では、ニューロン出力値
メモリ２４の読み出しアドレスＮＡＤＲを０に設定す
る。

【００８９】次のステップ３０６では、設定されたシナ
プス接続重みメモリ２６の更新アドレスＬＡＤＲに対応
するアドレスからシナプス接続重みＷ_jiを読み出し、ま
た、ステップ３０８では、ニューロン出力値メモリ２４
の読み出しアドレスＮＡＤＲに対応するアドレスからニ
ューロン出力値Ｙ_jを読み出す。

【００９０】ステップ３１０では、読み出したニューロ
ン出力値Ｙ_jを学習係数レジスタ４４に保存された値
（すなわち、ニューロンｊの誤差信号と学習係数の積）
と積算し、積算結果を読み出したシナプス接続重みＷ_ji
に加算して得られた値を新規の接続重みとして更新し、
次のステップ３１２で、前記設定されたシナプス接続重
みメモリ２６の更新アドレスＬＡＤＲに対応するアドレ
スに書き込む。

【００９１】次のステップ３１４では、１つのニューロ
ンの持つシナプス数の回数、すなわち、Ｓ回、接続重み
の更新を行ったか、すなわち、ニューロン出力値メモリ
２４の読み出しアドレスＮＡＤＲがＳ−１になったかを
判断する。読み出しアドレスＮＡＤＲがＳ−１になって
いないと判断された場合は、ステップ３２０に移行し、
ニューロン出力値メモリ２４の読み出しアドレスＮＡＤ
Ｒ及び学習回路３６内のシナプス接続重みメモリ２６の
更新アドレスＬＡＤＲをインクリメントしてから、ステ
ップ３０６に戻り、上述した処理を繰り返す。

【００９２】読み出しアドレスＮＡＤＲがＳ−１になっ
ていると判断された場合は、ステップ３１５に移行し、
更新終了信号を出力した後、ステップ３１６において、
マスターノード１２から次のニューロンのシナプス接続
重みの更新指示の入力があるまで待機する。

【００９３】シナプス接続重みの更新指示の入力が有る
と判断されると、ステップ３２４に移行し、ニューロン
番号ｊをインクリメントしてから、ステップ３０４に戻
り、上述した処理を繰り返す。またリセット信号が入力
されるとステップ３００に戻り、上述した処理を繰り返
す。

【００９４】以上のように演算ユニット１０₁〜１０_xは
マスターノード１２からの接続重み更新信号を受け取る
たびにニューロンｊから順に接続重み更新を行ってい
く。そしてマスターノード１２からのリセット信号を受
け取った場合、学習回路３６内のシナプス接続重みメモ
リ２６の更新アドレスＬＡＤＲをクリアして、再びニュ
ーロンｊから接続重み更新処理を行う。なお、接続重み
更新処理が終了していない時に、ニューロン演算開始信
号が受信された場合、接続重み更新処理の終了後に、次
のニューロン演算が開始される。

【００９５】また、例えば、ニューロン演算および接続
重み更新処理に使用するシナプス接続重みメモリ２６と
ニューロン出力値メモリ２４がそれぞれ別個のバンクを
持ち、メモリへのアクセスが競合しないような回路構成
で接続重み更新とニューロン演算を並列に動作させるこ
とも可能である。

【００９６】ここで、本実施の形態において、図３に示
した、入力層、隠れ層および出力層からなる３層のパー
セプトロン型のニューラルネットワークの演算を、上記
構成の演算ユニット１０₁〜１０_xに割り当てる方法につ
いて説明する。

【００９７】図３に示した全てのニューロンのニューロ
ン出力値をそれぞれＹ₁〜Ｙ_(n+m+p)、ニューロンｉ（但
し、ｉは任意の正の整数）からニューロンj（但し、ｊ
は任意の正の整数）へのシナプス接続の重みをＷ_jiとす
る。３層のパーセプトロン型のニューラルネットワーク
の演算は、Ｗ_jiを用いて、図９（Ａ）に示すような３×
３のブロックからなる。

【００９８】図９（Ａ）中のＩの領域は入力層から隠れ
層への接続(すなわち、１≦i≦ｎ、ｎ＋１≦ｊ≦ｎ＋
ｍ)を表し、図９（Ａ）中のIIの領域は入力層から隠れ
層への接続(すなわち、ｎ＋１≦i≦ｎ＋ｍ、ｎ＋ｍ＋１
≦ｊ≦ｎ＋ｍ＋ｐ)を表しており、他の領域は接続が無
く(W_ji=0)、計算する必要の無い領域である。

【００９９】本実施の形態におけるニューラルネットワ
ークの計算方法では、IおよびIIの領域で表された計算
すべき接続を、例えば、図９（Ｂ）に示すように、縦方
向に複数分割してｘ個の演算ユニットの全部又は１部に
割り当て、分散処理させる。なお、ここでは説明のた
め、前記計算すべき接続を均等に分割して、全部の演算
ユニット１０₁〜１０_xに、ＩではニューロンをＴ１個ず
つ、IIではニューロンをＴ２個ずつ均等に割り当て、分
散処理させる場合について述べる。

【０１００】すなわち、第１演算ユニット１０₁のシナ
プス接続重みメモリ２６₁にはＩ−１領域の接続重みＷ
_ji(１≦i≦ｎ、ｎ＋１≦ｊ≦ｎ＋Ｔ１)及びII−１領域
の接続重みＷ_ji(ｎ＋１≦i≦ｎ＋ｍ、ｎ＋ｍ＋１≦ｊ≦
ｎ＋ｍ＋Ｔ２)が保存される。また、第２演算ユニット
１０₂のシナプス接続重みメモリ２６₂にはＩ−２領域の
接続重みＷ_ji(１≦i≦ｎ、ｎ＋Ｔ１＋１≦ｊ≦ｎ＋Ｔ１
×２)及びII−２領域の接続重みW_ji(ｎ＋１≦i≦ｎ＋
ｍ、ｎ＋ｍ＋Ｔ２＋１≦ｊ≦ｎ＋ｍ＋Ｔ２＋……)が保
存される。なお、第３演算ユニット１０₃から第ｘ演算
ユニット１０_xまで、同様にして分割された前記計算す
べき接続の１部が保存される。

【０１０１】したがって、ニューロン演算およびシナプ
ス接続重み更新を行う場合は、各演算ユニット１０₁〜
１０_xが並列して入力層から隠れ層への接続を演算し、
その後、各演算ユニット１０₁〜１０_xが並列して隠れ層
から出力層領域への接続を演算することにより出力層の
ニューロン出力値Ｙ_kを得る。なお、入力層から隠れ層
への接続の演算のときには各演算ユニット１０₁〜１０_x
のニューロン出力値メモリ２４には入力層のニューロン
出力値Ｙ_i(１≦ｉ≦ｎ)が保存され、隠れ層から出力層
領域への接続を演算するときには各演算ユニット１０₁
〜１０_xのニューロン出力値メモリ２４には隠れ層のニ
ューロン出力値Ｙ_j(ｎ＋１≦ｊ≦ｎ＋ｍ)が保存され
る。

【０１０２】また、誤差信号演算の場合は、各演算ユニ
ット１０₁〜１０_xのニューロン出力値メモリ２４には、
出力層のニューロンの誤差信号δ_i(ｎ＋ｍ＋１≦ｉ≦ｎ
＋ｍ＋ｐ)が保存される。

【０１０３】ここで、上記のようにニューロン演算が割
り当てられた各演算ユニット１０₁〜１０_xを制御するマ
スターノード１２の制御ルーチンについて、図１０のフ
ローチャートを参照しながら説明する。まず、ステップ
４００において、ホストコンピュータ１６からニューロ
ン演算開始命令が出力されたかを判断し、ニューロン演
算開始命令が出力されたと判断すると、プログラムメモ
リ１４からマスターノード１２の制御プログラムを読み
込み、次のステップ４０２に移行する。ステップ４０２
では、ニューロン演算を行う。

【０１０４】ここで、このニューロン演算について、図
１１のフローチャートを参照しながら説明する。まず、
ステップ５００では、隠れ層のニューロン演算を行うた
めに必要な各種データを書き込み指示とともに送出す
る。すなわち、ホストコンピュータ１６がプログラムメ
モリ１４に書き込んだ入力層のニューロン出力値Ｙ₁〜
Ｙ_nを読み出し、ニューロン出力値メモリ２４のバンク
Ａのアドレス０〜（ｎ−１）とニューロン出力値Ｙ₁〜
Ｙ_n及び、書き込み指示をローカルバス１８に出力す
る。これにより、各演算ユニット１０₁〜１０_xの各ニュ
ーロン出力値メモリ２４のバンクＡのアドレスＮＡＤＲ
０〜（ｎ−１）には入力層のニューロン出力値Ｙ₁〜Ｙ_n
が書き込まれる。

【０１０５】また、各演算ユニット１０₁〜１０_xのシナ
プス数レジスタ４０にＳ＝ｎを設定し、各演算ユニット
１０₁〜１０_xのニューロン数レジスタ４２にＴ１を設定
し、各演算ユニットにＴ１個ずつニューロン番号の小さ
い順にニューロンを割り当てる。さらに、各演算ユニッ
ト１０₁〜１０_xがニューロン出力値メモリ２４のバンク
Ａを用いて演算を行うように各演算ユニット１０₁〜１
０_xを設定する。

【０１０６】全ての設定が終了したら次のステップ５０
２に移行し、ローカルバス１８にニューロン演算開始信
号を送信して隠れ層のニューロン（すなわち、ニューロ
ン番号ｎ＋１〜ニューロン番号ｎ＋ｍ）に関するニュー
ロン演算処理を開始させる。

【０１０７】上述したように、演算開始信号を受信した
各演算ユニット１０₁〜１０_xはそれぞれ割り当てられた
ニューロンの番号の若い順にニューロン演算を開始す
る。これにより、隠れ層のニューロン演算が並列して行
われる。

【０１０８】例えば、第１演算ユニット１０₁はニュー
ロンｎ＋１のニューロン演算を開始し、第２演算ユニッ
ト１０₂はニューロンｎ＋１＋Ｔのニューロン演算を開
始し、…第ｘ演算ユニット１０_xはニューロンｎ＋ｍ−
Ｔ＋１のニューロン演算を開始する。

【０１０９】演算を開始した各演算ユニット１０₁〜１
０_xはそれぞれ上述したニューロン演算処理ルーチンで
記したように、割り当てられたニューロンのニューロン
演算を順次行い、得られた演算結果（ニューロン出力値
Ｙ_j）をローカルバス１８を介して変数ｊの値とともに
他のすべての演算ユニットに送信する。すべての演算ユ
ニットはローカルバス１８を介して外部から送信された
演算結果（ニューロン出力値Ｙ_j）をニューロン出力値
メモリ２４のバンクＢの対応するアドレスｊに格納す
る。

【０１１０】ステップ５０４では、マスターノード１２
もローカルバス１８に送出されたニューロン出力値Ｙ_j
を受信し、プログラムメモリ１４中に確保した領域に保
存する。またこの時、マスターノード１２は、後の学習
演算に用いるための、非線型関数の微分値も受信し、プ
ログラムメモリ１４中に確保した領域に保存する。以上
の処理を、隠れ層のすべてのニューロンのニューロン演
算が終了するまで行う。

【０１１１】すなわち、次のステップ５０６では、全て
の演算ユニット１０₁〜１０_xからニューロン演算の終了
信号を受け取ったかを判断し、受け取っていないと判断
されると、ステップ５０２に戻り、隠れ層のニューロン
演算を継続させ、受け取ったと判断されると、隠れ層の
ニューロン演算が全て終了したと判断してステップ５０
８に移行する。

【０１１２】ステップ５０８では、出力層のニューロン
（ニューロン番号ｎ＋ｍ＋１〜ニューロン番号ｎ＋ｍ＋
ｐ）のニューロン演算を行うために必要な各種設定を行
う。すなわち、隠れ層のニューロン演算が終了した時点
で、各演算ユニット１０₁〜１０_xのニューロン出力値メ
モリ２４のバンクＢのアドレス０〜（ｍ−１）には隠れ
層のニューロン出力Ｙ_n+1〜Ｙ_n+mが格納されている。従
って、各演算ユニット１０₁〜１０_xによるニューロン演
算がニューロン出力値メモリ２４のバンクＢに格納され
たニューロン出力値を用いて行われるように設定する。

【０１１３】また、各演算ユニット１０₁〜１０_xのシナ
プス数レジスタ４０にＳ＝ｍを設定し、各演算ユニット
１０₁〜１０_xのニューロン数レジスタ４２にＴ２を設定
し、各演算ユニットにＴ２個ずつニューロン番号の小さ
い順にニューロンを割り当てる。

【０１１４】全ての設定が終了したら次のステップ５１
０に移行し、ローカルバス１８にニューロン演算開始信
号を送信して出力層のニューロンに関するニューロン演
算処理を開始させる。出力層のニューロン演算は、上述
した隠れ層のニューロン演算の場合と同様に行われ、演
算開始信号を受信した各演算ユニット１０₁〜１０_xはそ
れぞれ割り当てられたニューロンの番号の若い順にニュ
ーロン演算を開始する。これにより、出力層のニューロ
ン演算が並列して行われる。

【０１１５】演算を開始した各演算ユニット１０₁〜１
０_xはそれぞれニューロン演算処理ルーチンの説明で記
したように割り当てられたニューロンのニューロン演算
を順次行い、得られた演算結果（ニューロン出力値
Ｙ_j）をローカルバス１８を介して変数ｊの値とともに
他のすべての演算ユニットに送信する。すべての演算ユ
ニットはローカルバス１８を介して外部から送信された
演算結果（ニューロン出力値Ｙ_j）をニューロン出力値
メモリ２４のバンクＢの対応するアドレスｊに格納す
る。また、マスターノード１２は、ステップ５１２にお
いて、得られた演算結果（ニューロン出力値Ｙ_j）をホ
ストバス１９を介して変数ｊの値とともにホストコンピ
ュータ１６に送信する。以上の処理を、出力層のすべて
のニューロンのニューロン演算が終了するまで行う。

【０１１６】すなわち、次のステップ５１４では、全て
の演算ユニット１０₁〜１０_xからニューロン演算の終了
信号を受け取ったかを判断し、受け取っていないと判断
されると、ステップ５１０に戻り、出力層のニューロン
演算を継続させ、受け取ったと判断されると、出力層の
ニューロン演算が全て終了したと判断してホストコンピ
ュータ１６に演算終了を通知し、本ルーチンを終了す
る。

【０１１７】ステップ４０２のニューロン演算が終了す
ると、引き続きバックプロパゲーションによる学習を行
う。バックプロパゲーションによる学習は、誤差信号演
算処理と接続重み更新処理の２つの処理により実行され
る。まず、ステップ４０４では、ホストコンピュータ１
６から学習開始信号の入力が有るかを判断し、学習開始
信号が入力されたと判断すると、次のステップ４０６に
移行する。

【０１１８】ステップ４０６では、誤差信号の演算を行
う。ここで、誤差信号の演算について、図１２のフロー
チャートを参照しながら説明する。まず、ステップ６０
０では、隠れ層の誤差信号δ_n+1〜δ_n+mの演算を行うた
めに必要な各種データを書き込み指示とともに送出す
る。

【０１１９】すなわち、ホストコンピュータ１６がプロ
グラムメモリ１４に書き込んだ教師信号ｄ_n+m+1 〜ｄ
_n+m+pを読み出し、上記の出力層のニューロン演算で得
られたニューロン出力値Ｙ_n+m+1〜Ｙ_n+m+pと、教師信号
ｄ_n+m+1 〜ｄ_n+m+pとの差の値（すなわち、ｄ_n+m+1−Ｙ
_n+m+1〜ｄ_n+m+p−Ｙ_n+m+p）を、出力層の誤差信号δ_n+
_m+1〜δ_n+m+pとして、ニューロン出力値メモリ２４のバ
ンクＡのアドレス０〜（ｐ−１）及び、書き込み指示と
共に、ローカルバス１８に出力する。これにより、各演
算ユニット１０₁〜１０_xのニューロン出力値メモリ２４
のバンクＡのアドレスＮＡＤＲ０〜（ｐ−１）には出力
層の誤差信号δ_n+m+1〜δ_n+m+pが書き込まれる。

【０１２０】また、各演算ユニット１０₁〜１０_xがニュ
ーロン出力値メモリ２４のバンクＡを用いて演算を行う
ように各演算ユニット１０₁〜１０_xを設定する。さら
に、各演算ユニット１０₁〜１０_xのシナプス数レジスタ
４０にＳ＝ｐを設定し、各演算ユニット１０₁〜１０_xの
ニューロン数レジスタ４２にＴ２を設定し、各演算ユニ
ットにＴ２個ずつニューロン番号の小さい順にニューロ
ンを割り当てる。

【０１２１】全ての設定が終了したらステップ６０２に
移行し、各演算ユニット１０₁〜１０_xから受信した誤差
信号の部分和αを累積加算する変数ＳＵＭ、および受信
した誤差信号の部分和αの数を表す変数ＮＵＭをリセッ
トしてから、ローカルバス１８に誤差信号演算開始信号
を送信する。

【０１２２】次のステップ６０４では、誤差信号演算開
始信号の送信により、上述した各演算ユニット１０₁〜
１０_xによる隠れ層のニューロンの誤差信号の部分和演
算処理ルーチンが開始される。すなわち、上述したよう
に、誤差信号演算開始信号を受信した各演算ユニット１
０₁〜１０_xはそれぞれ割り当てられたニューロンの番号
の若い順に隠れ層のニューロンの誤差信号の部分和演算
を開始する。これにより、隠れ層のニューロンの誤差信
号の部分和演算が並列して行われる。

【０１２３】次のステップ６０６では、各演算ユニット
１０₁〜１０_xから出力された誤差信号の部分和αを受信
したかを判断し、受信したと判断されると、ステップ６
０８に移行して、受信した誤差信号の部分和αを累積加
算し（ＳＵＭ＝ＳＵＭ＋α）、また、受信した誤差信号
演算の部分和αの数をカウントする（ＮＵＭ＝ＮＵＭ＋
１）。

【０１２４】次のステップ６１０では、受信した部分和
αの数が演算を割り当てた演算ユニットの数、すなわち
Ｘ個に達した場合かを判断する。達していないと判断さ
れた場合は、ステップ６０４に戻り、上述した処理を繰
り返す。

【０１２５】一方、受信した部分和αの数がＸ個に達し
たと判断された場合は、ステップ６１２に移行して累積
した誤差信号演算の部分和ＳＵＭをプログラムメモリ１
４中に確保した領域に書き込み、ステップ６１４に移行
する。

【０１２６】ステップ６１４では、隠れ層のすべてのニ
ューロンに関する誤差信号の演算が終了したを判断し、
終了していないと判断された場合は、ステップ６０２に
戻り、上述した処理を繰り返す。また。終了したと判断
された場合は、本ルーチンを終了する。

【０１２７】誤差信号演算が終了したら、図１０のステ
ップ４０８に移行して、引き続きシナプス接続重みの更
新を行う。ここで、シナプス接続重みの更新について、
図１３のフローチャートを参照して説明する。

【０１２８】まず、ステップ７００では、隠れ層のシナ
プス接続重みの更新を行うために必要な各種データを書
き込み指示とともに送出する。すなわち、プログラムメ
モリ１４に保存された入力層のニューロン出力値Ｙ₁〜
Ｙ_nを読み出し、ニューロン出力値メモリ２４のバンク
Ａのアドレス０〜（ｎ−１）とニューロン出力値Ｙ₁〜
Ｙ_n及び、書き込み指示をローカルバス１８に出力す
る。これにより、各演算ユニット１０₁〜１０_xの各ニュ
ーロン出力値メモリ２４のバンクＡのアドレスＮＡＤＲ
０〜（ｎ−１）には上記ニューロン演算によりプログラ
ムメモリ１４に保存された入力層のニューロン出力値Ｙ
₁〜Ｙ_nが書き込まれる。

【０１２９】また、各演算ユニット１０₁〜１０_xのシナ
プス数レジスタ４０にＳ＝ｎを設定し、各演算ユニット
１０₁〜１０_xのニューロン数レジスタ４２にＴ１を設定
し、各演算ユニットにＴ１個ずつニューロン番号の小さ
い順にニューロンを割り当てる。

【０１３０】さらに、各演算ユニット１０₁〜１０_xがニ
ューロン出力値メモリ２４のバンクＡを用いて演算を行
うように各演算ユニット１０₁〜１０_xを設定し、学習回
路３６内のシナプス接続重みメモリ２６の更新アドレス
ＬＡＤＲをクリアする。

【０１３１】演算ユニット１０₁〜１０_xの学習係数レジ
スタ４４にはそれぞれ上述の演算でプログラムメモリ１
４に保存され割り当てられたニューロンに対応する誤差
信号δ_n+m+1〜δ_n+m+pのいずれかと、プログラムメモリ
１４に保存されたそれぞれのニューロンの非線型演算の
微分値、及び予め定められた学習係数の積が設定され
る。マスターノード１２によるこれらの設定はローカル
バス１８を通して行う。

【０１３２】全ての設定が終了したら次のステップ７０
２に移行し、ローカルバス１８に接続重み更新信号を送
信して隠れ層のニューロン（すなわち、ニューロン番号
ｎ＋１〜ニューロン番号ｎ＋ｍ）に関する接続重みの更
新を開始させる。

【０１３３】上述の図８に示すように、シナプス接続重
み更新信号を受信した各演算ユニット１０₁〜１０_xはそ
れぞれ割り当てられたニューロンの番号の若い順に接続
重み更新処理を開始する。これにより、隠れ層のニュー
ロンの接続重み更新処理が並列して行われる。

【０１３４】例えば、第１演算ユニット１０₁はニュー
ロンｎ＋１の接続重み更新処理を開始し、第２演算ユニ
ット１０₂はニューロンｎ＋１＋Ｔ１の接続重み更新処
理を開始し、…第ｘ演算ユニット１０_xはニューロンｎ
＋ｍ−Ｔ１＋１の接続重み更新処理を開始する。

【０１３５】接続重み更新を開始した各演算ユニット１
０₁〜１０_xはそれぞれ上述した接続重み更新処理ルーチ
ンで記したように、割り当てられたニューロンの接続重
み更新処理を順次行い、各演算ユニット内のシナプス接
続重みを更新する。

【０１３６】次のステップ７０４では、マスターノード
１２が更新終了信号を受け取ったかを判断し、受け取っ
ていないと判断されると、ステップ７０２に戻り、シナ
プス接続重み更新処理を継続させ、受け取ったと判断さ
れると、つぎのステップ７０６において、隠れ層の全て
のニューロンのシナプス接続重み更新処理が終了したか
を判断する。

【０１３７】隠れ層の全てのニューロンのシナプス接続
重み更新処理が終了していないと判断された場合は、ス
テップ７２０に移行して、更新終了信号を受け取った演
算ユニットに対して次のニューロンの誤差信号と学習係
数の積を学習係数レジスタ４４に保存し、次のニューロ
ンの接続重み更新指示を出してステップ７０２に戻り、
上述した処理を繰り返す。隠れ層の全てのニューロンの
シナプス接続重み更新処理が終了したと判断された場合
は、ステップ７１０に移行して、出力層のシナプス接続
重みの更新を行うために必要な各種データを書き込み指
示とともに送出する。すなわち、プログラムメモリ１４
に保存された隠れ層のニューロンｎ+１〜ニューロンｎ
＋ｍのニューロン出力値Ｙ_n+1〜Ｙ_n+mを読み出し、ニュ
ーロン出力値メモリ２４のバンクＡのアドレス０〜（ｍ
−１）とニューロン出力値Ｙ_n+1〜Ｙ_n+m及び、書き込み
指示をローカルバス１８に出力する。これにより、各演
算ユニット１０₁〜１０_xの各ニューロン出力値メモリ２
４のバンクＡのアドレスＮＡＤＲ０〜（ｍ−１）には上
記ニューロン演算によりプログラムメモリ１４に保存さ
れた入力層のニューロン出力値Ｙ_n+1〜Ｙ_n+mが書き込ま
れる。

【０１３８】また、各演算ユニット１０₁〜１０_xのシナ
プス数レジスタ４０にＳ＝ｍを設定し、各演算ユニット
１０₁〜１０_xのニューロン数レジスタ４２にＴ２を設定
し、各演算ユニットにＴ２個ずつニューロン番号の小さ
い順にニューロンを割り当てる。

【０１３９】さらに、各演算ユニット１０₁〜１０_xがニ
ューロン出力値メモリ２４のバンクＡを用いて演算を行
うように各演算ユニット１０₁〜１０_xを設定し、学習回
路３６内のシナプス接続重みメモリ２６の更新アドレス
ＬＡＤＲは、それぞれ割り当てられたニューロンのう
ち、最もニューロン番号の小さいニューロンのシナプス
接続重みの先頭のアドレスに設定される。

【０１４０】また、各演算ユニット１０₁〜１０_xの学習
係数レジスタ４４には、それぞれ上述の演算でプログラ
ムメモリ１４に保存され割り当てられたニューロンに対
応する誤差信号δ_n+m+1〜δ_n+m+pのいずれかと、プログ
ラムメモリ１４に保存されたそれぞれのニューロンの非
線型演算の微分値およびあらかじめ定められた学習係数
の積をローカルバス１８を介して設定される。マスター
ノード１２によるこれらの設定はローカルバス１８を通
して行う。

【０１４１】全ての設定が終了したら次のステップ７０
２に移行し、ローカルバス１８に接続重み更新信号を送
信して出力層のニューロン（すなわち、ニューロン番号
ｎ＋ｍ＋１〜ニューロン番号ｎ＋ｍ＋ｐ）に関するシナ
プス接続重みの更新を開始させる。

【０１４２】この出力層のニューロンに関するシナプス
接続重みの更新処理は、上述の隠れ層のニューロンに関
するシナプス接続重みの更新処理と同様であるため、こ
こでは、説明は省略する。

【０１４３】次のステップ７１４では、マスターノード
１２が更新終了信号を受け取ったかを判断し、受け取っ
ていないと判断されると、ステップ７１２に戻り、シナ
プス接続重み更新処理を継続させ、受け取ったと判断さ
れると、つぎのステップ７１６において、出力層の全て
のニューロンのシナプス接続重み更新処理が終了したか
を判断する。

【０１４４】出力層の全てのニューロンのシナプス接続
重み更新処理が終了していないと判断された場合は、ス
テップ７２２に移行して、終了信号を受け取った演算ユ
ニットに対して次のニューロンの誤差信号と学習係数の
積を学習係数レジスタ４４に保存し、次のニューロンの
接続重み更新指示を出してステップ７１２に戻り、上述
した処理を繰り返す。出力層の全てのニューロンのシナ
プス接続重み更新処理が終了したと判断された場合は、
本ルーチンを終了する。

【０１４５】接続重み更新が終了したら、図１０のステ
ップ４１０に移行して、ホストコンピュータ１６に学習
終了信号を送信する。これにより、１回の入力に対する
ニューロン演算およびバックプロパゲーション学習が終
了する。

【０１４６】次のステップ４１２では、ホストコンピュ
ータ１６から新たな入力があるかを判断し、新たな入力
がある場合は、新たな入力に対するニューロン演算およ
びバックプロパゲーション学習を行うために、ステップ
４０２に戻り、上述した処理を繰り返す。新たな入力無
い場合は、本ルーチンを閉じ、ニューロン演算およびバ
ックプロパゲーション学習を終了する。

【０１４７】以上の動作では、各演算ユニット１０₁〜
１０_xにおけるニューロン演算および隠れ層の誤差信号
の演算は各演算ユニット１０₁〜１０_x内のメモリに保存
された値のみを用いた演算を行うため、高速に行うこと
がでる。また各演算ユニット１０₁〜１０_x内からローカ
ルバス１８に送出されるデータ量は１回のニューロンの
演算につき１回の転送、および１回の誤差演算につき、
誤差演算を割り当てた演算ユニットの数だけの部分和の
転送ですむため、ローカルバス１８の帯域が律速となっ
て演算性能が低下する可能性は少ない。

【０１４８】また、以上の演算は任意の数の演算ユニッ
ト１０₁〜１０_xによって並列に実行できるが、この構成
で、各演算ユニット１０₁〜１０_x間の待ち時間を少なく
し演算ユニットを有効に利用するためには、各演算ユニ
ットに割り当てるニューロン数を均等にした方がよい。

【０１４９】また、上記実施の形態では、個々の演算ユ
ニットが一つの半導体チップに形成され、複数の半導体
チップが一つの基板上に実装されている例を示したが、
演算ユニットが半導体チップ内の一つの領域であり、複
数の演算ユニットが一つの半導体チップ内に形成される
構成とすることも可能である。また、演算ユニットが一
つの基板上に形成され、複数の基板がバスを介して結合
される構成ととすることも可能である。

【０１５０】マスターノード１２に関しては、本実施の
形態では演算ユニットとは独立に設けたが、演算ユニッ
ト１０₁〜１０_xのいずれか１つを選択してマスターノー
ド１２の機能を持たせるように構成することも可能であ
る。また、演算するニューロン毎にマスターノード１２
を兼ねる演算ユニットを、演算ユニット自身が自律的に
変える構成とすることも可能である。

【０１５１】さらに、本実施の形態では、非線型演算を
各演算ユニットで行う例を示したが、各演算ユニットに
は非線型演算回路を設けず、各演算ユニットで計算され
た積和値をマスターノード１２に転送し、マスターノー
ド１２で非線型演算を行う構成とすることも可能であ
る。この構成とすれば、各演算ユニットの回路規模を小
さくすることが出来るという効果がある。

【０１５２】本実施の形態では、誤差信号計算を行う隠
れ層は１層のみであるが、２層以上の隠れ層を有する場
合は引き続き各演算ユニットをニューロン出力値メモリ
２４のバンクＢを用いて演算を行うように設定して同様
の計算を行えばよい。

【０１５３】なお、本実施の形態では、マスターノード
１２とホストコンピュータ１６を別々の装置により構成
したが、ホストコンピュータ１６がマスターノード１２
を兼ねる等のように１つの装置により構成することも可
能である。また、マスターノード１２とプログラムメモ
リ１４を別々により構成したが、プログラムメモリ１４
がマスターノード１２に含まれた構成とすることも可能
である。

【０１５４】また、演算ユニットが一つの加算器３０お
よび一つの乗算器２８を持つ場合について説明したが、
演算器が複数あり、複数のニューロンに関するニューロ
ン演算を同時に行う構成も可能である。

【０１５５】

【発明の効果】以上説明したように本発明によれば、ニ
ューラルネットワークのニューロン演算およびバックプ
ロパゲーションによる学習を多数の演算ユニットを用い
て並列計算する場合に、ニューロン演算用の演算ユニッ
トと誤差信号計算用の演算ユニットを別個に設ける必要
がなく、しかもシナプス接続重みの更新時にバスの帯域
の消費量が少ない、という効果がある。

【図面の簡単な説明】

【図１】本発明の実施の形態の情報処理装置の概略構
成を示すブロック図である。

【図２】図１に示した演算ユニットの概略構成を示す
ブロック図である。

【図３】本発明の実施の形態の情報処理装置を適用し
たニューラルネットワークの概念図である。

【図４】図４（Ａ）は、ニューロン演算時にニューロ
ン出力値メモリのバンクＡに保存されるニューロン出力
値のメモリマップであり、図４（Ｂ）は、誤差信号演算
時にニューロン出力値メモリのバンクＡに保存される誤
差信号のメモリマップである。

【図５】シナプス接続重みメモリに保存されるシナプ
ス接続重みのメモリマップである。

【図６】本実施の形態の情報処理装置によるニューロ
ン演算処理ルーチンである。

【図７】本実施の形態の情報処理装置による誤差信号
の部分和演算処理ルーチンである。

【図８】本実施の形態の情報処理装置によるシナプス
接続重みの更新処理ルーチンである。

【図９】本実施の形態の情報処理装置に適用した３層
のパーセプトロン型のニューラルネットワークの演算を
行列で表現した説明図である。

【図１０】図１に示したマスターノードの制御ルーチ
ンである。

【図１１】図１０のニューロン演算についてのフロー
チャートである。

【図１２】図１０の誤差信号の演算についてのフロー
チャートである。

【図１３】図１０の接続重み更新についてのフローチ
ャートである。

【図１４】従来のニューラルネットを適用した情報処
理装置の概略構成を示すブロック図である。

【符号の説明】

０アドレス１０₁〜１０_x 演算ユニット（演算要素）１２マスターノード（誤差信号生成手段）１４プログラムメモリ１６ホストコンピュータ１８ローカルバス１９ホストバス２０ローカルバスインターフェイス２２制御回路２４ニューロン出力値メモリ（データ保存メモリ）２６シナプス接続重みメモリ（シナプス接続重み保存
メモリ）２８乗算器（積和演算手段）３０加算器（積和演算手段）３２累積レジスタ（積和演算手段）３４非線型演算回路３６学習回路（接続重み更新手段）４０シナプス数レジスタ４２ニューロン数レジスタ４４学習係数レジスタ

Claims

【特許請求の範囲】

【請求項１】少なくとも１つ以上の伝送路で接続さ
れ、ニューラルネットワークを構成する複数のニューロ
ンのうちの所定数のニューロンがそれぞれ割り当てられ
た複数の演算要素によって並列にニューロン演算を行う
ニューラルネットワーク演算装置であって、前記複数の演算要素の各々は、１つのニューロンが持つ全てのシナプスのシナプス接続
重みを、割り当てられた所定数のニューロン分保存する
シナプス接続重み保存メモリと、ニューロン演算時には、前記所定数のニューロンを順次
選択すると共に、該選択したニューロンのシナプスを順
次選択して、選択したシナプスのシナプス接続重みと該
シナプスと接続されたニューロンのニューロン出力値と
を乗算してニューロン毎に累積加算して出力し、誤差信
号演算時には、特定のニューロンと接続する前記所定数
のニューロンのシナプスを順次選択し、選択されたシナ
プスの接続重みと、該選択されたシナプスを持つニュー
ロンの誤差信号とを乗算して、前記所定数のニューロン
分累積加算し、得られた値を誤差信号の部分和として出
力する積和演算手段と、保存メモリに格納されたシナプス接続重みのうち、選択
したニューロンのシナプス接続重みの各々を与えられた
誤差信号に基いて更新する接続重み更新手段と、を備
え、前記誤差信号の部分和を前記特定のニューロンと接続さ
れた全てのニューロン分累積加算し、得られた値を前記
特定のニューロンの誤差信号として前記特定のニューロ
ンが割り当てられた演算要素に出力する誤差信号生成手
段を更に、備えたニューラルネットワーク演算装置。
【請求項２】前記複数の演算要素の各々には、各々複
数のニューロンから構成され、かつ、ニューラルネット
ワークを構成する複数の演算層の各々を分割して得られ
た前記所定数のニューロンよりなる複数のグループのう
ちの少なくとも１つのグループが割り当てられている請
求項１に記載のニューラルネットワーク演算装置。
【請求項３】前記複数の演算要素の各々には、複数の
ニューロンから構成され、かつ、ニューラルネットワー
クを構成する複数の演算層のうちの演算対象となる演算
層を分割して得られた前記所定数のニューロンよりなる
複数のグループのうちの少なくとも１つのグループが割
り当てられている請求項１に記載のニューラルネットワ
ーク演算装置。
【請求項４】前記複数のグループの各々は、グループ
を構成するニューロン数が略同数である請求項２又は請
求項３に記載のニューラルネットワーク演算装置。
【請求項５】前記演算要素は、ニューロン演算時には、少なくとも前記シナプス接続重
み保存に保存されたシナプスと接続するニューロン出力
値が保存され、誤差信号演算時には、少なくとも割り当
てられたグループのニューロン毎に与えられる誤差信号
の少なくとも一方が保存されるデータ保存メモリを備え
た請求項１から請求項４のいずれか１項に記載のニュー
ラルネットワーク演算装置。
【請求項６】前記データ保存メモリは、ニューロン出
力値を保存するニューロン出力値保存メモリと、誤差信
号を保存する誤差信号保存メモリとから構成される請求
項５に記載のニューラルネットワーク演算装置。
【請求項７】データ保存メモリ、又は、ニューロン出
力値保存メモリ及び誤差信号保存メモリの少なくとも一
方は、２つのバンクからなり、一方のバンクには演算に
用いるデータを保存すると共に、他方のバンクには演算
により得られた結果を保存するように設定される請求項
５又は請求項６に記載の記載のニューラルネットワーク
演算装置。
【請求項８】ニューロン演算時に、前記積和演算手段
により累積加算された値を非線型演算し、前記１つのニ
ューロンのニューロン出力値として出力する非線型演算
手段を備えた請求項１から請求項７のいずれか１項に記
載のニューラルネットワーク演算装置。
【請求項９】前記複数の演算要素の少なくとも１つが
誤差信号生成手段を含む請求項１から請求項８のいずれ
か１項に記載の記載のニューラルネットワーク演算装
置。