JP2002259940A - 出力状態判定機能を有する並列ニューラルネットワーク処理システム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】出力の正誤答状態を高い精度で判定する機能を
有し、且つ汎化能力の高い並列ニューラルネットワーク
処理システムを提供する。 【解決手段】第１の多値教師信号を用いて学習させた第
１の多値出力ネットワーク手段と、異なった変換多値教
師信号を用いて学習させた第２の多値出力ネットワーク
手段とを入力に対して並列に接続し、多値第１直接出力
信号と、多値第２変換出力信号との一致状態検出結果或
いは多数決処理結果と、多値第１及び第２直接出力信号
の正誤答推定と、該多値第１直接出力信号とその隣接出
力信号にそれぞれ対応した中間基準出力信号と入力デー
タに対応した中間層多値出力信号との中間層出力距離に
関する最小検出と誤中間層出力距離の判定用スレッショ
ルド比較とを基にした、これらの多値直接出力信号の正
誤答判定を行っている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ネットワークアラ
ーム処理、各種パターン認識、データマイニング及び画
像処理などの分野に適用可能なニューラルネットワーク
において、学習済みのニューラルネットワークを用いて
入力データを処理する際に、学習入力データやテスト入
力データ以外の未知入力データが入力された場合にも、
その出力が正しいか誤りか、即ち正答か誤答か、或いは
不明かを判定することができる出力状態判定機能を有し
た並列ニューラルネットワーク処理システムに関するも
のである。

【０００２】

【従来の技術】従来のニューラルネットワークには、多
層（階層）ニューラルネットワークや相互結合ニューラ
ルネットワークなど種々のニューラルネットワークがあ
る。

【０００３】特に、学習入力データと教師信号とを用い
て、学習させた多層ニューラルネットワークが種々幅広
く実用されている。ここでは、教師付き学習を行う多層
ニューラルネットワークを例にとり、出力状態判定機能
として正答／誤答判定機能を有するニューラルネットワ
ーク手段の従来技術について説明する。また、説明を簡
単にする為に、パターン認識などに於て見られる２値教
師信号を用いて学習させ、２値出力信号を送出させるこ
ととする。

【０００４】先ず、多層ニューラルネットワークの学習
処理の構成について説明する。図２は、３層ニューラル
ネットワークの学習処理の１構成例を示す。Ｎ個のユニ
ットからなる入力層４、Ｐ個のユニットからなる中間層
５及びＭ個のユニットからなる出力層６から構成され
る。

【０００５】多層ニューラルネットワークへの入力デー
タＩは、Ｉ_１、Ｉ_２、．．Ｉ_Ｎの入力データエレメント
を持ったベクトルから構成され、入力端子２を介してそ
れぞれ対応した入力層４のユニットに入力された後、更
に中間層５の各ユニット（隠れユニット）にそれぞれ重
み付けされ出力される。中間層５では、入力層４の各ユ
ニットからの重み付けされた出力の総和を入力とし、ス
レショルド値を差し引いた後、シグモイド関数と呼ばれ
る非線形入出力特性を持った関数を介して出力される。
出力層６においても中間層５と同様な入出力処理が行わ
れた後、各出力層ユニットからそれぞれ対応した出力信
号をスレショルド回路１１を介して２値出力信号に変換
し、２値出力端子３を介してニューラルネットワーク１
の２値出力信号（２値出力信号エレメント、Ｐ_１、
Ｐ_２、．．Ｐ_Ｍ）として送出する。３層以上の多層の際
にも、各層におけるそれぞれのユニットは、入力側の隣
接層の各ユニットの出力信号に重み付けをした後、それ
らの総和を入力として得、更にその入力からスレショル
ド値を差し引いた後、シグモイド関数などを介し出力層
側の隣接層に出力信号を送出する。

【０００６】このような多層ニューラルネットワークの
代表的学習方法としては、例えば、前記文献にも記載さ
れているようにバック・プロパゲーション・アルゴリズ
ムがある。

【０００７】本アルゴリズムを用いた学習過程では、結
合重み係数に対して乱数などを用いて初期値設定した
後、予め用意された２値教師信号Ｔ（教師信号エレメン
ト、Ｔ _１、Ｔ_２、．．Ｔ_Ｍ）と、入力層４に端子２を介
して入力された予め用意された学習入力データに対する
出力層６のユニットからの出力信号との誤差信号を減算
回路１０を介して求め、結合重み係数制御器７に入力す
る。

【０００８】結合重み係数制御器７では、端子１１を介
して入力された各層のユニットからの出力信号と前記誤
差信号とを基に誤差電力を最小にするように各層間の結
合重み係数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の
結合重み係数、Ｗ(2)は中間層と出力層間の結合重み係
数）の修正値を求め、端子１１を介して３層ニューラル
ネットワーク１の各結合重み係数を更新する結合重み係
数適応制御による学習を行うものである。

【０００９】この適応制御による学習をすべての学習入
力データに対して繰り返し、学習過程に於て収束する
（平均出力誤差電力がある既定値以下となる）と、学習
入力データに対するスレショルド回路１２を介して得ら
れた２値出力信号が２値教師信号と同一、即ち、正答な
２値出力信号となる。しかしながら、誤差電力を極小に
するローカルミニマム状態に一旦落ち込むと、全ての学
習入力データに対して所望の２値出力信号が必ずしも得
られず、２値教師信号と異なる２値出力信号、即ち誤答
の２値出力信号を送出する場合が多い。

【００１０】このようにローカルミニマムの状態で収束
した場合には、学習入力データに似たテスト入力データ
を入力した際に、所望の２値出力信号を送出する汎化能
力があまり良くない。また、設定された結合重み係数の
初期値によって正答の出力信号を送出する入力データの
領域、即ち汎化領域が異なり、初期値依存性がある。

【００１１】パターン認識などに於て、このようなロー
カルミニマムに収束した学習済みのニューラルネットワ
ークを用いて、入力データに対して実行処理を行わせる
際に、汎化能力が優れていない場合には、学習入力デー
タに近い入力データに対して正しい２値出力信号が得ら
れず、多くの誤認識が発生する。実用の際には、学習入
力データやテスト入力データ以外の未知入力データが入
力される場合が非常に多いが、これらの多くの未知入力
データを学習させる為に事前に収集することは困難な場
合が多い。

【００１２】従って、未知入力データに対して所望の正
しい２値出力信号が得られているかどうか、即ち正答な
２値出力信号が送出されているかどうかを知る事は、非
常に重要である。正答な２値出力信号が送出されていな
いことが判明した場合には、それらの未知入力データを
収集して、追加学習などを行い、ニューラルネットワー
クの性能を改善し、汎化能力を高め、できるだけ正答な
２値出力信号を多く送出させる。この為には、２値出力
信号の正誤答判定機能を有するニューラルネットワーク
処理システムが必要となる。

【００１３】この正誤答判定機能に関する従来技術とし
て、異なる結合重み係数初期値を設定して学習させた複
数個の学習済みニューラルネットワークを入力に対して
並列に接続し、それらの２値出力信号を多数決処理（多
数投票処理）して入力データに対する汎化能力を改善
し、而も正答判定や誤答判定、或いは判定不明などの正
誤答判定信号を得る並列ニューラルネットワーク処理シ
ステムがある。例えば、D. Sarkar, “Randomness in G
eneralization Ability: A Source to Improve It”, I
EEE Trans. Neural Networks Vol.7, No.3, May 1996,
pp.676-685. 及び中川徹、他 “複数の乱数化ANNを用
いて高信頼なパターン識別とその応用”電子情報通信学
会、信学技報 NC98-155, 1999, 3月などがある。この
従来方式による並列ニューラルネットワーク処理システ
ムの１例を以下に示す。

【００１４】図３に、従来方式による入力データに対す
る正誤答判定或いは不明判定などの正誤答判定信号を送
出する並列ニューラルネットワーク処理システム１４の
１構成例を示す。上述のように、異なった結合重み係数
の初期値を用いてそれぞれ学習済みの第１、第２及び第
３のニューラルネットワーク１５、１８、２１を入力に
対して並列接続している。更に、各単体の前記ニューラ
ルネットワーク１５、１８、２１の出力層６のユニット
からの出力信号はそれぞれスレショルド回路１６、１
９、２２を介して２値出力信号に変換され送出され、３
入力の多数決処理器２４にそれぞれ入力される。ここ
で、第１の２値出力ネットワーク手段１７は、前記第１
の学習済みニューラルネットワーク１５と前記スレショ
ルド回路１６から構成される。同様に、第２及び３の２
値出力ネットワーク手段２０、２３は、前記第２及び第
３の学習済みニューラルネットワーク１８、２１と前記
スレショルド回路１９、２２とからそれぞれ構成されて
いる。

【００１５】前記多数決処理器２４では、前記２値出力
ネットワーク手段からの２値出力信号の内２個以上が一
致すれば、出力状態判定信号として正答判定信号を端子
２７から送出し、同時にその２値出力信号を端子２６か
ら最終出力信号として送出する。また、それ以外の場合
には、不明或いは誤答と見做し、端子２７から誤答判定
信号を出力状態判定信号として出力する。更に、一致／
不一致状況に応じて予め定められた２値出力ネットワー
ク手段からの２値出力信号を並列ニューラルネットワー
ク処理システム１４の最終出力信号として選択送出す
る。

【００１６】このような多数決処理器２４からの多数決
判定に従って正答、或いは誤答の正誤答判定信号を得、
２値出力ネットワーク手段からの２値出力信号を最終的
に選択することから、単体の学習済みニューラルネット
ワーク１５、１８、２１の汎化能力より若干高い汎化能
力を得ることが出来る。しかしながら、異なる結合重み
係数初期値の設定を行ないローカルミニマムに各ニュー
ラルネットワークを収束させ学習済みとして用いること
から、高い汎化能力は得られない欠点と、数百から場合
によっては数千個の数多くの２値出力ニューラルネット
ワーク手段を並列接続する必要があり、非常に複雑とな
る欠点を有している。また、正答率の高い２値出力信号
が得にくく、而も正答／誤答の判定精度も低い欠点があ
る。例えば、正答判定の精度は、８０％程度で飽和して
いる。また、２０％程度が不明判定となっている。

【００１７】ここでは、多数決処理器２４を用いた場合
について説明したが、これに代わり一致検出器を用いる
場合もある。一致検出器を用いた場合には、一致すると
正答と判定することにより、正答判定の精度は改善され
るものの、不明判定や誤答判定が増加する。

【００１８】

【発明が解決しようとする課題】上記の如く構成した従
来の並列ニューラルネットワーク処理システム１４で
は、学習済みニューラルネットワーク１５、１８、２１
は、同一の構造を有した、而も同一の学習アルゴリズム
に対して、それぞれ異なった結合重み係数初期値を用い
て同一の教師信号に対して学習を行っている。従って、
これらのニューラルネットワーク１５、１８、２１が同
一のグローバルミニマムに収束すると、入力データに対
する２値出力信号が正答或いは誤答に関らず殆ど一致し
てしまうことから、それらを並列接続して、入力データ
に対するそれぞれの２値出力信号を多数決処理しても、
正答の場合には全てが正答となり、一方、誤答や不明の
場合は全て同様な状態となることから並列接続と多数決
処理を用いた効果が無い。従って、できるだけ異なった
ローカルミニマムに収束するよう学習させ、それぞれ異
なった、正答の出力信号を送出する入力データの領域、
即ち汎化領域を実現する必要がある。

【００１９】これらの理由から、それぞれ異なりずれた
汎化領域を持たせるには、並列接続される学習済みニュ
ーラルネットワークとして、それぞれ異なるローカルミ
ニマム状態で学習を終了させ使用する必要があり、汎化
能力が余り高くなく、誤った２値出力信号を出しやす
い。従って、入力データに対して出来るだけ正答な最終
２値出力信号を得、而も精度の高い正誤答判定信号を得
る為には、多くの学習済みニューラルネットワークを並
列接続し、多くの２値出力信号の多数決処理をする必要
があり、構成が複雑かつ処理量が増加する欠点がある。
また、正答／誤答或いは不明の判定を、単に多数決処理
のみで行っており、誤った２値出力信号に対してもお互
いに同一な誤りの場合には、検出されることなくそのま
ま正答とみなすなど、入力データに対する正答判断の精
度が低い欠点を持っている。

【００２０】従って、並列接続される学習済みニューラ
ルネットワーク数を多く増加させ多数決処理を行って
も、ローカルミニマムに収束していることから、正答判
定率やその精度に飽和状態が生じ、汎化能力は若干改善
されるもの、正答判定の精度や正答判定率は大幅には改
善されない。特に、単体の学習済みネットワークの汎化
能力が低く、不明判定が多く発生し、正答の判定が低下
すると共にその精度も劣化する。このように、従来の方
式では、高い汎化能力と正答判定率とその精度向上とを
同時に達成させるには限界がある。

【００２１】また、結合重み係数の初期値によって、正
答の出力信号を与える入力データの領域、即ち汎化領域
が異なることを利用しているが、初期値に基づいてどの
程度異なった汎化領域が得られるかは、落ち込むローカ
ルミニマムにより決まり、予め予測出来ない。従って、
実際に種々の初期値を与えニューラルネットワークを学
習させた後、学習済みニューラルネットワークを並列接
続し動作させて、学習済みニューラルネットワークの並
列接続の有効性が初めて評価されるなどの欠点もある。
特に、これらの欠点は、大規模ニューラルネットワーク
では、種々の結合重み係数の初期値を用いてローカルミ
ニマムに収束させる為の学習処理と、テスト入力データ
に対する汎化能力と汎化領域との評価を繰り返し行なう
試行錯誤の作業が必要となる事を意味しており、満足で
きる結果を得るには膨大な作業を要し、実用的でない。

【００２２】本発明の目的は、上記の問題を解決し、従
来の正誤答判定機能を有した並列ニューラルネットワー
ク処理システムなどに比べて、少ない並列度の学習済み
ニューラルネットワークを用いて、高精度な正答判定或
いは誤答判定を送出する正誤答判定信号を得ると共に、
正答判定率の高い正誤答判定機能を有し、単体の学習済
みニューラルネットワークよりも汎化能力が非常に優れ
た並列ニューラルネットワーク処理システムを提供する
ことにある。

【００２３】

【課題を解決するための手段】以下に主な解決手段を示
す。第１の手段として、学習入力データと第１の多値教
師信号とを用いて学習した、中間層からの中間層第１出
力信号と出力層からの第１直接出力信号とを送出する学
習済みニューラルネットワークと、該第１直接出力信号
を多値化し多値第１直接出力信号とを送出する多値スレ
ショルド手段とからなる、第１の多値出力ネットワーク
手段と、該第１の多値教師信号を変換し得られた異なる
変換多値教師信号と前記学習入力データとを用いて学習
した、中間層からの中間層第２出力信号と出力層からの
第２直接出力信号とを送出する学習済みニューラルネッ
トワークと、該第２直接出力信号を多値化し多値第２直
接出力信号とを送出する多値スレショルド手段と、該変
換多値教師信号から前記第１の多値教師信号への逆変換
則を有し、該多値スレショルド手段からの該多値第２直
接出力信号を変換し多値第２変換出力信号を送出する出
力変換手段とからなる、少なくとも１つ以上の第２の多
値出力ネットワーク手段とを、入力に対して並列接続
し、夫々の前記多値出力ネットワーク手段からの前記多
値直接出力信号と隣接関係にある多値隣接出力信号を生
成する２つ以上の隣接出力生成手段と、夫々の前記多値
出力ネットワーク手段の前記入力データに対する前記中
間層出力信号から多値スレショルド手段を介して得た中
間層多値出力信号をもとに、前記多値直接出力信号及び
前記多値隣接出力信号に対応した中間層出力距離を求め
る中間層出力距離計算手段と、夫々の前記多値出力ネッ
トワーク手段の前記中間層出力距離計算手段から得られ
た、前記入力データに対する多値直接出力信号に対応し
た中間層出力距離を少なくとも用いて、前記多値直接出
力信号の出力状態推定を行い出力状態推定信号を送出す
る２つ以上の出力状態推定手段と、前記多値第１直接出
力信号と前記多値第２変換出力信号との間の一致状態検
出し、一致状態検出信号を送出する出力一致検出手段
と、少なくとも、前記多値直接出力信号と前記多値隣接
出力信号にそれぞれ対応した前記中間層出力距離の間の
最小検出と、前記出力状態推定信号と、前記出力一致状
態検出信号とから出力状態判定を行ない、前記多値第１
直接出力信号及び前記一つ以上の多値第２変換出力信号
の何れかを選択する出力状態判定選択処理手段とを少な
くとも具備し構成する。

【００２４】前記中間層出力距離計算手段において、前
記多値教師信号毎に対応した学習コアー入力データを設
け、前記学習コアー入力データを少なくとも用いて学習
させたそれぞれの前記学習済みニューラルネットワーク
の中間層からの、前記学習コアー入力データに対する中
間層出力信号から前記多値スレショルド手段を介して得
られた中間層多値出力信号を中間層基準出力信号とし、
格納記憶し、更に、前記入力データに対する前記多値直
接出力信号及び前記多値隣接出力信号に対応した中間層
出力距離を求める為に、対応した該中間層基準出力信号
をそれぞれ読み出す中間層基準出力記憶手段を少なくと
も具備する解決手段１から構成する。

【００２５】正答な前記多値直接出力信号を送出する、
前記教師信号毎のテスト入力データに対する該多値直接
出力信号に対応した中間層出力距離から、平均値と標準
偏差を求め、該多値直接出力信号に対応した推定用出力
距離スレショルドの一部として格納記憶し、前記入力デ
ータに対する前記多値直接出力信号に対応した中間層出
力距離との比較の為に、前記多値直接出力信号に対応し
た該推定用出力距離スレショルドを読み出し、出力状態
推定を行う解決手段１及び２のいずれかから構成する。

【００２６】正答な前記多値直接出力信号を送出する、
教師信号毎のテスト入力データに於て、前記出力層出力
信号の出力層ユニット毎の正答を与える出力正答余裕を
求め、該出力正答余裕の最大値と最小値とからなる範囲
を示すテスト内領域を得、多値直接出力信号に対応させ
て格納記憶し、前記入力データに対する前記直接出力信
号との比較の為に、前記多値直接出力信号に対応した該
テスト内領域を読み出し、テスト内領域かテスト外領域
かを判定し、テスト領域判定信号として送出するテスト
領域判定手段をそれぞれの前記多値出力ネットワーク手
段毎に具備し、前記出力状態推定手段に於て、前記多値
直接出力信号に対応した前記テスト領域判定信号を用い
て、対応した出力状態推定をする解決手段１から３のい
ずれかから構成する。

【００２７】前記出力状態判定選択処理手段に於て、更
に、前記多値直接出力信号及び前記多値隣接出力信号に
それぞれ対応した前記中間層出力距離を与えられた判定
用出力距離スレショルドと比較し、前記出力状態判定を
行う解決手段１から４のいずれかから構成する。

【００２８】前記入力データに対する前記出力状態判定
選択処理手段から送出された出力状態判定信号を判定
し、必要に応じて前記入力データに正しい前記多値教師
信号及び前記変換多値教師信号のいずれかを割当て、前
記学習入力データに追加し、前記学習済みニューラルネ
ットワークの結合重み係数を初期値として追加学習し、
得られた新たな結合重み係数を前記学習済みニューラル
ネットワークに設定し動作させる解決手段１から５のい
ずれかから構成する。

【００２９】

【作用】本発明の高精度の出力状態判定機能を有した並
列ニューラルネットワーク処理システムは、第１の多値
教師信号を用いて学習させた学習済みニューラルネット
ワークを持った第１の多値出力ネットワーク手段と、異
なった変換多値教師信号を用いて学習させた学習済みニ
ューラルネットワークを持った第２の多値出力ネットワ
ーク手段とを入力に対して並列に接続し、第１の多値出
力ネットワーク手段からの多値第１直接出力信号と、出
力変換器を持った第２の多値出力ネットワーク手段から
の多値第２変換出力信号との一致状態検出結果或いは多
数決処理結果と、多値第１及び第２直接出力信号の正誤
答推定と、該多値第１直接出力信号とその隣接出力信号
にそれぞれ対応した中間層基準出力信号と入力データに
対応した中間層多値出力信号との中間層出力距離に関す
る最小検出と該中間層出力距離の判定用出力距離スレシ
ョルド比較とを基にした、これらの多値直接出力信号の
正誤答判定を行っている。

【００３０】具体的には、第１の多値出力ネットワーク
手段からの多値第１直接出力信号と並列接続されている
それぞれの第２の多値出力ネットワーク手段からの多値
第２変換出力信号とが一致状態となった場合、それらの
出力推定結果が正答／誤答の異なった出力推定状態或い
は全て誤答の推定状態に対して、多値第１直接出力信号
とその隣接関係にある多値隣接出力にそれぞれ対応した
中間層出力距離を求め、それらの中間層出力距離の最小
検出と、及び多値第２直接出力信号とその隣接関係にあ
る多値隣接出力にそれぞれ対応した中間層出力距離を求
め、それらの中間層出力距離の最小検出とを行ない、そ
の結果と多値第１及び第２直接出力信号に対応したそれ
ぞれの中間層出力距離の判定用出力距離スレショルド比
較とから多値第１及び第２直接出力の正誤答判定を行な
うことにより、非常に精度の高い出力状態判定を行うこ
とができる。

【００３１】ここでは、異なった教師信号を用いてそれ
ぞれのニューラルネットワークを学習入力データに対し
て全て正答出力信号となるよう学習させ、而も非常に高
い汎化特性を実現させると共にそれぞれの汎化領域をず
らし、これらを並列接続している。これによって、多値
第１直接出力信号と各多値第２変換出力信号との一致状
態の割合を増やすと共に、各多値直接出力信号の正確な
正誤答推定とを行なっている。而も多値第２直接出力信
号が正答の場合には、それに対応した中間層距離が、そ
の隣接関係にある多値隣接出力に対応したいずれの中間
層出力距離よりも小さくなること、また、与えられた判
定用出力距離スレショルドより小さくなることを基本的
に利用して、精度の高い正答／誤答判定を行っている。

【００３２】従って、従来方式の並列ニューラルネット
ワーク処理システムに比べて、非常に高精度に且つ安定
な正答／誤答などの出力状態判定が容易に得られ、而も
汎化能力も非常に高くできる。この結果、ネットワーク
障害検出や種々のパターン認識などへの応用の際に、最
終出力信号の出力状態判定信号から、学習済みニューラ
ルネットワークに対する追加学習を必要とする誤答出力
信号を送出する未知入力データ収集が簡単に行う事がで
きる。それらを追加学習させることにより、より高い汎
化能力と非常に高精度な出力状態判定機能を持った並列
ニューラルネットワーク処理システムを簡単に実現出来
る。従って、従来方式のような学習の際の結合重み係数
の初期設定に於ける試行錯誤も不要で、本発明に示す優
れた性能を有し、而も低い並列度を持った並列ニューラ
ルネットワーク処理システムを迅速且つ簡単に設計する
ことが出来る。

【００３３】

【発明の実施の形態】以下に本発明の並列ニューラルネ
ットワーク処理システムの実施形態の１例をあげ、その
構成及びその動作について、詳細に説明する。ここで
は、多値教師信号として、２値教師信号を用いた場合を
例にあげ説明する。

【００３４】本発明の実施形態の並列ニューラルネット
ワーク処理システム４０を図１に示す。２つの学習済み
ニューラルネットワークを並列接続し、２値の異なる教
師信号を用いた構成例を示す。

【００３５】第１の２値教師信号と学習入力データとを
用いて学習させた学習済みニューラルネットワーク４１
とスレショルド回路４２とからなり、２値第１直接出力
信号と第１直接出力信号と第１中間層出力信号とを送出
する第１の２値出力ネットワーク手段４３と、前記第１
の２値教師信号をコード変換して得た２値変換教師信号
と前記学習入力データとを用いて学習させた学習済みニ
ューラルネットワーク４４とスレショルド回路４５と出
力変換器４６とからなり、２値第２直接出力信号と２値
第２変換出力信号と第２直接出力信号と第２中間層出力
信号とを送出する第２の２値出力ネットワーク手段４７
とを、入力データに対して並列に接続し、中間層基準出
力信号を検出し格納記憶する中間層基準出力メモリ４
９、５０と、中間層出力距離を求めるハミング距離計算
器５３、５４と、テスト内領域を求め格納記憶するテス
ト領域判定器５７、５８と、前記２値第１直接出力信号
と前記２値第２変換出力信号との間の一致状態を検出す
る出力一致検出器４８と、出力が正答か誤答か出力状態
推定する出力状態推定器５５、５６と、前記２値第１直
接出力信号と隣接関係にある２値第１隣接出力信号を生
成する隣接出力生成器５９と、前記スレショルド回路４
５からの２値第２直接出力信号と隣接関係にある２値第
２隣接出力信号を生成する隣接出力生成器６０と、出力
状態判定を行ない出力状態判定信号を送出し、前記２値
第１直接出力信号か前記２値第２変換出力信号かのいず
れかを最終出力信号として選択送出する出力状態判定選
択処理器６１とから構成される。

【００３６】ここで、前記学習済みニューラルネットワ
ーク４１及び４４は、図１に示すように入力層４、中間
層５及び出力層６の３層を持ち、同一構成である。前記
スレショルド回路４２は、前記学習済みニューラルネッ
トワーク４１の出力層６のユニット出力信号を２値化し
た２値第１直接出力信号として前記出力一致検出器４
８、前記隣接出力生成器５９、前記出力状態判定選択処
理器６１、前記中間層基準出力メモリ４９及びテスト領
域判定器５７へそれぞれ送出する。前記スレショルド回
路４５も、同様に前記学習済みニューラルネットワーク
４４の出力層６のユニット出力信号を２値化し２値第２
直接出力信号として前記隣接出力生成器６０、前記出力
変換器４６、前記中間層基準出力メモリ５０及びテスト
領域判定器５８へそれぞれ送出する。前記スレショルド
回路５１、５２は、入力データに対する前記学習済みニ
ューラルネットワーク４１、４４のそれぞれの中間層５
から送出される中間層出力信号を２値化し、中間層２値
第１及び第２出力信号として前記ハミング距離計算器５
３及び前記中間層基準出力メモリ４９、５０にそれぞれ
送出する。

【００３７】前記出力変換器４６は、前記第２のネット
ワーク手段４７の２値変換教師信号を前記第１のネット
ワーク手段４３の２値教師信号へ逆変換する変換則を有
し、前記２値第２直接出力信号を変換し、前記２値第２
変換出力信号として第２のネットワーク手段４７から送
出し、前記出力一致検出器４８及び前記出力状態判定選
択処理器６１へ入力する。

【００３８】前記出力一致検出器４８は、前記第１及び
第２のネットワーク手段４３、４７からそれぞれ送出さ
れた前記２値第１直接出力信号と前記２値第２変換出力
信号とを比較し、一致状態を検出すると一致状態検出信
号を前記出力状態推定器５５、５６及び前記出力状態判
定選択処理器６１へそれぞれ送出する。

【００３９】前記隣接出力生成器５９は、前記２値第１
直接出力信号を用いて、予め指定されたハミング距離以
内で離れた隣接関係にある前記２値第１隣接出力信号を
生成し、前記中間層基準出力メモリ４９に送出する。一
方、前記隣接出力生成器６０は、該隣接出力生成器５９
と同一の機能を有し、前記２値第２直接出力信号を用い
て、該ハミング距離以内で離れた隣接関係にある前記２
値第２隣接出力信号を生成する。これらの２値隣接出力
信号は前記中間層基準出力メモリ４９、５０にそれぞれ
送出する。

【００４０】前記中間層基準出力メモリ４９、５０は、
学習処理が完了した段階で、前記学習入力データに対応
したそれぞれの前記中間層２値第１及び第２出力信号
を、分類カテゴリに対応した前記２値教師信号毎、及び
前記２値変換教師信号毎に、それぞれ前記中間層基準出
力信号として格納記憶する。更に、実行処理時には、前
記入力データに対する２値第１及び第２直接出力信号、
更にはそれぞれに対応した前記２値隣接出力信号とを用
いて、格納されている該中間層基準出力信号をそれぞれ
検索し読み出し、前記入力データに対応したそれぞれの
前記中間層２値出力信号と該中間層基準出力信号との間
の中間層出力距離を計算する為に、該中間層基準出力信
号を前記ハミング距離計算器５３、５２にそれぞれ送出
する。尚、ここでは、前記学習入力データに対応した前
記２値第２直接出力信号を用いて、前記中間層基準出力
信号の格納記憶を行ない、一方、前記入力データに対応
した前記２値第２直接出力信号を用いて読み出しを行っ
ているが、それぞれ出力変換器４６からの２値第２変換
出力信号を用いて格納記憶や読み出しを行ってもよい。

【００４１】前記ハミング距離計算器５３、５４は、前
記スレショルド回路５１、５２からの前記入力データに
対する前記中間層２値出力信号と、前記２値直接出力信
号及びそれに対応した前記２値隣接出力信号を用いて前
記中間層基準出力メモリ４９、５０から読み出されたそ
れぞれの前記中間層基準出力信号との間のハミング距離
を求め、前記中間層出力距離として、前記出力状態推定
器５５、５６及び前記出力状態判定選択処理器６１にそ
れぞれ送出する。前記中間層出力距離は、２値直接出力
信号の正誤答推定及び正誤答判定に於て用いられる。一
般に、２値直接出力信号が正答の場合は、中間層出力距
離のハミング距離は小さく、誤答の場合はこの距離が大
きい傾向にある。従って、前記出力状態推定器５５、５
６及び前記出力状態判定選択処理器６１に於て、与えら
れた出力距離スレショルドと比較することにより、それ
ぞれ正誤答の推定や判定に利用出来る。

【００４２】ここで、前記２値空間に於けるハミング距
離計算器５３、５４の代わりに、多値空間での距離を求
めるリー距離計算器や連続値の間での距離を求めるユー
クリッド距離計算器をそれぞれの空間で用いてもよい。

【００４３】例えば、ユークリッド距離の場合には、前
記スレショルド回路５１、５２を介さず学習入力データ
に対応した中間層出力信号をそのまま中間層基準出力信
号として、前記中間層基準出力メモリ４９、５０に予め
格納記憶し、これらを入力データに対応した２値第１及
び第２直接出力信号を基にそれぞれ読み出し、前記入力
データに対する中間層出力信号とのユニット毎の差の絶
対値或いはその二乗を全ユニットに渡り加算して中間層
出力距離として用いても良い。

【００４４】前記テスト領域判定器５７、５８は、学習
済みニューラルネットワーク４１、４４のテスト処理時
に、テスト入力データを用いて、分類カテゴリに対応し
た前記第１のネットワーク手段４３の２値教師信号毎、
及び前記第２のネットワーク手段４７の２値変換教師信
号毎に、テスト内領域を求め格納記憶する。具体的に
は、前記２値出力ネットワーク手段４３、４７のテスト
入力データに対する汎化能力を評価する際に、正答の２
値直接出力信号を送出するテスト入力データに対して、
前記学習済みニューラルネットワーク４１、４４の出力
層６からの直接出力信号のユニット毎の出力正答余裕
（即ち、正答な直接出力信号に於ける、前記スレショル
ド回路４２、４５のスレショルド値とユニット出力信号
との差の絶対値）を求め、その最小値と最大値の範囲を
前記テスト内領域とする。これをそれぞれ前記２値教師
信号に対応させてテスト領域判定器５７、５８にそれぞ
れ格納記憶しておく。テスト内領域以外をテスト外領域
とする。尚、ここでは、テスト内領域として、ユニット
毎の出力正答余裕の最大及び最小値を用いているが、全
ユニット間での最大及び最小値を用いても良い。

【００４５】更に、実行処理時に、前記入力データに対
応した２値第１及び第２直接出力信号を用いてそれぞれ
前記テスト内領域を読み出すと共に、対応した直接出力
信号に対して、各ユニット毎の出力正答余裕をそれぞれ
求め、該テスト内領域とそれぞれ比較し、ユニット毎の
該直接出力信号が全て該テスト内領域内であれば、テス
ト内領域判定、それ以外をテスト外領域判定とするテス
ト領域判定信号を前記出力状態推定器５５、５６へそれ
ぞれ送出する。前記入力データに対する直接出力信号が
テスト外領域判定されると、その入力データに対応した
２値直接出力信号は、誤答の可能性が高い未知入力デー
タと見做される。この情報を基に判定用出力距離スレシ
ョルドの値を、例えば、後述の表１の条件３、４、７よ
うに切り替える。

【００４６】前記出力状態推定器５５、５６は、前記テ
スト領域判定器５７、５８、及び前記ハミング距離計算
器５３、５４、更に前記出力一致検出器４８とからそれ
ぞれ入力された、前記テスト領域判定信号と前記２値直
接出力信号に対応した中間層出力距離と前記一致状態検
出信号とを用いて、前記第１のネットワーク手段４３か
らの前記２値第１直接出力信号、及び前記第２のネット
ワーク手段４７からの前記２値第２直接出力信号が、夫
々正答か誤答かの出力状態を推定する出力状態推定信号
を前記出力状態判定選択処理器６１にそれぞれ送出す
る。

【００４７】即ち、それぞれ接続されているテスト領域
判定器５７、５８からのそれぞれの前記テスト領域判定
信号と、前記出力一致検出器４８からの前記２値第１直
接出力信号と前記２値第２変換出力信号との間の一致状
態検出信号とを基に、予め記憶されている前記推定用出
力距離スレショルドを選択設定し、前記ハミング距離計
算器５３、５４からの前記中間層出力距離と比較した結
果により、前記２値出力ネットワーク手段４３、４７か
らのそれぞれの前記２値第１及び第２直接出力信号の出
力状態推定としての正答／誤答をそれぞれ個別に推定
し、前記出力状態判定選択処理器６１に出力状態推定信
号をそれぞれを送出する。

【００４８】設定された前記推定用出力距離スレショル
ドと該中間層出力距離とを比較し、小さければ正答、大
きければ誤答と基本的に推定する。ここで、該テスト領
域判定信号がテスト内領域ならば、テスト外領域の場合
よりも正答である可能性が高いことから、テスト外領域
の場合よりも若干大きい該推定用出力距離スレショルド
を準備する。また、該一致状態検出信号が一致状態を示
しておれば、正答である可能性が比較的高い為、不一致
状態の場合よりも大きい推定用出力距離スレショルドを
準備する。このような推定用出力距離スレショルドとの
比較により、２値直接出力信号に対して精度の高い正誤
答推定を行うことが出来る。

【００４９】前記出力状態判定選択処理器６１は、前記
出力一致検出器４８からの前記一致状態検出信号に於
て、前記２値第１直接出力信号と前記２値第２変換出力
信号との間の一致状態が検出された場合には、前記出力
状態推定器５５、５６を介して得られた前記２値直接出
力信号のそれぞれの正誤答出力推定と、前記ハミング距
離計算器５３を介して得られた、前記２値第１直接出力
信号とその隣接関係の２値第１隣接出力信号とにそれぞ
れ対応した中間層基準出力と前記入力データに対応した
前記中間層２値出力信号との間のハミング距離からなる
中間層出力距離の間での最小検出と、同様に前記ハミン
グ距離計算器５４を介して得られた、前記２値第２直接
出力信号とその隣接関係の２値第２隣接出力信号にそれ
ぞれ対応した中間層基準出力と前記入力データに対応し
た前記中間層２値出力信号との間のハミング距離からな
る中間層出力距離の間での最小検出と、更に前記２値第
１及び第２直接出力信号にそれぞれ対応した中間層出力
距離の判定用出力距離スレショルド比較とを基に、最終
的な出力状態判定としての正誤答判定を行なう。尚、判
定用出力距離スレショルドを予め準備記憶しておく。

【００５０】更に、前記第１のネットワーク手段４３か
らの前記２値第１直接出力信号か、前記第２のネットワ
ーク手段４７からの前記２値第２変換出力信号かの何れ
かを最終出力信号として選択する。その後、端子２６か
ら並列ニューラルネットワーク処理システム４０の前記
最終出力信号を送出し、併せて、それに対応した前記出
力状態判定信号としての正誤答判定信号を端子２７から
送出する。

【００５１】一方、前記２値第１直接出力信号と前記２
値第２変換出力信号との間の不一致状態が検出された場
合には、後述の表２に示す正誤判定処理によって、或い
は特願２０００−０６０８４９（平成１２年３月６日）
に示されている正誤答判定処理によって、正誤答判定を
行ない出力状態判定信号として送出する。

【００５２】以下、これらの動作について詳細に説明す
る。前記第１のネットワーク手段４３は、図２に示す構
成の下に、端子８の第１の２値教師信号と端子２の前記
学習入力データとを用いてバックプロパゲーション法或
いは誤差摂動型バックプロパゲーション法（特願平７−
７７１６８、特開平８−２４９３０４）などにより学習
させた前記学習済みニューラルネットワーク４１を用
い、その出力層６の直接出力信号を前記スレショルド回
路４２を介して２値化し、その２値出力信号を前記２値
第１直接出力信号として送出する。

【００５３】特に、誤差摂動型バックプロパゲーション
法を用いた場合には、３層ニューラルネットワークをグ
ローバルミニマム状態に簡単に収束させることができ、
而も前記学習入力データに対して全て正答の２値第１直
接出力信号を得ることが出来る。

【００５４】また、前記第２の２値出力ネットワーク手
段４７では、図２に示すように端子８の前記第１の２値
教師信号から教師信号コード変換器１３を介して得られ
た前記２値変換教師信号をスイッチ回路９を介して前記
減算器１０に入力し、端子２の学習入力データに対して
学習させることにより、同様に全て正答の前記２値第２
直接出力信号を得ることが出来、前記学習済みニューラ
ルネットワーク４４として用いる。

【００５５】ここで、学習済みニューラルネットワーク
４１、４４を得る際に、前記学習入力データと分類カテ
ゴリとしての教師信号の対応づけに於て、２値教師信号
毎に代表的な特徴を示している入力データや発生頻度の
高い入力データを学習コアー入力データとして少なくと
も準備する。このような学習コアー入力データを用いて
学習させる。

【００５６】更に、学習処理が完了した際に、前記学習
コアー入力データに対する前記学習済みニューラルネッ
トワーク４１及び４４の中間層５からの中間層出力信号
を送出し、前記スレショルド回路５１、５２を介してそ
れぞれ前記中間層２値出力信号に変換し、これらを前記
中間層基準出力信号として、それぞれの前記中間層基準
出力メモリ４９及び５０に予め格納記憶しておく。この
時、前記スレショルド回路４２及び４５からの各前記２
値直接出力信号を用いて、それぞれ格納記憶する。

【００５７】これらの前記学習済みニューラルネットワ
ーク４１及び４４は、それぞれ前記第１の２値教師信号
及び前記２値変換教師信号を用いることから、全て正答
な２値直接出力信号を送出する異なった状態に簡単に収
束させることができる。従って、前記第１及び第２のネ
ットワーク手段４３、４７からの前記２値第１及び第２
直接出力信号は、前記学習入力データに対して、全て正
答となることから、前記２値第１直接出力信号と前記２
値第２変換出力信号とは全て一致する。更に、これらの
前記学習済みニューラルネットワーク４１、４４は学習
アルゴリズムとニューラルネットワークの構造が同一で
あることから殆ど同様の非常に高い汎化能力が簡単に得
られる。

【００５８】従って、正答な２値直接出力信号を送出す
る入力データ領域、即ち汎化領域は広く、而も一部異な
り互いにずれている。この為、未知入力データに対し
て、前記２値第１直接出力信号と前記２値第２変換出力
信号とは、殆ど同一となるが、前記のずれている領域で
は同一とはならず、何れかが正答となる。この正答な２
値出力信号を正答判定信号により選択出力することとな
る。

【００５９】尚、前記学習済みニューラルネットワーク
４１及び４４の結合重み係数として、同一或いはそれぞ
れ異なった結合重み係数初期値を設定して学習させる
が、それぞれ異なった初期値設定を行った場合には、汎
化能力の差は殆どないが、汎化領域はより大きくずれた
領域を持つ。従って、本発明に於ては、正誤答判定信号
が正しい場合には、汎化特性を改善出来る。

【００６０】次に、入力データに対して実行処理を行っ
た際の前記出力一致検出器４８と前記出力状態判定選択
処理器６１の動作について説明する。

【００６１】前記出力一致検出器４８では、前記２値第
１直接出力信号と前記２値第２変換出力信号とが一致し
た場合には、これらが共に正答となる場合が殆どであ
る。しかしながら、発生率は非常に低いものの誤答であ
るがお互いに一致する場合も発生する。従来技術では、
前述したように多数決処理によりこの一致した場合だけ
を検出し、それらを常に正答と単純に判定していること
から、正誤答判定の精度が余り高くない。本発明では、
一致状態だけでなく、前記２値直接出力信号と前記２値
隣接出力信号にそれぞれ対応した中間層出力距離の間で
の最小検出と正誤答推定結果とを組み合わせ判定してい
ることから、その精度が非常に高くなる。

【００６２】前記出力状態判定選択処理器６１では、前
記２値第１直接出力信号と前記２値第２変換出力信号と
が一致しているにも係らず、出力誤りが発生している場
合に於ても、正確な出力状態判定を行うことができる。

【００６３】特に、前記２値第１及び第２直接出力信号
が誤答の場合、それらからハミング距離が１或いは２の
比較的小さい距離内の前記２値第１及び第２隣接出力信
号の中に正答な２値出力信号が存在している場合が殆ど
であり、その確率は高い。従って、前記２値直接出力信
号とそれに対応した前記２値隣接出力信号の何れが正答
であるかをそれぞれの中間層出力距離の最小検出により
調べることにより、前記２値直接出力信号の正誤答の状
況を知ることが出来、正誤答判定精度を改善出来る。ま
た、前記２値第１直接出力信号及び前記第２直接出力信
号に対応したそれぞれの中間層出力距離をそれぞれ与え
られた判定用出力距離スレショルドと比較することによ
り、更に一段と正誤答判定精度を高めることが出来る。

【００６４】従って、前記出力状態推定と前記２値第１
直接出力信号と前記２値第２変換出力信号との一致状態
検出と、前記２値第１及び第２直接出力信号の正誤答推
定と、前記２値第１直接出力信号及び前記２値第１隣接
出力信号に対応したそれぞれの中間層出力距離の間の最
小検出と、前記２値第１直接出力信号及び前記第２直接
出力信号に対応したそれぞれの中間層出力距離の判定用
出力距離スレショルド比較とを利用した出力状態判定処
理を行う。

【００６５】上記に説明した前記２値第１直接出力信号
と前記２値第２変換出力信号とが一致した場合に於ける
出力状態判定処理の一アルゴリズム例を表１示す。

【００６６】

【表１】

【００６７】前記２値第１直接出力信号と前記２値第２
変換出力信号が、一致した状態にあれば、両直接出力信
号とも正答か、或いは誤答であり、正答の確率は比較的
高い。特に、前記２値第１直接出力信号と前記２値第２
変換出力信号が一致し、而も両出力推定結果とも正答推
定の場合には、非常に高い精度で正答となる。

【００６８】一方、両方とも誤答推定の場合、両直接出
力信号が正答であることは、非常に稀であることから、
２値第１直接出力信号に対応した中間層出力距離が、与
えられた判定用出力距離スレショルドTH3より小さく、
而もその隣接出力信号に対応した中間層出力距離より小
さく、最小であり、同時に２値第２直接出力信号に対応
した中間層出力距離も与えられた判定用出力距離スレシ
ョルドTH4より小さく、且つその隣接出力信号に対応し
た中間層出力距離より小さく、最小となる場合のみ、特
別に出力状態として正答判定とし、このほかの条件下で
は、誤答判定とする。

【００６９】また、前記２値第１及び第２直接出力信号
の出力推定結果が互いに異なっている場合、前記２値第
１直接出力信号と前記２値第２変換出力信号が一致して
いる状況下では、基本的に正答である確率が比較的高い
ことから、前記２値第１直接出力信号に対応した中間層
出力距離が、与えられた判定用出力距離スレショルドTH
1より大きく、而もその隣接出力に対応した中間層出力
距離のいずれかよりも大きい、即ち最小でなく、また同
時に前記２値第１直接出力信号に対応した中間層出力距
離が、与えられた判定用出力距離スレショルドTH2より
大きく、而もその隣接出力に対応した中間層出力距離の
いずれかよりも大きい場合には、両直接出力信号は誤答
である可能性が大である。従って、前記２値直接出力信
号を誤答判定とする。この条件以外では、正答判定とす
る。

【００７０】上記に説明した出力状態判定選択処理器６
１に於ける動作を行わせる１構成例を図４に示す。この
構成について、以下簡単に説明する。

【００７１】第１の２値出力ネットワーク手段４３のハ
ミング距離計算器５３及び第２の２値出力ネットワーク
手段４７のハミング距離計算器５４からのそれぞれの前
記中間層出力距離が中間層出力距離分配器７０に入力さ
れ、これら中間層出力距離を最小中間層出力距離検出器
７１に送出する。また、前記２値直接出力信号に対応し
た中間層出力距離を出力距離スレショルド比較器７２に
送出する。

【００７２】該最小中間層出力距離検出器７１では、こ
れら中間層出力距離の内、２値直接出力信号に対応した
中間層出力距離が最小であるかどうかを検出し最小検出
信号を正誤答判定／出力選択器７３へ送出する。該出力
距離スレショルド比較器７２では、該２値直接出力信号
に対応した中間層出力距離とそれぞれの出力距離スレシ
ョルドとの比較を行ない、その結果を該正誤答判定／出
力選択器７３へ送出する。

【００７３】該正誤答判定／出力選択器７３では、上記
の入力以外に前記第１の２値出力ネットワーク手段４３
からの前記２値第１直接出力信号と前記第２の２値出力
ネットワーク手段４７からの前記２値第２変換出力信号
とが入力され、更に前記出力一致検出器４８からの一致
状態検出信号が入力される。該一致状態検出信号に於
て、前記２値第１直接出力信号と前記２値第２変換出力
信号とが一致状態の場合、表１の方法で正誤答判定を行
ないその結果を出力状態信号として端子２７から送出す
る。また、前記２値第１直接出力信号を最終出力信号と
して端子２６から送出する。一方、前記２値第１直接出
力信号と前記２値第２変換出力信号とが不一致状態の場
合には、後述の表２の方法に従って出力状態判定信号を
最終出力信号をそれぞれ端子２７及び２６から送出す
る。

【００７４】ここで、不一致状態の場合に、表２に示す
ように推定結果の論理和による正誤答判定処理を行う
が、正誤答判定精度を従来方式より改善できる。

【００７５】不一致状態の場合に更に高い正誤答判定を
行う為には、特願２０００−０６０８４９（平成１２年
３月６日）に示されている正誤答判定処理によって、正
誤答判定処理を行ってもよい。

【００７６】

【表２】

【００７７】従来技術では、多数決処理或いは一致状態
検出処理を満足すれば、正答、満足しなければ誤答と単
純に判定している為に、正誤答判定の精度が然程高くな
い。

【００７８】本発明では、前記２値第１直接出力信号と
前記２値第２変換出力信号とが一致状態の場合の正誤答
判定処理に於ける判定精度の大幅な改善について明らか
にしたが、不一致状態の場合に関しては、表２のような
出力状態判定処理を行うか、或いは、２値出力ネットワ
ーク手段４３、４７間での２値第１直接出力信号と２値
第２隣接出力信号間の一致状態検出、及び２値第２直接
出力信号と２値第１隣接出力信号間の一致状態検出を利
用した正誤答判定処理（特願２０００−０６０８４９
平成１２年３月６日）に示されている方法を用いてもよ
い。特に、この方法を用いれば、２値第１直接出力信号
と２値第２変換出力信号の不一致状態に於ても、正誤答
判定精度を更に著しく改善できる。

【００７９】以上の説明のように、前記第１及び第２の
ネットワーク手段４３、４７の前記２値直接出力信号に
対応した中間層出力層距離と前記出力正答余裕とを用い
た直接出力信号の出力状態推定としての正誤答推定と、
前記２値第１直接出力信号と前記２値第２変換出力信号
間の一致状態検出と、前記２値直接出力信号及びその２
値隣接出力信号にそれぞれ対応した中間層出力距離の間
での最小検出と、更には与えられた判定用出力距離スレ
ショルドとの比較とによる出力状態判定を行うことによ
り、非常に高い正誤答判定精度を実現することが出来
る。

【００８０】特に、正答判定の場合、そのまま出力信号
をシステムとして利用する場合が多いことから、この正
答判定精度ができる限り高くなることが非常に重要であ
る。また、誤答判定の場合には、その入力データに対す
る正しい２値出力信号を調べ、追加学習することによ
り、並列ニューラルネットワーク処理システム４０は非
常に高性能となり、学習入力データから非常に離れた未
知入力データに対しても正答な出力信号を送出でき、而
も一段と正確な正誤答判定信号を送出することになる。

【００８１】尚、各前記出力距離スレショルドは、ある
一定値でもよいが、２値教師信号毎に異なる値を設定し
てもよい。或いは、同一の分類カテゴリとなる正答な２
値直接出力信号を出力する種々のテスト入力データに対
して、前記中間層出力距離を求め、その分布の平均値或
いは更に標準偏差とを少なくとも用いて前記出力距離ス
レショルドを求め設定しても良い。また、中間層出力距
離と出力距離スレショルドとの大小比較でもよいが、中
間層出力距離と出力距離スレショルドとの差の大小関係
を比較に用いても良い。

【００８２】本実施形態では、中間層基準出力メモリ４
９、５０とハミング距離計算器５３をそれぞれ分けて説
明したが、これらを一緒にして中間層基準出力信号を格
納記憶すると共に距離計算をする距離計算処理器として
構成してもよい。

【００８３】また、ここでは、正しい所望の２値出力信
号を送出するテスト入力データだけから上記のテスト内
領域を求めたが、準備されている全てのテスト入力デー
タを基にテスト内領域を求める場合には、前記学習入力
データを用いてニューラルネットワークの学習処理を終
了させた後、誤った２値直接出力信号を送出するテスト
入力データを学習入力データとして追加学習し、この追
加学習を繰り返すことにより、最終的に全てのテスト入
力データに対して全て正答な２値出力信号を送出するよ
う学習させることができる。このような追加学習を行っ
た後、その結合重み係数を用いて学習済みニューラルネ
ットワーク４１、４４に設定し、これらの全てのテスト
入力データに対してテスト内領域を収集してもよい。

【００８４】また、並列ニューラルネットワーク処理シ
ステム４０において、上記説明のごとく異なった教師信
号に対して学習済みの２並列接続された前記２値出力ネ
ットワーク手段４３、４７を用いているが、ここで、特
願平１１−２２９１９２のように、並列度を増やす為
に、これらの２値出力ネットワーク手段４３、４７の他
に、更に異なった２値変換教師信号による学習済みのニ
ューラルネットワークを用いた、前記第２の２値出力ネ
ットワーク手段４７と同様の構成をもった新たな２値出
力ネットワーク手段を用意し、前記入力データに対して
並列接続してもよい。この増設された該２値出力ネット
ワーク手段には、前記２値出力ネットワーク手段４７と
同様にスレショルド回路５２、ハミング距離計算器５
４、中間層基準出力メモリ５０、テスト領域判定器５８
とそれぞれ同一構成のものを接続し、更に、前記出力一
致検出器４８の代わりに、多数決処理器（投票処理）を
設け、出力状態判定処理方法と出力選択処理方法を拡張
して用いてもよい。これにより、並列ニューラルネット
ワーク処理システム４０の出力状態判定精度もより著し
く改善される。

【００８５】尚、本実施形態に於て、学習済みニューラ
ルネットワーク４１、４４として、それぞれ異なる２値
教師信号を用いて学習させたが、それぞれ異なる３値以
上の多値教師信号を用いて学習させ、２値化するスレシ
ョルド回路４２、４５の代わりに、多値スレショルド回
路を用い、隣接出力生成器３７、３６、５９、６０に於
ては、リー距離を用いて多値隣接出力信号を生成すれば
よい。テスト領域判定器５８も当然多値信号に対して簡
単に対応出来る。これにより、出力状態判定信号として
の正誤答判定信号と最終出力信号としての多値出力信号
とを送出する並列多値ニューラルネットワーク処理シス
テムを構成することも出来る。尚、中間層出力距離や中
間層基準信号に関しては、２値、多値、或いは連続値何
れでもよい。

【００８６】本実施の形態に於て、入力データを入力し
て並列ニューラルネットワーク処理システム４０を動作
させた際、端子２６から誤答判定された最終出力信号が
得られた場合には、これに対応した入力データを学習入
力データとして、前記学習済みニューラルネットワーク
の結合重み係数を初期値として追加学習して、新たな結
合重み係数を得、前記学習済みニューラルネットワーク
４１、４４に設定し、前記並列ニューラルネットワーク
処理システム４０を動作させてもよい。この一連の追加
学習処理を繰り返すことにより汎化能力や汎化領域の改
善が図れ、より高い正答判定率とより高い判定精度を得
ることが出来る。

【００８７】また、出力状態判定選択処理器６１に於
て、選択された２値出力信号に対応する出力層からの直
接出力信号を最終出力信号として送出してもよいし、選
択された２値出力信号も同時に最終出力信号としてもよ
い。更に、出力状態判定として、正誤答判定の例を説明
したが、正答／不明判定などの判定を行っても良く、出
力信号の出力状態に対して、少なくとも正答判定とそれ
以外の状態に判定できればよい。

【００８８】学習方法としては、バックプロパゲーショ
ン法を前提に説明したが、教師信号を用いた学習ならい
ずれの学習法でもよい。また、学習済みニューラルネッ
トワークとしてローカルミニマム状態に収束させたもの
を用いることもできるが、汎化能力及び汎化領域ともグ
ローバルミニマム状態で収束した場合より劣化すること
から、汎化能力及び正誤答判定精度も劣化する。

【００８９】また、前記教師信号コード変換器１３を介
して得られる前記２値変換教師信号として、前記第１の
２値教師信号から、例えば、前記第１の２値教師信号の
２値補数からなる２値教師信号や、前記入力データと前
記第１の２値教師信号との分類カテゴリとしての対応関
係をシフトした２値教師信号を用いてもよい。或いは、
前記入力データと前記第１の２値教師信号との分類カテ
ゴリとしての対応ずけをランダムに割当てた新たな２値
教師信号を用いてもよい。このコード変換された前記２
値変換教師信号としては、前記出力変換器４６に於て前
記２値変換教師信号を前記第１の２値教師信号へ逆変換
することができれば、如何なる２値変換教師信号でもよ
い。

【００９０】尚、前述した出力状態判定選択処理器６１
及び出力状態推定器５５、５６の構成は、本発明の技術
的概念及び見地の範囲の種々の変更、修正及び省略が、
当業者によれば容易に行うことができる。従って、前述
の説明はあくまで１例であり、何ら制約しようとするも
のではない。

【００９１】以上本発明の実施の形態について、詳述し
てきたが、具体的な構成例は、上記の実施の形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の変
更であっても本発明に含まれる。

【００９２】

【発明の効果】以上述べたように、従来方式では、汎化
領域をずらす為に、学習の際に種々の異なった結合重み
係数の初期値に対してローカルミニマムに収束させる試
行錯誤と数多くのニューラルネットワークが必要で、そ
の演算処理量も膨大となり、而も目標とする正誤答判定
性能に対して簡単に設計ができない。また、複数個の学
習済みニューラルネットワークを入力データに対して並
列接続し、入力データに対する２値出力信号の単なる多
数決処理や一致状態検出などによる正答誤答判定や正答
不明判定を行っており、正誤答判定精度及び汎化能力が
低い。

【００９３】一方、本発明の出力状態判定機能を有した
並列ニューラルネットワーク処理システムは、それぞれ
異なった多値教師信号を用いて学習させた学習済みニュ
ーラルネットワークを用いており、汎化能力も非常に高
く安定であり、汎化領域も広く、而もそれを簡単にずら
すことができる。従って、少ない数の並列接続のニュー
ラルネットワークを用いればよく、演算処理も少なく学
習が簡単で、且つ試行錯誤が不要である。また、それら
の学習済みニューラルネットワークの汎化能力及び汎化
領域とも高性能で非常に安定していることから、２値直
接出力信号と２値変換出力との一致状態検出と、ニュー
ラルネットワークの内部状態としての、中間層出力距離
とテスト内／外領域を用いた正誤答出力推定と、直接出
力信号及びその隣接出力信号にそれぞれ対応した中間層
出力距離の間の最小検出、更には、直接出力信号に対応
した中間層出力距離の判定用出力距離スレショルド比較
とにより、非常に精度の高い出力状態判定が得られる。

【００９４】従って、並列ニューラルネットワーク処理
システムに於て、必ずしも数多くの並列のニューラルネ
ットワークを用いる必要がなく、構成が簡単になる。

【００９５】これらの結果から、本発明の出力状態判定
機能を有する並列ニューラルネットワーク処理システム
をパターン認識等に実用した際、未知入力データに対す
る出力信号の正誤答判定の精度が非常に高いことから、
出力信号が正答と判定されれば、その出力信号をそのま
ま利用することが出来、一方、誤答と判定された未知入
力データに対しては、正しい教師信号の対応ずけを行な
い、並列接続されたそれぞれのニューラルネットワーク
を追加学習させ、得られた結合重み係数で置き換えるに
より、並列ニューラルネットワーク処理システムの汎化
能力と正誤答判定精度を一段と向上させることが簡単に
出来る。

【００９６】従って、パターン認識処理などに用いる際
に、詳細な学習入力データを事前に取得した後に、ニュ
ーラルネットワークを学習させて使用する必要は必ずし
もなく、少なくとも非常に特徴のある学習入力データを
学習コアー入力データとしてまず学習させ、現実の使用
環境の元で、高い汎化能力と精度の高い出力状態判定能
力とを利用した誤答出力信号を送出する未知入力データ
収集を迅速に行なうことが出来る。これらを追加学習さ
せることにより、正誤答判定機能を有する並列ニューラ
ルネットワーク処理システムの正答判定能力と汎化能力
を同時に著しく高めることが出来、実用環境に適したパ
ターン認識率の非常に高い高性能な並列ニューラルネッ
トワーク処理システムを簡単に実現出来る。

【００９７】上述のように本発明の出力状態判定機能を
有する並列ニューラルネットワーク処理システムは、従
来方式に比べて、少ない数の学習済みニューラルネット
ワークを並列接続し使用しても非常に高い性能が簡単に
得られ、構成が簡単になり演算処理量も非常に少ない利
点を持つ。また、異なった教師信号を用いて全て正答な
出力信号を送出するよう学習させたニューラルネットワ
ークを用いることから、試行錯誤を必要とせず、学習処
理が大幅に少なく、而も動作も安定しており、高い精度
の出力状態判定と非常に高い汎化特性を簡単に実現でき
る。

【００９８】従って、従来技術では実現が困難な大規模
ニューラルネットワークに対しても本発明の並列ニュー
ラルネットワーク処理システムを用いて短時間で設計し
実現することが出来、非常に高性能な正誤答判定能力や
高い汎化能力が要求される人工知能システム、ネットワ
ーク障害情報処理システムやネットワークセキュリティ
システムなどの通信ネットワーク処理システム、或いは
検索システム、画像処理システムなどのシステムへの幅
広い応用ができるなど、非常に幅広い効果を有してい
る。

【図面の簡単な説明】

【図１】本発明の実施形態における高精度出力状態判定
機能を有した並列ニューラルネットワーク処理システム
の１構成例。

【図２】従来方式における３層ニューラルネットワーク
の学習処理の１構成例。

【図３】従来方式による出力状態判定機能を有した並列
ニューラルネットワーク処理システムの１構成例。

【図４】出力状態判定選択処理器６１の１構成例。

【符号の説明】

１ ３層ニューラルネットワーク ２ 入力信号入力端子 ２_１ 入力ユニット端子 ２_２ 入力ユニット端子 ２_Ｎ 入力ユニット端子 ３ ２値出力端子 ３_１ ２値出力ユニット端子 ３_２ ２値出力ユニット端子 ３_Ｍ ２値出力ユニット端子 ４ 入力層 ４_１ 入力層ユニット ４_２ 入力層ユニット ４_Ｎ 入力層ユニット ５ 中間層 ５_１ 中間層ユニット ５_Ｐ 中間層ユニット ６ 出力層 ６_１ 出力層ユニット ６_２ 出力層ユニット ６_Ｍ 出力層ユニット ７ 結合重み係数制御器 ８ ２値教師信号入力端子 ８_１ ２値教師信号入力ユニット端子 ８_２ ２値教師信号入力ユニット端子 ８_Ｍ ２値教師信号入力ユニット端子 ９ スイッチ回路 １０ 減算器 １０_１ 減算器 １０_２ 減算器 １０_Ｍ 減算器 １１ 結合重み係数入出力端子 １２ スレショルド回路 １２_１ スレショルド回路 １２_２ スレショルド回路 １２_Ｍ スレショルド回路 １３ 教師信号コード変換器 １４ 従来技術による並列ニューラルネットワーク処理
システム １５ 第１の学習済みニューラルネットワーク １６ スレショルド回路 １７ 第１の２値出力ネットワーク手段 １８ 第２の学習済みニューラルネットワーク １９ スレショルド回路 ２０ 第２の２値出力ネットワーク手段 ２１ 第３の学習済みニューラルネットワーク ２２ スレショルド回路 ２３ 第３の２値出力ネットワーク手段 ２４ 多数決処理器 ２５ 出力選択処理器 ２６ 最終出力信号出力端子 ２７ 出力状態判定信号出力端子 ４０ 本発明の実施形態における並列ニューラルネット
ワーク処理システム ４１ 学習済みニューラルネットワーク ４２ スレショルド回路 ４３ 第１の２値出力ネットワーク手段 ４４ 学習済みニューラルネットワーク ４５ スレショルド回路 ４６ 出力変換器 ４７ 第２の２値出力ネットワーク手段 ４８ 出力一致検出器 ４９ 中間層基準出力メモリ ５０ 中間層基準出力メモリ ５１ スレショルド回路 ５２ スレショルド回路 ５３ ハミング距離計算器 ５４ ハミング距離計算器 ５５ 出力状態推定器 ５６ 出力状態推定器 ５７ テスト領域判定器 ５８ テスト領域判定器 ５９ 隣接出力生成器 ６０ 隣接出力生成器 ６１ 出力状態判定選択処理器 ７０ 中間層出力距離分配器 ７１ 最小中間層出力距離検出器 ７２ 出力距離スレショルド比較器 ７３ 正誤答判定／出力選択器

Claims (6)

【特許請求の範囲】
1. 【請求項１】 学習入力データと第１の多値教師信号と
   を用いて学習した、中間層からの中間層第１出力信号と
   出力層からの第１直接出力信号とを送出する学習済みニ
   ューラルネットワーク４１と、該第１直接出力信号を多
   値化し多値第１直接出力信号とを送出する多値スレショ
   ルド手段４２とからなる、第１の多値出力ネットワーク
   手段４３と、 該第１の多値教師信号を変換し得られた異なる変換多値
   教師信号と前記学習入力データとを用いて学習した、中
   間層からの中間層第２出力信号と出力層からの第２直接
   出力信号とを送出する学習済みニューラルネットワーク
   ４４と、該第２直接出力信号を多値化し多値第２直接出
   力信号とを送出する多値スレショルド手段４５と、該変
   換多値教師信号から前記第１の多値教師信号への逆変換
   則を有し、該多値スレショルド手段４５からの該多値第
   ２直接出力信号を変換し多値第２変換出力信号を送出す
   る出力変換手段４６とからなる、少なくとも１つ以上の
   第２の多値出力ネットワーク手段４７とを、入力に対し
   て並列接続し、 夫々の前記多値出力ネットワーク手段４３、４７からの
   前記多値直接出力信号と隣接関係にある多値隣接出力信
   号を生成する２つ以上の隣接出力生成手段５９、６０
   と、 夫々の前記多値出力ネットワーク手段４３、４７の前記
   入力データに対する前記中間層出力信号から多値スレシ
   ョルド手段５１、５２を介して得た中間層多値出力信号
   をもとに、前記多値直接出力信号及び前記多値隣接出力
   信号に対応した中間層出力距離を求める中間層出力距離
   計算手段５３、５４と、 夫々の前記多値出力ネットワーク手段４３、４７の前記
   中間層出力距離計算手段５３、５４から得られた、前記
   入力データに対する多値直接出力信号に対応した中間層
   出力距離を少なくとも用いて、前記多値直接出力信号の
   出力状態推定を行い出力状態推定信号を送出する２つ以
   上の出力状態推定手段５５、５６と、 前記多値第１直接出力信号と前記多値第２変換出力信号
   との間の一致状態検出し、一致状態検出信号を送出する
   出力一致検出手段４８と、 少なくとも、前記多値直接出力信号と前記多値隣接出力
   信号にそれぞれ対応した前記中間層出力距離の間の最小
   検出と、前記出力状態推定信号と、前記出力一致状態検
   出信号とから出力状態判定を行ない、前記多値第１直接
   出力信号及び前記一つ以上の多値第２変換出力信号の何
   れかを選択する出力状態判定選択処理手段６１とを少な
   くとも具備し構成することを特徴とした並列ニューラル
   ネットワーク処理システム。
2. 【請求項２】 前記中間層出力距離計算手段５３、５４
   において、前記多値教師信号毎に対応した学習コアー入
   力データを設け、前記学習コアー入力データを少なくと
   も用いて学習させたそれぞれの前記学習済みニューラル
   ネットワークの中間層からの、前記学習コアー入力デー
   タに対する中間層出力信号から前記多値スレショルド手
   段５１、５２を介して得られた中間層多値出力信号を中
   間層基準出力信号とし、格納記憶し、更に、前記入力デ
   ータに対する前記多値直接出力信号及び前記多値隣接出
   力信号に対応した中間層出力距離を求める為に、対応し
   た該中間層基準出力信号をそれぞれ読み出す中間層基準
   出力記憶手段４９、５０を少なくとも具備することを特
   徴とした請求項１に記載した並列ニューラルネットワー
   ク処理システム。
3. 【請求項３】 正答な前記多値直接出力信号を送出す
   る、前記教師信号毎のテスト入力データに対する該多値
   直接出力信号に対応した中間層出力距離から、平均値と
   標準偏差を求め、該多値直接出力信号に対応した推定用
   出力距離スレショルドの一部として格納記憶し、前記入
   力データに対する前記多値直接出力信号に対応した中間
   層出力距離との比較の為に、前記多値直接出力信号に対
   応した該推定用出力距離スレショルドを読み出し、出力
   状態推定を行うことを特徴とした請求項１及び２のいず
   れかに記載した並列ニューラルネットワーク処理システ
   ム。
4. 【請求項４】 正答な前記多値直接出力信号を送出す
   る、教師信号毎のテスト入力データに於て、前記出力層
   出力信号の出力層ユニット毎の正答を与える出力正答余
   裕を求め、該出力正答余裕の最大値と最小値とからなる
   範囲を示すテスト内領域を得、多値直接出力信号に対応
   させて格納記憶し、前記入力データに対する前記直接出
   力信号との比較の為に、前記多値直接出力信号に対応し
   た該テスト内領域を読み出し、テスト内領域かテスト外
   領域かを判定し、テスト領域判定信号として送出するテ
   スト領域判定手段５７、５８をそれぞれの前記多値出力
   ネットワーク手段４３、４７毎に具備し、 前記出力状態推定手段５５、５６に於て、前記多値直接
   出力信号に対応した前記テスト領域判定信号を用いて、
   対応した出力状態推定をすることを特徴とした請求項１
   から３のいずれかに記載した並列ニューラルネットワー
   ク処理システム。
5. 【請求項５】 前記出力状態判定選択処理手段６１に於
   て、更に、前記多値直接出力信号及び前記多値隣接出力
   信号にそれぞれ対応した前記中間層出力距離を与えられ
   た判定用出力距離スレショルドと比較し、前記出力状態
   判定を行うことを特徴とした請求項１から４のいずれか
   に記載した並列ニューラルネットワーク処理システム。
6. 【請求項６】 前記入力データに対する前記出力状態判
   定選択処理手段６１から送出された出力状態判定信号を
   判定し、必要に応じて前記入力データに正しい前記多値
   教師信号及び前記変換多値教師信号のいずれかを割当
   て、前記学習入力データに追加し、前記学習済みニュー
   ラルネットワークの結合重み係数を初期値として追加学
   習し、得られた新たな結合重み係数を前記学習済みニュ
   ーラルネットワークに設定し動作させることを特徴とし
   た請求項１から５のいずれかに記載した並列ニューラル
   ネットワーク処理システム。