JP2001051969A

JP2001051969A - 正誤答判定機能を有するニューラルネットワーク手段

Info

Publication number: JP2001051969A
Application number: JP11229192A
Authority: JP
Inventors: Yotaro Hachitsuka; 陽太郎八塚
Original assignee: KDD Corp
Current assignee: KDDI Corp
Priority date: 1999-08-13
Filing date: 1999-08-13
Publication date: 2001-02-23
Anticipated expiration: 2019-08-13
Also published as: JP3675246B2

Abstract

(57)【要約】（修正有）【課題】入力データに対する出力信号の正誤答を高い
精度で判定する機能を有し且つ汎化能力の高いニューラ
ルネットワーク手段を提供する。【解決手段】第１の２値教師信号による学習済みニュ
ーラルネットワーク２９からスレショルド手段３０を介
し信号を送出する第１の２値出力ニューラルネットワー
ク手段３１と、第１の２値教師信号をコード変換した第
２の２値教師信号による学習済みニューラルネットワー
ク３２からスレショルド手段３３を介して得た信号を教
師信号コード逆変換手段３４により第２から第１の２値
教師信号への逆変換送出する第２の２値出力ニューラル
ネットワーク手段３５と、同様な構成による第３の２値
出力ニューラルネットワーク３９とから、多数決結果を
送出する多数決処理手段２４と、多数決結果から正誤答
判定と選択送出する出力選択処理手段２５から構成。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン認識、デ
ータマイニング及び画像処理などの分野に適用可能なニ
ューラルネットワークにおいて、学習済みのニューラル
ネットワークを用いて入力データを処理する際に、学習
入力データやテスト入力データ以外の未知入力データが
入力された場合にも、その出力が正しいか誤りか、即ち
正答か誤答かを判定することができる正誤答判定機能を
有したニューラルネットワーク手段に関するものであ
る。

【０００２】

【従来の技術】従来のニューラルネットワークには、文
献麻生英樹著、「ニューラルネットワーク情報処
理」、産業図書出版などに示されているように、多層
（階層）ニューラルネットワークや相互結合ニューラル
ネットワークなど種々のニューラルネットワークがあ
る。

【０００３】特に、学習入力データと教師信号とを用い
て、学習させた多層ニューラルネットワークが種々幅広
く実用されている。ここでは、教師付き学習を行う多層
ニューラルネットワークを例にとり、正答／誤答判定機
能を有するニューラルネットワーク手段の従来技術につ
いて説明する。また、説明を簡単にする為に、パターン
認識などに於て見られる２値教師信号を用いて学習さ
せ、２値出力信号を送出させることとする。

【０００４】先ず、多層ニューラルネットワークの学習
処理の構成について説明する。図２は、３層ニューラル
ネットワークの学習処理の１構成例を示す。Ｎ個のユニ
ットからなる入力層４、Ｐ個のユニットからなる中間層
５及びＭ個のユニットからなる出力層６から構成され
る。

【０００５】多層ニューラルネットワークへの入力デー
タＩは、Ｉ_１、Ｉ_２、．．Ｉ_Ｎの入力データエレメント
を持ったベクトルから構成され、入力端子２を介してそ
れぞれ対応した入力層４のユニットに入力された後、更
に中間層５の各ユニット（隠れユニット）にそれぞれ重
み付けされ出力される。中間層５では、入力層４の各ユ
ニットからの重み付けされた出力の総和を入力とし、ス
レショルド値を差し引いた後、シグモイド関数と呼ばれ
る非線形入出力特性を持った関数を介して出力される。
出力層６においても中間層５と同様な入出力処理が行わ
れた後、各出力層ユニットからそれぞれ対応した出力信
号をスレショルド回路１１を介して２値出力信号に変換
し、２値出力端子３を介してニューラルネットワーク１
の２値出力信号（２値出力信号エレメント、Ｐ_１、
Ｐ_２、．．Ｐ_Ｍ）として送出する。３層以上の多層の際
にも、各層におけるそれぞれのユニットは、入力側の隣
接層の各ユニットの出力信号に重み付けをした後、それ
らの総和を入力として得、更にその入力からスレショル
ド値を差し引いた後、シグモイド関数などを介し出力層
側の隣接層に出力信号を送出する。

【０００６】このような多層ニューラルネットワークの
代表的学習方法としては、例えば、前記文献にも記載さ
れているようにバック・プロパゲーション・アルゴリズ
ムがある。

【０００７】本アルゴリズムを用いた学習過程では、重
み係数に対して乱数などを用いて初期値設定した後、予
め用意された２値教師信号Ｔ（教師信号エレメント、Ｔ
_１、Ｔ_２、．．Ｔ_Ｍ）と、入力層４に端子２を介して入
力された予め用意された学習入力データに対する出力層
６のユニットからの出力信号との誤差信号を減算回路１
０を介して求め、重み係数制御器７に入力する。

【０００８】重み係数制御器７では、端子１１を介して
入力された各層のユニットからの出力信号と前記誤差信
号とを基に誤差電力を最小にするように各層間の重み係
数Ｗ（例えば、Ｗ(1)は入力層と中間層の間の結合重み
係数、Ｗ(2)は中間層と出力層間の結合重み係数）の修
正値を求め、端子１１を介して３層ニューラルネットワ
ーク１の各重み係数を更新する重み係数適応制御による
学習を行うものである。

【０００９】この適応制御による学習をすべての学習入
力データに対して繰り返し、学習過程に於て収束する
（平均出力誤差電力がある既定値以下となる）と、学習
入力データに対するスレショルド回路１２を介して得ら
れた２値出力信号が２値教師信号と同一となる。しかし
ながら、誤差電力を極小にするローカルミニマム状態に
一旦落ち込むと、全ての学習入力データに対して所望の
２値出力信号が必ずしも得られず、２値教師信号と異な
る２値出力信号を送出する場合が多い。

【００１０】このようにローカルミニマムの状態で収束
した場合には、学習入力データに似たテスト入力データ
を入力した際に、所望の２値出力信号を送出する汎化能
力があまり良くない。また、設定された重み係数の初期
値によって正答となる入力データの領域、即ち汎化特性
が異なり、初期値依存性がある。

【００１１】パターン認識などに於て、このようなロー
カルミニマムに収束した学習済みのニューラルネットワ
ークを用いて、入力データに対して実行処理を行わせる
際に、汎化能力が優れていない場合には、学習入力デー
タに近い入力データに対して正しい２値出力信号が得ら
れず、多くの誤認識が発生する。実用の際には、学習入
力データやテスト入力データ以外の未知データが入力さ
れる場合が非常に多いが、これらの多くの未知入力デー
タを学習させる為に事前に収集することは困難な場合が
多い。従って、未知入力データに対して所望の正しい２
値出力信号が得られているかどうか、即ち正答な２値出
力信号が送出されているかどうかを知る事は、非常に重
要である。正答な２値出力信号が送出されていないこと
が判明した場合には、それらの未知入力データを収集し
て、追加学習などを行い、ニューラルネットワークの性
能を改善し、できるだけ正答な２値出力信号を送出させ
る必要がある。

【００１２】従来技術として、異なる重み係数初期値を
設定して学習させた複数個の学習済みニューラルネット
ワークを入力に対して並列に接続し、それらの２値出力
信号を多数決処理して入力データに対する汎化能力を改
善し、而も正答判定や誤答判定、或いは判定不明などの
正誤答判定情報を得るニューラルネットワーク手段があ
る。例えば、D. Sarkar, “Randomness in Generalizat
ion Ability: A Source to Improve It,” IEEE Trans.
Neural Networks Vol.7, No.3, May 1996, pp.676-68
5. 及び中川徹、他 “複数の乱数化ANNを用いて高信頼
なパターン識別とその応用” 電子情報通信学会、信学
技報 NC98-155, 1999, 3月などがある。この従来方式
によるニューラルネットワーク手段の１例を以下に示
す。

【００１３】図３に、従来方式による入力データに対す
る正誤答判定或いは不明判定などの正誤答判定情報を送
出するニューラルネットワーク手段１４の１構成例を示
す。上述のように、異なった重み係数の初期値を用いて
ぞれぞれ学習済みの第１、第２及び第３のニューラルネ
ットワーク１５、１８、２１を入力に対して並列接続し
ている。更に、各単体の該ニューラルネットワーク１
５、１８、２１の出力層６のユニットからの出力信号は
それぞれスレショルド回路１６、１９、２２を介して２
値出力信号に変換され送出され、３入力の多数決処理器
２４にそれぞれ入力される。ここで、第１の２値出力ニ
ューラルネットワーク１７は、該第１の学習済みニュー
ラルネットワーク１５と該スレショルド回路１６から構
成される。同様に、第２及び３の２値出力ニューラルネ
ットワーク２０、２３は、該第２及び第３の学習済みニ
ューラルネットワーク１８、２１と該スレショルド回路
１９、２２とからそれぞれ構成されている。

【００１４】該多数決処理器２４では、該２値出力ニュ
ーラルネットワーク手段からの２値出力信号の内２個以
上が一致すれば、正誤答判定情報として正答を端子２７
から送出し、同時にその２値出力信号を端子２６から送
出する。また、それ以外の場合には、不明或いは誤答と
見做し、端子２７から正誤答情報として出力する。不明
或いは誤答と判定された場合には、予め定められた２値
出力ニューラルネットワーク手段からの２値出力信号を
ニューラルネットワーク手段１４の２値出力信号として
送出する。

【００１５】このような多数決処理器２４からの多数決
判定に従って正答、或いは誤答の正誤答判定情報を得、
２値出力ニューラルネットワーク手段からの２値出力信
号を最終的に選択することから、単体の学習済みニュー
ラルネットワーク１５、１８、２１の汎化能力より若干
高い汎化能力を得ることが出来る。しかしながら、異な
る重み係数初期値の設定を行ないローカルミニマムに各
ニューラルネットワークを収束させ学習済みとして用い
ることから、高い汎化能力は得られない欠点を有してい
る。従って、正答率の高い２値出力信号が得にくく、而
も正答の判定精度も低い欠点がある。例えば、正答判定
の精度は、８０％程度で飽和している。また、２０％程
度の不明判定となっている。

【００１６】ここでは、多数決処理器２４を用いた場合
について説明したが、これに代わり一致検出器を用いる
場合もある。一致検出器を用いた場合には、正答判定の
精度は改善されるものの、不明判定や誤答判定が増加す
る。

【００１７】

【発明が解決しようとする課題】上記の如く構成した従
来のニューラルネットワーク手段１４では、学習済みニ
ューラルネットワーク１５、１８、２１は、同一の構造
を有し、而も同一の学習アルゴリズムを用いてそれぞれ
異なった重み係数初期値を用いて同一の教師信号に対し
て学習を行っている。従って、これらのニューラルネッ
トワーク１５、１８、２１が同一のグローバルミニマム
に収束すると、入力データに対する２値出力信号が正答
或いは誤答に関らず殆ど一致してしまうことから、それ
らを並列接続して、入力データに対するそれぞれの２値
出力信号を多数決処理しても、正答の場合には全てが正
答となり、一方、誤答や不明の場合は全て同様な状態と
なることから並列接続と多数決処理を用いた効果が非常
に小さい。従って、できるだけ異なったローカルミニマ
ムに収束するよう学習させ、それぞれ異なった汎化特性
を実現する必要がある。

【００１８】これらの理由から、それぞれ異なりずれた
汎化特性を持たせるには、並列接続される学習済みニュ
ーラルネットワークとしてローカルミニマム状態で学習
を終了させ使用する必要があり、汎化能力が余り高くな
く、誤った２値出力信号を出しやすい。従って、入力デ
ータに対して出来るだけ正答な２値出力信号を得、而も
精度の高い正誤答判定情報を得る為には、多くの学習済
みニューラルネットワークを並列接続し、多数決処理を
する必要があり、構成が複雑かつ処理量が増加する欠点
がある。また、正答／誤答或いは不明の判定を、単に多
数決処理のみで行っており、誤った２値出力信号に対し
てもお互いに同一な誤りならばそのまま正答とみなすな
ど、入力データに対する正答判断の精度がそれほど高く
ない欠点を持っている。

【００１９】従って、並列の学習済みニューラルネット
ワーク数を増加させ多数決処理を行っても、ローカルミ
ニマムに収束していることから正答判定率やその精度に
飽和状態が生じ、汎化能力は若干改善されるもの、正答
判定の精度や正答判定率は余り改善されない。特に、単
体の学習済みネットワークの汎化能力が低く、不明判定
が多く発生し、正答の判定が低下すると共にその精度も
劣化する。このように、従来の方式では、高い汎化能力
と正答判定率とその精度向上とを同時に達成させるには
限界がある。

【００２０】また、重み係数の初期値によって汎化特性
が異なることを利用しているが、初期値によってどの程
度異なった汎化特性が得られるかは、落ち込むローカル
ミニマムにより決まり、予め予測出来ない。従って、実
際に種々の初期値を与えニューロネットワークを学習さ
せた後、学習済みニューラルネットワークを並列接続し
動作させて、初めて評価されるなどの欠点もある。特
に、これらの欠点は、大規模ニューラルネットワークで
は、種々の重み係数の初期値を用いてローカルミニマム
に収束させる為の学習処理とテスト入力データに対する
汎化能力と汎化特性との評価を繰り返し行なう試行錯誤
が必要となり、満足できる結果を得るには膨大な作業を
要し、実用的でない。

【００２１】本発明の目的は、上記の問題を解決し、従
来の正誤答判定機能を有したニューラルネットワーク手
段などに比べて、少ない並列度の学習済みニューラルネ
ットワークを用いて、高精度な正答判定或いは誤答判定
を送出する正誤答判定情報を得ると共に、単体の学習済
みニューラルネットワークより汎化能力の優れ、正答判
定率の高い多値出力信号を送出することができる正誤答
判定機能を有するニューラルネットワーク手段を提供す
ることにある。

【００２２】

【課題を解決するための手段】以下に主な手段を示す。
第１の手段として、学習入力データと第１の多値教師信
号とを用いて学習した学習済みニューラルネットワーク
と該ニューラルネットワークの出力層ユニットの出力信
号を多値変換し多値出力信号を送出する多値スレショル
ド手段とからなる第１の多値出力ニューラルネットワー
ク手段と、該第１の教師信号を変換し得られた第２の教
師信号と該学習入力データとを用いて学習した学習済み
ニューラルネットワークと該ニューラルネットワークの
出力層ユニットの出力信号を多値変換し多値出力信号を
送出する多値スレショルド手段と該第２の多値教師信号
から該第１の多値教師信号への逆変換機能を有し、入力
された該多値スレショルド手段からの該多値出力信号を
逆変換し新たな多値出力信号を送出する教師信号逆変換
手段とからなる第２の多値出力ニューラルネットワーク
手段とを、入力に対して並列接続し、該第１の多値出力
ニューラルネットワーク手段からの該多値出力信号と該
第２の多値出力ニューラルネットワーク手段からの該多
値出力信号とを比較し比較結果を送出する比較手段と、
該比較手段からの該比較結果を用いて、該第１の多値出
力ニューラルネットワーク手段と該第２の多値出力ニュ
ーラルネットワーク手段とからの該多値出力信号の正誤
答判定を行ない、該多値出力信号の何れかを選択し送出
すると共に選択送出された該多値出力信号の正誤答判定
情報を送出する出力選択処理手段を少なくとも具備し構
成する。上記の該ニューラルネットワーク手段に於て、
該比較手段として一致検出手段を用いたニューラルネッ
トワーク手段、或いは多数決手段を用いて構成する。

【００２３】第２の手段として、上記の第１の手段の該
ニューラルネットワーク手段において、該多値教師信号
毎に対応した学習コアー入力データを設け、該学習コア
ー入力データを少なくとも用いて学習させた各該学習済
みニューラルネットワークの中間層ユニットからの該学
習コアー入力データに対する出力信号を中間層基準出力
信号とし、該学習コアー入力データに対する該多値出力
ニューラルネットワーク手段の該多値出力信号と該中間
層基準出力信号とを対応ずけ格納し、該多値出力ニュー
ラルネットワーク手段の該多値出力信号を元に対応した
該中間層基準出力信号を検索し読み出す中間層基準出力
格納手段と、該多値出力ニューラルネットワーク手段の
該中間層ユニットからの出力信号と該中間層基準出力格
納手段から読み出された該中間層基準出力信号との距離
を計算し中間層出力距離として送出する中間層距離計算
手段と、該中間層出力距離と設定された出力距離スレシ
ョルドとの比較結果と該多値出力ニューラルネットワー
クからの多値出力信号を比較する該比較手段からの該比
較結果を用いて、正答或いは誤答推定を行い正誤答推定
情報を送出する正誤答推定手段と、該出力選択処理手段
として該比較手段からの該比較結果と該正誤答推定手段
からの該正誤答推定情報とから該多値出力ニューラルネ
ットワーク手段からの該多値出力信号の何れかを選択し
送出すると共に選択送出された該多値出力信号の正誤答
判定情報を送出する出力選択処理手段とを少なくとも具
備し構成する。

【００２４】第３の手段として、上記の第１の手段の記
載の該ニューラルネットワーク手段において、該２値教
師信号毎に対応した学習コアー入力データを設け、該学
習コアー入力データを少なくとも用いて学習させた各該
学習済みニューラルネットワークの中間層ユニットから
の該学習コアー入力データに対する出力信号を２値変換
するスレショルド手段を設け、得られた２値出力信号を
中間層基準２値出力信号とし、該学習コアー入力データ
に対する該２値出力ニューラルネットワーク手段の該２
値出力信号と該中間層基準２値出力信号とを対応ずけ格
納し、該２値出力ニューラルネットワーク手段の該２値
出力信号を元に対応した該中間層基準２値出力信号を検
索し読み出す中間層基準出力格納手段と、該２値出力ニ
ューラルネットワーク手段の該中間層ユニットからの出
力信号を２値に変換する該スレショルド手段からの該２
値出力信号と該中間層基準出力格納手段から読み出され
た該中間層基準２値出力信号との距離を計算し中間層出
力距離として送出するハミング距離計算手段と、該中間
層出力距離と設定された出力距離スレショルドとの比較
結果と該多値出力ニューラルネットワークからの多値出
力信号を比較する該比較手段からの該比較結果とを用い
て、正答或いは誤答推定を行い正誤答推定情報を送出す
る正誤答推定手段と、該出力選択処理手段として該比較
手段からの該比較結果と該正誤答推定手段からの該正誤
答推定情報とから該２値出力ニューラルネットワーク手
段からの該２値出力信号の何れかを選択し送出すると共
に選択送出された該２値出力信号の正誤答判定情報を送
出する出力選択処理手段とを少なくとも具備し構成す
る。

【００２５】第４の手段として、上記の第１の手段の記
載の該ニューラルネットワーク手段において、該多値教
師信号毎に対応した学習コアー入力データを設け、該学
習コアー入力データを少なくとも用いて学習させた各該
学習済みニューラルネットワークの中間層ユニットから
の該学習コアー入力データに対する出力信号を多値変換
するスレショルド手段を設け、得られた多値出力信号を
中間層基準多値出力信号とし、該学習コアー入力データ
に対する該多値出力ニューラルネットワーク手段の該多
値出力信号と該中間層基準多値出力信号とを対応ずけ格
納し、該多値出力ニューラルネットワーク手段の該多値
出力信号を元に対応した該中間層基準多値出力信号を検
索し読み出す中間層基準出力格納手段と、該多値出力ニ
ューラルネットワーク手段の該中間層ユニットからの出
力信号を多値に変換する該スレショルド手段からの該多
値出力信号と該中間層基準出力格納手段から読み出され
た該中間層基準多値出力信号との距離を計算し中間層出
力距離として送出するリー距離計算手段と、該中間層出
力距離と設定された出力距離スレショルドとの比較結果
と該多値出力ニューラルネットワークからの多値出力信
号を比較する該比較手段からの比較結果とを用いて正答
或いは誤答推定を行い正誤答推定情報を送出する正誤答
推定手段と、該出力選択処理手段として該比較手段から
の該比較結果と該正誤答推定手段からの該正誤答推定情
報とから該多値出力ニューラルネットワーク手段からの
該多値出力信号の何れかを選択し送出すると共に選択送
出された該多値出力信号の正誤答判定情報を送出する出
力選択処理手段とを少なくとも具備し構成する。

【００２６】第５の手段として、第２、第３及び第４の
手段に記載の該ニューラルネットワーク手段に於て、正
答な該多値出力信号を与えるテスト入力データに対する
該多値出力ニューラルネットワーク手段内の該出力層ユ
ニットからの出力信号の出力層ユニット毎の正答を与え
る余裕値を求め、該余裕値の最大値と最小値とからなる
範囲を示すテスト領域データを得、該テスト領域データ
を該多値教師信号と対応させて予め格納し、入力データ
に対する該多値出力ニューラルネットワーク手段からの
該多値出力信号を元に該テスト領域データを読み出し、
該入力データに対する該多値出力ニューラルネットワー
ク手段内の該出力層ユニットの出力信号の該余裕値とユ
ニット毎に比較し、テスト領域内かテスト領域外かを判
定し、テスト領域判定情報として送出するテスト領域判
定器と、該テスト領域判定情報と該中間層距離計算手段
からの該中間層出力距離と多値出力信号の該比較手段か
らの該比較結果とを用いて、該多値出力ニューラルネッ
トワーク手段からの該多値出力信号の正誤答を推定する
正誤答推定手段を該正誤答推定手段として具備し構成す
る。

【００２７】本発明の正誤答判定機能を有したニューラ
ルネットワーク手段は、それぞれ異なった多値教師信号
を用いてグローバルミニマムに収束させ学習させた学習
済みニューラルネットワークを入力に対して並列に接続
し、第１の多値出力ニューラルネットワークからの多値
出力信号と教師信号コード逆変換器を持った多値出力ニ
ューラルネットワークからの多値出力信号との一致／不
一致検出或いは多数決処理結果と、中間層基準多値出力
信号と入力データに対する学習済みニューラルネットワ
ークの中間層ユニットからの多値出力信号とのハミング
距離或いはリー距離よる比較と、学習済みニューラルネ
ットワークの出力層ユニットからの出力信号の余裕に対
するテスト領域判定とを元に、これらの２値出力信号の
正誤答推定を行ない、更に何れかが正答ならばその２値
出力信号を選択することにより、より高い汎化能力と非
常に安定した高い精度の正誤答と而も正答判定率の高い
２値出力信号を送出することが簡単に実現できる。更
に、従来方式のような学習の際の重み係数の初期設定に
於ける試行錯誤も不要で、迅速且つ簡単に本発明のニュ
ーラルネットワーク手段を設計することも出来る。

【００２８】また、上記説明のごとく本発明の正誤答判
定機能を有するニューラルネットワーク手段は、従来方
式のニューラルネットワーク手段に比べて非常に高精度
且つ安定に正答／誤答を容易に得、而も汎化能力を高く
できることから、種々のパターン認識などに於て、未知
入力データに対する多値出力信号の正誤答判定情報か
ら、学習済みニューラルネットワークに対する追加学習
などの為の誤答の未知入力データ収集が簡単に行う事が
でき、それらを追加学習させより高い汎化能力と非常に
高精度な正誤答判定機能を持ったニューラルネットワー
ク手段を簡単に実現出来る。

【００２９】

【発明の実施の形態】以下に本発明のニューラルネット
ワーク手段の実施例１及び２をあげ、その構成及びその
動作について、詳細に説明する。ここでは、２値教師信
号を用いた場合を例にあげ説明する。

【００３０】［実施例１］実施例１としての本発明のニ
ューラルネットワーク手段２８を図１に示す。３つの学
習済みニューラルネットワークを用いた構成例を示す。
学習入力データと第１の２値教師信号とを用いて学習し
た学習済みニューラルネットワーク２９と該ニューラル
ネットワーク２９の出力層ユニットの出力信号を２値に
変換し２値出力信号を送出するスレショルド回路３０と
からなる第１の２値出力ニューラルネットワーク手段３
１と、該第１の教師信号からコード変換して得られた第
２の２値教師信号と該学習入力データとを用いて学習し
た学習済みニューラルネットワーク３２と該ニューラル
ネットワーク３２の出力層ユニットの出力信号を２値に
変換し２値出力信号を送出するスレショルド回路３３と
該第２の２値教師信号を該第１の２値教師信号へコード
逆変換する機能を有し該スレショルド回路３３からの２
値出力信号を逆変換して新たな２値出力信号を送出する
教師信号コード逆変換器３４とからなる第２の２値出力
ニューラルネットワーク手段３５と、該第２の２値ニュ
ーラルネットワーク手段３５と同一の構成を有し該第１
の２値教師信号から変換され他の該２値教師信号と異な
る第３の２値教師信号と該学習入力データとを用いて学
習した学習済みニューラルネットワーク３６と該第３の
２値教師信号を該第１の２値教師信号へ逆変換する機能
を有した教師信号コード逆変換器３８を用いた第３の２
値出力ニューラルネットワーク手段３９と、該２値出力
ニューラルネットワーク３１、３５及び３９からの２値
出力信号を入力し多数決処理結果を送出する多数決処理
器２４と、該多数決処理結果を元に該第１、第２及び第
３の２値出力信号の何れかを選択し送出し、多数決論理
を満たすと正答とし、その他の場合を誤答とする正誤答
判定情報を送出する出力選択処理器２５から構成され
る。

【００３１】以下、これらの動作について詳細に説明す
る。該第１の多値出力ニューラルネットワーク手段３１
は、図１に示す構成により、端子８の第１の２値教師信
号Ｔと端子２の該学習入力データを用いてバックプロパ
ゲーション法或いは誤差摂動型バックプロパゲーション
法（特願平７−７７１６８、特開平８−２４９３０４）
などにより学習させる。特に、誤差摂動型バックプロパ
ゲーション法を用いた場合には、３層ニューラルネット
ワークをグローバルミニマム状態に簡単に収束させるこ
とができ、而も全て正答の２値出力信号を得ることが出
来る。この第１の２値教師信号を用いて学習したニュー
ラルネットワークを該第１の学習済みニューラルネット
ワーク２９として用い、その出力層ユニットからの出力
信号をスレショルド回路３０を介して２値化し第１の２
値出力ニューラルネットワーク手段から送出する。ま
た、図１に示すように端子８の該第１の２値教師信号か
ら教師信号コード変換器１３を介して得られた第２の２
値教師信号をスイッチ回路９を介して該減算器９に入力
し、端子２の学習入力データに対して学習させグローバ
ルミニマム状態に収束させる。この第２の２値教師信号
を用いて学習したニューラルネットワークを第２の学習
済みニューラルネットワーク３２として用いる。

【００３２】該教師信号コード逆変換器３４は、該第２
の２値教師信号を該第１の２値教師信号に逆変換する機
能を有し、該スレショルド回路３３の２値出力信号を新
たな２値出力信号に変換し第２の２値出力ニューラルネ
ットワーク手段から送出する。同様に第１の２値教師信
号から変換し他の２値教師信号と異なる第３の２値教師
信号を得、第３の２値教師信号と該学習入力データとを
用いてグローバルミニマム状態に収束させたニューラル
ネットワークを第３の学習済みニューラルネットワーク
として第３の２値出力ニューラルネットワーク手段３９
に用いる。また、教師信号コード変換器３９は、第３の
２値教師信号を第１の２値教師信号に逆変換する機能を
有し、該スレショルド３７からの２値出力信号を新たな
２値出力信号に変換し第３の２値出力ニューラルネット
ワークから送出する。

【００３３】該教師信号コード変換器１３を介して得ら
れる該第２及び３の２値教師信号として、該第１の２値
教師信号から、例えば２値コード補数変換や、学習入力
データと第１の２値教師信号との対応ずけをシフト変換
して得られた新たな２値教師信号を用いる。これらの２
値教師信号を用いてグローバルミニマムの状態に学習さ
せた該学習済みニューラルネットワーク２９、３２及び
３６は、それぞれ異なったグローバルミニマム状態に収
束していることから、学習入力信号に対しては、第１の
２値出力ニューラルネットワーク３１からの２値送出信
号と他の第２及び３の２値出力ニューラルネットワーク
３５、３９からの２値出力信号とは正答で同一となり、
全て一致する。また、テスト入力データに対する汎化能
力も殆ど同じであるが、学習の際の２値教師信号がそれ
ぞれ異なることから、正答の領域が一部異なった汎化特
性を持ち、入力データに対して必ずしも同一の２値出力
信号を送出しない。即ち、安定したほぼ同一の汎化能力
と正答となる入力データの領域を簡単にずらすと共に、
学習入力データに対しては全て正答の２値出力信号を得
ることが出来る。また、これらの第２及び第３の学習済
みニューラルネットワーク３２、３３に於て、その学習
時に更に重み係数のそれぞれ異なった初期値設定を行
い、汎化能力の差は余りないものの、汎化特性に於ける
正答の領域をより異なった範囲にずらしてもよい。

【００３４】多数決処理器２４では、該２値出力ニュー
ラルネットワーク３１、３５及び３９からの２値出力信
号を入力し多数決処理し、２つ以上一致する２値出力信
号を検出し多数決処理結果を送出する。出力選択処理器
２５では、該多数決処理結果を元に該第１、第２及び第
３の２値出力信号の何れかを選択し送出し、多数決論理
を満たすと正答と判定し、その他の場合を誤答と判定し
た正誤答判定情報を送出する。

【００３５】上記の説明の如くそれぞれ異なった教師信
号を使用した学習によりそれぞれ異なったグローバルミ
ニマム状態に収束させた学習済みニューラルネットワー
クを用いることにより、入力データに対する高い汎化能
力が得られ、而も汎化特性の正答な領域を互いに簡単に
ずらすことができ、該第１、２及び３の２値出力ニュー
ラルネットワーク３１、３５、３９からの２値出力信号
を該多数決処理器２４に於て多数決処理し何れか２個以
上の該２値出力信号が同一ならば正答それ以外を誤答と
することにより高い精度を持った正誤答判定ができる。
また、この多数決処理によりニューラルネットワーク手
段２８の汎化能力も改善される。

【００３６】尚、実施例１では、３つの学習済みニュー
ラルネットワークを用いた例を示したが、更に学習済み
ニューラルネットワーク、スレショルド回路及び教師信
号コード逆変換器からなる新たな１つ以上の２値出力ニ
ューラルネットワークを入力に対し並列に接続し、それ
らの２値出力信号をそれぞれ該多数決処理器２４及び該
出力選択処理器２５に入力してもよい。これにより、よ
り高い汎化能力と正答判定率の拡大と正誤答判定の精度
を改善出来る。

【００３７】［実施例２］実施例２としての本発明のニ
ューラルネットワーク手段４０を図４に示す。２つのニ
ューラルネットワークを用いた構成例を示す。第１の２
値教師信号と学習入力データとを用いて学習させた学習
済みニューラルネットワーク４１と該学習済みニューラ
ルネットワーク４１の出力層６のユニットの出力信号を
２値変換し２値出力信号を送出するスレショルド回路４
２とからなる第１の２値出力ニューラルネットワーク手
段４３と、該第１の２値教師信号をコード変換して得た
第２の２値教師信号と該学習入力データとを用いて学習
させた学習済みニューラルネットワーク４４と該学習済
みニューラルネットワーク４４の出力層６のユニットの
出力信号を２値に変換し２値出力信号を送出するスレシ
ョルド回路４５と該第２の２値教師信号を該第１の２値
教師信号へ逆変換する機能を有し該スレショルド回路４
５からの２値出力信号を新たな２値出力信号に逆変換し
送出する教師信号コード逆変換器４６とからなる第２の
２値出力ニューラルネットワーク手段４３とを入力に対
して並列に接続し、該多値出力ニューラルネットワーク
４３、４４からの該２値出力信号を用いて予め格納され
ている中間層基準２値出力信号を検索し送出する中間層
基準出力検出器４９、５０と、入力データに対する該学
習済みニューラルネットワーク４１、４４の中間層５の
ユニットの出力信号を２値変換してそれぞれの中間層２
値出力信号を得るスレショルド回路５１、５２と、該中
間層２値出力信号と該中間層基準２値出力信号との間の
ハミング距離を求め中間層出力距離として送出するハミ
ング距離計算器５３、５４と、該学習済みニューラルネ
ットワーク４１、４４の出力層６の該出力信号の各ユニ
ット毎の余裕値をそれぞれ求め、該余裕値と該第１の２
値出力ニューラルネットワーク手段４３、４４内のスレ
ショルド回路４２、４５からの該２値出力信号と予め格
納されたテスト領域データとを比較し該余裕値が該テス
ト領域内か外かを判定し、テスト領域判定情報として送
出するテスト領域判定器５７、５８と、該第１及び第２
値出力ニューラルネットワーク４３、４７から送出され
る該２値出力信号とを比較し一致或いは不一致を検出し
一致検出情報として送出する一致検出器４８と、該テス
ト領域判定器５７、５８及び該ハミング距離計算器５
３、５４、更に該一致検出器４８とからそれぞれ入力さ
れた該テスト領域判定情報と該中間層出力距離と該一致
検出情報とを用いて、該２値出力信号が正答か誤答かを
推定し、正誤答推定情報を送出する正誤答推定器５５、
５６と、該正誤答推定情報と該一致検出情報とを元に該
第１及び第２の２値出力ニューラルネットワークからの
該２値出力信号の何れかを選択しニューラルネットワー
ク手段４０の２値出力信号として送出し、併せて正答か
誤答かを判定して正誤答判定情報として送出する出力選
択処理器５９とから構成される。

【００３８】以下、これらの動作について詳細に説明す
る。該学習済みニューラルネットワーク４１、４４は入
力層４、中間層５及び出力層６の３層の同一構成であ
り、該第１及び第２の２値教師信号をそれぞれ用いて異
なったグローバルミニマムの状態に簡単に学習させるこ
とができる。従って、該第１及び第２の２値出力ニュー
ラルネットワーク４３、４７からの２値送出信号は、学
習入力データに対して、それぞれ全て同一の正答の出力
となり、一致する。また、これら学習済みニューラルネ
ットワーク４１、４４は学習アルゴリズムとニューラル
ネットワークの構造が同一であることから殆ど同様な高
い汎化能力が得られる。

【００３９】また、異なる教師信号を用いて学習させた
学習済みニューラルネットワーク４１、４４の汎化能力
が高いことから汎化特性の正答な領域は広く而もずれて
おり、未知入力データに対して該２値出力ニューラルネ
ットワーク４３、４７からの両２値出力信号は幅広く同
一となるが、ずれている領域では同一とはならず、何れ
かが誤答となる。

【００４０】ここで、学習済みニューラルネットワーク
４１、４４の重み係数としては、同一或いはそれぞれ異
なった重み係数初期値を設定して学習させたものを用い
ても良い。それぞれ異なった重み係数の初期値設定を行
うと、汎化能力の変化は殆どないが、汎化特性はよりず
れた正答の領域を持つ。

【００４１】該学習済みニューラルネットワーク４１及
び４４に対して、端子２を介して入力データが並列に入
力され、学習済みの重み係数を用いて実行処理が行われ
る。該一致検出器４８に於て該２値出力ニューラルネッ
トワーク４３及び４７からの２値出力信号が一致した場
合には、共に正答の場合が殆どである。しかしながら、
該スレショルド回路４３、４５からの２値出力信号が同
じような誤りを発生している場合があり、誤答ではある
がお互いに一致する場合も発生率は非常に低いが発生す
る。この為、以下の推定処理を行っている。

【００４２】従来技術では、多数決処理或いは一致検出
処理に於て、多数決論理或いは一致論理を満足すれば、
正答、満足しなければ誤答と単純に判定している為に、
正誤答の判定の精度が低い。

【００４３】これに対して実施例２では、正誤答推定器
５５、５６に於て、それぞれ接続されているテスト領域
判定器５７、５８からのテスト領域判定情報とハミング
距離計算器５３、５４からの中間層出力距離と一致検出
器４８からの一致検出情報とから、該２値出力ニューラ
ルネットワーク手段４３、４７からのそれぞれの該２値
出力信号の正答／誤答を推定し、２値出力選択処理器５
９に正誤答推定情報としてそれぞれを送出する。ここで
は、一致検出情報を元に、一致検出の場合と不一致検出
の場合とに分けて、それぞれ中間層出力距離と予め定め
られた出力距離スレショルドとの比較とテスト領域判定
情報とにより、正答或いは誤答の推定を行っている。例
えば、両該２値出力信号が一致した場合、テスト領域外
で且つ中間層出力距離が該出力距離スレショルドより大
きいと誤答と推定する。また、その他の状態を正答と推
定する。一方、両該２値出力信号が不一致の場合、テス
ト領域判定に無関係に中間層出力距離が該出力距離スレ
ショルド以上であると、誤答と推定し、それ以外である
と正答と推定する。

【００４４】該出力選択処理器５９では、該正誤答推定
情報と該一致検出情報とを用いて、該第１及び２の２値
出力ニューラルネットワーク４３、４７からの両該２値
出力信号が共に正答推定ならば正答とし、第１の２値出
力ニューラルネットワーク手段４３からの２値出力信号
を送出すると共に正誤答情報として正答を送出する。何
れか一方が正答推定ならば、正答推定である２値出力ニ
ューラルネットワーク手段からの該２値出力信号を送出
すると共に正誤答情報として正答を送出する。また、何
れも誤答ならば、第１の２値出力ニューラルネットワー
ク４３からの該２値出力信号を送出するとともに誤答を
正誤答情報として送出する。以上の正誤答推定と論理和
処理を行う正誤答判定とにより、正誤答の非常に高い判
定精度と非常に高い正答判定率とを実現している。例え
ば、シミュレーションによると判定精度は99%以上で、
判定率は95%程度を実現している。

【００４５】ここで、ニューラルネットワークを学習さ
せ学習済みニューラルネットワークを４１、４４を得る
際に、学習入力データと２値教師信号との対応づけに於
て、２値教師信号毎に代表的な特徴を示している入力デ
ータや発生頻度の高い入力データを学習コアー入力デー
タとして少なくとも準備し、該学習コアー入力デーアに
対する２値出力信号が正答となるよう学習させた該学習
済みニューラルネットワーク４１及び４４を用いる。こ
こで、学習が終了した際に、該学習コアー入力データに
対する該学習済みニューラルネットワーク４１及び４４
の中間層５のユニットからの出力信号を該スレショルド
回路５１、５２を介してそれぞれ２値出力信号に変換し
て、これらをそれぞれの中間層基準出力格納器４９及び
５０に中間層基準２値出力信号として予め格納してお
く。その時、該スレショルド回路４２及び４５からの各
２値出力信号に対応づけてそれぞれ格納する。

【００４６】入力データが入力された際には、該中間層
基準出力格納器４９、５０では、該２値出力ニューラル
ネットワーク４３、４７からの該２値出力信号に対応し
た該中間層基準２値出力信号を読み出し、該ハミング距
離計算器５３、５４へそれぞれ送出する。該ハミング距
離計算器５３では、該中間層基準２値出力信号と該中間
層５のユニットの出力信号から該スレショルド回路５
１、５２を介して得られた２値出力信号とのハミング距
離を測り、該正誤答推定器５５、５６へそれぞれ中間層
出力距離として送出し、正誤答推定の尺度として用い
る。一般に、正答の場合は、このハミング距離は小さ
く、誤答の場合はこの距離が大きい傾向にある。ここ
で、３以上の多値の場合には、該ハミング距離計算器５
３、５４の代わりにリー距離計算器を用いればよい。

【００４７】次に、該テスト領域データとしては、該学
習済みニューラルネットワーク４１、４４のテスト入力
データに対する汎化能力を評価する際に、該スレショル
ド回路４２、４５が正答の２値出力信号を送出するテス
ト入力データ間で、該学習済みニューラルネットワーク
４１、４４の出力層６のユニットからの出力信号のユニ
ット毎の余裕値（即ち、該スレショルド回路４２、４５
のスレショルド値との差の絶対値）の最小値と最大値と
を求め、該テスト領域判定データとし、該２値教師信号
に対応させてテスト領域判定器５７、５８にそれぞれ予
め格納する。

【００４８】テスト領域判定器５７、５８では、入力デ
ータに対応した該スレショルド回路４３、４５からの２
値出力信号を用いて該テスト領域データを読み出し、こ
の時の該出力層６のユニットからの出力信号の該余裕値
が全てのユニット毎のそれぞれの該最大値と該最小値間
の範囲に収まればテスト領域内、それ以外の状態をテス
ト領域外と判定し、テスト領域判定情報を送出する。こ
こで、入力データに対する出力層６のユニットからの出
力信号がテスト領域外であると判定されると、この入力
データは未知入力データと判定しても良い。また、テス
ト領域判定データとして、ユニット毎の余裕値の最大及
び最小値を用いているが、全ユニット間での最大及び最
小値を用いても良い。

【００４９】ここでは、正しい所望の２値出力信号を送
出するテスト入力データだけから上記のテスト領域判定
データを求めればよいが、準備されている全てのテスト
入力データを元にテスト領域判定データを求める場合に
は、学習入力データを用いてニューラルネットワークを
学習を終了させた後、更に誤った２値出力信号を送出す
るテスト入力データを学習入力データとして追加学習
し、この追加学習を繰り返すことにより、最終的にテス
ト入力データに対して全て正しい２値出力信号を送出す
るよう学習させることができる。このような追加学習を
行った後、その重み係数を用いて学習済みニューラルネ
ットワーク４３、４７に設定し、これらのテスト入力デ
ータに対してテスト領域判定データを収集してもよい。

【００５０】実施例２に於ては、ハミング距離計算器５
３、５４を用い、学習コアー入力データに対応した学習
済みニューラルネットワーク４１及び４４の中間層ユニ
ットのそれれぞれの出力信号を該スレショルド回路５
１、５２を介して２値出力信号を得、それぞれ中間層基
準２値出力信号としたが、該スレショルド回路５１、５
２を介さず中間層ユニットのそれぞれの出力信号をその
まま中間層基準出力信号として該中間層基準出力格納器
４９、５０に予め格納し、これらを該スレショルド回路
４３、４５からの２値出力信号を元にそれぞれ読み出
し、入力データに対応した中間層ユニットの出力信号と
のユニット毎の差の絶対値を全ユニットに渡り加算して
中間層出力距離として用いても良い。

【００５１】また、中間層出力距離と比較する出力距離
スレショルドは、２値教師信号に対応した２値出力信号
毎に異なる値を設定してもよい。或いは、正答の同一の
２値出力信号となる種々のテスト入力データに対して、
中間層出力距離を求め、この平均値或いは更に標準偏差
とを用いて該距離比較スレショルドを求め設定しても良
い。尚、実施例２では、中間層基準出力格納器４９、５
０とハミング距離計算器５３をそれぞれ分けて説明した
が、これらを一緒にして中間層基準２値出力信号を格納
したハミング距離計算処理器として構成してもよい。

【００５２】コード変換された第１以外の教師信号とし
ては、該教師信号逆変換器４６によって第１の教師信号
へ逆変換することができる如何なる教師信号でもよい。
例えば、第１の２値教師信号の２値補数からなる２値教
師信号や、入力データと第１の２値教師信号との対応関
係をシフトした２値教師信号を用いてもよい。または、
第１の２値教師信号とは異なる第２の２値教師信号をラ
ンダムに発生させ、その対応関係を該教師信号コード逆
変換器４７に設定してもよい。

【００５３】本実施例のニューラルネットワーク手段４
０において、上記説明のごとく異なった教師信号に対し
て学習済みの２つの該２値出力ニューラルネットワーク
４３、４７を用いているが、ここで、これらの２値出力
ニューラルネットワーク４３、４７の他に、他とは異な
った２値教師信号による学習済みのニューラルネットワ
ークを用い、第２の２値出力ニューラルネットワークと
同様の構成をもった新たな２値出力ニューラルネットワ
ークを奇数個用意し入力データに対して並列接続し、増
設された個々の該２値出力ニューラルネットワークに
は、該２値出力ニューラルネットワーク４７と同様にス
レショルド回路５２、ハミング距離計算器５４、中間層
基準出力格納器５０、テスト領域判定器５８とそれぞれ
同一なものを接続し、更に、該一致検出器４８を多数決
処理器に置き換え構成し、並列度を増やしてもよい。

【００５４】ここで、全ての２値出力ニューラルネット
ワークからの２値出力信号を多数決論理により処理し、
あるスレショルド以上２値出力信号が互いに一致してお
れば、一致検出、それ以下ならば不一致検出とする。こ
れにより、ニューラルネットワーク手段の汎化能力をよ
り一層改善でき、正誤答判定能力や精度も著しく改善さ
れる。

【００５５】尚、実施例１及び２に於て、２値教師信号
と２値化する為のスレショルド回路を用いた２値の場合
についてそれぞれ実施例を示した。ここでは、学習済み
ニューラルネットワーク２９、３２、３６、４１、４４
としてそれぞれ異なる２値教師信号を用いて学習させた
ものを用いたが、これらに対してそれぞれ異なる３値以
上の多値教師信号を用いて学習させたものを用い、２値
化するスレショルド回路３０、３３、３７、４２及び４
５に対してそれぞれ多値スレショルド回路を、また、学
習コアー入力データに対して得られる中間層基準２値出
力信号に代わり、多値教師信号による学習済みニューラ
ルネットワークを用いて学習コアー入力データに対する
中間層基準多値出力信号を得、これを該中間層基準出力
格納器４９、５０に予め格納し、ハミング距離計算器５
３、５４の代わりに多値出力信号間の距離を測るリー距
離計算器を用いることにより、正誤答判定情報と多値出
力信号とを送出する多値ニューラルネットワーク手段を
構成することも出来る。

【００５６】入力データを入力してニューラルネットワ
ーク手段４０を動作させた際、端子２６から誤答判定さ
れた２値出力信号が得られた場合には、これに対応した
入力データを学習入力データとして該学習済みニューラ
ルネットワークの重み係数を初期値として追加学習し
て、新たな重み係数を得、該学習済みニューラルネット
ワーク４３、４７に設定し、該ニューラルネットワーク
手段４０を動作させてもよい。この一連の処理を繰り返
すことにより汎化能力や汎化特性の改善が図れ、より高
い正答判定率とより高い判定精度を得ることが出来る。
尚、この追加学習を行った際には、学習入力データを初
めとする学習条件が変わると、該学習済みニューラルネ
ットワーク４１、４４の重み係数が変化することから、
これらのテスト領域判定データや中間層基準２値出力信
号をその都度求めなおし、中間層基準出力検出器４９、
５０及びテスト領域判定器５７、５８に予めそれぞれ格
納する。

【００５７】学習方法として、バックプロパゲーション
法を前提に説明したが、教師信号を用いた学習ならいず
れの学習法でもよい。また、上記の実施例に於て、学習
済みニューラルネットワークとしてローカルミニマム状
態に収束させたものを用いてもよいが、汎化能力及び汎
化特性ともグローバルミニマム状態で収束した場合より
劣化することから、汎化能力及び正誤答判定に於ける判
定精度も劣化する。

【００５８】以上説明したように、従来方式では、汎化
特性の正答の領域をずらす為に、数多くのニューラルネ
ットワークを必要とし、而も学習の際に種々の異なる重
み係数の初期値設定を行ない異なったローカルミニマム
に収束させる試行錯誤が必要であり、その作業量が膨大
である。汎化能力が低く正答の２値出力信号を送出する
入力データ領域も狭く、また、正誤答判定の精度も低
い。

【００５９】一方、本発明の如く並列接続して用いられ
る学習済みニューラルネットワークは、それぞれ異なる
２値教師信号を用いて学習しており、而もグローバルミ
ニマムに収束していることから、汎化能力も非常に高く
安定であり、汎化特性に於ける正答な２値出力信号を送
出する領域も広く而も簡単にずらすことができる。従っ
て、少ない数のニューラルネットワークでよく而も学習
が簡単で且つ試行錯誤が不要である。また、それらネッ
トワークの汎化能力及び汎化特性とも高性能で非常に安
定していることから、容易に高い正答判定率と精度の高
い正誤答推定や判定が実現出来る。

【００６０】

【発明の効果】以上述べたように、従来方式に於ける異
なった重み係数の初期値に対してローカルミニマムに収
束した複数個の学習済みニューラルネットワークを入力
データに対して並列接続し、入力データに対する２値出
力信号の単なる多数決処理や一致検出などによる正答／
不明或いは誤答判定を行っており、汎化能力や正誤答の
判定精度や２値出力信号の正答率などが低い。

【００６１】一方、本発明の正誤答判定機能を有したニ
ューラルネットワーク手段は、それぞれ異なった多値教
師信号を用いてグローバルミニマムに収束させ学習させ
た学習済みニューラルネットワークを入力に対して並列
に接続し、２値出力信号間の一致／不一致を検出すると
共に、中間層基準多値出力信号と入力データに対する中
間層ユニットからの多値出力信号とのハミング距離或い
はリー距離に於ける比較と、出力層ユニットからの出力
信号の余裕値のテスト領域判定とを元にこれらの２値出
力信号の正誤答推定を行ない、更に正答の２値出力信号
の論理和による選択をすることにより、より高い汎化能
力と非常に安定した高い精度の正誤答と大きい正答判定
率の元に２値出力信号を送出することが簡単に実現でき
る。また、高い正答判定率と高い正答精度が容易に得ら
れることから、並列ニューラルネットワークに於て、数
多くのニューラルネットワークを用いる必要がなく、構
成が簡単になる。

【００６２】これらの結果から、本発明の正誤判定機能
を有するニューラルネットワーク手段をパターン認識等
に実用した際、未知入力データの多値出力信号に対して
正誤答判定が得られ、而もその正答／誤答の精度が非常
に高いことから、誤答と判定された未知入力データに対
しては、正しい多値教師信号の対応ずけを行ない、並列
接続されるそれぞれの学習済みニューラルネットワーク
の重み係数を追加学習させた重み係数で置き換えること
により、多値出力ニューラルネットワーク手段の汎化能
力と正答判定能力を次第に向上させることが簡単に出来
る。

【００６３】従って、パターン認識処理などに用いる際
に、詳細な学習入力データを事前に取得した後に、ニュ
ーラルネットワークを学習させて使用する必要は必ずし
もなく、少なくとも非常に特徴のある学習入力データを
学習コアー入力データとしてまず学習させ、現実の使用
環境の元で、高い汎化能力と精度の高い正誤答判定能力
を利用して、而も誤答の２値出力信号を送出する未知入
力データ収集を迅速に行ない、これらを追加学習させる
ことにより、正誤答判定機能を有するニューラルネット
ワーク手段の正答判定能力と汎化能力を同時に著しく高
めることが出来き、実用環境に適したパターン認識率の
非常に高い高性能なニューラルネットワーク手段を簡単
に実現出来る。

【００６４】上述のように本発明の正誤答判定機能を有
するニューラルネットワーク手段は、従来方式に比べ
て、少ない数の学習済みニューラルネットワークを並列
接続し使用しても非常に高い性能が簡単に得られ、構成
が簡単になる利点を持つ。また、異なった多値教師信号
を用いてグローバルミニマムに収束させたニューラルネ
ットワークを用いることから、試行錯誤を必要とせず、
学習処理が大幅に少ない。

【００６５】従って、従来技術では実現が困難な大規模
ニューラルネットワークに対しても本発明のニューラル
ネットワークを用いて短時間で設計し実現することが出
来、非常に高性能な正誤答判定能力や高い汎化能力が要
求される人口知能システムや検索システム、画像処理シ
ステムさらにはネットワーク障害情報などを処理する通
信処理システムなどへの幅広い応用ができるなど、非常
に幅広い効果を有している。

【図面の簡単な説明】

【図１】実施例１における本発明の正誤答判定機能を有
したニューラルネットワーク手段の一構成例である。

【図２】従来方式における３層ニューラルネットワーク
の学習処理の一構成例である。

【図３】従来方式による出力状態情報出力機能を有した
ニューラルネットワーク網の一構成例である。

【図４】実施例２における本発明の正誤答判定機能を有
したニューラルネットワーク手段の一構成例である。

【符号の説明】

１３層ニューラルネットワーク２入力信号入力端子２_１入力ユニット端子２_２入力ユニット端子２_Ｎ入力ユニット端子３２値出力端子３_１２値出力ユニット端子３_２２値出力ユニット端子３_Ｍ２値出力ユニット端子４入力層４_１入力層ユニット４_２入力層ユニット４_Ｎ入力層ユニット５中間層５_１中間層ユニット５_Ｐ中間層ユニット６出力層６_１出力層ユニット６_２出力層ユニット６_Ｍ出力層ユニット７重み係数制御器８２値教師信号入力端子８_１２値教師信号入力ユニット端子８_２２値教師信号入力ユニット端子８_Ｍ２値教師信号入力ユニット端子９スイッチ回路１０減算器１０_１減算器１０_２減算器１０_Ｍ減算器１１重み係数入出力端子１２スレショルド回路１２_１スレショルド回路１２_２スレショルド回路１２_Ｍスレショルド回路１３教師信号コード変換器１４従来技術によるニューラルネットワーク手段１５第１の学習済みニューラルネットワーク１６スレショルド回路１７第１の２値出力ニューラルネットワーク手段１８第２の学習済みニューラルネットワーク１９スレショルド回路２０第２の２値出力ニューラルネットワーク手段２１第３の学習済みニューラルネットワーク２２スレショルド回路２３第３の２値出力ニューラルネットワーク手段２４多数決処理器２５出力選択処理器２６２値出力信号端子２７正誤答出力端子２８本発明の第１の実施例におけるニューラルネット
ワーク手段２９第１の学習済みニューラルネットワーク３０スレショルド回路３１第１の２値出力ニューラルネットワーク手段３２第２の学習済みニューラルネットワーク３３スレショルド回路３４教師信号コード逆変換器３５第２の２値出力ニューラルネットワーク手段３６第３の学習済みニューラルネットワーク３７スレショルド回路３８教師信号コード逆変換器３９第２の２値出力ニューラルネットワーク手段４０本発明の第２の実施例におけるニューラルネット
ワーク手段４１第１の学習済みニューラルネットワーク４２スレショルド回路４３第１の２値出力ニューラルネットワーク手段４４第２の学習済みニューラルネットワーク４５スレショルド回路４６教師信号コード逆変換器４７第２の２値出力ニューラルネットワーク手段４８一致検出器４９中間層基準出力格納器５０中間層基準出力格納器５１スレショルド回路５２スレショルド回路５３ハミング距離計算器５４ハミング距離計算器５５正誤答推定器５６正誤答推定器５７テスト領域判定器５８テスト領域判定器５９出力選択処理器

Claims

【特許請求の範囲】

【請求項１】学習入力データと第１の多値教師信号と
を用いて学習した学習済みニューラルネットワークと該
ニューラルネットワークの出力層ユニットの出力信号を
多値変換し多値出力信号を送出する多値スレショルド手
段とからなる第１の多値出力ニューラルネットワーク手
段と、該第１の多値教師信号を変換し得られた第２の多値教師
信号と該学習入力データとを用いて学習した学習済みニ
ューラルネットワークと該ニューラルネットワークの出
力層ユニットの出力信号を多値変換し多値出力信号を送
出する多値スレショルド手段と該第２の多値教師信号か
ら該第１の多値教師信号への逆変換機能を有し入力され
た該多値スレショルド手段からの該多値出力信号を逆変
換し新たな多値出力信号を送出する教師信号逆変換手段
とからなる第２の多値出力ニューラルネットワーク手段
とを、入力に対して並列接続し、該第１及び該第２の多値出力ニューラルネットワーク手
段とからの該多値出力信号を比較し比較結果を送出する
比較手段と、該比較手段からの該比較結果を用いて、該第１及び該第
２の多値出力ニューラルネットワーク手段とからの該多
値出力信号の正誤答判定を行ない、該多値出力信号の何れかを選択し送出すると共に選択送
出された該多値出力信号の正誤答判定情報を送出する出
力選択処理手段とを少なくとも具備し構成することを特
徴とするニューラルネットワーク手段。
【請求項２】請求項１に記載の該ニューラルネットワ
ーク手段に於て、前記第２の多値出力ニューラルネット
ワーク手段と同一の構成を有し並列接続された少なくと
も一個以上の新たな多値出力ニューラルネットワーク手
段を設け、他の該多値教師信号とは異なり該第１の多値
教師信号から変換して得られた多値教師信号と該学習入
力データとを用いて学習させた学習済みニューラルネッ
トワークを用い、該多値出力ニューラルネットワーク手
段内の教師信号コード逆変換器に於て学習に用いた該多
値教師信号を該第１の多値教師信号に逆変換させる機能
を用い逆変換された多値出力信号を送出させ、並列接続
された該第１及び第２の多値出力ニューラルネットワー
ク手段と該多値出力ニューラルネットワーク手段からの
全ての該多値出力信号を該比較手段に入力することを特
徴としたニューラルネットワーク手段。
【請求項３】請求項１又は２に記載の該ニューラルネ
ットワーク手段に於て、前記比較手段として一致検出手
段を用いたニューラルネットワーク手段。
【請求項４】請求項２記載の該ニューラルネットワー
ク手段に於て、前記比較手段として多数決手段を用いた
ニューラルネットワーク手段。
【請求項５】請求項１、２、３又は４に記載の該ニュ
ーラルネットワーク手段において、前記多値教師信号毎
に対応した学習コアー入力データを設け、該学習コアー
入力データを少なくとも用いて学習させた各該学習済み
ニューラルネットワークの中間層ユニットからの該学習
コアー入力データに対する出力信号を中間層基準出力信
号とし、該学習コアー入力データに対する該多値出力ニ
ューラルネットワーク手段の該多値出力信号と該中間層
基準出力信号とを対応ずけ格納し、該多値出力ニューラ
ルネットワーク手段の該多値出力信号を元に対応した該
中間層基準出力信号を検索し読み出す中間層基準出力格
納手段と、該多値出力ニューラルネットワーク手段の該
中間層ユニットからの出力信号と該中間層基準出力格納
手段から読み出された該中間層基準出力信号との距離を
計算し中間層出力距離として送出する中間層距離計算手
段と、該中間層出力距離と設定された出力距離スレショ
ルドとの比較結果と該多値出力ニューラルネットワーク
からの多値出力信号を比較する該比較手段からの該比較
結果とを用いて正答或いは誤答推定を行い正誤答推定情
報を送出する正誤答推定手段と、該出力選択処理手段と
して該比較手段からの該比較結果と該正誤答推定手段か
らの該正誤答推定情報とから該多値出力ニューラルネッ
トワーク手段からの該多値出力信号の何れかを選択し送
出すると共に選択送出された該多値出力信号の正誤答判
定情報を送出する出力選択処理手段とを少なくとも具備
し構成することを特徴としたニューラルネットワーク手
段。
【請求項６】請求項１、２、３又は４に記載の該ニュ
ーラルネットワーク手段において、前記２値教師信号毎
に対応した学習コアー入力データを設け、該学習コアー
入力データを少なくとも用いて学習させた各該学習済み
ニューラルネットワークの中間層ユニッからの該学習コ
アー入力データに対する出力信号を２値変換するスレシ
ョルド手段を設け、得られた２値出力信号を中間層基準
２値出力信号とし、該学習コアー入力データに対する該
２値出力ニューラルネットワーク手段の該２値出力信号
と該中間層基準２値出力信号とを対応ずけ格納し、該２
値出力ニューラルネットワーク手段の該２値出力信号を
元に対応した該中間層基準２値出力信号を検索し読み出
す中間層基準出力格納手段と、該２値出力ニューラルネ
ットワーク手段の該中間層ユニットからの出力信号を２
値に変換する該スレショルド手段からの該２値出力信号
と該中間層基準出力格納手段から読み出された該中間層
基準２値出力信号との距離を計算し中間層出力距離とし
て送出するハミング距離計算手段と、該中間層出力距離
と設定された出力距離スレショルドとの比較結果と該多
値出力ニューラルネットワークからの多値出力信号を比
較する該比較手段からの該比較結果とを用いて、正答或
いは誤答推定を行い正誤答推定情報を送出する正誤答推
定手段と、該出力選択処理手段として該比較手段からの
該比較結果と該正誤答推定手段からの該正誤答推定情報
とから該２値出力ニューラルネットワーク手段からの該
２値出力信号の何れかを選択し送出すると共に選択送出
された該２値出力信号の正誤答判定情報を送出する出力
選択処理手段とを少なくとも具備し構成することを特徴
としたニューラルネットワーク手段。
【請求項７】請求項１、２、３又は４に記載の該ニュ
ーラルネットワーク手段において、前記多値教師信号毎
に対応した学習コアー入力データを設け、該学習コアー
入力データを少なくとも用いて学習させた各該学習済み
ニューラルネットワークの中間層ユニットからの該学習
コアー入力データに対する出力信号を多値変換するスレ
ショルド手段を設け、得られた多値出力信号を中間層基
準多値出力信号とし、該学習コアー入力データに対する
該多値出力ニューラルネットワーク手段の該多値出力信
号と該中間層基準多値出力信号とを対応ずけ格納し、該
多値出力ニューラルネットワーク手段の該多値出力信号
を元に対応した該中間層基準多値出力信号を検索し読み
出す中間層基準出力格納手段と、該多値出力ニューラル
ネットワーク手段の該中間層ユニットからの出力信号を
多値に変換する該スレショルド手段からの該多値出力信
号と該中間層基準出力格納手段から読み出された該中間
層基準多値出力信号との距離を計算し中間層出力距離と
して送出するリー距離計算手段と、該中間層出力距離と
設定された出力距離スレショルドとの比較結果と該多値
出力ニューラルネットワークからの多値出力信号を比較
する該比較手段からの比較結果とを用いて正答或いは誤
答推定を行い正誤答推定情報を送出する正誤答推定手段
と、該出力選択処理手段として該比較手段からの該比較
結果と該正誤答推定手段からの該正誤答推定情報とから
該多値出力ニューラルネットワーク手段からの該多値出
力信号の何れかを選択し送出すると共に選択送出された
該多値出力信号の正誤答判定情報を送出する出力選択処
理手段とを少なくとも具備し構成することを特徴とした
ニューラルネットワーク手段。
【請求項８】請求項５、６又は７に記載の該ニューラ
ルネットワーク手段内の該正誤答推定器に於て、前記中
間層出力距離と比較する該出力距離スレショルドとし
て、該多値出力ニューラルネットワーク手段からの該多
値出力信号が正答の多値出力信号を送出するテスト入力
データに対して該中間層出力距離を該多値教師信号毎に
求め、その平均値、或いは更に標準偏差値を少なくとも
用いて該出力距離スレショルドを求め設定して比較する
ことを特徴としたニューラルネットワーク手段。
【請求項９】請求項５、６、７又は８に記載の該ニュ
ーラルネットワーク手段に於て、正答な該多値出力信号
を与えるテスト入力データに対する該多値出力ニューラ
ルネットワーク手段内の該出力層ユニットからの出力信
号の出力層ユニット毎の正答を与える余裕値を求め、該
余裕値の最大値と最小値とからなる範囲を示すテスト領
域データを得、該テスト領域データを該多値教師信号と
対応させて予め格納し、入力データに対する該多値出力
ニューラルネットワーク手段からの該多値出力信号を元
に該テスト領域データを読み出し、該入力データに対す
る該多値出力ニューラルネットワーク手段内の該出力層
ユニットの出力信号の該余裕値とユニット毎に比較し、
テスト領域内かテスト領域外かを判定し、テスト領域判
定情報として送出するテスト領域判定器と、該テスト領
域判定情報と該中間層距離計算手段からの該中間層出力
距離比較結果と該多値出力ニューラルネットワークから
の多値出力信号を比較する該比較手段からの該比較結果
とを用いて、該多値出力ニューラルネットワーク手段か
らの該多値出力信号の正誤答を推定する正誤答推定手段
を該正誤答推定手段として具備し構成することを特徴と
したニューラルネットワーク手段。
【請求項１０】請求項５、６、７、８又は９に記載の
該ニューラルネットワーク手段に於て、前記第１の多値
教師信号から変換された他の多値教師信号とは異なる多
値教師信号を学習した学習済みニューラルネットワーク
を有し、該第２の２値出力ニューラルネットワーク手段
と同一の構成をもった新たな多値出力ニューラルネット
ワーク手段を奇数個用意し入力データに対して並列接続
し、新たに並列接続された夫々の該２値出力ニューラル
ネットワーク手段に、該第２の多値出力ニューラルネッ
トワーク手段に接続された該多値スレショルド手段、該
中間層距離計算手段、該中間層基準出力格納手段及び該
テスト領域判定手段とそれぞれ同一な手段とそれらの接
続を新たに準備し、更に該一致検出器を多数決処理器に
置き換え構成することを特徴としたニューラルネットワ
ーク手段。
【請求項１１】請求項１、２、３、４、５、６、７、
８、９又は１０に記載の前記ニューラルネットワーク手
段に於て、該多値出力ニューラルネットワーク手段内の
各該学習済みニューラルネットワークに於て、互いに異
なった重み係数の初期値を用いて学習させた重み係数を
設定することを特徴としたニューラルネットワーク手
段。
【請求項１２】請求項１、２、３、４、５、６、７、
８、９、１０又は１１に記載の該ニューラルネットワー
ク手段に於て、入力データに対する該出力選択処理器か
ら送出された正誤答判定情報が誤答判定の場合に、該入
力データに多値教師信号に割当て、学習入力データに追
加し、該学習済みニューラルネットワークの重み係数を
初期値として追加学習し、得られた新たな重み係数を該
学習済みニューラルネットワークの新たな重み係数とし
て用い、該テスト領域判定データ及び該中間層基準２値
出力信号を求め、該中間層基準出力検出器４９、５０及
び該テスト領域判定器５７、５８に予めそれぞれ格納
し、該多値出力ニューラルネットワークを動作させるこ
とを特徴としたニューラルネットワーク手段。