JP2002342739A

JP2002342739A - 通信ネットワークを介したニューラルネットワーク処理システム及びそのプログラムを格納したプログラム記憶媒体

Info

Publication number: JP2002342739A
Application number: JP2001147856A
Authority: JP
Inventors: Yotaro Hachitsuka; 陽太郎八塚
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2001-05-17
Filing date: 2001-05-17
Publication date: 2002-11-29

Abstract

(57)【要約】（修正有）【課題】未知入力信号を追加学習入力信号として蓄積
する学習処理ニューラルネットワークを有するサーバシ
ステムと、実行処理ニューラルネットワークを有するク
ライアントシステム。【解決手段】学習処理ニューラルネットワークサーバ
システム１０にて、予め準備された基本学習データに対
して学習処理ニューラルネットワーク１２の基本学習を
施し、その結合重み係数をネットワークを介して各実行
処理ニューラルネットワーククライアントシステム２０
に送り、実行処理ニューラルネットワーク２３に設定
し、実行処理を行う。クライアント２０にて誤答判定さ
れた未知入力信号が検出されると、通信ネットワークを
介してサーバシステム１０に送り、追加学習データとし
て教師信号と対応付け、学習処理ニューラルネットワー
ク１２の追加学習を行ない、得られた結合重み係数を各
クライアント２０の実行処理ニューラルネットワーク２
３に設定し実行処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、インターネットを
初めとする通信ネットワークの障害検出システムや、パ
ターン認識システム、音声認識システム、画像認識シス
テムなどの分野に適用可能な通信ネットワークを介した
ニューラルネットワーク処理システムに関するものであ
る。

【０００２】

【従来の技術】従来のニューラルネットワークには、文
献麻生英樹著、「ニューラルネットワーク情報処
理」、産業図書出版などに示されているように、多層
（階層）ニューラルネットワークや相互結合ニューラル
ネットワークなど種々のニューラルネットワークがあ
る。特に、学習入力信号と、分類カテゴリに対応した教
師信号とを用いて、学習させた多層（階層）ニューラル
ネットワークが種々幅広く実用されている。また、これ
らのニューラルネットワークに関する処理としては、ニ
ューラルネットワークの学習処理と学習後の結合重み係
数を用いて行う実行処理とがある。

【０００３】ここで、多層ニューラルネットワークを例
に、学習処理に関して簡単に説明する。多層ニューラル
ネットワークへの学習入力信号はエレメントを持ったベ
クトルから構成され、ニューラルネットワークの対応し
た入力層のそれぞれのユニットに入力された後、更に中
間層の各ユニット（隠れユニット）にそれぞれ重み付け
され出力される。中間層では、入力層の各ユニットから
の重み付けされた出力の総和を入力とし、バイアスを差
し引いた後、シグモイド関数と呼ばれる非線形入出力特
性を持った関数を介して出力される。出力層においても
中間層と同様な入出力処理が行われた後、各出力層ユニ
ットからそれぞれ対応した出力信号を送出する。更に、
これらの出力信号を２値化スレショルド手段を介して２
値出力信号に変換し、２値出力信号として送出する場合
もある。

【０００４】教師信号を用いた多層ニューラルネットワ
ークの結合重み係数学習アルゴリズムとしては、例え
ば、前記文献にも記載されているようにバック・プロパ
ゲーション・アルゴリズムがある。結合重み係数に対し
て乱数などを用いて初期値設定した後、予め用意された
分類カテゴリに対応した教師信号と、入力層に入力され
る学習入力信号とを用いて、バック・プロパゲーション
アルゴリズムの基に、出力信号と教師信号との平均誤差
電力が最小となるよう結合重み係数を適応更新し、教師
信号にできるだけ近い出力信号が出力層から送出される
よう学習を行う。ここで、平均誤差電力が予め定められ
たスレショルド以下となると、収束したとして学習を終
了する。或いは、学習回数がある一定のスレショルドを
越えた場合や、学習入力信号に対する２値出力信号が２
値教師信号と同一となった場合などに学習を終了する。
大規模ニューラルネットワークでは、一般にこの学習処
理に膨大な演算処理量が必要となる。

【０００５】次に、得られた結合重み係数（ここでは、
バイアスも結合重み係数に含み取り扱うこととする）を
用いて実行処理ニューラルネットワークを構成し、予め
準備されたテスト入力信号とそれに対応した所望の教師
信号とを用いて、汎化率、即ちテスト入力信号数に対す
る正答となる出力信号数の割合を評価するテスト処理が
行われる。学習入力信号の近傍のテスト入力信号を入力
した際に、所望の出力信号、即ち正答な出力信号を送出
する場合と、誤った出力信号、即ち誤答の出力信号を送
出する場合とがある。特に、学習の結果、ニューラルネ
ットワークがローカルミニマムの状態で収束した場合に
は、誤答の出力信号を送出しやすく、汎化率があまり高
くない。このことは、入力信号に対して正答な出力信号
を送出する入力信号領域、即ち汎化領域が狭いことを意
味する。従って、未知入力信号に対して正答な出力信号
を送出する汎化能力があまり高くない。汎化能力をでき
るだけ広くする必要がある場合には、学習入力信号の前
処理、テスト入力信号の選択、更にはグローバルミニマ
ムへの収束方法などの種々の工夫や、更には構造的工夫
として、汎化領域のずれた複数個のニューラルネットワ
ークを並列接続方法などが必要である。

【０００６】ネットワーク障害検出処理やパターン認識
などへのニューラルネットワークの適用の際、学習入力
信号が少なく、而もローカルミニマムに収束し汎化能力
が劣って場合には、入力信号に対してニューラルネット
ワークの実行処理を行うと、学習入力信号の近傍の入力
信号に対しても所望の出力信号が得られず、多くの誤答
の出力信号が発生する。従って、多くの入力信号を事前
にできるだけ収集し、学習入力信号或いはテスト入力信
号として用いる必要がある。しかしながら、一般に、同
一箇所で、単体システムとして学習処理、テスト処理及
び実行処理が行われる場合には、学習入力信号の十分な
事前収集は困難な場合が多く、限られた学習入力信号の
下で処理される。また、学習、テスト及び実行処理など
全ての処理を同一箇所で行う必要性から、それらの演算
処理量も膨大となる。特に、リアルタイムの実行処理が
必要となる場合には、演算処理量が問題となる。

【０００７】これに対して、特開平５−２６６２２７、
発明の名称、“ニューロ利用サービス”に見られるよう
に、通信回線を介して学習処理と実行処理とを分散して
行う従来技術がある。図２に、この従来技術の１例を示
す。このシステムは、ニューロ学習処理センタ３０と利
用者端末システム３５から構成され、通信回線を介して
互いに接続されている。利用者端末システム３５に於
て、計算機３７内の実行処理ニューラルネットワークを
利用して利用者個人の個人用フォントを作成し、印刷す
るシステムである。

【０００８】一般にニューラルネットワークの学習処理
の演算処理量が膨大となることから、学習処理をニュー
ロ学習処理センタ３０に於て行なっている。この為、利
用者端末システム３５にて、個人文字フォントを準備す
る為に必要となる個人文字フォント作成用学習データの
収集を行ない、ニューロ学習処理センタ３０に通信回線
を介して送り、これらをニューラルネットワークで学習
し、得られた結合重み係数を通信回線を介して受け取っ
ている。従って、ニューロ学習処理センタ３０は、通信
装置３１、学習パターン保持部３２、学習処理ニューラ
ルネットワーク３３、結合重み係数記憶部３４から構成
される。一方、利用者端末システム３５は、通信装置３
６、計算機３７、入力装置３８、キーボート３９及び出
力装置４０から構成されている。

【０００９】次に、これらの動作を説明する。計算機３
７では、通信装置３６、入力装置３８、キーボート３９
及び出力装置４０のそれぞれの制御機能の他に、入力装
置３８を介して入力された個人文字の文字認識部と文字
フォント格納部及び実行処理ニューラルネットワークと
を有している。特定の利用者の個人文字フォント作成の
為に、入力装置３８としてのスキャナーから読み取られ
た個人文字と、文字フォント格納部に記憶されている基
準文字とを文字認識部にて比較し、認識できない場合に
は、この個人文字用の個人文字フォントを作成する為
に、読み取られた文字と基準文字とのストローク分析デ
ータとを学習パターンとして、通信装置３１を介してニ
ューロ学習処理センタ３０に送信する。ここでは、前記
学習パターンとして、基準文字のストローク分析データ
を学習入力パターン、読み取られた文字のストローク分
析データを対応した教師パターンとしている。

【００１０】更に、ニューロ学習処理センタ３０内の通
信装置３６を介して、学習パターン保持部３２に前記の
基準文字のストローク分析データを学習入力パターンと
して、また前記の読み取られた文字のストローク分析デ
ータを教師パターンとしてそれぞれ格納する。即ち、候
補となる基準文字のストローク分析データを学習入力パ
ターンとして予め準備しておき、教師信号となる読み取
られた文字のストローク分析データを収集し格納してい
る。個人フォント作成の為のこれらの学習パターンが収
集されると、学習パターン保持部３２に格納されている
学習パターンを用いて学習処理ニューラルネットワーク
３３を学習させる。学習が終了すると、その結合重み係
数を結合重み記憶部３４に書き込み、更に、通信装置３
１から通信回線を介して、利用者端末システム３５の通
信装置３６へ送る。ここでは、単に予め与えられた学習
入力パターンに対して所望の出力、即ち対応した個人文
字のストローク分析データを送出させることを目的とし
ており、学習により得られた結合重み係数に対する汎化
性テストは必要としないことから実施されていない。

【００１１】その後、利用者端末システム３５に於て、
通信装置３６で受信された結合重み係数は、計算機３７
内の実行処理ニューラルネットワークの結合重み係数と
して設定される。キーボード３９から入力された文字に
対応した基準文字フォントのストローク分析データが文
字フォント格納部から読み出され、実行処理ニューラル
ネットワークに入力されると、対応した個人文字フォン
トのストローク分析データが出力され、これを用いて特
定の利用者の個人文字フォントが生成されて、出力装置
４０のプリンタを介して印刷される。また、基準文字フ
ォントに直接対応しない場合にも、実行処理ニューラル
ネットワークの汎化能力を利用して、その文字のストロ
ーク分析データを実行処理ニューラルネットワークに入
力し、その出力から同様に個人文字フォントを生成し、
印刷する。

【００１２】このシステムでは、膨大な演算処理量を必
要とするニューラルネットワークの学習処理を単に計算
能力のあるセンターで行なうこと、利用者端末個別シス
テムであること、個々の利用者端末システム３５に於
て、計算機３７の文字認識部を介して利用者が独自に学
習パターンの準備を行なうこと、更に学習パターンの準
備の為に教師信号となるデータの収集を行なっているこ
となどを特徴としている。即ち、端末システム３５に
て、その端末利用者の固有の個人文字フォントを作成す
るための個人文字情報を入力装置３８を介し文字認識部
を用いて収集して、基準文字のストローク分析データか
らなる学習入力パターンと読み取られた文字のストロー
ク分析データを教師パターンとする学習パターンを作成
し、これらを通信回線を介してニューロ学習処理センタ
３０に送信して、学習パターン保持部３２に一時保持
し、これらの学習パターンを用いて膨大な演算処理量を
必要とする学習処理ニューラルネットワークを学習さ
せ、学習が終了すると、その結果としての結合重み係数
（以降バイアスも含むものとする）を該当の利用者端末
システム３５に送り返し、計算機３７内の実行処理ニュ
ーラルネットワークに再設定している。

【００１３】従って、利用者端末システム３５では、そ
の端末利用者固有の学習パターンの学習処理に伴う演算
を単純にニューロ学習処理センタ３０に依頼することに
より、このような演算処理量を必要とせず、少ない演算
処理量の実行処理ニューラルネットワークを用いて、特
定の利用者の個人文字フォント作成を行っている。即
ち、膨大な演算処理量を必要とする学習処理をニューロ
学習処理センタ３０で行ない、演算処理量を余り必要と
しない実行処理を利用者端末システムで行う、通信回線
を介した演算処理の単なる分散をした構成になってい
る。また、このシステムは、基本的に特定の利用者毎の
個別システムであり、利用者端末システム３５の利用者
のそれぞれ固有な個人文字用学習パターンを収集して、
その利用者対応の実行処理ニューラルネットワークの必
要なパラメータを得ている。また、単に文字認識部に於
ける入力文字と基準文字との比較結果を元に学習パター
ンの収集を行なっている。

【００１４】このように従来技術では、学習処理及び実
行処理を同一箇所で行うことによる膨大な演算処理量を
必要とするシステム構成としているか、或いはこれを解
決する為に、ニューロ学習処理センタ３０でニューラル
ネットワークの学習処理を、利用者端末システム３５で
ニューラルネットワークの実行処理を行う、通信回線を
介した単純な演算処理の分散化を利用したシステム構成
となっている。

【００１５】しかしながら、通信ネットワークを介した
一般の不特定多数の利用者を対象としたパターン認識用
利用者端末システムや分散した通信ネットワーク障害検
出探索システムなどのように全てのクライアントシステ
ム（利用者端末システム或いはノードシステム）に於
て、共通な実行処理ニューラルネットワークを準備して
利用する場合には適用でない。即ち、個々の利用者端末
システム３５固有の利用者に関する学習パターンに対す
るニューラルネットワーク学習処理をニューロ学習処理
センタ３０にそれぞれ単純に依頼して行っているだけ
で、個別システム対応となっている。従って、個々の利
用者端末システム３５からの個別の学習パターンを基に
夫々独立に学習しており、これらをまとめて学習するな
どの利用機能がない。更に、一旦、結合重み係数を設定
すると、クライアントシステムでは、単純に実行処理を
行うだけで、設定されている実行処理ニューラルネット
ワークの性能評価や汎化能力の改善を図る機能を有して
いない。

【００１６】

【発明が解決しようとする課題】上記の如く、従来技術
では、大規模ニューラルネットワークを必要とする応用
に於て、ニューラルネットワークの学習処理、実行処理
が同一箇所の単体システムで実行される場合が殆どであ
り、その演算処理量が膨大になる。また、ニューラルネ
ットワークの特性改善の為に学習処理が必要となった際
に、リアルタイムの実行処理を行いながら、学習処理や
或いは更にテスト処理を実行し完了するには、長時間が
かかり、迅速な対応が出来ない。このようにニューラル
ネットワーク処理が膨大となる理由から、ニューロ学習
処理センタ３０に学習処理を、利用者固有な利用者端末
システムに実行処理をそれぞれ分割させ、あくまで単純
に個々の利用者端末での演算処理を削減させている。従
って、特定の利用者の利用者端末に於て、学習パターン
としての利用者固有な個人情報を中心に収集し、通信回
線を介してセンタに送り、それらの学習処理を行う、基
本的に特定の利用者に対する個別対応のシステムであ
る。このように、ネットワークを介するものの演算処理
の単なる分割を行う個別対応のシステム構成では、従来
と同様に十分な学習データを迅速に収集することはでき
ず、高い汎化能力を持った実行処理ニューラルネットワ
ークを構成することが困難である。また、実行処理ニュ
ーラルネットワークの出力を基にして必要となる未知入
力信号を収集してはおらず、必要となる文字フォント作
成のためのストローク分析データを教師信号とする学習
パターンを単に収集しているだけである。従って、実行
処理ニューラルネットワークの性能を評価する手段を具
備しておらず、詳細な性能は不明のままである。

【００１７】即ち、ニューロ学習処理センタ３０は、全
ての利用者端末システムから共通となる学習データを幅
広く通信ネットワークを介して上手く収集することを目
的としておらず、十分な学習データを迅速に収集ができ
ない欠点を有している。従って、通信ネットワークを介
した一般の不特定多数の利用者を対象としたパターン認
識用利用者端末システムや分散したネットワーク障害検
出探索システムなどのように、各クライアントに共通な
実行処理ニューラルネットワークを準備して利用する場
合には適用できない。而も、問題となる学習入力信号を
幅広く通信ネットワークを介して上手く収集できない欠
点を有している。更に、一旦実行処理ニューラルネット
ワークを設定した後、その実行処理ニューラルネットワ
ークの性能評価や使用環境にあった汎化能力の改善など
ができないなどの欠点もある。

【００１８】本発明は、上記の問題を解決すべく通信ネ
ットワークを介したニューラルネットワーク処理システ
ムとそのプログラムを記憶したプログラム記憶媒体を提
供することを目的とする。

【００１９】

【課題を解決するための手段】第１の解決手段として、
基本学習入力信号と該基本学習入力信号に予め割当てら
れた教師信号とからなる１種類以上の基本学習データを
記憶する基本学習データ記憶手段１１と、入力に対して
１つ以上並列接続され、該基本学習データにそれぞれ対
応したニューラルネットワークから少なくとも構成され
た並列学習処理ニューラルネットワーク手段１２と、該
並列学習処理ニューラルネットワーク手段１２の学習処
理によって、該基本学習データを少なくとも用いて学習
させた該ニューラルネットワークそれぞれの結合重み係
数を得、少なくとも該結合重み係数からなる並列実行パ
ラメータを記憶する並列実行パラメータ記憶手段１３
と、該並列実行パラメータを通信ネットワークを介し
て、１つ以上のクライアントシステム２０に配送するデ
ータ送受信手段１５とを少なくとも有したサーバシステ
ム１０と、該サーバシステム１０から該並列実行パラメ
ータを受信するデータ送受信手段２１と、受信された該
並列実行パラメータを記憶する並列実行パラメータ記憶
手段２２と、受信された該並列実行パラメータを該並列
記憶手段２２から読み出し、該並列実行パラメータ内の
前記結合重み係数をそれぞれ設定した、入力に対して１
つ以上の並列接続されたニューラルネットワークから少
なくとも構成された、出力状態判定機能を有する並列実
行処理ニューラルネットワーク手段２３とを、少なくと
も有し、該並列実行処理ニューラルネットワーク手段２
３を用いて、該並列実行処理ニューラルネットワーク手
段２３の入力信号に対する出力信号と該出力信号の状態
を示す出力状態判定信号とを送出する、前記クライアン
トシステム２０とから構成されることを特徴とするニュ
ーラルネットワーク処理システムにより解決する。

【００２０】第２の解決手段として、前記サーバシステ
ム１０に於て、基本テスト入力信号と該基本テスト信号
に予め割当てられた教師信号とからなる基本テストデー
タと、該基本テストデータを格納する基本テストデータ
記憶手段１１と、前記学習処理が終了し得られた前記結
合重み係数を設定した、出力状態判定機能を有する並列
実行処理ニューラルネットワーク手段１４とを具備し、
該基本テストデータ記憶手段１１から読み出された該基
本テストデータを用いて該並列実行処理ニューラルネッ
トワーク手段１４のテスト処理を行ない、誤答の出力信
号を送出する該基本テスト入力信号を基本学習データと
して前記基本学習データ記憶手段１１に移管格納し、該
基本学習データ記憶手段１１内の全ての基本学習データ
を用いて、前記並列学習処理ニューラルネットワーク手
段１２を学習処理し、前記並列学習処理ニューラルネッ
トワーク手段１２内の前記ニューラルネットワークから
全ての該基本学習データに対して、正答出力信号が得ら
れると、前記学習処理を終了し、得られた結合重み係数
を用いて前記並列実行処理ニューラルネットワーク手段
１４のテスト処理を行ない、前記並列実行処理ニューラ
ルネットワーク手段１４内の前記ニューラルネットワー
クに於て、全ての前記基本テストデータに対して正答出
力が得られると、前記学習処理と前記テスト処理を完了
し、得られた結合重み係数で前記並列実行パラメータ記
憶手段１３に格納されている前記並列実行パラメータ内
の前記結合重み係数を更新記憶した後、前記クライアン
トシステム２０へ配送することを特徴とする請求項１に
記載のニューラルネットワーク処理システムにより解決
する。

【００２１】第３の解決手段として、前記クライアント
システム２０の前記並列実行処理ニューラルネットワー
ク手段２３に於て、入力された前記入力信号に対して送
出される前記出力状態判定信号に従って、少なくとも該
入力信号からなる出力状態判定データを蓄積する出力状
態判定データ蓄積処理手段２４を具備し、該出力状態判
定データ蓄積処理手段２４内に蓄積された出力状態判定
データが与えられた条件を満足すると、蓄積されている
全ての出力状態判定データを前記サーバシステム１０に
前記データ送受信手段２１を介して送信した後、該出力
状態判定データ蓄積処理手段２４をリセットし、前記サ
ーバシステム１０に於て、前記データ送受信手段１５を
介して受信した該出力状態判定データを蓄積する出力状
態判定データ蓄積処理手段１６と、該出力状態判定デー
タ蓄積処理手段１６に於て、該出力状態判定データ内の
入力信号に対して教師信号を割当て、少なくとも一部を
該入力信号と該教師信号とからなる追加学習データとし
て記憶する追加学習データ記憶手段１７とを具備し、該
追加学習データ記憶手段１７内に新たに記憶された追加
学習データが与えられた条件を満足すると、該追加学習
データ記憶手段１７内の全追加学習データと前記基本学
習データ記憶手段１１内の全基本学習データとをそれぞ
れ用いて、前記並列学習処理ニューラルネットワーク手
段１２を学習処理させ、前記並列学習処理ニューラルネ
ットワーク手段１２内の前記ニューラルネットワークの
全出力信号が正答となると学習処理を完了させ、前記出
力状態判定データ蓄積処理手段１６をリセットし、該並
列学習処理ニューラルネットワーク手段１２により得ら
れた結合重み係数を、前記並列実行処理ニューラルネッ
トワーク手段１４に設定し、前記並列実行パラメータ内
の前記結合重み係数を更新記憶すると共に、全クライア
ントシステム２０に配送することを特徴とした請求項１
及び２の何れかに記載のニューラルネットワーク処理シ
ステムにより解決する。

【００２２】第４の解決手段として、前記クライアント
システム２０の前記並列実行処理ニューラルネットワー
ク手段２３に於て、入力された前記入力信号に対して送
出される前記出力状態判定信号に従って、少なくとも該
入力信号からなる出力状態判定データを蓄積する出力状
態判定データ蓄積処理手段２４を具備し、該出力状態判
定データ蓄積処理手段２４内に蓄積された出力状態判定
データが与えられた条件を満足すると、蓄積されている
全ての出力状態判定データを前記サーバシステム１０に
前記データ送受信手段２１を介して送信した後、該出力
状態判定データ蓄積処理手段２４をリセットし、前記サ
ーバシステム１０に於て、前記データ送受信手段１５を
介して受信した該出力状態判定データを蓄積する出力状
態判定データ蓄積処理手段１６と、該出力状態判定デー
タ蓄積処理手段１６に於て、該出力状態判定データ内の
入力信号に対して教師信号を割当て、少なくとも一部を
該入力信号と該教師信号とからなる追加学習データとし
て記憶する追加学習データ記憶手段１７とを具備し、前
記追加学習データ記憶手段１７内に新たに記憶された追
加学習データが与えられた条件を満足すると、該追加学
習データ記憶手段１７内の全追加学習データと前記基本
学習データ記憶手段１１内の全基本学習データとをそれ
ぞれ用いて、前記並列学習処理ニューラルネットワーク
手段１２を学習処理させ、前記並列学習処理ニューラル
ネットワーク手段１２内の前記ニューラルネットワーク
の全出力信号が正答となると学習処理を終了させ、更
に、前記基本テストデータ記憶手段１１から読み出され
た該基本テストデータを用いて前記並列実行処理ニュー
ラルネットワーク手段１４のテスト処理を行ない、前記
並列実行処理ニューラルネットワーク手段１４内の前記
ニューラルネットワークが誤答の出力信号を送出する該
基本テストデータを基本学習データとして前記基本学習
データ記憶手段１１に移管格納し、前記基本学習データ
記憶手段１１内の全ての基本学習データと前記追加学習
データ記憶手段１１内の全ての追加学習データとを用い
て、前記並列学習処理ニューラルネットワーク手段１２
を更に学習処理し、前記並列学習処理ニューラルネット
ワーク手段１２内の前記ニューラルネットワークに於て
全て正答な出力信号が得られ、前記並列実行処理ニュー
ラルネットワーク手段１４に於て全ての該基本テストデ
ータに対しても、正答な出力信号が得られるまで、前記
学習処理と前記テスト処理とを繰り返し、全て正答な出
力信号が得られると前記学習処理及びテスト処理を完了
させ、前記出力状態判定データ蓄積処理手段１６をリセ
ットし、該並列学習処理ニューラルネットワーク手段１
２により得られた結合重み係数を用いて前記並列実行パ
ラメータ記憶手段１３に格納されている前記並列実行パ
ラメータ内の前記結合重み係数を更新記憶した後、前記
クライアントシステム２０へ配送することを特徴とする
請求項２に記載のニューラルネットワーク処理システム
により解決する。

【００２３】第５の解決手段として、前記クライアント
システム２０の前記並列実行処理ニューラルネットワー
ク手段２３から送出される前記出力状態判定信号も前記
出力状態判定データの一部とし、前記サーバシステム１
０に送出し、前記サーバシステム１０に於て、前記出力
状態判定データ蓄積処理手段１６に蓄積し、読み出され
た前記出力状態判定データ内の出力状態判定信号に従っ
て、該出力状態判定データ内の入力信号と該入力信号に
対応させて割当てられた教師信号とを前記追加学習デー
タとして前記追加学習データ記憶手段１１に格納し、前
記学習処理をさせることを特徴とした請求項３及び４の
何れかに記載のニューラルネットワーク処理システムに
より解決する。

【００２４】第６の解決手段として、前記サーバシステ
ム１０の前記並列実行処理ニューラルネットワーク手段
１４に於て、前記出力状態判定データ蓄積処理手段１６
から読み出された前記出力状態判定データ内の入力信号
と該入力信号に対応させて割当てられた教師信号とを用
いて、出力信号及び出力状態判定信号とを得、出力信号
が誤答の場合には、該入力信号と該教師信号とを追加学
習データとして前記追加学習データ記憶手段１１に格納
し、前記学習処理させ、出力信号が正答の場合には、該
入力信号と該教師信号とを追加テストデータとして追加
テストデータ記憶手段１１に格納し、前記テスト処理を
することを特徴とした請求項４に記載のニューラルネッ
トワーク処理システムにより解決する。

【００２５】第７の解決手段として、前記サーバシステ
ム１０に於て、並列実行処理ニューラルネットワーク手
段１４と、前記出力状態判定データ蓄積処理手段１６に
蓄積処理された前記出力状態判定データ内の前記出力状
態判定信号が、誤答判定信号の場合、対応した前記入力
信号と該入力信号に対応させて割当てられた前記教師信
号とを追加学習データとし前記追加学習データ記憶手段
１７に格納し、正答判定信号の場合、対応した前記入力
信号と該入力信号に対応させて割当てられた前記教師信
号とを追加テストデータとし格納する追加テストデータ
記憶手段１７とを具備し、前記並列学習処理ニューラル
ネットワーク手段１２の学習処理が終了すると、該追加
テストデータ記憶手段１７から全ての追加テストデータ
も読みだし、前記並列実行処理ニューラルネットワーク
手段１４のテスト処理を行ない、誤答の出力信号を送出
する該追加テストデータを追加学習データとして前記追
加学習データ記憶手段１７に移管格納し、前記並列学習
処理ニューラルネットワーク手段１２の前記学習処理と
前記並列実行処理ニューラルネットワーク手段１４の前
記テスト処理とを繰り返し、前記追加テストデータ記憶
手段１７内の全ての追加テストデータに対しても、前記
並列正答な出力信号が得られると、学習処理及びテスト
処理を完了し、前記並列学習処理ニューラルネットワー
ク手段１２に於て得られた結合重み係数を用いて前記並
列実行パラメータ記憶手段１３に格納されている前記並
列実行パラメータ内の前記結合重み係数を書き換えるこ
とを特徴とする請求項５に記載のニューラルネットワー
ク処理システムにより解決する。

【００２６】第８の解決手段として、前記クライアント
システム２０の前記並列実行処理ニューラルネットワー
ク手段２３に於て、前記入力信号に対する出力信号が、
正答の場合、正答となる出力余裕が与えられたスレショ
ルドより小さい場合のみ、前記出力状態判定として正答
小余裕判定信号を送出させ、該正答小余裕判定信号と対
応した入力信号とから少なくともなる正答小余裕判定デ
ータを前記出力状態判定データとして前記出力状態判定
データ蓄積処理手段２４に蓄積し、それ以外の正答な出
力信号に対応した正答判定信号を持った正答判定データ
は蓄積せず、前記サーバシステム１０に於て、受信され
た該正答小余裕判定データを前記出力状態判定データ蓄
積処理手段１６にて蓄積処理して、該正答小余裕判定デ
ータ内の入力信号と対応して割当てられた教師信号とを
追加学習データとして前記追加学習データ記憶手段１７
に記憶すると共に、前記並列学習処理ニューラルネット
ワーク手段１２を学習処理することを特徴とした請求項
５、６、及び７の何れかに記載のニューラルネットワー
ク処理システムにより解決する。

【００２７】第９の解決手段として、前記クライアント
システム２０の前記並列実行処理ニューラルネットワー
ク手段２３に於て、前記入力信号に対する出力信号が、
正答の場合、正答となる出力余裕が与えられたスレショ
ルドより小さい場合のみ、前記出力状態判定として正答
小余裕判定信号を送出させ、該正答小余裕判定信号と対
応した入力信号とから少なくともなる正答小余裕判定デ
ータを前記出力状態判定データとして前記出力状態判定
データ蓄積処理手段２４に蓄積し、それ以外の正答な出
力信号に対応した正答判定信号を持った正答判定データ
は蓄積せず、前記サーバシステム１０に於て、受信され
た該正答小余裕判定データを前記出力状態判定データ蓄
積処理手段１６にて蓄積処理して、該正答小余裕判定デ
ータ内の入力信号と対応して割当てられた教師信号とを
追加テストデータとして前記追加テストデータ記憶手段
１７に記憶すると共に、前記並列実行処理ニューラルネ
ットワーク手段１４をテスト処理することを特徴とした
請求項７に記載のニューラルネットワーク処理システム
により解決する。

【００２８】第１０の解決手段として、前記クライアン
トシステム２０の前記並列実行処理ニューラルネットワ
ーク手段２３に於て、前記入力信号に対する送出される
前記出力信号も前記出力状態判定データ内の一部とし、
前記出力状態判定データ蓄積処理手段２４に蓄積し、前
記サーバシステム１０に送信し、前記サーバシステム１
０の前記並列実行処理ニューラルネットワーク手段１４
に於て、前記出力状態判定データ蓄積処理手段１６に蓄
積されている前記出力状態判定データ内の入力信号を入
力して得られた出力信号と該出力状態判定データ内の出
力信号とを少なくとも比較し、一致状態を調べる検証手
段を具備し、該検証手段に於て、検証結果が与えられた
条件を満たすと、前記サーバシステム１０の該並列実行
パラメータ内の前記結合重み係数と該クライアントシス
テム２０の前記並列実行パラメータ記憶手段２２に記憶
されている前記並列実行パラメータ内の結合重み係数と
が異なり整合していないと判断し、前記サーバシステム
１０の該並列実行パラメータを前記データ送受信手段１
５を介して、該クライアントシステム２０に送信し、前
記並列実行パラメータ記憶手段２２に記憶すると共に、
前記並列実行処理ニューラルネットワーク手段２３に再
設定することを特徴とする請求項５、６、７、８及び９
のいずれかに記載のニューラルネットワーク処理システ
ムにより解決する。

【００２９】また、上記解決手段を実現するプログラム
を記憶したプログラム記憶媒体により解決する。

【００３０】

【作用】上記のように、これらの従来技術に於ける問題
を解決する具体的な手段として、演算処理量の多い並列
学習処理ニューラルネットワーク手段をサーバシステム
に、少なくとも一つ以上の各クライアントシステムに出
力状態判定機能を有する並列実行処理ニューラルネット
ワーク手段をそれぞれ具備する。このような構成の下
に、それぞれのクライアントシステムの出力状態判定機
能を有する並列実行処理ニューラルネットワーク手段を
用いて、少なくとも誤答判定や不明判定された出力信号
とその出力状態判定信号及びその入力信号とを、或いは
更に正答であるが正答出力余裕が小さい出力信号とその
状態を示す出力状態判定信号と対応した入力信号とを、
通信ネットワークを介してサーバシステムに送信させる
ことにより、サーバシステムにてこれら問題となる入出
力信号を効果的且つ迅速に幅広く収集することができ
る。

【００３１】更に、サーバシステムに於て、それぞれの
クライアントシステムから迅速且つ効果的に収集された
これらの出力信号と対応した出力状態判定信号に対する
出力状態判定を確認し、正しい教師信号との対応付けを
行ない、追加学習データとして、或いは更に追加テスト
データとして追加学習／追加テストデータ記憶手段に記
憶させることが出来る。更に、これら追加学習データを
少なくとも用いて並列学習処理ニューラルネットワーク
手段を追加学習させ、その後、追加テストデータを少な
くとも用いて汎化特性を評価する。これらの追加学習処
理及び追加テスト処理が完了すると、少なくとも、得ら
れた新たな結合重み係数と出力状態判定に必要な出力状
態判定パラメータとを、各クライアントシステムに配送
して、それぞれの出力状態判定機能を有する並列実行処
理ニューラルネットワーク手段に設定し動作させてい
る。

【００３２】従って、学習処理とテスト処理及び実行処
理の為のニューラルネットワーク処理に関連した演算処
理量を通信ネットワークを介して分散させるだけでな
く、サーバシステムに於て、通信ネットワークを介して
幅広くクライアントシステムから効果的に収集された問
題となる未知入力信号に対して教師信号を割当て得られ
たこれらの追加学習データを用いて追加学習を迅速に実
施し、得られた新たな結合重み係数を配送することによ
り、一段と多くの正答な出力信号を並列実行処理ニュー
ラルネットワーク手段から送出させるとともに、汎化能
力を大幅に向上させ得る。従って、全てのクライアント
システムに於て、未知入力信号に対する出力信号の信頼
性が非常に高くなり、且つ出力状態判定の精度も格段に
改善され、使用環境に最適化された実行処理を素早く提
供することができる。

【００３３】

【発明の実施の形態】以下に本発明に於ける実施形態の
通信ネットワークを介したニューラルネットワーク処理
システムの１例をあげ、その構成及びその動作につい
て、詳細に説明する。ここでは、簡単の為に２値教師信
号を用いた場合を例にあげ説明する。但し、本発明は、
教師信号として、２値教師信号に限るものではなく、多
値或いは連続値であってもよい。また、３層ニューラル
ネットワークを例にあげ、説明するが、３層ニューラル
ネットワークに限るものでなく、教師信号による学習を
行う他の中間層を持った構造のニューラルネットワーク
でもよい。

【００３４】［第１の実施の形態］本発明の第１の実施
の形態としての通信ネットワークを介したニューラルネ
ットワーク処理システムの１例を図１に示す。ここで
は、複数個の教師信号を用いて学習させる多層ニューラ
ルネットワークを用い、入力に対して１つ以上並列接続
した並列ニューラルネットワーク構成を基本とし、学習
処理或いは実行処理を行うものとする。ここで、並列実
行処理ニューラルネットワーク手段１４、２３は、出力
状態判定機能を有しており、入力信号に対する出力信号
の出力状態判定として正誤答判定を行う場合を例に挙げ
る。

【００３５】本実施形態では、学習処理ニューラルネッ
トワークサーバシステム１０と一つ以上の実行処理ニュ
ーラルネットワーククライアントシステム２０とを、通
信ネットワークを介して接続する。前記学習処理ニュー
ラルネットワークサーバシステム１０は、基本学習／基
本テストデータ記憶手段１１と、並列学習処理ニューラ
ルネットワーク手段１２と、並列実行パラメータ記憶手
段１３と、並列実行処理ニューラルネットワーク手段１
４と、データ送受信手段１５と、出力状態判定データ蓄
積処理手段１６と、追加学習／追加テストデータ記憶手
段１７と、システム制御管理手段１８とから少なくとも
構成されている。

【００３６】前記実行処理ニューラルネットワーククラ
イアントシステム２０は、データ送受信手段２１と、並
列実行パラメータ記憶手段２２と、並列実行処理ニュー
ラルネットワーク手段２３と、出力状態判定データ蓄積
処理手段２４とシステム制御管理手段２５とから少なく
とも構成されている。サーバシステム用プログラムは外
部プログラム記憶媒体１６１からシステム制御管理手段
１８を介してダウンロードし動作させ、同様に、クライ
アントシステム用プログラムも外部プログラム記憶媒体
１６２からシステム制御管理手段２５を介してダウンロ
ードし動作させる場合について説明する。当然のことで
あるが、クライアントシステム用プログラムを通信ネッ
トワークを介して学習処理ニューラルネットワークサー
バシステム１０や他のシステムからダウンロードしても
よい。

【００３７】これらの詳細な構成と動作について以下に
論述する。学習処理ニューラルネットワークサーバシス
テム１０に於て、並列学習処理ニューラルネットワーク
手段１２での学習処理の為の基本学習データ、及び並列
実行処理ニューラルネットワーク手段１４でのテスト処
理の為の基本テストデータを基本学習／基本テストデー
タ記憶手段１１に端子６０を介してそれぞれ格納する。
又は、予め格納しておく。前記基本学習データは、基本
学習入力信号とそれに対応した予め与えられた教師信号
とからなり、前記基本テストデータは、基本テスト入力
信号とそれに対応した予め与えられた教師信号とからな
る。

【００３８】使用する並列学習処理ニューラルネットワ
ーク手段１２及び並列実行処理ニューラルネットワーク
手段１４の構成パラメータ、即ち使用されるニューラル
ネットワークの並列数、並列接続されているニューラル
ネットワークの中間層数、入力層ユニット数、中間層ユ
ニット数及び出力層ユニット数を、サーバシステム用プ
ログラムからシステム制御管理手段１８を介して並列学
習処理ニューラルネットワーク手段１２及び並列実行処
理ニューラルネットワーク手段１４にそれぞれ設定する
と共に、並列実行パラメータの一部として、並列実行パ
ラメータ記憶手段１３に格納する。尚、並列数が２以上
の場合には、基本的に並列数だけの前記基本学習データ
と前記基本テスト入力信号とを準備する。

【００３９】また、同様に、学習処理の為の学習アルゴ
リズム、例えばバックプロパゲーションアルゴリズムに
於ける、慣性係数及び学習係数などの学習パラメータ及
び、結合重み係数初期値やバイアス初期値（ここでは、
以降バイアスも結合重み係数に含めて扱う）などを並列
学習処理ニューラルネットワーク手段１２に設定する。
また、結合重み係数を並列実行パラメータの一部とし
て、並列実行パラメータ記憶手段１３に格納する。更
に、並列学習処理ニューラルネットワーク手段１２内で
並列接続されているニューラルネットワークそれぞれ
に、分類カテゴリへの教師信号集合割当てが異なった基
本学習データを基本学習／基本テストデータ記憶手段１
１に準備する。また、同様に、並列実行処理ニューラル
ネットワーク手段１４内で並列接続されているニューラ
ルネットワークそれぞれに、分類カテゴリへの教師信号
集合割当てが異なった基本テストデータを基本学習／基
本テストデータ記憶手段１１に準備する。当然のことで
はあるが、並列接続されていることから、基本学習入力
信号および基本テスト入力信号はそれぞれ同じものが並
列入力される。

【００４０】学習処理ニューラルネットワークサーバシ
ステム１０に於ける並列学習処理ニューラルネットワー
ク手段１２に関する学習処理の動作モードとして、基本
学習モード及び追加学習モードを、並列実行処理ニュー
ラルネットワーク手段１４に関する実行処理の動作モー
ドとして、基本テストモード、出力状態判定パラメータ
処理モード、追加テストモード及び確認モードを準備し
ている。ここで、基本学習モードとして、先ず並列学習
処理ニューラルネットワーク手段１２内の並列接続され
た各ニューラルネットワークを基本学習データ記憶手段
１１からのそれぞれ対応した基本学習データを用いて、
バックプロパゲーション法などの学習アルゴリズムを用
いて学習させる。学習処理に於ける結合重み係数の更新
などについて詳細は、省略するが、ここでは、これらの
各ニューラルネットワークの出力層から全て正答の出力
信号が得られると、学習処理を終了させる。

【００４１】次に、図３の並列実行処理ニューラルネッ
トワーク手段１４に於て、モード切替えスイッチ手段８
９を基本テストモードに設定し、学習処理により得られ
た結合重み係数とバイアス値（以降、結合重み係数に含
めて取り扱う）とをそれぞれ対応した並列接続されたニ
ューラルネットワーク８３、８５にそれぞれ設定する。
尚、ここでは、説明を簡単にする為に、並列学習処理ニ
ューラルネットワーク手段１２に於けるニューラルネッ
トワークと並列実行処理ニューラルネットワーク手段１
４に於けるニューラルネットワークとを別々に準備した
構成を示したが、これらを共用して用いてもよい。

【００４２】次に、基本学習／基本テストデータ記憶手
段１１からの基本テスト入力信号と対応した教師信号と
からなる基本テストデータを用いた、それぞれの対応し
たニューラルネットワーク８３、８５の汎化性のテスト
処理として、出力状態判定選択処理手段８８に於いて送
出された出力信号と教師信号との比較により、出力信号
の正誤答を調べる。誤答の出力信号を送出する基本テス
トデータを、基本学習データとして基本学習／基本テス
トデータ記憶手段１１に於て移し格納し、並列学習処理
ニューラルネットワーク手段１２を基本学習モードに戻
し、対応したそれぞれのニューラルネットワークを基本
学習データを用いて再度学習させる。並列学習処理ニュ
ーラルネットワーク手段１２の学習処理が終了すると、
並列実行処理ニューラルネットワーク手段１４に於て、
得られた結合重み係数を設定し再び基本テストモードと
し、テスト処理を実行する。上記のように、並列接続さ
れた全てのニューラルネットワークに対して、それぞれ
対応した基本学習データと基本テストデータとを用い
て、学習処理とテスト処理とからなる一連の処理を行な
い送出される出力信号が全て正答となるまで、学習処理
とテスト処理を繰り返し実行する。

【００４３】並列実行処理ニューラルネットワーク手段
１４が、基本テストモードに於て、それぞれの基本テス
トデータに対してニューラルネットワーク８３、８５か
ら全て正答となる出力信号が得られると、並列学習処理
ニューラルネットワーク手段１２の学習処理、及び並列
実行処理ニューラルネットワーク手段１４のテスト処理
をそれぞれ完了し、並列実行パラメータ記憶手段１３内
の結合重み係数を得られた結合重み係数で置き換え保存
する。

【００４４】その後、並列実行処理ニューラルネットワ
ーク手段１４に於ける出力状態判定機能を実現するため
に、出力状態判定パラメータを得る。この為、出力状態
判定パラメータ処理モードとし、並列実行処理ニューラ
ルネットワーク手段１４に於て、モード切替えスイッチ
手段８９を出力状態判定パラメータ処理モードに設定
し、出力状態判定パラメータ処理手段８２に於て、基本
学習／基本テストデータ記憶手段１１からの基本学習デ
ータを用いて、各分類カテゴリに対応した教師信号毎
に、基本学習入力信号に対する中間層出力信号を中間層
基準出力信号としてそれぞれ求め、これらの中間層基準
出力信号を出力状態判定選択処理手段８８に設定する。

【００４５】次に、基本テストデータを用いて、各分類
カテゴリに対応した教師信号毎に、出力層ユニット毎の
ユニット出力信号の正答である為の最小及び最大正答出
力余裕を求め、この領域をテスト内正答出力余裕領域と
して、出力状態判定選択処理手段８８に設定する。この
テスト内正答出力余裕領域を用いて、未知入力信号に対
する出力信号のテスト領域内外の判定を行う。また、正
答であるが、正答出力余裕が小さい出力層出力信号を送
出する未知入力信号を検出する為に、正答小余裕スレシ
ョルドをテスト内正答出力余裕領域を基に求め、同様に
出力状態判定選択処理手段８８に設定する。

【００４６】更に、基本テスト入力信号の各分類カテゴ
リに対応した教師信号毎に、基本テスト入力信号に対す
る中間層出力信号を得、前記の対応した中間層基準出力
信号との距離、例えば、それらの間のユークリッド距離
や、それぞれを２値化した後のハミング距離、或いは３
以上の多値化したリー距離を求め、それらの分布の平均
値や標準偏差あるいは分散をもとに中間層出力距離スレ
ショルドを求め、出力状態判定選択処理手段８８に設定
する。これらの中間層基準出力信号と、中間層出力距離
スレショルドと、テスト内正答出力余裕領域と、正答小
余裕スレショルドとからなる出力状態判定パラメータ
を、並列実行パラメータの一部として、並列実行パラメ
ータ記憶手段１３にそれぞれ格納し、出力状態判定パラ
メータ処理モードを完了する。

【００４７】上記のように、並列実行パラメータとし
て、構成パラメータ、結合重み係数、及び出力状態判定
パラメータが全て収集されると、並列実行パラメータ記
憶手段１３から並列実行パラメータを読み出し、データ
送受信手段１５から通信ネットワークを介して夫々の実
行処理ニューラルネットワーククライアントシステム２
０内のデータ送受信手段２１に配送する。受信された並
列実行パラメータは、並列実行パラメータ記憶手段２２
に記憶されると共に、出力状態判定機能を有する並列実
行処理ニューラルネットワーク手段２３に設定される。

【００４８】実行処理ニューラルネットワーククライア
ントシステム２０に於ける、出力状態判定機能を有する
並列実行処理ニューラルネットワーク手段２３では、端
子７０からの入力信号に対する実行処理を実施させ、そ
の出力信号と対応した出力状態判定信号とを端子７１か
ら送出する。この１構成例を図４に示す。出力状態判定
選択処理手段９０では、上記の出力状態判定パラメータ
内の前記中間層基準出力信号と、前記中間層出力距離ス
レショルドと、前記テスト内正答出力余裕領域と、第１
ニューラルネットワークシステム８０の２値化スレショ
ルド手段８４及び第２ニューラルネットワークシステム
８１の出力変換手段８７からの２値出力信号の間の一致
／不一致状態検出とにより、出力状態推定を行う。

【００４９】更に、２値出力信号の間の一致／不一致状
態検出と、それらの出力状態推定結果と、正答出力余裕
と正答小余裕スレショルドとを比較して得た正答出力余
裕比較結果とから、出力状態判定を行ない、最終的な出
力信号の選択送出とそれに対応した出力状態判定信号と
を出力端子７１から送出する。最終的な出力信号として
は、出力層出力信号或いは２値出力信号のいずれでもよ
い。また、出力状態判定信号として、正答判定信号、誤
答判定信号及び正答小余裕判定信号との何れかを端子７
１に送出する。尚、推定及び判定方法の詳細について
は、後述する。

【００５０】上述の如く、実行処理ニューラルネットワ
ーククライアントシステム２０に、出力状態判定機能を
持った並列実行処理ニューラルネットワーク手段２３を
用意することにより、端子７０からの未知入力信号に対
する出力信号を得ると共に、その出力状態判定により、
正誤答の状態や正答であるが余裕のない状態が明らかに
なる。

【００５１】また、出力状態が誤答と判定されたなら
ば、出力状態判定データ蓄積処理手段２４にその入力信
号と、対応した出力信号、及び出力状態判定信号として
の誤答判定信号とを誤答判定データとして格納する。ま
た、出力層出力信号のユニット間での正答となる正答出
力余裕が、与えられた正答小余裕スレショルド以下の場
合には、出力信号は正答であるが、その為の余裕が小さ
い。従って、前記の誤答判定された入力信号をサーバに
於て追加学習した際に、これら入力信号に対する出力信
号が誤答に変化する場合もあることから、その入力信号
と出力信号と、出力状態判定信号としての正答小余裕判
定信号とを正答小余裕判定データとして出力状態判定デ
ータ蓄積処理手段２４にそれぞれ書き込み蓄積させる。

【００５２】出力状態判定データ蓄積処理手段２４に於
て、例えば、追加学習要求条件として、一定個数以上の
誤答判定データが蓄積されると、追加学習要求と共に、
蓄積されたこれらの誤答判定データと正答小余裕判定デ
ータとをデータ送受信手段２１から学習処理ニューラル
ネットワークサーバシステム１０内のデータ送受信手段
１５に通信ネットワークを介して送信する。受信された
これらの誤答判定データ及び正答小余裕判定データは、
出力状態判定データ蓄積処理手段１６にそれぞれ蓄積さ
れる。

【００５３】次に、学習処理ニューラルネットワークサ
ーバシステム１０に於て、これらの受信された判定入出
力信号の出力状態の確認を図３に示す並列実行処理ニュ
ーラルネットワーク手段１４に於て行う。モード切替え
スイッチ手段８９を確認モードとし、並列実行パラメー
タ記憶手段１３に記憶されている最新の並列実行パラメ
ータを読み出し、それぞれニューラルネットワークに設
定する。出力状態判定パラメータは、出力状態判定パラ
メータ処理手段８２を介して、出力状態判定選択処理手
段８８に設定される。出力状態判定データ蓄積処理手段
１６の受信された入力信号に対して、並列実行処理ニュ
ーラルネットワーク手段１４から送出される出力信号及
び出力状態判定信号とを求め、確認データとして、出力
状態判定データ蓄積処理手段１６へ送出する。

【００５４】出力状態判定データ蓄積処理手段１６で
は、受信された出力信号及び出力状態判定信号と、確認
データとをそれぞれ端子６２から送出し、サーバシステ
ム管理者に表示する。サーバシステム管理者による確認
の結果、出力信号が誤答の場合には、正しい教師信号を
端子６３から入力させ、その教師信号と対応した入力信
号とを新規の追加学習データとし、追加学習／追加テス
トデータ記憶手段１７に書き込み記憶させる。ここで、
既に在れば、破棄するか、この状態をシステム異常検出
に利用してもよい。即ち、並列学習処理ニューラルネッ
トワーク手段１２に於て、学習データに対しては、出力
信号が全て正答となるよう学習させていることから、並
列学習処理ニューラルネットワーク手段２３に於て、学
習データと同じ入力信号に対して誤答状態判定となるこ
とはなく、正常な動作では起りえない。従って、このよ
うな状況が発生した場合には、並列実行処理クライアン
トシステム２０の異常検出（主な原因は、サーバ・クラ
イアント間での並列実行パラメータの不一致）をするこ
とが出来る。また、正答の場合には、正しい教師信号を
端子６３から入力して、それらを新規の追加テストデー
タとして、追加学習／追加テストデータ記憶手段１７に
記憶する。

【００５５】一方、出力層出力信号の正答出力余裕が正
答小余裕スレショルドより小さいと、同様に端子６２か
ら出力信号、正答小余裕判定信号及び入力信号とをそれ
ぞれ確認データと共に送出する。サーバシステム管理者
により、正誤答の確認の後、誤答ならば、正しい教師信
号を端子６３から入力し、新規の追加学習データとし
て、また、正答の場合には、新規の追加テストデータと
して、追加学習／追加テストデータ記憶手段１７に書き
込み記憶する。但し、既にこれらが存在している場合に
は、破棄するか、追加学習データであればシステム異常
検出に利用してもよい。

【００５６】上記の処理の後に、確認モードを完了す
る。また、実行処理ニューラルネットワーククライアン
トシステム２０に於て、出力信号が正答判定され、而も
正答出力余裕が正答小余裕スレショルドより大きい場合
にも、正答判定信号とともに出力状態判定データ蓄積処
理手段２４に蓄積し、学習処理ニューラルネットワーク
サーバシステム１０に送信する場合（例えば、サーバ及
びクライアントシステムを動作させた初期動作段階な
ど、正常に動作しているかモニタする為に正答判定デー
タをも学習処理ニューラルネットワークサーバシステム
１０へ送信してもよい。確認後不要と考えられる場合に
は、学習処理ニューラルネットワークサーバシステム１
０から制御信号を送り正答判定データの送信を中止して
もよい）には、端子６２から出力信号、正答判定信号及
び入力信号をそれぞれ送出し、正誤答を確認後、正答な
らば破棄するか、追加テストデータとして追加学習／追
加テストデータ記憶手段１７に記憶させるか、或いは外
部の補助記憶装置に記憶させてもよい。

【００５７】ここで、それぞれの受信された出力信号
と、並列実行処理ニューラルネットワーク手段１４から
送出された確認データとしての出力信号とが、与えられ
た条件、例えば、ある個数以上不一致の条件を満足する
と、並列実行処理ニューラルネットワーク手段１４に設
定されている並列実行パラメータが、実行処理ニューラ
ルネットワーククライアントシステム２０内の並列実行
処理ニューラルネットワーク手段２３に設定されている
並列実行パラメータと異なっている（並列実行処理ニュ
ーラルネットワーク手段２３の設定バーションが古い為
と考えることが出来る。）と見做せる。従って、サーバ
・クライアントシステム間の動作の整合性の検証とし
て、この状態を検出して行なっても良い。

【００５８】このことは、上記の受信された出力信号と
出力状態判定信号と、確認データとしての出力信号と出
力状態判定信号との比較の結果、それぞれの不一致は、
出力状態判定データ蓄積処理手段２４に蓄積された出力
状態判定データの追加学習要求条件（ここでは、一定個
数以上）を満足していない間に、他の実行処理ニューラ
ルネットワーククライアントシステム２０からの追加学
習要求がなされたことを意味する場合もある。従って、
学習処理ニューラルネットワークサーバシステム１０に
於いて、転送された出力状態判定データに関する追加学
習が実施され、新たな並列実行パラメータが通信ネット
ワークを介してそれぞれの実行処理ニューラルネットワ
ーククライアントシステム２０に配送され、それぞれの
並列実行処理ニューラルネットワーク手段２３にて設定
されたことにより、発生する場合がある。従って、追加
学習が完了し、並列実行パラメータが配送された時点或
いは、受信された時点で、出力状態判定データ蓄積処理
手段１６及び２４をそれぞれリセットする。

【００５９】即ち、学習処理ニューラルネットワークサ
ーバシステム１０と実行処理ニューラルネットワークク
ライアントシステム２０間で、設定されている並列実行
パラメータの不一致ではないが、これらが切り替えられ
る以前に得られた誤答判定データや正答小余裕判定デー
タが出力状態判定データ蓄積処理手段２４に蓄積されて
いることに起因している。ここでは、処理を簡単にする
為に、各実行処理ニューラルネットワーククライアント
システム２０で並列実行パラメータが更新されたタイミ
ング、或いは学習処理及びテスト処理が完了したタイミ
ングをチェックして、出力状態判定データ蓄積処理手段
２４をリセットしている。

【００６０】この他の方法として、実行処理ニューラル
ネットワーククライアントシステム２０に於て、上記の
状態に於て蓄積されている入出力信号を破棄しない場合
には、設定している並列実行パラメータに対応した順序
情報を出力状態判定データに付加し、これを利用して、
整合のとれた結合重み係数を並列実行処理ニューラルネ
ットワーク手段１４に設定し、確認データを得てもよ
い。

【００６１】上記の処理の後に、確認モードを完了する
と、追加学習／追加テストデータ記憶手段１７に新規の
追加学習データがある一定数以上記憶されていると、追
加学習モードとし、並列学習処理ニューラルネットワー
ク手段１２の学習処理を行う。ここで、新規の追加学習
データが無ければ、或いは、ある一定数以下であれば、
データ送受信手段１５に於て、実行処理ニューラルネッ
トワーククライアントシステム２０からの追加学習要求
及び出力状態判定データの転送を待つ。

【００６２】追加学習モードでは、基本学習／基本テス
トデータ記憶手段１１の基本学習データと追加学習／追
加テストデータ記憶手段１７の追加学習データとを用い
て、並列学習処理ニューラルネットワーク手段１２の学
習処理をする。これらの学習入力信号に対して、収束し
学習が終了すると、基本学習モードの場合と同様に、得
られた結合重み係数を並列実行処理ニューラルネットワ
ーク手段１４に設定し、追加テストモードに切替え、基
本学習／基本テストデータ記憶手段１１の基本テスト入
力信号及び追加学習／追加テストデータ記憶手段１７の
追加テスト入力信号に対して、それらの出力信号と教師
信号とを出力状態判定選択処理手段８８に於てそれぞれ
比較し、正誤答を調べるテスト処理を実施する。

【００６３】この時、基本テスト入力信号に対して誤答
の出力信号があれば、その基本テストデータを基本学習
データとして移し、基本学習／基本テストデータ記憶手
段１１に記憶する。また、追加テスト入力信号に対して
誤答があれば、その追加テストデータを追加学習データ
として移し、追加学習／追加テストデータ記憶手段１７
に移管記憶し、追加学習モードにして、再度学習処理を
繰り返す。学習が終了すると、再び追加学習モードから
追加テストモードに切り替える。追加テストモードに於
て、全てのテスト入力信号に対して、出力信号が正答と
なれば、学習処理及びテスト処理からなる一連の処理を
完了し、追加テストモードを完了する。また、受信され
た出力状態判定信号が誤答であるが、サーバシステム管
理者が確認した結果、正答である場合や、逆に正答であ
るが、誤答の場合などには、端子６２から送出されたこ
れらのデータを記録し、正答判定精度や誤答判定精度な
どの情報を得てもよい。

【００６４】尚、ここでは、確認モードを設けた場合の
実施形態について、説明したが、確認を必ずしも行わな
い方法もある。この場合には、出力状態判定データ蓄積
処理手段１６に於て、受信された出力状態判定データを
端子６２から送出し、サーバシステム管理者に表示し、
受信された出力信号に於て、誤答の出力信号に対しては
正しい教師信号を端子６３から入力する。その後、対応
した入力信号とその教師信号とを追加学習データとし
て、また、正答の出力信号に対しては、その入力信号と
対応した教師信号とを追加テストデータとして、それぞ
れ追加学習／追加テストデータ記憶手段１７に記憶して
処理してもよい。また、上記の実施形態の例では、出力
信号及び出力状態判定信号をも実行処理ニューラルネッ
トワーククライアントシステム２０から受信したが、入
力信号のみを受信して、並列実行処理ニューラルネット
ワーク手段１４を用いて得られた出力信号と出力状態判
定信号とを端子６２からサーバシステム管理者に表示し
ても良い。

【００６５】これらの一連の学習処理及びテスト処理の
完了の後に、出力状態判定パラメータ処理モードとし、
得られた結合重み係数を用いて、中間層基準出力信号、
中間層出力距離スレショルド、テスト内正答出力余裕領
域及び正答小余裕スレショルドなどの出力状態判定パラ
メータを出力状態判定パラメータ処理手段８２に於て求
め、並列実行パラメータ記憶手段１３に更新記憶すると
共に、並列実行パラメータをデータ送受信手段１５から
通信ネットワークを介して、全ての実行処理ニューラル
ネットワーククライアントシステム２０へ配送する。

【００６６】以上の通信ネットワークを介したニューラ
ルネットワークに関する学習及びテストに関する一連の
処理により、実行処理ニューラルネットワーククライア
ントシステム２０の並列実行処理ニューラルネットワー
ク手段２３は、より多くの正答な出力信号を送出でき、
而も汎化能力が急激に改善される。また、その出力状態
判定信号の精度も非常に高くなる。

【００６７】尚、システム制御管理手段１８は、学習処
理ニューラルネットワークサーバシステム１０を動作さ
せるための上記の各手段の制御と管理とを行う。例え
ば、並列学習処理ニューラルネットワーク手段１２に於
ける、収束判定、学習の終了などの制御や、各種学習モ
ード及びテストモード等の各種モードの開始・完了など
に関連した制御、並列実行パラメータなどの計算制御
や、各種蓄積手段、記憶手段やデータ送受信手段の制御
管理などを行う。同様に、実行処理ニューラルネットワ
ーククライアントシステム２０に於けるシステム制御管
理手段２５についても、データ送受信手段２１や並列実
行パラメータ記憶手段２２、並列実行処理ニューラルネ
ットワーク手段２３及び出力状態判定データ蓄積処理手
段２４などの各種制御管理を行う。

【００６８】また、テスト処理の結果、基本テストデー
タが基本学習データとして、移管され基本学習／基本テ
ストデータ記憶手段１１に記憶される場合があることか
ら、確認の為に必要ならば、端子６１を介して基本学習
データ及び基本テストデータを読み出し、サーバシステ
ム管理者に表示する。同様に、追加テストデータが追加
学習データとして、移管され追加学習／追加テストデー
タ記憶手段１７に記憶される場合もあることから、確認
の為に必要ならば、端子６４を介して追加学習データ及
び追加テストデータを読み出す。

【００６９】ここで、図３の並列実行処理ニューラルネ
ットワーク手段１４の構成について詳細に説明する。入
力に対して並列接続されたニューラルネットワーク８３
と２値化スレショルド手段８４とから構成された第１ニ
ューラルネットワークシステム８０と、ニューラルネッ
トワーク８５、２値化スレショルド手段８６及び出力変
換手段８７とから構成された第２ニューラルネットワー
クシステムと、基本テストモード、追加テストモード、
出力状態判定パラメータ処理モード及び確認モードの何
れかのモードが設定されるモード切替えスイッチ８９
と、出力状態判定パラメータ処理手段８２と、出力状態
判定選択処理手段８８とからなる。

【００７０】並列学習処理ニューラルネットワーク手段
１２に於ては、並列実行処理ニューラルネットワーク手
段１４内の出力状態判定パラメータ処理手段８２及び出
力状態判定選択処理手段８８は持っていないが、その他
は同様な構成となっている。学習処理の為に基本学習モ
ードや追加学習モードが設定され、前記の学習入力信号
（基本学習モードの場合は、基本学習入力信号、追加学
習モードの場合は、更に追加学習入力信号）と第１の教
師信号とを用いて、及び第１の教師信号を変換して得ら
れた新たな変換教師信号と同様の学習入力信号とを用い
て、それぞれ第１ニューラルネットワークシステム８０
及び第２ニューラルネットワークシステム８１を学習さ
せる。収束し、学習を終了すると、得られた結合重み係
数が、並列実行処理ニューラルネットワーク手段１４内
の第１ニューラルネットワークシステム８０及び第２ニ
ューラルネットワークシステム８１、即ち、ニューラル
ネットワーク８３及び８５にそれぞれ設定される。

【００７１】モード切替えスイッチ手段８９に基本テス
トモード、追加テストモード、出力状態判定パラメータ
処理モードや確認モードが設定されると、それに対応し
た入力信号が、並列接続されている第１ニューラルネッ
トワークシステム８０及び第２ニューラルネットワーク
システム８１のそれぞれの学習済みのニューラルネット
ワーク８３、８５に入力される。学習済みのニューラル
ネットワーク８３からの出力層出力信号と中間層出力信
号と、２値化スレショルド手段８４からの２値出力信号
とが出力状態判定パラメータ処理手段８２及び出力状態
判定選択処理手段８８にそれぞれ入力される。同様に、
学習済みのニューラルネットワーク８５からの出力層出
力信号と中間層出力信号と、２値化スレショルド手段８
６からの２値出力信号と、出力変換手段８７からの変換
２値出力信号とが出力状態判定パラメータ処理手段８２
及び出力状態判定選択処理手段８８にそれぞれ入力され
る。また、対応した教師信号がそれぞれ出力状態判定選
択処理手段８８に入力される。

【００７２】モード切替えスイッチ手段８９に出力状態
判定パラメータ処理モードが設定されると、基本学習デ
ータを基本学習／基本テストデータ記憶手段１１から、
追加学習データを追加学習／追加テストデータ記憶手段
１７から読み出し、各学習済みのニューラルネットワー
ク８３、８５に入力し、対応した中間層出力信号を出力
状態判定パラメータ処理手段８２に入力し、中間層基準
出力信号として得、並列実行パラメータ記憶手段１３へ
格納する。

【００７３】次に、基本テストデータを基本学習／基本
テストデータ記憶手段１１から、追加テストデータを基
本学習／基本テストデータ記憶手段１７から読み出し、
各学習済みのニューラルネットワーク８３、８５に入力
し、出力状態判定パラメータ処理手段８２に於て、対応
した、中間層出力距離スレショルド、テスト正答出力領
域及び正答小余裕スレショルドをそれぞれ得、並列実行
パラメータ記憶手段１３へ格納する。尚、分類カテゴリ
毎に複数の中間層基準出力信号を準備してもよいが、分
類カテゴリ毎に、アンカーとなる一つの基本学習入力信
号を選択し、これに対応した中間層基準出力信号を準備
してもよい。

【００７４】基本テストモードが設定されると、基本テ
ストデータを基本学習／基本テストデータ記憶手段１７
から読み出し、基本テスト入力信号を各ニューラルネッ
トワーク８３、８５に入力し、それぞれの対応した教師
信号を出力状態判定選択処理手段８８に入力する。出力
状態判定選択処理手段８８に於て、出力信号が教師信号
と誤っている場合には、その基本テストデータを基本学
習データに移すよう制御信号を基本学習／基本テストデ
ータ記憶手段１１へ送る。同様に、追加テストモードに
設定され、追加テスト入力信号が入力された場合に、そ
の出力信号が教師信号と誤っている場合には、その追加
テストデータを追加学習データに移すよう制御信号を追
加学習／追加テストデータ記憶手段１７へ送る。

【００７５】次に、確認モードでは、並列実行パラメー
タ記憶手段１３からの出力状態判定パラメータを出力状
態判定パラメータ処理手段８２を介して、出力状態判定
選択処理手段８８に設定する。出力状態判定選択処理手
段８８に於て、それぞれのテスト領域内外判定結果と、
中間層出力距離比較結果と、２値出力信号及び変換２値
出力信号との間の一致／不一致状態検出結果とから、出
力状態の正誤答を推定し、それらの出力状態推定結果
と、２値出力信号と変換２値出力信号の一致／不一致状
態検出と、出力層出力信号の正答出力余裕と正答小余裕
スレショルドとの比較結果とにより、最終的な出力信号
の出力状態判定としての正答判定、誤答判定或いは正答
小余裕判定を行ない、２値出力信号か変換２値出力信号
いずれかから最終的な出力信号を選択し、更に、それに
対応した出力状態判定信号と合わせて確認データとし
て、出力状態判定データ蓄積処理手段１６へ送出する。

【００７６】図４には、実行処理ニューラルネットワー
ククライアントシステム２０に於ける並列実行処理ニュ
ーラルネットワーク手段２３の構成を示す。入力に対し
て並列接続された学習済みのニューラルネットワーク８
３と２値化スレショルド手段８４とから構成された第１
ニューラルネットワークシステム８０と、学習済みのニ
ューラルネットワーク８５、２値化スレショルド手段８
６及び出力変換手段８７とから構成された第２ニューラ
ルネットワークシステム８１と、出力状態判定選択処理
手段９０とからなる。ニューラルネットワーク８３に
は、学習入力信号と第１の教師信号とを用いて得られ
た、受信された結合重み係数が、ニューラルネットワー
ク８５には、第１の教師信号を変換して得られた変換教
師信号と学習入力信号とを用いて得られた、受信された
結合重み係数がそれぞれ設定されている。また、出力状
態判定選択処理手段９０には、出力状態判定を行なう為
に必要な受信された出力状態判定パラメータを設定す
る。

【００７７】ここで、並列実行処理ニューラルネットワ
ーク手段２３に端子７０から入力信号が入力されると、
出力状態判定選択処理手段９０では、第１及び第２ニュ
ーラルネットワークシステム８０、８１からのそれぞれ
のテスト領域内外判定結果と、中間層出力距離比較結果
と、２値出力信号及び変換２値出力信号との間の一致／
不一致状態検出結果とから、出力状態を推定し、それら
の出力状態推定結果と、第１及び第２ニューラルネット
ワークシステム８０、８１からの２値出力信号と変換２
値出力信号の一致／不一致状態検出と、出力層出力信号
の正答出力余裕と正答小余裕スレショルドとを比較した
正答出力余裕比較結果とにより、最終的な出力信号の出
力状態判定を行ない、２値出力信号か変換２値出力信号
いずれかから最終的な出力信号を選択し、更に、それに
対応した出力状態判定信号と合わせて端子７１から送出
する。また、その時の入力信号、出力信号と出力状態判
定信号とを出力状態判定データとして、必要に応じて出
力状態判定データ蓄積処理手段２４に蓄積する。

【００７８】ここで、出力状態推定結果に於て、それら
の正誤答推定の内、正答推定があれば、それに対応した
２値出力信号を選択送出すると共に、正答判定信号を送
出する。この時、対応した出力層出力信号の正答出力余
裕が正答小余裕スレショルド以下の場合には、正答小余
裕判定信号を送出する。その他の場合、即ち、全ての出
力状態判定信号が誤答推定となっている場合のみ、いず
れかの２値出力信号を選択して誤答判定信号と共に送出
する。

【００７９】以上のように、並列接続された第１及び第
２ニューラルネットワークシステム８０、８１からの２
値出力信号と変換２値出力信号の間の一致／不一致と、
中間層出力距離と正答出力余裕とによる正誤答推定結果
とにより、最終的な出力状態判定を行ない出力信号を選
択出力していることから、並列実行処理ニューラルネッ
トワーク手段１４及び２３は、非常に精度の高い正誤答
判定の下に、正答な出力信号が送出でき、また誤答の場
合にもそれを検出して、誤答判定信号を出力状態判定信
号として送出できる。また、正答な出力信号の場合に
も、その出力余裕が小さい場合には、正答小余裕判定信
号を送出できる。

【００８０】従って、各実行処理ニューラルネットワー
ククライアントシステム２０から、誤答判定信号或いは
正答小判定信号の場合の対応した入力信号と出力信号と
共に、出力状態判定データとして通信ネットワークを介
して学習処理ニューラルネットワークサーバシステム１
０に転送することにより、これら問題となる入出力信号
を迅速に収集出来る。このことから、初期段階で、十分
な学習データが得られなくても、通信ネットワークを介
して有効な学習データを簡単且つ効果的に集め、これら
を追加学習することにより、より多くの正答出力の送出
と未知入力信号に対する汎化能力の大幅な改善と、更に
非常に高い精度の出力状態判定を行えることから、高性
能な並列実行処理ニューラルネットワーク手段２３を実
現出来る。

【００８１】尚、上記の実施形態では、実行処理ニュー
ラルネットワーククライアントシステム２０内の出力判
定機能を持った並列実行処理ニューラルネットワーク２
３に於て、未知入力信号に対する出力信号が誤答判定さ
れた場合の誤答判定データ以外に、出力が正答で、正答
出力余裕が与えられた正答小余裕スレショルド以下とな
る場合の正答小余裕判定データ、或いは更に正答出力余
裕が大きい正答の場合にも出力状態判定データ蓄積処理
手段２４に格納し、通信ネットワークを介して学習処理
ニューラルネットワークサーバシステム１０内の出力状
態判定データ蓄積処理手段１６に蓄積し処理するが、誤
答判定データと正答小余裕判定データを、或いは、誤答
判定データに対してのみ、通信ネットワークを介して転
送し、学習処理ニューラルネットワークサーバシステム
１０にて処理してもよい。

【００８２】また、並列学習処理ニューラルネットワー
ク手段１２、並列実行処理ニューラルネットワーク手段
１４及び２３は、並列接続された２つのニューラルネッ
トワークを用いた基本構成例を示したが、少なくとも２
つ以上の並列接続のニューラルネットワークを用いて構
成すれば、出力状態判定の精度は一段と改善される。
尚、当然のことであるが、一つのニューラルネットワー
クを用いた構成の場合も、少なくとも中間層基準出力信
号を用いた中間層出力距離により出力状態判定は可能
で、出力状態判定機能を持った並列実行処理ニューラル
ネットワーク手段を実現することができる。しかしなが
ら、その判定の精度は著しく劣化する。

【００８３】ここでは、中間層出力距離比較と、テスト
内正答出力領域判定と、出力信号間の一致／不一致状態
検出、或いは更に正答出力余裕比較とを用いて、最終的
に出力状態判定を行う場合について説明したが、これに
限る必要はなく、出力信号の少なくとも誤答判定ができ
る方法であればよい。例えば、並列ニューラルネットワ
ークからのそれぞれの出力信号の多数決検出手段或いは
一致検出手段だけを用いてもよい。この場合には、出力
状態判定パラメータは不要で、学習処理ニューラルネッ
トワークサーバシステム１０から実行処理ニューラルネ
ットワーククライアントシステム２０へ送信する必要は
なく、並列実行処理ニューラルネットワーク手段２３に
於て、判定精度は劣るものの簡単に出力状態判定機能を
実現することが出来る。

【００８４】また、学習処理を、出力状態判定データ蓄
積処理手段２４の誤答判定データ数が与えられた条件を
満足すると要求しているが、誤答判定の同一入出力信号
の発生頻度を用いて要求してもよい。或いは、一定期間
が過ぎると要求してもよい。学習処理ニューラルネット
ワークサーバシステム１０では、個々の実行処理ニュー
ラルネットワーククライアントシステム２０からの追加
学習要求がある度毎に学習処理を行っても良いが、複数
の実行処理ニューラルネットワーククライアントシステ
ム２０からの出力状態判定データをまとめて、或いは新
規追加学習データ数が与えられた条件を満足すると、追
加学習を行っても良い。

【００８５】いずれの実行処理ニューラルネットワーク
クライアントシステム２０からも追加学習要求が無けれ
ば、中間層ユニット数を削減して、改めて基本学習デー
タと既存の追加学習データとを用いて学習し、その時の
結合重み係数を用いた並列実行処理ニューラルネットワ
ーク１４の既存の基本テストデータ及び追加テストデー
タによるテスト処理を実施し、一連の学習処理とテスト
処理を繰り返し、全てのテスト入力信号に対して正答な
出力信号を送出することが出来れば、改めて、その時の
並列実行パラメータを各実行処理ニューラルネットワー
ククライアントシステム２０に配送して、並列実行処理
ニューラルネットワーク手段２３に設定してもよい。こ
れにより、学習処理及び実行処理の演算量を削減でき
る。

【００８６】逆に、追加学習要求が非常に多い場合、或
いは基本学習データと追加学習データとを用いた学習処
理とテストデータによるテスト処理を繰り返した際に、
学習回数或いは累積学習回数が与えられたスレショルド
を越えても収束しない場合には、中間層ユニット数を増
やし、再度新たに追加学習と追加テストを行なってもよ
い。これにより、並列実行処理ニューラルネットワーク
手段１４及び２３の構造の最適化とその性能を改善出来
る。また、詳細は省略するが、上記の通信ネットワーク
を介して並列実行パラメータや出力状態判定データを転
送する際に、暗号復号化して情報の漏洩を防ぐこともで
きる。

【００８７】ここでは、出力状態判定機能として、出力
信号の正答或いは誤答判定機能を有する場合について、
説明したが、この判定機能に限る必要はなく、出力状態
の判定が難しい場合に、不明判定とし、確実に正答判定
ができる場合と、明確に判定ができない不明判定とを用
いてもよい。即ち、実行処理ニューラルネットワークク
ライアントシステム２０に於て、出力信号の出力状態が
明確でない場合に、それに対応した未知入力信号と出力
信号とを送出して、学習処理ニューラルネットワークサ
ーバシステム１０に於て、サーバシステム管理者が追加
学習データとして利用するかどうかの判断ができる出力
状態に関する情報ならばいずれでもよい。当然のことで
はあるが、出力状態判定データの種類を学習処理ニュー
ラルネットワークサーバシステム１０から実行処理ニュ
ーラルネットワーククライアントシステム２０を制御
し、選択指定してもよい。

【００８８】図３の出力状態判定機能を持った並列実行
処理ニューラルネットワーク手段１４の基本構成は、簡
単の為に２並列接続の場合について、また２値教師信号
を用いた場合について説明した。特願平１１−２２９１
９２及び特願２０００−０５７２６３に詳細な構成を記
述しているが、これらの構成を用い、２以上並列接続し
て汎化能力や出力状態判定精度の改善を行っても良い。
また、教師信号としては、２値に限る必要はなく、２値
以上の多値或いは連続値であってもよい。

【００８９】尚、ここでは、ニューラルネットワーク８
５に対して使用された該基本学習データ及び追加学習デ
ータ内の教師信号としては、前記第１の２値教師信号か
らコード変換して得られた変換２値教師信号を用いてい
る。従って、出力変換手段８７は、該変換２値教師信号
を該第１の２値教師信号のコードに逆変換する変換則を
有している。この為、出力変換手段８７からの変換２値
出力信号は、前記２値化スレショルド手段８４の２値出
力信号と同様に、第１の２値教師信号で表わされること
となる。また、これらニューラルネットワーク８３及び
８５とを入力信号に対して並列接続されており、入力信
号はそれぞれ同一であるが、第１の２値教師信号と変換
２値教師信号とでは、異なる。

【００９０】出力状態判定選択処理手段８８には、学習
済みのニューラルネットワーク８３、８５からのそれぞ
れの中間層出力信号と出力層出力信号と、２値化スレシ
ョルド手段８４、８６からの２値出力信号と出力変換手
段８７からの変換２値出力信号とがそれぞれ入力され
る。ここで、確認モードでは、中間層出力信号と中間層
基準出力信号とを基に、出力状態判定選択処理手段８８
内の距離計算手段によりこれらの信号間の中間層出力距
離をそれぞれ求め、中間層出力距離スレショルドと比較
し、中間層出力距離比較結果をそれぞれ得る。また、出
力層出力信号から求めた出力層ユニット毎の正答出力余
裕、即ち、出力層ユニット毎の出力信号エレメントが正
しいと仮定した場合の２値化スレショルドとの差の絶対
値をそれぞれ正答出力余裕とし、前記テスト内正答出力
余裕領域と出力層ユニット毎に比較し、テスト領域比較
結果を得る。

【００９１】詳細構成は省略するが、並列学習処理ニュ
ーラルネットワーク手段１２内の並列接続された第１の
ニューラルネットワークシステムに於て、基本学習モー
ドでは、前記基本学習入力信号と第１の２値教師信号と
を用いて、追加学習モードでは更に前記追加学習入力信
号とを用いて学習させる。また、第２ニューラルネット
ワークシステムに於て、基本学習モードでは、基本学習
入力信号と変換２値教師信号とを用いて、追加学習モー
ドでは更に前記追加学習入力信号とを用いて学習させ、
２値化スレショルド手段からの２値出力信号がそれぞれ
の前記２値教師信号と比較して全て正答となるまで収束
させる。結合重み係数の学習アルゴリズムとしては、例
えば、バックプロパゲーション法或いは誤差摂動型バッ
クプロパゲーション法（特願平７−７７１６８、特開平
８−２４９３０４）などを用いる。特に、誤差摂動型バ
ックプロパゲーション法を用いた場合には、３層ニュー
ラルネットワークをグローバルミニマム状態に簡単に収
束させることができ、而も全て正答の２値出力信号を簡
単に得ることが出来る。

【００９２】並列実行処理ニューラルネットワーク手段
１４に於て、更に、出力状態判定パラメータモードで
は、それぞれの学習が終了し得られた結合重み係数を用
いて、前記学習入力信号に対する分類カテゴリを示す２
値教師信号（正答な２値出力信号）毎に前記学習入力信
号に対応した中間層出力信号を、前記学習中間層基準出
力信号として求める。尚、前記学習中間層基準出力信号
は、複数個でも良いし、何れかを１つを選択し、その学
習入力信号をコアー学習入力信号として、扱ってもよ
い。

【００９３】また、それぞれ基本テストデータと追加テ
ストデータとを用いて、分類カテゴリに対応した２値教
師信号毎に、正答な２値出力信号を送出する全てのテス
ト入力信号に対応した出力層出力信号に対して、出力層
ユニット毎の出力層出力信号エレメントの２値化スレシ
ョルドとの差の絶対値の最大及び最小値をそれぞれ最大
出力余裕及び最小出力余裕として求める。これらの余裕
領域を出力層ユニット毎の前記テスト内正答出力余裕領
域とする。

【００９４】更に、同一の分類カテゴリを示す正答な２
値出力信号を送出する基本テスト入力信号、或いは更に
追加テスト入力信号に対して、その中間層出力信号を２
値化した中間層２値出力信号を求め、対応した前記学習
中間層基準出力信号の２値化されたものとの間のハミン
グ距離を距離計算手段により求め、その距離の分布から
少なくとも平均値及び標準偏差（或いは分散）とを基に
前記中間層出力距離スレショルドを求める。

【００９５】学習処理ニューラルネットワークサーバシ
ステム１０に於ける並列実行処理ニューラルネットワー
ク手段１４の確認モード、及び実行処理ニューラルネッ
トワーククライアントシステム２０の並列実行処理ニュ
ーラルネットワーク手段２３での動作では、対応した学
習中間層基準出力信号と、中間層出力距離スレショルド
と、テスト内正答出力余裕領域及び正答小余裕スレショ
ルドとをそれぞれ読み出し、学習済みのニューラルネッ
トワーク８３及び８５からの入力信号に対応した中間層
出力信号をそれぞれ２値化した中間層２値出力信号と、
中間層基準出力信号の２値化したものとのハミング距離
計算を距離計算手段に於てそれぞれ行なう。これを中間
層出力距離とし、中間層出力距離スレショルドと大小比
較した中間層出力距離比較結果を得る。尚、２値出力信
号に対して、複数の前記学習中間層基準出力信号とそれ
に対応した前記中間層出力距離スレショルドとが、対応
して設定されている場合には、中間層２値出力信号との
ハミング距離が最も小さい学習中間層基準出力信号を選
択し、それに対応した中間層出力距離スレショルドとを
用いて中間層出力距離比較を行えばよい。

【００９６】更に、学習済みのニューラルネットワーク
８３、８５からの出力層出力信号に対して、その２値出
力信号が正答であると見做して、出力層ユニット毎の正
答出力余裕を求め、出力層ユニット毎のテスト内正答出
力余裕領域内に夫々全て含まれれば、テスト領域内、一
つの出力層ユニットに関しても含まれなければ、テスト
領域外とするテスト領域比較結果を得る。

【００９７】このテスト領域比較結果と、前記中間層出
力距離比較結果と、２値化スレショルド手段８４と出力
変換手段８７とからの２値出力信号及び変換２値出力信
号間の一致／不一致とを合わせて、２値出力信号及び変
換２値出力信号のそれぞれの出力状態推定をする。例え
ば、２値化スレショルド手段８４からの２値出力信号と
出力変換手段８７からの変換２値出力信号とが一致した
場合、テスト領域外で、中間層出力距離が中間層出力距
離スレショルドより大きければ、誤答推定、その他の場
合は正答推定とする。また、不一致の場合には、中間層
出力距離が中間層出力距離スレショルドより大きけれ
ば、誤答推定とし、その他の場合は正答推定とする。
尚、ここでは、推定の為に、それぞれ中間層出力距離ス
レショルドを、一種類用意したが、複数個用意してそれ
ぞれ比較してもよい。

【００９８】このような出力状態推定の後、前記２値化
スレショルド手段８４と前記出力変換手段８７とからの
２値出力信号及び変換２値出力信号のいずれかが少なく
とも正答推定ならば、正答判定とし、正答推定に対応し
たいずれかの２値出力信号を選択送出する。尚、両方と
も正答推定ならば、特定の側の２値出力信号を選択す
る。また、いずれとも誤答推定ならば、誤答判定とし、
誤答推定に対応した特定の２値出力信号を選択送出す
る。正答判定の場合には、更に正答出力余裕比較を行な
い、余裕が小さい場合には、正答小余裕判定とする。

【００９９】このように、選択された２値出力信号を出
力信号として送出し、それに対応した正答判定信号、正
答小余裕判定信号或いは誤答判定信号からなる出力状態
判定信号を出力状態判定選択処理手段８８、９０から送
出し、出力状態判定データ蓄積処理手段１６及び２３に
入力する。ここで、これらの２値出力信号間の一致／不
一致検出状態も用いて、選択送出してもよい。

【０１００】学習済みのニューラルネットワーク８３及
び８５とも、入力信号に対する汎化能力も殆ど同じであ
るが、学習の際の２値教師信号がそれぞれ異なることか
ら、正答な２値出力信号を送出する入力信号の領域、即
ち汎化領域が互いに適度にずれる。従って、出力状態判
定選択処理手段８８、９０では、２値化スレショルド手
段８４と出力変換手段８７とからの２値出力信号及び変
換２値出力信号とが一致状態であれば、両方とも正答で
あるか或いは両方とも誤答である。多くの殆どの場合は
正答である。

【０１０１】従って、それぞれの２値出力信号に対する
正誤答推定結果と、２値出力信号と変換２値出力信号と
の間の一致／不一致状態検出とを考慮して、最終的な出
力状態判定を行なう。正答推定及び誤答推定となってい
る場合には、無条件に正答推定側の２値出力信号を選択
送出するが、この場合の正答な出力信号の選択精度を上
げる為に、中間層出力距離を考慮して選択送出してもよ
い。

【０１０２】２値出力信号と変換２値出力信号との一致
／不一致検出状態と、中間層出力距離比較と、テスト領
域比較及び正答出力余裕比較などのニューラルネットワ
ークの内部パラメータを基にした比較結果により出力状
態の推定と判定を行なうことから、２値出力信号と変換
２値出力信号とが一致しない場合でも、正答な出力信号
を選択送出することができる。このことから、並列実行
処理ニューラルネットワーク手段１４、２３に於て、単
独のニューラルネットワークより汎化能力が改善され、
また、より精度の高い出力状態判定信号が得られる。

【０１０３】これらの結果、各実行処理ニューラルネッ
トワーククライアントシステム２０の並列実行処理ニュ
ーラルネットワーク手段２３では、この出力状態判定機
能を用いて、未知入力信号に対する誤答の出力信号を少
なくとも検出し、通信ネットワークを介して、これらを
学習処理ニューラルネットワークサーバシステム１０に
送り、並列学習処理ニューラルネットワーク手段１２に
於て追加学習し、並列実行処理ニューラルネットワーク
手段２３に、新たな結合重み係数を設定することによ
り、急激に汎化能力とその出力状態判定精度が改善され
る。

【０１０４】次に、本発明の実施形態における通信ネッ
トワークを介したニューラルネットワーク処理システム
を実施する為のソフトウェアに於ける処理の第１の処理
フローの一例を図５Ａ及び図５Ｂに、第２の処理フロー
の一例を図６に示す。但し、図６は図５Ａの（１）以降
の処理フローのみを示し、その他の処理は、図５Ａ及び
図５Ｂと同様である。ニューラルネットワーク処理シス
テムに関するプログラムは、クライアントシステム用プ
ログラムと、サーバシステム用プログラムとに分かれて
いる。サーバシステム用プログラムは、学習処理ニュー
ラルネットワークサーバシステム１０へ配布されたＣＤ
などのプログラム記憶媒体１６１を介して、或いは通信
ネットワークを介してダウンロードされる。また、クラ
イアントシステム用プログラムも、同様に配布されたＣ
Ｄなどのプログラム記憶媒体１６２を介して、或いは学
習処理ニューラルネットワークサーバシステム１０や他
システムから通信ネットワークを介して実行処理ニュー
ラルネットワーククライアントシステム２０へダウンロ
ードされる。ここでは、それぞれＣＤなどのプログラム
記憶媒体１６１、１６２を介してそれぞれのプログラム
をシステムに格納した後の処理について説明する。

【０１０５】学習処理ニューラルネットワークサーバシ
ステム１０のシステム開始要求があると、プログラム記
憶媒体１６１からサーバシステム用プログラムを読み込
み、サーバシステム初期設定処理１０１に於てサーバシ
ステムの初期設定を行う。また、構成パラメータ、結合
重み係数などを並列実行パラメータの一部として蓄積す
るとともに、並列学習処理ニューラルネットワーク及び
並列実行処理ニューラルネットワークに対して、それぞ
れ初期設定を行う。次に、基本学習／基本テストデータ
読取及び記憶処理１０２では、端子６０を介して基本学
習／基本テストデータ１５０を読み取り、それらを基本
学習／基本テストデータ記憶手段１１に記憶する。更
に、並列学習処理ニューラルネットワーク処理１０３で
は、基本学習モードとし、学習パラメータ及び結合重み
係数の初期設定をした後、並列学習処理ニューラルネッ
トワークに対して、基本学習データを用いて、学習処理
を行なう。収束し、基本学習入力信号に対する出力信号
が、教師信号と比べ全て正答になれば、学習を終了し、
得られた結合重み係数を並列実行処理ニューラルネット
ワークに設定する。並列実行ニューラルネットワークテ
スト処理１０４では、基本テストモードとし、基本テス
トデータを用いて並列実行処理ニューラルネットワーク
のテスト処理を実施する。

【０１０６】ここで、学習／テスト処理完了判定１０５
に於て、教師信号と比較して、誤答の出力信号を送出す
る基本テスト入力信号が在れば、誤答基本テストデータ
移管処理１０６に於て、対応した基本テストデータを基
本学習データとして移管し、基本学習／基本テストデー
タ記憶手段１１に於て移管記憶する。その後、再度並列
学習処理ニューラルネットワーク処理１０３に戻り、学
習処理を行い、得られた結合重み係数を並列実行処理ニ
ューラルネットワークに再設定して、並列実行処理ニュ
ーラルネットワークテスト処理１０４を行う。これらの
処理を繰り返し、全ての基本テスト入力信号に対する出
力信号が正答になれば、並列実行パラメータ処理及び蓄
積処理１０７に於て、得られた結合重み係数を並列実行
パラメータの一部として蓄積し、一連の学習／テスト処
理を完了させる。その後、更に、並列実行処理ニューラ
ルネットワークに於ける入力信号に対する出力信号の出
力状態判定をするに必要な出力状態判定パラメータを得
る為に、基本学習データ及び基本テストデータをそれぞ
れ入力して、出力状態判定パラメータである中間層基準
出力信号、中間層出力距離スレショルド、テスト内正答
出力余裕領域、正答小余裕スレショルドを求め、これら
を並列実行パラメータの一部として蓄積する。

【０１０７】並列実行パラメータダウンロード処理１０
８では、得られた並列実行パラメータを各実行処理ニュ
ーラルネットワーククライアントシステム２０に配送す
る為、通信ネットワークを介してダウンロードする。引
き続き、図５ＢのＢｒｅａｋ判定１１０に於て、学習処
理ニューラルネットワークサーバシステム１０の動作終
了要求があれば、終了する。なければ、出力状態判定デ
ータ取得及び蓄積処理１１１に於て、いずれかの実行処
理ニューラルネットワーククライアントシステム２０か
らアップロードされる出力状態判定データを受信取得処
理する為に待ち状態となる。

【０１０８】一方、各実行処理ニューラルネットワーク
クライアントシステム２０では、図５Ａの記録媒体１６
２を介してクライアントシステム用プログラムを読取
り、クライアントシステム初期設定処理１３１に於て、
クライアントシステムの初期設定を行う。並列実行パラ
メータ取得及び記憶処理１３２では、学習処理ニューラ
ルネットワークサーバシステム１０から通信ネットワー
クを介して並列実行パラメータがダウンロードされるの
を常時待ち、ダウンロードされるとこれを取得し記憶す
る。更に、並列実行パラメータ設定処理１３３で、この
受信されたパラメータを並列実行処理ニューラルネット
ワークに設定する。尚、並列実行パラメータ取得及び記
憶処理１３２では、学習処理ニューラルネットワークサ
ーバシステム１０から通信ネットワークを介して送られ
てくる基本学習／テスト処理結果に伴う並列実行パラメ
ータを取得する場合と、追加学習／テスト処理結果に伴
う新たな並列実行パラメータを取得する場合とがある。
追加学習／テスト処理結果に伴う新たな並列実行パラメ
ータを取得した場合には、並列実行パラメータ設定処理
１３３に於て、誤答判定データ蓄積処理１３８或いは正
答小余裕判定データ蓄積処理１３９の終了を検出する
と、直ちに追加学習された新たな結合重み係数と出力状
態判定パラメータとを並列実行処理ニューラルネットワ
ークに設定した後、並列実行処理ニューラルネットワー
ク処理１３５の為に図５ＢのＢｒｅａｋ判定１３４に行
く。

【０１０９】その後、Ｂｒｅａｋ判定１３４に於て、要
求があれば、実行処理ニューラルネットワーククライア
ントシステム２０の動作を終了する。無ければ、並列実
行処理ニューラルネットワーク処理１３５に於て、並列
実行処理ニューラルネットワークの処理を実行し、端子
７０からの入力信号に対する出力信号及び出力状態判定
信号を得、それぞれ端子７１から出力する。更に、出力
状態判定１３６に於て、出力信号の状態判定を行ない、
正答判定がなされ、而も出力余裕判定１３７に於て、正
答となる正答出力余裕が与えられた正答小余裕スレショ
ルドを越えておれば、入力信号に対する出力信号が正答
で問題ないと見做して、次の入力信号を処理する為に、
Ｂｒｅａｋ判定１３４へ戻る。

【０１１０】出力余裕判定１３７に於て、その正答出力
余裕が正答小余裕スレショルド以下の場合には、正答小
余裕判定とし、正答小余裕判定データ蓄積処理１３９に
於て、その入出力信号と正答小余裕判定信号とを正答小
余裕判定データとして蓄積する。

【０１１１】一方、出力状態判定１３６に於て、出力信
号の状態判定を行ない、誤答判定がなされると、誤答判
定データ蓄積処理１３８に於て、出力信号の出力状態判
定結果として、誤答判定信号とその入出力信号とを誤答
判定データとして蓄積する。次に、追加学習要求判定１
４０に於て、予め与えられた追加学習要求条件を満たさ
ない場合には、並列実行処理ニューラルネットワークで
の実行処理を再度実行する為にＢｒｅａｋ判定１３４へ
戻る。追加学習要求条件が満たされると、例えば、蓄積
された誤答判定データの数が規程個数以上になった場合
や、誤答判定された特定の出力信号の発生頻度が与えら
れたスレショルドを越えた場合などが発生すると、蓄積
出力状態判定データアップロード処理１４１に於て、追
加学習を行う為に、追加学習要求と共に蓄積されている
出力状態判定データを学習処理ニューラルネットワーク
サーバシステム１０へ通信ネットワークを介してアップ
ロードする。

【０１１２】その後、蓄積出力状態判定データリセット
処理１４２に於て、蓄積された出力状態判定データをリ
セットし、Ｂｒｅａｋ判定１３４へ戻る。ここでは、並
列実行パラメータ取得及び記憶処理１３２に於ける並列
実行パラメータの受信待ち状態と、１３５から、１３８
或いは１３９までの処理を並列実行させているが、新た
な並列実行パラメータが受信され、必要なパラメータが
設定されるまで、１３５から、１３８及び１３９までの
処理を停止してもよい。

【０１１３】学習処理ニューラルネットワークサーバシ
ステム１０では、図５Ｂの出力状態判定データ取得及び
蓄積処理１１１に於て、いずれかの実行処理ニューラル
ネットワーククライアント２０からの追加学習要求があ
るまで待ち状態となっているが、追加学習要求がある
と、蓄積された出力状態判定データが通信ネットワーク
を介してアップロードされ、これらの出力状態判定デー
タを取得し蓄積処理をする。更に、並列実行処理ニュー
ラルネットワーク確認処理１１３に於て、並列実行処理
ニューラルネットワークに最新の結合重み係数と出力状
態判定パラメータとを設定し、確認データとして、受信
された入力信号に対する出力信号と出力状態判定信号と
を得る。この確認データと受信された出力信号及び出力
状態判定信号との比較結果と、確認データ及び受信され
た出力状態判定データとを端子６２を介して、サーバシ
ステム管理者の表示端末に確認結果表示１５１する。

【０１１４】追加学習／追加テストデータ記憶処理１１
４に於て、確認データ内の出力信号が誤答の場合には、
その正しい教師信号を端子６３から入力し、追加学習デ
ータとして、その入力信号と対応した教師信号とを記憶
する。また、出力信号が正答であり、正答判定信号なら
ば、その出力状態判定データを破棄するか、或いは外部
の補助記憶装置に記憶させる。出力信号が正答で、正答
小余裕判定信号が得られたならば、その入力信号と正し
い教師信号とを追加テストデータとして記憶する。尚、
出力信号が正答で、正答判定信号の場合にも、追加テス
トデータとして記憶してもよい。新規追加学習データ判
定１１５に於て、新規の追加学習データがなければ、Ｂ
ｒｅａｋ判定１１０に戻る。

【０１１５】新規の追加学習データがあれば、並列学習
処理ニューラルネットワーク処理１１６に於て、追加学
習モードとして、並列学習ニューラルネットワークに学
習パラメータと最新の結合重み係数を設定し、基本学習
データ及び追加学習データをそれぞれ読み出し、これら
を用いて並列学習処理ニューラルネットワークの追加学
習処理を行なう。収束し、学習入力信号に対して全て正
答の出力信号が得られると一旦学習処理を終了し、並列
実行処理ニューラルネットワークテスト処理１１７に於
て、追加テストモードとして、追加学習処理により得ら
れた結合重み係数を並列実行処理ニューラルネットワー
クに設定し、基本テストデータ及び追加テストデータを
それぞれ読み出し、これらを用いて並列実行処理ニュー
ラルネットワークのテスト処理を行う。学習／テスト処
理完了判定１１８に於て、テスト処理の結果、テスト入
力信号に対して誤答となる出力信号が送出されると、学
習／テスト処理を完了せず、誤答テストデータ移管処理
１１９に於て、基本テスト入力信号に対しては、対応し
た教師信号と共に基本学習データとして移管し、記憶
し、追加テスト入力信号に対しては、対応した教師信号
と共に追加学習データとして移管し、それぞれ記憶した
後、並列学習処理ニューラルネットワーク処理１１６へ
戻る。

【０１１６】一方、収束し、全て正答となれば、得られ
た結合重み係数を並列実行パラメータの一部として記憶
し、学習／テスト処理を完了させる。その後、蓄積出力
状態判定データリセット処理１２０に於て、蓄積されて
いる出力状態判定データを消去する。並列実行パラメー
タ処理及び記憶処理１２１では、並列実行パラメータの
一部である出力状態判定に必要な出力状態判定パラメー
タを求める処理とそれらの記憶処理を行う。新たな並列
実行パラメータが全て求まると、並列実行パラメータダ
ウンロード処理１２２に於て、各実行処理ニューラルネ
ットワーククライアントシステム２０に並列実行パラメ
ータをパラメータ更新要求とともにダウンロードし、そ
の後、Ｂｒｅａｋ判定１１０に戻る。

【０１１７】ここで、学習処理ニューラルネットワーク
サーバシステム１０の並列実行処理ニューラルネットワ
ーク確認処理１１３に於て、受信された入力信号に対す
る出力信号の確認結果表示１５１をしているが、端子６
０、６１のこれらの関連データを記憶し処理管理するプ
ログラムを上記サーバシステム用プログラムに付加し用
いてもよい。また、同様に実行処理ニューラルネットワ
ーククライアントシステム２０の並列実行処理ニューラ
ルネットワーク処理１３５に於て、端子７０及び７１を
介して入出力される関連データを記録し処理管理するプ
ログラムをクライアントシステム用プログラムに付加し
用いてもよい。また、これらの関連データをサーバーに
転送するプログラムを実行処理ニューラルネットワーク
クライアントシステム用プログラムに付加し、転送され
た関連データを記憶し処理管理するプログラムを学習処
理ニューラルネットワークサーバシステム用プログラム
に付加して、それぞれ使用してもよい。

【０１１８】次に、学習処理ニューラルネットワークサ
ーバシステム用プログラムの第２の処理フローとして、
受信された出力状態判定データの確認を行わない場合の
図５Ａの１以降の処理フローだけを図６に示す。ここで
は、学習処理ニューラルネットワークサーバシステム１
０に於て、実行処理ニューラルネットワーククライアン
トシステム２０から通信ネットワークを介してアップロ
ードされ受信された出力状態判定データの入力信号に対
して、最新の結合重み係数が設定された並列実行処理ニ
ューラルネットワークから得られた出力信号の並列実行
処理ニューラルネットワーク手段１４を用いた確認は行
わない。追加学習／追加テストデータ記憶処理１２３に
於て、単に受信された、出力状態判定データの受信結果
表示１５２し、それぞれの出力信号の正誤答をサーバシ
ステム管理者が確認し、誤答の場合には、正しい教師信
号を入力し、その入力信号と対応した正しい教師信号と
を追加学習データとして、記憶する。また、正答の場合
には、追加テストデータとして、その入力信号と対応し
た教師信号とを追加テストデータとして記憶する。ここ
で、実行処理ニューラルネットワーククライアントシス
テム２１から単に入力信号だけを受信し、即ち、出力状
態判定データや出力信号を受信せず、受信された入力信
号に対して対応した教師信号を割当て追加学習データと
して追加学習／追加テストデータ記憶手段１７に記憶し
てもよい。

【０１１９】その他の処理は、図５Ａ及び図５Ｂと同様
である。従って、説明は省略する。最新の結合重み係数
が設定された並列実行処理ニューラルネットワークを介
して、出力信号の確認を行わず、出力信号の正誤答確認
に基づき受信された入力信号を追加学習データとする
か、追加テストデータにするかをサーバシステム管理者
が決定することから、図５Ａ及び図５Ｂの第１の処理フ
ローによる処理の場合に比べて、追加学習データや追加
テストデータの種類に若干の違いが発生する。しかしな
がら、１１６、１１７、１１８及び１１９の学習／テス
ト処理の繰り返しを実施することから、汎化能力などの
特性の大きな差はない。

【０１２０】上記の第１及び第２の処理フローでは、並
列実行処理ニューラルネットワークテスト処理１０４に
於て、得られたテスト入力信号に対する出力信号が全て
正答である場合には、学習／テスト処理完了判定１０
５、１１８にて、学習処理及びテスト処理を完了させ、
誤答がある場合には、誤答基本テストデータ移管処理１
０６や誤答テストデータ移管処理１１９を介して学習処
理及びテスト処理を繰り返させているが、この繰り返し
処理を止め、並列実行処理ニューラルネットワークテス
ト処理１０４、１１７が完了すると、並列実行パラメー
タ処理及び記憶処理１０７、１２１に於て、正答となる
出力信号を送出するテスト入力信号と学習入力信号とを
用いて、出力状態判定パラメータを求め、記憶させても
よい。但し、未知入力信号に対する出力信号の出力状態
判定に於ける正誤答判定精度が若干劣化する。

【０１２１】本実施形態では、並列学習処理ニューラル
ネットワーク手段１２に於て、並列接続されているニュ
ーラルネットワークを学習させる際に、同一の入力信号
に対して異なった教師信号割当てを行なった基本学習デ
ータ及び追加学習データを用いた例を説明したが、１種
類の教師信号割当てを行なった基本学習データ及び追加
学習データを用い、更にそれぞれのニューラルネットワ
ークの結合重み係数に対して異なった初期値を設定して
学習を行なわせても良い。この場合には、並列実行処理
ニューラルネットワーク手段１４及び２３内の出力変換
手段８７は不要となる。

【０１２２】また、本実施形態では、学習処理ニューラ
ルネットワークサーバシステム１０に於て、サーバシス
テム管理者が実行処理ニューラルネットワーククライア
ントシステム２０から送られてきた入力信号に対して教
師信号を割り振っている例を示したが、各実行処理ニュ
ーラルネットワーククライアントシステム２０に於て、
予め準備された、或いは学習処理ニューラルネットワー
クサーバシステム１０から送られてきた教師信号を用い
て、未知入力信号に対する出力が誤答判定或いは正答小
余裕判定された場合に、クライアントシステム利用者が
確認し教師信号を割り振り、出力状態判定データに加え
て学習処理ニューラルネットワークサーバシステム１０
に送信してもよい。

【０１２３】上記の実施形態に於て、前述した通信ネッ
トワークは、インターネット、イントラネット、ＬＡ
Ｎ、ＷＡＮ、有線、無線など通信ネットワークの種類を
特定するものではない。また、前述した本発明の通信ネ
ットワークを介したクライアント・サーバからなるニュ
ーラルネットワーク処理システム及びそのプログラムを
記憶したプログラム記憶媒体１６１、１６２の種々の実
施形態は、本発明の技術的概念及び見地の範囲の種々の
変更、修正及び省略が、当業者によれば容易に行うこと
ができる。従って、前述の説明はあくまで１例であり、
何ら制約しようとするものではない。

【０１２４】以上本発明の実施の形態について、詳述し
てきたが、具体的な構成例は、上記の実施の形態に限ら
れるものではなく、本発明の要旨を逸脱しない範囲の変
更であっても本発明に含まれる。

【０１２５】図７に示した学習処理ニューラルネットワ
ークサーバシステム用或いは実行処理ニューラルネット
ワーククライアントシステム用コンピュータ２００は、
上記、学習処理ニューラルネットワークサーバシステム
用プログラム或いは実行処理ニューラルネットワークク
ライアントシステム用プログラムを実行するＣＰＵ２０
１と、各種データを記憶するＲＯＭ２０２と、演算パラ
メータなどを記憶するＲＡＭ２０３と、キーボード、マ
ウスなどの入力装置２０４と、ディスプレーやプリンタ
などの出力装置２０５と、記録媒体１６１から学習処理
ニューラルネットワークサーバシステム用プログラム
を、或いはプログラム記憶媒体１６２から実行処理ニュ
ーラルネットワークサーバシステム用プログラムを読取
る読取装置２０６と、通信ネットワークとの接続を行う
通信ネットワークインタフェース装置２０７と、装置各
部を接続するバスＢＵＳとから構成されている。記録媒
体１６１、１６２には、光ディスク、フロッピー（登録
商標）ディスク、ハードディスクなどの可搬型の記録媒
体が含まれる。

【０１２６】

【発明の効果】以上述べたように、従来技術では、大規
模なニューラルネットワークに於ける学習処理と実行処
理を同一箇所で行っており、これらの演算処理量が膨大
となる。而も、必ずしも十分でない、予め得られた範囲
内の学習データに対してのみ学習処理を行ない、その結
果を用いてニューラルネットワークの実行処理を行って
いることから、運用開始時は勿論のこと、運用開始後に
も高い汎化能力を達成しにくい。また、通信ネットワー
クを介して学習処理と実行処理とを分散させた従来のニ
ューラルネットワーク処理システムに於ても、単に膨大
な学習処理だけをニューロ学習処理センタ３０に依頼
し、個別利用者に対応した利用者端末システム３５内の
演算処理量を削減しているだけで、単純な実行処理ニュ
ーラルネットワークにより個人文字フォントを生成し印
刷処理を行っている。

【０１２７】即ち、利用者端末システム３５に於て、そ
の端末システムの利用者固有の読み取られた個人文字フ
ォントのストローク分析データを教師パターンとし、基
準文字のストローク分析データを学習入力パターンとす
る学習データを収集し、これらを通信ネットワークを介
してニューロ学習処理センタ３０に送り、学習処理ニュ
ーラルネットワークの学習を行なった後に、その結合重
み係数を利用者端末システム３５に送り返し、実行処理
ニューラルネットワークに設定し、個人文字フォント作
成を行っている。

【０１２８】このシステムでは、あくまでも膨大な演算
処理量を要する学習処理のみをニューロ学習処理センタ
３０に依頼し、而も特定の利用者端末システム３５で収
集された、その端末システム利用者固有の学習データの
みを通信ネットワークを介して送り学習処理を施し、そ
の学習結果の結合重み係数を用いて、その利用者端末シ
ステム３５で固有な利用者への最適な実行処理を行って
いる。従って、利用者端末システム３５を複数個用意し
て用いても、当初集められた個々の利用者毎の学習デー
タをそれぞれ独立に学習させ、実行処理を行うことか
ら、十分な汎化能力を得ることが困難である。このよう
な利用環境では、分類カテゴリの境界領域の入力信号を
中心とした有効な学習入力信号を迅速に収集することが
出来ない。

【０１２９】一方、本発明の通信ネットワークを介した
ニューラルネットワーク処理システムでは、先ず、学習
処理ニューラルネットワークサーバシステム１０にて、
予め準備された基本学習データに対して並列学習処理ニ
ューラルネットワーク手段１１の学習を施し、その結合
重み係数及び出力状態判定に必要なパラメータを通信ネ
ットワークを介して各実行処理ニューラルネットワーク
クライアントシステム２０に送り、出力状態判定機能を
有した並列実行処理ニューラルネットワーク手段２３に
設定し、実行処理を行っている。

【０１３０】この為、それぞれの実行処理ニューラルネ
ットワーククライアントシステム２０の並列実行処理ニ
ューラルネットワーク手段２３にて誤答判定或いは不明
判定された出力信号に対応した未知入力信号が検出で
き、それらを学習処理ニューラルネットワークサーバシ
ステム１０に通信ネットワークを介して送り、これらの
未知入力信号を追加学習入力信号として、サーバシステ
ム管理者により対応した正しい教師信号の集中的な割当
てと、既に記憶されている学習入力信号と共に並列学習
処理ニューラルネットワーク手段１１の追加学習を効果
的に行なうことが出来る。これにより、得られた新たな
結合重み係数を全てのクライアントシステム２０の並列
実行処理ニューラルネットワーク手段２３に設定してい
る。

【０１３１】本発明のこのような構成の下では、個々の
実行処理ニューラルネットワーククライアントシステム
２０に於て、高い精度を持った出力状態判定機能によ
り、誤答判定或いは不明判定の出力信号に対応した未知
入力信号を迅速に検出することが出来ることから、学習
処理ニューラルネットワークサーバシステム１０にて分
類カテゴリの境界領域の入力信号として、これらを通信
ネットワークを介して全ての実行処理ニューラルネット
ワーククライアントシステム２０から幅広く且つ効果的
に収集できる。従って、高性能な実行処理を実施する為
の非常に有効な追加学習データが簡単に得られる。而も
これらの追加学習データを既に記憶されている学習デー
タと併せて追加学習することから、迅速且つ効果的に学
習処理が行える。また、実行処理ニューラルネットワー
ククライアントシステム２０に於て、一段と数多くの正
答出力信号を送出出来るとともに、汎化能力も大きく改
善され、広範囲の入力信号に対して正答な出力信号を送
出できる並列実行処理ニューラルネットワーク手段２３
を、通信ネットワークを介して迅速に配置設定出来る。

【０１３２】このことから、導入当初のシステムに於
て、十分且つ有効な基本学習データが得られず、低い汎
化能力であっても、誤答判定や不明判定の未知入力信号
の追加学習を効果的に繰り返すことにより、急速に非常
に高い汎化能力と信頼性の高い出力状態判定能力を持た
せることができ、クライアントシステム２０の適用環境
にあった並列実行処理ニューラルネットワーク手段２３
の最適化が簡単に実現できる。

【０１３３】これらの結果から、従来技術では実現が困
難であった、非常に高い汎化能力が要求される大規模ニ
ューラルネットワークの実用分野に対しても、本発明の
通信ネットワークを介した、出力状態判定機能を有する
並列実行処理ニューラルネットワーク手段と追加学習処
理機能を有する並列学習処理ニューラルネットワーク手
段とによるニューラルネットワーク処理の機能分散化に
より、演算処理の分散と、汎化能力の向上に有効な学習
データの迅速な集中収集及びこれによる並列実行処理ニ
ューラルネットワークの汎化能力の改善と保守が非常に
簡単に行える。従って、通信ネットワークにより接続さ
れた、非常に高い汎化能力が要求されるネットワーク障
害検出探索システムやネットワークセキュリティシステ
ムなどのネットワーク型高性能人口知能システムや、更
にはパターン認識システム、情報検索システム、画像認
識処理システムを初めとする各種認識処理システムなど
への幅広い応用ができるなど、非常にその効果は大き
い。

【図面の簡単な説明】

【図１】本発明の実施形態における通信ネットワークを
介したニューラルネットワーク処理システムの１構成例

【図２】従来技術による通信回線を介したニューロ学習
処理センタと利用者端末システムとを用いた個人用文字
フォント作成システム

【図３】本発明の実施形態に於ける学習処理ニューラル
ネットワークサーバシステム１０内の並列実行処理ニュ
ーラルネットワーク手段１４の１構成例

【図４】本発明の実施形態に於ける実行処理ニューラル
ネットワーククライアントシステム２０内の並列実行処
理ニューラルネットワーク手段２３の１構成例

【図５Ａ】本発明の実施形態に於けるニューラルネット
ワーク処理システムのプログラムを記憶したプログラム
記憶媒体における、学習処理ニューラルネットワークサ
ーバシステム用プログラム及び実行処理ニューラルネッ
トワーククライアントシステム用プログラムの第１の処
理フローの例

【図５Ｂ】本発明の実施形態に於けるニューラルネット
ワーク処理システムのプログラムを記憶したプログラム
記憶媒体における、学習処理ニューラルネットワークサ
ーバシステム用プログラム及び実行処理ニューラルネッ
トワーククライアントシステム用プログラムの第１の処
理フローの例

【図６】本発明の実施形態に於けるニューラルネットワ
ーク処理システムのプログラムを記憶したプログラム記
憶媒体における、学習処理ニューラルネットワークサー
バシステム用プログラムの第１の処理フローの内（１）
以降の処理フローを第２の処理フローとした例

【図７】学習処理ニューラルネットワークサーバシステ
ム用或いは実行処理ニューラルネットワーククライアン
トシステム用コンピュータの構成

【符号の説明】

１０学習処理ニューラルネットワークサーバシステム１１基本学習／基本テストデータ記憶手段１２並列学習処理ニューラルネットワーク手段１３並列実行パラメータ記憶手段１４並列実行処理ニューラルネットワーク手段１５データ送受信手段１６出力状態判定データ蓄積処理手段１７追加学習／追加テストデータ記憶手段１８システム制御管理手段２０実行処理ニューラルネットワーククライアントシ
ステム２１データ送受信手段２２並列実行パラメータ記憶手段２３並列実行処理ニューラルネットワーク手段２４出力状態判定データ蓄積処理手段２５システム制御管理手段３０ニューロ学習処理センタ３１通信装置３２学習パターン保持部３３学習ニューラルネットワーク処理部３４結合重み係数記憶部３５利用者端末システム３６通信装置３７計算機３８入力装置３９キーボード４０出力装置６０基本学習／基本テストデータ入力端子６１基本学習／基本テストデータ出力端子６２確認データ出力端子６３教師信号入力端子６４追加学習／追加テストデータ出力端子７０入力信号入力端子７１出力信号出力端子８０第１ニューラルネットワークシステム８１第２ニューラルネットワークシステム８２出力状態判定パラメータ処理手段８３ニューラルネットワーク８４２値化スレショルド手段８５ニューラルネットワーク８６２値化スレショルド手段８７出力変換手段８８出力状態判定選択処理手段８９モード切替えスイッチ手段９０出力状態判定選択処理手段１０１サーバシステム初期設定処理１０２基本学習／基本テストデータ取得及び記憶処理１０３並列学習処理ニューラルネットワーク処理１０４並列実行処理ニューラルネットワークテスト処
理１０５学習／テスト処理完了判定１０６誤答基本テストデータ移管処理１０７並列実行パラメータ処理及び記憶処理１０８並列実行パラメータダウンロード１１０Ｂｒｅａｋ判定１１１出力状態判定データ取得及び蓄積処理１１３並列実行処理ニューラルネットワーク確認処理１１４追加学習／追加テストデータ記憶処理１１５新規追加学習データ判定１１６並列学習処理ニューラルネットワーク処理１１７並列実行処理ニューラルネットワークテスト処
理１１８学習／テスト処理完了判定１１９誤答テストデータ移管処理１２０蓄積出力状態判定データリセット処理１２１並列実行パラメータ処理及び記憶処理１２２並列実行パラメータダウンロード１２３追加学習／追加テストデータ記憶処理１３１クライアントシステム初期設定処理１３２並列実行パラメータ取得及び記憶処理１３３並列実行パラメータ設定処理１３４Ｂｒｅａｋ判定１３５並列実行処理ニューラルネットワーク処理１３６出力状態判定１３７出力余裕判定１３８誤答判定データ蓄積処理１３９正答小余裕判定データ蓄積処理１４０追加学習要求判定１４１蓄積出力状態判定データアップロード１４２蓄積出力状態判定データリセット処理１５０基本学習／基本テストデータ１５１確認結果表示１５２受信結果表示１６１サーバシステム用プログラム記憶媒体１６２クライアントシステム用プログラム記憶媒体２００学習処理ニューラルネットワークサーバシステ
ム用或いは実行処理ニューラルネットワーククライアン
トシステム用コンピュータ２０１ＣＰＵ２０２ＲＯＭ２０３ＲＡＭ２０４入力装置２０５出力装置２０６読み取り装置２０７通信ネットワークインタフェース装置

Claims

【特許請求の範囲】

【請求項１】基本学習入力信号と該基本学習入力信号
に予め割当てられた教師信号とからなる１種類以上の基
本学習データを記憶する基本学習データ記憶手段１１
と、入力に対して１つ以上並列接続され、該基本学習データ
にそれぞれ対応したニューラルネットワークから少なく
とも構成された並列学習処理ニューラルネットワーク手
段１２と、該並列学習処理ニューラルネットワーク手段１２の学習
処理によって、該基本学習データを少なくとも用いて学
習させた該ニューラルネットワークそれぞれの結合重み
係数を得、少なくとも該結合重み係数からなる並列実行
パラメータを記憶する並列実行パラメータ記憶手段１３
と、該並列実行パラメータを通信ネットワークを介して、１
つ以上のクライアントシステム２０に配送するデータ送
受信手段１５とを少なくとも有したサーバシステム１０
を有し、前記クライアントシステム２０は、該サーバシステム１
０から該並列実行パラメータを受信するデータ送受信手
段２１と、受信された該並列実行パラメータを記憶する並列実行パ
ラメータ記憶手段２２と、受信された該並列実行パラメータを該並列記憶手段２２
から読み出し、該並列実行パラメータ内の前記結合重み
係数をそれぞれ設定した、入力に対して１つ以上の並列
接続されたニューラルネットワークから少なくとも構成
された、出力状態判定機能を有する並列実行処理ニュー
ラルネットワーク手段２３とを、少なくとも有し、該並列実行処理ニューラルネットワーク手段２３を用い
て、該並列実行処理ニューラルネットワーク手段２３の
入力信号に対する出力信号と該出力信号の状態を示す出
力状態判定信号とを送出することを特徴とするニューラ
ルネットワーク処理システム。
【請求項２】前記サーバシステム１０に於て、基本テ
スト入力信号と該基本テスト信号に予め割当てられた教
師信号とからなる基本テストデータと、該基本テストデータを格納する基本テストデータ記憶手
段１１と、前記学習処理が終了し得られた前記結合重み係数を設定
した、出力状態判定機能を有する並列実行処理ニューラ
ルネットワーク手段１４とを具備し、該基本テストデータ記憶手段１１から読み出された該基
本テストデータを用いて該並列実行処理ニューラルネッ
トワーク手段１４のテスト処理を行ない、誤答の出力信
号を送出する該基本テスト入力信号を基本学習データと
して前記基本学習データ記憶手段１１に移管格納し、該
基本学習データ記憶手段１１内の全ての基本学習データ
を用いて、前記並列学習処理ニューラルネットワーク手
段１２を学習処理し、前記並列学習処理ニューラルネッ
トワーク手段１２内の前記ニューラルネットワークから
全ての該基本学習データに対して、正答出力信号が得ら
れると、前記学習処理を終了し、得られた結合重み係数
を用いて前記並列実行処理ニューラルネットワーク手段
１４のテスト処理を行ない、前記並列実行処理ニューラ
ルネットワーク手段１４内の前記ニューラルネットワー
クに於て、全ての前記基本テストデータに対して正答出
力が得られると、前記学習処理と前記テスト処理を完了
し、得られた結合重み係数で前記並列実行パラメータ記
憶手段１３に格納されている前記並列実行パラメータ内
の前記結合重み係数を更新記憶した後、前記クライアン
トシステム２０へ配送することを特徴とする請求項１に
記載のニューラルネットワーク処理システム。
【請求項３】前記クライアントシステム２０の前記並
列実行処理ニューラルネットワーク手段２３に於て、入
力された前記入力信号に対して送出される前記出力状態
判定信号に従って、少なくとも該入力信号からなる出力
状態判定データを蓄積する出力状態判定データ蓄積処理
手段２４を具備し、該出力状態判定データ蓄積処理手段２４内に蓄積された
出力状態判定データが与えられた条件を満足すると、蓄
積されている全ての出力状態判定データを前記サーバシ
ステム１０に前記データ送受信手段２１を介して送信し
た後、該出力状態判定データ蓄積処理手段２４をリセッ
トし、前記サーバシステム１０に於て、前記データ送受信手段
１５を介して受信した該出力状態判定データを蓄積する
出力状態判定データ蓄積処理手段１６と、該出力状態判定データ蓄積処理手段１６に於て、該出力
状態判定データ内の入力信号に対して教師信号を割当
て、少なくとも一部を該入力信号と該教師信号とからな
る追加学習データとして記憶する追加学習データ記憶手
段１７とを具備し、該追加学習データ記憶手段１７内に新たに記憶された追
加学習データが与えられた条件を満足すると、該追加学
習データ記憶手段１７内の全追加学習データと前記基本
学習データ記憶手段１１内の全基本学習データとをそれ
ぞれ用いて、前記並列学習処理ニューラルネットワーク
手段１２を学習処理させ、前記並列学習処理ニューラル
ネットワーク手段１２内の前記ニューラルネットワーク
の全出力信号が正答となると学習処理を完了させ、前記
出力状態判定データ蓄積処理手段１６をリセットし、該
並列学習処理ニューラルネットワーク手段１２により得
られた結合重み係数を、前記並列実行処理ニューラルネ
ットワーク手段１４に設定し、前記並列実行パラメータ
内の前記結合重み係数を更新記憶すると共に、全クライ
アントシステム２０に配送することを特徴とした請求項
１及び２の何れかに記載のニューラルネットワーク処理
システム。
【請求項４】前記クライアントシステム２０の前記並
列実行処理ニューラルネットワーク手段２３に於て、入
力された前記入力信号に対して送出される前記出力状態
判定信号に従って、少なくとも該入力信号からなる出力
状態判定データを蓄積する出力状態判定データ蓄積処理
手段２４を具備し、該出力状態判定データ蓄積処理手段２４内に蓄積された
出力状態判定データが与えられた条件を満足すると、蓄
積されている全ての出力状態判定データを前記サーバシ
ステム１０に前記データ送受信手段２１を介して送信し
た後、該出力状態判定データ蓄積処理手段２４をリセッ
トし、前記サーバシステム１０に於て、前記データ送受信手段
１５を介して受信した該出力状態判定データを蓄積する
出力状態判定データ蓄積処理手段１６と、該出力状態判定データ蓄積処理手段１６に於て、該出力
状態判定データ内の入力信号に対して教師信号を割当
て、少なくとも一部を該入力信号と該教師信号とからな
る追加学習データとして記憶する追加学習データ記憶手
段１７とを具備し、前記追加学習データ記憶手段１７内に新たに記憶された
追加学習データが与えられた条件を満足すると、該追加
学習データ記憶手段１７内の全追加学習データと前記基
本学習データ記憶手段１１内の全基本学習データとをそ
れぞれ用いて、前記並列学習処理ニューラルネットワー
ク手段１２を学習処理させ、前記並列学習処理ニューラ
ルネットワーク手段１２内の前記ニューラルネットワー
クの全出力信号が正答となると学習処理を終了させ、更に、前記基本テストデータ記憶手段１１から読み出さ
れた該基本テストデータを用いて前記並列実行処理ニュ
ーラルネットワーク手段１４のテスト処理を行ない、前
記並列実行処理ニューラルネットワーク手段１４内の前
記ニューラルネットワークが誤答の出力信号を送出する
該基本テストデータを基本学習データとして前記基本学
習データ記憶手段１１に移管格納し、前記基本学習デー
タ記憶手段１１内の全ての基本学習データと前記追加学
習データ記憶手段１１内の全ての追加学習データとを用
いて、前記並列学習処理ニューラルネットワーク手段１
２を更に学習処理し、前記並列学習処理ニューラルネッ
トワーク手段１２内の前記ニューラルネットワークに於
て全て正答な出力信号が得られ、前記並列実行処理ニュ
ーラルネットワーク手段１４に於て全ての該基本テスト
データに対しても、正答な出力信号が得られるまで、前
記学習処理と前記テスト処理とを繰り返し、全て正答な
出力信号が得られると前記学習処理及びテスト処理を完
了させ、前記出力状態判定データ蓄積処理手段１６をリ
セットし、該並列学習処理ニューラルネットワーク手段
１２により得られた結合重み係数を用いて前記並列実行
パラメータ記憶手段１３に格納されている前記並列実行
パラメータ内の前記結合重み係数を更新記憶した後、前
記クライアントシステム２０へ配送することを特徴とす
る請求項２に記載のニューラルネットワーク処理システ
ム。
【請求項５】前記クライアントシステム２０の前記並
列実行処理ニューラルネットワーク手段２３から送出さ
れる前記出力状態判定信号も前記出力状態判定データの
一部とし、前記サーバシステム１０に送出し、前記サーバシステム１０に於て、前記出力状態判定デー
タ蓄積処理手段１６に蓄積し、読み出された前記出力状
態判定データ内の出力状態判定信号に従って、該出力状
態判定データ内の入力信号と該入力信号に対応させて割
当てられた教師信号とを前記追加学習データとして前記
追加学習データ記憶手段１１に格納し、前記学習処理を
させることを特徴とした請求項３及び４の何れかに記載
のニューラルネットワーク処理システム。
【請求項６】前記サーバシステム１０の前記並列実行
処理ニューラルネットワーク手段１４に於て、前記出力状態判定データ蓄積処理手段１６から読み出さ
れた前記出力状態判定データ内の入力信号と該入力信号
に対応させて割当てられた教師信号とを用いて、出力信
号及び出力状態判定信号とを得、出力信号が誤答の場合
には、該入力信号と該教師信号とを追加学習データとし
て前記追加学習データ記憶手段１１に格納し、前記学習
処理させ、出力信号が正答の場合には、該入力信号と該
教師信号とを追加テストデータとして追加テストデータ
記憶手段１１に格納し、前記テスト処理をすることを特
徴とした請求項４に記載のニューラルネットワーク処理
システム。
【請求項７】前記サーバシステム１０に於て、並列実
行処理ニューラルネットワーク手段１４と、前記出力状態判定データ蓄積処理手段１６に蓄積処理さ
れた前記出力状態判定データ内の前記出力状態判定信号
が、誤答判定信号の場合、対応した前記入力信号と該入
力信号に対応させて割当てられた前記教師信号とを追加
学習データとし前記追加学習データ記憶手段１７に格納
し、正答判定信号の場合、対応した前記入力信号と該入
力信号に対応させて割当てられた前記教師信号とを追加
テストデータとし格納する追加テストデータ記憶手段１
７とを具備し、前記並列学習処理ニューラルネットワーク手段１２の学
習処理が終了すると、該追加テストデータ記憶手段１７
から全ての追加テストデータも読みだし、前記並列実行
処理ニューラルネットワーク手段１４のテスト処理を行
ない、誤答の出力信号を送出する該追加テストデータを
追加学習データとして前記追加学習データ記憶手段１７
に移管格納し、前記並列学習処理ニューラルネットワー
ク手段１２の前記学習処理と前記並列実行処理ニューラ
ルネットワーク手段１４の前記テスト処理とを繰り返
し、前記追加テストデータ記憶手段１７内の全ての追加
テストデータに対しても、前記並列正答な出力信号が得
られると、学習処理及びテスト処理を完了し、前記並列
学習処理ニューラルネットワーク手段１２に於て得られ
た結合重み係数を用いて前記並列実行パラメータ記憶手
段１３に格納されている前記並列実行パラメータ内の前
記結合重み係数を書き換えることを特徴とする請求項５
に記載のニューラルネットワーク処理システム。
【請求項８】前記クライアントシステム２０の前記並
列実行処理ニューラルネットワーク手段２３に於て、前
記入力信号に対する出力信号が、正答の場合、正答とな
る出力余裕が与えられたスレショルドより小さい場合の
み、前記出力状態判定として正答小余裕判定信号を送出
させ、該正答小余裕判定信号と対応した入力信号とから
少なくともなる正答小余裕判定データを前記出力状態判
定データとして前記出力状態判定データ蓄積処理手段２
４に蓄積し、それ以外の正答な出力信号に対応した正答
判定信号を持った正答判定データは蓄積せず、前記サーバシステム１０に於て、受信された該正答小余
裕判定データを前記出力状態判定データ蓄積処理手段１
６にて蓄積処理して、該正答小余裕判定データ内の入力
信号と対応して割当てられた教師信号とを追加学習デー
タとして前記追加学習データ記憶手段１７に記憶すると
共に、前記並列学習処理ニューラルネットワーク手段１
２を学習処理することを特徴とした請求項５、６、及び
７の何れかに記載のニューラルネットワーク処理システ
ム。
【請求項９】前記クライアントシステム２０の前記並
列実行処理ニューラルネットワーク手段２３に於て、前
記入力信号に対する出力信号が、正答の場合、正答とな
る出力余裕が与えられたスレショルドより小さい場合の
み、前記出力状態判定として正答小余裕判定信号を送出
させ、該正答小余裕判定信号と対応した入力信号とから
少なくともなる正答小余裕判定データを前記出力状態判
定データとして前記出力状態判定データ蓄積処理手段２
４に蓄積し、それ以外の正答な出力信号に対応した正答
判定信号を持った正答判定データは蓄積せず、前記サーバシステム１０に於て、受信された該正答小余
裕判定データを前記出力状態判定データ蓄積処理手段１
６にて蓄積処理して、該正答小余裕判定データ内の入力
信号と対応して割当てられた教師信号とを追加テストデ
ータとして前記追加テストデータ記憶手段１７に記憶す
ると共に、前記並列実行処理ニューラルネットワーク手
段１４をテスト処理することを特徴とした請求項７に記
載のニューラルネットワーク処理システム。
【請求項１０】前記クライアントシステム２０の前記
並列実行処理ニューラルネットワーク手段２３に於て、
前記入力信号に対する送出される前記出力信号も前記出
力状態判定データ内の一部とし、前記出力状態判定デー
タ蓄積処理手段２４に蓄積し、前記サーバシステム１０
に送信し、前記サーバシステム１０の前記並列実行処理ニューラル
ネットワーク手段１４に於て、前記出力状態判定データ
蓄積処理手段１６に蓄積されている前記出力状態判定デ
ータ内の入力信号を入力して得られた出力信号と該出力
状態判定データ内の出力信号とを少なくとも比較し、一
致状態を調べる検証手段を具備し、該検証手段に於て、
検証結果が与えられた条件を満たすと、前記サーバシス
テム１０の該並列実行パラメータ内の前記結合重み係数
と該クライアントシステム２０の前記並列実行パラメー
タ記憶手段２２に記憶されている前記並列実行パラメー
タ内の結合重み係数とが異なり整合していないと判断
し、前記サーバシステム１０の該並列実行パラメータを
前記データ送受信手段１５を介して、該クライアントシ
ステム２０に送信し、前記並列実行パラメータ記憶手段
２２に記憶すると共に、前記並列実行処理ニューラルネ
ットワーク手段２３に再設定することを特徴とする請求
項５、６、７、８及び９のいずれかに記載のニューラル
ネットワーク処理システム。
【請求項１１】基本学習入力信号と該基本学習入力信
号に予め割当てられた教師信号とからなる１種類以上の
基本学習データを記憶し、入力に対して１つ以上並列接
続され、該基本学習データにそれぞれ対応したニューラ
ルネットワークから少なくとも構成された並列学習処理
ニューラルネットワーク処理と、該並列学習処理ニューラルネットワーク処理に於て学習
処理を行ない、該基本学習データを少なくとも用いて学
習させた該ニューラルネットワークそれぞれの結合重み
係数を得、少なくとも該結合重み係数からなる並列実行
パラメータを記憶する並列実行パラメータ記憶処理と、該並列実行パラメータを通信ネットワークを介して、１
つ以上のクライアントシステム２０に配送するデータ送
受信処理とを少なくとも行なうプログラムを格納したサ
ーバシステム用プログラムと、該サーバシステム１０から該並列実行パラメータを受信
するデータ送受信処理と、受信された該並列実行パラメータを記憶する並列実行パ
ラメータ記憶処理と、受信された該並列実行パラメータを該並列記憶処理にて
読み出し、該並列実行パラメータ内の前記結合重み係数
をそれぞれ設定した、入力に対して１つ以上の並列接続
されたニューラルネットワークから少なくとも構成され
た、出力状態判定機能を有する並列実行処理ニューラル
ネットワーク処理とをするプログラムを少なくとも有
し、該並列実行処理ニューラルネットワーク処理に於
て、入力信号に対する出力信号と該出力信号の状態を示
す出力状態判定信号とを送出することを特徴とするプロ
グラムを少なくとも格納したクライアントシステム用プ
ログラムとを記憶した記憶媒体。
【請求項１２】前記サーバシステム１０に於て、基本
テスト入力信号と該基本テスト信号に予め割当てられた
教師信号とからなる基本テストデータを有し、該基本テストデータを格納する基本テストデータ記憶処
理と、前記学習処理が終了し得られた前記結合重み係数を設定
した、出力状態判定機能を有する並列実行処理ニューラ
ルネットワーク処理とをするプログラムを具備し、該基本テストデータ記憶処理にて読み出された該基本テ
ストデータを用いて該並列実行処理ニューラルネットワ
ーク処理に於てテスト処理を行ない、誤答の出力信号を
送出する該基本テスト入力信号を基本学習データとして
前記基本学習データ記憶処理に移管格納し、該基本学習
データ記憶処理内での全ての基本学習データを用いて、
前記並列学習処理ニューラルネットワーク処理に於て学
習処理し、前記並列学習処理ニューラルネットワーク処
理に於て前記ニューラルネットワークから全ての該基本
学習データに対して、正答出力信号が得られると、前記
学習処理を終了し、得られた結合重み係数を用いて前記
並列実行処理ニューラルネットワーク処理に於てテスト
処理を行ない、前記並列実行処理ニューラルネットワー
ク処理内の前記ニューラルネットワークに於て、全ての
前記基本テストデータに対して正答出力が得られると、
前記学習処理と前記テスト処理を完了し、得られた結合
重み係数で前記並列実行パラメータ記憶処理に格納され
ている前記並列実行パラメータ内の前記結合重み係数を
更新記憶処理した後、前記クライアントシステム２０へ
配送することを特徴とする請求項１に記載のニューラル
ネットワーク処理を実行するプログラムを記憶した記憶
媒体。
【請求項１３】前記クライアントシステム２０の前記
並列実行処理ニューラルネットワーク処理に於て、入力
された前記入力信号に対して送出される前記出力状態判
定信号に従って、少なくとも該入力信号からなる出力状
態判定データを蓄積する出力状態判定データ蓄積処理を
するプログラムを具備し、該出力状態判定データ蓄積処理にて蓄積された出力状態
判定データが与えられた条件を満足すると、蓄積されて
いる全ての出力状態判定データを前記データ送受信処理
を介して前記サーバシステム１０に送信した後、該出力
状態判定データ蓄積処理の蓄積内容をリセットし、前記サーバシステム１０に於て、前記データ送受信処理
を介して受信した該出力状態判定データを蓄積する出力
状態判定データ蓄積処理と、該出力状態判定データ蓄積処理に於て、該出力状態判定
データ内の入力信号に対して教師信号を割当て、少なく
とも一部を該入力信号と該教師信号とからなる追加学習
データとして記憶する追加学習データ記憶処理とをする
プログラムを具備し、該追加学習データ記憶処理内にて新たに記憶された追加
学習データが与えられた条件を満足すると、該追加学習
データ記憶処理内での全追加学習データと前記基本学習
データ記憶処理内の全基本学習データとをそれぞれ用い
て、前記並列学習処理ニューラルネットワーク処理に於
て学習処理させ、前記並列学習処理ニューラルネットワ
ーク処理に於ける前記ニューラルネットワークの全出力
信号が正答となると学習処理を完了させ、前記出力状態
判定データ蓄積処理の蓄積内容をリセットし、該並列学
習処理ニューラルネットワーク処理により得られた結合
重み係数を、前記並列実行処理ニューラルネットワーク
処理に設定し、前記並列実行パラメータ内の前記結合重
み係数を更新記憶すると共に、全クライアントシステム
２０に配送することを特徴とした請求項１及び２の何れ
かに記載のニューラルネットワーク処理を実行するプロ
グラムを記憶した記憶媒体。
【請求項１４】前記クライアントシステム２０の前記
並列実行処理ニューラルネットワーク処理に於て、入力
された前記入力信号に対して送出される前記出力状態判
定信号に従って、少なくとも該入力信号からなる出力状
態判定データを蓄積する出力状態判定データ蓄積処理す
るプログラムを具備し、該出力状態判定データ蓄積処理内に蓄積された出力状態
判定データが与えられた条件を満足すると、蓄積されて
いる全ての出力状態判定データを前記データ送受信処理
を介して前記サーバシステム１０に送信した後、該出力
状態判定データ蓄積処理の蓄積内容をリセットし、前記サーバシステム１０に於て、前記データ送受信処理
を介して受信した該出力状態判定データを蓄積する出力
状態判定データ蓄積処理と、該出力状態判定データ蓄積処理に於て、該出力状態判定
データ内の入力信号に対して教師信号を割当て、少なく
とも一部を該入力信号と該教師信号とからなる追加学習
データとして記憶する追加学習データ記憶処理とを行な
うプログラムを具備し、前記追加学習データ記憶処理に於て新たに記憶された追
加学習データが与えられた条件を満足すると、該追加学
習データ記憶処理内の全追加学習データと前記基本学習
データ記憶処理内の全基本学習データとをそれぞれ用い
て、前記並列学習処理ニューラルネットワーク処理に於
て学習処理させ、前記並列学習処理ニューラルネットワ
ーク処理に於て前記ニューラルネットワークの全出力信
号が正答となると学習処理を終了させ、更に、前記基本テストデータ記憶処理から読み出された
該基本テストデータを用いて前記並列実行処理ニューラ
ルネットワーク処理に於けるテスト処理を行ない、前記
並列実行処理ニューラルネットワーク処理内の前記ニュ
ーラルネットワークが誤答の出力信号を送出する該基本
テストデータを基本学習データとして前記基本学習デー
タ記憶処理内に移管格納し、前記基本学習データ記憶処
理内の全ての基本学習データと前記追加学習データ記憶
処理内の全ての追加学習データとを用いて、前記並列学
習処理ニューラルネットワーク処理に於て更に学習処理
し、前記並列学習処理ニューラルネットワーク処理に於
て前記ニューラルネットワークから全て正答な出力信号
が得られ、前記並列実行処理ニューラルネットワーク処
理に於て全ての該基本テストデータに対しても、正答な
出力信号が得られるまで、前記学習処理と前記テスト処
理とを繰り返し、全て正答な出力信号が得られると前記
学習処理及びテスト処理を完了させ、前記出力状態判定
データ蓄積処理の蓄積内容をリセットし、該並列学習処
理ニューラルネットワーク処理により得られた結合重み
係数を用いて前記並列実行パラメータ記憶処理に格納さ
れている前記並列実行パラメータ内の前記結合重み係数
を更新記憶した後、前記クライアントシステム２０へ配
送することを特徴とする請求項２に記載のニューラルネ
ットワーク処理を実行するプログラムを記憶した記憶媒
体。