JPH06250997A - 神経回路網の高速学習装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、少ない学習データを用いた短かい学
習時間で極めて精度の高い神経回路網を構築できること
を最も主要な目的としている。 【構成】新たに学習するデータを蓄積する新規学習デー
タベースと、新規学習データベースに蓄積されたデータ
の学習を行なうための神経回路網手段と、神経回路網手
段の入出力関数特性に対する必要条件を設定する条件設
定手段と、条件設定手段により設定された必要条件を逸
脱しない範囲で、神経回路網手段の構造の変動できる修
正可能範囲を計算する修正可能範囲計算手段と、新規学
習データベースに蓄積されているデータを神経回路網手
段に学習させるために必要な神経回路網手段の構造の修
正量を計算する修正範囲計算手段と、修正範囲計算手段
により計算された修正量が修正可能範囲計算手段により
計算された修正可能範囲内にある場合に神経回路網手段
の構造を修正する手段とを備えたことを特徴としてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網（ニューラ
ル・ネットワーク）の学習装置に係り、特に先見的に得
られているデータを利用することにより、少ない学習デ
ータを用いた短かい学習時間で極めて精度の高い神経回
路網を構築し得るようにした神経回路網の高速学習装置
に関するものである。

【０００２】

【従来の技術】神経回路網は、人間の脳の神経回路網を
補記した演算装置である。この神経回路網は、近時、学
習機能を有する特徴を生かして、認識や制御等さまざま
な分野で用いられてきている。

【０００３】ところで、バックプロバゲーション・アル
ゴリズムに代表される神経回路網の学習では、新しいデ
ータを学習する際に、過去に学習したデータを考慮せず
に、荷重値等の修正を行なっている。このため、複数の
学習データ全てを学習するのに、同じデータを何度も繰
り返して神経回路網に学習させる必要があり、計算時間
が多くかかる場合がある。

【０００４】また、これまでの神経回路網は、与えられ
た学習データのみによって、構造の修正が行なわれてい
るため、学習データが充分に揃っていないと、精度の高
い写像を構成することはできない。しかしながら、学習
データを充分に揃えることは、学習データ数の増加につ
ながり、結果として学習に多くの時間が必要になってい
るのが現状である。

【０００５】さらに、これまでの神経回路網は、学習に
よって構成される写像の満たすべき性質が先見的に分か
っている場合でも、直接その性質を満たすように神経回
路網を構築することができず、その性質を実現するに必
要なだけの学習データを学習対象にし、長時間の計算を
要している。

【０００６】

【発明が解決しようとする課題】以上のように、従来の
神経回路網の学習においては、先見的に写像の満たすべ
き性質が既知の場合でも、学習データが充分に揃ってい
ないと精度の高い神経回路網を構築できず、また学習に
多くの時間がかかるという問題があった。

【０００７】本発明の目的は、少ない学習データを用い
た短かい学習時間で極めて精度の高い神経回路網を構築
することが可能な神経回路網の高速学習装置を提供する
ことにある。

【０００８】

【課題を解決するための手段】上記の目的を達成するた
めに、

【０００９】まず、請求項１に記載の発明による神経回
路網の高速学習装置は、新たに学習するデータを蓄積す
る新規学習データベースと、新規学習データベースに蓄
積されたデータの学習を行なうための神経回路網手段
と、神経回路網手段の入出力関数特性に対する必要条件
を設定する条件設定手段と、条件設定手段により設定さ
れた必要条件を逸脱しない範囲で、神経回路網手段の構
造の変動できる修正可能範囲を計算する修正可能範囲計
算手段と、新規学習データベースに蓄積されているデー
タを神経回路網手段に学習させるために必要な神経回路
網手段の構造の修正量を計算する修正範囲計算手段と、
修正範囲計算手段により計算された修正量が修正可能範
囲計算手段により計算された修正可能範囲内にある場合
に、神経回路網手段の構造を修正する手段とを備えて構
成している。

【００１０】また、請求項２に記載の発明による神経回
路網の高速学習装置は、データの処理を行なうための少
なくとも一つの第１の神経回路網手段と、新たに学習す
るデータを蓄積する新規学習データベースと、新規学習
データベースに蓄積されたデータの学習を行なうための
第２の神経回路網手段と、第２の神経回路網手段の入出
力関数特性に対する必要条件を設定する条件設定手段
と、条件設定手段により設定された必要条件を逸脱しな
い範囲で、第２の神経回路網手段の構造の変動できる修
正可能範囲を計算する修正可能範囲計算手段と、新規学
習データベースに蓄積されているデータを第２の神経回
路網手段に学習させるために必要な第２の神経回路網手
段の構造の修正量を計算する修正範囲計算手段と、修正
範囲計算手段により計算された修正量が修正可能範囲計
算手段により計算された修正可能範囲内にある場合に、
第２の神経回路網手段の構造を修正する手段と、学習が
終了した第２の神経回路網手段の構造を第１の神経回路
網に複写する手段とを備えて構成している。

【００１１】ここで、特に上記請求項１または２に記載
の神経回路網の高速学習装置において、修正範囲計算手
段により計算された修正量が修正可能範囲計算手段によ
り計算された修正可能範囲内にない場合に、修正量を修
正可能範囲の上限または下限値に置き換えて修正する手
段を付加している。

【００１２】また、上記条件設定手段による入出力関数
特性に対する必要条件としては、入出力関数特性の感度
変化許容範囲を設定し、入力に対する出力の感度に制限
を加えるようにしている。

【００１３】

【作用】従って、本発明の神経回路網の高速学習装置に
おいては、神経回路網手段の入出力関数特性に対する必
要条件を逸脱しない範囲で、神経回路網手段の構造（荷
重値、しきい値）を変動させることが可能な修正可能範
囲を計算し、新しいデータの学習による影響を上記修正
可能範囲内に収めることにより、先見的に得られている
データを神経回路網手段に反映させながら新しいデータ
を学習する、すなわち先見的に写像の満たすべき性質が
既知の場合に、この性質を保つ範囲で神経回路網手段の
学習を行なうことにより、少ない学習データを用いて短
かい学習時間で、極めて精度の高い神経回路網を構築す
ることができる。

【００１４】

【実施例】以下、本発明をバックプロパゲーション・ア
ルゴリズム（以下、ＢＰと略称する）による学習に適用
する場合の一実施例について、図面を参照して詳細に説
明する。まず、実施例の説明の前に、実施例理解の前提
となる神経回路網モデル、神経回路網の学習の打ち切
り、実施例で取り扱う例題について説明する。 （神経回路網モデルについて）

【００１５】図６は、神経細胞（以下、ユニットと称す
る）の数理モデルを示す図である。図６において、ユニ
ットはｎ個の入力端子を有し、それぞれの端子には荷重
値が設定されている。また、ユニットにはしきい値が設
定されている。そして、ｎ個の入力端子からの入力をｘ
₁ ，ｘ₂ ，…ｘ_n とし、またそれぞれの入力端子に設定
された荷重値をｗ₁ ，ｗ₂ ，…ｗ_n とし、さらにユニッ
トのしきい値をｈとすると、ユニットへの入力はｗ₁ ・
ｘ₁ ＋ｗ₂ ・ｘ₂ ＋…＋ｗ_n ・ｘ_n −ｈとなる。ユニッ
トへの入力は、シグモイド関数ｆによって変換され、そ
の出力ｙはｙ＝ｆ（ｗ₁ ・ｘ₁ ＋ｗ₂ ・ｘ₂ ＋…＋ｗ_n
・ｘ_n −ｈ）となる。ここで、ｆ（ｘ）＝１／（１＋ｅ
ｘｐ（−ｘ））であるが、ユニットの出力関数として
は、部分的に線形関数ｆ（ｘ）＝ｘが用いられることも
ある。

【００１６】次に、図７は、図６に示されるユニットを
複数連結して構成した３層の層状神経回路網を示す図で
ある。図７において、入力層のユニットの数をＮ₁ 個、
中間層のユニットの数をＮ₂ 個、出力層のユニットの数
をＮ₃ とすると、図７の神経回路網には、Ｎ₁ ・Ｎ₂ ＋
Ｎ₂ ・Ｎ₃ 個の荷重値と、Ｎ₁ ＋Ｎ₂ ＋Ｎ₃ 個のしきい
値が存在する。そして、入力層のユニットは、神経回路
網のＮ₁ 本の入力端子に直結しており、神経回路網への
入力は、そのまま入力層のユニットの出力となる。

【００１７】また、神経回路網のＮ₃ 本の出力端子は、
出力層のユニットに直結しており、出力層のユニットの
出力は、そのまま神経回路網の出力となる。ＢＰによる
学習は、神経回路網の出力が望ましい出力に近づくよう
に、Ｎ₁ ・Ｎ₂ ＋Ｎ₂ ・Ｎ₃個の荷重値、およびＮ₁ ＋
Ｎ₂ ＋Ｎ₃ 個のしきい値を修正することである。 （非線形関数によるデータのフィッティングとしての神
経回路網）

【００１８】神経回路網の適用方法としては、神経回路
網の出力を０／１のように離散値として処理する方法
と、神経回路網の出力をある物理量に対応させ、例えば
０から１までの連続変数として処理する方法の２通りが
ある。

【００１９】まず、神経回路網の出力を離散値として処
理するのは、パターン認識等、データの分類に神経回路
網を用いる場合である。ここでは、入力されたデータが
どのカテゴリーに属するかを、複数の出力ユニットの０
／１の組み合わせで表現している。この時、神経回路網
の出力は、厳密に０または１に一致する必要はなく、適
当な離散化処置により、望ましい出力に近い出力は、望
ましい出力と同一とみなされる。

【００２０】これに対して、神経回路網の出力を連続変
数として処理するのは、複数の変数間の関数関係を連続
する数値として作成する場合である。例えば、変数ｘと
ｙとを関係づける写像ｙ＝ｆ（ｘ）を、ｘ₁ とｙ₁ 、ｘ
₂ とｙ₂ 、…ｘ_n とｙ_n という、ｎ組の学習データから
構成する神経回路網は、図８に示すような一入力一出力
という構造をとる。この時、神経回路網の出力は、変数
ｙの値に直接対応しているので、その出力値には厳密性
が求められる。 （神経回路網の学習の打切りについて）

【００２１】神経回路網が学習対象とするデータは、１
つではなく複数存在し、学習データ全てについて神経回
路網の出力が望ましい出力になるように、荷重値、しき
い値を修正しなければならない。一般に、望ましい出力
と神経回路網の出力とが完全に一致するまで学習を続け
ることはなく、問題に応じて決められた評価基準を満た
したところで学習は打ち切られる。そして、この評価基
準も、神経回路網の出力を離散変数として処理するか、
連続変数として処理するかによって異なる。

【００２２】まず、神経回路網の出力を離散変数として
処理する場合、適当な離散化処置により、望ましい出力
からある範囲内に存在する出力は、望ましい出力と同一
とみなされるので、その時点で学習を途中で打ち切るこ
とができる。

【００２３】これに対して、神経回路網の出力を連続変
数として処理する場合、神経回路網の出力が対象とする
変数の値に直接対応しているので、出力データの適当な
変換によって、神経回路網の出力を望ましい出力と同一
とみなすことができない。従って、神経回路網の出力と
望ましい出力との差がある範囲内になった時点で学習が
打ち切られる。通常、この差を打ち切り誤差と称し、打
ち切り誤差を小さくすれば、学習データの学習はより正
確に行なわれるが、打ち切り誤差を小さくし過ぎると、
未学習のテストデータに対する出力精度が低下する現象
が多くみられる。その原因としては、学習データに含ま
れるノイズやデータの偏りの影響まで、神経回路網が学
習してしまい、学習対象である系本来の入出力関数特性
が学習されなくなってしまうことが挙げられる。そし
て、この現象は、学習データの数が少ない時、特に学習
によって調整されるパラメータ数よりも学習データ数が
少ない時に顕著に現われる。従って、神経回路網の出力
を連続変数として用いる場合には、対象とする系の特性
や学習データ数等に応じて、適当な打ち切り誤差で学習
を打ち切ることになる。

【００２４】なお、以下に説明する実施例では、後述す
るように、神経回路網の出力を連続変数として処理する
ので、神経回路網の出力が適当な打ち切り誤差の範囲内
で望ましい出力と一致することを以て、学習が終了した
とみなすことを前提とする。 （実施例で取り扱う例題）実施例で取り扱う、写像の作
成という例題について説明する。

【００２５】ここでは、写像ｙ＝ｆ（ｘ）を、ｘ₁ とｙ
₁ 、ｘ₂ とｙ₂ 、…、ｘ_n とｙ_n という、ｎ組の学習デ
ータから構成する。これは、例えば、離散的な時系列デ
ータＸ_n において、Ｘ_n+1 ＝ｆ（Ｘ_n ）という関係が成
立すると考えられるときに、（Ｘ_i-1 ，Ｘ_i ）の複数の
データの組（ｉ＝１，…ｎ）より、写像ｆを作成し、新
たに得られるＸ_n からＸ_n+1 を推定するという、時系列
予測問題に対応するものである。この時、先見的なデー
タにより、写像ｆの入力に対する出力の感度ｄｆ／ｄｘ
の上下限が分かっており、かつその範囲内の感度を実現
する神経回路網が得られているものとする。そこで、本
実施例における神経回路網手段に対する必要条件として
は、「神経回路網の新規データの学習による感度の変動
がある範囲内に収まっていること」と指定できる。以
下、上記のような考え方に基づく本発明の一実施例につ
いて説明する。図１は、本実施例にかかる神経回路網の
高速学習装置の構成例を示すブロック図である。

【００２６】すなわち、本実施例の神経回路網の高速学
習装置は、データ生成器１と、出力切り換えスイッチ２
と、第１の神経回路網３と、出力結果格納部４と、新規
学習データ登録器５と、新規学習データベース６と、第
２の神経回路網７と、入出力関数条件設定器８と、荷重
値修正可能範囲計算器９と、荷重値データベース１０
と、修正範囲計算器１１と、神経回路網学習器１２と、
学習制御器１３と、神経回路網交換器１４と、モード切
り換え器１５とから構成している。ここで、データ生成
器１は、処理または学習されるデータを生成するもので
ある。

【００２７】また、出力切り換えスイッチ２は、モード
切り換え器１５からのモード切り換え信号により、デー
タ生成器１を第１の神経回路網３側あるいは新規学習デ
ータ登録器５側へ接続するように出力切り換えを行なう
ものである。さらに、第１の神経回路網３は、データ生
成器１からのデータを処理し、その処理結果を出力する
ものである。さらにまた、出力結果格納部４は、第１の
神経回路網３の処理結果を格納するものである。一方、
新規学習データ登録器５は、データ生成器１より新たに
生成されるデータを新規学習データベース６に登録する
ものである。また、新規学習データベース６は、新規学
習データ登録器５により登録される新たに学習するデー
タを蓄積するものである。

【００２８】さらに、第２の神経回路網７は、第１の神
経回路網３と同一の構造を有するものであり、新規学習
データベース６に蓄積されたデータの学習をオフライン
で行なうためのものである。

【００２９】一方、入出力関数条件設定器８は、新規学
習データの学習により構成される、第２の神経回路網７
の入出力関数特性に対する必要条件（感度変化許容範
囲）を設定するものである。この入出力関数条件設定器
８はユーザインターフェイスを装備し、オペレータが第
２の神経回路網７の入出力関数特性に対する必要条件を
設定するためのユーザインターフェイスを備えている。

【００３０】また、荷重値修正可能範囲計算器９は、第
２の神経回路網７の入出力特性が入出力関数条件設定器
８により設定された必要条件を逸脱しない範囲（満たす
範囲）で、第２の神経回路網７の構造（各荷重値および
各しきい値）の変動できる修正可能範囲を計算するもの
である。さらに、荷重値データベース１０は、荷重値修
正可能範囲計算器９により計算された荷重値・しきい値
の修正可能範囲を蓄積するものである。

【００３１】一方、修正範囲計算器１１は、新規学習デ
ータベース６に蓄積されているデータを第２の神経回路
網７に学習させるために必要な第２の神経回路網７の構
造の修正量を計算するものである。この修正範囲計算器
１１はユーザインタフェイスを装備し、オペレータが新
規学習データの学習を打ち切るための打ち切り誤差を入
力するためのインターフェイスを備えている。

【００３２】また、神経回路網学習器１２は、第２の神
経回路網７の学習を行なう機能と、修正範囲計算器１１
により計算された修正量が荷重値修正可能範囲計算器９
により計算された修正可能範囲内にある場合に、第２の
神経回路網７の構造を修正する機能を有するものであ
る。

【００３３】さらに、学習制御器１３は、第１の神経回
路網３を新しく更新するための手続き（神経回路網の荷
重値およびしきい値を変更する手続き）を制御するもの
である。この学習制御器１３はユーザインターフェイス
を装備し、上記設定範囲内で学習が行なわれたか否かを
オペレータに提示するインターフェイスを備えている。
また、神経回路網交換器１４は、学習が終了した第２の
神経回路網７の構造を第１の神経回路網３に複写するた
めのものである。

【００３４】さらに、モード切り換え器１５は、２つの
モード、すなわち第１の神経回路網３によるデータの処
理のモードと、第２の神経回路網７の学習を行なうモー
ドとを切り換えるためのモード切り換え信号を、出力切
り換えスイッチ２へ出力するものである。次に、以上の
ように構成した本実施例の神経回路網の高速学習装置の
作用について、図２に示すフロー図を用いて説明する。

【００３５】まず、本実施例の神経回路網の高速学習装
置は、２つの動作モードを有する。その一つは、第１の
神経回路網３によるデータの処理のモード、もう一つは
第２の神経回路網７の学習を行なうモードである。この
２つのモードは、モード切り換え器１５により切り換え
られる（ステップＳ０）。最初に、データの処理のモー
ドについて説明する。

【００３６】まず、モード切り換え器１５からのモード
切り換え信号により、出力切り換えスイッチ２によっ
て、データ生成器１が第１の神経回路網３へ接続される
（ステップＳ１）。これにより、データ生成器１から出
力されたデータは、処理用データとして第１の神経回路
網３に入力され（ステップＳ２）、第１の神経回路網３
ではこの入力されたデータに対して処理が行なわれ、デ
ータが出力される（ステップＳ３）。そして、この出力
結果は、出力結果格納部４に格納される（ステップＳ
４）。次に、神経回路網の学習のモードについて説明す
る。

【００３７】まず、モード切り換え器１５からのモード
切り換え信号により、出力切り換えスイッチ２によっ
て、データ生成器１が新規学習データ登録器５に接続さ
れる（ステップＳ１０）。これにより、データ生成器１
から出力されたデータは、学習用データとして新規学習
データ登録器５に入力され（ステップＳ１１）、このデ
ータは新規学習データベース６へ登録される（ステップ
Ｓ１２）。

【００３８】次に、学習制御器１３では、モード切り換
え器１５からの信号を受け、神経回路網学習器１２に学
習を実行するように信号が送出される。これにより、神
経回路網学習器１２では、後述する方法で第２の神経回
路網７の学習がオフラインで行なわれ、学習が終了する
と学習制御器１３に学習終了の信号が送出される。学習
制御器１３では、この学習終了の信号を受けて、神経回
路網交換器１４に交換実行の信号が送出されると共に、
モード切り換え器１５に学習終了の信号が送出される。
これにより、神経回路網交換器１４では、学習が終了し
た第２の神経回路網７の構造が第１の神経回路網３に複
写される。次に、第２の神経回路網７の学習方法につい
て説明する。

【００３９】第２の神経回路網７では、学習前は、第１
の神経回路網３と同一の構成（荷重値、しきい値、ユニ
ットの出力関数）を有する。学習は、第２の神経回路網
７に対して行なわれ、学習が終了した時点で第１の神経
回路網３に、荷重値およびしきい値が複写される。

【００４０】神経回路網学習器１２は、学習制御器１３
からの学習実行の信号を受けて、修正範囲計算器１１
に、新規学習データベース６に登録された新規学習デー
タを学習するために必要な荷重値およびしきい値の修正
量を計算させる（ステップＳ１３）。次に、オペレータ
によって、入出力関数条件設定器８に入力された第２の
神経回路網７の入出力関数特性に対する必要条件によ
り、第２の神経回路網７の荷重値およびしきい値の修正
可能範囲が、荷重値修正可能範囲計算器９で後述する方
法により計算され（ステップＳ１４）、その計算結果が
荷重値データベース１０に登録される。そして、神経回
路網学習器１２では、修正範囲計算器１１により求めら
れた修正量と、荷重値データベース１０に登録されてい
る荷重値またはしきい値の修正可能範囲とが比較される
（ステップＳ１５）。

【００４１】この結果、修正量が修正可能範囲内におさ
まっている場合には、第２の神経回路網７の荷重値およ
びしきい値が修正され（ステップＳ１６）、学習制御器
１３に対して学習終了の信号が送出される。

【００４２】これに対して、修正量が修正可能範囲内に
おさまらない場合には、神経回路網学習器１２では、荷
重値・しきい値の修正量を、修正可能範囲の上限または
下限値に置き換えて（ステップＳ１７）、第２の神経回
路網７の荷重値およびしきい値が修正され（ステップＳ
１６）、学習制御器１３に対して学習終了の信号が送出
される。この時、修正量が修正可能範囲を越えているこ
とを、学習制御器１３のインターフェイスによってオペ
レータに報知するようにしてもよい。

【００４３】次に、学習制御器１３では、神経回路網学
習器１２からの学習終了の信号に応答して、第２の神経
回路網７の荷重値およびしきい値が第１の神経回路網３
に複写され（ステップＳ１８）、モード切り換え器１５
に学習終了の信号が送出される。次に、上記修正範囲計
算器１１において、新規学習データを学習するのに必要
な修正量を計算する方法について説明する。

【００４４】まず、第２の神経回路網７に対して、新規
学習データだけの学習が行なわれる。この学習は、オペ
レータが修正範囲計算器１１のインターフェイスに入力
した打ち切り誤差の範囲まで、第２の神経回路網７の出
力が収束したら打ち切られる。そして、学習後の第２の
神経回路網７の荷重値・しきい値と、第１の神経回路網
３の荷重値・しきい値との差を計算することで、新規学
習データを学習するのに必要な修正量が計算される。次
に、上記荷重値修正可能範囲計算器９において、荷重
値、しきい値の修正可能範囲を計算する方法について説
明する。

【００４５】いま、新規学習データの学習前の第２の神
経回路網７の入出力関数特性は、ｙ＝ｆ（ｘ）なる関数
ｆで表わされる。ここで、ｘおよびｙは、それぞれ第２
の神経回路網７の入力および出力である。修正可能範囲
の計算は、この第２の神経回路網７の元の入出力関数特
性ｆと、新規データの学習により作成される入出力関数
特性を示す関数ｆ＾との感度の差 ｄｆ（ｘ）／ｄｘ−ｄｆ＾（ｘ）／ｄｘ を、オペレータが設定する許容範囲内に保ちつつ、第２
の神経回路網７の荷重値、しきい値をどこまで変動させ
ることができるかが、荷重値修正可能範囲計算器９によ
り計算される。

【００４６】以下に、オペレータが入出力関数条件設定
器８に設定する感度変化許容範囲から、荷重値修正可能
範囲を計算する方法について示す。なお、以下の説明で
は、第１の神経回路網３、第２の神経回路網７は、図７
に示すような３層の層状神経回路網で、中間層のユニッ
トの出力関数をシグモイド関数、出力層のユニットの出
力関数を線形関数とする。 （ａ）出力感度が新規データの学習により変わらない場
合

【００４７】これは、図３に示すように、入力ｘに対す
る出力ｙの感度ｄｙ／ｄｘが、新規データの学習の前後
で不変で、ｘによらないある定数値だけｙの値が変動す
る場合に対応する。この時、第２の神経回路網７の出力
関数ｆの微分計数ｄｆ（ｘ）／ｄｘは学習により変化し
ないので、第２の神経回路網７の全ての荷重値は固定す
る。ここで、第２の神経回路網７の出力層の出力細胞の
しきい値のみを調整することにより、第２の神経回路網
７の出力関数ｆの微分係数ｄｆ（ｘ）／ｄｘは固定した
まま、新規学習データの学習が可能である。この時、荷
重値データベース１０には、荷重値の値：固定（修正可
能範囲０）、中間層のしきい値：固定、出力層のしきい
値：制限無し、という修正範囲が記憶される。また、出
力層のしきい値の変化量に制限を加えることで、出力ｙ
の、入力ｘによらない変動量に制限を加えることも可能
である。この時、第２の神経回路網７の出力層の出力細
胞の出力関数は線形であるので、しきい値の変化量が第
２の神経回路網７の出力の変化と等しくなる。 （ｂ）出力感度の、設定された範囲内での変動を許容す
る場合

【００４８】これは、図４に示すように、新規データの
学習により、入力ｘに対する出力ｙの感度ｄｙ／ｄｘ
が、入出力関数条件設定器８で設定された範囲内で変動
する場合に対応する。この時、入力層と中間層との間の
荷重値を固定し、中間層と出力層の荷重値の変動量を制
限することにより、第２の神経回路網７の出力関数ｆの
微分係数ｄｆ（ｘ）／ｄｘの変動量を、設定された範囲
内に抑えることができる。以下に、神経回路網により構
成される出力関数ｆの微分係数ｄｆ（ｘ）／ｄｘの変動
量に制限を加える方法について、図５を用いて詳細に説
明する。いま、神経回路網のパラメータを以下のように
設定する。

【００４９】

【表１】 この時、中間層および出力層のユニットの出力は、次式
で与えられる。

【００５０】

【数１】 すると、出力関数の微分係数の変動量は、ｉ番目の入力
とｋ番目の出力に対しては、

【００５１】

【数２】 で表わされる。この変動量への制限を、変動量の最大値
を定められた範囲内に抑えるという形で加える場合、ｋ
番目の出力に対する制限は、次式で与えられる。

【００５２】

【数３】

【００５３】上式で、入力Ｉ_i は下限Ｉ_l ，上限Ｉ_h の
間で連続的に変化するものとする。ここで、出力関数の
微分係数の変動可能な範囲Δが設定された時、上記
（２）式を満たすような荷重値修正量の最大値Ｗ_k

【００５４】

【数４】 を求める。いま、入力層と中間層との荷重値ｗ¹ _ijおよ
びしきい値ｈ¹ _j を固定する。すなわち、

【００５５】

【数５】 である。上記（１−１），（１−２），（１−３），
（１−４）式より、

【００５６】

【数６】 であるが、上記（４−１），（４−２）式より、

【００５７】

【数７】 であるので、上記（５−１），（５−２）式より、

【００５８】

【数８】 となる。上記（３），（６）式より、

【００５９】

【数９】 となる。

【００６０】

【数１０】 であるが、 ０≦ｆ´（ｘ）≦１／４ なので、

【００６１】

【数１１】 よって、上記（７），（８）式より、

【００６２】

【数１２】 となる。従って、

【００６３】

【数１３】 が成立するので、学習前の入力層と中間層間の荷重値ｗ
¹ _ijの値より、

【００６４】

【数１４】 のように荷重値修正量の範囲を設定すれば、出力関数の
微分係数の変動量をΔ以内に抑えることができる。

【００６５】上述したように、本実施例の神経回路網の
高速学習装置においては、オペレータにより設定され
た、第２の神経回路網７の入出力関数特性に対する必要
条件（感度変化許容範囲）から、第２の神経回路網７の
荷重値およびしきい値の修正可能範囲を計算し、この修
正可能範囲内で第２の神経回路網７により、新規学習デ
ータベース６に登録されたデータの学習を行なうように
している。

【００６６】従って、第２の神経回路網７の入出力関数
特性の感度に対する必要条件を満たしながら、新規デー
タを学習することが可能となる。これにより、先見的に
写像の満たすべき性質が既知の場合に、この性質を保つ
範囲で神経回路網の学習を行なうことができるため、少
ない学習データを用いた短かい学習時間で、極めて精度
の高い神経回路網を構築することが可能となる。

【００６７】尚、上記実施例では、第２の神経回路網７
の入出力関数特性に対する必要条件を設定する条件設定
手段として、入出力関数条件設定器８により、第２の神
経回路網７の入出力関数特性の感度変化許容範囲を設定
し、入力に対する出力の感度に制限を加える場合につい
て説明したが、何らこれに限定されるものではない。

【００６８】

【発明の効果】以上説明したように本発明によれば、新
たに学習するデータを蓄積する新規学習データベース
と、新規学習データベースに蓄積されたデータの学習を
行なうための神経回路網手段と、神経回路網手段の入出
力関数特性に対する必要条件を設定する条件設定手段
と、条件設定手段により設定された必要条件を逸脱しな
い範囲で、神経回路網手段の構造の変動できる修正可能
範囲を計算する修正可能範囲計算手段と、新規学習デー
タベースに蓄積されているデータを神経回路網手段に学
習させるために必要な神経回路網手段の構造の修正量を
計算する修正範囲計算手段と、修正範囲計算手段により
計算された修正量が修正可能範囲計算手段により計算さ
れた修正可能範囲内にある場合に、神経回路網手段の構
造を修正する手段とを備えて構成したので、少ない学習
データを用いた短かい学習時間で極めて精度の高い神経
回路網を構築することが可能な神経回路網の高速学習装
置が提供できる。

【図面の簡単な説明】

【図１】本発明による神経回路網の高速学習装置の一実
施例を示すブロック図。

【図２】同実施例における神経回路網の高速学習装置の
作用を説明するためのフロー図。

【図３】同実施例における神経回路網の入出力関数の変
化（出力感度が不変である場合）を説明するための図。

【図４】同実施例における神経回路網の入出力関数の変
化（出力感度が変動する場合）を説明するための図。

【図５】同実施例における神経回路網により構成される
出力関数の微分係数の変動量に制限を加える方法を説明
するための図。

【図６】ユニットの数理モデルを示す図。

【図７】３層の層状神経回路網を示す図。

【図８】１入力、１出力の神経回路網

【符号の説明】

１…データ生成器、２…出力切り換えスイッチ、３…第
１の神経回路網、４…出力結果格納部、５…新規学習デ
ータ登録器、６…新規学習データベース、７…第２の神
経回路網、８…入出力関数条件設定器、９…荷重値修正
可能範囲計算器、１０…荷重値データベース、１１…修
正範囲計算器、１２…神経回路網学習器、１３…学習制
御器、１４…神経回路網交換器、１５…モード切り換え
器。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 新たに学習するデータを蓄積する新規学
   習データベースと、 前記新規学習データベースに蓄積されたデータの学習を
   行なうための神経回路網手段と、 前記神経回路網手段の入出力関数特性に対する必要条件
   を設定する条件設定手段と、 前記条件設定手段により設定された必要条件を逸脱しな
   い範囲で、前記神経回路網手段の構造の変動できる修正
   可能範囲を計算する修正可能範囲計算手段と、 前記新規学習データベースに蓄積されているデータを前
   記神経回路網手段に学習させるために必要な前記神経回
   路網手段の構造の修正量を計算する修正範囲計算手段
   と、 前記修正範囲計算手段により計算された修正量が前記修
   正可能範囲計算手段により計算された修正可能範囲内に
   ある場合に、前記神経回路網手段の構造を修正する手段
   と、 を備えて成ることを特徴とする神経回路網の高速学習装
   置。
2. 【請求項２】 データの処理を行なうための少なくとも
   一つの第１の神経回路網手段と、 新たに学習するデータを蓄積する新規学習データベース
   と、 前記新規学習データベースに蓄積されたデータの学習を
   行なうための第２の神経回路網手段と、 前記第２の神経回路網手段の入出力関数特性に対する必
   要条件を設定する条件設定手段と、 前記条件設定手段により設定された必要条件を逸脱しな
   い範囲で、前記第２の神経回路網手段の構造の変動でき
   る修正可能範囲を計算する修正可能範囲計算手段と、 前記新規学習データベースに蓄積されているデータを前
   記第２の神経回路網手段に学習させるために必要な前記
   第２の神経回路網手段の構造の修正量を計算する修正範
   囲計算手段と、 前記修正範囲計算手段により計算された修正量が前記修
   正可能範囲計算手段により計算された修正可能範囲内に
   ある場合に、前記第２の神経回路網手段の構造を修正す
   る手段と、 学習が終了した前記第２の神経回路網手段の構造を前記
   第１の神経回路網に複写する手段と、 を備えて成ることを特徴とする神経回路網の高速学習装
   置。
3. 【請求項３】 前記請求項１または２に記載の神経回路
   網の高速学習装置において、 前記修正範囲計算手段により計算された修正量が前記修
   正可能範囲計算手段により計算された修正可能範囲内に
   ない場合に、前記修正量を前記修正可能範囲の上限また
   は下限値に置き換えて修正する手段を付加して成ること
   を特徴とする神経回路網の高速学習装置。
4. 【請求項４】前記条件設定手段による入出力関数特性に
   対する必要条件としては、入出力関数特性の感度変化許
   容範囲を設定し、入力に対する出力の感度に制限を加え
   るようにしたことを特徴とする請求項１または２に記載
   の神経回路網の高速学習装置。