JP2002222409A

JP2002222409A - ニューラルネットワークの最適化学習方法

Info

Publication number: JP2002222409A
Application number: JP2001018758A
Authority: JP
Inventors: Tatsuya Iizaka; 達也飯坂; Tetsuo Matsui; 哲郎松井
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2001-01-26
Filing date: 2001-01-26
Publication date: 2002-08-09

Abstract

(57)【要約】【課題】高速かつ効率的にニューラルネットワークを最
適化するニューラルネットワークの最適化学習方法を提
供する。【解決手段】学習とコンパクト構造化とを交互に行って
ニューラルネットワークを最適化するニューラルネット
ワークの最適化学習方法において、２個の素子を融合す
る場合に、存続する素子と修正する素子のそれぞれの重
み係数および慣性項を組み合わせて生成した新たな重み
係数修正式により以後の学習およびコンパクト構造化を
行うニューラルネットワークの最適化学習方法とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予測、診断、制御
などの情報処理を行うようにニューラルネットワークを
最適化するためのニューラルネットワークの最適化学習
方法に関する。

【０００２】

【従来の技術】ニューラルネットワークは、入出力のデ
ータパターンを与えるだけで入出力の非線形な相関関係
をモデル化・学習することが可能であり、予測、制御、
診断などの情報処理分野において研究・実用化されてい
る。図８は、多層ニューラルネットワークを説明する概
念図である。一般にニューラルネットワークとは、図８
に示すように入力層、中間層、出力層からなる多層ニュ
ーラルネットワーク構造を有しており、さらに、入力
層、中間層、出力層には素子が設けられ、入力層と中間
層との素子間、中間層と出力層との素子間に結合を持
つ。

【０００３】ここで、中間層は、図８で示したような１
層のみに限ることなく複数層にわたることもあり、ま
た、素子数も図８で示したような３個に限定するもので
なく任意数の素子とすることができる。このように中間
層はブラックボックスであるため隠れ層とも呼ばれてい
る。なお、説明上、本明細書において入力層における素
子を入力層素子と、中間層における素子を中間層素子
と、また、出力層における素子を出力層素子と称して説
明する。また、一般的に、中間層素子と出力層素子とに
は、一定値（図８では１．０である）を出力するバイア
ス素子が結合されているが、必要時にのみバイアス素子
を図示して説明し、それ以外は図示を省略する。

【０００４】重み係数は、ニューラルネットワークの素
子間の結合の重みを表すための係数である。重み係数が
大きければ、結合が重みを有している、つまり、必要な
結合であるとされ、重み係数が小さければ、結合の重み
が小さい、つまり、不要な結合であるとされる。このよ
うなニューラルネットワークの学習とは、複数の入力層
素子に入力された入力値に対し、所望の出力値が得られ
るように入力層と中間層、また、中間層と出力層との結
合の度合いを示す重み係数を変更することをいう。

【０００５】ニューラルネットワークの学習では、中間
層素子数が多ければより複雑な問題を学習することが可
能になる。しかし、中間層素子が多すぎる場合には過学
習という問題が発生する。過学習がおきると汎化能力が
低下する。例えば、ニューラルネットワークを用いるパ
ターン分類問題で馬の絵のパターンを入力値として馬と
判断したことに相当する値を出力させる場合において、
中間層素子が多すぎて過学習がおきると特定の馬の絵の
パターンからしか馬と判定できなくなり、それ以外の馬
の絵のパターンからは馬と判定できなくなる。このよう
に過学習がおきると、学習パターン値にノイズがある場
合、つまり、学習した馬の絵が良くない場合や、学習パ
ターン値と相関の低い入力値が入力された場合、つま
り、入力された馬の絵が学習した馬の絵と異なる場合に
馬と判定できないというような汎化能力が低下した状態
を招く。中間層素子は適切な数とするのが望ましい。

【０００６】さて、このようなニューラルネットワーク
の学習方法の改良として多くの観点から多数のアルゴリ
ズムが提案されている。広く用いられるアルゴリズムと
してバックプロパゲーション法（誤差逆伝搬法）がある
が、バックプロパゲーション法は、一般的に学習が遅
く、また、ニューラルネットワークの内部構造が複雑な
場合には最適な学習・構造を求めることが困難である。
そこで、高速で最適な学習・構造を求めるアルゴリズム
が各種提案されている。このうち比較的簡単なアルゴリ
ズムは、慣性項を導入する方法である。慣性項を用いる
一般的な学習方法として、バックプロパゲーション法の
改良手法であるモーメント法がある。

【０００７】従来法１：モーメント法モーメント法は、前回の修正方向を表す慣性項を、重み
係数修正式に含めるものである。モーメント法による学
習アルゴリズムでは、ニューラルネットワークからの実
際の出力値（以下、ニューロ出力値という。）から学習
目標である出力（以下、学習パターン値という。）を引
いた値（以下、出力誤差という。）の２乗を評価関数と
し、この評価関数値が小さくなるように重み係数を増減
する。この評価関数は次式のようになる。

【０００８】

【数１】

【０００９】ここでニューロ出力値は、重み係数の増減
によって変化する値であり、評価関数は重み係数をパラ
メータとする関数である。学習は、重み係数修正式を用
いて、学習パターン値とニューロ出力値とが近い（つま
り出力誤差が０の）重み係数となるように重み係数の修
正を繰り返し行って学習するものである。この重み係数
修正式は次式のように表される。

【００１０】

【数２】

【００１１】この式から明らかなように前回の修正量で
あるΔｗ_ｋ−１に慣性定数αを乗じたものが今回の慣
性項として用いられる。このように重み係数修正式に慣
性項がある場合を、バックプロパゲーション法と区別す
るため特にモーメント法と呼んでいる。このモーメント
法では、慣性項により重み係数の修正が加速され、学習
が高速になるという利点がある。しかし、モーメント法
でもニューラルネットワークの階層数や素子数を事前に
決定する必要があり、事前に最適な階層数や素子数に関
する情報が得られることはなく、ニューラルネットワー
クの最適化のためには階層数および素子数を試行錯誤的
に探索する必要がある。ニューラルネットワークの内部
構造が複雑な場合は、探索に時間と手間がかかり、ま
た、学習後のニューラルネットワークはブラックボック
スとなり、中間層素子の意味づけが困難なことが多く、
この点ではバックプロパゲーション法と同様の課題を抱
えている。

【００１２】さて、他の学習アルゴリズムとして、ニュ
ーラルネットワークの予測・診断等の性能を向上させる
ことに主眼をおいたアルゴリズムと、学習の高速化に主
眼をおいたアルゴリズムが提案されている。ニューラル
ネットワークの予測・診断等の性能を向上させる学習方
法の例として、従来法２：コンパクト構造化法（増田：「隠れユニット
の合成による階層型ニューラルネットワークのコンパク
ト構造化」、計測自動制御学会論文集、Vol.28,No.4,p
p.519-527(1992)）、従来法３：中間層の重要度順に学習する重畳エネルギー
関数法（高橋：「重畳エネルギー関数による多層パーセ
プトロンの冗長性削減」、電子情報通信学会論文誌、Ｄ
−II、Vol.J80-D-II,No.9,pp.2532-2540(1997)）という
学習アルゴリズムが提案されている。

【００１３】まず、従来法２のコンパクト構造化法につ
いて説明する。コンパクト構造化法により不要の中間層
素子を他の中間層素子に融合する場合、２種類の融合が
ある。図９は、融合を説明する説明図であり、図９
（ａ）では、入力層に入力される学習パターン値の変化
に対応して出力値が変化する場合に相関傾向を有する複
数の中間層素子を説明し、図９（ｂ）では、入力層の入
力値が変化しても出力する値が変化せず一定値を出力す
るバイアス素子的な振る舞いをする中間層素子を説明す
る。また、図１０は、学習パターン値に対する中間層素
子の出力を示す出力図であり、図１０（ａ）は、入力層
に入力される学習パターン値の変化に対応して出力値が
変化する場合に相関傾向を有する複数の中間層素子の出
力を、また、図１０（ｂ）では、入力層の入力値が変化
しても出力する値が変化しないバイアス素子的な振る舞
いをする中間層素子の出力をそれぞれ説明する。

【００１４】図９（ａ）で示す２つの中間層素子から
は、図１０（ａ）で示すように、同傾向の出力値が出力
され（相関の高い中間層素子出力）、また、図９（ｂ）
のバイアス素子的な中間層素子からは、図１０（ｂ）で
示すように、学習パターン値が変化するにも拘わらず一
定値が出力される（バイアス素子的な振る舞いをする中
間層素子出力）。このような相関の高い中間層素子出力
およびバイアス素子的な振る舞いをする中間層素子出力
を検出する必要がある。なお、バイアス素子的な振る舞
いをする中間層素子とは、先に説明したバイアス素子と
は別個に存在する素子であり、これらは区別される。

【００１５】続いて、これら出力の検出方法について説
明する。上述のような中間層素子出力をする中間層素子
を検出するため、次式で定義される相関係数γ_ｉｊを導
入する。

【００１６】

【数３】

【００１７】これにより、２つの中間層素子からの出力
値系列の相関関係を定量的に扱うことができる。図９
（ａ）で示す２個の中間層素子の出力が、図１０（ａ）
に示すように、２つの中間層素子からの出力値系列が同
傾向の場合には相関係数γ_ｉｊは１に近い値となり、ま
た、出力値系列が逆傾向の場合には相関係数γ_ｉｊは−
１に近い値となる。なお、全く相関関係にない場合は、
０に近い値をとるため、相関係数γ_ｉｊにより相関関係
が明確に認識できる。この特徴から相関係数の絶対値が
１に近い程、相関が高い。

【００１８】しかしながら、図９（ｂ），図１０（ｂ）
で示すようなバイアス素子的な振る舞いをする中間層素
子について、相関係数γ_ｉｊでは判別ができない。そこ
で、このようなバイアス素子的な振る舞いをする中間層
素子を判別するために次式で定義される中間層素子出力
値の次式のような分散ｓ_ｉ ^２を導入する。

【００１９】

【数４】

【００２０】図９（ｂ）で示す１個の中間層素子の出力
が、図１０（ｂ）のような場合、分散ｓ_ｉ ^２は０に近い
値となる。中間層素子の出力は、学習パターンの変化に
も拘わらず、ほぼ一定となっており、上の層の素子に対
してバイアス素子的な振る舞いをしている。以上、融合
する中間層素子の検出について、相関の高い中間層素子については、中間層素子からの
出力値の相関係数が高い２つの中間層素子を融合の対象
とする。相関が高いという判断については、例えば相関
係数の絶対値が所定値以上（例えば０．９以上とか）い
うような場合が該当する。バイアス素子的な振る舞いをする中間層素子について
は、中間層素子からの出力の分散値が０に近い中間層素
子をバイアス素子との融合の対象とする。分散値が低い
という判断については、例えば分散値が所定値以下（例
えば０．１以下とか）いうような場合が該当する。

【００２１】続いて、相関の高い中間層素子について
の融合手法について説明する。図１１は、ニューラルネ
ットワークの融合を説明する説明図である。図１１
（ａ）で示すような中間層素子ｉ，ｊからの出力値の相
関が高いため図１１（ｂ）で示すように中間層素子ｉ，
ｊを融合する場合について説明する。中間層素子ｉ，ｊ
からの出力値系列｛Ｏ_ｉＰ｝，｛Ｏ_ｊＰ｝の相関が高い
場合、２変量Ｏ_ｉ，Ｏ_ｊの関係は多変量解析で周知の
ように、次式の線形回帰式で近似的に表現することがで
きる。

【００２２】

【数５】

【００２３】数５を用いると、上の層に属する任意の素
子（中間層素子や出力層素子など）ｋへの入力は、次式
のようになる。

【００２４】

【数６】

【００２５】すなわち、図１１（ｂ）で示すように中間
層素子ｉおよびバイアス素子から素子ｋへの重み係数を
次式のように修正する。

【００２６】

【数７】

【００２７】この修正によって、中間層素子ｊを中間層
素子ｉに融合することができる。なお、融合を行う際、
中間層素子ｊと中間層素子ｉとでどちらを融合するかが
問題となるが、出力値系列の分散の大きいほうを情報伝
達的により活発に機能していると考える。相関の高い中
間層素子出力についての融合はこのようになされる。続
いて、バイアス素子的な振る舞いをする中間層素子と
バイアス素子との融合について説明する。図１１（ａ）
で示すような中間層素子ｉとバイアス素子とを図１１
（ｃ）で示すように融合する場合について説明する。中
間層素子ｉからの出力値系列｛Ｏ_ｉＰ｝の分散が小さい
場合、Ｏ_ｉの出力はほぼ一定で、Ｏ_ｉの出力は次式のよ
うに平均値で近似できる。

【００２８】

【数８】

【００２９】数６を用いると、上の層に属する任意の素
子（中間層素子や出力層素子など）ｋへの入力は、次式
のようになる。

【００３０】

【数９】

【００３１】すなわち、図１１（ｃ）で示すようにバイ
アス素子から素子ｋへの重み係数を次式のように修正す
る。

【００３２】

【数１０】

【００３３】この修正によって、バイアス素子的な傾向
を有する中間層素子ｉをバイアス素子に融合することが
できる。以上、ニューラルネットワークのコンパクト構
造化法ではこのような２通りの融合により中間層素子の
削減を行う。図１２は、従来のコンパクト構造化の学習
アルゴリズムのフローチャートである。図１２で示すよ
うにバックプロパゲーション学習（Ｓ２０２）とコンパ
クト構造化（Ｓ２０３〜Ｓ２０８）を交互に行い、所定
回数もしくは学習誤差が規定値以下になったら学習終了
と判断する（Ｓ２０９）ものである。

【００３４】また、ニューラルネットワークの予測・診
断等の性能を向上させる他の従来法３について説明す
る。重畳エネルギー関数法では、中間層素子の重要度順
に学習する学習アルゴリズムである。この学習アルゴリ
ズムにより学習されるニューラルネットワークは、中間
層素子がその重要度順に並ぶ傾向があり、また、不要な
中間層素子の生成が抑制される。図１３は、重畳エネル
ギー関数法により学習された中間層素子を説明する説明
図である。図１３で示すように、この学習アルゴリズム
で学習したニューラルネットワークは、重要度の高い中
間層素子につながる重み係数が大きく（図１３の太線の
矢印）、また、重要度の低い中間層素子につながる重み
係数は小さく（図１３の細線の矢印）なる傾向がある。
また、その結果不要な分散表現が抑制される。

【００３５】不要な分散表現について概略説明する。分
散表現とは、１つでも良い結合が複数の結合に分割され
ること、つまり、その結果多くの結合が必要になること
を表す。図１４は不要な分散表現について説明する説明
図であり、簡単化のため、単純なニューラルネットワー
クを仮定している。このニューラルネットワークの出力
層素子への入力値は共に計１．０であるが、図１４
（ａ）では２つの中間層素子に分散して情報が伝達され
るのに対し、図１４（ｂ）では１つの中間層素子を経て
情報が伝達されている点が相違する。図１４（ａ）のよ
うな場合を分散表現と呼んでいる。

【００３６】重畳エネルギー関数は、このような不要な
分散表現を抑制する。続いて、この重畳エネルギー関数
について説明する。まず、重畳エネルギー関数で用いる
部分ニューロの概念について説明する。図１５は、部分
ニューロを説明する説明図である。図１５に示すように
Ｈ個の中間層素子を持つニューラルネットワークにおい
て、中間層素子１のみを残し、中間層素子２〜Ｈの中間
層素子を無視した構造を部分ニューロ１とし、中間層素
子１、２だけを残し中間層素子３〜Ｈまでの中間層を無
視した構造を部分ニューロ２とし、以下同様に中間層素
子１〜ｉだけを残し中間層素子ｉ＋１〜Ｈまでの中間層
を無視した構造を部分ニューロｉとしたＨ個の部分ニュ
ーロｉ（ｉ＝１、２、３・・・Ｈ）を仮定する。これら
部分ニューロの評価関数は、次式のようになる。

【００３７】

【数１１】

【００３８】ニューラルネットワーク全体の評価関数Ｊ
は部分ニューロの評価関数を足して次式になる。

【００３９】

【数１２】

【００４０】このニューラルネットワーク全体の評価関
数Ｊを重畳エネルギー関数と呼んでいる。この重畳エネ
ルギー関数が最小となるとき、分散表現が抑制され、か
つ中間層素子の重要度順に並んだニューラルネットワー
クとなる。図１６は、重畳エネルギー関数法による学習
の流れを示すフローチャートである。ニューラルネット
ワークの階層数や素子数を決定する初期化を行い（ステ
ップＳ１００）、重畳エネルギー関数法による学習を行
い（ステップＳ１１０）、学習を所定回数行ったか否か
を判定して所定回数行ったならば学習終了と判断する
（ステップＳ１２０）。本学習アルゴリズムでは分散表
現の発生が抑えられ、より単純なニューラルネットワー
ク構造となる。

【００４１】また、本発明者も重畳エネルギー関数と忘
却関数とを組み合わせ、複数の最適化アルゴリズムを複
合的に組み合わせて学習能力を高めたニューラルネット
ワークの最適化学習法についての発明をした。この発明
は、特願平１１−６６１６５号として特許出願され、特
開２０００−２５９５９８号として出願公開されるに至
っている。

【００４２】さて、いままでは、学習アルゴリズムの改
良のうち特にニューラルネットワークの予測・診断等の
性能を向上させる学習方法の例であったが、学習の高速
化に主眼をおいた学習アルゴリズムも提案されている。
例えば、従来法４：Jacobs Hybrid 法（Adaptive ＢＰ法とも
いう）（R.A.Jacobs,Increased Rates of Convergence
Through Learning Rate Adaption,Neural Networks Vol
1.pp.295-307,1988）, 従来法５：Jacobs Hybrid 法の改良手法であるKick O
ut法（落合他：重みの振動を抑制する階層型ニューラル
ネットワークの学習法―Kick Out法―，電気学会論文
誌,Vol.113-C, No.12,(1993), 従来法６：特開平8-77130：発明の名称：神経回路網モ
デルの逐次加速化学習法）などがある。

【００４３】従来法４：「Jacobs hybrid法(Adaptive B
P)」ニューラルネットワークの重み係数の１つずつに学習係
数を用意し、重み係数の修正方向が平滑化微分方向（大
域的な勾配方向）と同じときには重み係数を大きくし、
違うときには小さくすることで、最適な学習係数にする
方法である。ここで、勾配ｇとは、評価関数Ｊの重み係
数に関する一次偏微分値である。特に、学習係数に学習
係数増加量κ（カッパ）が加算される場合にはJacobs h
ybrid法といい、次式で表記される。

【００４４】

【数１３】

【００４５】また、Jacobs hybrid法では、次式のよう
な改良手法もある。

【００４６】

【数１４】

【００４７】従来法５：Kick Out法従来法４のJacobs hybrid法のさらなる改良手法であ
り、学習時に重み係数が振動するときには補正項により
振動を抑制する方法である。振動判定と補正項による修
正は次式の通りである。

【００４８】

【数１５】

【００４９】Jacobs Hybrid 法やKick Out法は、慣性
項を用いることからも明らかなようにモーメント法の一
種である。モーメント法とは、慣性項を用いるような重
み係数修正式を包括的に指すものであり、本明細書で
は、その一例として、モーメント法とは数２で表される
重み係数修正式を有するものとして説明する。Jacobs
Hybrid 法は、学習の高速化を実現するため、モーメン
ト法の数２の重み係数修正式を改良した数１３および数
１４で表される重み係数修正式を有するものである。Ki
ck Out法は、学習の高速化を実現するため、モーメント
法の数２の重み係数修正式を改良した数１５で表される
重み係数修正式を有するものである。

【００５０】従来法６：特開平8-77130、（発明の名
称：神経回路網モデルの逐次加速化学習法）従来法５のKick Out法は基本的に一括学習型のアルゴリ
ズムであり、学習パターン数が多い問題を学習させると
きには学習が遅くなるという問題がある。そのため学習
パターン１つずつを学習する逐次学習を用いるようにKi
ck Out法を改良した手法とした。従来法６による重み係
数修正式を次式に示す。

【００５１】

【数１６】

【００５２】

【発明が解決しようとする課題】従来法５のKick Out法
は特有の問題点を有している。ニューラルネットワーク
の学習方法は一括学習法と逐次学習方法がある。その違
いは評価関数であり、一括学習法の評価関数は、全学習
パターンにおける誤差の和であり、次式のように表され
る。

【００５３】

【数１７】

【００５４】一方、逐次学習法は、各学習パターンの誤
差であり、次式のように表される。

【００５５】

【数１８】

【００５６】この違いにより、全学習パターンを提示し
た後に重みを更新するという一括学習法は、全ての学習
パターン誤差を算出したのち１回しか重みを更新しない
ため、学習パターン数がきわめて多い場合には単位時間
あたりの重み更新回数が少なく学習が遅くなる欠点があ
った。通常のKick Out法はこの一括学習法を前提とした
学習方法であるので、学習パターンがきわめて多い場合
には学習が遅くなる。

【００５７】また、Kick Out法の欠点を改良する手法と
して、逐次学習法を用いる従来法６の特開平8-77130が
提案された。しかし、従来法６の発明では、学習時の振
動を補正するための補正項の算出方法が簡略化されてお
り、必ずしも適切な値が算出されない。特に補正係数の
設定方法がなく問題がある。従来法５のKick Out法は補
正係数を次式のように算出する。

【００５８】

【数１９】

【００５９】このため、勾配の変化に対応して補正係数
が変化する。しかしながら、特開平8-77130の発明によ
る補正係数はａ_ｋであり、その設定方法は設計者の経
験と勘に頼っている。補正係数の設定次第では、却って
学習時間の増大・学習能力の低下を招くことがあった。
このように、Kick Out法は、高速化と学習能力の向上を
共に実現するためにさらなる工夫が必要とされていた。

【００６０】また、Jacobs Hybrid法、Kick Out法は、
別の問題点も有している。Jacobs Hybrid法、Kick Out
法は、学習の速度を調節する学習係数を調整するため、
ニューラルネットワークの学習の高速化、学習誤差の低
減にきわめて有効な方法であるが、その学習性能の高さ
故に、ニューラルネットワークの汎化能力を損なう危険
性がある。通常、学習データには、実験・実測データよ
り作成されるため多くのノイズが混入している。よって
学習しすぎるとノイズまでも学習する過学習状態に陥
り、学習データに対しては良好な結果を示すが、実際に
使用すると良好な性能を示さないことがある。汎化能力
を損なう原因の１つとして、ニューラルネットワークの
規模、つまり中間層素子数が不適切であることがある。
多くの中間層素子を用意すれば複雑な問題も学習できる
が汎化能力が低下する。

【００６１】そこで、先に説明したコンパクト構造化法
を用いて汎化能力の低下を防止することが考えられる。
このコンパクト構造化法は、先に説明したが、不要な中
間層素子を他の素子に融合させることで、中間層素子を
削減し汎化能力を向上させる方法である。しかしなが
ら、コンパクト構造化法は、慣性項のないバックプロパ
ゲーション学習を前提にしているため、慣性項を用いる
他の学習法（すなわち、モーメント法、モーメント法の
一種であるJacobs Hybrid法、および、モーメント法の
一種であるKick Out法）にコンパクト構造化法を適用す
ると、素子の融合後に適切な重みの修正ができない。具
体的には、融合直後の重み修正により一時的に誤差が増
加するというような問題が発生していた。このように、
モーメント法、Jacobs Hybrid法、および、Kick Out法
にコンパクト構造化法を単純に適用することはできなか
った。

【００６２】以上説明した上記課題を解決するため、本
発明の目的は、コンパクト構造化法を、モーメント法、
モーメント法の一種であるJacobs hybrid法、または、
モーメント法の一種であるKick Out法に適用するもので
あり、中間層素子の融合直後に学習に必要な各種変数の
値を修正することで、高速で安定した学習および過学習
がない汎化能力の高い学習をそれぞれ実現することにあ
る。また、学習時間を要するKick Out法のアルゴリズム
を改善し、Kick Out法の学習の高速化を実現することに
ある。総じて、本発明の目的は、高速かつ効率的にニュ
ーラルネットワークを最適化するニューラルネットワー
クの最適化学習方法を提供することにある。

【００６３】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明は、ニューラルネットワーク
の評価関数の勾配と重み修正量の慣性項とを含む重み係
数修正式を利用して重み係数を修正するモーメント法に
より、ニューラルネットワークの入力層、中間層、およ
び、出力層の素子間の重み係数を増減して新たにニュー
ラルネットワークを生成する学習を行い、このニューラ
ルネットワークの中間層の中の１個の素子の出力値系列
を用いて求めた分散が所定値以下の場合にこの素子をバ
イアス素子に融合し、また、このニューラルネットワー
クの中間層の中の２個の素子の出力値系列を用いて求め
た相関係数の絶対値が所定値以上の場合にこれら２個の
素子を情報伝達的に同じ働きであるとして融合するコン
パクト構造化を行い、これら学習とコンパクト構造化と
を交互に行ってニューラルネットワークを最適化するニ
ューラルネットワークの最適化学習方法において、２個
の素子を融合する場合に、存続する素子と消滅する素子
のそれぞれの重み係数および慣性項を組み合わせて生成
した新たな重み係数修正式により以後の学習およびコン
パクト構造化を行うことを特徴とする。

【００６４】また、請求項２に記載の発明は、ニューラ
ルネットワークの評価関数の勾配と重み修正量の慣性項
とを含む重み係数修正式を利用して重み係数を修正する
モーメント法により、ニューラルネットワークの入力
層、中間層、および、出力層の素子間の重み係数を増減
して新たにニューラルネットワークを生成する学習を行
い、このニューラルネットワークの中間層の中の１個の
素子の出力値系列を用いて求めた分散が所定値以下の場
合にこの素子をバイアス素子に融合し、また、このニュ
ーラルネットワークの中間層の中の２個の素子の出力値
系列を用いて求めた相関係数の絶対値が所定値以上の場
合にこれら２個の素子を情報伝達的に同じ働きであると
して融合するコンパクト構造化を行い、これら学習とコ
ンパクト構造化とを交互に行ってニューラルネットワー
クを最適化するニューラルネットワークの最適化学習方
法において、２個の素子を融合する場合に、存続する素
子と消滅する素子のそれぞれの重み係数を組み合わせ、
かつ慣性項を予め定められた値に初期化して生成した新
たな重み係数修正式を用いて以後の学習およびコンパク
ト構造化を行うことを特徴とする。

【００６５】また、請求項３に記載の発明は、請求項１
または請求項２に記載のニューラルネットワークの最適
化学習方法において、前記評価関数は、全学習パターン
の中から適数選択した学習パターンのそれぞれについ
て、学習パターンである出力目標値と実出力値との差分
を２乗した誤差を加算した関数とすることを特徴とす
る。

【００６６】また、請求項４に記載の発明は、請求項１
または請求項２に記載のニューラルネットワークの最適
化学習方法において、前記評価関数は、重畳エネルギー
関数とすることを特徴とする。

【００６７】また、請求項５に記載の発明は、請求項４
に記載のニューラルネットワークの最適化学習方法にお
いて、前記評価関数は、重畳エネルギー関数に忘却関数
を加えた評価関数とすることを特徴とする。

【００６８】また、請求項６に記載の発明は、請求項１
〜請求項５の何れか１項に記載のニューラルネットワー
クの最適化学習方法において、前記重み係数修正式は、
Jacobs Hybrid法によることを特徴とする。

【００６９】また、請求項７に記載の発明は、請求項１
〜請求項５の何れか１項に記載のニューラルネットワー
クの最適化学習方法において、前記重み係数修正式は、
Kick Out法によることを特徴とする。

【００７０】

【発明の実施の形態】以下、図に沿って本発明の各実施
形態を説明する。まず、請求項１の発明に係る第１実施
形態について説明する。本実施形態の学習アルゴリズム
Ａでは図１２で示す従来法２の学習アルゴリズムを改良
し、バックプロパゲーション法による学習の代わりにモ
ーメント法による学習とし、このモーメント法による学
習とコンパクト構造化を交互に行うようにした。この学
習アルゴリズムＡについて説明する。この学習アルゴリ
ズムＡは、汎用計算機・制御装置等にプログラムされ、
コンピュータにこの学習アルゴリズムＡを行わせること
を想定して説明する。なお、後述の他の学習アルゴリズ
ムも同様である。

【００７１】まず、学習アルゴリズムの要点について説
明する。このモーメント法による重み係数修正式は次式
により表される。

【００７２】

【数２０】

【００７３】この重み係数修正式において現在の修正量
Δｗ_ｋは、現在の勾配ｇ_ｋと直前に学習された修正量
Δｗ_ｋ−１から算出されている。例えば、中間層素子
ｉとｊと融合したとき、従来技術では、重み係数ｗ
_ｋ、ｉとｗ_ｋ、ｊは次式により修正される

【００７４】

【数２１】

【００７５】しかしながら、従来のコンパクト構造化法
では、融合する２つ素子の重み係数ｗ_ｋを融合するもの
であるが、慣性項αΔｗ_ｋ−１の修正については考慮
されておらず、慣性項αΔｗ_{ｋ−１、ｉ} とαΔｗ
_{ｋ−１、ｊ} が大きく異なっていたときには、ｋ回目の
修正量が不適切になる。また、この影響は慣性定数αが
大きいほどその後の学習に影響を与える。このため、コ
ンパクト構造化はそのままモーメント法に適用すること
ができなかった。そこで、次回修正（コンパクト構造化
実施後に最初に行われるｋ＋１回目の修正）に使われる
慣性項αΔｗ_ｋ、すなわち今回の修正量Δｗ_ｋを次
式により修正する。

【００７６】

【数２２】

【００７７】本発明では、このように慣性項も融合によ
り修正するため、融合直後に修正量に異常が生じるとい
う事態は回避される。

【００７８】続いて、本実施形態の学習アルゴリズムＡ
について説明する。図１は本発明の実施形態の学習アル
ゴリズムＡ，Ｂ，Ｃに共通する共通フローチャートであ
る。ステップＳ１は、初期化処理を行うステップであ
る。学習アルゴリズムＡにおける初期化処理とは、中間
層の階層数、各層の中間層素子数、分散のしきい値、相
関係数のしきい値、学習回数などを入力する。ステップ
Ｓ２は、重み係数の学習を行うステップである。この学
習アルゴリズムＡではモーメント法による学習である。
先の数２０，数２１，数２２の重み係数修正式を用い、
モーメント法により求めたニューラルネットワークの重
み係数を新しい重み係数とし、古い重み係数と書き換え
て保存する。

【００７９】ステップＳ３は、コンパクト構造化を実行
するか否かを判定するステップである。判定方法として
は、モーメント法による学習回数が所定回数に達した場
合や、学習誤差が減少しなくなったなどの場合が考えら
れるが、本学習アルゴリズムＡでは、学習回数が所定回
数に達したか否かについて判定するものとする。学習回
数が所定回数に達しているならばステップＳ４へ進み、
学習回数が所定回数に達していないならば初期段階（つ
まり中間層素子は十分な分化が行われていない段階）と
してステップＳ９へジャンプする。

【００８０】ステップＳ４は、中間層素子からの出力値
系列を用いて分散を算出するステップである。具体的に
は、複数ある中間層素子の出力値系列を用いて全ての中
間層素子についての分散を求めるものであり、コンパク
ト構造化法で説明した数４を用いて算出することとな
る。ステップＳ５は、ステップＳ４で算出した複数の分
散について所定値以下か否かを判定するステップであ
る。複数の分散のうち一つでも所定値以下（バイアス素
子へ融合可）と判断するならばステップＳ８へジャンプ
し、また、全ての分散が所定値を越える（バイアス素子
へ融合不可）と判断するならばステップＳ６へ進む。

【００８１】ステップＳ６は、中間層素子からの出力値
系列を用いて相関係数を算出するステップである。具体
的には、複数ある中間層素子からある２つの中間層素子
を選択してこれら２つの中間層素子の出力値系列を用い
て相関係数を求めるという処理を全ての中間層素子で想
定できる組み合わせについて行うものであり、コンパク
ト構造化法で説明した数３を用いて算出することとな
る。例えば、仮に中間層素子１，２，３と３個ある場合
には、中間層素子１，２の相関、中間層素子２，３の相
関、および中間層素子１，３の相関について相関係数を
算出することとなる。

【００８２】ステップＳ７は、ステップＳ６で算出した
複数の相関係数について所定値以上か否かを判定するス
テップである。相関係数は、先に説明したように、相似
度を示す−１〜＋１の指標である。±１に近いと
相関が高く、０に近いと相関がないことを表す。相関係
数の絶対値が所定値以上（２つの中間層素子が融合可）
と判断するならばステップＳ８へ進み、また、相関係数
の絶対値が所定値未満（２つの中間層素子が融合不可）
と判断するならばステップＳ９へジャンプする。

【００８３】ステップＳ８は、融合を行うステップであ
る。ステップＳ５からジャンプしてきたならば中間層
素子とバイアス素子との融合を、また、ステップＳ７か
ら進んできたならば中間層素子同士の融合を行う。こ
こにモーメント法による中間層素子とバイアス素子と
の融合は次式により表される。

【００８４】

【数２３】

【００８５】また、モーメント法による中間層素子同
士の融合は次式により表される。

【００８６】

【数２４】

【００８７】なお、複数の中間層素子の分散を算出して
多数の分散が所定値以下の場合、最も分散が小さい中間
層素子とバイアス素子とを融合させる。１度に融合可能
な全ての素子を融合する場合も考えられるが、１度のコ
ンパクト構造化に対し１回に融合制限した方が良好な学
習結果が得られることが多い。同様に、相関係数の絶対
値が所定値以上の中間層素子の組み合わせが多数ある場
合、相関係数の絶対値が最も大きい中間層素子の組み合
わせを融合させる。この場合も、１度のコンパクト構造
化に対し１回に融合制限した方が良好な結果が得られる
ことが多いからである。

【００８８】ステップＳ９は、学習終了か否かを判断す
るステップである。具体的には学習回数が所定回数に達
したか否かを判断している。学習終了しない場合は、ス
テップＳ２の先頭へジャンプして再度モーメント法によ
り学習を行い、学習終了の場合はフローを終了すること
ととなる。

【００８９】学習アルゴリムＡでは、モーメント法にコ
ンパクト構造化法を導入したことにより、コンパクト構
造化法により中間層素子が削減されるため、従来のモー
メント法よりも計算量が減少して学習時間を短縮するこ
とが可能である。

【００９０】続いて、請求項１，６の発明に係る第２実
施形態について説明する。本実施形態の学習アルゴリズ
ムＢでは図１で示す学習アルゴリズムＡにおいて、モー
メント法による学習の代わりにモーメント法の改良手法
であるJacobs Hybrid法による学習とし、このJacobs Hy
brid法による学習とコンパクト構造化を交互に行うよう
にした。この学習アルゴリズムＢについて、図１の学習
アルゴリズムの共通フローチャートに基づいて説明す
る。

【００９１】ステップＳ１で学習アルゴリズムＡと同様
の初期化処理を行い、ステップＳ２で重み係数の学習と
してJacobs Hybrid法による学習を行う。先の数１３ま
たは１４で表したJacobs Hybrid法により求めたニュー
ラルネットワークの重み係数を新しい重み係数とし、古
い重み係数と書き換えて保存する。ステップＳ３でコン
パクト構造化を実行するか否かを判定する。Jacobs Hy
brid法による学習回数が所定回数に達しているならばス
テップＳ４へ進み、達していないならば初期段階（中間
層素子は未分化の段階）としてステップＳ９へジャンプ
する。ステップＳ４では、中間層素子からの出力値系列
を用いて分散を算出する。具体的には、コンパクト構造
化法で説明した数４を用いて算出することとなる。

【００９２】ステップＳ５では、ステップＳ４で算出し
た複数の分散のうち一つでも所定値以下（バイアス素子
へ融合可）と判断するならばステップＳ８へジャンプ
し、また、全ての分散が所定値を越える（バイアス素子
へ融合不可）と判断するならばステップＳ６へ進む。ス
テップＳ６では、複数ある中間層素子からある２つの中
間層素子を選択してこれら２つの中間層素子の出力値系
列を用いて相関係数を求めるという処理を全ての中間層
素子で想定できる組み合わせについて行うものであり、
コンパクト構造化法で説明した数３を用いて算出するこ
ととなる。

【００９３】ステップＳ７では、ステップＳ６で算出し
た複数の相関係数について所定値以上か否かを判定し、
相関係数の絶対値が所定値以上（２つの中間層素子が融
合可）と判断するならばステップＳ８へ進み、また、相
関係数の絶対値が所定値未満（２つの中間層素子が融合
不可）と判断するならばステップＳ９へジャンプする。
ステップＳ８では、融合を行うステップである。ステッ
プＳ５からジャンプしてきたならば中間層素子とバイ
アス素子との融合を、また、ステップＳ７から進んで来
たならば中間層素子同士の融合を行う。ここにJacobs
Hybrid法による中間層素子とバイアス素子との融合
は次式により表される。

【００９４】

【数２５】

【００９５】また、Jacobs Hybrid法による中間層素
子同士の融合は次式により表される。

【００９６】

【数２６】

【００９７】複数の中間層素子の分散を算出して多数の
分散が所定値以下の場合、最も分散が小さい中間層素子
とバイアス素子とを融合させる。同様に、相関係数の絶
対値が所定値以上の中間層素子の組み合わせが多数ある
場合、相関係数の絶対値が最も大きい中間層素子の組み
合わせを融合させる。この理由は学習アルゴリズムＡと
同様である。ステップＳ９では、学習終了か否かを判断
する。具体的には学習回数が所定回数に達したか否かを
判断する。学習終了しない場合は、ステップＳ２の先頭
へジャンプして再度Jacobs Hybrid法により学習を行
い、学習終了の場合はフローを終了することととなる。

【００９８】学習アルゴリムＢでは、モーメント法の一
種であるJacobs Hybrid法にコンパクト構造化法を導入
したことにより、コンパクト構造化法により中間層素子
が削減されるため、従来のJacobs Hybrid法よりも計算
量が減少して学習時間を短縮することが可能である。

【００９９】続いて、請求項１，７の発明に係る第３実
施形態について説明する。本実施形態の学習アルゴリズ
ムＣでは図１で示す学習アルゴリズムＡにおいて、モー
メント法による学習の代わりにモーメント法の一種であ
るKick Out法による学習とし、このKick Out法による
学習とコンパクト構造化を交互に行うようにした。この
学習アルゴリズムＣについて、図１の学習アルゴリズム
の共通フローチャートに基づいて説明する。

【０１００】ステップＳ１で学習アルゴリズムＡと同様
の初期化処理を行い、ステップＳ２で重み係数修正とし
てKick Out法による学習を行う。先の数１５で表したK
ickOut法により求めたニューラルネットワークの重み係
数を新しい重み係数とし、古い重み係数と書き換えて保
存する。ステップＳ３でコンパクト構造化を実行するか
否かを判定する。Kick Out法による学習回数が所定回
数に達しているならばステップＳ４へ進み、達していな
いならば初期段階（中間層素子は未分化の段階）として
ステップＳ９へジャンプする。ステップＳ４では、中間
層素子からの出力値系列を用いて分散を算出する。具体
的には、コンパクト構造化法で説明した数４を用いて算
出することとなる。

【０１０１】ステップＳ５では、ステップＳ４で算出し
た複数の分散のうち一つでも所定値以下（バイアス素子
へ融合可）と判断するならばステップＳ８へジャンプ
し、また、全ての分散が所定値を越える（バイアス素子
へ融合不可）と判断するならばステップＳ６へ進む。ス
テップＳ６では、複数ある中間層素子からある２つの中
間層素子を選択してこれら２つの中間層素子の出力値系
列を用いて相関係数を求めるという処理を全ての中間層
素子で想定できる組み合わせについて行うものであり、
コンパクト構造化法で説明した数３を用いて算出するこ
ととなる。

【０１０２】ステップＳ７では、ステップＳ６で算出し
た複数の相関係数について所定値以上か否かを判定し、
相関係数の絶対値が所定値以上（２つの中間層素子が融
合可）と判断するならばステップＳ８へ進み、また、相
関係数の絶対値が所定値未満（２つの中間層素子が融合
不可）と判断するならばステップＳ９へジャンプする。
ステップＳ８では、融合を行うステップである。ステッ
プＳ５からジャンプしてきたならば中間層素子とバイ
アス素子との融合を、また、ステップＳ７から来たなら
ば中間層素子同士の融合を行う。ここにKick Out法
による中間層素子とバイアス素子との融合は次式によ
り表される。

【０１０３】

【数２７】

【０１０４】また、Kick Out法による中間層素子同
士の融合は次式により表される。

【０１０５】

【数２８】

【０１０６】複数の中間層素子の分散を算出して多数の
分散が所定値以下の場合、最も分散が小さい中間層素子
とバイアス素子とを融合させる。同様に、相関係数の絶
対値が所定値以上の中間層素子の組み合わせが多数ある
場合、相関係数の絶対値が最も大きい中間層素子の組み
合わせを融合させる。この理由は学習アルゴリズムＡと
同様である。ステップＳ９では、学習終了か否かを判断
する。具体的には学習回数が所定回数に達したか否かを
判断する。学習終了しない場合は、ステップＳ２の先頭
へジャンプして再度Kick Out法により学習を行い、学
習終了の場合はフローを終了することとなる。

【０１０７】学習アルゴリムＣでは、モーメント法の一
種であるKick Out法にコンパクト構造化法を導入した
ことにより、コンパクト構造化法により中間層素子が削
減されるため、従来のKick Out法よりも計算量が減少
して学習時間を短縮することが可能である。

【０１０８】続いて、請求項２，請求項６，請求項７の
発明に係る第４実施形態について説明する。第１〜第３
実施形態の学習アルゴリズムＡ，Ｂ，ＣではステップＳ
２において、モーメント法、Jacobs Hybrid法、または
Kick Out法による学習を行い、コンパクト構造化法に
より不要な中間層素子を削除していた。この場合、コン
パクト構造化法による素子の融合前後の修正項をできる
だけ、変えないようにする方法であった。本実施形態で
は、融合後は、最急降下方向から学習しなおす方法であ
る。学習アルゴリズムＡ，Ｂ，ＣのステップＳ８におけ
る融合により重み係数の修正式が変化する以外は各ステ
ップは同じである。以下、モーメント法による学習アル
ゴリズムＡ１、Jacobs Hybrid法による学習アルゴリズ
ムＢ１、またはKick Out法による学習アルゴリズムＣ
１の融合時における重み係数修正式について説明する。

【０１０９】まず、モーメント法による学習アルゴリズ
ムＡ１について説明する。ここにモーメント法による
中間層素子とバイアス素子との融合は数２３から次式に
変更される。

【０１１０】

【数２９】

【０１１１】また、モーメント法による中間層素子同
士の融合は数２４から次式に変更される。

【０１１２】

【数３０】

【０１１３】このようにアルゴリズムＡは数式が複雑で
あるのに対し、アルゴリズムＡ１数式が簡単であり、計
算が容易になるという利点がある。

【０１１４】また、Jacobs Hybrid法による学習アルゴ
リズムＢ１について説明する。学習アルゴリズムＢ１の
ステップＳ８における融合が次式のように変化する。こ
こにJacobs Hybrid法による中間層素子とバイアス素
子との融合は数２５から次式に変更される。

【０１１５】

【数３１】

【０１１６】また、Jacobs Hybrid法による中間層素
子同士の融合は数２６から次式に変更される。

【０１１７】

【数３２】

【０１１８】なお、学習係数ηは、初期化せずに数２
５，２６の式を用いても良い。

【０１１９】また、Kick Out法による学習アルゴリズ
ムＣ１のステップＳ８における融合が次式のように変化
する。ここにKick Out法による中間層素子とバイア
ス素子との融合は数２７から次式に変更される。

【０１２０】

【数３３】

【０１２１】また、Kick Out法による中間層素子同
士の融合は数２８から次式に変更される。

【０１２２】

【数３４】

【０１２３】なお、学習係数ηは、初期化せずに数２
７，２８の式を用いても良い。このように学習アルゴリ
ズムＡ１，Ｂ１，Ｃ１において、融合後は、最急降下方
向から学習しなおす。学習アルゴリズムＡ，Ｂ，Ｃでは
数学的に厳密であるのに対し、学習アルゴリズムＡ１，
Ｂ１，Ｃ１は簡単になるという利点がある。

【０１２４】続いて、請求項３，請求項６，請求項７の
発明に係る第５実施形態について説明する。本実施形態
の要点についてKick Out法に関連させて説明する。通
常のKick Out法による重み係数修正式を次式に示す。

【０１２５】

【数３５】

【０１２６】勾配ｇは評価関数Ｊの一次偏微分であっ
て、評価関数をどのように設計するかにより勾配ｇの性
質が変わる。評価関数が変わる場合として一括学習法お
よび逐次学習法が知られている。一括学習法は、評価関
数として次式のように全ての学習パターンを提示した後
に重みを更新する学習方式である。

【０１２７】

【数３６】

【０１２８】このため、勾配ｇは、通常ｇ_ｋ，ｇ_ｋ−１
に大きな差がないが、学習が振動する谷部分では大きく
変わる。Kick Out法は、この性質を利用し振動の判定を
行っている。これに対し、逐次学習法は、評価関数とし
て次式のように個々の学習用パターン毎に重みを更新す
る学習方式である。

【０１２９】

【数３７】

【０１３０】しかし、逐次学習では各学習パターンの勾
配方向は大きく異なり，振動判定や補正係数の算出はで
きない。先に説明した従来法６の特開平8-77130の発明
は，Kick Out法を逐次学習に適用するものであるが，補
正係数を簡略化しているため，必ずしも良好な結果が期
待できない。そこで、次式のように、全学習パターンｍ
個のうちｎ個分だけまとめた評価関数を新たに設計する
こととした。

【０１３１】

【数３８】

【０１３２】つまり、単位時間あたりの修正回数は、一
括学習法と比較して約ｍ／ｎ倍、逐次学習法と比較して
約１／ｎである。このように、一括学習法よりも単位
時間あたりの修正回数が多いので、学習が高速になる。
また、逐次学習法よりも個別の学習パターンに影響され
ないので、学習時の振動の判定と補正係数の値の精度が
向上する。当然ながら、数３８による評価関数でｎ→ｍ
にすると一括学習法になることから、ｎ＝ｍは採用され
ない、つまり、ｎ＝２，３，・・・，ｍ−１の何れかと
なる。

【０１３３】続いて、本発明による学習アルゴリズムを
説明する。本発明は、図１で示した学習アルゴリズム
Ａ，Ｂ，Ｃを改良した学習アルゴリズムＡ２，Ｂ２，Ｃ
２に関するものであり、図１を参照して説明する。ステ
ップＳ１は、初期化処理を行うステップである。中間層
の階層数、各層の中間層素子数、分散のしきい値、相関
係数のしきい値、学習回数などを入力する点では学習ア
ルゴリズムＡ，Ｂ，Ｃの初期化処理と同じである。

【０１３４】そして、改良点としてステップＳ１では、
学習パターンをランダムに並べ替える。ニューラルネッ
トワークは最後に学習した問題の影響を一番大きく受け
る。時系列データのように学習パターンに規則性がある
場合には、最後のパターンばかりを覚え，最初のパター
ンの覚えが悪くなってしまう。また、その他の問題とし
て、勾配ｇは全学習パターンの勾配方向の近似である必
要があり，学習パターンの並びに規則性があるときに
は，この前提条件が成り立たなくなってしまう。ステッ
プＳ１で初期化処理で，学習パターンをランダムに並び
替えることにより、規則性の影響を取り去り、勾配ｇが
全学習パターンの勾配方向を近似できるようにするもの
である。

【０１３５】ステップＳ２は、重み係数の学習として先
に説明した、モーメント法、JacobsHybrid法またはKick
Out法による学習を行うステップである。まず、全学習
パターンｍ個のうちｎ個分のパターンを使用して評価関
数を算出する（ステップＳ２（ａ）評価関数算出）そし
て、算出した評価関数を重み係数に関して一次偏微分す
ることで勾配を算出し、最終的に数２（モーメント
法）、数１３，１４（Jacobs Hybrid法）、数１５（Ki
ck Out法）に代入して重み係数修正量を算出する（ス
テップＳ２（ｂ）修正量算出）。ここで、算出した勾配
ｇは、ｎ個分の学習パターンから算出しているので、全
学習パターンの勾配方向を近似したものである。そし
て、モーメント法、Jacobs Hybrid法またはKick Out法
による重み係数修正式を利用して重み係数を算出し、ニ
ューラルネットワークの重み係数を新しい重み係数と
し、古い重み係数と書き換えて保存する。ステップＳ２
ではこのように処理される。

【０１３６】以下のステップでは同様の処理のため、説
明を簡単にする。ステップＳ３でコンパクト構造化を実
行するか否かを判定し、学習回数が所定回数に達してい
るならばステップＳ４へ進み、学習回数が所定回数に達
していないならば初期段階としてステップＳ９へジャン
プする。ステップＳ４では、中間層素子からの出力値系
列を用いて分散を算出し、ステップＳ５では、ステップ
Ｓ４で算出した複数の分散について所定値以下か否かを
判定する。複数の分散のうち一つでも所定値以下ならば
ステップＳ８へジャンプし、また、全ての分散が所定値
を越えるならばステップＳ６へ進む。

【０１３７】ステップＳ６では、中間層素子からの出力
値系列を用いて相関係数を算出し、ステップＳ７では、
ステップＳ６で算出した複数の相関係数について所定値
以上か否かを判定し、所定値以上と判断するならばステ
ップＳ８へ進み、また、相関係数の絶対値が所定値未満
と判断するならばステップＳ９へジャンプする。ステッ
プＳ８では、融合を行い、ステップＳ５からジャンプし
てきたならば中間層素子とバイアス素子との融合を、
また、ステップＳ７から来たならば中間層素子同士の
融合を行う。

【０１３８】ここに慣性項を初期化しないなら中間層
素子とバイアス素子との融合は、モーメント法による学
習アルゴリズムＡ２ならば数２３で、Jacobs Hybrid法
による学習アルゴリズムＢ２ならば数２５で、また、Ki
ck Out法による学習アルゴリズムＣ２ならば数２７で処
理される。また、中間層素子同士の融合は、学習アル
ゴリズムＡ２ならば数２４で、学習アルゴリズムＢ２な
らば数２６で、また、学習アルゴリズムＣ２ならば数２
８で処理される。一方、慣性項を初期化するなら中間
層素子とバイアス素子との融合は、学習アルゴリズムＡ
２ならば数２９で、学習アルゴリズムＢ２ならば数３１
で、また、学習アルゴリズムＣ２ならば数３３で処理さ
れる。また、中間層素子同士の融合は、学習アルゴリ
ズムＡ２ならば数３０で、学習アルゴリズムＢ２ならば
数３２で、また、学習アルゴリズムＣ２ならば数３４で
処理される。

【０１３９】ステップＳ９は、学習終了か否か、つまり
学習回数が所定回数に達したか否かを判断し、学習終了
しない場合は、ステップＳ２の先頭へジャンプして再度
モーメント法、Jacobs Hybrid法またはKick Out法によ
り学習を行い、学習終了の場合はフローを終了すること
となる。学習アルゴリムＡ２，Ｂ２，Ｃ２では、学習精
度が高いという一括学習の利点と高速であるという逐次
学習の利点を共に満たすことができる。

【０１４０】続いて、請求項４，請求項６，請求項７の
発明に係る第６実施形態について説明する。本実施形態
では、先に数１１，１２を用いて説明した重畳エネルギ
ー関数を評価関数とする。そして、算出した評価関数を
重み係数に関して一次偏微分することで勾配を算出し、
最終的に数２（モーメント法）、数１３，１４（Jacobs
Hybrid法）、数１５（Kick Out法）に代入して重み
係数修正量を算出することする。本実施形態では評価関
数は異なるが、学習アルゴリズムは、第１〜第４実施形
態の学習アルゴリズムＡ，Ａ１，Ｂ，Ｂ１，Ｃ，Ｃ１と
同じであり詳しい説明を省略する。

【０１４１】重畳エネルギー関数は、不要な中間層素子
の生成を抑制するアルゴリズムであり、中間層素子の役
割が明確な構造になりやすい。そのため不要な中間層素
子と重要な中間層素子の判定は容易であり、最適な中間
層素子数が選択されやすくなる。このように本発明で
は，評価関数を数１１，１２で表される重畳エネルギー
関数とすることで，不要中間層素子の成長を抑制した学
習が可能であり，汎化能力が向上する。これ以外は、先
に説明した学習アルゴリズムＡ，Ａ１，Ｂ，Ｂ１，Ｃ，
Ｃ１を適用することで実現される。本実施形態によれ
ば、学習速度の高速化と学習制度の向上を共に実現す
る。

【０１４２】続いて、請求項５，請求項６，請求項７の
発明に係る第７実施形態について説明する。本実施形態
では、評価関数として先に説明したような、重畳エネル
ギー関数に忘却関数を加えた関数を採用するものであ
る。忘却関数については、例えば、文献：ニューラルネ
ットワークのユニット間の不要な結合を消滅させる忘却
付き学習（石川真澄：「ニューラルネットの忘却付き構
造学習」、日本ファジィ学会誌Vol.9,No.1,pp2-9(199
7)）により忘却付き学習アルゴリズムが提案され、ま
た、重畳エネルギー関数と忘却関数を組み合わせた評価
関数については、先に説明した特開２０００−２５９５
９８号にも詳しく紹介されている。

【０１４３】重畳エネルギー関数と忘却関数とを組み合
わせて、重畳エネルギー関数により分散表現された結合
をなくし、かつ、忘却関数により不要な結合を消滅させ
るという忘却付き学習の長所を併せ持つように評価関数
を設計するものであり、出力誤差が小さく、かつ、ユニ
ット間の不要な結合の生成が抑制されたニューラルネッ
トワークを構築するものである。この評価関数について
概略説明する。評価関数Ｊ_ｆは以下のようになる。

【０１４４】

【数３９】

【０１４５】ここに、数３９の第１項は、分散表現を防
ぐ項（以下、重畳エネルギー関数項という）であり、第
２項は不要な結合を消滅させる項（ネットワークの複雑
さを表す重み係数の絶対値の総和に忘却係数εを乗じた
項である。以下忘却関数項という）である。評価関数Ｊ
_ｆを用いて重畳エネルギーが少なく、かつ、ニューラル
ネットワークが単純である評価関数値となるようにそれ
ぞれの結合係数を増減して学習を行い、学習の結果、結
合係数が所定値以下の場合に不要な結合であると判断し
て不要な結合を消滅させることで、複数のユニットに分
散した結合を防止し、かつ、ニューラルネットワークを
単純化する。

【０１４６】この数３９用いて説明した忘却項付き重畳
エネルギー関数を評価関数とする。そして、算出した評
価関数を重み係数に関して一次偏微分することで勾配を
算出し、最終的に数２（モーメント法）、数１３，１４
（Jacobs Hybrid法）、数１５（Kick Out法）に代入
して重み係数修正量を算出することする。学習アルゴリ
ズムは、第１〜第４実施形態の学習アルゴリズムＡ，Ａ
１，Ｂ，Ｂ１，Ｃ，Ｃ１と同じであり詳しい説明を省略
する。このように忘却項付き重畳エネルギー関数を評価
関数とすることで、より汎化能力を向上させることが可
能となる。

【０１４７】

【実施例】続いて、本発明の実施例について説明する。
ニューラルネットワークにsin関数の学習を、３つの学
習アルゴリズムにより学習させた場合について説明す
る。比較検討する学習アルゴリズム１，２，３は以下の
３つとする。学習アルゴリズム１，２，３は、何れも図
２で表されるフローとし，学習における重み係数修正式
のみを相違させ、学習アルゴリズム１では数２を修正式
とするモーメント法を、学習アルゴリズム２では数１
３，１４を修正式とするJacobs hybrid法を、学習アル
ゴリズム３では数１５を修正式とするKick Out法を採用
し、最適化のためのコンパクト構造化処理を付加したも
のである。評価関数は先の数３９の忘却関数項付き重畳
エネルギー関数を採用する。学習条件は表1に示す通り
である。

【０１４８】

【表１】

【０１４９】本実施例の学習アルゴリズム１，２，３で
は、中間層素子とバイアス素子との融合のみを行うコン
パクト構造化（以下、単にコンパクト構造化１とい
う）、および、中間層素子とバイアス素子との融合と中
間層素子同士の融合という２種類の融合を行い、融合結
果が不良のときは融合を破棄して融合前に復元するコン
パクト構造化（以下、コンパクト構造化２という）を準
備する。そして、上記モーメント法、Jacobs Hybrid
法、または、Kick Out法の何れかによる学習とコンパ
クト構造化１を交互に行うようにし、学習終了後にコン
パクト構造化２を行うアルゴリズムとした。

【０１５０】この実施例では、ニューラルネットワーク
の学習中は中間層素子同士の融合をある程度制限してい
る。ニューラルネットワークの中間層素子は、学習の進
行に伴って成長し、役割が分化する。学習初期段階にお
いて出力値系列が同じような中間層素子（相関が高い）
同士であっても学習の進行に伴い出力値系列が変化して
相関が低くなる可能性がある。そこで、学習中は融合を
ある程度制限し、学習終了後に中間層素子の役割が十分
明確になった時点で融合を促進するようにした。

【０１５１】図２に本実施例による学習アルゴリズムの
フローチャートを示す。まず、図２のステップＳ１１〜
Ｓ１３，Ｓ１７は、図１のＳ１〜Ｓ３，Ｓ９と同様であ
る。図２のステップＳ１３からジャンプしたコンパクト
構造化１（学習中のコンパクト構造化）の処理では、分
散の小さい不要な中間層素子とバイアス素子との融合は
行うが、相関の高い中間層素子同士の融合は禁止してい
る。具体的には、ステップＳ１４で算出した分散が規定
値以下の場合に中間層素子とバイアス素子とを融合する
（ステップＳ１５，Ｓ１６）。特に、不要な中間層素子
が２つ以上のときにのみバイアス素子と融合し、常に不
要な中間層素子を１つ以上残す処理を加えれば、過融合
を効果的に防ぐことができる。

【０１５２】学習終了後のコンパクト構造化２の処理で
は、分散の小さい不要な中間層素子とバイアス素子との
融合（ステップＳ１９のYes分岐，Ｓ２２，Ｓ２３，Ｓ
２４）と、相関の高い中間層素子同士の融合（ステップ
Ｓ１９のNo分岐，Ｓ２０，Ｓ２１，Ｓ２２，Ｓ２３，Ｓ
２４）との両方を行う。また、分散が規定値以下、また
は、相関係数が規定値以上の場合にはニューラルネット
ワークの各層の素子間の重みを記憶することによってニ
ューラルネットワークを保存し（ステップＳ２２）、学
習誤差を算出してから中間層素子の融合を行う（ステッ
プＳ２３，Ｓ２４）。なお、学習誤差の算出は、保存し
たニューラルネットワークを用いて実際の出力であるニ
ューラルネットワーク出力値と学習目標値との誤差を検
出する。その後、学習誤差を再度算出し（ステップＳ２
５）、その誤差を融合前の誤差と比較して悪化するか否
かを判断する（ステップＳ２６）。学習誤差が悪化する
ときには融合を禁止し、ステップＳ２７により融合前の
ニューラルネットワークを復元する（各層の素子間の重
みを融合前の値に戻す）。

【０１５３】このように、コンパクト構造化２では、融
合した後の学習誤差が融合前よりも悪化する場合には融
合前のニューラルネットワークを復元し、学習誤差が改
善される場合にのみ融合を実施することにより、コンパ
クト構造化における過融合を防止している。なお、先に
第１〜第７実施形態として説明した学習アルゴリズムの
コンパクト構造化法では本実施例の構造化法に置き換え
てもよい。

【０１５４】さて、このような学習アルゴリズムにより
sin関数を学習した結果を図３に示す。図３は学習誤差
の変化を説明する説明図である。図３でも明らかなよう
に、学習速度は何れも高速であり、特に従来の学習方法
に近いモーメント法による学習アルゴリズム１よりも、
Jacobs hybrid法による学習アルゴリズム２，Kick Out
法による学習アルゴリズム３が高速である。このよう
に，慣性項を有するモーメント法、Jacobs hybrid法，K
ick Out法にニューラルネットワークの最適化機能を導
入すると、学習中に複数の中間層素子が融合したが，融
合時にほとんど学習誤差を悪化させることなく学習する
ことができた。

【０１５５】続いて他の実施例について検証する。図４
は予測対象ダム上流域の模式図である。本実施例では、
図４で示すようなダムにおける１時間先のダム流入量予
測問題を学習・予測する例である。学習条件を表２に示
す。

【０１５６】

【表２】

【０１５７】表２に示す通り、６洪水事例を学習し、３
洪水事例を予測する。数百ある学習パターンのうち５パ
ターンづつ提示して重みを修正した。また、本実施例で
は、一括学習型と逐次学習を合わせた数３８の評価関数
を採用したものであり、逐次学習よりもkick Out法やJ
acobs Hybrid法の補正項や平滑化微分値の値が適切であ
り、一括学習型よりも高速な学習方法である。それ以外
の条件は実施例１とほぼ同じである。表３は、学習され
る入力データの表である。

【０１５８】

【表３】

【０１５９】図５に学習中の誤差の推移を示す。何れも
学習が高速ではあるが、従来法に近いモーメント法によ
る学習アルゴリズム１よりもJacobs hybrid法による学
習アルゴリズム２、または、Kick Out法による学習アル
ゴリズム３の方が振動が少なく良好に学習している。ま
た、学習後のニューラルネットワークを使用して予測し
た結果を表４に示す。

【０１６０】

【表４】

【０１６１】最適化機能のある学習アルゴリズム１，
２，３は良好な結果を示している（相関係数が１に近
く，他の指標が０に近い）。参考までに素子の融合とい
う最適化機能を付加していない従来のモーメント法、お
よび、従来のKick Out法による予測結果を表５に示す。

【０１６２】

【表５】

【０１６３】何れも中間層素子の最適化機能（削除・融
合機能）がないため、汎化能力が乏しく、予測結果は低
い。

【０１６４】続いて第３実施例について説明する。ダム
流入量予測を例題にして，第５実施形態の効果を検証す
る。学習条件は表2であり，アルゴリズム３で学習して
いる。ただし，まとめて学習する学習パターン数（epoc
k）だけを変えた。図６，図７に学習時の誤差等を示
す。図６，図７はepockによる学習推移の違いを説明す
る特性図である。学習パターンを１パターンずつ重みを
修正するepock１（逐次学習法）では，振動が大きい。
これは，補正項が良好に算出されていないためである。
学習パターンを複数個まとめてから重みを修正するepoc
k5〜１０が良好な結果を示した。原理的にはepockを大
きくすれば，一括学習法に近づくためより良好な結果を
示すはずだが，学習に関わる各種パラメータのバランス
が崩れるためにepockが大きすぎる場合には良好な学習
が行えなかった。本実施例の結果より，学習アルゴリズ
ム３（Kick Out法の付加）において，複数の学習パタ
ーンをまとめることにより，補正項の近似精度が向上
し，良好に学習することができた。

【０１６５】

【発明の効果】本発明により，汎化能力の高いニューラ
ルネットワークを高速で学習することが可能である。従
来の学習係数を調整する学習アルゴリズム（Jacobs Hyb
rid法やKickOut法）は，高速かつ学習誤差を小さくする
ことが可能であるが，その学習能力の高さ故，汎化能力
が乏しくなることがある。また従来の汎化能力を高める
各種学習方法（コンパクト構造化法や重畳エネルギー法
等）は，高度な学習を行うため計算時間がかかる欠点が
ある。本発明は両者の欠点を相互に補い，利点をさらに
高めることができる。特に本発明では，上記２つの学習
アルゴリズムを適切に融合する方法であり，実施例にも
示したように，学習開始後速やかに誤差が減少し，学習
時の振動もきわめて少ない。本発明により高速かつ汎化
能力の高い学習が可能である。

【０１６６】また、学習時間を要するKick Out法のアル
ゴリズムを改善し、Kick Out法の学習の高速化を実現す
ることができる。また、コンパクト構造化法を、モーメ
ント法、Jacobs hybrid法、または、Kick Out法に適用
する場合に、中間層素子の融合直後に学習に必要な各種
変数の値を修正することで、高速で安定した学習および
過学習がない汎化能力の高い学習をそれぞれ実現するこ
とができる。総じて、高速かつ効率的にニューラルネッ
トワークを最適化するニューラルネットワークの最適化
学習方法を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施形態の学習アルゴリズムＡ，Ｂ，
Ｃに共通する共通フローチャートである。

【図２】本発明の実施例の学習アルゴリズムのフローチ
ャートである。

【図３】学習誤差の変化を説明する説明図である。

【図４】予測対象ダム上流域の模式図である。

【図５】学習中の誤差の推移を説明する説明図である。

【図６】epockによる学習推移の違いを説明する特性図
である。

【図７】epockによる学習推移の違いを説明する特性図
である。

【図８】多層ニューラルネットワークを説明する概念図
である。

【図９】融合を説明する説明図である。

【図１０】学習パターン値に対する中間層素子の出力を
示す出力図である。

【図１１】ニューラルネットワークの融合を説明する説
明図である。

【図１２】従来のコンパクト構造化の学習アルゴリズム
のフローチャートである。

【図１３】重畳エネルギー関数法により学習された中間
層素子を説明する説明図である。

【図１４】不要な分散表現について説明する説明図であ
る。

【図１５】部分ニューロを説明する説明図である。

【図１６】重畳エネルギー関数法による学習の流れを示
すフローチャートである。

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークの評価関数の勾配
と重み修正量の慣性項とを含む重み係数修正式を利用し
て重み係数を修正するモーメント法により、ニューラル
ネットワークの入力層、中間層、および、出力層の素子
間の重み係数を増減して新たにニューラルネットワーク
を生成する学習を行い、このニューラルネットワークの中間層の中の１個の素子
の出力値系列を用いて求めた分散が所定値以下の場合に
この素子をバイアス素子に融合し、また、このニューラ
ルネットワークの中間層の中の２個の素子の出力値系列
を用いて求めた相関係数の絶対値が所定値以上の場合に
これら２個の素子を情報伝達的に同じ働きであるとして
融合するコンパクト構造化を行い、これら学習とコンパクト構造化とを交互に行ってニュー
ラルネットワークを最適化するニューラルネットワーク
の最適化学習方法において、２個の素子を融合する場合に、存続する素子と消滅する
素子のそれぞれの重み係数および慣性項を組み合わせて
生成した新たな重み係数修正式により以後の学習および
コンパクト構造化を行うことを特徴とするニューラルネ
ットワークの最適化学習方法。
【請求項２】ニューラルネットワークの評価関数の勾配
と重み修正量の慣性項とを含む重み係数修正式を利用し
て重み係数を修正するモーメント法により、ニューラル
ネットワークの入力層、中間層、および、出力層の素子
間の重み係数を増減して新たにニューラルネットワーク
を生成する学習を行い、このニューラルネットワークの中間層の中の１個の素子
の出力値系列を用いて求めた分散が所定値以下の場合に
この素子をバイアス素子に融合し、また、このニューラ
ルネットワークの中間層の中の２個の素子の出力値系列
を用いて求めた相関係数の絶対値が所定値以上の場合に
これら２個の素子を情報伝達的に同じ働きであるとして
融合するコンパクト構造化を行い、これら学習とコンパクト構造化とを交互に行ってニュー
ラルネットワークを最適化するニューラルネットワーク
の最適化学習方法において、２個の素子を融合する場合に、存続する素子と消滅する
素子のそれぞれの重み係数を組み合わせ、かつ慣性項を
予め定められた値に初期化して生成した新たな重み係数
修正式を用いて以後の学習およびコンパクト構造化を行
うことを特徴とするニューラルネットワークの最適化学
習方法。
【請求項３】請求項１または請求項２に記載のニューラ
ルネットワークの最適化学習方法において、前記評価関数は、全学習パターンの中から適数選択した
学習パターンのそれぞれについて、学習パターンである
出力目標値と実出力値との差分を２乗した誤差を加算し
た関数とすることを特徴とするニューラルネットワーク
の最適化学習方法。
【請求項４】請求項１または請求項２に記載のニューラ
ルネットワークの最適化学習方法において、前記評価関数は、重畳エネルギー関数とすることを特徴
とするニューラルネットワークの最適化学習方法。
【請求項５】請求項４に記載のニューラルネットワーク
の最適化学習方法において、前記評価関数は、重畳エネルギー関数に忘却関数を加え
た評価関数とすることを特徴とするニューラルネットワ
ークの最適化学習方法。
【請求項６】請求項１〜請求項５の何れか１項に記載の
ニューラルネットワークの最適化学習方法において、前記重み係数修正式は、Jacobs Hybrid法によることを
特徴とするニューラルネットワークの最適化学習方法。
【請求項７】請求項１〜請求項５の何れか１項に記載の
ニューラルネットワークの最適化学習方法において、前記重み係数修正式は、Kick Out法によることを特徴
とするニューラルネットワークの最適化学習方法。