JP2002236906A

JP2002236906A - 積結合型ニューラルネットワークの最適化学習方法

Info

Publication number: JP2002236906A
Application number: JP2001034004A
Authority: JP
Inventors: Tatsuya Iizaka; 達也飯坂; Tetsuo Matsui; 哲郎松井
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2001-02-09
Filing date: 2001-02-09
Publication date: 2002-08-23

Abstract

(57)【要約】【課題】高速かつ効率的な積結合型ニューラルネットワ
ークの最適化学習方法を提供する。【解決手段】積結合型ニューラルネットワークの中間層
の中の１個の素子の出力値系列を用いて求めた分散が所
定値以下の場合にこの素子をバイアス素子に融合するコ
ンパクト構造化を、学習と交互に行って中間層の素子を
削減しつつ最適化する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、予測、診断、制御
などの情報処理を行うように積結合型ニューラルネット
ワークを最適化するための積結合型ニューラルネットワ
ークの最適化学習方法に関する。

【０００２】

【従来の技術】ニューラルネットワークは、入出力のデ
ータパターンを与えるだけで入出力の非線形な相関関係
をモデル化・学習することが可能であり、予測、制御、
診断などの情報処理分野において研究・実用化されてい
る。ニューラルネットワークの構造は多くのタイプが提
案されているが、実用化されたものは、３階層型のニュ
ーラルネットワークである。図７は、多層ニューラルネ
ットワークを説明する概念図である。一般にニューラル
ネットワークとは、図７に示すように入力層、中間層、
出力層からなる多層ニューラルネットワーク構造を有し
ており、さらに、入力層、中間層、出力層には素子が設
けられ、入力層と中間層との素子間、中間層と出力層と
の素子間に結合を持つ。

【０００３】ここで、中間層は、図７で示したような３
層のみに限ることなく複数層にわたることもあり、ま
た、素子数も図７で示したような３個に限定するもので
なく任意数の素子とすることができる。このように中間
層はブラックボックスであるため隠れ層とも呼ばれてい
る。なお、説明上、本明細書において入力層における素
子を入力層素子と、中間層における素子を中間層素子
と、また、出力層における素子を出力層素子と称して説
明する。また、一般的に、中間層素子と出力層素子とに
は、一定値（図７では１．０である）を出力するバイア
ス素子が結合されているが、必要時にのみバイアス素子
を図示して説明し、それ以外は図示を省略する。

【０００４】結合係数は、ニューラルネットワークの素
子間の結合の重みを表すための係数である。結合係数が
大きければ、結合の重みが大きい、つまり、必要な結合
であるとされ、結合係数が小さければ、結合の重みが小
さい、つまり、不要な結合であるとされる。このような
ニューラルネットワークの学習とは、複数の入力層素子
に入力された入力値に対し、所望の出力値が得られるよ
うに入力層と中間層、また、中間層と出力層との結合の
度合いを示す結合係数を変更することをいう。

【０００５】このようなニューラルネットワークの応答
関数であるが、ある素子へ入力される値の総和値をＳ、
ある素子へのｉ個の入力をＩ_ｉ、Ｉ_ｉに乗じられる結合
係数をｗ_ｉとすると、総和値Ｓは次式のような値をと
る。

【０００６】

【数１】

【０００７】そしてある素子は、入力値Ｓを変換する関
数機能を有しており、出力値Ｏとして出力する。出力値
Ｏは次式のような値をとる。

【０００８】

【数２】

【０００９】この応答関数はシグモイド関数であり、０
から１までの値を取る。以上、一般的な多層ニューラル
ネットワークについて概略説明をした。

【００１０】さて、上述の多層ニューラルネットワーク
ほど多用されていないが、情報処理能力の高さから近年
注目されている新しい構造のニューラルネットワークが
存在する。次にこのニューラルネットワークの構造につ
いて説明する。図８は、積結合型ニューラルネットワー
クを説明する概念図である。このニューラルネットワー
クは、先に説明した多層ニューラルネットワークの構造
に加え、同じ層にある２個の素子の出力の積である積結
合が設けられていることが特徴である。

【００１１】このような積結合を有するニューラルネッ
トワーク（以下、本明細書中では積結合型ニューラルネ
ットワークという。）の応答関数であるが、ある素子へ
の入力値は次式のようになる。

【００１２】

【数３】

【００１３】ここにＳは、出力Ｉおよび結合係数ｗの積
の和（前式の左側の項）と積結合（前式の右側の項）と
の総和である。ここにｉ＝ｊのとき、積結合は同じ素子
の出力の積となり、この場合を自分自身との結合と呼
ぶ。数３の上側の式は自分自身との結合がないタイプで
あり、数３の下側の式は自分自身との結合があるタイプ
である。この入力値Ｓが入力される素子は、入力値Ｓを
次式により変換し、出力値Ｏとして出力する。

【００１４】

【数４】

【００１５】この応答関数はシグモイド関数であり、０
から１までの値を取る。通常は自分自身の結合を持たな
い応答関数が使用されるが、まれに自分自身の結合を持
つ関数が使用されることもある。

【００１６】以上、通常の多層型と積結合型という２種
のニューラルネットワークについて説明した。これらの
ようなニューラルネットワークの学習では、中間層素子
数が多ければより複雑な問題を学習することが可能にな
る。しかし、中間層素子が多すぎる場合には過学習とい
う問題が発生する。過学習がおきると汎化能力が低下す
る。例えば、ニューラルネットワークを用いるパターン
分類問題で馬の絵のパターンを入力値として馬と判断し
たことに相当する値を出力させる場合において、中間層
素子が多すぎて過学習がおきると特定の馬の絵のパター
ンからしか馬と判定できなくなり、それ以外の馬の絵の
パターンからは馬と判定できなくなる。このように過学
習がおきると、学習パターン値にノイズがある場合、つ
まり、学習した馬の絵が良くない場合や、学習パターン
値と相関の低い入力値が入力された場合、つまり、入力
された馬の絵が学習した馬の絵と異なる場合に馬と判定
できないというような汎化能力が低下した状態を招く。
中間層素子は適切な数とするのが望ましい。特に積結合
型ニューラルネットワークは学習能力の高さ故に汎化能
力の低下が問題になることがある。

【００１７】さて、これらのようなニューラルネットワ
ークの学習方法は、多くの観点から多数のアルゴリズム
が提案されている。広く用いられるアルゴリズムとして
バックプロパゲーション法（誤差逆伝搬法）があるが、
バックプロパゲーション法は、一般的に学習が遅く、ま
た、ニューラルネットワークの内部構造が複雑な場合に
は最適な学習・構造を求めることが困難である。そこ
で、慣性項を導入したバックプロパゲーション法として
学習速度の改善が図られている。なお、慣性項を用いた
場合は、バックプロパゲーション法と区別して特にモー
メント法と呼ぶことがある。

【００１８】従来法１：モーメント法（バックプロパゲ
ーション法）モーメント法は、前回の修正方向を表す慣性項を、結合
係数修正式に含めるものである。モーメント法による学
習アルゴリズムでは、ニューラルネットワークからの実
際の出力値（以下、ニューロ出力値という。）から学習
目標である出力（以下、学習パターン値という。）を引
いた値（以下、出力誤差という。）の２乗を評価関数と
し、この評価関数値が小さくなるように結合係数を増減
する。この評価関数は次式のようになる。

【００１９】

【数５】

【００２０】ここでニューロ出力値は、結合係数の増減
によって変化する値であり、評価関数は結合係数をパラ
メータとする関数である。学習は、結合係数修正式を用
いて、学習パターン値とニューロ出力値とが近い（つま
り出力誤差が０の）結合係数となるように結合係数の修
正を繰り返し行って学習するものである。この結合係数
修正式は次式のように表される。

【００２１】

【数６】

【００２２】この式から明らかなように前回の修正量で
あるΔｗ_ｋ−１に慣性定数αを乗じたものが今回の慣
性項として用いられる。先に説明したが、このように結
合係数修正式に慣性項がある場合を、バックプロパゲー
ション法と区別するため特にモーメント法と呼んでい
る。このモーメント法では、慣性項により結合係数の修
正が加速され、学習が高速になるという利点がある。し
かし、モーメント法でもニューラルネットワークの階層
数や素子数を事前に決定する必要があり、事前に最適な
階層数や素子数に関する情報が得られることはなく、ニ
ューラルネットワークの最適化のためには階層数および
素子数を試行錯誤的に探索する必要がある。ニューラル
ネットワークの内部構造が複雑な場合は、探索に時間と
手間がかかり、また、学習後のニューラルネットワーク
はブラックボックスとなり、中間層素子の意味づけが困
難なことが多く、この点ではバックプロパゲーション法
と同様の課題を抱えている。

【００２３】さて、他の学習アルゴリズムとして、ニュ
ーラルネットワークの予測・診断等の性能を向上させる
ことに主眼をおいたアルゴリズムと、学習の高速化に主
眼をおいたアルゴリズムが提案されている。ニューラル
ネットワークの予測・診断等の性能を向上させる学習方
法の例として、従来法２：コンパクト構造化法（増田：「隠れユニット
の合成による階層型ニューラルネットワークのコンパク
ト構造化」、計測自動制御学会論文集、Vol.28,No.4,p
p.519-527(1992)）、従来法３：中間層の重要度順に学習する重畳エネルギー
関数法（高橋：「重畳エネルギー関数による多層パーセ
プトロンの冗長性削減」、電子情報通信学会論文誌、Ｄ
−II、Vol.J80-D-II,No.9,pp.2532-2540(1997)）という
学習アルゴリズムが提案されている。

【００２４】まず、従来法２のコンパクト構造化法につ
いて説明する。コンパクト構造化法により不要の中間層
素子を他の中間層素子に融合する場合、２種類の融合が
ある。図９は、融合を説明する説明図であり、図９
（ａ）では、入力層に入力される学習パターン値の変化
に対応して出力値が変化する場合に相関傾向を有する複
数の中間層素子を説明し、図９（ｂ）では、入力層の入
力値が変化しても出力する値が変化せず一定値を出力す
るバイアス素子的な振る舞いをする中間層素子を説明す
る。また、図１０は、学習パターン値に対する中間層素
子の出力を示す出力図であり、図１０（ａ）は、入力層
に入力される学習パターン値の変化に対応して出力値が
変化する場合に相関傾向を有する複数の中間層素子の出
力を、また、図１０（ｂ）では、入力層の入力値が変化
しても出力する値が変化しないバイアス素子的な振る舞
いをする中間層素子の出力をそれぞれ説明する。

【００２５】図９（ａ）で示す２つの中間層素子から
は、図１０（ａ）で示すように、同傾向の出力値が出力
され（相関の高い中間層素子出力）、また、図９（ｂ）
のバイアス素子的な中間層素子からは、図１０（ｂ）で
示すように、学習パターン値が変化するにも拘わらず一
定値が出力される（バイアス素子的な振る舞いをする中
間層素子出力）。このような相関の高い中間層素子出力
およびバイアス素子的な振る舞いをする中間層素子出力
を検出する必要がある。なお、バイアス素子的な振る舞
いをする中間層素子とは、先に説明したバイアス素子と
は別個に存在する素子であり、これらは区別される。

【００２６】続いて、これら出力の検出方法について説
明する。上述のような中間層素子出力をする中間層素子
を検出するため、次式で定義される相関係数γ_ｉｊを導
入する。

【００２７】

【数７】

【００２８】これにより、２つの中間層素子からの出力
値系列の相関関係を定量的に扱うことができる。図９
（ａ）で示す２個の中間層素子の出力が、図１０（ａ）
に示すように、２つの中間層素子からの出力値系列が同
傾向の場合には相関係数γ_ｉｊは１に近い値となり、ま
た、出力値系列が逆傾向の場合には相関係数γ_ｉｊは−
１に近い値となる。なお、全く相関関係にない場合は、
０に近い値をとるため、相関係数γ_ｉｊにより相関関係
が明確に認識できる。この特徴から相関係数の絶対値が
１に近い程、相関が高い。

【００２９】しかしながら、図９（ｂ），図１０（ｂ）
で示すようなバイアス素子的な振る舞いをする中間層素
子について、相関係数γ_ｉｊでは判別ができない。そこ
で、このようなバイアス素子的な振る舞いをする中間層
素子を判別するために次式で定義される中間層素子出力
値の次式のような分散ｓ_ｉ ^２を導入する。

【００３０】

【数８】

【００３１】図９（ｂ）で示す１個の中間層素子の出力
が、図１０（ｂ）のような場合、分散ｓ_ｉ ^２は０に近い
値となる。中間層素子の出力は、学習パターンの変化に
も拘わらず、ほぼ一定となっており、上の層の素子に対
してバイアス素子的な振る舞いをしている。以上、融合
する中間層素子の検出について、相関の高い中間層素子については、中間層素子からの
出力値の相関係数が高い２つの中間層素子を融合の対象
とする。相関が高いという判断については、例えば相関
係数の絶対値が所定値以上（例えば０．９以上とか）い
うような場合が該当する。バイアス素子的な振る舞いをする中間層素子について
は、中間層素子からの出力の分散値が０に近い中間層素
子をバイアス素子との融合の対象とする。分散値が低い
という判断については、例えば分散値が所定値以下（例
えば０．１以下とか）いうような場合が該当する。

【００３２】続いて、相関の高い中間層素子について
の融合手法について説明する。図１１は、ニューラルネ
ットワークの融合を説明する説明図である。図１１
（ａ）で示すような中間層素子ｉ，ｊからの出力値の相
関が高いため図１１（ｂ）で示すように中間層素子ｉ，
ｊを融合する場合について説明する。中間層素子ｉ，ｊ
からの出力値系列｛Ｏ_ｉＰ｝，｛Ｏ_ｊＰ｝の相関が高い
場合、２変量Ｏ_ｉ，Ｏ_ｊの関係は多変量解析で周知の
ように、次式の線形回帰式で近似的に表現することがで
きる。

【００３３】

【数９】

【００３４】数９を用いると、上の層に属する任意の素
子（中間層素子や出力層素子など）ｋへの入力は、次式
のようになる。

【００３５】

【数１０】

【００３６】すなわち、図１１（ｂ）で示すように中間
層素子ｉおよびバイアス素子から素子ｋへの結合係数を
次式のように修正する。

【００３７】

【数１１】

【００３８】この修正によって、中間層素子ｊを中間層
素子ｉに融合することができる。なお、融合を行う際、
中間層素子ｊと中間層素子ｉとでどちらを融合するかが
問題となるが、出力値系列の分散の大きいほうを情報伝
達的により活発に機能していると考える。相関の高い中
間層素子出力についての融合はこのようになされる。続
いて、バイアス素子的な振る舞いをする中間層素子と
バイアス素子との融合について説明する。図１１（ａ）
で示すような中間層素子ｉとバイアス素子とを図１１
（ｃ）で示すように融合する場合について説明する。中
間層素子ｉからの出力値系列｛Ｏ_ｉＰ｝の分散が小さい
場合、Ｏ_ｉの出力はほぼ一定で、Ｏ_ｉの出力は次式のよ
うに平均値で近似できる。

【００３９】

【数１２】

【００４０】数１２を用いると、上の層に属する任意の
素子（中間層素子や出力層素子など）ｋへの入力は、次
式のようになる。

【００４１】

【数１３】

【００４２】すなわち、図１１（ｃ）で示すようにバイ
アス素子から素子ｋへの結合係数を次式のように修正す
る。

【００４３】

【数１４】

【００４４】この修正によって、バイアス素子的な傾向
を有する中間層素子ｉをバイアス素子に融合することが
できる。以上、ニューラルネットワークのコンパクト構
造化法ではこのような２通りの融合により中間層素子の
削減を行う。図１２は、従来のコンパクト構造化の学習
アルゴリズムのフローチャートである。図１２で示すよ
うに初期化終了後（Ｓ２０１）、バックプロパゲーショ
ン学習（Ｓ２０２）とコンパクト構造化（Ｓ２０３〜Ｓ
２０８）を交互に行い、所定回数もしくは学習誤差が規
定値以下になったら学習終了と判断する（Ｓ２０９）も
のである。

【００４５】また、ニューラルネットワークの予測・診
断等の性能を向上させる他の従来法３について説明す
る。重畳エネルギー関数法では、中間層素子の重要度順
に学習する学習アルゴリズムである。この学習アルゴリ
ズムにより学習されるニューラルネットワークは、中間
層素子がその重要度順に並ぶ傾向があり、また、不要な
中間層素子の生成が抑制される。図１３は、重畳エネル
ギー関数法により学習された中間層素子を説明する説明
図である。図１３で示すように、この学習アルゴリズム
で学習したニューラルネットワークは、重要度の高い中
間層素子につながる結合係数が大きく（図１３の太線の
矢印）、また、重要度の低い中間層素子につながる結合
係数は小さく（図１３の細線の矢印）なる傾向がある。
また、その結果不要な分散表現が抑制される。

【００４６】不要な分散表現について概略説明する。分
散表現とは、１つでも良い結合が複数の結合に分割され
ること、つまり、その結果多くの結合が必要になること
を表す。図１４は不要な分散表現について説明する説明
図であり、簡単化のため、単純なニューラルネットワー
クを仮定している。このニューラルネットワークの出力
層素子への入力値は共に計１．０であるが、図１４
（ａ）では２つの中間層素子に分散して情報が伝達され
るのに対し、図１４（ｂ）では１つの中間層素子を経て
情報が伝達されている点が相違する。図１４（ａ）のよ
うな場合を分散表現と呼んでいる。

【００４７】重畳エネルギー関数は、このような不要な
分散表現を抑制する。続いて、この重畳エネルギー関数
について説明する。まず、重畳エネルギー関数で用いる
部分ニューロの概念について説明する。図１５は、部分
ニューロを説明する説明図である。図１５に示すように
Ｈ個の中間層素子を持つニューラルネットワークにおい
て、中間層素子１のみを残し、中間層素子２〜Ｈの中間
層素子を無視した構造を部分ニューロ１とし、中間層素
子１、２だけを残し中間層素子３〜Ｈまでの中間層を無
視した構造を部分ニューロ２とし、以下同様に中間層素
子１〜ｉだけを残し中間層素子ｉ＋１〜Ｈまでの中間層
を無視した構造を部分ニューロｉとしたＨ個の部分ニュ
ーロｉ（ｉ＝１、２、３・・・Ｈ）を仮定する。これら
部分ニューロの評価関数は、次式のようになる。

【００４８】

【数１５】

【００４９】ニューラルネットワーク全体の評価関数Ｊ
は部分ニューロの評価関数を足して次式になる。

【００５０】

【数１６】

【００５１】このニューラルネットワーク全体の評価関
数Ｊを重畳エネルギー関数と呼んでいる。この重畳エネ
ルギー関数が最小となるとき、分散表現が抑制され、か
つ中間層素子の重要度順に並んだニューラルネットワー
クとなる。図１６は、重畳エネルギー関数法による学習
の流れを示すフローチャートである。ニューラルネット
ワークの階層数や素子数を決定する初期化を行い（ステ
ップＳ１００）、重畳エネルギー関数法による学習を行
い（ステップＳ１１０）、学習を所定回数行ったか否か
を判定して所定回数行ったならば学習終了と判断する
（ステップＳ１２０）。本学習アルゴリズムでは分散表
現の発生が抑えられ、より単純なニューラルネットワー
ク構造となる。

【００５２】さて、今までは、学習アルゴリズムの改良
のうち特にニューラルネットワークの予測・診断等の性
能を向上させる学習方法の例であったが、学習の高速化
に主眼をおいた学習アルゴリズムも提案されている。例
えば、従来法４：Jacobs Hybrid 法（Adaptive ＢＰ
法，delta-bar-delta learning ruleともいう）（R.
A.Jacobs,Increased Rates of Convergence Through Le
arning Rate Adaption,Neural Networks Vol1.pp.295-3
07,1988）,従来法５：Jacobs Hybrid 法の改良手法で
あるKick Out法（落合他：重みの振動を抑制する階層型
ニューラルネットワークの学習法―Kick Out法―，電気
学会論文誌,Vol.113-C, No.12,(1993),などがある。

【００５３】従来法４：「Jacobs hybrid法(Adaptive B
P)」ニューラルネットワークの結合係数の１つずつに学習係
数を用意し、結合係数の修正方向が平滑化微分方向（大
域的な勾配方向）と同じときには結合係数を大きくし、
違うときには小さくすることで、最適な学習係数にする
方法である。ここで、勾配ｇとは、評価関数Ｊの結合係
数に関する一次偏微分値である。特に、学習係数に学習
係数増加量κ（カッパ）が加算される場合にはJacobs h
ybrid法といい、次式で表記される。

【００５４】

【数１７】

【００５５】従来法５：Kick Out法従来法４のJacobs hybrid法のさらなる改良手法であ
り、学習時に結合係数が振動するときには補正項により
振動を抑制する方法である。振動判定と補正項による修
正は次式の通りである。

【００５６】

【数１８】

【００５７】Jacobs Hybrid 法やKick Out法は、慣性
項を用いることからも明らかなようにモーメント法の一
種である。モーメント法とは、慣性項を用いるような結
合係数修正式を包括的に指すものであり、本明細書で
は、その一例として、モーメント法とは数６で表される
結合係数修正式を有するものとして説明する。Jacobs
Hybrid 法は、学習の高速化を実現するため、モーメン
ト法の数６の結合係数修正式を改良した数１７で表され
る結合係数修正式を有するものである。Kick Out法は、
学習の高速化を実現するため、モーメント法の数６の結
合係数修正式を改良した数１８で表される結合係数修正
式を有するものである。

【００５８】

【発明が解決しようとする課題】先に説明した積結合型
ニューラルネットワークは、通常の多層ニューラルネッ
トワークよりも情報処理能力が高いという利点を有して
いるが、以下に掲げるような欠点を併せ持つものであっ
た。

【００５９】（１）学習が長時間である点。積結合型ニューラルネットワークは、結合数が多く、従
来よりも学習に長時間を要するという問題点がある。特
にニューラルネットワークの規模が大きくなると、学習
時間は指数関数的に増大する。さらに、積結合型ニュー
ラルネットワークに特有の構造的な問題もある。バック
プロパゲーション法による中間層と出力層の結合係数修
正式において、１次結合（積結合でないもの）の修正量
（中間層−出力層）は次式のようになる。

【００６０】

【数１９】

【００６１】また、バックプロパゲーション法による中
間層と出力層の結合係数修正式におおいて、２次結合
（積結合であるもの）の修正量（中間層−出力層）は次
式のようになる。

【００６２】

【数２０】

【００６３】ここにＯ_ｊ，Ｏ_ｋは０．０〜１．０まで
の値である。これら数１９，数２０からも明らかなよう
に、積結合の修正量（２次の部分）は、通常の修正量
（１次の部分）よりも小さくなる。例えば、Ｏ_ｊ，Ｏ
_ｋともに０．５とすれば、通常の修正量（１次の部分）
は−０．５αεであるのに対し、積結合の修正量（２次
の部分）は−０．２５αεと半分になる。このため、積
結合のみが修正に長時間を要することがあり、この点か
らも全体の学習時間を長くするという問題があった。

【００６４】（２）汎化能力の低下ニューラルネットワークに限らず、モデルの自由度（変
数）が多いと複雑な問題が扱えるようになるが、ニュー
ラルネットワークでは、学習データのノイズまでも学習
して、先に説明した汎化能力が低下するという問題点が
あった。特に積結合型のニューラルネットワークは、結
合数が多く、その学習能力の高さ故、通常のニューラル
ネットワークよりもさらに汎化能力が低下するおそれが
ある。

【００６５】以上説明した（１），（２）の問題を解決
するためには、以下に説明するアルゴリズムの採用が有
効である。（Ａ）高速な学習アルゴリズム（Ｂ）結合の次数によらず、修正量を適切に調整するア
ルゴリズム（Ｃ）不要な素子や結合を削除するアルゴリズム

【００６６】先に説明した従来法４（Jacobs Hybrid
法）および従来法５（Kick Out法）は、上述した問題
点（Ａ），（Ｂ）を解決する場合には極めて有望である
が、積結合型ニューラルネットワークは結合数が多く、
高速な学習を実現してもその学習性能の高さ故に汎化能
力を損なう危険性がある。

【００６７】また、先に説明した従来法２（コンパクト
構造化法）は、上述した問題点（Ａ），（Ｃ）を解決す
る場合には極めて有望であるが、通常のニューラルネッ
トワークに対応するものであって、積結合型ニューラル
ネットワークに対応するコンパクト構造化は現状開発さ
れていない。

【００６８】また、本発明者は通常の多層ニューラルネ
ットワークに対し、Jacobs Hybrid法またはKick Out
法に、コンパクト構造化法を融合した新しい学習方法に
ついて発明し、特願２００１−１８７５８号として特許
出願するに至っている。しかしながら、積結合型ニュー
ラルネットワークに対応できないものであり、現状で
は、積結合型ニューラルネットワークに対して（Ａ），
（Ｂ），（Ｃ）の全てを解決するような学習アルゴリズ
ムは存在していない。

【００６９】そこで、Jacobs Hybrid法とコンパクト構
造化法との融合、またはKick Out法とコンパクト構造
化法との融合を実現する学習アルゴリズムであって、積
結合型ニューラルネットワークに対応するように改良
し、（Ａ），（Ｂ），（Ｃ）の全てを解決する高性能の
新たな学習アルゴリズムを提供しようとするものであ
る。

【００７０】以上説明したように、本発明の目的は、結
合の次数によらず、修正量を適切に調整する学習アルゴ
リズムと不要な素子や結合を削除する学習アルゴリズム
を組み合わせ、積結合型ニューラルネットワークの高速
な学習を実現する学習アルゴリズムを提供することにあ
る。

【００７１】

【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の発明は、自分自身との結合がない
積結合型ニューラルネットワークの入力層、中間層、お
よび、出力層の素子間の結合係数を修正することで積結
合型ニューラルネットワークを最適化する学習を行い、
この積結合型ニューラルネットワークの中間層の中の１
個の素子の出力値系列を用いて求めた分散が所定値以下
の場合にこの素子をバイアス素子に融合するコンパクト
構造化を行い、学習とコンパクト構造化とを交互に行っ
て中間層の素子を削減しつつ最適化することを特徴とす
る。

【００７２】また、請求項２に記載の発明は、請求項１
に記載の積結合型ニューラルネットワークの最適化学習
方法において、学習係数を調節しつつ結合係数を修正す
る結合係数修正式を用いて積結合型ニューラルネットワ
ークを最適化する学習を行い、分散が所定値以下の素子
をバイアス素子に融合する場合に結合係数修正式の学習
係数を新たに設定し、更新された結合係数修正式により
以後の学習およびコンパクト構造化を行うことを特徴と
する。

【００７３】また、請求項３に記載の発明は、自分自身
との結合がある積結合型ニューラルネットワークの入力
層、中間層、および、出力層の素子間の結合係数を修正
することで積結合型ニューラルネットワークを最適化す
る学習を行い、この積結合型ニューラルネットワークの
中間層の中の１個の素子の出力値系列を用いて求めた分
散が所定値以下の場合にこの素子をバイアス素子に融合
し、また、この積結合型ニューラルネットワークの中間
層の中の２個の素子の出力値系列を用いて求めた相関係
数の絶対値が所定値以上の場合にこれら２個の素子を情
報伝達的に同じ働きであるとして融合するコンパクト構
造化を行い、学習とコンパクト構造化とを交互に行って
中間層の素子を削減しつつ積結合型ニューラルネットワ
ークを最適化することを特徴とする。

【００７４】また、請求項４に記載の発明は、請求項３
に記載の積結合型ニューラルネットワークの最適化学習
方法において、学習係数を調節しつつ結合係数を修正す
る結合係数修正式を用いて積結合型ニューラルネットワ
ークを最適化する学習を行い、分散が所定値以下の素子
をバイアス素子に融合する場合または相関係数の絶対値
が所定値以上の２個の素子を融合する場合に結合係数修
正式の学習係数を新たに設定し、更新された結合係数修
正式により以後の学習およびコンパクト構造化を行うこ
とを特徴とする。

【００７５】

【発明の実施の形態】以下、本発明について説明する。
まず、本発明の請求項１，２に係る発明は、次式に示す
ように自分自身との結合がないタイプの積結合型ニュー
ラルネットワークを対象とする。

【００７６】

【数２１】

【００７７】この場合、中間層素子同士の融合は構造的
に不可能であり、中間層素子とバイアス素子との融合の
みを行うようにする。

【００７８】以下、図に沿って本発明の各実施形態を説
明する。まず、請求項１の発明に係る第１実施形態につ
いて説明する。本実施形態の学習アルゴリズムＡでは図
１２で示す従来法２のバックプロパゲーション法による
学習とコンパクト構造化を交互に行う学習アルゴリズム
と同じであるが、コンパクト構造化の手法が異なってい
る。以下、この学習アルゴリズムＡについて説明する。
この学習アルゴリズムＡは、汎用計算機・制御装置等に
プログラムされ、コンピュータにこの学習アルゴリズム
Ａを行わせることを想定して説明する。なお、後述の他
の学習アルゴリズムも同様である。

【００７９】続いて、本実施形態の学習アルゴリズムＡ
について説明する。この学習アルゴズムＡは、バックプ
ロパゲーション法・モーメント法のように学習係数を自
動調節することなく固定している学習方法に適用できる
ものである。ただし、学習係数が固定でなくても、結合
係数全てに同じ学習係数を用いるアルゴリズムには適用
できる。学習アルゴリズムではモーメント法であるとし
て説明する。図１は本発明の実施形態の学習アルゴリズ
ムＡ，Ｂに共通する共通フローチャート、図２は積結合
型ニューラルネットワークの融合を説明する説明図であ
る。ステップＳ１は、初期化処理を行うステップであ
る。学習アルゴリズムＡにおける初期化処理とは、中間
層の階層数、各層の中間層素子数、分散のしきい値、学
習回数などを入力する。ステップＳ２は、結合係数の学
習を行うステップである。この学習アルゴリズムＡでは
モーメント法による学習である。先の数６の結合係数修
正式を用い、積結合型ニューラルネットワークの結合係
数を新しい結合係数とし、古い結合係数と書き換えて保
存する。

【００８０】ステップＳ３は、コンパクト構造化を実行
するか否かを判定するステップである。判定方法として
は、モーメント法による学習回数が所定回数に達した場
合や、学習誤差が減少しなくなったなどの場合が考えら
れるが、本学習アルゴリズムＡでは、学習回数が所定回
数に達したか否かについて判定するものとする。学習回
数が所定回数に達しているならばステップＳ４へ進み、
学習回数が所定回数に達していないならば初期段階（つ
まり中間層素子は十分な分化が行われていない段階）と
してステップＳ７へジャンプする。

【００８１】ステップＳ４は、中間層素子からの出力値
系列を用いて分散を算出するステップである。具体的に
は、複数ある中間層素子の出力値系列を用いて全ての中
間層素子についての分散を求めるものであり、コンパク
ト構造化法で説明した数８を用いて算出することとな
る。ステップＳ５は、ステップＳ４で算出した複数の分
散について所定値以下か否かを判定するステップであ
る。複数の分散のうち一つでも所定値以下（バイアス素
子へ融合可）と判断するならばステップＳ６へ進み、ま
た、全ての分散が所定値を越える（バイアス素子へ融合
不可）と判断するならばステップＳ７の先頭へジャンプ
する。

【００８２】ステップＳ６は、中間層素子とバイアス素
子との融合を行うステップである。ここに図２（ａ）で
示すような積結合型ニューラルネットワークの中間層素
子とバイアス素子とが融合されて図２（ｂ）に示すよう
になる。この場合、融合後の結合係数は次式により表さ
れる。

【００８３】

【数２２】

【００８４】なお、複数の中間層素子の分散を算出して
多数の分散が所定値以下の場合、最も分散が小さい中間
層素子とバイアス素子とを融合させる。１度に融合可能
な全ての素子を融合する場合も考えられるが、１度のコ
ンパクト構造化に対し１回に融合制限した方が良好な学
習結果が得られることが多い。

【００８５】ステップＳ７は、学習終了か否かを判断す
るステップである。具体的には学習回数が所定回数に達
したか否かを判断している。学習終了しない場合は、ス
テップＳ２の先頭へジャンプして再度学習を行い、学習
終了の場合はフローを終了することととなる。

【００８６】学習アルゴリムＡでは、積結合型ニューラ
ルネットワークをコンパクト構造化法により素子を融合
しつつバックプロパゲーション法またはモーメント法で
学習するようにしため、不要な中間層素子が削減され、
積結合型ニューラルネットワークの計算量が減少して学
習時間を短縮することが可能である。

【００８７】続いて、請求項２の発明に係る第２実施形
態について説明する。本実施形態の学習アルゴリズムＢ
では図１で示す学習アルゴリズムＡにおいて、バックプ
ロパゲーション法による学習の代わりにJacobs Hybrid
法やkick Out法のように、結合係数１つずつに対し、
学習係数を自動調整する学習アルゴリズムにより学習を
行い、このJacobs Hybrid法またはkick Out法による学
習とコンパクト構造化を交互に行うようにした。なお、
本発明は学習係数を自動調整するすべての学習アルゴリ
ズムに適用できるものであるが、本実施形態では説明の
具体化のため、学習アルゴリズムとしてJacobs Hybrid
法またはkick Out法を使用するものである。この学習
アルゴリズムＢについて、図１の学習アルゴリズムの共
通フローチャートに基づいて説明する。

【００８８】ステップＳ１で学習アルゴリズムＡと同様
の初期化処理を行い、ステップＳ２で結合係数の学習と
してJacobs Hybrid法またはkick Out法による学習
（以下、本実施形態中では単に学習という）を行う。先
の数１７で表したJacobs Hybrid法または数１８で表し
たkick Out法により求めた積結合型ニューラルネット
ワークの結合係数を新しい結合係数とし、古い結合係数
と書き換えて保存する。この際、学習係数を結合係数１
つずつに対して調整する。ステップＳ３でコンパクト構
造化を実行するか否かを判定する。学習回数が所定回数
に達しているならばステップＳ４へ進み、達していない
ならば初期段階（中間層素子は未分化の段階）としてス
テップＳ７へジャンプする。ステップＳ４では、中間層
素子からの出力値系列を用いて分散を算出する。具体的
には、コンパクト構造化法で説明した数８を用いて算出
することとなる。

【００８９】ステップＳ５では、ステップＳ４で算出し
た複数の分散のうち一つでも所定値以下（バイアス素子
へ融合可）と判断するならばステップＳ６へ進み、ま
た、全ての分散が所定値を越える（バイアス素子へ融合
不可）と判断するならばステップＳ７へジャンプする。
ステップＳ６では、中間層素子とバイアス素子との融合
を行うステップである。ここに学習係数を自動調節する
場合の積結合型ニューラルネットワークの中間層素子と
バイアス素子との融合は次式により表される。

【００９０】

【数２３】

【００９１】この場合数１７，数１８で表された他の変
数ｇ，δ，ｙは初期化されて０になる。学習係数ηに関
する融合式でも、分子、分母の各項に絶対値をつけるの
は、分子が０になるのを防ぐ、学習係数が負になる
のを防ぐ、学習係数が小さくなりすぎるのを防ぐため
である。

【００９２】複数の中間層素子の分散を算出して多数の
分散が所定値以下の場合、最も分散が小さい中間層素子
とバイアス素子とを融合させる。この理由は、学習アル
ゴリズムＡと同様である。ステップＳ７では、学習終了
か否かを判断する。具体的には学習回数が所定回数に達
したか否かを判断する。学習終了しない場合は、ステッ
プＳ２の先頭へジャンプして再度学習を行い、学習終了
の場合はフローを終了することととなる。

【００９３】学習アルゴリムＢでは、学習係数を自動調
整するJacobs Hybrid法またはkickOut法にコンパクト
構造化法を導入したため、不要な中間層素子が削減され
るため、従来のJacobs Hybrid法やkick Out法の学習
よりも計算量が減少して学習時間を短縮することが可能
である。

【００９４】以上本発明の請求項１，２に係る第１，第
２実施形態について説明した。これにより、自分自身と
結合がない積結合型ニューラルネットワークの中間層素
子とバイアス素子とを融合しつつ、結合係数修正を行う
ようにしたため、学習時間の短縮化を実現することがで
きる。

【００９５】続いて、本発明請求項３，４に係る発明に
ついて説明する。先に説明した第１，第２実施形態の学
習アルゴリズムでは、自分自身と結合がない積結合型ニ
ューラルネットワークの中間層素子とバイアス素子とを
融合するが中間層素子どうしは融合できないというもの
であった。そこで積結合型ニューラルネットワークとし
て自分自身との結合がある積結合型ニューラルネットワ
ークを採用する。この自分自身との結合がある積結合型
ニューラルネットワークは次式で表される、

【００９６】

【数２４】

【００９７】この自分自身との結合がある積結合型ニュ
ーラルネットワークを採用すると中間層素子とバイアス
素子との融合および中間層素子どうしの融合をともに行
うことができ、より一層の学習時間の短縮が図れるもの
である。

【００９８】以下、請求項３の発明に係る第３実施形態
について説明する。図３は本発明の実施形態の学習アル
ゴリズムＡ’，Ｂ’に共通する共通フローチャート、図
４は積結合型ニューラルネットワークの中間層素子−バ
イアス素子の融合を説明する説明図、図５は積結合型ニ
ューラルネットワークの中間層素子同士の融合を説明す
る説明図である。図３の学習アルゴリズムの共通フロー
チャートに基づいて、まず学習アルゴリズムＡ’につい
て、説明する。

【００９９】ステップＳ１１では初期化処理を行い、中
間層の階層数、各層の中間層素子数、分散のしきい値、
相関係数のしきい値、学習回数などを入力する。ステッ
プＳ１２では結合係数修正としてバックプロパゲーショ
ン法・モーメント法など学習係数を固定する学習を行
う。ただし、学習係数が可変でも、結合係数全てが同じ
係数であれば適用できる。先の数６で表したモーメント
法により求めたニューラルネットワークの結合係数を新
しい結合係数とし、古い結合係数と書き換えて保存す
る。ステップＳ１３でコンパクト構造化を実行するか否
かを判定する。学習回数が所定回数に達しているならば
ステップＳ１４へ進み、達していないならば初期段階
（中間層素子は未分化の段階）としてステップＳ１９へ
ジャンプする。ステップＳ１４では、中間層素子からの
出力値系列を用いて分散を算出する。具体的には、先に
説明した数８を用いて算出することとなる。

【０１００】ステップＳ１５では、ステップＳ１４で算
出した複数の分散のうち一つでも所定値以下（バイアス
素子へ融合可）と判断するならばステップＳ１８へジャ
ンプし、また、全ての分散が所定値を越える（バイアス
素子へ融合不可）と判断するならばステップＳ１６へ進
む。ステップＳ１６では、複数ある中間層素子からある
２つの中間層素子を選択してこれら２つの中間層素子の
出力値系列を用いて相関係数を求めるという処理を全て
の中間層素子で想定できる組み合わせについて行うもの
であり、コンパクト構造化法の説明で参照した数７を用
いて算出することとなる。例えば、仮に中間層素子１，
２，３と３個ある場合には、中間層素子１，２の相関、
中間層素子２，３の相関、および中間層素子１，３の相
関について相関係数を算出することとなる。

【０１０１】ステップＳ１７では、ステップＳ１６で算
出した複数の相関係数について所定値以上か否かを判定
し、相関係数の絶対値が所定値以上（２つの中間層素子
が融合可）と判断するならばステップＳ１８へ進み、ま
た、相関係数の絶対値が所定値未満（２つの中間層素子
が融合不可）と判断するならばステップＳ１９へジャン
プする。ステップＳ１８では、融合を行うステップであ
る。ステップＳ１５からジャンプしてきたならば中間
層素子とバイアス素子との融合を、また、ステップＳ１
７から来たならば中間層素子同士の融合を行う。ここ
にのｉ番目の中間層素子とバイアス素子との融合は次
式により表される。この場合、融合により中間層−バイ
アス素子の結合関係は、図４（ａ）から図４（ｂ）へ示
すように変化する。

【０１０２】

【数２５】

【０１０３】また、のｉ番目とｊ番目という中間層素
子同士の融合は次式により表される。この場合、融合に
より中間層どうしの結合関係は図５（ａ）から図５
（ｂ）へ示すように変化する。

【０１０４】

【数２６】

【０１０５】複数の中間層素子の分散を算出して多数の
分散が所定値以下の場合、最も分散が小さい中間層素子
とバイアス素子とを融合させる。１度のコンパクト構造
化に対し１回に融合制限した方が良好な結果が得られる
ことが多いからである。同様に、相関係数の絶対値が所
定値以上の中間層素子の組み合わせが多数ある場合、相
関係数の絶対値が最も大きい中間層素子の組み合わせを
融合させる。この場合も、１度のコンパクト構造化に対
し１回に融合制限した方が良好な結果が得られることが
多いからである。

【０１０６】ステップＳ１９では、学習終了か否かを判
断する。具体的には学習回数が所定回数に達したか否か
を判断する。学習終了しない場合は、ステップＳ１２の
先頭へジャンプして再度学習を行い、学習終了の場合は
フローを終了することとなる。

【０１０７】学習アルゴリムＡ’では、自分自身との結
合がある積結合型ニューラルネットワークをコンパクト
構造化法により中間層素子が削減しつつ学習するため、
従来のバックプロパゲーション法・モーメント法よりも
計算量が減少して学習時間を短縮することが可能であ
る。

【０１０８】続いて、請求項４の発明に係る第４実施形
態について説明する。本実施形態の学習アルゴリズム
Ｂ’では図３で示す学習アルゴリズムＡ’のバックプロ
パゲーション法・モーメント法による学習の代わりに結
合係数１つずつに対し学習係数を自動的に調節するJaco
bs Hybrid法やKick Out法のような学習（以下、本実
施形態の説明中では単に学習という）とし、この学習と
コンパクト構造化を交互に行うようにした。この学習ア
ルゴリズムＢ’について、図３の学習アルゴリズムの共
通フローチャートに基づいて説明する。

【０１０９】ステップＳ１１で学習アルゴリズムＡ’と
同様の初期化処理を行い、ステップＳ１２で結合係数修
正する学習を行う。先の数１７で表したJacobs Hybrid
法または数１８で表したKick Out法により求めたニュ
ーラルネットワークの結合係数を新しい結合係数とし、
古い結合係数と書き換えて保存する。この際、学習係数
を結合係数１つずつに対して調整する。ステップＳ１３
でコンパクト構造化を実行するか否かを判定する。学習
回数が所定回数に達しているならばステップＳ１４へ進
み、達していないならば初期段階（中間層素子は未分化
の段階）としてステップＳ１９へジャンプする。ステッ
プＳ１４では、中間層素子からの出力値系列を用いて分
散を算出する。具体的には、先に説明した数８を用いて
算出することとなる。

【０１１０】ステップＳ１５では、ステップＳ１４で算
出した複数の分散のうち一つでも所定値以下（バイアス
素子へ融合可）と判断するならばステップＳ１８へジャ
ンプし、また、全ての分散が所定値を越える（バイアス
素子へ融合不可）と判断するならばステップＳ１６へ進
む。ステップＳ１６では、複数ある中間層素子からある
２つの中間層素子を選択してこれら２つの中間層素子の
出力値系列を用いて相関係数を求めるという処理を全て
の中間層素子で想定できる組み合わせについて行うもの
であり、コンパクト構造化法で説明した数７を用いて算
出することとなる。

【０１１１】ステップＳ１７では、ステップＳ１６で算
出した複数の相関係数について所定値以上か否かを判定
し、相関係数の絶対値が所定値以上（２つの中間層素子
が融合可）と判断するならばステップＳ１８へ進み、ま
た、相関係数の絶対値が所定値未満（２つの中間層素子
が融合不可）と判断するならばステップＳ１９へジャン
プする。ステップＳ１８では、融合を行うステップであ
る。ステップＳ１５からジャンプしてきたならば中間
層素子とバイアス素子との融合を、また、ステップＳ１
７から来たならば中間層素子同士の融合を行う。ここ
に中間層素子とバイアス素子との融合は次式により表
される（図４（ａ），（ｂ）参照）。

【０１１２】

【数２７】

【０１１３】この場合数１７，数１８で表された他の変
数ｇ，δ，ｙは初期化されて０になる。また、のｉ番
目とｊ番目という中間層素子同士の融合は次式により表
される（図５（ａ），（ｂ）参照）。

【０１１４】

【数２８】

【０１１５】この場合数１７，数１８で表された他の変
数ｇ，δ，ｙは初期化されて０になる。複数の中間層素
子の分散を算出して多数の分散が所定値以下の場合、最
も分散が小さい中間層素子とバイアス素子とを融合させ
る。同様に、相関係数の絶対値が所定値以上の中間層素
子の組み合わせが多数ある場合、相関係数の絶対値が最
も大きい中間層素子の組み合わせを融合させる。この理
由は学習アルゴリズムＡ’と同様である。同様に、相関
係数の絶対値が所定値以上の中間層素子の組み合わせが
多数ある場合、相関係数の絶対値が最も大きい中間層素
子の組み合わせを融合させる。この場合も、１度のコン
パクト構造化に対し１回に融合制限した方が良好な結果
が得られることが多いからである。ステップＳ１９で
は、学習終了か否かを判断する。具体的には学習回数が
所定回数に達したか否かを判断する。学習終了しない場
合は、ステップＳ１２の先頭へジャンプして再度学習を
行い、学習終了の場合はフローを終了することとなる。

【０１１６】学習アルゴリムＢ’では、自分自身との結
合を有する積結合型ニューラルネットワークをコンパク
ト構造化法による不要な素子を削除しつつ、Jacobs Hy
brid法またはKick Out法により学習するため、従来のJ
acobs Hybrid法またはKickOut法よりも計算量が減少し
て学習時間を短縮することが可能である。

【０１１７】

【実施例】続いて、本発明の実施例について説明する。
Ｙ＝Ｘ_１・Ｘ_２を積結合型ニューラルネットワークに学
習させる場合を想定し、３つの学習アルゴリズムにより
学習させてこれら学習アルゴリズムの性能を比較する。
学習条件を次表に示す。

【０１１８】

【表１】

【０１１９】また、表２に学習時間の比較を示す。

【０１２０】

【表２】

【０１２１】表１で示すように、比較検討する学習アル
ゴリズム１はバックプロパゲーション法の一例であるモ
ーメント法，学習アルゴリズム２は本発明の請求項１に
係るコンパクト構造化法，学習アルゴリズム３は本発明
の請求項２に係るコンパクト構造化法＋Jacobs hybrid
法である。図６は、誤差の変化を示す特性図である。図
６で示すように、学習アルゴリズム１と学習アルゴリズ
ム２とを比較すると、誤差の変化はほとんど同じである
が、学習中に中間層素子を削減されているため、表２か
らも見て取れるように学習時間は大幅に短縮することと
なる。また、学習アルゴリズム３は、誤差が最も減少
し、中間層素子が削除されたため、学習時間も表２から
も見て取れるように通常の学習アルゴリズム１よりは短
縮されている。また、学習アルゴリズムは、学習終了条
件が「規定誤差以下」ならば、図６から最速であるのは
明らかである。

【０１２２】従来の様々な中間層素子の削除法では、中
間層素子が削除されると一時的に誤差が増大する。しか
し、図６で示すように誤差が増加することは全くなかっ
た。これは本発明による融合方法、および結合係数１つ
ずつに設定された学習係数の融合方法が適切であったこ
とを示している。

【０１２３】

【発明の効果】積結合型ニューラルネットワークは結合
係数が多く、通常のニューラルネットワークよりも学習
時間がかかる。また、結合係数が多いために複雑な問題
を解くことも可能である学習データを過度に学習しすぎ
て汎化能力が低下する問題もある。これを解決する技術
として学習を高速化するために学習係数を結合係数１つ
ずつに対して自動調整するアルゴリズムや中間層素子を
削減・融合するアルゴリズムがある。しかし、それぞれ
の学習アルゴリズム単体を用いるだけでは、所望の性能
を発揮できないことがあった。例えば、結合係数１つず
つに学習係数を自動調節するアルゴリズムは、学習性能
の高さ故、汎化能力が損なわれる危険性が高い。両者の
アルゴリズムを併用することで高精度な学習が期待でき
るが、両者のアルゴリズムを積結合型ニューラルネット
ワークに適用することは従来できなかった。

【０１２４】本発明によれば，自分自身との結合を有す
るタイプおよび有しないタイプという両方の積結合型ニ
ューラルネットワークに対してコンパクト構造化法を適
用した新しい学習方法を提供するものであり、積結合型
ニューラルネットワークに対し、コンパクト構造化法と
高速学習法とを交互に行うこととし、不要な中間層素子
を削除しながら学習を進めるため、学習に要する時間を
大幅に削減するとともに汎化能力の低下を防止すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１，第２実施形態の学習アルゴリズ
ムＡ，Ｂに共通する共通フローチャートである。

【図２】積結合型ニューラルネットワークの融合を説明
する説明図である。

【図３】本発明の第３，第４実施形態の学習アルゴリズ
ムＡ’，Ｂ’に共通する共通フローチャートである。

【図４】積結合型ニューラルネットワークの中間層素子
−バイアス素子の融合を説明する説明図である。

【図５】積結合型ニューラルネットワークの中間層素子
同士の融合を説明する説明図である。

【図６】学習誤差の変化を示す特性図である。

【図７】多層ニューラルネットワークを説明する概念図
である。

【図８】積結合型ニューラルネットワークを説明する概
念図である。

【図９】融合を説明する説明図である。

【図１０】学習パターン値に対する中間層素子の出力を
示す出力図である。

【図１１】ニューラルネットワークの融合を説明する説
明図である。

【図１２】従来のコンパクト構造化の学習アルゴリズム
のフローチャートである。

【図１３】重畳エネルギー関数法により学習された中間
層素子を説明する説明図である。

【図１４】不要な分散表現について説明する説明図であ
る。

【図１５】部分ニューロを説明する説明図である。

【図１６】重畳エネルギー関数法による学習の流れを示
すフローチャートである。

Claims

【特許請求の範囲】

【請求項１】自分自身との結合がない積結合型ニューラ
ルネットワークの入力層、中間層、および、出力層の素
子間の結合係数を修正することで積結合型ニューラルネ
ットワークを最適化する学習を行い、この積結合型ニューラルネットワークの中間層の中の１
個の素子の出力値系列を用いて求めた分散が所定値以下
の場合にこの素子をバイアス素子に融合するコンパクト
構造化を行い、学習とコンパクト構造化とを交互に行って中間層の素子
を削減しつつ最適化することを特徴とする積結合型ニュ
ーラルネットワークの最適化学習方法。
【請求項２】請求項１に記載の積結合型ニューラルネッ
トワークの最適化学習方法において、学習係数を調節しつつ結合係数を修正する結合係数修正
式を用いて積結合型ニューラルネットワークを最適化す
る学習を行い、分散が所定値以下の素子をバイアス素子に融合する場合
に結合係数修正式の学習係数を新たに設定し、更新され
た結合係数修正式により以後の学習およびコンパクト構
造化を行うことを特徴とする積結合型ニューラルネット
ワークの最適化学習方法。
【請求項３】自分自身との結合がある積結合型ニューラ
ルネットワークの入力層、中間層、および、出力層の素
子間の結合係数を修正することで積結合型ニューラルネ
ットワークを最適化する学習を行い、この積結合型ニューラルネットワークの中間層の中の１
個の素子の出力値系列を用いて求めた分散が所定値以下
の場合にこの素子をバイアス素子に融合し、また、この
積結合型ニューラルネットワークの中間層の中の２個の
素子の出力値系列を用いて求めた相関係数の絶対値が所
定値以上の場合にこれら２個の素子を情報伝達的に同じ
働きであるとして融合するコンパクト構造化を行い、学習とコンパクト構造化とを交互に行って中間層の素子
を削減しつつ積結合型ニューラルネットワークを最適化
することを特徴とする積結合型ニューラルネットワーク
の最適化学習方法。
【請求項４】請求項３に記載の積結合型ニューラルネッ
トワークの最適化学習方法において、学習係数を調節しつつ結合係数を修正する結合係数修正
式を用いて積結合型ニューラルネットワークを最適化す
る学習を行い、分散が所定値以下の素子をバイアス素子に融合する場合
または相関係数の絶対値が所定値以上の２個の素子を融
合する場合に結合係数修正式の学習係数を新たに設定
し、更新された結合係数修正式により以後の学習および
コンパクト構造化を行うことを特徴とする積結合型ニュ
ーラルネットワークの最適化学習方法。