JP2002042107A

JP2002042107A - ニューラルネットワークの学習方法

Info

Publication number: JP2002042107A
Application number: JP2000230665A
Authority: JP
Inventors: Tatsuya Iizaka; 達也飯坂; Tetsuo Matsui; 哲郎松井
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2000-07-31
Filing date: 2000-07-31
Publication date: 2002-02-08

Abstract

(57)【要約】【課題】解析が容易な構造のニューラルネットワーク
を構築する。学習を高速化する。【解決手段】全結合部分と疎結合部分とを備える階層
型構造のニューラルネットワークの学習方法において、
一つの疎結合部分に単独でさせる学習を全ての疎結合部
分について行う第１ステップと、前記第１ステップによ
り学習済みの全ての疎結合部分を結合して第１ネットワ
ークを生成する第２ステップと、前記第１ネットワーク
に学習を行って第２ネットワークを生成する第３ステッ
プと、前記第２ネットワークに全結合部分を結合して第
３ネットワークを生成する第４ステップと、前記第３ネ
ットワークに学習を行ってニューラルネットワークを生
成する第５ステップとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、各種の制御、予
測、診断に使用されるニューラルネットワークの学習方
法に関し、詳しくは、複数の入力層素子及び複数の中間
層素子を有し、全ての入力層素子に中間層素子が結合さ
れてなる一つの全結合部分と、複数の入力層素子のうち
の一部に中間層素子が結合されてなる疎結合部分とを備
える階層型構造のニューラルネットワークの学習方法に
するものである。

【０００２】

【従来の技術】周知のようにニューラルネットワークは
学習能力を持ち、非線形性、パターンマッチング性能に
優れており、制御、予測、診断等の多くの分野に用いら
れている。このニューラルネットワークとしては多くの
構造が提案されているが、実用化されたその多くは階層
型、特に３階層型のものがほとんどである。階層型のニ
ューラルネットワークは、通常バックプロパゲーション
法（誤差逆伝播法）と呼ばれるアルゴリズムにより学習
し、内部の結合状態が調整される。こうして学習したニ
ューラルネットワークは、学習データと同一の入力デー
タを与えると学習データとほぼ同一の出力をする。ま
た、学習データに近い入力データを与えると学習データ
に近い出力をする特徴がある。最小自乗法によって構築
される回帰式と比較すると、ニューラルネットワークは
非線形性に優れているが、内部構造が複雑で解析が困難
なため、未知データに対してはどのような出力をするか
分からない欠点がある。

【０００３】従来のニューラルネットワークを解析する
方法としては、内部構造を直接解析する例として、代表
的な以下の３例がある。「ニューラルネットワークの構造学習による規則性の
発見と汎化」：日本神経回路学会誌、Vol.1, No.2(199
4)がある。この方法は、忘却の概念によりニューラルネ
ットワークの不要な結合を削除し、必要な結合のみを残
す方法により、内部解析を行う方法である。パターン認
識の分野において、その有効性が示されている。「ファジィニューラルネットワークの構成法と学習
法」：日本ファジィ学会誌、Vol.4, No5.(1992)では、
ファジィとニューロが融合した新しい構造のファジィニ
ューラルネットワークにより、内部解析を可能にしてい
る。「ニューラルネットワークを用いたファジーIF-THEN
ルールの自動抽出」：電気学会論文誌Ｃ，Vol.110-C,N
o.3,(1990)は、分散ニューラルネットワークと言われる
特殊構造をもつニューラルネットワークよりファジィ規
則を抽出することで解析を行っている。

【０００４】また、直接的な内部解析は行っていない
が、出力値の説明・信頼性の評価方法として、特開平１０−７４１８８「データ学習装置およびプラ
ント制御装置」、特願平１１−３２２１３０「ニューラルネットワーク
の出力値の評価装置，評価方法及び記憶媒体」がある。何れの方法も、予測・制御時の入力データに近
い値を学習データより検索して表示する方法である。

【０００５】ニューラルネットワークの学習方法はバッ
クプロパゲーション法が一般的であるが、性能の点で問
題が指摘されている。すなわち、バックプロパゲーショ
ン法ではニューラルネットワークの階層数や素子数を事
前に決定する必要があるが、これらに関する情報が事前
に得られることはなく、ニューラルネットワークを最適
化するためには階層数や素子数を試行錯誤的に探索する
必要がある。特に、ニューラルネットワークの内部構造
が複雑な場合には、探索に時間と手間がかかる。また、
バックプロパゲーション法により得られた学習後のニュ
ーラルネットワークはブラックボックスとなり、中間層
素子の意味付けが困難な場合が多い。

【０００６】上記の問題点に鑑み、特願平１１−０６
６１６５「ニューラルネットワークの最適化学習方法」
や、特願２０００−７１０１１「ニューラルネットワ
ークの最適化学習方法」等、不要な中間層素子や結合を
削減する学習方法が近年提案されている。これらの学習
アルゴリズムを使用すると、非常にコンパクトで性能の
良いニューラルネットワークを構築することが可能であ
る。

【０００７】更に、本発明者による最新の先行技術とし
て、特願２０００−１６６５２８「ニューラルネット
ワーク及びその学習方法、解析方法並びに異常判定方
法」が出願されている。この先行技術は、従来の問題点
をほぼ完全に克服できる技術であり、（１）複数の入力層素子のうちの一部に中間層素子が結
合されてなる疎結合部分を有するニューラルネットワー
クの構造（２）入力層素子と中間層素子との間の全ての重みを初
期化する第１ステップと、任意の入力層素子と中間層素
子との間の結合を削除する第２ステップと、学習誤差を
評価するための評価関数を用いてこの評価関数が小さく
なるように入力層素子と中間層素子との間の重みの修正
量を算出する第３ステップと、任意の入力層素子と中間
層素子との間の重みの修正量を０にする第４ステップ
と、第３ステップ及び第４ステップを経て得られた最終
的な修正量を用いて入力層素子と中間層素子との間の重
みを修正する第５ステップとを有し、学習誤差が規定値
以下になるまで第３ステップ以下の処理を繰り返し実行
するようにしたニューラルネットワークの学習方法等を提供するものである。

【０００８】

【発明が解決しようとする課題】ニューラルネットワー
クはその学習能力、非線形能力、パターンマッチング性
能等、優れた能力のため多くの分野において利用されて
いるが、一般に内部構造が非線形かつ複雑なため、その
出力値がどうして出力されたかを理解し易く説明するこ
とが困難であり、言い換えればニューラルネットワーク
の構造を解析することが難しい。前記，の従来技術
は、対象状態の入力データに近い学習データを検索して
表示する方法であるが、内部解析をしていないため学習
データにない未知の入力データに対しては説明不能であ
る。

【０００９】また、前記，，の従来技術では、内
部解析を行っているため、未知の入力状態に対してもど
のような出力が得られるかが分かる。しかし、の従来
技術はパターン認識のような離散的な問題では有効であ
るが、連続値を対象とする問題は扱えない欠点がある。
，の従来技術は、通常のニューラルネットワーク構
造とは完全に異なる特殊構造のニューラルネットワーク
を用いているので、汎用性に乏しい。特に、の従来技
術はその構造上、入力因子が多くなると指数関数的に学
習時間が増大し、またその能力も通常のニューラルネッ
トワークには及ばない。更に、の従来技術は、ニュー
ラルネットワーク構造が複雑であるばかりでなく、その
解析方法も難しく、また抽出したファジィ規則も単純で
はないという問題がある。そして、前記，の従来技
術は、コンパクトな構造が得られる利点があるが、構造
自体は従来のニューラルネットワークと同じであるの
で、内部解析を行うことは不可能である。

【００１０】更に、前記の先行技術は従来のニューラ
ルネットワークと互換性があり、しかも内部解析が可能
であるという特徴を持ち、解析目的に応じたニューラル
ネットワーク構造を学習時に与えることで、任意の入力
因子と出力との関係を容易に解析できる技術である。そ
のニューラルネットワークの構造は、解析可能な疎結合
部分と精度を保証する全結合部分とからなっている。し
かしながら、疎結合部分と全結合部分とを一括して同時
に学習しているため、まれに、疎結合部分として分離さ
れるべき部分が全結合部分に結合されてしまい、ニュー
ラルネットワークの構造上、解析が困難になる場合があ
る。

【００１１】そこで本発明の解決課題は、ニューラルネ
ットワークの疎結合部分を個別に学習させるステップを
備えることで解析が容易なニューラルネットワーク構造
を得るようにし、しかも、学習速度の向上が可能なニュ
ーラルネットワークの学習方法を提供しようとするもの
である。

【００１２】

【課題を解決するための手段】上記課題を解決するた
め、請求項１記載の発明は、複数の入力層素子及び複数
の中間層素子を有し、全ての入力層素子に中間層素子が
結合されてなる一つの全結合部分と、複数の入力層素子
のうちの一部に中間層素子が結合されてなる疎結合部分
とを備える階層型構造のニューラルネットワークの学習
方法において、一つの疎結合部分に単独でさせる学習を
全ての疎結合部分について行う第１ステップと、前記第
１ステップにより学習済みの全ての疎結合部分を結合し
て第１ネットワークを生成する第２ステップと、前記第
１ネットワークに学習を行って第２ネットワークを生成
する第３ステップと、前記第２ネットワークに全結合部
分を結合して第３ネットワークを生成する第４ステップ
と、前記第３ネットワークに学習を行ってニューラルネ
ットワークを生成する第５ステップと、を有するもので
ある。

【００１３】請求項２記載の発明は、請求項１記載のニ
ューラルネットワークの学習方法において、前記第２ス
テップは、前記第１ステップにより学習済みの複数の疎
結合部分の各々の重要度に応じた比率で疎結合部分を結
合させるステップであることを特徴とする。

【００１４】請求項３記載の発明は、請求項２記載のニ
ューラルネットワークの学習方法において、前記重要度
を、疎結合部分の学習誤差に関する誤差指標の逆数とす
るものである。

【００１５】請求項４記載の発明は、請求項２記載のニ
ューラルネットワークの学習方法において、前記重要度
を、各疎結合部分の出力値と学習データの出力値（教師
値）との相似度を示す相関係数とするものである。

【００１６】請求項５記載の発明は、請求項２記載のニ
ューラルネットワークの学習方法において、前記重要度
を、学習データの入力値と出力値との相似度を示す相関
係数に基づいて決定するものである。

【００１７】請求項６記載の発明は、請求項２記載のニ
ューラルネットワークの学習方法において、前記重要度
を、各疎結合部分の中間層素子の出力の分散に基づいて
決定するものである。

【００１８】請求項７記載の発明は、請求項１〜６の何
れか１項に記載したニューラルネットワークの学習方法
において、前記第３ステップは、中間層と出力層との間
の学習係数を入力層と中間層との間の学習係数よりも大
きくして学習するステップであることを特徴とする。

【００１９】請求項８記載の発明は、請求項１〜７の何
れか１項に記載したニューラルネットワークの学習方法
において、前記第５ステップは、第３ネットワークの全
結合部分の学習係数を疎結合部分の学習係数よりも大き
くして学習するステップであることを特徴とする。

【００２０】請求項９記載の発明は、請求項１〜８の何
れか１項に記載したニューラルネットワークの学習方法
において、前記第４ステップにおいて第２ネットワーク
に結合される全結合部分に対し、第２ネットワークを対
象として複数の学習パターンにより学習させた際の出力
値と教師値との誤差と、入力値とを用いて学習を行わせ
るものである。

【００２１】

【発明の実施の形態】以下、本発明の実施形態を説明す
る。（１）請求項１の発明の実施形態まず、請求項１の発明の実施形態に係るニューラルネッ
トワーク構造を説明する。通常の階層型ニューラルネッ
トワークは、入力層素子と中間層素子が全て結合してい
る（全結合部分という）が、本実施形態が適用される階
層型ニューラルネットワークは、図１に示すように任意
の入力層素子と任意の中間層素子間だけが結合してい
る。すなわち、このニューラルネットワークは、全ての
入力層素子と結合している中間層素子からなる全結合部
分１１と、一部の入力層素子と結合している中間層素子
からなる疎結合部分１２とからなっている。このよう
に、一部の入力層素子との間の重み（重み係数または結
合係数）の値を０にした疎結合部分１２を設けること
で、従来の階層型ニューラルネットワークと完全な互換
性を持つことができる。

【００２２】ここで、前述したの先行技術におけるニ
ューラルネットワークの学習方法を、図２のフローチャ
ートにて沿って説明する。まず、第１ステップＡ１は、
通常のニューラルネットワークの重み初期化処理であ
る。具体的には、通常のニューラルネットワークの各層
の素子間の全ての重みに対して初期値を小さい数の乱数
で与える。ここで、プログラム的に、入力層と中間層と
の間の任意の結合がないニューラルネットワーク構造を
定義してもよい。この場合は、以下の第２，第４ステッ
プの処理は不要である。

【００２３】第２ステップＡ２は、重みを初期化したニ
ューラルネットワークに対し、図１に示したニューラル
ネットワーク構造に変更するための処理である。すなわ
ち、任意の入力層素子と中間層素子との間の結合を削除
する。ここで、結合を削除するための最も簡単な方法
は、任意の重みの値を０に置き換える方法である。

【００２４】第３ステップＡ３は、通常のニューラルネ
ットワークの重み修正量の計算である。学習誤差を評価
する評価関数が小さくなるように、入力層素子と中間層
素子との間の重みの修正量を計算する。ここでの評価関
数の一例を以下の数式（１）に示す。Ｊ＝１／２・（ｏ−ｔ）^２ ……（１）なお、数式（１）において、Ｊ：評価関数、ｏ：ニュー
ロ出力、ｔ：教師値（学習目標値）である。

【００２５】第４ステップＡ４は、図１に示したニュー
ラルネットワーク構造のための重み修正量の計算であ
る。第３ステップＡ３の計算により、結合がない任意の
重みが再構築されることがある。それを防止するために
任意結合の重みの修正量を強制的に０にする。

【００２６】第５ステップＡ５は、重みの修正処理であ
る。第３ステップ、第４ステップを経て計算された最終
的な修正量に従って入力層素子と中間層素子との間の重
みを修正する。重みの修正量を△ｗ_ｉｊ、重みを
ｗ_ｉｊ、学習係数をαとすると、数式（２）により重み
を修正することができる。ｗ_ｉｊ＝ｗ_ｉｊ＋α△ｗ_ｉｊ ……（２）

【００２７】なお、第３ステップＡ３以降の処理は、学
習誤差が規定値以下になって学習終了が確認されるまで
繰り返し行われる（ステップＡ６）。ここで、学習終了
の判断は、評価関数や全学習データに対する誤差が規定
値以下になったかとき、もしくは、学習回数が所定回数
に達したか否かにより判断することができる。

【００２８】上述した先行技術の学習方法では、疎結合
部分１２と全結合部分１１とを区別せずに一括して同時
に学習している。その結果、本来ならば疎結合部分１２
の中間層素子につながるはずの部分（入力層素子）が全
結合部分１１に結合されてしまったり、疎結合部分の結
合が小さく、全結合部分の結合が大きくなりすぎたりし
てニューラルネットワークの構造が解析困難になる場合
があった。

【００２９】そこで、請求項１の発明では、図３に示す
ように、まず、第１ステップＢ１として、一の疎結合部
分に単独でさせる学習を全ての疎結合部分について行
う。次に、第２ステップＢ２として、第１ステップＢ１
により学習済みの全ての疎結合部分を結合して第１ネッ
トワークを生成する。次いで、第３ステップＢ３とし
て、第２ステップＢ２により生成された第１ネットワー
クに学習を行って第２ネットワークを生成する。そし
て、第４ステップＢ４として、第３ステップＢ３により
生成された第２ネットワークに全結合部分を結合して第
３ネットワークを生成し、第５ステップＢ５として、第
４ステップＢ４により生成された第３ネットワークに学
習を行って学習誤差を低減し、ニューラルネットワーク
を生成する。

【００３０】図４は第１ステップＢ１を経たニューラル
ネットワークを示しており、１２Ａ，１２Ｂ，１２Ｃは
それぞれ疎結合部分である。これらの疎結合部分１２
Ａ，１２Ｂ，１２Ｃは関連の強い入力因子同士が一つの
疎結合部分に含まれるように定義されており、図示例で
は関連の強い入力１，２が一つの疎結合部分１２Ａに含
まれている。各疎結合部分１２Ａ，１２Ｂ，１２Ｃは所
定の学習データを与えて各々が単独で学習を行ってお
り、各入力因子と出力との関係が強く学習されている。
ここで、各疎結合部分１２Ａ，１２Ｂ，１２Ｃは比較的
小規模のネットワークであるため、学習速度も速く、局
所解へ陥る危険性も少ない。

【００３１】図５は、第２ステップＢ２により、図４の
疎結合部分１２Ａ，１２Ｂ，１２Ｃを一つに結合して形
成された第１ネットワーク１２Ｄである。なお、このネ
ットワークについて後述の第３ステップＢ３により学習
を行えば、ネットワークの構造上は、図５は第２ネット
ワークを示したものでもある。

【００３２】この場合、複数の疎結合部分を単純に結合
するだけではニューラルネットワークは正常に動作しな
い。例えば、疎結合部分が図示するように三つあり、学
習データの出力値の範囲が０．１〜０．９であったとす
る。第１ステップＢ１において各疎結合部分が良好に学
習できたとすると、入出力特性を示す図６のシグモイド
関数（ニューラルネットワークを構成する各素子（ニュ
ーロン）の入出力特性として、通常、シグモイド関数の
入出力特性が使用される）によれば、各疎結合部分の入
力値の範囲は−２．２〜＋２．２となる。この場合、三
つの疎結合部分を単純に結合すると、入力値の範囲は−
６．６〜＋６．６となってしまい、その結果、出力値の
範囲も０〜１に変わってしまう。これを回避するため
に、入力値の範囲は複数の疎結合部分を結合した後も−
２．２〜＋２．２に保つ必要がある。

【００３３】そこで、結合の方法は各種考えられるが、
ここでは以下の方法を用いる。（１）中間層と出力層との間の結合係数の値を疎結合部
分の数ｎで割る。（２）各疎結合部分を結合する。（３）すべてのパターンを想起し、出力値が所定の範囲
に入っていなければ、その範囲内に収まるように結合係
数を修正する。例えば、出力値の範囲が０．１〜０．９
である場合には入力値が−２．２〜＋２．２になるよう
に、出力値の範囲が０．４〜０．６である場合には入力
値が−０．４〜＋０．４になるようにする。これらの対
応は、図６のシグモイド関数の入出力特性によって決定
される。但し、この誤差が小さい場合には、次の第３ス
テップＢ３の学習だけでも修正は可能である。

【００３４】第２ステップＢ２により生成された第１ネ
ットワークは、複数の疎結合部分を機械的に結合したも
のに相当するので、学習誤差が比較的大きい。そこで、
第３ステップＢ３では、各疎結合部分のバランス調整を
行うために、第１ネットワークに再度、学習させて第２
ネットワークを生成する。また、第５ステップＢ５で
は、学習誤差を更に低減させるために再度、学習を行
う。

【００３５】第３ステップＢ３により生成された第２ネ
ットワークは、疎結合部分１２Ａ，１２Ｂ，１２Ｃのみ
から構成されている。つまり、各入力同士の相互作用が
欠落しているため、誤差の低下にも限界がある。そこ
で、第４ステップＢ４では、各入力同士の相互作用を反
映させた全結合部分１１を追加して第３ネットワーク
（図１のニューラルネットワーク）を形成し、更に第５
ステップＢ５ではこの第３ネットワークを対象として再
度、学習を行う。これにより、最終的に学習誤差が低減
されたニューラルネットワークが生成される。

【００３６】なお、上記各ステップにおける学習アルゴ
リズムとしてはバックプロパゲーションを用いてもよい
が、従来技術として説明した，の学習方法を用いる
方が良好な結果が得られることが確認されている。これ
らの，の学習方法は不要な素子や結合を削除する技
術であるため、汎化能力（例題の学習により、未学習の
入力データに対して妥当な出力を生成できる能力）が高
く、解析が容易なニューラルネットワーク構造を得るこ
とができる。

【００３７】次に、請求項２に記載した発明の実施形態
を説明する。請求項１の発明では、第１ステップＢ１に
より学習した各疎結合部分１２Ａ，１２Ｂ，１２Ｃを対
等に結合している。しかし、各疎結合部分は学習誤差が
小さいものから大きいものまで様々である。そこで、誤
差の低下に重要な働きをする結合部分の結合係数を重視
し、誤差の大きい疎結合部分については結合係数を軽視
するように重み付けして結合する。これにより、結合時
の誤差の増加を防止することができる。結合時の各比率
は、仮に疎結合部分が三つの場合には例えば以下のよう
にする。

【００３８】疎結合部分１の比率＝重要度１／（重要度１＋重要度２＋重要度３）疎結合部分２の比率＝重要度２／（重要度１＋重要度２＋重要度３）疎結合部分３の比率＝重要度３／（重要度１＋重要度２＋重要度３）ここで、重要度１，２，３はそれぞれ疎結合部分１，
２，３の重要度であり、後述するような方法で決定され
る。また、各疎結合部分の中間層と出力層との間の結合
係数（重み）は、それぞれの比率を次式のように掛けた
値である。疎結合部分１の図５の重みｗ_１ｉ＝図４のｗ_１ｉ・疎結合部分１の比率疎結合部分２の図５の重みｗ_２ｉ＝図４のｗ_２ｉ・疎結合部分２の比率疎結合部分３の図５の重みｗ_３ｉ＝図４のｗ_３ｉ・疎結合部分３の比率

【００３９】次に、請求項３に記載した発明の実施形態
を説明する。この発明は、上述した疎結合部分の重要度
の算出方法に関するものである。疎結合部分の重要度
は、重要度＝１／誤差指標により求めることとする。ここで、誤差指標とは、各疎
結合部分についての学習誤差に関する平均誤差、平均二
乗誤差、絶対値平均誤差、最大誤差、またはこれらの誤
差を複合したものを言う。つまり、各疎結合部分につい
て、学習データまたはテストデータを想起して学習誤差
に関する上記誤差指標を求め、その逆数を重要度とす
る。

【００４０】なお、上記誤差指標は、ニューラルネット
ワークの使用目的に応じて適宜選択されるものであり、
例えば、紙幣鑑別技術のように誤りが絶対許されない分
野では、すべての学習誤差が基準以下であって最大誤差
が小さいような誤差指標を作成する。また、降雨予測等
の予測分野では、学習誤差に関する平均誤差や平均二乗
誤差等を誤差指標にする。

【００４１】請求項４に記載した発明の実施形態を説明
する。この発明も、疎結合部分の重要度の算出方法に関
するものである。本実施形態では、疎結合部分の重要度
を、各疎結合部分の出力値と学習データの出力値との相
関関係により算出する。ここで、相関関係は相関係数に
より表され、相関係数とは、−１〜＋１の範囲で相似度
（一致度合い）を示す指標であり、＋１に近いほど良好
に学習していることを示す。すなわち、重要度の算出方
法としては、まず学習データまたはテストデータを想起
し、各疎結合部分の出力値と学習データの出力値との間
の相関係数を算出してこの相関係数をそのまま重要度と
する。

【００４２】次いで、請求項５に記載した発明の実施形
態を説明する。この発明も、請求項３，４と同様に疎結
合部分の重要度の算出方法に関するものである。本実施
形態では、疎結合部分の重要度を、学習データの入力因
子（入力値）と出力因子（出力値）との間の相関係数に
より算出する。ここで、相関係数は−１〜＋１の範囲で
相似度を示す指標であり、＋１または−１に近いほど入
力値と出力値との間の相関が高く、０に近いほど相関が
ランダムであることを示す。

【００４３】重要度の算出方法としては、まず入力因子
と出力因子との間の相関係数を算出する。ここで、入力
層素子が例えば図４のごとく４つある場合には相関係数
が４個算出される。また、図４における疎結合部分１２
Ａのように一つの疎結合部分に複数の入力層素子がある
疎結合部分については、相関係数の絶対値の最大値や平
均値を用いる。こうして算出した相関係数を重要度とす
る。

【００４４】次に、請求項６に記載した発明の実施形態
を説明する。この発明も、請求項３〜５と同様に疎結合
部分の重要度の算出方法に関するものである。本実施形
態では、各疎結合部分の中間層素子を重要度算出に利用
する。すなわち、良好に学習した疎結合部分の中間層素
子の出力の分散は極めて大きく、学習不良の中間層素子
の分散は小さくなる傾向がある。このため、学習データ
またはテストデータをすべて想起して、全中間層素子の
出力の分散を算出し、その分散の値を重要度とする。図
４のように一つの疎結合部分に複数の中間層素子を有す
る場合には、各中間層素子について算出した出力の分散
の最大値や平均値を重要度とする。

【００４５】請求項７に記載した発明の実施形態を説明
する。この発明は、請求項１の発明における第３ステッ
プＢ３の学習に関するものである。第２ステップＢ２に
おける疎結合部分の結合により学習誤差が増大するの
は、中間層と出力層との間の結合係数の修正が適切に行
われていないことが原因であるが、この問題はニューラ
ルネットワークが非線形であるため避けることが難し
い。従って、中間層と出力層との間の結合を重視して学
習することが望ましい。

【００４６】本実施形態における第３ステップＢ３の学
習では、入力層と中間層との間の学習係数を小さくして
（ゼロにする場合も含む）その修正量を小さくし、中間
層と出力層との間の学習係数を大きくして相対的に中間
層と出力層との間の学習係数を増大させる。これによ
り、中間層と出力層との間の結合の成長速度を入力層と
中間層との間の結合の成長速度よりも速めることができ
ると共に、第１ステップＢ１において学習した各疎結合
部分の構造を大きく変更することなく学習することがで
きる。ここで、学習係数とは数式（２）におけるαであ
り、この学習係数αを調整することで結合係数（重み）
の修正量を調整することができる。

【００４７】次に、請求項８に記載した発明の実施形態
を説明する。この発明は、請求項１に記載した発明の第
５ステップＢ５に関するものである。第４ステップＢ４
により第２ネットワークに全結合部分を結合して第３ネ
ットワークを生成し、その後、第５ステップＢ５で学習
を行うことにより、相互作用成分の強い対象についても
良好に学習することができ、学習誤差が減少する。ここ
で、「相互作用成分」とは、複数の入力因子による作用
が出力に現れる成分であって、単独では表せない複雑な
成分を言う。例えば、ニューラルネットワークの出力が
ｙ＝ｘ１＋ｘ２＋ｘ１ｘ２（ｘ１，ｘ２はそれぞれ入力
因子）で表される場合のｘ１ｘ２を指す。しかしなが
ら、この学習の結果、疎結合部分の結合が全結合部分に
吸収されてしまい、生成されたニューラルネットワーク
の構造は解析が難しいものとなる場合がある。

【００４８】そこで本実施形態では、第５ステップＢ５
における第３ネットワークを対象とした学習において、
疎結合部分の学習係数を全結合部分の学習係数よりも小
さくし（ゼロにする場合も含む）、その修正量を小さく
することによって疎結合部分の保全を図るようにした。
つまり、全結合部分の結合の成長速度を疎結合部分の結
合の成長速度よりも速めるようにしたものである。これ
により、疎結合部分だけでは学習しきれない相互作用分
だけを全結合部分で学習することができる。

【００４９】最後に、請求項９に記載した発明の実施形
態を説明する。この発明は、請求項１に記載した発明の
第４ステップＢ４に関するものである。本実施形態で
は、第２ネットワーク（学習済みの第１ネットワーク）
について第３ステップＢ３だけでは学習しきれない誤差
成分だけを学習する全結合部分を構築し、その後、この
全結合部分を疎結合部分のみからなる第２ネットワーク
に結合して更に再学習を行う。

【００５０】本実施形態において、第２ネットワークと
結合する前の全結合部分は小規模であるため、学習が速
く行われ、局所解に陥る可能性も少ない。また、この全
結合部分を第２ネットワークと結合してから行われる再
学習処理も、各疎結合部分は既に構造が殆ど決定されて
おり、各疎結合部分のバランスだけを学習するだけであ
るため高速に学習できるという利点がある。

【００５１】例えば、第３ステップＢ３を経て構築され
た疎結合部分からなる第２ネットワークは、図５に示し
た第１ネットワーク１２Ｄについて学習を終えたもので
ある。また、この第２ネットワークに結合されるネット
ワークは、図７に示すような全結合部分１１Ａであると
する。まず始めに、学習済みの第２ネットワークを対象
として、複数の学習パターン１，２，……，ｎのそれぞ
れについてネットワークの出力値と教師値との誤差を求
める。図８は学習パターン１〜ｎについて、入力１〜入
力４、出力、教師値及び誤差を一覧表示したものであ
る。

【００５２】次に、図８における入力１〜入力４及び誤
差を一覧表示した図９のデータを学習データとし、この
学習データを用いて図７の全結合部分１１Ａに学習を行
わせる。そして、学習を終えた全結合部分１１Ａを、疎
結合部分からなる学習済みの第２ネットワークに結合す
ることにより、構造としては、図１に示すように全結合
部分１１と疎結合部分１２とからなるニューラルネット
ワークが構成される。このニューラルネットワークは、
全結合部分１１Ａによって疎結合部分からなる学習済み
の第２ネットワークの誤差を補償するように作用するの
で、全体として学習誤差の少ないニューラルネットワー
クを構築することができる。なお、結合後のニューラル
ネットワークの学習誤差が大きい場合には、更に通常の
学習データを用いて再度学習すればよい。

【００５３】以上をまとめると、本実施形態の手順は以
下の通りである。（１）複数パターンの学習データを疎結合部分からなる
第２ネットワークが想起し、各学習パターンに対する学
習誤差を算出する。（２）上記学習パターンごとの入力及び誤差から全結合
部分に対する学習データを作成する。（３）全結合部分を構築し、（２）で作成した学習デー
タを用いて学習する。（４）第２ネットワークと全結合部分とを結合する。（５）必要に応じて通常の学習データを用いて学習す
る。

【００５４】

【発明の効果】以上のように本発明は、全結合部分と疎
結合部分とを備える階層型構造のニューラルネットワー
クを前提として、複数の疎結合部分について個別に学習
を行い、次にこれらの疎結合部分を結合して生成した第
１ネットワークに再度学習させて第２ネットワークを構
築し、更に、この第２ネットワークに全結合部分を結合
して生成した第３ネットワークに学習を行って最終的な
ニューラルネットワークを構築するものである。すなわ
ち、小規模なネットワークを対象として学習するステッ
プを含んでいるので、学習速度が速く、局所解に陥る危
険性が少ないと共に、疎結合部分と全結合部分とを同時
に一括して学習するだけの先行技術に比べて、解析容
易な構造を持つニューラルネットワークを構築できると
いう効果がある。

【図面の簡単な説明】

【図１】請求項１の発明の実施形態が適用される階層型
ニューラルネットワーク構造を示す図である。

【図２】先行技術におけるニューラルネットワークの学
習方法を示すフローチャートである。

【図３】請求項１の発明の実施形態を示すフローチャー
トである。

【図４】請求項１の発明の実施形態における第１ステッ
プのネットワーク構造を示す図である。

【図５】請求項１の発明の実施形態における第１ネット
ワークの説明図である。

【図６】シグモイド関数の入出力関係を示す図である。

【図７】請求項９の発明の実施形態における全結合部分
の構造を示す図である。

【図８】請求項９の発明の実施形態における第２ネット
ワークによる学習誤差を示す図である。

【図９】図７の全結合部分の学習データを示す図であ
る。

【符号の説明】

１１，１１Ａ全結合部分１２，１２Ａ，１２Ｂ，１２Ｃ疎結合部分１２Ｄ第１ネットワーク

Claims

【特許請求の範囲】

【請求項１】複数の入力層素子及び複数の中間層素子
を有し、全ての入力層素子に中間層素子が結合されてな
る一つの全結合部分と、複数の入力層素子のうちの一部
に中間層素子が結合されてなる疎結合部分とを備える階
層型構造のニューラルネットワークの学習方法におい
て、一つの疎結合部分に単独でさせる学習を全ての疎結合部
分について行う第１ステップと、前記第１ステップにより学習済みの全ての疎結合部分を
結合して第１ネットワークを生成する第２ステップと、前記第１ネットワークに学習を行って第２ネットワーク
を生成する第３ステップと、前記第２ネットワークに全結合部分を結合して第３ネッ
トワークを生成する第４ステップと、前記第３ネットワークに学習を行ってニューラルネット
ワークを生成する第５ステップと、を有することを特徴とするニューラルネットワークの学
習方法。
【請求項２】請求項１記載のニューラルネットワーク
の学習方法において、前記第２ステップは、前記第１ステップにより学習済み
の複数の疎結合部分の各々の重要度に応じた比率で疎結
合部分を結合させるステップであることを特徴とするニ
ューラルネットワークの学習方法。
【請求項３】請求項２記載のニューラルネットワーク
の学習方法において、前記重要度を、疎結合部分の学習誤差に関する誤差指標
の逆数とすることを特徴とするニューラルネットワーク
の学習方法。
【請求項４】請求項２記載のニューラルネットワーク
の学習方法において、前記重要度を、各疎結合部分の出力値と学習データの出
力値との相似度を示す相関係数とすることを特徴とする
ニューラルネットワークの学習方法。
【請求項５】請求項２記載のニューラルネットワーク
の学習方法において、前記重要度を、学習データの入力値と出力値との相似度
を示す相関係数に基づいて決定することを特徴とするニ
ューラルネットワークの学習方法。
【請求項６】請求項２記載のニューラルネットワーク
の学習方法において、前記重要度を、各疎結合部分の中間層素子の出力の分散
に基づいて決定することを特徴とするニューラルネット
ワークの学習方法。
【請求項７】請求項１〜６の何れか１項に記載したニ
ューラルネットワークの学習方法において、前記第３ステップは、中間層と出力層との間の学習係数
を入力層と中間層との間の学習係数よりも大きくして学
習するステップであることを特徴とするニューラルネッ
トワークの学習方法。
【請求項８】請求項１〜７の何れか１項に記載したニ
ューラルネットワークの学習方法において、前記第５ステップは、第３ネットワークの全結合部分の
学習係数を疎結合部分の学習係数よりも大きくして学習
するステップであることを特徴とするニューラルネット
ワークの学習方法。
【請求項９】請求項１〜８の何れか１項に記載したニ
ューラルネットワークの学習方法において、前記第４ステップにおいて第２ネットワークに結合され
る全結合部分に対し、第２ネットワークを対象として複
数の学習パターンにより学習させた際の出力値と教師値
との誤差と、入力値とを用いて学習を行わせることを特
徴とするニューラルネットワークの学習方法。