JP2003030622A

JP2003030622A - ニューラルネットワーク、その学習方法

Info

Publication number: JP2003030622A
Application number: JP2001210780A
Authority: JP
Inventors: Tatsuya Iizaka; 達也飯坂; Tetsuo Matsui; 哲郎松井
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2001-07-11
Filing date: 2001-07-11
Publication date: 2003-01-31

Abstract

(57)【要約】【課題】予測・診断等の精度が高く、且つ適切な解析
も可能な構造のニューラルネットワークを提供する。【解決手段】先出願（特願2000-230665 ）のニューラ
ルネットワーク構造を前提とし、更に部分的に積結合を
有する構造とする。部分的にとは、例えば全結合部分２
０の中間層素子だけに積結合を持つ構造とする。上記先
出願におけるニューラルネットワークの解析は、疎結合
部分の入出力特性を解析する方法であり、全結合部分は
従来同様解析困難な部分である。つまり、解析困難な部
分にだけに積結合を持つため、不要な結合の発生が抑制
され汎化能力が向上するとともに、学習時間の増加を最
低限に防いでいる。また積成分の結合は複雑で解析困難
になりやすいが、解析対象の疎結合部分には積成分を持
たないため、解析容易である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワークに関する。

【０００２】

【従来の技術】ニューラルネットワークは、学習能力を
持ち、非線形性、パターンマッチングに優れており、制
御、予測、診断など多くの分野に用いられている。

【０００３】ニューラルネットワークは、多くの構造が
提案されているが、実用化されたその多くは、階層型、
特に以下の（１）式のシグモイド関数を持つニューロン
素子を２つ重ねた３階層型（例えば図１６に示す）がほ
とんどである。

【０００４】

【数１】

【０００５】階層型ニューラルネットワークは、バック
プロパゲーション法と呼ばれるアルゴリズムにより学習
され、内部の結合状態が調整される。こうして学習した
ニューラルネットワークは、学習データと同一のデータ
を与えると学習データとほぼ同一の出力をし、学習デー
タに近い入力を与えると学習データに近い出力をする特
徴がある。最小二乗法で構築される回帰式と比較する
と、ニューラルネットワークは非線形性に優れるが、内
部構造が複雑で解析困難なため、未知データに対しては
どのような出力をするか分からない、どうしてそういう
出力結果をしたか分からない等の欠点がある。

【０００６】上記欠点を克服する為の発明として、本出
願人は、既に、特願2000-166528「解析可能なニューラ
ルネットワーク構造、学習法、解析法及びその装置」
（以下、先出願ａという）、特願2000-230665「ニュー
ラルネットワークの学習方法」（以下、先出願ｂとい
う）を提案している。

【０００７】これらは、従来のニューラルネットワーク
と互換性をもちつつ、上記欠点を克服する技術である。
いずれの発明も、図１７に示すニューラルネットワーク
構造であり、疎結合部分で入出力の独立した関係を学習
し、全結合部分で各入出力の複雑な相互作用分を学習す
る。適切に学習できた場合には、疎結合部分から入出力
の独立した関係を抽出することが可能であり、全結合部
分から相互作用分を抽出することができる。通常、相互
作用分は非常に複雑なため解析対象からはずすことが多
い。

【０００８】上記２つの発明の違いは、先出願ａは規模
の大きなニューラルネットワークで学習を開始し、不要
な部分を削除していく学習法（図１８）であるのに対
し、先出願ｂの発明はニューラルネットワークを部分ご
とに学習していく方法（図１９）であることである。

【０００９】以下、先出願ａ、先出願ｂの発明による学
習法について、各々、図１８、図１９を参照して簡単に
説明する。まず、図１８を参照して、先出願ａの学習方
法について簡単に説明する。（Ａ１）図１８（ａ）は、学習開始前のニューラルネッ
トワーク構造を示し、各サブネットワークごとに２つの
中間層素子を有している（合計８つ）。尚、サブネット
ワークとは、疎結合部分、全結合部分の両方を意味す
る。（Ａ２）図１８（ｂ）の学習段階では、上記疎結合部分
と全結合部分の中間層素子を交互に配置する（構造概略
決定）。（Ａ３）図１８（ｃ）では、図１８（ｂ）の学習を経て
いるため、成長によって幾つかの中間層素子が削減され
ている（構造の明確化）。（Ａ４）図１８（ｄ）は、通常の重畳エネルギー関数法
による学習を、図１８（ｃ）の後に行った結果を示す。（Ａ５）図１８（ｅ）には、上記学習によって構築され
るネットワーク構造を示す。

【００１０】次に、図１９を参照して、先出願ｂの学習
方法について簡単に説明する。（Ｂ１）図１９（ａ）は、学習開始時の構造である。解
析目的に応じて疎結合グループを決定し、疎結合をまた
ぐ結合は削除し、残った結合は小さな乱数で初期化す
る。（Ｂ２）図１９（ｂ）は、１回目の学習を行う段階であ
り、各疎結合ごとに独立して学習を行う（疎結合グルー
プ数はＮ個あるとする）。（Ｂ３）図１９（ｃ）は、独立して学習したＮ個の疎結
合を結合して１つのネットワークとして学習する段階で
ある。中間層−出力層間の重み結合の大きさを１／Ｎに
してから学習を開始する。（Ｂ４）図１９（ｄ）の段階では、全結合を付加してさ
らに学習を行う。図１９（ｃ）の段階のニューラルネッ
トワークは、独立した成分は学習可能であるが、各因子
の相互作用等は学習できない。そこで、全結合を付加す
ることで、相互作用分も学習する。（Ｂ５）図１９（ｅ）には、上記学習によって構築され
るネットワーク構造を示す。

【００１１】

【発明が解決しようとする課題】ニューラルネットワー
クは、その学習能力、非線形能力、パターンマッチング
など優れた能力のため、多くの分野に利用されている
が、内部構造が複雑なためにその出力値がどうして出力
されたかを容易に説明することが困難であった。

【００１２】上記先出願ａは、ニューラルネットワーク
を解析し出力値の理由を説明することが可能であるが、
学習の状態によっては、必ずしも適切な解析結果が得ら
れるとは限らなかった。この原因は、入出力の独立した
関係の一部が疎結合部分ではなく全結合部分で学習され
ることがあるからである。これを解消する為の先出願ｂ
の発明は、適切な解析結果が得られやすい利点がある
が、予測・診断等の精度は、先出願ａの発明と比較する
と若干劣ることがある。

【００１３】ここで、近年、例えば図２０に示すような
積結合を持つニューラルネットワークが、その情報処理
能力の高さから注目されている（例えば、「ＰＤＰモデ
ル認知科学とニューロン回路網の探索」Ｄ．Ｅ．ラメル
ハート、Ｊ．Ｌ．マクレランド、ＰＤＰリサーチグルー
プ、甘利俊一監訳；産業図書、「多層高次神経回路網の
能力に関する一考察」馬立新、小田幹雄、宮島廣美；電
学論Ｃ，１１９巻３号，平成１１年、「積結合をもつ神
経回路網による連想記憶能力」屋附秀司、宮島廣美、村
島定行；電子情報通信学会論文誌Ｄ−II Vol.J79-D-
II No.11 pp.1929-1939 １９９６年１１月・・・等で
紹介されている。その各ユニットは、シグマ−パイ・ユ
ニット）sigma-pi unit）と呼ばれている）。一般に、
積結合ニューロは、通常ニューロよりも学習能力が高
い。但し、入力因子が多い場合には、汎化能力は低い傾
向にある。

【００１４】このタイプのニューラルネットワークは、
各ニューロンの積の成分を持つことが特徴である。応答
関数は以下の（２）式の通り。

【００１５】

【数２】

【００１６】積結合をもつニューラルネットワークは、
学習能力が高いという利点がある。よって、積結合を持
つニューラルネットワークに先出願ｂの発明を適用する
ことで、適切な解析結果が得られやすいという利点はそ
のままに、予測・診断等の精度を向上させることができ
る可能性があるが、以下に列挙する問題点があった。 1)積結合ニューロは、結合の数が非常に多く、学習の計
算量が膨大である。特に、入力層素子や中間層素子が多
くなると指数関数的に学習時間がかかる欠点がある。 2)積結合ニューロは、学習能力は高いが汎化能力が低
い。つまり、学習時に与えられた問題に対しては、非常
に小さい誤差で学習可能であるが、実際に予測・診断等
に適用すると、精度が上がらないことが多い。これは、
過学習と呼ばれる現象であり、学習した問題のノイズ成
分までも学習してしまうことが原因である。不要な結合
を削除することで、汎化能力が向上すると言われるが、
積結合ニューロは結合が非常に多く、適切に不要結合を
削除することが難しい。 3)積結合ニューロに先出願ｂの発明を単純に適用するだ
けでは、理解しやすい解析結果が得られない。これは、
積結合ニューロは、結合が多く、さまざまな結合形態が
許されるため、理解しづらい結合形態になることが多い
からである。

【００１７】特に問題になるのは、2)3)の理由であり、
先出願ｂの発明において、予測・診断等の精度を向上さ
せようとして積結合を適用しても、実際には精度が低下
することが多い。また理解し易い解析結果が得られるこ
とは稀である。

【００１８】尚、図２１には、積結合を持つニューラル
ネットワークに先出願ｂの発明を単純に適用した例を示
す。この場合、図示のように全ての素子において積結合
を持つ構造となるが（図では積結合部分のみ示している
が、実際には、サブグループ間において独立している複
数の疎結合部分と、全ての入力因子との結合を持つ１つ
の全結合部分も持つ；つまり図１７に示すニューラルネ
ットワーク構造が省略されて示されている；また、図示
の例では、疎結合部分のうちのＢ及びＣは、入力層の素
子数が１つである為に積結合が存在しないだけであり、
入力層の素子数が複数であれば積結合は存在する）、上
述したように、このような積結合を単純に適用した構造
では、結合が多いために学習時間が掛かる、汎化能力が
劣る、理解しやすい解析結果が得られない等の欠点があ
る。

【００１９】本発明の課題は、上記問題点を解決し、予
測・診断等の精度が高く、且つ適切な解析も可能な構造
のニューラルネットワーク、その学習方法を提供するこ
とである。

【００２０】

【課題を解決するための手段】本発明によるニューラル
ネットワーク構造は、階層型構造のニューラルネットワ
ークにおいて、一部の入力層素子と一部の中間層素子が
結合する疎結合部分を複数有し、または、該複数の疎結
合部分と、全ての入力層素子が特定の中間層素子と結合
する全結合部分とを有し、部分的に積の結合を持つよう
に構成する。

【００２１】上述したように、積結合を単純に先願（特
願2000-230665 ）に適用した場合には、結合が多いため
に、学習時間が掛かる／汎化能力が劣る／理解しやすい
解析結果が得られない等の欠点があるが、本発明によれ
ば部分的に積の結合を持つ、すなわち結合数を少なくす
る為、上記欠点を解消できる。

【００２２】特に、例えば、前記部分的な積の結合は、
前記全結合部分に対する積の結合となるように構成す
る。全結合部分は、解析困難な部分である。つまり、解
析困難な部分にだけに積結合を持つため、不要な結合の
発生が抑制され汎化能力が向上するとともに、学習時間
の増加を最低限に防いでいる。また積成分の結合は複雑
で解析困難になりやすいが、解析対象の疎結合部分の中
間層素子には積成分を持たないため、先願と同様に解析
し易いものとなる。

【００２３】また、本発明によるニューラルネットワー
クの学習方法は、各疎結合部分毎に各々独立して学習を
行わせ、該学習済みの全ての疎結合部分を結合して第
１のネットワークを生成し、該第１のネットワークに学
習を行わせて第２のネットワークを生成し、該第２のネ
ットワークに全結合部分を結合して第３のネットワーク
を生成して学習を行わせる際に、一部に積成分を付加す
る。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。図１は、本例によるニュー
ラルネットワークの学習方法について説明する為のフロ
ーチャート図である。本例の学習法は、ステップＳ１〜
Ｓ３の処理までは、先出願ｂの学習方法における図１９
（ａ）〜（ｃ）の処理とほぼ同じである。すなわち、ま
ず、解析目的に応じて疎結合グループを決定し、疎結合
をまたぐ結合は削除し、残った結合は小さな乱数で初期
化する（ステップＳ１；図１９（ａ）に相当）。

【００２５】次に、各疎結合ごとに独立して学習を行う
（ステップＳ２；図１９（ｂ）に相当）。この段階では
積成分はもたない（積成分を持てば、全ての素子が積成
分を持つため、学習時間が増大するので）。尚、疎結合
部分は、Ｎ個あるとする。

【００２６】次に、上記独立して学習したＮ個の疎結合
を結合して１つのネットワークとして、更に学習させる
（ステップＳ３；図１９（ｃ）に相当）。その際、中間
層−出力層間の重み結合の大きさを１／Ｎにしてから、
学習を開始する。

【００２７】そして、ステップＳ３で学習済みの上記１
つのネットワークに対して、図１９（ｄ）では全結合を
付加してさらに学習を行っていたが、本例では全結合を
付加すると共に一部に積成分を付加して学習させる（ス
テップＳ４）。積成分を付加するタイミングは、ステッ
プＳ４の処理のはじめからでもよいし、ステップＳ４の
最初は積成分なしで学習し、その後の任意のときに積成
分を追加してもよい。

【００２８】尚、先出願ｂでも述べているが、上記の各
学習段階における学習アルゴリズムとしては、バックプ
ロパゲーション法を用いてもよいが、特願平11-066165
や特願2000-071011 の発明の学習方法を用いるほうが、
良好な結果が得られる。これらの発明の学習方法は、不
要な中間層素子や結合を少なくできるものであるので、
汎化能力（例題の学習により、未学習の入力データに対
して妥当な出力を生成できる能力）が高いネットワーク
を構築できる。

【００２９】本発明の最大の特徴は、上記ステップＳ４
のように、部分的に積成分を付加して学習することにあ
る。本発明は、出力値が説明可能（内部解析可能）なニ
ューラルネットワーク構造において、積結合を部分的に
採用することで、内部解析可能かつ、汎化能力が高いニ
ューラルネットワークの構造とその学習方法を提供する
ものである。

【００３０】このように積結合を部分的に採用したニュ
ーラルネットワーク構造を、図２〜図５に示す。尚、図
２〜図５は、積結合のみを示すものとし、他の結合（例
えば図１７に示す結合）は省略して示してある。また、
積結合についても、その数が多すぎる場合には、一部省
略して示してある。

【００３１】図２〜図５のなかで、図２の構造が最も優
れている（ベストモード）。図２は、全結合部分２０の
中間層素子だけに積結合を持つ構造である。ニューラル
ネットワークの解析は、疎結合部分１０の入出力特性を
解析する方法であり、全結合部分２０は、従来同様、解
析困難な部分である。つまり、解析困難な部分にだけに
積結合を持つため、不要な結合の発生が抑制され汎化能
力が向上するとともに、学習時間の増加を最低限に防い
でいる。また積成分の結合は複雑で解析困難になりやす
いが、解析対象の疎結合部分１０の中間層素子には積成
分を持たないため、先出願ｂと同様に解析し易いものと
なる。

【００３２】上記ステップＳ４で図２の構造を適用する
には、例えば、ごく小さな乱数で初期化された積結合
を、全結合部分２０の中間層素子だけに付加して学習を
行う。このようにすると、疎結合部分１０の構造をほと
んど壊すことなく、学習性能を向上させることができ
る。また付加する積結合は全結合部分２０だけであるの
で、汎化能力が著しく低下することはおきない。

【００３３】図３、図４、図５は、積結合を部分的に採
用したニューラルネットワーク構造の他の例である。各
々が、積結合の部分的な採用方法として以下に述べる条
件下で作成されたものの一例である。よって、図示の例
に限るわけではなく、以下に述べる条件を満たすもので
あれば、どのような構造であってもよい。

【００３４】図３は、「積結合は中間層−出力層間の
み」という条件下で作成されたニューラルネットワーク
構造の一例を示す図である。図４は、「積結合は中間層
−出力層間のみ」且つ「同じ疎結合内の積結合を禁止」
という条件下で作成されたニューラルネットワーク構造
の一例を示す図である。

【００３５】図５は、「積結合は同じ疎結合内の積結合
のみ」という条件下で作成されたニューラルネットワー
ク構造の一例を示す図である。尚、図示の例では、疎結
合部分１０のうちのＢ及びＣについては、入力層の素子
数が１つである為に、入力層素子−中間層素子間の積結
合（各々、中間層素子３、４に対する積結合／中間層素
子５、６に対する積結合）が存在しないだけであり、入
力層の素子数が複数であれば上記積結合は存在する。

【００３６】上記の通り、図２〜図５のなかで、図２の
構造が最も優れているのであり、図２と比較した場合に
は各々以下の通りとなる。まず、図３、図４の構造は、
各疎結合間の積の成分規則抽出が可能である。特に図４
の構造は、結合を図３の構造よりも制限しているので、
計算が高速であり、不要結合も生じづらい利点がある。
但し、積成分の抽出は可能であるが、抽出した規則が複
雑となる傾向にあり、必ずしも理解容易とはならない。

【００３７】図５の構造は、他のサブネットワークとの
結合を禁止している。つまり他の積成分の規則抽出はで
きないため、理解しやすい構造が得られる可能性はある
が、ネットワークの自由度が高すぎるために、図２と比
較すると、良好な結果が得られない可能性が残る。

【００３８】以上、本例によるニューラルネットワーク
構造、学習方法について説明した。以下には、本例によ
るニューラルネットワーク構造／学習方法、先出願ａの
手法、先出願ｂの手法、積結合ニューロの各々につい
て、本出願の発明者等が実際に行った実験結果について
説明する。この例では、翌日電力需要量予測を例題とし
ている。

【００３９】学習対象のデータは、翌日の電力需要を予
測するためのデータであり、ニューラルネットワークの
入出力データは図６（ａ）に、学習等の条件は図６
（ｂ）に示す。

【００４０】図６（ａ）に示す通り、入力因子は、電力
（最大電力）、気象（最高気温、最低気温、最小湿度、
天気）、特異日フラグ（土曜、休日）である。電力（最
大電力）は、前日（ｉ−１；ｉは当日）と７日前（ｉ−
７）のデータを入力する。気象（最高気温、最低気温、
最小湿度、天気）は、季節によって異なるが、例えば
“春”については当日ｉ〜２日前（ｉ−２）までのデー
タを入力する。特異日フラグ（土曜、休日）は、当日ｉ
〜２日前（ｉ−２）までとする。また、天気は、数値化
（晴れ：１、曇り：２、雨：３、雪：４）して入力す
る。また、特異日フラグは、平日を０、土曜／休日を１
としている。尚、当日ｉとは、学習後の翌日電力需要量
予測処理においては予測対象日（つまり“翌日”）を意
味するものとなる。

【００４１】また、学習等の条件は、図６（ｂ）に示す
通りであるが、特にここで、学習データが「春期のみ
または１年間」となっているのは、後述する図９、図
１２、図１３が春期のみを学習させて春期の翌日電力需
要量予測処理を実行した結果を示すものであるのに対
し、図１０、図１１、図１４は１年間分学習させて１年
間の翌日電力需要量予測処理を実行した結果を示すもの
であることを意味している。

【００４２】本例で用いた学習データの特徴を図７
（ａ）、（ｂ）に示す。翌日の電力需要と気温との間に
は、図７（ａ）に示すように、下に凸の２次の関係があ
る。これは、気温が低い時には暖房機を、気温が高い時
には冷房機を動かすために電力需要が増大するためであ
る。また、１週間前の電力とは図７（ｂ）に示すように
右肩上がりの関係がある。

【００４３】つまり、先出願ａでも述べているが、通
常、電力需要量を下げる要因は、気温が中程度であって
至近の電力需要量が小さいことであり、逆に電力需要量
を上げる要因は、気温が高すぎるか低すぎるかのどちら
かに偏り、至近の電力需要量が大きいことである。尚、
平日は電力需要が高く、土曜・休日は電力需要が低い関
係がある。

【００４４】このような関係が適切に抽出でき且つ予測
精度が高いニューラルネットワークが望ましいのであ
り、以下、上記学習対象データを用いて学習を行わせた
後のニューラルネットワーク構造の解析結果、及び学習
後のニューラルネットワークを用いて１年間、翌日の電
力需要の予測を行わせた結果について説明する。

【００４５】まず、先出願ａと先出願ｂとを比較する。
図８（ａ）、図８（ｂ）は、先出願ａと先出願ｂの発明
の各々の学習により得られたニューラルネットワークの
構造である。図８（ａ）は先出願ａによる構造、図８
（ｂ）は先出願ｂによる構造を示す。

【００４６】これらについては、実際にこのような結果
になったものであるので、特に説明はしない。尚、本例
によるニューラルネットワーク構造は、ほぼ「図８
（ｂ）のニューラルネットワーク構造＋図２〜図５のい
ずれかの積結合」と同等となる。

【００４７】図９（ａ）、図９（ｂ）は、先出願ａ、先
出願ｂの各々の発明によって学習したニューラルネット
ワークの解析結果である。図９（ａ）は図８（ａ）のニ
ューラルネットワークの解析結果、図９（ｂ）は図８
（ｂ）のニューラルネットワークの解析結果である。

【００４８】図９（ａ）、図９（ｂ）において、横軸は
入力層への入力値であり、電力（１週間前電力）、気
温、フラグ（特異日フラグ）、全結合の各々について、
０〜１の値に正規化したものを用いている。縦軸は、入
力値の変化（出力層）であり、各入力の変化に応じた中
間層素子出力（中間層から出力層への出力）の変化を示
すものである。図７で説明した通り、本学習で用いたデ
ータは、出力すなわち翌日の電力需要と入力との関係
は、１週間前の電力とは右肩上がりの関係、気温とは２
次の関係がある。また、平日（フラグ；０）は電力需要
が高く、土曜・休日（フラグ；１）は電力需要が低い関
係がある。

【００４９】図９（ａ）、図９（ｂ）を参照すると、両
方とも、出力（翌日の電力需要）と電力（１週間前電
力）とは右肩上がりの関係が見られる。また、フラグが
０に近いほど電力需要が高くなり、フラグが１に近いほ
ど電力需要が低いなる関係が見られる。

【００５０】出力（翌日の電力需要）と気温との関係に
ついては、図９（ａ）を参照すれば分かるように、先出
願ａの発明では、上記２次の関係が適切に抽出できてい
ない。一方、図９（ｂ）を参照すれば分かるように、先
出願ｂの発明では、上記２次の関係が適切に抽出できて
いる。

【００５１】図１０には、上記先出願ａと先出願ｂの発
明によって学習したニューラルネットワークによる予測
結果（ここでは１年間の電力需要予測を行った）を示
す。図示の通り、１年間の予測精度は、先出願ａの発明
の方が良好であった。

【００５２】尚、同図において「平均誤差」は毎日の％
誤差を単純平均したものであり、これは参考までに示し
ているだけである。一方、「絶対値平均誤差」は毎日の
％誤差の符号を取ったものの平均値であり、予測精度の
判断にはこの値が重要である。また、「標準偏差」は毎
日の％誤差の標準偏差である。

【００５３】このように、先出願ａの発明では、学習デ
ータの関係を適切に抽出できないことがある反面、予測
精度は良好である。一方、先出願ｂの発明は、先出願ａ
の発明よりも規則の抽出能力が高いが、予測精度が若干
劣る欠点がある。

【００５４】尚、以上のことは、既に上記「発明が解決
しようとする課題」で説明してあることであり、それが
実際の実験により裏付けられていることを、ここで示し
ただけである。

【００５５】次に、通常ニューロと積結合ニューロの予
測精度の差について比較する。２つのニューロの汎化能
力を単純に比較するため、解析可能なニューロ構造にせ
ず（疎結合を作っていない）、全ての素子が結合する従
来のニューラルネットワーク構造で学習した結果を比較
した。

【００５６】予測精度は、図１１に示す通りであり（上
記の通り特に「絶対値平均誤差」が重要）、本例のよう
に入力因子が多い場合には、積結合ニューロの予測精度
は通常ニューロよりも低い。

【００５７】一般に、積結合ニューロは通常ニューロよ
りも学習能力が高いが、入力因子が多い場合には汎化能
力は低い傾向にある。これは、入力因子が多いと結合が
爆発的に増え、データのノイズまで学習してしまうため
である。尚、一方で、一般に、入出力関係に明らかな掛
け算成分が存在する場合及び入力因子が非常に少ない場
合には（例えばｙ＝ｘ₁ｘ₂のような２入力１出力の掛け
算を学習させた場合等）、積結合ニューロの予測精度は
通常ニューロよりも高い傾向にある。

【００５８】本例の電力需要予測のように入力因子が多
い場合には、積結合ニューロは、結合が爆発的に増える
ため、汎化能力が低下する（よって、予測精度が低下す
る）。つまり、積結合ニューロを先出願ｂに単純に適用
するだけでは、逆に予測精度が低下する恐れがある。ま
た、後述するが、積の関係のため、入出力特性が理解し
づらくなる欠点もある。

【００５９】但し、以上の事は、一般的な通常ニューロ
と積結合ニューロについての比較結果であり、本例のよ
うに部分的に積結合を先出願ｂに適用した場合、以下に
述べる結果となる。

【００６０】図１２、図１３は、春季電力需要の関係を
学習したニューラルネットワークの解析結果である。図
１２（ａ）は、積結合を持たないネットワーク構造の解
析結果であり（先出願ｂのもの；図９（ｂ）と同じも
の）、図７（ａ）に示した関係が適切に抽出されてい
る。

【００６１】図１２（ｂ）は、図２に示す構造、すなわ
ち全結合部分にだけ積結合を持つ構造の解析結果であ
る。図示の通り、図１２（ａ）と同様に良好な結果であ
る。図１３（ａ）は、従来で説明した、単純に積結合を
適用した構造、すなわち全ての素子に積結合を持つ構造
の解析結果である。図示の通り、気温とフラグの掛け算
の関係が存在するために、気温と電力の２次の関係が理
解しづらい。

【００６２】図１３（ｂ）、図１３（ｃ）は、各々、図
４、図５に示す構造の解析結果である。図１３（ｂ）の
場合も、図１３（ａ）と同様、掛け算の成分により、理
解しづらい関係が抽出されている。

【００６３】図１３（ｃ）では、気温の２次の関係が抽
出できており、一見理解しやすい規則が抽出できている
が、図７（ａ）の実データの形状と比較して異なり、適
切な規則抽出とはいえない。

【００６４】本実施例が示すように、積結合を持つニュ
ーラルネットワークは学習能力が高い反面、さまざまな
結合形態が許されるために、単純に先出願ｂの発明を適
用するだけでは理解しづらい解析結果しか得られない。
本発明では、積の結合を制限することで、適切な解析結
果が得られる利点がある。

【００６５】図１４に、本発明（図２に示す構造）によ
る予測結果と先出願ｂの発明による予測結果とを、比較
して示す。図示の通り、本発明では、先出願ｂの発明よ
りも良好な結果を示した。

【００６６】このように、本発明によればニューラルネ
ットワークの入出力特性を理解しやすい状態で学習・解
析することができるだけでなく、予測精度も非常に高い
という実験結果が得られた。

【００６７】通常のニューラルネットワークは、内部構
造がブラックボックスと扱われ、入出力特性の解析は困
難である。ニューラルネットワークを解析する手法とし
て、先出願ａの発明があるが、必ずしも学習データから
適切な関係が抽出できるとは限らなかった。先出願ｂ
は、これを改善するための発明であり、規則の抽出能力
が高いが、予測・診断等の精度は先出願ａで学習したニ
ューラルネットワークに劣ることが多い。

【００６８】本発明によれば、先出願ｂと同様に理解し
やすい解析結果が得られるだけでなく、高い予測能力が
得られる。図１５は、上述したニューラルネットワーク
装置の一実現形態である情報処理装置のハードウェア構
成図である。

【００６９】同図に示す情報処理装置３０は、ＣＰＵ３
１、記憶装置３２、入力装置３３、出力装置３４、媒体
駆動装置３５、ネットワーク接続装置３６等を有し、こ
れらがバス３７に接続された構成となっている。同図に
示す構成は一例であり、これに限るものではない。

【００７０】ＣＰＵ３１は、当該情報処理装置３０全体
を制御する中央処理装置であり、後述する記憶装置３２
等に格納されるデータ／プログラムに基づいて、上述し
た各種処理を実行する。

【００７１】記憶装置３２は、例えばＨＤＤや、ＲＯＭ
／ＲＡＭ／フラッシュメモリ等のメモリであり、ニュー
ラルネットワークのデータベース構造（入力層／中間層
／出力層素子の数、重みの大きさ）等が格納される。ま
た、上述した各種処理をＣＰＵ３１で実行させるプログ
ラムを格納している。

【００７２】入力装置３３は、例えば、キーボード、マ
ウス等である。出力装置３４は、ディスプレイ等であ
り、上述したニューラルネットワークの演算結果等を表
示する。

【００７３】媒体駆動装置３５は、可搬記憶媒体３８に
記憶されているプログラム／データ等を読み出す。可搬
記憶媒体３８は、例えば、ＦＤ（フロッピー（登録商
標）ディスク）３８ａ、ＣＤ−ＲＯＭ３８ｂ、その他、
ＤＶＤ、光磁気ディスク等である。上記記憶装置３２に
格納されるプログラム／データは、可搬記憶媒体３８に
記憶されているものであってもよい。すなわち、上述し
た各種処理は、この可搬記憶媒体３８に記憶されている
プログラム／データ等を、媒体駆動装置３５を介して情
報処理装置３０側にロードして実行するものであっても
よい。

【００７４】ネットワーク接続装置３６は、ネットワー
クに接続して、外部の情報処理装置等とプログラム／デ
ータ等の送受信を可能にする構成である。また、上記プ
ログラム／データは、ネットワーク接続装置３６により
接続しているネットワーク（インターネット等）を介し
て、外部の情報提供者側の装置の記憶装置に記憶されて
いるプログラム／データをダウンロードするものであっ
てもよい。

【００７５】本発明は、上記プログラム／データを格納
した記憶媒体（可搬記憶媒体３８等）自体として構成す
ることもできるし、プログラム自体として構成すること
もできる。

【００７６】

【発明の効果】以上、詳細に説明したように、本発明の
ニューラルネットワーク、その学習方法によれば、理解
しやすい解析結果が得られるだけでなく、高い予測能力
が得られる。

【図面の簡単な説明】

【図１】本例によるニューラルネットワークの学習方法
について説明する為のフローチャート図である。

【図２】本例によるニューラルネットワーク構造の一例
を示す図（その１）である（但し、積結合以外の結合は
省略）。

【図３】本例によるニューラルネットワーク構造の一例
を示す図（その２）である（但し、積結合以外の結合は
省略）。

【図４】本例によるニューラルネットワーク構造の一例
を示す図（その３）である（但し、積結合以外の結合は
省略）。

【図５】本例によるニューラルネットワーク構造の一例
を示す図（その４）である（但し、積結合以外の結合は
省略）。

【図６】（ａ）はニューラルネットワークの入出力デー
タ、（ｂ）は学習条件を示す図である。

【図７】本例で用いた学習データの特徴を示す図であ
り、（ａ）は気温と翌日の電力需要との間の関係、
（ｂ）は１週間前の電力と翌日の電力需要との間の関係
を示す図である。

【図８】（ａ）、（ｂ）は、先出願ａと先出願ｂの発明
の各々の学習により得られたニューラルネットワークの
構造である。

【図９】先出願ａと先出願ｂの発明によって学習したニ
ューラルネットワークの解析結果を示す図である。

【図１０】先出願ａと先出願ｂの発明によって学習した
ニューラルネットワークによる予測結果を示す図であ
る。

【図１１】通常ニューロと積結合ニューロの予測精度を
示す図である。

【図１２】電力需要の関係を学習したニューラルネット
ワークの解析結果（その１）である。

【図１３】電力需要の関係を学習したニューラルネット
ワークの解析結果（その２）である。

【図１４】本例による予測精度と先出願ｂの発明による
予測精度とを示す図である。

【図１５】ニューラルネットワーク装置の一実現形態で
ある情報処理装置のハードウェア構成図である。

【図１６】一般的な階層型ニューラルネットワーク（３
階層型）を示す図である。

【図１７】先出願のニューラルネットワーク構造を示す
図である。

【図１８】（ａ）〜（ｅ）は、先出願ａにおける学習方
法を説明する為の図である。

【図１９】（ａ）〜（ｅ）は、先出願ｂにおける学習方
法を説明する為の図である。

【図２０】積結合を持つニューラルネットワーク構造の
一例を示す図である。

【図２１】積結合を持つニューラルネットワークに先出
願ｂを単純に適用した例を示す図である（但し、積結合
以外の結合（図１６に示す結合）は省略）。

【符号の説明】

１０疎結合部分２０全結合部分３０情報処理装置３１ＣＰＵ３２記憶装置３３入力装置３４出力装置３５媒体駆動装置３６ネットワーク接続装置３７バス３８可搬記憶媒体３８ａＦＤ（フロッピーディスク）３８ｂＣＤ−ＲＯＭ

Claims

【特許請求の範囲】

【請求項１】階層型構造のニューラルネットワークに
おいて、一部の入力層素子と一部の中間層素子が結合する疎結合
部分を複数有し、部分的に積の結合を持つことを特徴とするニューラルネ
ットワーク。
【請求項２】階層型構造のニューラルネットワークに
おいて、一部の入力層素子と一部の中間層素子が結合する複数の
疎結合部分と、全ての入力層素子が特定の中間層素子と
結合する全結合部分とを有し、部分的に積の結合を持つことを特徴とするニューラルネ
ットワーク。
【請求項３】前記部分的な積の結合は、前記全結合部
分に対する積の結合であることを特徴とする請求項２記
載のニューラルネットワーク。
【請求項４】各疎結合部分毎に各々独立して学習を行
わせ、該学習済みの全ての疎結合部分を結合して第１のネット
ワークを生成し、該第１のネットワークに学習を行わせて第２のネットワ
ークを生成し、該第２のネットワークに全結合部分を結合して第３のネ
ットワークを生成して学習を行わせる際に、一部に積成
分を付加することを特徴とするニューラルネットワーク
の学習方法。