JP2011054200A - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法 Download PDFInfo
- Publication number
- JP2011054200A JP2011054200A JP2010252478A JP2010252478A JP2011054200A JP 2011054200 A JP2011054200 A JP 2011054200A JP 2010252478 A JP2010252478 A JP 2010252478A JP 2010252478 A JP2010252478 A JP 2010252478A JP 2011054200 A JP2011054200 A JP 2011054200A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- input
- learning
- intermediate layer
- layer element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
従来のネットワークと互換性を有し、内部解析が容易なネットワークの学習方法を提供する。
【解決手段】
入力層素子と中間層素子との間の全ての重みを初期化する第1ステップと、学習前に任意の複数のグループに分類された複数の入力層素子と中間層素子との間の任意の重みを0として結合を削除し、一部のグループの入力層素子のみと結合している中間層素子からなる疎結合部分を生成する第2ステップと、所定の評価関数が小さくなるように重みの修正量を算出する第3ステップと、重みの値を0とした重みの修正量を0にする第4ステップと、第3ステップ及び第4ステップを経て得られた修正量を用いて重みを修正する第5ステップとを有し、学習誤差が規定値以下になるまで第3ステップ以下の処理を繰り返し実行する。
【選択図】 図1
Description
このニューラルネットワークとしては多くの構造が提案されているが、実用化されたその多くは階層型、特に3階層型のものがほとんどである。階層型のニューラルネットワークは、通常バックプロパゲーション法(誤差逆伝播法)と呼ばれるアルゴリズムにより学習し、内部の結合状態が調整される。こうして学習したニューラルネットワークは、学習データと同一の入力データを与えると学習データとほぼ同一の出力をする。また、学習データに近い入力を与えると学習データに近い出力をする特徴がある。
非特許文献3では、分散ニューラルネットワークと言われる特殊構造をもつニューラルネットワークよりファジィ規則を抽出することで解析を行っている。
(1)出力の要因が明確である(x1,x2の要因により変化することが明確である)、
(2)各要因の働きが明確である(x1,x2の独立した成分(回帰式の右辺第1項、第2項)とその相互作用の成分(同第3項)から成り立つ)、
(3)各要因の入出力に対する影響度合いが明確である(x1,x2,x1x2の影響度合いは、a,b,cであり、固定分としてdがある)、といった特徴があり、これらの特徴によって内部解析が容易になっている。
入力層素子と中間層素子との間の全ての重みを初期化する第1ステップと、
学習前に、任意の複数のグループに分類された複数の入力層素子と中間層素子との間の任意の重みを0として結合を削除し、一部のグループの入力層素子のみと結合している中間層素子からなる疎結合部分を有するニューラルネットワーク構造を生成する第2ステップと、
評価関数を、
Jf=1/2・(o−t)2+ε’Σ|wij|
(Jf:評価関数,ε’:忘却係数,wij:重み,o:ニューロ出力,t:教師信号)
とし、この評価関数が小さくなるように入力層素子と中間層素子との間の重みの修正量を、
Δwij’=−η∂Jf/∂wij=Δwij−ε・sgn(wij),
sgn(x)=1(x>0),0(x=0),−1(x<0),
ε=ηε’
(η:学習係数)
により算出する第3ステップと、
重みの値を0とした入力層素子と中間層素子との間の重みの修正量を0にする第4ステップと、
第3ステップ及び第4ステップを経て得られた最終的な修正量を用いて入力層素子と中間層素子との間の重みを修正する第5ステップとを有し、
学習誤差が規定値以下になるまで第3ステップ以下の処理を繰り返し実行するものである。
複数の入力因子について学習データの最大・最小・平均・標準偏差の統計指標を用いて予め定めた判別式により評価値を求め、前記複数の入力因子を前記評価値に基づいて複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成するものである。
複数の入力因子について学習データの入力因子間の相関係数を求め、この相関係数が一定値以上の入力因子同士のグループを形成して複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成するものである。
複数の入力因子について学習データの入力と出力との間の相関係数を求め、この相関係数が所定の範囲にある入力因子同士のグループを形成して複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成するものである。
前記ニューラルネットワークの構造は、任意の複数のグループに分類された複数の入力層素子と中間層素子との間の任意の結合を削除し、一部のグループの入力層素子のみと結合している中間層素子からなる疎結合部分を有するニューラルネットワーク構造であって、
入力層素子と中間層素子との間の全ての重みを初期化する第1処理と、
評価関数を、
Jf=1/2・(o−t)2+ε’Σ|wij|
(Jf:評価関数,ε’:忘却係数,wij:重み,o:ニューロ出力,t:教師信号)
とし、この評価関数が小さくなるように入力層素子と中間層素子との間の重みの修正量を、
Δwij’=−η∂Jf/∂wij=Δwij−ε・sgn(wij),
sgn(x)=1(x>0),0(x=0),−1(x<0),
ε=ηε’
(η:学習係数)
により算出する第2処理と、
第2処理を経て得られた最終的な修正量を用いて入力層素子と中間層素子との間の重みを修正する第3処理とを有し、
学習誤差が規定値以下になるまで第2処理以下の処理を繰り返し実行するものである。
また、本願の請求項2〜4に係る学習方法発明によれば、ニューラルネットワーク構造を学習データの関係から自動的に決定することができる。実施例でも説明したように、第23実施形態に係る発明では入力因子を大まかにグループ化するので、比較的、人間の感覚に一致した構造が得られやすい。
(1)第1実施形態
まず、第1実施形態に係るニューラルネットワーク構造を説明する。
この装置は、予測・診断等を行う機器や計算機であり、記憶装置(HDD、ROM、RAM、外部記憶装置等)13に学習済みのニューラルネットワークのデータベースが保存され、ニューラルネットワークの演算結果を表示・伝送装置(ディスプレイ・プリンタ・スピーカ・LAN・電話回線等)17に出力している。なお、14は入力データ読み込み部、15は重み読み込み部、16はニューロ(ニューラルネットワーク)算出部、18は予測・診断等の結果を保存する保存部である。
(2)第2実施形態
ニューラルネットワークの学習方法に関する第2実施形態を、図5のフローチャートを参照しつつ説明する。
[数式1]
J=1/2・(o−t)2
なお、数式1において、J:評価関数、o:ニューロ出力、t:教師信号(学習目標値)である。
重みの修正量を△wij、重みをwij、学習係数をαとすると、数式2により重みを修正することができる。
[数式2]
wij=wij+α△wij
なお、第3ステップA3以降の処理は、学習誤差が規定値以下になって学習終了が確認されるまで繰り返し行われる(ステップA6)。ここで、学習終了の判断は、評価関数や全学習データに対する誤差が規定値以下になったかとき、もしくは、学習回数が所定回数に達したか否かにより判断することができる。
(3)第3実施形態
第2実施形態で説明した数式1の評価関数では、学習誤差を小さくすることはできるが、不要な結合を含むことが多い。不要な結合はニューラルネットワークの構造を複雑にし、その解析を困難にする大きな原因となる。
[数式3]
Jf=(出力誤差を評価する項)+ε’(ニューラルネットワークの複雑さを評価する項)
具体的には、ニューラルネットワークの複雑さを評価する項の相違により、以下の数式4〜数式7がある。
[数式4]
Jf=1/2・(o−t)2+ε’Σ|wij|
[数式5]
Jf=1/2・(o−t)2+ε’Σwij 2
[数式6]
Jf=1/2・(o−t)2+
ε’(Σ|wij|+βΣ(全結合部分の重み)|wij|)
[数式7]
Jf=1/2・(o−t)2+ε’(Σwij 2+βΣ(全結合部分の重み)wij 2)
ただし、Jf:忘却付き学習の評価関数、ε’:忘却係数、wij:重み、β:係数である。
例えば数式4の評価関数を用いる場合、実際の重みの修正には次の数式8を用いる。なお、数式8において、η:学習係数である。
[数式8]
(4)第4実施形態
第4実施形態は、第2,第3実施形態の学習方法において、第6ステップとして、有効に作用していない不要な中間層素子をバイアス素子(入力層の入力値が変化しても出力値が変化せずに一定値を出力するバイアス素子的な振る舞いをする中間層素子をいう)に融合し、また、入力層の入力値の変化に対して同じ働きをする中間層素子同士を融合することで、中間層素子を削減する学習方法を提供するものである。第1実施形態のニューラルネットワーク構造は、内部解析を目的として疎結合部分を設けたものである。しかし、不要な結合や中間層素子がある場合には、適切に内部解析を行えない問題がある。第3実施形態は、不要な部分を各層素子間の結合単位で削除するが、第4実施形態は中間層素子単位で削除することが特徴である。
中間層素子を削減するための手法として、従来技術である図6のコンパクト構造化法(コンパクト構造化法については、例えば増田達也ほかによる「隠れユニットの合成による階層型ニューラルネットワークのコンパクト構造化」(計測自動制御学会論文集Vol.28,No.4,pp.519-527(1992)を参照)をそのまま適用しても比較的良好な結果が得られるが、図7に示すような処理を行うことにより更に良好な結果が得られる。
コンパクト構造化部分において、まず最初に各中間層素子出力の分散を算出する(ステップB4)。分散とは、中間層素子の重要度や有効性を示す評価指標にも使われる統計指標であり、例えば中間層素子の出力値系列を用いて数式9により表される。
[数式9]
[数式10]
次に、図7に基づいて本発明の実施形態を説明する。基本的な考えは図6と同様であるが、過度の融合を防止するための処理を有する点が特徴となっている。
この実施形態では、ニューラルネットワークの学習中は中間層素子同士の融合をある程度制限している。ニューラルネットワークの中間層素子は、学習の進行に伴って成長し、役割が分化する。学習初期段階において出力値系列が同じような中間層素子(相関が高い)同士であっても学習の進行に伴い出力値系列が変化して相関が低くなる可能性がある。そこで、学習中は融合をある程度制限し、学習終了後に中間層素子の役割が十分明確になった時点で融合を促進するようにした。
また、分散が規定値以下または相関係数が規定値以上の場合にはニューラルネットワークの各層の素子間の重みを記憶することによってニューラルネットワークを保存し(ステップC10)、学習誤差を算出してから中間層素子の融合を行う(ステップC13,C14)。なお、学習誤差の算出は、保存したニューラルネットワークを用いて実際の出力であるニューラルネットワーク出力値と学習目標値との誤差を検出する。その後、学習誤差を再度算出し(ステップC15)、その誤差を融合前の誤差と比較して悪化するか否かを判断する(ステップC16)。学習誤差が悪化するときには融合を禁止し、ステップC17により融合前のニューラルネットワークを復元する(各層の素子間の重みを融合前の値に戻す)。
(5)第5実施形態
第3,第4実施形態のアルゴリズムにより、学習中に生じた不要な中間層素子や不要な結合を削除することが可能であるが、基本的には疎結合部分と全結合部分との成長速度に差がないため、疎結合部分の学習が速やかに行われず、疎結合部分が充分に成長しない可能性がある。もし、疎結合部分が少なく全結合部分が多い場合には、従来のニューラルネットワークと同様に解析が困難である。そこで、この実施形態では疎結合部分の学習を加速して成長を促進するような評価関数を導入する。
[数式11]
J1=1/2・(O1−t)2,
J2=1/2・(O2−t)2 (通常の評価関数)
実際の評価関数は、2つの評価関数J1,J2をまとめて数式12のようになる。
[数式12]
J=γ1J1+γ2J2
数式12の評価関数Jは重畳エネルギー関数と呼ばれており、「重畳エネルギー関数による多層パーセプトロンの冗長性削減」(電子情報通信学会論文誌D-II,Vol.J80-D-II,No.9,pp.2532-2540 1997年9月)等に詳しく説明されている。なお、数式12におけるγ1,γ2は、部分ニューロ1,2の評価関数J1,J2(部分エネルギー関数)の重みを示す。
(6)第6実施形態
第6実施形態は、第5実施形態を改良したものである。
[数式13]
(7)第7実施形態
第7実施形態は、第5,第6実施形態の評価関数の改良に関するものである。
評価関数=成長速度に差を付ける評価関数+不要な中間層素子を抑制する評価関数
具体的な評価関数は、数式14によって表される。
[数式14]
また、数式14の右辺第2項は、数式4〜数式7の何れを使用しても良い。特に、数式6または数式7の何れかを適用すれば、前述のように全結合部分の生成を抑制できるため、疎結合部分の成長が相対的に早くなり、解析容易なニューラルネットワーク構造となる。
(8)第8実施形態
第8実施形態は、第5,第6実施形態の学習方法を交互に複数回実施する方法である。
(b)は第6実施形態による学習(学習段階1)であり、疎結合部分、全結合部分の中間層素子が交互に配置されている。また、部分ニューロは4個形成される。
(c)は第5実施形態による学習(学習段階2)である。(b)の学習を経ているため、成長によっていくつかの中間層素子が削減されている(第3,第4実施形態を付加していた場合)。(c)では部分ニューロは2個となっており、疎結合部分が部分ニューロ1を、疎結合部分及び全結合部分が部分ニューロ2を構成している。
(9)第9実施形態
次に、第9実施形態による解析方法を説明する。この発明は、本発明の方法により充分に学習をし、不要な中間層素子や結合が削除されたニューラルネットワークを対象として、その素子間の結合状態(入力層素子から出力層素子に至る経路等)から内部状態を解析する手法である。典型的なパターンを表2に示す。
(10)第10実施形態
第10実施形態は、入力層素子・中間層素子の評価指標からニューラルネットワーク構造を解析する方法である。解析の対象となるのは請求項1の発明によるニューラルネットワークであり、疎結合部分を有するニューラルネットワークである。
類である。以下、これら4つの評価指標を概説するが、評価指標そのものは本発明の趣旨ではない。
入力信号を利用する方法である。これは、中間層素子から出力層素子へ出力される入力信号の総和であり、中間層素子の有効度を表す指標である。この値が小さいほど出力層素子への影響が少ないため、「不良」素子とみなされる。
(2)effectiveness factor(入力層素子、中間層素子について使用)
重みを利用する方法である。effectiveness factorは中間層素子に結合している全ての重みの二乗和で表される。これは、ニュ−ラルネットワ−ク収束時において、素子に結合している全ての重みが小さければその素子の有効度は低く、「不良」素子であるという考え方である。この方法は、基本的に重みだけで判断が可能なため、前述のgoodness factorのように誤差や出力の計算が不要であり、計算量が少ないという特徴がある。
(3)分散(中間層について使用)
中間層素子の活性度合いを利用する方法である。不要素子は、入力パターンが変化しても出力が変化しないという考え方である。複数の検査用パターンを入力して、中間層素子の出力の分散が大きいもの(出力の変化が大きいもの)を有効素子、分散が小さいものを不要素子とする。
(4)逆写像(入力層について使用)
シグモイド関数を無視し、ニューロ内部構造を線形近似する手法である。入力層から出力層へ至る重みを積和することで、感度の近似値を求める。この指標は、effectiveness factor同様に計算量が少ない利点がある。
(11)第11実施形態
この実施形態は、任意のデータを入力したときの、中間層素子から出力層素子に伝達される情報量から入力因子の出力への影響を解析する方法である。なお、この実施形態も、請求項1の発明によるニューラルネットワークを対象としている。
[数式15]
例えば、図13において、中間層素子1による|v1O1|が最も大きい場合には、入力1の影響が強く、中間層素子2による|v2O2|が最も大きい場合には入力1,入力2の相互作用分が強いと言える。
(12)第12実施形態
第12実施形態は、任意のデータを入力したときの、入力データと中間層素子から出力層素子へ伝達される情報との相関関係から、入力因子の出力への影響を解析する方法である。この発明も、請求項1記載のニューラルネットワークを対象とする。
素子へ伝達される情報量が図14のようになったとする。すなわち、中間層素子1については情報量が次第に増加し、中間層素子2についてはほぼ一定であり、中間層素子3については次第に減少していくとする。これから、以下のことが分かる。
(a)中間層素子1は正の相関、つまり、入力1は出力に対し正の相関がある。
(b)中間層素子2は出力にほとんど影響を与えない。つまり、中間層素子2に結合している入力1、入力2の相互作用はほとんどない。
(c)中間層素子3は、負の相関、つまり、入力2は出力に対し負の相関がある。
(d)出力を大きくするためには、入力1に大きな値を入力し、入力2に小さな値を入力すればよい。
(13)第13実施形態
次に、第13実施形態を説明する。請求項1の発明に係るニューラルネットワークは、その内部に数式16で示されるシグモイド関数を使用している。
[数式16]
y=1/{1+exp(−x)}
シグモイド関数の出力範囲は0〜1であるため、実際に使用するときには、0〜1や0.1〜0.9の値に正規化して用いることが多い。例えば、気温を予測するニューラルネットワークでは、−20〜+50℃を0〜1にし、株価を予測するニューラルネットワークでは、1日の変動幅として−2000〜+2000円を0〜1にする。
そこで本発明は、ニューラルネットワーク出力の実際の上下限値を解析する方法に関する。
(14)第14実施形態
第14実施形態は、第9〜第13実施形態によりニューラルネットワークを解析した結果、ニューラルネットワークが不合理な学習状態に陥ったことを判定するための異常判定方法に関する。また、これに付随する解析・診断システムも開示している。ニューラルネットワークの学習対象がある程度既知である場合には、第9〜第13実施形態の解析方法によりニューラルネットワークの学習状態の良否を判定することができる。例えば、ニューラルネットワークによってダム流入量を予測する場合、ダム流入量は上流流量差分(上流流量の時間差分)との相関が非常に高く、以下の例によって学習不良と判断することが可能である。
(a)上流流量との結合が構築されなかった場合
(b)既存の予測式と内部解析結果との相違が大きい(流量が増加しているのに、流入量が減っているなど)
図15を参照しつつ、本発明の実施形態を説明する。
(1)学習済みニューロ読み込み(ステップE1)
請求項1のニューラルネットワーク構造のニューロを読み込む。ニューロを読み込むとは、その重みや素子数の定義を読み込むことである。
(2)異常判定用DB読み込み(ステップE2)
学習不良を判定するためのDBを読み込む。異常を判定するための基準は、各現象ごとに異なる。例えば、ダム流入量予測では、上述の判定項目(a),(b)が考えられる。具体的な異常判定基準については後述する。
(3)ニューロ解析・診断(ステップE3)
ニューラルネットワークを請求項9〜12の何れかの発明により解析する。そして、先に読み込んだ異常判定用DBと照合して学習状態を診断する。具体的な異常判定方法については後述する。
(4)診断結果表示(ステップE4)
解析・診断の結果を表示し、必要に応じて警告音を発生したり外部へ伝送する。
(15)第15実施形態
第15実施形態は、上述した第14実施形態の異常判定方法において、学習対象の現象が定性的に判明しているときに、ニューラルネットワークの結合状態から異常判定を行う方法である。例えば、ダム流入量予測では、上述のように上流流量差分の影響が大きいことが定性的に判明している。つまり、入力因子としての上流流量差分につながる結合の重みが他の結合の重みと比較して一定値以下ならば異常(学習不良)と判定する方法である。ここで、上流流量差分につながる結合とは、入力層素子(上流流量差分の入力)と中間層素子との結合や、中間層素子(上流流量に関係する疎結合の中間層素子)と出力層素子との結合のことをいう。
(16)第16実施形態
第16実施形態は、第14実施形態の異常判定方法において、ニューラルネットワークの内部状態を示す数値指標から異常判定を行う方法である。第15実施形態との違いは、第15実施形態は重み自体を対象として異常判定データベースにより判定するのに対し、第16実施形態では、第10実施形態で説明した、goodness factor, effectiveness factor, 分散、逆写像等の、入力層素子、中間層素子の有効性を示す各種評価指標を用いて異常判定を行う点である。
(a)上流流量差分に関するgoodness factorが他より低い
(b)上流流量差分に関するeffectiveness factorが他より低い
(c)上流流量差分に関する分散が他より低い
(d)上流流量差分に関する逆写像の正負が逆(負のときに異常)
(17)第17実施形態
第17実施形態は、第14実施形態の異常判定方法において、学習対象の現象を表す数式が存在するときに、その数式とニューラルネットワークの内部状態との相関係数が一定値以下の場合には、学習不良による不合理な状態と判断して異常判定を行うものである。
(18)第18実施形態
第18実施形態は、第14実施形態の異常判定方法において、ニューラルネットワークの出力の上限値が学習データの上限値よりも小さいとき、または、ニューラルネットワークの出力の下限値が学習データの下限値よりも大きいときに、学習不良による異常と判定する方法である。
本実施形態では、第13実施形態により解析したニューラルネットワーク出力の上下限値が学習データの上下限値、もしくは期待した上下限値よりも狭い範囲であった場合には、学習不良と判断して異常判定を行う。
(19)第19実施形態
第19実施形態は、ニューラルネットワークが学習不良であることが前述の第14〜第18実施形態等により判明したときに、自動的に再学習する方法に関する。
(20)第20実施形態
第20実施形態は、第17実施形態において、学習状態の悪い範囲を自動的に特定し、その範囲の学習データを増加させて再学習させる方法に関する。例えば、一般に上流流量差分と出力との間には線形の関係があると言われているが、後述する図27では非線形であり、入力データが0.8以上または0.2未満は飽和している。つまり、入力データが0.8以上と0.2未満は学習状態の悪い範囲である。
〔実施例〕
以下、第1〜第20実施形態に係る実施例を説明する。第1実施例は、主として第14,第4,第8実施形態に係るものである。ここでは、簡単のために数式17に示す2入力1出力の関数を学習させた。なお、x1,x2の符号は、入力層素子と入力データの両方の意味を持つものとする。
[数式17]
y=x1+x2+x1x2
(x1,x2={0.0〜1.0})
学習のアルゴリズムは、図11に示したように3段階の学習を行う方法であり、第3,第4実施形態の中間層素子の融合学習方法、不要中間層素子を抑制する評価関数も組み合わせて使用している。
[数式18]
また、図19は学習前のニューラルネットワークの構造であり、2個の入力層素子と、9個の中間層素子と、1個の出力層素子とからなっている。そして、入力層素子と中間層素子との結合関係では、入力層素子x1とのみ結合している3個の中間層素子を含む疎結合部分12A及び入力層素子x2とのみ結合している3個の中間層素子を含む疎結合部分12Bと、全ての入力層素子x1,x2と結合している3個の中間層素子を含む全結合部分11とから構成されている。
を構成している。この経路の情報はx1にのみ影響されるので、学習対象の関数には、x1だけの項が存在することを示唆している。同様に、左から2番目の中間層素子2はx2に
のみ結合しており、疎結合部分を構成している。この経路の情報はx2にのみ影響される
ので、学習対象の関数には、x2だけの項が存在することも示唆している。これらのこと
は、ニューラルネットワークの素子の結合状態から線形性等を判断する請求項9の発明によって解析される。
次に、図20のニューラルネットワークについて、4個の中間層素子の評価指標を算出すると、表5のようになった。また、2個の入力層素子(入力因子)の評価指標は表6のようになった。
,0.5)の場合、図23は同じく(1,1)の場合、図24は同じく(1,0)の場合
である。
この実施例では、ダムの流入量を予測するニューラルネットワークを解析する。予測に使用する入力因子は、表8に示すように、3つの測水所の流量、流量差分(1時間おきの
過去3時間分の流量)、予測対象ダムの流量、流量差分(1時間おきの過去2時間分の流量)、流域平均雨量(1時間おきの過去20時間分の流域平均雨量)である。
第1実施例と同じ学習アルゴリズムによって獲得したニューラルネットワークの構造を図26に示し、入力値に対する出力層に伝播する情報及び出力値を図27に示す。
きを示すことが分かる。これは第10実施形態による解析結果である。これらのことは、運用者の感覚とよく一致しており、良好な学習結果であると判定することができる。これは、第15,第16実施形態の異常判定方法によるものである。
ている。これは、第17実施形態による異常判別の結果である。特に、入力値がほぼ0.2以下と0.7以上の範囲の学習データに対しては学習不良である。
図30はこのニューラルネットワークの入出力関係を示すもので、電力需要量は、至近の電力実績に対しては正の相関があり、気温に対しては、正の相関と負の相関が入り交じっていることが分かる。気温が低い時には暖房機を、気温が高いときには冷房機を動かすために電力需要が増大する現象と一致する。このことは、電力需要予測を行う運用者の感覚とも完全に一致している。
図32(4月9日)は、気象と電力の相関がない時期であり、予測値は電力実績のみに左右される。
図33(5月30日)は、気象と電力の相関が現れ始め、予測値は電力と気象の2つの要因で決定される。
図34(6月25日)は、夏季に近く気温と電力の相関が強い時期である。予測値は電力の影響が低下し、気温の影響が強くなってきている。
(21)第21実施形態
第1〜第20実施形態では、学習開始前に全結合部分と疎結合部分につながる中間層素子をあらかじめ用意する必要がある。そこで第21実施形態では、疎結合部分だけで学習を行い、疎結合部分だけでは学習しきれないときにのみ全結合部分を追加することとした。すなわち、この発明によれば最初に用意する中間層素子が少なく計算量が少ないため、学習時間の短縮が可能になる。
第4ステップG4は、解析可能なニューロ構造のための修正量の再修正である。第3ス
テップG3の計算により、削除したはずの結合が構築されることがある。それを防止するために、第2ステップで削除した重みに関する修正量を強制的に0にする。
第6ステップG6は、学習終了判断である。なお、このステップは図5におけるステップA6と同一であり、第4実施形態における「第6ステップ」とは異なる。このステップG6において、学習誤差が規定値以下になるか、もしくは規定学習回数に達したら、学習終了と判断する。学習誤差が規定値以下になったか否かは評価関数や全学習データに対する誤差により判断する。ここで、学習誤差が規定値よりも大きい時には学習が終了していないと判断して第7ステップG7に移行する。
(22)第22実施形態
次に、第22実施形態を説明する。
電力需要量予測問題とは、ある地域の翌日の最大電力を予測する問題であり、電力会社において、発電機の起動停止計画を立案するための重要な業務として位置付けられている。電力需要量は、曜日、気温、至近の電力実績等により予測することが可能である。表13に、電力需要量予測を行うための入力因子の例を示す。
(1)第1ステップ
ニューラルネットワークが学習するための学習データの入出力関係を解析する。ここで、入力因子の似たもの同士を複数のグループに分ける。グループ分けの方法は、各入力因子の最大・最小値、標準偏差、相関係数等の単純な統計的手法を利用する方法や、クラスター分析、判別分析等の高度な統計手法等がある。
第1ステップで得られたグループ分けにしたがって、ニューラルネットワークを構築する。図36は4入力1出力のニューラルネットワークであり、入力1と入力2が同グループとして判定された例である。ここで、中間層素子数は、あらかじめ定義された学習条件により異なる。なお、11は全結合部分、12は疎結合部分を示す。
(23)第23実施形態
第23実施形態は、第22実施形態と同様に学習開始時のステップ(任意結合の削除ステップ)における入力因子のグループ分けに関するものであり、データの最大・最小・平均・標準偏差等の単純な統計値を用いて入力因子のグループ分けを行う方法である。
(1)判別式例1
評価値i=int(log10(abs(最大値i−最小値i))+0.5) (最小値i≧0)
評価値i=−int(log10(abs(最大値i−最小値i))+0.5) (最小値i<0)
(2)判別式例2
評価値i=int(ln(標準偏差i)+0.5)
(3)判別式例3
評価値i=int(log10(平均i)+0.5)
ただし、
i:入力因子番号
評価値i:i番目の入力因子の評価値
int:小数点以下を切り捨てて整数にする関数
abs:絶対値を求める関数
である。
(24)第24実施形態
第24実施形態も、第22実施形態と同様に学習開始時のステップ(任意結合の削除ステップ)における入力因子のグループ分けに関するものであり、入力因子間の相関係数を用いてグループ分けを行う方法である。
(25)第25実施形態
第24実施形態では、入力因子間の相関係数によりグループ分けを行っている。しかしこの方法は、入力因子の数が増加すると指数関数的に計算量が増える欠点がある。そこで、簡便な方法として、入力因子と出力因子との間の相関係数だけに着目してグループ分けを行う。具体的には、出力因子に対して同程度の相関係数である入力因子同士を同じグループとしてまとめる。
〔実施例〕
次に、第23実施形態の実施例を説明する。
評価値=int(log10(abs(最大値i−最小値i))+0.5) (最小値i≧0)
評価値=−int(log10(abs(最大値i−最小値i))+0.5) (最小値i<0)
各入力因子と出力との相関係数(表16の右端の列)を0.2刻みにグループ化すれば、以下のように6グループに分類することができる。
グループ2(0.0〜0.2):入力因子13〜15
グループ3(−0.0〜−0.2):入力因子11
グループ4(−0.2〜−0.4):入力因子3〜7,10
グループ5(−0.4〜−0.6):入力因子8,12
グループ6(−0.6〜−0.8):入力因子9
12,12A,12B 疎結合部分
13 記憶装置
14 入力データ読み込み部
15 重み読み込み部
16 ニューロ算出部
17 表示・伝送装置
18 予測・診断の保存部
21 記憶装置
22 ニューロ読み込みモジュール
23 異常判定用データベース読み込みモジュール
24 解析・診断モジュール
25 ブザー
26 表示装置
27 LAN・電話回線
Claims (5)
- 計算機を用いて複数の入力層素子及び複数の中間層素子を有する階層型構造のニューラルネットワークを学習するためのニューラルネットワークの学習方法において、
入力層素子と中間層素子との間の全ての重みを初期化する第1ステップと、
学習前に、任意の複数のグループに分類された複数の入力層素子と中間層素子との間の任意の重みを0として結合を削除し、一部のグループの入力層素子のみと結合している中間層素子からなる疎結合部分を有するニューラルネットワーク構造を生成する第2ステップと、
評価関数を、
Jf=1/2・(o−t)2+ε’Σ|wij|
(Jf:評価関数,ε’:忘却係数,wij:重み,o:ニューロ出力,t:教師信号)
とし、この評価関数が小さくなるように入力層素子と中間層素子との間の重みの修正量を、
Δwij’=−η∂Jf/∂wij=Δwij−ε・sgn(wij),
sgn(x)=1(x>0),0(x=0),−1(x<0),
ε=ηε’
(η:学習係数)
により算出する第3ステップと、
重みの値を0とした入力層素子と中間層素子との間の重みの修正量を0にする第4ステップと、
第3ステップ及び第4ステップを経て得られた最終的な修正量を用いて入力層素子と中間層素子との間の重みを修正する第5ステップとを有し、
学習誤差が規定値以下になるまで第3ステップ以下の処理を繰り返し実行することを特徴とするニューラルネットワークの学習方法。 - 請求項1における第2ステップにおいて、
複数の入力因子について学習データの最大・最小・平均・標準偏差の統計指標を用いて予め定めた判別式により評価値を求め、前記複数の入力因子を前記評価値に基づいて複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成することを特徴とするニューラルネットワークの学習方法。 - 請求項1における第2ステップにおいて、
複数の入力因子について学習データの入力因子間の相関係数を求め、この相関係数が一定値以上の入力因子同士のグループを形成して複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成することを特徴とするニューラルネットワークの学習方法。 - 請求項1における第2ステップにおいて、
複数の入力因子について学習データの入力と出力との間の相関係数を求め、この相関係数が所定の範囲にある入力因子同士のグループを形成して複数のグループに分類し、それらのグループごとに疎結合部分を有するニューラルネットワーク構造を生成することを特徴とするニューラルネットワークの学習方法。 - 計算機を用いて複数の入力層素子及び複数の中間層素子を有する階層型構造のニューラルネットワークを学習するためのニューラルネットワークの学習方法において、
前記ニューラルネットワークの構造は、任意の複数のグループに分類された複数の入力層素子と中間層素子との間の任意の結合を削除し、一部のグループの入力層素子のみと結合している中間層素子からなる疎結合部分を有するニューラルネットワーク構造であって、
入力層素子と中間層素子との間の全ての重みを初期化する第1処理と、
評価関数を、
Jf=1/2・(o−t)2+ε’Σ|wij|
(Jf:評価関数,ε’:忘却係数,wij:重み,o:ニューロ出力,t:教師信号)
とし、この評価関数が小さくなるように入力層素子と中間層素子との間の重みの修正量を、
Δwij’=−η∂Jf/∂wij=Δwij−ε・sgn(wij),
sgn(x)=1(x>0),0(x=0),−1(x<0),
ε=ηε’
(η:学習係数)
により算出する第2処理と、
第2処理を経て得られた最終的な修正量を用いて入力層素子と中間層素子との間の重みを修正する第3処理とを有し、
学習誤差が規定値以下になるまで第2処理以下の処理を繰り返し実行することを特徴とするニューラルネットワークの学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252478A JP5234085B2 (ja) | 2010-11-11 | 2010-11-11 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252478A JP5234085B2 (ja) | 2010-11-11 | 2010-11-11 | ニューラルネットワークの学習方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000166528A Division JP2001344590A (ja) | 2000-05-31 | 2000-05-31 | ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011054200A true JP2011054200A (ja) | 2011-03-17 |
JP5234085B2 JP5234085B2 (ja) | 2013-07-10 |
Family
ID=43943049
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010252478A Expired - Lifetime JP5234085B2 (ja) | 2010-11-11 | 2010-11-11 | ニューラルネットワークの学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5234085B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160117537A (ko) | 2014-02-10 | 2016-10-10 | 미쓰비시덴키 가부시키가이샤 | 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법 |
JP2019049977A (ja) * | 2017-09-08 | 2019-03-28 | ビバンテ コーポレーション | 畳み込みニューラルネットワークのための刈り込みと再学習法 |
WO2019212013A1 (ja) * | 2018-05-01 | 2019-11-07 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
EP3636904A2 (en) | 2018-10-09 | 2020-04-15 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
EP3636905A2 (en) | 2018-10-09 | 2020-04-15 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
EP3690558A1 (en) | 2019-02-01 | 2020-08-05 | Toyota Jidosha Kabushiki Kaisha | Control device of internal combustion engine, in-vehicle electronic control unit, machine learning system, control method of internal combustion engine, manufacturing method of electronic control unit, and output parameter calculation device |
CN112597888A (zh) * | 2020-12-22 | 2021-04-02 | 西北工业大学 | 一种针对cpu运算优化的在线教育场景学生注意力识别方法 |
WO2021070653A1 (ja) * | 2019-10-07 | 2021-04-15 | 日本電気株式会社 | 情報取得装置、情報取得方法および記録媒体 |
CN113496194A (zh) * | 2020-03-19 | 2021-10-12 | 本田技研工业株式会社 | 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质 |
JP2022077510A (ja) * | 2020-11-11 | 2022-05-23 | ディープキューブ リミテッド | クラスタ接続ニューラルネットワーク |
JP7439470B2 (ja) | 2019-04-11 | 2024-02-28 | 富士電機株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04118741A (ja) * | 1990-09-10 | 1992-04-20 | Toshiba Corp | ニューラルネットワーク装置 |
JPH05346916A (ja) * | 1992-04-14 | 1993-12-27 | Omron Corp | ニューラルネットワークの前処理装置及びパラメータ設定装置 |
JPH06231289A (ja) * | 1993-02-05 | 1994-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 時系列予測方法 |
JPH07146852A (ja) * | 1993-11-24 | 1995-06-06 | Ricoh Co Ltd | ニューラルネットワークの構造簡略化方法 |
JPH11120158A (ja) * | 1997-10-15 | 1999-04-30 | Advantest Corp | 階層型ニューラルネットワークの学習方法 |
-
2010
- 2010-11-11 JP JP2010252478A patent/JP5234085B2/ja not_active Expired - Lifetime
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04118741A (ja) * | 1990-09-10 | 1992-04-20 | Toshiba Corp | ニューラルネットワーク装置 |
JPH05346916A (ja) * | 1992-04-14 | 1993-12-27 | Omron Corp | ニューラルネットワークの前処理装置及びパラメータ設定装置 |
JPH06231289A (ja) * | 1993-02-05 | 1994-08-19 | Nippon Telegr & Teleph Corp <Ntt> | 時系列予測方法 |
JPH07146852A (ja) * | 1993-11-24 | 1995-06-06 | Ricoh Co Ltd | ニューラルネットワークの構造簡略化方法 |
JPH11120158A (ja) * | 1997-10-15 | 1999-04-30 | Advantest Corp | 階層型ニューラルネットワークの学習方法 |
Non-Patent Citations (4)
Title |
---|
CSNG199901082001; 石川 眞澄: 'ニューラルネットの忘却付き構造学習' 日本ファジィ学会誌 第9巻/第1号, 19970215, pp.2-9 * |
CSNG200000428008; 星 宗王: '不要な結合重みを削除するニューラルネットワーク専用ハードウェア' 電子情報通信学会技術研究報告 第95巻/第502号, 19960131, pp.57-64 * |
JPN6008054504; 星 宗王: '不要な結合重みを削除するニューラルネットワーク専用ハードウェア' 電子情報通信学会技術研究報告 第95巻/第502号, 19960131, pp.57-64 * |
JPN6008054505; 石川 眞澄: 'ニューラルネットの忘却付き構造学習' 日本ファジィ学会誌 第9巻/第1号, 19970215, pp.2-9 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10796223B2 (en) | 2014-02-10 | 2020-10-06 | Mitsubishi Electric Corporation | Hierarchical neural network apparatus, classifier learning method and discriminating method |
KR20160117537A (ko) | 2014-02-10 | 2016-10-10 | 미쓰비시덴키 가부시키가이샤 | 계층형 뉴럴 네트워크 장치, 판별기 학습 방법 및 판별 방법 |
JP2019049977A (ja) * | 2017-09-08 | 2019-03-28 | ビバンテ コーポレーション | 畳み込みニューラルネットワークのための刈り込みと再学習法 |
JP7232599B2 (ja) | 2017-09-08 | 2023-03-03 | ビバンテ コーポレーション | 畳み込みニューラルネットワークのための刈り込みと再学習法 |
WO2019212013A1 (ja) * | 2018-05-01 | 2019-11-07 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
JP2019194754A (ja) * | 2018-05-01 | 2019-11-07 | 日本電信電話株式会社 | 解析装置、方法、及びプログラム |
EP3636904A2 (en) | 2018-10-09 | 2020-04-15 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
US10864900B2 (en) | 2018-10-09 | 2020-12-15 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
EP3636905A2 (en) | 2018-10-09 | 2020-04-15 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
US11732664B2 (en) | 2018-10-09 | 2023-08-22 | Toyota Jidosha Kabushiki Kaisha | Control device of vehicle drive device, vehicle-mounted electronic control unit, trained model, machine learning system, method of controlling vehicle drive device, method of producing electronic control unit, and output parameter calculation device |
CN111520241A (zh) * | 2019-02-01 | 2020-08-11 | 丰田自动车株式会社 | 内燃机控制装置和方法、车载电控单元和制造方法、机器学习系统及输出参数计算装置 |
EP3690558A1 (en) | 2019-02-01 | 2020-08-05 | Toyota Jidosha Kabushiki Kaisha | Control device of internal combustion engine, in-vehicle electronic control unit, machine learning system, control method of internal combustion engine, manufacturing method of electronic control unit, and output parameter calculation device |
US11230985B2 (en) | 2019-02-01 | 2022-01-25 | Toyota Jidosha Kabushiki Kaisha | Control device of internal combustion engine, in-vehicle electronic control unit, machine learning system, control method of internal combustion engine, manufacturing method of electronic control unit, and output parameter calculation device |
CN111520241B (zh) * | 2019-02-01 | 2022-04-26 | 丰田自动车株式会社 | 内燃机控制装置和方法、车载电控单元和制造方法、机器学习系统及输出参数计算装置 |
JP7439470B2 (ja) | 2019-04-11 | 2024-02-28 | 富士電機株式会社 | 情報処理装置、情報処理方法、及びプログラム |
WO2021070653A1 (ja) * | 2019-10-07 | 2021-04-15 | 日本電気株式会社 | 情報取得装置、情報取得方法および記録媒体 |
JP7421046B2 (ja) | 2019-10-07 | 2024-01-24 | 日本電気株式会社 | 情報取得装置、情報取得方法およびプログラム |
CN113496194B (zh) * | 2020-03-19 | 2024-03-12 | 本田技研工业株式会社 | 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质 |
CN113496194A (zh) * | 2020-03-19 | 2021-10-12 | 本田技研工业株式会社 | 信息处理装置、信息处理方法、车辆、信息处理服务器和记录介质 |
JP2022077510A (ja) * | 2020-11-11 | 2022-05-23 | ディープキューブ リミテッド | クラスタ接続ニューラルネットワーク |
JP7235836B2 (ja) | 2020-11-11 | 2023-03-08 | ディープキューブ リミテッド | クラスタ接続ニューラルネットワーク |
CN112597888B (zh) * | 2020-12-22 | 2024-03-08 | 西北工业大学 | 一种针对cpu运算优化的在线教育场景学生注意力识别方法 |
CN112597888A (zh) * | 2020-12-22 | 2021-04-02 | 西北工业大学 | 一种针对cpu运算优化的在线教育场景学生注意力识别方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5234085B2 (ja) | 2013-07-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5234085B2 (ja) | ニューラルネットワークの学習方法 | |
CN109284866B (zh) | 商品订单预测方法及装置、存储介质、终端 | |
Salmeron et al. | Fuzzy grey cognitive maps in reliability engineering | |
Aladag et al. | Improving weighted information criterion by using optimization | |
CN110110887A (zh) | 对低压台区线损率的预测方法 | |
US9934470B2 (en) | Production equipment including machine learning system and assembly and test unit | |
CN101334893A (zh) | 基于模糊神经网络的融合图像质量综合评价方法 | |
JP3897169B2 (ja) | 決定木生成方法およびモデル構造生成装置 | |
CN112330050A (zh) | 一种基于双层XGBoost考虑多特征的电力系统负荷预测方法 | |
Gautam et al. | TOPSIS for multi criteria decision making in intuitionistic fuzzy environment | |
JPH10222493A (ja) | 相互因果関係解析システム | |
WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
Hemageetha et al. | Radial basis function model for vegetable price prediction | |
Nhita | A rainfall forecasting using fuzzy system based on genetic algorithm | |
JP2001344590A (ja) | ニューラルネットワーク及びその学習方法、解析方法並びに異常判定方法 | |
CN105894111B (zh) | 一种基于互补型模糊神经网络的能源用量预测方法和装置 | |
CN112580902A (zh) | 对象数据处理方法、装置、计算机设备和存储介质 | |
CN117313160B (zh) | 一种隐私增强的结构化数据仿真生成方法及系统 | |
CN117674119A (zh) | 电网运行风险评估方法、装置、计算机设备和存储介质 | |
CN112579708A (zh) | 一种基于改进局部路径的链路预测相似性指标方法 | |
Pisica et al. | Feature selection filter for classification of power system operating states | |
Lee et al. | Stock networks analysis in kuala lumpur stock exchange | |
CN113505305A (zh) | 基于解耦式双通道超图神经网络的协同过滤推荐方法和系统 | |
Jain et al. | Towards context-based model selection for improved crop price forecasting | |
Utama et al. | ANFIS multi criteria decision making for overseas construction projects: a methodology |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20110422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130311 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5234085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160405 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |