JP2003337932A - ニューラルネットワークによる予測装置、予測方法、および予測プログラム - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】ニューラルネットワークを用いて予測モデルを
構築する際に、学習後の予測モデルの解析が困難であっ
たり、結合荷重の初期値によって異なる予測モデルが得
られたり、少ないサンプル数では学習が困難であったり
する問題がを解決する予測モデルを提供する。 【解決手段】変数ｘの局在範囲でのみ増加または減少傾
向をもつシグモイド状の関数ｇ（ｘ）を中間層上のユニ
ット（中間ユニット）の出力関数として用いるネットワ
ークを構成し、制御対象または予測対象に対して事前に
行われたオンラインまたはオフラインの同定結果である
線形写像を各中間ユニットの出力が入力信号の構成する
超平面において区分的に実現することで、初期状態のネ
ットワークの入出力写像が必要範囲全体の線形写像を実
現するように、入力ユニットから中間ユニットへの結合
荷重、中間ユニットへのバイアス入力、中間ユニットか
ら出力ユニットへの結合荷重、出力ユニットへのバイア
ス入力の初期値を決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、市場需要や制御対
象等の予測を行うための装置、方法、およびプログラム
に関する。

【０００２】

【従来の技術】ニューラルネットワークは、一般に入力
層、中間層、出力層の 3 層で構成されており、入力層
には予測すべき対象量（予測対象）に影響を与えると考
えられる要素に相当する信号が入力として与えられる
（入力信号）。一方、出力層からはニューラルネットワ
ークによる予測値が出力される。例えば、日経平均株価
指数といった景気予測を例にとれば、入力信号として、
現時点で得られる鉄工業精算指数、製造業原材料消費指
数、有効求人倍率などが考えられ、出力層からの出力と
して翌月の日経平均株価指数の予測値を出力することが
考えられる。また、ニューラルネットワークの出力は一
系統だけでなく、複数系統とすることもある。

【０００３】以下、入力層のユニット（入力ユニット）
の数を I 個、中間層のユニット（中間ユニット）の数
を J 個とする。記述の都合上、上付き添え字 ^ 記号
で、下付き添え字を _ 記号で表現することとする。I
は予測対象に影響を与えると考えられる要素（入力信
号）の個数で決められるが、中間ユニットの数は経験的
または実験的に決められる。各中間ユニットでは、前段
の入力ユニットからの入力 y_i^(0) (0 <= i < I) と結
合荷重 w_j,i^(1) の積和を内部値 U_j^(1) (0 <= j<
J) とする。この内部値に対してバイアス入力 w_j,I^
(1) を加算した後に、出力関数 f を用いた非線形変換
を行い中間ユニットの出力値 y_j^(1) が決定される。
すなわち、

【０００４】

【数１】

【０００５】

【数２】

【０００６】なお、バイアス入力の加算した後の値を内
部値として考える場合もある。ところで従来のニューラ
ルネットワークではシグモイド状の出力関数として次式
に示される 2 つのタイプのどちらかが頻繁に使われて
いる。

【０００７】

【数３】

【０００８】

【数４】

【０００９】これらの出力関数は、その性質上、どの x
においてもその微小変化が f(x) に影響を与える。こ
のことが従来のニューラルネットワークが学習完了した
際に、各中間ユニットの役割を明確化できないという問
題を引き起こしている。つまり、常に全ての中間ユニッ
トがネットワーク全体の出力に少なからず影響を与えて
いるために、得られた予測モデルの内部解析が非常に困
難になっている（解析困難性の問題）。

【００１０】出力ユニットでは、中間ユニットからの入
力 y_j^(1) と結合荷重 w_j^(2) (0<=j < J) の積和を
計算し、これからバイアス入力 w_J^(2) を加算した値
をネットワークの出力値 y_m として出力する。すなわ
ち、

【００１１】

【数５】

【００１２】ニューラルネットワークの学習とは、中間
層における結合荷重 w_j,i^(1) とバイアス入力 w_j,I^
(1)、出力層における結合荷重 w_j^(2) とバイアス入力
w_J^(2) の大きさを修正していく動作のことである。
予測モデルを構築する際の、従来のニューラルネットワ
ークにおける修正の指針は、ニューラルネットワークの
出力 y_m （予測値）が教師信号 y_p、例えば、日経平
均株価指数の実測値と一緒になるようにすることであ
る。数式で記述するならば以下の評価関数を最小化する
ことになる。

【００１３】

【数６】

【００１４】上式に基づき最急降下法または変分法の枠
組みから漸化式を求め、反復演算により w_j,i^(1)、w_
j,I^(1)、w_j^(2)、w_J^(2) を更新する。なお、これら
のパラメータの初期値は乱数により与えられるために、
初期値によって収束が困難になる、または、最終的に得
られるニューラルネットワークの特性が変わってしま
う、という問題点がある（結合荷重の初期値によって異
なる予測モデルが得られるという問題）。

【００１５】加えて、従来のニューラルネットワークで
は学習対象の入出力写像に対して前提条件を持たないと
いう利点に伴う問題点として、少ないサンプル数では良
好な学習が達成できないという問題点がある（少ないサ
ンプル数では学習が困難であるという問題）。

【００１６】以上述べたように、従来のニューラルネッ
トワークには改善すべき問題が少なからず残されている
とはいえ、従来のニューラルネットワークを用いた予測
については既に多くの特許が出願されている。例えば、
学習用サンプルに対してニューラルネットワークがオー
バーフィッティングするのを回避するための学習停止機
能を備えたもの「特開2001-216287」、従来のニューラ
ルネットワークを空調熱負荷予測システムに適用したも
の「特開平8-35706」、複数のニューラルネットワーク
を学習させておいて予測値が良好なものを継続して用い
るもの「特開平10-143490」がある。

【００１７】

【発明が解決しようとする課題】従来のニューラルネッ
トワークをそのまま用いる上記出願特許における予測モ
デルは、学習後の予測モデルの解析が困難であるという
問題、結合荷重の初期値によって異なる予測モデルが得
られるという問題、少ないサンプル数では学習が困難で
あるという問題を持っている。これらの問題は従来のニ
ューラルネットワークに本質的に内在するものであるた
めに、従来とは異なる設計指針を構築したうえで、予測
モデルを設計する以外に回避することができない。

【００１８】本発明は、このような従来の構成が有して
いた問題を解決しようとするものである。すなわち、学
習後の予測モデルの解析が困難であるという問題、結合
荷重の初期値によって異なる予測モデルが得られるとい
う問題、少ないサンプル数では学習が困難であるという
問題を解決する予測モデルを実現することを目的とする
ものである。

【００１９】

【課題を解決するための手段】請求項１に記載された予
測装置は、変数 x の局在範囲でのみ増加または減少傾
向をもつシグモイド状の関数 g(x) を中間層上のユニッ
ト（中間ユニット）の出力関数として用いるネットワー
クを構成し、制御対象または予測対象に対して事前に行
われたオンラインまたはオフラインの同定結果である線
形写像の増減傾向を、各中間ユニットの出力が入力信号
の空間において区分的に実現することで、初期状態のネ
ットワークの入出力写像が必要範囲全体の同定結果であ
る線形写像を実現するように、入力ユニットから中間ユ
ニットへの結合荷重、中間ユニットへのバイアス入力、
中間ユニットから出力ユニットへの結合荷重、出力ユニ
ットへのバイアス入力の初期値を決定することを特徴と
する、入力層、中間層、出力層の 3 層構造またはそれ
以上の層を持つニューラルネットワークを用いることを
特徴とする。

【００２０】請求項２に記載された予測装置は、結合荷
重、バイアス入力の調整時に、ネットワークの入出力写
像が事前に得られた線形写像から大きく逸脱しないよう
に制約を課すことを特徴とする、請求項１に記載の入力
層、中間層、出力層の3層構造またはそれ以上の層を持
つニューラルネットワークを用いることを特徴とする。

【００２１】請求項３に記載された予測装置は、時間の
経過とともに対象の特性が変化する場合には、ネットワ
ークの調整と同時平行で同定作業も行い、制約である線
形写像についても更新することを特徴とする、請求項２
に記載の入力層、中間層、出力層の3層構造またはそれ
以上の層を持つニューラルネットワークを用いることを
特徴とする。

【００２２】請求項４に記載された予測方法は、変数 x
の局在範囲でのみ増加または減少傾向をもつシグモイ
ド状の関数 g(x) を中間層上のユニット（中間ユニッ
ト）の出力関数として用いるネットワークを構成し、制
御対象または予測対象に対して事前に行われたオンライ
ンまたはオフラインの同定結果である線形写像の増減傾
向を、各中間ユニットの出力が入力信号の空間において
区分的に実現することで、初期状態のネットワークの入
出力写像が必要範囲全体の同定結果である線形写像を実
現するように、入力ユニットから中間ユニットへの結合
荷重、中間ユニットへのバイアス入力、中間ユニットか
ら出力ユニットへの結合荷重、出力ユニットへのバイア
ス入力の初期値を決定することを特徴とする、入力層、
中間層、出力層の 3 層構造またはそれ以上の層を持つ
ニューラルネットワークを用いることを特徴とする。

【００２３】請求項５に記載された予測方法は、結合荷
重、バイアス入力の調整時に、ネットワークの入出力写
像が事前に得られた線形写像から大きく逸脱しないよう
に制約を課すことを特徴とする、請求項１に記載の入力
層、中間層、出力層の3層構造またはそれ以上の層を持
つニューラルネットワークを用いることを特徴とする。

【００２４】請求項６に記載された予測方法は、時間の
経過とともに対象の特性が変化する場合には、ネットワ
ークの調整と同時平行で同定作業も行い、制約である線
形写像についても更新することを特徴とする、請求項２
に記載の入力層、中間層、出力層の3層構造またはそれ
以上の層を持つニューラルネットワークを用いることを
特徴とする。

【００２５】請求項７に記載された予測プログラムは、
変数 x の局在範囲でのみ増加または減少傾向をもつシ
グモイド状の関数 g(x) を中間層上のユニット（中間ユ
ニット）の出力関数として用いるネットワークを構成
し、制御対象または予測対象に対して事前に行われたオ
ンラインまたはオフラインの同定結果である線形写像の
増減傾向を、各中間ユニットの出力が入力信号の空間に
おいて区分的に実現することで、初期状態のネットワー
クの入出力写像が必要範囲全体の同定結果である線形写
像を実現するように、入力ユニットから中間ユニットへ
の結合荷重、中間ユニットへのバイアス入力、中間ユニ
ットから出力ユニットへの結合荷重、出力ユニットへの
バイアス入力の初期値を決定することを特徴とする、入
力層、中間層、出力層の 3 層構造またはそれ以上の層
を持つニューラルネットワークを用いることを特徴とす
る。

【００２６】請求項８に記載された予測プログラムは、
結合荷重、バイアス入力の調整時に、ネットワークの入
出力写像が事前に得られた線形写像から大きく逸脱しな
いように制約を課すことを特徴とする、請求項１に記載
の入力層、中間層、出力層の3層構造またはそれ以上の
層を持つニューラルネットワークを用いることを特徴と
する。

【００２７】請求項９に記載された予測プログラムは、
時間の経過とともに対象の特性が変化する場合には、ネ
ットワークの調整と同時平行で同定作業も行い、制約で
ある線形写像についても更新することを特徴とする、請
求項２に記載の入力層、中間層、出力層の3層構造また
はそれ以上の層を持つニューラルネットワークを用いる
ことを特徴とする。

【００２８】

【発明の実施の形態】以下、本発明の実施の形態とし
て、一実施例を図１に基づいて説明する。なお、説明の
都合上、予測モデルであるニューラルネットワークの出
力値を用いた日経平均株価指数の予測を取り上げること
にするが、電力需要の予測、制御対象の挙動の予測など
に本質的な原理を変えることなく本発明は適用が可能で
ある。本発明により制御対象の挙動を予測するモデルが
獲得した後に、これに基づいて適切な制御の実現を行う
ことも本発明の基本的な応用事例に含まれることはいう
までもない。

【００２９】図１において、101 は学習用サンプルのオ
ンラインまたはオフラインでの入力装置（入力装置A）
である。オンラインの場合にはインターネットなどの情
報網、または、計測器からの受信部となり、オフライン
の場合にはキーボード端末であったり、OCR装置とな
る。入力された学習用データは 102 で示されるデータ
ベース装置に蓄積される。103 はニューラルネットワー
ク学習装置である。データベース装置から入力信号と教
師信号の組（学習用データ）が送られ、これに基づいて
ニューラルネットワークの学習が行われる。実施例にお
いて、ここでの教師信号は、現時点または過去の日経平
均株価指数（実測値）であり、入力信号はこの指数に影
響を与えたと考えられる鉄工業精算指数、製造業原材料
消費指数、有効求人倍率などである。

【００３０】続いて、学習が完了した後に、日経平均株
価指数を予測する段階について記述する。104 は予測を
行う際の材料となる鉄工業精算指数、製造業原材料消費
指数、有効求人倍率などを取り込むための入力装置 B
である。入力装置 A と同様にオンラインまたはオフラ
インの実装によっていくつかのバリエーションをもつ。
105 は予測を行うニューラルネットワークであり、103
において調整された結合荷重、および、バイアス入力を
継承している。105 のニューラルネットワークは出力と
して、予想が望まれている日経平均株価指数（予測値）
を提示する。

【００３１】本発明では、増加範囲が局在しているシグ
モイド状の関数を中間ユニットの出力関数として用いる
ことを発案している。出力関数の一例（出力関数 g）を
次式に示す。先に、従来のシグモイド関数を記号 f で
表記したために、説明の都合上、ここでは関数 g を用
いている。いうまでもなく、どの記号を用いるかは本発
明において本質的な違いを与えるわけではない。

【００３２】従来のニューラルネットワークで用いられ
るシグモイドは入力の全領域で値が変化していたが、次
式では入力の局所範囲でしか値が変化していない。

【００３３】

【数７】

【００３４】ここで参考のため数３で示した従来のシグ
モイド関数 f(x) と本発案で用いられる関数 g(x) を図
２に示す。図中にはそれぞれの一次微分関数も表示され
ている。

【００３５】式中のパラメータ a の与え方については
後述する。ニューラルネットワーク学習装置 103 で
は、結合荷重およびバイアス入力の初期値を次の手順に
より決定することができる。まず、予測される対象（予
測対象）を次式で表現する。

【００３６】

【数８】

【００３７】すなわち、ある時間 t における I 個の入
力要素 u_0(t), …, u_{I-1}(t) によって次の時間 t+1
における予測対象の実測値 y_p(t+1) が決まるという
という考え方である。ここで、入力要素によっては数単
位時間前の過去値や複数個の過去値を用いる、また、入
力要素として過去値を含めた予測対象の実測値または予
測値を用いることもできる。次に線形同定を行う準備と
して上式を次のように書き改める。

【００３８】

【数９】

【００３９】

【数１０】

【００４０】

【数１１】

【００４１】オンラインまたはオフラインでの線形同定
手法を用いて線形同定パラメータ θの推定値 θ' が得
られたとする。

【００４２】

【数１２】

【００４３】まず、予測対象の出力想定範囲を [-b:+b]
、中間ユニットの個数を J として先述したパラメータ
a の値を求める。

【００４４】

【数１３】

【００４５】入力層の i (0 <= i < I) 番目のユニット
から中間層の j 番目のユニットまでの結合荷重 w_j,i^
(1) には θ'_i を用いる．但し，バイアス入力である
w_j,I^(1) には aj - b を用いる．これは，中間ユニッ
トの番号とともに非線形関数g の単調増加写像を行う領
域を順次移動させていく効果をもつ．中間ユニットにお
ける結合荷重の初期値は次式で表現される．

【００４６】

【数１４】

【００４７】出力ユニットの結合荷重 w_j^(2) には全
て 1 を用いる．すなわち，

【００４８】

【数１５】

【００４９】また，出力ユニットへのバイアス入力は 0
とする．すなわち，

【００５０】

【数１６】

【００５１】以上の設定および先に述べた非線形出力関
数 g により，線形同定によって獲得された線形写像を
初期状態において正確に実現することができる．実際に
は、一般的な予測対象は非線形性を持つことが想定され
るために、結合荷重およびバイアス入力は更なる調整
（学習）が必要となる。本発明では、結合荷重、バイア
ス入力を調整時に、ネットワークの入出力写像が事前に
得られた線形写像から大きく逸脱しないように制約を課
すことについても考案を行っている。これについて2 通
りの実装例を以下に示す。

【００５２】最初の実装例（設計例１）では，局所的に
線形性を維持するように制約を与える．最小化すべき評
価関数は以下のようになる．

【００５３】

【数１７】

【００５４】上式右辺第1項は，従来のニューラルネッ
トワークにおいて用いられている評価関数である．第2
項は，隣り合う中間ユニット間で類似の線形写像を用い
て内部値 U_j^(1) を計算することを要請する．第 3 項
は，各中間ユニットで内部値を関数 g により変換した
後のゲインについて均一化を要請する．α_1 および β
_1 はそれぞれの項に関する係数であり，これらに 0 を
用いると従来のニューラルネットワークにおける学習様
式となる。上式に基づき最急降下法または変分法の枠組
みから漸化式を求め、反復演算によりw_j,i^(1)、w_j,I
^(1)、w_j^(2)、w_J^(2) を更新する。

【００５５】もう一つの実装例（設計例２）では，初期
設定時に実現された線形写像から遠ざかることに対して
制約を与える．最小化すべき評価関数は以下のようにな
る．

【００５６】

【数１８】

【００５７】ここで，第 2 項および第 3 項は，中間層
および出力層のユニットに付随する結合荷重の初期値か
らの逸脱に対して制約を与える．α_2 および β_2 は
それぞれの項に関する係数であり，これらに 0 を用い
ると従来のニューラルネットワークにおける学習様式と
なる。上式に基づき最急降下法または変分法の枠組みか
ら漸化式を求め、反復演算によりw_j,i^(1)、w_j,I^
(1)、w_j^(2)、w_J^(2) を更新する。

【００５８】以上の実施例では、予測対象の特性が一定
である場合について述べたが、時間の経過とともに対象
の特性が変化する場合には、ネットワークの調整に同時
平行で同定作業も行い、制約である線形写像についても
更新することも本発明の範疇で実現可能である。また、
用いる出力関数はここで示した出力関数 g である必要
は必ずしもない。例えば、値域が [0:+1] となるように
出力のスケール調整およびバイアス調整したものや、局
在している増加範囲が線形となっている出力関数の利用
も本発明の範疇で実現可能である。また、評価関数を最
小化する過程においては、焼きなまし法や遺伝的アルゴ
リズムといった最急降下法以外の最適化手法の実装も本
発明の範疇で実現可能である。加えて、中間ユニットか
ら出力ユニットへの結合荷重は 1 とした場合について
述べたが、これは任意の実数であってよい。但し、この
結合荷重を 2 倍にしたとすれば、入力層から中間層へ
の全ての結合荷重を半分の値にするなど適切な変更を行
う必要がある。

【００５９】

【シミュレーション結果】発案したモデリング手法の有
効性を検討するために，シミュレーション実験を行っ
た．但し，簡単のため、設計例 1 として前述した局所
線形性保存型についてのみ検討を行う．比較のために従
来型のニューラルネットワークを用いて同様の実験を行
うこととする．以下の2種類のタイプの2入力1出力シス
テムを対象としてモデリングの収束傾向と収束結果につ
いて考察する．y_p(k) と u(k) の定義域はどちらも[-
1.0:1.0]とする．定義域におけるタイプ 1 および 2 の
関数曲面を図 3 に示す．

【００６０】タイプ 1 のシステムは、入力空間に対す
る出力値の傾斜方向が一定、傾斜角度は大局的に変化す
る、という特徴をもち、次式で記述される。

【００６１】

【数１９】

【００６２】タイプ 2 のシステムは、入力空間に対す
る出力値が，傾斜方向，傾斜角度ともに大局的に変化す
る、という特徴をもち、次式で記述される。

【００６３】

【数２０】

【００６４】まず、定義域からテスト用のサンプル集合
として、201×201個を等間隔に選出する。さらに、学習
用サンプル集合として，テスト用サンプルから100点を
乱数により選出する．結合荷重の各更新時には，学習用
サンプル集合から乱数により選ばれた 1 サンプルを用
いる．計 4,000 回の更新を行うこととする．

【００６５】中間層のユニット数は 21，学習係数は中
間層，出力層ともに 0.3，α_1, β_1は 0.001 を用い
る．結合荷重の初期値は，発案手法では先述した手順に
より決定する．一方，従来手法では [-1.0:+1.0] の乱
数により与える．以下，図4 および図5に示した近似結
果(モデリング結果）に基づいて従来手法と発案手法を
比較検討する．

【００６６】両手法を用いて得られる近似曲面について
述べる．図4 では，タイプ 1 に対する両手法による近
似曲面が等高線とともに示されている．どちらの手法も
適切な近似曲面を実現している．テスト用サンプル集合
に対して最終的に得られた平均自乗誤差は，従来手法と
発案手法においてそれぞれ 8.39×10^{-4} および 4.09
× 10^{-4} であり同程度の近似精度である．図5 は，
タイプ 2 に対する両手法による近似曲面を示してい
る．従来手法に比較すると，発案手法では等高線がやや
角張った形をしていることが分かる．これは本発明が解
析性のために関数の局在性を重視したこと，および，結
合荷重の更新時に新たな拘束を導入したことによる。但
し，最終的に得られた平均自乗誤差は，従来手法と本発
明においてそれぞれ 3.39×10^{-2} 及び 1.29 × 10^
{-2} であり，それほど大きな相違となっていないこと
が分かる．

【００６７】図6 は，タイプ1に対して各手法を適用し
た場合の学習用サンプル集合に対する平均自乗誤差の変
化を表す．従来手法と比較すると，発案手法では初期状
態から既に低い誤差が得られているのが確認できる．こ
れは結合荷重初期値の設定効果である．加えて，従来手
法では顕著な振動が認められるが，発案手法では比較的
滑らかに減少している．

【００６８】最後に，発案手法の解析容易性について検
証する．図7 は，それぞれの手法によってタイプ 2 に
対してモデリングを行った際の中間ユニット21個の出力
状況を図的に示したものである．横軸と縦軸は y_p(k)
と u(k) に対応している．従来手法では，個々の中間ユ
ニットの出力傾向は非常に漠然としており，ユニット毎
の役割が不明瞭である．一方，発案手法では個々の中間
ユニットの出力傾向が，徐々に変化していることや値の
変化している領域が局在していることから，各ユニット
の貢献を容易に把握することができる．

【００６９】

【発明の効果】市場需要や制御対象の挙動等の予測を目
的として、ニューラルネットワークを用いて予測モデル
を構築する際に本発明は次の利点がある。まず、学習用
サンプルが少ない場合でも線形同定を用いてニューラル
ネットワークの結合荷重、バイアス入力の初期値を大ま
かに決めておいて、その後の学習によって更新を行うこ
とが可能であるので、サンプル数が少ない場合に特に有
利であるということ。また、従来のシグモイド状関数と
違い、増加範囲が局在しているシグモイド状の関数を中
間ユニットの出力関数として用いているために、ニュー
ラルネットワークの出力値の変化に影響を与えている中
間ユニットが容易に限定できるために、予測モデルの解
析が容易になるという効果がある。さらに、本発明では
線形同定から得られた同定パラメータに基づいて結合荷
重、およびバイアス入力の初期値を決定できるために、
学習終了後にいつも同様の予測モデルを得ることができ
る。ここでの効果は、従来のニューラルネットワークを
用いた場合に、結合荷重、およびバイアス入力の初期値
を乱数で決めていたために、学習終了時に異なる予測モ
デルが得られていたという問題を解決している。また、
乱数の発生範囲の設定次第で、学習が良好に収束しない
といった問題も解決している。

【図面の簡単な説明】

【図１】本発明の一実施例を示すシステム構成図

【図２】従来のシグモイド関数 f(x) と本発案で用いら
れる関数 g(x)

【図３】シミュレーションのための関数局面

【図４】タイプ1に対するモデリング結果

【図５】タイプ2に対するモデリング結果

【図６】平均自乗誤差の変化

【図７】中間ユニットの出力状況

Claims (9)

【特許請求の範囲】
1. 【請求項１】変数 x の局在範囲でのみ増加または減少
   傾向をもつシグモイド状の関数 g(x) を中間層上のユニ
   ット（中間ユニット）の出力関数として用いるネットワ
   ークを構成し、制御対象または予測対象に対して事前に
   行われたオンラインまたはオフラインの同定結果である
   線形写像の増減傾向を、各中間ユニットの出力が入力信
   号の空間において区分的に実現することで、初期状態の
   ネットワークの入出力写像が必要範囲全体の同定結果で
   ある線形写像を実現するように、入力ユニットから中間
   ユニットへの結合荷重、中間ユニットへのバイアス入
   力、中間ユニットから出力ユニットへの結合荷重、出力
   ユニットへのバイアス入力の初期値を決定することを特
   徴とする、入力層、中間層、出力層の 3 層構造または
   それ以上の層を持つニューラルネットワークを用いた予
   測装置。
2. 【請求項２】結合荷重、バイアス入力の調整時に、ネッ
   トワークの入出力写像が事前に得られた線形写像から大
   きく逸脱しないように制約を課すことを特徴とする、請
   求項１に記載の入力層、中間層、出力層の3層構造また
   はそれ以上の層を持つニューラルネットワークを用いた
   予測装置。
3. 【請求項３】時間の経過とともに対象の特性が変化する
   場合には、ネットワークの調整と同時平行で同定作業も
   行い、制約である線形写像についても更新することを特
   徴とする、請求項２に記載の入力層、中間層、出力層の
   3層構造またはそれ以上の層を持つニューラルネットワ
   ークを用いた予測装置。
4. 【請求項４】変数 x の局在範囲でのみ増加または減少
   傾向をもつシグモイド状の関数 g(x) を中間層上のユニ
   ット（中間ユニット）の出力関数として用いるネットワ
   ークを構成し、制御対象または予測対象に対して事前に
   行われたオンラインまたはオフラインの同定結果である
   線形写像の増減傾向を、各中間ユニットの出力が入力信
   号の空間において区分的に実現することで、初期状態の
   ネットワークの入出力写像が必要範囲全体の同定結果で
   ある線形写像を実現するように、入力ユニットから中間
   ユニットへの結合荷重、中間ユニットへのバイアス入
   力、中間ユニットから出力ユニットへの結合荷重、出力
   ユニットへのバイアス入力の初期値を決定することを特
   徴とする、入力層、中間層、出力層の 3 層構造または
   それ以上の層を持つニューラルネットワークを用いた予
   測方法。
5. 【請求項５】結合荷重、バイアス入力の調整時に、ネッ
   トワークの入出力写像が事前に得られた線形写像から大
   きく逸脱しないように制約を課すことを特徴とする、請
   求項１に記載の入力層、中間層、出力層の3層構造また
   はそれ以上の層を持つニューラルネットワークを用いた
   予測方法。
6. 【請求項６】時間の経過とともに対象の特性が変化する
   場合には、ネットワークの調整と同時平行で同定作業も
   行い、制約である線形写像についても更新することを特
   徴とする、請求項２に記載の入力層、中間層、出力層の
   3層構造またはそれ以上の層を持つニューラルネットワ
   ークを用いた予測方法。
7. 【請求項７】変数 x の局在範囲でのみ増加または減少
   傾向をもつシグモイド状の関数 g(x) を中間層上のユニ
   ット（中間ユニット）の出力関数として用いるネットワ
   ークを構成し、制御対象または予測対象に対して事前に
   行われたオンラインまたはオフラインの同定結果である
   線形写像の増減傾向を、各中間ユニットの出力が入力信
   号の空間において区分的に実現することで、初期状態の
   ネットワークの入出力写像が必要範囲全体の同定結果で
   ある線形写像を実現するように、入力ユニットから中間
   ユニットへの結合荷重、中間ユニットへのバイアス入
   力、中間ユニットから出力ユニットへの結合荷重、出力
   ユニットへのバイアス入力の初期値を決定することを特
   徴とする、入力層、中間層、出力層の 3 層構造または
   それ以上の層を持つニューラルネットワークを用いた予
   測プログラム。
8. 【請求項８】結合荷重、バイアス入力の調整時に、ネッ
   トワークの入出力写像が事前に得られた線形写像から大
   きく逸脱しないように制約を課すことを特徴とする、請
   求項１に記載の入力層、中間層、出力層の3層構造また
   はそれ以上の層を持つニューラルネットワークを用いた
   予測プログラム。
9. 【請求項９】時間の経過とともに対象の特性が変化する
   場合には、ネットワークの調整と同時平行で同定作業も
   行い、制約である線形写像についても更新することを特
   徴とする、請求項２に記載の入力層、中間層、出力層の
   3層構造またはそれ以上の層を持つニューラルネットワ
   ークを用いた予測プログラム。