JP2001509623A

JP2001509623A - 計算機上でのダイナミカルシステムのニューラルモデリング方法及び構造

Info

Publication number: JP2001509623A
Application number: JP2000502460A
Authority: JP
Inventors: ツィンマーマンハンス−ゲオルク; ノイナイアーラルフ
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1997-07-09
Filing date: 1998-07-08
Publication date: 2001-07-24
Also published as: WO1999003043A3; EP0995156A2; WO1999003043A2

Abstract

(57)【要約】本発明は、ダイナミカルシステムのニューラルモデリング用の方法及びニューロン層装置である。このために、システムの時系列の慣性記述パラメータ及び加速度記述パラメータがネット内で別個にトレーニングされて処理される。そのようにして得られた各予測値は、所望の予測量にまとめられる。ダイナミックパラメータ毎に種々の指標を決めることによって、種々異なるターゲット量を種々異なる広幅ベースでの平均値の形式で得ることができ、このターゲット量のトレーニングによって、比較的大きな誤差流をネット内の報知のために形成することができ、そうすることによって、それぞれのダイナミックパラメータを正確にシミュレートすることができるようになる。装置及び方法は、有利には、データ予測及び他のダイナミカルシステム用に使用することができる。

Description

【発明の詳細な説明】

【０００１】本発明は、ニューラルネット用の方法及び層構成に関し、それにより、殊に、
ダイナミカルシステムを良好にモデリング（例えば、技術システム又は経済シス
テム）することができる。

【０００２】ダイナミカルシステムをニューラルネットによってモデリングする際、一般的
に、情報が、システムのダイナミクスを介して時系列の隣りのパターンに時間的
に依存するという問題がある。大抵、ニューラルネットの通常の学習方法では、
このパターンは、局所的に最小（Ｍｉｎｉｍａ）になるのを回避して学習速度を
速くすることができるようにするために、ランダムに配列されたニューラルネッ
トを表現している。このようにして、ネットは、個別時間パターンの結合につい
ての知識を、ゆっくり変化するニューロンの荷重によって単に暗示的に獲得する
にすぎない。特に難しいのは、多数の入力量（例えば、３０個の入力量のオーダ
ー（数百個にもなることがある））から、過度に少ない出力量、即ち、１つの出
力量又は選択的に２つの出力量に処理する必要がある場合に、ダイナミカルシス
テムをモデリングすることである。ニューラルネットによってシステム特性を良
好に写像するためには、ネットに非常に多数の時系列を表現する必要があるが、
このような多数の時系列は、実際には、殊に、経済的なデータの場合には、現れ
ないことが屡々である。

【０００３】この問題と取り組むために、従来技術では、ダイナミカルシステムにおいて、
そのニューラルモデリングのために、その内在構造を利用する解決手段が採用さ
れている。モデリングすべきダイナミカルシステムでは、殊にターゲット側で、
十分な個数の出力量が、種々異なるターゲットの形式で、システムの順次連続す
る状態を記述するのに用いられる値にされる。このようにして、多数の誤差情報
が、ターゲット側からネットの入力側に戻され、システムを正確に記述すること
ができるようになる。その詳細については、ＤｅｃｉｓｉｏｎＴｅｃｈｎｏｌ
ｏｇｉｅｓｆｏｒＦｉｎａｎｃｉａｌＥｎｇｉｎｅｅｒｉｎｇに公表され
た、ＨａｎｓＧｅｏｒｇＺｉｍｍｅｒｍａｎｎ及びＡｎｄｒｅａｓＳ．Ｗ
ｅｉｇｅｎｄ、”ＨｏｗＴｏＲｅｐｒｅｓｅｎｔＤｙｎａｍｉｃａｌＳ
ｙｓｔｅｍｓＩｎＦｅｅｄＦｏｗａｒｄＮｅｔｗｏｒｋｓ：ＡＳｉｘ
ＬａｙｅｒＡｒｃｈｉｔｅｃｈｔｕｒｅ” Ｐｒｏｃｅｅｄｉｎｇｓｏｆ
ｔｈｅＦｏｕｒｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ
ｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓｉｎｔｈｅＣａｐｉｔａｌＭ
ａｒｋｅｔ（ＮＮＣＭ−９６）、１−８頁から分かる。この刊行物には、技術シ
ステム、乃至、影響量のダイナミック特徴化を用いてアクションデータから予測
を行うシステムのダイナミックを記述するために、ニューラルネット用の６層モ
デルが提案されている。この提案では、時系列のモデリングを改善する目的のた
めに、時系列の隣り合った複数の値が、別個にニューラルネットの種々異なる枝
でターゲットとしてトレーニングされ、事後に平均値形成により求めるべき出力
量にまとめられる。隣り合ったパターン間の依存性は、ニューラルネットの出力
側で、所謂インタラクションレイヤによって反映される。

【０００４】一方の枝は、この関連性では、ニューラルネットの一部分であることが分かり
、つまり、このニューラルネットは、人工的なニューラルネットであっても、複
数の入力量、少なくとも１つの出力量及び個別ニューロンの結合の際の適合可能
な荷重を有する。

【０００５】ドイツ連邦共和国特許公開第１９５３７０１０号公報からは、少なくとも２つ
の時系列を共通に学習により修得させることによって、ダイナミック過程のシミ
ュレーション用の学習方法及び学習装置が公知である。各時系列に対して、固有
の学習能力のあるコンポーネントが形成されて、使用されている時系列の過去の
値に供給される。時系列の現在のコンポーネントは、その過去値及び他の時系列
の過去値によって相関関係が崩される（ｄｅｋｏｒｒｅｌｉｅｒｔ）。

【０００６】米国特許第５４７９５７１号明細書から、２つの隠れ（中間）層を有するニュ
ーラルネットが公知である。

【０００７】本発明の課題は、ダイナミカルシステムをニューラルにより計算機上でモデリ
ングすることができる別の方法及び別の構造を提供することにある。

【０００８】この課題は、特許請求の範囲請求項１記載の方法要件及び特許請求の範囲請求
項８記載の構造要件によって解決される。

【０００９】計算機上でのダイナミカルシステムのニューラルモデリング方法は、以下の各
要件：ａ）ダイナミカルシステムの影響量を、少なくとも１つの第１の出力量のシミュ
レーションのために、ダイナミカルシステムの慣性を特定する少なくとも１つの
第１の影響量と前記ダイナミカルシステムの加速度を特定する少なくとも１つの
第２の影響量とにグループ分けし、ｂ）ニューラルネットワーク（ＮＮ）内で、当該ニューラルネットワーク（ＮＮ
）の、少なくとも１つの第１（Ｚ１）及び第２（Ｚ２）の、相互に平行な枝を、
それぞれ第１の影響量乃至第２の影響量の特性でトレーニングし、ｃ）前記影響量（ＥＤ）に依存して第１の出力量（ＡＤ）を形成するために、前
記ニューラルネットワーク（ＮＮ）の平行枝（Ｚ１，Ｚ２）の単数乃至全ての出
力を結合するを有している。

【００１０】ダイナミカルシステムのシミュレーションのための、ニューラルネットワーク
用の層装置は、以下の各要件：ａ）少なくとも、それぞれ１つの、ダイナミカルシステムの慣性を特定する第
１の影響量、及び、前記ダイナミカルシステムの加速度を特定する第２の影響量
のシミュレーションのために、少なくともそれぞれ１つの第１（４０００）乃至
第２（４５００）の隠れ（中間）ニューロン層、並びに、第１（５０００）乃至
第２（５５００）の出力層が設けられており、ｂ）シミュレートされた第１の影響量（６１０）と第２の影響量（６２０）と
を結合して出力量を形成するために結合層（６０００）が設けられているを有している。

【００１１】本発明の有利な実施例は、従属請求項に記載されている。

【００１２】特に有利には、実施例では、システムの慣性及び加速度を特徴付けるダイナミ
カルシステムの種々異なるダイナミックな影響量が区別される。本発明の方法に
より、ニューラルネットの種々の下位枝に別個にモデリングすることによって、
ニューラルネットが種々異なるダイナミック特性を用いてターゲットの大きさを
学習するようになり、その際、自己の入力時系列を利用することができる。直ぐ
続いて、シミュレートすべき出力量は、これら種々異なる両ダイナミックパラメ
ータのモデリングされたターゲットの大きさを重畳することによって形成される
。

【００１３】有利には、ニューラルネットには、時系列が種々異なる影響量の時系列ベクト
ルの形式で供給され、形成された出力量は、場合によって重み付けされた平均値
形成によって唯一の出力量に統合することができる。つまり、そのように、入力
量内のノイズ成分が低減され、種々異なる入力量のモデリングによって、出力量
を一層正確にシミュレートすることができるからである。

【００１４】特に有利には、別の実施例では、ニューラルネットが重み付けされるように入
力信号が前処理され、その際、このニューロンの荷重は、後ろに設けられたニュ
ーラルネットの位置によって調整されて、モデリングすべきダイナミカルシステ
ムに及ぼしてはならない不所望な影響量をフィルタリングすることができるよう
になる。

【００１５】ニューラルネットの枝には、リニアな影響量のみならず、クォドラチック（ｑ
ｕａｄｒａｔｉｓｃｈ）に重み付けされた影響量を供給してもよい。つまり、ニ
ューラルネットには事象を区別するのに加えて付加的に、ラディアル基底関数を
実行することによって、パターン内の類似度を決定する手段も与えられるからで
ある。

【００１６】更に、それぞれのニューラルネットに供給すべきダイナミックな特徴量、即ち
、慣性パラメータ又は加速度パラメータに対して、多数の指標を形成し、それに
より、多数のターゲット量によって、ネット内での比較的大きな誤差逆伝播が形
成され、従って、それぞれのダイナミック量を一層正確にシミュレートすること
ができる。このために、有利には、目標値を中心にして定義された複数の間隔距
離で平均値乃至曲率がモデリングされる。

【００１７】更に、入力量は、この方法では、選定された指標の形式で形成されて、モデリ
ングすべきダイナミカルシステムの内部状態のクリアな像をネットワークに示す
ことができるようになる。ダイナミカルシステムは、瞬時に作用する慣性及び影
響力によって特徴付けられる。提供された入力時系列から、時系列の第１及び第
２の差を利用して、作用している慣性及び力を推定することができる。入力指標
のオーダーの正規化のために、付加的に時系列によって除算し、そうすることに
よって、入力指標が相対的に変化するようにすることができる。

【００１８】別の実施例では、さほど簡単ではないが、力の一部分が２次導関数として示さ
れる。多数のプロセスで、ダイナミカルシステムは、平衡状態を中心として振り
子運動することによって特徴付けられる。この実施例では、時系列の点と平衡点
との間の距離が、加速度の形式で記録する場合よりも一層良好に、作用力を特徴
付けることができるような大きさである。妥当な瞬時平衡点の記述のための簡単
な近似として、時系列の最終値の平均値が提供される。時系列の現在値と、平均
値との差を平衡状態として選定すると、最新の点情報を利用することができるが
、それに対して、平衡状態の評価は最新ではない。時系列の以前の値を、平衡状
態の評価のために、この点を中心にして対称的に平均値が形成されるように選定
すると、この差が有利であることが分かる。そのようにして、点と、特徴付ける
べきダイナミカルシステムの平衡状態との間の緊張状態を一層良好に特徴付ける
ことができるようになる。

【００１９】更に、ニューラルネットワーク用の層装置を、ダイナミカルシステムのシミュ
レーションのために設けてもよい。その場合には、シミュレートすべき各ダイナ
ミック特徴量のために、別個の枝をニューラルネットに設け、隠れ層を出力層を
用いて制御することによって、高次の誤差逆伝播を形成することができ、この高
次の誤差逆伝播により、ニューラルネットに、隣接時系列値の依存性についての
情報を反映させることができる。

【００２０】本発明の層装置の実施例では、前処理層が設けられており、この前処理層は、
両方のネットワーク枝乃至それぞれのネットワーク枝を共通に操作する。その際
、例えば、種々異なった前処理段を設ける必要はなく、前処理層での荷重を、ニ
ューラルネットワークのそれぞれの枝から誤差逆伝播することによって調整して
、不所望な影響量をフィルタリングし、従って、ノイズを一層正確にフィルタリ
ングすることができるようになる。

【００２１】特に有利には、層装置の実施例では、２次関数（Ｑｕａｄｒａｔｓｃｈｉｃｈ
ｔ）層が設けられており、この２次関数層は、入力値乃至前処理層によって供給
された値をクォドラチックに重み付けする。こうすることによって、後続の層に
ラディアル基底関数をシミュレートすることができ、従って、類似度の関係を形
成することができ、入力パターンの事象を識別することができるのみではない。

【００２２】結合層、層装置の個別の枝の後ろに、場合によっては重み付けされた平均値層
が設けられていて、予測量のベクトルから平均値を形成し、それにより、個別値
内のノイズを最小化することができる。

【００２３】特に有利には、層装置の場合に、ニューラルネットのそれぞれの枝の後ろに、
出力層として制御層を設け、この制御層により、個別指標と、シミュレートすべ
きそれぞれのダイナミックな特徴量との間隔距離をモデリングし、誤差逆伝播に
よって、ニューラルネット乃至ニューラルネットのそれぞれの枝に、種々異なる
指標がモデリングされずに、指標が１つしかモデリングされないのを阻止するこ
とができる。

【００２４】以下、本発明について、図示の実施例を用いて更に説明する。

【００２５】図１に示されているように、方法ＥＶは、例えば、処理ブロック、第１の処理
ブロックＺ１及び第２の処理ブロックＺ２、並びに、別の処理ブロック３０００
を有している。

【００２６】処理ブロックＺ１及びＺ２で、ニューラルネットＮＮの２つの別個の枝、第１
の枝Ｚ１及び第２の枝Ｚ２が示されている。

【００２７】第１の処理ブロックＺ１及び第２の処理ブロックＺ２は、実際のシステムから
取り出される、即ち、測定される時系列の形式で入力データを得る。

【００２８】第１乃至第２の処理ブロックＺ１及びＺ２では、ニューラルネットＮＮには、
それぞれ、第１の処理ブロックＺ１乃至第１の層１５００及び第２の処理ブロッ
クＺ２の第２の処理層２５００の複数の処理層、第１の処理層１０００及び第２
の処理層２０００が設けられており、これらの処理層は、信号線路１１０及び１
２０によって相互に接続されている。

【００２９】第１の処理ブロックＺ１には、加速度特徴量、例えば、引当金乃至戻り作用（
Ｒｕｅｃｋｓｔｅｌｌｕｎｇ）乃至ダイナミクスがシステム内で作用する力が記
載されている。

【００３０】第２の処理層Ｚ２には、ダイナミカルシステムの慣性特徴量がシミュレートさ
れている。この、それぞれの処理ブロックが、この方法により同一に供給される
時系列の入力データは、この、それぞれのダイナミックな特徴量に対する同一の
指標に関して形成される。

【００３１】第２の処理ブロックＺ２には、先行値に関して平均値をシミュレートするよう
に設けられており、その際、この先行値に基づいて、時系列値が、この値に関す
る種々異なる距離で取り出されて、平均値が形成される。

【００３２】同様のことが、第１の処理ブロックＺ１にも当てはまり、このブロックでは、
先行値についての種々異なる曲線部分に対して時系列の曲率を供給することがで
きる。

【００３３】ニューラルネットの種々異なる枝、乃至、枝Ｚ１及びＺ２での内部処理後、出力
量が接続線路２１０及び２２０を介して結合モジュール３０００に供給され、結
合モジュール３０００は、その出力量から出力データ、即ち、予測値を形成する
。この方法によって、それぞれのダイナミック特徴量に対して別個のターゲット
量が定義され、この特徴量がニューラルネットの種々異なる枝でシミュレートさ
れる。こうすることによって、モデリングの際に、このダイナミックの特徴を示
す量を厳密に分離することができ、その際、トレーニングの際にも、別個の指標
がニューラルネットによって学習される。処理ブロックＺ１，Ｚ２毎に多数の指
標を形成することによって、多数のターゲット量を学習する必要があり、それに
より、それぞれのダイナミック量が、処理ブロックによってシミュレートされ、
処理枝の内部で誤差を高次に逆伝播することによって一層良くシミュレートされ
る。つまり、誤差逆伝播することによって、ニューラルネット内で荷重を一層正
確に調整することができるようになるからである。

【００３４】図２に示されているように、ニューラル層モデルは、ダイナミカルシステムの
ニューラルモデリングのために、複数の層１０００，２０００，３０００，４０
００，４５００，５０００，５５００，６０００，７０００，７５００を有して
おり、その際、それぞれの１０００の桁数によって層のナンバーリングが示され
ている。

【００３５】それぞれの層を相互に接続することは、太い矢印と細い矢印によって示されて
おり、その際、太い矢印は、荷重を調整することができるということを示し、細
い矢印は、予め定義された荷重が調整されていることを示している。

【００３６】この実施例では、７つの層が図示されているが、本発明では、本発明の実施の
ために全ての層を設ける必要はない。本発明の基本原理は、層４０００〜６００
０によって示すことができる。

【００３７】ニューラルネットＮＮの入力ニューロン層１０００の前で、ダイナミカルシス
テムの時系列データが前処理される。経済データに関して、前処理が、ネットワ
ークに、現時点で市場内で作用している力積乃至作用力（Ｉｍｐｕｌｓｅ）及び
力の像を示す。

【００３８】殊に、種々の入力量によって表現された個別部分ダイナミックを、その慣性、
及び、この慣性と結合された力によって特徴を示す必要がある。有利には、慣性
の尺度として、入力量の相対変化が提供される。こうすることによって、この入
力量の変化の際の速度が示され、この入力量のオーダーが正規化される。

【００３９】力を特徴付けるために、入力量の２次導関数が利用される。但し、選択的に、
入力量を、平衡量の戻り作用（ｒｕｅｃｋｓｔｅｌｌｅｎｄｅ）力が、実際の状
態と、それぞれの平衡状態との距離に依存するような平衡量にするとよい。メカ
ニックなシステムでは、この平衡量は、バネ振り子の、休止状態からの変位であ
る。経済的なシステムでは、この観測量は、例えば、需要と供給との間の平衡過
程から導出された価格である。

【００４０】この特徴を示す際に、抗力乃至反跳力（ｒｕｅｃｋｔｒｅｉｂｅｎｄｅｎＫ
ｒａｆｔ）を記述するために、他の手続きが提供される。そのようなダイナミッ
クでは、現在値と平衡値との距離によって、システムが平衡状態の方向に引き戻
す力の一層良好な尺度を示す。その際、平衡状態の簡単な評価を時系列内の最後
の値の平均値形成によって達成することができる。

【００４１】この手続きには、何れにせよ、時系列の現在値が、平衡値の以前の評価に対し
て対向関係にあるという欠点がある。

【００４２】そのために、後続の経路は、有利には予測すべき点の値を、点情報の中央の平
均値に対比することができる時間内でリセットされる。この技術思想は、以下の
例を用いて理解することができ、その際、指標ｔは、実際の時間を示し、ｔ−６
は、例えば、６ステップ早い時点を示し、ａｖｅｒ（ｘ（ｔ），１２）は、最も
現実的な１２個のデータの平均値形成を示す。

【００４３】１．ｘ＝インフレーション指標（例えば、平衡過程に基づかない時系列）ＩＮＰＵＴ＝（ｘ（ｔ）−ｘ（ｔ−６））／ｘ（ｔ−６）ＩＮＰＵＴ＝（ｘ（ｔ）−２^＊ｘ（ｔ−６）＋ｘ（ｔ−１２））／ｘ（ｔ
−６）ｙ＝ＵＳ−＄（例えば、供給−需要によって定義される時系列）ＩＮＰＵＴ＝（ｙ（ｔ）−ｙ（ｔ−６））／ｙ（ｔ−６）ＩＮＰＵＴ＝（ｙ（ｔ−６）−ａｖｅｒ（ｙ（ｔ），１２））／ｙ（ｔ−
６）しかし、入力ステップ１０００の前の、この外部の前処理では、例えば、経済
的な解析の際の緊急の問題を完全に解消することはできない。その際、アウトラ
イナー（Ａｕｓｒｅｉｓｓｅｒｎ）を限定することが重要であり、又は、経済に
よってでなく、政治的な意志決定によって引き起こされる経済的な時系列の比較
的大きな動きをフィルタリングすることが重要である。しかし、ここでは、入力
変数をどの程度減衰すべきであるかの未知量を示す問題がある。

【００４４】このために、ニューラル層装置には、前処理層２０００が設けられており、こ
の前処理層を用いて、ネットワークアーキテクチュアによって、この問題が、ニ
ューラルネットＮＮによって習得され、その際、未知の減衰定数は、学習可能な
パラメータとしてネット内に現れる。

【００４５】ニューラルネットＮＮに提供される信号の内部の前処理は、入力層１０００と
、対角線マトリックス（対角線マトリックスは、２００で示されている）に基づ
く前処理層２０００との間での荷重マトリックスによって行われる。

【００４６】第１の内部層の活性度関数のために、双曲線正接つまりハイパボリックタンジ
ェント（ｔａｎｈ）が使用される。この手続きと層装置によって、アウトライナ
ーが各値内に限定される。同様に、有利には、荷重マトリックスによって入力側
を、荷重に基づいて減らす（Ｐｒｕｎｅｎ）ことができる。有利には、前処理層
２０００内で荷重を１に初期化する必要があり、有利には、荷重を値０〜１に限
定する必要がある。

【００４７】ニューロン層装置内では、処理層２０００の出力信号が、別のニューロン層３
０００，４０００及び４５００に更に転送される。層３０００に、信号の純粋な
コピーが転送される間（その結果、３００で、同一の写像が示される）、前処理
層２０００から導出された信号をリニア及びクォドラチックに変換する、後続の
層４０００及び５０００乃至４５００及び５５００が得られる（このことが、矢
印４００〜４５０によって示される）。

【００４８】クォドラチックな活性度関数を、前処理層２０００から導出されたニューロン
層３０００内のデータに適用することによって、ニューラルネットがラディアル
基底関数も実行することができ、従って、単に事象を区別することができるのみ
ならず、提供されたパターン内での類似点も学習することができる。続いて、そ
のようにして形成された信号４００，４１０乃至４２０及び４５０は、更にニュ
ーロン層４０００及び５０００乃至４５００及び５５００内の荷重で乗算され、
その際、ステップ５５００及び５０００で、ニューラルネットＮＮの出力層が示
されており、ステップ４０００及び４５００で、隠れニューロン層が示されてい
る。

【００４９】ニューラル層装置の、この部分は、ニューロンのジグモイド内部層を有するマ
ルチレイヤパーセプトロンの古典的な概念と古典的なラディアル基底関数ネット
とを結合する。従って、この近似式のグローバルな式と局所的な式とが結合され
る。前処理層２０００及び隠れ層４５００用の活性度関数として、ハイパボリッ
クタンジェントが選定される。場合によっては、活性度関数をソフトマックス関
数（Ｓｏｆｔｍａｘ−ｆｕｎｋｔｉｏｎ）に拡張すると有益である。

【００５０】層５０００乃至５５００は、基底になっているダイナミカルシステムを識別す
る。このために、この両層は、第１の出力層としてニューロン層装置内に設けら
れていて、学習する価値のある目標値を有している。この際、荷重は、例えば、
前の箇所で既に矢印の強さの説明の際に示したように、層４０００〜５５００に
適合可能である。有利には、層５５００（ここでは、例えば、ダイナミカルシス
テムの慣性成分をモデリングする）に対して、ターゲット値として、近似すべき
時系列の３点平均及び平衡情報が示される。以下、そのようなターゲット乃至目
的値の幾つかの例を挙げる。

【００５１】ＴＡＲＧＥＴ＝（ｘ（ｔ＋５）＋ｘ（ｔ＋６）＋ｘ（ｔ＋７））／（３^＊ｘ
（ｔ））−１）ＴＡＲＧＥＴ＝（ｘ（ｔ＋４）ｘ（ｔ＋６）＋ｘ（ｔ＋８））／（３^＊ｘ（
ｔ））−１）又は、ＴＡＲＧＥＴ＝（ａｖｅｒ（ｘ（ｔ＋７），３）−ｘ（ｔ））／ｘ（ｔ）ＴＡＲＧＥＴ＝（ａｖｅｒ（ｘ（ｔ＋８），５）−ｘ（ｔ））／ｘ（ｔ）有利には、この埋め込み値は、予測すべき値、ここでは例えばｘ（ｔ）＋６を
中心にして対称的に設けられている。平均値形成として、この埋め込み値は、付
加的に有利な、データ内のノイズを減衰する特性を有している。それに対して、
システムの加速度特性を学習すべき層５０００には、所謂力乃至平均値情報が提
供される。ターゲット乃至目的値として、出力層５０００に提供される力に対し
て、以下の特徴が提供される：ＴＡＲＧＥＴ＝（−ｘ（ｔ＋５）＋２^＊ｘ（ｔ＋６）−ｘ（ｔ＋７））／（
３^＊ｘ（ｔ）））ＴＡＲＧＥＴ＝（−ｘ（ｔ＋４）＋２^＊ｘ（ｔ＋６）−ｘ（ｔ＋８））／（
３^＊ｘ（ｔ）））又は、ＴＡＲＧＥＴ＝（ｘ（ｔ＋６）−ａｖｅｒ（ｘ（ｔ＋７），３））／ｘ（ｔ
）ＴＡＲＧＥＴ＝（ｘ（ｔ＋６）−ａｖｅｒ（ｘ（ｔ＋８），５））／ｘ（ｔ
）この際、力特徴部は、加速度の形式、又は、平衡状態での反転力（Ｕｍｋｅｈｒ
ｋｒａｅｆｔｅｎ）の形式で示される。決定された点は、埋め込み及び所属の力
が、最終的に所望の目標値ＴＡＲＧＥＴ＝（ｘ（ｔ＋６）−ｘ（ｔ））／ｘ（ｔ）に単に対状に加算することによって補完される。相互に対向し、且つ、隣り合っ
た両式を単に加算することによって、このことを理解することができる。当然、
この手続きは、本発明を実施する唯一の手段を示すということではない。提起さ
れている技術思想によると、当業者ならば、他の平均値形成乃至他のターゲット
量を選定し、相応に相互に結合して、予測すべき目標値をシミュレートすること
ができるが、その際、それには発明性はなく、乃至、本発明の技術思想に基づか
ざるを得ない。有利には、所属の力を種々に埋め込み且つ種々にスパン幅にする
ことによって、ダイナミクスの多数の特徴を表示して、それにより、学習するこ
とができるので、少数の枝、即ち、４５００，５５００乃至４０００及び５００
０内でのダイナミカルシステムのシミュレーションの際に、相応に、多数の中間
予測を得ることができ、これらの予測は、別のニューロン層６０００内での加算
によって得られる。矢印６１０及び６２０は、この例では、同一であることを示
す。当然、同様の場合に、同一でないように写像することも考えることができる
が、その際、本発明の基本的な技術思想から逸脱せずに、種々のダイナミックパ
ラメータを、ニューラルネット内の種々の枝によってモデリングして、続いて、
ターゲット値に組み合わせられる。この多数の中間予測は、続いて、平均値形成
によって、最終的な予測に統合することができ、この統合は、例えば、ニューロ
ン層ＭＷＦで行われる。有利には、この重畳に加えて、更に統計的な不確実性が
調整される。

【００５２】２つの別の出力層７０００及び７５００は、種々の埋め込み相互の差異、乃至
、力相互の差異を調整するために設けられている。この後ろに設けられた層７０
００，７５００は、有利には、この差異、即ち、曲率及び平均値用のターゲット
の大きさの像形成の際に作用を及ぼすのを阻止するために設けられる種々の距離
の大きさのモデリングによって、ニューラルネットが平均値だけを学習し、学習
課程で種々異なる全ての指標を考慮しないように設定されている。ターゲットの
大きさと関連して、それぞれの距離を学習することによって、誤差逆伝播する際
に、この距離に配属された、それぞれのターゲット値を学習することができるよ
うになる。

【００５３】経済的なダイナミクス及びメカニック乃至物理的なダイナミクスの他に、本発
明の方法乃至本発明の層装置によると、提案されているネットアーキテクチュア
が多数の出力ニューロンによる学習に十分な誤差流を利用することができる点が
重要な要件であり、それにより、検査すべき市場乃至システムの非直線性を把握
することができるようになる。この際、有利には、図２で細く示されている接続
線は、学習すべきパラメータを含まないという点に注意する必要がある。包括的
なネット構成に対して相対的に、提案されている本発明のアーキテクチュアは、
比較的僅かな自由パラメータを有している。明示的に決定されたネットの荷重は
、副次的な条件と見なすことができ、その特徴は、付加的なモデル構成情報とし
て形成されている。有利には、両ステップ６０００及びＭＷＦは、ステップ５０
００及び５５００の結果を統合する。しかし、荷重は、これらの層間で適合可能
ではない。しかし、両ステップ６０００及びＭＷＦは、その誤差信号を層４５０
０及び４０００に転送しない。

【図面の簡単な説明】

【図１】本発明の方法の実施例のブロック図

【図２】本発明のニューロン層装置を有するニューラルネットの実施例を示す図

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１２年１月１１日（２０００．１．１１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正内容】

【０００６】米国特許第５４７９５７１号明細書から、２つの隠れ（中間）層を有するニュ
ーラルネットが公知である。ＫＡＴＩＣＤ．他の”Ｈｉｇｈｌｙｅｆｆｉｃｉｅｎｔｒｏｂｏｔｄ
ｙｎａｍｉｃｓｌｅａｒｎｉｎｇｂｙｄｅｃｏｍｐｏｓｅｄｃｏｎｎｅ
ｃｔｉｏｎｉｓｔｆｅｅｄｆｏｒｗａｒｄｃｏｎｔｒｏｌｓｔｒｕｃｔｕ
ｒｅ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎｓｙｓｔｅｍｓ，ｍａｎ
ａｎｄｃｙｂｅｒｎｅｔｉｃｓ，Ｂｄ．２５，Ｎｒ．１，Ｊａｎｕａｒ１
９９５，１４５−１５８ページから、コンビネーションネット構造が公知であり
、４レイヤーパーセプトロン（ｆｏｕｒ−ｌａｙｅｒｐｅｒｃｅｐｔｒｏｎ）
形式の複数のニューラルネットが並列に設けられている。米国特許第５５８３７６９号明細書から、複数のニューラルネットが階層状に
設けられたニューラルネット構造が公知である。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０００７

【補正方法】変更

【補正内容】

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】０００８

【補正方法】変更

【補正内容】

【０００８】この課題は、特許請求の範囲請求項１記載の方法要件及び特許請求の範囲請求
項９記載の構造要件によって解決される。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正内容】

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

Claims

【特許請求の範囲】

【請求項１】計算機上でのダイナミカルシステムのニューラルモデリング
方法において、以下の各要件：ａ）ダイナミカルシステムの影響量を、少なくとも１つの第１の出力量のシミュ
レーションのために、ダイナミカルシステムの慣性を特定する少なくとも１つの
第１の影響量と前記ダイナミカルシステムの加速度を特定する少なくとも１つの
第２の影響量とにグループ分けし、ｂ）ニューラルネットワーク（ＮＮ）内で、当該ニューラルネットワーク（ＮＮ
）の、少なくとも１つの第１（Ｚ１）及び第２（Ｚ２）の、相互に平行な枝を、
それぞれ第１の影響量乃至第２の影響量の特性でトレーニングし、ｃ）前記影響量（ＥＤ）に依存して第１の出力量（ＡＤ）を形成するために、前
記ニューラルネットワーク（ＮＮ）の平行枝（Ｚ１，Ｚ２）の単数乃至全ての出
力を結合することを特徴とする方法。
【請求項２】ダイナミカルシステムの各影響量を、少なくとも１つの第１
の出力量のシミュレーションのために、慣性を特定する複数の第１の影響量及び
前記ダイナミカルシステムの加速度を特定する複数の第２の影響量にグループ分
けする請求項１記載の方法。
【請求項３】請求項１又は２記載の方法であって、ａ）影響量（ＥＤ）をニューラルネット（ＮＮ）に時系列ベクトルの形式で供給
し、従って、出力量ベクトルを第１の出力量（ＡＤ）から形成し、ｂ）前記第１の出力量の形成のために、前記出力量ベクトルのベクトル成分の平
均値を形成する方法。
【請求項４】影響量（ＥＤ）内に含まれる障害を減衰するために、枝に供
給された前記影響量（ＥＤ）をネット内で前処理する請求項１〜３迄の何れか１記載の方法。
【請求項５】平行枝（Ｚ１，Ｚ２）に、並列にリニア及びクォドラチック
に重み付けされた影響量（ＥＤ）を供給する請求項１〜４迄の何れか１記載の方
法。
【請求項６】少なくとも単数又は複数の第１の影響量及び／又は単数又は
複数の第２の影響量から、少なくとも２つの指標を形成し、該指標を用いて枝を
別個のターゲットとしてトレーニングする請求項１〜５迄の何れか１記載の方法。
【請求項７】第１の影響量を、時系列内の値の埋め込み部（Ｅｉｎｂｅｔ
ｔｕｎｇ）として使用し、第２の影響量を、前記時系列内の曲率として使用する
請求項３〜６迄の何れか１記載の方法。
【請求項８】時系列を指標により形成する請求項３〜６迄の何れか１記載の方法。
【請求項９】ダイナミカルシステムのシミュレーションのための、ニュー
ラルネットワーク用の層装置において、ａ）少なくとも、それぞれ１つの、ダイナミカルシステムの慣性を特定する第
１の影響量、及び、前記ダイナミカルシステムの加速度を特定する第２の影響量
のシミュレーションのために、少なくともそれぞれ１つの第１（４０００）乃至
第２（４５００）の隠れ（中間）ニューロン層、並びに、第１（５０００）乃至
第２（５５００）の出力層が設けられており、ｂ）シミュレートされた第１の影響量（６１０）と第２の影響量（６２０）と
を結合して出力量を形成するために結合層（６０００）が設けられていることを特徴とする層装置。
【請求項１０】第１（４０００）及び第２（４５００）の隠れニューロン
層の前にある前処理層（２０００）が、ノイズのフィルタリング及び前記第１及
び第２の隠れニューロン層（４０００，４５００）の供給のためのフィルタデー
タの形成のために設けられている請求項９記載の層装置。
【請求項１１】第１及び第２の隠れニューロン層（４０００，４５００）
と前処理層（２０００）との間に、クォドラチック（ｑｕａｄｒａｔｉｓｃｈ）
に重み付けされたフィルタデータ乃至入力データの形成のための２次関数（Ｑｕ
ａｄｒｉｅｒｕｎｇｓｓｃｈｉｃｈｔ）層が設けられている請求項９〜１０迄の何れか１記載の方法。
【請求項１２】平均化された出力量の形成用に、結合層（６０００）の後
ろに平均値形成層（ＭＷＦ）が設けられている請求項９〜１１迄の何れか１記載の方法。
【請求項１３】それぞれ第１及び第２の影響量から形成された、それぞれ
複数の指標の特性の制御のために、第１乃至第２の出力層（５０００，５５００
）の後ろに、それぞれ１つの出力層（７０００，７５００）が、制御層の形式で
設けられている請求項９〜１１迄の何れか１記載の方法。