JP2002539567A

JP2002539567A - 相互に接続されている計算エレメントの装置、ダイナミックプロセスの基礎になっているダイナミック特性を計算機支援されて求めるための方法並びに相互に接続されている計算エレメントの装置を計算機支援されて学習するための方法

Info

Publication number: JP2002539567A
Application number: JP2000605966A
Authority: JP
Inventors: ノイナイアーラルフ; ツィンマーマンハンス−ゲオルク
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1999-03-03
Filing date: 2000-03-01
Publication date: 2002-11-19
Also published as: WO2000055809A3; EP1145192A2; EP1145192B1; WO2000055809A2; US6728691B1; DE50002165D1; EP1145192A3

Abstract

(57)【要約】装置においても方法においても、計算エレメントは次のように相互に結合されている：第１の状態空間におけるシステムの状態を１つの時点においてそれぞれ記述する時系列値が供給される所属の第１の入力計算エレメントと、第２の状態空間におけるシステムの状態を１つの時点においてそれぞれ記述することができる所属の第１の中間計算エレメントとを有する第１のサブ装置において、該第１の入力計算エレメントおよび第１の中間計算エレメントが相互に結合されているようにである。第２の状態空間におけるシステムの状態を１つの時点において記述することができる所属の第２の中間計算エレメントと、第１の出力信号が取り出される所属の第１の出力計算エレメントとを有する第２のサブ装置では、第２の中間計算エレメントおよび第１の出力計算エレメントは相互に接続されている。第２の状態空間におけるシステムの状態を１つの時点において記述することができる所属の第３の中間計算エレメントと、第２の出力信号が取り出される所属の第３の出力計算エレメントとを有する第３のサブ装置では、第３の中間計算エレメントおよび第２の出力計算エレメントは相互に接続されている。第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計算エレメントの結合によって相互に接続されている。２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は相互に同じでありかつ中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されている荷重は相互に同じである。

Description

【発明の詳細な説明】

【０００１】本発明は、相互に結合されている計算エレメントの装置、ダイナミックプロセ
スの基礎となっているダイナミック特性を計算機支援されて求めるための方法並
びに相互に結合されている計算エレメントの装置を計算機支援されて学習するた
めの方法に関する。

【０００２】［１］から、ダイナミックプロセスの基礎となっているダイナミック特性を計
算機支援されて求めるために、相互に結合されている計算エレメントの装置を使
用することが公知である。

【０００３】一般に、ダイナミックプロセスは通例、ダイナミックプロセスの観察者によっ
て見えない状態遷移記述、および技術ダイナミックプロセスの観察可能な量を記
述する初期条件式（Ausgangsgleichung）によって記述される。

【０００４】この種のストラクチャが図２に示されている。

【０００５】ダイナミックシステム２００は前以て決めることができる次元の外部入力量ｕ
の影響を受けるものであり、その際時点ｔにおける入力量ｕ_ｔはｕ_ｔによって次
のように表される：

【０００６】

【数１】

【０００７】ここで１によって自然数が表される。

【０００８】時点ｔにおける入力量ｕ_ｔは、ダイナミックシステム２００において経過する
ダイナミックプロセスの変更を引き起こす。

【０００９】時点ｔにおける前以て決めることができる次元ｍの内部状態

【００１０】

【数２】

【００１１】はダイナミックシステム２００の観察者にとって観察可能ではない。

【００１２】内部状態ｓ_ｔおよび入力量ｕ_ｔに依存して、ダイナミックプロセスの内部状態
ｓ_ｔの状態遷移が引き起こされかつダイナミックプロセスの状態は次の時点ｔ＋
１における継続状態ｓ_ｔ＋１へ移行する。

【００１３】その際次式が当てはまる：ｓ_ｔ＋１＝ｆ（ｓ_ｔ，ｕ_ｔ）（１）ここでｆ（．）によって一般の写像（Abbildungsvorschrift）が表される。

【００１４】ダイナミックシステム２００の観察者によって観察可能な、時点ｔにおける出
力量ｙ_ｔは、入力量ｕ_ｔ並びに内部状態ｓ_ｔに依存している。

【００１５】出力量

【００１６】

【数３】

【００１７】は前以て決めることができる次元ｎである。

【００１８】この出力量ｙ_ｔの、ダイナミックシステムの入力量ｕ_ｔおよび内部状態ｓ_ｔに
対する依存性は次の一般的な規定によって与えられている：ｙ_ｔ＝ｇ（ｓ_ｔ，ｕ_ｔ）（２）ここでｇ（．）によって一般の写像が表される。

【００１９】ダイナミックシステム２００を記述するために、［１］には相互に結合されて
いる計算エレメントの装置が相互に結合されているニューロンのニューラルネッ
トワークの形において使用される。ニューロンのニューラルネットワークのニュ
ーロン間の結合は重み付けられている。ニューラルネットワークの荷重はパラメ
ータベクトルｖにまとめられている。

【００２０】従って、ダイナミックプロセスに委ねられるダイナミックシステムの内部状態
は、次式に示されているように、先行する時点ｓ_ｔの入力量ｕ_ｔおよび内部状態
およびパラメータベクトルｖに依存している：ｓ_ｔ＋１＝ＮＮ（ｖ，ｓ_ｔ，ｕ_ｔ）（３）ここでＮＮ（．）によってニューラルネットワークによって前以て決められた写
像が表される。

【００２１】［２］から、時間遅延リカレントニューラルネットワーク（Time Delay Recur
rent Neural Network＝ＴＤＲＮＮ）が公知である。

【００２２】公知のＴＤＲＮＮは図５には有限数の時点（５つの時点：ｔ−４，ｔ−３，ｔ
−２，ｔ−１．ｔが示されている）にわたって展開されるニューラルネットワー
ク５００として図示されている。

【００２３】図５に示されているニューラルネットワーク５００は５つの部分入力層５２１
，５２２，５２３，５２４および５２５を備えている入力層５０１を有している
。これらの部分入力層はそれぞれ、前以て決められている数の入力計算エレメン
トを含んでいる。これら入力計算エレメントには入力量ｕ_ｔ−４，ｕ_ｔ−３，ｕ _ｔ−２，ｕ_ｔ−１およびｕ_ｔが前以て決められている時点ｔ−４，ｔ−３，ｔ−
２，ｔ−１およびｔにおいて、すなわち以下に説明する前以て決められた時間ス
テップを有する時系列値が加えられるようになっている。

【００２４】入力計算エレメント、すなわち入力ニューロンは可変の結合部を介して隠れ層
５０５（５つの隠れ層が図示されている）の前以て決めることができる数のニュ
ーロンに結合されている。

【００２５】ここで、隠れ層の第１の層５３１，第２の層５３２，第３の層５３３，第４の
層５３４および第５の層５３５のニューロンはそれぞれ、第１の部分入力層５２
１，第２の部分入力層５２２，第３の部分入力層５２３，第４の部分入力層５２
４および第５の部分入力層５２５のニューロンに接続されている。

【００２６】隠れ層の第１の層５３１，第２の層５３２，第３の層５３３，第４の層５３４
および第５の層５３５の、それぞれ第１の部分入力層５２１，第２の部分入力層
５２２，第３の部分入力層５２３，第４の部分入力層５２４および第５の部分入
力層５２５との間の結合はそれぞれ同じである。すべての結合の荷重はそれぞれ
第１の結合マトリクスＢ_１に含まれている。

【００２７】更に、第１の隠れ層５３１のニューロンの出力側は第２の隠れ層５３２のニュ
ーロンの入力側に、第２の結合マトリクスＡ_１によって与えられているストラク
チャに従って結合されている。第２の隠れ層５３２のニューロンの出力側は第３
の隠れ層５３３のニューロンの入力側に、第２の結合マトリクスＡ_１によって与
えられているストラクチャに従って結合されている。第３の隠れ層５３３のニュ
ーロンの出力側は第４の隠れ層５３４のニューロンの入力側に、第２の結合マト
リクスＡ_１によって与えられているストラクチャに従って結合されている。第４
の隠れ層５３４のニューロンの出力側は第５の隠れ層５３５のニューロンの入力
側に、第２の結合マトリクスＡ_１によって与えられているストラクチャに従って
結合されている。

【００２８】隠れ層、すなわち第１の隠れ層５３１，第２の隠れ層５３２，第３の隠れ層５
３３，第４の隠れ層５３４および第５の隠れ層５３５においてそれぞれ、５つの
連続する時点ｔ−４，ｔ−３，ｔ−２，ｔ−１およびｔにおいてＴＤＲＮＮによ
って記述されるダイナミックプロセスの「内部」状態または「内部の」システム
状態ｓ_ｔ−４，ｓ_ｔ−３，ｓ_ｔ−２，ｓ_ｔ−１およびｓ_ｔが表される。

【００２９】それぞれの層におけるインデックスのデータはそれぞれ、時点ｔ−４，ｔ−３
，ｔ−２，ｔ−１およびｔを指示している。これらの時点でそれぞれの層の出力
側にて取り出されるもしくは供給される信号がそれぞれ処理される（ｕ_ｔ−４，
ｕ_ｔ−３，ｕ_ｔ−２，ｕ_ｔ−１およびｕ_ｔ）。

【００３０】出力層５２０は５つの部分出力層、すなわち第１の部分出力層５４１，第２の
部分出力層５４２，第３の部分出力層５４３，第４の部分出力層５４４並びに第
５の部分出力層５４５を有している。第１の部分出力層５４１のニューロンは出
力結合マトリクスＣ_１によって与えられているストラクチャに従って第１の隠れ
層５３１のニューロンに結合されている。第２の部分出力層５４２のニューロン
は出力結合マトリクスＣ_１によって与えられているストラクチャに従って第２の
隠れ層５３２のニューロンに結合されている。第３の部分出力層５４３のニュー
ロンは出力結合マトリクスＣ_１によって与えられているストラクチャに従って第
３の隠れ層５３３のニューロンに結合されている。第４の部分出力層５４４のニ
ューロンは出力結合マトリクスＣ_１によって与えられているストラクチャに従っ
て第４の隠れ層５３４のニューロンに結合されている。第５部分出力層の５４５
のニューロンは出力結合マトリクスＣ_１によって与えられているストラクチャに
従って第５の隠れ層５３５のニューロンに結合されている。部分出力層５４１，
５４２，５４３，５４４および５４５のニューロンで、それぞれの時点ｔ−４，
ｔ−３，ｔ−２，ｔ−１およびｔに対する出力量が取り出される（ｙ_ｔ−４，ｙ_ｔ−３，ｙ_ｔ−２，ｙ_ｔ−１，ｙ_ｔ）。

【００３１】ニューラルネットワークにおける等価な結合マトリクスはそれぞれの時点にお
いて同じ値を有しているという原則は、いわゆる分配荷重値（シェアド・ウェイ
ツ＝Shared Weights）の原理と称される。

【００３２】［２］から公知でありかつ Time Delay Recurrent Neural Network（ＴＤＲＮ
Ｎ）と称される装置は、学習フェーズにおいて、入力量ｕ_ｔに対してそれぞれ、
実際のダイナミックシステムでの目標量ｙ^ｄ _ｔが求められるように学習される。
この組（入力量、求められた目標量）は学習データと称される。このような学習
データが多数個集まって学習データセットを形成する。

【００３３】ここで学習データセットの時点（ｔ−４，ｔ−３，…）の時間的に連続する組
み（ｕ_ｔ−４，ｙ^ｄ _ｔ−４），（ｕ_ｔ−３，ｙ^ｄ _ｔ−３），（ｕ_ｔ−２，ｙ^ｄ _ｔ _−２）はそれぞれ前以て決められている時間ステップを有している。

【００３４】学習データセットによって、ＴＤＲＮＮが学習される。種々の学習方法に関す
る概観も［１］に記載されている。

【００３５】ここで強調しておくが、時点ｔ−４，ｔ−３，…，ｔにおけるダイナミックシ
ステム２００の出力量ｙ_ｔ−４，ｙ_ｔ−３，…，ｙ_ｔだけが識別可能である。「
内部の」システム状態ｓ_ｔ−４，ｓ_ｔ−３，…，ｓ_ｔは観察することができない
。

【００３６】学習フェーズにおいて通例、次の費用関数Ｅが最小化される：

【００３７】

【数４】

【００３８】ここでＴは考慮される時点の数である。

【００３９】更に［３］に、ニューラルネットワークの基礎に関する概観およびニューラル
ネットワークの、経済の分野での使用例が記載されている。

【００４０】公知の装置および方法は殊に次のような欠点を有している：これら装置および
方法によって、実時点ｔにおける入力量ｕ_ｔまたは前以て決められている時間ス
テップだけ時間的に先行している時点ｔ−１における入力量ｕ_ｔ−１に対してプ
ロセスのその時点の状態しか記述することができない。前以て決めることができ
る時間ステップだけ時間的に後続する、プロセスのこれから先に生じる継続状態
またはその都度前以て決めることができる時間ステップだけ時間的に連続してい
る、プロセスのこれから先に生じる継続状態は大抵の場合記述することができな
いないし予測することができない。

【００４１】従って本発明の課題は、ダイナミックプロセスの時間的に連続しているこれか
ら先に生じる継続状態を記述することができかつ装置が公知の装置の欠点を有し
ていないようにした、相互に結合されている計算エレメントの装置を提供するこ
とである。

【００４２】更に本発明の課題は、ダイナミックプロセスの時間的に連続しているこれから
先に生じる継続状態を記述することができる、ダイナミックプロセスが基礎とし
ているダイナミック特性を計算機支援されて求めるための方法を提供することで
ある。

【００４３】この課題は、独立請求項の特徴部分に記載の構成を有する装置並びに方法によ
って解決される。

【００４４】相互に結合されている計算エレメントの装置は次の特徴を有している： ○ 装置は、第１の状態空間におけるシステムの状態を１つの時点においてそれ
ぞれ記述する時系列値が供給される所属の第１の入力計算エレメントと、第２の
状態空間におけるシステムの状態を１つの時点においてそれぞれ記述することが
できる所属の第１の中間計算エレメントとを有する少なくとも１つの第１のサブ
装置を備え、ここで該第１の入力計算エレメントおよび第１の中間計算エレメン
トは相互に結合されており、 ○ 装置は、第２の状態空間におけるシステムの状態を１つの時点において記述
することができる所属の第２の中間計算エレメントと、第１の出力信号が取り出
される所属の第１の出力計算エレメントとを有する少なくとも１つの第２のサブ
装置を備え、ここで第２の中間計算エレメントおよび第１の出力計算エレメント
は相互に結合されており、 ○ 装置は、第２の状態空間におけるシステムの状態を１つの時点において記述
することができる所属の第３の中間計算エレメントと、第２の出力信号が取り出
される所属の第２の出力計算エレメントとを有する少なくとも１つの第３のサブ
装置を備え、ここで第３の中間計算エレメントおよび第２の出力計算エレメント
は相互に結合されており、 ○ 第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計
算エレメントの結合によって相互に結合されており、 ○ ２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は相互に
同じでありかつ ○ 中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されてい
る荷重は相互に同じである。

【００４５】ダイナミックプロセスの基礎になっているダイナミック特性を計算機支援され
て求めるための方法において次のステップが実施される：ａ）ダイナミックプロセスを第１の状態空間における時系列値を有する時系列に
よって記述し、ここで少なくとも１つの第１の時系列値は第１の時点におけるダ
イナミックプロセスの状態を記述しておりかつ第２の時系列値は第２の時点にお
けるダイナミックプロセスの状態を記述しており、ｂ）第１の時系列値を第２の状態空間に変換し、ｃ）第２の状態空間における第１の時系列値を第２の状態空間における第２の時
系列値に対して写像し、ｄ）第２の状態空間における第２の時系列値を第２の状態空間における第３の時
系列値に対して写像し、ｅ）第２の状態空間における第２の時系列値および第２の状態空間における第３
の時系列値をそれぞれ第１の状態空間に逆変換し、ｆ）第２の状態空間における時系列値を使用して、ダイナミックプロセスのダイ
ナミック特性を求める。

【００４６】相互に結合されている計算エレメントの装置を使用して、ダイナミックプロセ
スの基礎となっているダイナミック特性を計算機支援されて求めるための方法で
は、該装置は次の構成を有している： ○ 少なくとも１つの第１のサブ装置において、第１の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述する入力信号が供給される所属
の第１の入力計算エレメントと、第２の状態空間におけるダイナミックシステム
の状態を１つの時点において記述することができる所属の第１の中間計算エレメ
ントとは相互に結合されており、 ○ 少なくとも１つの第２のサブ装置において、第２の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述することができる所属の第２の
入力計算エレメントと、第１の状態空間におけるダイナミックシステムの状態を
ある時点において記述している第１の出力信号が取り出される所属の第１の出力
計算エレメントとは相互に結合されており、 ○ 少なくとも１つの第３のサブ装置において、第２の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述することができる所属の第３の
中間計算エレメントと、第１の状態空間におけるダイナミックシステムの状態を
ある時点において記述している第２の出力信号が取り出される所属の第２の出力
計算エレメントとは相互に結合されており、 ○ 第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計
算エレメントの結合によって相互に結合されており、 ○ ２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は、荷重
が相互に同じであるように決められかつ ○ 中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されてい
る荷重は、荷重が相互に同じであるように決められ、該装置には入力信号が供給される。この装置は、第１の出力信号および第２の出
力信号を求める。第１の出力信号および第２の出力信号を使用して、ダイナミッ
ク特性が求められる。

【００４７】次の構成要素を備えている相互に結合されている計算エレメントの装置の計算
機支援されて学習するための方法において、 ○ 少なくとも１つの第１のサブ装置において、第１の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述する入力信号が供給される所属
の第１の入力計算エレメントと、第２の状態空間におけるダイナミックシステム
の状態を１つの時点において記述することができる所属の第１の中間計算エレメ
ントとは相互に結合されており、 ○ 少なくとも１つの第２のサブ装置において、第２の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述することができる所属の第２の
入力計算エレメントと、第１の状態空間におけるダイナミックシステムの状態を
ある時点において記述している第１の出力信号が取り出される所属の第１の出力
計算エレメントとは相互に結合されており、 ○ 少なくとも１つの第３のサブ装置において、第２の状態空間におけるダイナ
ミックシステムの状態を１つの時点において記述することができる所属の第３の
中間計算エレメントと、第１の状態空間におけるダイナミックシステムの状態を
ある時点において記述している第２の出力信号が取り出される所属の第２の出力
計算エレメントとは相互に結合されており、 ○ 第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、所属の
中間計算エレメントの結合によって相互に結合され、 ○ ２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は、荷重
が相互に同じであるように決められ、 ○ 中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されてい
る荷重は、荷重が相互に同じであるように決められる形式の装置を使用して、該装置は、入力信号として第１の入力計算エレメントに
加えられる前以て決められた学習データを使用して、次のようなサブ装置におい
てのみ「エラー」値が形成されるように学習される、すなわちそれぞれ学習デー
タを有している時間ステップと同じである時間ステップを有している時点を持っ
た、ダイナミックシステムの状態を表しているサブ装置においてのみ「エラー」
値が形成される。

【００４８】装置は殊に、本発明の方法またはこの方法の以下に説明する形態を実施するた
めに適している。

【００４９】本発明を使用して、ダイナミックプロセスの、その都度前以て決めることがで
きる時間ステップづつ連続している複数の継続状態を予測することができる。こ
れにより、ダイナミックプロセスの状態は大きな時間空間にわたって予測可能で
ある。

【００５０】ダイナミックプロセスの将来的な状態をこのように求めることを所謂「オーバ
シューティキング（overshooting）」と呼ぶことにする。

【００５１】これにより本発明は、いわゆる「ファースト・コース（first cause）」解析
を実施するため、いわゆる「アーリィ・ワーニング（rarly warning）」インジ
ケータを求めるためにかつ早期警告システムの枠内において使用することができ
る。すなわち、本発明によってダイナミックプロセスに対して、実時点に関して
大きな時間的な間隔において続く所望しないプロセス状態を実時点において既に
指示するようなインジケータまたはプロセス状態を求めることができる。従って
、早期に、ダイナミックプロセスの所望しない成り行きの最初の原因を識別し、
これにより対抗措置をとることができる。

【００５２】殊に本発明によって、ダイナミックプロセスの基礎となっているダイナミック
特性を求める際に時間的に比較的古い状態より時間的に比較的新しい状態の方を
より重く考慮することが実現される。

【００５３】更に、本発明は、本発明の装置の学習に対しておよび本発明の学習方法におい
て、公知の装置および方法に比べて僅かな学習データしか必要とせず、従って一
層効率のよい学習が可能であるという利点を有している。このことは殊に本発明
の装置において使用される計算エレメントの特別な選択および配置ないしストラ
クチャに基づいて可能である。

【００５４】本発明の有利な形態は従属請求項から明らかである。

【００５５】有利にはそれぞれ、複数の第１，第２および／または第３のサブ装置が使用さ
れる。

【００５６】１つの実施の形態によれば、第２の状態空間におけるシステムの状態を１つの
時点において記述することができる所属の第４の中間計算エレメントと、所属の
第２の入力計算エレメントとを有する少なくとも１つの第４のサブ装置を備えて
いる。所属の第４の中間計算エレメントおよび、状態空間におけるシステムの別
の状態を別の時点において記述する別の時系列値が供給される所属の第２の入力
計算エレメントは相互に結合されている。第４のサブ装置は第４の中間計算エレ
メントの、第１の中間計算エレメントとの結合によって第１のサブ装置に結合さ
れている。この実施の形態では、入力計算エレメントと中間計算エレメントと間
の結合にそれぞれ配属されている荷重は相互に同じである。

【００５７】有利には、複数の第４のサブ装置が使用される。

【００５８】出力計算エレメントが複数の中間計算エレメントに結合されているとき、出力
計算エレメントにおいて簡単な出力信号が導出される。

【００５９】有利な形態において、第１のサブ装置、第２のサブ装置および第３のサブ装置
はそれぞれ第１の時点、第２の時点および第３の時点におけるシステムを表して
おり、ここで第１の時点、第２の時点および第３の時点はそれぞれ連続する時点
でありかつ第１の時点と第２の時点との間に第１の時間間隔が存在しており、該
第１の時間間隔は第１の前以て決めることができる時間ステップを有しておりか
つ第２の時点と第３の時点との間に第２の時間間隔が存在しており、該第２の時
間間隔は第２の前以て決めることができる時間ステップを有している。

【００６０】いわゆる長時間予測に対して、第１のサブ装置はシステムの実時点状態を表し
ており、第２のサブ装置はシステムの、第１の前以て決めることができる時間ス
テップだけずれている将来の第１の状態を表しており、第３のサブ装置はシステ
ムの、第２の前以て決めることができる時間ステップだけずれている将来の第２
の状態を表しているようにすれば有利である。

【００６１】有利には、第１の前以て決めることができる時間ステップおよび第２の前以て
決めることができる時間ステップは相互に同じである。

【００６２】１つの形態において、第２の前以て決めることができる時間ステップは第１の
前以て決めることができる時間ステップの数倍である。

【００６３】システムのいわゆる中間状態を求めるために、第１の前以て決めることができ
る時間ステップおよび／または第２の前以て決めることができる時間ステップは
、時系列値によって形成される時系列によって決定される別の前以て決められた
時間ステップの約数であるようにすれば有利である。

【００６４】１実施形態において、第４のサブ装置は第４の時点におけるシステムを表して
おり、ここで第４の時点と第１の時点との間に第３の時間間隔があり、該時間間
隔は第３の前以て決めることができる時間ステップを有している。

【００６５】有利には、第４のサブ装置はシステムの時間的に比較的古い状態を表している
。

【００６６】計算エレメントの少なくとも一部が人工的なニューロンであれば、ダイナミッ
ク特性は殊に簡単に求められる。

【００６７】更に、１実施形態において、荷重のうち、中間計算エレメントと出力計算エレ
メントとの間の結合にそれぞれ割り当てられている荷重だけが値１を有しており
かつ荷重のその他の荷重はそれぞれ値零を有しているようにすれば、計算技術的
に特別有利である。

【００６８】有利には、実施形態はダイナミックプロセスのダイナミック特性を求めるため
に使用される。

【００６９】１実施形態は、ダイナミックプロセスを記述する物理的な信号を検出するため
の測定装置を備えている。

【００７０】有利には、実施形態は化学原子炉におけるダイナミックプロセスのダイナミッ
ク特性を求めるために、または心電図のダイナミック特性を求めるために、また
は経済またはマクロ経済のダイナミック特性を求めるために使用される。

【００７１】実施の形態は、ダイナミックプロセス、殊に化学プロセスの監視または制御の
ためにも使用することができる。

【００７２】時系列値は物理信号から求めることができる。

【００７３】本発明の実施例は図示されておりかつ引き続き詳細に説明する。

【００７４】その際：図１Ａおよび図１Ｂは、装置の基本ストラクチャおよび第１の実施例の装置の略
図であり、図２は、ダイナミックシステムを一般的に説明する略図であり、図３は、ダイナミックプロセスの中間状態を求める、第２の実施例の配置構成図
であり、図４は、第１の実施例の装置によって引き続き処理される量が測定される化学原
子炉の略図であり、図５は、有限の数の多数の状態が時間に関して展開されているＴＤＲＮＮの装置
の略図である。

【００７５】第１の実施例：化学原子炉図４には化学原子炉４００が示されている。これには化学材料４０１が充填さ
れている。化学原子炉４００は攪拌機４０２を有している。これによって化学材
料４０１が攪拌される。化学原子炉４００に流入する別の化学材料４０３は、前
以て決めることができる時間空間の間化学原子炉４００において該化学原子炉に
既に含まれている化学材料４０１と反応する。原子炉４００から流出する材料４
０４は化学原子炉４００から出口を介して取り出される。

【００７６】攪拌機４０２は導管を介して制御ユニット４０５に接続されており、制御ユニ
ットによって制御信号４０６を介して攪拌機４０２の攪拌周波数を調整設定可能
である。

【００７７】更に、測定装置４０７が設けられている。これによって、化学材料４０１に含
まれている化学物質を測定することができる。

【００７８】測定信号４０８は計算機４０９に供給され、計算機４０９において入出力イン
タフェース４１０およびＡ／Ｄ変換器４１１を介してデジタル化されかつメモリ
４１２に記憶される。プロセッサ４１３はメモリ４１２と同様にバス４１４を介
してＡ／Ｄ変換器４１１に接続されている。計算機４０９は更に入出力インタフ
ェース４１０を介して攪拌機４０２の制御ユニット４０５に接続されており、こ
れにより計算機４０９は攪拌機４０２の攪拌周波数を制御する。

【００７９】計算機４０９は更に、入出力インタフェース４１０を介してキーボード装置４
１５，コンピュータマウス４１６並びに画像スクリーン４１７に接続されている
。

【００８０】このようにしてダイナミック技術システム２００としての化学原子炉４００に
対してダイナミックプロセスが行われる。

【００８１】化学原子炉４００は状態記述を用いて記述される。入力量ｕ_ｔはこの場合、化
学原子炉４００において生じている温度並びに化学原子炉４００において生じて
いる圧力および時点ｔで調整設定された攪拌周波数に関するデータから合成され
ている。従って入力量は３次元のベクトルである。

【００８２】以下に説明する、化学原子炉４００のモデル化の目的は、物質濃度のダイナミ
ックな展開を突き止めて、従って生産すべき前以て決めることができる目標物質
、すなわち流出する物質４０４としての物質の効率のよい生成を可能にすること
である。

【００８３】このことは、以下に説明する、図１Ａおよび図１Ｂに図示されている装置を使
用して行われる。

【００８４】装置が基礎としている原理を一層簡単に理解するために、図１Ａには装置の基
本ストラクチャが示されている。この基本ストラクチャから出発して、図１Ｂに
図示の装置が形成される。

【００８５】図１Ａに図示のニューラルネットワーク１００は入力層１２１を有している。
入力層は前以て決めることができる数の入力ニューロンを含んでいる。これらに
は入力量ｕ_ｔが前以て決めることができる時点ｔで、すなわち以下に説明する時
系列値が前以て決めることができる時間ステップで印加可能である。

【００８６】入力ニューロンは可変の結合路を介して前以て決めることができる数の隠れ層
１０５のニューロンに結合されている（３つの隠れ層が図示されている）。

【００８７】その際第１の隠れ層１３１のニューロンは第１の入力層１２１のニューロンに
結合されている。

【００８８】第１の隠れ層１３１と第１の入力層１２１との間の結合路には荷重がある。こ
の荷重は第１の結合マトリクスＢに含まれている。

【００８９】更に、第１の隠れ層１３１のニューロンの出力側は第２の結合マトリクスＡに
よって与えられるストラクチャに従って第２の隠れ層１３２のニューロンの入力
側に結合されている。第２の隠れ層１３２のニューロンは出力側が第２の結合マ
トリクスＡによって与えられるストラクチャに従って第３の隠れ層１３３のニュ
ーロンの入力側に結合されている。

【００９０】隠れ層、すなわち第１の隠れ層１３１，第２の隠れ層１３２および第３の隠れ
層１３３においてそれぞれ、３つの連続する時点ｔ，ｔ＋１，ｔ＋２における記
述されるダイナミックプロセスの「内部」状態または「内部」システム状態ｓ_ｔ，ｓ_ｔ＋１，ｓ_ｔ＋２が表現される。

【００９１】それぞれの層におけるインデックスの指示はそれぞれ、それぞれの層の出力側
において取り出されるないし供給される信号（ｕ_ｔ）が関連付けられる時点ｔ，
ｔ＋１，ｔ＋２を表している。

【００９２】出力層１２０は２つの部分出力層、すなわち第１の部分出力層１４１および第
２の部分出力層１４２を有している。第１の部分出力層１４１のニューロンは出
力結合マトリクスＣによって与えられているストラクチャに従って第１の隠れ層
１３１のニューロンに結合されている。第２の部分出力層１４２のニューロンは
出力結合マトリクスＣによって与えられているストラクチャに従って第２の隠れ
層１３２のニューロンに結合されている。

【００９３】部分出力層１４１および１４２のニューロンで、それぞれ時点ｔ＋１，ｔ＋２
に対する出力量が取り出される（ｙ_ｔ＋１，ｙ_ｔ＋２）。

【００９４】ニューラルネットワークにおける等価な結合マトリクスがそれぞれの時点にお
いて同じ値を有している原則は、いわゆる分けられる荷重値（シェアド・ウェイ
ツ＝Shared Weights）の原理と呼ばれる。

【００９５】シェアド・ウェイツの原理から出発してかつ基本ストラクチャから出発して次
に図１Ｂに図示されている装置について説明する。

【００９６】以下に説明する概略図はそれぞれ、それぞれの層ないしそれぞれの部分層が前
以て決めることができる数のニューロン、すなわち計算エレメントを有している
ものと理解されるべきである。

【００９７】それぞれの結合マトリクスは任意の次元でありかつそれぞれの層のニューロン
間の相応の結合にそれぞれ、荷重値を含んでいる。

【００９８】しかし、出力結合マトリクスＣが、出力結合マトリクスＣの１つ荷重は値１を
有するが、出力結合マトリクスＣの別の荷重は値０を有するように決定されるこ
とが特別重要である。

【００９９】図１Ｂに図示の装置１００は、４つの部分入力層１２１，１２２，１２３およ
び１２４を有する入力層１０１を有している。これら入力層はそれぞれ前以て決
めることができる数の入力計算エレメントを含んでおり、これら計算エレメント
には、前以て決めることができる時点ｔ−３，ｔ−２，ｔ−１およびｔで入力量
ｕ_ｔ−３，ｕ_ｔ−２，ｕ_ｔ−１およびｕ_ｔが、すなわち以下に説明する時系列値
が前以て決められている時間ステップによって加えられるようになっている。

【０１００】ダイナミックプロセスのこのように数多くの時間的に先行する状態をそれぞれ
の入力量によって考慮できるようにすることによって装置は所謂「長期記憶」が
実現される。

【０１０１】入力計算エレメント、すなわち入力ニューロンは可変の結合部を介して隠れ層
１０５の前以て決めることができる数のニューロンに結合されている（８つの隠
れ層が図示されている）。

【０１０２】その際第１の隠れ層１３１，第２の隠れ層１３２，第３の隠れ層１３３，第４
の隠れ層１３４のニューロンはそれぞれ、第１の部分入力層１２１，第２の部分
入力層１２２，第３の部分入力層１２３，第４の部分入力層１３４のニューロン
に結合されている。

【０１０３】第１の隠れ層１３１，第２の隠れ層１３２，第３の隠れ層１３３，第４の隠れ
層１３４と、第１の部分入力層１２１，第２の部分入力層１２２，第３の部分入
力層１２３，第４の部分入力層１３４それぞれとの結合はそれぞれ同じである。
すべての結合の荷重はそれぞれ第１の結合マトリクスＢに含まれている。

【０１０４】更に、第１の隠れ層１３１のニューロンは出力側が第２の隠れ層１３２のニュ
ーロンの入力側に第２の結合マトリクスＡによって与えられているストラクチャ
に従って結合されている。第２の隠れ層１３２のニューロンは出力側が第３の隠
れ層１３３のニューロンの入力側に第２の結合マトリクスＡによって与えられて
いるストラクチャに従って結合されている。第３の隠れ層１３３のニューロンは
出力側が第４の隠れ層１３４のニューロンの入力側に第２の結合マトリクスＡに
よって与えられているストラクチャに従って結合されている。第４の隠れ層１３
４のニューロンは出力側が第５の隠れ層１３５のニューロンの入力側に第２の結
合マトリクスＡによって与えられているストラクチャに従って結合されている。
第５の隠れ層１３５のニューロンは出力側が第６の隠れ層１３６のニューロンの
入力側に第２の結合マトリクスＡによって与えられているストラクチャに従って
結合されている。第６の隠れ層１３６のニューロンは出力側が第７の隠れ層１３
７のニューロンの入力側に第２の結合マトリクスＡによって与えられているスト
ラクチャに従って結合されている。第７の隠れ層１３７のニューロンは出力側が
第８の隠れ層１３８のニューロンの入力側に第２の結合マトリクスＡによって与
えられているストラクチャに従って結合されている。

【０１０５】隠れ層、すなわち第１の隠れ層１３１，第２の隠れ層１３２，第３の隠れ層１
３３，第４の隠れ層１３４，第５の隠れ層１３５，第６の隠れ層１３６，第７の
隠れ層１３７および第８の隠れ層１３８において、８つの連続する時点ｔ−３．
ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２における、装置によって記述されるダイナ
ミックプロセスの「内部」状態または「内部」システム状態，ｓ_ｔ−３．ｓ_ｔ− _２，ｓ_ｔ−１，ｓ_ｔ，ｓ_ｔ＋１，ｓ_ｔ＋２，ｓ_ｔ＋３，ｓ_ｔ＋４がそれぞれ表現
される。

【０１０６】それぞれの層におけるインデックスの指示はそれぞれ、それぞれの層の出力側
において取り出されるないし供給される信号（ｕ_ｔ−３．ｕ_ｔ−２，ｕ_ｔ−１，
ｕ_ｔ，ｕ_ｔ＋１，ｕ_ｔ＋２，ｕ_ｔ＋３，ｕ_ｔ＋４）が関連付けられる時点ｔ−３
．ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２，ｔ＋３，ｔ＋４を表している。

【０１０７】出力層１２０は４つの部分出力層、すなわち第１の部分出力層１４１、第２の
部分出力層１４２、第３の部分出力層１４３および第４の部分出力層１４４を有
している。

【０１０８】第１の部分出力層１４１のニューロンは出力結合マトリクスＣによって与えら
れているストラクチャに従って第５の隠れ層１３５のニューロンに結合されてい
る。第２の部分出力層１４２のニューロンは同様に出力結合マトリクスＣによっ
て与えられているストラクチャに従って第５の隠れ層１３５のニューロンおよび
第６の隠れ層１３６のニューロンに結合されている。

【０１０９】第３の部分出力層１４３のニューロンは出力結合マトリクスＣに従って第５の
隠れ層１３５のニューロン、第６の隠れ層１３６のニューロンおよび第７の隠れ
層１３７のニューロンに結合されている。

【０１１０】第４の部分出力層１４４のニューロンは出力結合マトリクスＣに従って第５の
隠れ層１３５のニューロン、第６の隠れ層１３６のニューロン，第７の隠れ層１
３７のニューロンおよび第８の隠れ層１３８のニューロンに結合されている。

【０１１１】部分出力層１４１，１４２，１４３および１４４のニューロンで、それぞれ時
点ｔ＋１，ｔ＋２，ｔ＋３およびｔ＋４に対する出力量が取り出される（ｙ_ｔ＋ _１，ｙ_ｔ＋２，ｙ_ｔ＋３，ｙ_ｔ＋４）。

【０１１２】従って、ダイナミックプロセスの前以て決めることができる時間ステップづつ
その都度ずれている４つの継続状態の予測が可能であり、これにより長い時間間
隔にわたるダイナミックプロセスの状態が予測可能である（オーバーシューティ
ング＝overshooting）。

【０１１３】出力結合マトリクスＣは、出力結合マトリクスの１つの荷重が１を有しており
、出力結合マトリクスの１つの別の荷重が０を有しているように決められる。

【０１１４】図１Ｂに図示されている装置がそのストラクチャによって有している特別な利
点は、この装置が僅か数個の学習データを使用して効率のよい学習を可能にする
ということである。このことは殊に、結合マトリクスＡ，Ｂ，Ｃにおけるそれぞ
れ同じ荷重によって僅かな荷重パラメータを調整設定するだけでよいこと並びに
特別な形の出力結合マトリクスＣによって学習方法の一層の簡単化が得られると
いう理由で可能である。

【０１１５】装置が有している別の重要な利点は、ダイナミックプロセスのダイナミック特
性の記述のための基準になる情報が加えられるまたは取り出されるような入力ニ
ューロン層および出力ニューロン層だけが使用されるということにある。

【０１１６】説明した装置の学習のために、［１］に記載されているようなバックプロパゲ
ーション法（Back-Propagation-Verfahren）に基づいている方法が使用される。

【０１１７】［１］から公知の方法では、学習フェーズにおいて次の費用関数Ｅが最小化さ
れる：

【０１１８】

【数５】

【０１１９】ここでＴは考慮される時点の数である。

【０１２０】以下に説明する総費用関数Ｅ′の学習に対して費用関数Ｅは費用関数Ｆによっ
て拡張される。これにより、装置は、学習された装置によるダイナミック特性の
モデル化の際に、例えば、記述されるダイナミックプロセスの「内部」状態が表
現される前以て決められた空間におけるダイナミックプロセスの平滑化された経
過のように、前以て決められた条件が考慮される。

【０１２１】「内部の」システム状態ｓ_ｔ−３．ｓ_ｔ−２．ｓ_ｔ−１．ｓ_ｔ、ｓ_ｔ＋１，ｓ _ｔ＋２，ｓ_ｔ＋３およびｓ_ｔ＋４が記述される状態空間Ｓにおいて記述されるべ
き軌跡の湾曲度を測定するための費用関数Ｆを使用して、総費用関数Ｆ′が形成
される。ここで費用関数Ｆは次式：

【０１２２】

【数６】

【０１２３】に従って形成される。総費用関数を使用して、ニューラルネットワークが化学原
子炉における量の測定によって得られる学習データセットによって学習され、こ
こで総費用関数Ｆ′は次の式に従って形成される：

【０１２４】

【数７】

【０１２５】学習方法として逆伝搬方法（バックプロパゲーション法）が使用される。学習
データセットは次のようにして化学原子炉４００から得られる。

【０１２６】測定装置４０７によって前以て決められている入力量に対して濃度が測定され
かつ計算機４０９に供給され、そこでデジタル化されかつ時系列値ｘ_ｔとしてメ
モリに、測定された量に対応している相応の入力量と一緒にグループ分けされる
。

【０１２７】図１Ｂの装置は学習データセットおよび総費用関数を使用して学習される。

【０１２８】上に説明してきた学習方法により学習される、図１Ｂの装置は化学量を求める
ために化学原子炉４００において使用されて、時点ｔ−１における入力量および
時点ｔにおける入力量に対して、予測量ｘ_ｔ＋１，ｘ_ｔ＋２，ｘ_ｔ＋３およびｘ _ｔ＋４が適用フェーズにおいて装置によって求められ、これらは制御量として引
き続き求められた量の場合により行われる処理の後に制御量４２０，４２１とし
て攪拌機２０４を制御するための制御手段４０５または化学原子炉４００におけ
る別の化学材料の供給を制御するための供給制御装置４３０にも使用される（図
４参照）。

【０１２９】このような装置によっておよび装置の学習によって、更に、状態空間において
求められた、雑音の影響を受けている軌跡が通例の方法においておよびそこから
結果的に得られるスケーリングにおいてプロセスが基づいているダイナミック特
性を有用に求めるためには適していないということが起こりうる。

【０１３０】大きな空間における滑らかさ条件を考慮するという手法によって、状態空間に
おいてそれからダイナミック特性が変化されたスケーリングに沿って実現されて
、軌跡の経過が比較的大きな滑らかさを有し、従って雑音がダイナミック特性の
算出にもはや大して妨害にならないようにする。

【０１３１】第２の実施例：家賃予測図３に図示の装置では、ダイナミックプロセスが基礎としているダイナミック
特性の中間状態もしくはダイナミックプロセスの中間状態を求めることができる
。

【０１３２】ダイナミック特性の中間状態とは、前以て決めることができる時間ステップだ
け時間的にずれてダイナミックプロセスの実状態に続く状態のことであり、ここ
で前以て決めることができる時間ステップは、時系列によって、入力量によって
形成されて前以て決められている、時間ステップの除数である。

【０１３３】ダイナミックプロセスの中間状態をこのように求めることは所謂「アンダーシ
ューティング（undershooting）」と称される。

【０１３４】図３に示されている装置は家賃予測のために使用される。

【０１３５】入力量ｕ_ｔはこの場合、家賃、居住空間提供、インフレーションおよび失業率
に関するデータから組み合わされて成り、この種データは調べるべき居住地域に
関して年度末にその都度求められる（１２月値）。従って入力量は４次元のベク
トルである。複数の時間的に連続するベクトルから成っている入力量の時系列は
それぞれ１年の時間ステップを有している。

【０１３６】以下に説明する、家賃形成のモデリングの目的は実時点に関して次の３年の間
の家賃の予測であり、その際家賃はそれぞれ３ヶ月の時間ステップに対して決め
られる（１年目、２年目、３年目のそれぞれの３ケ月に対してそれぞれ）。

【０１３７】その際家賃形成のダイナミックプロセスの状態はそれぞれ、１年目、２年目お
よび３年目の１番目、２番目および３番目の３ヶ月に対してそれぞれダイナミッ
クプロセスを有している状態はそれぞれ、それぞれの時間ステップが入力量の時
系列を有している時間ステップに相応している。

【０１３８】家賃形成のダイナミックプロセスの記述は以下に説明しかつ図３に示されてい
る装置を使用して行われる。

【０１３９】図３に図示されている装置３００は入力層３２１を有しており、この層は前以
て決めることができる数の入力計算エレメントを含んでおり、これらには前以て
決めることができる時点ｔでの入力量ｕ_ｔ、すなわち以下に説明する、前以て決
められた時間ステップを有する時系列値が供給されるようになっている。

【０１４０】入力計算エレメント、すなわち入力ニューロンは可変の結合部を介して前以て
決めることができる数のニューロン３０５に結合されている（１３個の隠れ層が
図示されている）。

【０１４１】その際第１の隠れ層３３１のニューロンは第１の入力層３２１のニューロンに
結合されている。

【０１４２】第１の隠れ層３３１と第１の入力層３２１との間の結合の荷重は第１の結合マ
トリクスＢに含まれている。

【０１４３】更に、第１の隠れ層３３１のニューロンの出力側は第２の隠れ層３３２のニュ
ーロンの入力側に第２の結合マトリクスＡによって与えられているストラクチャ
に従って結合されている。第２の隠れ層３３２のニューロンの出力側は第３の隠
れ層３３３のニューロンの入力側に第２の結合マトリクスＡによって与えられて
いるストラクチャに従って結合されている。第３の隠れ層３３３のニューロンの
出力側は第４の隠れ層３３４のニューロンの入力側に第２の結合マトリクスＡに
よって与えられているストラクチャに従って結合されている。第４の隠れ層３３
４のニューロンの出力側は第５の隠れ層３３５のニューロンの入力側に第２の結
合マトリクスＡによって与えられているストラクチャに従って結合されている。
第５の隠れ層３３５のニューロンの出力側は第６の隠れ層３３６のニューロンの
入力側に第２の結合マトリクスＡによって与えられているストラクチャに従って
結合されている。第６の隠れ層３３６のニューロンの出力側は第７の隠れ層３３
７のニューロンの入力側に第２の結合マトリクスＡによって与えられているスト
ラクチャに従って結合されている。第７の隠れ層３３７のニューロンの出力側は
第８の隠れ層３３８のニューロンの入力側に第２の結合マトリクスＡによって与
えられているストラクチャに従って結合されている。第８の隠れ層３３８のニュ
ーロンの出力側は第９の隠れ層３３９のニューロンの入力側に第２の結合マトリ
クスＡによって与えられているストラクチャに従って結合されている。第９の隠
れ層３３９のニューロンの出力側は第１０の隠れ層３６０のニューロンの入力側
に第２の結合マトリクスＡによって与えられているストラクチャに従って結合さ
れている。第１０の隠れ層３６０のニューロンの出力側は第１１の隠れ層３６１
のニューロンの入力側に第２の結合マトリクスＡによって与えられているストラ
クチャに従って結合されている。第１１の隠れ層３６１のニューロンの出力側は
第１２の隠れ層３６２のニューロンの入力側に第２の結合マトリクスＡによって
与えられているストラクチャに従って結合されている。第１２の隠れ層３６２の
ニューロンの出力側は第１３の隠れ層３６３のニューロンの入力側に第２の結合
マトリクスＡによって与えられているストラクチャに従って結合されている。

【０１４４】隠れ層、すなわち第１ないし第１３の隠れ層３３１〜３３９および３６０〜３
５３においてそれぞれ、装置によって記述されるダイナミックプロセスの、１３
の連続する時点ｔ，ｔ＋１，…，ｔ＋１２における「内部の」状態または「内部
の」システム状態ｓ_ｔ，ｓ_ｔ＋１，…，ｓ_ｔ＋１２が表される。

【０１４５】その際第２の隠れ層３３２，第３の隠れ層３３３，第４の隠れ層３３４および
第６の隠れ層３３６，第７の隠れ層３３７，第８の隠れ層３３８並びに第１０の
隠れ層３６０，第１１の隠れ層３６１および第１２の隠れ層３６２によってそれ
ぞれ、ダイナミックプロセスの中間状態が表される。第１の隠れ層３３１，第５
の隠れ層３３５，第９の隠れ層３３９および第１３の隠れ層３６３はそれぞれ、
入力量の時系列によって前以て決められている時間ステップにそれぞれ相応して
いる、ダイナミックプロセスの状態をそれぞれ表している。

【０１４６】それぞれの層におけるインデックスのデータはそれぞれ、それぞれの層の出力
側で取り出されるもしくは供給される信号（ｕ_ｔ）が関連している時点ｔ，ｔ＋
１，…，ｔ＋１２を表している。

【０１４７】出力層３２０は、１２の部分出力層、第１の部分出力層３４１，第２の部分出
力層３４２，第３の部分出力層３４３，第４の部分出力層３４４，第５の部分出
力層３４５，第６の部分出力層３４６，第７の部分出力層３４７，第８の部分出
力層３４８，第９の部分出力層３４９，第１０の部分出力層３７０，第１１の部
分出力層３７１および第１２の部分出力層３７２を有している。

【０１４８】第１の部分出力層３４１のニューロンは出力結合マトリクスＣによって決めら
れているストラクチャに従って第２の隠れ層３３２のニューロンに結合されてい
る。第２の部分出力層３４２のニューロンは同様に、出力結合マトリクスＣによ
って決められているストラクチャに従ってそれぞれ。第２の隠れ層３３２のニュ
ーロンおよび第３の隠れ層３３３のニューロンに結合されている。

【０１４９】第３の部分出力層３４３のニューロンは、出力結合マトリクスＣに従ってそれ
ぞれ。第２の隠れ層３３２のニューロン、第３の隠れ層３３３のニューロンおよ
び第４の隠れ層３３４のニューロンに結合されている。

【０１５０】同等のことは、この形式の結合ストラクチャについて第４の部分出力層３４４
，第５の部分出力層３４５，第６の部分出力層３４６，第７の部分出力層３４７
，第８の部分出力層３４８，第９の部分出力層３４９，第１０の部分出力層３７
０，第１１の部分出力層３７１および第１２の部分出力層３７２に対してもそれ
ぞれ同等のことが言える。

【０１５１】部分出力側層３４１〜３４９および３７０〜３７２のニューロンで、それぞれ
の時点ｔ，ｔ＋１，…，ｔ＋１２に対して出力量が取り出される（ｙ_ｔ，ｙ_ｔ＋ _１，…，ｙ_ｔ＋１２）。

【０１５２】しかし更に入力層３２１に対して付加的に、第４の部分出力層３４４，第８の
部分出力層３４８および第１２の部分出力層３７２は所謂「エラーを発生する」
ニューロン層である。すなわち、装置が学習していくとき、これらのニューロン
層でだけエラー信号が生成される。

【０１５３】従って、それぞれ前以て決めることができる時間ステップ（３ヶ月の時間ステ
ップ）づつ離れて連続している、ダイナミックプロセスの１２の継続状態の予測
が可能であり、かつこのようにしてダイナミックプロセスの状態が大きな時間空
間にわたって予想することができる。

【０１５４】出力結合マトリクスＣは、出力結合マトリクスの一方の荷重が値１を有し、出
力結合マトリクスの他方の荷重が値０を有しているように決定される。

【０１５５】図３に示されている装置が殊にそのストラクチャによって有している特別な利
点は、この装置が殊に、僅かな学習データだけを使用して効率のよい学習を可能
にするということにある。このことは殊に、結合マトリクスＡ、ＢおよびＣにお
けるそれぞれ同じ荷重によって僅かな荷重パラメータを調整設定しさえすればよ
いこと並びに出力結合マトリクスＣの特別な形状によって学習方法の一層の簡素
化が実現されるという理由で可能である。

【０１５６】装置が有している別の特別重要な利点は、装置の特別なストラクチャによって
、時系列として処理された入力量が中間状態に比べて比較的粗い時間ラスタを有
しているにも拘わらず（「アンダシューティング」）、ダイナミックプロセスの
状態が狭い時間ラスタにおいて記述することができるということにある。

【０１５７】中間状態の時間ラスタは、それぞれ結合されている部分出力層を有する別の隠
れ層が装置において使用されることによって一層詳細にすることができるが、こ
の場合の別の部分出力層は「エラーを生成する」ニューロン層ではない。

【０１５８】数学的に見れば、ダイナミックプロセスの中間状態の時間ラスタの詳細度を高
めることは、ダイナミックプロセスの時間離散的な記述の、ダイナミックプロセ
スの、連続的な微分方程式による記述への変換に対応している。

【０１５９】ここまで説明してきた装置の学習に対する手法は［４］に記載されている。

【０１６０】その際装置の学習に対して「エラーを生成する」ニューロン層だけが使用され
る。

【０１６１】［４］には、ダイナミックプロセスが基礎としているダイナミック特性を求め
るための方法および相互結合されている計算エレメントの装置が提案され、ここ
ではダイナミック特性のモデル化の際に、例えば、記述されるダイナミックプロ
セスの「内部」状態が表される前以て決められている空間におけるダイナミック
プロセスの滑らかな経過のような前以て決められた条件が考慮されるようになっ
ている。

【０１６２】学習方法として逆伝搬方法（バックプロパゲーション法）が使用される。

【０１６３】次に、上に説明した実施例に対する択一選択例をいくつか説明する。

【０１６４】第１の実施例において説明された装置は心電図（Elektro-Kardio-Gramm＝ＥＫ
Ｇ）のダイナミック特性を求めるためにも使用することができる。これにより、
心筋梗塞の危険が大きくなっていることを早期に示すインジケーターが突き止め
られる。入力量として患者において測定されたＥＫＧ値の時系列が使用される。

【０１６５】第２の実施例において説明した装置は、例えば外国為替相場のようなマクロ経
済のダイナミック特性、または経済指数、例えば取引所相場の予測のためにも使
用することができる。この形式の予測では、入力変数が例えば利子、通貨または
インフレ率のような重要なマクロ経済ないし経済指数の時系列から形成される。

【０１６６】総費用関数Ｅ′として択一的に次の費用関数も選択することができる：

【０１６７】

【数８】

【０１６８】更に、条件は滑らかさ条件に制限されていない。

【０１６９】この事実は、マクロ経済ないし経済的なダイナミック特性の予測の際に使用す
ることができる。というのは、マクロ経済ないし経済システムはエマージェント
システムであるからである。

【０１７０】更に、ニューロンが隠れ層に属している入力層のニューロンにも隠れ層に属し
ている出力層のニューロンにも結合されている１つの隠れ層を設けることもでき
る。隠れ層の、別の隠れ層と結合は、実施例において説明されている方法におい
て行われる。結合マトリクスＡ，ＢおよびＣはそれぞれ、実施例において説明さ
れた形を有している。

【０１７１】これまで説明してきた実施例の具体化は、プログラムＳＥＮＮ，Ｖｅｒｓｉｏ
ｎ２．３によって実施することができる。

【０１７２】本明細書には次の刊行物が引用されている：

【０１７３】

【外１】

【図面の簡単な説明】

【図１Ａ】装置の基本構成および第１の実施例の略図である。

【図１Ｂ】装置の基本構成および第１の実施例の略図である。

【図２】ダイナミックシステムを一般的に説明する略図である。

【図３】ダイナミックプロセスの中間状態を求める、第２の実施例の配置構成図である
。

【図４】第１の実施例の装置によって引き続き処理される量が測定される化学原子炉の
略図である。

【図５】有限の数の多数の状態が時間に関して展開されているＴＤＲＮＮの配置構成の
略図である。

【手続補正書】特許協力条約第３４条補正の翻訳文提出書

【提出日】平成１３年５月９日（２００１．５．９）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】０１７３

【補正方法】変更

【補正の内容】

【０１７３】

【外１】

───────────────────────────────────────────────────── フロントページの続き (54)【発明の名称】相互に接続されている計算エレメントの装置、ダイナミックプロセスの基礎になっているダイナミック特性を計算機支援されて求めるための方法並びに相互に接続されている計算エレメントの装置を計算機支援されて学習するための方法【要約の続き】第２の出力計算エレメントは相互に接続されている。第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計算エレメントの結合によって相互に接続されている。２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は相互に同じでありかつ中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されている荷重は相互に同じである。

Claims

【特許請求の範囲】

【請求項１】相互に結合されている計算エレメントの装置であって、第１の状態空間におけるシステムの状態を１つの時点においてそれぞれ記述する
時系列値が供給される所属の第１の入力計算エレメントと、第２の状態空間にお
けるシステムの状態を１つの時点においてそれぞれ記述することができる所属の
第１の中間計算エレメントとを有する少なくとも１つの第１のサブ装置を備え、
ここで該第１の入力計算エレメントおよび第１の中間計算エレメントは相互に結
合されており、第２の状態空間におけるシステムの状態を１つの時点において記述することがで
きる所属の第２の中間計算エレメントと、第１の出力信号が取り出される所属の
第１の出力計算エレメントとを有する少なくとも１つの第２のサブ装置を備え、
ここで第２の中間計算エレメントおよび第１の出力計算エレメントは相互に結合
されており、第２の状態空間におけるシステムの状態を１つの時点において記述することがで
きる所属の第３の中間計算エレメントと、第２の出力信号が取り出される所属の
第２の出力計算エレメントとを有する少なくとも１つの第３のサブ装置を備え、
ここで第３の中間計算エレメントおよび第２の出力計算エレメントは相互に結合
されており、ａ）第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計
算エレメントの結合によってそれぞれ相互に結合されており、ｂ）２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は相互に
同じでありかつｃ）中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されてい
る荷重は相互に同じである相互に結合されている計算エレメントの装置。
【請求項２】それぞれ複数の第１，第２および／または第３のサブ装置を
有している請求項１記載の装置。
【請求項３】第２の状態空間におけるシステムの状態を１つの時点におい
て記述することができる所属の第４の中間計算エレメントと、所属の第２の入力
計算エレメントとを有する少なくとも１つの第４のサブ装置を備え、ここで第４
の中間計算エレメントおよび、状態空間におけるシステムの別の状態を別の時点
において記述する別の時系列値が供給される第２の入力計算エレメントは相互に
結合されており、第４のサブ装置は第４の中間計算エレメントの、第１の中間計算エレメントとの
結合によって第１のサブ装置に接続されており、入力計算エレメントと中間計算エレメントと間の結合にそれぞれ配属されている
荷重は相互に同じである請求項１または２記載の装置。
【請求項４】複数の第４のサブ装置を有している請求項３記載の装置。
【請求項５】出力計算エレメントは複数の中間計算エレメントに結合され
ている請求項１から４までのいずれか１項記載の装置。
【請求項６】第１のサブ装置、第２のサブ装置および第３のサブ装置はそ
れぞれ第１の時点、第２の時点および第３の時点におけるシステムを表しており
、ここで第１の時点、第２の時点および第３の時点はそれぞれ連続する時点であ
りかつ第１の時点と第２の時点との間に第１の時間間隔が存在しており、該第１の時間
間隔は第１の前以て決めることができる時間ステップを有しておりかつ第２の時点と第３の時点との間に第２の時間間隔が存在しており、該第２の時間
間隔は第２の前以て決めることができる時間ステップを有している請求項１から５までのいずれか１項記載の装置。
【請求項７】第１のサブ装置はシステムの実時点状態を表しており、第２のサブ装置はシステムの、第１の前以て決めることができる時間ステップだ
けずれている将来の第１の状態を表しており、第３のサブ装置はシステムの、第２の前以て決めることができる時間ステップだ
けずれている将来の第２の状態を表している請求項６記載の装置。
【請求項８】第１の前以て決めることができる時間ステップおよび第２の
前以て決めることができる時間ステップは相互に同じである請求項６または７記載の装置。
【請求項９】第２の前以て決めることができる時間ステップは第１の前以
て決めることができる時間ステップの倍数である請求項６または７記載の装置。
【請求項１０】第１の前以て決めることができる時間ステップおよび／ま
たは第２の前以て決めることができる時間ステップは、時系列値によって形成さ
れる時系列によって決定される別の前以て決められた時間ステップの約数である
請求項６から９までのいずれか１項記載の装置。
【請求項１１】第４のサブ装置は第４の時点におけるシステムを表してお
り、ここで第４の時点と第１の時点との間に第３の時間間隔があり、該時間間隔
は第３の前以て決めることができる時間ステップを有している請求項３から１０までのいずれか１項記載の装置。
【請求項１２】第４のサブ装置はシステムの時間的に比較的古い状態を表
している請求項１１記載の装置。
【請求項１３】計算エレメントの少なくとも一部は人工的なニューロンで
ある請求項１から１２までのいずれか１項記載の装置。
【請求項１４】荷重のうち、中間計算エレメントと出力計算エレメントと
の間の結合にそれぞれ割り当てられている荷重だけが値１を有しておりかつ荷重
のその他の荷重はそれぞれ値零を有している請求項１から１３までのいずれか１項記載の装置。
【請求項１５】ダイナミックプロセスのダイナミック特性を求めるために
使用される請求項１から１４までのいずれか１項記載の装置。
【請求項１６】ダイナミックプロセスを記述する物理的な信号を検出する
ための測定装置を備えている請求項１５記載の装置。
【請求項１７】化学原子炉におけるダイナミックプロセスのダイナミック
特性を求めるために使用される請求項１５または１６記載の装置。【請求項１７】心電図のダイナミック特性を求めるために使用される請求項１５記載の装置。
【請求項１８】経済指数によって記述可能であるプロセスの基礎になって
いるダイナミック特性を求めるために使用される請求項１５または１６記載の装置。
【請求項１９】ダイナミックプロセスの基礎になっているダイナミック特
性を計算機支援されて求めるための方法であって、ａ）ダイナミックプロセスを第１の状態空間における時系列値を有する時系列に
よって記述し、ここで少なくとも１つの第１の時系列値は第１の時点におけるダ
イナミックプロセスの状態を記述しておりかつ第２の時系列値は第２の時点にお
けるダイナミックプロセスの状態を記述しており、ｂ）第１の時系列値を第２の状態空間に変換し、ｃ）第２の状態空間における第１の時系列値を第２の状態空間における第２の時
系列値に対して写像し、ｄ）第２の状態空間における第２の時系列値を第２の状態空間における第３の時
系列値に対して写像し、ｅ）第２の状態空間における第２の時系列値および第２の状態空間における第３
の時系列値をそれぞれ第１の状態空間に逆変換し、ｆ）第２の状態空間における時系列値からダイナミックプロセスのダイナミック
特性を求めるダイナミック特性を計算機支援されて求める方法。
【請求項２０】時系列値は前以て決めることができる次元のベクトルであ
る請求項１９記載の方法。
【請求項２１】時系列値を物理信号から求める請求項１９または２０記載の方法。
【請求項２２】時系列値は化学原子炉におけるダイナミックプロセスを記
述する請求項２１記載の方法。
【請求項２３】時系列値を心電図の信号から形成する請求項２２記載の方法。
【請求項２４】時系列値は、経済指数によって記述可能であるダイナミッ
クプロセスを記述する請求項２１記載の方法。
【請求項２５】相互に結合されている計算エレメントの装置を使用して、
ダイナミックプロセスの基礎となっているダイナミック特性を計算機支援されて
求めるための方法であって、前記装置は次の構成を有している：少なくとも１つの第１のサブ装置において、第１の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述する入力信号が供給される所属の第
１の入力計算エレメントと、第２の状態空間におけるダイナミックシステムの状
態を１つの時点において記述することができる所属の第１の中間計算エレメント
とが相互に結合されており、少なくとも１つの第２のサブ装置において、第２の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述することができる所属の第２の入力
計算エレメントと、第１の状態空間におけるダイナミックシステムの状態をある
時点において記述している第１の出力信号が取り出される所属の第１の出力計算
エレメントとが相互に結合されており、少なくとも１つの第３のサブ装置において、第２の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述することができる所属の第３の中間
計算エレメントと、第１の状態空間におけるダイナミックシステムの状態をある
時点において記述している第２の出力信号が取り出される所属の第２の出力計算
エレメントとが相互に結合されており、第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計算エ
レメントの結合によって相互に結合されており、２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は、荷重が相
互に同じであるように決められかつｃ）中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されてい
る荷重は、荷重が相互に同じであるように決められ、該装置には入力信号が供給され、かつ該装置によって、第１の出力信号および第２の出力信号が求められ、該出力信号
からダイナミック特性が求められるという装置を使用してダイナミック特性を計算機支援されて求める方法。。
【請求項２６】次の構成要素を備えている相互に結合されている計算エレ
メントの装置を計算機支援されて学習するための方法であって、少なくとも１つの第１のサブ装置において、第１の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述する入力信号が供給される所属の第
１の入力計算エレメントと、第２の状態空間におけるダイナミックシステムの状
態を１つの時点において記述することができる所属の第１の中間計算エレメント
とが相互に結合されており、少なくとも１つの第２のサブ装置において、第２の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述することができる所属の第２の入力
計算エレメントと、第１の状態空間におけるダイナミックシステムの状態をある
時点において記述している第１の出力信号が取り出される所属の第１の出力計算
エレメントとが相互に結合されており、少なくとも１つの第３のサブ装置において、第２の状態空間におけるダイナミッ
クシステムの状態を１つの時点において記述することができる所属の第３の中間
計算エレメントと、第１の状態空間におけるダイナミックシステムの状態をある
時点において記述している第２の出力信号が取り出される所属の第２の出力計算
エレメントとが相互に結合されており、第１のサブ装置、第２のサブ装置および第３のサブ装置はそれぞれ、中間計算エ
レメントの結合によって相互に結合されており、２つの中間計算エレメント間の結合にそれぞれ配属されている荷重は、荷重が相
互に同じであるように決められかつ中間計算エレメントと出力計算エレメント間の結合にそれぞれ配属されている荷
重は、荷重が相互に同じであるように決められ、該装置は、入力信号として第１の入力計算エレメントに加えられる前以て決めら
れた学習データを使用して、次のようなサブ装置においてのみ「エラー」値が形
成されるように学習される、すなわちそれぞれ学習データを有している時間ステ
ップと同じである時間ステップを有している時点を持った、ダイナミックシステ
ムの状態を表しているサブ装置においてだけ「エラー」値が形成されるそういう計算エレメントの装置を計算機支援されて学習するための方法。