JP2005502974A - ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置 - Google Patents
ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置 Download PDFInfo
- Publication number
- JP2005502974A JP2005502974A JP2003529402A JP2003529402A JP2005502974A JP 2005502974 A JP2005502974 A JP 2005502974A JP 2003529402 A JP2003529402 A JP 2003529402A JP 2003529402 A JP2003529402 A JP 2003529402A JP 2005502974 A JP2005502974 A JP 2005502974A
- Authority
- JP
- Japan
- Prior art keywords
- state
- time series
- current
- time
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000008859 change Effects 0.000 title claims abstract description 17
- 210000002569 neuron Anatomy 0.000 claims description 47
- 239000000126 substance Substances 0.000 claims description 29
- 230000008878 coupling Effects 0.000 claims description 26
- 238000010168 coupling process Methods 0.000 claims description 26
- 238000005859 coupling reaction Methods 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims 4
- 238000012549 training Methods 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 21
- 238000013528 artificial neural network Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 16
- 238000013507 mapping Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- BULVZWIRKLYCBC-UHFFFAOYSA-N phorate Chemical compound CCOP(=S)(OCC)SCSCC BULVZWIRKLYCBC-UHFFFAOYSA-N 0.000 description 2
- 238000003756 stirring Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013019 agitation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000002364 input neuron Anatomy 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Complex Calculations (AREA)
- Feedback Control In General (AREA)
- Multi Processors (AREA)
Abstract
本発明は計算機支援のもとにダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置に関する。本発明では系の現在の第１の状態が過去の系の情報を有する系内の第１の情報流と未来の系の情報を有する系内の第２の情報流とを組み合わせることにより求められる。
Description
【技術分野】
【０００１】
本発明は、ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置に関する。
【０００２】
引用文献［１］から、ダイナミックな系を記述するために時間的に変化する状態記述をマッピングする装置を使用することが知られている。この装置は相互に結合された計算素子によって実現されており、この計算素子を用いてマッピングが行われる。
【０００３】
一般にダイナミックな系またはプロセスは通常は観察者にとって不可視の状態遷移と技術的にダイナミックな過程で観察される量を表す出力方程式とによって記述される。
【０００４】
こうしたダイナミック系の構造は図２のＡに示されている。
【０００５】
ダイナミック系２００は設定可能な次元の入力量ｕの外部入力を基礎としている。このとき時点ｔでの入力量ｕｔは
【０００６】
【数１】
で表される。ここでｌは自然数である。
【０００７】
時点ｔでの入力量ｕｔはこの系２００で進行するダイナミックプロセスの変化の原因である。
【０００８】
時点ｔでの設定可能な次元ｍの内部状態ｓｔ、すなわち
【０００９】
【数２】
はダイナミック系２００の観察者には不可視である。
【００１０】
内部状態ｓｔおよび入力量ｕｔに依存して、ダイナミックプロセスの内部状態ｓｔの状態遷移が生じ、このプロセスの状態は時点ｔ＋１での結果の状態ｓｔ＋１へ移行する。ここでは
ｓｔ＋１＝ｆ（ｓｔ，ｕｔ） （１）
が成り立つ。ｆ（・）は一般的なマッピング規則である。
【００１１】
ダイナミック系２００の観察者が時点ｔで観察する出力量ｙｔは入力量ｕｔおよび内部状態ｓｔに依存する。出力量ｙｔ、すなわち
【００１２】
【数３】
は設定可能な次元ｎを有する。
【００１３】
出力量ｙｔと入力量ｕｔおよびダイナミックプロセスの内部状態ｓｔとの依存関係は一般的な規則
ｙｔ＝ｇ（ｓｔ，ｕｔ） （２）
によって与えられる。ここでｇ（・）は一般的なマッピング規則である。
【００１４】
ダイナミック系２００を記述するために、引用文献［１］では複数の計算素子を相互に結合した装置を相互結合されたニューロンを有するニューラルネットのかたちに構成して使用している。ニューラルネットのニューロン間の結合は重みづけされている。ニューラルネットでの重みはパラメータベクトルｖとしてまとめられている。
【００１５】
このようにダイナミックプロセスに基づくダイナミック系の内部状態は、規則
ｓｔ＋１＝ＮＮ（ｖ，ｓｔ，ｕｔ） （３）
にしたがって入力量ｕｔ、先行する時点での内部状態ｓｔ、およびパラメータベクトルｖに依存する。ここでＮＮ（・）はニューラルネットによって設定されるマッピング規則である。
【００１６】
引用文献［１］から公知のＴＤＲＮＮ（Time Delay Recurrent Neural Network）と称される装置はトレーニングフェーズで１つの入力量ｕｔにつきそれぞれ１つずつ目標量ｙｄ ｔを求めて訓練を行う。テューペル、つまり入力量や求められた目標量はトレーニングデータと称される。複数のトレーニングデータからトレーニングデータセットが形成される。
【００１７】
その場合トレーニングデータセットの時点ｔ−４，ｔ−３，ｔ−２，．．．での時間的に連続するテューペル（ｕｔ−４，ｙｄ ｔ−４），（ｕｔ−３，ｙｄ ｔ−３），（ｕｔ−２，ｙｄ ｔ−２）はそれぞれ設定された時間ステップを有する。
【００１８】
トレーニングデータセットによりＴＤＲＮＮは訓練される。種々のトレーニングプロセスについては引用文献［１］に記載されている。
【００１９】
ここでダイナミック系２００では時点ｔでの出力量ｙｔしか識別できないことを強調しておきたい。系内の状態ｓｔは不可視である。
【００２０】
トレーニングフェーズでは通常は費用関数Ｅが最小化される。すなわち
【００２１】
【数４】
となる。ここでＴは考慮される時点の数である。
【００２２】
引用文献［２］にはさらにニューラルネットの基礎理論の概観とこれを経済学の分野に応用したアプリケーションとが記載されている。
【００２３】
これらの公知の方法および装置は、特にダイナミックな系またはプロセスの記述が不正確になってしまう欠点を有している。これはこれらの方法および装置で使用されるマッピングがダイナミックプロセスの状態遷移に充分に正確に追従していないためである。
【００２４】
したがって本発明の課題は、時間的に変化する状態記述を計算機支援のもとにマッピングする方法および装置を提供し、前述の公知の装置の欠点なく、ダイナミック系の状態遷移を正確に記述できるようにすることである。
【００２５】
この課題は本発明の独立請求項に記載の特徴を有する方法および装置によって解決される。
【００２６】
第１の状態空間でダイナミック変化系の状態の第１の時系列から現在の第１の状態を求める本発明の方法では次のようなステップが行われる。すなわち、まず第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列が求められ、ついで第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列が求められ、さらに第２の状態空間の現在の第２の状態を第１の状態空間へ第１の変換で変換しかつ第２の状態空間の未来の第３の状態を第１の状態空間へ第２の変換で変換することにより、現在の第１の状態が求められる。
【００２７】
第１の状態空間でダイナミック変化系の状態の第１の時系列から現在の第１の状態を求める装置では、系のそれぞれの状態を表す計算素子が相互に結合されており、この結合によって系の２つの状態のあいだの変換が表される。ここで第１の計算素子は、第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列を求めるように構成されている。また第２の計算素子は、第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列を求めるように構成されている。また第３の計算素子は、第１の変換で第２の状態空間の現在の第２の状態を第１の状態空間へ変換しかつ第２の変換で第２の状態空間の未来の第３の状態を第１の状態空間へ変換することにより、現在の第１の状態を求めるように構成されている。
【００２８】
本発明の装置は特に本発明の方法または以下に説明する実施形態を実行するのに適している。
【００２９】
具体的に言えば、系の現在の第１の状態は過去の系の情報を有する系内の第１の情報流と未来の系の情報を有する系内の第２の情報流とを組み合わせることによって求められる。ここから現在の第１の状態が得られる。
【００３０】
本発明の有利な実施形態は従属請求項から得られる。以下に説明する実施形態は本発明の方法にも装置にも関連している。
【００３１】
本発明および以下に説明するその実施形態はソフトウェアとしてもハードウェア（例えば専用の電気回路）としても実現することができる。また本発明およびその実施形態をコンピュータプログラムを記憶した読み出し可能な記憶媒体によって実現してもよい。さらに本発明および以下に説明するその実施形態をコンピュータプログラムを記憶したコンピュータプログラム製品によって実現してもよい。
【００３２】
本発明の１つの実施形態では、第２の時系列のうち時間的に連続する２つの第２の状態が第３の変換により相互に結合される。
【００３３】
第３の変換による結合は、時間的に後方の第２の状態を時間的に前方の第２の状態から求めることによって行われる。
【００３４】
また本発明の別の実施形態では、第３の時系列のうち時間的に連続する２つの第３の状態が第４の変換により相互に結合される。
【００３５】
第４の変換による結合は、時間的に前方の第３の状態を時間的に後方の第３の状態から求めることによって行われる。
【００３６】
また本発明の別の実施形態では、現在の第２の状態を第３の変換で変換しかつ第１の状態空間の現在の状態を第５の変換で第２の状態空間へ変換することにより、第２の時系列のうち現在の第２の状態よりも時間的に後方の未来の第２の状態が求められる。
【００３７】
ここでさらに、未来の第３の状態を第４の変換で変換しかつ第１の状態空間の現在の状態を第６の変換で第２の状態空間へ変換することにより、第３の時系列のうち未来の第３の状態よりも時間的に前方の現在の第３の状態が求められる。
【００３８】
ダイナミック系の状態遷移を記述する際の正確性を向上させるために、求められた現在の第１の状態と設定された現在の第１の状態とのあいだの誤差が求められる。こうした誤差の算出による補正は“誤り補正”と称される。
【００３９】
またダイナミック系の状態遷移を記述する際の正確性を向上させるために、第２の時系列の各第２の状態および／または第３の時系列の各第３の状態にそれぞれ１つずつ系外の状態情報を付与してもよい。
【００４０】
なお、系の状態はベクトルを設定可能な次元によって記述される。
【００４１】
本発明の別の実施形態はダイナミック変化系のダイナミクスを求めるために用いられる。第１の状態の第１の時系列がこのダイナミクスを記述する。
【００４２】
本発明で求めるべきダイナミクスは心電図ＥＣＧのダイナミクスであり、このとき第１の状態の第１の時系列は心電図信号である。
【００４３】
また本発明で求めるべきダイナミクスは経済学システムのダイナミクスであってもよく、このとき第１の状態の第１の時系列は相応の経済学的パラメータによって記述されるマクロ経済学的状況またはミクロ経済学的状況である。
【００４４】
また本発明で求めるべきダイナミクスは化学的反応器のダイナミクスであってもよく、このとき第１の状態の第１の時系列は化学的反応器の化学的パラメータである。
【００４５】
本発明の別の実施形態として、ダイナミック変化系の状態予測において求められた現在の第１の状態を予測される状態として用いることもできる。
【００４６】
本発明の別の実施形態では、第１の計算素子および／または第２の計算素子に結合された第４の計算素子が設けられており、この第４の計算素子には系外の状態情報を含む第４の時系列の第４の状態が供給される。
【００４７】
本発明のさらに別の実施形態では、計算素子の少なくとも一部は人工ニューロンで構成されており、および／または少なくとも一部は計算素子間の結合によって可変に構成されている。
【００４８】
またダイナミック変化系の状態を記述する物理的信号を検出する測定装置が設けられている。
【００４９】
本発明は音声処理に適用することができる。このとき、系外の状態情報とは発音すべき語および／または音節および／または音素の第１の音声情報であり、現在の第１の状態とは発音すべき語および／または音節および／または音素の第２の音声情報を含む。
【００５０】
またこの実施形態において、第１の音声情報は発音すべき語および／または音節および／または音素のクラス、および／またはこれらの休止情報を含み、第２の音声情報は発音すべき語および／または音節および／または音素のアクセント情報、および／または発音すべき語および／または音節および／または音素の音の長さ情報を含むものであってもよい。
【００５１】
またこの実施形態において、第１の音声情報が発音すべき語および／または音節および／または音素の音声学的情報および／または構造情報を含み、および／または第２の音声情報は発音すべき語および／または音節および／または音素の周波数情報、および／または発音すべき語および／または音節および／または音素の音の持続時間の情報を含むものであってもよい。
【００５２】
本発明の実施例を図示し、以下に説明する。
【００５３】
図１には第１の実施例の装置ＫＲＫＮＮが示されている。図２のＡ，Ｂには一般的なダイナミック系と“因果律‐逆行因果律”関係に基づくダイナミック系とが示されている。図３には第２の実施例の装置ＫＲＫＦＫＮＮが示されている。図４には第１の実施例の装置を用いてパラメータを測定し処理する化学的反応器が示されている。図５には有限の多数の状態が所定の時間にわたって延在している装置ＴＤＲＮＮが示されている。図６には第２の実施例の装置でモデリングされる交通案内系が示されている。図７には第１の実施例の装置の代替手段（一部の結合を解除したＫＲＫＮＮ）が示されている。図８には第２の実施例の装置の代替手段（一部の結合を解除したＫＲＫＮＮ）が示されている。図９には第１の実施例の装置のさらに別の代替手段（ＫＲＫＮＮ）が示されている。図１０には第１の実施例の装置ＫＲＫＮＮを用いた音声処理の様子が示されている。図１１には第２の実施例の装置ＫＲＫＦＫＮＮを用いた音声処理の様子が示されている。
【００５４】
第１の実施例：化学的反応器
図４は化学的反応器４００を示す。この反応器には化学物質４０１が充填されている。化学的反応器４００は撹拌機４０２を有し、この撹拌機により化学物質４０１が撹拌される。この化学的反応器４００には別の化学物質４０３が流入し、所定の時間のあいだ化学的反応器４００内でこの化学的反応器４００にすでに含まれている化学物質４０１と反応する。反応器４００から流出する物質４０４は化学的反応器４００から出口を介して導かれる。
【００５５】
撹拌機４０２は線路を介して制御ユニット４０５と接続されており、この制御ユニットにより制御信号４０６を介して撹拌機４０２の撹拌周波数が調整される。
【００５６】
さらに測定装置４０７が設けられており、この測定装置により化学物質４０１に含まれる化学的材料の濃度が測定される。
【００５７】
測定信号４０８は計算機またはコンピュータ４０９に供給され、この計算機４０９で入出力インタフェース４１０およびＡ／Ｄ変換器４１１を介してデジタル化され、メモリ４１２に記憶される。プロセッサ４１３もメモリ４１２と同様にバス４１４を介してＡ／Ｄ変換器４１１と接続されている。計算機４０９はさらに入出力インタフェース４１０を介して撹拌機４０２の制御ユニット４０５と接続されており、これにより計算機４０９は撹拌機４０２の撹拌周波数を制御する。
【００５８】
計算機４０９はさらに入出力インタフェース４１０を介してキーボード４１５，計算機マウス４１６および画面４１７と接続されている。
【００５９】
化学的反応器４００は技術的ダイナミック系としてダイナミックプロセスを受ける。
【００６０】
化学的反応器４００は状態記述によって記述される。この状態記述の入力量ｕｔはこの場合、化学的反応器４００内の温度、圧力、および時点ｔで調整された撹拌周波数から合成される。したがって入力量ｕｔは３次元のベクトルである。
【００６１】
化学的反応器４００の以下に説明するモデリングの目的は材料濃度のダイナミックな展開の検出であり、これにより流出物質４０４として生成すべき所定の目標材料の効率的な形成を可能にするものである。
【００６２】
このことは後に説明する図１の装置を使用して行われる。
【００６３】
化学的反応器４００の基礎となり、いわゆる“因果律‐逆行因果律”関係を有するダイナミックプロセスは状態移行記述と出力方程式により記述される。この状態移行記述は観察者には不可視であり、出力方程式は技術的ダイナミックプロセスの観察量を記述する。
【００６４】
“因果律‐逆行因果律”関係を備えるこのようなダイナミック系の構造が図２のＢに示されている。
【００６５】
ダイナミック系２５０は所定の次元の外部入力量ｕの影響を受ける。ここで時点ｔにおける入力量ｕｔは
【００６６】
【数５】
である。ここで１は自然数を表す。
【００６７】
時点ｔでの入力量ｕｔによりダイナミック系２５０で経過するダイナミックプロセスの変化が引き起こされる。
【００６８】
系２５０の観察者にとっては不可視の時点ｔにおける系２５０の内部状態は、この場合、第１の内部部分状態ｓｔと第２の内部部分状態ｒｔから合成される。
【００６９】
相対的に早期の時点ｔ−１における第１内部部分状態ｓｔ−１と入力量ｕｔとに依存して、ダイナミックプロセスの第１内部部分状態ｓｔ−１が後続の状態ｓｔへ移行する。ここでは、
ｓｔ＝ｆ１（ｓｔ−１，ｕｔ） （５）
が成立する。ここでｆ１（・）は一般的マッピング規則を表す。
【００７０】
具体的に言えば、第１内部部分状態ｓｔは相対的に早期の第１内部部分状態ｓｔ−１と
入力量ｕｔとの影響を受ける。このような関係を通常は“因果律”と称する。
【００７１】
後続の時点ｔ＋１における第２内部部分状態ｒｔ＋１と入力量ｕｔとに依存して、ダイナミックプロセスの第２内部部分状態ｒｔ＋１が後続の状態ｒｔへ移行する。ここでは、
ｒｔ＝ｆ２（ｒｔ＋１，ｕｔ） （６）
が成立する。ここでｆ２（・）は一般的マッピング規則を表す。
【００７２】
具体的に言えばこの場合、第２内部部分状態ｒｔは相対的に後期の第２の部分状態ｒｔ＋１と入力量ｕｔとから影響を受ける。第２の部分状態は一般的にはダイナミック系２５０の相対的に後期の状態についての予測である。このような関係を“逆行因果律”と称する。
【００７３】
したがって時点ｔにおけるダイナミック系２５０の観察者に可視の出力量ｙｔは、入力量ｕｔ、第１内部部分状態ｓｔおよび第２内部部分状態ｒｔ＋１に依存する。
【００７４】
出力量
【００７５】
【数６】
は設定可能な次元ｎを有する。
【００７６】
出力量ｙｔ、入力量ｕｔ、第１内部部分状態ｓｔおよび第２内部部分状態ｒｔ＋１の依存関係は次の一般的規則により与えられる。
ｙｔ＝ｇ（ｓｔ，ｒｔ＋１） （７）
ここでｇ（・）は一般的マッピング規則を表す。
【００７７】
ダイナミック系２５０およびその状態を記述するために、ニューロンの相互に結合されたニューラルネットワークの形態で相互に結合された計算素子の装置が使用される。この装置が図１に示されており、“因果律‐逆行因果律”ニューラルネットワークＫＲＫＮＮと称される。
【００７８】
ニューラルネットワークのニューロン間の結合は重み付けされている。ニューラルネットワークの重み付けはパラメータベクトルｖにまとめられている。
【００７９】
ニューラルネットワークでは第１内部部分状態ｓｔおよび第２内部部分状態ｒｔは次の規則にしたがって、入力量ｕｔ、第１内部部分状態ｓｔ−１，第２内部部分状態ｒｔ＋１およびパラメータベクトルｖｓ、ｖｔ、ｖｙに依存する。すなわち
ｓｔ＝ＮＮ（ｖｓ，ｓｔ−１，ｕｔ） （８）
ｒｔ＝ＮＮ（ｖｒ，ｒｔ＋１，ｕｔ） （９）
ｙｔ＝ＮＮ（ｖｙ，ｓｔ，ｒｔ） （１０）
ここでＮＮ（・）はニューラルネットワークによって設定されるマッピング規則である。
【００８０】
図１のＫＲＫＮＮ１００は４つの時点ｔ−１，ｔ，ｔ＋１，ｔ＋２にわたって展開されたニューラルネットワークである。
【００８１】
有限の数の時点にわたって展開されたニューラルネットワークの基礎理論は引用文献［１］に記載されている。
【００８２】
ＫＲＫＮＮの基礎となる原理を理解しやすくするために、図５には公知のＴＤＲＮＮが有限の数の時点にわたって展開されたニューラルネットワーク５００として示されている。
【００８３】
図５に示されたニューラルネットワーク５００は３つの部分入力層５０２，５０３，５０４を備えた入力層５０１を有しており、これらの部分入力層はそれぞれ所定数の入力計算素子を含んでいる。この入力計算素子には、後述する時系列値内の所定の時点ｔで入力量ｕｔを印加することができる。
【００８４】
入力計算素子、すなわち入力ニューロンは可変の結合を介して所定数の隠れ層５０５のニューロンと結合している。
【００８５】
第１の隠れ層５０６のニューロンは第１の部分入力層５０２と結合されている。さらに第２の隠れ層５０７のニューロンは第２の部分入力層５０３のニューロンと結合されている。第３の隠れ層５０８のニューロンは第３の部分入力層５０４のニューロンと結合されている。
【００８６】
第１の部分入力層５０２と第１の隠れ層５０６との結合、第２の部分入力層５０３と第２の隠れ層５０７との結合、および第３の部分入力層５０４と第３の隠れ層５０８との結合はそれぞれ同じである。全ての結合の重み付けはそれぞれ第１の結合マトリクスＢに含まれている。
【００８７】
第４の隠れ層５０９のニューロンの入力側は第２の結合マトリクスＡ２により与えられる構造にしたがって第１の隠れ層５０６のニューロンの出力側と結合されている。さらに第４の隠れ層５０９のニューロンの出力側は第３の結合マトリクスＡ１により与えられる構造にしたがって第２の隠れ層５０７のニューロンの入力側と結合されている。
【００８８】
また第５の隠れ層５１０のニューロンの入力側は第２の結合マトリクスＡ２により与えられる構造にしたがって第２の隠れ層５０７のニューロンの出力側と結合されている。さらに第５の隠れ層５１０のニューロンの出力側は第３の結合マトリクスＡ１により与えられる構造にしたがって第３の隠れ層５０８のニューロンの入力側と結合されている。
【００８９】
同じことが第６の隠れ層５１１に対する結合構造に対しても当てはまり、これは第２の結合マトリクスＡ２により与えられる構造にしたがって第３の隠れ層５０８のニューロンの出力側と結合されており、さらに第３の結合マトリクスＡ１により与えられる構造にしたがって第７の隠れ層５１２のニューロンと結合されている。
【００９０】
第８の隠れ層５１３のニューロンも、第２の結合マトリクスＡ２により与えられる構造にしたがって第７の隠れ層５１２のニューロンと結合されており、さらに第３の結合マトリクスＡ１による結合を介して第９の隠れ層５１４のニューロンと結合されている。それぞれの層における指数はそれぞれの時点ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２を表し、これらの時点にそれぞれの層の出力側で取り出される信号や、入力側に供給される信号（ｕｔ，ｕｔ−１，ｕｔ−２）が関連する。
【００９１】
出力層５２０は３つの部分出力層、すなわち第１部分出力層５２１，第２部分出力層５２２および第３部分出力層５２３を有する。第１部分出力層５２１のニューロンは出力結合マトリクスＣにより与えられる構造にしたがって第３の隠れ層５０８のニューロンと結合されている。第２部分出力層のニューロンも同様に、出力結合マトリクスＣにより与えられる構造にしたがって第８の隠れ層５１２のニューロンと結合されている。第３部分出力層５２３のニューロンは出力結合マトリクスＣにしたがって第９の隠れ層５１４のニューロンと結合されている。部分出力層５２１，５２２および５２３のニューロンにおいて、それぞれ時点ｔ，ｔ＋１，ｔ＋２に対する出力量（ｙｔ，ｙｔ＋１，ｙｔ＋２）が取り出される。
【００９２】
いわゆる分割された重み（Shared Weights）の原理、すなわちニューラルネットワークでは等価の結合テンプレートがそれぞれの時点で同じ値を有するという原理に基づいて、さらに図１に示された装置を説明する。
【００９３】
以下の説明では各層ないし各部分層が所定数のニューロンすなわち計算素子を有するものであると理解されたい。
【００９４】
１つの層の部分層はそれぞれ、装置により記述されるダイナミック系の系状態を表す。隠れ層の部分層は相応にそれぞれ“系内部”の状態を表す。
【００９５】
それぞれの結合テンプレートは任意の次元であり、それぞれの層のニューロン間の相応する結合に対して重み付け値を含んでいる。
【００９６】
結合は方向付けられており、図１ではその方向が矢印によって示されている。矢印方向は“計算方向”、とりわけマッピング方向または変換方向を表す。
【００９７】
図１に示された装置は、４つの部分入力層１０１，１０２，１０３，１０４を備える入力層１００を有し、各部分入力層１０１，１０２，１０３，１０４にはそれぞれ時点ｔ−１，ｔ、ｔ＋１，ｔ＋２でそれぞれ時系列値ｕｔ−１，ｕｔ，ｕｔ＋１，ｕｔ＋２を供給することができる。
【００９８】
入力層１００の部分入力層１０１，１０２，１０３，１０４はそれぞれ第１の結合マトリクスＡによる結合を介して第１の隠れ層１１０のニューロンと結合されている。第１の隠れ層１１０はそれぞれ４つの部分層１１１，１１２，１１３，１１４を備えている。
【００９９】
入力層１００の部分入力層１０１，１０２，１０３，１０４は付加的にそれぞれ第２の結合マトリクスＢによる結合を介して第２の隠れ層１２０のニューロンと結合されている。第２の隠れ層１２０はそれぞれ４つの部分層１２１，１２２，１２３，１２４を備えている。
【０１００】
第１の隠れ層１１０のニューロンはそれぞれ、第３の結合マトリクスＣにより与えられる構造にしたがって出力層１４０のニューロンと結合されており、この出力層１４０も４つの部分出力層１４１，１４２，１４３，１４４を有する。
【０１０１】
出力層１４０のニューロンはそれぞれ第４の結合マトリクスＤにより与えられる構造にしたがって第２の隠れ層１２０のニューロンに結合されている。また出力層１４０のニューロンはそれぞれ第８の結合マトリクスＧにより与えられる構造にしたがって第１の隠れ層１１０のニューロンに結合されている。また第２の隠れ層１２０のニューロンはそれぞれ第７の結合マトリクスＨにより与えられる構造にしたがって出力層１４０のニューロンに結合されている。
【０１０２】
さらに第１の隠れ層１１０の部分層１１１は第５の結合マトリクスＥにより与えられる構造にしたがって第１の隠れ層１１０の部分層１１２のニューロンと結合されている。
【０１０３】
相応の結合を第１の隠れ層１１０の残りの部分層１１２，１１３，１１４も有している。具体的に言えば、第１の隠れ層１１０の全ての部分層１１１，１１２，１１３，１１４は時系列ｔ−１，ｔ，ｔ＋１，ｔ＋２に相応して相互に結合されている。
【０１０４】
第２の隠れ層１２０の部分層１２１，１２２，１２３，１２４は相互にちょうど反対向きに結合されている。この場合、第２の隠れ層１２０の部分層１２４は第６の結合マトリクスＦにしたがった結合を介して、第２の隠れ層１２０の部分層１２３のニューロンと結合されている。相応の結合を第２の隠れ層１２０の他の全ての部分層１２３，１２２，１２１も有している。
【０１０５】
具体的に言えばこの場合、第２の隠れ層１２０の全ての部分層１２１，１２２，１２３，１２４はその時系列と反対に、すなわちｔ＋２，ｔ＋１，ｔ，ｔ−１で相互に結合されている。
【０１０６】
前記の結合に相応して、第１の隠れ層の部分層１１２，１１３，１１４の“系内”の状態ｓｔ，ｓｔ＋１，ｓｔ＋２が、それぞれ対応する入力状態ｕｔ，ｕｔ＋１，ｕｔ＋２および時間的に前方の出力状態ｙｔ−１，ｙｔ，ｙｔ＋１または時間的に前方の系内の状態ｓｔ−１，ｓｔ，ｓｔ＋１から形成される。
【０１０７】
さらに前記の結合に相応して、第２の隠れ層１２０の部分層１２１，１２２，１２３の“系内”の状態ｒｔ−１，ｒｔ，ｒｔ＋１が、それぞれ対応する入力量ｕｔ−１，ｕｔ，ｕｔ＋１および時間的に後方の出力状態ｙｔ−１，ｙｔ，ｙｔ＋１または時間的に後方の“系内”の状態ｒｔ，ｒｔ＋１，ｒｔ＋２から形成される。
【０１０８】
出力層１４０の部分出力層１４１，１４２，１４３，１４４ではそれぞれ第１の隠れ層１１０の部分層１１１，１１２，１１３，１１４の対応する“系内”の状態ｓｔ−１，ｓｔ，ｓｔ＋１，ｓｔ＋２および第２の隠れ層１２０の部分層１２１，１２２，１２３，１２４の対応する“系内”の状態ｒｔ−１，ｒｔ，ｒｔ＋１，ｒｔ＋２から形成される。
【０１０９】
出力層１４０の第１の部分出力層１４１の出力側では、“系内”の状態（ｓｔ，ｒｔ）に依存する信号を取り出すことができる。
【０１１０】
相応のことは部分出力層１４２，１４３および１４４に対しても当てはまる。
【０１１１】
ＫＲＫＮＮのトレーニングフェーズでは、次の費用関数Ｅが最小化される。すなわち
【０１１２】
【数７】
となる。ここでＴは考慮された時点の数を表す。
【０１１３】
トレーニング方法として逆伝播プロセスが使用される。トレーニングデータセットは次のようにして化学的反応器４００から得られる。
【０１１４】
測定装置４０７により設定すべき入力量すなわち濃度が測定され、計算機４０９に供給されそこでデジタル化される。この値は時系列値ｘｔとして、測定されたパラメータに対応する相応の入力量とともにメモリ内でグループ化される。
【０１１５】
トレーニング時には、それぞれの結合テンプレートの重みが適合化される。この適合化は、ＫＲＫＮＮが追従したダイナミック系（この場合は化学的反応器）をできるだけ正確に記述するように行われる。
【０１１６】
図１の装置はトレーニングデータセットおよび費用関数Ｅを使用してトレーニングされる。
【０１１７】
上記のトレーニング方法にしたがってトレーニングされた図１の装置は化学的反応器４００の制御および監視のために使用される。そのために、入力量ｕｔ−１，ｕｔから予測される出力量ｙｔ＋１が検出される。この量は引き続き制御量として、または場合により処理後に、撹拌機４０２制御のための制御手段４０５および供給制御のための制御装置４３０へ供給される（図４を参照）。
【０１１８】
２．第２の実施例：賃貸料の予測
図３には、前述の実施例に則して説明した図１のＫＲＫＮＮの発展形態が示されている。
【０１１９】
図３に示された発展形態はいわゆる“因果律‐逆行因果律‐誤り補正ニューラルネットワーク”ＫＲＫＦＫＮＮであり、賃貸料予測に対して使用される。
【０１２０】
入力量ｕｔはこの場合、賃貸料、住居提供量、物価上昇率および失業率についての情報から合成される。これらの情報は調査すべき住居地区についてそれぞれ年末に（１２月値として）検出される。したがって入力量は４次元ベクトルである。時間的に順次連続する複数のベクトルからなる入力量の時間順序はそれぞれ１年の時間ステップを有する。
【０１２１】
後述する賃貸料マッピングのモデルの目的は将来の賃貸料の予測である。
【０１２２】
賃貸料マッピングのダイナミックプロセスの記述は後述する図３の装置を使用して行われる。
【０１２３】
図１と同じ構成を有する素子には同じ参照符号を付してある。
【０１２４】
付加的にＫＲＫＦＫＮＮは４つの部分入力層１５１，１５２，１５３，１５４を備える第２の入力層１５０を有する。ここで各部分入力層１５１，１５２，１５３，１５４にはそれぞれの時点ｔ−１，ｔ，ｔ＋１，ｔ＋２での時系列値ｙｄ ｔ−１，ｙｄ ｔ，ｙｄ ｔ＋１，ｙｄ ｔ＋２を供給することができる。ここで時系列値ｙｄ ｔ−１，ｙｄ ｔ，ｙｄ ｔ＋１，ｙｄ ｔ＋２はダイナミック系で測定された出力値である。
【０１２５】
入力層１５０の部分入力層１５１，１５２，１５３，１５４はそれぞれ負のアイデンティティマトリクスである第９の結合マトリクスによる結合を介して出力層１４０のニューロンへ結合されている。
【０１２６】
したがって出力層の部分出力層１４１，１４２，１４３，１４４ではそれぞれ差状態（ｙｔ−１−ｙｄ ｔ−１）、（ｙｔ−ｙｄ ｔ）（ｙｔ＋１−ｙｄ ｔ＋１）、（ｙｔ＋２−ｙｄ ｔ＋２）が形成される。
【０１２７】
上記の装置をトレーニングするための手段は第１の実施例の装置をトレーニングする場合と同じである。
【０１２８】
３．第３の実施例：交通状況モデリングおよび渋滞警報予測
以下に説明する第３の実施例は交通状況モデルを記述するものであり、渋滞予測に使用される。この第３の実施例では第１の実施例による装置が使用される（図１を参照）。
【０１２９】
ただし第３の実施例は、時間変数として使用された変数ｔが場所の変数ｔとして使用される点で第１の実施例および第２の実施例と異なる。したがって時点ｔでの状態記述は、この第３の実施例では第１の場所ｔでの状態記述となる。相応のことがそれぞれ時点ｔ−１．ｔ＋１，ｔ＋２における状態記述にも当てはまる。
【０１３０】
さらに時間変数を場所の変数とすることにより、場所ｔ−１，ｔ、ｔ＋１，ｔ＋２は所定の走行方向での走行区間に沿って順次連続して配置される。
【０１３１】
図６は、自動車６０１，６０２，６０３，６０４，６０５，６０６が走行する道路６００を示す。
【０１３２】
道路６００に組み込まれた導体路ループ６１０，６１１は電気信号を公知のように記録し、電気信号６１５，６１６をコンピュータ６２０に入出力インタフェース６２１を介して供給する。入出力インタフェース６２１と接続されたＡ／Ｄ変換器６２２では電気信号が時系列においてデジタル化され、メモリ６２３に記憶される。このメモリはバス６２４を介してＡ／Ｄ変換器６２２およびプロセッサ６２５と接続されている。入出力インタフェース６２１を介して交通案内系６５０には制御信号６５１が供給される。この制御信号から交通案内系６５０では所定の速度６５２が設定されるかまたは交通放棄に基づいた別の指示が行われ、これらは交通案内系６５０を介して車両６０１，６０２，６０３，６０４，６０５，６０６の運転者に表示される。
【０１３３】
交通状況のモデリングのためにこの場合、
・交通量速度ｖ
・車両密度ρ（ρ＝１ｋｍ当たりの車両数Ｆｚ／ｋｍ）
・交通量ｑ（ｑ＝１時間当たりの車両数Ｆｚ／ｈ）（ｑ＝ｖ＊ρ）
・各時点で交通案内系６５０により表示される速度制限値６５２
の状態量が使用される。
【０１３４】
局所的状態量は上に述べたように導体路ループ６１０，６１１を使用して測定される。
【０１３５】
したがってこれらの量（ｖ（ｔ）、ρ（ｔ）、ｑ（ｔ））は所定の時点ｔでの技術的系“交通状況”を表す。これらの量から、それぞれ瞬時の状態の評価値ｒ（ｔ）が例えば交通量および均一性について得られる。この評価は定量的および定性的に行われる。
【０１３６】
この実施例において、交通ダイナミクスは２つのフェーズでモデリングされる。すなわち、適用フェーズで検出された予測量から制御信号６５１が形成され、この制御信号によりどの速度制限値を将来の時間ｔ＋１に対して選択すべきかが指示される。
【０１３７】
４．その他の実施例
さらに上記の実施例について幾つかの選択手段を挙げる。
【０１３８】
選択可能な適用分野
第１の実施例で説明した装置は、心電図ＥＣＧのダイナミクスを検出するためにも使用できる。これにより早期に心筋梗塞の危険性の高まりを指示する徴候を検出することができる。入力量として患者から測定されたＥＣＧ値の時系列が使用される。
【０１３９】
第１の実施例に対する別の例では、第１の実施例による装置を第３の実施例による交通状況のモデリングのために使用することもできる。この場合、元の第１の実施例では時間変数として使用されていた変数ｔが第３の実施例に則して説明したように場所の変数ｔとして使用される。このために第３の実施例での構成が相応に適用される。
【０１４０】
第１の実施例に対する第３の例として、第１の実施例の装置が音声処理に使用される（図１０を参照）。このような音声処理の基礎は引用文献［３］から公知である。
【０１４１】
この場合、装置ＫＲＫＮＮ１０００はアクセントを付与すべき文章１０１０中のアクセントを定めるために使用される。
【０１４２】
このためにアクセントすべき文章１０１０は語１０１１に分解され、語がそれぞれクラス１０１２へ分類される（Part-of-speech-tagging）。クラス１０１２にはそれぞれコード１０１３が付される。各コード１０１３は休止情報（フレーズ中断情報）１０１４について拡張される。この休止情報は、アクセントすべき文章１０１０の発音の際にそれぞれの語の後に休止が生じるか否かを指示する。
【０１４３】
アクセントすべき文章のこのようなコード化は引用文献［３］および［４］から公知である。
【０１４４】
文章の拡張コード１０１５から時系列１０１６がマッピングされる。すなわち、状態の時間的順序がアクセントすべき文章１０１０中の語順の時系列に相応するようにマッピングが行われる。この時系列１０１６が装置１０００に印加される。
【０１４５】
この装置は次に各語１０１１に対してアクセント情報１０２０を検出する。これらのアクセント情報は、それぞれの語がアクセントして発音されるか否かを指示する（ＨＡ：メインアクセントまたは強アクセント、ＮＡ：サブアクセントまたは弱アクセント、ＫＡ：アクセントなし）。
【０１４６】
このための構成は第１の実施例において適用されるものに相応する。
【０１４７】
また第２の実施例に則して説明した装置は、マクロ経済学的ダイナミクス、例えば為替相場のダイナミクス、または他の経済学的係数の予測、例えば取引相場の予測にも使用できる。この種の予測の場合、関連するマクロ経済学的係数ないしミクロ経済学的係数の時系列からの入力量、例えば金利、為替相場またはインフレ率などがマッピングされる。
【０１４８】
第２の実施例に対する別の例では、第２の実施例による装置が音声処理に使用される（図１１を参照）。このような音声処理の基礎は引用文献［５］［６］［７］［８］から公知である。
【０１４９】
音節に基づく音声処理において、装置ＫＲＫＦＫＮＮ１１００が文章中の語の音節の周波数特性をモデリングするために使用される。このようなモデリングも引用文献［５］［６］［７］［８］から公知である。
【０１５０】
このためにモデリングすべき文章１１１０を音節１１１１に分解する。各音節に対して、これを音声学的および構造的に記述する状態ベクトル１１１２を検出する。
【０１５１】
このような状態ベクトル１１１２はタイミング情報１１１３，音声学情報１１１４，シンタクス情報１１１５およびアクセント情報１１１６を含む。
【０１５２】
このような状態ベクトル１１１２は引用文献［４］に記載されている。
【０１５３】
モデリングすべき文章１１１０の音節１１１１の状態ベクトル１１１２から時系列１１１７が形成される。すなわち状態の時間的順序がモデリングすべき文章１１１０中の音節１１１１の順序の時系列１１１７に相応するよう形成される。この時系列１１１７は装置１１００に印加される。
【０１５４】
装置１１００は次に各音節１１１１に対して、パラメータ１１２０を有するパラメータベクトル１１２２を検出する。このパラメータはｆｏｍａｘｐｏｓ，ｆｏｍａｘａｌｐｈａ，ｌｐ，ｒｐであり、これらはそれぞれの音節１１１１の周波数特性１１２１を記述する。
【０１５５】
このようなパラメータ１１２０およびパラメータによる周波数特性１１２１の記述は引用文献［５］［６］［７］［８］から公知である。
【０１５６】
このための構成は第２の実施例で適用されるものに相応する。
【０１５７】
別の構造の例
図７には、図１の第１の実施例の装置に対する構造の別の例が示されている。図１と同じ構成を有する素子には図７においても同じ参照符号を付してある。
【０１５８】
図１に示された装置と異なる点は、図７の装置では結合７０１〜７１１が解除ないし中断されていることである。この装置すなわち結合の解除されたＫＲＫＮＮはトレーニングフェーズでも適用フェーズでも使用することができる。この装置のトレーニングおよび適用は第１の実施例について説明したのと同様に実行される。
【０１５９】
図８には、図３の第２の実施例による装置に対する構造の別の例が示されている。
【０１６０】
図３と同じ構成を有する素子には図８でも同じ参照符号が付してある。図３に示した装置と異なる点は、図８の装置では結合８０１〜８１３が解除ないし中断されていることである。この装置すなわち結合の解除されたＫＲＫＦＫＮＮはトレーニングフェーズでも適用フェーズでも使用することができる。この装置のトレーニングおよび適用も第１の実施例について説明したのと同様に実行される。
【０１６１】
結合の解除されたＫＲＫＮＮをトレーニングフェーズのみに用い、第１の実施例の（結合が解除されていない）ＫＲＫＮＮを適用フェーズに用いることも可能である。
【０１６２】
結合の解除されたＫＲＫＮＮを適用フェーズのみに用い、第１の実施例の（結合が解除されていない）ＫＲＫＮＮをトレーニングフェーズに用いることも可能である。
【０１６３】
相応のことが結合の解除されたＫＲＫＦＫＮＮおよびＫＲＫＦＫＮＮに対しても当てはまる。
【０１６４】
第１の実施例の装置に対する別の構造の例が図９に示されている。
【０１６５】
図９の装置は、固定点回帰を有するＫＲＫＮＮである。
【０１６６】
図１と同じ構成を有する素子には図９でも同じ参照符号を付してある。図１に示した装置に対して異なる点は、図９の装置では付加的結合９０１，９０２，９０３，９０４が設けられていることである。
【０１６７】
付加的結合９０１，９０２，９０３，９０４はそれぞれ重み付けされた結合マトリクスＧＴを有する。
【０１６８】
この装置はトレーニングフェーズでも適用フェーズでも使用することができる。
【０１６９】
この装置のトレーニングおよび適用は第１の実施例について説明したのと同様に実施される。
【０１７０】
本明細書では以下の刊行物を引用している。
［１］S.Hayken, Neural Networks: A Comprehensive Foundation, McMillan College Publishing Company, Second Edition, ISBN0-13-273350-1, 1999 732頁〜789頁
［２］H.Rehkugler & H.G.Zimmermann, Neuronale Netze in der Oekonomie, Grundlagen und finanzwirtschaftliche Anwendungen, Verlag Franz Vahlen Muenchen, ISBN3-8006-1871-0, 1994 3頁〜90頁
［３］J.Hirschberg, Pitch accent in context: predicting intonational prominence from text, Artificial Intelligence63, Elsevier, 1993 305頁〜340頁
［４］K.Ross et al., Prediction of abstract prosodic labels for speech synthesis, Computer Speech and Language, 10, 1996 155頁〜185頁
［５］R.Haury et al., Optimisation of a Neural Network for Pitch Contour Generation, ICASSP, Seattle, 1998
［６］C.Traber, F0 generation with a database of natural F0 patterns and with a neural network, G.Bailly and C.Benoit eds., Talking Machines: Theories, Models and Applications, Elsevier, 1992
［７］E.Heuft et al., Parametric Description of F0-Contours in a Prosodic Database, Proc.ICPHS, Vol.2, 1995 378頁〜381頁
［８］C.Erdem, Topologieoptimierung eines Neuronalen Netzes zur Generierung von F0-Verlaeufen durch Integration unterschiedlicher Codierungen, Tagungsband ESSV, Cottbus, 2000
【図面の簡単な説明】
【０１７１】
【図１】第１の実施例の装置を示す図である。
【０１７２】
【図２】一般的なダイナミック系と“因果律‐逆行因果律”関係に基づくダイナミック系とを示す図である。
【０１７３】
【図３】第２の実施例の装置を示す図である。
【０１７４】
【図４】第１の実施例の装置を用いてパラメータを処理する化学的反応器を示す図である。
【０１７５】
【図５】有限の多数の状態が所定の時間にわたって延在している装置を示す図である。
【０１７６】
【図６】第２の実施例の装置でモデリングされる交通案内系を示す図である。
【０１７７】
【図７】第１の実施例の装置の代替手段を示す図である。
【０１７８】
【図８】第２の実施例の装置の代替手段を示す図である。
【０１７９】
【図９】第１の実施例の装置のさらに別の代替手段を示す図である。
【０１８０】
【図１０】第１の実施例の装置（ＫＲＫＮＮ）を用いた音声処理の様子を示す図である。
【０１８１】
【図１１】第２の実施例の装置（ＫＲＫＦＫＮＮ）を用いた音声処理の様子を示す図である。
【０００１】
本発明は、ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置に関する。
【０００２】
引用文献［１］から、ダイナミックな系を記述するために時間的に変化する状態記述をマッピングする装置を使用することが知られている。この装置は相互に結合された計算素子によって実現されており、この計算素子を用いてマッピングが行われる。
【０００３】
一般にダイナミックな系またはプロセスは通常は観察者にとって不可視の状態遷移と技術的にダイナミックな過程で観察される量を表す出力方程式とによって記述される。
【０００４】
こうしたダイナミック系の構造は図２のＡに示されている。
【０００５】
ダイナミック系２００は設定可能な次元の入力量ｕの外部入力を基礎としている。このとき時点ｔでの入力量ｕｔは
【０００６】
【数１】
【０００７】
時点ｔでの入力量ｕｔはこの系２００で進行するダイナミックプロセスの変化の原因である。
【０００８】
時点ｔでの設定可能な次元ｍの内部状態ｓｔ、すなわち
【０００９】
【数２】
【００１０】
内部状態ｓｔおよび入力量ｕｔに依存して、ダイナミックプロセスの内部状態ｓｔの状態遷移が生じ、このプロセスの状態は時点ｔ＋１での結果の状態ｓｔ＋１へ移行する。ここでは
ｓｔ＋１＝ｆ（ｓｔ，ｕｔ） （１）
が成り立つ。ｆ（・）は一般的なマッピング規則である。
【００１１】
ダイナミック系２００の観察者が時点ｔで観察する出力量ｙｔは入力量ｕｔおよび内部状態ｓｔに依存する。出力量ｙｔ、すなわち
【００１２】
【数３】
【００１３】
出力量ｙｔと入力量ｕｔおよびダイナミックプロセスの内部状態ｓｔとの依存関係は一般的な規則
ｙｔ＝ｇ（ｓｔ，ｕｔ） （２）
によって与えられる。ここでｇ（・）は一般的なマッピング規則である。
【００１４】
ダイナミック系２００を記述するために、引用文献［１］では複数の計算素子を相互に結合した装置を相互結合されたニューロンを有するニューラルネットのかたちに構成して使用している。ニューラルネットのニューロン間の結合は重みづけされている。ニューラルネットでの重みはパラメータベクトルｖとしてまとめられている。
【００１５】
このようにダイナミックプロセスに基づくダイナミック系の内部状態は、規則
ｓｔ＋１＝ＮＮ（ｖ，ｓｔ，ｕｔ） （３）
にしたがって入力量ｕｔ、先行する時点での内部状態ｓｔ、およびパラメータベクトルｖに依存する。ここでＮＮ（・）はニューラルネットによって設定されるマッピング規則である。
【００１６】
引用文献［１］から公知のＴＤＲＮＮ（Time Delay Recurrent Neural Network）と称される装置はトレーニングフェーズで１つの入力量ｕｔにつきそれぞれ１つずつ目標量ｙｄ ｔを求めて訓練を行う。テューペル、つまり入力量や求められた目標量はトレーニングデータと称される。複数のトレーニングデータからトレーニングデータセットが形成される。
【００１７】
その場合トレーニングデータセットの時点ｔ−４，ｔ−３，ｔ−２，．．．での時間的に連続するテューペル（ｕｔ−４，ｙｄ ｔ−４），（ｕｔ−３，ｙｄ ｔ−３），（ｕｔ−２，ｙｄ ｔ−２）はそれぞれ設定された時間ステップを有する。
【００１８】
トレーニングデータセットによりＴＤＲＮＮは訓練される。種々のトレーニングプロセスについては引用文献［１］に記載されている。
【００１９】
ここでダイナミック系２００では時点ｔでの出力量ｙｔしか識別できないことを強調しておきたい。系内の状態ｓｔは不可視である。
【００２０】
トレーニングフェーズでは通常は費用関数Ｅが最小化される。すなわち
【００２１】
【数４】
【００２２】
引用文献［２］にはさらにニューラルネットの基礎理論の概観とこれを経済学の分野に応用したアプリケーションとが記載されている。
【００２３】
これらの公知の方法および装置は、特にダイナミックな系またはプロセスの記述が不正確になってしまう欠点を有している。これはこれらの方法および装置で使用されるマッピングがダイナミックプロセスの状態遷移に充分に正確に追従していないためである。
【００２４】
したがって本発明の課題は、時間的に変化する状態記述を計算機支援のもとにマッピングする方法および装置を提供し、前述の公知の装置の欠点なく、ダイナミック系の状態遷移を正確に記述できるようにすることである。
【００２５】
この課題は本発明の独立請求項に記載の特徴を有する方法および装置によって解決される。
【００２６】
第１の状態空間でダイナミック変化系の状態の第１の時系列から現在の第１の状態を求める本発明の方法では次のようなステップが行われる。すなわち、まず第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列が求められ、ついで第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列が求められ、さらに第２の状態空間の現在の第２の状態を第１の状態空間へ第１の変換で変換しかつ第２の状態空間の未来の第３の状態を第１の状態空間へ第２の変換で変換することにより、現在の第１の状態が求められる。
【００２７】
第１の状態空間でダイナミック変化系の状態の第１の時系列から現在の第１の状態を求める装置では、系のそれぞれの状態を表す計算素子が相互に結合されており、この結合によって系の２つの状態のあいだの変換が表される。ここで第１の計算素子は、第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列を求めるように構成されている。また第２の計算素子は、第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列を求めるように構成されている。また第３の計算素子は、第１の変換で第２の状態空間の現在の第２の状態を第１の状態空間へ変換しかつ第２の変換で第２の状態空間の未来の第３の状態を第１の状態空間へ変換することにより、現在の第１の状態を求めるように構成されている。
【００２８】
本発明の装置は特に本発明の方法または以下に説明する実施形態を実行するのに適している。
【００２９】
具体的に言えば、系の現在の第１の状態は過去の系の情報を有する系内の第１の情報流と未来の系の情報を有する系内の第２の情報流とを組み合わせることによって求められる。ここから現在の第１の状態が得られる。
【００３０】
本発明の有利な実施形態は従属請求項から得られる。以下に説明する実施形態は本発明の方法にも装置にも関連している。
【００３１】
本発明および以下に説明するその実施形態はソフトウェアとしてもハードウェア（例えば専用の電気回路）としても実現することができる。また本発明およびその実施形態をコンピュータプログラムを記憶した読み出し可能な記憶媒体によって実現してもよい。さらに本発明および以下に説明するその実施形態をコンピュータプログラムを記憶したコンピュータプログラム製品によって実現してもよい。
【００３２】
本発明の１つの実施形態では、第２の時系列のうち時間的に連続する２つの第２の状態が第３の変換により相互に結合される。
【００３３】
第３の変換による結合は、時間的に後方の第２の状態を時間的に前方の第２の状態から求めることによって行われる。
【００３４】
また本発明の別の実施形態では、第３の時系列のうち時間的に連続する２つの第３の状態が第４の変換により相互に結合される。
【００３５】
第４の変換による結合は、時間的に前方の第３の状態を時間的に後方の第３の状態から求めることによって行われる。
【００３６】
また本発明の別の実施形態では、現在の第２の状態を第３の変換で変換しかつ第１の状態空間の現在の状態を第５の変換で第２の状態空間へ変換することにより、第２の時系列のうち現在の第２の状態よりも時間的に後方の未来の第２の状態が求められる。
【００３７】
ここでさらに、未来の第３の状態を第４の変換で変換しかつ第１の状態空間の現在の状態を第６の変換で第２の状態空間へ変換することにより、第３の時系列のうち未来の第３の状態よりも時間的に前方の現在の第３の状態が求められる。
【００３８】
ダイナミック系の状態遷移を記述する際の正確性を向上させるために、求められた現在の第１の状態と設定された現在の第１の状態とのあいだの誤差が求められる。こうした誤差の算出による補正は“誤り補正”と称される。
【００３９】
またダイナミック系の状態遷移を記述する際の正確性を向上させるために、第２の時系列の各第２の状態および／または第３の時系列の各第３の状態にそれぞれ１つずつ系外の状態情報を付与してもよい。
【００４０】
なお、系の状態はベクトルを設定可能な次元によって記述される。
【００４１】
本発明の別の実施形態はダイナミック変化系のダイナミクスを求めるために用いられる。第１の状態の第１の時系列がこのダイナミクスを記述する。
【００４２】
本発明で求めるべきダイナミクスは心電図ＥＣＧのダイナミクスであり、このとき第１の状態の第１の時系列は心電図信号である。
【００４３】
また本発明で求めるべきダイナミクスは経済学システムのダイナミクスであってもよく、このとき第１の状態の第１の時系列は相応の経済学的パラメータによって記述されるマクロ経済学的状況またはミクロ経済学的状況である。
【００４４】
また本発明で求めるべきダイナミクスは化学的反応器のダイナミクスであってもよく、このとき第１の状態の第１の時系列は化学的反応器の化学的パラメータである。
【００４５】
本発明の別の実施形態として、ダイナミック変化系の状態予測において求められた現在の第１の状態を予測される状態として用いることもできる。
【００４６】
本発明の別の実施形態では、第１の計算素子および／または第２の計算素子に結合された第４の計算素子が設けられており、この第４の計算素子には系外の状態情報を含む第４の時系列の第４の状態が供給される。
【００４７】
本発明のさらに別の実施形態では、計算素子の少なくとも一部は人工ニューロンで構成されており、および／または少なくとも一部は計算素子間の結合によって可変に構成されている。
【００４８】
またダイナミック変化系の状態を記述する物理的信号を検出する測定装置が設けられている。
【００４９】
本発明は音声処理に適用することができる。このとき、系外の状態情報とは発音すべき語および／または音節および／または音素の第１の音声情報であり、現在の第１の状態とは発音すべき語および／または音節および／または音素の第２の音声情報を含む。
【００５０】
またこの実施形態において、第１の音声情報は発音すべき語および／または音節および／または音素のクラス、および／またはこれらの休止情報を含み、第２の音声情報は発音すべき語および／または音節および／または音素のアクセント情報、および／または発音すべき語および／または音節および／または音素の音の長さ情報を含むものであってもよい。
【００５１】
またこの実施形態において、第１の音声情報が発音すべき語および／または音節および／または音素の音声学的情報および／または構造情報を含み、および／または第２の音声情報は発音すべき語および／または音節および／または音素の周波数情報、および／または発音すべき語および／または音節および／または音素の音の持続時間の情報を含むものであってもよい。
【００５２】
本発明の実施例を図示し、以下に説明する。
【００５３】
図１には第１の実施例の装置ＫＲＫＮＮが示されている。図２のＡ，Ｂには一般的なダイナミック系と“因果律‐逆行因果律”関係に基づくダイナミック系とが示されている。図３には第２の実施例の装置ＫＲＫＦＫＮＮが示されている。図４には第１の実施例の装置を用いてパラメータを測定し処理する化学的反応器が示されている。図５には有限の多数の状態が所定の時間にわたって延在している装置ＴＤＲＮＮが示されている。図６には第２の実施例の装置でモデリングされる交通案内系が示されている。図７には第１の実施例の装置の代替手段（一部の結合を解除したＫＲＫＮＮ）が示されている。図８には第２の実施例の装置の代替手段（一部の結合を解除したＫＲＫＮＮ）が示されている。図９には第１の実施例の装置のさらに別の代替手段（ＫＲＫＮＮ）が示されている。図１０には第１の実施例の装置ＫＲＫＮＮを用いた音声処理の様子が示されている。図１１には第２の実施例の装置ＫＲＫＦＫＮＮを用いた音声処理の様子が示されている。
【００５４】
第１の実施例：化学的反応器
図４は化学的反応器４００を示す。この反応器には化学物質４０１が充填されている。化学的反応器４００は撹拌機４０２を有し、この撹拌機により化学物質４０１が撹拌される。この化学的反応器４００には別の化学物質４０３が流入し、所定の時間のあいだ化学的反応器４００内でこの化学的反応器４００にすでに含まれている化学物質４０１と反応する。反応器４００から流出する物質４０４は化学的反応器４００から出口を介して導かれる。
【００５５】
撹拌機４０２は線路を介して制御ユニット４０５と接続されており、この制御ユニットにより制御信号４０６を介して撹拌機４０２の撹拌周波数が調整される。
【００５６】
さらに測定装置４０７が設けられており、この測定装置により化学物質４０１に含まれる化学的材料の濃度が測定される。
【００５７】
測定信号４０８は計算機またはコンピュータ４０９に供給され、この計算機４０９で入出力インタフェース４１０およびＡ／Ｄ変換器４１１を介してデジタル化され、メモリ４１２に記憶される。プロセッサ４１３もメモリ４１２と同様にバス４１４を介してＡ／Ｄ変換器４１１と接続されている。計算機４０９はさらに入出力インタフェース４１０を介して撹拌機４０２の制御ユニット４０５と接続されており、これにより計算機４０９は撹拌機４０２の撹拌周波数を制御する。
【００５８】
計算機４０９はさらに入出力インタフェース４１０を介してキーボード４１５，計算機マウス４１６および画面４１７と接続されている。
【００５９】
化学的反応器４００は技術的ダイナミック系としてダイナミックプロセスを受ける。
【００６０】
化学的反応器４００は状態記述によって記述される。この状態記述の入力量ｕｔはこの場合、化学的反応器４００内の温度、圧力、および時点ｔで調整された撹拌周波数から合成される。したがって入力量ｕｔは３次元のベクトルである。
【００６１】
化学的反応器４００の以下に説明するモデリングの目的は材料濃度のダイナミックな展開の検出であり、これにより流出物質４０４として生成すべき所定の目標材料の効率的な形成を可能にするものである。
【００６２】
このことは後に説明する図１の装置を使用して行われる。
【００６３】
化学的反応器４００の基礎となり、いわゆる“因果律‐逆行因果律”関係を有するダイナミックプロセスは状態移行記述と出力方程式により記述される。この状態移行記述は観察者には不可視であり、出力方程式は技術的ダイナミックプロセスの観察量を記述する。
【００６４】
“因果律‐逆行因果律”関係を備えるこのようなダイナミック系の構造が図２のＢに示されている。
【００６５】
ダイナミック系２５０は所定の次元の外部入力量ｕの影響を受ける。ここで時点ｔにおける入力量ｕｔは
【００６６】
【数５】
【００６７】
時点ｔでの入力量ｕｔによりダイナミック系２５０で経過するダイナミックプロセスの変化が引き起こされる。
【００６８】
系２５０の観察者にとっては不可視の時点ｔにおける系２５０の内部状態は、この場合、第１の内部部分状態ｓｔと第２の内部部分状態ｒｔから合成される。
【００６９】
相対的に早期の時点ｔ−１における第１内部部分状態ｓｔ−１と入力量ｕｔとに依存して、ダイナミックプロセスの第１内部部分状態ｓｔ−１が後続の状態ｓｔへ移行する。ここでは、
ｓｔ＝ｆ１（ｓｔ−１，ｕｔ） （５）
が成立する。ここでｆ１（・）は一般的マッピング規則を表す。
【００７０】
具体的に言えば、第１内部部分状態ｓｔは相対的に早期の第１内部部分状態ｓｔ−１と
入力量ｕｔとの影響を受ける。このような関係を通常は“因果律”と称する。
【００７１】
後続の時点ｔ＋１における第２内部部分状態ｒｔ＋１と入力量ｕｔとに依存して、ダイナミックプロセスの第２内部部分状態ｒｔ＋１が後続の状態ｒｔへ移行する。ここでは、
ｒｔ＝ｆ２（ｒｔ＋１，ｕｔ） （６）
が成立する。ここでｆ２（・）は一般的マッピング規則を表す。
【００７２】
具体的に言えばこの場合、第２内部部分状態ｒｔは相対的に後期の第２の部分状態ｒｔ＋１と入力量ｕｔとから影響を受ける。第２の部分状態は一般的にはダイナミック系２５０の相対的に後期の状態についての予測である。このような関係を“逆行因果律”と称する。
【００７３】
したがって時点ｔにおけるダイナミック系２５０の観察者に可視の出力量ｙｔは、入力量ｕｔ、第１内部部分状態ｓｔおよび第２内部部分状態ｒｔ＋１に依存する。
【００７４】
出力量
【００７５】
【数６】
【００７６】
出力量ｙｔ、入力量ｕｔ、第１内部部分状態ｓｔおよび第２内部部分状態ｒｔ＋１の依存関係は次の一般的規則により与えられる。
ｙｔ＝ｇ（ｓｔ，ｒｔ＋１） （７）
ここでｇ（・）は一般的マッピング規則を表す。
【００７７】
ダイナミック系２５０およびその状態を記述するために、ニューロンの相互に結合されたニューラルネットワークの形態で相互に結合された計算素子の装置が使用される。この装置が図１に示されており、“因果律‐逆行因果律”ニューラルネットワークＫＲＫＮＮと称される。
【００７８】
ニューラルネットワークのニューロン間の結合は重み付けされている。ニューラルネットワークの重み付けはパラメータベクトルｖにまとめられている。
【００７９】
ニューラルネットワークでは第１内部部分状態ｓｔおよび第２内部部分状態ｒｔは次の規則にしたがって、入力量ｕｔ、第１内部部分状態ｓｔ−１，第２内部部分状態ｒｔ＋１およびパラメータベクトルｖｓ、ｖｔ、ｖｙに依存する。すなわち
ｓｔ＝ＮＮ（ｖｓ，ｓｔ−１，ｕｔ） （８）
ｒｔ＝ＮＮ（ｖｒ，ｒｔ＋１，ｕｔ） （９）
ｙｔ＝ＮＮ（ｖｙ，ｓｔ，ｒｔ） （１０）
ここでＮＮ（・）はニューラルネットワークによって設定されるマッピング規則である。
【００８０】
図１のＫＲＫＮＮ１００は４つの時点ｔ−１，ｔ，ｔ＋１，ｔ＋２にわたって展開されたニューラルネットワークである。
【００８１】
有限の数の時点にわたって展開されたニューラルネットワークの基礎理論は引用文献［１］に記載されている。
【００８２】
ＫＲＫＮＮの基礎となる原理を理解しやすくするために、図５には公知のＴＤＲＮＮが有限の数の時点にわたって展開されたニューラルネットワーク５００として示されている。
【００８３】
図５に示されたニューラルネットワーク５００は３つの部分入力層５０２，５０３，５０４を備えた入力層５０１を有しており、これらの部分入力層はそれぞれ所定数の入力計算素子を含んでいる。この入力計算素子には、後述する時系列値内の所定の時点ｔで入力量ｕｔを印加することができる。
【００８４】
入力計算素子、すなわち入力ニューロンは可変の結合を介して所定数の隠れ層５０５のニューロンと結合している。
【００８５】
第１の隠れ層５０６のニューロンは第１の部分入力層５０２と結合されている。さらに第２の隠れ層５０７のニューロンは第２の部分入力層５０３のニューロンと結合されている。第３の隠れ層５０８のニューロンは第３の部分入力層５０４のニューロンと結合されている。
【００８６】
第１の部分入力層５０２と第１の隠れ層５０６との結合、第２の部分入力層５０３と第２の隠れ層５０７との結合、および第３の部分入力層５０４と第３の隠れ層５０８との結合はそれぞれ同じである。全ての結合の重み付けはそれぞれ第１の結合マトリクスＢに含まれている。
【００８７】
第４の隠れ層５０９のニューロンの入力側は第２の結合マトリクスＡ２により与えられる構造にしたがって第１の隠れ層５０６のニューロンの出力側と結合されている。さらに第４の隠れ層５０９のニューロンの出力側は第３の結合マトリクスＡ１により与えられる構造にしたがって第２の隠れ層５０７のニューロンの入力側と結合されている。
【００８８】
また第５の隠れ層５１０のニューロンの入力側は第２の結合マトリクスＡ２により与えられる構造にしたがって第２の隠れ層５０７のニューロンの出力側と結合されている。さらに第５の隠れ層５１０のニューロンの出力側は第３の結合マトリクスＡ１により与えられる構造にしたがって第３の隠れ層５０８のニューロンの入力側と結合されている。
【００８９】
同じことが第６の隠れ層５１１に対する結合構造に対しても当てはまり、これは第２の結合マトリクスＡ２により与えられる構造にしたがって第３の隠れ層５０８のニューロンの出力側と結合されており、さらに第３の結合マトリクスＡ１により与えられる構造にしたがって第７の隠れ層５１２のニューロンと結合されている。
【００９０】
第８の隠れ層５１３のニューロンも、第２の結合マトリクスＡ２により与えられる構造にしたがって第７の隠れ層５１２のニューロンと結合されており、さらに第３の結合マトリクスＡ１による結合を介して第９の隠れ層５１４のニューロンと結合されている。それぞれの層における指数はそれぞれの時点ｔ−２，ｔ−１，ｔ，ｔ＋１，ｔ＋２を表し、これらの時点にそれぞれの層の出力側で取り出される信号や、入力側に供給される信号（ｕｔ，ｕｔ−１，ｕｔ−２）が関連する。
【００９１】
出力層５２０は３つの部分出力層、すなわち第１部分出力層５２１，第２部分出力層５２２および第３部分出力層５２３を有する。第１部分出力層５２１のニューロンは出力結合マトリクスＣにより与えられる構造にしたがって第３の隠れ層５０８のニューロンと結合されている。第２部分出力層のニューロンも同様に、出力結合マトリクスＣにより与えられる構造にしたがって第８の隠れ層５１２のニューロンと結合されている。第３部分出力層５２３のニューロンは出力結合マトリクスＣにしたがって第９の隠れ層５１４のニューロンと結合されている。部分出力層５２１，５２２および５２３のニューロンにおいて、それぞれ時点ｔ，ｔ＋１，ｔ＋２に対する出力量（ｙｔ，ｙｔ＋１，ｙｔ＋２）が取り出される。
【００９２】
いわゆる分割された重み（Shared Weights）の原理、すなわちニューラルネットワークでは等価の結合テンプレートがそれぞれの時点で同じ値を有するという原理に基づいて、さらに図１に示された装置を説明する。
【００９３】
以下の説明では各層ないし各部分層が所定数のニューロンすなわち計算素子を有するものであると理解されたい。
【００９４】
１つの層の部分層はそれぞれ、装置により記述されるダイナミック系の系状態を表す。隠れ層の部分層は相応にそれぞれ“系内部”の状態を表す。
【００９５】
それぞれの結合テンプレートは任意の次元であり、それぞれの層のニューロン間の相応する結合に対して重み付け値を含んでいる。
【００９６】
結合は方向付けられており、図１ではその方向が矢印によって示されている。矢印方向は“計算方向”、とりわけマッピング方向または変換方向を表す。
【００９７】
図１に示された装置は、４つの部分入力層１０１，１０２，１０３，１０４を備える入力層１００を有し、各部分入力層１０１，１０２，１０３，１０４にはそれぞれ時点ｔ−１，ｔ、ｔ＋１，ｔ＋２でそれぞれ時系列値ｕｔ−１，ｕｔ，ｕｔ＋１，ｕｔ＋２を供給することができる。
【００９８】
入力層１００の部分入力層１０１，１０２，１０３，１０４はそれぞれ第１の結合マトリクスＡによる結合を介して第１の隠れ層１１０のニューロンと結合されている。第１の隠れ層１１０はそれぞれ４つの部分層１１１，１１２，１１３，１１４を備えている。
【００９９】
入力層１００の部分入力層１０１，１０２，１０３，１０４は付加的にそれぞれ第２の結合マトリクスＢによる結合を介して第２の隠れ層１２０のニューロンと結合されている。第２の隠れ層１２０はそれぞれ４つの部分層１２１，１２２，１２３，１２４を備えている。
【０１００】
第１の隠れ層１１０のニューロンはそれぞれ、第３の結合マトリクスＣにより与えられる構造にしたがって出力層１４０のニューロンと結合されており、この出力層１４０も４つの部分出力層１４１，１４２，１４３，１４４を有する。
【０１０１】
出力層１４０のニューロンはそれぞれ第４の結合マトリクスＤにより与えられる構造にしたがって第２の隠れ層１２０のニューロンに結合されている。また出力層１４０のニューロンはそれぞれ第８の結合マトリクスＧにより与えられる構造にしたがって第１の隠れ層１１０のニューロンに結合されている。また第２の隠れ層１２０のニューロンはそれぞれ第７の結合マトリクスＨにより与えられる構造にしたがって出力層１４０のニューロンに結合されている。
【０１０２】
さらに第１の隠れ層１１０の部分層１１１は第５の結合マトリクスＥにより与えられる構造にしたがって第１の隠れ層１１０の部分層１１２のニューロンと結合されている。
【０１０３】
相応の結合を第１の隠れ層１１０の残りの部分層１１２，１１３，１１４も有している。具体的に言えば、第１の隠れ層１１０の全ての部分層１１１，１１２，１１３，１１４は時系列ｔ−１，ｔ，ｔ＋１，ｔ＋２に相応して相互に結合されている。
【０１０４】
第２の隠れ層１２０の部分層１２１，１２２，１２３，１２４は相互にちょうど反対向きに結合されている。この場合、第２の隠れ層１２０の部分層１２４は第６の結合マトリクスＦにしたがった結合を介して、第２の隠れ層１２０の部分層１２３のニューロンと結合されている。相応の結合を第２の隠れ層１２０の他の全ての部分層１２３，１２２，１２１も有している。
【０１０５】
具体的に言えばこの場合、第２の隠れ層１２０の全ての部分層１２１，１２２，１２３，１２４はその時系列と反対に、すなわちｔ＋２，ｔ＋１，ｔ，ｔ−１で相互に結合されている。
【０１０６】
前記の結合に相応して、第１の隠れ層の部分層１１２，１１３，１１４の“系内”の状態ｓｔ，ｓｔ＋１，ｓｔ＋２が、それぞれ対応する入力状態ｕｔ，ｕｔ＋１，ｕｔ＋２および時間的に前方の出力状態ｙｔ−１，ｙｔ，ｙｔ＋１または時間的に前方の系内の状態ｓｔ−１，ｓｔ，ｓｔ＋１から形成される。
【０１０７】
さらに前記の結合に相応して、第２の隠れ層１２０の部分層１２１，１２２，１２３の“系内”の状態ｒｔ−１，ｒｔ，ｒｔ＋１が、それぞれ対応する入力量ｕｔ−１，ｕｔ，ｕｔ＋１および時間的に後方の出力状態ｙｔ−１，ｙｔ，ｙｔ＋１または時間的に後方の“系内”の状態ｒｔ，ｒｔ＋１，ｒｔ＋２から形成される。
【０１０８】
出力層１４０の部分出力層１４１，１４２，１４３，１４４ではそれぞれ第１の隠れ層１１０の部分層１１１，１１２，１１３，１１４の対応する“系内”の状態ｓｔ−１，ｓｔ，ｓｔ＋１，ｓｔ＋２および第２の隠れ層１２０の部分層１２１，１２２，１２３，１２４の対応する“系内”の状態ｒｔ−１，ｒｔ，ｒｔ＋１，ｒｔ＋２から形成される。
【０１０９】
出力層１４０の第１の部分出力層１４１の出力側では、“系内”の状態（ｓｔ，ｒｔ）に依存する信号を取り出すことができる。
【０１１０】
相応のことは部分出力層１４２，１４３および１４４に対しても当てはまる。
【０１１１】
ＫＲＫＮＮのトレーニングフェーズでは、次の費用関数Ｅが最小化される。すなわち
【０１１２】
【数７】
【０１１３】
トレーニング方法として逆伝播プロセスが使用される。トレーニングデータセットは次のようにして化学的反応器４００から得られる。
【０１１４】
測定装置４０７により設定すべき入力量すなわち濃度が測定され、計算機４０９に供給されそこでデジタル化される。この値は時系列値ｘｔとして、測定されたパラメータに対応する相応の入力量とともにメモリ内でグループ化される。
【０１１５】
トレーニング時には、それぞれの結合テンプレートの重みが適合化される。この適合化は、ＫＲＫＮＮが追従したダイナミック系（この場合は化学的反応器）をできるだけ正確に記述するように行われる。
【０１１６】
図１の装置はトレーニングデータセットおよび費用関数Ｅを使用してトレーニングされる。
【０１１７】
上記のトレーニング方法にしたがってトレーニングされた図１の装置は化学的反応器４００の制御および監視のために使用される。そのために、入力量ｕｔ−１，ｕｔから予測される出力量ｙｔ＋１が検出される。この量は引き続き制御量として、または場合により処理後に、撹拌機４０２制御のための制御手段４０５および供給制御のための制御装置４３０へ供給される（図４を参照）。
【０１１８】
２．第２の実施例：賃貸料の予測
図３には、前述の実施例に則して説明した図１のＫＲＫＮＮの発展形態が示されている。
【０１１９】
図３に示された発展形態はいわゆる“因果律‐逆行因果律‐誤り補正ニューラルネットワーク”ＫＲＫＦＫＮＮであり、賃貸料予測に対して使用される。
【０１２０】
入力量ｕｔはこの場合、賃貸料、住居提供量、物価上昇率および失業率についての情報から合成される。これらの情報は調査すべき住居地区についてそれぞれ年末に（１２月値として）検出される。したがって入力量は４次元ベクトルである。時間的に順次連続する複数のベクトルからなる入力量の時間順序はそれぞれ１年の時間ステップを有する。
【０１２１】
後述する賃貸料マッピングのモデルの目的は将来の賃貸料の予測である。
【０１２２】
賃貸料マッピングのダイナミックプロセスの記述は後述する図３の装置を使用して行われる。
【０１２３】
図１と同じ構成を有する素子には同じ参照符号を付してある。
【０１２４】
付加的にＫＲＫＦＫＮＮは４つの部分入力層１５１，１５２，１５３，１５４を備える第２の入力層１５０を有する。ここで各部分入力層１５１，１５２，１５３，１５４にはそれぞれの時点ｔ−１，ｔ，ｔ＋１，ｔ＋２での時系列値ｙｄ ｔ−１，ｙｄ ｔ，ｙｄ ｔ＋１，ｙｄ ｔ＋２を供給することができる。ここで時系列値ｙｄ ｔ−１，ｙｄ ｔ，ｙｄ ｔ＋１，ｙｄ ｔ＋２はダイナミック系で測定された出力値である。
【０１２５】
入力層１５０の部分入力層１５１，１５２，１５３，１５４はそれぞれ負のアイデンティティマトリクスである第９の結合マトリクスによる結合を介して出力層１４０のニューロンへ結合されている。
【０１２６】
したがって出力層の部分出力層１４１，１４２，１４３，１４４ではそれぞれ差状態（ｙｔ−１−ｙｄ ｔ−１）、（ｙｔ−ｙｄ ｔ）（ｙｔ＋１−ｙｄ ｔ＋１）、（ｙｔ＋２−ｙｄ ｔ＋２）が形成される。
【０１２７】
上記の装置をトレーニングするための手段は第１の実施例の装置をトレーニングする場合と同じである。
【０１２８】
３．第３の実施例：交通状況モデリングおよび渋滞警報予測
以下に説明する第３の実施例は交通状況モデルを記述するものであり、渋滞予測に使用される。この第３の実施例では第１の実施例による装置が使用される（図１を参照）。
【０１２９】
ただし第３の実施例は、時間変数として使用された変数ｔが場所の変数ｔとして使用される点で第１の実施例および第２の実施例と異なる。したがって時点ｔでの状態記述は、この第３の実施例では第１の場所ｔでの状態記述となる。相応のことがそれぞれ時点ｔ−１．ｔ＋１，ｔ＋２における状態記述にも当てはまる。
【０１３０】
さらに時間変数を場所の変数とすることにより、場所ｔ−１，ｔ、ｔ＋１，ｔ＋２は所定の走行方向での走行区間に沿って順次連続して配置される。
【０１３１】
図６は、自動車６０１，６０２，６０３，６０４，６０５，６０６が走行する道路６００を示す。
【０１３２】
道路６００に組み込まれた導体路ループ６１０，６１１は電気信号を公知のように記録し、電気信号６１５，６１６をコンピュータ６２０に入出力インタフェース６２１を介して供給する。入出力インタフェース６２１と接続されたＡ／Ｄ変換器６２２では電気信号が時系列においてデジタル化され、メモリ６２３に記憶される。このメモリはバス６２４を介してＡ／Ｄ変換器６２２およびプロセッサ６２５と接続されている。入出力インタフェース６２１を介して交通案内系６５０には制御信号６５１が供給される。この制御信号から交通案内系６５０では所定の速度６５２が設定されるかまたは交通放棄に基づいた別の指示が行われ、これらは交通案内系６５０を介して車両６０１，６０２，６０３，６０４，６０５，６０６の運転者に表示される。
【０１３３】
交通状況のモデリングのためにこの場合、
・交通量速度ｖ
・車両密度ρ（ρ＝１ｋｍ当たりの車両数Ｆｚ／ｋｍ）
・交通量ｑ（ｑ＝１時間当たりの車両数Ｆｚ／ｈ）（ｑ＝ｖ＊ρ）
・各時点で交通案内系６５０により表示される速度制限値６５２
の状態量が使用される。
【０１３４】
局所的状態量は上に述べたように導体路ループ６１０，６１１を使用して測定される。
【０１３５】
したがってこれらの量（ｖ（ｔ）、ρ（ｔ）、ｑ（ｔ））は所定の時点ｔでの技術的系“交通状況”を表す。これらの量から、それぞれ瞬時の状態の評価値ｒ（ｔ）が例えば交通量および均一性について得られる。この評価は定量的および定性的に行われる。
【０１３６】
この実施例において、交通ダイナミクスは２つのフェーズでモデリングされる。すなわち、適用フェーズで検出された予測量から制御信号６５１が形成され、この制御信号によりどの速度制限値を将来の時間ｔ＋１に対して選択すべきかが指示される。
【０１３７】
４．その他の実施例
さらに上記の実施例について幾つかの選択手段を挙げる。
【０１３８】
選択可能な適用分野
第１の実施例で説明した装置は、心電図ＥＣＧのダイナミクスを検出するためにも使用できる。これにより早期に心筋梗塞の危険性の高まりを指示する徴候を検出することができる。入力量として患者から測定されたＥＣＧ値の時系列が使用される。
【０１３９】
第１の実施例に対する別の例では、第１の実施例による装置を第３の実施例による交通状況のモデリングのために使用することもできる。この場合、元の第１の実施例では時間変数として使用されていた変数ｔが第３の実施例に則して説明したように場所の変数ｔとして使用される。このために第３の実施例での構成が相応に適用される。
【０１４０】
第１の実施例に対する第３の例として、第１の実施例の装置が音声処理に使用される（図１０を参照）。このような音声処理の基礎は引用文献［３］から公知である。
【０１４１】
この場合、装置ＫＲＫＮＮ１０００はアクセントを付与すべき文章１０１０中のアクセントを定めるために使用される。
【０１４２】
このためにアクセントすべき文章１０１０は語１０１１に分解され、語がそれぞれクラス１０１２へ分類される（Part-of-speech-tagging）。クラス１０１２にはそれぞれコード１０１３が付される。各コード１０１３は休止情報（フレーズ中断情報）１０１４について拡張される。この休止情報は、アクセントすべき文章１０１０の発音の際にそれぞれの語の後に休止が生じるか否かを指示する。
【０１４３】
アクセントすべき文章のこのようなコード化は引用文献［３］および［４］から公知である。
【０１４４】
文章の拡張コード１０１５から時系列１０１６がマッピングされる。すなわち、状態の時間的順序がアクセントすべき文章１０１０中の語順の時系列に相応するようにマッピングが行われる。この時系列１０１６が装置１０００に印加される。
【０１４５】
この装置は次に各語１０１１に対してアクセント情報１０２０を検出する。これらのアクセント情報は、それぞれの語がアクセントして発音されるか否かを指示する（ＨＡ：メインアクセントまたは強アクセント、ＮＡ：サブアクセントまたは弱アクセント、ＫＡ：アクセントなし）。
【０１４６】
このための構成は第１の実施例において適用されるものに相応する。
【０１４７】
また第２の実施例に則して説明した装置は、マクロ経済学的ダイナミクス、例えば為替相場のダイナミクス、または他の経済学的係数の予測、例えば取引相場の予測にも使用できる。この種の予測の場合、関連するマクロ経済学的係数ないしミクロ経済学的係数の時系列からの入力量、例えば金利、為替相場またはインフレ率などがマッピングされる。
【０１４８】
第２の実施例に対する別の例では、第２の実施例による装置が音声処理に使用される（図１１を参照）。このような音声処理の基礎は引用文献［５］［６］［７］［８］から公知である。
【０１４９】
音節に基づく音声処理において、装置ＫＲＫＦＫＮＮ１１００が文章中の語の音節の周波数特性をモデリングするために使用される。このようなモデリングも引用文献［５］［６］［７］［８］から公知である。
【０１５０】
このためにモデリングすべき文章１１１０を音節１１１１に分解する。各音節に対して、これを音声学的および構造的に記述する状態ベクトル１１１２を検出する。
【０１５１】
このような状態ベクトル１１１２はタイミング情報１１１３，音声学情報１１１４，シンタクス情報１１１５およびアクセント情報１１１６を含む。
【０１５２】
このような状態ベクトル１１１２は引用文献［４］に記載されている。
【０１５３】
モデリングすべき文章１１１０の音節１１１１の状態ベクトル１１１２から時系列１１１７が形成される。すなわち状態の時間的順序がモデリングすべき文章１１１０中の音節１１１１の順序の時系列１１１７に相応するよう形成される。この時系列１１１７は装置１１００に印加される。
【０１５４】
装置１１００は次に各音節１１１１に対して、パラメータ１１２０を有するパラメータベクトル１１２２を検出する。このパラメータはｆｏｍａｘｐｏｓ，ｆｏｍａｘａｌｐｈａ，ｌｐ，ｒｐであり、これらはそれぞれの音節１１１１の周波数特性１１２１を記述する。
【０１５５】
このようなパラメータ１１２０およびパラメータによる周波数特性１１２１の記述は引用文献［５］［６］［７］［８］から公知である。
【０１５６】
このための構成は第２の実施例で適用されるものに相応する。
【０１５７】
別の構造の例
図７には、図１の第１の実施例の装置に対する構造の別の例が示されている。図１と同じ構成を有する素子には図７においても同じ参照符号を付してある。
【０１５８】
図１に示された装置と異なる点は、図７の装置では結合７０１〜７１１が解除ないし中断されていることである。この装置すなわち結合の解除されたＫＲＫＮＮはトレーニングフェーズでも適用フェーズでも使用することができる。この装置のトレーニングおよび適用は第１の実施例について説明したのと同様に実行される。
【０１５９】
図８には、図３の第２の実施例による装置に対する構造の別の例が示されている。
【０１６０】
図３と同じ構成を有する素子には図８でも同じ参照符号が付してある。図３に示した装置と異なる点は、図８の装置では結合８０１〜８１３が解除ないし中断されていることである。この装置すなわち結合の解除されたＫＲＫＦＫＮＮはトレーニングフェーズでも適用フェーズでも使用することができる。この装置のトレーニングおよび適用も第１の実施例について説明したのと同様に実行される。
【０１６１】
結合の解除されたＫＲＫＮＮをトレーニングフェーズのみに用い、第１の実施例の（結合が解除されていない）ＫＲＫＮＮを適用フェーズに用いることも可能である。
【０１６２】
結合の解除されたＫＲＫＮＮを適用フェーズのみに用い、第１の実施例の（結合が解除されていない）ＫＲＫＮＮをトレーニングフェーズに用いることも可能である。
【０１６３】
相応のことが結合の解除されたＫＲＫＦＫＮＮおよびＫＲＫＦＫＮＮに対しても当てはまる。
【０１６４】
第１の実施例の装置に対する別の構造の例が図９に示されている。
【０１６５】
図９の装置は、固定点回帰を有するＫＲＫＮＮである。
【０１６６】
図１と同じ構成を有する素子には図９でも同じ参照符号を付してある。図１に示した装置に対して異なる点は、図９の装置では付加的結合９０１，９０２，９０３，９０４が設けられていることである。
【０１６７】
付加的結合９０１，９０２，９０３，９０４はそれぞれ重み付けされた結合マトリクスＧＴを有する。
【０１６８】
この装置はトレーニングフェーズでも適用フェーズでも使用することができる。
【０１６９】
この装置のトレーニングおよび適用は第１の実施例について説明したのと同様に実施される。
【０１７０】
本明細書では以下の刊行物を引用している。
［１］S.Hayken, Neural Networks: A Comprehensive Foundation, McMillan College Publishing Company, Second Edition, ISBN0-13-273350-1, 1999 732頁〜789頁
［２］H.Rehkugler & H.G.Zimmermann, Neuronale Netze in der Oekonomie, Grundlagen und finanzwirtschaftliche Anwendungen, Verlag Franz Vahlen Muenchen, ISBN3-8006-1871-0, 1994 3頁〜90頁
［３］J.Hirschberg, Pitch accent in context: predicting intonational prominence from text, Artificial Intelligence63, Elsevier, 1993 305頁〜340頁
［４］K.Ross et al., Prediction of abstract prosodic labels for speech synthesis, Computer Speech and Language, 10, 1996 155頁〜185頁
［５］R.Haury et al., Optimisation of a Neural Network for Pitch Contour Generation, ICASSP, Seattle, 1998
［６］C.Traber, F0 generation with a database of natural F0 patterns and with a neural network, G.Bailly and C.Benoit eds., Talking Machines: Theories, Models and Applications, Elsevier, 1992
［７］E.Heuft et al., Parametric Description of F0-Contours in a Prosodic Database, Proc.ICPHS, Vol.2, 1995 378頁〜381頁
［８］C.Erdem, Topologieoptimierung eines Neuronalen Netzes zur Generierung von F0-Verlaeufen durch Integration unterschiedlicher Codierungen, Tagungsband ESSV, Cottbus, 2000
【図面の簡単な説明】
【０１７１】
【図１】第１の実施例の装置を示す図である。
【０１７２】
【図２】一般的なダイナミック系と“因果律‐逆行因果律”関係に基づくダイナミック系とを示す図である。
【０１７３】
【図３】第２の実施例の装置を示す図である。
【０１７４】
【図４】第１の実施例の装置を用いてパラメータを処理する化学的反応器を示す図である。
【０１７５】
【図５】有限の多数の状態が所定の時間にわたって延在している装置を示す図である。
【０１７６】
【図６】第２の実施例の装置でモデリングされる交通案内系を示す図である。
【０１７７】
【図７】第１の実施例の装置の代替手段を示す図である。
【０１７８】
【図８】第２の実施例の装置の代替手段を示す図である。
【０１７９】
【図９】第１の実施例の装置のさらに別の代替手段を示す図である。
【０１８０】
【図１０】第１の実施例の装置（ＫＲＫＮＮ）を用いた音声処理の様子を示す図である。
【０１８１】
【図１１】第２の実施例の装置（ＫＲＫＦＫＮＮ）を用いた音声処理の様子を示す図である。
Claims (22)
- 第１の状態空間でダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法において、
第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列を求め、
第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列を求め、
第２の状態空間の現在の第２の状態を第１の状態空間へ第１の変換で変換しかつ第２の状態空間の未来の第３の状態を第１の状態空間へ第２の変換で変換することにより、現在の第１の状態を求める
ことを特徴とするダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法。 - 第２の時系列のうち時間的に連続する２つの第２の状態を第３の変換により相互に結合する、請求項１記載の方法。
- 第２の時系列のうち時間的に連続する２つの第２の状態を第３の変換により、時間的に後方の第２の状態が時間的に前方の第２の状態から求められるように相互に結合する、請求項２記載の方法。
- 第３の時系列のうち時間的に連続する２つの第３の状態を第４の変換により相互に結合する、請求項１から３までのいずれか１項記載の方法。
- 第３の時系列のうち時間的に連続する２つの第３の状態を第４の変換により、時間的に前方の第３の状態が時間的に後方の第３の状態から求められるように相互に結合する、請求項４記載の方法。
- 現在の第２の状態を第３の変換で変換しかつ第１の状態空間の現在の状態を第５の変換で第２の状態空間へ変換することにより、第２の時系列のうち現在の第２の状態よりも時間的に後方の未来の第２の状態を求める、請求項３から５までのいずれか１項記載の方法。
- 未来の第３の状態を第４の変換で変換しかつ第１の状態空間の現在の状態を第６の変換で第２の状態空間へ変換することにより、第３の時系列のうち未来の第３の状態よりも時間的に前方の現在の第３の状態を求める、請求項５または６記載の方法。
- 求められた現在の第１の状態と設定された現在の第１の状態とのあいだの誤差を求める、請求項１から７までのいずれか１項記載の方法。
- 第２の時系列の各第２の状態および／または第３の時系列の各第３の状態にそれぞれ１つずつ系外の状態情報を付与する、請求項１から８までのいずれか１項記載の方法。
- 系の状態をベクトルを設定可能な次元によって記述する、請求項１から９までのいずれか１項記載の方法。
- ダイナミック変化系のダイナミクスを求めるために第１の状態の第１の時系列の記述を用いる、請求項１から１０までのいずれか１項記載の方法。
- 心電図のダイナミクスを求めるために、心電図信号を第１の状態の第１の時系列として用いる、請求項１１記載の方法。
- 経済学システムのダイナミクスを求めるために、経済学的パラメータによって記述される経済状況を第１の状態の第１の時系列として用いる、請求項１１記載の方法。
- 化学反応のダイナミクスを求めるために、化学的反応器の化学的パラメータを第１の状態の第１の時系列として用いる、請求項１１記載の方法。
- ダイナミック変化系の状態予測において、求められた現在の第１の状態を予測状態として用いる、請求項１から１４までのいずれか１項記載の方法。
- 系のそれぞれの状態を表す計算素子が相互に結合されており、該結合によって系の２つの状態のあいだの変換が表される、
第１の状態空間でダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める装置において、
第１の計算素子は、第２の状態空間で少なくとも１つの現在の第２の状態とこれよりも時間的に前方の過去の第２の状態とを有する系の第２の状態の第２の時系列を求めるように構成されており、
第２の計算素子は、第２の状態空間で少なくとも１つの未来の第３の状態とこれよりも時間的にさらに後方の第３の状態とを有する系の第３の状態の第３の時系列を求めるように構成されており、
第３の計算素子は、第２の状態空間の現在の第２の状態を第１の状態空間へ第１の変換で変換しかつ第２の状態空間の未来の第３の状態を第１の状態空間へ第２の変換で変換することにより、現在の第１の状態を求めるように構成されている
ことを特徴とするダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める装置。 - 第１の計算素子および／または第２の計算素子に結合された第４の計算素子が設けられており、該第４の計算素子には系外の状態情報を含む第４の時系列の第４の状態が供給されるように構成されている、請求項１６記載の装置。
- 計算素子の少なくとも一部は人工ニューロンで構成されており、および／または計算素子の少なくとも一部は計算素子間の結合によって可変に構成されている、請求項１６または１７記載の装置。
- ダイナミック変化系の状態を記述する物理的信号を検出する測定装置が設けられている、請求項１６から１８までのいずれか１項記載の装置。
- 音声処理の際、系外の状態情報とは発音すべき語および／または音節および／または音素の第１の音声情報であり、現在の第１の状態とは発音すべき語および／または音節および／または音素の第２の音声情報を含むものである、請求項１７または１８記載の装置。
- 第１の音声情報は発音すべき語および／または音節および／または音素および／またはこれらの休止情報のクラスを含み、および／または
第２の音声情報は発音すべき語および／または音節および／または音素のアクセント情報、および／または発音すべき語および／または音節および／または音素の音の長さ情報を含む、請求項２０記載の装置。 - 第１の音声情報は発音すべき語および／または音節および／または音素の音声学的情報および／または構造情報を含み、および／または
第２の音声情報は発音すべき語および／または音節および／または音素の周波数情報、および／または発音すべき語および／または音節および／または音素の音の持続時間の情報を含む、請求項２１記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10146222A DE10146222A1 (de) | 2001-09-19 | 2001-09-19 | Verfahren und Anordnung zur Ermittlung eines aktuellen ersten Zustands einer ersten zeitlichen Abfolge von jeweils ersten Zuständen eines dynamisch veränderlichen Systems |
| PCT/DE2002/003494 WO2003025851A2 (de) | 2001-09-19 | 2002-09-17 | Verfahren und anordnung zur ermittlung eines aktuellen ertsten zustands einer ersten zeitlichen abfolge von jeweils ersten zuständen eines dynamisch veränderlichen systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005502974A true JP2005502974A (ja) | 2005-01-27 |
Family
ID=7699581
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003529402A Withdrawn JP2005502974A (ja) | 2001-09-19 | 2002-09-17 | ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040267684A1 (ja) |
| EP (1) | EP1428177A2 (ja) |
| JP (1) | JP2005502974A (ja) |
| DE (1) | DE10146222A1 (ja) |
| WO (1) | WO2003025851A2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10356655B4 (de) * | 2003-12-04 | 2006-04-20 | Siemens Ag | Verfahren und Anordnung sowie Computerprogramm mit Programmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemzustandes eines dynamischen Systems |
| WO2005081076A2 (de) * | 2004-02-24 | 2005-09-01 | Siemens Aktiengesellschaft | Verfahren, zur prognose eines brennkammerzustandes unter verwendung eines rekurrenten, neuronalen netzes |
| DE102004059684B3 (de) * | 2004-12-10 | 2006-02-09 | Siemens Ag | Verfahren und Anordnung sowie Computerprogramm mit Programmmcode-Mitteln und Computerprogramm-Produkt zur Ermittlung eines zukünftigen Systemzustandes eines dynamischen Systems |
| DE102008014126B4 (de) * | 2008-03-13 | 2010-08-12 | Siemens Aktiengesellschaft | Verfahren zum rechnergestützten Lernen eines rekurrenten neuronalen Netzes |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US11599892B1 (en) | 2011-11-14 | 2023-03-07 | Economic Alchemy Inc. | Methods and systems to extract signals from large and imperfect datasets |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1021793A2 (de) * | 1998-08-07 | 2000-07-26 | Siemens Aktiengesellschaft | Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente |
| EP1145192B1 (de) * | 1999-03-03 | 2003-05-14 | Siemens Aktiengesellschaft | Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente |
| WO2000062250A2 (de) * | 1999-04-12 | 2000-10-19 | Siemens Aktiengesellschaft | Anordnung miteinander verbundener rechenelemente, verfahren zur rechnergestützten ermittlung einer dynamik, die einem dynamischen prozess zugrunde liegt und verfahren zum rechnergestützten trainieren einer anordnung miteinander verbundener rechenelemente |
| WO2001057648A2 (de) * | 2000-01-31 | 2001-08-09 | Siemens Aktiengesellschaft | Anordnung miteinander verbundener rechenelemente und verfahren zur rechnergestützten ermittlung eines zweiten zustands eines systems in einem ersten zustandsraum aus einem ersten zustand des systems in dem ersten zustandsraum |
-
2001
- 2001-09-19 DE DE10146222A patent/DE10146222A1/de not_active Withdrawn
-
2002
- 2002-09-17 WO PCT/DE2002/003494 patent/WO2003025851A2/de not_active Application Discontinuation
- 2002-09-17 JP JP2003529402A patent/JP2005502974A/ja not_active Withdrawn
- 2002-09-17 US US10/490,042 patent/US20040267684A1/en not_active Abandoned
- 2002-09-17 EP EP02776681A patent/EP1428177A2/de not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP1428177A2 (de) | 2004-06-16 |
| WO2003025851A2 (de) | 2003-03-27 |
| DE10146222A1 (de) | 2003-04-10 |
| WO2003025851A3 (de) | 2004-02-19 |
| US20040267684A1 (en) | 2004-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ye et al. | Short-term traffic speed forecasting based on data recorded at irregular intervals | |
| Abdulhai et al. | Short-term traffic flow prediction using neuro-genetic algorithms | |
| CN113874934A (zh) | 有表达力的端到端语音合成中的变分嵌入容量 | |
| US20050115381A1 (en) | Creating realtime data-driven music using context sensitive grammars and fractal algorithms | |
| WO2019040132A1 (en) | CREATING MUSIC USING DEEP NEURAL NETWORKS | |
| Wang et al. | An RNN-based quantized F0 model with multi-tier feedback links for text-to-speech synthesis | |
| Meyer et al. | A quasiarticulatory speech synthesizer for German language running in real time | |
| JP6649210B2 (ja) | 音声合成学習装置、方法、及びプログラム | |
| Chen et al. | Follownet: a comprehensive benchmark for car-following behavior modeling | |
| Wu et al. | Quasi-periodic WaveNet: An autoregressive raw waveform generative model with pitch-dependent dilated convolution neural network | |
| JP2005502974A (ja) | ダイナミック変化系の第１の状態の第１の時系列から現在の第１の状態を求める方法および装置 | |
| JP2002539567A (ja) | 相互に接続されている計算エレメントの装置、ダイナミックプロセスの基礎になっているダイナミック特性を計算機支援されて求めるための方法並びに相互に接続されている計算エレメントの装置を計算機支援されて学習するための方法 | |
| Teutenberg et al. | Modelling and synthesising F0 contours with the discrete cosine transform | |
| JP3212241B2 (ja) | 交通流予測装置 | |
| JP2002522832A (ja) | 相互に結合された演算子の装置、ダイナミックプロセスに基づくダイナミクスをコンピュータのサポートにより検出するための方法、並びに、相互に結合された演算子の装置をコンピュータのサポートにより検出するための方法 | |
| Chen et al. | Limited text speech synthesis with electroglottograph based on Bi-LSTM and modified Tacotron-2 | |
| US6178402B1 (en) | Method, apparatus and system for generating acoustic parameters in a text-to-speech system using a neural network | |
| JP2004523813A (ja) | 時間的に変化する複数の状態記述を計算器支援してマッピングするための方法および装置、並びにそのような装置のトレーニング方法 | |
| Koch et al. | Physics-informed machine learning of parameterized fundamental diagrams | |
| Kim et al. | Polyhymnia: An Automatic Piano Performance System with Statistical Modeling of Polyphonic Expression and Musical Symbol Interpretation. | |
| EP4020464A1 (en) | Acoustic model learning device, voice synthesis device, method, and program | |
| Anders et al. | Interfacing manual and machine composition | |
| CN112750422B (zh) | 一种歌声合成方法、装置及设备 | |
| Tiwari et al. | Music Generation with Long Short-Term Memory Networks from MIDI Data of Classical Music | |
| WO2024086012A1 (en) | End-to-end general audio synthesis with generative networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |