JP2002520719A - ニューラルネット及びニューラルネットのトレーニング方法及び装置 - Google Patents
ニューラルネット及びニューラルネットのトレーニング方法及び装置Info
- Publication number
- JP2002520719A JP2002520719A JP2000559532A JP2000559532A JP2002520719A JP 2002520719 A JP2002520719 A JP 2002520719A JP 2000559532 A JP2000559532 A JP 2000559532A JP 2000559532 A JP2000559532 A JP 2000559532A JP 2002520719 A JP2002520719 A JP 2002520719A
- Authority
- JP
- Japan
- Prior art keywords
- training
- neural network
- training data
- data set
- net
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
(57)【要約】
第１のトレーニングフェーズ中、第１のニューラルネット（１０２）が、第１のトレーニングデータセットでトレーニングされる。第１のニューラルネットと前記第２のニューラルネット（１０３）とは、第２のトレーニングフェーズ中、第２のトレーニングデータセットでトレーニングされ、その際、第１のニューラルネットのネットパラメータは、第２のトレーニングフェーズ中、変えられない。
Description
【０００１】 本発明は、ニューラルネットのトレーニングに関する。
【０００２】 そのようなトレーニング方法は、［１］から公知である。
【０００３】 公知のトレーニング方法では、技術的なシステムを記述する値が測定される。
【０００４】 技術的なシステムとは、この関連では、技術的装置、例えば、化学的なリアク
タ又は下水設備、モデル化すべきプロセス、一般的には、測定された物理的な値
又は検出された、即ち、例えば、画像処理の際に記録された値を用いてモデリン
グ可能な各技術システムのことである。
タ又は下水設備、モデル化すべきプロセス、一般的には、測定された物理的な値
又は検出された、即ち、例えば、画像処理の際に記録された値を用いてモデリン
グ可能な各技術システムのことである。
【０００５】 トレーニング方法用の基礎として、技術的なシステムを記述する値が測定され
る。物理的な測定値は、デジタル化されて、予備処理され、その結果、コンピュ
ータを用いて処理可能である。
る。物理的な測定値は、デジタル化されて、予備処理され、その結果、コンピュ
ータを用いて処理可能である。
【０００６】 測定されたトレーニングデータを用いて、ニューラルネットがトレーニングさ
れる。
れる。
【０００７】 トレーニングデータは、少なくとも１つの入力量と、少なくとも１つの、入力
量に対応した出力量、目的値を有している。
量に対応した出力量、目的値を有している。
【０００８】 トレーニング方法として、勾配上昇方法、例えば、逆伝搬法を使用することが
できる。同様に、グローバルな最適化方法、例えば、ＢＦＧＳ方法又は遺伝的ア
ルゴリズムを使用することができる。
できる。同様に、グローバルな最適化方法、例えば、ＢＦＧＳ方法又は遺伝的ア
ルゴリズムを使用することができる。
【０００９】 更に、［２］からは、ネット最適化方法を使用して、ニューラルネットの構造
を、トレーニングの領域内で最適化することが公知であり、その際、トレーニン
グデータセットに関する幾つかのネットパラメータ（重み、及び、ニューラルネ
ットのニューロン間の結合）が最適化される。
を、トレーニングの領域内で最適化することが公知であり、その際、トレーニン
グデータセットに関する幾つかのネットパラメータ（重み、及び、ニューラルネ
ットのニューロン間の結合）が最適化される。
【００１０】 トレーニングデータセットとは、任意の個数のトレーニングデータの集合のこ
とである。
とである。
【００１１】 通常のネット最適化方法は、重みの枝刈り（Pruning）である。
【００１２】 ［３］からは、人工トレーニングデータのコンピュータ支援生成が公知である
。
。
【００１３】 ニューラルネットを使用して、技術的なシステム用のモデルを形成する際、種
々異なるパラメータを記述する多数の測定値で、更に、大きな意義を有していな
いパラメータとは異なり、技術的なシステムの記述のために重要なパラメータは
検出されないという問題点が生じることが屡々ある。
々異なるパラメータを記述する多数の測定値で、更に、大きな意義を有していな
いパラメータとは異なり、技術的なシステムの記述のために重要なパラメータは
検出されないという問題点が生じることが屡々ある。
【００１４】 この問題設定で通常なのは、第１の測定期間中、技術的なシステムの値が測定
され、この値が第１のトレーニングデータセットとしてニューラルネットのトレ
ーニングのために使用される。この第１のトレーニング期間が終了後、第１のト
レーニング期間により、ニューラルネット内の技術的なシステムのモデル記述の
範囲内で比較的僅かな意義の入力量は、最早利用されない。
され、この値が第１のトレーニングデータセットとしてニューラルネットのトレ
ーニングのために使用される。この第１のトレーニング期間が終了後、第１のト
レーニング期間により、ニューラルネット内の技術的なシステムのモデル記述の
範囲内で比較的僅かな意義の入力量は、最早利用されない。
【００１５】 第２の測定期間内では、入力量が、技術的なシステムの測定値として測定され
るにすぎず、第１のトレーニング期間内に検出されるような、技術的なシステム
のモデリングに関しての入力量の意義は、比較的高い。
るにすぎず、第１のトレーニング期間内に検出されるような、技術的なシステム
のモデリングに関しての入力量の意義は、比較的高い。
【００１６】 ニューラルネットは、第２の測定期間内で検出された値（第２のトレーニング
データセットを構成する）を用いて、第２のトレーニング期間中トレーニングさ
れる。
データセットを構成する）を用いて、第２のトレーニング期間中トレーニングさ
れる。
【００１７】 第２のトレーニング期間内では、第２の測定期間内には最早測定されない第１
のトレーニング期間の値は、第２のトレーニング期間では最早考慮されない。
のトレーニング期間の値は、第２のトレーニング期間では最早考慮されない。
【００１８】 ［４］には、並列接続された多数のニューラル部分ネットを有するニューラル
ネットについて記載されており、このニューラル部分ネットは、共通のトレーニ
ングデータセットでトレーニングされ、その際、個別部分ネットが順次連続して
トレーニングされる。
ネットについて記載されており、このニューラル部分ネットは、共通のトレーニ
ングデータセットでトレーニングされ、その際、個別部分ネットが順次連続して
トレーニングされる。
【００１９】 ［５］からは、第１のニューラルネットの出力値が第２のニューラルネットの
入力値であるように相互に接続された２つのニューラルネットが公知である。両
ニューラルネットに対して、同一の入力データが使用される。
入力値であるように相互に接続された２つのニューラルネットが公知である。両
ニューラルネットに対して、同一の入力データが使用される。
【００２０】 ［６］には、ニューラルネットが実際のプロセスの写像を形成するようにニュ
ーラルネットがトレーニングされるニューラルネット用の学習方法が記述されて
いる。更に、代表的なプロセスデータを用いて作動中に、比較的長い時間に亘っ
てプロセスの写像を形成するようにトレーニングされるバックグラウンドネット
（Hindergrundnetz）が設けられている。
ーラルネットがトレーニングされるニューラルネット用の学習方法が記述されて
いる。更に、代表的なプロセスデータを用いて作動中に、比較的長い時間に亘っ
てプロセスの写像を形成するようにトレーニングされるバックグラウンドネット
（Hindergrundnetz）が設けられている。
【００２１】 従って、本発明が基づく課題は、第２のトレーニング期間中、最早必要ない、
第１のトレーニング期間からのトレーニングデータを、トレーニングの領域内で
考慮することができる、ニューラルネット、並びに、ニューラルネットのトレー
ニング用の方法及び装置を提供することである。
第１のトレーニング期間からのトレーニングデータを、トレーニングの領域内で
考慮することができる、ニューラルネット、並びに、ニューラルネットのトレー
ニング用の方法及び装置を提供することである。
【００２２】 本発明によると、この課題は、請求項１記載の方法、請求項１１記載のニュー
ラルネット並びに請求項１５記載の装置により解決される。
ラルネット並びに請求項１５記載の装置により解決される。
【００２３】 ニューラルネットのコンピュータ支援トレーニング用の方法において、ニュー
ラルネットは、第１のニューラルネットと第２のニューラルネットとを有してお
り、第１のニューラルネットは、第１のトレーニング期間中第１のトレーニング
データセットでトレーニングされる。第１のニューラルネットと第２のニューラ
ルネットとは、第２のトレーニング期間中、第２のトレーニングデータセットで
トレーニングされ、第２のトレーニング期間中、第１のニューラルネットのネッ
トパラメータは変えられない。
ラルネットは、第１のニューラルネットと第２のニューラルネットとを有してお
り、第１のニューラルネットは、第１のトレーニング期間中第１のトレーニング
データセットでトレーニングされる。第１のニューラルネットと第２のニューラ
ルネットとは、第２のトレーニング期間中、第２のトレーニングデータセットで
トレーニングされ、第２のトレーニング期間中、第１のニューラルネットのネッ
トパラメータは変えられない。
【００２４】 第１のニューラルネットと第２のニューラルネットを有するニューラルネット
のトレーニング装置は、プロセッサを有しており、該プロセッサは、以下のステ
ップを実行可能であるように装置構成されており： −第１のニューラルネットを、第１のトレーニングフェーズ中、第１のトレーニ
ングデータセットでトレーニングし、 −第１のニューラルネット及び第２のニューラルネットを、第２のトレーニング
フェーズ中、第２のトレーニングデータセットでトレーニングし、 −第１のニューラルネットのネットパラメータを、第２のトレーニングフェーズ
中変化させない。
のトレーニング装置は、プロセッサを有しており、該プロセッサは、以下のステ
ップを実行可能であるように装置構成されており： −第１のニューラルネットを、第１のトレーニングフェーズ中、第１のトレーニ
ングデータセットでトレーニングし、 −第１のニューラルネット及び第２のニューラルネットを、第２のトレーニング
フェーズ中、第２のトレーニングデータセットでトレーニングし、 −第１のニューラルネットのネットパラメータを、第２のトレーニングフェーズ
中変化させない。
【００２５】 ニューラルネットは、第１のニューラルネットと第２のニューラルネットとを
有しており、 −第１のニューラルネットは、第１のトレーニングフェーズ中、第１のトレーニ
ングデータでトレーニング可能であり、 −第２のニューラルネットは、第２のトレーニングフェーズ中第２のトレーニン
グデータセットでトレーニング可能であり、 −第１のニューラルネットのネットパラメータは、第２のトレーニングフェーズ
中変えることができないようにされている。
有しており、 −第１のニューラルネットは、第１のトレーニングフェーズ中、第１のトレーニ
ングデータでトレーニング可能であり、 −第２のニューラルネットは、第２のトレーニングフェーズ中第２のトレーニン
グデータセットでトレーニング可能であり、 −第１のニューラルネットのネットパラメータは、第２のトレーニングフェーズ
中変えることができないようにされている。
【００２６】 本発明によると、トレーニングされるニューラルネットの一般化効率が著しく
上昇される。それと同時に、ニューラルネットによって形成される、技術的なシ
ステム用のモデルの安定性が、モデリングすべき量を含まない不完全なトレーニ
ングデータも、モデリングのために利用することができるようにして向上させる
ことができる。
上昇される。それと同時に、ニューラルネットによって形成される、技術的なシ
ステム用のモデルの安定性が、モデリングすべき量を含まない不完全なトレーニ
ングデータも、モデリングのために利用することができるようにして向上させる
ことができる。
【００２７】 概観すると、本発明は、入力量を部分的に第２のトレーニング期間中に測定さ
れない、及び／又は、使用されないトレーニングデータを、技術的なシステムの
モデリングのために、即ち、技術的なシステム用のモデルとして使用されるニュ
ーラルネットのトレーニング用に使用する点にある。
れない、及び／又は、使用されないトレーニングデータを、技術的なシステムの
モデリングのために、即ち、技術的なシステム用のモデルとして使用されるニュ
ーラルネットのトレーニング用に使用する点にある。
【００２８】 本発明の有利な実施例は、従属請求項から得られる。
【００２９】 本発明の実施例では、第１のニューラルネットの少なくとも１つの出力量を、
第２のニューラルネットの入力量として使用すると有利である。この実施例によ
ると、モデリングすべき技術システムに関して、トレーニングされたニューラル
ネットの質が更に改善される。
第２のニューラルネットの入力量として使用すると有利である。この実施例によ
ると、モデリングすべき技術システムに関して、トレーニングされたニューラル
ネットの質が更に改善される。
【００３０】 技術的なシステムに関して、ニューラルネットを更に改善するために、別の実
施例では、第１のニューラルネットでの第１のトレーニングフェーズ中、ネット
最適化方法を使用し、殊に、第１トレーニングフェーズ中、通常のように、比較
的僅かなトレーニングデータを使用し、従って、第１のニューラルネットのネッ
トパラメータの数をできる限り僅かであるようにすると有利である。
施例では、第１のニューラルネットでの第１のトレーニングフェーズ中、ネット
最適化方法を使用し、殊に、第１トレーニングフェーズ中、通常のように、比較
的僅かなトレーニングデータを使用し、従って、第１のニューラルネットのネッ
トパラメータの数をできる限り僅かであるようにすると有利である。
【００３１】 本発明は、各ニューラルネットで、技術システムのモデリングのために使用す
ることができ、殊に、測定値が実際上技術システムに著しい影響を有しているト
レーニングの開始時には未だ分かっていないシステムで使用される。
ることができ、殊に、測定値が実際上技術システムに著しい影響を有しているト
レーニングの開始時には未だ分かっていないシステムで使用される。
【００３２】 以下、本発明について図示の実施例を用いて詳細に説明する。
【００３３】 その際、 図１は、本発明の実施例を示すニューラルネットの略図、 図２ａから２ｃは、測定装置（図２ａ）、第１の測定期間のトレーニングデータ
を用いてトレーニングされる（図２ｂ）ニューラルネット及び第１のトレーニン
グ期間後のトレーニングされた第１のニューラルネット（図２ｃ）を有する下水
設備の略図、 図３は、第２の測定期間内で、第２のトレーニングデータセットが検出される測
定装置を有する下水設備の図を示す。
を用いてトレーニングされる（図２ｂ）ニューラルネット及び第１のトレーニン
グ期間後のトレーニングされた第１のニューラルネット（図２ｃ）を有する下水
設備の略図、 図３は、第２の測定期間内で、第２のトレーニングデータセットが検出される測
定装置を有する下水設備の図を示す。
【００３４】 図２ａは、下水設備２０１を示す。所定のシステムパラメータ２０２で、第１
のトレーニング期間中で下水設備２０１の値２０３が、少なくとも１つの測定装
置２０４によって測定される。
のトレーニング期間中で下水設備２０１の値２０３が、少なくとも１つの測定装
置２０４によって測定される。
【００３５】 第１のトレーニング期間中、以下のシステムパラメータ２０２が設定される： −測定の時計時間、 −測定の週日、 −下水設備の流れの伝導度（Leitfaehigkeit） −流量、 −温度、 −全窒素含有量 −下水設備の流れのｐＨ値 測定装置２０４により、下水設備２０１の種々異なる位置で、以下の値が測定
される： −アンモニアC（NH＋ ４）の濃度、 −全窒素含有量、 −全イオウ含有量、 −燐酸 C（PO２- ３）の濃度、 −化学的総物質要求量（Summenstoffbedarf）（CSB）、 −分解された有機炭素（DOC）、 −種々の個所での下水設備２０１内の液体のpH値-log C（H３O＋）、 −フィルタ除去可能物質の濃度、 −堆積性（absetzbar）物質の濃度 第１の測定期間は、更に説明する第２の測定期間に対して著しく大きな数の異
なった値２０３が測定されるが、しかし、比較的短い時間に亘ってでしかないこ
とが屡々である。
される： −アンモニアC（NH＋ ４）の濃度、 −全窒素含有量、 −全イオウ含有量、 −燐酸 C（PO２- ３）の濃度、 −化学的総物質要求量（Summenstoffbedarf）（CSB）、 −分解された有機炭素（DOC）、 −種々の個所での下水設備２０１内の液体のpH値-log C（H３O＋）、 −フィルタ除去可能物質の濃度、 −堆積性（absetzbar）物質の濃度 第１の測定期間は、更に説明する第２の測定期間に対して著しく大きな数の異
なった値２０３が測定されるが、しかし、比較的短い時間に亘ってでしかないこ
とが屡々である。
【００３６】 システムパラメータ及び各々のシステムパラメータ２０２に対して測定された
値２０３は、各々組として記憶され、第１の測定期間内で検出された組は全て、
第１のトレーニングデータセット２０５を形成する。
値２０３は、各々組として記憶され、第１の測定期間内で検出された組は全て、
第１のトレーニングデータセット２０５を形成する。
【００３７】 第１のトレーニングデータセットを用いて、第１のニューラルネット２１０（
図２ｂ参照）がトレーニングされる。第１のニューラルネット２１０は、入力ニ
ューロン２１４を有する入力層２１１、隠れニューロン２１５を有する隠れ層２
１２、出力ニューロン２１６を有する出力層を有している。
図２ｂ参照）がトレーニングされる。第１のニューラルネット２１０は、入力ニ
ューロン２１４を有する入力層２１１、隠れニューロン２１５を有する隠れ層２
１２、出力ニューロン２１６を有する出力層を有している。
【００３８】 第１のトレーニング期間中、第１のニューラルネット２１０は、第１のトレー
ニングデータセット２０５を用いてトレーニングされる。このトレーニングのフ
レーム内で、ネットパラメータ（各ニューロン間の結合の重み並びに各ニューロ
ン間の結合）は、公知のトレーニング方法、バックプロパゲーション方法により
トレーニングされる。
ニングデータセット２０５を用いてトレーニングされる。このトレーニングのフ
レーム内で、ネットパラメータ（各ニューロン間の結合の重み並びに各ニューロ
ン間の結合）は、公知のトレーニング方法、バックプロパゲーション方法により
トレーニングされる。
【００３９】 その際、システムパラメータ２０２は、入力層２１１に供給され、第１ニュー
ラルネット２１０の出力量が検出される。
ラルネット２１０の出力量が検出される。
【００４０】 出力側では、システムパラメータ２０２に対応付けされた各々の値２０３が、
トレーニング誤差が求められるように比較される。
トレーニング誤差が求められるように比較される。
【００４１】 トレーニング誤差を用いて、第１のニューラルネット２１０がトレーニングさ
れる。［２］から公知のネット最適化方法を用いることにより、図２ｃに示され
たトレーニングされた第１のニューラルネット２２０が得られる。トレーニング
された第１のニューラルネット２２０は、更に、入力ニューロン２２４を有する
入力層２２１、隠れニューロン２２５を有する隠れ層２２２並びに出力ニューロ
ン２２６を有する出力層２２３を有している。
れる。［２］から公知のネット最適化方法を用いることにより、図２ｃに示され
たトレーニングされた第１のニューラルネット２２０が得られる。トレーニング
された第１のニューラルネット２２０は、更に、入力ニューロン２２４を有する
入力層２２１、隠れニューロン２２５を有する隠れ層２２２並びに出力ニューロ
ン２２６を有する出力層２２３を有している。
【００４２】 しかし、トレーニングされた第１のニューラルネット２２０のネットパラメー
タは、トレーニングされていない第１のニューラルネット２１０のネットパラメ
ータに対して異なっている。
タは、トレーニングされていない第１のニューラルネット２１０のネットパラメ
ータに対して異なっている。
【００４３】 僅かしか隠されていないニューロン２２５も、入力層２２１のニューロンと隠
れ層２２２との間の結合、並びに、出力層２２３のニューロンと隠れ層２２２の
ニューロンとの間の結合を有している。
れ層２２２との間の結合、並びに、出力層２２３のニューロンと隠れ層２２２の
ニューロンとの間の結合を有している。
【００４４】 第１のトレーニング期間は、オフライン、即ち、第１のトレーニング期間中、
下水設備２０１内で、第１のトレーニングデータセット用の９つではないトレー
ニングデータが検出される。
下水設備２０１内で、第１のトレーニングデータセット用の９つではないトレー
ニングデータが検出される。
【００４５】 下水設備２０１は、図３では、３０１で示されている。
【００４６】 第２のトレーニング期間中、第１のトレーニング期間の値２０３の一部分しか
、少なくとも１つの測定装置３０４によって、種々異なるシステムパラメータ３
０２を用いて測定されない。
、少なくとも１つの測定装置３０４によって、種々異なるシステムパラメータ３
０２を用いて測定されない。
【００４７】 第２のトレーニング期間は、僅かな個数の値２０３が測定される、この場合に
は、化学的総物質要求量（Summenstoffbedarf）ＣＳＢ並びにアンモニアC（NH＋ ４ ）ように特徴付けられる。
は、化学的総物質要求量（Summenstoffbedarf）ＣＳＢ並びにアンモニアC（NH＋ ４ ）ように特徴付けられる。
【００４８】 そのために、第２の測定期間が、第１の測定期間に較べて長い時間に亘って実
行される。第２のトレーニング期間は、オンラインで行われる、即ち、第２のト
レーニング期間中、値３０３が第２の測定期間中下水設備３０１で測定されて、
トレーニングデータとして第２のトレーニングデータセット３０５に供給される
。
行される。第２のトレーニング期間は、オンラインで行われる、即ち、第２のト
レーニング期間中、値３０３が第２の測定期間中下水設備３０１で測定されて、
トレーニングデータとして第２のトレーニングデータセット３０５に供給される
。
【００４９】 図１には、第１のトレーニング期間中トレーニングされた第１のニューラルネ
ット１０２、並びに、第２のニューラルネット１０３を含むニューラルネット１
０１が示されている。
ット１０２、並びに、第２のニューラルネット１０３を含むニューラルネット１
０１が示されている。
【００５０】 第１のニューラルネット１０２の出力側は、第２のニューラルネット１０３の
入力側に接続されている。第２のニューラルネット１０３の別の入力側は、シス
テムパラメータを入力するために設けられており、このシステムパラメータは、
第２の測定期間中、値３０３の測定のために、第２の測定期間内で使用される。
入力側に接続されている。第２のニューラルネット１０３の別の入力側は、シス
テムパラメータを入力するために設けられており、このシステムパラメータは、
第２の測定期間中、値３０３の測定のために、第２の測定期間内で使用される。
【００５１】 第２の測定期間のシステムパラメータ３０２は、入力量として、トレーニング
された第１のニューラルネット１０２にも第２のニューラルネット１０３にも供
給される。
された第１のニューラルネット１０２にも第２のニューラルネット１０３にも供
給される。
【００５２】 トレーニングされた第１のニューラルネット１０２では、供給された入力量に
対して出力量が形成され、この出力量は、第２のニューラルネット１０３の別の
入力側に供給される。
対して出力量が形成され、この出力量は、第２のニューラルネット１０３の別の
入力側に供給される。
【００５３】 第２のニューラルネット１０３の隠れ層１０４では、この入力量が更に処理さ
れ、第２のニューラルネット１０５の出力層１０５に供給される。ニューラルネ
ットの出力層１０５は、同様にニューラルネット１０１の出力層も形成する。出
力層１０５では、少なくとも１つの出力量が形成される。出力量は、第２の測定
期間の測定された値３０３と比較され、その際、その都度測定された値３０３と
出力量との偏差が求められ、それから求められた誤差を用いてニューラルネット
１０１がトレーニングされ、その際、第１のニューラルネット１０２の後続のネ
ットパラメータは変えられない。
れ、第２のニューラルネット１０５の出力層１０５に供給される。ニューラルネ
ットの出力層１０５は、同様にニューラルネット１０１の出力層も形成する。出
力層１０５では、少なくとも１つの出力量が形成される。出力量は、第２の測定
期間の測定された値３０３と比較され、その際、その都度測定された値３０３と
出力量との偏差が求められ、それから求められた誤差を用いてニューラルネット
１０１がトレーニングされ、その際、第１のニューラルネット１０２の後続のネ
ットパラメータは変えられない。
【００５４】 入力層２２１と隠れ層２２２との間並びに前記隠れ層２２２と出力層２２３と
の接続及び該接続の重みは変化されない。
の接続及び該接続の重みは変化されない。
【００５５】 しかし、ニューラルネット１０１のトレーニングの期間内では、トレーニング
された第１のニューラルネット１０２の出力層２２３のニューロン２２６と第２
のニューラルネット１１０３の隠れ層１０４のニューロンとの間の重みは変える
ことができ、第２のトレーニングデータセット３０５に依存して、場合によって
は、離隔することができる。
された第１のニューラルネット１０２の出力層２２３のニューロン２２６と第２
のニューラルネット１１０３の隠れ層１０４のニューロンとの間の重みは変える
ことができ、第２のトレーニングデータセット３０５に依存して、場合によって
は、離隔することができる。
【００５６】 つまり、具体的には、ニューラルネット１０１は、第２のトレーニングデータ
セット３０５を用いて学習方法によりトレーニングされ、その際、第１のニュー
ラルネット１０２のネットパラメータは、変えられない。
セット３０５を用いて学習方法によりトレーニングされ、その際、第１のニュー
ラルネット１０２のネットパラメータは、変えられない。
【００５７】 以下、一般的に、本発明についてもう一度説明する。
【００５８】 オンラインで測定された量ｘ０，ｘ１，ｘ２，・・・と、オフラインで解析に
よって検出された量ｚ０，ｚ１，ｚ２・・・とが関連付けられる。
よって検出された量ｚ０，ｚ１，ｚ２・・・とが関連付けられる。
【００５９】 通常のように形成されている、オンラインで測定された量とオフラインで測定
された量との相互の分かっていない関連のために、ニューラルネットの入力量と
して、オンラインで測定された量もオフラインで測定された量も利用される場合
、出力量ｙ＝ｚ０を一層良好にモデリングすることができ、つまり、この出力量
は、以下の規定に応じて形成される： ｙ＝ｚ０＝ｆ（ｘ０，ｘ１，ｘ２，・・・，ｚ１，ｚ２・・・）， （
１） その際、ｆ（．）で、非線形写像が示される。
された量との相互の分かっていない関連のために、ニューラルネットの入力量と
して、オンラインで測定された量もオフラインで測定された量も利用される場合
、出力量ｙ＝ｚ０を一層良好にモデリングすることができ、つまり、この出力量
は、以下の規定に応じて形成される： ｙ＝ｚ０＝ｆ（ｘ０，ｘ１，ｘ２，・・・，ｚ１，ｚ２・・・）， （
１） その際、ｆ（．）で、非線形写像が示される。
【００６０】 第１のステップでは、第１のニューラルネットＮＮ１が、オフラインで測定さ
れた全ての量ｚ０，ｚ１，ｚ２・・・に対して、以下の規定により検出される：
れた全ての量ｚ０，ｚ１，ｚ２・・・に対して、以下の規定により検出される：
【００６１】
【数１】
【００６２】 その際、ＮＮ１（．）で、第１のニューラルネットによって形成される非線形写
像が示される。
像が示される。
【００６３】 ニューラルネット全体に対して、以下の写像規則が得られる： ｙ＝ＮＮ２（ｘ０，ｘ１，ｘ２，・・・，ＮＮ１（ｘ０，ｘ１，ｘ２，・・・，
））， （３） その際、ＮＮ２（．）で、ニューラルネットによって構成される非線形写像が示
される。
））， （３） その際、ＮＮ２（．）で、ニューラルネットによって構成される非線形写像が示
される。
【００６４】 このようにして、測定値２０３が第１のトレーニング期間中使用されるが、第
２の測定期間中は測定されなず、使用されないトレーニングデータを、それにも
拘わらず技術的システム全体のモデリングのために初めて利用することができる
。
２の測定期間中は測定されなず、使用されないトレーニングデータを、それにも
拘わらず技術的システム全体のモデリングのために初めて利用することができる
。
【００６５】 このように、付加的に情報を得ることにより、ニューラルネットによる技術的
システムのモデリングを改善することができるようになる。
システムのモデリングを改善することができるようになる。
【００６６】 本発明によると、第１のトレーニングデータセット２０５のトレーニングデー
タの有効利用が、ニューラルネット２１０の目的量としても入力量としても可能
となり、その際、それにより、ニューラルネット１０１を使用するのに何ら制限
されない。
タの有効利用が、ニューラルネット２１０の目的量としても入力量としても可能
となり、その際、それにより、ニューラルネット１０１を使用するのに何ら制限
されない。
【００６７】 更に、上述の実施例の択一選択性及び一般化の手段が示されている： 本発明は、ニューラルネットの特殊な構造に制限されない。
【００６８】 ニューラルネット内のニューロンの数も層の数も任意に設定可能である。
【００６９】 本発明は、極めて種々広範な領域内で使用することができ、例えば： ・プロセスモデリング、 ・品質モデリング、例えば、種々異なったトレーニングフェーズ間で意味を変え
る製品特性のモデリングの生成、 ・例えば、金融市場で、例えば、ユーロの導入時に生起する比較的強い変化を考
慮するための金融データモデリング。
る製品特性のモデリングの生成、 ・例えば、金融市場で、例えば、ユーロの導入時に生起する比較的強い変化を考
慮するための金融データモデリング。
【００７０】 トレーニングされた第１のニューラルネット２２０に対しては、トレーニング
される必要はない、即ち、オーバーフィッティングされる必要はないという点に
注意すべきである。
される必要はない、即ち、オーバーフィッティングされる必要はないという点に
注意すべきである。
【００７１】 この場合、安定してトレーニングされた第１のニューラルネット２２０を達成
するために、トレーニングされた第１のニューラルネット２２０の近似品質が少
し小さくなってしまうのが改善される。 この明細書の範囲内では、以下の刊行物が引用されている： [1] A.Zell, Simulation Neuronaler Netze, Addison Wesley Publishing, 1.
Auflage, ISBN 3-89319-554-8, S.97-114 及び555-574, 1994 [2] DE 19611732 C1 [3] WO 98/10352 [4] US 5095443 [5] DE 4330847 A1 [6] DE 19624301 A1
するために、トレーニングされた第１のニューラルネット２２０の近似品質が少
し小さくなってしまうのが改善される。 この明細書の範囲内では、以下の刊行物が引用されている： [1] A.Zell, Simulation Neuronaler Netze, Addison Wesley Publishing, 1.
Auflage, ISBN 3-89319-554-8, S.97-114 及び555-574, 1994 [2] DE 19611732 C1 [3] WO 98/10352 [4] US 5095443 [5] DE 4330847 A1 [6] DE 19624301 A1
【図１】 本発明の実施例を示すニューラルネットの略図
【図２】 測定装置、第１の測定期間のトレーニングデータを用いてトレーニングされる
ニューラルネット及び第１のトレーニング期間後のトレーニングされた第１のニ
ューラルネットを有する下水設備の略図
ニューラルネット及び第１のトレーニング期間後のトレーニングされた第１のニ
ューラルネットを有する下水設備の略図
【図３】 第２の測定期間内で、第２のトレーニングデータセットが検出される測定装置
を有する下水設備の図
を有する下水設備の図
【手続補正書】特許協力条約第３４条補正の翻訳文提出書
【提出日】平成１２年７月１９日（２０００．７．１９）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
Claims (24)
- 【請求項１】 ニューラルネットのコンピュータ支援トレーニング用の方法
において、ニューラルネットは、第１のニューラルネットと第２のニューラルネ
ットとを有しており、 −前記第１のニューラルネットを、第１のトレーニングフェーズ中第１のトレー
ニングデータセットでトレーニングし、 −前記第１のニューラルネットと前記第２のニューラルネットとを、第２のトレ
ーニングフェーズ中、第２のトレーニングデータセットでトレーニングし、 −前記第２のトレーニングフェーズ中、前記第１のニューラルネットのネットパ
ラメータを変えない ようにすることを特徴とする方法。 - 【請求項２】 第１のトレーニングデータセットのトレーニングデータを、
少なくとも部分的に相互に一致させる請求項１記載の方法。 - 【請求項３】 第１のニューラルネットの少なくとも１つの出力量を、第２
のトレーニングフェーズ中、第２のニューラルネットの入力量として使用する請
求項１又は２記載の方法。 - 【請求項４】 第１のトレーニングフェーズ中、少なくとも１つのネット最
適化方法を第１のニューラルネットに使用する請求項１から３迄の何れか１記載
の方法。 - 【請求項５】 第１のトレーニングデータセットに、第２のトレーニングデ
ータセットよりも少ないトレーニングデータを含ませる請求項１から４迄の何れ
か１記載の方法。 - 【請求項６】 請求項１から５迄の何れか１記載の方法であって、 −技術的なシステムの値を測定し、 −第１のトレーニングデータセット及び／又は第２のトレーニングデータセット
のトレーニングデータとして、測定された値を使用する方法。 - 【請求項７】 技術的なシステムを、化学的な反応器にする請求項６記載の
方法。 - 【請求項８】 技術的なシステムを、下水設備（Klaeranlage）にする請求
項６記載の方法。 - 【請求項９】 第１のトレーニングデータセット及び／又は第２のトレーニ
ングデータセットのトレーニングデータの少なくとも一部分を人工的に生成する
請求項１から８迄の何れか１記載の方法。 - 【請求項１０】 請求項１から９迄の何れか１記載の方法であって、 −第２のトレーニングフェーズ中、技術的なシステムの値を、オンラインで測定
し、 −測定された値を、少なくとも第２のトレーニングデータセットの部分として使
用する方法。 - 【請求項１１】 第１のニューラルネットと第２のニューラルネットとを有
するニューラルネットであって、 −第１のニューラルネットは、第１のトレーニングフェーズ中、第１のトレーニ
ングデータでトレーニング可能であり、 −第２のニューラルネットは、第２のトレーニングフェーズ中第２のトレーニン
グデータセットでトレーニング可能であり、 −前記第１のニューラルネットのネットパラメータは、前記第２のトレーニング
フェーズ中変えることができないようにしたことを特徴とするニューラルネット
。 - 【請求項１２】 第１のトレーニングデータセット及び第２のトレーニング
データセットのトレーニングデータは、少なくとも部分的に相互に一致している
請求項１１記載のニューラルネット。 - 【請求項１３】 第１のニューラルネットの少なくとも１つの出力側が、第
２のニューラルネットの入力側と接続されている請求項１１又は１２記載のニュ
ーラルネット。 - 【請求項１４】 第１のトレーニングデータセットは、第２のトレーニング
データセットよりも少ないトレーニングデータを有している請求項１１から１３
迄の何れか１記載のニューラルネット。 - 【請求項１５】 第１のニューラルネットと第２のニューラルネットを有す
るニューラルネットのトレーニング装置において、 プロセッサを有しており、該プロセッサは、以下のステップを実行可能であるよ
うに装置構成されており： −第１のニューラルネットを、第１のトレーニングフェーズ中、第１のトレーニ
ングデータセットでトレーニングし、 −前記第１のニューラルネット及び前記第２のニューラルネットを、第２のトレ
ーニングフェーズ中、第２のトレーニングデータセットでトレーニングし、 −前記第１のニューラルネットのネットパラメータを、前記第２のトレーニング
フェーズ中変化させない ことを特徴とするニューラルネットのトレーニング装置。 - 【請求項１６】 プロセッサは、第１のトレーニングデータセットと第２の
トレーニングデータセットのトレーニングデータが少なくとも部分的に一致する
請求項１５記載の装置。 - 【請求項１７】 プロセッサは、第１のニューラルネットの少なくとも１つ
の出力量が、第２のトレーニングフェーズ中、第２のニューラルネットの入力量
として使用されるように装置構成されている請求項１５又は１６記載の装置。 - 【請求項１８】 プロセッサは、第１のトレーニングフェーズ中、ネット最
適化方法が、第１のニューラルネット上に使用されるように装置構成されている
請求項１５から１７迄の何れか１記載の装置。 - 【請求項１９】 第１のトレーニングデータセットは、第２のトレーニング
データセットよりも僅かなトレーニングデータを有している請求項１５から１８
迄の何れか１記載の装置。 - 【請求項２０】 請求項１５から１９迄の何れか１記載の装置であって、 −技術的システムの値の測定用の測定装置が設けられており、該測定装置は、プ
ロセッサと接続されており、 −前記プロセッサは、第１のトレーニングデータセット及び／又は第２のトレー
ニングデータセットのトレーニングデータとして、測定値が使用される装置。 - 【請求項２１】 技術的システムは、化学反応器である請求項２０記載の装
置。 - 【請求項２２】 技術的システムは、下水設備である請求項２０記載の装置
。 - 【請求項２３】 プロセッサは、第１のトレーニングデータセット及び／又
は第２のトレーニングデータセットのトレーニングデータの少なくとも一部分が
人工的に生成されるように装置構成されている請求項１５から２２迄の何れか１
記載の装置。 - 【請求項２４】 請求項１５から２３迄の何れか１記載の装置であって、 −プロセッサは、第２のトレーニングフェーズ中、技術的システムの値がオンラ
インで測定され、 −測定値は、第２のトレーニングデータセットの少なくとも部分として使用され
る装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19830539.7 | 1998-07-08 | ||
| DE19830539 | 1998-07-08 | ||
| PCT/DE1999/001952 WO2000003355A2 (de) | 1998-07-08 | 1999-07-01 | Neuronales netz und verfahren und anordnung zum trainieren eines neuronalen netzes |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002520719A true JP2002520719A (ja) | 2002-07-09 |
Family
ID=7873363
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000559532A Withdrawn JP2002520719A (ja) | 1998-07-08 | 1999-07-01 | ニューラルネット及びニューラルネットのトレーニング方法及び装置 |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1093639A2 (ja) |
| JP (1) | JP2002520719A (ja) |
| WO (1) | WO2000003355A2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663495A (zh) * | 2012-02-22 | 2012-09-12 | 天津大学 | 一种用于非线性器件建模的神经网络数据生成方法 |
| WO2014188940A1 (ja) * | 2013-05-23 | 2014-11-27 | 独立行政法人情報通信研究機構 | ディープ・ニューラルネットワークの学習方法及び学習装置、並びにカテゴリー独立なサブネットワークの学習装置 |
| KR20180094065A (ko) * | 2015-12-23 | 2018-08-22 | 지멘스 악티엔게젤샤프트 | 에너지 생산자의 전력을 결정하기 위한 방법 및 소프트 센서 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9920950D0 (en) | 1999-09-06 | 1999-11-10 | Ici Ltd | Apparatus and method for reducing residual solvent levels |
| DE102018206108A1 (de) * | 2018-04-20 | 2019-10-24 | Zf Friedrichshafen Ag | Generieren von Validierungsdaten mit generativen kontradiktorischen Netzwerken |
| DE102019204136A1 (de) * | 2019-03-26 | 2020-10-01 | Robert Bosch Gmbh | Verfahren und Vorrichtung für Training und Herstellung eines künstlichen neuronalen Netzes |
| EP3716238B1 (de) * | 2019-03-27 | 2023-03-15 | Siemens Aktiengesellschaft | Verfahren zum ermitteln einer evakuierungsstrategie für eine evakuierung eines gebäudes |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0727748A1 (de) * | 1995-02-17 | 1996-08-21 | BODAMER, Edgar | Verfahren und Anordnung zum mehrstufigen unüberwachten Lernen unter Verwendung einer Hierarchie von neuronalen Netzen |
-
1999
- 1999-07-01 EP EP99942765A patent/EP1093639A2/de not_active Withdrawn
- 1999-07-01 WO PCT/DE1999/001952 patent/WO2000003355A2/de not_active Application Discontinuation
- 1999-07-01 JP JP2000559532A patent/JP2002520719A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102663495A (zh) * | 2012-02-22 | 2012-09-12 | 天津大学 | 一种用于非线性器件建模的神经网络数据生成方法 |
| WO2014188940A1 (ja) * | 2013-05-23 | 2014-11-27 | 独立行政法人情報通信研究機構 | ディープ・ニューラルネットワークの学習方法及び学習装置、並びにカテゴリー独立なサブネットワークの学習装置 |
| JP2014229124A (ja) * | 2013-05-23 | 2014-12-08 | 独立行政法人情報通信研究機構 | ディープ・ニューラルネットワークの学習方法、ディープ・ニューラルネットワークのサブネットワークのパラメータを記憶した記憶媒体及びコンピュータプログラム |
| KR20180094065A (ko) * | 2015-12-23 | 2018-08-22 | 지멘스 악티엔게젤샤프트 | 에너지 생산자의 전력을 결정하기 위한 방법 및 소프트 센서 |
| KR102183563B1 (ko) * | 2015-12-23 | 2020-11-26 | 지멘스 악티엔게젤샤프트 | 에너지 생산자의 전력을 결정하기 위한 방법 및 소프트 센서 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000003355A3 (de) | 2000-04-20 |
| EP1093639A2 (de) | 2001-04-25 |
| WO2000003355A2 (de) | 2000-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lawson et al. | A data assimilation technique applied to a predator-prey model | |
| CN109409431B (zh) | 基于神经网络的多传感器姿态数据融合方法及系统 | |
| Battiti | Accelerated backpropagation learning: Two optimization methods | |
| Blasco et al. | Modelling the temporal evolution of a reduced combustion chemical system with an artificial neural network | |
| Giannakoglou et al. | Aerodynamic shape design using evolutionary algorithms and new gradient-assisted metamodels | |
| Karul et al. | Case studies on the use of neural networks in eutrophication modeling | |
| Hegazy et al. | Developing practical neural network applications using back‐propagation | |
| CN112445131A (zh) | 一种线性系统自适应最优跟踪控制方法 | |
| US5553195A (en) | Dynamic neural net | |
| CN106022954B (zh) | 基于灰色关联度的多重bp神经网络负荷预测方法 | |
| CN113505534B (zh) | 一种考虑需求响应的负荷预测方法 | |
| JP2002520719A (ja) | ニューラルネット及びニューラルネットのトレーニング方法及び装置 | |
| Bihlo | Improving physics-informed neural networks with meta-learned optimization | |
| Vasechkina et al. | Evolving polynomial neural network by means of genetic algorithm: some application examples | |
| CN109540089B (zh) | 一种基于贝叶斯-克里金模型的桥面高程拟合方法 | |
| Mistani et al. | JAX-DIPS: neural bootstrapping of finite discretization methods and application to elliptic problems with discontinuities | |
| CN110909492B (zh) | 一种基于极端梯度提升算法的污水处理过程软测量方法 | |
| Anuradha et al. | Direct inverse neural network control of a continuous stirred tank reactor (CSTR) | |
| CN116484904A (zh) | 一种基于人工智能深度学习的监管数据处理实现方法 | |
| Wu et al. | Improved saddle point prediction in stochastic two-player zero-sum games with a deep learning approach | |
| CN107944552A (zh) | 一种基于Elman神经网络的工业物联网参数预测方法 | |
| Vlah et al. | Solving bilevel optimal bidding problems using deep convolutional neural networks | |
| CN113569898A (zh) | 基于bp神经网络的水质模型参数反演分析方法及系统 | |
| JP2674167B2 (ja) | 神経回路網モデルを用いたプロセス制御方法 | |
| JP2000276459A (ja) | 学習による変換関数を用いた乱数発生装置，乱数発生方法および乱数発生システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060905 |