JP2016517104A - 技術システムを計算機支援によって開ループ制御および／または閉ループ制御するための方法 - Google Patents

Abstract

本発明は、技術システム（Ｔ）を計算機支援によって開ループ制御および／または閉ループ制御するための方法に関する。本発明では、あらかじめ定めた制御方式（ＣＯ１，ＣＯ２）において、探索ルール（ＥＰ）を実現し、この探索ルールによって、技術システム（Ｔ）の未知の新たな状態（ｘ）に到達する。ここでは技術システム（Ｔ）のシミュレーションモデル（ＳＭ）を用いて、探索ルール（ＥＰ）のアクション（ａ２）により、あらかじめ設定した閾値内にある結果状態（ｘ’）が発生するか否か検査する。発生する場合にだけ、対応するアクション（ａ２）を探索ルール（ＥＰ）にしたがって技術システムにおいて実行する。本発明による方法により、技術システムの動作において新たな状態を探索することができ、対応する閾値を検査することによって保証されるのは、探索が気づかれることなく行われ、かつ、技術システムの誤動作に結び付かないことである。本発明による方法は、特にガスタービンまたは風力タービンの開ループ制御または開ループ制御に好適である。

Description

本発明は、技術システムを計算機支援によって開ループ制御および／または閉ループ制御するための方法と、対応するコンピュータプログラム製品とに関する。

技術システムを開ループ制御または閉ループ制御するため、計算機支援による種々異なる方法が従来技術から公知である。これらの方法により、技術システムにおいてどのアクションを実行すべきであるかについて、この技術システムの目下の状態が示される。ここで、状態はいくつかの状態変数によって表され、またアクションはいくつかのアクション変数によって表される。テーブルを介して技術システムの状態と、対応するアクションとを対応付ける単純なテーブルベースの制御器の他に、例えばリカレントニューラルネットワークに基づき、機械学習法によってアクション選択ルールが学習された制御器も存在する。このような制御器の適用事例はガスタービンであり、これによって効率、燃焼室の独的特性、有害物質放出などのタービンのパラメタが最適化される。この制御器の別の適用事例は、風力タービンの制御であり、この場合には、例えば、消耗および効率が最適化される。

機械学習アクション選択ルールを実現するためには、多数の状態およびこれらの状態において実行されるアクションに対応する結果状態を特定する複数のトレーニングデータが必要である。新しいトレーニングデータを生成するためには、技術システムをまだ未知の状態において動作させる必要がある。しかしながらこの際に保証しなければならないのは、これらの新しい状態が技術システムの動作を妨げない、ないしは大きく悪化させ、特に技術システムの誤動作を発生させないようにすることである。

したがって本発明の課題は、技術システムを開ループ制御および／または閉ループ制御するための方法を提供して、この方法により、技術システムの動作を損なうことなく、この技術システムの新たな状態を探索できるようにすることである。

この課題は、独立請求項によって解決される。本発明の発展形態は、従属請求項に記載されている。

本発明による方法は、技術システムの開ループ制御および／または閉ループ制御に使用され、ここではこの開ループ制御ないしは閉ループ制御により、各時点において、それぞれ１つまたは複数の状態変数を有する、この技術システムの１つまたは複数の状態に依存して、１つまたは複数のアクション変数を有する複数のアクションが、技術システムにおいて実行される。

本発明による方法では、ステップａ）において、あらかじめ定めた制御方式により、各時点において、この各時点における技術システムの少なくとも１つの状態に依存して（すなわち、場合によってより前の時点の状態にも依存して）技術システムにおいて実行すべき第１アクションを求める。

ステップｂ）では、少なくとも１つの探索ルールにより、上記各時点における技術システムの少なくとも１つの状態に依存して、技術システムにおいて実行すべき１つまたは複数の第２アクションを求める。複数の探索ルールがある場合、各探索ルールにより、別々に第２アクションが求められる。これらの探索ルールは、任意に決定することができ、このようなルールの例をさらに後の方で示す。この探索ルールによれば、所定の判定基準にしたがい、技術システムの複数の状態に到達する複数の第２アクションが決定される。

ステップｃ）では、技術システムのシミュレーションモデルに基づき、第２アクション毎に、技術システムの結果的に得られる結果状態の集合を予測する。このようなシミュレーションモデルそれ自体は、従来技術から公知である。結果状態の集合という概念は、広義に理解すべきであり、場合によっては、（目下の）各時点に直接続く時点におけるただ１つの結果状態も含まれ得る。しかしながら有利には、結果状態の集合には複数の将来の結果状態が含まれる。例えば、あらかじめ定めた将来の時間区間に対する結果状態は、シミュレーションモデルによって予想することができる。

ステップｄ）では、ステップｃ）において予想した結果状態の集合毎に、各結果状態の集合があらかじめ設定した閾値判定基準を満たすか否かを検査する。ただし、この閾値判定基準は、結果状態の各集合の状態変数の少なくとも一部に対して満たすべき閾値を決定するものである。

ステップｅ）において、１つまたは複数の結果状態の集合が閾値判定基準を満たす場合、上記のあらかじめ定めた制御方式に、予想した結果状態の集合が閾値判定基準を満たす第２アクションを供給する。このような第２アクションが複数存在する場合、ここでも、上記の複数の第２アクションのうちのどれが制御方式に供給されたかを指定する、対応する判定基準を決定することができる。状態空間の探索が重要である場合、有利には、結果状態が、対応する閾値の近傍にある第２アクションを制御方式に供給する。技術システムの動作の安全性が重要である場合にはむしろ、結果状態が、閾値判定基準の対応する閾値から遠く離れている第２アクションを制御方式に供給する。最後にあらかじめ定めた制御方式は、アクションとして、第１アクションの代わりに、供給された第２アクションを実行するか、またはステップａ）において求めた第１アクションを第２アクションと組み合わせて技術システムにおいて実行する。

本発明による方法により、閉ループ制御されたまたは開ループ制御された、技術システムの動作において探索ルールを実現することができ、ここでは同時に、シミュレーションモデルによって予想した結果状態の状態変数に対し、対応する閾値を決定することにより、技術システムの動作にマイナスに影響を及ぼすことなく、ひいては技術システムの動作において気づかれることなく、新たな状態に到達できることが保証される。これにより、これらの新たな状態と、これらの状態において実行されるアクションおよび結果状態と共に新たなトレーニングデータが生成され、これらは、後の時点にシミュレーション法ないしは制御方式を機械学習するために利用することができる。したがって技術システムの動作において、ステップｅ）において実行されるアクションは、対応する状態および実際に発生する結果状態と組み合わせて記憶されるかまたは出力される。

構成に応じ、ステップｅ）におけるどの結果状態の集合も閾値判定基準を満たさない場合、所定の手段を講じることができる。１つのケースでは、あらかじめ定めた制御方式は、ステップａ）で求めた第１アクションを実行する。また１つまたは複数の変形したアクションを求め、上で説明したステップｃ）からｅ）を実行することができる。変形した第２アクションを求める判定基準は、任意に決定することができる。例えば、元々ステップｂ）において求めた第２アクションが変更されたパーセンテージを指定することができる。別の変形形態では、上記方法のステップｂ）からｅ）を再度実行する。これは、例えば、探索ルールがランダムでありかつ同じ状態に対し、つねに同じ第２アクションが定められない場合、または、ステップｂ）からｅ）を再度実行する際に別の探索ルールが使用される場合に有効である。

特に有利な実施形態において、ステップｂ）において求める第２アクションは、ステップａ）で求めた第１アクションの変形形態である。ステップｅ）では技術システムにおいて、アクションとして、供給された第２アクションの変形形態を用いて変形された第１アクションが実行される。これより、状態空間の探索は、一種のオフセットルールにしたがって実現され、このオフセットルールにより、対応する第１アクションが場合によっては変更される。それにもかかわらずこの第２アクションが、その用時に第１アクションを置き換えるように第２アクションを定めることも可能である。

本発明による方法の別の実施形態において、閾値判定基準は、複数の結果状態の複数の状態変数の少なくとも一部に対してそれぞれ、これらの状態変数の値が存在しなければならない値域を定める。これらの値域は、絶対的に決定することができるが、場合によっては上記結果状態の上記状態変数の値に依存させることも可能であり、例えば、これらの値からのパーセント偏差を定めることができる。

すでに上で述べたように、少なくとも１つの探索ルールは、上記の方法の構成に応じて異なって決定することができる。例えば、上記の少なくとも１つの探索ルールは、以下の複数のルールのうちの１つまたは複数を含み得る。すなわち、
・ 第２アクションをランダムに選択するルール、
・ エキスパート知識に基づくルール、
・ ε−グリーディルール
のうちの１つまたは複数を含み得る。

同様に刊行物［１］から［３］までに記載された探索ルールを使用することもできる。

本発明による方法の別の実施形態において、シミュレーションモデルは、機械学習法によって学習され、特に学習したニューラルネットワークに基づき、有利にはリカレントニューラルネットワークに基づく。このようなシミュレーションモデルは、従来技術から十分に公知である（例えば、刊行物［４］を参照されたい）。

本発明で使用される上記あらかじめ定めた制御方式は、任意に構成することができる。特にここでは、それ自体公知の制御方式が使用される。このあらかじめ定めた制御方式は以下の方法のうちの１つである。すなわち、
・ テーブルによって技術システムの各状態が複数の第１アクションに対応付けられている、テーブルベースの制御方式、
・ 例えば刊行物［４］の方法に基づく、機械学習法によって学習したアクション選択ルール、
・ テーブルベースの制御方式と、機械学習法によって学習したアクション選択ルールとの組み合わせであり、このアクション選択ルールにより有利には、上記テーブルベースの制御方式によって求めたアクションの変形形態が定められ、第１アクションは有利には、上記変形形態を用いて変形した、テーブルベースの制御方式のアクションである。

本発明による方法は特に、ガスタービンおよび／または風力タービンの開ループ制御または閉ループ制御に好適である。ガスタービンの状態には有利には以下の状態変数のうちの１つまたは複数が含まれている。すなわち、
・ ガスタービンの１つまたは複数の箇所における温度および／または圧力、特に周囲温度および／または周囲圧力および／または圧縮機温度および／または圧縮機圧力および／または燃焼室における温度および／または燃焼室における圧力、
・ ガスタービンの１つまたは複数の箇所における湿度、
・ ガスタービンにおける燃焼室加速度、
・ ガスタービンの有害物質放出、特に窒素酸化物放出、
・ 前記ガスタービンによって発電される電力
のうちの１つまたは複数が含まれている。

ガスタービンの場合、このガスタービンにおいて実行される第１および／または第２アクションの１つまたは複数のアクション変数には有利には、ガスタービンにおける１つまたは複数の燃料噴射弁の設定の変化、および／または、１つまたは複数の羽根の、特に吸込ベーンのポジションの変化、および／または、１つまたは複数の冷却空気流の変化が含まれる。

本発明による状態空間の探索において、ガスタービンの障害のない動作を保証するため、満たすべき閾値が決定されている、ステップｄ）における１つまたは複数の状態変数には、有利にはガスタービンにおける燃焼室加速度および／またはガスタービンの有害物質放出が含まれている。

風力タービンの形態の技術システムの場合、この風力タービンの状態には有利には、以下の複数の状態変数のうちの１つまたは複数が含まれている。すなわち、
・ 風力タービンの１つまたは複数の箇所における温度および／または圧力および／または湿度、特に周囲温度および／または周囲圧力および／または周囲湿度、
・ 風力タービンにおける風力、
・ 風力タービンのタワー振動の振幅、
・ 風力タービンのロータ羽根の機械負荷、
・ 風力タービンによって発電される電力
のうちの１つまたは複数が含まれている。

風力タービンの場合、この風力タービンにおいて実行すべき第１および／または第２アクションの１つまたは複数のアクション変数には有利には、風力タービンのロータのロータ羽根の仰角の変化、および／または、風に対するこの風力タービンのロータの配向の変化が含まれる。

本発明による方法における風力タービンの障害のない動作は特に、満たすべき閾値が決定されている、ステップｄ）における１つまたは複数の状態変数に、この風力タービンのタワー振動の周波数、および／または、この風力タービンのロータ羽根の機械負荷が含まれている場合に保証される。

上で説明した方法の他に本発明はさらに、機械読み出し可能な担体上に記憶されたプログラムを有するコンピュータプログラム製品に関しており、このプログラムが計算機上で実行される場合に、本発明による方法または本発明による方法の１つまたは複数の有利な変形形態が実行される。

以下では添付の図１に基づき、本発明の実施例を詳しく説明する。

本発明による方法の一実施形態のフローを示す略図である。

図１にしたがい、ガスタービンの形態の技術システムＴの制御によって本発明を説明する。図１の左側部分Ｐ１には、本発明による制御方式の一実施形態が示されており、この制御方式は、ガスタービンの動作中にオンラインで実行される。これに対して図１の右側部分Ｐ２には方法ステップが示されており、これらの方法ステップにより、部分Ｐ１における方法の複数の部分が形成される。部分Ｐ２におけるこれらの方法ステップは、オフラインで（すなわち、技術システムが動作していない時に）実行され、この意味で、ガスタービンに本発明による方法を実現するための準備ステップを表している。

部分Ｐ１におけるタービンの調整方式には、第１制御器ＣＯ１および第２制御器ＣＯ２に基づく従来の制御方式が含まれている。第１制御器ＣＯ１には、公知のようにテーブルベースの制御器として実現されており、目下の時点のガスタービンの状態ｘに対し、タービンにおいて実行すべきアクションａ０を出力する。上記のテービルには、対応する複数の状態について、これに対して実行すべきアクションが格納されている。第２制御器ＣＯ２は、学習式アクション選択ルールの形態で実現されている。ガスタービンの状態には、ガスタービンの上で説明した状態変数のうちの１つまたは複数が含まれており、また上記アクションは、ガスタービンの１つまたは複数の操作量の変化に関連する。これらの操作量は有利には、同様に上で説明したように、１つまたは複数の燃料噴射弁による燃料比の調整の変更およびガスタービンにおける羽根の、特に吸込ベーンのポジションの変更である。

したがって図１によれば、制御器ＣＯ１は、テーブルにアクセスすることにより、ガスタービンの目下の状態から出発してアクションａ０を求める。この目下の状態ｘおよびアクションａ０は、学習式アクション選択ルールの形態の制御器ＣＯ２に供給される。このルールには、ガスタービンの動的特性をモデリングするタービンのシミュレーションモデルＳＭが含まれている。このシミュレーションモデルは、調整ルールＣＰと相互に作用し合い、調整ルールＣＰは、ガスタービンの目下の状態ｘに依存し、アクションａ０を考慮して最適な第１アクションａ１を求める。ここではアクションの最適性は、好適な報酬関数に基づいて決定される。シミュレーションモデルＳＭは、ニューラルネットワークＮＮを介して前もって学習されており、このニューラルネットワークは、データベースＤＢにアクセスする。このデータベースには、前に技術システムによって採り入れられた状態ｘの形態のトレーニングデータと、この状態において実行したアクションａと、この結果得られた結果状態ｘ’とが格納されている。同様に調整ルールＣＰは、データベースＤＢのトレーニングデータにアクセスする制御生成器ＣＧによって生成されている。

これによって制御器ＣＯ２は、目下のアクションｘに依存して、技術システムにおいて実行すべきアクションａ１を出力する。このようなタイプの制御器それ自体は、従来技術から公知であるため、詳細には説明しない。例えば、制御器ＣＯ２は、例えば、刊行物［４］に記載されているように、リカレントニューラルネットワークをベースとすることができる。ここで説明している制御器の実施形態において、この制御器は、いわゆるオフセット制御器として実現されており、このオフセット制御器は、アクションａ０に加算されるオフセットまたは変形を定め、これによって第１アクションａ１が得られる。従来、このアクションａ１は、制御器ＣＯ１に供給され、つぎにこの制御器により、これらのアクションがアクションａとして技術システムにおいて実行される。ガスタービンによって採り入れられた状態ｘおよびこの状態において実行されたアクションａおよびこの結果得られた結果状態ｘ’は、すでに上で説明したデータベースＤＢに格納されており、このデータベースそれ自体は、ニューラルネットワークＮＮまたは制御生成器ＣＧを学習するために利用することができる。

本発明による方法では、別のモジュールとしていわゆる探索モジュールＥＭが設けられており、この探索モジュールは、必要に応じてオンすることができ、これによってガスタービンの制御において使用することができる。この探索モジュールがオンになると、第１アクションａ１はもはや制御器ＣＯ１に直接供給されず、この第１アクションは、探索モジュールＥＭにわたされ、そこでアクション選択モジュールＡＳにわたされる。さらに探索モジュールは、ガスタービンの目下の状態ｘを受け取る。探索モジュールＥＭは、ガスタービンの状態空間を探索するために使用される。すなわち、まだガスタービンに採り入れられていない状態を探すために使用される。このモジュールは、技術システムの実行中の動作時に使用されるため、新たな状態の探索は、気づかれることなく行われることを保証すべきである。すなわち、新たな状態は、ガスタービンの動作が知覚可能に損なわれることがないように選択しなければならないのである。特に有害物質放出または燃焼室加速度が大きく増大し、ひいては燃焼室のうなりが大きく増大しないようにすべきである。

探索モジュールＥＭには、構成に応じて種々異なって決定可能な探索ルールＥＰが格納されている。この探索ルールは、ガスタービンの目下の状態ｘに基づいて第２アクションａ２を定め、ここでこの第２アクションａ２はここでも、探索ルールが使用される場合に第１アクションａ１に加算されるオフセットないしは変数である。探索ルールは、適用事例に応じて種々の仕方で実現することができる。例えば、探索ルールは、目下の状態ｘから出発してランダムに、第２アクションａ２を定めることができる。同様に探索ルールは、刊行物［１］〜［３］の方法に基づいて決定することができ、またはそれ自体公知のε−グリーディ探索とすることができる。また探索ルールは場合によってはエネスパートの知識によって決定することもできる。

上記探索ルールによって求めた第２アクションａ２は、ガスタービンのシミュレーションモデルＳＭと互いに作用し合うアクション選択モジュールＡＳに供給される。このシミュレーションモデルは、制御器ＣＯ２のシミュレーションモデルに対応し、ニューラルネットワークＮＮの学習によって求められている。アクション選択モジュールＡＳにおいて、シミュレーションモデルＳＭを用いて求められるのは、アクションａ２によって変更されたアクションａ１を適用することにより、技術システムのどのような結果状態ｘ’が生じるかである。ここではこれらの結果状態は、あらかじめ定めた将来の時間区間の間、観察される。

アクション選択モジュールＡＳには、ガスタービンの結果状態の所定の状態変数に対するあらかじめ設定した値域が格納されている。特に燃焼室のうなりまたは窒素酸化物放出に対する上側の閾値が決められている。状態変数のこの閾値を複数の結果状態のうちの少なくとも１つが上回る場合、第２アクションａ２は許容されない。この場合、アクション選択モジュールにより、元々求めたアクションａ１が制御器ＣＯ１にわたされ、つぎにこの制御器がこのアクションを実行する。これに対して結果状態の状態変数の対応する上記閾値を上回っていない場合、制御器ＣＯ１には、アクションａ１の他に、探索ルールＥＰによって求めた第２アクションａ２が供給される。この場合にこの制御器は、２つのアクションの加算を実行する。これによって保証されるのは、有害物質放出および燃焼室うなりの所定の境界値を上回っていない場合にだけ、新たな状態に対するガスタービンの状態空間の探索が行われるため、ガスタービンの動作は上記探索によって損なわれない。このため、探索は、気づかれることなく行われ、またガスタービンのオペレータはこれを知覚することはない。

すぐ上で説明した方法の変形実施形態では、場合によっては、複数の探索ルールＥＰを探索モジュールＥＭに格納することができる。この際には複数の第２アクションａ２をこれらの探索モジュールによって求め、引き続き、状態変数の対応する境界値内に結果状態があるすべての第２アクションを求める。つぎにこれらの第２アクションから、あらかじめ定めた判定基準にしたがって１つのアクションを選択する。このアクションは、例えば、技術システムのより確実な動作に対して優先度設定が行われる場合に、閾値から最も離れた状態変数が得られるアクションとすることが可能である。これに対し、この優先度が、状態空間の良好な探索である場合には、対応する境界値に状態変数が最も接近する結果状態が得られる第２アクションａ２を使用することも可能である。探索モジュールＥＭは、場合によっては、上記テーブルベースの制御器ＣＯ１だけを使用する制御方式に使用することも可能である。この場合、第１アクションはアクションａ０に相応し、このアクションａ０は、探索モジュールＥＭにわたされ、そこで上で説明したのと同様に処理される。

本発明による方法の上で説明した実施形態は一連の利点を有する。特に技術システムの制御動作において、この技術システムの状態空間の探索は、複数の新たな状態にも気づかれることなく到達する。これにより、これらの新たな状態は、そこで実行されるアクションおよび結果状態と共に、技術システムについてのデータの量を拡張する。ここでこれらのデータは、技術システムのシミュレーションモデルまたはアクション選択ルールを学習する対応する方法におけるトレーニングデータとして使用可能である。この探索において保証されるのは、状況によっては警報またはアラームをトリガするこの技術システムの不所望の動作状態が発生してしまうことである。むしろ上記探索は、対応する閾値を上記のように決定することにより、この探索が、気づかれずに行われ、技術システムの動作にマイナスに影響しないように構成される。

刊行物一覧
[1] Michael Kearns and Satinder Singh, "Near-optimal reinforcement learning in polynomial time", in Proceedings of the 15th International Conference on Machine Learning, pp.260-268, (1998).
[2] Ronen I. Brafman and Moshe Tennenholtz, "R-max - a general polynomial time algorithm for near-optimal reinforcement learning", Journal of Machine Learning Research, 3, 213-231, (2003).
[3] Alexander L. Strehl and Michael L. Littman, "An analysis of model-based interval estimation for markov decision processes.", Journal of Computer and System Sciences, 74(8), 1309-1331, (2008).
[4] DE 10 2007 001 025 A1

Claims (16)

1. 技術システム（Ｔ）を計算機支援によって開ループ制御および／または閉ループ制御するための方法において、
   前記開ループ制御および／または前記閉ループ制御により、各時点において、それぞれ１つまたは複数の状態変数を有する、前記技術システム（Ｔ）の１つまたは複数の状態（ｘ）に依存して、１つまたは複数のアクション変数を含む複数のアクション（ａ）が前記技術システム（Ｔ）において実行され、
   ａ） あらかじめ定めた制御方式（ＣＯ１，ＣＯ２）により、各時点において、当該各時点における前記技術システム（Ｔ）の少なくとも１つの前記状態（ｘ）に依存して、前記技術システム（Ｔ）において実行すべき第１アクション（ａ１）を求め、
   ｂ） 少なくとも１つの探索ルール（ＥＰ）により、前記各時点における前記技術システム（Ｔ）の少なくとも１つの前記状態（ｘ）に依存して、前記技術システム（Ｔ）において実行すべき１つまたは複数の第２アクション（ａ２）を求め、
   ｃ） 前記技術システム（Ｔ）のシミュレーションモデル（ＳＭ）に基づき、第２アクション（ａ２）毎に、前記技術システム（Ｔ）の結果的に得られる結果状態（ｘ’）の集合を予測し、
   ｄ） 結果状態（ｘ’）の集合毎に、各当該結果状態（ｘ’）の集合が、あらかじめ設定した閾値判定基準を満たすか否かを検査し、ただし、当該閾値判定基準は、各前記結果状態（ｘ’）の集合の状態変数の少なくとも一部に対して満たすべき閾値を決定するものであり、
   ｅ） １つまたは複数の結果状態（ｘ’）の集合が前記閾値判定基準を満たす場合、前記あらかじめ定めた制御方式（ＣＯ１，ＣＯ２）に、前記予想した結果状態（ｘ’）の集合が前記閾値判定基準を満たす第２アクション（ａ２）を供給し、これに続いて前記あらかじめ定めた制御方式（ＣＯ１，ＣＯ２）は、アクションとして、前記第１アクション（ａ１）の代わりに、供給された第２アクション（ａ２）を実行するか、または、ステップａ）において求めた第１アクション（ａ１）を前記第２アクション（ａ２）と組み合わせて前記技術システム（Ｔ）において実行する、
   ことを特徴とする方法。
2. ステップｅ）におけるどの前記結果状態（ｘ’）の集合も前記閾値判定基準を満たさない場合、前記あらかじめ定めた制御方式（ＣＯ１，ＣＯ２）は、前記ステップａ）において求めた第１アクション（ａ１）を実行する、および／または、１つまたは複数の変形した第２アクション（ａ２）を求め、当該第２アクション（ａ２）に対してステップｃ）からｅ）を実行し、および／または、再度前記ステップｂ）からｅ）を実行する、
   請求項１に記載の方法。
3. ステップｂ）において求める前記第２アクション（ａ２）は、ステップａ）において求めた前記第１アクション（ａ１）の１つずつの変形形態であり、ステップｅ）では前記技術システム（Ｔ）において、アクション（ａ）として、供給された前記第２アクション（ａ２）の前記変形形態を用いて変形された前記第１アクション（ａ１）を実行する、
   請求項１または２に記載の方法。
4. 前記閾値判定基準は、複数の前記結果状態（ｘ’）の複数の前記状態変数の少なくとも一部に対してそれぞれ、前記状態変数の値が存在しなければならない値域を定める、
   請求項１から３までのいずれか１項に記載の方法。
5. 前記値域は、前記結果状態（ｘ’）の前記状態変数の前記値に依存し、特に当該値からのパーセント偏差を定める、
   請求項４に記載の方法。
6. 前記少なくとも１つの探索ルール（ＥＰ）は、以下のルールのうちの１つまたは複数を含んでおり、すなわち、
   ・ 前記第２アクション（ａ２）をランダムに選択するルール、
   ・ エキスパート知識に基づくルール、
   ・ ε−グリーディルール
   のうちの１つまたは複数を含む、
   請求項１から５までのいずれか１項に記載の方法。
7. 前記シミュレーションモデル（ＳＭ）は、機械学習法によって学習され、特に学習したニューラルネットワークに基づき、有利にはリカレントニューラルネットワークに基づく、
   請求項１から６までのいずれか１項に記載の方法。
8. 前記あらかじめ定めた制御方式は、以下の方法のうちの１つであり、すなわち、
   ・ テーブルによって前記技術システム（Ｔ）の各状態（ｘ）が複数の第１アクション（ａ１）に対応付けられている、テーブルベースの制御方式（ＣＯ１）、
   ・ 機械学習法によって学習したアクション選択ルール（ＣＯ２）、
   ・ テーブルベースの制御方式（ＣＯ１）と、機械学習法によって学習したアクション選択ルール（ＣＯ２）との組み合わせであり、
   前記アクション選択ルールにより有利には、前記テーブルベースの制御方式（ＣＯ１）によって求めたアクション（ａ０）の変形形態が定められ、前記第１アクション（ａ１）は有利には、前記変形形態を用いて変形した、前記テーブルベースの制御方式（ＣＯ１）のアクションである、
   請求項１から７までのいずれか１項に記載の方法。
9. 前記技術システム（Ｔ）は、ガスタービンおよび／または風力タービンである、
   請求項１から８までのいずれか１項に記載の方法。
10. 前記ガスタービンの状態（ｘ）には、以下の状態変数のうちの１つまたは複数が含まれ、すなわち、
    ・ 前記ガスタービンの１つまたは複数の箇所における温度および／または圧力、特に周囲温度および／または周囲圧力および／または圧縮機温度および／または圧縮機圧力および／または燃焼室における温度および／または燃焼室における圧力、
    ・ 前記ガスタービンの１つまたは複数の箇所における湿度、
    ・ 前記ガスタービンにおける燃焼室加速度、
    ・ 前記ガスタービンの有害物質放出、特に窒素酸化物放出、
    ・ 前記ガスタービンによって発電される電力
    のうちの１つまたは複数が含まれる、
    請求項９に記載の方法。
11. 前記ガスタービンにおいて実行される前記第１および／または第２アクション（ａ）の１つまたは複数の前記アクション変数には、前記ガスタービンにおける１つまたは複数の燃料噴射弁の設定の変化、および／または、１つまたは複数の羽根のポジションの変化、および／または、１つまたは複数の冷却空気流の変化が含まれる、
    請求項９または１０に記載の方法。
12. 満たすべき閾値が決定されている、ステップｄ）における１つまたは複数の前記状態変数には、前記ガスタービンにおける燃焼室加速度および／または前記ガスタービンの有害物質放出が含まれている、
    請求項１０または１１に記載の方法。
13. 前記風力タービンの状態（ｘ）には、以下の複数の状態変数のうちの１つまたは複数が含まれており、すなわち、
    ・ 前記風力タービンの１つまたは複数の箇所における温度および／または圧力および／または湿度、特に周囲温度および／または周囲圧力および／または周囲湿度、
    ・ 前記風力タービンにおける風力、
    ・ 前記風力タービンのタワー振動の振幅、
    ・ 前記風力タービンのロータ羽根の機械負荷、
    ・ 前記風力タービンによって発電される電力
    のうちの１つまたは複数が含まれている、
    請求項９から１２までのいずれか１項に記載の方法。
14. 前記風力タービンにおいて実行すべき第１および／または第２アクション（ａ）の１つまたは複数のアクション変数には、前記風力タービンのロータのロータ羽根の仰角の変化、および／または、風に対する前記風力タービンのロータの配向の変化が含まれる、
    請求項９から１３までのいずれか１項に記載の方法。
15. 満たすべき閾値が決定されている、ステップｄ）における１つまたは複数の前記状態変数には、前記風力タービンのタワー振動の周波数、および／または、前記風力タービンのロータ羽根の機械負荷が含まれている、
    請求項１３または１４に記載の方法。
16. 機械読み出し可能な担体上に記憶されたプログラムを有するコンピュータプログラム製品において、
    前記プログラムが計算機上で実行される場合に、請求項１から１５までのいずれか１項に記載の方法が実行される、
    ことを特徴とするコンピュータプログラム製品。

Images