JP2007264796A - プラント制御方法及びプラント制御装置 - Google Patents

Abstract

【課題】モデル構築期間が短くて優れた性能をもった強化学習法によるプラント制御方法と装置を提供すること。
【解決手段】数値解析手段６によるプラント１の数値解析結果の誤差評価により、操作条件パラメータを作成し、連続モデル修正手段１２により、数値解析データを追加することで連続モデル９の誤差を低減させ、制御方法学習手段１３により、プラント運転実績データベース５のデータに基づく強化学習を行って連続モデル９を修正して学習結果データベース１４に入力し、基本制御指令演算手段４による制御指令に加算するようにしたもの。これにより、プラント１の試運転時から常に性能のよい制御をすることができ、制御装置の導入期間を短縮することができる。
【選択図】図１

Description

本発明は、ボイラプラントの制御方式に係り、特に発電プラントにおけるボイラの制御方法と装置に関するものである。

ボイラなどプラント制御の分野では、従来からＰＩＤ制御を基本とする制御ロジックが主流となっている。また、ニューラルネットワークに代表される教師付き学習機能により、プラントの特性に柔軟に対応できる技術も多数提案されている。そして、この教師付き学習機能を用いて制御装置を構成するためには、教師データとなる成功事例を予め準備する必要があるため、強化学習法などの教師なし学習方法も提案されている。

この強化学習法は、制御対象などの環境との試行錯誤的な相互作用を通じて、環境から得られる計測信号が望ましいものとなるように、環境への操作信号を生成する学習制御の枠組みであり、これによれば、成功事例が予め準備できない場合でも、望ましい状態を定義しておくだけで、自ら環境に応じて望ましい行動を学習できるという利点がある。

そして、この強化学習法においては、環境から得られる計測信号を用いて計算される評価値を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、環境への操作信号を生成する。このような学習機能を実装する方法には、従来からＡctor−Ｃritic、Ｑ学習、実時間Ｄynamic Ｐrogramming などのアルゴリズムがある。

また、上述の手法を発展させた強化学習の枠組みとして、Ｄyna−アーキテクチャと呼ばれる枠組みがある。これは、制御対象を模擬するモデルを対象にして、どのような操作信号を生成するのが良いかを予め学習し、この学習結果を用いて制御対象に印加する操作信号を決定する方法であるが、このとき、制御対象とモデルの誤差を小さくするモデル調整機能を持っている。

一方、数値解析技術の進歩に伴い、燃焼反応も、ある程度は、計算により再現できるようになり、この結果、プラントを模擬するシミュレータを用いてモデルを構築することも可能になっている(例えば、特許文献１参照。)。
特開２００３−２８１４６２号公報

上記したように、強化学習法は、制御対象の特性、制御方法が事前に定式化できない場合に有効であるが、プラントの運転制御においては、モデル構築までに試行錯誤運転による実績を集める時間が必要であり、従って、その間に製品品質が低下し、ロスが多くなってしまうという問題があり、しかも、このときの試行錯誤運転により、プラント排出物の性状変動による環境への影響も考えられるが、しかし、これらの問題に対して有効なモデル構築方法については、考慮されていない。

また、特許文献１では、計算精度を上げるためには計算のメッシュを細かくする必要があるが、ボイラなどの大型の装置の場合には計算量が膨大となり、さらに運転条件も連続的に変化するため、計算時間が長く、実用的な時間でのモデル構築は困難である。

上述のように、制御方法が事前に定式化できないプラントの制御には強化学習法が有効な方法であるが、モデル構築のためにプラントの試運転によるデータ蓄積を行えば多くの時間がかかり、試運転期間は所望の制御性能が得られない場合がある。

本発明の目的は、モデル構築期間が短くて優れた性能をもった強化学習法によるプラント制御方法と装置を提供することである。

上記目的は、操作量とプラント状態との関係を学習する学習機能を有し、該学習機能によりプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置の制御方法において、プラントの状態を規定するプロセス値を、複数の操作条件における流動及び反応現象の数値解析によって計算し、各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成し、数値解析によって計算したプロセス値とプラント実機の運転データを用いて前記連続モデルを再度作成し、再度作成された前記連続モデルを用いて学習することにより達成される。

また、上記目的は、プラントの特性を模擬する連続値モデルと、該連続値モデルを用いて前記プラントの操作方法を学習し、該学習機能で学習した結果に基づいてプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置の制御方法おいて、プラントの状態を規定するプロセス値を、複数の操作条件における流動及び反応現象の数値解析によって計算し、各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成し、数値解析によって計算したプロセス値とプラント実機の運転データを用いて前記連続モデルを再度作成することにより達成される。

このとき、数値解析によって計算したプロセス値と前記連続モデルによる計算値との誤差を評価し、前記数値解析結果に基づいて新たな操作条件パラメータを作成し、作成した新たな操作条件パラメータを用いて前記数値解析を再実行して新たなプロセス値を計算し、前記数値解析によって計算した古いプロセス値と新たなプロセス値を用いて前記連続モデルを再度作成するようにしてもよい。

同じく、このとき、プラントの状態を規定するプロセス値には、プラントから排出される微粒子類または揮発性有機化合物の少なくとも１種の量または濃度を用い、操作条件には、空気流量、燃料流量、空気温度、ボイラのバーナ内の空気配分、ボイラのバーナチルト角度またはボイラのパラレルダンパ角度の少なくとも１つを用いるようにしてもよい。

また、上記目的は、操作量とプラント状態との関係を学習する学習機能を有し、該学習機能によりプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置において、プラントの操作条件におけるプロセス値を格納した運転実績データベースと、プラントの操作条件における流動及び反応現象の数値解析によって計算したプロセス値を格納する数値解析データベースと、前期数値解析データベースから各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成する連続モデル化手段と、前記運転実績データベースのプロセス値を追加して前記連続モデルを再度作成する連続モデル修正手段を備え、前記学習機能は、前記連続モデル修正手段により再度作成された連続モデルを用いて学習することにより達成される。

このとき、数値解析によって計算したプロセス値と前記連続モデルによる計算値との誤差を評価する手段と、誤差評価結果に基づいて新たな操作条件パラメータを作成する手段と、作成した新たな操作条件パラメータを用いて数値解析を再実行して新たなプロセス値を計算する手段と、前記連続モデル化手段が数値解析によって計算した古いプロセス値と新たなプロセス値を用いて連続モデルを再度作成する手段を備えようにしてもよい。

同じく、このとき、プラントの状態を規定するプロセス値には、プラントから排出される微粒子類または揮発性有機化合物の少なくとも１種の量または濃度を用い、操作条件には、空気流量、燃料流量、空気温度、ボイラのバーナ内の空気配分、ボイラのバーナチルト角度またはボイラのパラレルダンパ角度の少なくとも１種を用いるようにしてもよい。

本発明は、上記手段を備えたので、プラント試運転時から、数値解析の結果を用いて強化学習法によりプラントを制御することができ、従って、制御装置の導入期間を短縮することができる。

以下、本発明によるプラント制御方法と装置について、図示の実施の形態により詳細に説明する。

図１は、本発明を火力プラントのボイラ設備に適用しボイラ設備からなるプラント１のボイラに供給される空気流量を操作し、排出されるＣＯ濃度を最小にする制御方法を学習させるようにした場合の一実施の形態であり、この場合、プラント１には、外部出力インターフェース２と外部入力インターフェース３が設けてある。

まず、外部出力インターフェース２は、加算器１７から信号を入力し、プラント１に出力して空気流量を操作する。必要に応じて人が操作するためのキーボードやディスプレイを備えてもよい。

次に、外部入力インターフェース３は、プラント１から出力された信号を入力し、プラントの運転データとして運転実績データベース５、基本制御指令演算手段４と操作量演算手段１５に出力する。このときも、必要に応じて人が操作するためのキーボードやディスプレイを備えてもよい。

次に、基本制御指令演算手段４は、例えば、プラント１の空気流量などを操作するための基本制御指令信号を出力するもので、一般的なＰＩＤ制御ロジックで構成された制御装置で構成されている。

また、運転実績データベース５には、外部入力インターフェース３から出力されたプラントの運転データが格納されている。

ここで、この運転データとは、プラント１の状態を規定するプロセス値のことで、例えば図２に示すように、空気流量に対するＣＯとＮＯｘ の濃度の関係を表わすデータであるが、これらプラントから排出されるＮＯｘ、ＣＯのほかにもＣＯ₂、ＳＯｘ、水銀、フッ素、煤塵又はミスト等の微粒子類又は揮発性有機化合物の少なくとも１種の量又は濃度がある。

次に、数値解析手段６は、プラントの運転を模擬するシミュレータで、例えば特許文献１に記載されているシミュレーション方法を用いたものであり、プラント１のボイラの形状、石炭の種類などの与えられた条件と、空気流量などの操作条件とを基にしてシミュレーションを行い、プラント運転時に発生するＣＯ濃度などを計算する。

このときの操作条件としては、上記した空気流量のほかにも燃料流量、空気温度、ボイラのバーナ内の空気配分、ボイラのバーナチルト角度又はボイラのパラレルダンパ角度の少なくとも１種がある。

そして、この数値解析手段６による解析結果は、例えば空気流量に対するＣＯ濃度の値として与えられ、数値解析データベース７に格納される。このとき格納されるデータは、図２に示した運転実績データベース５と同様な形式である。

連続モデル化手段８は、数値解析データベース７に格納された離散的な空気流量とＣＯ濃度の関係について、パラメータの変化に対して連続的な関係となるように近似して連続モデル９を作成する。従って、この連続モデル９は、連続モデル化手段８又は連続モデル修正手段１２によって作成されることになる。

次に、誤差評価手段１０は、数値解析データベース７に格納されたデータと、連続モデル化手段８によって作成された連続モデル９との誤差を評価する。また、パラメータ追加手段１１は、誤差評価手段１０により評価された誤差が一定の条件を満たす場合に、数値解析を追加実施する空気流量の値を設定し、データ点を追加する。そして、追加されたデータ点について数値解析手段６により数値解析を実施する。

一方、連続モデル修正手段１２は、運転実績データベース５にある運転データを用いて連続モデル９のモデルを修正する。そして、制御方法学習手段１３は、連続モデル９を基にして強化学習法により空気流量の操作方法を学習する。学習結果は学習結果データベース１４に格納される。このとき学習結果データベース１４に格納される学習結果の一例を図３に示す。

次に、操作量演算手段１５は、外部入力インターフェース３から出力された運転データと学習結果データベース１４を用い、操作すべき空気流量の値を計算する。例えば、学習結果が図３の場合、空気流量が０．４５なら、空気流量を＋０．０５とするように制御する。計算された制御信号は減算器１６に出力される。

そこで、減算器１６は、基本制御指令演算手段４の出力信号と操作量演算処理１５の出力信号を入力し、これら２種の信号の差を計算して加算器１７に出力する。このとき、切替器１８が設けてあり、これにより減算器１６の出力を加算器１７の入力から切り離し、従来どおり基本制御指令演算手段４の出力のみによる運転を行うこともできる。

また、加算器１７は、基本制御指令演算手段４の出力信号と減算器１６の出力信号を入力し、これら２種の信号の和を計算して出力する。従って、これら減算器１６と加算器１７により、プラント１への出力信号は、基本制御指令演算手段４の出力信号を操作量演算処理１５の出力信号により補正した信号とすることができる。

次に、この実施形態の動作について、図４のフローチャートにより説明する。

図１の実施形態において、ボイラの空気流量を操作しＣＯ濃度を制御するためには、空気流量の変化に対するＣＯ濃度の変化を知る必要がある。そこで、まず、数値解析により空気流量とＣＯ濃度との関係を計算する(ステップ１０１)。このときの計算結果の一例を図５に示す。図中の点は、空気流量を０．３から０．７まで、間隔０．１で計算した結果である。

このときの解析は、できるだけ細かい間隔で実施するのが望ましいが、各点の計算にはある程度の時間がかかるため、現実的には離散的なデータしか得られない。そこで、点のない部分を補間するために、パラメータの変化に対して連続的な関係となるように近似した連続モデルを作成する(ステップ１０２)。

このときの連続モデルの作成には、多項式近似による方法、ニューラルネットワークを用いた方法などがある。

ここで、図５の破線による特性は、このようにデータ点を近似して連続モデルを作成した結果であり、これによれば、連続モデルとして与えられている空気流量から連続的にＣＯ濃度を推定することができる。

次いで、学習結果データベース１４に保存すべきデータを、強化学習法により構築する(ステップ１０３)。

この実施形態では、学習結果を用いてプラントを操作するので、制御性能は学習に用いる連続モデルの精度に依存するところが大きい。

ここで精度を上げるには、数値解析を実施する空気流量の間隔を細かくし、データ点の数を増やせばよい。しかし、前述のように実用的な時間で多数のデータ点における数値解析を実施するのは困難なので、データ点を効果的に選択してデータ点の個数を抑えることが重要である。例えば、図５の場合、ＣＯ濃度が低い空気流量０．５付近ではデータの重要性が高いと考えられる。そこで、以下の手順によりデータ点を追加する。

図６は、数値解析による連続モデル作成の詳細なフローチャートを示したもので、ここでのステップ２０１〜ステップ２０８は、図４のステップ１０１〜ステップ１０３に相当する。

まず、ステップ２０１では、数値解析で計算する空気流量の点を設定する。ここで設定する点は初期設定となるので、このときの点の間隔と点の数は、解析の精度、所要時間等を考慮して、空気流量の変化範囲内で適宜設定すればよい。

次に、ステップ２０２では、各空気流量の点におけるＣＯ濃度を、数値解析手段を用いて計算する。計算結果は数値解析データベースに格納される。

次いで、ステップ２０３では、離散的なデータに補間を行い、連続モデルを作成し、この後、ステップ２０４では、任意のデータ点を除いた場合の連続モデルを仮に計算し、ステップ２０５では、除いたデータ点との誤差を計算する。

図７は、このときの計算結果の一例で、この場合、空気流量０．５の点を除いて作成した連続モデルと空気流量０．５の点の誤差が大きくなっているので、この空気流量０．５付近の点は連続モデルへの影響が大きいことが判り、この部分では細かい間隔で計算する必要があることが判る。

そこで、ステップ２０５の後、この誤差を或るしきい値と比較し(ステップ２０６)、誤差が、このしきい値を超えた場合には、その点近傍のデータの重要性が高いと判断し、前後の点までの間にデータ数を追加して間隔を細かくする(ステップ２０７)。そして、この追加したデータ点について数値解析手段を用いてＣＯ濃度を計算し、連続モデルを再計算する。

このように誤差が小さくなるまでステップ２０２〜２０７を繰り返すことで、効果的にデータ点を追加することができる。

ここで、図８は、ステップ２０７でデータ点を追加し、連続モデルを再度作成した場合のデータ例を示したものであり、以上の手順により、数値解析を実施する点の数を抑えながら精度の高い連続モデルが作成できることが理解できる。そして、この後、ステップ２０８、又はステップ１０３に進み、作成された連続モデルを用いて強化学習を実施するのである。

しかし、上記手順で得られたモデルは数値計算の結果を用いているので、実際のプラントとの間には誤差が避けられないので、できればプラント実機の運転データを用いるのが望ましい。

そこで、最初は数値解析で作成した連続モデルを用いて強化学習を実施し、プラント実機の運転データが得られたら、運転データを用いてモデルを修正していくのがよい。

従って、この実施形態では、以下の手順により連続モデルを修正し、この修正モデルを対象にして操作方法を再度学習するようになっていて、このため、図４のステップ１０４が設けてあり、ここで連続モデル修正手段により連続モデルを修正する。例えば、数値解析による連続モデルを作成したデータに、プラント実機の運転データを含めて、連続モデルを再度作成するのである。このとき、運転データを優先するため、予め適度な重みをつけておいてもよい。

図９は、このようにして運転データを追加し、連続モデルを修正した場合の一例で、図８の連続モデルと比較して、プラント実機の運転データの傾向が反映されていることが判る。例えば、運転データが得られた空気流量付近では運転データの傾向を反映した連続モデルになっている。

また、運転データのない部分でも、数値解析の結果を基にした連続モデルが作成できるので、より精度の高いモデルとすることができている。

次に、ステップ１０５では、修正された連続モデルを用いて強化学習を実施する。再学習においては、部分的に学習し直す方法が知られており、この方法によれば、小さい負荷で制御モデルを構築することができる。

そして、これらステップ１０４〜１０５の手順は、プラント運転データが追加されるたびに実施する。これにより、数値解析結果を基にした連続モデルを徐々にプラント実機の特性に合わせたものへと修正していくことができ、また空気流量を制御するモデルもプラント実機の特性に合わせたものへと修正していくことができる。

そこで、この強化学習の結果を用いて空気流量の操作量を計算し(ステップ１０６)、次いでプラント１に操作信号を出力し(ステップ１０７)、プラント１のボイラに供給すべき空気流量が制御されることになるが、このとき上記手順により、プラント試運転から解析結果をもとに制御できるので導入までの時間を短縮でき、運転データの蓄積に伴いプラント実機の特性に修正することができるので、性能のよいＣＯ抑制制御が得られることになる。

従って、上記実施形態によれば、プラント運転前から、学習に用いるモデルを数値解析の結果を用いて構築することができ、従って、プラント制御の導入期間を短縮することができ、プラント運転実績が十分蓄積されていない段階から仕様性能を発揮させ、予定されているＣＯの抑制を得ることができる。つまり、試運転期間での燃料や原料を多く消費するだけでなく、プラントからの排出物による環境への影響も対応できる。

また、上記実施形態によれば、数値解析結果の誤差評価により操作条件パラメータを作成し、数値解析データを追加することにより、モデルの誤差を低減させ、性能のよい制御をすることができる。このとき、プラント運転データを用いてモデルを修正し、再度強化学習を実施することにより、常に性能のよい制御をすることができる。

従って、上記実施形態に係る発明を火力プラントのボイラに適用することにより、ＮＯｘ、ＣＯなどの環境負荷物質の発生増加リスクを低減させることができる。

本発明は、プラント試運転時から、数値解析の結果を用いてプラントを制御することができるので、制御装置の導入期間を短縮することができる。また、値解析結果の誤差評価により操作条件パラメータを作成し、数値解析データを追加することによりモデルの誤差を低減させること、およびプラント運転データを用いてモデルを修正し、再度強化学習を実施することにより、常に性能のよい制御をすることができる。

また、本発明を火力プラントのボイラに適用することにより、ＮＯｘ、ＣＯなどの環境負荷物質の発生増加リスクを低減させることができる。

本発明によるプラント制御装置の一実施形態を示すブロック構成図である。 本発明の一実施形態における運転実績データベースまたは数値解析データベースの一例を示す説明図である。 本発明の一実施形態における学習結果データベースの一例を示す説明図である。 本発明の一実施形態による処理手順を示すフローチャートである。 本発明の一実施形態における連続モデルの説明図である。 本発明の一実施形態による数値解析データ追加処理手順を示すフローチャートである。 本発明の一実施形態における誤差評価の説明図である。 本発明の一実施形態における数値解析データ追加の説明図である。 本発明の一実施形態における連続モデル修正の説明図である。

符号の説明

１：プラント(例えばボイラ設備)
２：外部出力インターフェース
３：外部入力インターフェース
４：基本制御指令演算手段
５：運転実績データベース
６：数値解析手段
７：数値解析データベース
８：連続モデル化手段
９：連続モデル
１０：誤差評価手段
１１：パラメータ追加手段
１２：連続モデル修正手段
１３：制御方法学習手段
１４：学習結果データベース
１５：操作量演算手段
１６：減算器
１７：加算器
１８：切替器

Claims (7)

1. 操作量とプラント状態との関係を学習する学習機能を有し、該学習機能によりプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置の制御方法において、
   プラントの状態を規定するプロセス値を、複数の操作条件における流動及び反応現象の数値解析によって計算し、
   各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成し、
   数値解析によって計算したプロセス値とプラント実機の運転データを用いて前記連続モデルを再度作成し、
   再度作成された前記連続モデルを用いて学習することを特徴とするプラント制御方法。
2. プラントの特性を模擬する連続値モデルと、該連続値モデルを用いて前記プラントの操作方法を学習し、該学習機能で学習した結果に基づいてプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置の制御方法おいて、
   プラントの状態を規定するプロセス値を、複数の操作条件における流動及び反応現象の数値解析によって計算し、
   各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成し、
   数値解析によって計算したプロセス値とプラント実機の運転データを用いて前記連続モデルを再度作成する
   ことを特徴とするプラント制御方法。
3. 請求項１のプラント制御方法において、
   前記数値解析によって計算したプロセス値と前記連続モデルによる計算値との誤差を評価し、
   数値解析結果に基づいて新たな操作条件パラメータを作成し、
   作成した新たな操作条件パラメータを用いて前記数値解析を再実行して新たなプロセス値を計算し、
   前記数値解析によって計算した古いプロセス値と新たなプロセス値を用いて前記連続モデルを再度作成する
   ことを特徴とするプラント制御方法。
4. 請求項１のプラント制御方法において、
   前記プラントの状態を規定するプロセス値には、プラントから排出される微粒子類または揮発性有機化合物の少なくとも１種の量または濃度を用い、
   前記操作条件には、空気流量、燃料流量、空気温度、ボイラのバーナ内の空気配分、ボイラのバーナチルト角度またはボイラのパラレルダンパ角度の少なくとも１種を用いることを特徴とするプラント制御方法。
5. 操作量とプラント状態との関係を学習する学習機能を有し、該学習機能によりプラント状態に対応した操作指令値を計算する機能を有するプラント制御装置において、
   プラントの操作条件におけるプロセス値を格納した運転実績データベースと、
   プラントの操作条件における流動及び反応現象の数値解析によって計算したプロセス値を格納する数値解析データベースと、
   前期数値解析データベースから各操作条件におけるプロセス値を操作条件パラメータの変化に対して連続的な関係となるように近似して連続モデルを作成する連続モデル化手段と、
   前記運転実績データベースのプロセス値を追加して前記連続モデルを再度作成する連続モデル修正手段を備え、
   前記学習機能は、前記連続モデル修正手段により再度作成された連続モデルを用いて学習するものである
   ことを特徴とするプラント制御装置。
6. 請求項５のプラント制御装置において、
   数値解析によって計算したプロセス値と前記連続モデルによる計算値との誤差を評価する手段と、
   誤差評価結果に基づいて新たな操作条件パラメータを作成する手段と、
   作成した新たな操作条件パラメータを用いて数値解析を再実行して新たなプロセス値を計算する手段と、
   前記連続モデル化手段が数値解析によって計算した古いプロセス値と新たなプロセス値を用いて連続モデルを再度作成する手段を備えた
   ことを特徴とするプラント制御装置。
7. 請求項５のプラント制御装置において、
   前記プラントの状態を規定するプロセス値には、プラントから排出される微粒子類または揮発性有機化合物の少なくとも１種の量または濃度を用い、
   前記操作条件には、空気流量、燃料流量、空気温度、ボイラのバーナ内の空気配分、ボイラのバーナチルト角度またはボイラのパラレルダンパ角度の少なくとも１つを用いる
   ことを特徴とするプラント制御装置。
   

Images