JP2006344004A

JP2006344004A - 運転支援装置および運転支援方法

Info

Publication number: JP2006344004A
Application number: JP2005169070A
Authority: JP
Inventors: Takao Sekiai; 孝朗関合; Satoru Shimizu; 悟清水
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2005-06-09
Filing date: 2005-06-09
Publication date: 2006-12-21
Anticipated expiration: 2025-06-09
Also published as: JP4546332B2

Abstract

【課題】
エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できる運転支援装置および運転支援方法を提供することにある。
【解決手段】
エージェント６００は、プラントシミュレータを用いて計算したプロセス値を入力とし、所定の対象プロセス値とその目標値との偏差を評価指標として制御回路の制御パラメータ値を修正する。エージェント６００は、制御パラメータの修正結果に対する評価指標値の変化量に基づいて制御パラメータの増加または減少の方向性と修正量を学習する評価・学習部６３０と、実プラントのプロセス値の計測値情報を用いてプラントとプラントモデルのプロセス値の応答特性を一致させるモデル調整部４５０と、制御パラメータ設定部６５０によって、制御パラメータ値の増加量または減少量をガイダンスとしてＣＲＴ７１０に表示する。
【選択図】図１

Description

本発明は、プラント向け制御装置における制御パラメータの調整を支援する運転支援装置および運転支援方法に関する。

制御装置を用いて制御するプラントの例として、火力発電プラントがあげられる。火力発電プラントには、電力需要に応じた負荷変化運転が求められており、この負荷変化運転時にも蒸気温度などのプロセス値の変動は厳しく制限されている。特に、タービン入口の蒸気温度，蒸気圧力の変動はタービンの性能を劣化する要因となる可能性があり、これらのプロセス値変動の制限値は、特に厳しくなっている。

火力発電プラントの制御装置には、このような負荷変化運転時にもプロセス値を制限範囲内に抑制することが求められており、各種操作量を適切に設定することが求められている。操作量の値は、制御装置に実装されている制御ロジックの制御パラメータの値に依存するので、プロセス値の変動を抑制するには、制御パラメータの値を適切に設定する必要がある。

この制御パラメータは、プラントからの計測値を用いて、運転員が自分の知識と経験に基づいて調整するのが一般的である。しかし、近年熟練運転員の不足等の問題が起きており、制御パラメータ調整を支援する技術が求められている。
火力発電プラントの制御では、主としてフィードバック制御とフィードフォワード制御により、プロセス値の変動を抑制している。特に火力発電プラントでは応答遅れが大きく、負荷変化に伴うプロセス値変動を抑制するにはフィードフォワード制御が有効な制御方法である。フィードフォワード制御における適切な制御パラメータ値を自動的に算出する方法として、例えば、特開平１１−２４２５０３号公報に記載のように、プラントプロセス値の応答波形の特徴量に基づいて制御パラメータ値を算出するものであり、プラントの挙動推定にニューラルネットワークを用いているものが知られている。

特開平１１−２４２５０３号公報

火力発電プラント制御のように、安全運転が重視される制御対象物を制御する場合、自動算出した制御パラメータ値の全てをそのまま用いてプラントを運転することは、安全上望ましくない。安全を期するために、自動算出した制御パラメータ値の妥当性を運転員が確認し、運転員の考えていた制御パラメータ値とかけ離れたものでない場合に限り、自動算出した制御パラメータ値を制御装置に適用する、という手順を踏むことが有効である。この場合、運転員の制御系調整に関する方針と、自動算出の方針が異なる場合、自動算出した制御パラメータ値が運転員の想定範囲外のものとなり、自動算出された制御パラメータ値を制御装置に反映できない。これを回避するには、運転員の制御パラメータ調整の方針と、予め自動算出の方針を一致させる必要がある。

近年、コンピュータによる自律学習手段として、”強化学習（Reinforcement Learning），三上貞芳・皆川雅章共訳，森北出版株式会社，２０００年１２月２０日出版”に述べられている強化学習理論が注目されている。強化学習とは、報酬という特別な情報を手がかりに、エージェントが環境との相互作用を通してあらかじめ定められた明確なゴールを達成するための行動決定戦略を自律的に獲得する学習システムである。本手法では、自由に報酬を設定できる特徴があるため、熟練運転員の制御パラメータ調整の方針と合致する報酬を与えることが容易である。そのため、本手法を用いることにより、運転員の想定に近い制御パラメータ値を自動算出できる可能性が高まる。

前述のように、エージェントは、環境に対して試行錯誤的に行動を試み、その行動により得られた報酬を手がかりに学習する。エージェントが火力発電プラントを対象に、直接試行錯誤的に制御パラメータ調整を施すことは安全上望ましくない。そのため、プラントの特性を模擬したシミュレータを対象にエージェントが事前に学習し、この学習結果を用いてプラント制御装置の制御パラメータ調整をガイダンスする。しかし、シミュレータ特性とプラント特性が異なる場合に、エージェントは適切な制御系調整ガイダンスを提供できない可能性がある。

本発明の目的は、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できる運転支援装置および運転支援方法を提供することにある。

（１）上記目的を達成するために、本発明は、プラントの運転特性を模擬したプラントモデルと、前記プラントの制御回路を模擬した制御モデルとからなるプラントシミュレータを用いて計算したプロセス値またはそのプロセス値の特徴量を入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を調整するパラメータ調整手段とを有する運転支援装置であって、実プラントのプロセス値の計測値情報を用いて前記プラントと前記プラントモデルのプロセス値の応答特性を一致させるために調整するモデル調整手段を有し、前記パラメータ調整手段は、前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習するパラメータ修正方法学習手段と、前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するガイダンス手段とを備えるようにしたものである。
かかる構成により、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できるものとなる。

（２）上記（１）において、好ましくは、前記プラントは火力発電プラントであり、前記パラメータ調整手段は、発電出力，蒸気温度，蒸気圧力，配管メタル温度とそれぞれに対応する目標値との偏差のうち少なくとも１つを評価指標として制御回路の制御パラメータ値を修正するものである。

（３）また、上記目的を達成するために、本発明は、プラントデータとプラントシュミレータを用いて計算したシュミレータデータを入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を修正するパラメータ修正手段とを有する運転支援装置であって、前記パラメータ修正手段は、前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習するパラメータ修正方法学習手段と、シミュレータと実プラントとの操作量の変化に対するプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更する修正手段と、前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するガイダンス手段とを備えるようにしたものである。
かかる構成により、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できるものとなる。

（４）上記（３）において、好ましくは、前記修正手段は、シミュレータと実プラントとで、操作量をステップ変化させた場合のプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更するようにしたものである。

（５）上記（３）において、好ましくは、前記プラントは火力発電プラントであり、前記パラメータ修正手段は、発電出力，蒸気温度，蒸気圧力，配管メタル温度とそれぞれに対応する目標値との偏差のうち少なくとも１つを評価指標として制御回路の制御パラメータ値を修正するようにしたものである。

（６）さらに、上記目的を達成するために、本発明は、プラントの運転特性を模擬したプラントモデルと、前記プラントの制御回路を模擬した制御モデルとからなるプラントシミュレータを用いて計算したプロセス値またはそのプロセス値の特徴量を入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を調整する運転支援方法であって、実プラントのプロセス値の計測値情報を用いて前記プラントと前記プラントモデルのプロセス値の応答特性を一致させるために調整し、前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習し、前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するようにしたものである。
かかる方法により、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できるものとなる。

（７）また、上記目的を達成するために、本発明は、プラントデータとプラントシュミレータを用いて計算したシュミレータデータを入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を修正する運転支援方法であって、前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習し、シミュレータと実プラントとの操作量の変化に対するプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更し、前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するようにしたものである。
かかる方法により、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できるものとなる。

本発明によれば、エージェントが事前学習に用いたシミュレータの特性とプラントの特性に誤差があった場合においても、適切な制御パラメータ調整ガイダンスを提供できるものとなる。

以下、図１〜図１１を用いて、本発明の一実施形態による運転支援装置の構成及び動作について説明する。ここでは、本発明を火力発電プラントに適用した場合を例にして説明するが、対象を原子力発電プラントなど、その他のプラントに適用することも可能である。
最初に、図１を用いて、本実施形態による運転支援装置をプラントに適用した場合の制御システムの構成及び動作について説明する。
図１は、本発明の一実施形態による運転支援装置をプラントに適用した場合の制御システムの構成を示すシステムブロック図である。

プラント１００を制御する制御システムは、制御装置２００と、保守ツール３００と、運転支援装置４００と、入力装置７００とで構成される。

制御装置２００は、プラント１００からの計測信号を外部入力インターフェイス２１０で取り込み、受信した信号を必要に応じて記憶部２３０に記憶しながら、演算部２２０によって各種制御指令信号を演算・生成する。この制御指令信号を外部出力インターフェイス２４０を介してプラント１００に伝送することにより、プラント１００を所望の性能が得られるように運転する。また、制御装置２００には、キーボードとマウスとからなる外部入力装置７００と、画像表示装置７１０が接続されており、運転者とのインターフェイスとして機能する。

保守ツール３００は、演算部２２０でプラント１００からの計測値から制御指令値を演算するのに使われる制御ロジックを生成する機能を有している。制御系設計者は、画像表示装置７１０に表示された制御ロジック作成画面を参照しながら、外部入力装置７００を用いて制御ロジックの図面を作成する。制御ロジック生成部３２０では、外部入力装置７００から入力された設計情報を用いて制御ロジックプログラムを生成し、このプログラムは制御ロジックデータ３３０に保存される。演算部２２０は、制御ロジックデータ３３０を参照し、制御指令値を生成する。

制御系自動学習システム４００は、外部入力インターフェイス４１０と、動作判断部４２０と、磁気ディスク４３０，４４０と、モデル調整部４５０と、外部出力インターフェイス４６０と、シミュレータ５００と、エージェント６００とで構成されている。エージェント６００は、制御パラメータ調整手段である。

動作判断部４２０は、運転支援装置４００のモードに合わせて、モデル調整部４５０と、シミュレータ５００と、エージェント６００のＯＮ／ＯＦＦと、切替えスイッチ５１０，５３０，６１０，６２０，６３０の接続箇所（ａあるいはｂ）を設定する。モードの内容，接続関係，磁気ディスク４３０、４４０に保存されるデータの内容、及びモデル調整部４５０，シミュレータ５００，エージェント６００の動作については、後述する。

なお、図１では、制御装置２００と、保守ツール３００と、運転支援装置４００とが直接ケーブルで接続されているように記載しているが、光通信，インターネットを介してデータを送受信する構成の場合もある。また、制御装置，保守ツール，運転支援装置の一部の機能を分離し、別の場所に配置し、インターネット等を介してデータを送受信する場合もある。

次に、図２を用いて、本実施形態による運転支援装置によって支援されるプラントの構成について説明する。ここでは、火力発電プラントの構成を示している。
図２は、本発明の一実施形態による運転支援装置によって支援されるプラントの構成を示すシステムブロック図である。なお、図１と同一符号は、同一部分を示している。

図２に示した火力発電プラント１００においては、供給水を加熱して蒸気を発生させるボイラ１３０の熱源としての火炉部に、石炭やバイオマス等の燃料と、燃料搬送や燃焼調整に用いる空気をバーナ１４０から供給し、燃料、及び空気を火炉で燃焼し高温のガスを発生させる。ボイラ１３０を通過したガスは、排ガス処理装置１７０に送られ、含有する有害物質を除去した後、煙突１８０により大気に放出される。

また、ボイラ１３０には、給水ポンプ１２４によって水を循環供給する。火炉水壁１３１にて加熱され、蒸発した蒸気は過熱器１３２を通過する間にボイラ１３０の煙道部を通過するガスによりさらに加熱され、昇温・昇圧される。この高温・高圧の主蒸気は、タービン加減弁１２３を介してタービン１５０に導かれ、タービン１５０を駆動する。タービン１５０の軸動力は発電機１６０に伝達され、発電機１６０において電機エネルギーに変換される。タービン１５０を通過した蒸気は再びボイラ１３０に導かれ、再熱器１３３にて再加熱する。この再熱蒸気もタービン１５０に導かれ、タービン１５０を駆動し、発電する。タービン１５０を通過した蒸気は、復水器１９０を通過する際に冷却水で冷却されて腹水され、復水器１９０を通過した密は給水ポンプ１２４を通過し、再度ボイラ１３０に供給される。

なお、図２には図示していないが、過熱器、及び再熱器を複数ボイラ内に配置する場合もある。また、蒸気の通過する経路に減温器を配置する場合もある。

プラント１００の運転状態は、圧力計測器１１１や、温度計測器１１２，１１３や、出力計測器１１４や、流量計測器１１５等のデータ測定装置で計測される。また、図示していないが、プラント１００にはこの他にも種種のプロセスチを計測するためのデータ計測装置が取り付けられており、これらのデータ計測装置で計測されたデータは、外部出力インターフェイス１１０を介して、制御装置２００、及び運転支援装置４００に入力される。

また、制御装置２００からの制御指令値は、外部入力インターフェース１２０を介して入力され、バルブ１２１の開度を制御して、バーナ１４０に供給する空気量を制御し、また、バルブ１２２の開度を制御して、バーナ１４０に供給する燃料量を制御し、さらに、給水ポンプ１２４によって供給される水量を制御する。

次に、図３〜図１１を用いて、本実施形態による運転支援装置の構成及び動作について説明する。
最初に、図３を用いて、本実施形態による運転支援装置の中の磁気ディスク４３０に記憶されるデータの様態について説明する。
図３は、本発明の一実施形態による運転支援装置の中の磁気ディスクに記憶されるデータの様態を示す説明図である。

図３に示すように、磁気ディスク４３０にはプラント１００からの計測データが、計測器番号毎に、各計測時刻と共に保存される。例えば、図２における蒸気圧力計１１１，蒸気温度計１１２，１１３，出力計測器１１４，流量計測器１１５で計測した、圧力値Ｐ１１１，温度値Ｔ１１２，Ｔ１１３，出力値Ｅ１１４，流量値Ｆ１１５が、それぞれ、時刻のデータとともに、保存される。また、磁気ディスク４４０には、シミュレータ５００で計算した結果が保存されている。

次に、図４及び図５を用いて、本実施形態による運転支援装置の４つのモードについて説明する。
図４は、本発明の一実施形態による運転支援装置のモード説明図である。図５は、本発明の一実施形態による運転支援装置の各モードにおけるモデル調整部、シミュレータ、エージェントのＯＮ／ＯＦＦ、及びスイッチの接続関係の説明図である。

運転支援装置４００は、４つの機能（モード）を有している。運転支援装置４００のモードは、画像表示装置７１０に表示される図４の画面７１１を参照し、運転者が選択する。運転支援装置４００には、Ａ）制御系検証モード、Ｂ）プラントモデル調整モード、Ｃ）制御系調整ガイダンス表示モード、Ｄ）実機学習モードの４つのモードがある。運転者が、画面７１１上に表示されているボタン７１２，７１３，７１４，７１５を選択することにより、運転支援装置４００のモードが切り替わる。

図５は、４つの各モードと、モデル調整部４５０、シミュレータ５００、エージェント６００のＯＮ／ＯＦＦ、及びスイッチ５１０、５３０、６１０、６２０、６６０の接続関係を示すテーブルである。例えば、モードＡを選択した場合は、モデル調整部４５０はＯＦＦ、シミュレータ５００はＯＮ、エージェント６００はＯＮとなる。スイッチ５１０，５３０，６１０，６２０，６６０は、それぞれｂ，ｂ，ａ，ａ，ａに接続する。動作判断部４２０では、このテーブルに従って、モデル調整部４５０、シミュレータ５００、エージェント６００のＯＮ／ＯＦＦ、及びスイッチ５１０、５３０、６１０、６２０、６６０の接続関係を切り替える信号を生成し、各装置へ伝送する。なお、シミュレータ５００のＯＦＦの状態とは、スイッチ５１０，５３０のいずれもが接点ａ，ｂのいずれにも接続されていない状態である。また、エージェント６００のＯＦＦの状態とは、スイッチ６１０，６２０，６３０のいずれもが接点ａ，ｂのいずれにも接続されていない状態である。

次に、４つのモードそれぞれの機能について説明する。

最初に、Ａモード（制御系検証モード）について説明する。図１におけるプラントモデル５２０はプラント１００を模擬したモデルであり、制御指令値を入力として与えると、各種プロセス値が計算されるモデルである。また、制御モデル５４０はプロセス値を入力として与えると、制御指令値を出力するモデルである。制御モデル５４０は、制御ロジックデータ３３０に保存されている制御ロジックを元にモデルを構築しており、制御パラメータはエージェント６００からの信号で変更することができる構成である。制御パラメータＡモードでは、スイッチ５１０、５３０がそれぞれｂ，ｂに接続されており、プラントモデルと制御モデルとで閉ループが構成される。

エージェント６００は、評価学習部６３０，学習データ６４０，制御パラメータ設定部６５０で構成される。エージェント６００の機能を説明するために、まず「状態ｓ_ｔ」，「行動ａ_ｔ」，「報酬ｒ_ｔ」を定義する。

ここで、図６を用いて、本発明の一実施形態による運転支援装置で用いる「状態ｓ_ｔ」の一例を説明する。
図６は、本発明の一実施形態による運転支援装置で用いる「状態ｓ_ｔ」の説明図である。

図６（Ｈ）に示すように、「状態ｓ_ｔ」は、図６（Ｂ）に示す出力偏差と、図６（Ｃ）に示す主蒸気温度偏差と、図６（Ｄ）に示す再熱蒸気温度偏差と、図６（Ｅ）に示す主蒸気圧力偏差などの制御目標値とプロセス値の差の極大値，極小値，及び極大値，極小値を取る時間（図６（Ａ）の負荷変化の開始時刻ｔ０を基準とした時間）である。例えば、図６（Ｂ）に示す出力偏差の場合、極大値がΔＭＷ_１，極小値がΔＭＷ_２，極大値を取る時間がｔ_１１，極小値を取る時間がｔ_１２となる。なお、図６では、１つ目の極大値と極小値を状態ｓ_ｔとして選択しているが、２つ目以降の値を状態ｓｔに含めることも可能である。また、図６（Ｆ）に示す給水ＢＩＲや、図６（Ｇ）に示す燃料ＢＩＲ（ＢＩＲ：先行指令信号）などの制御指令値に関するパラメータ（Ｋ_ＦＷ，ｔ_５１，ｔ_５２，Ｋ_ＦＵ，ｔ_６１，ｔ_６２）を状態ｓ_ｔに含めることもできる。また比例ゲイン、積分時間などの制御パラメータも含めてもよい。

「行動ａ_ｔ」は、Ｋ_ＦＷ，ｔ_５１，ｔ_５２，Ｋ_ＦＵ，ｔ_６１，ｔ_６２の制御パラメータの値を一定量増減する調整と定義する。制御系の比例ゲイン、積分時間の制御パラメータを増減する調整を行動ａ_ｔに含める場合もある。また、複数の制御パラメータ値を同時に変更するする調整を行動ａ_ｔに含めてもよい。

「報酬ｒ_ｔ」は、行動ａ_ｔによる制御パラメータ調整を実施する前と後の制御性能改善度合に応じて与える値であり、以下の式（１）を用いて計算する。

ここで、α_１，α_２，α_３，α_４は、重み係数であり、δＭＷ_ｂ，δＭＷ_ａ，δＭＳＴ_ｂ，δＭＳＴ_ａ，δＲＳＴ_ｂ，δＲＳＴ_ａ，δＭＳＰ_ｂ，δＭＳＰ_ａは、それぞれ制御パラメータ調整を実施する前と後の出力偏差の最大値、主蒸気温度偏差の最大値、再熱蒸気温度偏差の最大値、主蒸気圧力偏差の最大値である（添え字のｂはbefore、ａはafterを意味する）。なお、報酬に、それぞれ偏差を時間で積分した値や、他のプロセス値（燃料流量消費量，ＮＯｘ濃度等）の偏差を含める場合もある。

次に、図７を用いて、本発明の一実施形態による運転支援装置における制御パラメータ調整の学習方法について説明する。
図７は、本発明の一実施形態による運転支援装置における制御パラメータ調整の学習方法の内容を示すフローチャートである。

図７は、エージェントがＱ学習理論を適用する場合を例にしている。この他にも、学習方法として、Ｓａｒｓａ，アクター・クリティック手法，Ｒ学習などを適用する場合もある。ここで、フローチャートにおけるＱ（ｓ，ａ）は、状態ｓにおいて、行動ａを実行することの価値を推定する値であり、この値は学習データ６４０に保存される値である。

最初に、ステップｓ１０において、評価・学習部６３０は、Ｑ（ｓ，ａ）の値を任意に初期化する。

次に、ステップｓ２０において、評価・学習部６３０は、状態ｓを初期化する。例えば、各々のＢＩＲ設定値を０とした場合を初期状態に設定する。

次に、ステップｓ３０において、制御パラメータ設定部６５０は、Ｑ（ｓ，ａ）から導かれる方策を用いて、状態ｓでの行動ａを選択する。Ｑ（ｓ，ａ）から導かれる方策の例として、ε‐グリーディー方策がある。これは、以下の式（２）で示す確率で、Ｑ（ｓ，ａ）が最大となる行動ａを選択し、以下の式（３）の確率でその他の行動ａを選択する方策である。

ここで、｜Ａ（ｓ）｜は、状態ｓにおける行動ａの総数である。

制御パラメータ設定部６５０は、状態ｓを観測すると、学習データ６４０に保存されているＱ（ｓ，ａ）の値を用いて、ε‐グリーディー方策から導かれる行動ａを取る。

次に、ステップｓ４０において、評価・学習部６３０は、ステップｓ３０で選択した行動ａ（制御パラメータ調整）を制御モデル５４０に施し、シミュレーションを実行し、その解析結果から上述の式（１）に基づいた報酬ｒと、図６で示した状態ｓ’を観測する。

次に、ステップｓ５０において、評価・学習部６３０は、以下の式（５）に従ってＱ（ｓ，ａ）の値を更新する。

ここで、式（４）にて計算されるＱ（ｓ，ａ）は、学習データ６４０に保存されており、ステップｓ５０の実行時には適時データの読み込み、書き込みを実行する。

次に、ステップｓ６０において、評価・学習部６３０は、状態ｓ’を状態ｓに更新する。

次に、ステップｓ７０において、評価・学習部６３０は、制御要求仕様を達成した場合、あるいは予め定めた回数の行動を実行した場合には、ステップｓ８０に進み、そうでない場合は、ステップｓ３０に戻り、終端判定条件が満たされるまでステップｓ３０〜ｓ７０を繰り返す。

次に、ステップｓ８０において、評価・学習部６３０は、運転者が予め定めた回数の繰り返し試行が終了すると、学習を終了する。

なお、本実施形態では、学習データ６４０には更新された最終のの値のみが保存されることになるが、必要に応じての更新履歴、それに対応する状態、行動の履歴をそれぞれ保存する場合もある。

このようにして、Ａモード（制御系検証モード）においては、エージェント６００は、図７の学習アルゴリズムシミュレータ５００を対象に制御パラメータ調整を学習する。

ここで、図８を用いて、本発明の一実施形態による運転支援装置におけるＡモード（制御系検証モード）適用時に画像表示装置７１０に表示される画面の一例について説明する。
図８は、本発明の一実施形態による運転支援装置におけるＡモード（制御系検証モード）適用時の画面の表示例の説明図である。

図４の画面７１１において、運転者がボタン７１２を選択すると、図８（Ａ）の画面７２０が表示される。

最初に、制御仕様を入力する。次に、図８（Ｂ）の画面７２１で、図７のステップｓ４０で実行するシミュレーションの負荷変化条件を設定し、図８（Ｃ）の画面７２２で、終端判定６３７で参照する制御要求仕様を設定する。

次に、解析条件を入力する。まず、ステップｓ７０の終了判定時に参照するステップの繰り返し回数、ステップｓ８０の試行終了判定で参照する試行回数を、図８（Ｄ）の画面７２３で設定する。次に、式（１）の重み係数を、図８（Ｅ）の画面７２４を用いて設定する。最後に、エージェントを識別する名前を、図８（Ｆ）の画面７２５から入力する。

次に、図８（Ａ）の画面７２０に戻り、画面７２０で計算開始を選択すると、図７のフローチャートに従ってエージェントが制御パラメータを調整し、シミュレーションを自動で実行する。

この試行の結果、制御要求仕様を達成した試行が存在した場合は、図８（Ｇ）の画面７２６が表示され、運転者は試行回数と制御要求仕様を達成した回数を確認できる。また、制御要求仕様を達成できなかった場合には、図８（Ｈ）の画面７２７が表示され、Ａモードが終了する。

運転支援装置４００のＡモード（制御系検証モード）を用いることで、プラントを運転する前に、シミュレータを用いた制御系の妥当性検証を自動的に実施することができる。すなわち、エージェントが制御要求仕様を達成する制御パラメータを発見できなかった場合は、制御ロジックデータ３３０に保存されている制御ロジックに不具合がある可能性が高いと考えられる。このため、運転者は自ら制御パラメータを調整し、シミュレーションを実行することなく、制御系の妥当性を検証できる。

次に、Ｂモード（プラントモデル調整モード）について説明する。

Ｂモード（プラントモデル調整モード）では、図５に示したように、スイッチ５１０，５２０がそれぞれａ，ａに接続されており、従ってシミュレータ５００とモデル調整部４５０とが接続される。モデル調整部４５０は、実機に与えられた制御指令をプラントモデル５２０に入力して計算されたプロセス値と、プラント１００の計測値を比較し、プラントモデルと実機の特性が同じになるようにプラントモデル４５０を調整する。モデル調整部４５０の動作の詳細については、例えば、特開１０−２１４１１２号公報や、特開２００１−１５４７０５号公報に記載されているものを適用する。

ここで、図９を用いて、本発明の一実施形態による運転支援装置におけるＢモード（プラントモデル調整モード）適用時に画像表示装置７１０に表示される画面の一例について説明する。
図９は、本発明の一実施形態による運転支援装置におけるＢモード（プラントモデル調整モード）適用時の画面の表示例の説明図である。

図４において、ボタン７１３を選択すると、図９（Ａ）に示す画面７３０が表示される。ここで、データ入力を選択すると、モデル調整に使用するプラント１００のデータ範囲を設定する、図９（Ｂ）の画面７３１が表示される。運転者によりデータ取得の開始・終了時間を設定し、次へボタンを選択すると、図９（Ｃ）の画面７３２が表示され、設定した範囲のトレンドグラフが表示される。

データ入力完了後、図９（Ａ）の画面７３０において調整開始を選択すると、モデル調整部４５０によるプラントモデル５２０の調整が開始され、その調整結果が、図９（Ｄ）の画面７３３のように表示され、Ｂモードが終了する。

次に、Ｃモード（制御系調整ガイダンスモード）について説明する。

Ｃモード（制御系調整ガイダンスモード）では、プラントの運転状態ｓと、学習データ６４０に保存されているＱ（ｓ，ａ）を用いて、制御パラメータ調整ガイダンスを表示する。本モードにおける制御パラメータ設定部６５０では、Ａモード（制御系検証モード）で適用したε‐グリーディー方策に基づいた行動ではなく、Ｑ（ｓ，ａ）が最大となる行動ａを選択する。この行動ａは、実機の運転状態における最適な制御パラメータ調整であると解釈できる。この制御パラメータ調整の内容を、外部出力インターフェイス４６０を介して画像表示装置７１０に伝送し、画像表示装置７１０に制御パラメータ調整ガイダンスを表示し、運転者に制御パラメータ調整ガイダンスとして提供する。

このガイダンスは、シミュレータでの試行結果に基づいているものであり、プラント１００とプラントモデル５２０の特性が異なる場合には最適なガイダンスでない場合もある。この場合には、Ｂモード（プラントモデル調整モード）を用いてプラントモデル５２０を調整し、次にこのシミュレータを対象にＡモード（制御系検証モード）を用いてを求め、最後にＣモード（制御系調整ガイダンスモード）を用いて制御系調整ガイダンスを運転者に提供すればよい。

ここで、図１０を用いて、本発明の一実施形態による運転支援装置におけるＣモード（制御系調整ガイダンス表示モード）適用時に画像表示装置７１０に表示される画面の一例について説明する。
図１０は、本発明の一実施形態による運転支援装置におけるＣモード（制御系調整ガイダンス表示モード）適用時の画面の表示例の説明図である。

図１０（Ａ）に示す画面７４０から、エージェント選択を選択すると、エージェント６００は、Ａモード（制御系検証モード）で学習したエージェントを、図１０（Ｂ）の画面７４１から選択する。Ａモード（制御系検証モード）において報酬ｒの重み等を変更して学習したエージェントを複数種類用意しておくことができ、Ｃモード（制御系調整ガイダンス表示モード）で使用するエージェントを画面７４１で選択することができる。エージェントを画面で選択する際には、エージェントと対応して重み係数を表示してもよいものである。運転者は、運転者が重視する制御偏差に対する重み係数の大きいエージェントを選択することにより、運転者の感覚に近い制御パラメータ調整ガイダンスを提供できる。

図１０（Ａ）に示す画面７４０から、実機データ入力を選択すると、実機の状態を取得する区間を、図１０（Ｃ）の画面７４２で設定する。

図１０（Ａ）に示す画面７４０においてガイダンス表示を選択すると、制御パラメータ調整のガイダンスが、図１０（Ｄ）の画面７４３のように表示される。画面７４３において、運転者が「実行する」を選択すると、変更後の制御パラメータ値が保守ツール３００に伝送され、制御装置２００で実行する制御ロジックにおける制御パラメータ値が更新される。

最後に、Ｄモード（実機学習モード）について説明する。

Ａモード（制御系検証モード）ではエージェントがシミュレータを対象に試行錯誤を実行し、制御パラメータ調整を学習するのに対し、Ｄモード（実機学習モード）では、実機プラントを対象に学習する構成になる。また、Ｃモード（制御系調整ガイダンス表示モード）では制御パラメータ調整後の実機状態ｓと報酬ｒを観測しないのに対して、Ｄモード（実機学習モード）では制御パラメータ調整後の実機運転状態ｓと報酬ｒを観測し、式（４）を用いて学習データ６４０内のＱ（ｓ，ａ）を更新する。従って、Ｄモード（実機学習モード）におけるエージェントは、プラント１００を対象に制御パラメータを設定し、学習する。

ここで、図１１を用いて、本発明の一実施形態による運転支援装置におけるＤモード（実機学習モード）適用時に画像表示装置７１０に表示される画面の一例について説明する。
図１１は、本発明の一実施形態による運転支援装置におけるＤモード（実機学習モード）適用時の画面の表示例の説明図である。

図１１（Ａ）に示す画面７５０から、条件入力を選択すると、式（１）における報酬ｒの重みを、図１１（Ｂ）の画面７５１で設定し、エージェントの名前を、図１１（Ｃ）の画面７５２で設定する。

本実施例では、プラント１００を対象としてＱ（ｓ，ａ）を更新し、学習する方法について述べたが、プラント１００で学習したＱ（ｓ，ａ）を、別のプラントに適用することも可能である。

以上説明した運転支援装置４００を用いることにより、プラントの制御特性を改善するのに適した制御調整ガイダンスを運転者に提供することができる。その結果、運転員の制御パラメータ調整に対する負担を軽減できる。すなわち、運転支援装置４００を用いると、実プラントのプロセス値の計測値情報を用いてプラントとプラントモデルのプロセス値の応答特性が一致するので、プラントシミュレータを対象に学習したパラメータ修正方法が、実プラントに対しても有効なパラメータ修正となる。

次に、図１２及び図１３を用いて、本発明の他の実施形態による運転支援装置の構成及び動作について説明する。ここでは、本発明を火力発電プラントに適用した場合を例にして説明するが、対象を原子力発電プラントなど、その他のプラントに適用することも可能である。
最初に、図１２を用いて、本実施形態による運転支援装置をプラントに適用した場合の制御システムの構成及び動作について説明する。
図１２は、本発明の他の実施形態による運転支援装置をプラントに適用した場合の制御システムの構成を示すシステムブロック図である。なお、図１と同一符号は、同一部分を示している。

本実施形態では、図１におけるシミュレータ５００を除外し、パラメータ修正装置８００を導入している。このパラメータ修正装置８００は、シミュレータの特性データとプラントの特性データを比較し、エージェントがガイダンスする制御パラメータの定量的な部分を修正する機能を有している。

図１の構成では、運転支援装置４００にシミュレータを搭載するため、制御系自動学習システムの構成が複雑になる場合がある。そこで、本実施形態では、予めエージェントはシミュレータで学習しておき、この学習データ６４０のみを制御系自動調整システムに搭載する構成とする。シミュレータと実機プラント特性の違いを考慮して、制御パラメータを修正する機構として、パラメータ修正装置８００を搭載する。これにより、運転支援装置４００にシミュレータを搭載することなく適切な制御パラメータガイダンスを提供することが可能となる。

以下、パラメータ修正装置８００の動作について説明する。パラメータ修正装置８００は、データ処理部８１０においてプラントの特徴を示すデータとして、例えばステップ応答試運転の結果を抽出し、そのデータをプラント特性データ８２０に保存する。シミュレータ特性データ８３０には、ステップ応答解析結果などの、シミュレータの特徴を示すデータが保存されている。

次に、図１３を用いて、本実施形態による運転支援装置に用いる特性比較部８４０の動作について説明する。
図１３は、本発明の他の実施形態による運転支援装置に用いる特性比較部の動作説明図である。

図１３（Ａ）に示すように、燃料流量のステップ状に変化させた時、実機における主蒸気温度は、図１３（Ｂ）に示す変化幅ＭＳＴ_Ｒとなり、再熱蒸気温度は、図１３（Ｄ）に示す変化幅ＲＳＴ_Ｒとなる。また、シミュレータにおける主蒸気温度は、図１３（Ｃ）に示す変化幅ＭＳＴ_Ｓとなり、再熱蒸気温度は、図１３（Ｅ）に示す変化幅ＲＳＴ_Ｓとなる。このような変化幅となるとき、以下の式（５）、式（６）で計算したφ１，φ２を制御パラメータ修正部８５０に伝送する。

また、図１３（Ａ）に示したような燃料ステップ時における、その他のプロセス値への影響を比較した結果も、制御パラメータ修正部８５０に伝送される。また、給水ステップ時の実機、及びシミュレータのプロセス値へ与える影響を比較した結果も、制御パラメータ修正部８５０に伝送される。このような、操作量の変化が、各プロセス値に与える影響について実機特性とシミュレータ特性を比較した結果を、制御パラメータ修正部８５０に伝送する。

制御パラメータ修正部８５０は、エージェントが提示した制御パラメータ設定値の変更幅を、φ１，φ２を用いて修正する。例えば、エージェントが提示した制御パラメータ調整が、主蒸気温度を改善することを期待して燃料流量を調整するものである場合に、この燃料流量の調整幅にφ１を乗じた値を制御パラメータ修正部８５０において計算し、計算結果を画像表示装置７１０に表示する。これにより、実機特性にあわせた制御パラメータ調整ガイダンスを、例えば、図１０（Ｄ）に示すような形で、運転者に提供することができる。

以上説明したように、本実施形態によれば、プラントの制御特性を改善するのに適した制御調整ガイダンスを運転者に提供することができる。その結果、運転員の制御パラメータ調整に対する負担を軽減できる。

すなわち、例えば、燃料流量の制御パラメータ値を増加し、火力発電プラントに投入する燃料流量を一定量増加する場合、実プラント、及びシミュレータの蒸気温度は両者とも上昇する。このように、プラントとシミュレータの定性的な特性は一致するため、燃料流量を増加するという操作がシミュレータに対して有効である場合は、同様の操作が実プラントに対しても有効となる。しかし、プラントの特性は経年変化により時々刻々と変化していることもあり、プラントとシミュレータの蒸気温度の上昇幅は一致しない可能性がある。そのため、燃料流量を一定量増加した場合、シミュレータとプラントにおける定量的な蒸気温度の改善効果は異なる。このため、シミュレータに対して有効であった制御パラメータ調整であっても、プラントに対しては有効な調整とならない可能性がある。そこで、シミュレータに対して有効な制御パラメータ調整に関する情報を、制御パラメータ値の増減の方向に関する情報と、制御パラメータ値の変更幅に関する情報に分割し、制御パラメータ値の変更幅に関する情報をプラント特性とシミュレータ特性を比較した結果に基づいて修正することにより、プラントに対しても有効な制御パラメータ調整の情報を得る。プラント特性とシミュレータ特性とは、以下に述べる方法を用いて比較する。火力発電プラントの試運転では例えば燃料流量をステップ状に変化させた時の蒸気温度の変動幅を計測し、プラント特性を評価している。シミュレータに同様の試験条件を入力した場合における蒸気温度の変動幅と計測結果を比較し、燃料流量変化時における蒸気温度への感度の違いを計算する。この計算結果に基づいて制御パラメータ値の変更幅を修正する。これによって、プラントに適した制御系調整のガイダンスをプラントの運転員に提供する。

本発明の一実施形態による運転支援装置をプラントに適用した場合の制御システムの構成を示すシステムブロック図である。本発明の一実施形態による運転支援装置によって支援されるプラントの構成を示すシステムブロック図である。本発明の一実施形態による運転支援装置の中の磁気ディスクに記憶されるデータの様態を示す説明図である。本発明の一実施形態による運転支援装置のモード説明図である。本発明の一実施形態による運転支援装置の各モードにおけるモデル調整部、シミュレータ、エージェントのＯＮ／ＯＦＦ、及びスイッチの接続関係の説明図である。本発明の一実施形態による運転支援装置で用いる「状態ｓ_ｔ」の説明図である。本発明の一実施形態による運転支援装置における制御パラメータ調整の学習方法の内容を示すフローチャートである。本発明の一実施形態による運転支援装置におけるＡモード（制御系検証モード）適用時の画面の表示例の説明図である。本発明の一実施形態による運転支援装置におけるＢモード（プラントモデル調整モード）適用時の画面の表示例の説明図である。本発明の一実施形態による運転支援装置におけるＣモード（制御系調整ガイダンス表示モード）適用時の画面の表示例の説明図である。本発明の一実施形態による運転支援装置におけるＤモード（実機学習モード）適用時の画面の表示例の説明図である。本発明の他の実施形態による運転支援装置をプラントに適用した場合の制御システムの構成を示すシステムブロック図である。本発明の他の実施形態による運転支援装置に用いる特性比較部の動作説明図である。

符号の説明

１００…プラント
２００…制御装置
３００…保守ツール
４００…運転支援装置
５００…シミュレータ
６００…エージェント
５１０，５３０，６１０，６２０，６６０…スイッチ
５２０…プラントモデル
５４０…制御モデル
６３０…評価学習部
６４０…学習データ
６５０…制御パラメータ設定部

Claims

プラントの運転特性を模擬したプラントモデルと、
前記プラントの制御回路を模擬した制御モデルとからなるプラントシミュレータを用いて計算したプロセス値またはそのプロセス値の特徴量を入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を調整するパラメータ調整手段とを有する運転支援装置であって、
実プラントのプロセス値の計測値情報を用いて前記プラントと前記プラントモデルのプロセス値の応答特性を一致させるために調整するモデル調整手段を有し、
前記パラメータ調整手段は、
前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習するパラメータ修正方法学習手段と、
前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するガイダンス手段とを備えたことを特徴とする運転支援装置。
請求項１記載の運転支援装置において、
前記プラントは火力発電プラントであり、
前記パラメータ調整手段は、発電出力，蒸気温度，蒸気圧力，配管メタル温度とそれぞれに対応する目標値との偏差のうち少なくとも１つを評価指標として制御回路の制御パラメータ値を修正することを特徴とする運転支援装置。
プラントデータとプラントシュミレータを用いて計算したシュミレータデータを入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を修正するパラメータ修正手段とを有する運転支援装置であって、
前記パラメータ修正手段は、
前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習するパラメータ修正方法学習手段と、
シミュレータと実プラントとの操作量の変化に対するプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更する修正手段と、
前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示するガイダンス手段とを備えたことを特徴とする運転支援装置。
請求項３記載の運転支援装置において、
前記修正手段は、シミュレータと実プラントとで、操作量をステップ変化させた場合のプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更することを特徴とする運転支援装置。
請求項３記載の運転支援装置において、
前記プラントは火力発電プラントであり、
前記パラメータ修正手段は、発電出力，蒸気温度，蒸気圧力，配管メタル温度とそれぞれに対応する目標値との偏差のうち少なくとも１つを評価指標として制御回路の制御パラメータ値を修正することを特徴とする運転支援装置。
プラントの運転特性を模擬したプラントモデルと、前記プラントの制御回路を模擬した制御モデルとからなるプラントシミュレータを用いて計算したプロセス値またはそのプロセス値の特徴量を入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を調整する運転支援方法であって、
実プラントのプロセス値の計測値情報を用いて前記プラントと前記プラントモデルのプロセス値の応答特性を一致させるために調整し、
前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習し、
前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示することを特徴とする運転支援方法。
プラントデータとプラントシュミレータを用いて計算したシュミレータデータを入力とし、所定の対象プロセス値とその目標値との偏差を少なくとも１つの評価指標として制御回路の制御パラメータ値を修正する運転支援方法であって、
前記制御パラメータの修正結果に対する評価指標値の変化量に基づいて前記制御パラメータの増加または減少の方向性と修正量を学習し、
シミュレータと実プラントとの操作量の変化に対するプロセス値の応答特性の相違に基づいて前記制御パラメータの修正量を変更し、
前記プラントのプロセス値またはその特徴量、若しくは制御パラメータ値の増加量または減少量を表示画面に表示することを特徴とする運転支援方法。