JP2009244933A - プラントの制御装置および火力発電プラントの制御装置 - Google Patents

Abstract

【課題】プラントの特性が未知の場合、ならびにプラントの特性変化や制御仕様変更に対して、評価関数を自動的に調整することにより、常に望ましい操作方法の学習を可能とするプラント制御装置を提供する。
【解決手段】学習対象であるプラントの特性を模擬するモデルを操作した結果得られるモデル出力及び評価関数に基づいて、評価関数パラメータを適切に調整し制御対象の特性に適した評価関数を計算する。計測信号データベース、プラントに操作信号を与えた時の計測信号値を推定するモデル、計測信号に該当するモデル出力が目標値を達成するように、操作信号に該当するモデル入力の生成方法を学習する操作信号学習手段、操作信号学習手段がモデルを操作した結果に対する、評価関数値を計算する評価関数計算手段、評価関数を計算する際に用いる評価関数パラメータを調整する評価関数調整手段を備える。
【選択図】図１

Description

本発明は、プラントの制御装置に関するものであり、特に石炭等の化石燃料を用いて発電する火力発電プラントの制御装置に関する。

プラントの制御装置では、制御対象であるプラントから得られる計測信号を処理し、制御対象に与える操作信号を算出し、伝達する。制御装置には、プラントの計測信号がその目標値を満足するように、操作信号を計算するアルゴリズムが実装される。

プラントの制御に用いられている制御アルゴリズムとして、ＰＩ（比例・積分）制御アルゴリズムがある。ＰＩ制御では、プラントの計測信号とその目標値との偏差に比例ゲインを乗じた値に、偏差を時間積分した値を加算して、制御対象に与える操作信号を導出する。

ＰＩ制御を用いた制御アルゴリズムは、ブロック線図などで入出力関係を記述することができるため、入力と出力の因果関係が分かりやすく、多くの適用実績がある。しかし、プラント運転形態の変更や環境の変化など、事前に想定していない条件でプラントを運転する場合には、制御ロジックを変更するなどの作業が必要になる場合がある。

一方、プラントの運転形態や環境の変化に適応して、制御アルゴリズムやパラメータ値を自動的に修正する適応制御や学習アルゴリズムを用いた制御方式がある。学習アルゴリズムを用いてプラントを制御する制御装置の操作信号を導出する方法として、特許文献１には、強化学習理論を用いた制御装置に関する技術が記載されている。この方法では、制御装置に制御対象の特性を予測するモデルと、モデル出力がそのモデル出力の目標値を達成するようなモデル入力の操作方法を学習する学習部を持つ。学習部において学習したモデル入力をモデルに入力することで、モデル出力がその目標値に近づく効果が得られる。

このような学習型適応制御では、モデル出力が目標値を達成する操作方法を学習するため、操作の結果得られたモデル出力の値に応じて、目標値への達成度である評価関数値を計算し、学習部はこの評価関数値を指標に操作方法を学習する。

一般に、学習制御システムを構築する場合には、この評価関数の設計はシステムの設計者に委ねられ、設計者は制御目標値や学習時間等の制御仕様、及び制御対象の特性を考慮して適切な評価関数を設計する必要がある。

また、特許文献２には、強化学習による制御器において、目標の達成度に応じた報酬信号（通常の報酬定義）に、外乱生成器により発生させた制御系の外乱を考慮した報酬信号を加味した評価信号を定義し、その期待値を最大化するように学習することで、環境変化にロバストな制御器を提供することが開示されている。

一方、学習制御システムに対する適切な評価関数の設計に関する技術として、非特許文献１には、強化学習理論による学習機構に対し、望ましい行動が得られるように設計された評価関数（報酬）を、学習の進度に応じて適切に与えることにより、効率的に学習する技術が記載されている。

特開２０００−３５９５６号公報 特開２００２−１８９５０２号公報 山科、本山、浦川、黄、薮田、"報酬変化を用いた強化学習によるロボットの前進行動獲得"、日本機会学会論文集（Ｃ）、Ｖｏｌ．７２、Ｎｏ．７１７、ｐ．ｐ．１５７４−１５８１、２００６．

特許文献１、２及び非特許文献１の技術をプラントの制御装置へ適用した場合、制御目標を達成するプラントの操作信号の生成方法を自動的に学習できる。

ところが、プラントに対する知見や、特性の把握が不充分な場合、制御仕様を満足する評価関数を設計できず、望ましい操作方法を学習できない可能性がある。さらに、プラントの運転条件の変更や経年劣化等によってプラントの特性が時々刻々と変化する点、ならびに要求される制御仕様の変更に対して、即応的に評価関数を再設計することは困難となるため、望ましい操作方法を学習できない可能性がある。

本発明は、以上の従来技術が有する課題に鑑みてなされたものであり、その目的は、制御対象であるプラントの特性が未知の場合、ならびにプラントの特性変化や制御仕様が変更される場合に対しても、適切な評価関数を自動的に構築し、制御目標値を達成する操作方法の学習を可能とするプラントの制御装置を提供することにある。

本発明はその一面において、過去の計測信号が保存される計測信号データベース、
プラントに操作信号を与えた時の計測信号の値を推定するモデル、
前記モデルにおいて、計測信号に該当するモデル出力が目標値を達成するように、操作信号に該当するモデル入力の生成方法を学習する操作信号学習手段、
前記操作信号学習手段が前記モデルを操作した結果に対する、目標値への達成度を示す評価関数値を、モデル出力を基に計算する評価関数計算手段、および
前記操作信号学習手段及び、学習で得られる評価関数値の履歴やモデル出力学習履歴に関する情報を保存する学習情報データベース
を備え、プラントから取得した計測信号を用いてプラントの操作信号を計算し、該操作信号をプラントに送信するプラントの制御装置において、
前記学習情報データベースから評価関数の調整に用いる設定条件情報を入力し、前記評価関数計算手段において評価関数を計算する際に用いる評価関数パラメータを調整するとともに、評価関数パラメータ調整履歴を含む調整結果に関する情報を保存する評価関数調整手段を設けたことを特徴とする。

本発明の望ましい実施態様によれば、学習対象であるプラントの特性を模擬するモデルを操作した結果得られるモデル出力、及び評価関数値に基づいて、評価関数のパラメータを適切に調整することで制御対象の特性に適した評価関数を計算する。これにより、プラントの特性が未知の場合や運用条件の変更によるプラントの特性変化、及び制御仕様の変更に対しても、常に望ましい操作方法を学習することができる。

本発明のその他の目的と特徴は、以下に述べる実施形態の中で明らかにする。

本発明の制御装置において、前記評価関数計算手段には、評価関数値の期待値を決定するパラメータ、及び評価関数の最良値の獲得閾値であるパラメータのうち、少なくとも一つを備えることが望ましい。また、前記操作信号学習手段が前記モデルを操作した結果得られるモデル出力、又は複数のモデル出力の重み付け和である、基準モデル出力を基に評価関数値を計算する機能を備える。

また、評価関数調整手段には、過去の評価関数パラメータの調整履歴に付随するプラントの計測信号と、操作方法学習時のプラントの計測信号との距離計算から類似度を算出する機能と、算出した類似度が予め与えられた閾値以下かつ最小となる（最も類似する）調整履歴に従って前記評価関数パラメータを調整する機能と、学習時に得られるモデルの出力情報、及び評価関数値情報を基に評価関数パラメータを調整する機能のうち、少なくとも一つを備えることが望ましい。

過去の評価関数パラメータの調整履歴を用いる場合、過去に学習が成功した調整履歴の中から、現在のプラントの運転状態に最も類似した運転状態において実行された調整履歴を用いるため、調整に要する計算コストを省略できると共に、学習が失敗するリスクを低減できる。モデル出力情報を基にパラメータを調整する場合、未経験の運転状態においても学習時に得られるモデル出力情報を基に、学習時の運転状態に応じたパラメータ調整が自律的に実行され、所望の操作方法を学習できる。

また、評価関数調整手段では、モデル出力情報を基に評価関数パラメータを調整する際に、前記基準モデル出力を基に計算される評価関数値が予め与えられた閾値以上となるか否かによって、評価関数値の期待値を決定する前記パラメータを増加あるいは減少させる機能と、前記基準モデル出力が評価関数の最良値の獲得閾値である前記パラメータ以下であるか否かによって、該パラメータ値を増加あるいは減少させる機能のうち、少なくとも一つを備えることが望ましい。

また、評価関数調整手段では、評価関数値の期待値を決定する前記パラメータを調整する上で用いる前記閾値を決定する際に、該閾値は学習を通じて実質的に一定の値とする機能と、学習の初期状態では閾値を小さい値に設定し、学習が進むに従って線形に増加させる機能と、同様に学習の初期状態では小さい値に設定し、学習が進むに従って非線形に増加させる機能のうち、少なくとも一つを備えることが望ましい。

本発明の制御装置には、計測信号データベース及び、学習情報データベースに保存される情報を画面に表示する機能と、操作信号学習手段で用いる学習条件を画面表示機能を通じて設定する機能と、評価関数調整手段で用いる調整条件を画面表示機能を通じて設定する機能と、操作方法の学習時に評価関数の概形及びモデル出力値の学習結果の履歴を画面に表示する機能のうち、少なくとも一つを備えることが望ましい。

学習及び評価関数パラメータの調整条件設定を、画像表示装置を介して入力する機能を備えることにより、プラントの運転員はプラントの制御ニーズに応じて適切な制御目標値及び調整条件を設定できる。また、履歴データの類似度の計算に用いる計測データ項目を運転状況に応じて適切に設定できる。さらに、学習時に評価関数の概形、評価関数値及びモデル出力値を画像表示装置に表示する機能を備えることにより、プラントの運転員が所望の操作方法を学習できたかどうかを確認し、予め設定した最大学習回数以前に学習を終了させるかの可否を決定できる。

また本発明は、他の一面において、火力発電プラントの計測信号を用いて、前記火力発電プラントに与える操作信号を導出する操作信号生成部を備えた火力発電プラントの制御装置であって、
前記計測信号に火力発電プラントから排出されるガスに含まれる窒素酸化物濃度、一酸化炭素濃度、及び硫化水素濃度の少なくとも一つを含み、
前記操作信号に空気ダンパの開度、空気流量、燃料流量、排ガス再循環流量の少なくとも一つを決定する信号を含み、
前記制御装置が、
過去の計測信号が保存される計測信号データベース、
火力発電プラントに操作信号を与えた時の計測信号の値を推定するモデル、
前記モデルにおいて、計測信号に該当するモデル出力が前期画像表示装置を通じて設定した目標値を達成するように、操作信号に該当するモデル入力の生成方法を学習する操作信号学習手段、
前記操作信号学習手段が前記モデルを操作した結果に対する、目標値への達成度を示す評価関数値を、モデル出力を基に計算する評価関数計算手段、
前記操作信号学習手段及び、学習で得られる評価関数値の履歴やモデル出力学習履歴に関する情報を保存する学習情報データベース、及び
前記学習情報データベースから評価関数の調整に用いる設定条件情報を入力し、前記評価関数計算手段において評価関数を計算する際に用いる評価関数パラメータを調整するとともに、評価関数パラメータ調整履歴を含む調整結果に関する情報を保存する評価関数調整手段を設けたことを特徴とする。

また、計測信号データベースと学習情報データベースに保存される情報を画面に表示する機能と、操作信号学習手段で用いる学習条件を画面表示機能を通じて設定する機能と、評価関数調整手段で用いる調整条件を画面表示機能を通じて設定する機能と、操作方法の学習時の評価関数の概形やモデル出力値の学習結果の履歴を画面に表示する機能のうちの少なくとも一つを備えることができる。

本発明を火力発電プラントへ適用した一実施例では、火力発電プラントにおけるモデル出力に該当する窒素酸化物濃度、一酸化炭素濃度、及び硫化水素濃度に関する制御保証値、または評価関数計算に用いる重み係数を画像表示装置を介して入力する。また、評価関数調整条件を設定する際に、前記類似度を計算するために計測データに該当する負荷率、炭種コード、給水流量、ガス温度等のデータ項目を画像表示装置を介して選択することができる。

次に、本発明の実施例であるプラントの制御装置について図面を参照して説明する。

図１は、本発明のプラントの制御装置における、第１の実施例を示すシステム図である。図１において、プラント１００は制御装置２００によって制御されるように構成される。

制御対象のプラント１００を制御する制御装置２００には演算装置として、計測信号変換手段３００、数値解析手段４００、モデル５００、操作信号生成手段６００、操作信号学習手段７００、評価関数計算手段８００、及び評価関数調整手段９００が夫々設けられている。

また、制御装置２００には、データベースとして計測信号データベース２１０、モデル構築データベース２２０、学習情報データベース２３０、制御ロジックデータベース２４０、及び操作信号データベース２５０が夫々設けられている。

また、制御装置２００には、外部とのインターフェイスとして、外部入力インターフェイス２０１、および外部出力インターフェイス２０２が設けられている。

制御装置２００では、外部入力インターフェイス２０１を介して、プラント１００から計測信号１を制御装置２００に取り込む。また、外部出力インターフェイス２０２を介して、制御対象のプラント１００に操作信号１６を送るようになっている。

制御装置２００では、プラント１００の計測信号１を、外部入力インターフェイス２０１を介して取り込み、取り込んだ計測信号２は計測信号データベース２１０に保存される。また、操作信号生成手段６００にて生成させる操作信号１５は、外部出力インターフェイス２０２に伝送されると共に、操作信号データベース２５０に保存される。

計測信号変換手段３００では、計測信号データベース２１０に保存される計測データ３をモデル構築データ４に変換し、これがモデル構築データベース２２０へ保存される。また、計測データ３に含まれる直前の操作の結果得られた操作条件は、評価関数調整手段９００に入力される。

数値解析手段４００は、その内部に、プラント１００を模擬する物理モデルを備えており、このモデルを用いて、プラント１００の特性を予測する。数値解析手段４００で実行して得られた数値解析データ５は、モデル構築データベース２２０に保存される。

学習情報データベース２３０に保存される学習データ１３は、操作信号学習手段７００、及び本発明の主たる特徴を形成する評価関数調整手段９００において生成される。操作信号学習手段７００が学習したモデル操作信号１０は操作信号生成手段６００へ入力され、それを現在のモデル操作量に付加したモデル入力７がモデル５００へ入力される。

モデル５００は、プラント１００の制御特性を模擬する機能を持つものである。すなわち、制御指令となる操作信号１６をプラント１００に与え、その操作結果の計測信号１を得るのと同等のことを模擬演算するものである。この模擬演算のために、モデル５００は操作信号１６に相当するモデル入力７を操作信号生成手段６００から受け、モデル構築データベース２２０に保存されるモデル構築データ６を用いて、ニューラルネットワークなどの統計的手法によりプラント１００の制御による特性変化を模擬演算して、モデル出力８を得るように構成される。ここで、モデル出力８は、プラント１００の計測信号１の予測値となる。尚、モデル入力、出力共に、その数は１種類に限定されず、それぞれ複数種類用意することができる。

操作信号生成手段６００では、学習情報データベース２３０より出力された学習データ１２、及び制御ロジックデータベース２４０に保存される制御ロジックデータ１４を用いて、計測信号１が制御目標値を達成するように操作信号１５を生成する。この制御ロジックデータベース２４０には、制御ロジックデータ１４を算出する制御回路、及び制御パラメータが保存される。この制御ロジックデータ１４を算出する制御回路には、従来技術として公知のＰＩ制御を用いることができる。

操作信号学習手段７００は、学習情報データベース２３０に保存される学習の拘束条件、モデル出力の制御目標値等を含む学習情報データ１２、及び学習時にモデルを操作した結果に対する評価値である評価関数値９を用いてモデル入力７の操作方法を学習する。すなわち、モデル入力７への現在の操作量に対する増減量等を学習する。ここで、学習の拘束条件とは、予め設定された学習条件および制約等である。

評価関数計算手段８００は、前記操作信号学習手段７００がモデル５００を操作した結果得られるモデル出力８、及び前記評価関数調整手段９００から出力される評価関数パラメータ値１１を基に評価関数値９を計算し、操作信号学習手段７００、及び評価関数調整手段９００にそれぞれ出力する。

評価関数調整手段９００は、実際のプラント１００の捜査の結果として得られた計測信号データ３と、これの予測値に相当するモデル出力８を入力する。また、評価関数値９、及び学習情報データベース２３０に保存されているパラメータ調整に用いる条件設定や過去のパラメータ調整履歴を含む学習情報データ１２を用いて、評価関数パラメータ値１１を決定し、前記評価関数計算手段８００へ出力する。このとき、学習で用いたパラメータ調整履歴及び、その時のプラント計測信号情報を含む学習データ１３を、学習情報データベース２３０へ保存する。

このように、操作方法の学習時に評価関数９を、学習時のモデル出力，評価関数値，及び過去のパラメータ調整履歴を用いて、適応的に調整するメカニズムを具備する。これにより、プラントの経年変化や運転条件の変更に伴うモデルの特性変更に対しても、自律的に適切な評価関数を設定できるため、人手を介さずに所望の操作方法を学習できる。

尚、操作信号学習手段７００、評価関数計算手段８００、及び評価関数調整手段９００の詳細な機能については、後述する。また、操作信号学習手段７００から学習情報データベース２３０に保存される学習データ１３には、操作前後のモデル入力、及びその操作の結果得られるモデル出力に関する情報が含まれている。学習情報データベース２３０では、現在のモデル入力情報に対応する学習データ１２が選択され、操作信号生成手段６００に入力される。

プラント１００の運転員は、キーボード９１１とマウス９１２で構成される外部入力装置９１０、制御装置２００とデータを送受信できるデータ送受信処理部９２２を備えた保守ツール９２０、及び画像表示装置９３０を用いることにより、制御装置２００に備えられている種種のデータベースに保存される情報にアクセスすることができる。また、前記した夫々の装置を用いることにより、数値解析手段４００、操作信号学習手段７００、及び評価関数調整手段９００で用いる設定パラメータを入力することができる。

保守ツール９２０は、外部入力インターフェイス９２１、データ送受信処理部９２２、及び外部出力インターフェイス９２３で構成される。

外部入力装置９１０で生成した保守ツール入力信号９１は、外部入力インターフェイス９２１により保守ツール９２０に取り込まれる。保守ツール９２０のデータ送受信処理部９２２では、保守ツール入力信号９２の情報に従って、制御装置２００から取得した入出力データ情報９０を取得する。また、データ送受信処理部９２２では、保守ツール入力信号９２の情報に従って、数値解析手段４００、操作信号学習手段７００、及び評価関数調整手段９００で用いるパラメータ設定値を含む入出力データ情報９０を出力する。

データ送受信処理部９２０では、入出力データ情報９０を処理した結果得られる保守ツール出力信号９３を、外部出力インターフェイス９２３に送信する。保守ツール出力信号９４は、画像表示装置９３０に表示される。

尚、上記の本発明の制御装置２００では、計測信号データベース２１０、モデル構築用データベース２２０、学習情報データベース２３０、制御ロジックデータベース２４０、及び操作信号データベース２５０が制御装置２００の内部に配置されるが、これらの全て、あるいは一部を制御装置２００の外部に配置することもできる。

また、数値解析手段４００が制御装置２００の内部に配置されているが、これを制御装置２００の外部に配置することもできる。

例えば、数値解析手段４００、及びモデル構築データベース２２０を制御装置２００の外部に配置し、数値解析データ５をインターネット経由で制御装置２００に送信するようにしてもよい。

図２は、以上の説明による実施例における操作方法の学習時の動作フローチャートである。図２のフローチャートは、ステップ１０００、１１００、１２００、１３００、１４００、１５００、１６００、１７００、１８００、１９００、２０００、２１００、及び２２００を組み合わせて実行する。以下では、それぞれのステップについて説明する。

操作信号学習手段７００の動作開始後、ステップ１０００では、学習時の最大学習回数、最大操作回数、モデル出力８の制御目標値、評価関数の計算時に用いる各モデル出力の重み係数値、評価関数パラメータの初期値、及び評価関数パラメータの学習率等の種種のパラメータ値を設定する。

ステップ１１００では、ステップ１２００〜２１００の繰り返し回数を示す値である学習回数lを初期化（l＝１に設定）する。次に、ステップ１２００では、学習を開始する際のモデル入力の初期値を設定する。モデル入力の初期値としては、任意の値を選ぶことができる。ステップ１３００では、ステップ１４００〜１９００の繰り返し回数を示す値である操作回数oを初期化（o＝１に設定）する。

ステップ１４００では、操作信号学習手段を動作させ、モデル入力の操作量を決定する。ステップ１５００では、決定したモデル入力の操作量を用いてモデル入力を更新する。ステップ１６００では、更新したモデル入力をモデル５００へ入力し、モデル入力７に対するモデルの演算結果であるモデル出力８を計算する。

ステップ１７００では、計算したモデル出力値、及び評価関数調整手段９００により決定された評価関数パラメータ１１を用いて、評価関数計算手段８００を動作させてモデル操作結果に対する評価関数値９を計算し操作信号学習手段７００へ出力する。

ステップ１８００では、計算した評価関数値を基に強化学習理論やニューラルネットワーク等の種種の学習アルゴリズムを用いて、モデル入力の操作方法を学習する。

ステップ１９００は分岐であり、操作回数oがステップ１０００で設定した最大操作回数よりも小さい場合はoを１加算した後にステップ１４００に戻り、oが最大操作回数に達している場合はステップ２０００に進む。

ステップ２０００では、直前の操作の結果得られた計測信号データ、操作方法の学習の結果得られたモデル出力情報、及び評価関数値を基に評価関数調整手段９００を動作させ、評価関数パラメータを調整する。尚、評価関数パラメータの調整の詳細な説明については、後述する。

ステップ２１００は分岐であり、学習回数lがステップ１０００で設定した最大学習回数よりも小さいか、もしくは学習終了条件を満たさない場合にはlを１加算した後にステップ１２００に戻り、lが最大学習回数に達しているか、終了条件を満たす場合はステップ２２００に進む。ここで学習終了条件とは、保守ツール９２０から制御装置１００に対して、学習の強制終了信号が入力された場合を指す。

ステップ２２００では、操作方法の学習結果、及び評価関数パラメータの調整結果を学習情報データベース２３０に保存し、操作方法の学習の動作を終了させるステップに進む。

以上の動作によって、操作方法の学習では、プラント１００の運転員が設定した学習条件、及び評価関数の調整条件に基づき、任意のモデル入力条件からモデル出力目標値へ到達する操作方法を自律的に獲得できる。

また、評価関数計算手段８００で用いる評価関数の一例として、図３に示す関数を用いることができる。図３では、評価関数値Ｅが（数１）によって与えられる。

図３、及び（数１）に示すように、評価関数値Ｅは基準モデル出力ｆｃの関数であり、その概形はパラメータａ，ｂ，Ｅｍａｘにより決定される。即ち、評価関数値Ｅは基準モデル出力ｆｃが小さいほど大きい値となり、ｆｃ≦ｂのときに最良値（最大値）を取る。尚、この場合は、基準モデル出力が小さい値を取るほど望ましい状態であるとしているが、その逆の場合でも、モデル出力が大きいほど評価関数値が大きい値を取るようにすることで対応できる。またこの場合は、評価関数値の最大値を最良値としているが、最小値を最良値とすることもできる。

基準モデル出力は操作信号学習手段７００が操作方法を学習する際に得られるモデル出力ｆｉ（ｉはモデル出力を識別するための添え字）を基に（数２）により導出される。

（数２）に示すように、基準モデル出力ｆｃは学習時の操作の結果得られたモデル出力ｆｉの重み付け和により導出する。（数２）において、Ｃｉはモデル出力ｉの重み付け係数、Ｉはモデル出力の添え字の集合である。モデル出力ｆｉは操作方法の学習時には直前の操作の結果得られたモデル出力を用いる。一方、評価関数パラメータの調整時には、ｆｉは以下の３種類の手段のうち少なくとも１つの手段を用いて導出することができる。

（１）直前の学習で得られたモデル出力値を採用、
（２）直前の学習から一定期間前の学習で得られたモデル出力値の平均値を採用、
（３）直前の学習までで得られたモデル出力値の最良値を採用。

図３及び（数１）において、パラメータａは評価関数値の期待値を決定するパラメータであり、値が大きいほど任意の基準モデル出力に対する評価関数の期待値は大きくなる。パラメータｂは評価関数値が最良値Ｅ_ｍａｘを取るための基準モデル出力の閾値を決定するパラメータであり、基準モデル出力がこの値より小さい値を取る場合は、評価関数値は最大値Ｅ_ｍａｘとなる。操作信号学習手段７００は、評価関数値を最大化するように学習することでモデル出力を最小化する操作方法を獲得できる。即ち、パラメータｂの値はモデル出力の最小値に一致することが望ましい。

尚、評価関数には図３及び（数１）に示す以外のもの、例えば図４に示す概形の評価関数を用いても良い。図４（ａ）は評価関数値の得やすさを線形関数で表現したものであり、図４（ｂ）は基準モデル出力がパラメータｂ以下となる場合、評価関数値が最良値Ｅ_ｍａｘを取り、ｂよりも大きくなる場合は０となる。図４（ａ），（ｂ）いずれの評価関数についても、基準モデル出力値が小さいほど評価関数値を大きくすることを前提とする。

以下では、図２におけるステップ２０００の詳細な動作について、フローチャート図を参照しながら説明する。図５は、ステップ２０００の評価関数パラメータの調整アルゴリズムの動作を示すフローチャート図である。図５に示したように、評価関数パラメータの調整アルゴリズムの動作フローチャートは、ステップ２０１０、２０２０、２０３０、２０４０、及び２０５０を組み合わせて実行する。以下、それぞれのステップについて説明する。

ステップ２０１０は分岐であり、評価関数パラメータを調整する手段を決定する。調整手段として、（１）過去のパラメータ調整履歴による調整、（２）学習結果に基づく調整、の２種類から決定する。調整手段として（１）を用いる場合は、ステップ２０２０へ進み、（２）を用いる場合はステップ２０５０へ進む。

ステップ２０２０では、学習情報データベース２３０に保存されている過去の評価関数パラメータの調整履歴と、直前のプラント操作の結果得られた計測データの類似度を計算する。図６に、学習情報データベース２３０に保存される過去の計測データ、及びそのときの評価関数パラメータ調整履歴を表すデータの態様の一例を示す。図６に示すように、学習情報データベース２３０には、過去に評価関数パラメータを調整したときの運転条件を表す計測データｍｊｋ、及びそのときのパラメータ調整履歴ａｊｌ、ｂｊｌが保存される。ここで、ｊは過去の計測データ、及び調整履歴を識別するための添え字、ｋは計測データ項目を識別するための添え字、ｌは学習回数の添え字をそれぞれ意味する。また、図６中のＳｊは一連の計測データとパラメータ調整履歴の組合せを識別するための符号である。

類似度は、（数３）に従って計算する。

（数３）に示すように、類似度ｓｉｍｊは過去の計測データｍｊｋと直前のプラント操作の結果得られた計測データθｋとのユークリッド距離によって定義される。ここで、Ｋは添え字ｋの集合である。

類似度ｓｉｍｊの値小さいほど、計測データθｋは過去の計測データｍｊｋに類似するデータであり、即ち、現在のプラントの運転状態はｍｊｋの計測時の運転状態に近いと見なすことができる。尚、（数３）に用いる計測データは、計測値のそのままの値ではなく規格化されたものを用いることもできる。また、距離の計算には、ユークリッド距離以外にもその他の統計的手法に基づく距離計算法（ウォード距離、マハラノビス距離、マンハッタン距離等）を用いることもできる。

ステップ２０３０は分岐であり、計算した類似度が予め設定した閾値以下となる計測データが存在する場合はステップ２０４０へ進み、そうでない場合はステップ２０５０へ進む。

ステップ２０４０では、類似度が閾値以下でかつ最小となる計測データを選択し、そのときのパラメータ調整履歴に従って評価関数パラメータを調整し、評価関数パラメータ調整アルゴリズムの動作を終了させるステップに進む。調整により決定されるパラメータ値は、図６において現在の学習回数に対応する値となる。

ステップ２０５０では、後述するパラメータ調整アルゴリズムに従って、学習結果に基づくパラメータの調整を実行し、アルゴリズムの動作を終了させるステップに進む。

以上の動作によって、評価関数パラメータの調整では、調整履歴を使用する場合には、過去の学習で使用したパラメータ調整履歴の中から、計測データの類似度に基づいて現在の運転条件に類似するものを選択して使用するため、運転条件に適したパラメータの調整を実行することによって調整に要する計算コストを省略でき、また学習失敗のリスクを回避できる。また、未経験の運転状態に対しては、学習結果を基にパラメータを調整する機能を用いることにより、学習時に得られるモデル出力値情報に基づいてモデルの特性に応じたパラメータの調整が実行されるため、所望の操作方法を学習できる。

以下、図５におけるステップ２０５０の詳細な動作について、フローチャートを参照しながら説明する。

図７は、ステップ２０５０の学習結果に基づく評価関数パラメータ調整アルゴリズムの動作を示すフローチャートである。図７に示したように、評価関数パラメータの調整アルゴリズムの動作フローチャートは、ステップ２０５１、２０５２、２０５３、２０５４、２０５５、２０５６、２０５７、及び２０５８を組み合わせて実行する。以下では、それぞれのステップについて説明する。

ステップ２０５１では前述の通り、（数２）に従って基準モデル出力を計算する。

ステップ２０５２では、計算した基準モデル出力ｆｃを（数１）に代入し、評価関数値Ｅを計算する。ステップ２０５３は分岐であり、計算した基準モデル出力が評価関数パラメータｂの値以下であればステップ２０５４へ進み、そうでなければステップ２０５５へ進む。

ステップ２０５４では、パラメータｂを（数４）に従って減少させ、評価関数パラメータ調整アルゴリズムを終了するステップへ進む。

ここで、α_ｂはパラメータｂの修正量を決定する学習率、記号｜・｜は絶対値記号を表す。

ステップ２０５５では、パラメータｂを（数５）に従って増加させ、ステップ２０５６へ進む。

（数４）、（数５）より、パラメータｂは学習の結果得られた基準モデル出力へ近づくように修正される。即ち、操作方法の学習が充分に進んでいない学習序盤では基準モデル出力の値は大きいためｂの値は大きくなり、学習が進みモデル出力を減少させるに従ってｂの値も減少する。

ステップ２０５６は分岐であり、ステップ２０５２で計算した評価関数値が予め設定した閾値以上であればステップ２０５７へ進み、そうでなければステップ２０５８へ進む。

ステップ２０５７では、パラメータａを（数６）に従って減少させ、評価関数パラメータ調整アルゴリズムを終了するステップへ進む。

ここで、ａ’はパラメータａの修正指標、α_ａはパラメータａの修正量を決定する学習率を表す。パラメータａの修正指標ａ’は任意の値を取ることができるが、基準モデル出力ｆｃにおける評価関数値が閾値δと一致するようにａ’を決定してもよい。

ステップ２０５８では、パラメータａを（数７）に従って増加させ、評価関数パラメータ調整アルゴリズムを終了するステップへ進む。

（数６）、（数７）より、パラメータａは基準モデル出力ｆｃがパラメータｂより大きい場合に、得られるモデル出力の値に応じて評価関数値の期待値（得やすさ）を適切に調整する。即ち、得られるモデル出力がパラメータｂの値付近となる場合はパラメータａを小さくし（評価関数の広がりを狭くする）、パラメータｂの値よりも大きい場合は小さくする（評価関数の広がりを大きくする）ように修正される。このような作用により、モデル特性に応じた適切な評価関数の得やすさを表現できるため、学習を効率化できる効果がある。
尚、上記アルゴリズムの動作は、評価関数式やモデル出力の改善方向の違い（モデル出力値が小さいほど望ましい／大きいほど望ましい）によって増加、及び減少の条件が異なる可能性があるが、その場合は、上記の基本概念に従い、学習序盤では評価関数を得やすくし、学習が進むに従って評価関数を得にくくするようにパラメータを調整することで、同様の効果を得ることができる。

また、パラメータａの修正に用いる閾値δは、図８（ａ）〜（ｃ）に示す３種類の式のうち、少なくとも１つの手段を用いて導出することができる。図８（ａ）では、δは学習を通じて任意に与えられた値δ_ｍａｘ（δ＝δ_ｍａｘ）を取る。（ｂ）では、（数８）に従って、δは学習回数ｌに対して線形に変化し、ｌ_δ回学習時にδ_ｍａｘとなり、その後の学習では不変である。（ｃ）では、（数９）に従って、δは学習回数ｌに対して非線形に変化し、学習が進むにつれてδ_ｍａｘへ近づくように収束する。ここで、（数９）におけるβはδの収束する速さを決定するパラメータである。（ｂ），（ｃ）では、δの値を学習回数が進むに従って増加させることにより、学習の序盤で評価関数値が充分小さくならない場合に、パラメータａの値が不当に増加するのを抑制する効果がある。パラメータａが大きくなりすぎると、モデル出力が大きい場合でも評価関数値が大きくなるため、適切な評価ができず学習に悪影響を与える可能性があるため、上記のような状況が起こる場合には、閾値δの決定には（ｂ）（ｃ）を用いるのが望ましい。

図９に、図７のフローチャートにおいてパラメータａ、及びｂを調整する動作を説明する図を示す。図９の１）は、図７のフローチャートにおけるステップ２０５４の動作を示しており、基準モデル出力ｆｃ１がパラメータｂより小さい場合には、ｂをｆｃ１に近づけるように減少させることがわかる。２）は、ステップ２０５５、及び２０５７の動作を示しており、ｆｃ１がｂより大きく、かつ評価関数値Ｅｃ１が閾値δよりも大きい場合には、ｂをｆｃ１に近づけるように増加させ、パラメータａをａ’（＜ａ）へ近づけるように減少させる。３）は、ステップ２０５５、及び２０５８の動作を示しており、ｆｃ１がｂより大きく、かつ評価関数値Ｅｃ１が閾値δよりも小さい場合には、ｂをｆｃ１に近づけるように増加させ、パラメータａをａ’（＞ａ）へ近づけるように増加させる。

上記の動作に従って評価関数パラメータａ、ｂを学習時に調整することにより、学習の進度に対して適切な評価関数が提供され効率的に学習できる。また、パラメータを試行錯誤的に決定する必要がなくなるため、モデル特性が未知の場合でも適用可能となる。

以上で、図２におけるステップ２０００、及び図５におけるステップ２０５０の詳細な動作の説明を終了する。

次に、画像表示装置９３０に表示される画面について図１０、図１１及び図１２を用いて説明する。

図１０、図１１及び図１２は、画像表示装置９３０に表示される画面の一実施例である。図１０及び図１１は、図２のフローチャートにおけるステップ１０００の学習条件設定画面、及び評価関数調整条件設定画面の一実施例である。図１０の画面が画像表示装置９３０に表示された状態で、マウス９１２を操作して画面上の数値ボックスにカーソルを重ね、キーボード９１１を用いることで数値を入力できる。また、マウス９１２を操作してカーソルにボタンを重ね、マウス９１２をクリックすることでボタンを選択する（押す）ことができる。同様に、マウス９１２を操作して画面上のチェックボックスにカーソルを重ね、マウス９１２をクリックすることでチェックを入れることができる。

図１０では、数値ボックス３０００、及び３００１にカーソルを重ね、それぞれに数値を入力することで、図２の学習のフローチャートにおける学習回数ｌの閾値である最大学習回数、及び操作回数ｏの閾値である最大操作回数を決定することができる。

そして、制御目標値・重み係数設定画面３００２において、モデル出力の制御目標値、及び（数２）における基準モデル出力ｆ_ｃの計算に用いる重み係数Ｃｉを入力する。制御目標値・重み係数設定画面３００２では、モデル出力毎に目標値、及び重み係数を数値ボックス３００３、及び３００４よりそれぞれ入力できる。以前の学習で用いた設定履歴をそのまま用いる場合には、ボタン３００５を選択することで設定履歴参照画面を開き、設定履歴データ一覧より使用したいデータを選択・決定することでデータボックス３００６に履歴データ名を表示させ、それに記載される設定値が制御目標値・重み係数設定画面３００２に自動的に入力される。また、前記設定履歴データは学習情報データベース２３０に保存される。

以上の学習条件設定が終了後、ボタン３００７を選択することで、図１１の評価関数調整条件設定画面へ進む。また、ボタン３００８を選択すると初期画面に戻る。

図１１では、チェックボックス３０１１または３０１２を選択することで、評価関数パラメータ調整手段を、過去の調整履歴を用いる手段か、学習結果を基に調整する手段のいずれかに決定することができる。

履歴による調整を選択した場合には、履歴設定画面３０１３を用いて類似度の計算に用いる計測データ、及び類似度閾値を設定することができる。計測データ設定画面３０１４では、プラントの計測データ項目の中から、類似度の計算に用いるデータ項目をチェックボックスから選択することができる。また、数値ボックス３０１５より類似度閾値を入力できる。

以前の学習で用いた設定履歴をそのまま用いる場合には、ボタン３０１７を選択することで設定履歴参照画面を開き、設定履歴データ一覧より使用したいデータを選択・決定することでデータボックス３０１６に履歴データ名を表示させ、それに記載される設定値が履歴設定画面３０１４、及び数値ボックス３０１５に自動的に入力される。

以上の履歴設定が終了後、ボタン３０１８を選択することで、図２に示すフローチャートを動作させ、学習を開始することができる。また、ボタン３０１９を選択すると図１０の学習条件設定画面へ戻る。

一方、チェックボックス３０１２より学習結果に基づく調整を選択した場合には、学習設定画面３０２０を用いて図７の評価関数調整アルゴリズムの調整条件を設定することができる。学習設定画面３０２０では、（数４）〜（数７）で使用するパラメータａの初期値、パラメータｂの初期値、パラメータａの学習率、パラメータｂの学習率、及び評価関数閾値を、数値ボックス３０２１、３０２２、３０２３、３０２４、及び３０２５よりそれぞれ入力できる。

以前の学習で用いた設定履歴をそのまま用いる場合には、ボタン３０２７を選択することで設定履歴参照画面を開き、設定履歴データ一覧より使用したいデータを選択・決定することでデータボックス３０２６に履歴データ名を表示させ、それに記載される設定値が上記数値ボックスに自動的に入力される。

以上の学習設定が終了後、ボタン３０２８を選択することで、図２に示すフローチャートを動作させ、学習を開始することができる。また、ボタン３０２９を選択すると図１０の学習条件設定画面へ戻る。

図１２は、図２のフローチャートにおけるステップ２１００の学習の終了判定時に用いる画面の一例である。図１２は図２のフローチャートにおけるステップ１２００からステップ２１００の一連の学習実行時に表示される画面であり、学習結果表示画面３０３０に学習中の評価関数の概形、学習回数に対する評価関数値、およびモデル出力値の推移が表示される。プラントの運転員は、学習結果表示画面３０３０に表示される学習結果を見ながら、学習が充分進んでいるかどうかを判断することができる。学習の収束状況の判定条件としては、以下のものが挙げられる。（１）評価関数の概形に対して、パラメータbの値がそれ以上小さくならない。（２）学習回数に対する評価関数値が最大値付近まで大きくなり、収束している。（３）学習回数に対する全てのモデル出力値が制御目標値以下まで下がっており、かつ収束している。

以上の条件を全部、もしくは少なくとも１つ以上満たす場合に、プラントの運転員は、学習回数が設定した最大学習回数に達していない場合でも、ボタン３０３１を選択することで学習を終了させることができる。この操作により、従来想定していたよりも学習に要する時間を短縮できる。そのため操作回数を増加させ、より高い制御効果を得ることができる。

以上で、画像表示装置９３０に表示される画面についての説明を終了する。

本発明のプラントの制御装置２００を、火力発電プラントに適用した実施例について説明する。尚、火力発電プラント以外のプラントを制御する際にも、本発明の実施例の制御装置２００を使用できることは言うまでもない。

図１３は、火力発電プラントの概略を示す図である。先ず、火力発電プラントの発電の仕組みについて説明する。

火力発電プラントを構成するボイラ１０１には、ミル１１０で石炭を細かく粉砕した燃料となる微粉炭と、微粉炭搬送用の１次空気、及び燃焼調整用の２次空気を供給するバーナー１０２が設けられており、このバーナー１０２を介して供給した微粉炭をボイラ１０１の内部で燃焼させる。尚、微粉炭と１次空気は配管１３４から、２次空気は配管１４１からバーナー１０２に導かれる。

また、ボイラ１０１には２段燃焼用の空気をボイラ１０１に投入するアフタエアポート１０３が設けられており、空気は配管１４２からアフタエアポート１０３に導かれる。

燃焼により発生した高温の燃焼ガスは、ボイラ１０１の内部の経路に沿って下流側に流れた後、ボイラ１０１に配置された熱交換器１０６を通過して熱交換した後、エアーヒーター１０４を通過する。エアーヒーター１０４を通過したガスは、排ガス処理を施した後、煙突から大気に放出される。

ボイラ１０１の熱交換器１０６を循環する給水は、給水ポンプ１０５を介して熱交換器１０６に給水を供給し、熱交換器１０６においてボイラ１０１を流下する燃焼ガスによって過熱され、高温高圧の蒸気となる。尚、本実施例では熱交換器の数を１つとしているが、熱交換器を複数配置するようにしてもよい。

熱交換器１０６を通過した高温高圧の蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれ、蒸気の持つエネルギーによって蒸気タービン１０８を駆動して発電機１０９で発電する。

火力発電プラントには、火力発電プラントの運転状態を検出する様々な計測器が配置されており、これらの計測器から取得されたプラントの計測信号は、図１の計測信号１として制御装置２００に送信される。例えば、図１３には、流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、及び濃度計測器１５４が図示される。

流量計測器１５０では、給水ポンプ１０５からボイラ１０１に供給される給水の流量を計測する。また、温度計測器１５１、及び圧力計測器１５２は、熱交換器１０６から蒸気タービン１０８に供給される蒸気の温度、及び圧力を計測する。

発電機１０９で発電された電力量は、発電出力計測器１５３で計測する。ボイラ１０１を通過する燃焼ガスに含まれている成分（窒素酸化物ＮＯｘ、一酸化炭素ＣＯ、及び硫化水素Ｈ２Ｓなど）の濃度に関する情報は、ボイラ１０１の下流側に設けた濃度計測器１５４で計測することができる。

即ち、本発明の制御装置２００を上記火力発電プラントに用いた場合に、図６、及び図１１における計測データ項目には、上記計測器によって計測した燃料流量、空気流量、給水流量、蒸気温度、ガス温度、給水圧力、及びガス濃度等が含まれる。

尚、一般的には、図１５に図示した以外にも多数の計測器が火力発電プラントに配置されるが、ここでは図示を省略する。

次に、ボイラ１０１の内部にバーナー１０２から投入される１次空気と２次空気の経路、及びアフタエアポート１０３から投入される空気の経路について説明する。

１次空気は、ファン１２０から配管１３０に導かれ、途中でボイラ１０１の下流側に設置されたエアーヒーター１０４を通過する配管１３２と通過せずにバイパスする配管１３１とに分岐して、再び配管１３３にて合流し、バーナー１０２の上流側に設置されたミル１１０に導かれる。

エアーヒーター１０４を通過する空気は、ボイラ１０１を流下する燃焼ガスにより加熱される。この１次空気を用いて、ミル１１０において粉砕した微分炭を１次空気と共に配管１３４を通してバーナー１０２に搬送する。

ファン１２１を用いて配管１４０から投入された空気は、エアーヒーター１０４で同様にして加熱された後に、２次空気用の配管１４１とアフタエアポート用の配管１４２とに分岐して、それぞれバーナー１０２とアフタエアポート１０３に導かれる。

図１４は、図１３に示した火力発電プラントにおけるエアーヒーター１０４と関連する配管部の拡大図である。図１４に示すように、配管１３１、１３２、１４１、１４２にはエアダンパ１６０、１６１、１６２、１６３が夫々配置される。これらのエアダンパを操作することにより、配管１３１、１３２、１４１、１４２における空気が通過する面積を変更することができ、通過する空気流量を個別に調整できる。

ボイラ１０１では、制御装置２００によって生成された操作信号１８を用いて、エアダンパ１６０、１６１、１６２、１６３などの機器を操作する。尚、本実施例では、エアダンパ１６０、１６１、１６２、１６３などの機器のことを操作端と呼び、これを操作するのに必要な指令信号を操作信号と呼ぶ。

以降では、本発明の一実施例の制御装置２００を、火力発電プラントに用いた場合に、操作端をボイラ前後のバーナー、アフタエアポートのエアダンパとし、被制御量をボイラより排出されるＣＯ、ＮＯｘ、及びＨ２Ｓ濃度とする場合について説明する。尚、本実施例では、操作端の操作量がモデル入力であり、ＮＯｘ、ＣＯ及びＨ２Ｓ濃度がモデル出力となる。

図１５は、本発明の一実施例の制御装置を火力発電プラントに用いた場合に、画像表示装置９３０に表示される画面の一例であり、図１０に対応する画面である。火力発電プラントでは、ＮＯｘ、ＣＯといった排ガスの排出量に環境規制が課せられており、プラントはその規制値を満足するように運転することが望まれる。また、運用コストの面からも、ＮＯｘの還元処理に要するコストや、前記ボイラ１０１のＨ２Ｓ腐食による劣化を防ぐという目的から、ＮＯｘ、及びＨ２Ｓ等をできるだけ低減することも望まれる。そのような要求に鑑み、図１５では、被制御量であるＮＯｘ、ＣＯ及びＨ２Ｓに対し、制御上の目標を、（１）基準値（制御保証値）以下、または（２）できるだけ低減、の２通りに設定できるようになっている。具体的には、制御保証値・重み係数設定画面３０４２において、制御保証チェックボックス３０４３をチェックすることで上記２種類の目標設定のうち、どちらを使用するかを選択することができる。そして、チェックした項目に対して、制御保証値を数値ボックス３０４４より入力する。チェックされない項目については、基準モデル出力を計算するための重み係数を数値ボックス３０４５より入力する。図１５のように設定した場合、評価関数は具体的に以下の（数１０）によって計算される。

ここで、ｆ_ＣＯはＣＯ濃度を示す。即ち（数１０）では、ＣＯ濃度が制御保証値（１００ｐｐｍ）以下の場合のみ、（数１）を用いて評価関数値を計算し、それ以外の場合は評価関数値は０と計算する。以上のように評価関数を計算することにより、操作信号学習手段７００はＣＯ濃度が制御保証値以下で、ＮＯｘ濃度、及びＨ２Ｓ濃度をできるだけ低減する操作方法を学習することができる。尚、図１５において、数値ボックス３０４０及び３０４１、データボックス３０４６、ならびにボタン３０４７、３０４８及び３０４９の機能については、図１０の場合と同様である。

以上の画像表示装置９３０に表示される画面仕様を用いれば、火力発電プラントから排出されるＮＯｘ、ＣＯ、及びＨ２Ｓ濃度を、環境規制や運用コストに対する要求を達成する操作方法を学習により獲得することができる。

本発明の実施例１によるプラント制御装置の構成を示すブロック図である。 本発明の実施例１によるプラントの制御装置における操作方法の学習時の動作フローチャートである。 本発明の実施例１によるプラントの制御装置における評価関数の概形の一例を示す図面である。 本発明の実施例１によるプラントの制御装置における評価関数の概形の一例を示す図面である。 本発明の実施例１によるプラントの制御装置における評価関数調整時の動作フローチャートである。 本発明の実施例１によるプラントの制御装置における学習情報データベースに保存される情報の態様を示す図面である。 本発明の実施例１によるプラントの制御装置における学習結果に基づく評価関数調整時のフローチャートである。 本発明の実施例１によるプラントの制御装置における評価関数調整時に用いる閾値パラメータの特性を示す図面である。 本発明の実施例１によるプラントの制御装置における評価関数調整時の動作を説明する図面である。 本発明の実施例１によるプラントの制御装置において、学習を実行する際に、画像表示装置に表示される画面の一例である。 本発明の実施例１によるプラントの制御装置において、評価関数を調整する際に、画像表示装置に表示される画面の一例である。 本発明の実施例１によるプラントの制御装置において、学習の終了を判定する際に、画像表示装置に表示される画面の一例である。 火力発電プラントの構成を説明する図である。 火力発電プラントにおいて、エアーヒーター部分の拡大図である。 本発明の実施例２によるプラントの制御装置において、学習を実行する際に、画像表示装置に表示される画面の一例である。

符号の説明

１…計測信号、１６…操作信号、１００…プラント、２００…制御装置、２０１…外部入力インターフェイス、２０２…外部出力インターフェイス、２１０…計測信号データベース、２２０…モデル構築データベース、２３０…学習情報データベース、２４０…制御ロジックデータベース、２５０…操作信号データベース、３００…計測信号変換手段、４００…数値解析手段、５００…モデル、６００…操作信号生成手段、７００…操作信号学習手段、８００…評価関数計算手段、９００、評価関数調整手段、９１０…外部入力装置、９１１…キーボード、９１２…マウス、９２０…保守ツール、９２１…外部入力インターフェイス、９２２…データ送受信処理部、９２３…外部出力インターフェイス、９３０…画像表示装置。

Claims (14)

1. 過去の計測信号が保存される計測信号データベース、
   プラントに操作信号を与えた時の計測信号の値を推定するモデル、
   前記モデルにおいて、計測信号に該当するモデル出力が目標値を達成するように、操作信号に該当するモデル入力の生成方法を学習する操作信号学習手段、
   前記操作信号学習手段が前記モデルを操作した結果に対する、目標値への達成度を示す評価関数値を、モデル出力を基に計算する評価関数計算手段、および
   前記操作信号学習手段及び、学習で得られる評価関数値の履歴やモデル出力学習履歴に関する情報を保存する学習情報データベース
   を備え、プラントから取得した計測信号を用いてプラントの操作信号を計算し、該操作信号をプラントに送信するプラントの制御装置において、
   前記学習情報データベースから評価関数の調整に用いる設定条件情報を入力し、前記評価関数計算手段において評価関数を計算する際に用いる評価関数パラメータを調整するとともに、評価関数パラメータ調整履歴を含む調整結果に関する情報を保存する評価関数調整手段を設けたことを特徴とするプラントの制御装置。
2. 請求項１において、前記評価関数計算手段は、前記モデル出力に対する評価関数値の期待値を決定するパラメータ、および／または、評価関数の最良値の獲得閾値であるパラメータを備え、前記操作信号学習手段が前記モデルを操作した結果得られるモデル出力、又は複数のモデル出力の重み付け和である基準モデル出力に基いて、前記評価関数値を計算する機能を備えたことを特徴とするプラントの制御装置。
3. 請求項１において、前記評価関数調整手段は、過去の前記評価関数パラメータの調整履歴に付随するプラントの計測信号と、操作方法学習時のプラントの計測信号との距離計算から類似度を算出する機能と、該類似度が予め与えられた閾値以下かつ最小となる調整履歴に従って前記評価関数パラメータを調整する機能と、学習時に得られるモデルの出力情報、及び評価関数値情報を基に評価関数パラメータを調整する機能のうち、少なくとも一つを備えたことを特徴とするプラントの制御装置。
4. 請求項１において、前記評価関数調整手段は、学習時に得られるモデル出力情報、及び評価関数値情報を基に評価関数パラメータを調整する際に、基準モデル出力を基に計算される評価関数値が予め与えられた閾値以上となるか否かによって、評価関数値の期待値を決定する前記パラメータ値を増加あるいは減少させる機能と、前記基準モデル出力が評価関数の最良値の獲得閾値である前記パラメータ以下であるか否かによって、該パラメータ値を増加あるいは減少させる機能のうち、少なくとも一つを備えたことを特徴とするプラントの制御装置。
5. 請求項１において、前記評価関数調整手段は、評価関数値の期待値を決定する前記パラメータ値を調整する上で用いる閾値を決定する際に、該閾値は学習を通じて実質的に一定の値とする機能と、学習の初期状態では閾値を小さい値に設定し、学習が進むに従って線形に増加させる機能と、同様に学習の初期状態では小さい値に設定し、学習が進むに従って非線形に増加させる機能のうち、少なくとも一つを備えたことを特徴とするプラントの制御装置。
6. 請求項１において、前記計測信号データベース及び前記学習情報データベースに保存される情報を画面に表示する機能と、前記操作信号学習手段で用いる学習条件を、画面表示機能を通じて設定する機能と、前記評価関数調整手段で用いる評価関数調整条件を、画面表示機能を通じて設定する機能と、操作方法の学習時に評価関数の概形及びモデル出力値の学習結果の履歴を画面に表示する機能のうち、少なくとも一つを備えたことを特徴とするプラントの制御装置。
7. 火力発電プラントの計測信号を用いて、前記火力発電プラントに与える操作信号を導出する操作信号生成部を備えた火力発電プラントの制御装置であって、
   前記計測信号に火力発電プラントから排出されるガスに含まれる窒素酸化物濃度、一酸化炭素濃度、及び硫化水素濃度の少なくとも一つを含み、
   前記操作信号に空気ダンパの開度、空気流量、燃料流量、排ガス再循環流量の少なくとも一つを決定する信号を含み、
   前記制御装置が、
   過去の計測信号が保存される計測信号データベース、
   火力発電プラントに操作信号を与えた時の計測信号の値を推定するモデル、
   前記モデルにおいて、計測信号に該当するモデル出力が前期画像表示装置を通じて設定した目標値を達成するように、操作信号に該当するモデル入力の生成方法を学習する操作信号学習手段、
   前記操作信号学習手段が前記モデルを操作した結果に対する、目標値への達成度を示す評価関数値を、モデル出力を基に計算する評価関数計算手段、
   前記操作信号学習手段及び、学習で得られる評価関数値の履歴やモデル出力学習履歴に関する情報を保存する学習情報データベース、及び
   前記学習情報データベースから評価関数の調整に用いる設定条件情報を入力し、前記評価関数計算手段において評価関数を計算する際に用いる評価関数パラメータを調整するとともに、評価関数パラメータ調整履歴を含む調整結果に関する情報を保存する評価関数調整手段を設けたことを特徴とする火力発電プラントの制御装置。
8. 請求項７において、前記評価関数計算手段は、前記モデル出力に対する評価関数値の期待値を決定するパラメータ、および／または、評価関数の最良値の獲得閾値であるパラメータを備え、前記操作信号学習手段が前記モデルを操作した結果得られるモデル出力、又は複数のモデル出力の重み付け和である基準モデル出力に基いて、前記評価関数値を計算する機能を備えたことを特徴とする火力発電プラントの制御装置。
9. 請求項７において、前記評価関数調整手段は、過去の前記評価関数パラメータの調整履歴に付随するプラントの計測信号と、操作方法学習時のプラントの計測信号との距離計算から類似度を算出する機能と、該類似度が予め与えられた閾値以下かつ最小となる調整履歴に従って前記評価関数パラメータを調整する機能と、学習時に得られるモデルの出力情報、及び評価関数値情報を基に評価関数パラメータを調整する機能のうち、少なくとも一つを備えたことを特徴とする火力発電プラントの制御装置。
10. 請求項７において、前記評価関数調整手段は、学習時に得られるモデル出力情報、及び評価関数値情報を基に評価関数パラメータを調整する際に、前記基準モデル出力を基に計算される評価関数値が予め与えられた閾値以上となるか否かによって、評価関数値の期待値を決定する前記パラメータ値を増加あるいは減少させる機能と、基準モデル出力が評価関数の最良値の獲得閾値である前記パラメータ以下であるか否かによって、該パラメータ値を増加あるいは減少させる機能のうち、少なくとも一つを備えたことを特徴とする火力発電プラントの制御装置。
11. 請求項７において、前記評価関数調整手段は、評価関数値の期待値を決定する前記パラメータ値を調整する上で用いる閾値を決定する際に、該閾値は学習を通じて実質的に一定の値とする機能と、学習の初期状態では閾値を小さい値に設定し、学習が進むに従って線形に増加させる機能と、同様に学習の初期状態では小さい値に設定し、学習が進むに従って非線形に増加させる機能のうち、少なくとも一つを備えたことを特徴とする火力発電プラントの制御装置。
12. 請求項７において、前記計測信号データベース及び前記学習情報データベースに保存される情報を画面に表示する機能と、前記操作信号学習手段で用いる学習条件を、画面表示機能を通じて設定する機能と、前記評価関数調整手段で用いる評価関数調整条件を、画面表示機能を通じて設定する機能と、操作方法の学習時に評価関数の概形及びモデル出力値の学習結果の履歴を画面に表示する機能のうち、少なくとも一つを備えたことを特徴とする火力発電プラントの制御装置。
13. 請求項７において、前記操作信号学習手段は、火力発電プラントから排出される窒素酸化物濃度、一酸化炭素濃度、及び硫化水素濃度に対して、制御保証値以下の運転を保証する操作方法、ならびに前記モデルの最小値となる操作方法のうち少なくとも一つを学習する機能を備えたことを特徴とする火力発電プラントの制御装置。
14. 請求項１１において、前記パラメータ値の調整方法の学習機能に関する設定条件を、画面表示機能を通じて設定する機能を備えたことを特徴とする火力発電プラントの制御装置。

Images