JP2009230209A - ソフトセンサの性能評価装置 - Google Patents

Abstract

【課題】ソフトセンサの性能の定量化を可能にすることである。
【解決手段】ソフトセンサ１の予測値の散布図から近似曲線を求め、この近似曲線と実測値（計測値）との乖離度から予測値のばらつきを点数化する。また、実測値を基準にして、予測値をプラス側とマイナス側に分けて誤差アラーム幅で評価し、予測値の誤差を点数化する。さらに、ソフトセンサ１のモデル作成時の入出力変数範囲との相違を評価し、前記モデル作成時との運転条件の違いを点数化する。このように、ソフトセンサの性能を複数の視点から定量化し、また、その視点に重みを付けることで、実情に即した定量化を可能にする。
【選択図】図１

Description

この発明は、例えば、石油化学の製造プロセスなどで製品の品質性状（性質や状態）などを操業データから連続して予測するソフトセンサの性能評価装置に関するものである。

例えば、石油化学などの製造プロセスにおいて製品の品質性状等を製造工程で管理する場合、一般にその分析作業には多くの時間やコストが掛かるため、分析の頻度を極力削減して対処せざるを得ないのが現状である。このような問題に対して、近年、ソフトセンサで製品の品質性状を連続して予測し、安定化や運転の効率化を行なう取り組みが普及している。ここで、ソフトセンサとは、製造プロセスから得られる操業データと製造された製品の間に存在する相関関係などを、例えば過去の事例データベースから抽出したモデルを用いて製品の品質性状などを予測するものである。そのため、ソフトセンサの行なう予測が妥当であるかどうかの性能評価は欠かせない。

このような問題を解決する方法として、例えば、過去の事例データを学習する多層型ニューラルネットワークの予測結果の信頼度を算出するものがある（特許文献１）。この方法では、事例データベースから最も近い学習データを推論検索した際、推論の検索条件である予測データに対する距離定義および推論検索された学習データの許容範囲を定義する。ここで、事例データベースとは、ニューラルネットワークの学習に用いた事例データを蓄積したものである。そして、先ず距離定義と予め定めた信頼度の式を用いて途中までの信頼度を算出し、推論検索結果である学習データの許容範囲から最終的な信頼度を算出する。

また、位相（Ｔｏｐｏｌｏｇｙ）の概念を導入した事例ベース推論を利用して、ニューラルネットワークの弱点であるリアルタイムでのソフトセンサの評価を行なうものがある（特許文献２）。

この方法では、所望の出力誤差に応じて事例ベースの入力空間を量子化して単位入力空間を形成し、その単位入力空間の履歴データを代表する事例を作成した評価用事例データベースを備え、その評価用事例データベースを検索してソフトセンサに入力される新たな入力データの組に対応する単位入力空間に最も位相距離が近い事例を取得する事例検索部を備えて、事例検索部が検索した事例の出力データから新たな入力データの組に対応する出力データを算出し、評価推定出力データとして出力する。そして、出力推定部が前記出力データから推定誤差を算出し、算出した推定誤差を推定出力データごとに並列に出力して、その評価推定出力データと対象から得られた真値の出力データとの差を前記推定誤差と比較してソフトセンサが正しく機能しているかを評価している。
特開平０７−１６０６６２号公報 ＷＯ０２／００６９５３号公報

上記のような方法では、いずれも、ソフトセンサの性能評価は、品質性状の予測値と分析装置で実測された分析値の時間的な推移とその関連性を観察し、観察者が望ましいとする状態と対比することにより行なっている。

しかしながら、このような観察者が望ましいとする状態は、「あいまい」で、定量性を欠くものであるため、評価結果は個人差の大きなものとなってしまう問題がある。

そこで、この発明の課題は、ソフトセンサの性能を定量化して客観的な評価を可能にすることである。

上記の課題を解決するため、この発明では、生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルと、その出力手段と、前記ソフトセンサが予測値を算出した際の製品の品質や性状を分析した実測値を記憶する実測値データテーブルと、その出力手段を備え、前記予測値データテーブルと実測値データテーブルから評価期間に対応する予測値と実測値を取り出し、取り出した予測値を目的変数とし、実測値を説明変数として単回帰式を算出し、その算出した単回帰式が基準として設定した傾き１の単回帰式から乖離する度合いを算出して定量化し、その定量化した値と単回帰式の決定係数を乗算して点数化し、前記点数化した値をソフトセンサの評価の指標とする構成を採用したのである。

このような構成を採用することにより、予測値の散布図から近似曲線を求め、この近似曲線と実測値（計測値）との乖離度から予測値のばらつきを点数化してソフトセンサの性能の定量化を可能とする。

また、生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルと、その出力手段と、前記ソフトセンサが予測値を算出した際の製品の品質や性状を分析した実測値を記憶する実測値データテーブルと、その出力手段を備え、前記予測値データテーブルと実測値データテーブルの評価期間に対応する予測値と実測値の前記実測値を基準にして予測値との差を算出し、その算出した差が正のデータの平均値とその差が負のデータの平均値を正と負を別にして算出し、算出した正と負の平均値を予め設定した許容誤差の値で正規化し、正規化した正と負の平均値を、その正と負の平均値算出に用いたそれぞれのデータ数が総データ数に占める割合に基づいて加重平均し、加重平均した正と負の値を加算して点数化し、その点数化した値をソフトセンサの評価の指標とする構成を採用することができる。

このような構成を採用することにより、実測値を基準にして、予測値をプラス側とマイナス側に分けて誤差アラーム幅で評価し、予測値の誤差を点数化することにより、ソフトセンサの性能の定量化を可能とする。

また、製品の品質や性状を予測する予測式に入力する生産設備に設けたセンサの計測値を記憶する予測入力データテーブルと、その出力手段を備え、前記生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルとその出力手段を備えて、前記予測入力データテーブルから評価期間に対応する入力値を入力変数毎に取り出し、入力変数毎にソフトセンサ作成時に用いた入力値の最大値から最小値を引き算した値で正規化し、正規化した入力値の相対度数を算出して算出した度数の階級ごとに予め設定した重みを乗じて総和を算出し、算出した入力変数毎の総和と入力変数の数から平均値を算出し、一方、上記予測値データテーブルから評価期間に対応する予測値を取り出し、ソフトセンサ作成時に用いた実測値の最大値から最小値を引き算した値で正規化し、正規化した予測値の相対度数を算出して、算出した階級ごとに予め設定した重みを乗じて総和を算出し、この値と前記算出した予測式への入力の平均値とを平均して点数化し、その点数化した値をソフトセンサの評価の指標とする構成を採用することができる。

このような構成を採用することにより、入力変数ごとの入力の実測値と予測値の相違からソフトセンサのモデル作成時の入力変数範囲との相違を評価し、前記モデル作成時との運転条件の違いを点数化することにより、ソフトセンサの性能の定量化を可能とする。

また、このとき、上記の予測値データテーブルと実測値データテーブルを備えるとともに、予測入力データテーブルを備え、予測値データテーブルと実測値データテーブルから算出した傾き１の単回帰式から乖離する度合いを定量化した値に単回帰式の決定係数を乗算し点数化した値と、上記予測値データテーブルと実測値データテーブルから算出した実測値と予測値との正負の差を加重平均して加算し点数化した値と、上記予測入力データテーブルと予測値データテーブルから算出した予測式への入力の平均値とソフトセンサからの出力の平均値とを平均して点数化した３つの値を加重平均して点数化した値の３つの値に基づいてソフトセンサの評価を行なうようにした構成を採用することができる。

このような構成を採用することにより、ソフトセンサの性能を複数の視点から定量化し、また、その視点に重みを付けることで、実情に即した定量化を可能にすることができる。そのため、例えば、運用している複数のソフトセンサの中から予測式の修正が必要なものを見つけ出すこともできる。

その際、上記傾き１の単回帰式から乖離する度合いを定量化した値と単回帰式の決定係数を乗算し点数化した値と、上記実測値と予測値との正負の差を加重平均した値とを加算し点数化した値と、上記予測式への入力の平均値とソフトセンサからの出力の平均値とを平均して点数化した値を加重平均して点数化した値を時系列順に保存して表示し、予め定めた評価ルールに基づいて経時変化を評価するようにした構成を採用することもできる。

このような構成を採用することにより、ソフトセンサの性能の時間的な変化を監視することで、実情に即した定量化を可能にすることができる。

この発明は、上記のように構成したことにより、ソフトセンサの性能の定量化を可能にすることができる。その結果、個人差無く客観的にソフトセンサの評価ができるので、ソフトセンサの予測精度を常に高い状態に維持することができる。

以下、この発明を実施するための最良の形態を図面に基づいて説明する。図１にソフトセンサの性能評価装置のシステム構成図を示す。

図１に示すように、本形態のシステムは、ソフトセンサ１、実測値データテーブル２、予測値データテーブル３、予測入力データテーブル４、ソフトセンサ性能評価装置５と表示装置６で構成されている。

ソフトセンサ１は、例えば図２に示すように、生産設備のプロセスに設けられたセンサ７入力を用いて、過去の事例データから抽出したモデルを用いて製品の品質性状８などを予測するコンピュータソフトウエアによるセンサである。

実測値データテーブル２は、ソフトセンサ１が予測値を算出した際のセンサ７の計測値を用いて実際に製品の品質や性状を分析した実測値を記憶し時系列順に出力させる出力手段を備えたものである。

予測値データテーブル３は、生産設備に設けたセンサ７の計測値を用いてソフトセンサ１が算出した製品の品質や性状の予測値を記憶し時系列順に出力させる出力手段を備えたものである。

予測入力データテーブル４は、製品の品質や性状を予測する予測式に入力する生産設備に設けたセンサ７の計測値を記憶し時系列順に出力させる出力手段を備えたものである。

ソフトセンサ性能評価装置５は、データ演算部１０、誤差管理情報データベース１１、予測式定義情報データベース１２、演算結果保存部１３、演算結果評価部１４、演算結果履歴情報データベース１５と評価ルールデータベース１６で構成されている。

データ演算部１０は、このシステムの根幹を成す部分で、この形態の場合、変化傾向の一致性指標、予測誤差の大きさの指標、入出力変数データ範囲の指標及び総合評価指標の４つの性能評価指標の算出を行なう。

まず、変化傾向の一致性の指標である評価指標Ｉ１を説明する。この評価指標Ｉ１は、評価すべき対象期間にソフトセンサ１から出力された予測値データと実測値データを用いて下記のように算出する。

そのため、例えば、図３のようなソフトセンサ１を想定する。このソフトセンサ１は、出力データとして製品中の不純物濃度１、その濃度計算には、製造設備で計測されている圧力１、温度１〜３、差圧１の５変数からなる各計測値を入力データとして用いるものとする。

いま、任意の期間におけるｎ個の品質性状の実測値をＹｉ（ｉ＝１〜ｎ）、そのときのソフトセンサの予測値をＹｉ´（ｉ＝１〜ｎ）としたときのｎ個のデータによる単回帰式を算出する。
Ｙ´＝ｍ・Ｙ＋ｎ
その実測値と予測値による単回帰式を図４に示す。

次に、この単回帰式の傾きｍを用いて、基準となる傾き１の単回帰式からの乖離度Ｍを下記の式（１）を用いて算出する。

図４の例では、傾きｍが０．７５３であることから、乖離度Ｍは７５．３となる。この乖離度Ｍと単回帰式の決定係数Ｒ２を乗算して得られる式（２）のＩ１を変化傾向の一致性を示す指標として用いるのである。図４の例では指標Ｉ１＝７５．３×０．４９８＝３７．５点となる。

続いて、予測誤差の大きさの指標である評価指標Ｉ２を説明する。この評価指標Ｉ２は、評価すべき対象期間にソフトセンサ１から出力された予測値データと実測値データ及び誤差管理情報データベース１１で定義された許容される予測誤差の管理値を用いて算出する。

すなわち、任意の期間におけるｎ個の品質性状の実測値をＹｉ（ｉ＝１〜ｎ）、そのときのソフトセンサ１の予測値をＹｉ´（ｉ＝１〜ｎ）とすると、実測値Ｙｉに対する予測値Ｙｉ´のプラス側とマイナス側の誤差の平均値をそれぞれ下記の式（３）及び（４）を使って算出する。

Ｙｉ´−Ｙｉ＞０を満たすｎ１個のプラス側誤差データ

Ｙｉ´−Ｙｉ＜０を満たすｎ２個のマイナス側誤差データ

である。例えば、図５は、１０個のデータからなる実測値とソフトセンサ１の予測値のプラス側とマイナス側の誤差平均値の計算例である。この場合、ｎ１＝２、ｎ２＝８、Ｅ１＝０．００９、Ｅ２＝−０．０１２となる。

いま、誤差管理情報データベース１１から得られる該品質性状予測時の許容誤差の管理範囲を例えば、＋α１〜−α２としたとき、式（５）の計算を行なって誤差の大きさを指標として用いる。

図５の例では、予測誤差の管理範囲α１＝０．０５、α２＝−０．０５、ｎ＝ｎ１＋ｎ２＝１０としたとき、Ｉ２＝６１．１点と計算できる。但し、Ｅ１／α１＞１なら（１−Ｅ１／α１）＝０、Ｅ２／α２＞１ならば（１−Ｅ２／α２）＝０とする。

次に、予測式作成時の入出力変数のデータ範囲と一致性の指標である性能評価指標Ｉ３について説明する。この指標Ｉ３は、評価すべき対象期間にソフトセンサ１に入力されたデータと出力されたデータ及び予測式定義情報データベース１２で定義された該品質性状予測式作成時の入力データと出力データのデータ範囲を用いて算出する。

すなわち、予測式定義情報データベース１２から得られる該品質性状予測式作成時の入力データにおいて、ｉ番目の入力変数の最小値と最大値を、

−ＬからＬ＋１（Ｌ＞１）の範囲の相対度数分布を作成する。図６はＬ＝１としてある入力変数の入力データを正規化したものの相対分布の例である。図中矢印で示した０〜１の範囲が該入力変数の品質性状予測式作成時のデータ範囲に相当する。

この相対度数分布の階級Ｃの相対度数Ｆ（Ｃ）に階級ごとに設けた重みｗ（Ｃ）を乗算し、全ての階級で総和を取る。これがｉ番目の入力変数の予測式作成時にデータ範囲からの評価すべき期間の入力データ範囲の一致性を示す値となる。図中矢印で示した入力変数の品質性状予測式作成時のデータ範囲に相当する０〜１の範囲の重みは１．０とし、この範囲から離れるに従って１．０より小さくしている。０〜１の範囲外での重み関数ｗ（Ｃ）の値は、任意の関数を用いて単調減少あるいは指数関数的に変化させる。図７の例では２次関数的に変化させている。図８に図７の計算結果示す。

この計算例では、入力データの範囲の一致度を示す評価は、７０．１点となる。これを式（７）のようにｋ個全ての入力変数について計算し、その平均値

Ｓｘを求める。

−ＬからＬ＋１（Ｌ＞１）の範囲の相対度数分布を作成する。この相対度数分布の階級Ｃの相対度数Ｆ（Ｃ）に階級毎に設けた重み関数の値ｗ（Ｃ）を乗算し、全ての階級で総和を取る。そして、下記の式（９）に示す式で予測式作成時の出力データ範囲からの評価すべき期間の出力データ範囲の一致性となる指標を算出する。

すなわち、入力データ及び出力データのそれぞれに対して算出した式（１０）で示すＳｘ、Ｓｙの平均値を品質性状予測式作成時の入出力データの範囲と評価期間のそれとの一致性を評価する指標Ｉ３とするのである。図９に不純物濃度１を予測するソフトセンサの該指標の計算例を示す。

以上のように、ソフトセンサ１を各指標Ｉ１〜Ｉ３で性能評価し、点数による定量化を行なったので、指標ごとにソフトセンサ１の評価を個人差無く客観的にすることができる。さらに、次に述べる総合評価指標Ｉ４を行なうことで、異なる評価方式の複数の視点から定量化できるので、性能評価の精度をより向上させることができる。この総合評価指標Ｉ４の算出には、先の指標Ｉ１〜Ｉ３の演算結果が用いられる。

すなわち、変化傾向の一致性を評価する性能評価指標Ｉ１、誤差の大きさを評価する性能評価指標Ｉ２及び品質性状作成時の入出力データ範囲との一致性を評価する性能評価指標Ｉ３から式（１１）で示すような加重平均値を一つの総合的な評価指標Ｉ４として算出する。このとき、重みａｉ（ｉ＝１、２、３・・・）は評価対象の実情に合わせて重視する指標Ｉ１〜Ｉ３に大きな任意の数値を設定する。

図１０は、ａ１＝２、ａ２＝３、ａ３＝１として、誤差の大きさの評価を重視した重み付けを行なって、不純物濃度１を予測するソフトセンサの評価を行なった結果例を示したもので、変化傾向の一致性を表す指標が他に比べて低い値の評価となっている。

計算された指標Ｉ１〜Ｉ４の計算結果は、演算結果保存部１３により演算結果履歴情報データベース１５に時系列順に保存される。この保存された指標Ｉ１〜Ｉ４の計算結果は、演算結果評価部が読み出して時系列順に、例えば図１１に示すような評価ルールデータベースのルールに基づいて評価対象のソフトセンサの性能評価を行なって、結果をパソコン画面などの表示装置６に表示する。

図１２は、不純物濃度１を予測するソフトセンサ１について１ヶ月毎に当該月の入力と出力データを用いて評価を行なった結果である。結果から、７，８月の評価が悪化しているのがわかる。これは、当該濃度を予測するのに用いる入力データ発生元の製造装置の改造を５、６月に行なっているからで、その直後に正確に検出しているのがわかる。そのため、図１１の評価ルールに従えば８月の時点で性能劣化と判断されることとなる。その結果、予測式の修正を行なった９月以降は性能が回復している様子がわかる。

以上のように、ソフトセンサ１の性能を複数の視点から定量化し、時間的な変化を監視することで、ソフトセンサ１の性能評価の定量化を行なうことができる。また、複数の視点から定量化しているので、運用している複数のソフトセンサ１の中から予測式の修正が必要なものを見つけ出して修正することもできるため、ソフトセンサ１の予測精度を常に高い状態に維持することができる。

実施形態のシステム構成図 実施形態のセンサ入力を説明するための作用説明図 実施形態のソフトセンサへの入出力データを示す表 実施形態の実測値と予測値の単回帰式を示すグラフ 実施形態の誤差平均値の計算例を示す表 実施形態の相対度数分布を説明するためのグラフ 実施形態の重み関数を説明するための作用説明図 実施形態の一致性評価の計算例を示す表 実施形態の品質性状作成時のデータ範囲との一致性を評価した計算例を示す表 実施形態の不純物濃度１を予測するソフトセンサの評価例 実施形態の評価ルールの例を示す表 実施形態の評価指標の時間的変化例を示すグラフ

符号の説明

１ ソフトセンサ
２ 実測値データテーブル
３ 予測値データテーブル
４ 予測値入力データテーブル
５ ソフトセンサ性能評価装置
６ 表示装置
７ センサ
８ 品質性状分析計
１０ データ演算部
１１ 誤差管理情報データベース
１２ 予測式定義情報データベース
１３ 演算結果保存部
１４ 演算結果評価部
１５ 演算結果履歴情報データベース
１６ 評価ルールデータベース

Claims (5)

1. 生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルと、その出力手段と、
   前記ソフトセンサが予測値を算出した際の製品の品質や性状を分析した実測値を記憶する実測値データテーブルと、その出力手段を備え、
   前記予測値データテーブルと実測値データテーブルから評価期間に対応する予測値と実測値を取り出し、取り出した予測値を目的変数とし、実測値を説明変数として単回帰式を算出し、その算出した単回帰式が基準として設定した傾き１の単回帰式から乖離する度合いを算出して定量化し、その定量化した値と単回帰式の決定係数を乗算して点数化し、前記点数化した値をソフトセンサの評価の指標とするソフトセンサの性能評価装置。
2. 生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルと、その出力手段と、
   前記ソフトセンサが予測値を算出した際の製品の品質や性状を分析した実測値を記憶する実測値データテーブルと、その出力手段を備え、
   前記予測値データテーブルと実測値データテーブルの評価期間に対応する予測値と実測値の前記実測値を基準にして予測値との差を算出し、その算出した差が正のデータの平均値とその差が負のデータの平均値を正と負を別にして算出し、算出した正と負の平均値を予め設定した許容誤差の値で正規化し、正規化した正と負の平均値を、その正と負の平均値算出に用いたそれぞれのデータ数が総データ数に占める割合に基づいて加重平均し、加重平均した正と負の値を加算して点数化し、その点数化した値をソフトセンサの評価の指標とするソフトセンサの性能評価装置。
3. 製品の品質や性状を予測する予測式に入力する生産設備に設けたセンサの計測値を記憶する予測入力データテーブルと、その出力手段を備え、
   前記生産設備に設けたセンサの計測値を用いてソフトセンサが算出した製品の品質や性状の予測値を記憶する予測値データテーブルとその出力手段を備えて、
   前記予測入力データテーブルから評価期間に対応する入力値を入力変数毎に取り出し、入力変数毎にソフトセンサ作成時に用いた入力値の最大値から最小値を引き算した値で正規化し、正規化した入力値の相対度数を算出して算出した度数の階級ごとに予め設定した重みを乗じて総和を算出し、算出した入力変数毎の総和と入力変数の数から平均値を算出し、
   一方、上記予測値データテーブルから評価期間に対応する予測値を取り出し、ソフトセンサ作成時に用いた実測値の最大値から最小値を引き算した値で正規化し、正規化した予測値の相対度数を算出して、算出した階級ごとに予め設定した重みを乗じて総和を算出し、この値と前記算出した予測式への入力の平均値とを平均して点数化し、その点数化した値をソフトセンサの評価の指標とするソフトセンサの性能評価装置。
4. 上記請求項１または２の予測値データテーブルと実測値データテーブルを備えるとともに、請求項３の予測入力データテーブルを備え、
   上記予測値データテーブルと実測値データテーブルから算出した傾き１の単回帰式から乖離する度合いを定量化した値に単回帰式の決定係数を乗算し点数化した値と、上記予測値データテーブルと実測値データテーブルから算出した実測値と予測値との正負の差を加重平均して加算し点数化した値と、上記予測入力データテーブルと予測値データテーブルから算出した予測式への入力の平均値とソフトセンサからの出力の平均値とを平均して点数化した３つの値を加重平均して点数化した値の３つの値に基づいてソフトセンサの評価を行なうようにしたソフトセンサの性能評価装置。
5. 上記傾き１の単回帰式から乖離する度合いを定量化した値と単回帰式の決定係数を乗算し点数化した値と、上記実測値と予測値との正負の差を加重平均した値とを加算し点数化した値と、上記予測式への入力の平均値とソフトセンサからの出力の平均値とを平均して点数化した値を加重平均して点数化した値を時系列順に保存して表示し、予め定めた評価ルールに基づいて経時変化を評価するようにした請求項４に記載のソフトセンサの性能評価装置。

Images