JP2011242923A

JP2011242923A - モデルの入力変数調整装置

Info

Publication number: JP2011242923A
Application number: JP2010113112A
Authority: JP
Inventors: Tatsuya Iizaka; 達也飯坂; Masaya Murakami; 賢哉村上; Shinji Hayashi; 伸治林
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2010-05-17
Filing date: 2010-05-17
Publication date: 2011-12-01

Abstract

【課題】部分的最小二乗法の利点を活かしながら、予測や診断に必要な入力変数を適切に選択して高性能な予測・診断モデルを構築する。
【解決手段】コンピュータシステムにより構成され、部分的最小二乗法モデルを構築するための入力変数及び出力変数の実績値のセットからなるデータが蓄積されたデータベース２０と、前記データが入力される演算制御装置１００と、を備え、この演算制御装置１００は、学習データを作成する機能１、この学習データを用いて部分的最小二乗法によりモデルを構築する機能２、及び、機能２により構築したモデルの入力変数の数を順次削除したときの統計指標に基づいてモデルの入力変数を適切な数に調整する機能３を有するモデル構築手段１２０と、構築されたモデルを用いて予測処理を行う予測・診断手段１３０と、を有する
【選択図】図２

Description

本発明は、例えば工場の生産ラインやプラント装置において、製品の品質、生産量等を予測する予測モデルや、上記生産ライン等の異常・正常を診断する診断モデルを対象として、これらのモデルの入力変数を調整する調整装置に関するものである。

従来、例えば工場の生産ラインやプラント装置（以下、これらを総称して設備という）では、現状の操業データに基づいて製品の品質、生産量等を予測し、これらが目標値にできるだけ近くなるように設備の調整を行っている。同時に、設備の正常・異常を常時監視し、異常発生を迅速に検出して設備を正常状態に回復させるような手段を講じている。

これらの予測や異常診断を行う場合、従来では、コンピュータシステムを用いて予測・診断モデルを構築し、各種センサにより計測した温度、湿度、圧力等を上記モデルに入力して予測、診断を行う方法が一般的である。この場合、入力変数（説明変数）として何を用いれば予測や正常・異常診断に効果的であるかは、専ら操作員等の人為的な判断、選択に委ねられていた。

この種の予測・診断モデルとしては、従来から重回帰式が広く知られており、例えば特許文献１には、重回帰モデルを用いて製品の出来ばえを予測し、製造プロセスを監視する技術が開示されている。
重回帰式は、入力変数が少ないほど安定したモデルになる利点があるが、不要な入力変数が多い場合には予測、診断の性能が低下すると共に、入力変数間に相関があるデータ（統計用語で多重共線性のあるデータという）が含まれていると、モデルが不安定になって所望の予測、診断性能が得られないという問題がある。
このため、変数減少法、変数増加法等の統計的検定手法を用いることにより、入力変数を選択する手法が知られているが、例えば、入力変数の絞り込みが過剰になる場合もある。

一方、多重共線性のあるデータを入力変数に用いた場合でもモデル化を可能にする手法として、部分的最小二乗法がある。
例えば、特許文献２には、センサデータと半導体ウェハの処理結果の測定値とに基づき、センサデータを説明変数として処理結果を予測するモデル式を部分的最小二乗法により生成し、前記センサデータ及びモデル式を用いて予測した処理結果を設定値と比較して処理条件を制御するようにした半導体処理装置が開示されている。

特開２００９−３７３０６号公報（請求項１、段落［００２５］〜［００３９］、図５，図６等）特開２００３−６８７１７号公報（請求項２、段落[００１８]〜［００２４］、図６，図７等）

部分的最小二乗法は、多重共線性のあるデータでもモデル化できる利点がある。しかしながら、部分的最小二乗法であっても、不要な入力変数があると予測・診断性能が低下することに変わりはない。
部分的最小二乗法に、重回帰式で使用されているような変数減少法、変数増加法を適用する利点はほとんどない。なぜならば、これらの手法を用いると、相関のある入力変数を削除して多重共線性のないデータになるため、多重共線性のあるデータでもモデル化できるという部分的最小二乗法の利点が活かせなくなるためである。
そこで、本発明の解決課題は、部分的最小二乗法の利点を活かしながら、予測や診断に必要な入力変数を適切に選択して高性能なモデルを構築可能とした、モデルの入力変数調整装置を提供することにある。

上記課題を解決するため、請求項１に係る発明は、コンピュータシステムにより、部分的最小二乗法を用いてモデルを構築し、このモデルにより、少なくとも予測処理を行う装置であって、前記モデルの入力変数を適切な数に調整する機能を供えた入力変数調整装置において、
前記コンピュータシステムは、
前記モデルを構築するための入力変数及び出力変数の実績値のセットからなるデータが蓄積されたデータ蓄積手段と、
前記データ蓄積手段のデータが入力される演算制御手段と、を備え、
前記演算制御手段は、
前記データ蓄積手段のデータから学習データを作成する第１機能、この学習データを用いて部分的最小二乗法によりモデルを構築する第２機能、及び、第２機能により構築したモデルの入力変数の数を順次削除したときの統計指標に基づいてモデルの入力変数を適切な数に調整する第３機能、を有するモデル構築手段と、
前記モデル構築手段により構築されたモデルを用いて、予測処理を行う予測手段と、を有するものである。

請求項２に係る発明は、請求項１において、
前記第３機能は、
入力変数間の相関係数を計算する第１処理と、
統計的検定手法を用いて不要な入力変数を削除する第２処理と、
前記第２処理において削除された入力変数について、削除されなかった入力変数との間の前記相関係数が所定値以上または以下の場合に、前記削除された入力変数を追加する第３処理と、を実行するものである。

本発明によれば、部分的最小二乗法を用いたモデルを用いて少なくとも予測処理を行うシステムにおいて、モデルの入力変数を適切かつ自動的に選択することが可能になり、モデル構築作業を大幅に改善することができる。また、重回帰式では変数を絞り込み過ぎる等の問題を生じていたが、これを改善することが可能になる。

本発明の実施形態が適用される製造ラインの概念図である。本発明の実施形態に係る入力変数調整装置の構成図である。図２におけるモデル構築手段の諸機能による処理のフローチャートである。図３におけるステップ２の詳細を示すフローチャートである。図４における処理３の詳細を示すフローチャートである。図３におけるステップ３の詳細を示すフローチャートである。図６における不要変数の削除処理を示すフローチャートである。本発明の実施形態による予測結果を示す図である。

以下、図に沿って本発明の実施形態を説明する。
まず、図１は、本実施形態により予測・診断モデルを構築して製品の品質を予測する場合の製造ラインを示す概念図である。
図１において、Ａは原材料、Ｂは原材料Ａが供給される製造装置、Ｃは製造装置Ｂによって製造される製品である。また、製造装置Ｂの原材料投入側の入力変数として圧力１、温度１が、製品出口側の入力変数として圧力２、温度２が、更に、他の入力変数として製造装置Ｂの周囲の湿度があり、モデル構築にあたっては、これらの入力変数と、出力変数（目的変数）である製品Ｃの品質が計測または入力されるものとする。

ここで、製造装置Ｂは、製品Ｃの品質が温度１，２及び圧力１，２に依存するような、数式１の特性を持つと仮定する。

この実施形態では、説明を簡単にするために計測項目が少なくなっているが、実際の生産ライン等においては更に多数の項目を計測しており、どの計測データが製品Ｃの品質に影響しているかを容易に判断することができない。このため、本実施形態では、以下に説明する手段により、品質に影響する適切なデータをモデル構築用の入力変数として選択するようにした。

図２は、本実施形態に係る入力変数調整装置の構成図であり、いわゆるコンピュータシステムからなるものである。
図２において、入力部１０は、キーボードや、温度・圧力・湿度センサを含む計測・伝送装置から構成されており、前述した計測データ（温度１，温度２，圧力１，圧力２，湿度，品質）を生成する。なお、品質については、本実施形態の予測・診断モデルにより予測した品質の実績値がキーボード等から入力される。そして、これらの計測データは、演算制御装置１００の制御手段１１０を介してデータベース３０に入力される。
なお、前述したように、説明を容易化する観点から、計測データは上記６項目だけとする。本実施形態に係る予測・診断モデル（部分的最小二乗法モデル）は回帰式の一種であり、入力データ及び出力データが必要になるので、ここでは温度１，温度２，圧力１，圧力２，湿度を入力データとし、品質を出力データとする。

記憶装置２０は、後述する部分的最小二乗法モデルを構築するためのプログラム等が記憶されるものである。
データベース３０は大容量の記憶装置から構成され、例えば、表１に示すような過去から現在までの時系列的な入力データ、出力データ（実績値）が蓄積される。

また、データベース３０には、後述するモデル構築手段１２０により構築された部分的最小二乗法モデルも蓄積される。ここで蓄積されるものは、具体的には部分的最小二乗法の係数である。なお、この係数については後に詳述する。
出力部４０は、品質の予測結果等を出力するものであり、ディスプレイやプリンタ、伝送装置等から構成されている。

演算制御装置１００は、例えばＣＰＵから構成されており、各部を統括的に制御するための制御手段１１０、モデル構築手段１２０及び予測・診断手段１３０を実現するように機能するものである。
ここで、モデル構築手段１２０は、部分的最小二乗法モデルを構築するための処理機能（機能１〜機能３）を備えている。また、予測・診断手段１３０は、モデル構築手段１２０により構築した予測・診断モデルを用いて、製品Ｃの品質を予測する機能と、入力データ等の異常・正常を診断する機能を有する。なお、以下の説明では、予測・診断手段１３０が製品Ｃの品質を予測する場合を中心として説明する。

次に、図３は、前記モデル構築手段１２０の諸機能を説明するためのフローチャートである。以下、このフローチャートの各ステップを順に説明する。
［ステップ１（機能１）］
ステップ１では、データベース３０から取り出した表１の計測データに基づいて、モデル構築用の学習データ１を作成する。なお、データの形式は、例えばＣＳＶ形式である。この学習データ１は、例えば図２の記憶装置２０に一次的に記憶される。

［ステップ２（機能２）］
次に、ステップ１（機能１）により作成した学習データ１を用いて、部分的最小二乗法モデルを構築する。このステップ２は、図４に示すように処理１（ステップＳ２１）〜処理３（ステップＳ２３）からなっている。
すなわち、図４の処理１（ステップＳ２１）では、前述の機能１により作成した学習データ１を以下のようなベクトル形式に変換する。
温度１_ｉ，温度２_ｉ，圧力１_ｉ，圧力２_ｉ，湿度_ｉ，品質_ｉ
温度１_ｉ−１，温度２_ｉ−１，圧力１_ｉ−１，圧力２_ｉ−１，湿度_ｉ−１，品質_ｉ−１
ただし、添字ｉは時間（今回のデータでは日）を示している。
勿論、単純に配列形式に変換するだけでなく、２乗，３乗などの変数変換や、その他のデータ加工処理を含んでもよい。通常、これらデータは縦の列で平均値が０になるように個々の値から縦の列の平均値を差し引き、更に縦の列の標準偏差により除して正規化される。

次に、処理２（ステップＳ２２）では、Ｎ種類のデータ項目（今回は入力データが５種類であるため、Ｎ＝５）をＰ種類の成分に変換する。ここで、Ｐ（成分数という）＝２とした場合は、最終的な入力変数Ｘ（温度１、温度２、圧力１、圧力２、湿度）及び出力変数ｙ（品質）の予測モデル式を、数式２により表現する。なお、数式２において、Ｔは転置を示す。

数式２において、１番目の成分に関係する係数は、数式３により算出される。

ここで、Ｘは入力変数を表すｎ行×Ｎ列のベクトルであり、上述の例では数式４によって表される。

また、ｙは出力変数を表すｎ行×Ｍ列のベクトルであるが、ここでは、数式５に示すようにｎ列×１列のベクトルとして説明する。

ここで、ｗ_１はＮ行×１列のベクトル、ｔ_１はｎ行×１列のベクトルである。ｐ_１はＮ行×１列のベクトルであり、よって、ｐ_１ ^Ｔは１行×Ｎ列のベクトルである。更に、ｑ_１はスカラーである。

数式２において、２番目の成分は１番目の成分に関係しない成分を求めるので、数式２を数式６のように変換する。

よって、２番目の成分に関係する係数は、数式７から求められる。

以上の説明は成分数を２とした場合のものであるが、成分数を３より大きくした場合も同様に求めることができる。一般に、成分数Ｐがａ(ａは自然数)である場合の入力変数、出力変数及び各係数は、数式８によって表される。

次に、図４の処理３（ステップＳ２３）では、最適な成分数Ｐ（≦Ｎ）を決定する。この最適な成分数Ｐを、以下では潜在変数の数ともいう。
成分数が多過ぎると過学習と呼ばれる現象がおき、学習には適しても予測時には誤差が大きいモデルとなるので、成分数Ｐを適切な大きさにすることが必要である。
そこで、成分数Ｐ（すなわち、潜在変数の数）を１から順次大きくし、例えば数式９を最小とするような成分数Ｐを、最適値とする。なお、数式９はＡＩＣと呼ばれる統計指標であるが、本実施形態における成分数決定には、自由度調整寄与率など、他の統計指標を用いてもよい。

図５は、上述した、最適な成分数を決定するためのフローチャート（図４におけるステップＳ２３の詳細なフローチャート）を示している。
図５において、まず、数式８におけるａ＝１とし（ステップＳ２３１）、各係数（ｗ_ａ，ｔ_ａ，ｐ_ａ，ｑ_ａ，Ｘ_ａ，ｙ_ａ）を算出する（ステップＳ２３２）。次に、数式９の統計指標を算出し（ステップＳ２３３）、前回算出した統計指標より改善されて（小さくなって）いれば、成分数ａをインクリメントしてステップＳ２３２に戻る（ステップＳ２３４Ｙｅｓ，Ｓ２３５）。また、前回算出した統計指標より改善されていなければ、統計指標が最小になったものとして係数を保存し、そのときの成分数ａを最適な成分数Ｐとして決定する（ステップＳ２３４Ｎｏ，Ｓ２３６）。

なお、上述した部分的最小二乗法モデルの式は、以下の数式１０のように重回帰式の形式に変換してもよい。数式１０において、Ｗは重みである。

［ステップ３（機能３）］
図３のステップ３では、ステップ２により構築した部分的最小二乗法モデルから不必要な入力変数を削除する処理を行って入力変数を調整し、最終的な部分的最小二乗法モデルを構築する。
このステップ３の具体的内容を図６に示し、図６におけるステップＳ３０２の具体的内容を図７に示す。

図６において、まず最初に、全ての入力変数間の相関係数を求める（ステップＳ３０１）。入力変数が５種類あるので、各変数の相互係数は表２のようになる。

次に、５種類の入力変数から、不要な変数を削除する（ステップＳ３０２）。その処理は複雑であるため、図７を参照しつつ説明する。
この実施形態では、入力変数が５種類あるので、前もって、これらの変数を以下のようにして識別する。
１番目の変数・・・温度１，
２番目の変数・・・温度２，
３番目の変数・・・圧力１，
４番目の変数・・・圧力２，
５番目の変数・・・湿度

不要変数の削除処理を具体的に説明すると、図７において、入力変数を削除せずに当初の５種類の入力変数を有するモデル（０番目のモデル）を作成する（ステップＳ３０２ａ，Ｓ３０２ｂ）。なお、ステップＳ３０２ａ以下において、Ｉは削除する変数の順番（削除しない場合は０番目、及び、前述した１番目〜５番目）を示しており、Ｉ＝０〜５である。ここで、モデルとしては、重回帰式を用いてもよいし、前述の部分的最小二乗法モデルを用いてもよい。

次に入力変数を削除していない状態のモデルを対象として、その統計指標を計算する（ステップＳ３０２ｃ）。統計指標は、前述したＡＩＣや自由度調整寄与率などを用いればよい。
次に、１番目の変数を削除してモデルを作成し、１番目の統計指標を同様に計算する（ステップＳ３０２ｄ〜Ｓ３０２ｇ）。その後、１番目の変数を追加することにより（ステップＳ３０２ｈ）、５種類の入力変数を有するモデルに戻す。

これら一連の処理（ステップＳ３０２ｄ〜Ｓ３０２ｈ）を２番目〜５番目の変数について順に繰り返していく。
つまり、以下に示すように、０番目〜５番目の変数を削除したモデルとその統計指標とをそれぞれ求めることになる。ここでは、統計指標として自由度調整寄与率（カッコ内の数値）を用いており、この自由度調整寄与率は、大きい方が良いことを示す統計指標である。
品質＝ｆ（温度１，温度２，圧力１，圧力２，湿度）・・・０番目の統計量（０．９７２）
品質＝ｆ（温度２，圧力１，圧力２，湿度）・・・１番目の統計指標（０．９５５）
品質＝ｆ（温度１，圧力１，圧力２，湿度）・・・２番目の統計指標（０．９７２）
品質＝ｆ（温度１，温度２，圧力２，湿度）・・・３番目の統計指標（０．９４４）
品質＝ｆ（温度１，温度２，圧力１，湿度）・・・４番目の統計指標（０．９７３）
品質＝ｆ（温度１，温度２，圧力１，圧力２）・・・５番目の統計指標（０．９７３）

１番目〜５番目の変数を削除したモデルについて統計指標の計算が終了したら（ステップＳ３０２ｉＹｅｓ）、１番目〜５番目のモデルの統計指標が０番目のモデル（５種類の入力変数を有するモデル）の統計指標よりも改善されているかどうかをそれぞれ判断する（ステップＳ３０２ｊ）。
そして、ｘ番目のモデルの統計指標が０番目のモデルよりも改善されていたら（ステップＳ３０２ｊＹｅｓ）、最も統計指標が良いモデルを採用するために、そのｘ番目の変数を削除する。つまり、上述の例では、５番目のモデルの統計指標が最良（０．９７３）であるため、５番目の変数である「湿度」を削除することになる（ステップＳ３０２ｈ）。

上記の処理（ステップＳ３０２ｂ〜Ｓ３０２ｋ）を入力変数が残っている限り繰り返すことにより（ステップＳ３０２ｌ）、なるべく多くの変数を削除する。例えば、上述したように「湿度」を削除した時点ではまだ入力変数が４つ（温度１，温度２，圧力１，圧力２）残っているので、ステップＳ３０２ｂに戻って処理を継続する。このとき、５番目の変数である「湿度」は削除によりなくなっているので、ステップＳ３０２ｄ〜Ｓ３０２ｈの処理では、Ｉ＝５としない。

また、ステップＳ３０２ｌにおいて入力変数が０になっている場合は、もはや削除できる変数がないので、処理を停止する。このとき、ステップＳ３０２ｊでは統計指標が０番目のモデルよりも改善されなくなっているので（ステップＳ３０２ｊＮｏ）、この時点で処理を終了する。
以上の処理を実行して不要な入力変数を削除すると、数式１１が構築される。

次に、図６において、入力変数を追加する処理を行う（ステップＳ３０３）。すなわち、図６におけるステップＳ３０２の処理（図７の処理）により残った入力変数に対して、表２において相関が高い入力変数を追加する。
上記の例では、ステップＳ３０２の処理によって残った入力変数は、数式１１に示したように温度１と圧力１である。また、基準値を相関係数で０．９以上とすると、表２において温度１と相関が高いのは温度２であり、圧力１と相関が高いのは圧力２であるから、これらの温度２及び圧力２が追加するべき入力変数として選択される。

従って、ステップＳ３０３の処理を実行した結果、構築されるモデルは数式１２のようになる。

この数式１２に示すとおり、製品の品質は、４つの入力変数（温度１，温度２，圧力１，圧力２）に影響される。従って、本発明によれば、製品の品質に影響する入力変数として、４つの入力変数を抽出することが可能である。

最後に、図２における予測・診断手段１３０について説明する。
予測・診断手段１３０における予測機能は、作成された部分的最小二乗法モデルを用いて製品Ｃの品質を予測する。
通常は、時々刻々計測されるデータを予測モデルに入力し、品質の予測値を得る。
図８は、表１に示した温度１，温度２，圧力１，圧力２を予測モデルに入力して品質を予測した結果を示している。この図８によれば、品質の予測値と実績値とはおおむね一致しており、良好な結果が得られている。

なお、予測・診断手段１３０における異常・正常診断機能は、部分的最小二乗法モデルを用いて、Ｔ_２統計量、Ｑ統計量などにより入力データの正常・異常（生産ライン等の正常・異常）を診断する。ここで、正常・異常診断の処理内容は本発明の要旨ではないため、説明を省略する。

Ａ：原材料
Ｂ：製造装置
Ｃ：製品
１０：入力部
２０：記憶装置
３０：データベース
４０：出力部
１００：演算制御装置
１１０：制御手段
１２０：モデル構築手段
１３０：予測・診断手段

Claims

コンピュータシステムにより、部分的最小二乗法を用いてモデルを構築し、このモデルにより、少なくとも予測処理を行う装置であって、前記モデルの入力変数を適切な数に調整する機能を供えた入力変数調整装置において、
前記コンピュータシステムは、
前記モデルを構築するための入力変数及び出力変数の実績値のセットからなるデータが蓄積されたデータ蓄積手段と、
前記データ蓄積手段のデータが入力される演算制御手段と、を備え、
前記演算制御手段は、
前記データ蓄積手段のデータから学習データを作成する第１機能、この学習データを用いて部分的最小二乗法によりモデルを構築する第２機能、及び、第２機能により構築したモデルの入力変数の数を順次削除したときの統計指標に基づいてモデルの入力変数を適切な数に調整する第３機能、を有するモデル構築手段と、
前記モデル構築手段により構築されたモデルを用いて、予測処理を行う予測手段と、
を有することを特徴とするモデルの入力変数調整装置。
請求項１に記載したモデルの入力変数調整装置において、
前記第３機能は、
入力変数間の相関係数を計算する第１処理と、
統計的検定手法を用いて不要な入力変数を削除する第２処理と、
前記第２処理において削除された入力変数について、削除されなかった入力変数との間の前記相関係数が所定値以上または以下の場合に、前記削除された入力変数を追加する第３処理と、を実行することを特徴とするモデルの入力変数調整装置。