JP2011145905A

JP2011145905A - 予測関数生成装置、方法、及び、プログラム

Info

Publication number: JP2011145905A
Application number: JP2010006371A
Authority: JP
Inventors: Takayuki Nakada; 貴之中田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-01-15
Filing date: 2010-01-15
Publication date: 2011-07-28

Abstract

【課題】特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成が可能な予測関数生成装置を提供する。
【解決手段】疎な関係性評価手段１０２は、応答変数及び説明変数を含む観測データと、疎な関係性とに基づいて、評価関数の値を計算する。疎な関係性学習手段１０３は、評価関数の値が向上するように、疎な関係性を学習する。予測関数学習手段１０４は、学習された疎な関係性に基づいて、予測関数を学習する。
【選択図】図１

Description

本発明は、予測関数生成装置、方法、及び、プログラムに関し、更に詳しくは、回帰や判別など、説明変数から応答変数を推定する予測関数を生成する予測関数生成装置、方法、及び、プログラムに関する。

応答変数Ｙと、説明変数Ｘ_１、・・・、Ｘ_ｐから成る回帰問題を考える。予測関数は、下記式で示すようになる。
Ｙ＝β_１Ｘ_１＋β_２Ｘ_２＋・・・、β_ｐＸ_ｐ
最小二乗推定を用いると、パラメータの推定量は、Ｘ＝（Ｘ_１、・・・、Ｘ_ｐ）、β＝（β_１、・・・、β_ｐ）として、
β＝（Ｘ^ＴＸ）^−１Ｘ^ＴＹ
と求まる。

しかし、上記で求めたパラメータをそのまま用いると、応答変数の推定に全ての説明変数を用いることになり、一般的に、
・応答変数の推定精度が最良でないことがある。
・応答変数と説明変数との関係が分かりにくい。
ということが問題となる。この問題に対しては、いくつかの説明変数のみを、応答変数の推定に用いる変数選択を行えばよい。これは、β＝（β_１、・・・、β_ｐ）のうちのいくつかの要素を０とすることに等しい。ここで、応答変数の推定に重要となる説明変数を特徴と呼び、応答変数の推定に用いる変数の選択を特徴選択と呼ぶ。

非特許文献１の３．３．１節には、特徴選択システムの一例が記載されている。この特徴選択システムは、特徴組み合わせ手段と、関数学習手段と、精度評価手段と、最適特徴選択手段とを有している。特徴組み合わせ手段は、全ての特徴の組み合わせを生成する。関数学習手段は、特徴組み合わせ手段で得られた全ての特徴組み合わせに対して、特徴の組み合わせから応答変数への予測関数を学習する。精度評価手段は、学習された予測関数の精度を評価する。最適特徴選択手段は、最も精度のよい特徴の組み合わせを選択する。

非特許文献１の３．３．２節には、特徴選択システムの別の一例が記載されている。この特鋼選択システムは、特徴組み合わせ手段と、関数学習手段と、精度評価手段と、最適特徴選択手段とを有する。特徴組み合わせ手段は、現時点で得られている特徴組み合わせに対して、新たに特徴を追加し、或いは、特徴を削減した特徴組み合わせを生成する。関数学習手段は、特徴組み合わせ手段で生成された特徴組み合わせに対して、特徴の組み合わせから応答変数への予測関数を学習する。精度評価手段は、学習された予測関数の精度を評価する。最適特徴選択手段は、最も精度のよい特徴の組み合わせを選択する。

ここで、特許文献１は、目的変数を精度よく説明又は予測可能な方法が記載された文献である。特許文献１では、説明変数合成部、回帰分析実行部、適切度判定部、及び、最良回帰式決定部を用いる。説明変数合成部は、候補説明変数に基づいて説明変数を生成する。回帰分析実行部は、説明変数合成部が生成した説明変数に基づいて、目的変数の変化を説明する関係式を生成する。適切度判定部は、回帰分析実行部が生成した関係式の適切度を定量的に評価する。最良回帰式決定部は、適切度が最も高い説明変数と回帰式とを探索する。

特開２０００−２０５０４号公報

Trevor Hastie, Robert Tibshirani, Jerome Friedman, "The Elements of Statistical Learning," Springer, 2009. Marina Meila, Michael I. Jordan, "Learning with Mixtures of Trees," Journal of Machine Learning Research, 1(Oct):1-48, 2000. S. Kirshner, P. Smyth, "Infinite mixtures of trees," Proceedings of the Twenty-Fourth International Conference on Machine Learning, ICML 2007, June 2007. S. Kirshner, "Learning with tree-averaged densities and distributions," Advances in Neural Information Processing Systems, NIPS 2007, December 2007.

非特許文献１に記載の特徴選択システムの第１の問題点は、特徴の数が多い場合に、全ての組み合わせに対して評価することができないという点である。その理由は、特徴の数が多い場合に、指数関数的に増加する特徴の組み合わせに対して、最適な特徴の組み合わせを選択する方法が十分に考慮されていないためである。非特許文献１に記載の特徴選択システムの第２の問題点は、主に応答変数と特徴との関係を評価しているため、特徴間の関係を含めた観点では最適ではないという点である。その理由は、応答変数と特徴との関係だけでなく、特徴間の関係を含めた観点で、最適な特徴の組み合わせを選択する方法が十分に考慮されていないためである。

特許文献１では、全ての説明変数が互いに相関を持つモデルを用いている。この場合、データ数が少ないと、推定精度が低いということが問題となる。また、特許文献１では、いったん共分散行列を求めてから数値的に逆行列を求めることで回帰式を求めており、説明変数間に強い相関があると、計算が破たんすることがあるという問題もある。

本発明は、上記に鑑み、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成が可能な予測関数生成装置、方法、及び、プログラムに関する。

上記目的を達成するために、本発明は、応答変数及び説明変数を含む観測データと、疎な関係性とに基づいて、評価関数の値を計算する疎な関係性評価手段と、前記評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、前記学習された疎な関係性に基づいて、予測関数を学習する予測関数学習手段とを備える予測関数生成装置提供する。

本発明は、応答変数及び説明変数を含む観測データを入力するステップと、前記観測データと、疎な関係性とに基づいて、評価関数の値を計算するステップと、前記評価関数の値が向上するように、前記疎な関係性を学習するステップと、前記学習された疎な関係性に基づいて、予測関数を学習するステップとを有する予測関数生成方法提供する。

本発明は、コンピュータに、応答変数及び説明変数を含む観測データを入力する処理と、前記観測データと、疎な関係性とに基づいて、評価関数の値を計算する処理と、前記評価関数の値が向上するように、前記疎な関係性を学習する処理と、前記学習された疎な関係性に基づいて、予測関数を学習する処理とを実行させるプログラム提供する。

本発明の予測関数生成装置、方法、及び、プログラムは、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で、適切な特徴の組み合わせを選択して予測関数の生成することができる。

本発明の一実施形態の予測関数生成装置を示すブロック図。動作手順を示すフローチャート。（ａ）及び（ｂ）は、関係性を示すモデルの図。

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の一実施形態の予測関数生成装置（特徴選択システム）を示している。特徴選択システム１００は、疎な関係性評価手段１０２、疎な関係性学習手段１０３、及び、予測関数学習手段１０４を有する。特徴選択システム１００は、プログラム動作で動作するコンピュータシステムで構成できる。特徴選択システム１００内の各部の機能は、コンピュータが所定のプログラムに従って動作することで実現可能である。

入力装置１０１は、計算対象となるデータを取り込む。入力装置１０１が取り込むデータは、説明変数Ｘと応答変数Ｙとを含む。入力装置１０１は、取り込んだデータを、特徴選択システム１００へ入力する。観測データ記憶部１１１は、入力装置１０１から入力された観測データを記憶する。

疎な関係性学習手段１０３は、観測データ記憶部１１１から観測データを読み出し、観測データに対して、疎な関係性を学習する。ここで、疎な関係性とは、データ間の全ての要素の間に相関があるわけではなく、要素間の一部には相関がないような関係を指す。疎な関係性学習手段１０３は、学習した疎な関係性のモデルを表すデータを、学習結果記憶部１１２に記憶する。なお、観測データ記憶部１１１及び学習結果記憶部１１２は、特徴選択システム１００から参照可能であればよく、特徴選択システム１００の内部にあっても、外部にあってもよい。

疎な関係性評価手段１０２は、観測データ記憶部１１１から観測データを読み出すと共に、学習結果記憶部１１２から学習結果を読み出し、観測データと、疎な関係性学習手段１０３で学習した疎な関係性とを基に、適切に設定した評価関数の値を計算する。ここで、評価関数は、入力データの分布と、学習モデルの分布との間の距離を定量化する関数である。

疎な関係性学習手段１０３は、疎な関係性評価手段１０２で計算した評価関数の値が向上するよう、疎な関係性を学習する。特徴選択システム１００は、疎な関係性の評価と学習とを、学習結果が収束するまで繰り返し行う。疎な関係性学習手段１０３は、学習結果が収束すると、学習が終了した旨を予測関数学習手段１０４に通知する。予測関数学習手段１０４は、学習が終了すると学習結果記憶部１１２から疎な関係性の学習結果を読み出し、疎な関係性学習手段１０３で学習した疎な関係性を基に、予測関数を学習する。予測関数学習手段１０４は、学習した予測関数を、出力装置１０５を介して出力する。

図２は、動作手順を示している。入力装置１０１は、計算対象のデータ（観測データ）を取り込む（ステップＳ１）。疎な関係性評価手段１０２は、観測データと、疎な関係性学習手段１０３で学習した疎な関係性とに基づいて、評価関数の値を計算する（ステップＳ２）。学習結果記憶部１１２は、疎な関係性学習手段１０３が学習を行う前に、疎な関係性の初期値を記憶している。疎な関係性評価手段１０２は、初回実行時にステップＳ２で評価を行う際は、学習結果記憶部１１２から、任意に設定された疎な関係性の初期値を読み出し、その初期値を用いて評価関数の値を計算する。疎な関係性評価手段１０２は、評価関数の値の計算に際して、直接は観測されない確率変数（隠れ変数）の推定を行う。

疎な関係性学習手段１０３は、疎な関係性評価手段１０２で計算した評価関数の値が高くなるように、疎な関係性を学習する。疎な関係性評価手段１０２は、ステップＳ２で疎な関係性を評価する際に、以前の疎な関係性の学習結果を基に、直接は観測されない確率変数を推定しており、疎な関係性学習手段１０３は、ステップＳ３では、以前の学習結果とは異なる疎な関係性を学習する。特徴選択システム１００は、ステップＳ２の学習結果の評価と、ステップＳ３の学習とを、学習結果が収束するまで繰り返し行う。

予測関数学習手段１０４は、学習結果が収束すると、学習結果記憶部１１２から学習結果を読み出し、疎な関係性学習手段１０３で学習した疎な関係性に基づいて、予測関数を学習する（ステップＳ４）。予測関数学習手段１０３は、ステップＳ４で学習した予測関数を、出力装置１０５を介して出力する（ステップＳ５）。

疎な関係性の評価及び学習について、より詳細に説明する。疎な関係性を表すモデルには、例えば、Chow-Liu tree（最大全域木の確率モデル）の混合モデルを用いることができる。Chow-Liu treeの混合モデルは、確率モデルとして、下記式１で表される。

式１において、Ｘは観測データ、ｐ（Ｘ）は観測データの確率分布、Ｋはコンポーネント数、π_ｉはコンポーネントの混合確率、ｐ（Ｔ_ｉ）はコンポーネントｉにおける木構造（疎な関係性）の確率分布、ｐ（θ_ｉ｜Ｔ_ｉ）は、コンポーネントｉにおける与えられた木構造の下でのパラメータの確率分布、ｐ（Ｘ｜θ_ｉ，Ｔ_ｉ）は、コンポーネントｉにおける与えられた木構造とパラメータの下での観測データの確率分布を表す。ここで、木構造は、大きな偏相関を持つ変数間に線を引き、残りの偏相関をゼロにした構造である。パラメータは、例えば、各変数の平均と分散である。混合確率は、木を１つのコンポーネントとして見たときの、各木に対する重みである。

疎な関係性評価手段１０２及び疎な関係性学習手段１０３は、応答変数と説明変数とが与えられると、それらを多変量の観測データとし、上記式１の確率モデルを推定する。木構造、パラメータ、混合確率の推定が「疎な関係性の学習」にあたり、「疎な関係性の評価」では、それらが固定されたとき観測データが具体的にどのコンポーネントに属するかの推定を行う（式１には明示されていないが、一般に隠れ変数と呼ばれる変数の推定を行う）。疎な関係性評価手段１０２は、観測データがどのコンポーネントに属するかを推定すると、真の分布を用いた場合と、学習された疎な関係性のモデルを用いた場合との尤度の差（分布間の距離）を、評価関数の値として計算する。

特徴選択システム１００は、疎な関係性の評価と学習とを、学習結果が収束するまで行う。特徴選択システム１００は、例えば、学習回数を増やしても評価関数の値が変化しないとき、或いは、その変化が所定のしきい値よりも小さいとき、学習結果が収束したと判断して疎な関係性の評価と学習とを終了する。疎な関係性の評価と学習とを繰り返し行うことで、応答変数と説明変数全体とを含めた疎な関係性が求まる。この関係性に基づいて説明変数から応答変数への関数を学習するのが「予測関数の学習」にあたる。

予測関数学習手段１０４は、例えば、学習で求めた確率モデルのパラメータを適切に変換して、予測関数（Ｙ＝β_１Ｘ_１＋β_２Ｘ_２＋・・・、β_ｐＸ_ｐ）を学習する。或いは、予測関数学習手段１０４は、学習した疎な関係性を参考に、説明変数の中から任意の説明変数を選択し、選択した説明変数のみから成る回帰や判別のモデルを構築し、予測関数を推定してもよい。なお、上記確率モデルの推定には、非特許文献２に記載の手法を用いることができる。また、確率モデルの推定で、非特許文献３に記載の手法を用いることもでき、その場合、コンポーネント数Ｋをあらかじめ決める必要がなくなる。更に、確率モデルの推定に非特許文献４に記載の手法を用いることもでき、その場合、複雑な関係性の表現が可能になる。

図３は、関係性を表すモデルを示している。Ｙは応答変数であり、Ｘ１〜Ｘ４は説明変数である。図３（ａ）は、特許文献１及び非特許文献１で用いるモデルを示している。このモデルでは、各説明変数Ｘｉ、Ｘｊ（ｉ≠ｊ）間を全て繋いでおり、データ数が少ないと推定精度があまり上がらず、また、各Ｘｉ、Ｘｊ間に強い相関があると、計算が破たんすることがあった。図３（ｂ）は、本実施形態で用いるモデルを示している。コンポーネント数は、Ｋ＝３としている。本実施形態で用いるモデルは、モデルを木構造とし、パラメータの数を減らすので、データ数が少なくても、推定精度の低下を抑制できる。また、木構造を求めるということは、共分散行列の逆行列の値を直接求めていることに対応するので、Ｘｉ、Ｘｊ間に強い相関があっても計算が破たんしない。

本実施形態では、特徴選択システム１００は、疎な関係性の評価と学習とを繰り返しながら、逐次的に適切な解を学習する。このため、特徴の数が大きい場合に指数関数的に増加する特徴の組み合わせに対しても、現実的な時間で適切な特徴の組み合わせを選択することができる。また、本実施形態では、特徴選択システム１００は、応答変数と特徴とを合わせた全ての変数間の疎な関係性を学習する。本実施形態では、説明変数間の関係性も考慮しており、応答変数と特徴との関係だけでなく、特徴間の関係を含めた観点で、適切な特徴の組み合わせを選択することができる。

自動車などの基幹システムでは、様々な測定量の間には相関構造が観察される。例えば、アクセルペダルを踏み込むとエンジンの回転数が上がり、速度も上がる。しかし、例えば、車内の温度といったデータは、速度にはほとんど何の関係も及ぼさない。ある機械システムに関する測定量が大量に採られている場合、そのうちの１つの測定量（応答変数）を取り出し、それと関係がある測定量（説明変数）を正確に推定することができれば、測定量のみから機械システムの構造が推定でき、故障原因の分析等に有用である。

また、半導体製造プロセスにおいても、様々な測定量の間の共同には相関構造が観察される。例えば、ある製造装置の温度、処理速度、処理時間といった測定量は、製造された半導体の品質に大きな影響を与える。そこで、半導体の品質を応答変数とし、それと関係がある測定量を説明変数として正確に推定することで、半導体の最終品質に影響を与える原因がわかり、該当する測定量を監視し、異常検出を行うことで、不良品製造に起因する損失を最小限に抑えることができる。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の予測関数生成装置、方法、及び、プログラムは、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１００：特徴選択システム（予測関数生成装置）
１０１：入力装置
１０２：疎な関係性評価手段
１０３：疎な関係性学習手段
１０４：予測関数学習手段
１０５：出力装置
１１１：観測データ記憶部
１１２：学習結果記憶部

Claims

応答変数及び説明変数を含む観測データと、疎な関係性とに基づいて、評価関数の値を計算する疎な関係性評価手段と、
前記評価関数の値が向上するように、前記疎な関係性を学習する疎な関係性学習手段と、
前記学習された疎な関係性に基づいて、予測関数を学習する予測関数学習手段とを備える予測関数生成装置。
前記疎な関係性評価手段の評価関数の値の計算と、前記疎な関係性学習手段の疎な関係性の学習とを、学習結果が収束するまで繰り返し行う、請求項１に記載の予測関数生成装置。
コンピュータに、応答変数及び説明変数を含む観測データを入力するステップと、
コンピュータが、前記観測データと、疎な関係性とに基づいて、評価関数の値を計算するステップと、
コンピュータが、前記評価関数の値が向上するように、前記疎な関係性を学習するステップと、
コンピュータが、前記学習された疎な関係性に基づいて、予測関数を学習するステップとを有する予測関数生成方法。
コンピュータは、前記評価関数の値の計算するステップと、前記疎な関係性の学習を行うステップとを、学習結果が収束するまで繰り返し行う、請求項３に記載の予測関数生成方法。
応答変数及び説明変数を含む観測データを入力する処理と、
前記観測データと、疎な関係性とに基づいて、評価関数の値を計算する処理と、
前記評価関数の値が向上するように、前記疎な関係性を学習する処理と、
前記学習された疎な関係性に基づいて、予測関数を学習する処理とをコンピュータに実行させるプログラム。
コンピュータに、前記評価関数の値の計算する処理と、前記疎な関係性の学習を行う処理とを、学習結果が収束するまで繰り返し実行させる、請求項５に記載のプログラム。