JP2017502390A - データに基づく関数モデルを定めるための方法及び装置 - Google Patents

Abstract

本発明は、入力データ空間内の訓練データに基づいて、モデル化すべき出力変数のために、データに基づく関数モデルとしてガウス過程モデルを作成する方法であって、訓練データ点を含む訓練データと、訓練データ点に対応付けられた、１つ以上の出力変数の出力値と、を準備する工程（Ｓ１）と、入力データ空間内での訓練データ点の位置に依存する点密度を定める工程（Ｓ２）と、点密度に従って、訓練データの入力変数ごとに長さスケール関数を定める工程（Ｓ３）、定められた長さスケール関数に基づいて、訓練データと、モデル化すべき出力変数の出力値と、からガウス過程モデルを生成する工程（Ｓ４）と、を含む、上記方法に関する。【選択図】図２

Description

本発明は、物理的ユニットをモデル化するための、データに基づく関数モデルを作成する方法に関する。特に、本発明は、データに基づく関数モデルとしてガウス過程モデルを作成する際に、不均一に分散した訓練データ点を考慮するための処置に関する。

物理的ユニットを記述するモデルの作成のために訓練データを生成するために、物理的ユニットを測定する際には、入力データ空間の部分範囲において、他の範囲よりも大きな、出力変数の変動が生じることが多い。従って、出力変数のより大きな変動が生じている部分範囲では通常、より多くの測定点が設けられ、即ち、そこでは測定点の密度がより高い。これにより、獲得される訓練データでは、最終的に、入力データ空間の該当する部分範囲内に訓練データ点が集中している。

訓練データは、データに基づく関数モデル、特にガウス過程モデルを作成するために利用できる。通常では、訓練データ点の密度が高いほど、モデル、特にデータに基づく関数モデルの精度は高くなることが仮定されるが、このことは、ガウス過程モデルの作成の際には自動的に該当しない。ガウス過程モデルの作成の際には、モデル化について僅かな仮定しか立てられないが、通常の基本的な仮定は、モデル関数が全定義範囲において均一に滑らかに推移するということである。換言すれば、ガウス過程モデルは、定義範囲全体で、局所的に一定の長さスケール（Ｌｅｎｇｔｈ Ｓｃａｌｅ）を有する。このことによって、局所的な大きな変動が、測定誤差として解釈され、これにより平滑化によって、関数モデルのモデル化された推移から排除されるということになりうる。

文献では、位置に依存する長さスケールを有するガウス過程モデルを拡張するためのアプローチが知られている。これにより、長さスケールのために、入力データ空間にわたる任意の線形又は非線形関数を示すことが可能である。さらに、長さスケールのためにパラメータ化された関数を予め設定し、このパラメータ化された長さスケール関数のパラメータを、統計的方法によって、測定訓練データから推定することが可能である。しかしながら、このアプローチは、計算コストが非常に掛かり、比較的高次元の訓練データの場合には適切ではない。さらに、パラメータ化された長さスケール関数は、より多くの訓練データ点を必要とする。なぜならば、訓練データから、長さスケールの推移についての情報を抽出する必要があるからである。上記のアプローチでは、入力データ空間の次元の数が増すと共に、複雑性が著しく増す（特に、積分を数値的に解く必要があるからである）。

本発明によれば、請求項１に係るデータに基づく関数モデルとしてガウス過程モデルを作成する方法、並びに、同等の独立請求項に係る装置及びコンピュータプログラムが構想される。

更なる別の構成は、従属請求項において示される。

第１の観点によれば、入力データ空間内の訓練データに基づいて、モデル化すべき出力変数のために、データに基づく関数モデルとしてガウス過程モデルを作成する方法であって、以下の工程、即ち、
‐訓練データ点を含む訓練データと、訓練データ点に対応付けられた、１つ以上の出力変数の出力値と、を準備する工程と、
−入力データ空間内での訓練データ点の位置に依存する点密度を定める工程と、
−点密度に従って、訓練データの入力変数ごとに長さスケール関数を定める工程と、
−定められた長さスケール関数に基づいて、訓練データと、モデル化すべき出力変数の出力値と、からガウス過程モデルを生成する工程と、
を含む、上記方法が構想される。

従来のガウス過程モデルでは、ハイパーパラメータ（Ｈｙｐｅｒｐａｒａｍｅｔｅｒ）に基づいて、即ち、分散σ_ｆと、入力データ空間の各次元について一定の長さスケールと、に基づいて、かつ、ハイパーパラメータと訓練データの出力変数の値とを考慮するパラメータベクトルを用いて、システム挙動が表される。一定の長さスケールによっては、入力データ空間の部分範囲内の特により大きな変動は十分に考慮されない。ガウス過程モデルにおける長さスケールの関数は、特に、Ｃ．Ｅ．Ｒａｓｍｕｓｓｅｎらによる「Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓｅｓ Ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｎｉｎｇ」（ＭＩＴ Ｐｒｅｓｓ、２００６年、ＩＳＢＮ０２６２１８２５３Ｘ、ｗｗｗ．ＧａｕｓｓｉａｎＰｒｏｃｅｓｓ．ｏｒｇ／ｇｐｍｌ）で詳細に解説されている。

上記方法の考えでは、変化する長さスケールを設けるための計算は複雑性が高いという上記問題を、長さスケールを指定するための情報として入力データ空間の部分範囲内での訓練データ点の密度を利用することにより回避している。これにより、入力空間の部分範囲内でのより大きな変動を考慮することが可能な、拡張されたガウス過程モデルが獲得される。

さらに、上記訓練データを準備する工程は、出力変数の値の変動が平均以上である場合には、入力データ空間の部分範囲内の訓練データの訓練データ点の点密度が上げられることを含む。

特に、出力変数の値の平均以上の変動は、部分範囲内での訓練データ点の分散と、入力データ空間全体での訓練データ点の平均的な分散と、の比較によって確認されうる。

点密度が、訓練データ点により形成される入力データ空間にわたる関数として提供されることが構想されうる。

一実施形態によれば、点密度は、入力データ空間の部分範囲内の訓練データ点の数として表される。

さらに、ガウス過程モデルを生成するために、特にギブス共分散関数の形態による、長さスケール関数の長さスケールが可変的である共分散関数が利用されうる。

長さスケール関数は、訓練データ点の位置に依存する点密度のＤ乗根の逆数に比例し、但し、Ｄは入力データ空間の次元に相当することが構想されうる。

更なる別の観点によれば、入力データ空間内の訓練データに基づいて、モデル化すべき出力変数のために、データに基づく関数モデルとしてガウス過程モデルを作成する装置であって、上記装置は、
−入力データ空間内での訓練データ点の位置に依存する点密度を定めることであって、訓練データ点を含む訓練データと、訓練データ点に対応付けられた、１つ以上の出力変数の出力値と、が準備される、上記定めることと、
−点密度に従って、訓練データの入力変数ごとに長さスケール関数を定めることと、
−定められた長さスケール関数に基づいて、訓練データと、モデル化すべき出力変数の出力値と、からガウス過程モデルを生成することと、
のために構成される、上記装置が構想される。

以下では、実施形態が、添付の図面を用いて詳細に解説される。
測定データ又は訓練データから、物理的ユニットのモデル化のためのデータに基づく関数モデルを作成するために、測定データ又は訓練データを受信するテストシステムを概略的に示す。 長さスケールが可変的であるガウス過程モデルを作成する方法を図示するためのフロー図を示す。 訓練データ点の局所的な点密度を考慮して作成されたガウス過程モデルと、訓練データ点の局所的な点密度を考慮せずに作成されたガウス過程モデルと、のモデル化された曲線の図を示す。 訓練データ点の局所的な点密度を考慮して作成されたガウス過程モデルと、訓練データ点の局所的な点密度を考慮せずに作成されたガウス過程モデルと、の基礎となる局所的な点密度の推移の図を示す。

図１は、テストシステム又は検査システム１の概略図を示しており、このテストシステム又は検査システム１は、物理的ユニット２を測定するよう構成されている。物理的ユニット２は、例えば、車両の内燃機関、又は、車両の部分システムに相当する。測定ユニット３は、物理的ユニット２の特定の動作点又は駆動状態へと導く制御変数Ｅを用いて、物理的ユニット２を制御する。さらに、物理的ユニット２の制御の結果として１つ以上の出力変数Ａが得られ、この出力変数Ａも同様に測定して、出力変数Ａの対応する測定値を測定ユニット３に連絡することが可能である。

モデル化の目的に従って、制御変数Ｅ、並びに、当該制御変数Ｅに基づき物理的ユニット２内で得られる駆動状態の駆動変数であって、訓練データのための入力変数としての上記駆動変数、及び、駆動変数のうちの１つ以上の他の駆動変数が、訓練データに対応付けられた１つ以上の出力変数Ａとなる。測定ユニット３による物理的ユニット２の測定の間に収集される入力変数の値が、訓練データ点を構成し、この訓練データ点に対して、出力変数Ａの対応する値、又は出力変数Ａのうちの１つの出力変数Ａの値が対応付けられる。

通常では、物理的ユニット２を完全に測定するために、駆動状態が、駆動変数の大きな範囲にわたって変更され、このようにして、訓練データ点が入力データ空間に、可能かぎり空間を満たすように広がることが実現される。訓練データの収集のために駆動状態が一時停止される際に、入力データ空間の、出力変数Ａの局所的に大きな変動が生じうる範囲を通る可能性がある。この局所的なより大きな変動は、例えば、訓練データ点の局所的に定められた分散と、入力データ空間内の全ての訓練データ点の平均的な分散と、の比較によって決定されうる。これら分散を訓練データで表すために、対応する部分範囲では、駆動状態を定義する駆動変数間又は入力変数間の間隔がしばしば狭められ、従って、出力変数Ａが局所的に大きく変動した範囲では訓練データ点が局所的に集中して生じうる。

物理的ユニット２のモデルを作成するために、データに基づく方法が利用され、従って、非パラメータ的な、データに基づく関数モデルが作成される。特に、ガウス過程モデルを作成する方法がしばしば使用される。

非パラメータ的な、データに基づく関数モデルの利用は、ベイズ回帰法に基づいている。ベイズ回帰の基礎は、例えば、Ｃ．Ｅ．Ｒａｓｍｕｓｓｅｎらによる「Ｇａｕｓｓｉａｎ Ｐｒｏｃｅｓｓ Ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｎｉｎｇ」（ＭＩＴ Ｐｒｅｓｓ、２００６年）に記載されている。ベイズ回帰は、データに基づく方法であって、モデルに基づいている。モデルを作成するためには、訓練データの訓練データ点と、これに対応する、１つ以上の出力変数の出力値と、が必要である。モデルの作成は、訓練データに完全若しくは部分的に対応し又は訓練データから生成されるサンプル点データを利用して行われる。さらに、モデル関数の空間をパラメータ化し、後のモデル予測に対する個々のサンプル点の影響を効果的に重みづけする、抽象的なハイパーパラメータ及びパラメータベクトルが決定される。

抽象的なハイパーパラメータは、最適化方法によって決定される。このような最適化方法の１つの可能性は、周辺尤度ｐ（Ｙ｜Ｈ，Ｘ）の最適化にある。周辺尤度ｐ（Ｙ｜Ｈ，Ｘ）は、モデルパラメータＨ及び訓練データのｘ値が与えられたときのベクトルＹとして表現される、測定された訓練データのｙ値の妥当性を表している。モデル訓練では、ハイパーパラメータ及び訓練データによって決定されたモデル関数の推移へと導き、訓練データを可能な限り厳密に表すことが可能な適当なハイパーパラメータが探索されることによって、ｐ（Ｙ｜Ｈ，Ｘ）が最大化される。計算を簡素化するために、ｐ（Ｙ｜Ｈ，Ｘ）の対数が最大化される。対数は妥当性関数の連続性を変化させないからである。

ガウス過程モデルの計算は、検査点ｕのための入力値（入力変数ベクトル）、

を用いて行われ、当該入力値が、最初に、通常では以下の数式に対応して正規化される。

但し、ｍ_ｘはサンプル点データの入力値の平均値に関する平均値関数、ｓ_ｘはサンプル点データの入力値の分散、ｄは検査点ｕの個々の次元のための指標に相当する。

非パラメータ的な、データに基づく関数モデルの作成結果として、以下のような数式が獲得される。

このようにして定められたモデル値ｖは、出力正規化によって、以下のような数式に従って正規化される。

但し、ｖは正規化された検査点ｕでの正規化されたモデル値（初期値）（Ｄ次元の入力変数ベクトル）、

は、（正規化されていない）検査点

での（正規化されていない）モデル値（初期値）（次元Ｄの入力変数ベクトル）、ｘ_ｉはサンプル点データのサンプル点、Ｎはサンプル点データのサンプル点の数、Ｄは入力データ空間／訓練データ空間／サンプル点データ空間の次元、ｌ_ｄ及びσ_ｆは、モデル訓練からのハイパーパラメータ、即ち、次元に依存する長さスケール、及び分散に相当する。パラメータベクトルＱ_ｙは、ハイパーパラメータ及び訓練データから計算された値である。さらに、ｍ_ｙはサンプル点データの出力値の平均値に関する平均値関数、ｓ_ｙはサンプル点データの出力値の分散に相当する。

ガウス過程モデルの計算は典型的に正規化された空間で行われるため、入力正規化及び出力正規化が行われる。

出力変数のより大きな変動が局所的に発生するという問題を考慮するために、ガウス過程モデルの上記の一般的な数式に対して、変化する長さスケールが設けられる。長さスケールは、入力変数に従って、又は、訓練データが広がる入力データ空間内の場所若しくは範囲に従って変化する。従来の公知の方法は、長さスケール関数モデルにより上記の問題を考慮するためにはコストが掛かるため、入力データ空間内の訓練データ点の密度に従って、入力変数の次元ごとに長さスケールを調整することが構想される。特に、ガウス過程モデルは、共分散関数として、例えばギブス共分散関数の形態による、長さスケールが可変的である共分散関数が利用されるように修正される。

ガウス過程モデルを作成する方法に加えて、入力データ空間内の各点Ｘごとに局所的な点密度を推定ことが可能な推定方法が利用される。点密度ｐ（Ｘ）は、Ｘの近傍の、ｄ次元の入力空間内の空間単位ごとの点の数に比例している。点密度の推定方法として、様々なアルゴリズムが考えられる。例えばＰ．Ｍｉｌｌｓ著「Ｅｆｆｉｃｉｅｎｔ Ｓｔａｔｉｓｔｉｃａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｓａｔｅｌｌｉｔｅ Ｍｅａｓｕｒｅｍｅｎｔｓ」(２０１１年、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｍｏｄｅ Ｓｅｎｓｉｎｇ ３２（２１））に記載されるような、例えばカーネル密度推定のための方法が一般的である。入力データ空間の軸方向ごと、即ち、入力データ空間の次元ごとの長さスケール関数として、以下の形態による関数が利用される。

即ち、長さスケール関数ｌ_ｄ（ｘ）は、入力次元ごとのスケール係数と、局所的な点密度ｐ（ｘ）の推定に基づく項と、の積である。この項は、点密度のＤ乗根（Ｄ＝入力データ空間の次元の数）の逆数であり、スケール係数ｌ_ｄは、ハイパーパラメータの最適化の際に訓練データから推定され、従って、従来のガウス過程モデルでもそうであるように、局所的には、入力データ空間の様々な軸方向、即ち様々な次元について様々な振る舞いが可能である。

図２のフロー図を用いて、局所的により大きな変動に考慮するガウス過程モデルを作成する方法を記載する。このために、工程Ｓ１では、訓練データと、訓練データ点に対応する１つ以上の出力変数の出力値と、が準備される。

工程Ｓ２では、先に記載したように、入力データ空間内の訓練データ点の点密度が定められ、工程Ｓ３では、点密度に従って、例えば上記の数式に従って、次元ごと、即ち入力変数ごとの長さスケールの決定が行われる。

行程Ｓ４では、ガウス過程モデルが、訓練データ点、１つ以上の出力変数の出力値に基づいて、及び、工程Ｓ３に従って予め設定された長さスケールに基づいて定められる。

図３ａ及び図３ｂには、例として二次元の測定空間について、データに基づく関数モデルが、ガウス過程モデルの形態と、密度推定が考慮されたガウス過程モデルの形態と、により図示されている。訓練データＰ（訓練データ点）の値は、０＜Ｘ＜０．５の範囲内で特に大きく変動している。従って、ここでは、訓練データ点Ｐの点密度も上げられた。

図３ａで示された訓練データについての点密度ｐ（ｘ）の推移が、図３ｂに示されている。図３ａには、各ガウス過程モデルを用いて作成されたモデル曲線が示されている。第１の曲線Ｋ１は、一定の長さスケールを持つ従来のガウス過程モデルを示している。第２の曲線Ｋ２は、位置に依存する長さスケールを考慮したガウス過程モデルを示している。第２の曲線Ｋ２の方が、訓練データ点の推移をより正確に表せることが分かる。

Claims (11)

1. 入力データ空間内の訓練データに基づいて、モデル化すべき出力変数のために、データに基づく関数モデルとしてガウス過程モデルを作成する方法であって、以下の工程、即ち、
   ‐訓練データ点を含む訓練データと、前記訓練データ点に対応付けられた１つ以上の出力変数の出力値と、を準備する工程（Ｓ１）と、
   −前記入力データ空間内での前記訓練データ点の位置に依存する点密度を定める工程（Ｓ２）と、
   −前記点密度に従って、前記訓練データの入力変数ごとに長さスケール関数を定める工程（Ｓ３）と、
   −定められた前記長さスケール関数に基づいて、前記訓練データと、モデル化すべき前記出力変数の前記出力値と、からガウス過程モデルを生成する工程（Ｓ４）と、
   を含む、方法。
2. 前記訓練データを準備する工程は、前記出力変数の前記出力値の変動が平均以上である場合には、前記入力データ空間の部分範囲内の前記訓練データの訓練データ点の前記点密度が上げられることを含む、請求項１に記載の方法。
3. 前記出力変数の前記出力値の平均以上の変動は、前記部分範囲内での前記訓練データ点の分散と、入力データ空間全体での前記訓練データ点の平均的な分散と、の比較によって確認される、請求項２に記載の方法。
4. 前記点密度は、前記訓練データ点により形成される前記入力データ空間にわたる関数として提供される、請求項１〜３のいずれか１項に記載の方法。
5. 前記点密度は、前記入力データ空間の部分範囲内の訓練データ点の数として表される、請求項４に記載の方法。
6. 前記ガウス過程モデルを生成するために、特にギブス共分散関数の形態による、前記長さスケール関数の長さスケールが可変的である共分散関数が利用される、請求項１〜５のいずれか１項に記載の方法。
7. 前記長さスケール関数は、前記訓練データ点の場所に依存する前記点密度のＤ乗根の逆数に比例し、但し、Ｄは前記入力データ空間の次元に相当する、請求項１〜５のいずれか１項に記載の方法。
8. 入力データ空間内の訓練データに基づいて、モデル化すべき出力変数のために、データに基づく関数モデルとしてガウス過程モデルを作成する装置であって、前記装置は、
   −前記入力データ空間内での前記訓練データの点の位置に依存する点密度を定めることであって、前記訓練データの点を含む前記訓練データと、前記訓練データ点に対応付けられた、１つ以上の出力変数の出力値と、が準備される、前記定めることと、
   −前記点密度に従って、前記訓練データの入力変数ごとに長さスケール関数を定めることと、
   −前記定められた長さスケール関数に基づいて、前記訓練データと、モデル化すべき前記出力変数の前記出力値と、からガウス過程モデルを生成することと、
   のために構成される、装置。
9. 請求項１〜７のいずれか１項に記載の方法の全工程を実施するよう設けられたコンピュータプログラム。
10. 請求項９に記載のコンピュータプログラムが格納された電子記憶媒体。
11. 請求項１０に記載の電子記憶媒体を有する電子制御装置。

Images