-
Technisches Gebiet
-
Die vorliegende Erfindung betrifft Verfahren zum Erstellen von datenbasierten Funktionsmodellen zur Modellierung von physikalischen Einheiten. Insbesondere betrifft die vorliegende Erfindung Maßnahmen zum Berücksichtigen von ungleichmäßig verteilten Trainingsdatenpunkten bei der Erstellung eines Gauß-Prozess-Modells als datenbasiertes Funktionsmodell.
-
Stand der Technik
-
Bei der Vermessung einer physikalischen Einheit, um Trainingsdaten zur Erstellung eines die physikalische Einheit beschreibenden Modells zu generieren, treten häufig in Teilbereichen des Eingangsdatenraums stärkere Variationen einer Ausgangsgröße auf als in anderen Bereichen. Daher werden in den Teilbereichen, in denen diese stärkeren Variationen der Ausgangsgröße auftreten, in der Regel mehr Messpunkte vorgesehen, d.h. dort liegt eine höhere Messpunktdichte vor. Die resultierenden Trainingsdaten weisen dadurch letztlich Häufungen von Trainingsdatenpunkten in den betreffenden Teilbereichen des Eingangsdatenraums auf.
-
Die Trainingsdaten können zur Erstellung eines datenbasierten Funktionsmodells, insbesondere eines Gauß-Prozess-Modells, verwendet werden. Während üblicherweise davon auszugehen ist, dass eine höhere Dichte von Trainingsdatenpunkten zu einer höheren Genauigkeit eines Modells, insbesondere eines datenbasierten Funktionsmodells, führt, so ist dies bei der Generierung eines Gauß-Prozess-Modells nicht automatisch der Fall. Zwar werden bei der Erstellung eines Gauß-Prozess-Modells nur wenige Modellierungsannahmen getroffen, jedoch besteht eine übliche Grundannahme darin, dass der Verlauf der Modellfunktion im gesamten Definitionsbereich gleich glatt ist. Mit anderen Worten, das Gauß-Prozess-Modell weist im gesamten Definitionsbereich örtlich konstante Längenskalen (Length Scales) auf. Dies kann dazu führen, dass eine lokale starke Variation als Messfehler interpretiert und somit durch Glättung aus dem modellierten Verlauf des Funktionsmodells entfernt wird.
-
In der Literatur sind Ansätze bekannt, um die Gauß-Prozess-Modelle mit ortsabhängigen Längenskalen zu erweitern. Damit kann für die Längenskalen eine beliebige lineare oder nichtlineare Funktion über den Eingangsdatenraum angegeben werden. Weiterhin können für die Längenskalen parametrisierte Funktionen vorgegeben und die Parameter dieser parametrierten Längenskalenfunktionen mit statistischen Methoden aus den Messtrainingsdaten geschätzt werden. Diese Ansätze sind jedoch sehr rechenaufwändig und bei höherdimensionalen Trainingsdaten nicht geeignet. Weiterhin erfordern parametrierte Längenskalenfunktionen eine höhere Anzahl von Trainingsdatenpunkten, da die Information über den Verlauf der Längenskalen aus den Trainingsdaten extrahiert werden muss. Die Komplexität der obigen Ansätze steigt mit der Anzahl der Dimensionen des Eingangsdatenraums erheblich an (insbesondere da Integrale numerisch gelöst werden müssen).
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein Verfahren zum Erstellen eines Gauß-Prozess-Modells als ein datenbasiertes Funktionsmodell gemäß Anspruch 1 sowie eine Vorrichtung und ein Computerprogramm gemäß den nebengeordneten Ansprüchen vorgesehen.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Erstellen eines Gauß-Prozess-Modells als ein datenbasiertes Funktionsmodell für eine zu modellierende Ausgangsgröße basierend auf Trainingsdaten in einem Eingangsdatenraum vorgesehen, das die folgenden Schritte umfasst:
- – Bereitstellen von Trainingsdaten mit Trainingsdatenpunkten und den Trainingsdatenpunkten zugeordneten Ausgangswerten einer oder mehrerer Ausgangsgrößen;
- – Ermitteln einer von der Position der Trainingsdatenpunkte im Eingangsdatenraum abhängigen Punktedichte;
- – Ermitteln einer Längenskalenfunktion für jede Eingangsgröße der Trainingsdaten abhängig von der Punktedichte; und
- – Generieren eines Gauß-Prozess-Modells aus den Trainingsdaten und den Ausgangswerten der zu modellierenden Ausgangsgröße basierend auf den ermittelten Längenskalenfunktionen.
-
Herkömmliche Gauß-Prozess-Modelle bilden ein Systemverhalten basierend auf Hyperparametern, nämlich der Varianz σf und den Längenskalen, die für jede Dimension des Eingangsdatenraums konstant sind, sowie mit einem Parametervektor ab, in dem die Hyperparameter und die Werte der Ausgangsgröße der Trainingsdaten berücksichtigt sind. Durch die konstanten Längenskalen werden insbesondere stärkere Variationen innerhalb eines Teilbereichs des Eingangsdatenraums nicht ausreichend berücksichtigt. Die Funktion der Längenskalen in Gaußprozessmodellen ist insbesondere in C. E. Rasmussen et al., „Gaussian Processes for Machine Learning", MIT Press, 2006, ISBN 026218253X, www.GaussianProcess.org/gpml ausführlich erläutert.
-
Eine Idee des obigen Verfahrens umgeht diese Probleme der hohen Komplexität der Berechnung zum Vorsehen variierender Längenskalen dadurch, dass die Dichte der Trainingsdatenpunkte in den Teilbereichen des Eingangsdatenraums als Information zur Spezifizierung der Längenskalen verwendet wird. Dadurch ergibt sich ein erweitertes Gauß-Prozess-Modell, das stärkere Variationen in Teilbereichen des Eingangsdatenraums berücksichtigen kann.
-
Weiterhin kann das Bereitstellen von Trainingsdaten umfassen, dass die Punktedichte von Trainingsdatenpunkten der Trainingsdaten in einem Teilbereich des Eingangsdatenraums erhöht wird, wenn die Variation der Werte der Ausgangsgröße überdurchschnittlich ist.
-
Insbesondere kann eine überdurchschnittliche Variation der Werte der Ausgangsgröße durch Vergleichen einer Varianz der Trainingsdatenpunkte in dem Teilbereich mit einer durchschnittlichen Varianz der Trainingsdatenpunkte im gesamten Eingangsdatenraum festgestellt werden.
-
Es kann vorgesehen sein, dass die Punktedichte als Funktion über den durch die Trainingsdatenpunkte gebildeten Eingangsdatenraum bereitgestellt wird.
-
Gemäß einer Ausführungsform kann die Punktedichte als eine Anzahl von Trainingsdatenpunkten in einem Teilbereich des Eingangsdatenraums angegeben werden.
-
Weiterhin kann zum Generieren des Gauß-Prozessmodells eine Kovarianzfunktion mit variablen Längenskalen der Längenskalenfunktionen verwendet werden, insbesondere in Form einer Gibbs-Kovarianzfunktion.
-
Es kann vorgesehen sein, dass die Längenskalenfunktionen proportional zu einem Kehrwert der D-ten Wurzel der von der Position der Trainingsdatenpunkte abhängigen Punktedichte ist, wobei D der Dimension des Eingangsdatenraums entspricht.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Erstellen eines Gauß-Prozess-Modells als ein datenbasiertes Funktionsmodell für eine zu modellierende Ausgangsgröße basierend auf Trainingsdaten in einem Eingangsdatenraum vorgesehen, wobei die Vorrichtung ausgebildet ist, um:
- – eine von der Position der Trainingsdatenpunkte im Eingangsdatenraum abhängige Punktedichte zu ermitteln, wobei die Trainingsdaten mit den Trainingsdatenpunkten und den Trainingsdatenpunkten zugeordneten Ausgangswerten einer oder mehrerer Ausgangsgrößen bereitgestellt werden;
- – eine Längenskalenfunktion für jede Eingangsgröße der Trainingsdaten abhängig von der Punktedichte zu ermitteln; und
- – ein Gauß-Prozess-Modell aus den Trainingsdaten und den Ausgangswerten der zu modellierenden Ausgangsgröße basierend auf den ermittelten Längenskalenfunktionen zu generieren.
-
Kurzbeschreibung der Zeichnungen
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines Testsystems zur Aufnahme von Mess- bzw. Trainingsdaten, um aus diesen ein datenbasiertes Funktionsmodell zum Modellieren der physikalischen Einheit zu erstellen;
-
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Erstellen eines Gauß-Prozess-Modells mit variablen Längenskalen; und
-
3a und 3b Darstellungen von modellierten Kurven von Gauß-Prozess-Modellen, die mit und ohne Berücksichtigung einer lokalen Punktedichte der Trainingsdatenpunkte erste llt wurden, sowie eines Verlaufs der zugrundeliegenden lokalen Punktedichte.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Test- bzw. Prüfsystems 1, das zur Vermessung einer physikalischen Einheit 2 ausgebildet ist. Eine physikalische Einheit 2 kann beispielsweise einem Verbrennungsmotor eines Kraftfahrzeugs oder Teilsystemen davon entsprechen. Eine Vermessungseinheit 3 steuert die physikalische Einheit 2 mit Ansteuergrößen E an, die zu bestimmten Betriebspunkten bzw. Betriebszuständen der physikalischen Einheit 2 führen. Weiterhin resultiert die Ansteuerung der physikalischen Einheit 2 in einer oder mehreren Ausgangsgrößen A, die ebenfalls gemessen werden können und deren entsprechende Messwerte an die Vermessungseinheit 3 kommuniziert werden.
-
Je nach Modellierungsziel können die Ansteuergrößen E und die Betriebsgrößen des sich daraus in der physikalischen Einheit 2 ergebenden Betriebszustands als Eingangsgrößen für die Trainingsdaten sowie eine oder mehrere weitere der Betriebsgrößen eine bzw. mehrere den Trainingsdaten zugeordnete Ausgangsgrößen A darstellen. Während einer Vermessung der physikalischen Einheit 2 durch die Vermessungseinheit 3 erfasste Werte der Eingangsgrößen bilden einen Trainingsdatenpunkt, dem ein entsprechender Wert der Ausgangsgrößen A bzw. ein Wert einer der Ausgangsgrößen A zugeordnet wird.
-
In der Regel werden zur vollständigen Vermessung der physikalischen Einheit 2 die Betriebszustände über einen großen Bereich von Betriebsgrößen variiert, um so eine möglichst raumfüllende Abdeckung des Eingangsdatenraums durch die Trainingsdatenpunkte zu erreichen. Beim Abfahren der Betriebszustände zur Erfassung der Trainingsdaten können Bereiche des Eingangsdatenraums durchfahren werden, bei denen lokal starke Variationen von Ausgangsgrößen A auftreten können. Diese lokal stärkeren Variationen können beispielsweise durch Vergleichen von lokal ermittelten Varianzen der Trainingsdatenpunkte mit einer durchschnittlichen Varianz aller Trainingsdatenpunkte im Eingangsdatenraum bestimmt werden. Um diese Variationen in den Trainingsdaten abzubilden, werden in den entsprechenden Teilbereichen häufig die Abstände zwischen den die Betriebszustände definierenden Betriebsgrößen bzw. den Eingangsgrößen verringert, so dass eine lokale Häufung von Trainingsdatenpunkten in den Bereichen starker lokaler Variationen der Ausgangsgrößen A auftreten kann.
-
Zur Erstellung von Modellen von physikalischen Einheiten 2 können datenbasierte Verfahren verwendet werden, um nicht parametrische, datenbasierte Funktionsmodelle zu erstellen. Insbesondere werden häufig Verfahren zum Erstellen von Gauß-Prozess-Modellen eingesetzt.
-
Die Verwendung von nicht parametrischen, datenbasierten Funktionsmodellen basiert auf einem Bayes-Regressionsverfahren. Die Grundlagen der Bayes-Regression sind beispielsweise in
C. E. Rasmussen et al., "Gaussian Processes for Machine Learning", MIT Press 2006, beschrieben. Bei der Bayes-Regression handelt es sich um ein datenbasiertes Verfahren, das auf einem Modell basiert. Zur Erstellung des Modells sind Trainingsdatenpunkte der Trainingsdaten sowie zugehörige Ausgangswerte der einen oder den mehreren Ausgangsgrößen erforderlich. Die Erstellung des Modells erfolgt mithilfe von Stützstellendaten, die den Trainingsdaten ganz oder teilweise entsprechen oder aus diesen generiert werden. Weiterhin werden abstrakte Hyperparameter und ein Parametervektor bestimmt, die den Raum der Modellfunktionen parametrieren und effektiv den Einfluss der einzelnen Stützstellen auf die spätere Modellvorhersage gewichten.
-
Die abstrakten Hyperparameter werden durch ein Optimierungsverfahren bestimmt. Eine Möglichkeit für ein solches Optimierungsverfahren besteht in einer Optimierung einer Marginal Likelihood p(Y|H, X). Die Marginal Likelihood p(Y|H, X) beschreibt die Plausibilität der gemessenen y-Werte der Trainingsdaten, dargestellt als Vektor Y, gegeben die Modellparameter H und die x-Werte der Trainingsdaten. Im Modelltraining wird p(Y|H, X) maximiert, indem geeignete Hyperparameter gesucht werden, die zu einem Verlauf der durch die Hyperparameter und die Trainingsdaten bestimmten Modellfunktion führen und die Trainingsdaten möglichst genau abbilden. Zur Vereinfachung der Berechnung wird der Logarithmus von p(Y|H, X) maximiert, da der Logarithmus die Stetigkeit der Plausibilitätsfunktion nicht verändert.
-
Die Berechnung eines Gauß-Prozess-Modells erfolgt mit den Eingangswerten u ~
d für einen Testpunkt u (Eingangsgrößenvektor), der zunächst üblicherweise entsprechend der folgenden Formel normiert wird:
-
Dabei entsprechen mx der Mittelwertfunktion bezüglich eines Mittelwerts der Eingangswerte der Stützstellendaten, sy der Varianz der Eingangswerte der Stützstellendaten und d dem Index für die einzelnen Dimensionen des Testpunkts u.
-
Als Ergebnis der Erstellung des nicht parametrischen, datenbasierten Funktionsmodells erhält man:
-
Der so ermittelte Modellwert v wird mithilfe einer Ausgangsnormierung normiert, und zwar gemäß der Formel: v ~ = vsy + my.
-
Dabei entsprechen v einem normierten Modellwert (Ausgangswert) an einem normierten Testpunkt u (Eingangsgrößenvektor der Dimension D), v ~ einem (nicht normierten) Modellwert (Ausgangswert) an einem (nicht normierten) Testpunkt (Eingangsgrößenvektor der Dimension D), xi einer Stützstelle der Stützstellendaten, N der Anzahl der Stützstellen der Stützstellendaten, D der Dimension des Eingangsdaten-/Trainingsdaten-/ Stützstellendatenraums, sowie ld und σf den Hyperparametern, d. h. den dimensionsabhängigen Längenskalen und einer Varianz, aus dem Modelltraining. Der Parametervektor Qy ist eine aus den Hyperparametern und den Trainingsdaten berechnete Größe. Weiterhin entsprechen my der Mittelwertfunktion bezüglich eines Mittelwerts der Ausgangswerte der Stützstellendaten und sy der Varianz der Ausgangswerte der Stützstellendaten.
-
Die Eingangs- und Ausgangsnormierung wird durchgeführt, da die Berechnung des Gauß-Prozess-Modells typischerweise in einem normierten Raum stattfindet.
-
Um das Problem des lokalen Auftretens stärkerer Variationen der Ausgangsgrößen zu berücksichtigen, werden zu den oben beschriebenen allgemeinen Formeln des Gauß-Prozess-Modells variierende Längenskalen vorgesehen. Die Längenskalen variieren abhängig von den Eingangsgrößen bzw. abhängig von dem Ort bzw. Bereich innerhalb des durch die Trainingsdaten aufgespannten Eingangsdatenraums. Bisher bekannte Verfahren, um das oben beschriebene Problem durch Längenskalen-Funktionsmodelle zu berücksichtigen, sind aufwändig, und es ist daher vorgesehen, die Längenskalen für jede Dimension der Eingangsgrößen abhängig von einer Dichte der Trainingsdatenpunkte innerhalb des Eingangsdatenraums anzupassen. Insbesondere wird das Gauß-Prozessmodell so modifiziert, dass als Kovarianzfunktion eine Kovarianzfunktion mit variablen Längenskalen verwendet wird, zum Beispiel in Form einer Gibbs-Kovarianzfunktion.
-
Zusätzlich zu dem Verfahren zum Erstellen des Gauß-Prozess-Modells wird ein Schätzverfahren verwendet, das für jeden Punkt X im Eingangsdatenraum die lokale Punktdichte schätzen kann. Die Punktdichte p(X) ist proportional zur Anzahl der Punkte pro Raumeinheit im d-dimensionalen Eingangsdatenraum in der Nähe von X. Als Schätzverfahren für die Punktdichte sind verschiedene Algorithmen denkbar. Beispielsweise ist allgemein ein Verfahren zur Kerndichteschätzung bekannt, wie beispielsweise aus der Druckschrift
P. Mills, "Efficient Statistical Classification of Satellite Measurements", 2011, International Journal of Mode Sensing 32 (21). Als Längenskalenfunktion für jede Achsenrichtung, d. h. für jede Dimension des Eingangsdatenraums, wird nun eine Funktion der folgenden Form verwendet:
-
Das heißt, die Längenskalenfunktion ld(x) ist ein Produkt aus einem skalaren Faktor für jede Eingangsdimension und einem Term, der auf der Schätzung der lokalen Punktedichte p(X) basiert. Dieser Term ist die D-te Wurzel (D = Anzahl der Dimensionen des Eingangsdatenraums) des Kehrwerts der Punktedichte und die Skalenfaktoren ld werden bei der Hyperparameter-Optimierung aus den Trainingsdaten geschätzt, so dass lokal ein unterschiedliches Verhalten für verschiedene Achsenrichtungen, d. h. für die verschiedenen Dimensionen des Eingangsdatenraums, möglich ist, so wie es auch beim herkömmlichen Gauß-Prozess-Modell der Fall ist.
-
Mithilfe des Flussdiagramms der 2 wird das Verfahren zum Ermitteln eines Gauß-Prozess-Modells beschrieben, das lokal stärkere Variationen berücksichtigt. In Schritt S1 werden dazu Trainingsdaten und den Trainingsdatenpunkten entsprechende Ausgangswerte der einen oder mehreren Ausgangsgrößen bereitgestellt.
-
In Schritt S2 wird nun die Punktedichte der Trainingsdatenpunkte im Eingangsdatenraum wie oben beschrieben ermittelt und in Schritt S3 erfolgt die Ermittlung der Längenskalen für jede Dimension, d. h. für jede Eingangsgröße, abhängig von der Punktedichte, z. B. entsprechend obiger Formel.
-
Das Gauß-Prozess-Modell wird nun in Schritt S4 basierend auf den Trainingsdaten, den Ausgangswerten der einen oder den mehreren Ausgangsgrößen sowie basierend auf den gemäß Schritt S3 vorgegebenen Längenskalen ermittelt.
-
In den 3a und 3b ist beispielhaft für einen zweidimensionalen Messdatenraum ein datenbasiertes Funktionsmodell in Form eines Gauß-Prozess-Modells und in Form eines Gauß-Prozess-Modells mit Berücksichtigung einer Dichteschätzung graphisch dargestellt. Die Werte der Trainingsdaten P (Trainingsdatenpunkte) variieren im Bereich 0 < x < 0,5 besonders stark. Daher wurde dort auch die Punktedichte der Trainingsdatenpunkte P erhöht.
-
Der Verlauf der Punktedichte p(x) für die in 3a dargestellten Trainingsdaten ist in 3b dargestellt. In 3a sind mithilfe eines jeweiligen Gauß-Prozess-Modells erstellte Modellkurven dargestellt. Die erste Kurve K1 zeigt ein herkömmliches Gauß-Prozess-Modell mit konstanten Längenskalen. Die zweite Kurve K2 zeigt ein Gauß-Prozess-Modell, das die ortsabhängigen Längenskalen berücksichtigt. Man erkennt, dass die zweite Kurve K2 den Verlauf der Trainingsdatenpunkte exakter nachbilden kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- C. E. Rasmussen et al., „Gaussian Processes for Machine Learning“, MIT Press, 2006, ISBN 026218253X, www.GaussianProcess.org/gpml [0008]
- C. E. Rasmussen et al., "Gaussian Processes for Machine Learning“, MIT Press 2006 [0025]
- P. Mills, "Efficient Statistical Classification of Satellite Measurements", 2011, International Journal of Mode Sensing 32 (21) [0034]
