-
Technisches Gebiet
-
Die Erfindung betrifft allgemein Motorsteuergeräte, in denen Funktionsmodelle als datenbasierte Funktionsmodelle implementiert sind. Insbesondere betrifft die vorliegende Erfindung Verfahren, um datenbasierte Funktionsmodelle mit möglichst wenigen Stützstellendaten zu definieren.
-
Stand der Technik
-
Zur Implementierung von Funktionsmodellen in Steuergeräten, insbesondere Motorsteuergeräten für Verbrennungsmotoren, ist die Verwendung von datenbasierten Funktionsmodellen vorgesehen. Häufig werden parameterfreie datenbasierte Funktionsmodelle verwendet, da sie ohne spezifische Vorgaben aus Trainingsdaten, d. h. einer Menge von Trainingsdatenpunkten, erstellt werden können.
-
Ein Beispiel für ein datenbasiertes Funktionsmodell stellt das so genannte Gauß-Prozess-Modell dar, das auf der Gauß-Prozess-Regression basiert. Die Gauß-Prozess-Regression ist eine vielseitige Methode zur datenbasierten Modellierung komplexer physikalischer Systeme. Die Regressionsanalyse basiert auf üblicherweise großen Mengen an Trainingsdaten, so dass es sinnvoll ist, approximative Lösungsansätze zu verwenden, die effizienter ausgewertet werden können.
-
Für das Gauß-Prozess-Modell existiert die Möglichkeit einer spärlichen Gauß-Prozess-Regression, bei der zur Erstellung des datenbasierten Funktionsmodells lediglich eine repräsentative Menge an Stützstellendaten genutzt wird. Dazu müssen die Stützstellendaten in geeigneter Weise aus den Trainingsdaten selektiert werden.
-
Die Druckschrift
Csató, Lehel; Opper, Manfred, "Sparse On-Line Gaussian Processes"; Neural Computation 14: S. 641–668, 2002, offenbart ein Verfahren zum Ermitteln von Stützstellendaten für ein spärliches Gauß-Prozess-Modell.
-
Andere diesbezügliche Verfahren sind aus
Smola, A. J., Schölkopf, W., "Sparse Greedy Gaussian Process Regression", Advances in Neural Information Processing Systems 13, S. 619–625, 2001 und Seeger,
M., Williams, C. K., Lawrence, N. D., "Fast Forward Selection to Speed up Sparse Gaussian Process Regression", Proceedings of the 9th International Workshop an Artificial Intelligence and Statistics, 2003, bekannt.
-
Offenbarung der Erfindung
-
Erfindungsgemäß sind ein Verfahren zum Bestimmen einer Menge von Stützstellendatenpunkten aus Trainingsdaten für ein spärliches Gauß-Prozess-Modell gemäß Anspruch 1 sowie eine Vorrichtung, ein System und ein Computerprogramm gemäß den nebengeordneten Ansprüchen vorgesehen.
-
Weitere vorteilhafte Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Bestimmen einer Menge von Stützstellendatenpunkten aus Trainingsdaten für ein spärliches Gauß-Prozess-Modell vorgesehen, umfassend die folgenden Schritte:
- – sukzessives Selektieren von Trainingsdatenpunkten aus der Menge von Trainingsdaten zur Aufnahme in eine oder zum Ausschluss aus einer Menge von Stützstellendatenpunkten gemäß einem Selektionskriterium; und
- – Abbrechen des Selektierens, wenn ein Abbruchkriterium vorliegt;
wobei das Selektionskriterium von einer Abweichung zwischen einem Zielwert des zu selektierenden Trainingsdatenpunkts und einem Funktionswert des auf der jeweils ak tuellen Menge von Stützstellendatenpunkten basierenden Gauß-Prozess-Modells an dem zu selektierenden Trainingsdatenpunkt abhängt.
-
Das obige Verfahren stellt eine Möglichkeit zur Verfügung, die Trainingspunkte aus den Trainingsdaten auszuwählen, die als Stützstellendaten für das spärliche Gauß-Prozess-Modell verwendet werden. Eine Idee des obigen Verfahrens besteht grundsätzlich darin, mithilfe eines Selektionskriteriums aus einer Trainingsdatenmenge relevante Trainingsdatenpunkte als Stützstellendatenpunkte auszuwählen bzw. nicht relevante Trainingsdaten aus einer gegebenen Anfangsmenge von betrachteten Stützstellendatenpunkte zu entfernen, bis eine Menge von Stützstellendatenpunkte (Stützstellendaten) erreicht ist, die ein Abbruchkriterium erfüllt. Das Selektionskriterium entspricht einer Maximumnorm (bei Aufnahme von Trainingsdaten) bzw. einer Minimumnorm (bei Ausschluss von Trainingsdaten), bei der derjenige Trainingsdatenpunkt in die Menge von Stützstellendaten aufgenommen wird, der einem maximalen Fehler bezüglich des entsprechenden Funktionswerts des Gauß-Prozess-Modells mit den bereits ermittelten Stützstellendaten entspricht, bzw. bei der derjenige Trainingsdatenpunkt aus der Menge von Stützstellendatenpunkten ausgeschlossen wird, der einem minimalen Fehler bezüglich des entsprechenden Funktionswerts des Gauß-Prozess-Modells mit den verbliebenen Stützstellendatenpunkten entspricht.
-
Mit dem obigen Verfahren kann ein spärliches Gauß-Prozess-Modell aus einer großen Menge von Trainingsdaten erstellt werden, das es ermöglicht, einen Modellwert mit einer reduzierten Rechenzeit in einem Motorsteuergerät zu ermitteln. Da die Auswahl der Stützstellendaten sukzessive erfolgt, lässt sich die Güte des aus dem obigen Verfahren resultierenden Modells kontinuierlich überwachen, z. B. anhand eines absoluten Fehlers, und stellt damit ein mögliches Abbruchkriterium zur Verfügung.
-
Weiterhin kann das sukzessive Selektieren von Trainingsdatenpunkten aus der Menge von Trainingsdaten zur Aufnahme in die Menge von Stützstellendatenpunkten gemäß dem Selektionskriterium umfassen, dass das Selektionskriterium in jedem Selektionszyklus denjenigen Trainingsdatenpunkt zur Aufnahme in die Menge von Stützstellendatenpunkten bestimmt, dessen Zielwert von dem Funktionswert des durch die zuvor ermittelten Stützstellendaten definierten Gauß-Prozess-Modells maximal abweicht.
-
Es kann vorgesehen sein, dass das Abbruchkriterium das Feststellen eines Erreichens einer vorgegebenen Anzahl von selektierten Stützstellendatenpunkten und/oder das Feststellen, dass die maximale Abweichung einen vorgegebenen Fehlerschwellenwert unterschreitet, umfasst.
-
Insbesondere kann das Ermitteln der Menge der Stützstellendatenpunkte iterativ durchgeführt werden, wobei nach jedem Ermitteln der Menge der Stützstellendatenpunkte darauf basierende Hyperparameter für das spärliche Gauß-Prozess-Modell ermittelt werden und die Menge der Stützstellendatenpunkte erneut ermittelt wird, wobei die iterative Ermittlung durchgeführt wird, solange ein Iterationskriterium erfüllt ist.
-
Weiterhin kann das Iterationskriterium erfüllt sein, wenn die durchschnittliche Abweichung der Zielwerte der Menge der Stützstellendaten von den Funktionswerten des ermittelten spärlichen Gauß-Prozess-Modells einen vorgegebenen Grenzwert unterschreitet.
-
Es kann vorgesehen sein, dass die Hyperparameter für das spärliche Gauß-Prozess-Modell nach dem Ermitteln der Menge der Stützstellendaten bestimmt werden.
-
Gemäß einer alternativen Ausführungsform kann das sukzessive Selektieren von Trainingsdatenpunkten aus der Menge von Trainingsdaten zum Ausschluss aus der Menge von Stützstellendatenpunkten gemäß dem Selektionskriterium umfassen, wobei das Selektionskriterium in jedem Selektionszyklus denjenigen Trainingsdatenpunkt zum Ausschluss aus der Menge von Stützstellendatenpunkten bestimmt, dessen Zielwert von dem Funktionswert des durch die zuvor ermittelten Stützstellendaten definierten Gauß-Prozess-Modells minimal abweicht.
-
Weiterhin kann das Abbruchkriterium das Feststellen eines Erreichens einer vorgegebenen Anzahl von selektierten Stützstellendatenpunkten und/oder das Feststellen, dass die minimale Abweichung einen vorgegebenen Fehlerschwellenwert überschreitet, umfassen.
-
Gemäß einem weiteren Aspekt ist eine Vorrichtung zum Bestimmen einer Menge von Stützstellendatenpunkten aus Trainingsdaten für ein spärliches Gauß-Prozess-Modell vorgesehen, wobei die Vorrichtung ausgebildet ist, um:
- – Trainingsdatenpunkte aus der Menge von Trainingsdaten zur Aufnahme in eine oder zum Ausschluss aus einer Menge von Stützstellendatenpunkten gemäß einem Selektionskriterium sukzessive zu selektieren; und
- – das Selektieren abzubrechen, wenn ein Abbruchkriterium vorliegt; wobei das Selektionskriterium von einer Abweichung zwischen einem Zielwert des zu selektierenden Trainingsdatenpunkts und einem Funktionswert des auf der jeweils aktuellen Menge von Stützstellendatenpunkten basierenden Gauß-Prozess-Modells an dem zu selektierenden Trainingsdatenpunkt abhängt.
-
Gemäß einem weiteren Aspekt ist ein System vorgesehen, umfassend:
- – die obige Vorrichtung; und
- – ein Steuergerät, das ausgebildet ist, um die Stützstellendaten zu empfangen und das spärliche Gauß-Prozess-Modell zu berechnen.
-
Kurzbeschreibung der Zeichnungen
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
-
1 eine schematische Darstellung eines Gesamtsystems zum Ermitteln eines spärlichen Gauß-Prozess-Modells und des Motorsteuergeräts, auf dem das spärliche Gauß-Prozess-Modell implementiert wird;
-
2 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Bereitstellen von Hyperparametern und Stützstellendaten gemäß einer ersten Ausführungsform; und
-
3 ein Flussdiagramm zum Bereitstellen von Hyperparametern und Stützstellendaten gemäß einer zweiten Ausführungsform.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine Anordnung 1 mit einem Modellierungssystem 2, das basierend auf z. B. in einem (nicht gezeigten) Prüfstand aufgezeichneten Trainingsdaten ein datenbasiertes Funktionsmodell, insbesondere ein Gaußprozess-Modell, ermitteln kann. Die Trainingsdaten stellen Trainingsdatenpunkte von einer oder mehreren Eingangsgrößen sowie einer oder mehreren Ausgangsgrößen zur Verfügung, die ein Verhalten eines physikalischen Systems 3, wie beispielsweise eines Verbrennungsmotors, beschreiben.
-
Die Verwendung von nicht parametrischen, datenbasierten Funktionsmodellen basiert auf einem Bayes-Regressionsverfahren. Die Grundlagen der Bayes-Regression sind beispielsweise in C. E. Rasmussen et al., „Gaussian Processes for Machine Learning", MIT Press 2006, beschrieben. Bei der Bayes-Regression handelt es sich um ein datenbasiertes Verfahren, das auf einem Modell basiert. Zur Erstellung des Modells sind Messpunkte von Trainingsdaten sowie zugehörige Ausgangsdaten einer Ausgangsgröße erforderlich. Die Erstellung des Modells erfolgt anhand der Verwendung von Stützstellendaten, die den Trainingsdaten ganz oder teilweise entsprechen oder aus diesen generiert werden. Weiterhin werden abstrakte Hyperparameter bestimmt, die den Raum der Modellfunktionen parametrieren und effektiv den Einfluss der einzelnen Messpunkte der Trainingsdaten auf die spätere Modellvorhersage gewichten.
-
Die abstrakten Hyperparameter werden durch ein Optimierungsverfahren bestimmt. Eine Möglichkeit für ein solches Optimierungsverfahren besteht in einer Optimierung einer Marginal Likelihood p(Y|H, X). Die Marginal Likelihood p(Y|H, X) beschreibt die Plausibilität der gemessenen y-Werte der Trainingsdaten, dargestellt als Vektor Y, gegeben die Modellparameter H und die x-Werte der Trainingsdaten, dargestellt als Matrix X. Im Modelltraining wird p(Y|H, X) maximiert, indem geeignete Hyperparameter gesucht werden, die zu einem Verlauf der durch die Hyperparameter und den Trainingsdaten bestimmten Modellfunktion führen und die Trainingsdaten möglichst genau abbilden. Zur Vereinfachung der Berechnung wird der Logarithmus von p(Y|H, X) maximiert, da der Logarithmus die Stetigkeit der Plausibilitätsfunktion nicht verändert.
-
Die Berechnung des Gauß-Prozessmodells erfolgt entsprechend der nachfolgenden Rechenvorschrift. Die Eingangswerte
u ~d für einen Testpunkt u (Eingangsgrößenvektor) werden zunächst normiert und zentriert, und zwar entsprechend der folgenden Formel:
-
Dabei entsprechen mx der Mittelwertfunktion bezüglich eines Mittelwerts der Eingangswerte der Stützstellendaten, sx der Varianz der Eingangswerte der Stützstellendaten und d dem Index für die Dimension D des Testpunkts u.
-
Als Ergebnis der Erstellung des nicht parametrischen, datenbasierten Funktionsmodells erhält man:
-
Der so ermittelte Modellwert v wird mithilfe einer Ausgangsnormierung normiert, und zwar gemäß der Formel: v ~ = vsy + my.
-
Dabei entsprechen v einem normierten Modellwert (Ausgangswert) an einem normierten Testpunkt u (Eingangsgrößenvektor der Dimension D), v ~ einem (nicht normierten) Modellwert (Ausgangswert) an einem (nicht normierten) Testpunkt u ~ (Eingangsgrößenvektor der Dimension D), xi einer Stützstelle der Stützstellendaten, N der Anzahl der Stützstellen der Stützstellendaten, D der Dimension des Eingangsdaten-/Trainingsdaten-/Stützstellendatenraums, sowie ld und σf den Hyperparametern aus dem Modelltraining. Der Vektor Qy ist eine aus den Hyperparametern und den Trainingsdaten berechnete Größe. Weiterhin entsprechen my der Mittelwertfunktion bezüglich eines Mittelwerts der Ausgangswerte der Stützstellendaten und sy der Varianz der Ausgangswerte der Stützstellendaten.
-
Das Modellierungssystem 2 führt weiterhin ein Verfahren zur Verarbeitung der ermittelten bzw. bereitgestellten Trainingsdaten aus, um das datenbasierte Funktionsmodell mithilfe von Hyperparametern und Stützstellendaten, die eine Teilmenge der Trainingsdaten darstellen, bereitzustellen. Auf diese Weise wird ein so genanntes spärliches Gauß-Prozess-Modell erstellt.
-
Diese Stützstellendaten und Hyperparameter werden dann in ein Steuergerät 4 übertragen und dort gespeichert. Das Steuergerät 4 steht in Verbindung mit einem physikalischen System 3, z. B. einem Verbrennungsmotor, das mithilfe des datenbasierten Funktionsmodells betrieben wird.
-
1 zeigt weiterhin eine schematische Darstellung einer Hardwarearchitektur für einen integrierten Steuerbaustein 4, z. B. in Form eines Mikrocontrollers, in dem in integrierter Weise eine Hauptrecheneinheit 42 und eine Modellberechnungseinheit 43 zur rein hardwarebasierten Berechnung eines datenbasierten Funktionsmodells vorgesehen sind. Die Hyperparameter und Stützstellendaten werden in einer Speichereinheit 41 gespeichert. Die Hauptrecheneinheit 42, die Speichereinheit 41 und die Modellberechnungseinheit 43 stehen über eine interne Kommunikationsverbindung 44, wie z. B. einen Systembus, miteinander in Verbindung.
-
Die als Mikrocontroller vorgesehene Hauptrecheneinheit 42 ist ausgebildet, um mithilfe eines softwarebestimmten Algorithmus Funktionswerte des bereitgestellten datenbasierten Funktionsmodells zu berechnen. Zur Beschleunigung der Berechnung und zur Entlastung des Mikrocontrollers 42 ist vorgesehen, die Modellberechnungseinheit 43 zu nutzen. Die Modellberechnungseinheit 43 ist vollständig in Hardware ausgebildet und lediglich dazu geeignet, eine bestimmte Rechenvorschrift durchzuführen, die im Wesentlichen auf wiederholten Berechnungen einer Summe, einer Multiplikation und einer Exponentialfunktion basiert. Grundsätzlich ist die Modellberechnungseinheit 43 also im Wesentlichen hartverdrahtet und dem entsprechend nicht dazu ausgebildet, einen Softwarecode wie bei der Hauptrecheneinheit 42 auszuführen.
-
Alternativ ist eine Lösung möglich, in der die Modellberechnungseinheit 43 zur Berechnung des datenbasierten Funktionsmodells einen eingeschränkten, hoch spezialisierten Befehlssatz zur Verfügung stellt. In der Modellberechnungseinheit 43 ist jedoch in keiner Ausführungsform ein Prozessor vorgesehen. Dies ermöglicht eine ressourcenoptimierte Realisierung einer solchen Modellberechnungseinheit 43 bzw. einen flächenoptimierten Aufbau in integrierter Bauweise.
-
In einem solchen Steuergerät 4 können neben herkömmlichen Gauß-Prozess-Modellen auch spärliche Gauß-Prozess-Modelle berechnet werden. Dadurch, dass bei spärlichen Gauß-Prozess-Modellen die Menge an Stützstellendaten deutlich geringer ist als bei herkömmlichen Gauß-Prozess-Modellen, kann die bereitzustellende Speicherkapazität der Speichereinheit 41 zum Speichern der Stützstellendaten reduziert werden oder es können mehrere Datensätze von Trainingsdaten von mehreren spärlichen Gauß-Prozess-Modellen in der Speichereinheit 41 gespeichert werden.
-
Insbesondere ist es möglich, bei der Erstellung von spärlichen Gauß-Prozess-Modellen die Stützstellen der verwendeten Stützstellendaten für mehrere Modelle gleich zu wählen, um so noch mehr Speicherplatz zu sparen. Dadurch ist es möglich, mehrere spärliche Gauß-Prozess-Modelle mithilfe der gleichen Stützstellendaten zu berechnen.
-
In 2 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Bereitstellen eines spärlichen Gauß-Prozess-Modells mit Hyperparametern und Stützstellendaten schematisch dargestellt.
-
In Schritt S1 werden dazu die über ein Testsystem oder anderweitig ermittelten Trainingsdaten bereitgestellt, die das zu modellierende physikalische System
3 bzw. einen zu modellierenden Teil davon beschreiben. Die Trainingsdaten umfassen eine oder mehrere Eingangsgrößen sowie eine oder mehrere Ausgangsgrößen. Die Trainingsdaten sind für nachfolgende Erläuterung in Form eines Trainingsdatensatzes D = {x
i, y
i} mit den Trainingsdatenpunkten x
i =
im Eingangsraum und den reellen Zielwerten einer Ausgangsgröße y
i ∊
gegeben. Zugrunde liegt entsprechend der Gauß-Prozess-Regression das Regressionsmodell y = f(x) + ε, wobei ε ~ N(0, σ
2) zentriert normal verteilt ist.
-
In Schritt S2 werden nun Anfangs-Hyperparameter, wie beispielsweise σ2, eine Mittelwertfunktion und der Matrix H bereitgestellt. Weiterhin können Werte für Abbruchkriterien, wie beispielsweise die gewünschte Anzahl von Stützstellen a und/oder eine Vorgabe bezüglich eines Fehlerschwellenwerts Δeps, vorgegeben werden.
-
Im Schritt S3 wird nun ein erster Trainingsdatenpunkt als Kandidat für die Auswahl als erste Stützstelle der zu generierenden Stützstellendaten ausgewählt. Die Auswahl des betreffenden ersten Trainingsdatenpunkts kann zufällig erfolgen oder es kann beispielsweise ein Trainingsdatenpunkt aus den Trainingsdatenausgewählt werden, der in der Mitte bzw. in einem Mittenbereich der Menge der Trainingsdatenpunkte liegt. Alternativ kann ein Trainingsdatenpunkt als die erste Stützstelle ausgewählt werden, der einen maximal großen Abstand von der vorgegebenen Mittelwertfunktion M aufweist.
-
Im Schritt S4 wird nun basierend auf der ersten Stützstelle eine Gauß-Prozess-Funktion, deren Funktionswert einem Erwartungswert μ entspricht, der dem Zielwert des betreffenden ersten Trainingsdatenpunktes entspricht, definiert.
-
Die A-priori-Verteilung des Vektors f ∊
der Funktionswerte wird durch die festzulegende Kovarianzfunktion k(x
i, x
j) und die Erwartungswertfunktion m(x
i) für i, j ∊ {1, ..., n} induziert, das zu P(f|X) = N(f|m, K) führt. Dabei sind in X ∊
alle Trainingsdatenpunkte als Stützstellendatenpunkte, in K ∊
alle Kovarianzfunktionswerte zwischen den Trainingsdatenpunkten und in dem Vektor m ∊
die Werte der Erwartungswertfunktion zusammengefasst. Im Gegensatz zur Gauß-Prozess-Regression wird bei der spärlichen Gauß-Prozess-Regression die Verteilung P(y|f, X) aller Zielwerte durch die Verteilung Q(y|f
I, X) = N(y|K
T / I,* , K
–1 / I f
I, σ
2I) approximiert. Diese Approximation ist durch die aktiven Trainingsdatenpunkte, d. h. Stützstellendatenpunkte x
i mit i ∊ I ⊆ {1, ..., n} bestimmt. Die Indexmenge I der Mächtigkeit m << n beschreibt dabei nur einen Teil der vollständigen Kovarianzmatrix bzw. des vollständigen Funktionswertevektors, wodurch sich der Rechenvorteil gegenüber einer vollständigen Gauß-Prozess-Regression I = {1, ..., n} auszeichnet. Mithilfe des Satzes von Bayes folgt die approximierte A-posteriori-Verteilung Q(f|y, X) mit dem Erwartungswert
bezüglich der betrachteten Stützstellendatenpunkte aus X, wobei m einer vorgegebenen Mittelwertsfunktion entspricht. Diese kann beispielsweise als m = 0 gewählt werden.
-
Zur Auswahl einer Stützstelle wird nun als Selektionskriterium der quadratische Fehler zwischen den Zielwerten y der Ausgangsgröße des Trainingsdatenpunkts und durch den Erwartungswert μ geschätzten Funktionswerte bezüglich der euklidischen Norm minimiert, d. h. ||y – μ|| 2 / 2 → min. Durch die Äquivalenz von Normen in endlich dimensionalen Räumen folgt ||y – μ|| 2 / 2 ≤ ||y – μ|| 2 / ∞ = n(maxi=1,...,n|yi – μi|) → min. Damit ist das Selektionskriterium zum maximalen Fehler über Δi = |yi – μi| definiert.
-
Entsprechend wird in Schritt S4 ein weiterer Stützstellendatenpunkt mit xj mit j ∊ R = {1, ..., n}\I in die Menge von auszubildenden Stützstellen, d. h. in die Indexmenge I, aufgenommen, wenn j = argmaxi∊R(Δi) gilt.
-
In Schritt S5 wird abgefragt, ob die vorgegebene Anzahl a von Stützstellen erreicht ist oder ob der zuletzt aufgefundene maximale Abstand der Zielwerte der Trainingsdaten von dem Erwartungswert der auf den zuvor ermittelten Stützstellen basierenden spärlichen Gauß-Prozess-Funktion den vorgegebenen Fehlerschwellenwert Δeps unterschreitet. Ist eine der beiden Bedingungen erfüllt (Alternative: Ja), so wird das Verfahren mit Schritt S6 fortgesetzt. Andernfalls (Alternative: Nein) wird zu Schritt S4 zurückgesprungen, indem neue Teilmatrizen KI und KI,* der vollständigen Kovarianzmatrix K basierend auf den um einen weiteren Stützstellendatenpunkt ergänzten Stützstellendaten sowie ein entsprechender Erwartungswert berechnet wird. Die zuvor gewählten Hyperparameter werden bei der so neu ermittelten Gauß-Prozess-Funktion mit den bereits ausgewählten Trainingsdatenpunkten nicht geändert.
-
Nachdem festgestellt wurde, dass eine bestimmte Anzahl von Stützstellen ermittelt worden ist und der maximale Fehler den vorgegebenen Fehlergrenzwert Δeps unterschreitet, werden in Schritt S6 die so ermittelten Stützstellendaten nun dazu verwendet, Hyperparameter für die Stützstellendaten zu ermitteln, die den Trainingsdaten, insbesondere den reellen Zielwerten an den Stützstellen der Stützstellendaten, am ehesten entsprechen.
-
Abhängig von einem Iterationskriterium kann nun das obige Verfahren des Auswählens von Trainingsdaten zum Hinzufügen zu den Stützstellendaten erneut durchgeführt werden. Das Iterationskriterium bewertet die Qualität des ermittelten spärlichen Gauß-Prozess-Modells basierend auf den in Schritt S6 ermittelten Hyperparametern und den durch die Schritte S3 bis S5 ermittelten Stützstellendaten. Wird mit der Überprüfung des Iterationskriteriums in Schritt S7 festgestellt, dass die Hyperparameter und die ermittelten Stützstellendaten die Trainingsdaten nicht mit hinreichender Genauigkeit abbilden (Alternative: Nein), so werden die zuvor ermittelten Stützstellendaten in Schritt S8 verworfen, die in Schritt S6 neu ermittelten Hyperparameter beibehalten und das oben beschriebene Verfahren wird von Schritt S3 bis S6 erneut durchgeführt. Wird andernfalls mit der Überprüfung des Iterationskriteriums in Schritt S7 festgestellt, dass die Hyperparameter und die ermittelten Stützstellendaten die Trainingsdaten mit hinreichender Genauigkeit abbilden (Alternative: Ja), so wird das Verfahren beendet und die Stützstellendaten und Hyperparameter werden in das Steuergerät 4 übertragen, so dass dort die Berechnung des spärlichen Gaußprozess-Modells vorgenommen werden kann.
-
Durch das obige Verfahren wird ein spärliches Gauß-Prozess-Modell ermittelt, das eine einfache, insbesondere Ressourcen schonende Berechnung ermöglicht. Zudem entspricht das Selektionskriterium der Vorgehensweise, dass die Trainingsdatenpunkte als Stützstellendatenpunkte aufgenommen werden, die auf dem aktuellen Modell den größten absoluten Fehler aufweisen, wodurch der in diesem Zyklus am schlechtesten durch das datenbasierte Funktionsmodell erklärte Trainingsdatenpunkt selektiert wird.
-
Damit wird eine Minimierung des absoluten Fehlers angestrebt, der in sehr vielen praxisnahen Problemstellungen von Bedeutung ist. Das Selektionskriterium stellt somit die Grundlage für einen iterativen Algorithmus dar, indem die aktive Menge von Stützstellendaten sukzessive vergrößert wird. Dabei wird das Unterschreiten von Δeps durch Δ als Abbruchkriterium verwendet, falls die gewünschte Genauigkeit schon vorzeitig, d. h. vor dem Erreichen der Anzahl a von Stützstellenpunkten, erreicht wird, was sich ebenfalls positiv auf die Rechenzeit auswirkt.
-
In 3 ist ein Flussdiagramm zur Veranschaulichung eines weiteren Verfahrens zum Bereitstellen eines spärlichen Gauß-Prozess-Modells mit einer reduzierten Menge von Stützstellendatenpunkten dargestellt.
-
Das Verfahren beginnt in Schritt S11 mit dem Bereitstellen eines spärlichen bzw. vollständigen Gauß-Prozess-Modells mit zuvor ermittelten Hyperparametern und Trainingsdaten. Das vollständige Gauß-Prozess-Modell wurde zuvor mithilfe herkömmlicher Verfahren bezüglich der bereitgestellten Trainingsdaten ermittelt.
-
Zum Generieren eines spärlichen Gauß-Prozess-Modells ist im Folgenden vorgesehen, Trainingsdatenpunkte aus der Menge von Trainingsdaten des vollständigen bzw. spärlichen Gauß-Prozess-Modells herauszunehmen und ein (noch stärker) spärliches Gauß-Prozess-Modell basierend auf den bestehenden Hyperparametern und den verbliebenen Stützstellenpunkten aus den Trainingsdaten zu generieren. Dazu wird basierend auf dem vorhandenen Gauß-Prozess-Modell in Schritt S12 für jeden der durch die Trainingsdaten angegebenen reellen Zielwerte der Ausgangsgröße der entsprechende Erwartungswert bzw. Funktionswert aus dem Gauß-Prozess-Modell ermittelt und mit einem Prädiktionsvektor α gewichtet bzw. skaliert.
-
-
Es wird der aktive Trainingsdatenpunkt xi aus der aktuell betrachteten Menge I von Trainingsdaten entfernt, dessen Fehler Δi = αi|yi – μi| einem Minimum aller zuvor berechneten Fehler entspricht: i = argminj∊I(Δj). Da der Erwartungswert μ und der Prädiktionsvektor α die wesentlichen Parameter des spärlichen Regressionsmodells darstellen, entsteht durch das Löschkriterium zum maximalen Fehler kein zusätzlicher Rechenaufwand.
-
Nach dem Entfernen eines Trainingsdatenpunkts aus dem Trainingsdatensatz wird in Schritt S13 überprüft, ob eine vorgegebene Anzahl b von Stützstellen erreicht bzw. unterschritten wurde und ob die verbliebenen Stützstellen einen Fehler Δ bereitstellen, der gleich oder größer einem vorgegebenen Fehlergrenzwert Δeps ist.
-
Ist keine der beiden obigen Bedingungen erfüllt (Alternative: Nein), so werden in Schritt S14 die Teilmatrizen der Kovarianzmatrix der verbliebenen Trainingsdaten neu ermittelt und das Verfahren mit den bestehenden Hyperparametern zum Löschen eines weiteren Trainingsdatenpunkts durch einen Sprung zu Schritt S12 erneut durchgeführt.
-
Sind eine oder beide der obigen Bedingungen erfüllt (Alternative: Ja), so werden in Schritt S15 die bestehende Menge von Stützstellendaten und die Hyperparameter als das zu ermittelnde spärliche Gauß-Prozess-Modell bereitgestellt und in der Speichereinheit 41 gespeichert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Nicht-Patentliteratur
-
- Csató, Lehel; Opper, Manfred, ”Sparse On-Line Gaussian Processes”; Neural Computation 14: S. 641–668, 2002 [0005]
- Smola, A. J., Schölkopf, W., ”Sparse Greedy Gaussian Process Regression”, Advances in Neural Information Processing Systems 13, S. 619–625, 2001 [0006]
- M., Williams, C. K., Lawrence, N. D., ”Fast Forward Selection to Speed up Sparse Gaussian Process Regression”, Proceedings of the 9th International Workshop an Artificial Intelligence and Statistics, 2003 [0006]
- C. E. Rasmussen et al., „Gaussian Processes for Machine Learning”, MIT Press 2006 [0026]
gegeben. Zugrunde liegt entsprechend der Gauß-Prozess-Regression das Regressionsmodell y = f(x) + ε, wobei ε ~ N(0, σ2) zentriert normal verteilt ist.
alle Trainingsdatenpunkte als Stützstellendatenpunkte, in K ∊
alle Kovarianzfunktionswerte zwischen den Trainingsdatenpunkten und in dem Vektor m ∊
die Werte der Erwartungswertfunktion zusammengefasst. Im Gegensatz zur Gauß-Prozess-Regression wird bei der spärlichen Gauß-Prozess-Regression die Verteilung P(y|f, X) aller Zielwerte durch die Verteilung Q(y|fI, X) = N(y|K
