DE102023200229A1 - Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung - Google Patents

Abstract

Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung beschrieben, aufweisend Trainieren eines Fahrzeugmodells für ein Fahrzeug und Erzeugen von Trainingsdatenelementen für die Fahrzeugsteuerung, wobei jedes Trainingsdatenelement erzeugt wird aus einem Paar aus einem Verlauf eines Eingangs-Bremsdrucks und einem Geschwindigkeitsverlauf, der durch Zuführen einer Folge von Eingangs-Radbremsdrücken gemäß dem Verlauf des Eingangs-Bremsdrucks zu dem Fahrzeugmodell ermittelt wird.

Description

• Stand der Technik
• Die vorliegende Offenbarung bezieht sich auf Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung.
• Steuerungsverfahren, wie beispielsweise für eine Fahrzeugsteuerung, können mittels modellbasierten verstärkenden Lernens trainiert werden, wobei mittels eines Modells Trainingsdaten erzeugt werden, so dass weniger reale Experimente also ohne den Einsatz eines solchen Modells erforderlich sind. Dieses Modell muss allerdings seinerseits trainiert werden und auch für dieses Training ist eine hohe Dateneffizienz wünschenswert.
• Es sind deshalb effiziente Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung wünschenswert.
• Offenbarung der Erfindung
• Gemäß verschiedenen Ausführungsformen wird ein Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung bereitgestellt, aufweisend Trainieren eines Fahrzeugmodells für ein Fahrzeug, das
• • ein auf einem ersten neuronalen Netzwerk basierendes trainierbares Hydraulikmodell aufweist, das für jedes Rad eine Abhängigkeit eines resultierenden Radbremsdrucks von einem Eingangs-Radbremsdruck modelliert;
• • ein Reibungsmodell aufweist, das für jedes Rad des Fahrzeugs eine Abhängigkeit eines Reibungskoeffizienten des Rads von einer Geschwindigkeit des Rads und einer Geschwindigkeit des Fahrzeugs modelliert;
• • ein auf einem zweiten neuronalen Netzwerk basierendes zweites Neigungsmodell aufweist, das eine Abhängigkeit einer Neigung des Fahrzeugs von Reibungskräften der Räder des Fahrzeugs modelliert;
• • aus einer Gewichtsverteilung gemäß einer mittels des Neigungsmodells ermittelten Neigung für jedes Rad die Normalkraft des Rads ermittelt;
• • für jedes Rad durch Multiplikation eines mittels des Reibungsmodells ermittelten Reibungskoeffizienten und der Normalkraft des Rads die Reibungskraft des Rads ermittelt;
• • für jedes Rad eine Radgeschwindigkeitsänderung durch Linearkombination der Reibungskraft des Rads und eines mittels des Hydraulikmodells ermittelten Radbremsdrucks ermittelt;
• • eine Gesamtreibungskraft des Fahrzeugs als Summe der Reibungskräfte der Räder ermittelt; und
• • eine Fahrzeuggeschwindigkeitsänderung durch Linearkombination der Gesamtreibungskraft und eines Luftwiderstandsterms ermittelt; und
• Erzeugen von Trainingsdatenelementen für die Fahrzeugsteuerung, wobei jedes Trainingsdatenelement erzeugt wird aus einem Paar aus einem Verlauf eines Eingangs-Bremsdrucks und einem Geschwindigkeitsverlauf, der durch Zuführen einer Folge von Eingangs-Radbremsdrücken gemäß dem Verlauf des Eingangs-Bremsdrucks zu dem Fahrzeugmodell ermittelt wird.
• Im Unterschied zu einem allgemeinem maschinellen Lernmodell, wie z.B. einem allgemeinen neuronalen Netzwerk, ist das Fahrzeugmodell, das gemäß dem oben beschriebenen Verfahren verwendet wird, strukturiert. Insbesondere sind neuronale Netzwerke über vorgegebene Gleichungen miteinander verknüpft. Dies verbessert die Dateneffizienz gegenüber der alleinigen Verwendung von neuronalen Netzwerken - insbesondere in Kombination mit modellbasiertem Verstärkungslernen. Das Trainieren eines Modells (hier eines Fahrzeugmodells) ist ein integraler Bestandteil des modellbasierten Verstärkungslernens, bei dem das Modell verwendet wird um zusätzliche Trainingsdaten für den Verstärkungslernalgorithmus zu generieren. Indem gemäß dem oben beschriebenen Verfahren dem Modell (gegenüber einem allgemeinen neuronalen Netzwerk) mehr Struktur verliehen wird, wird dateneffizienteres Lernen und bessere Verallgemeinerung ermöglicht.
• Im Folgenden werden verschiedene Ausführungsbeispiele angegeben.
• Ausführungsbeispiel 1 ist ein Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung wie oben beschrieben.
• Ausführungsbeispiel 2 ist ein Verfahren nach Ausführungsbeispiel 1, wobei das Hydraulikmodell die Abhängigkeit des resultierenden Radbremsdrucks von dem Eingangs-Radbremsdruck durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das erste neuronale Netzwerk implementiert ist
• In anderen Worten wird eine neuronale ODE (ordinary differential equation) für die Implementierung des Hydraulikmodells verwendet. Dies ermöglicht eine effiziente Auswertung und ein effektives Training.
• Ausführungsbeispiel 3 ist ein Verfahren nach Ausführungsbeispiel 1 oder 2, wobei das Neigungsmodell die Abhängigkeit der Neigung des Fahrzeugs von den Reibungskräften der Räder des Fahrzeugs durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das zweite neuronale Netzwerk implementiert ist
• In anderen Worten wird eine neuronale ODE (ordinary differential equation) für die Implementierung des Neigungsmodells verwendet. Dies ermöglicht eine effiziente Auswertung und ein effektives Training.
• Ausführungsbeispiel 4 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 3, wobei das Reibungsmodell trainierbar ist und auf einem dritten neuronalen Netzwerkwerk basiert.
• Damit kann das Fahrzeugmodell auch hinsichtlich der Reibung an Trainingsdaten angepasst werden.
• Ausführungsbeispiel 5 ist ein Verfahren nach Ausführungsbeispiel 4, wobei das Reibungsmodell die Abhängigkeit des Reibungskoeffizienten des Rads von der Geschwindigkeit des Rads und der Geschwindigkeit des Fahrzeugs durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das dritte neuronale Netzwerk implementiert ist.
• In anderen Worten wird eine neuronale ODE (ordinary differential equation) für die Implementierung des Reibungsmodells verwendet. Dies ermöglicht eine effiziente Auswertung und ein effektives Training.
• Ausführungsbeispiel 6 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 5, wobei die Koeffizienten der Linearkombination der Reibungskraft des Rads und des mittels des Hydraulikmodells ermittelten Radbremsdrucks trainierbar sind.
• Dies ermöglicht die Anpassung des Fahrzeugmodells in Hinblick auf die Auswirkung von Reibungskraft gegenüber dem Untergrund und der Bremsen.
• Ausführungsbeispiel 7 ist ein Verfahren nach einem der Ausführungsbeispiele 1 bis 6, wobei die Koeffizienten der Linearkombination der Gesamtreibungskraft und des Luftwiderstandsterms trainierbar sind.
• Damit ist das Fahrzeugmodell insbesondere hinsichtlich der Auswirkung von Luftwiderstand im Vergleich zur Bremswirkung der Bremsen anpassbar.
• Ausführungsbeispiel 8 ist ein Verfahren zum Trainieren einer Fahrzeugsteuerung, aufweisend Erzeugen von Trainingsdaten gemäß einem der Ausführungsbeispiele 1 bis 7 und Trainieren der Fahrzeugsteuerung unter Verwendung der Trainingsdaten.
• Ausführungsbeispiel 9 ist ein Verfahren nach Ausführungsbeispiel 8, wobei die Fahrzeugsteuerung unter Verwendung der Trainingsdaten mittels verstärkenden Lernens trainiert wird.
• Das Fahrermodell liefert somit Trainingsdaten für verstärkendes Lernen (reinforcement learning RL). Dies verringert die Anzahl der realen Experimente, die durchgeführt werden müssen.
• Ausführungsbeispiel 10 ist ein Fahrzeugsteuerungs-Trainingssystem, eingerichtet zum Durchführen des Verfahrens nach einem der Ausführungsbeispiele 1 bis 9.
• Ausführungsbeispiel 11 ist ein Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 9 durchführt.
• Ausführungsbeispiel 12 ist ein computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ausführungsbeispiele 1 bis 9 durchführt.
• In den Zeichnungen beziehen sich ähnliche Bezugszeichen im Allgemeinen auf dieselben Teile in den ganzen verschiedenen Ansichten. Die Zeichnungen sind nicht notwendigerweise maßstäblich, wobei die Betonung stattdessen im Allgemeinen auf die Darstellung der Prinzipien der Erfindung gelegt wird. In der folgenden Beschreibung werden verschiedene Aspekte mit Bezug auf die folgenden Zeichnungen beschrieben.
• 1 zeigt ein Fahrzeug.
• 2 veranschaulicht ein Radmodell.
• 3 veranschaulicht ein Fahrzeugmodell.
• 4 zeigt ein Ablaufdiagramm, das ein Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung gemäß einer Ausführungsform darstellt.
• Die folgende ausführliche Beschreibung bezieht sich auf die begleitenden Zeichnungen, die zur Erläuterung spezielle Details und Aspekte dieser Offenbarung zeigen, in denen die Erfindung ausgeführt werden kann. Andere Aspekte können verwendet werden und strukturelle, logische und elektrische Änderungen können durchgeführt werden, ohne vom Schutzbereich der Erfindung abzuweichen. Die verschiedenen Aspekte dieser Offenbarung schließen sich nicht notwendigerweise gegenseitig aus, da einige Aspekte dieser Offenbarung mit einem oder mehreren anderen Aspekten dieser Offenbarung kombiniert werden können, um neue Aspekte zu bilden.
• Im Folgenden werden verschiedene Beispiele genauer beschrieben.
• 1 zeigt ein Fahrzeug 101.
• Im Beispiel von 1 ist ein Fahrzeug 101, beispielsweise ein PKW oder LKW, mit einer Fahrzeugsteuereinrichtung 102 versehen.
• Die Fahrzeugsteuereinrichtung 102 weist Datenverarbeitungskomponenten auf, z.B. einen Prozessor (z.B. eine CPU (Zentraleinheit)) 103 und einen Speicher 104 zum Speichern von Steuersoftware, gemäß der die Fahrzeugsteuereinrichtung 102 arbeitet, und Daten, die von dem Prozessor 103 verarbeitet werden.
• Beispielsweise weist die gespeicherte Steuerungssoftware (Computerprogramm) Anweisungen auf, die, wenn der Prozessor sie ausführt, bewirken, dass der Prozessor 103 ein maschinelles Lernmodell 105 implementiert.
• Die Fahrzeugsteuereinrichtung 102 kann verschiedene Steueraufgaben übernehmen die von Fahrerassisstenzufunktionen bis zu vollständig autonomen Fahren reichen.
• Beispielsweise ist gemäß einer Ausführungsform die Fahrzeugsteuereinrichtung 102 eine Steuerungseinrichtung für ein Antiblockiersystem (ABS), d.h. erzeugt einen gewünschten Bremsdruck (auch als Eingangs-(Rad-)Bremsdruck bezeichnet) für eine Bremse 106, und wird mit Hilfe von modellbasiertem Lernen optimiert. Beispielsweise werden Daten über das Verhalten des Fahrzeugs mittels eines Modells ermittelt (in diesem Fall z.B. Paare von eingegebenem (d.h. gewünschten) Bremsdruck (über mehrere Zeitschritte) und daraus resultierendem Geschwindigkeitsverlauf) und diese Daten können dann als Trainingsdaten für die Fahrzeugsteuereinrichtung 102 verwendet werden (die beispielsweise mittels verstärkendem Lernen (engl. reinforcement learning RL) trainiert wird). Die damit trainierte Fahrzeugsteuereinrichtung 102 kann anschließend zum Steuern eines Fahrzeuges verwendet werden.
• Das Modell, das für ein solches Vorgehen erforderlich ist, ist für das genannte Beispiel eines Antiblockiersystems ein Fahrzeugmodell, das für einen Verlauf eines eingegebenen Bremsdrucks (d.h. eines gewünschten Bremsdrucks für mehrere Zeitschritte) eine daraus resultierende Geschwindigkeit des Fahrzeugs (ausgehend von einem Startwert der Geschwindigkeit) ausgibt.
• Wird ein solches Fahrzeugmodell seinerseits mittels verstärkendem Lernen trainiert, wird es typischerweise an relativ wenige Trainingsdaten angepasst und muss in der Lage sein, lokale Vorhersagen zu treffen (d. h. es nur lokal um die Trainingsdaten herum verallgemeinern). Einerseits ist es wünschenswert, dass ein solches Fahrzeugmodell hinreichend allgemein ist, um sich an die Realität anzupassen, andererseits muss es dateneffizient trainiert werden können.
• Eine Möglichkeit zum Lernen eines Fahrzeugmodells ist zum Beispiel das Trainieren eines (z.B. zeitdiskret arbeitenden) neuronalen Netzwerks mit überwachtem Lernen mittels Zeitreihendaten als Trainingsdaten (d.h., wie oben beschriebene, eine Zeitreihe des gewünschten Bremsdrucks und als Ground-Truth eine Zeitreihe der resultierenden Geschwindigkeit). Um die Dateneffizienz (ohne nötige Änderungen an dem Trainingsverfahren) zu erhöhen, wird gemäß verschiedenen Ausführungsformen das neuronale Netz strukturiert (d.h. in mehrere Teilnetze aufgeteilt, die geeignet verknüpft werden). Konkret wird gemäß verschiedenen Ausführungsformen eine hybride neuronale ODE (ordinary differential equation, also gewöhnliche Differentialgleichung) verwendet, die Vorwissen über Fahrzeugsysteme mit der Flexibilität von neuronalen Netzwerken kombiniert, um dateneffizientes Lernen zu ermöglichen.
• Gemäß verschiedenen Ausführungsformen weist das Fahrzeugmodell somit eine Struktur auf, die einer Kombination aus mehreren Modulen entspricht, die flexibel parametrisiert werden können, entweder gemäß festen physikalischen Gleichungen, flexiblen neuronalen Netzen oder einer hybriden Kombination aus beidem.
• Im Folgenden wird ein Beispiel für ein Fahrzeugmodell im Detail beschrieben.
• Das Fahrzeugmodell ist in diesem Beispiel ein Modell für ein Fahrzeug mit vier Rädern von denen jedes eine interne Dynamik aufweist.
• 2 veranschaulicht ein Radmodell 200.
• Das Radmodell 200 liefert für das jeweilige Rad die Reibungskraft $F_{fr}^W\left(t\right)$

  

  („W“ für engl. „wheel“ und „fr“ für englisch friction), die auf das Rad durch den Untergrund (im Zeitschritt t) einwirkt. Es weist ein Hydraulikmodell 201, ein Reibungsmodell 202 und ein Radgeschwindigkeitsmodell 203 auf.
• Das Radmodell 200 erhält als Eingabe einen gewünschten Bremsdruck $p_{des}^W\left(t\right)$

  

  („des“ für engl. desired) und das Radgeschwindigkeitsmodell 203 modelliert die resultierende Radgeschwindigkeit gemäß einer Differentialgleichung: $${\dot{v}}^W\left(t\right)=c_f{F}_{fr}^W\left(t\right)-c_p{p}^W\left(t\right)\text{tanh}\left(c_t{v}^W\left(t\right)\right)$$

  

  wobei $$p^W\left(t\right)=Hydraulik\left(p_{des}^W\left(t\right)\right)$$

  

  $$F_{fr}^W\left(t\right)=Reibung\left(1-\frac{v^W\left(t\right)}{v^V\left(t\right)}\right)\cdot F_{normal}^W\left(t\right)$$

  

  wobei c_p und c_f trainierbare Konstanten sind und $F_{normal}^W\left(t\right)$

  

  die aktuelle Normalkraft des Rads auf den Untergrund ist. Diese hängt von der Neigung des Fahrzeugs ab und ist für ein Vorderrad gleich $F_{normal}^{FW}\left(t\right)$

  

  und für ein Hinterrad $F_{normal}^{RW}\left(t\right).$

  

  Die Größe v^V(t) ist die Fahrzeuggeschwindigkeit („V“ für engl. vehicle).
• Die trainierbaren Konstanten c_p und c_f sind nicht nur typische Druck- und Reibungskonstanten, sondern berücksichtigen auch die Trägheit des Rades und seinen Radius. Durch die Eliminierung redundanter Lernparameter wie Radius des Rades und Trägheit des Rades wird das Modell leichter trainierbar.
• Das Reibungsmodell 202, d.h. die Funktion Reibung(.) ist in der Regel statisch (es ist zeitunabhängig und hat keine internen Zustände) und kann entweder durch ein physikalisches Reibungsmodell oder durch ein neuronales Netzwerk 204 implementiert werden. In letzterem Fall kann die Eingabe $1-\frac{v^W\left(t\right)}{v^V\left(t\right)}$

  

  während des Trainings gestört werden, um die Hessematrix des Reibungsmodells zu regularisieren und somit das Lernen einer glatten Funktion zu fördern.
• Die hydraulischen Komponenten eines Fahrzeugs verfügen typischerweise über eine interne Steuerlogik, die darauf abzielt, den Verschleiß des Aktuators der Bremse 106 zu minimieren. Deshalb wird als Hydraulikmodell 201, d.h. für die Funktion Hydraulik(.) ein Modell verwendet, das eine zeitkontinuierliche neuronale ODE mit einem zeitdiskreten Logikmodul kombiniert. Das Hydraulikmodell 201 besteht insbesondere aus einer dynamischen Komponente, die als ein System zweiter Ordnung modelliert wird $${\ddot{p}}^W\left(t\right)=-2c_1{c}_{2}2{\dot{p}}^W\left(t\right)-c_1^2\left(p^W\left(t\right)-p_{logic}^W\left(t\right)\right)$$

  

  wobei c₁ und c₂ lernbare Konstanten sind. Um die Steuerlogik zu berücksichtigen, wird $p_{logic}^W\left(t\right)$

  

  als ein zeitdiskretes Signal verwendet, das für jeden Zeitschritt konstant ist. Es hängt insbesondere von dem aktuell gewünschten Bremsdruck $p_{des}^W\left(t\right)$

  

  und einer Folge von n vergangenen Bremsdrücken $p\left(\lfloor \frac{t}{\Delta t}\rfloor \Delta T-i\Delta T\right)$

  

  ab, wobei i die vergangenen Drücke indiziert. Die genaue funktionale Form des Hydraulikmodells 201 ist flexibel, aber gemäß einem Ausführungsbeispiel wird für $p_{logic}^W\left(t\right)$

  

  ein Feed-Forward-MLP (multi-layer perceptron) 205, das sowohl den aktuell gewünschten Bremsdruck als auch die Abfolge der vergangenen Bremsdrücke direkt als Eingaben übernimmt, verwendet. Ein rekurrentes Modell wie ein LSTM (Long short-term memory), das dann nur den aktuell gewünschten Bremsdruck als Eingabe erhält, ist eine Alternative.
• 3 veranschaulicht ein Fahrzeugmodell 300.
• Das Fahrzeugmodell weist für jedes Rad (FR, FL, RR, RL) ein Radmodell 301 entsprechend dem Radmodell 200 von 2 auf. Die von den Radmodellen 301 gelieferten Reibungskräfte $F_{fr}^W\left(t\right)$

  

  für die vier Räder werden mittels eines Neigungsmodells 302, d.h. einer Funktion Neigung(.), kombiniert, das über die Neigung für jedes Rad die Normalkraft $F_{normal}^W\left(t\right)$

  

  berechnet und an das jeweilige Radmodell 301 zurückgeliefert. Dies erfolgt gemäß $$F_{tot}\left(t\right)={\displaystyle \sum _{W\in MengederRäder}{F}_{fr}^W\left(t\right)}$$

  

  $$c\left(t\right)=Neigung\left(F_{tot}\left(t\right)\right)$$

  

  $$F_{fr}^{FW}\left(t\right)=mgc\left(t\right)$$

  

  $$F_{fr}^{RW}\left(t\right)=mg\left(1-c\left(t\right)\right)$$

  

  wobei m die trainierbare Masse des Fahrzeugs ist, g die Gravitationskonstante und c(t) ∈ [0,11 die Gravitationskraft zwischen dem Vorder- und dem Hinterrad verteilt. Das Neigungsmodell 302 (Differentialgleichung) berücksichtigt die Tatsache, dass sich das Fahrzeug während eines Bremsvorgangs nach vorne neigt und somit mehr Druck auf den Vorderrädern lastet.
• Das Neigungsmodell 302 kann flexibel gewählt werden, z.B. als ein rekurrentes neuronales Netzwerk. Gemäß einer Ausführungsform wird es (ähnlich wie oben p^W(t)) als eine Kombination einer statischen Komponente mit neuronalen ODE zweiter Ordnung modelliert, d. h. c(t) folgt einer Dynamik zweiter Ordnung mit einem neuronalen Netz 304 (das eine f implementiert) das Reibungskräfte auf Änderungen des Schwerpunkts abbildet: $$\ddot{c}\left(t\right)=-2c_4{c}_5\dot{c}\left(t\right)-c_4^2\left(c\left(t\right)-f\left(F_{tot}\left(t\right)\right)\right)$$

  
• Die Fahrzeuggeschwindigkeit v^V(t) ergibt sich aus einem Fahrzeuggeschwindigkeitsmodell 303. Sie hängt von der Summe aller Radreibungskräfte F_tot(t) sowie einem Aerodynamikterm ab: $${\dot{v}}^V\left(t\right)=\frac{1}{\text{m}}\left(F_{tot}\left(t\right)-c_v{\left(v^V\left(t\right)\right)}^2\right)$$

  
• Das Fahrzeugmodell enthält somit mehrere Komponenten, die teilweise durch explizite Formeln und teilweise durch neuronale ODEs, d.h. Differentialgleichungen, deren Eingaben zumindest teilweise von neuronalen Netzwerken geliefert werden, auf. Diese können zu einem System gewöhnlicher Differentialgleichungen zusammengefasst werden, z.B. der Form $$\left(\begin{array}{c}{\ddot{p}}^{W\left(t\right)}\\ \ddot{c}\left(t\right)\\ {\dot{v}}^W\\ {\dot{v}}^V\end{array}\right)=\left(\begin{array}{c}{h}_1\left(p_{des}^W\left(t\right)\right)\\ h_2\left(p_{des}^W\left(t\right)\right)\\ h_3\left(p_{des}^W\left(t\right)\right)\\ h_4\left(p_{des}^W\left(t\right)\right)\end{array}\right)$$

  

  wobei sich die rechte Seite, d.h. die Funktionen h₁ bis h₄ gemäß der Zusammenhänge entsprechend der obigen Formeln ergibt. Dieses System gewöhnlicher Differentialgleichungen kann dann in einen ODE-Löser eingeben werden, der letztendlich insbesondere v^V liefert. Dabei verarbeitet der ODE-Löser Ausgaben von den neuronalen Netzen 204, 205 und ggf. 304. Es sollte beachtet werden, dass das Gesamtfahrzeug vier individuelle Räder mit eigenen Parametern und jeweils eigenen vorgegebenen Bremsdruck haben kann. Es gibt also nicht einen Bremsdruck, sondern vier verschiedene. Entsprechend können in der obigen Gleichung v̇^W, p̈^W(t) und $p_{des}^W\left(t\right)$

  

  mehrere Komponenten (eine pro Rad) haben.
• Das Fahrzeugmodell 300 kann mittels (z.B. aus Messungen gewonnener) Trainingsdaten, die Paare von gewünschtem Bremsdruck (über mehrere Zeitschritte; als Eingabe für das Fahrzeugmodell 300) und daraus resultierendem Geschwindigkeitsverlauf (als Ground-Truth für das Fahrzeugmodell 300) trainiert werden, d.h. die verschiedenen trainierbaren Parameter, insbesondere die Gewichte der neuronalen Netzwerke, werden angepasst, damit die Ausgaben des Fahrzeugmodells 300 für die Eingaben aus den Trainingsdaten den jeweiligen Ground-Truth Daten (im Mittel bzw. statistisch) möglichst gut entsprechen.
• Das Fahrzeugmodell 300 kann wie oben erwähnt zusammen mit üblichen modellbasierten Verstärkungslernmethoden verwendet werden, um den Bremsweg eines Fahrzeugs zu optimieren, d.h. beispielsweise kann die Fahrzeugsteuereinrichtung 102 mittels des Fahrzeugmodells 300 und verstärkendem Lernen trainiert werden, wenn die Geschwindigkeit des Fahrzeugs reduziert werden soll, einen geeigneten zeitlichen Verlauf eines Bremssteuersignals $p_{des}^W$

  

  auszugeben. Es kann auch beispielsweise zur Optimierung von TCSs (Tracking Control Systems) oder ABS Reglern oder anderweitigen Fahrdynamikreglern für beliebige Fahrzeuge verwendet werden.
• Zusammengefasst wird gemäß verschiedenen Ausführungsformen ein Verfahren bereitgestellt, wie in 4 dargestellt.
• 4 zeigt ein Ablaufdiagramm 400, das ein Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung gemäß einer Ausführungsform darstellt.
• In 401 wird ein Fahrzeugmodell für ein Fahrzeug trainiert, das
• • ein auf einem ersten neuronalen Netzwerk basierendes trainierbares Hydraulikmodell aufweist, das für jedes Rad eine Abhängigkeit eines resultierenden Radbremsdrucks von einem Eingangs-Radbremsdruck modelliert;
• • ein Reibungsmodell aufweist, das für jedes Rad des Fahrzeugs eine Abhängigkeit eines Reibungskoeffizienten des Rads von einer Geschwindigkeit des Rads und einer Geschwindigkeit des Fahrzeugs modelliert;
• • ein auf einem zweiten neuronalen Netzwerk basierendes zweites Neigungsmodell aufweist, das eine Abhängigkeit einer Neigung des Fahrzeugs von Reibungskräften der Räder des Fahrzeugs modelliert;
• • aus einer Gewichtsverteilung gemäß einer mittels des Neigungsmodells ermittelten Neigung für jedes Rad die Normalkraft des Rads ermittelt;
• • für jedes Rad durch Multiplikation eines mittels des Reibungsmodells ermittelten Reibungskoeffizienten und der Normalkraft des Rads die Reibungskraft des Rads ermittelt;
• • für jedes Rad eine Radgeschwindigkeitsänderung durch Linearkombination der Reibungskraft des Rads und eines mittels des Hydraulikmodells ermittelten Radbremsdrucks ermittelt;
• • eine Gesamtreibungskraft des Fahrzeugs als Summe der Reibungskräfte der Räder ermittelt; und
• • eine Fahrzeuggeschwindigkeitsänderung durch Linearkombination der Gesamtreibungskraft und eines Luftwiderstandsterms ermittelt.
• In 402 werden Trainingsdatenelemente für die Fahrzeugsteuerung erzeugt, wobei jedes Trainingsdatenelement erzeugt wird aus einem Paar (z.B. als Paar oder unter Verwendung eines Paares) aus einem Verlauf eines Eingangs-Bremsdrucks und einem Geschwindigkeitsverlauf, der durch Zuführen einer Folge von Eingangs-Radbremsdrücken gemäß dem Verlauf des Eingangs-Bremsdrucks zu dem Fahrzeugmodell ermittelt wird.
• Die Trainingsdaten können auch weitere Signale beinhalten. In diesem Fall kann das Fahrzeugmodell als Teil eines größeren Modells agieren. Es können auch zusätzliche Trainingsdaten (zusätzlich zu den mittels des Fahrzeugmodells erzeugten Trainingsdatenelementen) mit einem bestehenden Regler generiert werden.
• Die trainierbaren Elemente und Parameter, insbesondere die Gewichte der neuronalen Netzwerke, werden beim Trainieren des Fahrzeugmodells trainiert.
• Das Verfahren von 4 kann durch einen oder mehrere Computer (die z.B. ein Fahrzeugsteuerungs-Trainingssystem implementieren) mit einer oder mehreren Datenverarbeitungseinheiten durchgeführt werden. Der Begriff „Datenverarbeitungseinheit“ kann als irgendein Typ von Entität verstanden werden, die die Verarbeitung von Daten oder Signalen ermöglicht. Die Daten oder Signale können beispielsweise gemäß mindestens einer (d.h. einer oder mehr als einer) speziellen Funktion behandelt werden, die durch die Datenverarbeitungseinheit durchgeführt wird. Eine Datenverarbeitungseinheit kann eine analoge Schaltung, eine digitale Schaltung, eine Logikschaltung, einen Mikroprozessor, einen Mikrocontroller, eine Zentraleinheit (CPU), eine Graphikverarbeitungseinheit (GPU), einen Digitalsignalprozessor (DSP), eine integrierte Schaltung einer programmierbaren Gatteranordnung (FPGA) oder irgendeine Kombination davon umfassen oder aus dieser ausgebildet sein. Irgendeine andere Weise zum Implementieren der jeweiligen Funktionen, die hierin genauer beschrieben werden, kann auch als Datenverarbeitungseinheit oder Logikschaltungsanordnung verstanden werden. Es können ein oder mehrere der im Einzelnen hier beschriebenen Verfahrensschritte durch eine Datenverarbeitungseinheit durch eine oder mehrere spezielle Funktionen ausgeführt (z. B. implementiert) werden, die durch die Datenverarbeitungseinheit durchgeführt werden.
• Das Verfahren ist also gemäß verschiedenen Ausführungen insbesondere computerimplementiert.
• Obwohl spezielle Ausführungsformen hier dargestellt und beschrieben wurden, wird vom Fachmann auf dem Gebiet erkannt, dass die speziellen Ausführungsformen, die gezeigt und beschrieben sind, gegen eine Vielfalt von alternativen und/oder äquivalenten Implementierungen ausgetauscht werden können, ohne vom Schutzbereich der vorliegenden Erfindung abzuweichen. Diese Anmeldung soll irgendwelche Anpassungen oder Variationen der speziellen Ausführungsformen abdecken, die hier erörtert sind. Daher ist beabsichtigt, dass diese Erfindung nur durch die Ansprüche und die Äquivalente davon begrenzt ist.

Claims (12)

1. Verfahren zum Erzeugen von Trainingsdaten für eine Fahrzeugsteuerung, aufweisend: Trainieren eines Fahrzeugmodells für ein Fahrzeug, das ein auf einem ersten neuronalen Netzwerk basierendes trainierbares Hydraulikmodell aufweist, das für jedes Rad eine Abhängigkeit eines resultierenden Radbremsdrucks von einem Eingangs-Radbremsdruck modelliert; ein Reibungsmodell aufweist, das für jedes Rad des Fahrzeugs eine Abhängigkeit eines Reibungskoeffizienten des Rads von einer Geschwindigkeit des Rads und einer Geschwindigkeit des Fahrzeugs modelliert; ein auf einem zweiten neuronalen Netzwerk basierendes zweites Neigungsmodell aufweist, das eine Abhängigkeit einer Neigung des Fahrzeugs von Reibungskräften der Räder des Fahrzeugs modelliert; aus einer Gewichtsverteilung gemäß einer mittels des Neigungsmodells ermittelten Neigung für jedes Rad die Normalkraft des Rads ermittelt; für jedes Rad durch Multiplikation eines mittels des Reibungsmodells ermittelten Reibungskoeffizienten und der Normalkraft des Rads die Reibungskraft des Rads ermittelt; für jedes Rad eine Radgeschwindigkeitsänderung durch Linearkombination der Reibungskraft des Rads und eines mittels des Hydraulikmodells ermittelten Radbremsdrucks ermittelt; eine Gesamtreibungskraft des Fahrzeugs als Summe der Reibungskräfte der Räder ermittelt; und eine Fahrzeuggeschwindigkeitsänderung durch Linearkombination der Gesamtreibungskraft und eines Luftwiderstandsterms ermittelt; und Erzeugen von Trainingsdatenelementen für die Fahrzeugsteuerung, wobei jedes Trainingsdatenelement erzeugt wird aus einem Paar aus einem Verlauf eines Eingangs-Bremsdrucks und einem Geschwindigkeitsverlauf, der durch Zuführen einer Folge von Eingangs-Radbremsdrücken gemäß dem Verlauf des Eingangs-Bremsdrucks zu dem Fahrzeugmodell ermittelt wird.
2. Verfahren nach Anspruch 1, wobei das Hydraulikmodell die Abhängigkeit des resultierenden Radbremsdrucks von dem Eingangs-Radbremsdruck durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das erste neuronale Netzwerk implementiert ist
3. Verfahren nach Anspruch 1 oder 2, wobei das Neigungsmodell die Abhängigkeit der Neigung des Fahrzeugs von den Reibungskräften der Räder des Fahrzeugs durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das zweite neuronale Netzwerk implementiert ist
4. Verfahren nach einem der Ansprüche 1 bis 3, wobei das Reibungsmodell trainierbar ist und auf einem dritten neuronalen Netzwerkwerk basiert.
5. Verfahren nach Anspruch 4, wobei das Reibungsmodell die Abhängigkeit des Reibungskoeffizienten des Rads von der Geschwindigkeit des Rads und der Geschwindigkeit des Fahrzeugs durch eine Differentialgleichung modelliert, die einen Term enthält, der durch das dritte neuronale Netzwerk implementiert ist.
6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die Koeffizienten der Linearkombination der Reibungskraft des Rads und des mittels des Hydraulikmodells ermittelten Radbremsdrucks trainierbar sind.
7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die Koeffizienten der Linearkombination der Gesamtreibungskraft und des Luftwiderstandsterms trainierbar sind.
8. Verfahren zum Trainieren einer Fahrzeugsteuerung, aufweisend Erzeugen von Trainingsdaten gemäß einem der Ansprüche 1 bis 7 und Trainieren der Fahrzeugsteuerung unter Verwendung der Trainingsdaten.
9. Verfahren nach Anspruch 8, wobei die Fahrzeugsteuerung unter Verwendung der Trainingsdaten mittels verstärkenden Lernens trainiert wird.
10. Fahrzeugsteuerungs-Trainingssystem, eingerichtet zum Durchführen des Verfahrens nach einem der Ansprüche 1 bis 9.
11. Computerprogramm mit Befehlen, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ansprüche 1 bis 9 durchführt.
12. Computerlesbares Medium, das Befehle speichert, die, wenn sie durch einen Prozessor ausgeführt werden, bewirken, dass der Prozessor ein Verfahren nach einem der Ansprüche 1 bis 9 durchführt.

Images