DE102021114768A1

DE102021114768A1 - Fahrzeugsteuerung unter Verwendung eines Controllers eines neuronalen Netzes in Kombination mit einem modellbasierten Controller

Info

Publication number: DE102021114768A1
Application number: DE102021114768.9A
Authority: DE
Inventors: Vladimir Suplin; Avshalom Suissa
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-12-29
Filing date: 2021-06-09
Publication date: 2022-06-30
Also published as: CN114690630A; US11834066B2; US20220204018A1

Abstract

Ein Fahrzeugsteuersystem für die automatisierte Fahrerassistenz enthält einen modellbasierten Controller, der ein erstes Steuersignal erzeugt, um einen Betrieb mehrerer Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner einen Controller eines neuronalen Netzes, der ein zweites Steuersignal erzeugt, um den Betrieb der Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner ein Kombinationsmodul, das das erste Steuersignal und das zweite Steuersignal kombiniert, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.

Description

EINLEITUNG
Der Gegenstand der Offenbarung bezieht sich auf die automatisierte Steuerung von Kraftfahrzeugen und insbesondere auf die Verwendung neuronaler Netze für eine derartige automatisierte Steuerung in Kombination mit einem auf einem Zustandsbeobachter basierenden Controller.
Moderne Fahrzeuge umfassen typischerweise eine umfassende Vielfalt von Sensoren und Controllern, von denen viele (etwa die Aktuatoren des Bremspedal-Fahrzeugsteuersystems und die Fahrpedal-Aktuatoren) als elektronische „Fly-by-Wire“-Systeme anstatt als mechanisch gesteuerte Systeme implementiert sein können. Diese Anordnungen werden durch einen Controller kontinuierlich überwacht, um die Steuerung des Fahrzeugs zu erleichtern.
Es ist wünschenswert, eine verbesserte Fahrzeugsteuerung bereitzustellen, die das Verfolgen der Fahrzeugtrajektorie durch das Kombinieren der traditionellen Steuerung mit neuronalen Netzen verbessert.
ZUSAMMENFASSUNG
In einer beispielhaften Ausführungsform enthält ein Fahrzeugsteuersystem für die automatisierte Fahrerassistenz einen modellbasierten Controller, der ein erstes Steuersignal erzeugt, um einen Betrieb mehrerer Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner einen Controller eines neuronalen Netzes, der ein zweites Steuersignal erzeugt, um den Betrieb der Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner ein Kombinationsmodul, das das erste Steuersignal und das zweite Steuersignal kombiniert, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.
In einer oder mehreren Ausführungsformen wird das erste Steuersignal basierend auf einem oder mehreren Messwerten von einem Satz von Sensoren erzeugt, die dem Fahrzeug und den Aktuatoren zugeordnet sind.
In einer oder mehreren Ausführungsformen wird der Controller des neuronalen Netzes unter Verwendung eines oder mehrerer Abstimmparameter im Voraus trainiert, um das zweite Steuersignal zu erzeugen.
In einer oder mehreren Ausführungsformen kann der modellbasierte Controller durch das Ändern eines oder mehrerer Abstimmparameter eingestellt werden. Die Abstimmparameter können durch den Controller des neuronalen Netzes als zusätzliche Beobachtungen gelesen werden.
In einer oder mehreren Ausführungsformen betreiben die Aktuatoren des Fahrzeugs wenigstens eines einer Lenkung, eines Antriebsstrangs und einer Bremse des Fahrzeugs.
In einer oder mehreren Ausführungsformen erzeugt der Controller des neuronalen Netzes das zweite Steuersignal ferner basierend auf einem vorhergesagten Zustand, der durch den modellbasierten Controller ausgegeben wird.
In einer weiteren beispielhaften Ausführungsform enthält ein computerimplementiertes Verfahren zur automatisierten Fahrerassistenz durch ein Fahrzeugsteuersystem das Erzeugen eines ersten Steuersignals durch einen modellbasierten Controller, um einen Betrieb mehrerer Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Verfahren enthält ferner das Erzeugen eines zweiten Steuersignals durch einen Controller eines neuronalen Netzes, um den Betrieb der Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Verfahren enthält ferner das Kombinieren des ersten Steuersignals und des zweiten Steuersignals durch ein Kombinationsmodul, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.
In einer nochmals weiteren beispielhaften Ausführungsform enthält ein Fahrzeug mehrere Aktuatoren zum Steuern der Operationen des Fahrzeugs. Das Fahrzeug enthält ferner ein Fahrzeugsteuersystem für die automatische Fahrerassistenz, wobei das Fahrzeugsteuersystem dynamisch abgestimmt ist, um die Operationen des Fahrzeugs zu steuern. Das Fahrzeugsteuersystem enthält einen modellbasierten Controller, der ein erstes Steuersignal erzeugt, um einen Betrieb eines Satzes von Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner einen Controller eines neuronalen Netzes, der ein zweites Steuersignal erzeugt, um den Betrieb des Satzes von Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand der Aktuatoren zu ändern. Das Fahrzeugsteuersystem enthält ferner ein Kombinationsmodul, das das erste Steuersignal und das zweite Steuersignal kombiniert, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.
Die obigen Merkmale und Vorteile und andere Merkmale und Vorteile der Offenbarung sind aus der folgenden ausführlichen Beschreibung leicht offensichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen betrachtet wird.
Figurenliste
Andere Merkmale, Vorteile und Einzelheiten erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:

1 einen Blockschaltplan eines typischen Fahrzeugsteuersystems;
2 ein Fahrzeugsteuersystem, das eine Kombination aus einem modellbasierten Controller und einem Controller eines neuronalen Netzes gemäß einer oder mehreren Ausführungsformen verwendet;
3 einen Ablaufplan eines Verfahrens unter Verwendung einer Kombination aus einem modellbasierten Controller und einem Controller eines neuronalen Netzes zum autonomen Ausführen einer oder mehrerer Operationen eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen;
4 einen Blockschaltplan eines Fahrzeugsteuersystems gemäß einer oder mehreren Ausführungsformen; und
5 einen Blockschaltplan eines Computersystems gemäß einer Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist lediglich von beispielhafter Art und ist nicht dazu vorgesehen, die vorliegende Offenbarung, ihre Anwendung oder Verwendungen einzuschränken. Es sollte erkannt werden, dass überall in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale angeben. Der Begriff „Modul“, wie er hier verwendet, bezieht sich auf eine Verarbeitungsschaltungsanordnung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam benutzt, dediziert oder Gruppe) und einen Speicher enthalten kann, die ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Gemäß einer beispielhaften Ausführungsform wird ein Verfahren zur Fahrzeugsteuerung beschrieben, das das Verfolgen der Fahrzeugtrajektorie durch das Kombinieren der Signale von einem Trajektorie-Controller eines Fahrzeugs mit einem Controller eines neuronalen Netzes verbessert, um die Operationen/die Trajektorie des Fahrzeugs zu steuern. Die technischen Herausforderungen bei vorhandenen Trajektorien-Controllern enthalten eine Empfindlichkeit gegenüber nicht modellierten Fahrzeugdynamiken und eine Variation oder Unsicherheit hinsichtlich Parametern und Nichtlinearitäten, die modelliert werden. Die hier beschriebenen Ausführungsformen behandeln derartige technische Herausforderungen unter Verwendung von Controllern neuronaler Netze in Kombination mit den Trajektorien-Controllern.
Das Verwenden von Controllern neuronaler Netze in Fahrzeugen weist jedoch technischen Herausforderungen auf. Den Controllern neuronaler Netze fehlt eine Online-Abstimmung, wobei das Training der Controller neuronaler Netze zahlreiche Abtastwerte erfordert, wobei ein derartiges Training ferner während des Betriebs des Fahrzeugs in der realen Welt unerwünscht ist.
Die hier beschriebenen Ausführungsformen behandeln derartige technische Herausforderungen ebenso mit Controllern neuronaler Netze. Durch das Kombinieren des traditionellen Trajektorien-Controllers und des Controllers des neuronalen Netzes erleichtern die hier beschriebenen Ausführungsformen das Ausnutzen einer modellbasierten Herangehensweise der Trajektorien-Controller, wie z. B. die Online-Abstimmung, und der datengesteuerten Herangehensweise der Controller neuronaler Netze, wie z. B. die überlegene nichtlineare Steuerung. Derartige Kombinationen beseitigen die Nachteile beider Herangehensweisen.
In 1 ist nun ein Blockschaltplan eines typischen Fahrzeugsteuersystems dargestellt. Ein Fahrzeug 100 enthält ein Modul zum Steuern eines oder mehrerer Fahrzeugaktuatoren 102. Die Fahrzeugaktuatoren 102 ändern physisch den Betrieb des Fahrzeugs 100. Die Fahrzeugaktuatoren 102 können eine Änderung des Betriebs der Lenkung 122, des Antriebsstrangs 124, der Bremsen 126 und anderer Komponenten des Fahrzeugs 100 bewirken. Die Fahrzeugaktuatoren 102 ändern die Operationen derartiger Komponenten basierend auf den Steuersignalen (u_ff) des Fahrzeug-Controllers 110 und insbesondere eines Trajektorien-Controllers 112, der Teil des Fahrzeug-Controllers 110 ist. Der Trajektorien-Controller 112 erzeugt die Steuersignale (u_ff) basierend auf einem oder mehreren geschätzten Zuständen (x) des Fahrzeugs 100. Die Steuersignale (u_ff) können Befehle, wie z. B. Drehen der Lenkung um Y Grad, Drücken des Bremspedals Y %, oder irgendeinen anderen derartigen Befehl, der den Betrieb des Fahrzeugs 100 physisch ändert, enthalten.
Die Zustände (x) des Fahrzeugs 100 werden durch einen Zustandsschätzer 106 basierend auf den Messwerten von einem oder mehreren Sensoren 104, die dem Fahrzeug 100 zugeordnet sind, geschätzt. Der Zustandsschätzer 106 kann bekannte Techniken zur Zustandsschätzung, wie z. B. eine Kalman-Filterung, oder irgendwelche anderen Techniken verwenden. Die Zustände (x) des Fahrzeugs 100 können die Position der Kraftstoffdrosselklappe, die Position des Bremspedals, die Position der Lenkung und andere derartige Betriebszustände des Fahrzeugs 100 enthalten. Die Sensoren 104 messen physikalische Größen und erzeugen eine entsprechende Ausgabe in der Form von elektrischen Signalen, die die Messwerte bereitstellen können, die das Schätzen derartiger Zustände (x) des Fahrzeugs 100 erleichtern. Die Sensoren 104 können z. B. Messwerte, wie z. B. die Geschwindigkeit, die Beschleunigung, die Winkelgeschwindigkeit und andere derartige physikalische Größen, die den Fahrzeugaktuatoren 102 und/oder anderen Komponenten des Fahrzeugs 100 zugeordnet sind, bereitstellen.
Die geschätzten Zustände (x) des Fahrzeugs 100 werden einem Wegplanungsmodul 108 bereitgestellt. Das Wegplanungsmodul 108, das Teil eines (nicht gezeigten) fortschrittlichen Fahrerassistenzsystems sein kann, bestimmt einen Weg (P), der durch das Fahrzeug 100 zu nehmen ist, als Teil einer Gesamtroutenplanungs-/Navigationsoperation oder einer Fahrzeugsteueroperation. Das Wegplanungsmodul 108 erzeugt den Weg (P) unter Verwendung von Techniken, die bekannt sind oder bekannt sein werden, wobei sein Betrieb den Betrieb der Merkmale der hier beschriebenen technischen Lösungen nicht beeinflusst.
Der Trajektorien-Controller 112 empfängt den Weg (P) und die geschätzten Zustände (x) des Fahrzeugs100. Der Trajektorien-Controller 112 kann ein modellbasierter Controller, wie z. B. ein Proportional-Integral-Differential- (PID-) Controller, ein modellprädiktiver Controller (MPC), ein auf einem linearen quadratischen Regler (LQR) basierender Controller oder irgendein anderer derartiger vorprogrammierter Controller sein. Der Trajektorien-Controller 112 erzeugt unter Verwendung des programmierten Modells die Steuersignale (u_ff) basierend auf den empfangenen Eingaben P und x. Wie früher angegeben worden ist, ändern die Steuersignale (u_ff) den Zustand eines oder mehrerer der Fahrzeugaktuatoren 102.
Die obigen Operationen werden wiederholt ausgeführt, was verursacht, dass sich das Fahrzeug 100 autonom bewegt. Es ist eine technische Herausforderung bei diesem vorhandenen Aufbau, dass eine derartige Fahrzeugsteuerung unter Verwendung des modellbasierten Controllers 112 unter der Empfindlichkeit gegenüber einer nicht modellierten Fahrzeugdynamik, einer Variation der Parameter und den Nichtlinearitäten in den Eingaben und Betriebsfaktoren leidet. Weil derartige Faktoren in den modellbasierten Controllern nicht vorhergesehen und/oder vorprogrammiert werden können, kann der Betrieb des Fahrzeugs 100 unerwartet sein, wenn derartigen Faktoren beim Betrieb des Fahrzeugs 100 begegnet wird.
2 stellt ein Fahrzeugsteuersystem 200 dar, das eine Kombination aus einem modellbasierten Controller und einem Controller eines neuronalen Netzes gemäß einer oder mehrerer Ausführungsformen verwendet. Gemäß einer oder mehreren Ausführungsformen enthält in dem Fahrzeugsteuersystem 200 der Controller 210 zusätzlich zu dem Trajektorien-Controller 112 einen Controller 212 eines neuronalen Netzes 212. Ein Controller 212 eines neuronalen Netzes enthält einen oder mehrere Prozessoren, die ein künstliches neuronales Netz (ANN), wie z. B. ein rekurrentes neuronales Netz (RNN), ein faltendes neuronales Netz (CNN), ein tiefes neuronales Netz (DNN) oder irgendeinen anderen Typ eines ANN oder eine Kombination daraus, implementieren. In einem oder mehreren Beispielen implementiert das neuronale Netz ein vollständig verbundenes ANN.
Der Controller 212 des neuronalen Netzes empfängt als eine Eingabe die geschätzten Zustände (x) vom Zustandsschätzer 106 und die Steuersignale (u_ff) vom Trajektorien-Controller 112. Zusätzlich empfängt der Controller 212 des neuronalen Netzes zusätzliche geschätzte Zustände (x_h) vom Zustandsschätzer 106 und Eingangszustände (x_d) vom Trajektorien-Controller 112. Die geschätzten Zustände x_b und x_d sind zusätzlich zu den geschätzten Zuständen x, die der Trajektorien-Controller 112 verwendet, um die Steuersignale u_ff zu erzeugen. Der Controller 212 des neuronalen Netzes kann einen anderen Satz von Beobachtungen als der Trajektorien-Controller 112 verwenden. Die Sensoren 104, wie z. B. Kameras, können z. B. durch den Controller 212 des neuronalen Netzes verwendet werden, die für den Trajektorien-Controller 112 herausfordernd sind. Folglich können sich die Zustände x_b von den Zuständen x unterscheiden, die durch den Trajektorien-Controller 112 verwendet werden.
Zusätzlich kann der Trajektorien-Controller 112 Referenz-Trajektorien-Zustände x_d bereitstellen, die durch ein internes Modell des Trajektorien-Controllers 112 erzeugt werden. Der Controller 212 des neuronalen Netzes kann in einer oder mehreren Ausführungsformen derartige Zustände x_d verwenden, um das Verhalten des Fahrzeugs 100 zu modifizieren, um das interne Modell nachzuahmen.
Ferner empfängt der Controller 212 des neuronalen Netzes Abstimmparameter (θ_t), z. B. Hyperparameter, von dem Trajektorien-Controller 112. Basierend auf den Eingangszuständen (x, x_b, x_d), den Abstimmparametern (θ_t) und einem oder mehreren Gewichten, die ein Ergebnis einer Trainingsphase sind, erzeugt der Controller 212 des neuronalen Netzes einen zweiten Satz von Steuersignalen (u_nn).
Der erste Satz von Steuersignalen (u_ff) vom Trajektorien-Controller 112 und der zweite Satz von Steuersignalen (u_nn) vom Controller 212 des neuronalen Netzes werden kombiniert (214) und an die verschiedenen Module einschließlich der Lenkung 122, des Antriebsstrangs 124 und der Bremsen 126 gesendet. Derartige kombinierte Steuersignale werden verwendet, um die Fahrzeugaktuatoren 102 zu steuern, die wiederum die Zustände (x, x_b, x_d) ändern. Dieser Prozess wird kontinuierlich ausgeführt. Ein Kombinationsmodul 214 kombiniert die Steuersignale durch das Ausführen einer Addition, Subtraktion oder gewichteten Summe (oder Differenz) der Steuersignale.
Der Controller 212 des neuronalen Netzes wird im Voraus offline trainiert. Zusätzlich werden während des Echtzeit-Betriebs des Fahrzeugsteuersystems 200 der eine oder die mehreren Betriebsparameter des Controllers 212 des neuronalen Netzes basierend auf verschiedenen Eingaben, denen begegnet wird, weiter eingestellt. Die Betriebsparameter, die in Echtzeit eingestellt werden, können die Abstimmparameter (θ_t) enthalten.
Der Controller 212 eines neuronalen Netzes kann mit einer anfänglichen Trainingskostenfunktion programmiert sein. In einem oder mehreren Beispielen kann die Kostenfunktion auf den Referenz-Trajektorien-Zuständen (x_d) basieren. Entsprechend kann zu einem späteren Zeitpunkt das Abstimmen des Trajektorien-Controllers 112 außerdem die Ausgangssteuersignale (u_nn) des Controllers 212 des neuronalen Netzes ändern. Zusätzlich kann die Kostenfunktion so gewählt sein, dass die Diskrepanz zwischen dem alleinigen Verwenden des Trajektorien-Controllers 112 und dem Verwenden der Kombination aus dem Trajektorien-Controller 112 und dem Controller 212 des neuronalen Netzes begrenzt werden kann (z. B. durch Bestrafen der Ausgabe des Controllers des neuronalen Netzes über einem vorgegebenen Schwellenwert). Zusätzlich kann die Kostenfunktion das Verhindern, dass spezifische Betriebsbereiche des Fahrzeugs 100 durch den Controller des neuronalen Netzes beeinflusst werden, durch das Vergrößern der Betriebsstrafen für diese spezifischen Bereiche erleichtern. Hier repräsentieren „Bereiche“ die Betriebsbereiche (Betriebsarten) des Fahrzeugs 100. Falls z. B. der Controller 212 des neuronalen Netzes nicht oberhalb einer speziellen Geschwindigkeit oder irgendeiner anderen derartigen Schwellenbedingung betrieben werden soll, kann am Ausgang des Controllers 212 des neuronalen Netzes ein Betriebsstrafwert konfiguriert sein, wenn das Fahrzeug 100 die Schwellenbedingung, wie z. B. die spezielle Geschwindigkeit, während des Trainingsprozesses erreicht.
Eine beispielhafte Kostenfunktion ist: $\begin{array}{l} C o s t \\ = \sum_{k = 0}^{N} γ^{k} [w_{1} {(y_{p} (k) - y (k))}^{2} + w_{2} {(x_{d} (k) - x (k))}^{2} + w_{3} (x (k)) {(u_{ƒ ƒ} (k) - u_{n n} (k))}^{2}] \end{array}$
Hier ist N die Länge des Optimierungshorizonts, repräsentiert w_i einen Gewichtswert verschiedener Leistungskomponenten des Controllers 212 des neuronalen Netzes, sind y und y_p die gewünschte und die tatsächliche Fahrzeugtrajektorie, sind x und x_d der gewünschte und der tatsächliche Fahrzeugzustand und ist u_ff - u_nn die Differenz zwischen dem Ausgang des Netz-Controllers 212 und dem modellbasierten Controller 112. Es sollte angegeben werden, dass, obwohl in der obigen Gleichung die drei Gewichte w1, w2 und w3 gezeigt sind, in anderen Ausführungsformen in anderen Beispielen eine andere Anzahl von Gewichten verwendet werden kann.
3 stellt einen Ablaufplan eines Verfahrens zum Verwenden einer Kombination aus einem modellbasierten Controller und einem Controller eines neuronalen Netzes zum autonomen Ausführen einer oder mehrerer Operationen eines Fahrzeugs gemäß einer oder mehreren Ausführungsformen dar. Das dargestellte Verfahren 300 wird in Verbindung mit einem Blockschaltplan nach 4 beschrieben, der das Fahrzeugsteuersystem 200 gemäß einer oder mehrerer Ausführungsformen darstellt.
Das Verfahren 300 enthält im Block 302 das Erzeugen erster Steuersignale durch den Trajektorien-Controller 112 basierend auf einem Fahrzeugmodell 402 des Fahrzeugs 100. Der Trajektorien-Controller 112 empfängt die Messwerte von den Sensoren 104 und/oder die auf derartigen Messwerten basierenden geschätzten Zustände (x). Die Sensormesswerte können z. B. eine Verschiebung (d) des Fahrzeugs 100 von einer Referenztrajektorie (y_p), die vom Wegplaner 108 empfangen wird, und eine Geschwindigkeit einer derartigen Verschiebung (d) enthalten. Die Messwerte können ferner eine Gierwinkeldifferenz (ψ) des Fahrzeugs von einer Referenz in der Trajektorie y_p und eine Gierwinkelgeschwindigkeit (ψ̇) des Fahrzeugs 100 enthalten. Die ersten Steuersignale (u_ff) werden basierend auf dem Fahrzeugmodell 402 erzeugt, um die Fahrzeugaktuatoren 102 zu veranlassen, den Betrieb des Fahrzeugs 100 so zu ändern, dass die Messwerte mit der Referenztrajektorie y_p übereinstimmen.
Zusätzlich gibt der Trajektorien-Controller 112 im Block 304 basierend auf dem Fahrzeugmodell 402 einen vorhergesagten Zustand (x_d) des Fahrzeugs 100 aus. Der vorhergesagte Zustand (x_d) wird in den Controller 212 eines neuronalen Netzes eingegeben. Der vorhergesagte Zustand (x_d) repräsentiert einen geschätzten Zustand des Betriebs des Fahrzeugs 100 beim Anwenden der ersten Steuersignale (Uff).
Ferner berechnet der Trajektorien-Controller 112 im Block 306 die Kostenfunktion (siehe z. B. die obige Gleichung) basierend auf der vorherigen Ausgabe des Controllers 212 des neuronalen Netzes und der Ausgabe des Trajektorien-Controllers 112.
Das Verfahren 300 enthält ferner im Block 308 das Verwenden des Controllers 212 des neuronalen Netzes, um zweite Steuersignale (u_nn) basierend auf mehreren Eingaben (x, x_h, x_d) zu erzeugen. Der Controller 212 des neuronalen Netzes erzeugt basierend auf einem oder mehreren zugewiesenen Gewichtswerten die zweiten Steuersignale (u_nn). Die Gewichtswerte können anfangs unter Verwendung eines Offline-Trainings zugewiesen werden. Das Training kann unter Verwendung einer oder mehrerer bekannter Trainingstechniken für neuronale Netze, wie z. B. überwachtes Training, und irgendeiner anderen bekannten oder zu kennenden Trainingstechnik ausgeführt werden. In einem oder mehreren Beispielen wird der Controller 212 des neuronalen Netzes unter Verwendung von Algorithmen des verstärkenden Lernens, wie z. B. des tiefen deterministischen Strategiegradienten (DDPG), der proximalen Strategieoptimierung (PPO), des weichen Aktorkritikers (SAC) oder irgendwelcher anderer derartiger Algorithmen trainiert.
Das Training wird unter Verwendung des Steuersystems 200 ausgeführt, das eine Kombination aus dem Controller 212 des neuronalen Netzes und dem Trajektorien-Controller 112 enthält. In dieser Weise wird der Controller 212 des neuronalen Netzes unter Verwendung von Beobachtungssignalen von dem Trajektorien-Controller 112 zusammen mit den Sensormesswerten und den auf den Messwerten basierenden geschätzten Zuständen trainiert. Das Training wird in einem oder mehreren Beispielen ausgeführt, um eine Erforschung unter Verwendung einer stochastischen Strategie bereitzustellen. Ferner werden während des Trainings verschiedene Kombinationen von Abstimmparametern (θ_t) verwendet, um einen optimalen Satz von Abstimmparametern für den Controller 212 des neuronalen Netzes zu bestimmen, der in der Kombination arbeitet.
Das Verfahren 300 enthält im Block 310 ferner das Kombinieren der ersten Steuersignale (u_ff) und der zweiten Steuersignale (u_nn), um dritte Steuersignale zu erzeugen. Das Kombinieren kann zusätzlich eine Addition (oder Subtraktion) der ersten Steuersignale (u_ff) und der zweiten Steuersignale (u_nn) enthalten. Alternativ kann in anderen Ausführungsformen die Kombination eine gewichtete Summe (oder Differenz) der ersten Steuersignale (u_ff) und der zweiten Steuersignale (u_nn) sein. In anderen Ausführungsformen ist irgendeine andere Kombination aus den ersten Steuersignalen (u_ff) und den zweiten Steuersignalen (u_nn) möglich. Die dritten Steuersignale werden im Block 312 an die Fahrzeugaktuatoren 102 gesendet, um den Betrieb des Fahrzeugs 100 zu ändern.
Ferner wird das Steuersystem 200 im Block 314 durch das Einstellen eines oder mehrerer Parameter des Trajektorien-Controllers 112 neu abgestimmt. Das erneute Abstimmen basiert auf der Kostenfunktion, die durch ein Optimierermodul 404 des Trajektorien-Controllers 112 berechnet wird. Der Controller 212 des neuronalen Netzes empfängt den Wert der Kostenfunktion, der eine Differenz zwischen der Referenztrajektorie (y_p) und der Ausgabe des Trajektorien-Controllers 112 repräsentiert, zusammen mit den geschätzten Zuständen (x, x_b, x_d). In einer oder mehreren Ausführungsformen kann der Controller 212 des neuronalen Netzes zusätzlich zu den durch den Trajektorien-Controller 112 empfangenen Eingaben unter anderem zusätzliche Messwerte, wie z. B. die Längsgeschwindigkeit (v_x), die Längsbeschleunigung (a_x) und die Querbeschleunigung (a_y) verwenden. In einer oder mehreren Ausführungsformen können derartige Messwerte verwendet werden, um die geschätzten Zustände x_b zu erzeugen.
Entsprechend kann der Controller 212 des neuronalen Netzes während des Betriebs des Fahrzeugs 100 in Echtzeit neu trainiert werden, um den Betrieb des Fahrzeugsteuersystems 200 zu verbessern.
Das Fahrzeugsteuersystem 200 stellt unter Verwendung des modellbasierten Trajektorien-Controllers 112 in Kombination mit einem Controller 212 eines neuronalen Netzes eine stabile und sichere Lernumgebung für den Controller 212 des neuronalen Netzes bereit. Das Fahrzeugsteuersystem 200 erleichtert es, den Controller 212 eines neuronalen Netzes unter Verwendung von Daten, denen während des Betriebs des Fahrzeugs 100 begegnet wird, in einer sicheren Weise zu trainieren. Das Training des Controllers 212 des neuronalen Netzes erfordert im Vergleich zu jenen, die ohne eine Kombination mit dem modellbasierten Trajektorien-Controller 112 erforderlich sind, weniger Abtastwerte.
In einer oder mehreren Ausführungsformen kann, nachdem der Controller 212 des neuronalen Netzes trainiert worden ist, der Trajektorien-Controller 112 durch das Ändern eines oder mehrerer Parameter des Controllers 212 des neuronalen Netzes ohne zusätzliches Training verwendet werden, um den Controller 212 eines neuronalen Netzes abzustimmen.
Verschiedene experimentelle Szenarien haben gezeigt, dass ein Fahrzeugsteuersystem unter Verwendung einer Kombination aus einem modellbasierten Trajektorien-Controller und einem Controller eines neuronalen Netzes, wie hier beschrieben worden ist, die Fahrzeugoperationen, wie z. B. durch das Verbessern der Seitenabweichung und der Lenksteuerung während der automatisierten Fahrunterstützung, verbessern kann. Derartige Verbesserungen sind bei verschiedenen Typen von Straßenverläufen gesehen worden, wie z. B. sowohl bei Stadt-/urbanen Straßen als auch Fern-/Landstraßen.
Die Ausführungsformen der hier beschriebenen technischen Lösungen verbessern die Fahrzeugsteuersysteme, die zum autonomen Ausführen einer oder mehrerer Operationen eines Fahrzeugs verwendet werden, und stellen eine praktische Anwendung bereit, dies auszuführen. Die bereitgestellten Verbesserungen enthalten, sind aber nicht eingeschränkt auf, das Vermeiden der Notwendigkeit eines genauen dynamischen und nichtlinearen Modells des Fahrzeugs. Das Erzeugen und Managen eines derartigen dynamischen und nichtlinearen Modells eines Systems, das so komplex wie ein Fahrzeug ist, ist eine technische Herausforderung, wobei die hier beschriebenen technischen Lösungen das Ausführen autonomer Operationen ohne ein derartiges Modell erleichtern können. Ferner verbessern die hier beschriebenen Ausführungsformen die Leistung des Fahrzeugsteuersystems im Vergleich zu den vorhandenen Systemen, die einen modellbasierten Controller allein verwenden, wobei das Modell, wie früher angegeben worden ist, die Komplexität des Systems nicht umfassen kann. Zusätzlich erfordern die hier beschriebenen Ausführungsformen keine Änderung der vorhandenen Steuerbauform des Fahrzeugsteuersystems, weil die Kombination des Controllers des neuronalen Netzes mit dem modellbasierten Trajektorien-Controller einen vorhandenen Trajektorien-Controller in einer modularen Weise ersetzt.
In 5 ist ein Computersystem 500 gemäß einer Ausführungsform allgemein gezeigt. Das Computersystem 500 kann als irgendeine der Vorrichtungen und/oder irgendeines der Geräte, die hier beschrieben worden sind, wie z. B. jener, mit denen das Fahrzeug 100 ausgestattet ist, verwendet werden. In einer oder mehreren Ausführungsformen implementiert das Computersystem 500 ein oder mehrere hier beschriebene Verfahren. Das Computersystem 500 kann ein elektronischer Computerrahmen sein, der irgendeine Anzahl und Kombination von Rechenvorrichtungen und Netzen umfasst und/oder einsetzt, die verschiedene Kommunikationstechniken verwenden, wie hier beschrieben wird. Das Computersystem 500 kann mit der Fähigkeit, zu verschiedenen Diensten zu wechseln oder einige Merkmale unabhängig von anderen neu zu konfigurieren, leicht skalierbar, erweiterbar und modular sein. Das Computersystem 500 kann z. B. ein Server, ein Desktop-Computer, ein Laptop-Computer, ein Tablet-Computer oder ein Smartphone sein. In einigen Beispielen kann das Computersystem 500 ein Cloud-Computing-Knoten sein. Das Computersystem 500 kann im allgemeinen Kontext von ausführbaren Anweisungen des Computersystems, wie z. B. Programmmodulen, beschrieben werden, die durch ein Computersystem ausgeführt werden. Im Allgemeinen können die Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. enthalten, die spezielle Aufgaben ausführen oder spezielle abstrakte Datentypen implementieren. Das Computersystem 500 kann in verteilten Cloud-Computing-Umgebungen betrieben werden, in denen Aufgaben durch entfernte Verarbeitungsvorrichtungen ausgeführt werden, die durch ein Kommunikationsnetz verbunden sind. In einer verteilten Cloud-Computing-Umgebung können sich die Programmmodule sowohl in lokalen als auch in entfernten Speichermedien des Computersystems befinden, die Speichervorrichtungen enthalten.
Wie in 5 gezeigt ist, weist das Computersystem 500 eine oder mehrere Zentraleinheiten (CPU(s)) 501a, 501b, 501c usw. (die gemeinsam oder generisch als Prozessor(en) 501 bezeichnet werden) auf. Die Prozessoren 501 können ein Einzelkern-Prozessor, ein Mehrkern-Prozessor, ein Rechen-Cluster oder irgendeine Anzahl anderer Konfigurationen sein. Die Prozessoren 501, die außerdem als Verarbeitungsschaltungen bezeichnet werden, sind über einen Systembus 502 an einen Systemspeicher 503 und verschiedene andere Komponenten gekoppelt. Der Systemspeicher 503 kann einen Festwertspeicher (ROM) 504 und einen Schreib-Lese-Speicher (RAM) 505 enthalten. Der ROM 504 ist an den Systembus 502 gekoppelt und kann ein Basiseingabe-/-ausgabesystem (BIOS) enthalten, das bestimmte Grundfunktionen des Computersystems 500 steuert. Der RAM ist ein Schreib-Lese-Speicher, der zur Verwendung durch die Prozessoren 501 an den Systembus 502 gekoppelt ist. Der Systemspeicher 503 stellt temporären Speicherplatz für die Operationen der Anweisungen während des Betriebs bereit. Der Systemspeicher 503 kann Schreib-Lese-Speicher (RAM), Festwertspeicher, Flash-Speicher oder irgendwelche anderen geeigneten Speichersysteme enthalten.
Das Computersystem 500 umfasst einen Eingabe/Ausgabe- (E/A-) Adapter 506 und einen Kommunikationsadapter 507, die an den Systembus 502 gekoppelt sind. Der E/A-Adapter 506 kann ein Kleincomputer-Systemschnittstellen- (SCSI-) Adapter sein, der mit einer Festplatte 508 und/oder irgendeiner anderen ähnlichen Komponente kommuniziert. Der E/A-Adapter 506 und die Festplatte 508 werden hier gemeinsam als ein Massenspeicher 510 bezeichnet.
In dem Massenspeicher 510 kann Software 511 zur Ausführung in dem Computersystem 500 gespeichert sein. Der Massenspeicher 510 ist ein Beispiel eines greifbaren Speichermediums, das durch die Prozessoren 501 lesbar ist, wobei die Software 511 als Anweisungen zur Ausführung durch die Prozessoren 501 gespeichert ist, um das Computersystem 500 zu veranlassen, so zu arbeiten, wie hier bezüglich der verschiedenen Figuren beschrieben ist. Die Beispiele eines Computerprogrammprodukts und der Ausführung einer derartigen Anweisung werden hier ausführlicher erörtert. Der Kommunikationsadapter 507 verbindet den Systembus 502 mit einem Netz 512, das ein äußeres Netz sein kann, das es dem Computersystem 500 ermöglicht, mit anderen derartigen Systemen zu kommunizieren. In einer Ausführungsform speichern ein Abschnitt des Systemspeichers 503 und der Massenspeicher 510 gemeinsam ein Betriebssystem, das irgendein geeignetes Betriebssystem sein kann, um die Funktionen der verschiedenen in 5 gezeigten Komponenten zu koordinieren.
Es sind zusätzliche Eingabe-/Ausgabevorrichtungen gezeigt, die über einen Anzeigeadapter 515 und einen Schnittstellenadapter 516 mit dem Systembus 502 verbunden sind. In einer Ausführungsform können die Adapter 506, 507, 515 und 516 mit einem oder mehreren E/A-Bussen verbunden sein, die über eine (nicht gezeigte) Zwischenbusbrücke mit dem Systembus 502 verbunden sind. Eine Anzeige 519 (z. B. ein Schirm oder ein Anzeigemonitor) ist durch einen Anzeigeadapter 515 mit dem Systembus 502 verbunden, der einen Graphik-Controller, um die Leistung graphikintensiver Anwendungen zu verbessern, und einen Video-Controller enthalten kann. Ein Lautsprecher 523, Eingabevorrichtungen, wie z. B. Berührungsschirme, Tasten und andere derartige (nicht gezeigte) interaktive Vorrichtungen mit Menschen usw., können über den Schnittstellenadapter 516, der z. B. einen Super-E/A-Chip enthalten kann, der mehrere Vorrichtungsadapter in einen einzigen integrierten Schaltung integriert, mit dem Systembus 502 verbunden sein. Geeignete E/A-Busse zum Anschließen von Peripherievorrichtungen, wie z. B. Festplatten-Controllern, Netzadaptern und Graphikadaptern, enthalten typischerweise übliche Protokolle, wie z. B. die Peripheriekomponenten-Zusammenschaltung (PCI). Folglich enthält das Computersystem 500, wie es in 5 konfiguriert ist, eine Verarbeitungsfähigkeit in der Form der Prozessoren 501 und eine Speicherfähigkeit einschließlich des Systemspeichers 503 und des Massenspeichers 510, Eingabemittel, wie z. B. die (nicht gezeigten) interaktiven Vorrichtungen mit Menschen, und eine Ausgabefähigkeit einschließlich des Lautsprechers 523 und der Anzeige 519.
In einigen Ausführungsformen kann der Kommunikationsadapter 507 Daten unter Verwendung irgendeiner geeigneten Schnittstelle oder irgendeines geeigneten Protokolls, wie z. B. unter anderem der Internet-Kleincomputer-Systemschnittstelle, übertragen. Das Netz 512 kann unter anderem ein Zellennetz, ein Funknetz, ein Weitbereichsnetz (WAN), ein lokales Netz (LAN) oder das Internet sein. Eine externe Rechenvorrichtung kann durch das Netz 512 mit dem Computersystem 500 verbunden sein. In einigen Beispielen kann eine externe Rechenvorrichtung ein externer Web-Server oder ein Cloud-Computing-Knoten sein.
Es soll erkannt werden, dass der Blockschaltplan nach 5 nicht vorgesehen ist, anzugeben, dass das Computersystem 500 alle der in 5 gezeigten Komponenten enthalten muss. Stattdessen kann das Computersystem 500 irgendwelche geeigneten wenigeren oder zusätzlichen Komponenten, die in 5 nicht veranschaulicht sind, (z. B. zusätzliche Speicherkomponenten, eingebettete Controller, Module, zusätzliche Netzschnittstellen usw.) enthalten. Ferner können die hier bezüglich des Computersystems 500 beschriebenen Ausführungsformen mit irgendeiner geeigneten Logik implementiert sein, wobei die Logik, wie hier auf sie Bezug genommen wird, in verschiedenen Ausführungsformen irgendeine geeignete Hardware (unter anderem z. B. einen Prozessor, einen eingebetteten Controller oder eine anwendungsspezifische integrierte Schaltung), Software (unter anderem z. B. eine Anwendung), Firmware oder irgendeine geeignete Kombination aus Hardware, Software und Firmware enthalten kann.
Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht ausdrücklich als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der keine anderen dazwischenliegenden Elemente zwischen dem ersten und dem zweiten Element vorhanden sind, sie kann aber außerdem eine indirekte Beziehung sein, bei der ein oder mehrere dazwischenliegende Elemente (entweder räumlich oder funktional) zwischen dem ersten und dem zweiten Element vorhanden sind.
Es sollte erkannt werden, dass ein oder mehrere Schritte innerhalb eines Verfahrens oder Prozesses in unterschiedlicher Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu verändern. Obwohl jede der Ausführungsformen oben als bestimmte Merkmale aufweisend beschrieben worden ist, können irgendeines oder mehrere dieser Merkmale, die bezüglich irgendeiner Ausführungsform der Offenbarung beschrieben worden sind, in irgendeiner der anderen Ausführungsformen implementiert sein und/oder mit den Merkmalen irgendeiner der anderen Ausführungsformen kombiniert werden, selbst wenn diese Kombination nicht ausdrücklich beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen sind nicht sich gegenseitig ausschließend, wobei Permutationen einer oder mehrerer Ausführungsformen miteinander innerhalb des Schutzumfangs dieser Offenbarung bleiben.
Während die obige Offenbarung mit Bezug auf beispielhafte Ausführungsformen beschrieben worden ist, wird durch die Fachleute auf dem Gebiet erkannt, dass verschiedene Änderungen vorgenommen und deren Elemente durch Äquivalente ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Zusätzlich können viele Modifikationen vorgenommen werden, um eine spezielle Situation oder ein spezielles Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Schutzumfang abzuweichen. Deshalb ist vorgesehen, dass die vorliegende Offenbarung nicht auf die offenbarten speziellen Ausführungsformen eingeschränkt ist, sondern alle Ausführungsformen enthält, die in ihren Schutzumfang fallen.

Claims

Fahrzeugsteuersystem für automatisierte Fahrerassistenz, wobei das Fahrzeugsteuersystem umfasst: einen modellbasierten Controller, der ein erstes Steuersignal erzeugt, um einen Betrieb mehrerer Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern; einen Controller eines neuronalen Netzes, der ein zweites Steuersignal erzeugt, um den Betrieb der Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern; und ein Kombinationsmodul, das das erste Steuersignal und das zweite Steuersignal kombiniert, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.
Fahrzeugsteuersystem nach Anspruch 1, wobei das erste Steuersignal basierend auf einem oder mehreren Messwerten von einem Satz von Sensoren erzeugt wird, die dem Fahrzeug und den Aktuatoren zugeordnet sind.
Fahrzeugsteuersystem nach Anspruch 1, wobei der Controller des neuronalen Netzes unter Verwendung eines oder mehrerer Abstimmparameter im Voraus trainiert wird, um das zweite Steuersignal zu erzeugen.
Fahrzeugsteuersystem nach Anspruch 1, wobei der modellbasierte Controller durch das Ändern eines oder mehrerer Abstimmparameter des modellbasierten Controllers eingestellt wird.
Fahrzeugsteuersystem nach Anspruch 4, wobei der Controller des neuronalen Netzes in Reaktion auf den einen oder die mehreren Abstimmparameter des modellbasierten Controllers, die eingestellt sind, trainiert wird.
Fahrzeugsteuersystem nach Anspruch 1, wobei die Aktuatoren des Fahrzeugs eine Lenkung und/oder Antriebsstrangs und/oder eine Bremse des Fahrzeugs betreiben.
Fahrzeugsteuersystem nach Anspruch 1, wobei der Controller des neuronalen Netzes das zweite Steuersignal ferner basierend auf einem vorhergesagten Zustand erzeugt, der durch den modellbasierten Controller ausgegeben wird.
Computer-implementiertes Verfahren zur automatisierten Fahrerassistenz durch ein Fahrzeugsteuersystem, wobei das computer-implementierte Verfahren umfasst: Erzeugen eines ersten Steuersignals durch einen modellbasierten Controller, um einen Betrieb mehrerer Aktuatoren eines Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und einem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern; Erzeugen eines zweiten Steuersignals durch einen Controller eines neuronalen Netzes, um den Betrieb der Aktuatoren des Fahrzeugs basierend auf einer Referenztrajektorie für das Fahrzeug und dem aktuellen Zustand des Fahrzeugs und der Aktuatoren zu ändern; und Kombinieren des ersten Steuersignals und des zweiten Steuersignals durch ein Kombinationsmodul, um die Aktuatoren basierend auf einem kombinierten Signal zu betreiben.
Verfahren nach Anspruch 8, wobei der modellbasierte Controller durch das Ändern eines oder mehrerer Abstimmparameter des modellbasierten Controllers eingestellt wird, und wobei der Controller des neuronalen Netzes in Reaktion auf den einen oder die mehreren Abstimmparameter des modellbasierten Controllers, die eingestellt sind, trainiert wird.
Verfahren nach Anspruch 8, wobei der Controller des neuronalen Netzes das zweite Steuersignal ferner basierend auf einem vorhergesagten Zustand erzeugt, der durch den modellbasierten Controller ausgegeben wird.