DE102020126999A1

DE102020126999A1 - Kamerabasierte verbesserung der schätzung des kinematischen fahrzeugzustands

Info

Publication number: DE102020126999A1
Application number: DE102020126999.4A
Authority: DE
Inventors: Avshalom Suissa; Daniel Y. Rubin
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-11-21
Filing date: 2020-10-14
Publication date: 2021-05-27
Also published as: US11544858B2; US20210158545A1; CN112824194A

Abstract

Verfahren und Systeme, die in einem Fahrzeug implementiert sind, umfassen das Erhalten eines einzigen Kamerabildes von einer auf dem Fahrzeug angeordneten Kamera. Das Bild zeigt einen Kurswinkel ψ₀ zwischen einem Fahrzeugkurs x und einer Tangentenlinie an, die tangential zur Straßenkrümmung einer Straße ist, auf der das Fahrzeug fährt, und zeigt auch einen senkrechten Abstand yo von einem Mittelpunkt des Fahrzeugs zur Tangentenlinie an. Ein beispielhaftes Verfahren umfasst das Erhalten von zwei oder mehreren Eingängen von zwei oder mehreren Fahrzeugsensoren und das Schätzen kinematischer Zustände des Fahrzeugs auf der Grundlage der Anwendung eines Kalman-Filters auf das einzelne Kamerabild und die zwei oder mehreren Eingängen zur Lösung kinematischer Gleichungen. Zu den kinematischen Zuständen gehören Rollwinkel und Nickwinkel des Fahrzeugs.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich auf eine kamerabasierte Verbesserung der Schätzung des kinematischen Zustands von Fahrzeugen.
Automatisierte und halbautomatisierte Fahrzeuge (z.B. Automobile, Lastwagen, landwirtschaftliche Geräte, Baumaschinen, Fabrikgeräte) werden auf der Grundlage von Informationen über die Umwelt und über das Fahrzeug gesteuert. Sensoren wie z.B. Radarsysteme, Lidarsysteme und Kameras liefern Informationen über die Umgebung eines Fahrzeugs. Diese Informationen können z.B. die Anwesenheit anderer Fahrzeuge oder Objekte umfassen. Sensoren können auch Informationen über das Verhalten des Fahrzeugs selbst liefern. Zu diesem Verhalten gehört der kinematische Zustand des Fahrzeugs (z.B. Längs- und Quergeschwindigkeiten, Rollen, Nicken). Der Besitz von Informationen über das Fahrzeug und seine Umgebung erleichtert den autonomen oder halbautonomen Betrieb (z.B. Kollisionsvermeidung, automatisiertes Bremsen, adaptive Geschwindigkeitsregelung). Vorherige Ansätze zur Schätzung des kinematischen Zustands eines Fahrzeugs beinhalten die Trägheitsmesseinheit (IMU) und den Wegmesser. Dementsprechend ist es wünschenswert, eine kamerabasierte Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs bereitzustellen.
BESCHREIBUNG
In einer beispielhaften Ausführungsform beinhaltet ein in einem Fahrzeug implementiertes Verfahren das Erhalten eines einzelnen Kamerabildes von einer auf dem Fahrzeug angeordneten Kamera. Das Bild zeigt einen Kurswinkel Ψ₀ zwischen einem Fahrzeugkurs x und einer Tangentenlinie an, die tangential zur Straßenkrümmung einer Straße ist, auf der das Fahrzeug fährt, und zeigt auch einen senkrechten Abstand yo von einem Mittelpunkt des Fahrzeugs zur Tangentenlinie an. Das Verfahren umfasst auch das Erhalten von zwei oder mehreren Eingänge von zwei oder mehreren Fahrzeugsensoren und das Schätzen kinematischer Zustände des Fahrzeugs auf der Grundlage der Anwendung eines Kalman-Filters auf das einzelne Kamerabild und die zwei oder mehreren Eingänge zur Lösung kinematischer Gleichungen. Zu den kinematischen Zuständen gehören Rollwinkel und Nickwinkel des Fahrzeugs.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der zwei oder mehreren Eingänge auch das Erhalten der Beschleunigungskomponenten a_x, a_y des Fahrzeugs von einer Trägheitsmesseinheit (IMU).
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der zwei oder mehreren Eingänge zusätzlich das Erhalten der Rollgeschwindigkeit ω_x, der Nickgeschwindigkeit ω_y und der Giergeschwindigkeit ω_z von der IMU.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Schätzen der kinematischen Zustände das Schätzen einer Geschwindigkeitskomponente v_y des Fahrzeugs auf der Grundlage der Giergeschwindigkeit ω_z.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der zwei oder mehreren Eingänge das Erhalten einer Geschwindigkeitskomponente v_x des Fahrzeugs von dem Wegmesser.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Erhalten der zwei oder mehreren Eingänge das Erhalten einer Position X, Y des Fahrzeugs auf einem globalen Rahmen von einem globalen Navigationssatellitensystem (GNSS).
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Schätzen der kinematischen Zustände das Schätzen des globalen Kurses ψ̂ basierend auf der Position X, Y des Fahrzeugs.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch das Implementieren eines dynamischen Modells unter Verwendung der kinematischen Zustände, die anhand des einzelnen Kamerabildes und der zwei oder mehreren Eingänge und des Lenkwinkels des Fahrzeugs geschätzt werden.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch das Erhalten von Reifenkräften aus dem dynamischen Modell und das Durchführen einer Kraftberechnung zur Bestimmung externer Störungen am Fahrzeug, wobei die externen Störungen Seitenwinde umfassen.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale umfasst das Verfahren auch das Kompensieren der externen Störungen.
In einer anderen beispielhaften Ausführungsform umfasst ein System in einem Fahrzeug eine Kamera, die auf dem Fahrzeug angeordnet ist, um ein einziges Kamerabild zu erhalten. Das Bild zeigt einen Kurswinkel ψ₀ zwischen einem Fahrzeugkurs x und einer Tangentenlinie an, die tangential zur Straßenkrümmung einer Straße ist, auf der das Fahrzeug fährt, und zeigt auch einen senkrechten Abstand yo von einem Mittelpunkt des Fahrzeugs zur Tangentenlinie an. Das System enthält auch einen Prozessor, um das einzelnes Kamerabild zu erhalten, um zwei oder mehrere Eingänge von zwei oder mehreren Fahrzeugsensoren zu erhalten, und um kinematische Zustände des Fahrzeugs auf der Grundlage der Anwendung eines Kalman-Filters auf das einzelne Kamerabild und die zwei oder mehreren Eingänge zu schätzen, um kinematische Gleichungen zu lösen. Zu den kinematischen Zuständen gehören Rollwinkel und Nickwinkel des Fahrzeugs.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält der Prozessor die Beschleunigungskomponenten a_x, a_y des Fahrzeugs von einer Trägheitsmesseinheit (IMU) als die zwei oder mehreren Eingänge.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält der Prozessor von der IMU die Rollgeschwindigkeit ω_x, die Nickgeschwindigkeit ω_y und die Giergeschwindigkeit ω_z als zusätzliche der zwei oder mehreren Eingänge.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schätzt der Prozessor die kinematischen Zustände, indem er eine Geschwindigkeitskomponente v_y des Fahrzeugs auf der Grundlage der Giergeschwindigkeit ω_z schätzt.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält der Prozessor eine Geschwindigkeitskomponente v_x des Fahrzeugs vom Wegmesser als einen der zwei oder mehreren Eingänge.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält der Prozessor eine Position X, Y des Fahrzeugs auf einem globalen Rahmen von einem globalen Navigationssatellitensystem (GNSS) als die zwei oder mehreren Eingänge.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale schätzt der Prozessor die kinematischen Zustände durch Schätzen des globalen Kurses ψ̂ basierend auf der Position X, Y des Fahrzeugs.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale implementiert der Prozessor ein dynamisches Modell unter Verwendung der kinematischen Zustände, die anhand des einzelnen Kamerabildes und der zwei oder mehreren Eingänge und des Lenkwinkels des Fahrzeugs geschätzt werden.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält der Prozessor Reifenkräfte aus dem dynamischen Modell und führt eine Kraftberechnung durch, um externe Störungen am Fahrzeug zu bestimmen. Zu den externen Störungen gehören Seitenwinde.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale kompensiert der Prozessor die externen Störungen.
Die oben genannten Merkmale und Vorteile sowie andere Merkmale und Vorteile der Offenbarung sind aus der folgenden detaillierten Beschreibung einfach ersichtlich, wenn sie in Verbindung mit den beigefügten Zeichnungen genommen werden.
Figurenliste
Weitere Merkmale, Vorteile und Details erscheinen lediglich beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, in denen:

1 ist ein Blockdiagramm ist, das Aspekte der kamerabasierten Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs zeigt, gemäß einer oder mehrerer Ausführungsformen;
2 ein beispielhaftes Szenario veranschaulicht, das zu einem Rollwinkel führt, der mittels kamerabasierter Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs bestimmt wird, gemäß einer oder mehrerer Ausführungsformen;
3 ein beispielhaftes Szenario veranschaulicht, das zu einem Nickwinkel führt, der mittels kamerabasierter Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs bestimmt wird, gemäß einer oder mehrerer Ausführungsformen;
4 ein Blockdiagramm ist, das die Eingänge und Ausgänge anzeigt, die bei der kamerabasierten Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs involviert sind, gemäß einer oder mehrerer Ausführungsformen; und
5 ein Prozessablauf eines beispielhaften Verfahrens zum Anwenden der kamerabasierten Verbesserung der Schätzung des kinematischen Zustands eines Fahrzeugs ist, gemäß einer oder mehrerer Ausführungsformen, zur Steuerung eines Fahrzeugs.

DETAILLIERTE BESCHREIBUNG
Die folgende Beschreibung hat lediglich beispielhaften Charakter und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Es ist zu verstehen, dass in den Zeichnungen durchgehend gleiche Referenzziffern auf gleiche oder entsprechende Teile und Merkmale hinweisen.
Wie bereits erwähnt, werden Informationen über das Fahrzeugverhalten und die Fahrzeugumgebung verwendet, um die autonome oder halbautonome Steuerung über den Fahrzeugbetrieb zu bestimmen. Der kinematische Fahrzeugzustand liefert Informationen über das Fahrzeugverhalten. Der kinematische Zustand bezieht sich z.B. auf die Längs- und Quergeschwindigkeit des Fahrzeugs sowie auf Roll- und Nickwinkel. Vorherige Ansätze zur Schätzung des kinematischen Zustands umfassen die Verwendung einer IMU und eines Wegmessers. Die nach diesem Ansatz erhaltenen Informationen vermitteln möglicherweise das Fahrzeugverhalten relativ zur Straße nicht richtig. Das heißt, geschätzte Roll- und Nickwinkel werden unter Umständen gar nicht oder nur ungenau erhalten, wenn sie mit Straßenböschungen oder Straßenneigungen oder mit Roll- oder Nickwinkeln des Fahrzeugs relativ zur Straße allein und nicht mit einer Summe von sowohl straßen- als auch fahrzeugbezogenen Faktoren korrespondieren. Ein anderer Ansatz verwendet den optischen Fluss, der auf der Gewinnung sequentieller Bilder basiert. Ausführungsformen der hier beschriebenen Systeme und Verfahren beziehen sich auf eine kamerabasierte Verbesserung der Schätzung des kinematischen Fahrzeugzustands. Die Kinematik relativ zu einem Referenzpfad wird mit einem einzigen Bild und nicht mit zwei oder mehreren sequentiellen Bildern erhalten.
Gemäß einer beispielhaften Ausführungsform ist 1 ein Blockdiagramm, das Aspekte der kamerabasierten Verbesserung der Schätzung der kinematischen Fahrzeugzustände zeigt. Das in 1 gezeigte exemplarische Fahrzeug 100 ist ein Automobil 101. Das Fahrzeug 100 kann eine oder mehrere Kameras 110 und andere Sensoren 130 (z.B. Radarsystem, Lidarsystem) enthalten. Zusätzlich zu der zu Erklärungszwecken gezeigten beispielhaften Anordnung können die Kameras 110 und andere Sensoren 130 an beliebiger Stelle innerhalb oder auf dem Fahrzeug 100 angeordnet sein. Zusätzlich zu der Kamera 110 und den Sensoren 130, die Informationen von außerhalb des Fahrzeugs 100 liefern, können bekannte Fahrzeugsensoren 140 Informationen über das Fahrzeug 100 liefern. Zum Beispiel bestimmt der Wegmesser (Odometer) 125 die Geschwindigkeitskomponente v_x des Fahrzeugs 100 entlang der Fahrtrichtung. Die IMU 105 verfolgt die Beschleunigungskomponenten a_x, a_y des Fahrzeugs 100 und kann zusätzlich die Rollgeschwindigkeit ω_x, die Nickgeschwindigkeit ω_y und die Giergeschwindigkeit ω_z liefern. Wenn ein globales Navigationssatellitensystem (GNSS) 115 (z.B. Global Positioning System (GPS)) auch als einer der Fahrzeugsensoren 140 verfügbar ist, liefert es die Position des Fahrzeugs 100 auf einem globalen X- und Y-Gitter.
Eine Referenzstrecke R gibt die Straßenkrümmung an, der das Fahrzeug 100 folgen soll. Die Referenzstrecke R kann z.B. eine Straßenmittellinie (d.h. eine Fahrbahnmarkierung) oder ein Straßenrand sein. Eine Tangente T an die Referenzstrecke R wird ebenfalls angezeigt und relativ zum Fahrzeug als T' dargestellt. Die in 1 gezeigten x- und y-Achsen geben den Fahrzeugbezugsrahmen an. Wenn ein GNSS 115 zur Verfügung steht, ist die globale Position X, Y des Fahrzeugs 100 relativ zu einem globalen Bezugssystem bekannt. Die Fahrzeugposition relativ zur Referenzstrecke R erhält man auf der Basis einer Kamera 110 (z.B. die Kamera 110 in der vorderen Mitte des Fahrzeugs 100). Konkret ist der Winkel ψ₀ zwischen dem Fahrzeugkurs x und der Tangente T' und der Abstand yo der senkrechte Abstand von der Mitte des Fahrzeugs 100 zur Tangente T. Die Geschwindigkeit v des Fahrzeugs 100 wird angegeben. Wie bereits erwähnt, wird die Geschwindigkeitskomponente v_x entlang der Fahrtrichtung (d.h. entlang der x-Achse, wie in 1 dargestellt) durch den Wegmesser 125 bestimmt. Der Winkel β ist der Seitengleitwinkel. Das heißt, der Winkel β gibt den Winkel zwischen der x-Achse und dem Geschwindigkeitsvektor v an. Anders ausgedrückt, der Tangens des Winkels β ist v_y/v_x, wobei die Geschwindigkeitskomponente v_y entlang der y-Achse liegt. Der Kurswinkel ψ ist der Winkel zwischen der X-Achse, der globalen Bezugslinie, und der x-Achse, die die Referenzlinie des Fahrzeugs 100 ist.
Das Fahrzeug 100 umfasst auch eine Steuerung 120. Die Steuerung 120 kann Daten von der Kamera 110, den Sensoren 130 und den Fahrzeugsensoren 140 erhalten und verarbeiten, um Informationen über das Fahrzeug 100 und seine Umgebung zu erhalten. Diese Informationen umfassen eine Rollwinkelschätzung φ̂. Rollen ist in 2 dargestellt. Die Informationen enthalten auch eine Nickwinkelschätzung θ̂. Nicken ist in 3 dargestellt. Die Steuerung 120 kann einen oder mehrere Aspekte des Betriebs des Fahrzeugs 100 auf der Grundlage der Informationen steuern. Gemäß einer oder mehrerer Ausführungsformen führt die Steuerung 120 eine Schätzung des kinematischen Fahrzeugzustands durch, die auf der Grundlage der Kamera 110 verbessert wird. Die Steuerung umfasst eine Verarbeitungsschaltung, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, umfassen kann.
2 illustriert ein beispielhaftes Szenario, das zu einem Rollwinkel führt φ. Die Straße 210 ist überhöht (d.h. sie ist an einem Rand hinaufgebogen), wie in 2 dargestellt. Außerdem ist das Fahrzeug 100 in Bezug auf die Straße 210 einseitig geneigt. Der Rollwinkel φ ist eine Summe aus der Überhöhung der Straße 210 und der Neigung des Fahrzeugs 100 relativ zur Straße 210. 3 veranschaulicht ein beispielhaftes Szenario, das einen Nickwinkel θ ergibt. Die Straße 310 ist geneigt (d.h. nach oben geneigt), wie in 3 dargestellt. Außerdem ist das Fahrzeug 100 in Bezug auf die Straße 310 vorne geneigt. Der Nickwinkel θ ist eine Summe aus der Neigung der Straße 310 und der Neigung des Fahrzeugs 100 relativ zur Straße 310. Die Steuerung 120 erhält eine Schätzung des Rollwinkels φ̂, eine Schätzung des Nickwinkels θ̂ und Geschwindigkeitskomponentenschätzungen $\hat{ν_{x}}$
und $\hat{ν_{y}}$
entlang der x- bzw. y-Achse. Wenn eine globale X-, Y-Referenz über ein GNSS 115 verfügbar ist, erhält die Steuerung120 auch globale Positionsschätzungen X̂ und Ŷ zusammen mit der Schätzung des Kurswinkels ψ̂. Die Steuerung 120 implementiert einen Kalman-Filter zur Lösung kinematischer Gleichungen, wie unter Bezugnahme auf 4 detailliert dargestellt.
4 ist ein Blockdiagramm, in dem die Eingänge und Ausgänge dargestellt sind, die bei der kamerabasierten Verbesserung der Schätzung des kinematischen Fahrzeugzustands gemäß einer oder mehrerer Ausführungsformen beteiligt sind. Die in Klammern dargestellten Eingänge und Ausgänge sind optional und stehen, wie weiter ausgeführt, möglicherweise nicht zur Verfügung. Die kinematischen Gleichungen werden als durch die Steuerung 120 gelöst angegeben. Ein Kalman-Filter verwendet beobachtbare Zustände (d.h. Eingänge an die Steuerung 120), um nicht beobachtbare Zustände in den kinematischen Gleichungen zu erhalten. Der Kalman-Filter ist ein Mehrraten-Kalman-Filter, der die unterschiedlichen Raten berücksichtigt, mit denen verschiedene Fahrzeugsensoren 140 Daten (d.h. die beobachtbaren Zustände) an die Steuerung 120 liefern. Die Steuerung erhält den Winkel ψ₀ und den Abstand y₀ von der Kamera 110. Wie bereits erwähnt, ist ein Bild ausreichend. Auch wenn sich die Kamera 110 z.B. an der Vorderseite des Fahrzeugs 100 befindet, um nach vorne gerichtet zu sein, kann die Information auf die Mitte des Fahrzeugs 100 transformiert werden, um z.B. den Abstand yo von der Mitte des Fahrzeugs 100 zur Tangentenlinie T zu erhalten. Von der IMU 105 erhält die Steuerung 120 die Beschleunigungskomponenten a_x, a_y des Fahrzeugs 100 und kann zusätzlich die Rollgeschwindigkeit ω_x, die Nickgeschwindigkeit ω_y und die Giergeschwindigkeit ω_z erhalten. Wenn die Fahrzeugsensoren 140 ein GNSS 115 enthalten, erhält die Steuerung 120 eine globale Position X, Y des Fahrzeugs 100 und einen globalen Bezugsrahmen. Vom Wegmesser 125 erhält die Steuerung die Geschwindigkeitskomponente v_x entlang der Fahrtrichtung.
Jede der kinematischen Gleichungen wird diskutiert. Im Allgemeinen zeigt der „·“ über einem Parameter die Rate an (z.B. θ gibt die Nickrate an), während, wie zuvor angegeben „^“ über einem Parameter eine Schätzung anzeigen (z.B. θ̂ zeigt eine Schätzung des Nickwinkels an). Zum Beispiel gibt θ̇ die Nickrate an, und θ̂ gibt die Schätzung des Nickwinkels an, die mittels des Kalman-Filters und den beobachtbaren Zuständen, die in der Gleichung für ν̇_x in 4 enthalten sind, bestimmt werden. Die erste kinematische Gleichung bezieht sich auf die Verschiebungsrate und ist: ${\dot{y}}_{0} \approx ν_{x} sin (ψ_{0} + β)$
Wie bereits erwähnt, ist die Geschwindigkeitskomponente ν_x entlang der Fahrtrichtung ein beobachtbarer Zustand, der vom Wegmesser 125 geliefert wird, und der Winkel ψ₀ und die Entfernung yo werden von der Kamera 110 geliefert. Der Seitengleitwinkel β wird also mittels Gl. 1 bestimmt. Wie in 1 angegeben, ist der Winkel β der Winkel zwischen der x-Achse (des Bezugsrahmens des Fahrzeugs 100) und dem Geschwindigkeitsvektor v. Während die Geschwindigkeitskomponente ν_x, wie bereits erwähnt, ein Eingang ist, kann der Winkel β zur Bestimmung der Geschwindigkeitskomponente ν_y entlang der y-Achse des Bezugsrahmens des Fahrzeugs 100 verwendet werden.
Die zweite in 4 dargestellte Gleichung lautet: ${\dot{ν}}_{x} = a_{x} + ν_{y} \dot{ψ} + g sin θ$
In Gl. 2 ist g die Erdbeschleunigung. Wie bereits erwähnt, ist die Geschwindigkeitskomponente v_x ein Eingang (d.h. beobachtbar), der vom Wegmesser 125 erhalten wird, und die Beschleunigungskomponente a_x wird von der IMU 105 erhalten. Wenn die IMU 105 zusätzlich die Nickgeschwindigkeit ω_y (θ̇) und Giergeschwindigkeit ω_z bereitstellt, dann sind Nickwinkel θ (Zeitableitung der Nickgeschwindigkeit θ̇) und Kursrate ψ̇ (ebenso wie die Giergeschwindigkeit ω_z) ebenfalls als beobachtbare Werte verfügbar. Die Geschwindigkeitskomponente v_y kann mit dem Kalman-Filter gelöst werden.
Die dritte Gleichung in 4 lautet: ${\dot{ν}}_{y} = a_{y} - ν_{x} \dot{ψ} - g sin φ$
Wie bereits erwähnt, wird die Beschleunigungskomponente a_y aus der IMU 105 und die Geschwindigkeitskomponente v_x aus dem Wegmesser 125 erhalten. Wenn die IMU 105 zusätzlich die Rollgeschwindigkeit ω_x (φ̇) und Giergeschwindigkeit ω_z bereitstellt, dann sind Rollwinkel φ (Zeitableitung der Rollgeschwindigkeit <p) und Kursrate ψ̇ (ebenso wie die Giergeschwindigkeit ω_z) ebenfalls als Beobachtungswerte verfügbar. Wie in Bezug auf Gl. 2 erwähnt, kann die Geschwindigkeitskomponente ν_y durch den Kalman-Filter gelöst werden. Wenn die Rollgeschwindigkeit ω_x (φ̇) und Nickgeschwindigkeit ω_y (θ̇) von der IMU 105 bereitgestellt werden, dann konvergiert der Kalman-Filter schneller in den Gln. 2 und 3. Die Giergeschwindigkeit ω_z ist allgemein verfügbar. Aber selbst wenn die IMU 105 nicht die Rollgeschwindigkeit ω_x, Nickgeschwindigkeit ω_y bereitstellt, können Gln. 2 und 3 mit Null als Anfangswerte für die Rollgeschwindigkeit ω_x (φ̇) und Nickgeschwindigkeit ω_y (θ̇) verwendet werden.
Wenn das GNSS 115 -Informationen im globalen Bezugssystem verfügbar sind und die IMU 105 zusätzlich zu den Beschleunigungskomponenten a_x, a_y die Rollgeschwindigkeit ω_x, die Nickgeschwindigkeit ω_y und die Giergeschwindigkeit w_z liefert, können die folgenden zusätzlichen Gleichungen gelöst werden: $\dot{X} = ν_{x} sin ψ - ν_{y} denn ψ$
$\dot{X} = ν_{x} denn ψ - ν_{y} sin ψ$
$\dot{ψ} = ω_{z}$
Wie bereits erwähnt, erleichtert die Steuerung 120, die zusätzliche Informationen von der IMU 105 erhält, die Schätzung des Kurswinkels ψ direkt aus der Giergeschwindigkeit ω_z wie in Gl. 4. Darüber hinaus kann aus dem Kurswinkel ψ und den Geschwindigkeitskomponenten ν_x, ν_x die Verschiebung des Fahrzeugs 100 auf der Grundlage der globalen Position Ẋ und Y gemäß Gln. 4 und 5 bestimmt werden.
5 ist ein Prozessablauf eines beispielhaften Verfahrens 500 zur Anwendung der kamerabasierten Verbesserung der Schätzung des kinematischen Fahrzeugzustands gemäß einer oder mehrerer Ausführungsformen, um ein Fahrzeug 100 zu steuern. Die in 5 gezeigten Prozesse können alle durch die Steuerung 120 oder durch eine Kombination aus der Steuerung 120 und anderen Prozessoren des Fahrzeugs 100 implementiert werden. In Block 510 umfasst das Erhalten von Eingängen und das Bestimmen kinematischer Zustände die Eingänge und kinematischen Gleichungen, die mit Bezug auf 4 diskutiert werden. Die kinematischen Zustände (z.B. Nicken 0, Rollen φ) werden zusammen mit dem Lenkwinkel δ und, optional, einer Schätzung der Reibung µ̂ für den Prozess in Block 520 bereitgestellt. Bei Block 520 führt die Implementierung eines dynamischen Modells zu einer Ausgabe von Reifenkräften auf die Reifen des Fahrzeugs 100. Bei Block 530 führt die Durchführung einer Kraftberechnung zu einer Bestimmung der externen Störungen. In Block 540 werden die in Block 530 ermittelten externen Störungen verwendet, um die Kompensation externer Störungen (z.B. Seitenwind), denen das Fahrzeug 100 ausgesetzt ist, zu implementieren.
Während die obige Offenbarung unter Bezugnahme auf beispielhafte Ausführungsformen beschrieben wurde, wird es von den Fachleuten verstanden werden, dass verschiedene Änderungen vorgenommen werden können und Elemente davon durch Äquivalente ersetzt werden können, ohne von ihrem Anwendungsbereich abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichen Anwendungsbereich abzuweichen. Es ist daher beabsichtigt, dass die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt ist, sondern alle Ausführungsformen einschließt, die in ihren Umfang fallen.

Claims

Verfahren, das in einem Fahrzeug implementiert ist, umfassend: Erhalten, unter Verwendung eines Prozessors, eines einzelnen Kamerabildes von einer auf dem Fahrzeug angeordneten Kamera, wobei das Bild einen Kurswinkel ψ₀ zwischen einem Fahrzeugkurs x und einer Tangentenlinie anzeigt, die tangential zur Straßenkrümmung einer Straße ist, auf der das Fahrzeug fährt, und auch einen senkrechten Abstand yo von einem Mittelpunkt des Fahrzeugs zur Tangentenlinie anzeigt; Erhalten, unter Verwendung des Prozessors, zweier oder mehrerer Eingänge von zwei oder mehreren Fahrzeugsensoren; und Schätzen, unter Verwendung des Prozessors, von kinematischen Zuständen des Fahrzeugs auf der Grundlage der Anwendung eines Kalman-Filters auf das einzelne Kamerabild und die zwei oder mehreren Eingänge, um kinematische Gleichungen zu lösen, wobei die kinematischen Zustände Rollwinkel und Nickwinkel des Fahrzeugs umfassen.
Verfahren nach Anspruch 1, wobei das Erhalten der zwei oder mehreren Eingänge das Erhalten der Beschleunigungskomponenten a_x, a_y des Fahrzeugs von einer Trägheitsmesseinheit (IMU) umfasst, wobei das Erhalten der zwei oder mehreren Eingänge zusätzlich das Erhalten der Rollgeschwindigkeit ω_x, der Nickgeschwindigkeit ω_y und der Giergeschwindigkeit ω_z von der IMU umfasst, und das Schätzen der kinematischen Zustände das Schätzen einer Geschwindigkeitskomponente v_y des Fahrzeugs basierend auf der Giergeschwindigkeit ω_z umfasst.
Verfahren nach Anspruch 1, wobei das Erhalten der zwei oder mehreren Eingänge das Erhalten einer Geschwindigkeitskomponente v_x des Fahrzeugs von einem Wegmesser umfasst.
Verfahren nach Anspruch 1, wobei das Erhalten der zwei oder mehreren Eingänge das Erhalten einer Position X, Y des Fahrzeugs auf einem globalen Rahmen von einem globalen Navigationssatellitensystem (GNSS) umfasst, und das Schätzen der kinematischen Zustände das Schätzen des globalen Kurses ,,_ψ‟basierend auf der Position X, Y des Fahrzeugs umfasst.
Verfahren nach Anspruch 1, ferner umfassend das Implementieren eines dynamischen Modells unter Verwendung der kinematischen Zustände, die unter Verwendung des einzelnen Kamerabildes und der zwei oder mehreren Eingänge und des Lenkwinkels des Fahrzeugs geschätzt werden, das Erhalten von Reifenkräften aus dem dynamischen Modell und das Durchführen einer Kraftberechnung, um externe Störungen auf das Fahrzeug zu bestimmen, wobei die externen Störungen Seitenwinde umfassen, und das Kompensieren der externen Störungen.
System in einem Fahrzeug, wobei das System umfasst: eine Kamera, die an dem Fahrzeug angeordnet und so konfiguriert ist, dass sie ein einzelnes Kamerabild erhält, wobei das Bild einen Kurswinkel ψ₀ zwischen einem Fahrzeugkurs x und einer Tangentenlinie anzeigt, die tangential zur Straßenkrümmung einer Straße ist, auf der das Fahrzeug fährt, und auch einen senkrechten Abstand yo von einem Mittelpunkt des Fahrzeugs zur Tangentenlinie anzeigt; und einen Prozessor, der konfiguriert ist, um das einzelne Kamerabild zu erhalten, um zwei oder mehrere Eingänge von zwei oder mehreren Fahrzeugsensoren zu erhalten, und um kinematische Zustände des Fahrzeugs auf der Grundlage der Anwendung eines Kalman-Filters auf das einzelne Kamerabild und die zwei oder mehreren Eingänge zu schätzen, um kinematische Gleichungen zu lösen, wobei die kinematischen Zustände Rollwinkel und Nickwinkel des Fahrzeugs umfassen.
System nach Anspruch 6, wobei der Prozessor so konfiguriert ist, dass er die Beschleunigungskomponenten a_x, a_y des Fahrzeugs von einer Trägheitsmesseinheit (IMU) als die zwei oder mehreren Eingänge erhält, wobei der Prozessor zusätzlich so konfiguriert ist, dass er die Rollgeschwindigkeit ω_x, die Nickgeschwindigkeit ω_y und die Giergeschwindigkeit ω_z von der IMU als zusätzliche der zwei oder mehreren Eingänge erhält, und der Prozessor so konfiguriert ist, dass er die kinematischen Zustände durch Schätzen einer Geschwindigkeitskomponente ν_y des Fahrzeugs auf der Grundlage der Giergeschwindigkeit ω_z schätzt.
System nach Anspruch 6, wobei der Prozessor so konfiguriert ist, dass er eine Geschwindigkeitskomponente ν_x des Fahrzeugs von einem Wegmesser als eine der zwei oder mehreren Eingänge erhält.
System nach Anspruch 6, wobei der Prozessor konfiguriert ist, um eine Position X, Y des Fahrzeugs auf einem globalen Rahmen von einem globalen Navigationssatellitensystem (GNSS) als die zwei oder mehreren Eingänge zu erhalten, und der Prozessor konfiguriert ist, um die kinematischen Zustände durch Schätzen des globalen Kurses ,,ψ‟ basierend auf der Position X, Y des Fahrzeugs zu schätzen.
System nach Anspruch 6, wobei der Prozessor zusätzlich konfiguriert ist, um ein dynamisches Modell unter Verwendung der kinematischen Zustände zu implementieren, die unter Verwendung des einzelnen Kamerabildes und der zwei oder mehreren Eingänge und des Lenkwinkels des Fahrzeugs geschätzt werden, wobei der Prozessor zusätzlich konfiguriert ist, um Reifenkräfte aus dem dynamischen Modell zu erhalten und eine Kraftberechnung durchzuführen, um externe Störungen am Fahrzeug zu bestimmen, wobei die externen Störungen Seitenwinde umfassen, und der Prozessor ferner konfiguriert ist, um die externen Störungen zu kompensieren.