DE112019000383T5

DE112019000383T5 - Odometriesystem und Verfahren zum Verfolgen von Ampelanlagen

Info

Publication number: DE112019000383T5
Application number: DE112019000383.6T
Authority: DE
Inventors: Jason Scott Hardy; Karsten Behrendt; Mithun Jacob; Ryan Soussan
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2018-03-07
Filing date: 2019-03-07
Publication date: 2020-11-12
Also published as: US20190278273A1; WO2019173547A1; CN111788102A; CN111788102B

Abstract

Ein Verfahren zum Betreiben eines autonomen Fahrzeugs auf einer Straße beinhaltet das Erzeugen von Stereovisionsdaten mit einer Stereovisionskamera eines Fahrzeugführungssystems des autonomen Fahrzeugs, wobei die Stereovisionsdaten eine Ampelanlage an der Straße darstellen, das Erzeugen von Disparitätskartendaten mit einer Steuerung des Fahrzeugführungssystems auf Basis der Stereovisionsdaten und das Erzeugen von Odometriedaten des Fahrzeugs zu einem ersten Zeitpunkt und zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt mit einem Odometriesystem des autonomen Fahrzeugs. Das Verfahren beinhaltet ferner das Bestimmen einer Position der Ampelanlage auf Basis der Disparitätskartendaten zum ersten Zeitpunkt, des Bestimmens einer prognostizierten Position der Ampelanlage in den Disparitätskartendaten zum zweiten Zeitpunkt auf Basis der Odometriedaten und des Bestimmens eines Status der Ampelanlage an der prognostizierten Position.

Description

Diese Anmeldung beansprucht den Prioritätsvorteil der vorläufigen US-Anmeldung mit der Seriennummer 62/639,758, eingereicht am 7. März 2018, deren Offenbarung durch Bezugnahme hier in ihrer Gänze aufgenommen wird.
Erfindungsgebiet
Diese Offenbarung bezieht sich auf das Gebiet der Fahrzeugführung und insbesondere auf Fahrzeug-Computervisions-Systeme zum Führen eines Fahrzeugs auf einer öffentlichen Straße.
Hintergrund
Das automatisierte Fahren auf Fernstraßen ist ein aktiv erforschtes Problem, was zum Aufkommen vieler Fahrerassistenzsysteme geführt hat. Das automatisierte Fahren auf Stadtstraßen und Wohnstraßen stellt allerdings neue Herausforderungen bereit, die komplexere Algorithmen in mehreren Bereichen von der Wahrnehmung über die Verhaltensplanung bis zu Kollisionsvermeidungssystemen erfordern. Ein entscheidender Teil der Wahrnehmung ist die Detektion und Klassifizierung von Ampelanlagen und anderen Straßenmarkierungen. Ampelanlagen stellen aufgrund ihrer geringen Größe und hohen Ambiguität zu anderen in der städtischen Umgebung vorhandenen Objekten, wie zum Beispiel Lampen, Dekorationen und Reflexionen, ein anspruchsvolles Problem dar.
Frühere Arbeiten zur Ampelanlagendetektion und -klassifizierung nutzen Strahlerdetektion und Farbschwellenwertprüfung, Vorlagenvergleich oder Karteninformationen. Alle diese Systeme machen weitreichende Annahmen. Gewöhnlich erfordern diese früheren Systeme, dass die Ampelanlagen wenigstens eine bestimmte Größe aufweisen, damit der Algorithmus funktioniert, sich vor einem unterscheidbaren Hintergrund befinden, wie zum Beispiel hängende Ampelanlagen vor dem Himmel, oder setzen das Vorhandensein von Karten voraus, die Vorkenntnisse über die Standorte aller Ampelanlagen in der Umgebung umfassen.
Durch neueste Fortschritte und die Leistung von tiefen neuronalen Netzwerken sind wesentliche Verbesserungen auf mehreren Gebieten des maschinellen Lernens und insbesondere der Computervision erreicht worden. Deep Learning wird zur Bildklassifizierung, Ende-zu-Ende-Objektdetektion, pixelgenauen Objektsegmentierung und anderen Anwendungen verwendet. Ein Nachteil von tiefen neuronalen Netzwerken ist aktuell allerdings die Menge an Trainingsdaten, die zum Trainieren des Netzwerks verwendet werden.
Dementsprechend sind weitere Entwicklungen im Verwendungsbereich der Computervision zum Identifizieren von Straßenmarkierungen, wie zum Beispiel Ampelanlagen, wünschenswert.
Kurzfassung
Entsprechend einer beispielhaften Ausführungsform der Offenbarung beinhaltet ein Verfahren zum Betreiben eines autonomen Fahrzeugs auf einer Straße, Stereovisionsdaten mit einer Stereovisionskamera eines Fahrzeugführungssystems des autonomen Fahrzeugs zu erzeugen, wobei die Stereovisionsdaten eine Ampelanlage an der Straße darstellen, Disparitätskartendaten mit einer Steuerung des Fahrzeugführungssystems auf Basis der Stereovisionsdaten zu erzeugen und Odometriedaten des Fahrzeugs zu einem ersten Zeitpunkt und zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt mit einem Odometriesystem des autonomen Fahrzeugs zu erzeugen. Das Verfahren beinhaltet ferner, eine Position der Ampelanlage auf Basis der Disparitätskartendaten zum ersten Zeitpunkt zu bestimmen, eine prognostizierte Position der Ampelanlage in den Disparitätskartendaten zum zweiten Zeitpunkt auf Basis der Odometriedaten zu bestimmen, einen Status der Ampelanlage an der prognostizierten Position zu bestimmen und das autonome Fahrzeug auf Basis des bestimmten Status der Ampelanlage zu betreiben.
Entsprechend einer anderen beispielhaften Ausführungsform der Offenbarung enthält ein Fahrzeugführungssystem eine Stereovisionskamera, ein Odometriesystem und eine Steuerung. Die Stereovisionskamera ist dazu ausgebildet, Stereovisionsdaten zu erzeugen, die eine Ampelanlage darstellen. Das Odometriesystem ist dazu ausgebildet, Odometriedaten eines entsprechenden Fahrzeugs zu einem ersten Zeitpunkt und einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zu erzeugen. Die Steuerung ist betriebsfähig mit der Stereovisionskamera und dem Odometriesystem verbunden. Das Verfahren ist dazu ausgebildet, (i) Disparitätskartendaten auf Basis der Stereovisionsdaten zu erzeugen, (ii) eine Position der Ampelanlage auf Basis der Disparitätskartendaten zum ersten Zeitpunkt zu bestimmen, (iii) eine prognostizierte Position der Ampelanlage in den Disparitätskartendaten zum zweiten Zeitpunkt auf Basis der Odometriedaten zu bestimmen, (iv) einen Status der Ampelanlage an der prognostizierten Position zu bestimmen und (v) das Fahrzeug auf Basis des bestimmten Status der Ampelanlage zu betreiben.
Figurenliste
Die oben beschriebenen Merkmale und Vorteile sollten, ebenso wie andere, Durchschnittsfachleuten durch Bezugnahme auf die folgende ausführliche Beschreibung und die zugehörigen Figuren ohne Weiteres offensichtlich werden:

Die 1 ist ein Blockdiagramm eines Fahrzeugs, das ein Fahrzeugführungssystem enthält, wie es hier offenbart wird;
die 2 ist ein Blockdiagramm des Fahrzeugs der 1 zu einem ersten Zeitpunkt und einem zweiten Zeitpunkt wie auch zweier Ampelanlagen;
die 3 ist eine Darstellung der Disparitätskartendaten mit Bounding Boxes um Darstellungen der Ampelanlagen der 2 und mit prognostizierten Positionen der Ampelanlagen, wie sie durch das Fahrzeugführungssystem der 1 generiert und bestimmt werden;
die 4 ist ein Flussdiagramm, das ein beispielhaftes Verfahren des Betreibens des Fahrzeugführungssystems der 1 veranschaulicht; und
die 5 ist ein Blockdiagramm, das eine Visualisierung eines Aktualisierungsschritts veranschaulicht, der von einem neuronalen Verfolgungsnetzwerk des Fahrzeugführungssystems durchgeführt wird.

Ausführliche Beschreibung
Um ein Verständnis der Prinzipien der Offenbarung zu fördern, wird jetzt Bezug auf die Ausführungsformen genommen, die in den Zeichnungen veranschaulicht und in der folgenden schriftlichen Spezifikation beschrieben werden. Es versteht sich, dass dadurch keine Beschränkung des Schutzbereichs der Offenbarung beabsichtigt ist. Es versteht sich ferner, dass diese Offenbarung alle Abänderungen und Modifikationen der veranschaulichten Ausführungsformen und ferner Anwendungen der Prinzipien der Offenbarung beinhaltet, wie sie normalerweise einem Fachmann auf dem Gebiet, das die Offenbarung betrifft, in den Sinn kommen würden.
Aspekte der Offenbarung werden in der zugehörigen Beschreibung offenbart. Alternative Ausführungsformen der Offenbarung und ihre Äquivalente können erdacht werden, ohne vom Gedanken oder dem Schutzbereich der Offenbarung abzuweichen. Es sei angemerkt, dass jede Erörterung hierin in Bezug auf „eine Ausführungsform“, „eine beispielhafte Ausführungsform“ und Ähnliches angibt, dass die beschriebene Ausführungsform irgendein spezielles Merkmal, Struktur oder Eigenschaft enthalten kann und dass ein solches spezielles Merkmal, Struktur oder Eigenschaft möglicherweise nicht notwendigerweise in jeder Ausführungsform enthalten ist. Zusätzlich umfassen Bezugnahmen auf das Vorherige nicht notwendigerweise eine Bezugnahme auf die gleiche Ausführungsform. Unabhängig davon, ob es explizit beschrieben wird, wird ein Durchschnittsfachmann schließlich ohne Weiteres verstehen, dass jedes der speziellen Merkmale, Strukturen oder Eigenschaften der gegebenen Ausführungsformen in Verbindung oder in Kombination mit denen jeder anderen hier erörterten Ausführungsform genutzt werden kann.
Für die Zwecke der Offenbarung bedeutet der Ausdruck „A und/oder B“ (A), (B) oder (A und B). Für die Zwecke der Offenbarung bedeutet der Ausdruck „A, B und/oder C“ (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C).
Die Ausdrücke „umfassen“, „enthalten“, „aufweisen“ und ähnliche, wie sie in Bezug auf Ausführungsformen der Offenbarung verwendet werden, sind Synonyme.
Wie in der 1 gezeigt wird, enthält ein Fahrzeug 100 ein Fahrzeugführungssystem 104, einen Antriebsstrang 108 und eine Batterie 112, die jeweils betriebsfähig mit einer Steuerung 116 verbunden sind. Das Fahrzeugführungssystem 104 ist dazu ausgebildet, Odometriedaten 120 zu verwenden, um eine Position einer Ampelanlage 182 (2) zum Beispiel in Echtzeit und mit hoher Genauigkeit zu orten. Zuverlässige Ampelanlagendetektion und -klassifizierung ist für das automatische Fahren in städtischen Umgebungen entscheidend. Derzeit gibt es keine Systeme, die Ampelanlagen 182 in Echtzeit zuverlässig ohne kartenbasierte Informationen und in ausreichenden Abständen, die für reibungsloses städtisches Fahren benötigt werden, detektieren können. Jedes Element des Fahrzeugs 100 und des Fahrzeugführungssystems 104 wird nachstehend beschrieben.
Der Antriebsstrang 108 des Fahrzeugs 100 ist dazu ausgebildet, eine Kraft zum Bewegen des Fahrzeugs 100 zu erzeugen. In einer beispielhaften Ausführungsform enthält der Antriebsstrang 108 einen Elektromotor 128, der betriebsfähig mit der Batterie 112 und mit einem Rad 132 oder Rädern des Fahrzeugs 100 verbunden ist. Die wiederaufladbare Batterie 112 versorgt den Elektromotor 128 mit elektrischer Leistung zum Drehen einer Abtriebswelle (nicht dargestellt). Die Drehung der Abtriebswelle des Elektromotors 128 bewirkt die Drehung des Rads 132, was zu Bewegung des Fahrzeugs 100 führt.
In einer Ausführungsform ist das Fahrzeug 100 ein vollautonom gesteuertes Fahrzeug, und die Drehzahl des Elektromotors 128 wird automatisch durch das Fahrzeugführungssystems 104 bestimmt. In einer anderen Ausführungsform ist das Fahrzeug 100 ein halbautonomes Fahrzeug, das unter den meisten Bedingungen und Umgebungen durch einen menschlichen Bediener gesteuert wird, das jedoch zur Notbremsung durch das Fahrzeugführungssystem 104 steuerbar ist, zum Beispiel auf Basis einer detektierten Ampelanlage 182. In einer weiteren Ausführungsform wird das Fahrzeug 100 vollständig vom Bediener gesteuert und enthält Fahrerassistenzmerkmale, wie zum Beispiel Warnmeldungen beim Annähern an eine Kreuzung, die mit einer Ampelanlage 182 gesteuert wird, jedoch steuert oder ändert dies nicht die Fahrtrichtung des Fahrzeugs 100.
In anderen Ausführungsformen ist der Motor 128 ein Verbrennungsmotor (Internal Combustion Engine, ICE), und/oder der Motor 128 enthält einen Elektromotor und einen ICE, die zusammenarbeiten, um das Rad 132 zu drehen, wie in einem Hybridfahrzeug. Dementsprechend wird das Fahrzeug 100 als irgendeine Art von Fahrzeug bereitgestellt, einschließlich eines autonomen Fahrzeugs, eines von einem Bediener gesteuerten Fahrzeugs, eines Elektrofahrzeugs, eines Verbrennungsmotorfahrzeugs und eines Hybridfahrzeugs.
Die Steuerung 116 des Fahrzeugs 100 ist dazu ausgebildet, Programmanweisungsdaten auszuführen, um den Antriebsstrang 108 und das Fahrzeugführungssystem 104 zu betreiben und die Batterie 112 aufzuladen. Die Steuerung 116 wird als wenigstens ein Mikrocontroller und/oder Mikroprozessor bereitgestellt.
Das Fahrzeugführungssystem 104 enthält ein Odometriesystem 136, ein Stereovisionssystem 140 und einen Speicher 144, die jeweils betriebsfähig mit einer Steuerung 148 verbunden sind. Das Odometriesystem 136 enthält Bewegungssensoren, um die Odometriedaten 120 zu erzeugen, die eine Position des Fahrzeugs 100 im 3D-Raum über der Zeit identifizieren. In einer beispielhaften Ausführungsform enthalten die Bewegungssensoren des Odometriesystems 136 wenigstens einen Beschleunigungsaufnehmer 152, wenigstens ein Gyroskop 156 und wenigstens einen Kompass 160. Der Beschleunigungsaufnehmer 152 ist zum Beispiel ein Beschleunigungsaufnehmer mit mikroelektromechanischem System (MicroeElectroMechanical System, MEMS), der dazu ausgebildet ist, Beschleunigungsdaten 164 entsprechend der Beschleunigung des Fahrzeugs 100 entlang wenigstens einer Achse zu erzeugen. Die Beschleunigungsdaten 164 werden im Speicher 144 als Teil der Odometriedaten 120 gespeichert.
Das Gyroskop 156 ist zum Beispiel ein MEMS-Gyroskop, das dazu ausgebildet ist, Gyroskopdaten 168 entsprechend einer gemessenen Winkelgeschwindigkeit des Fahrzeugs 100 entlang wenigstens einer Achse zu erzeugen. Die Gyroskopdaten 168 werden im Speicher 144 als Teil der Odometriedaten 120 gespeichert.
Der Kompass 160 ist zum Beispiel ein MEMS-Kompass, der dazu ausgebildet ist, Richtungsdaten 172 entsprechend Änderungen eines Magnetfelds in der Nähe des Fahrzeugs 100 entlang wenigstens einer Achse zu erzeugen. Die Richtungsdaten 172 werden im Speicher 144 als Teil der Odometriedaten 120 gespeichert.
Dementsprechend wird das Odometriesystem 136 in einer beispielhaften Ausführungsform durch eine neunachsige Bewegungserfassungseinrichtung bereitgestellt, die die Beschleunigung in drei Achsen, die Winkelgeschwindigkeit in drei Achsen und Änderungen im Magnetfeld in drei Achsen erfasst. Das Odometriesystem 136 kann auch als irgendeine andere Bewegungserfassungseinrichtung bereitgestellt werden und kann hier auch als eine inertiale Messeinheit bezeichnet werden.
Das Stereovisionssystem 140 ist dazu ausgebildet, Bilddaten 176 aus wenigstens zwei Blickpunkten zu erzeugen. Das Stereovisionssystem 140 enthält eine erste Bildgebungseinrichtung 180 und eine zweite Bildgebungseinrichtung 184. Jede Bildgebungseinrichtung 180, 184, die hier auch als eine Kamera, eine Videokamera und ein Sensor bezeichnet werden kann, ist dazu ausgebildet, die Bilddaten 176 zu erzeugen, die einen äußeren Bereich um das Fahrzeug 100 darstellen, wie zum Beispiel vor dem Fahrzeug 100 und in einer Fahrtrichtung des Fahrzeugs 100. In einer ersten beispielhaften Ausführungsform ist die erste Bildgebungseinrichtung 180 an einem fahrerseitigen Frontabschnitt des Fahrzeugs 100 montiert, und die zweite Bildgebungseinrichtung 184 ist an einem beifahrerseitigen Frontabschnitt des Fahrzeugs 100 montiert. In einer anderen Ausführungsform befinden sich die Bildgebungseinrichtungen 180, 184 an der Front des Fahrzeugs 100 und sind voneinander zum Beispiel um acht bis dreißig Zentimeter beabstandet. Beide Bildgebungseinrichtungen 180, 184 sind dazu ausgebildet, die Bilddaten 176 innerhalb eines Sichtfelds, das sich von der Front des Fahrzeugs 100 erstreckt, zu erzeugen. Dementsprechend erzeugen die Bildgebungseinrichtungen 180, 184 die Bilddaten 176, die die Ampelanlagen 182, Verkehrszeichen und andere Straßeninformationselemente darstellen, denen sich das Fahrzeug 100 nähert, wenn das Fahrzeug 100 in der Vorwärtsfahrtrichtung fährt. In einer beispielhaften Ausführungsform sind die Bildgebungseinrichtungen 180, 184 als Kameras für sichtbares Licht ausgebildet. In anderen Ausbildungsformen sind die Bildgebungseinrichtungen 180, 184 als Rot-, Grün-, Blau- und Tiefensensoren (d. h. ein „RGB-D-Sensor“), Wärmebildkameras und/oder Infrarotkameras ausgebildet. Die Bilddaten 176 werden aus den Bildgebungseinrichtungen 180, 184 zur Steuerung 148 übertragen und im Speicher 144 als die Stereovisionsdaten 188 gespeichert.
Der Speicher 144 ist eine elektronische Speichereinrichtung, die dazu ausgebildet ist, wenigstens die Odometriedaten 120, die Stereobilddaten 188, die Disparitätskartendaten 192, ein neuronales Detektionsnetzwerk 194 und ein neuronales Verfolgungsnetzwerk 196 und Programmanweisungsdaten 198 zum Betreiben des Fahrzeugführungssystems 104 zu speichern. Der Speicher 144 wird hier auch als ein nichtflüchtiges computerlesbares Medium bezeichnet.
Die Steuerung 148 des Fahrzeugführungssystems 104 ist dazu ausgebildet, die Programmanweisungsdaten 198 auszuführen, um das Fahrzeugführungssystem 104 zu betreiben. Die Steuerung 148 wird als wenigstens ein Mikrocontroller und/oder Mikroprozessor bereitgestellt.
Die Odometriedaten 130 stellen eine Position des Fahrzeugs 100 zu einem speziellen Zeitpunkt dar. Wie in der 2 gezeigt wird, wird das Fahrzeug 100 an einer ersten Position zu einem ersten Zeitpunkt (t-1) und an einer zweiten Position zu einem zweiten Zeitpunkt (t) gezeigt. Die Odometriedaten 130 enthalten die Änderungsposition des Fahrzeugs 100 vom ersten Zeitpunkt zum zweiten Zeitpunkt. Zum Beispiel enthalten die Odometriedaten 130 die vom das Fahrzeug 100 gefahrene Distanz (D) und den Winkel (θ), um den sich das Fahrzeug 100 gedreht hat. Die Odometriedaten 130 enthalten in anderen Ausführungsformen irgendwelche anderen gewünschten Positionsinformationen des Fahrzeugs 100.
Die Stereovisionsdaten 188 werden durch die Steuerung 148 auf Basis der Bilddaten 176 aus dem Stereovisionssystem 140 generiert. Die Stereovisionsdaten 188 enthalten 3D-Informationen, die die Strukturen, die Merkmale und das Umfeld vor dem Fahrzeug 100 darstellen. Zum Beispiel enthalten die Stereovisionsdaten 188 Informationen und Daten, die Ampelanlagen 182 entsprechen, denen sich das Fahrzeug 100 nähert, wenn sich das Fahrzeug 100 vorwärts in einer Fahrtrichtung bewegt.
Die Disparitätskartendaten 192 werden durch die Steuerung 148 auf Basis der Stereovisionsdaten 188 generiert. Eine Darstellung der Disparitätskartendaten 192 wird in der 3 gezeigt. Die Disparitätskartendaten 192 basieren in einer Ausführungsform auf einem Vergleich der Bilder der Stereovisionsdaten 188 und enthalten relative Tiefeninformationen der in den Daten 192 dargestellten Elemente. Wie in der 2 gezeigt wird, nähert sich das Fahrzeug 100 zum Beispiel einer Kreuzung, die zwei Ampelanlagen 182 enthält. In den Disparitätskartendaten 192 der 3 sind die Ampelanlagendaten 204 mit den Bounding Boxes 208 umrissen (wie hier beschrieben worden ist). Die Disparitätskartendaten 192 entsprechen Differenzen in den Bilddaten 176 aus der ersten Bildgebungseinrichtung 180 und der zweiten Bildgebungseinrichtung 184.
Das neuronale Detektionsnetzwerk 194 wird mit vielen Tausenden Bildern von Ampelanlagen trainiert. In einer Ausführungsform ist das neuronale Detektionsnetzwerk 194 ein künstliches Convolutional Neural Network, das dazu ausgebildet ist, eine Eingabe von Bilddaten 176 zu empfangen und eine Ausgabe zu erzeugen, die den Standort der Ampelanlagen 182 identifiziert. Beim Orten der Ampelanlagen 182 platziert das neuronale Detektionsnetzwerk 194 Bounding Boxes (nicht dargestellt) an der Position der detektierten Ampelanlagen 182 in den Bilddaten 176 und/oder den Disparitätskartendaten 192 und identifiziert einen Vertrauensfaktor, dass sich die Ampelanlage 182 tatsächlich an der Position der Bounding Box befindet.
Das neuronale Verfolgungsnetzwerk 196 ist in einer Ausführungsform ebenfalls ein künstliches Convolutional Neural Network, das mit vielen Tausenden Bilder von Ampelanlagen trainiert wird und dazu ausgebildet ist, die Disparitätskartendaten 192 und/oder die Bilddaten 176 zu verarbeiten, um die Ampelanlagendaten 204 zu orten, die die Ampelanlagen 182 darstellen. Beim Orten der Ampelanlagendaten 204 platziert das neuronale Verfolgungsnetzwerk 196 eine der Bounding Boxes 208 an der Position der Ampelanlagendaten 204 und identifiziert einen Vertrauensfaktor, dass sich die Ampelanlage 182 tatsächlich an der Position der Bounding Box 208 befindet. Das neuronale Verfolgungsnetzwerk 196 generiert typischerweise eine Ausgabe schneller als das neuronale Detektionsnetzwerk 194 und ist in einigen Ausführungsformen dazu ausgebildet, Ampelanlagen 182 zu verfolgen, die das neuronale Detektionsnetzwerk 196 möglicherweise nicht detektiert hat.
Das Fahrzeugführungssystem 104 ist dazu ausgebildet, in Betrieb die Position der Ampelanlagen 182 auf Basis der Bilddaten 176 und der Odometriedaten 120 zu detektieren, zu verfolgen und zu prognostizieren. Insbesondere verwendet das Fahrzeugführungssystem 104 das neuronale Detektionsnetzwerk 194, um das Vorhandensein von Ampelanlage(n) 182 in den Bilddaten 176 zu detektieren. Dann verwendet das Fahrzeugführungssystem 104 die Odometriedaten 120, um einen Bewegungsschätzwert der detektierten Ampelanlagen 182 zu bestimmen und verwendet das neuronale Verfolgungsnetzwerk 196, um den zuvor erwähnten Bewegungsschätzwert zu korrigieren, woraus sich eine schnell und genau prognostizierte Position 220 (3) der Ampelanlagen 182 ergibt. Die Stereovisionsdaten 188 werden verwendet, um die Position der Ampelanlage 182 in der 3D-Welt zu triangulieren, und die Odometriedaten 120 werden verwendet, um die Bewegung der Ampelanlage 182 relativ zum Fahrzeug 100 zu schätzen. Zusätzliche betriebliche Einzelheiten werden unter Bezugnahme auf das Flussdiagramm der 4 und das beispielhafte Verfahren 400 beschrieben.
Wie in der 4 im Block 404 gezeigt wird, beinhaltet das Verfahren 400 das Erzeugen der Bilddaten 176 und der Stereovisionsdaten 188. Die Bilddaten 176 werden von jeder der Bildgebungseinrichtungen 180, 184 generiert, wenn das Fahrzeug 100 in der Fahrtrichtung bewegt wird. Die Stereovisionsdaten 188 werden vom Stereovisionssystem 140 auf Basis der Bilddaten 176 generiert. Das Fahrzeug 100 kann entweder autonom oder unter Kontrolle eines menschlichen Fahrers bewegt werden. Wenigstens die Stereovisionsdaten 188 werden im Speicher 144 gespeichert, und in einigen Ausführungsformen werden auch die Bilddaten 176 im Speicher 144 gespeichert. In diesem Beispiel enthalten die Bilddaten 176 und die Stereovisionsdaten 188 die Ampelanlagendaten 204, die die Ampelanlagen 182 an der Straße, auf der das Fahrzeug 100 betrieben wird, darstellen.
Als Nächstes enthält das Verfahren 400 im Block 408 das Erzeugen der Odometriedaten 120 mit dem Odometriesystem 136. Mit Bezug auf die 2: Die Odometriedaten 120 werden zum ersten Zeitpunkt (t-1) und zum zweiten Zeitpunkt (t), der nach dem ersten Zeitpunkt liegt, generiert. Das Erzeugen der Odometriedaten 120 beinhaltet, Daten zu erzeugen, die der Position des Fahrzeugs 100 im 3D-Raum zum ersten Zeitpunkt entsprechen, und Daten zu erzeugen, die der Position des Fahrzeugs 100 im 3D-Raum zum zweiten Zeitpunkt entsprechen. Zusätzlich bestimmt das Fahrzeugführungssystem 104 eine Änderung der Position des Fahrzeugs 100 vom ersten Zeitpunkt zum zweiten Zeitpunkt. Die generierten Odometriedaten 120 werden im Speicher 144 gespeichert.
Zum Beispiel bestimmt das Fahrzeugführungssystem 104, dass sich das Fahrzeug 100 zum Zeitpunkt (t-1) an einer Referenzposition mit null Grad Drehung befindet. Dann bestimmt das Fahrzeugführungssystem 104 zum Zeitpunkt (t), dass sich das Fahrzeug 100 um drei Grad gedreht und um eine Distanz (D) von einem Meter bewegt hat. Somit hat das Fahrzeugführungssystem 104 zwei Positionen der Position des Fahrzeugs 100 bestimmt und ebenfalls eine Änderung der Position der Position des Fahrzeugs 100 bestimmt.
Im Block 410 generiert das Fahrzeugführungssystem 104 die Disparitätskartendaten 192, für die ein Beispiel in der 3 dargestellt wird. Wie hier dargelegt wird, verfolgt das Fahrzeugführungssystem 104 anhand der Disparitätskartendaten 192 die Position der Ampelanlagen 182 im 3D-Raum. In einigen Ausführungsformen wird dieser Prozess als Erzeugen eines Bewegungsmodells der Ampelanlagen 182 bezeichnet.
In einer Ausführungsform berechnet das Fahrzeugführungssystem 104 eine Disparitätskarte für jeden Videorahmen/-bild, und jede Ampelanlage 182 wird in einen Fahrzeugreferenzrahmen trianguliert. Der Median der Disparitätswerte in der Bounding Box 208 wird verwendet, um die gesamten Ampelanlagendaten 204 darzustellen. Dies ermöglicht es dem Fahrzeugführungssystem 104, besser mit Rauschen in den Disparitätswerten zurechtzukommen. Als Nächstes verwendet das Fahrzeugführungssystem 104 lineare Triangulation, um die 3D-Koordinaten von vier Ecken der Bounding Box 208 entsprechend der folgenden Gleichung zu rekonstruieren: ${\bar{X}}_{t - 1}^{j} = {[x^{c}, y^{c}, z^{c}]}^{T}$
wobei c eine Identifizierung einer Ecke darstellt. Die lineare Triangulation wird in einem vorherigen Fahrzeugreferenzrahmen (t-1) unter Verwendung der Transformation vom Kamerarahmen zum Fahrzeugreferenzrahmen verwendet. Das Fahrzeugführungssystem 104 führt eine Transformation $T_{t - 1}^{t}$
zwischen den Fahrzeugreferenzrahmen für die Zeitschritte t-1 und t durch. Auf Basis der Transformation werden die folgenden Gleichungen hergeleitet: ${\bar{X}}_{t}^{c} = T_{t - 1}^{t} {\bar{X}}_{t - 1}^{c}$
${\bar{x}}_{t}^{c} = P {\bar{X}}_{t}^{c}$
wobei P eine Projektionsmatrix vom Fahrzeugreferenzrahmen in den Kamerabildrahmen ist, $x_{t}^{c}$
die rückprojizierten Bildkoordinaten der Ecke c sind und die Schreibweise homogener Koordinaten darstellt. Ein Schätzwert der Bounding Box zum Zeitschritt t wird anhand der vier rückprojizierten Ecken konstruiert. Diese Position der Bounding Box wird mit dem neuronalen Verfolgungsnetzwerk 196 präzisiert, wie nachstehend beschrieben wird.
Als Nächstes verwendet das Fahrzeugführungssystem 104 im Block 412 das neuronale Detektionsnetzwerk 194, um eine Ampelanlage in den Bilddaten 176, den Stereovisionsdaten 188 und/oder den Disparitätskartendaten 192 zu orten. In einer beispielhaften Ausführungsform werden Rahmen oder Bilder der Bilddaten 176 für das Vorhandensein von Daten, die den Ampelanlagen 182 entsprechen, verarbeitet. Anstatt zum Beispiel einen vollständigen Rahmen der Bilddaten 176 als eine Eingabe für das neuronale Detektionsnetzwerk 194 zu nehmen, empfängt das neuronale Detektionsnetzwerk 194 nur eine Untermenge eines Rahmens/Bildes der Bilddaten 176, was als eine Teilfläche oder ein Ausschnitt der Bilddaten 176 bezeichnet werden kann. In einer spezifischen Ausführungsform enthält jeder Rahmen der Bilddaten 176 drei Ausschnitte in einem oberen Teil des Rahmens, weil die meisten Ampelanlagen 182 in diesem Bereich zu finden sind. Dieser Prozess erhöht die Geschwindigkeit, mit der das neuronale Detektionsnetzwerk 194 in der Lage ist, die Ampelanlagen 182 in den Bilddaten 176 zu orten.
Im Block 416 des Verfahrens 400 prognostiziert das Fahrzeugführungssystem 104 die Position der Ampelanlagen 182 (d. h. eine prognostizierte Position 220 (3)) in den Disparitätskartendaten 192 zu einem zweiten Zeitpunkt (t) auf Basis der Odometriedaten 120. Weil die Ampelanlagen 182 statische Objekte in der Umgebung sind, verwendet das Fahrzeugführungssystem 104 das Stereovisionssystem 140 und das Odometriesystem 136, um die prognostizierte Position der Ampelanlagen 182 zu triangulieren.
In einem spezifischen Beispiel bestimmt das Fahrzeugführungssystem 104, dass sich die linke Ampelanlage 182 zum ersten Zeitpunkt zehn Meter vom Fahrzeug 100 befindet und die Koordinaten [25, 30] im entsprechenden Vektor aufweist. Entsprechend den Odometriedaten 120 bestimmt das Fahrzeugführungssystem 104, dass sich das Fahrzeug 100 um einen Meter bewegt und um drei Grad gedreht hat. Dementsprechend bestimmt das Fahrzeugführungssystem 104 beim Prognostizieren der linken Ampelanlage 182 in den Disparitätskartendaten 192 zum zweiten Zeitpunkt (t), dass die Ampelanlage neun Meter vom Fahrzeug 100 entfernt befindet und die Koordinaten [32, 31] aufweist, die unter Verwendung der Triangulation auf Basis des bestimmten Winkels (θ) und der Distanz (D), um die sich das Fahrzeug 100 bewegt hat, aktualisiert worden sind. Die Koordinaten [32, 31] stellen daher eine prognostizierte Position der linken Ampelanlage 182 in den Disparitätskartendaten 192 zum zweiten Zeitpunkt (t) dar, wie sie durch die linke Bounding Box 220 dargestellt werden. Der Prozess wird verwendet, um die Position der rechten Ampelanlage 182 zu bestimmen, wie sie in den Disparitätskartendaten 192 durch die rechte Bounding Box 220 dargestellt wird.
Als Nächstes wird im Block 418 des Verfahrens 400 die Position der Bounding Box 208, die die Position der Ampelanlagendaten 204 identifiziert, unter Verwendung des neuronalen Verfolgungsnetzwerks 196 präzisiert. Das Fahrzeugführungssystem 104 verfolgt die Ampelanlagendaten 204 mit einer so geringen Breite wie drei bis vier Pixel. Das dunkle Muster der Ampelanlagendaten 204 ergibt allerdings möglicherweise nicht zu viele Merkmalspunkte, insbesondere falls sie vor unbeleuchteten Gebäuden oder falls sich im Hintergrund Bäume befinden. Zusätzlich dazu flimmern die Ampelanlagen 182 mit einer Frequenz, die durch die Differenz zwischen einer Rahmenrate des Stereovisionssystems 188 und der Aktualisierungsrate der Ampelanlagen 182 gegebenen ist. Auch kann sich der Status der Ampelanlage 182 während des Zeitraums des Verfolgens ändern, wie zum Beispiel beim Ändern von Rot auf Grün oder von Grün auf Rot.
Der Optimierungsansatz des Blocks 418 wird angewendet, um Divergenz des neuronalen Verfolgungsnetzwerks 196 zu verhindern. Um insbesondere mit diesen Bedingungen zurechtzukommen und mit Bezug auf die 5, wird das neuronale Verfolgungsnetzwerk 196 darauf trainiert, die falsche Platzierung der Ampelanlage 182 aus einem Bildprototyp zu schätzen. Insbesondere verwendet das neuronale Verfolgungsnetzwerk 196 einen Prototyp und eine in Frage kommende Bounding Box 208, die durch das oben beschriebene Bewegungsmodell geschätzt wird. Das neuronale Verfolgungsnetzwerk 196 erweitert und redimensioniert den Prototyp und die in Frage kommende Bounding Box 208, so dass die Ampelanlagedaten 204 die Referenzbreite von ungefähr zwanzig Pixeln aufweisen und der ganze Ausschnitt ungefähr 64×64 Pixel groß ist. Alle drei Kanäle werden aus beiden Bildern genommen und zu einem 6×64×64 Tensor kombiniert. Die Ausgabe ist ein 3-Elemente-Vektor [u, v, e]^T, wobei u und v die Koordinaten der Ampelanlagendaten 204 im in Frage kommenden Bild sind und e der geschätzte Fehler des Koordinatenschätzwerts ist. Der Fehlerschätzwert e stellt die Unsicherheit des Positionsschätzwerts dar und wird verwendet, um die Aktualisierung des Bildprototyps zu triggern. Entsprechend diesem Ansatz identifiziert das Verfahren 400 kleine Bereiche der Ampelanlagendaten 204 mit Breiten von zum Beispiel drei bis sechs Pixeln. Zusätzlich kann das neuronale Verfolgungsnetzwerk 196 trainiert werden, um Änderungen in der Illumination, Rauschen, teilweise Verdeckung und auch sich ändernde Stati der Ampelanlage 182 zu bewältigen. Somit optimiert das Fahrzeugführungssystem 104 im Block 418 eine prognostizierte Position der Ampelanlage 182 wenigstens auf Basis der Disparitätskartendaten 192 zum ersten Zeitpunkt (t-1). Dieser Ansatz verhindert Divergenz und erhöht die Invarianz des neuronalen Verfolgungsnetzwerks 196.
Im Block 420 des Verfahrens 400 durchsucht das Fahrzeugführungssystem 104 die Bilddaten 176 nach Daten 176, die die Ampelanlage 182 darstellen, an den vom Block 416 des Verfahrens 400 prognostizierten Positionen. Die Bounding Boxes 220 (d. h. die prognostizierten Positionen) der Ampelanlagen 182 ermöglichen es dem Fahrzeugführungssystem 104, die Bilddaten 176 und die Disparitätskartendaten 192 schnell zu verarbeiten und die Position der Ampelanlagen 182 genau in Echtzeit zu orten, wenn sich das Fahrzeug 100 auf der Straße mit Geschwindigkeiten von bis zu einhundert Kilometern pro Stunde bewegt. Insbesondere fokussieren die prognostizierten Positionen das Fahrzeugführungssystem 104 auf die Bereiche der Bilddaten 176, die am wahrscheinlichsten die Ampelanlagendaten 204, die die Ampelanlagen 182 darstellen, zum zweiten Zeitpunkt enthalten.
Als Nächstes bestimmt das Fahrzeugführungssystem 104 im Block 422 den Status der Ampelanlagen 182 an den prognostizierten Positionen zum Beispiel als rot, gelb oder grün. Der Status der Ampelanlagen 182 wird im Speicher 144 gespeichert, und das Fahrzeugführungssystem 104 führt das Fahrzeug 100 auf Basis des bestimmten Status der Ampelanlagen 182.
Im Block 424 des Verfahrens 400 wird das Fahrzeug 100 betrieben, und in einer Ausführungsform ist das Fahrzeug 100 vollautonom, und das Fahrzeugführungssystem 104 bewirkt, dass das Fahrzeug 100 an einer Kreuzung vollständig zum Halten kommt, wenn detektiert wird, dass der Status der Ampelanlagen 182 rot ist. In einem anderen Beispiel bewirkt das Fahrzeugführungssystem 104, dass das Fahrzeug 100 über eine Kreuzung weiterfährt, wenn bestimmt wird, dass der Status der Ampelanlagen 182 grün ist. Auf diese Weise wird das autonome Fahrzeug 100 auf Basis des bestimmten Status der Ampelanlagen 182 betrieben.
In einer spezifischen Ausführungsform werden die Stati aller detektierten Ampelanlagen 182 in den Disparitätskartendaten 192 mit einem kleinen Klassifizierungsnetzwerk bestimmt, das zwischen den unterschiedlichen Stati der Ampelanlagen unterscheidet und zusätzlich Falschpositivmeldungen entfernt. Die Bounding Boxes 208, 220 werden erweitert und redimensioniert, so dass die Ampelanlagendaten 204 zwanzig Pixel breit sind und der gesamte Ausschnitt 64×64 Pixel groß ist. Dies stellt einen Kontext von ungefähr zweiundzwanzig Pixeln links und rechts bereit. Die Zusatzspanne ergibt einen räumlichen Kontext, der zur Klassifizierung verwendet wird. Ohne den zusätzlichen Kontext würden zum Beispiel Ampelanlagenmasten oder Teile von Fahrzeugen (im Fall von Falschpositivmeldungen) nicht berücksichtigt werden.
Obwohl die Offenbarung ausführlich in den Zeichnungen und der vorhergehenden Beschreibung veranschaulicht und beschrieben worden ist, sollte sie in ihrer Eigenschaft als veranschaulichend und nicht als einschränkend betrachtet werden. Es versteht sich, dass nur die bevorzugten Ausführungsformen dargestellt worden sind und dass alle Änderungen, Modifikationen und weitere Anwendungen, die im Gedanken der Offenbarung erscheinen, geschützt sein sollen.

Claims

Verfahren zum Betreiben eines autonomen Fahrzeugs auf einer Straße, das Folgendes umfasst: Erzeugen von Stereovisionsdaten mit einer Stereovisionskamera eines Fahrzeugführungssystems des autonomen Fahrzeugs, wobei die Stereovisionsdaten eine Ampelanlage an der Straße darstellen; Erzeugen von Disparitätskartendaten mit einer Steuerung des Fahrzeugführungssystems auf Basis der Stereovisionsdaten; Erzeugen von Odometriedaten des Fahrzeugs zu einem ersten Zeitpunkt und zu einem zweiten Zeitpunkt nach dem ersten Zeitpunkt mit einem Odometriesystem des autonomen Fahrzeugs; Bestimmen einer Position der Ampelanlage auf Basis der Disparitätskartendaten zum ersten Zeitpunkt; Bestimmen einer prognostizierten Position der Ampelanlage in den Disparitätskartendaten zum zweiten Zeitpunkt auf Basis der Odometriedaten; Bestimmen eines Status der Ampelanlage an der prognostizierten Position; und Betreiben des autonomen Fahrzeugs auf Basis des bestimmten Status der Ampelanlage.
Verfahren nach Anspruch 1, wobei: das Odometriesystem wenigstens einen Beschleunigungsaufnehmer und wenigstens ein Gyroskop enthält; und das Erzeugen der Odometriedaten beinhaltet, Beschleunigungsdaten mit dem wenigstens einen Beschleunigungsaufnehmer zu erzeugen und Gyroskopdaten mit dem wenigstens einen Gyroskop zu erzeugen.
Verfahren nach Anspruch 2, wobei das Bestimmen der prognostizierten Position Folgendes umfasst: Bestimmen der prognostizierten Position im 3D-Raum auf Basis der Beschleunigungsdaten, der Gyroskopdaten und der Disparitätskartendaten.
Verfahren nach Anspruch 1, wobei das Bestimmen der Odometriedaten Folgendes umfasst: Bestimmen einer Position des Fahrzeugs im 3D-Raum zum ersten Zeitpunkt und Bestimmen der Position des Fahrzeugs im 3D-Raum zum zweiten Zeitpunkt.
Verfahren nach Anspruch 4, das ferner das Bestimmen einer Änderung der Position des Fahrzeugs vom ersten Zeitpunkt zum zweiten Zeitpunkt auf Basis der Odometriedaten umfasst.
Verfahren nach Anspruch 1, das ferner Folgendes umfasst: Durchsuchen der Disparitätskartendaten an der prognostizierten Position nach einer Darstellung der Ampelanlage.
Verfahren nach Anspruch 1, wobei die Stereovisionskamera wenigstens eine erste Bildgebungseinrichtung und eine zweite Bildgebungseinrichtung enthält.
Verfahren nach Anspruch 7, wobei die Disparitätskartendaten Differenzen in den Bilddaten aus der ersten Bildgebungseinrichtung und der zweiten Bildgebungseinrichtung entsprechen.
Fahrzeugführungssystem, das Folgendes umfasst: eine Stereovisionskamera, die dazu ausgebildet ist, Stereovisionsdaten zu erzeugen, die eine Ampelanlage darstellen; ein Odometriesystem, das dazu ausgebildet ist, Odometriedaten eines entsprechenden Fahrzeugs zu einem ersten Zeitpunkt und einem zweiten Zeitpunkt nach dem ersten Zeitpunkt zu erzeugen; und eine Steuerung, die betriebsfähig mit der Stereovisionskamera und dem Odometriesystem verbunden ist, wobei die Steuerung dazu ausgebildet ist, (i) Disparitätskartendaten auf Basis der Stereovisionsdaten zu erzeugen, (ii) eine Position der Ampelanlage auf Basis der Disparitätskartendaten zum ersten Zeitpunkt zu bestimmen, (iii) eine prognostizierte Position der Ampelanlage in den Disparitätskartendaten zum zweiten Zeitpunkt auf Basis der Odometriedaten zu bestimmen, (iv) einen Status der Ampelanlage an der prognostizierten Position zu bestimmen und (v) das Fahrzeug auf Basis des bestimmten Status der Ampelanlage zu betreiben.
Fahrzeugführungssystem nach Anspruch 9, wobei das Odometriesystem Folgendes umfasst: wenigstens einen Beschleunigungsaufnehmer, der dazu ausgebildet ist, Beschleunigungsdaten zu erzeugen; und wenigstens ein Gyroskop, das dazu ausgebildet ist, Gyroskopdaten zu erzeugen.
Fahrzeugführungssystem nach Anspruch 10, wobei die Steuerung ferner dazu ausgebildet ist, die prognostizierte Position im 3D-Raum auf Basis der Beschleunigungsdaten, der Gyroskopdaten und der Disparitätskartendaten zu bestimmen.
Fahrzeugführungssystem nach Anspruch 9, wobei die Odometriedaten eine erste Position des Fahrzeugs im 3D-Raum zum ersten Zeitpunkt und eine zweite Position des Fahrzeugs im 3D-Raum zum zweiten Zeitpunkt enthalten.
Fahrzeugführungssystem nach Anspruch 12, wobei die Steuerung ferner dazu ausgebildet ist, eine Änderung der Position des Fahrzeugs vom ersten Zeitpunkt zum zweiten Zeitpunkt auf Basis der Odometriedaten zu bestimmen.
Fahrzeugführungssystem nach Anspruch 13, wobei die Steuerung ferner dazu ausgebildet ist, die Disparitätskartendaten an der prognostizierten Position nach einer Darstellung der Ampelanlage zu durchsuchen.
Fahrzeugführungssystem nach Anspruch 9, wobei die Stereovisionskamera Folgendes umfasst: wenigstens eine erste Bildgebungseinrichtung, die betriebsfähig mit der Steuerung verbunden ist; und wenigstens eine zweite Bildgebungseinrichtung, die betriebsfähig mit der Steuerung verbunden ist.
Fahrzeugführungssystem nach Anspruch 15, wobei die Disparitätskartendaten Differenzen in den Bilddaten aus der ersten Bildgebungseinrichtung und der zweiten Bildgebungseinrichtung entsprechen.