DE102017120498A1

DE102017120498A1 - Wahrnehmen von fahrbahnbedingungen aus fusionierten sensordaten

Info

Publication number: DE102017120498A1
Application number: DE102017120498.9A
Authority: DE
Inventors: Wei Xu; Fazal Urrahman Syed; Venkatapathi Raju Nallapa; Scott Vincent Myers
Original assignee: Ford Global Technologies LLC
Current assignee: Ford Global Technologies LLC
Priority date: 2016-09-08
Filing date: 2017-09-06
Publication date: 2018-03-08
Also published as: GB2555923A; US10394237B2; CN107807632B; CN107807632A; US20180067487A1; MX2017011428A; RU2017131047A; GB201713958D0

Abstract

Die vorliegende Erfindung erstreckt sich auf Verfahren, Systeme und Computerprogrammprodukte zum Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten. Aspekte der Erfindung verwenden eine Kombination aus verschiedenen Arten von Kameras, die am Fahrzeug angebracht sind, um eine visuelle Wahrnehmung für autonomes Fahren des Fahrzeugs zu erreichen. Jede Kamera in der Kombination von Kameras erzeugt Sensordaten durch Erfassen mindestens eines Teils der Umgebung um das Fahrzeug. Die Sensordaten von jeder Kamera werden dann zu einer Ansicht der Umgebung um das Fahrzeug fusioniert. Die Sensordaten von jeder Kamera (und, falls zutreffend, von jeder anderen Art von Sensor) werden in einen zentralen Sensorwahrnehmungschip eingegeben. Der zentrale Sensorwahrnehmungschip verwendet einen Sensorfusionsalgorithmus, um die Sensordaten zu einer Ansicht der Umgebung um das Fahrzeug zu fusionieren.

Description

ALLGEMEINER STAND DER TECHNIK
Gebiet der Erfindung
Die vorliegende Erfindung betrifft allgemein das Gebiet der autonomen Fahrzeuge und genauer das Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten.
Stand der Technik
Lösungen für autonomes Fahren verwenden üblicherweise LiDAR-Sensoren, die die Umgebung um ein Fahrzeug wahrnehmen. Die LiDAR-Sensoren werden an einem Fahrzeug angebracht, häufig auf dem Dach. Die LiDAR-Sensoren weisen bewegliche Teile auf, die eine Erfassung der Umgebung zu 360 Grad um das Fahrzeug bis zu einem Abstand von ungefähr 100–150 Metern ermöglichen. Die Sensordaten von den LiDAR-Sensoren werden verarbeitet, um eine „Ansicht“ der Umgebung um das Fahrzeug wahrzunehmen. Die Ansicht wird verwendet, um Fahrzeugsysteme, wie Lenkung, Beschleunigung, Bremsung usw. automatisch zu steuern, um innerhalb der Umgebung zu navigieren. Die Ansicht wird kontinuierlich aktualisiert, während das Fahrzeug in der Umgebung navigiert (sich darin bewegt).
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die spezifischen Merkmale, Aspekte und Vorteile der vorliegenden Erfindung werden unter Berücksichtigung der nachfolgenden Beschreibung und begleitenden Zeichnungen deutlicher, wobei:
1 ein beispielhaftes Blockdiagramm einer Rechenvorrichtung veranschaulicht.
2 veranschaulicht eine beispielhafte Umgebung, die das Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten vereinfacht.
3 veranschaulicht ein Flussdiagramm eines beispielhaften Verfahrens zum Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten.
4 veranschaulicht ein beispielhaftes Fahrzeug, das Fahrbahnbedingungen aus fusionierten Sensordaten wahrnehmen kann.
5 veranschaulicht einen beispielhaften Datenfluss zum Sammeln von Sensordaten zum Fusionieren zu einer Fahrbahnansicht.
6 veranschaulicht ein Beispiel eines Chips mit RGB-IR-Pixeln.
DETAILLIERTE BESCHREIBUNG
Die vorliegende Erfindung erstreckt sich auf Verfahren, Systeme und Computerprogrammprodukte zum Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten.
Viele Fahrzeuge für autonomes Fahren verwenden LiDAR-Sensoren, um die Umgebung um das Fahrzeug sehen zu können. Jedoch sind LiDAR-Sensoren relativ teuer und beinhalten mechanische drehende Teile. Weiterhin sind LiDAR-Sensoren häufig oben auf Fahrzeugen angebracht, wodurch ästhetische Designs begrenzt sind. Aspekte der Erfindung können zuverlässiges autonomes Fahren bei geringeren Kosten für Sensoren und verbesserter Ästhetik bereitstellen.
Zum Beispiel verwenden Aspekte der Erfindung eine Kombination aus verschiedenen Arten von Kameras, die am Fahrzeug angebracht sind, um eine visuelle Wahrnehmung für autonomes Fahren des Fahrzeugs zu erreichen. Jede Kamera in der Kombination von Kameras erzeugt Sensordaten durch Erfassen mindestens eines Teils der Umgebung um das Fahrzeug. Die Sensordaten von jeder Kamera werden dann in eine Ansicht der Umgebung um das Fahrzeug zusammengeführt.
Die Kombination von Kameras kann eine Mehrzweck-Flugzeitmessungs(TOF – time-of-flight)-Kamera mit einem Verarbeitungschip, wie beispielsweise einen komplementären Metalloxidhalbleiterchip (CMOS – complementary metal-oxide semiconductor) mit Rot-Grün-Blau-Infrarot (RGB-IR), beinhalten. Die TOF-Kamera ist konfiguriert, um zwischen Kameramodus und LiDAR-Modus umzuschalten. Die TOF-Kamera verwendet eine Nahsichtfeld(FOV – field-of-view)-Linse, um eine Objektnachverfolgungsfähigkeit über eine längere Distanz zu vereinfachen. Die TOF-Kamera kann zur Kollisionssteuerung und Tempomatsteuerung verwendet werden.
Die Kombination von Kameras kann auch eine oder mehrere RGB-IR-Kameras beinhalten. Die eine oder mehreren RGB-IR-Kameras verwenden ein weiteres FOV, um Objekte näher am Fahrzeug zu erfassen. Die Intensitätsinformationen von den IR-Signalen können während der Nacht wie auch in anderen Umgebungen mit wenig (oder keinem) Licht verwendet werden.
Bei einem Aspekt sind ein oder mehrere andere Sensoren ebenfalls am Fahrzeug angebracht. Der eine oder die mehreren anderen Sensoren können die gleichen Sensorarten oder unterschiedliche Sensorarten sein, wie zum Beispiel Radar, Globales Positionierungssystem (GPS), inertiale Messungseinheit (IMU), usw. Der eine oder die mehreren anderen Sensoren erzeugen ebenfalls Sensordaten durch Erfassen mindestens eines Teils der Umgebung um das Fahrzeug.
Die Sensordaten von jeder Kamera (und, falls zutreffend, von jeder anderen Art von Sensor) werden in einen zentralen Sensorwahrnehmungschip eingegeben. Der zentrale Sensorwahrnehmungschip verwendet einen Sensorfusionsalgorithmus, um die Sensordaten in eine Ansicht der Umgebung um das Fahrzeug zu fusionieren.
Aspekte der Erfindung können in verschiedenen unterschiedlichen Arten von Rechenvorrichtungen implementiert werden. 1 veranschaulicht ein beispielhaftes Blockdiagramm einer Rechenvorrichtung 100. Die Rechenvorrichtung 100 kann zum Ausführen verschiedener Vorgänge, wie etwa der hier erörterten, benutzt werden. Die Rechenvorrichtung 100 kann als ein Server, ein Client oder eine beliebige andere Recheneinheit dienen. Die Rechenvorrichtung 100 kann verschiedene Kommunikations- und Datenübertragungsfunktionen, wie hier beschrieben, erfüllen und kann ein oder mehrere Anwendungsprogramme, wie etwa die hier beschriebenen Anwendungsprogramme, ausführen. Bei der Rechenvorrichtung 100 kann es sich um eine von vielen verschiedenen Rechenvorrichtungen handeln, wie etwa ein Mobiltelefon oder anderes mobiles Gerät, einen Desktopcomputer, einen Notebookcomputer, einen Servercomputer, einen Handheld- Computer, Tabletcomputer und dergleichen.
Die Rechenvorrichtung 100 beinhaltet einen oder mehrere Prozessor(en) 102, eine oder mehrere Speichervorrichtung(en) 104, eine oder mehrere Schnittstelle(n) 106, eine oder mehrere Massenspeichervorrichtung(en) 108, eine oder mehrere Eingabe-/Ausgabe(E/A)-Vorrichtung(en) 110 und eine Anzeigevorrichtung 130, die alle an einen Bus 112 gekoppelt sind. Der Prozessor oder die Prozessoren 102 beinhalten einen oder mehrere Prozessoren oder Controller, die auf Speichervorrichtung(en) 104 und/oder Massenspeichervorrichtung(en) 108 gespeicherte Anweisungen ausführen. Der Prozessor oder die Prozessoren 102 können auch verschiedene Arten von Computerspeichermedien wie etwa einen Cache-Speicher beinhalten.
Die Speichervorrichtung(en) 104 beinhalten verschiedene Computerspeichermedien wie etwa flüchtigen Speicher (z. B. Direktzugriffspeicher ((RAM) 114) und/oder nichtflüchtigen Speicher (z. B. Lesezugriffspeicher ((ROM) 116). Die Speichervorrichtung(en) 104 können auch wieder beschreibbaren ROM, wie etwa Flash-Speicher, beinhalten.
Die Massenspeichervorrichtung(en) 108 beinhalten verschiedene Computerspeichermedien, wie etwa Magnetbänder, Magnetplatten, optische Platten Festkörperspeicher (z. B. Flash-Speicher) und so fort. Wie in 1 gezeigt, ist ein Festplattenlaufwerk 124 eine bestimmte Massenspeichervorrichtung. Verschiedene Laufwerke können auch Teil von Massenspeichervorrichtung(en) 108 sein, um das Auslesen und/oder Beschreiben der verschiedenen computerlesbaren Medien zu ermöglichen. Die Massenspeichervorrichtung(en) 108 beinhalten wechselfähige Medien 126 und/oder nicht wechselfähige Medien.
Die E/A-Vorrichtung(en) 110 beinhalten verschiedene Vorrichtungen, die das Eingeben von Daten und/oder anderen Informationen in die Rechenvorrichtung 100 oder das Abrufen derselben daraus zulassen. Beispielhafte E/A-Vorrichtung(en) 110 beinhalten Cursorsteuervorrichtungen, Tastaturen, Tastenfelder, Barcodescanner, Mikrofone, Monitore oder andere Anzeigevorrichtungen, Lautsprecher, Drucker, Netzwerkschnittstellenkarten, Modems, Kameras, Linsen, Radare, CCDs oder andere Bildaufnahmevorrichtungen und dergleichen.
Die Anzeigevorrichtung 130 beinhaltet eine beliebige Art von Vorrichtung, die Informationen an einen oder mehrere Benutzer der Rechenvorrichtung 100 anzeigen kann. Beispiele der Anzeigevorrichtung 130 beinhalten ein Monitor, Anzeigeendgerät, Videoprojektionsgerät und dergleichen.
Die Schnittstelle(n) 106 beinhalten verschiedene Schnittstellen, die es der Rechenvorrichtung 100 erlauben, mit anderen Systemen, Vorrichtungen oder Rechenumgebungen sowie Menschen zu interagieren. Zu beispielhaften Schnittstelle(n) 106 kann eine beliebige Anzahl von Netzschnittstellen 120 gehören, wie etwa Schnittstellen zu persönlichen Netzen (PANs), lokalen Netzen (LANs), Weitverkehrsnetzen (WANs), drahtlosen Netzen (z. B. Near Field Communication(NFC)-, Bluetooth-, Wi-Fi- usw. Netzen) und dem Internet. Andere Schnittstellen beinhalten eine Benutzerschnittstelle 118 und eine Peripheriegeräteschnittstelle 122.
Der Bus 112 erlaubt es dem oder den Prozessor(en) 102, der oder den Speichervorrichtung(en) 104, Schnittstelle(n) 106, Massenspeichervorrichtung(en) 108 und E/A-Vorrichtung(en) 110 miteinander sowie mit anderen Vorrichtungen oder Komponenten zu kommunizieren, die an den Bus 112 gekoppelt sind. Der Bus 112 stellt eine oder mehrere von mehreren Arten von Busstrukturen dar, wie etwa einen Systembus, PCI-Bus, IEEE-1394-Bus, USB-Bus und so fort.
2 veranschaulicht eine beispielhafte Fahrbahnumgebung 200, die das Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten vereinfacht. Die Fahrbahnumgebung 200 beinhaltet ein Fahrzeug 201, wie beispielsweise ein Auto, einen Lastwagen oder einen Bus. Das Fahrzeug 201 kann Insassen enthalten oder nicht, wie beispielsweise einen oder mehrere Passagiere. Die Fahrbahnumgebung 200 kann Fahrbahnmarkierungen (z. B. Fahrspurbegrenzungen), Fußgänger, Fahrräder, andere Fahrzeuge, Schilder oder beliebige andere Arten von Gegenständen beinhalten. Das Fahrzeug 201 kann sich innerhalb der Fahrbahnumgebung 200 bewegen, zum Beispiel auf einer Straße fahren.
Das Fahrzeug 201 beinhaltet eine Kamera 211A, eine Kamera 211B, eine Kamera 221, einen Wahrnehmungschip 203, einen Wahrnehmungsalgorithmus 202, Fahrzeugsteuersysteme 204 und Fahrzeugbetriebskomponenten 206. Die Kameras 211A, 211B und 221 können am Fahrzeug 201 angebracht sein, um in die Richtung zu weisen, in die sich das Fahrzeug 201 bewegt (z. B. vorwärts oder rückwärts). Bei einem Aspekt beinhaltet das Fahrzeug 201 auch einen entsprechenden Satz von Kameras, der in die andere Richtung weist. Zum Beispiel kann das Fahrzeug 201 einen Satz von vorwärtsweisenden Kameras und einen Satz von rückwärtsweisenden Kameras beinhalten.
Die Kamera 211A beinhaltet Sensorkomponenten 212A (z. B. eine Linse, eine Öffnung, eine Blende, eine Sensorplatte, einen IR-Emitter, eine IR-Detektor, usw.) und eine anwendungsspezifische integrierte Schaltung (ASIC – application-specific integrated circuit) 213A. Die ASIC 213A kann eine Funktionalität zur digitalen Signalverarbeitung (DSP – digital signal processing) beinhalten, um verschiedene Operationen an den Bildsensordaten, die von den Sensorkomponenten 212A aufgenommen wurden, durchzuführen. In ähnlicher Weise beinhaltet die Kamera 211A beinhaltet Sensorkomponenten 212B (z. B. eine Linse, eine Öffnung, eine Blende, eine Sensorplatte, einen IR-Emitter, eine IR-Detektor, usw.) und eine anwendungsspezifische integrierte Schaltung (ASIC) 213B. Die ASIC 213B kann eine Funktionalität zur digitalen Signalverarbeitung (DSP) beinhalten, um verschiedene Operationen an den Bildsensordaten, die von den Sensorkomponenten 212B aufgenommen wurden, durchzuführen.
Die Kameras 211A und 211B können ähnliche Arten oder sogar die gleiche Art von Kameras sein. Die Kameras 211A und 211B weisen ein Sichtfeld 216A bzw. 216B auf. Die Sichtfelder 216A und 216B können ähnlich oder möglicherweise im Wesentlichen gleich sein. Innerhalb der Sichtfelder 216A und 216B können die Kameras 211A bzw. 211B jeweils die Fahrbahnumgebung 200 vom Fahrzeug 201 ausgehend zu einer ungefähren Entfernungsgrenze 231 erfassen.
Bei einem Aspekt sind die Kameras 211A und 211B Rot-Grün-Blau/Infrarot(RGB/IR)-Kameras. Somit können die Kameras 211A und 211B Bilder erzeugen, bei denen jeder Bildbereich ein Rotpixel, ein Grünpixel, ein Blaupixel und ein IR-Pixel beinhaltet. Die RGB-Pixelintensitäten werden verwendet, wenn ausreichend Licht (z. B. während des Tages) vorhanden ist. Die Intensitätsinformationen der IR-Signale können während der Nacht wie auch in anderen Umgebungen mit wenig (oder keinem) Licht verwendet werden, um die Fahrbahnumgebung 200 zu erfassen. Umgebungen mit wenig (oder keinem) Licht können eine Fahrt durch Tunnels oder andere Umgebungen, in denen das natürliche Licht blockiert ist, beinhalten.
Die Kamera 221 beinhaltet Sensorkomponenten 222 (z. B. eine Linse, eine Öffnung, eine Blende, eine Sensorplatte, einen Laser, einen Sensor zum Erkennen von Laserreflexionen, usw.) und eine anwendungsspezifische integrierte Schaltung (ASIC) 223. Die ASIC 223 kann eine Funktionalität zur digitalen Signalverarbeitung (DSP) beinhalten, um verschiedene Operationen an den Bildsensordaten, die von den Sensorkomponenten 222 aufgenommen wurden, durchzuführen. Die Kamera 221 weist ein Sichtfeld 226 auf. Innerhalb des Sichtfelds 226 kann die Kamera 221 die Fahrbahnumgebung 200 vom Fahrzeug 201 aus bis über eine Entfernungsgrenze 232 hinaus erfassen. Die Kamera 221 kann zur Kollisionssteuerung und Tempomatsteuerung verwendet werden.
Bei einem Aspekt ist die Kamera 221 eine Mehrzweck-Flugzeitmessungskamera (TOF) mit einem Verarbeitungschip, zum Beispiel einem komplementären Metalloxidhalbleiterchip (CMOS-Chip) mit Rot-Grün-Blau-Infrarot (RGB-IR). Die Kamera 221 kann konfiguriert sein, um in verschiedenen Modi zu arbeiten, wenn Objekte in unterschiedlichen Entfernungen vom Fahrzeug 201 erfasst werden. Die Kamera 221 kann hauptsächlich im LiDAR-Modus arbeiten, wenn Objekte innerhalb des Sichtfelds 226 jenseits der Entfernungsgrenze 232 erkannt werden. Andererseits kann die Kamera 221 zwischen Kameramodus und LiDAR-Modus umschalten, wenn Objekte innerhalb des Sichtfelds 226 zwischen der Entfernungsgrenze 231 und der Entfernungsgrenze 232 erkannt werden. Zum Beispiel kann die Kamera 221 zu ungefähr 50 % der Zeit im LiDAR-Modus und zu 50 % der Zeit im Kameramodus arbeiten, wenn Objekte innerhalb des Sichtfelds 226 zwischen der Entfernungsgrenze 231 und der Entfernungsgrenze 232 erkannt werden.
Die Kamera 221 kann Bilder erzeugen, bei denen jeder Bildbereich ein Rotpixel, ein Grünpixel, ein Blaupixel und ein IR-Pixel beinhaltet. Die RGB-Pixelintensitäten werden verwendet, wenn ausreichend Licht (z. B. während des Tages) vorhanden ist. Im LiDAR-Modus emittiert der Laser einen Impuls auf IR-Wellenlänge. Ein Verarbeitungschip (z. B. innerhalb der ASIC 223) liest die Flugzeitinformationen, um die Tiefe des Objekts zu verarbeiten. Der Verarbeitungschip kann geeignete IR-Pixelintensitätsinformationen auf Grundlage der Objekttiefen festlegen. Der LiDAR-Modus und die IR-Pixelintensität können während der Nacht, bei Umgebungen mit wenig (oder keinem) Licht oder wenn dies anderweitig geeignet erscheint, verwendet werden, um die Fahrbahnumgebung 200 zu erfassen.
Bei einem Aspekt ist die Entfernungsgrenze 231 ungefähr 20 Meter vom Fahrzeug 201 entfernt und die Entfernungsgrenze 232 ist ungefähr 100 Meter vom Fahrzeug 201 entfernt. Jedoch sind auch andere Entfernungen für die Entfernungsgrenzen 231 und 232 möglich. Zum Beispiel kann die Entfernungsgrenze 231 von 0–20 Meter reichen und die Entfernungsgrenze 232 kann von 20–200 Meter reichen.
Der Wahrnehmungschip 203 kann eine Mehrzweck- oder eine Spezialverarbeitungseinheit sein, zum Beispiel eine zentrale Recheneinheit (CPU – central processing unit), eine graphische Verarbeitungseinheit (GPU – graphics processing unit), usw. Alternativ und/oder in Kombination kann der Wahrnehmungschip 203 auch Logikschaltungen beinhalten, wie zum Beispiel eine ASIC oder ein Field Programmable Gate Array (FPGA). Der Wahrnehmungsalgorithmus 202 läuft auf dem Wahrnehmungschip 203.
Allgemein ist der Wahrnehmungsalgorithmus 202 konfiguriert, um Sensordaten von verschiedenen Kameras (und möglicherweise anderen Sensoren) zu einer Ansicht der Fahrbahnumgebung 200 zu fusionieren. Der Wahrnehmungsalgorithmus 202 kann die Kamerasensordaten verarbeiten, um Gegenstände von Interesse innerhalb der Fahrbahnumgebung 200 zu identifizieren. Der Wahrnehmungsalgorithmus 202 kann auch Objekte von Interesse innerhalb der Fahrbahnumgebung 200 klassifizieren. Objektklassifizierungen können folgendes beinhalten: Fahrspurbegrenzungen, Zebrastreifen, Schilder, Regelungssignale, Autos, Lastwagen, Fußgänger usw. Einige Objektklassifizierungen können Unterklassifizierungen aufweisen. Beispielsweise kann ein Schild nach dem Schildtyp klassifiziert werden, etwa ein Stoppschild, ein Vorfahrt-beachten-Schild, ein Schulbereichsschild, ein Geschwindigkeitsbegrenzungsschild usw.
Der Wahrnehmungsalgorithmus 202 kann auch die Position eines Objekts innerhalb der Fahrbahnumgebung 200 bestimmen, wie zum Beispiel zwischen dem Fahrzeug 201 und der Entfernungsgrenze 231, zwischen der Entfernungsgrenze 231 und der Entfernungsgrenze 232 oder jenseits der Entfernungsgrenze 232. Wenn sich ein Objekt bewegt, kann der Wahrnehmungsalgorithmus 202 auch einen wahrscheinlichen Weg des Objekts bestimmen.
Bei einem Aspekt beinhaltet der Wahrnehmungsalgorithmus 202 ein neuronales Netz, das gemäß einem vielschichtigen (oder „tiefen“) Modell konstruiert ist. Ein mehrschichtiges neuronales Netzmodell kann eine Eingangsschicht, eine Vielzahl von verdeckten Schichten und eine Ausgangsschicht beinhalten. Ein mehrschichtiges neuronales Netzmodell kann auch eine Verlustschicht beinhalten. Zur Klassifizierung von fusionierten Kamerasensordaten (z. B. einem Bild) werden Werte in den Sensordaten (z. B. Pixelwerte) Eingangsknoten zugewiesen und dann durch die Vielzahl von verdeckten Schichten des neuronalen Netzes geschickt. Die Vielzahl von verdeckten Schichten kann eine Anzahl nicht-linearer Transformationen durchführen. Am Ende der Transformationen erzeugt ein Ausgangsknoten eine wahrgenommene Ansicht der Fahrbahnumgebung 200.
Der Wahrnehmungsalgorithmus 202 kann Fahrbahnansichten an Fahrzeugsteuersysteme 204 senden. Die Fahrzeugsteuersysteme 204 (z. B. Tempomat, Spurwechsel, Kollisionsvermeidung, Bremsen, Lenken, usw.) sind konfiguriert, um Fahrzeugbetriebskomponenten 206 (z. B. Gaspedal, Bremsen, Lenkrad, Getriebe, usw.) zu steuern, um das Fahrzeug 201 autonom in der Fahrbahnumgebung 200 zu betreiben. Die Fahrzeugsteuersysteme 204 können die Konfiguration der Fahrzeugbetriebskomponenten 206 auf Grundlage von Fahrbahnansichten, die vom Wahrnehmungsalgorithmus 202 empfangen werden, verändern. Veränderungen an den Fahrzeugbetriebskomponenten 206 können das Abbiegen des Fahrzeugs 201, das Beschleunigen des Fahrzeugs 201, das Verlangsamen des Fahrzeugs 201, einen Richtungswechsel des Fahrzeugs 201 usw. vereinfachen.
Das Fahrzeug 201 kann außerdem einen oder mehrere andere Sensoren beinhalten. Der eine oder die mehreren anderen Sensoren können die gleichen Sensorarten oder unterschiedliche Sensorarten sein, wie zum Beispiel Radar, inertiale Messungseinheit (IMU), Globales Positionierungssystem (GPS), usw. Der eine oder die mehreren anderen Sensoren können ebenfalls Sensordaten durch Erfassen mindestens eines Teils der Fahrbahnumgebung 200 erzeugen. Der Wahrnehmungsalgorithmus 202 kann Sensordaten von diesen anderen Sensoren mit Sensordaten von den Kameras 211A, 211B und 221 (sowie anderen Kameras) zu einer Ansicht der Fahrbahnumgebung 200 fusionieren.
3 veranschaulicht ein Flussdiagramm eines beispielhaften Verfahrens 300 zum Wahrnehmen von Fahrbahnbedingungen aus fusionierten Sensordaten. Das Verfahren 300 wird unter Bezugnahme auf die Komponenten und Daten der Umgebung 200 beschrieben.
Das Verfahren 300 beinhaltet, für jede der einen oder mehreren am Fahrzeug angebrachten Kameras, Empfangen von Sensordaten von der Kamera, wobei die Sensordaten von einem Gebiet zwischen dem Fahrzeug und einer bestimmten Entfernung vom Fahrzeug entfernt innerhalb eines Sichtfelds der Kamera erfasst werden, wobei jede der einen oder mehreren Kameras ein Sichtfeld aufweist (301). Zum Beispiel kann der Wahrnehmungsalgorithmus 202 Sensordaten 214A von der Kamera 211A empfangen. Die Kamera 211A kann Sensordaten 214A von einem Gebiet zwischen dem Fahrzeug 201 und der Entfernungsgrenze 231 innerhalb des Sichtfelds 216A erfassen. Die Kamera 211A kann die Sensordaten 214A an den Wahrnehmungsalgorithmus 202 senden. In ähnlicher Weise kann der Wahrnehmungsalgorithmus 202 Sensordaten 214B von der Kamera 211B empfangen. Die Kamera 211B kann die Sensordaten 214B von einem Gebiet zwischen dem Fahrzeug 201 und der Entfernungsgrenze 231 innerhalb des Sichtfelds 216B erfassen. Die Kamera 211B kann die Sensordaten 214B an den Wahrnehmungsalgorithmus 202 senden. Objekte innerhalb der Sichtfelder 216A und 216B können gruppiert und durch die Bildinformationen nachverfolgt werden. Die Sensordaten 214A und 214B können Objekte, die innerhalb der Sichtfelder 216A und 216B nachverfolgt werden, angeben.
Das Verfahren 300 beinhaltet, für jede andere am Fahrzeug angebrachte Kamera, Empfangen anderer Sensordaten von der anderen Kamera, wobei die anderen Sensordaten von einem Gebiet jenseits der bestimmten Entfernung innerhalb eines anderen Sichtfelds der anderen Kamera erfasst werden, wobei das andere Sichtfeld schmäler ist als das Sichtfeld (302). Zum Beispiel kann der Wahrnehmungsalgorithmus 202 Sensordaten 224 von der Kamera 221 empfangen. Im Allgemeinen kann die Kamera 221 kann Sensordaten 224 überall innerhalb des Sichtfelds 226 erfassen. Die Kamera 221 kann die Sensordaten 224 an den Wahrnehmungsalgorithmus 202 senden. Unter Verwendung verschiedener Mechanismen können Objekte innerhalb des Sichtfelds 226 nachverfolgt werden. Die Sensordaten 224 können Objekte, die innerhalb des Sichtfelds 226 nachverfolgt werden, angeben.
Bei einem Aspekt arbeitet die Kamera 221 im LiDAR-Modus, um Sensordaten 224 von einem Gebiet jenseits der Entfernungsgrenze 232 innerhalb des Sichtfelds 226 zu erfassen. Jenseits der Entfernungsgrenze 232 können Objekte auf Grundlage von dreidimensionalen (3D) Punkwolken nachverfolgt werden. Bei einem weiteren Aspekt schaltet die Kamera 221 zwischen Kameramodus und LiDAR-Modus um, um Sensordaten 224 von einem Gebiet zwischen der Entfernungsgrenze 231 und der Entfernungsgrenze 232 innerhalb des Sichtfelds 226 zu erfassen. Objekte zwischen der Entfernungsgrenze 231 und der Entfernungsgrenze 232 können gruppiert und sowohl durch 3D-Punktwolken als auch Bildinformationen nachverfolgt werden.
Bei einem weiteren Aspekt erfasst die Kamera 211 Sensordaten 224 von einem Gebiet um (und möglicherweise etwas innerhalb der) die Entfernungsgrenze 231, zum Beispiel wenn Objekte nahe dem Bereich sind, der von den Kameras 211A und 211B abgedeckt wird. Die Kamera 221 schätzt die Position von Objekten durch eine Bewegungsnachverfolgung, wie zum Beispiel Kalman-Filter, optischer Fluss, usw.
Das Verfahren 300 beinhaltet Fusionieren der Sensordaten von jeder der einen oder mehreren Kameras und der anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung (303). Zum Beispiel kann der Wahrnehmungsalgorithmus 202 Sensordaten 214A, Sensordaten 214B und Sensordaten 224 zu einer Fahrbahnansicht 226 der Fahrbahnumgebung 200 fusionieren. Die Fahrbahnansicht 236 kann Objekte, die innerhalb der Sichtfelder 216A, 216B und 226 nachverfolgt werden, angeben.
Das Verfahren 300 beinhaltet Senden der Fahrbahnansicht an die Fahrzeugsteuerkomponenten, so dass die Fahrzeugsteuerkomponenten die Konfiguration der Fahrzeugbetriebskomponenten auf Grundlage der Fahrbahnansicht einstellen können (304). Zum Beispiel kann der Wahrnehmungsalgorithmus 202 die Fahrbahnansicht 236 an die Fahrzeugsteuersysteme 204 senden. Die Fahrzeugsteuersysteme 204 können die Fahrbahnansicht 236 vom Wahrnehmungsalgorithmus 202 empfangen. Die Fahrzeugsteuersysteme 204 können die Fahrbahnansicht 236 verwenden, um die Fahrzeugbetriebskomponenten 206 einzustellen. Das Einstellen der Fahrzeugbetriebskomponenten 206 kann die Konfiguration des Fahrzeugs 201 verändern, um diese auf die Fahrbahnumgebung 200 anzupassen. Zum Beispiel können die Fahrzeugsteuersysteme 204 die Fahrzeugbetriebskomponenten 206 einstellen, um die Geschwindigkeit des Fahrzeugs 201 zu erhöhen (z. B. beschleunigen), um die Geschwindigkeit des Fahrzeugs 201 zu verringern (z. B. verlangsamen oder bremsen), um die Richtungen des Fahrzeugs 201 umzukehren (z. B. die Gänge von Fahren zu Rückwärts oder umgekehrt wechseln), um die Bewegungsbahn des Fahrzeugs 201 für eine Kurve oder Straßenverengung zu verändern (z. B. den Winkel der Vorderräder einstellen), usw.
Die Kameras 211A, 211B und 211 (sowie beliebige andere Kameras und/oder andere Sensoren) können Sensordaten fortlaufend sammeln, während sich das Fahrzeug 201 bewegt. Die Sensordaten können an den Wahrnehmungsalgorithmus 202 gesendet werden. Der Wahrnehmungsalgorithmus 202 kann die Sensordaten zu zusätzlichen Fahrbahnansichten fusionieren. Die Fahrzeugsteuersysteme 204 können die zusätzlichen Fahrbahnansichten verwenden, um die Fahrzeugbetriebskomponenten 206 fortlaufend einzustellen, um das Fahrzeug 201 innerhalb der Fahrbahnumgebung 200 sicher autonom betreiben zu können.
4 veranschaulicht ein beispielhaftes Fahrzeug 401, das Fahrbahnbedingungen von fusionierten Sensordaten wahrnehmen kann. Wie dargestellt, weist das Fahrzeug 401 vorne angebrachte Kameras 411A, 411B und 421 auf. Die vorne angebrachten Kameras 411A, 411B und 421 weisen entsprechende Sichtfelder 416A, 416B bzw. 426 auf. Die Kameras 411A und 411B können RGB/IR-Kameras sein. Die Kameras 411A und 411B können Objekte zwischen dem Fahrzeug 401 und der Entfernungsgrenze 431, die innerhalb der Sichtfelder 416A und 416B liegen, erfassen. Die Kameras 411A und 411B können Bildinformationen verwenden, um Objekte innerhalb der Sichtfelder 416A und 416B nachzuverfolgen.
Die Kamera 421 kann eine Flugzeitmessung(TOF)-basierte Kamera sein, die zwischen einem Kameramodus und einem LiDAR-Modus umschalten kann. Die Kamera 421 kann Objekte innerhalb des Sichtfelds 426 erfassen. Die Kamera 421 kann verschiedene Mechanismen verwenden, um Objekte zu erfassen, abhängig davon, wie weit die Objekte vom Fahrzeug 401 entfernt sind. Die Kamera 421 kann hauptsächlich den LiDAR-Modus und 3D-Punktwolken verwenden, um Objekte außerhalb der Entfernungsgrenze 432 nachzuverfolgen. Die Kamera 421 kann zwischen Kameramodus und LiDAR-Modus umschalten und 3D-Punktwolken und Bildinformationen verwenden, um Objekte zwischen der Entfernungsgrenze 431 und der Entfernungsgrenze 432 nachzuverfolgen. Die Kamera 421 kann hauptsächlich den Kameramodus und die Bildinformationen verwenden, um Objekte nachzuverfolgen, die sich der Entfernungsgrenze 431 annähern oder sich kürzlich in diese hinein bewegt haben.
Ein Fusionsalgorithmus kann Sensordaten, die von den vorne angebrachten Kameras 411A, 411B und 421 empfangen wurden, zu einer Fahrbahnansicht der Straße vor dem Fahrzeug 401 fusionieren. Die Fahrzeugsteuersysteme können die Fahrbahnansicht verwenden, um die Fahrzeugbetriebssteuerungen einzustellen, um das Fahrzeug 401 sicher auf der Straße zu betreiben.
5 veranschaulicht einen beispielhaften Datenfluss 500 zum Sammeln von Sensordaten zum Fusionieren zu einer Fahrbahnansicht. Der Datenfluss 500 beginnt bei 501. Bei 502 wird ein Laser für ein kleineres Sichtfeld für eine Flugzeitmessungs(TOF)-Kamera ausgelöst. Bei 503 werden Objekte (z. B. auf einer Fahrbahn) auf Grundlage von 3D-Punktwolken, die aus der TOF-Kamera ausgelesen werden, nachverfolgt. Die 3D-Punktwolke beinhaltet sowohl RGB-Pixel als auch IR-Pixel. Bei 504 erkennt die TOF-Kamera, ob sich Objekte innerhalb einer weiteren Entfernungsgrenze (z. B. 232, 432, usw.) befinden. Falls nicht, dreht der Datenfluss 500 eine Schleife zurück zu 502. Falls ja, kann sich ein Objekt zwischen der weiteren Entfernungsgrenze und einer näheren Entfernungsgrenze (z. B. 231, 431, usw.) befinden und der Datenfluss geht weiter zu 505 und 506.
Bei 505 und 506 wird die TOF-Kamera zwischen Lasermodus und Kameramodus umgeschaltet. Bei 507 werden Objekte (z. B. innerhalb der Fahrbahn) auf Grundlage von 3D-Punktwolken mit Tiefe, aus der TOF-Kamera ausgelesen, nachverfolgt. Bei 509 werden Objekte (z. B. innerhalb der Fahrbahn) unter Verwendung von Bildinformationen nachverfolgt. Bei 508 fusioniert ein Fusionsalgorithmus Sensordaten für eine Objektnachverfolgung mit Tiefe. Bei 510 erkennt die TOF-Kamera, ob sich Objekte innerhalb der näheren Entfernungsgrenze befinden. Falls nicht, dreht der Datenfluss 500 eine Schleife zurück zu 505 und 506.
Falls ja, geht der Datenfluss 500 weiter zu 511. Bei 511 verwendet die TOF-Kamera einem Kalman-Filter oder einen optischen Fluss, um Objektpositionen zu schätzen. Bei 512 sendet die TOF-Kamera die Objektposition an einen Wahrnehmungsalgorithmus. Bei 513 erzeugen RGB/IR-Kameras mit großem Sichtfeld Bilddaten. Objekte werden von innerhalb der Bilddaten nachverfolgt. Bei 514 werden nachverfolgte Objekte (z. B. innerhalb der Fahrbahn) an den Wahrnehmungsalgorithmus gesendet. Bei 515 erzeugen andere Sensoren Sensordaten. Objekte werden von innerhalb der Sensordaten nachverfolgt. Bei 516 werden nachverfolgte Objekte (z. B. innerhalb der Fahrbahn) an den Wahrnehmungsalgorithmus gesendet. Bei 517 fusioniert der Fusionsalgorithmus Objekte zu einer Fahrbahnansicht (z. B. der Fahrbahn).
6 veranschaulicht ein Beispiel eines Chips 600 mit RGB-IR-Pixeln. Bei einem Aspekt ist der Chip 600 ein CMOS/Charged-Coupled-Device(CCD)-Chip. Wie dargestellt weist der Chip 600 vier unterschiedliche Arten von Pixeln auf: Rotpixel, Grünpixel, Blaupixel und IR-Pixel. Die Pixel sind zu Bereichen gruppiert. Jeder Bereich beinhaltet ein Rotpixel, ein Grünpixel, ein Blaupixel und ein IR-Pixel. Zum Beispiel beinhaltet der Bereich 601 ein Rotpixel 611, ein Grünpixel 612, ein Blaupixel 613 und ein IR-Pixel 614. Die Bereiche sind in Reihen und Spalten angeordnet, einschließlich einer Reihe 602 und einer Reihe 603.
Der Chip 600 kann verwendet werden, um lokale Sensorinformationen in einer Kamera (z. B. Pixelintensitäten) zu speichern. Eine ASIC innerhalb der Kamera kann die lokalen Sensorinformationen, die im Chip gespeichert sind, verarbeiten. Die ASIC kann die verarbeiteten Sensorinformationen an einen zentralen Sensorwahrnehmungschip weiterleiten, wie zum Beispiel den Wahrnehmungschip 203. Am zentralen Sensorwahrnehmungschip kann ein Fusionsalgorithmus die verarbeiteten Sensorinformationen zusammen mit anderen verarbeiteten Sensordaten von anderen Kameras (und/oder anderen Sensoren) zu einer Fahrbahnansicht fusionieren. Die Fahrbahnansicht kann verwendet werden, um einen autonomen Betrieb eines Fahrzeugs zu vereinfachen.
Bei einem Aspekt sind ein oder mehrere Prozessoren dazu konfiguriert, Anweisungen (z. B. computerlesbare Anweisungen, von einem Computer ausführbare Anweisungen usw.) auszuführen, um beliebige von einer Vielzahl von beschriebenen Vorgängen auszuführen. Der eine oder die mehreren Prozessoren können auf Informationen aus dem Systemspeicher zugreifen und/oder Informationen im Systemspeicher speichern. Einer oder mehrere Prozessoren können Informationen zwischen verschiedenen Formaten, wie z. B. Sensordaten, Bilddaten, Pixelwerte, Pixelintensitäten, Fahrbahnansichten usw. umwandeln.
Der Systemspeicher kann an den einen oder die mehreren Prozessoren gekoppelt sein und kann Anweisungen (z. B. computerlesbare Anweisungen, von einem Computer ausführbare Anweisungen usw.) speichern, die von dem eine oder den mehreren Prozessoren ausgeführt werden. Der Systemspeicher kann auch so konfiguriert sein, dass er jede von einer Vielzahl von anderen Arten von Daten speichert, die durch die beschriebenen Komponenten erzeugt werden, wie z. B. Sensordaten, Bilddaten, Pixelwerte, Pixelintensitäten, Fahrbahnansichten, usw.
In der vorangehenden Offenbarung wurde auf die beigefügten Zeichnungen Bezug genommen, die einen Teil davon bilden und in denen spezifische Implementierungen zur Veranschaulichung gezeigt werden, in denen die Offenbarung ausgeübt werden kann. Es versteht sich, dass andere Implementierungen verwendet werden können und strukturelle Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Offenbarung abzuweichen. Bezugnahmen in der Beschreibung auf „eine Ausführungsform“, „ein Ausführungsbeispiel“ usw. geben an, dass die beschriebene Ausführungsform ein bestimmtes Merkmal, eine Struktur oder Eigenschaft einschließen kann, aber nicht jede Ausführungsform muss notwendigerweise dieses bestimmte Merkmal, diese Struktur oder Eigenschaft einschließen. Darüber hinaus beziehen sich solche Ausdrücke nicht unbedingt auf dieselbe Ausführungsform. Wenn ein Merkmal, eine Struktur oder eine Eigenschaft in Verbindung mit einer Ausführungsform beschrieben wird, wird davon ausgegangen, dass es innerhalb des Wissens eines Fachmanns liegt, das Merkmal, die Struktur oder die Eigenschaft in Verbindung mit anderen Ausführungsformen umzusetzen, unabhängig davon, ob dies ausdrücklich beschrieben wird oder nicht.
Implementierungen der hierin offenbarten Systeme, Vorrichtung und Verfahren können einen Spezial- oder Universalcomputer umfassen oder verwenden, der Computerhardware einschließt, wie etwa einen oder mehrere Prozessoren und einen Systemspeicher, wie hierin erörtert. Implementierungen innerhalb des Umfangs der vorliegenden Offenbarung können außerdem Datenträger und andere computerlesbare Medien zum Weiterleiten oder Speichern von von einem Computer ausführbaren Anweisungen und/oder Datenstrukturen einschließen. Bei solchen computerlesbaren Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch ein Universal- oder Spezialcomputersystem zugegriffen werden kann. Bei computerlesbaren Medien, auf denen von einem Computer ausführbare Anweisungen gespeichert sind, handelt es sich um Computerspeichermedien(-geräte). Bei computerlesbaren Medien, die von einem Computer ausführbare Anweisungen weiterleiten, handelt es sich um Übertragungsmedien. Daher können Implementierungen der Offenbarung beispielsweise und nicht einschränkend wenigstens zwei deutlich unterschiedliche Arten von computerlesbaren Medien umfassen: Computerspeichermedien(-geräte) und Übertragungsmedien
Computerspeichermedien(-geräte) schließen RAM, ROM, EEPROM, CD-ROM, Solid-State-Drives („SSDs“) (z. B auf Grundlage von RAM), Flash-Speicher, Phasenänderungsspeicher („PCM“), andere Speichertypen, andere optische Plattenspeicher, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder beliebige andere Medien ein, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu speichern, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann.
Eine Implementierung der hierin offenbaren Vorrichtungen, Systemen und Verfahren kann über ein Computernetzwerk kommunizieren. Ein „Netzwerk“ ist als eine oder mehrere Datenverbindungen definiert, die den Transport elektronischer Daten zwischen Computersystemen und/oder Modulen und/oder anderen elektronischen Geräten ermöglichen. Wenn Informationen über ein Netzwerk oder eine andere Kommunikationsverbindung (entweder drahtgebunden, drahtlos oder eine Kombination aus drahtgebunden oder drahtlos) an einen Computer übertragen oder diesem bereitgestellt wird, betrachtet der Computer die Verbindung dementsprechend als ein Übertragungsmedium. Übertragungsmedien können ein Netzwerk und/oder Datenverbindungen einschließen, die verwendet werden können, um gewünschte Programmcodemittel in Form von von einem Computer ausführbaren Anweisungen oder Datenstrukturen zu übertragen, und auf die durch einen Universal- oder Spezialcomputer zugegriffen werden kann. Kombinationen aus den Vorstehenden fallen ebenfalls in den Umfang computerlesbarer Medien.
Von einem Computer ausführbare Anweisungen umfassen zum Beispiel Anweisungen und Daten, die, wenn sie an einem Prozessor ausgeführt werden, einen Universalcomputer, Spezialcomputer oder eine Spezialverarbeitungsvorrichtung dazu veranlassen, eine bestimmte Funktion oder Gruppe von Funktionen durchzuführen. Die von einem Computer ausführbaren Anweisungen können zum Beispiel Binärdateien, Zwischenformatanweisungen, wie etwa Assemblersprache, oder sogar Quellcode sein. Obwohl der Gegenstand in für Strukturmerkmale und/oder methodische Handlungen spezifischer Sprache beschrieben wurde, versteht es sich, dass der in den beigefügten Ansprüchen definierte Gegenstand nicht notwendigerweise auf die vorangehend beschriebenen Merkmale oder Handlungen beschränkt ist. Die beschriebenen Merkmale und Handlungen werden vielmehr als beispielhafte Formen der Umsetzung der Ansprüche offenbart.
Fachleute werden anerkennen, dass die Offenbarung in Netzwerkrechenumgebungen mit vielen Arten von Computersystemkonfigurationen durchgeführt werden kann, darunter ein Instrumententafel- oder anderer Fahrzeugcomputer, PCs, Desktop-Computer, Laptopcomputer, Nachrichtenprozessoren, Handgeräte, Multiprozessorsysteme, Unterhaltungselektronik auf Mikroprozessorbasis oder programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputer, Mainframe-Computer, Mobiltelefone, PDAs, Tablets, Pager, Router, Switches, verschiedene Speichergeräte und dergleichen. Diese Offenbarung kann außerdem in Umgebungen mit verteilten Systemen durchgeführt werden, in denen sowohl lokale Computersysteme als auch Remotecomputersysteme, die durch ein Netzwerk (entweder durch drahtgebundene Datenverbindungen, drahtlose Datenverbindungen oder durch eine Kombination aus drahtgebundenen und drahtlosen Datenverbindungen) verbunden sind, Aufgaben durchführen. In einer verteilten Systemumgebung können Programmmodule sowohl auf lokalen als auch Remote-Speicherungsvorrichtungen angesiedelt sein.
Soweit zutreffend, können die hier beschriebenen Funktionen zudem in einem oder mehreren der folgenden ausgeführt werden: Hardware, Software, Firmware, digitale Komponenten oder analoge Komponenten. Ein oder mehrere anwendungsspezifische integrierte Schaltkreise (ASICs) können zum Beispiel programmiert sein, um eins oder mehrere der hierin beschriebenen Systeme und Verfahren auszuführen. Bestimmte Ausdrücke werden in der Beschreibung und den Ansprüchen in Bezug auf bestimmte Systemkomponenten verwendet. Wie ein Fachmann verstehen wird, kann auf Komponenten durch die Verwendung verschiedener Bezeichnungen Bezug genommen werden. In diesem Dokument soll nicht zwischen Komponenten unterschieden werden, die sich dem Namen nach unterscheiden, nicht jedoch von der Funktion her.
Es sei angemerkt, dass die vorangehend erörterten Sensorausführungsformen Computerhardware, -software, -firmware oder eine beliebige Kombination davon umfassen können, um wenigstens einen Teil der Funktionen durchzuführen. Ein Sensor kann zum Beispiel Computercode beinhalten, der konfiguriert ist, um in einem oder mehreren Prozessoren ausgeführt zu werden, und kann eine Hardware-Logikschaltung/elektrische Schaltung beinhalten, die durch den Computercode gesteuert wird. Diese beispielhaften Vorrichtungen werden hierin zu Veranschaulichungszwecken bereitgestellt und sollen nicht der Einschränkung dienen. Ausführungsformen der vorliegenden Offenbarung können in weiteren Arten von Vorrichtungen umgesetzt werden, wie einem Fachmann auf dem oder den Gebieten bekannt.
Wenigstens einige Ausführungsformen der Offenbarung betreffen Computerprogrammprodukte, die eine solche Logik (z. B. in Form von Software) umfassen, die auf einem beliebigen computernutzbaren Medium gespeichert ist. Solche Software veranlasst, wenn sie in einer oder mehreren Datenverarbeitungsvorrichtungen ausgeführt wird, eine Vorrichtung dazu, wie hierin beschrieben zu arbeiten.
Während verschiedene Ausführungsformen der vorliegenden Offenbarung oben beschrieben wurden, versteht es sich, dass diese nur als Beispiel und nicht als Einschränkung dargestellt wurden. Es ist für den Fachmann auf dem Gebiet offensichtlich, dass verschiedene Änderungen in Form und Detail vorgenommen werden können, ohne vom Geist und Umfang der Offenbarung abzuweichen. Daher sollen die Breite und der Umfang der vorliegenden Offenbarung nicht durch eines der vorangehend beschriebenen Ausführungsbeispiele eingeschränkt werden, sondern sollen lediglich gemäß den folgenden Ansprüchen und ihrer Äquivalente definiert sein. Die vorangehende Beschreibung wurde zu Veranschaulichungs- und Beschreibungszwecken dargelegt. Sie ist nicht als umfassend anzusehen und soll die Offenbarung nicht auf die spezifische offenbarte Form beschränken. Viele Modifikationen und Variationen sind in Anbetracht der oben angegebenen Lehren möglich. Ferner ist angemerkt, dass eine beliebige oder alle der vorangehend genannten alternativen Implementierungen in einer beliebigen gewünschten Kombination genutzt werden können, um zusätzliche Hybridimplementierungen der Offenbarung zu bilden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

IEEE-1394-Bus [0024]

Claims

Verfahren zum Wahrnehmen einer Fahrbahn, wobei das Verfahren umfasst: Empfangen von Sensordaten von einer Vielzahl von Kameras, wobei die Sensordaten innerhalb einer Entfernungsgrenze eines Fahrzeugs und innerhalb eines Sichtfeldes für jede Kamera erfasst werden; Empfangen anderer Sensordaten von einer anderen Kamera, wobei die anderen Sensordaten von jenseits der Entfernungsgrenze innerhalb eines anderen schmaleren Sichtfelds erfasst werden; und Fusionieren der Sensordaten und der anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahn.
Verfahren nach Anspruch 1, ferner umfassend autonomes Steuern des Fahrzeugs durch Einstellen der Konfiguration des Fahrzeugs, um Steuerkomponenten des Fahrzeugs auf Grundlage der Fahrbahnansicht zu steuern.
Verfahren nach Anspruch 1, wobei das Empfangen von Sensordaten von einer Vielzahl von Kameras ein Empfangen von Infrarot(IR)-Sensordaten umfasst.
Verfahren nach Anspruch 1, wobei das Empfangen anderer Sensordaten von einer anderen Kamera ein Empfangen von Bildsensordaten und LiDAR-Sensordaten von der anderen Kamera umfasst, wenn die andere Kamera zwischen einem Kameramodus und einem LiDAR-Modus umschaltet.
Verfahren nach Anspruch 4, wobei das Empfangen von Sensordaten von der anderen Kamera ein Empfangen von Sensordaten für ein Objekt, das zwischen der Entfernungsgrenze und einer anderen Entfernungsgrenze erfasst wird, umfasst, wobei die andere Entfernungsgrenze weiter weg vom Fahrzeug ist als die Entfernungsgrenze.
Verfahren nach Anspruch 1, ferner umfassend Empfangen weiterer Sensordaten von einem weiteren einen oder mehreren Sensoren, wobei jeder der weiteren einen oder mehreren Sensoren ausgewählt ist aus: einem Radarsensor, einem Ultraschallsensor, einem globalen Positionierungssystem(GPS)-Sensor und einem inertiale Messungseinheit(IMU)-Sensor; und wobei das Fusionieren der Sensordaten und der anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahn ein Fusionieren der Sensordaten, der anderen Sensordaten und der weiteren Sensordaten zu einer Fahrbahnansicht der Fahrbahn umfasst.
Fahrzeug, wobei das Fahrzeug Folgendes umfasst: eine Kamera, die konfiguriert ist, eine Fahrbahnumgebung innerhalb einer bestimmten Entfernungsgrenze von dem Fahrzeug zu erfassen, wobei die Kamera ein Sichtfeld aufweist; eine andere Kamera, die konfiguriert ist, die Fahrbahnumgebung jenseits der bestimmten Entfernungsgrenze zu erfassen, wobei die andere Kamera ein anderes Sichtfeld aufweist, wobei das andere Sichtfeld schmäler als das Sichtfeld ist; Fahrzeugbetriebskomponenten zum Betreiben des Fahrzeugs; Fahrzeugsteuersysteme, die das Fahrzeug durch Steuern der Fahrzeugbetriebskomponenten autonom betreiben; einen oder mehrere Prozessoren; einen Systemspeicher, der an den einen oder die mehreren Prozessoren gekoppelt ist, wobei der Systemspeicher Anweisungen speichert, die von dem einen oder den mehreren Prozessoren ausführbar sind; wobei der eine oder die mehreren Prozessoren konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um Fahrbahnbedingungen in der Fahrbahnumgebung aus den fusionierten Sensordaten wahrzunehmen, einschließlich der folgenden: Sensordaten von der Kamera zu empfangen, wobei die Sensordaten von zwischen dem Fahrzeug und der bestimmten Entfernungsgrenze innerhalb des Sichtfelds für die Kamera erfasst werden; andere Sensordaten von der anderen Kamera zu empfangen, wobei die anderen Sensordaten von jenseits der Entfernungsgrenze innerhalb des anderen Sichtfelds erfasst werden; die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren; und die Fahrbahnansicht an die Fahrzeugsteuersysteme zu senden, so dass das Fahrzeugsteuersystem die Konfiguration der Fahrzeugbetriebskomponenten auf Grundlage der Fahrbahnansicht einstellen können.
Fahrzeug nach Anspruch 7, wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten von der Kamera zu empfangen, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um Rot-Grün-Blau-Infrarot(RGB-IR)-Bilddaten von der Kamera zu empfangen, wobei die RGB-IR-Bilddaten IR-Pixelinformationen beinhalten; und wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die IR-Pixelinformationen aufgrund dessen, dass das Fahrzeug in einer Umgebung mit verringertem Licht betrieben wird, mit den anderen Sensordaten zu einer Fahrbahnansicht zu fusionieren.
Fahrzeug nach Anspruch 7, wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um andere Sensordaten von der anderen Kamera zu empfangen, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um eine Angabe von nachverfolgten Objekten innerhalb des anderen Sichtfelds zu empfangen, wobei die nachverfolgten Objekte aus einer dreidimensionalen Punktwolke verarbeitet werden, die erzeugt wird, wenn sich die andere Kamera in einem Lasermodus befindet; und wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um andere Sensordaten von der anderen Kamera zu empfangen, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um Rot-Grün-Blau-Infrarot(RGB-IR)-Bilddaten von der anderen Kamera zu empfangen, wobei die Bilddaten erzeugt werden, wenn sich die andere Kamera in einem Kameramodus befindet.
Fahrzeug nach Anspruch 7, ferner umfassend eine zusätzliche Kamera, die konfiguriert ist, um die Fahrbahnumgebung innerhalb der bestimmten Entfernungsgrenze vom Fahrzeug zu erfassen, wobei die weitere Kamera ein weiteres Sichtfeld aufweist, wobei das weitere Sichtfeld im Wesentlichen die gleiche Größe wie das Sichtfeld aufweist; ferner umfassend den einen oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um zusätzliche Sensordaten von der zusätzlichen Kamera zu empfangen, wobei die zusätzlichen Sensordaten von zwischen dem Fahrzeug und der bestimmten Entfernungsgrenze innerhalb des weiteren Sichtfelds für die weitere Kamera erfasst werden; und wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten, die anderen Sensordaten und die weiteren Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren.
Fahrzeug nach Anspruch 7, wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht zu fusionieren, die ein oder mehrere Objekte beinhaltet, ausgewählt aus Folgenden: Fahrbahnmarkierungen, Fahrräder, Fußgänger, andere Fahrzeuge und Schilder.
Fahrzeug nach Anspruch 7, ferner umfassend einen oder mehrere weitere Sensoren, wobei jeder der einen oder mehreren weiteren Sensoren ausgewählt ist aus: einem Radarsensor, einem Ultraschallsensor, einem globalen Positionierungssystem(GPS)-Sensor und einem inertiale Messungseinheit(IMU)-Sensor; ferner umfassend den einen oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um weitere Sensordaten von dem einen oder den mehreren weiteren Sensoren zu empfangen; und wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten und die anderen Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Sensordaten, die anderen Sensordaten und die weiteren Sensordaten zu einer Fahrbahnansicht der Fahrbahnumgebung zu fusionieren.
Fahrzeug nach Anspruch 7, wobei der eine oder die mehreren Prozessoren, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Fahrbahnansicht an die Fahrzeugsteuersysteme zu senden, den einen oder die mehreren Prozessoren umfassen, die konfiguriert sind, um die im Systemspeicher gespeicherten Anweisungen auszuführen, um die Fahrbahnansicht an die Fahrzeugsteuersysteme zu senden, so dass die Fahrzeugsteuersysteme eines der folgenden auf der Fahrbahn autonom durchführen können: Beschleunigen des Fahrzeugs, Verlangsamen des Fahrzeugs, Gänge des Fahrzeugs wechseln, oder Wenden des Fahrzeugs auf der Fahrbahn.
Verfahren zur Verwendung an einem Fahrzeug, wobei das Verfahren zum Wahrnehmen von Fahrbahnbedingungen in einer Fahrbahnumgebung aus fusionierten Sensordaten dient, wobei das Verfahren Folgendes umfasst: für jede einer Vielzahl von Kameras, die am Fahrzeug angebracht ist, Empfangen von Sensordaten von der Kamera, wobei jede der einen oder mehreren Kameras ein Sichtfeld aufweist, wobei die Sensordaten von zwischen dem Fahrzeug und einer bestimmten Entfernungsgrenze entfernt vom Fahrzeug innerhalb des Sichtfelds für die Kamera erfasst werden; für eine andere Kamera, die am Fahrzeug angebracht ist, Empfangen anderer Sensordaten von der anderen Kamera, wobei die andere Kamera ein anderes Sichtfeld aufweist, wobei das andere Sichtfeld schmäler als das Sichtfeld ist, wobei die anderen Sensordaten von jenseits der bestimmten Entfernungsgrenze innerhalb des anderen Sichtfelds erfasst werden; Fusionieren der Sensordaten von jeder der einen oder mehreren Kameras und dem anderen Sensor zu einer Fahrbahnansicht der Fahrbahnumgebung; und Senden der Fahrbahnansicht an Fahrzeugsteuerkomponenten, so dass die Fahrzeugsteuerkomponenten die Konfiguration von Fahrzeugbetriebskomponenten auf Grundlage der Fahrbahnansicht einstellen können, wobei die Fahrzeugsteuersysteme das Fahrzeug durch Steuern der Fahrzeugbetriebskomponenten autonom betreibt.
Verfahren nach Anspruch 14, wobei das Empfangen von Sensordaten von der Kamera für jede einer Vielzahl von Kameras, die am Fahrzeug angebracht ist, ein Empfangen von Rot-Grün-Blau-Infrarot(RGB-IR)-Bilddaten von der Kamera für jede der Vielzahl von Kameras umfasst; und wobei, für eine andere am Fahrzeug angebrachte Kamera, das Empfangen anderer Sensordaten von der anderen Kamera ein Empfangen einer Angabe von nachverfolgten Objekten innerhalb des anderen Sichtfelds umfasst, wobei die nachverfolgten Objekte aus einer dreidimensionalen Punktwolke verarbeitet werden, die erzeugt wird, wenn sich die andere Kamera in einem Lasermodus befindet; und wobei das Fusionieren der Sensordaten von jeder der einen oder mehreren Kameras und dem anderen Sensor zu einer Fahrbahnansicht ein Fusionieren der Rot-Grün-Blau-Infrarot(RGB-IR)-Bilddaten mit der Angabe der nachverfolgten Objekte zu der Fahrbahnansicht umfasst.