DE102020106673A1

DE102020106673A1 - Verfahren und systeme zur erzeugung von radarkarten

Info

Publication number: DE102020106673A1
Application number: DE102020106673.2A
Authority: DE
Inventors: Michael A. Losh; Keun Jae Kim; Orhan BULAN
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2019-04-17
Filing date: 2020-03-11
Publication date: 2020-10-22
Also published as: US20200333798A1; US11347235B2

Abstract

Es werden Systeme und Verfahren zur Generierung einer Karte zur Verwendung bei der Steuerung eines Fahrzeugs bereitgestellt. In einer Ausführungsform umfasst ein Verfahren Folgendes: Empfangen von Luftbilddaten, die eine Umgebung darstellen, durch einen Prozessor; Verarbeiten der Luftbilddaten durch den Prozessor mit einer Vielzahl von trainierten Deep Learning Modellen, um eine vorhergesagte Radarkarte zu erstellen; und Steuern des Fahrzeugs auf der Grundlage der vorhergesagten Radarkarte.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Fahrzeuge und bezieht sich insbesondere auf die Erstellung von Radar-Typ-Karten unter Verwendung von Luftbildkarten und die Verwendung der Radar-Typ-Karten zum Steuern des Fahrzeugs.
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit wenigen oder keinen Benutzereingaben zu navigieren. Ein autonomes Fahrzeug nimmt seine Umgebung mit Hilfe von Sensorvorrichtungen wie Radar, Lidar, Bildsensoren und ähnlichem wahr. Das autonome Fahrzeugsystem nutzt darüber hinaus Informationen aus der Technologie der globalen Positionierungssysteme (GPS), Navigationssysteme, Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Technologie und/oder Drive-by-Wire-Systeme zur Navigation des Fahrzeugs.
Während autonome und halbautonome Fahrzeuge viele potenzielle Vorteile gegenüber traditionellen Fahrzeugen bieten, kann es unter bestimmten Umständen für einen verbesserten Betrieb der Fahrzeuge wünschenswert sein. Autonome Fahrzeuge nutzen beispielsweise Karten, um ihren Standort z.B. innerhalb der Umgebung und insbesondere innerhalb der Fahrspurgrenzen zu bestimmen, und nutzen diesen Standort zur Navigation des Fahrzeugs. Einige Karten stammen von einem Fahrzeug, das sich der Kartierung widmet, das umherfährt und mit Hilfe seiner Sensoren Karteninformationen sammelt. Dieses Verfahren kann teuer und zeitaufwendig sein. Darüber hinaus kann sich die Umgebung auf diese Weise verändern, was eine ständige Aktualisierung der Karten erfordert.
Dementsprechend ist es wünschenswert, verbesserte Systeme und Verfahren zur Erzeugung von Karten für die Nutzung durch ein Fahrzeug bereitzustellen. Darüber hinaus werden weitere wünschenswerte Merkmale und Charakteristika der vorliegenden Offenbarung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen und dem vorgenannten technischen Bereich und Hintergrund deutlich.
BESCHREIBUNG
Es werden Systeme und Verfahren zur Generierung von Karten zur Verwendung bei der Steuerung eines Fahrzeugs bereitgestellt. In einer Ausführungsform umfasst ein Verfahren Folgendes: Empfangen von Luftbilddaten, die eine Umgebung darstellen, durch einen Prozessor; Verarbeiten der Luftbilddaten durch den Prozessor mit einer Vielzahl von trainierten, Deep Learning Modellen, um eine vorhergesagte Radarkarte zu erstellen; und Steuern des Fahrzeugs auf der Grundlage der vorhergesagten Radarkarte.
In verschiedenen Ausprägungen umfasst die Vielzahl der trainierten Deep Learning Modelle ein Wohnmodell, ein Autobahnmodell, ein Vorstadtmodell, ein Stadtmodell und ein ländliches Modell. In verschiedenen Ausführungsformen umfasst die Verarbeitung der Luftbilddaten: Erzeugen einer Softmax-Ausgabe für jede einer Vielzahl von Klassen, wobei die Erzeugung der Softmax-Ausgabe für die Reichweite der Vielzahl von Klassen für jedes der Wohnmodell, das Autobahnmodell, das Vorstadtmodell, das Stadtmodell und das Landmodell erzeugt wird; Kombinieren der Softmax-Ausgabe für jede Klasse der Vielzahl von Klassen aus jedem der Vielzahl von Modellen auf der Grundlage eines maximalen Pixelwertes; und Kombinieren der Softmax-Ausgabe aus jeder Klasse, um die vorhergesagte Radarkarte zu erzeugen.
In verschiedenen Ausführungsformen umfasst das Verfahren die Erzeugung eines Histogramms auf der Grundlage der Luftbilddaten, und wobei die Verarbeitung der Luftbilddaten auf dem Histogramm basiert. In verschiedenen Ausführungsformen umfasst das Verfahren: Bestimmen einer Vielzahl von Klassen, die mit dem Histogramm verbunden sind; Erzeugen eines Bildes für jede der Vielzahl von Klassen; und wobei die Verarbeitung der Luftdaten auf den Bildern basiert.
In verschiedenen Ausführungsformen basiert die Bestimmung der Klassenvielfalt auf einem Modus eines Pixelwertes in der Klasse.
In verschiedenen Ausführungsformen beinhaltet das Verfahren das Training der Vielzahl von Deep Learning Modellen auf der Grundlage eines Datensatzes, der Luftbilder und beschriftete Radarbilder umfasst.
In verschiedenen Ausprägungen beinhaltet das Verfahren die Optimierung von Hyperparametern des Deep Learning Modells während der Ausbildung.
In verschiedenen Ausführungsformen umfassen die Hyperparameter eine Anzahl von Schichten, eine Filtergröße, eine Filtertiefe, Klassengewichte in einer Verlustfunktion und eine Anzahl von Epochen.
In verschiedenen Ausführungsformen enthält die vorhergesagte Radarkarte Radarreflexionswerte.
In einer anderen Ausführungsform umfasst ein System: eine Datenspeichervorrichtung, die eine Vielzahl von trainierten, Deep Learning Modellen speichert; und eine Steuerung, die so eingerichtet ist, dass sie durch einen Prozessor Luftbilddaten empfängt, die eine Umgebung des Fahrzeugs darstellen, die Luftbilddaten mit der Vielzahl von trainierten Deep Learning Modellen verarbeitet, um eine vorhergesagte Radarkarte zu erstellen, und das Fahrzeug auf der Grundlage der vorhergesagten Radarkarte steuert.
In verschiedenen Ausprägungen umfasst die Vielzahl der trainierten Deep Learning Modelle ein Wohnmodell, ein Autobahnmodell, ein Vorstadtmodell, ein Stadtmodell und ein ländliches Modell.
In verschiedenen Ausführungsformen verarbeitet die Steuerung die Luftbilddaten durch: Erzeugen einer Softmax-Ausgabe für jede einer Vielzahl von Klassen, wobei die Erzeugung der Softmax-Ausgabe für die Reichweite der Vielzahl von Klassen für jedes der Wohnmodelle, das Autobahnmodell, das Vorstadtmodell, das Stadtmodell und das Landmodell erzeugt wird; Kombinieren der Softmax-Ausgabe für jede Klasse der Vielzahl von Klassen aus jedem der Vielzahl von Modellen auf der Grundlage eines maximalen Pixelwertes; und Kombinieren der Softmax-Ausgabe aus jeder Klasse, um die vorhergesagte Radarkarte zu erzeugen. In verschiedenen Ausführungsformen ist die Steuerung ferner so eingerichtet, dass sie ein Histogramm auf der Grundlage der Luftbilddaten erzeugt, und wobei die Luftbilddaten auf der Grundlage des Histogramms verarbeitet werden.
In verschiedenen Ausführungsformen ist die Steuerung ferner so eingerichtet, dass sie eine Vielzahl von Klassen bestimmt, die dem Histogramm zugeordnet sind, ein Bild für jede der Vielzahl von Klassen erzeugt und die Luftdaten auf der Grundlage der Bilder verarbeitet. In verschiedenen Ausführungsformen ist die Steuerung außerdem so eingerichtet, dass sie die Vielzahl der Klassen auf der Grundlage eines Modus eines Pixelwertes in der Klasse bestimmt.
In verschiedenen Ausführungsformen ist die Steuerung ferner so eingerichtet, dass sie die Vielzahl der Deep Learning Modelle auf der Grundlage eines Datensatzes trainiert, der Luftbilder und beschriftete Radarbilder umfasst.
In verschiedenen Ausführungsformen wird die Steuerung weiter eingerichtet, um Hyperparameter des Deep Learning Modells während der Ausbildung zu optimieren.
In verschiedenen Ausführungsformen umfassen die Hyperparameter eine Anzahl von Schichten, eine Filtergröße, eine Filtertiefe, Klassengewichte in einer Verlustfunktion und eine Anzahl von Epochen.
In einer weiteren Ausführungsform umfasst ein Fahrzeug: eine Datenspeichervorrichtung, die eine Vielzahl von trainierten Deep Learning Modellen speichert, wobei die trainierten Deep Learning Modelle ein Wohnmodell, ein Autobahnmodell, ein Vorstadtmodell, ein Stadtmodell und ein Landmodell umfassen; und eine Steuerung, die so eingerichtet ist, dass sie durch einen Prozessor Luftbilddaten empfängt, die eine Umgebung des Fahrzeugs darstellen, die Luftbilddaten mit der Vielzahl von trainierten Deep Learning Modellen verarbeitet, um eine vorhergesagte Radarkarte zu erzeugen, und das Fahrzeug auf der Grundlage der vorhergesagten Radarkarte steuert.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Bezugsziffern gleiche Elemente bezeichnen und wobei:

1 ist ein funktionales Blockdiagramm, das ein autonomes Fahrzeug mit einem Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen darstellt;
2 ist ein Datenflussdiagramm, das ein autonomes Fahrsystem einschließlich des Kartierungssystems in Übereinstimmung mit verschiedenen Ausführungsformen veranschaulicht;
3 ist ein Datenflussdiagramm, das das Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen veranschaulicht;
4 ist eine Illustration der Ausbildungsschritte, die das Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen durchführen kann;
5 ist eine Illustration der Vorhersageschritte, die vom Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen durchgeführt werden können;
6 ist eine Veranschaulichung der Modellierungsschritte, die vom Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen durchgeführt werden können; und
7 ist eine Illustration eines Kartierungsverfahrens, die vom Kartierungssystem in Übereinstimmung mit verschiedenen Ausführungsformen durchgeführt werden kann.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und den Gebrauch nicht einschränken. Darüber hinaus besteht nicht die Absicht, sich an eine ausdrückliche oder implizite Theorie zu binden, die im vorhergehenden Fachgebiet, im Hintergrund, in einer kurzen Zusammenfassung oder in der folgenden detaillierten Beschreibung dargestellt wird. Wie hier verwendet, bezieht sich der Begriff Modul auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder gruppenweise) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es sollte geschätzt werden, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmwarekomponenten realisiert werden können, die so eingerichtet sind, dass sie die angegebenen Funktionen erfüllen. Eine Ausführungsform der vorliegenden Offenbarung kann beispielsweise verschiedene integrierte Schaltkreiskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder ähnliches, die unter der Kontrolle eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte eine Vielzahl von Funktionen ausführen können. Darüber hinaus werden diejenigen, die sich in der Kunst auskennen, es zu schätzen wissen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken der Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und andere funktionelle Aspekte der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen Abbildungen gezeigten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Unter Bezugnahme auf 1 wird ein in der Regel mit 100 gezeichnetes Kartierungssystem entsprechend verschiedener Ausführungsformen einem Fahrzeug 10 zugeordnet. Im Allgemeinen verarbeitet das Kartierungssystem 100 die von einem oder mehreren Luftsensoren gelieferten Daten, im Folgenden als Luftdaten bezeichnet, um eine Karte der Umgebung zu bestimmen. In verschiedenen Ausführungsformen enthalten die Luftdaten Bilder, die eine von oben nach unten gerichtete Sicht auf die Umwelt darstellen. In verschiedenen Ausführungsformen wird die Karte in einem radarähnlichen Format dargestellt, wie z.B. einem Reflexions-Gitterformat, das die vorhergesagte Intensität der Radarreflexion als Top-Down-Bild kodiert, wobei jedes Pixel die Radarreflektivität jedes kompakten oder ausgedehnten Objekts/jeder kompakten oder ausgedehnten Objekte repräsentiert, das/die an den horizontalen Gitterkoordinaten für das Pixel gefunden wurde(n), und von jedem physikalischen Merkmal stammen kann, das die Funkenergie aus der Perspektive eines Fahrzeugs reflektieren könnte, das sich auf einer Straße oder in der Nähe einer befahrenen Straße bewegt. Beispiele für reflektierende Objekte, die für die Kartierung von Straßen relevant sind, sind Bordsteine am Straßenrand, Leitplanken, Zäune, Leitungsmasten, Straßenschildmasten oder Schilderbrücken, Fahrbahnschranken und Gebäudeumrisse. Wie man sich vorstellen kann, kann die Karte in anderen Formaten dargestellt werden oder sogar andere physikalische Abtastmodalitäten kodieren, einschließlich Lidarreflexionsformate oder andere Formate. In verschiedenen Ausführungsformen wandelt das Kartierungssystem 100 die Luftbilddaten mittels maschineller Lernverfahren in Radardaten um. Der Einsatz von maschinellem Lernen ermöglicht einen Konvertierungsprozess mit einem oder mehreren Schritten.
Das Kartierungssystem 100 kann dann die Karte verwenden, um das Fahrzeug 10 während der Fahrt zu lokalisieren. Das Fahrzeug 10 navigiert dann auf der Grundlage der Lokalisierung intelligent. Wie in 1 dargestellt, befindet sich das Kartierungssystem an Bord des Fahrzeugs 10. In verschiedenen anderen Ausführungsformen kann das Kartierungssystem 100 auf einem vom Fahrzeug 10 entfernten System (oder auf einem vom Fahrzeug 10 entfernten System) implementiert werden und die Karte kann auf das Fahrzeug 10 zur Verwendung bei der Lokalisierung des Fahrzeugs heruntergeladen werden. Die Offenbarung wird exemplarisch im Zusammenhang mit dem Kartierungssystem 100 diskutiert, das an Bord des Fahrzeugs 10 implementiert wird.
Wie in 1 dargestellt, besteht das Fahrzeug 10 im Allgemeinen aus einem Fahrgestell 12, einer Karosserie 14, Vorderrädern 16 und Hinterrädern 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke der Karosserie 14 mit dem Fahrgestell 12 drehgekoppelt.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Kartierungssystem 100 ist in das autonome Fahrzeug 10 (im Folgenden als autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist zum Beispiel ein automatisch gesteuertes Fahrzeug, das Passagiere von einem Ort zum anderen befördert. Das Fahrzeug 10 ist in der abgebildeten Ausführungsform als PKW dargestellt, aber es sollte geschätzt werden, dass jedes andere Fahrzeug, einschließlich Motorräder, LKWs, Sport Utility Vehicles (SUVs), Freizeitfahrzeuge (RVs), Wasserfahrzeuge, Flugzeuge oder einfach nur Roboter usw., ebenfalls verwendet werden kann. In einer beispielhaften Ausführungsform ist das autonome Fahrzeug 10 ein so genanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. Ein Level-Vier-Automatisierungssystem weist auf eine „hohe Automatisierung“ hin und bezieht sich auf die fahrmodus-spezifische Leistung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-Automatisierungssystem bedeutet „Vollautomatisierung“ und bezieht sich auf die Vollzeitleistung eines automatisierten Fahrsystems in allen Aspekten der dynamischen Fahraufgabe unter allen Straßen- und Umgebungsbedingungen, die von einem menschlichen Fahrer bewältigt werden können. Wie zu schätzen ist, kann das autonome Fahrzeug 10 in verschiedenen Ausführungsformen jeden beliebigen Automatisierungsgrad umsetzen.
Wie gezeigt, umfasst das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie z.B. einen Fahrmotor, und/oder ein Brennstoffzellen-Antriebssystem umfassen. Das Getriebesystem 22 ist so eingerichtet, dass es die Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16-18 entsprechend wählbarer Geschwindigkeitsverhältnisse überträgt. Je nach Ausführung kann das Getriebesystem 22 ein Stufenautomatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so eingerichtet, dass es die Fahrzeugräder 16-18 mit Bremsmoment versorgt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Drahtbremse, ein regeneratives Bremssystem, wie z.B. eine elektrische Maschine, und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Obwohl das Lenksystem 24 zur Veranschaulichung mit einem Lenkrad dargestellt wird, kann es in einigen Ausführungsformen, die im Rahmen dieser Offenbarung in Betracht gezogen werden, kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst eine oder mehrere Sensorvorrichtungen 40a-40n, die die beobachtbaren Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs erfassen 10. Die Sensorvorrichtungen 40a-40n können unter anderem Radare, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Inertialmesseinheiten und/oder andere Sensoren umfassen. In verschiedenen Ausführungsformen enthalten die Sensorvorrichtungen 40a-40n einen oder mehrere Bildsensoren, die Bildsensordaten erzeugen, die vom Lokalisierungssystem 100 verwendet werden.
Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale wie z.B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26 steuern, aber nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale darüber hinaus Innen- und/oder Außenmerkmale des Fahrzeugs umfassen, wie z.B. Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw., aber nicht ausschließlich. (nicht nummeriert).
Das Kommunikationssystem 36 ist so eingerichtet, dass es drahtlos Informationen zu und von anderen Einheiten 48 übermittelt, wie z.B., aber nicht nur, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte (genauer beschrieben im Hinblick auf 2). In einer beispielhaften Ausführung ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das für die Kommunikation über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung der IEEE 802.11-Normen oder durch zelluläre Datenkommunikation eingerichtet ist. Zusätzliche oder alternative Kommunikationsverfahren, wie z.B. ein dedizierter Kurzstreckenkommunikationskanal (DSRC), werden jedoch ebenfalls im Rahmen dieser Offenbarung in Betracht gezogen. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiweg-Kommunikationskanäle mit kurzer bis mittlerer Reichweite, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards.
Das Datenspeichergerät 32 speichert Daten zur Verwendung bei der automatischen Steuerung des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert das Datenspeichergerät 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen umfassen die definierten Karten die aus dem Mapping-System 100 generierten Karten. Wie man sich vorstellen kann, kann das Datenspeichergerät 32 Teil der Steuerung 34 sein, getrennt von der Steuerung 34, oder Teil der Steuerung 34 und Teil eines separaten Systems.
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und ein computerlesbares Speichergerät oder -medium 46. Bei dem Prozessor 44 kann es sich um einen beliebigen kundenspezifischen oder kommerziell erhältlichen Prozessor, eine Zentraleinheit (CPU), eine Grafikverarbeitungseinheit (GPU), einen Hilfsprozessor unter mehreren mit der Steuerung 34 verbundenen Prozessoren, einen Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), einen Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Befehlen handeln. Das computerlesbare Speichergerät bzw. die computerlesbaren Speichermedien 46 können z.B. flüchtige und nichtflüchtige Speicherung in Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM) umfassen. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zur Speicherung verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 abgeschaltet ist. Das computerlesbare Speichergerät oder -medium 46 kann unter Verwendung einer beliebigen Anzahl bekannter Speichergeräte wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisches PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder jedes anderen elektrischen, magnetischen, optischen oder kombinierten Speichergeräts, das in der Lage ist, Daten zu speichern, von denen einige ausführbare Befehle darstellen, die von der Steuerung 34 bei dem Steuern des autonomen Fahrzeugs 10 verwendet werden, implementiert werden.
Die Anweisungen können ein oder mehrere separate Programme enthalten, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Die Befehle empfangen und verarbeiten, wenn sie vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 aus und erzeugen Steuersignale an das Aktuatorsystem 30, um die Komponenten des autonomen Fahrzeugs 10 auf der Grundlage der Logik, Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl nur eine Steuerung 34 in 1 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 enthalten, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zur automatischen Steuerung von Merkmalen des autonomen Fahrzeugs 10 zu erzeugen.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Kartierungssystem 100 verankert und verarbeiten, wenn sie vom Prozessor 44 ausgeführt werden, Luftdaten zur Bestimmung der Umgebungskarte. Das Kartierungssystem 100 erzeugt beispielsweise aus den Luftbilddaten eine Radarkarte, die Luftbilder (z.B. von einer Kamera von oben aufgenommen) der Umgebung enthält.
Wie man sich vorstellen kann, bietet der hier offenbarte Gegenstand bestimmte erweiterte Merkmale und Funktionen für ein autonomes Standardfahrzeug oder Basisfahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Ferntransportsystem (nicht abgebildet), das das autonome Fahrzeug 10 koordiniert. Zu diesem Zweck können ein autonomes Fahrzeug und ein autonomes fahrzeugbasiertes Ferntransportsystem modifiziert, verbessert oder anderweitig ergänzt werden, um die unten näher beschriebenen zusätzlichen Funktionen zu ermöglichen.
Entsprechend verschiedener Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 50, wie in 2 dargestellt. D.h. es werden geeignete Software- und/oder Hardwarekomponenten der Steuerung 34 (z.B. der Prozessor 44 und das computerlesbare Speichergerät 46) verwendet, um ein autonomes Antriebssystem 50 bereitzustellen, das in Verbindung mit Fahrzeug 10 eingesetzt wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 50 nach Funktion, Modul oder System organisiert sein. Wie in 2 dargestellt, kann das autonome Fahrsystem 50 beispielsweise ein Computer-Vision-System 54, ein Positionierungssystem 56, ein Leitsystem 58 und ein Fahrzeugsteuerungssystem 60 umfassen. Wie zu schätzen ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig vielen Systemen (z.B. kombiniert, weiter unterteilt usw.) organisiert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer Vision System 54 Sensordaten und sagt die Anwesenheit, den Standort, die Klassifizierung und/oder den Weg von Objekten und Merkmalen der Umgebung des Fahrzeugs 10 voraus. In verschiedenen Ausführungsformen kann das Computer Vision System 54 Informationen von mehreren Sensoren aufnehmen, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radars und/oder eine beliebige Anzahl anderer Sensortypen.
Das Positionierungssystem 56 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z.B. eine lokale Position relativ zu einer Karte, eine genaue Position relativ zur Fahrspur einer Straße, die Fahrzeugrichtung, die Geschwindigkeit usw.) des Fahrzeugs 10 relativ zur Umgebung zu bestimmen. Das Leitsystem 58 verarbeitet Sensordaten zusammen mit anderen Daten, um einen Weg für das Fahrzeug 10 zu bestimmen. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der festgelegten Bahn.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 Techniken des maschinellen Lernens, um die Funktionalität der Steuerung 34 zu unterstützen, wie z.B. Merkmalserkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Bestimmung der Bodenwahrheit und ähnliches.
Wie oben kurz erwähnt, kann das Kartierungssystem 100 aus 1 ganz oder teilweise in die ADS 50 aufgenommen werden, z.B. als Kartierungssystem 70. Die Kartierung 70 empfängt beispielsweise Luftbilddaten von einer entfernten Quelle 72 und liefert dem Positionierungssystem 56 Karten zur Bestimmung eines Standortes des Fahrzeugs 10 in Bezug auf die Umgebung.
Wie im Hinblick auf 3 und unter weiterer Bezugnahme auf 1 und 2 ausführlicher dargestellt, umfasst das Kartierungssystem 70 ein Trainingsmodul 102, ein Luftdatenverarbeitungsmodul 104, ein Radarkartenvorhersagemodul 108 und einen Modelldatenspeicher 110.
Das Trainingsmodul 102 erhält als Eingangsdaten 109, das einen Satz von Luftbildern 110 und entsprechende Radarbilder 112 enthält. In verschiedenen Ausführungsformen kann das Trainingsmodul 102 mehrere Sätze von Bildern 110, 112 erhalten, wobei jeder Satz einem bestimmten geographischen Typ des auf den Bildern dargestellten Gebietes entspricht. Die verschiedenen geographischen Typen können zum Beispiel Wohn-, Autobahn-, Vorort-, Stadt- und Landgebiete umfassen. Wie zu schätzen ist, können auch andere geographische Typen in verschiedenen Ausführungsformen einbezogen werden.
Das Ausbildungsmodul 102 trainiert ein Deep Learning Modell für jeden geographischen Typ, basierend auf dem Satz von Bildern 110, 112, die dem jeweiligen geographischen Typ entsprechen. Zum Beispiel wird, wie in 4 gezeigt, ein Satz von Wohnbildern 210, 212 verwendet, um ein Wohnmodell 214 zu trainieren. Ein Satz von Autobahnbildern 216, 218 wird verwendet, um ein Autobahnmodell 220 zu trainieren. Ein Satz von Vorstadtbildern 222, 224 wird verwendet, um ein Vorstadtmodell 226 zu trainieren. Ein Satz von Stadtbildern 228, 230 wird verwendet, um ein Stadtmodell 232 zu trainieren. Ein Satz ländlicher Bilder 234, 236 wird verwendet, um ein Autobahnmodell 238 zu trainieren.
Während der Schulung werden die Architektur und/oder die Hyperparameter jedes Modells 214, 220, 226, 232, 238 optimiert. Die Hyperparameter können die Anzahl der Schichten, die Filtergröße und -tiefe, die Klassengewichte in der Verlustfunktion und die Anzahl der Epochen umfassen. Zum Beispiel können die Anzahl der Klassen und die Klassengewichte definiert und optimiert werden, wie in 5 dargestellt.
In 5 werden die Luftbilder 110 vorverarbeitet, um ein bearbeitetes Bild 242 zu erzeugen. In verschiedenen Ausführungsformen wird bei der Vorverarbeitung ein Bildhistogramm 240 erzeugt. Das Bildhistogramm 240 enthält eine grafische Darstellung der Tonwertverteilung im Luftbild 110 und stellt die Anzahl der Pixel für jeden Tonwert dar. Das Bild wird dann in vier Klassen (Klasse 1, Klasse 2, Klasse 3 und Klasse 4) geclustert. Wie zu schätzen ist, kann eine beliebige Anzahl von Klassen in verschiedenen Ausführungsformen implementiert werden. Die Pixelwerte in jeder Klasse werden dann durch den Modus der Pixelwerte in ihrer jeweiligen Klasse ersetzt. Der Modus kann der Mittelwert, der Median oder das Maximum der Pixelwerte in der Gruppe sein.
Zusätzlich zur Vorverarbeitung kann für jede Klasse z.B. ein Gewicht berechnet werden: ${Gewicht}_{klasse i} = \frac{Anzahl der Pixel Klasse i}{\sum_{i}^{n} Anzahl der Pixel Klasse i} .$
Die berechneten Gewichte werden dann als Parameter einer Verlustfunktion der tiefen Lernmodelle verwendet. Wie in 5 gezeigt, ist das Originalbild 110 8-Bit, d.h. jedes Pixel in einem Bild kann einen von 256 Werten annehmen. Da jedes Modell die Abbildung zwischen einem Pixel im Luftbild 110 auf ein Pixel in einem Radarbild lernen muss, muss es lernen, 256 Klassen zu klassifizieren. Durch die Vorverarbeitung des Ausgangsbildes wird die Anzahl der Klassen reduziert, und jedes Modell kann schneller trainiert und besser verallgemeinert werden.
Unter Rückbezug auf 3 werden die trainierten Deep Learning Modelle 114 dann im Modelldatenspeicher 108 gespeichert.
Das Luftdatenverarbeitungsmodul 104 empfängt als Eingabe die Luftdaten 116. Die Luftbilddaten 116 werden, wie oben beschrieben, auf der Grundlage der Klassen vorverarbeitet. Das Luftbilddatenverarbeitungsmodul 104 ruft die trainierten Modelle 114 aus dem Modelldatenspeicher 108 ab und verarbeitet die vorverarbeiteten Luftbilddaten 116 mit jedem der trainierten Modelle 114. Die trainierten Modelle erzeugen jeweils Softmax-Outputs 118 für jede Klasse.
Zum Beispiel werden, wie in 6 dargestellt, Luftbilddaten 300 empfangen und mit dem Wohnmodell 214, dem Autobahnmodell 220, dem Vorstadtmodell 226, dem Stadtmodell 232 und dem Landmodell 238 verarbeitet. Die Verarbeitung durch das Wohnmodell 214 erzeugt Softmax-Ausgaben für die Klassen 1 302, 2 304, 3 306 und 4 308. Die Verarbeitung durch das Autobahnmodell 220 erzeugt Softmax-Ausgaben für die Klassen 1 310, 2 312, 3 314 und 4 316. Die Verarbeitung durch das Vorstadtmodell 226 erzeugt Softmax-Ausgaben für die Klassen 1 318, 2 320, 3 322 und 4 324. Die Verarbeitung durch das Stadtmodell 232 erzeugt Softmax-Ausgaben für die Klassen 1 326, 2 328, 3 330 und 4 332. Die Verarbeitung durch das ländliche Modell 238 erzeugt Softmax-Ausgaben (oder Wahrscheinlichkeitswerte) für die Klassen 1 234, 2 236, 3 238 und 4 240.
Unter Bezugnahme auf 3 erhält das Radarkartenvorhersagemodul 106 als Eingang die Softmax-Ausgänge 118 von den Modellen 114. Das Radarkartenvorhersagemodul 106 erzeugt aus den Softmax-Ausgängen 118 eine Radarkartenvorhersage 120. Wie in 6 dargestellt, kombiniert das Radarkartenvorhersagemodul 106 beispielsweise die Softmax-Ausgaben 302-340 in jeder Klasse von jedem der Modelle 214, 220, 226, 232, 238, um eine endgültige Softmax-Ausgabe in den Klassen 1 242, 2 2 244, 3 246 und 4 248 zu erzeugen. In verschiedenen Ausführungsformen kombiniert das Radarkartenvorhersagemodul 106 die Softmax-Ausgaben, indem es das Maximum der Pixel aus den Ausgaben in der entsprechenden Klasse entnimmt und dann über 4 Klassen für jedes Pixel normiert. Das Radarkartenvorhersagemodul 106 wandelt dann die maximalen Softmax-Ausgaben für die Klassen 1 242, 2 244, 3 und 4 in die vorhergesagte Radarkarte 120 um. Beispielsweise werden für jede Pixelposition in den vier Bildern die höchsten Werte ausgewählt. Zum Beispiel, wenn Pixel bei (1,1) 0,7 für ein Bild der Klasse 1 und 0,1 für den Rest hat. Das endgültige Radarbild für Pixel bei (1,1) wird als Klasse 1 des Radar-Pixelwerts zugewiesen. Die Zuordnung zwischen den Klassen zu den Radarreflexionswerten wird manuell eingestellt (z. B. Klasse 1 = 10, Klasse 2 = 30, Klasse 3 = 80, Klasse 4 = 200).
Die vorhergesagte Radarkarte 120 wird dann gespeichert und/oder zur Verwendung bei der Steuerung des Fahrzeugs 10 zur Verfügung gestellt.
Unter Bezugnahme auf 7 und weiterhin unter Bezugnahme auf 1-3 zeigt ein Flussdiagramm ein Kartierungsverfahren 500, das mit dem Kartierungssystem 100 nach verschiedenen Ausführungsformen durchgeführt werden kann. Wie man angesichts der Offenbarung erkennen kann, ist die Reihenfolge der Operationen innerhalb des Verfahrens 500 nicht auf die sequentielle Ausführung beschränkt, wie in 7 dargestellt, sondern kann je nach Fall und in Übereinstimmung mit der vorliegenden Offenbarung in einer oder mehreren unterschiedlichen Anordnungen durchgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 500 auf der Grundlage eines oder mehrerer vorbestimmter Ereignisse geplant werden und/oder während des Betriebs des autonomen Fahrzeugs 10 kontinuierlich laufen.
Vor der Durchführung des Verfahrens 500 werden die Modelle 114 mit den oben beschriebenen Trainingssätzen von Luftbilddaten und gekennzeichneten Radardaten trainiert.
Danach kann das Verfahren 500 mit 505 beginnen. Die Antennendaten 116 werden empfangen und bei 510 vorverarbeitet. Die Modelle 114 (z.B. das Wohnmodell, das Autobahnmodell, das Vorstadtmodell, das Stadtmodell und das Landmodell) werden aus dem Modelldatenspeicher 108 unter 520 abgerufen. Die Luftbilddaten 116 werden mit jedem der trainierten Modelle 114 verarbeitet, um die Softmax-Outputs 118 für jede Klasse (z.B. Klasse 1, Klasse 2, Klasse 3 und Klasse 4) bei 530 zu erhalten. Die Softmax-Ausgaben 118 von jedem der Modelle 114 werden zur endgültigen Softmax-Ausgabe für jede Klasse kombiniert, indem die maximale Softmax-Ausgabe pro Pixel bei 540 genommen wird. Die endgültigen Softmax-Ausgaben werden dann in die vorhergesagte Radarkarte 120 bei 550 umgewandelt und in einem Datenspeichergerät 46 zur Verwendung bei der Steuerung des Fahrzeugs 10 bei 560 gespeichert. Danach kann das Verfahren bei 570 enden.
Obwohl in der vorstehenden detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine große Anzahl von Variationen gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder beispielhafte Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken.
Vielmehr wird die vorstehende detaillierte Beschreibung den Fachleuten einen praktischen Fahrplan für die Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen liefern. Es sollte verstanden werden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne dass der Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Äquivalenten festgelegt ist, verlassen wird.

Claims

Ein Verfahren zum Steuern eines Fahrzeugs, umfassend: Empfangen, durch einen Prozessor, von Luftbilddaten, die eine Umgebung darstellen; Verarbeiten, durch den Prozessor, der Luftbilddaten mit einer Vielzahl von trainierten, Deep Learning Modellen, um eine vorhergesagte Radarkarte zu erstellen; und Steuern des Fahrzeugs auf der Grundlage der vorhergesagten Radarkarte.
Das Verfahren nach Anspruch 1, wobei die Vielzahl der trainierten Modelle für Deep Learning ein Wohnmodell, ein Autobahnmodell, ein Vorstadtmodell, ein Stadtmodell und ein Landmodell umfasst.
Das Verfahren nach Anspruch 2, wobei die Verarbeitung der Luftbilddaten umfasst: Erzeugen einer Softmax-Ausgabe für jede einer Vielzahl von Klassen, wobei das Erzeugen der Softmax-Ausgabe für die Reichweite der Vielzahl von Klassen für jedes des Wohnmodells, des Autobahnmodells, des Vorstadtmodells, des Stadtmodells und des Landmodells erzeugt wird; Kombinieren der Softmax-Ausgabe für jede Klasse der Vielzahl von Klassen aus jedem der Vielzahl von Modellen auf der Grundlage eines maximalen Pixelwertes; und Kombinieren der Softmax-Ausgabe jeder Klasse, um die vorhergesagte Radarkarte zu erstellen.
Das Verfahren nach Anspruch 1, das weiterhin das Erzeugen eines Histogramms auf der Grundlage der Luftbilddaten umfasst, und wobei das Verarbeiten der Luftbilddaten auf dem Histogramm basiert.
Das Verfahren Anspruch 4, ferner umfassend: Bestimmen einer Vielzahl von Klassen, die mit dem Histogramm verbunden sind; Erzeugen eines Bildes für jede der Vielzahl von Klassen; und wobei die Verarbeitung der Luftbilddaten auf den Bildern basiert.
Das Verfahren nach Anspruch 5, wobei das Bestimmen der Vielzahl von Klassen auf einem Modus eines Pixelwertes in der Klasse basiert.
Das Verfahren nach Anspruch 1, ferner umfassend das Trainieren der Vielzahl von Deep Learning Modellen auf der Grundlage eines Datensatzes, der Luftbilder und beschriftete Radarbilder umfasst.
Das Verfahren nach Anspruch 7, ferner umfassend das Optimieren von Hyperparametern des Deep Learning Modells während des Trainings, wobei die Hyperparameter eine Anzahl von Schichten, eine Filtergröße, eine Filtertiefe, Klassengewichte in einer Verlustfunktion und eine Anzahl von Epochen umfassen.
Das Verfahren nach Anspruch 1, wobei die vorhergesagte Radarkarte Radarreflexionswerte enthält.
Ein System zum Steuern eines Fahrzeuges, umfassend: eine Datenspeichervorrichtung, die eine Vielzahl von trainierten Modellen für Deep Learning speichert; und eine Steuerung, die eingerichtet ist, durch einen Prozessor Luftbilddaten zu empfangen, die eine Umgebung des Fahrzeugs darstellen, die Luftbilddaten mit der Vielzahl von trainierten, Deep Learning Modellen verarbeitet, um eine vorhergesagte Radarkarte zu erzeugen, und das Fahrzeug auf der Grundlage der vorhergesagten Radarkarte steuert.