DE102018117777A1

DE102018117777A1 - Tief integrierte Fusionsarchitektur für automatisierte Fahrsysteme

Info

Publication number: DE102018117777A1
Application number: DE102018117777.1A
Authority: DE
Inventors: Shuqing Zeng; Wei Tong; Upali P. Mudalige
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-07-24
Filing date: 2018-07-23
Publication date: 2019-01-24
Also published as: CN109291929B; US10395144B2; CN109291929A; US20190026597A1

Abstract

Verfahren und Systeme zum Steuern eines autonomen Fahrzeugs sind vorgesehen. Ein Sensorfusionssystem mit einem Sensorsystem zum Bereitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN) sind vorgesehen. Das CNN beinhaltet eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.

Description

TECHNISCHES GEBIET
Das technische Gebiet bezieht sich im Allgemeinen auf autonome Fahrzeuge, insbesondere auf Systeme und Verfahren zum Bereitstellen autonomer Fahrsystemfunktionen, insbesondere aber auf ein Sensorfusionssystem für ein autonomes Fahrsystem, auf ein Fahrzeug mit einem derartigen Sensorfusionssystem und auf ein Verfahren zum Zusammenführen von Sensordaten eines autonomen Fahrzeugs.
EINLEITUNG
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug tastet seine Umgebung mithilfe von einer oder mehreren Erfassungsvorrichtungen, wie beispielsweise Radar, Lidar, Bildsensoren und dergleichen ab. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Die Berechnung und Extraktion verkehrsrelevanter Daten in einem autonomen Fahrzeug erfolgt häufig in einem Sensorfusionssystem. Das Sensorfusionssystem empfängt typischerweise Sensordaten, sichert und verarbeitet diese und stellt die verarbeiteten Daten höheren Automatisierungsfunktionen zur Verfügung, um autonome oder teilautonome Daten zu ermöglichen. In vielen Fällen arbeiten die Sensoren in mehreren Modalitäten - z. B. kann ein Sensor optische Daten erzeugen, während ein anderer Lidar-Punktwolkendaten und/oder Radardaten erzeugt, die zu einem kohärenten Verständnis der Fahrzeugumgebung verschmolzen werden.
Daher ist es wünschenswert, eine effiziente Datenfusion von multimodalen Sensoren zu ermöglichen. Darüber hinaus ist es wünschenswert, eine Kombination mehrerer funktionsspezifisch trainierter Netzwerke zu einem einzigen Netzwerk mit einer umfassenderen Funktionsfähigkeit zu ermöglichen, um Trainingszeit und Rechenleistung zu reduzieren. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Ein Sensorfusionssystem für ein autonomes Fahrsystem ist vorgesehen. Das Sensorfusionssystem beinhaltet ein Sensorsystem zum Bereitstellen von Umgebungszustandsinformationen und ein gefaltetes neuronales Netzwerk (CNN). Das gefaltete neuronale Netzwerk umfasst eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, und eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
In verschiedenen Ausführungsformen vereint die gemeinsame Faltungsschicht Funktionen einer Vielzahl von funktionsspezifisch trainierten neuronalen Netzwerken.
In verschiedenen Ausführungen umfasst die Empfangsschnittstelle eine kohärente Kamera-API, wobei die kohärente Kamera-API für den Empfang von Informationen in Bezug auf eine Vision-Pipeline angepasst ist.
In verschiedenen Ausführungsformen wird die gemeinsame Faltungsschicht konfiguriert, um aus den extrahierten Verkehrsinformationen ein visuelles Merkmal-Karte zu erzeugen.
In verschiedenen Ausführungen umfasst die Empfangsschnittstelle eine Sensor-API, worin die Sensor-API so angepasst ist, dass sie Informationen über die den Objekten in den Verkehrsinformationen zugeordneten Bereichsdaten empfängt.
In verschiedenen Ausführungsformen umfasst das Sensorfusionssystem weiterhin eine Bereichsdatenverarbeitungseinheit, worin die Bereichsdatenverarbeitungseinheit angepasst ist, um Informationen von der Sensor-API zu empfangen.
In verschiedenen Ausführungsformen ist die Bereichsdatenverarbeitungseinheit konfiguriert, um aus den empfangenen Bereichsdaten eine Bereichsdatenkarte zu erzeugen.
In verschiedenen Ausführungsformen teilen sich die gemeinsame Faltungsschicht und die Bereichsdatenverarbeitungseinheit eine gleiche semantische Klassifizierung, wobei die Bereichsdatenverarbeitungseinheit konfiguriert ist, um Informationen an die gemeinsame Faltungsschicht zu übertragen und/oder umgekehrt.
In verschiedenen Ausführungsformen sind die Bereichsdatenverarbeitungseinheit und die gemeinsame Faltungsschicht so aufgebaut, dass sie zur exklusiven und/oder gegenseitigen Merkmalsidentifikation trainiert werden können.
In verschiedenen Ausführungsformen ist die Vielzahl der vollständig verbundenen Schichten so konfiguriert, dass sie Daten von der gemeinsamen Faltungsschicht und von der Bereichsdatenverarbeitungseinheit empfangen, die sich auf eine erlernte optische Merkmalskarte bzw. eine Bereichsdatenkarte beziehen. Jede der Vielzahl von vollständig verbundenen Schichten ist konfiguriert, um Objekte zu identifizieren, die jeweils zu einer der verschiedenen Objektklassen gehören.
In verschiedenen Ausführungsformen umfasst das Sensorfusionssystem weiterhin mindestens eine Umgebungsdarstellungsschicht, worin die mindestens eine Umgebungsdarstellungsschicht angepasst ist, um Informationen von den vollständig verbundenen Schichten zu empfangen.
In verschiedenen Ausführungsformen umfasst das Sensorfusionssystem weiterhin mindestens eine Objektebenen-Fusionsschicht, worin die mindestens eine Objektebenen-Fusionsschicht angepasst ist, um Informationen von den vollständig verbundenen Schichten und/oder von der mindestens einen Umgebungsdarstellungsschicht zu empfangen.
Es ist ein Fahrzeug vorgesehen, welches das hierin beschriebene Sensorfusionssystem gemäß einer oder mehrerer der beschriebenen Ausführungsformen beinhaltet.
Ein Verfahren zum Verschmelzen von Sensordaten eines autonomen Fahrsystems ist vorgesehen. In einer Ausführungsform beinhaltet das Verfahren die Schritte: Empfangen von Umgebungszustandsinformationen, Extrahieren von Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen durch eine gemeinsame Faltungsschicht, Erfassen von Objekten, die verschiedenen Objektklassen angehören, aus den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
Es wird angemerkt, dass das Verfahren in verschiedenen Ausführungsformen in Übereinstimmung mit den Funktionen von einer oder mehreren der hierin beschriebenen Ausführungsformen des Sensorfusionssystems modifiziert ist.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug mit einer Steuerung gemäß einer Ausführungsform veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen von 1 gemäß einer Ausführungsform veranschaulicht;
3 ist ein Funktionsblockdiagramm, das eine Steuerung gemäß einer Ausführungsform veranschaulicht;
4 ist eine schematische Darstellung eines Funktionsblockdiagramms eines Sensorfusionssystems gemäß einer Ausführungsform;
5 ist eine schematische Darstellung eines Flussdiagramms der Verschmelzung von Sensordaten gemäß einer Ausführungsform; es handelt sich dabei um die Darstellung der Daten;
6 ist eine schematische Darstellung der Schritte eines Verfahrens gemäß einer Ausführungsform; und
7 ist eine schematische Darstellung eines Trainingsprozesses des Sensorfusionssystems gemäß verschiedenen Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Unter Bezugnahme auf 1 wird ein Fahrzeug 10 gemäß verschiedenen Ausführungsformen dargestellt. Das Fahrzeug 10 beinhaltet im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16 und 18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. In verschiedenen Ausführungsformen erzeugt das autonome Fahrsystem ein Notrufsignal und sendet das Notrufsignal an ein Kommunikationssystem, nachdem das Fahrzeug in den vorbestimmten Zustand gebracht wurde und wenn das Bedienerunfähigkeitsauslösesignal noch für eine vorbestimmte Zeitdauer vorhanden ist oder falls der Bediener nicht innerhalb der vorbestimmten Zeitdauer reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist konfiguriert, um Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16 und 18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16 und 18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16 und 18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellantriebs-Vorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Landkarten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 34 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellgliedsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 zum Bereitstellen von autonomen Fahrsystemfunktionen, wie sie in Bezug auf eine oder mehrere der hierin beschriebenen Ausführungsformen beschrieben sind, verkörpert. Die Steuerung 34 oder eines ihrer Funktionsmodule ist konfiguriert, um die beschriebenen Funktionen in Bezug auf eine oder eine Kombination von Ausführungsformen des Sensorfusionssystems zu implementieren.
In verschiedenen Ausführungsformen beinhaltet das Sensorfusionssystem das Sensorsystem 28 (1) und die Steuerung 34. In verschiedenen Ausführungsformen ist die Steuerung 34 konfiguriert, um ein gefaltetes neuronales Netzwerk (CNN) und dessen hierin beschriebene Funktionen zu implementieren. Das Sensorfusionssystem umfasst eine Empfangsschnittstelle, die konfiguriert ist, um Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht (insbesondere eine einzelne Faltungsschicht), die konfiguriert ist, um Verkehrsinformationen von den empfangenen Umgebungszustandsinformationen aus dem Sensorfusionssystem 28 zu extrahieren, und eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse (enthält Straßenmerkmale oder Straßenparameter), einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren. Das Kommunikationssystem 36 ist dazu konfiguriert, Verkehrsinformationen von einer externen Einheit oder einem externen System zu empfangen und die Verkehrsinformationen an die Steuerung 34, insbesondere an das Leitsystem 78, zu übermitteln.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Mobilfunkanbietersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des drahtlosen Trägersystems 60 kann ein zweites drahtloses Trägersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Mobilfunkanbietersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl von Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende Teilnehmerinformationen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedener Ausführungsformen realisiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird. In verschiedenen Ausführungsformen ist das hierin beschriebene Sensorfusionssystem 74 mit seinen Funktionen Bestandteil des ADS 70 und implementiert zumindest einen Teil der Funktionen des ADS 70.
In verschiedenen Ausführungsformen sind die Anweisungen des autonomen Antriebssystems 70 je nach Funktion oder System gegliedert. Das autonome Fahrsystem 70 kann beispielsweise, wie in 3 dargestellt, ein Sensorfusionssystem 74, wie hierin beschrieben, ein Positioniersystem 76, ein Lenksystem 78 und ein Fahrzeugsteuerungssystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Sensorfusionssystem 74 Sensordaten und prognostiziert Anwesenheit, Lage, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungen kann das Sensorfusionssystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radars und/oder eine beliebige Anzahl anderer Arten von Sensoren. Das Sensorfusionssystem 74 verschmilzt den Eingang von mehreren Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Unter Bezugnahme auf 4 wird nun ein mehrschichtiges Sensorfusionssystem 500 dargestellt, das gemäß verschiedenen Ausführungsformen in das Sensorfusionssystem 74 von 3 eingebunden werden kann. Wie dargestellt, beinhaltet das mehrschichtige Sensorfusionssystem 500 eine Schnittstellenschicht, eine Faltungsschicht, eine Bereichsdatenschicht, eine Kartenschicht, eine vollständig verbundene Schicht, eine Umgebungsschicht und eine Fusionsschicht.
In verschiedenen Ausführungsformen beinhaltet die Schnittstellenschicht eine Empfangsschnittstelle, die konfiguriert ist, um eine leistungsfähige Kamera-Anwendungsprogrammierschnittstelle (API) 502 und eine Sensor-API 504 bereitzustellen. Die kohärente Kamera-API 502 und die Sensor-API 504 können gemäß verschiedenen Ausführungsformen auch als Empfangsschnittstelle bezeichnet werden. Die kohärente Kamera-API 502 empfängt Bilddaten (z. B. zweidimensionale Arrays von Ganzzahl- oder Fließkommawerten) von einer Kamera (oder anderen Bildgebungsvorrichtungen) und verarbeitet diese Bilddaten über die Faltungsschicht 506, wie im Folgenden näher beschrieben wird. Der Sensor-API 504 empfängt Umgebungszustandsinformationen von anderen Sensorvorrichtungen, wie beispielsweise Lidar und/oder Radar, und leitet die Umgebungszustandsinformationen an die Bereichsdatenverarbeitungsschicht 508 weiter.
In verschiedenen Ausführungsformen beinhaltet die Bereichsdatenschicht eine Bereichsdatenverarbeitungseinheit 508, welche die Informationen von der Sensor-API empfängt und eine Bereichsdatenkarte 512 erzeugt. Die Bereichsdatenkarte 512 beinhaltet eine Karte der Tiefen oder Entfernungen, die den aus der Umgebung identifizierten Merkmalen zugeordnet sind.
In verschiedenen Ausführungsformen beinhaltet die Faltungsschicht eine gemeinsame Faltungsschicht 506, die aus den Bilddaten visuelle Merkmale, wie beispielsweise Verkehrsinformationen, extrahiert und eine erlernte visuelle Merkmal-Karte 510 erzeugt. Die gemeinsame Faltungsschicht 506 extrahiert die visuellen Merkmale unter Verwendung eines trainierten gefalteten neuronalen Netzwerks (CNN). In verschiedenen Ausführungsformen teilen sich die gemeinsame Faltungsschicht 506 und die Bereichsdatenverarbeitungseinheit 508 eine gleiche semantische Klassifizierung, worin die Bereichsdatenverarbeitungseinheit 508 konfiguriert ist, um Informationen an die gemeinsame Faltungsschicht 506 zu übertragen und/oder umgekehrt.
In verschiedenen Ausführungsformen beinhaltet die vollständig verbundene Schicht eine Vielzahl von vollständig verbundenen Schichten 514, 516 und 518, die konfiguriert sind, um Objekte anhand der Klasse zu erkennen. In verschiedenen Ausführungsformen beinhalten die Klassen Objekte/Freiräume 514, Straßenmerkmale 516 und Stixel 518. Die vollständig verbundenen Schichten erkennen die Objekte basierend auf vollständig verbundenen neuronalen Netzwerken und der visuellen Merkmal-Karte 510 und der Bereichsdatenkarte 512.
Die Schichten 506, 508, 510, 512, 514, 516 und 518 implementieren unter weiterer Bezugnahme auf 4 effektiv eine CNN, die ein oder mehrere Eingangsbilder von der Kamera-API 502 (z. B. ein optisches Bild der Umgebung von den Sensoren 28) sowie Sensordaten von der Sensor-API 504 (z. B. Lidar, Radar und andere derartige Daten) und erzeugt eine Reihe von Ausgaben (aus den Schichten 514, 516, 518), die damit zusammenhängen, ob und inwieweit bekannte Straßenmerkmale, Objekte und Freiräume in diesen Bildern vorhanden sind. In diesem Zusammenhang kann der Ausgang von der kohärenten Kamera-API 502 ohne Beschränkung der Allgemeingültigkeit als „Bild“ bezeichnet werden, auch wenn dieser eine Vielzahl von Sensordatentypen und/oder eine Abfolge von Bildern beinhalten kann.
Im Allgemeinen implementieren die Faltungsschichten 506 eine Faltungsphase, die auf dem von der kohärenten Kamera-API 502 empfangenen Bild abläuft, gefolgt von der Merkmalextraktion und Klassifizierung, um eine erste Ebene der Merkmal-Karte zu erzeugen (nicht veranschaulicht). Insbesondere die Faltungsphase der Faltungsebene 506 verwendet einen Faltungsfilter geeigneter Größe, der einen Satz von Merkmalskarten erzeugt, die kleineren Unterteilungen des von der Kamera-API 502 empfangenen Eingangsbilds entsprechen. Wie bekannt ist, ist die Faltung als ein Prozess translationsinvariant - d. h. Merkmale von Interesse (z. B. Straßenmerkmale, Objekte im Sichtfeld des AV 10, und Freiraum) können unabhängig von ihrer Position innerhalb des Bildes identifiziert werden.
Die Unterabtastung wird dann durchgeführt, um einen zweiten Satz von kleineren Merkmalskarten zu erzeugen, die effektiv „geglättet“ werden, um die Empfindlichkeit der Faltungsfilter gegenüber Rauschen und anderen Variationen zu reduzieren. Diese Merkmalskarten können dann, wie in der Technik bekannt ist, einer weiteren Faltung unterzogen werden, um einen großen Satz kleinerer Merkmalskarten zu erzeugen, die dann unterabgetastet werden, um die erlernte visuelle Merkmalskartenschicht 510 zu erzeugen.
Während einer Klassifizierungsphase werden die Merkmalskarten der visuellen Merkmalskartenschicht 510 über die vollständig verbundenen Schichten 514 und 516 verarbeitet, deren Ausgabe von der Umgebungsdarstellungsschicht 520 sowie der Ausgabe der „Stixel“ vollständig verbundenen Schichten 518 genutzt wird. Die Ausgabe der Bereichsdatenkarte 512 wird ebenfalls durch eine vollständig verbundene Schicht 518 verarbeitet.
Im Allgemeinen kann das in 4 veranschaulichte CNN in einem überwachten Modus trainiert werden, indem ihm eine große Anzahl (d. h. ein „Korpus“) von beschrifteten Eingangsbildern (z. B. von bekannten Straßenmerkmalen, Objekten und Freiraum des Typs, auf den die Kamera-API 502 wahrscheinlich trifft), gefolgt von einem Rückpropagationsprozess zur Verbesserung des Trainings des CNN präsentiert wird. Das resultierende Maschinenlernmodell wird dann in eine oder mehreren Komponenten des AV 10 implementiert. Anschließend wird das trainierte CNN während des normalen Betriebs verwendet, um Sensordaten zu verarbeiten, die von der kohärenten Kamera-API 502 und der Sensor-API 504 empfangen werden, wenn sich das Fahrzeug 10 durch seine Umgebung bewegt und auf Straßenmerkmale, Objekte und Freiräume trifft.
Es versteht sich, dass die vorliegenden Ausführungsformen nicht auf das oben beschriebene CNN-Modell beschränkt sind. Eine Vielzahl von maschinellen Lerntechniken kann verwendet werden, einschließlich beispielsweise wiederkehrender neuronaler Netze (RNN), zufällige Waldklassifizierer, Bayes-Klassifizierer (z. B. naive Bayes), Hauptkomponentenanalyse (PCA), Unterstützungsvektormaschinen, lineare Diskriminantanalyse, und dergleichen.
In verschiedenen Ausführungsformen beinhaltet die Umgebungsschicht eine Umgebungsdarstellungsschicht 520, die Informationen aus der Vielzahl der vollständig verbundenen Schichten 514, 516 und 518 empfängt.
In verschiedenen Ausführungsformen beinhaltet die Fusionsschicht mindestens eine Objektebenen-Fusionsschicht 522, die Informationen von den vollständig verbundenen Schichten 514, 516 und 518 und/oder von der Umgebungsdarstellungsschicht 520 empfängt. Die mindestens eine Objektebenen-Fusionsschicht ist konfiguriert, um: ein erkanntes Objekt durch Verschmelzen von Informationen aus den Entfernungsdaten und der mindestens einen Umgebungsdarstellungsschicht zu verfolgen und Schätzungen für die Position und Geschwindigkeit des Objekts bereitzustellen; eine Verschmelzung in einer Freiraumdarstellung unter Verwendung von Entfernungsdaten und des von der Kamera erfassten Freiraums durchzuführen und einen verschmolzenen Freiraum auszugeben; und eine Verschmelzung in der Stixeldarstellung unter Verwendung von Entfernungsdaten und Kameradaten durchzuführen und verschmolzene Stixel auszugeben.
Das Mehrschichtsystem von 4 ist insofern von Vorteil, als dass eine einzelne Faltungsschicht 506 verwendet wird, um eine gemeinsame erlernte visuelle Merkmalskarte 510 zu erzeugen, sondern drei getrennt trainierte Faltungsschichten (d. h. je eine zum Erkennen von Freiräumen, Objekten und Verkehrsmerkmalen). Das System von 4 (über Umgebungsdarstellungsschichten 520) erkennt somit effektiv Merkmale in der Umgebung und klassifiziert die erkannten Objekte probabilistisch - wobei jedem eine Wahrscheinlichkeit zugeordnet wird.
So wird beispielsweise bei einer hohen Wahrscheinlichkeit einer Fußgängerklassifizierung für ein Objekt die Wahrscheinlichkeit ausgeschlossen, dass es sich bei diesem Objekt um ein Fahrzeug oder einen Freiraum handelt und umgekehrt. In verschiedenen Ausführungsformen besteht eine enge Integration der Entfernungsdaten, da die Entfernungsdatenverarbeitungseinheit 508 und die einzelne gemeinsame Faltungsschicht 506 die gleiche semantische Klassifizierung und die gleichen Fähigkeiten aufweisen, die aus der Entfernungsdatenverarbeitung (durch die Entfernungsdatenverarbeitungseinheit 508) erlernt wurden und auf die Bildverarbeitung (durch die gemeinsame Faltungsschicht 506) übertragen werden können.
Unter Bezugnahme auf 5 wird nun ein Flussdiagramm/Funktionsblockdiagramm 600 dargestellt, das den Datenfluss von einer Reihe von Sensoren (z. B. innerhalb des Sensorsystems 28) zum erzeugten Ausgang 622 schematisch darstellt. In der veranschaulichten Ausführungsform liefern ein oder mehrere Bereichssensoren 602 und ein oder mehrere optische Sensoren, wie beispielsweise die Kameras 604, Umgebungsdaten wie vorstehend erläutert. Eine Punktwolke (z. B. eine Lidar-Punktwolke) wird von der Bereichsdatenverarbeitungseinheit 508 (4) im Verarbeitungsschritt 618 auf die Bildebene der Kamera(s) 604 projiziert und anschließend in Schritt 620 eine Bereichskarte erstellt, auf die in Schritt 622 ein Algorithmus für den Bereichsvorschlag angewendet wird.
Die Funktionen 618, 620 und 622 sind Teil einer Bereichsverarbeitungs-Pipeline, während die Verarbeitungsdaten der Kamera 604 zu einer Bildverarbeitungs-Pipeline gehören. Kamera 604 stellt den Faltungsschichten Daten zur Verfügung (506 in 4) und die Faltungsschichten verarbeiten die Daten in Schritt 606, sodass eine Merkmalskarte (510 in 4) bei 608 erzeugt wird. In Schritt 610 wird basierend auf der Merkmalskarte ein Regionsvorschlagsnetz ermittelt. In einem weiteren Schritt 612 werden das Regionsvorschlagsnetz aus der Vision-Pipeline und der Regionsvorschlagsalgorithmus aus der Bereichs-Pipeline zu einem Region of Interest (ROI)-Netz in Schritt 612 verschmolzen, das wiederum mit den visuellen Daten in einer ROI-Pooling-Schicht in Schritt 614 verschmolzen wird. Basierend auf den Daten aus dem Funktionsmodul oder Schritt 614 werden ein Klassifizierungsnetz 616 und ein Lokalisierungsnetz (gebundene Box oder Stixel-Regression) 624 erstellt und bilden die Grundlage für die kombinierte Bild- und Bereichskarte 626.
Unter Bezugnahme auf 6 wird nun ein Flussdiagramm 700 eines exemplarischen Verfahrens zum Verschmelzen von Sensordaten eines autonomen Fahrsystems gemäß verschiedenen Ausführungsformen dargestellt. In einem ersten Schritt 702 werden Umgebungszustandsinformationen über eine Empfangsschnittstelle empfangen. In einem zweiten Schritt 704 werden Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen extrahiert. In einem dritten Schritt 706 werden basierend auf den extrahierten Verkehrsinformationen Objekte verschiedener Objektklassen erkannt, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
Unter Bezugnahme auf 7 wird ein Trainingsprozess des mit Bezug auf 4 beschriebenen Sensorfusionssystems dargestellt. Eine Fahrzeugtrainingsdatenbank 802 und eine Fußgängertrainingsdatenbank 804 sind vorgesehen und ein Fahrzeugdetektor 806 wird basierend auf den Datenbanken 802, 804 erzeugt, um eine einheitliche Fahrzeug- und Fußgängertrainingsdatenbank 808 zusammen mit einem Fahrzeug- und Fußgängerdetektor 810 zu erhalten. Basierend auf einer „harten“ Trainingsdatenbank 812 und einem kleinen Satz von Datenbanken mit Fahrzeug- und Fußgängerkennzeichnung 814 wird ein verfeinerter Fahrzeug- und Fußgängerdetektor 816 erhalten.
In einem ersten Schritt wird der Fahrzeugdetektor 806 unter Verwendung der Fahrzeugtrainingsdatenbank 802 trainiert. Anschließend werden in einem zweiten Schritt negative Proben in der Fußgängertrainingsdatenbank 804 klassifiziert und doppelte Negative in der Fußgängertrainingsdatenbank 804 als negative und positive Proben als einheitliche Datenbank 808 ausgewählt. Anschließend wird der Fahrzeug- und Fußgängerdetektor 810 mit der vereinheitlichten Datenbank 808 trainiert und die Fahrzeugtrainingsdatenbank 802 wird der vereinheitlichten Datenbank 808 hinzugefügt, wobei alle negativen Proben neu klassifiziert werden, und der Fahrzeug- und Fußgängerdetektor 810 neu trainiert wird. In verschiedenen Ausführungsformen wird der Schritt des Hinzufügens der Fahrzeugtrainingsdatenbank 802 zur vereinheitlichten Datenbank 808 mit allen negativen Proben neu klassifiziert und das Fahrzeug und der Fußgängerdetektor 810 einige Male wiederholt. Die „harte“ Trainingsdatenbank 812 enthält Proben mit einem großen Fehler und die Datenbank 812 wird für die Verfeinerung des Fahrzeug- und Fußgängerdetektors zusammen mit dem gemeinsamen beschrifteten Datensatz aus der Datenbank 814 ausgewählt. Somit können frühzeitig erlernte Fähigkeiten auf die nächste Lernphase übertragen und die gewünschten Eigenschaften schrittweise entwickelt werden. Dieser Ansatz beschreibt einen evolutionären Prozess, in dem neue Objektklassen und Objekte im Zeitablauf wiederholt erlernt werden.
Zusammenfassend lässt sich sagen, dass die hierin beschriebenen Systeme und Verfahren eine tief integrierte Fusion zur Optimierung der Bildverarbeitung in automatisierten Fahrwahrnehmungssystemen bieten, indem sie gelernte Informationen aus Teilsystemen übertragen und Berechnungsschichten vereinheitlichen. In verschiedenen Ausführungsformen ergibt sich so ein durchgängiger Lernalgorithmus, der eine effiziente Datenfusion von multimodalen Sensoren ermöglicht. Die von der Fußgänger- und/oder Fahrzeugerkennung gelernten Merkmalskarten profitieren vom Lernen der Straßenmerkmale und der Stixel-Erstellung. Fertigkeiten aus der Bereichsdatenverarbeitung können auf die Bildverarbeitung übertragen werden und umgekehrt. Das hierin beschriebene System und Verfahren ermöglicht die Kombination mehrerer funktionsspezifisch trainierter neuronaler Netzwerke zu einem einzigen Netzwerk mit einer umfassenderen Funktionsfähigkeit zu ermöglichen, um Trainingszeit des Netzwerks und Rechenleistung zu reduzieren. Das kombinierte Training von Merkmalen löst Konflikte an jedem Standort, da nur eine gemeinsame Faltungsschicht vorhanden ist. Die Bereichsdaten sind eng integriert, um die Latenzzeit des gesamten Netzwerks zu reduzieren, wobei die rechnerische Redundanz der Faltungsschichten in tiefen Lernalgorithmen entfernt wird.
In verschiedenen Ausführungsformen konstruiert der tief lernende Fusionsalgorithmus (die hierin beschriebene Architektur des Sensorfusionssystems) eine hybride Darstellung (gebundene Boxen, Segmentierung, Stixel) durch Kombination von einem dichten Erdbeobachtungs-(EO)-Bild und einer Karte mit geringer Reichweite und viele bereits trainierte Netzwerke werden zu einem einzigen Netzwerk zusammengefasst.
Das hierin beschriebene Sensorfusionssystem entdeckt in verschiedenen Ausführungsformen Merkmale und Darstellungen durch ein ganzheitliches Training. Die Bereichskarte und die visuelle Merkmalskarte werden als Eingänge für vollständig verbundene Schichten und zum Erkennen und Lokalisieren von Objekten in den Bildern verwendet, um semantische Klassen (z. B. Fußgänger, Fahrzeuge, usw.) von Objekten zu klassifizieren. Ein gemeinsames Training wird durchgeführt, um Objekte, Freiräume, Fahrspuren, Straßenebenenmerkmale und Stixel für allgemeine Hindernisse zu erkennen.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Sensorfusionssystem für ein autonomes Fahrsystem, umfassend: ein Sensorsystem zum Bereitstellen von Umgebungszustandsinformationen, ein gefaltetes neuronales Netzwerk; worin das gefaltete neuronale Netzwerk umfasst: eine Empfangsschnittstelle, die konfiguriert ist, um die Umgebungszustandsinformationen vom Sensorsystem zu empfangen, eine gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte zu erkennen, die zu verschiedenen Objektklassen gehören, basierend auf den extrahierten Verkehrsinformationen, worin die Objektklassen mindestens eine von einer Straßenmerkmalklasse, einer statischen Objektklasse und einer dynamischen Objektklasse beinhalten.
System nach Anspruch 1, worin die gemeinsame Faltungsschicht Funktionen einer Vielzahl von funktionsspezifisch trainierten neuronalen Netzwerken kombiniert.
System nach Anspruch 1, worin die Empfangsschnittstelle eine kohärente Kamera-API umfasst, die konfiguriert ist, um Informationen in Bezug auf eine Vision-Pipeline zu empfangen, und/oder worin die Empfangsschnittstelle eine Sensor-API umfasst, worin die Sensor-API angepasst ist, um Informationen über die den Objekten in den Verkehrsinformationen zugeordneten Bereichsdaten zu empfangen.
System nach Anspruch 1, worin die gemeinsame Faltungsschicht konfiguriert ist, um eine visuelle Merkmalskarte basierend auf den extrahierten Verkehrsinformationen zu erzeugen.
System nach Anspruch 4, worin das System ferner eine Bereichsdatenverarbeitungseinheit umfasst, worin die Bereichsdatenverarbeitungseinheit angepasst ist, um Informationen von der Sensor-API zu empfangen, worin die Bereichsdatenverarbeitungseinheit konfiguriert ist, um eine Bereichsdatenkarte basierend auf den empfangenen Bereichsdaten zu erzeugen.
System nach Anspruch 5, worin die gemeinsame Faltungsschicht und die Bereichsdatenverarbeitungseinheit eine gleiche semantische Klassifizierung teilen und worin die Bereichsdatenverarbeitungseinheit konfiguriert ist, um Informationen an die gemeinsame Faltungsschicht zu übertragen und/oder umgekehrt.
System nach Anspruch 6, worin die Bereichsdatenverarbeitungseinheit und die gemeinsame Faltungsschicht zum Trainieren der exklusiven und/oder gegenseitigen Merkmalsidentifikation konfiguriert sind.
System nach Anspruch 5, worin die Vielzahl von vollständig verbundenen Schichten konfiguriert ist, um Daten von der gemeinsamen Faltungsschicht und von der Bereichsdatenverarbeitungseinheit zu empfangen, wobei sich die Daten auf eine gelernte visuelle Merkmalskarte bzw. eine Bereichsdatenkarte beziehen, worin jede der Vielzahl von vollständig verbundenen Schichten konfiguriert ist, um Objekte zu identifizieren, die jeweils einer der verschiedenen Objektklassen angehören.
System nach Anspruch 1, worin das System ferner mindestens eine Umgebungsdarstellungsschicht umfasst, worin die mindestens eine Umgebungsdarstellungsschicht angepasst ist, um Informationen von den vollständig verbundenen Schichten zu empfangen.
Fahrzeug, umfassend ein Sensorfusionssystem, wobei das Sensorfusionssystem ein gefaltetes neuronales Netzwerk aufweist, umfassend: - eine Empfangsschnittstelle, die zum Empfangen von Umgebungszustandsinformationen konfiguriert ist, - eine einzelne gemeinsame Faltungsschicht, die konfiguriert ist, um Verkehrsinformationen aus den empfangenen Umgebungszustandsinformationen zu extrahieren, - eine Vielzahl von vollständig verbundenen Schichten, die konfiguriert sind, um Objekte, die verschiedenen Objektklassen angehören, aus den extrahierten Verkehrsinformationen zu erkennen, worin die Objektklassen mindestens einen Parameter der Gruppe von Parametern umfassen, die aus Straßenparametern, statischen Objekten und dynamischen Objekten besteht.