DE102019114578A1

DE102019114578A1 - Wahrnehmungsunsicherheitsmodellierung aus tatsächlichen wahrnehmungssystemen für autonomes fahren

Info

Publication number: DE102019114578A1
Application number: DE102019114578.3A
Authority: DE
Inventors: Hyukseong Kwon; Kyungnam Kim
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-08-07
Filing date: 2019-05-29
Publication date: 2020-02-13
Also published as: CN110816547A; US20200050191A1

Abstract

Es sind Systeme und Verfahren zum Steuern eines autonomen Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren folgendes: Empfangen von Sensordaten von einem oder mehreren Sensoren des Fahrzeugs; Verarbeiten der Sensordaten durch einen Prozessor, um Objektdaten zu bestimmen, die mindestens ein Element in einer Szene einer Umgebung des Fahrzeugs anzeigen; Verarbeiten der Sensordaten durch den Prozessor, um Grundwahrheitsdaten zu bestimmen, die dem Element zugeordnet sind; Bestimmen eines Unsicherheitsmodells durch den Prozessor, basierend auf den Grundwahrheitsdaten und den Objektdaten; Trainieren von Fahrzeugfunktionen durch den Prozessor basierend auf dem Unsicherheitsmodell; und Steuern des Fahrzeugs basierend auf den trainierten Fahrzeugfunktionen.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich allgemein auf autonome Fahrzeuge und insbesondere auf Systeme und Verfahren zum Modellieren von Unsicherheiten eines Wahrnehmungssystems, die beim Trainieren von Entscheidungsfunktionen verwendet werden, die ein autonomes Fahrzeug steuern.
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit geringfügiger oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug beinhaltet im Allgemeinen ein Wahrnehmungssystem, das seine Umgebung unter Verwendung von Erfassungsvorrichtungen wie Radar, Lidar, Bildsensoren und dergleichen erfasst und die Sensorinformationen verarbeitet, um die Umgebung zu verstehen und das Fahrzeug zu navigieren. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Während autonome Fahrzeuge und halbautonome Fahrzeuge viele potenzielle Vorteile gegenüber herkömmlichen Fahrzeugen bieten, kann es unter bestimmten Umständen wünschenswert sein, den Betrieb der Fahrzeuge zu verbessern. Beispielsweise erfordern Entscheidungsfunktionen eines autonomen Fahrzeugs in bestimmten Fällen häufig eine Schulung. Die Schulung wird häufig mit einer Vielzahl von Daten aus der realen Welt durchgeführt, die über das Wahrnehmungssystem erfasst werden. Das Abrufen solcher Daten und das Trainieren der Entscheidungsfunktionen kann zeitaufwändig und kostspielig sein.
Dementsprechend ist es wünschenswert, Systeme und Verfahren bereitzustellen, die Wahrnehmungssystemunsicherheiten modellieren und die Modelle beim Trainieren der Entscheidungsfunktionen verwenden. Die Modelle können anstelle der Vielzahl realer Daten verwendet werden, wodurch Zeit und Entwicklungskosten gespart werden. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Es sind Systeme und Verfahren zum Steuern eines autonomen Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren folgendes: Empfangen von Sensordaten von einem oder mehreren Sensoren des Fahrzeugs; Verarbeiten der Sensordaten durch einen Prozessor, um Objektdaten zu bestimmen, die mindestens ein Element in einer Szene einer Umgebung des Fahrzeugs anzeigen; Verarbeiten der Sensordaten durch den Prozessor, um Grundwahrheitsdaten zu bestimmen, die dem Element zugeordnet sind; Bestimmen eines Unsicherheitsmodells durch den Prozessor, basierend auf den Grundwahrheitsdaten und den Objektdaten; Trainieren von Fahrzeugfunktionen durch den Prozessor basierend auf dem Unsicherheitsmodell; und Steuern des Fahrzeugs basierend auf den trainierten Fahrzeugfunktionen.
In verschiedenen Ausführungsformen enthält das Unsicherheitsmodell eine Entfernungsunsicherheit. In verschiedenen Ausführungsformen enthält das Unsicherheitsmodell eine Orientierungsunsicherheit. In verschiedenen Ausführungsformen enthält das Unsicherheitsmodell eine Geschwindigkeitsunsicherheit.
In verschiedenen Ausführungsformen basiert das Bestimmen des Unsicherheitsmodells auf einem Vergleich eines Objektorts der Objektdaten mit einem Bodenwahrheitsort der Bodenwahrheitsdaten.
In verschiedenen Ausführungsformen umfasst die Schulung das Erzeugen von Wahrnehmungssystemdaten basierend auf dem Unsicherheitsmodell und das Schulen der Fahrzeugfunktionen basierend auf den erzeugten Wahrnehmungssystemdaten.
In verschiedenen Ausführungsformen umfassen die Objektdaten einen Begrenzungsrahmen, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Objekterfassungsverfahren identifiziert wird.
In verschiedenen Ausführungsformen umfassen die Objektdaten ferner einen Abstand von dem Fahrzeug zu dem Element und einen Ort des Elements innerhalb der Szene, der basierend auf dem Begrenzungsrahmen bestimmt wird.
In verschiedenen Ausführungsformen umfassen die Bodenwahrheitsdaten einen Begrenzungsrahmen, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Bodenwahrheitserfassungsverfahren identifiziert wird.
In verschiedenen Ausführungsformen umfassen die Bodenwahrheitsdaten ferner einen Abstand vom Fahrzeug zm Element und einen Ort des Elements innerhalb der Szene, der basierend auf dem Begrenzungsrahmen bestimmt wird.
In einer Ausführungsform umfasst ein System für ein autonomes Fahrzeug Folgendes: ein nichtflüchtiges computerlesbares Medium, das Folgendes beinhaltet: ein erstes Modul, das eingestellt wurde, um durch einen Prozessor Sensordaten von einem oder mehreren Sensoren des Fahrzeugs zu empfangen, die Sensordaten zu verarbeiten, um ein Objekt zu bestimmen Daten, die mindestens ein Element innerhalb einer Szene einer Umgebung des Fahrzeugs anzeigen, und die Sensordaten verarbeiten, um Bodenwahrheitsdaten zu bestimmen, die dem Element zugeordnet sind; ein zweites nichtflüchtiges Modul, das konfiguriert ist, um durch einen Prozessor ein Unsicherheitsmodell basierend auf den Grundwahrheitsdaten und den Objektdaten zu bestimmen; und ein drittes Modul, das konfiguriert wurde, um durch einen Prozessor Wahrnehmungssystemdaten basierend auf dem Unsicherheitsmodell zu erzeugen und Fahrzeugfunktionen einer Fahrzeugsteuerung basierend auf den erzeugten Wahrnehmungssystemdaten zu trainieren.
In verschiedenen Ausführungsformen enthält das Unsicherheitsmodell eine Entfernungsunsicherheit. System nach Anspruch 11, wobei das Unsicherheitsmodell eine Orientierungsunsicherheit enthält. In verschiedenen Ausführungsformen enthält das Unsicherheitsmodell eine Geschwindigkeitsunsicherheit.
In verschiedenen Ausführungsformen basiert das Unsicherheitsmodells auf einem Vergleich eines Objektorts der Objektdaten mit einem Bodenwahrheitsort der Bodenwahrheitsdaten. In verschiedenen Ausführungsformen umfassen die Objektdaten einen Begrenzungsrahmen, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Objekterfassungsverfahren identifiziert wird.
In verschiedenen Ausführungsformen umfassen die Objektdaten ferner einen Abstand von dem Fahrzeug zu dem Element und einen Ort des Elements innerhalb der Szene, der basierend auf dem Begrenzungsrahmen bestimmt wird. In verschiedenen Ausführungsformen umfassen die Bodenwahrheitsdaten einen Begrenzungsrahmen, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Bodenwahrheitserfassungsverfahren identifiziert wird.
In verschiedenen Ausführungsformen umfassen die Bodenwahrheitsdaten ferner einen Abstand vom Fahrzeug zm Element und einen Ort des Elements innerhalb der Szene, der basierend auf dem Begrenzungsrahmen bestimmt wird.
In einer Ausführungsform umfasst ein autonomes Fahrzeug: eine Vielzahl von Sensoren, die um das Fahrzeug herum angeordnet und konfiguriert sind, um eine äußere Umgebung des Fahrzeugs zu erfassen und Sensorsignale zu erzeugen; und ein Steuermodul, das dafür eingestellt ist, durch einen Prozessor die Sensorsignale zu verarbeiten, um Objektdaten zu bestimmen, die mindestens ein Element innerhalb einer Szene einer Umgebung des Fahrzeugs anzeigen, die Sensordaten zu verarbeiten, um mit dem Element assoziierte Bodenwahrheitsdaten zu bestimmen, zu bestimmen ein Unsicherheitsmodell basierend auf den Bodenwahrheitsdaten und den Objektdaten, Fahrzeugfunktionen basierend auf dem Unsicherheitsmodell zu trainieren und das Fahrzeug basierend auf den trainierten Fahrzeugfunktionen zu steuern.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockschaltbild, das ein autonomes Fahrsystem, das das Trainingssystem enthält, gemäß verschiedenen Ausführungsformen darstellt;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
Die 3 und 4 sind Datenflussdiagramme, die ein autonomes Fahrsystem veranschaulichen, welches das Trainingssystem des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen beinhaltet; und
5 ist ein Flussdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Gebiet, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltkreis (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Mit Bezug auf 1 ist ein Trainingssystem, das allgemein bei 100 gezeigt ist, einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen zugeordnet. Im Allgemeinen erhält das Trainingssystem 100 aus einer Umgebung des Fahrzeugs 10 erfasste Sensorinformationen, entwickelt aus den Sensorinformationen ein Unsicherheitsmodell und trainiert Entscheidungsfunktionen des Fahrzeugs unter Verwendung des entwickelten Unsicherheitsmodells. Zu beispielhaften Zwecken wird die Offenbarung im Zusammenhang mit dem Training diskutiert, das von dem Trainingssystem 100 durchgeführt wird, das an Bord des Fahrzeugs 10 durchgeführt wird. Sicher ist es nachvollziehbar, dass in verschiedenen Ausführungsformen das gesamte Trainingssystem 100 oder Teile davon offline und / oder entfernt vom Fahrzeug 10 ausgeführt werden können.
Wie in 1 dargestellt, beinhaltet das exemplarische Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen die Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das hierin beschriebene autonome Trainingssystem 100 ist in das autonome Fahrzeug (nachfolgend als das autonome Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34, ein Benachrichtigungssystem 25 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, einen Elektromotor, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Getriebesystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Drehzahlverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise einen Elektromotor und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensoren 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw. (nicht nummeriert).
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert das Datenspeichergerät 32 definierte Landkarten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Landkarten vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Karten durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Routeninformationen können auch in der Datenspeichervorrichtung 32 gespeichert werden - d. h. in einer Reihe von Straßenabschnitten (die geografisch mit einer oder mehreren der definierten Karten verknüpft sind), die zusammen eine Route definieren, die der Benutzer von einem Startort (z. B. dem aktuellen Standort des Benutzers) zu einem Zielort zurücklegen kann. Wie ersichtlich ist, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden. In verschiedenen Ausführungsformen ist die Steuerung 34 konfiguriert, um die im Folgenden ausführlich erläuterten Verhaltensplanungssysteme und -verfahren zu implementieren.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellgliedsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 in dem Trainingssystem 100 enthalten und verarbeiten, wenn sie von dem Prozessor 44 ausgeführt werden, Sensordaten und / oder Kartendaten, um ein Unsicherheitsmodell zu bestimmen, und eine oder mehrere Entscheidungsfunktionen basierend auf dem Unsicherheitsmodell zu trainieren und Steuersignale zu erzeugen, um das Fahrzeug 10 auf der Grundlage des trainierten Unsicherheitsmodells zu steuern.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine beispielhafte Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein Drahtlosträgersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des Drahtlosträgersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Zellenturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Zellentürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Drahtlosträgersystems 60 kann ein zweites Drahtlosträgersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das drahtlose Trägersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem drahtlosen Trägersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hierin beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende T eilnehmerinformati onen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanfrage erstellen. Die Fahrtanfrage gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Wahrnehmungssystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuerungssystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Wahrnehmungssystem 74 die Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Wahrnehmungssystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie oben kurz erwähnt, kann das Trainingssystem 100 von 1 als Teil eines oder einer Kombination des Wahrnehmungssystems 74, des Leitsystems 78 und des Fahrzeugsteuersystems 80 oder als separates System in 3, wie in 1 gezeigt, in ADS 70 enthalten sein. 3. Beispielsweise empfängt in verschiedenen Ausführungsformen das Trainingssystem 100 Informationen vom Wahrnehmungssystem 74, entwickelt das Unsicherheitsmodell und liefert dann das Unsicherheitsmodell an das Leitsystem 78 und / oder das Fahrzeug-Steuersystem 80, um das Fahrzeug 10 zu trainieren und zu steuern.
In dieser Hinsicht zeigt 4 ist ein Datenflussdiagramm, das Aspekte des Trainingssystems 100 ausführlicher darstellt. Mit Bezug auf 4 und unter fortgesetzter Bezugnahme auf 1-3 enthält das Trainingssystem 100 ein Datensammelmodul 102, ein Objektlokalisierungsmodul 104, ein Entfernungsschätzmodul 106 und ein Unsicherheitsmodellierungsmodul 108.
Das Datensammelmodul 102 empfängt Sensordaten 110, die beispielsweise vom Sensorsystem 28 des Fahrzeugs 10 erzeugt werden. Das Datensammelmodul 102 verarbeitet die Sensordaten 110, um ein Bild zu bestimmen, das eine Szene in der Umgebung des Fahrzeugs 10 darstellt und um entsprechende Szenendaten 112 zu erzeugen.
Das Objektlokalisierungsmodul 104 verarbeitet die Szenendaten 112, um Objektdaten 114 einschließlich Elementdaten 115 zu bestimmen, die Elementen innerhalb der Szene und Begrenzungsrahmen um die Elemente entsprechen. Es dürfte nachvollziehbar sein, dass die Elemente unter Verwendung eines beliebigen Objekterfassungsverfahrens erfasst werden können und nicht auf ein bestimmtes Beispiel beschränkt sind.
Das Objektlokalisierungsmodul 104 verarbeitet ferner die Szenendaten 112, um Bodenwahrheitsdaten 117 zu bestimmen, die die Bodenwahrheiten der Elemente und einen zweiten Begrenzungsrahmen um die Elemente basierend auf den Bodenwahrheiten enthalten. In verschiedenen Ausführungsformen ist die Erfassung der Elementdaten 115 und der Bodenwahrheitsdaten 117 des Objekts aufgrund von Sensorrauschen, Umgebungssituationen usw. nicht identisch; wodurch die Bestimmung von Unsicherheiten ermöglicht wird.
Das Entfernungsschätzmodul 106 empfängt die Objektdaten 114 und Sensordaten 116. Die Sensordaten 116 können beispielsweise relativ genaue LIDAR-Sensorbereichsinformationen enthalten. Das Entfernungsschätzmodul 106 bestimmt die Entfernung oder Entfernungsinformation 118 (D_GT) zwischen dem Fahrzeug 10 und den erkannten Objekten innerhalb der Szene. So ist beispielsweise der Bodenwahrheitsobjektbereich in der Szene AGT und der geschätzte Objektbereich ist A_D, somit ist dann der geschätzte Abstand zum Objekt D_D. Die folgende Beziehung ist vorgesehen: $D_{D} / D_{GT} \approx \sqrt (A_{D} / A_{GT}),$
und angesichts dessen, dass √_GT „linear“ invers-proportional zu D_GT ist, kann die Entfernung oder Tiefeninformation geschätzt werden. In Gleichung (1) D_{D /} D_GT bedeutet das Verhältnis der Unsicherheit und wenn der Wert gleich ‚1‘ ist, ein perfektes Sensorsystem.
Für Unsicherheiten in Bezug auf Orientierung und Geschwindigkeit hängen die Unsicherheiten zusätzlich zu den Entfernungsinformationen 118 auch von den erkannten Kastenorten in dem Bild in Bezug auf den Bodenwahrheitsort ab. Das liegt daran, dass die Ungenauigkeiten und Geschwindigkeitsunsicherheiten mit Seitenbewegungen der Objekte in der Bildebene verbunden sind und die entsprechende Variable|C_D - C_GT| where C_GT die zentrale Pixelposition des Begrenzungsrechtecks für die Bodenrealität eines Objekts (Fahrzeug) ist und C_D als der geschätzte Begrenzungsrahmen des entsprechenden Objekts in der ‚normalisierten‘ Bildkoordinate (x, y Werte in [-0,5, 0,5]) liegt.
Aus den gesammelten Daten 114, 116 können die Unsicherheitsmodelldaten 120 einschließlich Entfernung, Geschwindigkeit und Orientierung für alle erfassten Elemente berechnet werden. Beispielsweise schätzt das Unsicherheitsmodellierungsmodul 108 die Entfernungsunsicherheit basierend auf der folgenden Beziehung: $d' = d + G (0, σ_{D} (d)) .$
Wobei σ_D(d) die Standardabweichung der Abstandsschätzung für die gemessene Entfernung d ist und (m, n) eine Gauß‘sche Verteilung mit mittlererem m und der Standardabweichung n darstellt. Die entsprechende Gaußsche Verteilung kann aus Statistiken von Abweichungen zwischen manuell gemessener Entfernung zu Zielen (Bodenwahrheit) und gemessener Entfernung zu Zielen von den Sensoren erhalten werden.
Das Unsicherheitsmodellierungsmodul 108 schätzt die Winkelunsicherheit basierend auf der folgenden Beziehung: $θ' = θ + G_{A} (0, σ_{A} (d)) + H (C_{D} - C_{G T,} d) .$
Wobei σ_A (d) die Standardabweichung der relativen Winkelschätzung für den gemessenen Abstand d ist. Die Gaußsche Verteilung, G_A(), wird aus Statistiken von Winkelabweichungen zwischen manuell gemessenen Orientierungsabweichungen zu Zielen (Bodenwahrheit) und gemessenen Orientierungsabweichungen zu Zielen von dem am Trägerfahrzeug montierten Sensor erfasst. Und H(C_D - C_GT, d) ist eine zusätzliche seitliche Abweichungsunsicherheit für die Ausrichtungswinkel mit der seitlichen Abweichung in der Bildebene und Entfernung. Der Wert der Gaußschen Verteilung, H(C_D - C_GT, d), wird basierend auf der gemeinsamen Wahrscheinlichkeit erfasst, die zwei Variablen von - τ und besitzt.
Das Unsicherheitsmodellierungsmodul 108 schätzt die Geschwindigkeitsunsicherheit basierend auf der folgenden Beziehung: $v' = v + (G_{V} + 0, σ_{V} (d)) + H_{V} (C_{D,} - C_{GT,} d) .$
Wobei σ_V (d) die Standardabweichung der Geschwindigkeitsschätzung für den Abstand d ist. Die Gaußsche Verteilung, Gv(), wird aus Statistiken von Geschwindigkeitsabweichungen zwischen der tatsächlichen Geschwindigkeit von Zielfahrzeugen (Bodenwahrheit) und der gemessenen Geschwindigkeit von dem an dem Trägerfahrzeug angebrachten Sensor erfasst. Und H(C_D - C_GT, d) ist eine zusätzliche seitliche Abweichungsunsicherheit für die Objektgeschwindigkeiten mit der seitlichen Abweichung in der Bildebene und Entfernung. Der Wert von H(C_D - C_GT, d) wird auch basierend auf der gemeinsamen Wahrscheinlichkeit erfasst, die zwei Variablen von C_D - C_GT und besitzt.
Aus den obigen Unsicherheitsmodelldaten 120 wird der neue relative Standort mit Ungewissheit in Bezug auf die Position des Fahrzeugs 10 geometrisch geschätzt mit d' und θ' durch x' = d' cos θ' und y' = d' sin θ' berechnet. Die geschätzten Unsicherheitsmodelldaten 120 können weiterhin zum Trainieren von Entscheidungsfunktionen des Fahrzeugs 10 verwendet werden. Beispielsweise können in verschiedenen Ausführungsformen die Unsicherheiten auf Entscheidungsfunktionen als ein Bereich von Gewichten angewendet werden, die mit der Standardabweichung von Wahrnehmungsunsicherheiten multipliziert werden, und die trainierten Entscheidungsfunktionen werden dann verwendet, um das Fahrzeug 10 zu steuern.
Es ist zu verstehen, dass verschiedene Ausführungsformen des Trainingssystems 100 gemäß der vorliegenden Offenbarung eine beliebige Anzahl zusätzlicher, in die Steuerung 34 eingebetteter Teilmodule beinhalten, die mit den hierin beschriebenen Systemen und Verfahren kombiniert und/oder weiter untergliedert werden können. Weiterhin können Eingaben in das Trainingssystem 100 vom Sensorsystem 28 empfangen werden, die von anderen Steuermodulen (nicht dargestellt) empfangen werden, die dem autonomen Fahrzeug 10 zugeordnet sind, die vom Kommunikationssystem 36 empfangen werden und/oder von anderen Untermodulen (nicht dargestellt), die innerhalb der Steuerung 34 von 1 ermittelt/modelliert werden. Weiterhin können die Eingaben auch einer Vorverarbeitung unterzogen werden, wie beispielsweise Teilabtastung, Rauschunterdrückung, Normalisierung, Merkmalsextraktion, fehlende Datenreduktion und dergleichen.
Unter jetziger Bezugnahme auf 5 und fortgesetzter Bezugnahme auf die 1-4, veranschaulicht ein Flussdiagramm ein Steuerverfahren 200, das durch das System 100 in 1 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb der Verfahren nicht, wie in 5 veranschaulicht, auf die sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung ausgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 400 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
In verschiedenen Ausführungsformen kann das Verfahren bei 210 beginnen. Die Sensorsignaldaten 110 werden bei 220 empfangen. Die Sensordaten 110 werden verarbeitet, um Elemente (Fahrräder, andere Fahrzeuge, Fußgänger usw.) innerhalb einer Szene bei 230 zu identifizieren. Die Sensordaten 110 werden weiter verarbeitet, um die Objektdaten 114 und die Bereichsinformationen 118 bei 240 zu bestimmen.
Danach werden die Objektdaten 114 und die Bereichsinformationen 118 verarbeitet, um die Unsicherheitsmodelldaten 120 bei 245 zu bestimmen. Zum Beispiel wird die Entfernungsunsicherheit basierend auf der obigen Gleichung (2) bei 250 bestimmt. Die Orientierungsunsicherheit wird zum Beispiel basierend auf der obigen Gleichung (3) bei 260 bestimmt. Die Geschwindigkeitsunsicherheit wird zum Beispiel basierend auf der obigen Gleichung (4) bei 270 bestimmt.
Danach werden die Unsicherheitsmodelldaten 120, einschließlich der Entfernungsunsicherheit, der Orientierungsunsicherheit und der Geschwindigkeitsunsicherheit, in Trainingsentscheidungsfunktionen bei 280 verwendet. Zum Beispiel können, wie oben diskutiert, in verschiedenen Ausführungsformen die Unsicherheiten auf Entscheidungsfunktionen als ein Bereich von Gewichten angewendet werden, die mit der Standardabweichung von Wahrnehmungsunsicherheiten multipliziert werden.
Danach werden die trainierten Entscheidungsfunktionen verwendet, um das Fahrzeug 10 bei 290 zu steuern; und das Verfahren kann bei 300 enden.
Während mindestens eine beispielhafte Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Verfahren zur Steuerung eines autonomen Fahrzeugs, umfassend: Empfangen von Sensordaten von einem oder mehreren Sensoren des Fahrzeugs; Verarbeiten der Sensordaten durch einen Prozessor, um Objektdaten zu bestimmen, die mindestens ein Element in einer Szene einer Umgebung des Fahrzeugs anzeigen; Verarbeiten der Sensordaten durch den Prozessor, um Grundwahrheitsdaten zu bestimmen, die dem Element zugeordnet sind; Bestimmen eines Unsicherheitsmodells durch den Prozessor basierend auf den Grundwahrheitsdaten und den Objektdaten; Trainieren von Fahrzeugfunktionen durch den Prozessor basierend auf dem Unsicherheitsmodell; und Steuern des Fahrzeugs basierend auf den trainierten Fahrzeugfunktionen.
Verfahren nach Anspruch 1, wobei das Unsicherheitsmodell eine Entfernungsunsicherheit enthält.
Verfahren nach Anspruch 1, wobei das Unsicherheitsmodell eine Orientierungsunsicherheit enthält.
Verfahren nach Anspruch 1, wobei das Unsicherheitsmodell eine Geschwindigkeitsunsicherheit enthält.
Verfahren nach Anspruch 1, wobei das Bestimmen des Unsicherheitsmodells auf einem Vergleich eines Objektorts der Objektdaten mit einem Bodenwahrheitsort der Bodenwahrheitsdaten basiert.
Verfahren nach Anspruch 1, wobei das Training das Erzeugen von Wahrnehmungssystemdaten basierend auf dem Unsicherheitsmodell und das Trainieren der Fahrzeugfunktionen basierend auf den erzeugten Wahrnehmungssystemdaten umfasst.
Verfahren nach Anspruch 1, wobei die Objektdaten einen Begrenzungsrahmen enthalten, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Objekterfassungsverfahren identifiziert wird.
Verfahren nach Anspruch 7, wobei die Objektdaten ferner einen Abstand von dem Fahrzeug zum Element und einen Ort des Elements innerhalb der Szene umfassen, der basierend auf dem Begrenzungsrahmen bestimmt wird.
Verfahren nach Anspruch 1, wobei die Grundwahrheitsdaten einen Begrenzungsrahmen enthalten, der das Element innerhalb der Szene umgibt, wobei der Begrenzungsrahmen durch ein Grundwahrheitserfassungsverfahren identifiziert wird.
Trainingssystem für ein autonomes Fahrzeug, das Folgendes beinhaltet: ein nichtflüchtiges computerlesbares Medium, das Folgendes beinhaltet: ein erstes Modul, das konfiguriert ist, um durch einen Prozessor Sensordaten von einem oder mehreren Sensoren des Fahrzeugs zu empfangen, die Sensordaten zu verarbeiten, um Objektdaten zu bestimmen, die mindestens ein Element in einer Szene einer Umgebung des Fahrzeugs anzeigen und die Sensordaten zu verarbeiten um Grundwahrheitsdaten zu bestimmen, die dem Element zugeordnet sind; ein zweites nichtflüchtiges Modul, das konfiguriert ist, um durch einen Prozessor ein Unsicherheitsmodell basierend auf den Grundwahrheitsdaten und den Objektdaten zu bestimmen; und ein drittes Modul, das konfiguriert ist, um durch einen Prozessor Wahrnehmungssystemdaten basierend auf dem Unsicherheitsmodell zu erzeugen und Fahrzeugfunktionen einer Fahrzeugsteuerung basierend auf den erzeugten Wahrnehmungssystemdaten zu trainieren.