-
EINLEITUNG
-
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Fahrzeuge, insbesondere auf die Erkennung und Interpretation von Verkehrssignalen, die den Verkehrsfluss von Fahrzeugen regeln.
-
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit wenig oder gar keiner Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen wie Radar, Lidar, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem verwendet weiterhin Informationen von globalen Ortungssystemen (GPS - Global Positioning Systems)-Technologie, Navigationssystemen, Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Technologie und/oder Driveby-Wire-Systemen zur Navigation des Fahrzeugs.
-
Während autonome Fahrzeuge und teilautonome Fahrzeuge viele potenzielle Vorteile gegenüber herkömmlichen Fahrzeugen bieten, kann es unter bestimmten Umständen wünschenswert sein, den Betrieb der Fahrzeuge zu verbessern. So erkennen beispielsweise autonome Fahrzeuge Verkehrsvorrichtungen unter Verwendung einer oder mehrerer der Sensorvorrichtungen. Um die Route für das Fahrzeug zu planen, muss das autonome Fahrzeug wissen, auf welche Fahrspur sich die erfasste Verkehrsvorrichtung bezieht und muss das aktuelle Verkehrssignalen oder den aktuellen Zustand (z.B. rotes Licht, grünes Licht, gelbes Licht, grüner Pfeil, etc.) der Verkehrsvorrichtung kennen. In einigen Fällen ist die Bestimmung der zugehörigen Fahrspur und/oder des aktuellen Verkehrssignals ungenau.
-
Dementsprechend ist es wünschenswert, verbesserte Systeme und Verfahren zum Erkennen und Interpretieren von Verkehrssignalen einer Verkehrsvorrichtung bereitzustellen. Es ist ferner wünschenswert, verbesserte Systeme und Verfahren zum Bestimmen einer Fahrspur bereitzustellen, die einem bestimmten Verkehrssignal zugeordnet ist. Darüber hinaus werden sich weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Offenbarung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund ergeben.
-
BESCHREIBUNG
-
Es sind Systeme und Verfahren zum Interpretieren von Verkehrsinformationen eines Fahrzeugs vorgesehen. In einer Ausführungsform beinhaltet ein Verfahren: Empfangen, durch einen Prozessor, von Sensordaten von einer oder mehreren Sensorvorrichtungen des Fahrzeugs, wobei die Sensordaten eine Verkehrsvorrichtung in einer Umgebung des Fahrzeugs darstellen; Empfangen, durch den Prozessor, von Kartendaten, die der Umgebung des Fahrzeugs zugeordnet sind, wobei die Kartendaten Verkehrsvorrichtungen beinhalten; Abgleichen, durch den Prozessor, der Verkehrsvorrichtung der Sensordaten mit einer Verkehrsvorrichtung der Kartendaten; Bestimmen, durch den Prozessor, einer Wahrscheinlichkeitsverteilung eines Verkehrssignals, das den abgeglichenen Verkehrsvorrichtungen zugeordnet ist, basierend auf einem Hidden Markov Modell (HMM); und Planen einer Steuerung des Fahrzeugs basierend auf der Wahrscheinlichkeitsverteilung.
-
In verschiedenen Ausführungsformen beinhaltet das Verfahren: Bestimmen einer Wahrscheinlichkeitsverteilung eines anderen Verkehrssignals, das den abgeglichenen Verkehrsvorrichtungen zugeordnet ist, basierend auf einem Schlussfolgerungsmodell.
-
In verschiedenen Ausführungsformen beinhaltet das Hidden Markov Modell ein Diffusionsmodell.
-
In verschiedenen Ausführungsformen wendet das Diffusionsmodell Diffusionswerte auf eine Signalzustandsmatrix basierend auf einer Zeit an. In verschiedenen Ausführungsformen wendet das Diffusionsmodell die Diffusionswerte auf die Signalzustandsmatrix an, basierend auf einem Zustandsübergangsmodell.
-
In verschiedenen Ausführungsformen beinhaltet das Hidden Markov Modell ein Messmodell. In verschiedenen Ausführungsformen wendet das Messmodell Messwerte auf eine Signalzustandsmatrix an, basierend auf einem erfassten Signalzustand der Verkehrssignale.
-
In verschiedenen Ausführungsformen beinhaltet das Verfahren: Bestimmen von Kreuzungsinformationen, die den abgeglichenen Verkehrsvorrichtungen zugeordnet sind, basierend auf den Kartendaten, und wobei die Wahrscheinlichkeitsverteilung auf den Kreuzungsinformationen basiert.
-
In verschiedenen Ausführungsformen beinhalten die Kreuzungsinformationen mindestens eines von Fahrspursegmenten und Fahrspur-zu-Fahrspur-Verbindungen, die den abgeglichenen Verkehrsvorrichtungen zugeordnet sind.
-
In verschiedenen Ausführungsformen beinhaltet das Verfahren: Bestimmen, ob das Verkehrssignal aus den Sensordaten erfasst ist, wobei, wenn das Verkehrssignal erfasst ist, das Bestimmen der Wahrscheinlichkeitsverteilung auf einem Messmodell basiert, und wobei, wenn das Verkehrssignal nicht erfasst ist, das Bestimmen der Wahrscheinlichkeitsverteilung auf einem Diffusionsmodell basiert.
-
In einer weiteren Ausführungsform beinhaltet ein System: einen Kartendatenspeicher, der Kartendaten speichert, die einer Umgebung des Fahrzeugs zugeordnet sind, wobei die Kartendaten Verkehrsvorrichtungen beinhalten; eine Sensorvorrichtung, die Sensordaten erzeugt, wobei die Sensordaten eine Verkehrsvorrichtung in der Umgebung des Fahrzeugs darstellen; ein Steuermodul, das konfiguriert ist, um durch einen Prozessor die Verkehrsvorrichtung der Sensordaten mit einer Verkehrsvorrichtung der Kartendaten abzugleichen, eine Wahrscheinlichkeitsverteilung eines den abgeglichenen Verkehrsvorrichtungen zugeordnetes Verkehrssignals basierend auf einem Hidden Markov Modell (HMM) zu bestimmen und eine Steuerung des Fahrzeugs basierend auf der Wahrscheinlichkeitsverteilung zu planen.
-
In verschiedenen Ausführungsformen ist das Steuermodul ferner konfiguriert, um eine Wahrscheinlichkeitsverteilung eines anderen Verkehrssignals zu bestimmen, das den abgeglichenen Verkehrsvorrichtungen zugeordnet ist, basierend auf einem Schlussfolgerungsmodell.
-
In verschiedenen Ausführungsformen beinhaltet das Hidden Markov Modell ein Diffusi onsmodell.
-
In verschiedenen Ausführungsformen wendet das Diffusionsmodell Diffusionswerte auf eine Signalzustandsmatrix basierend auf einer Zeit an.
-
In verschiedenen Ausführungsformen wendet das Diffusionsmodell die Diffusionswerte auf die Signalzustandsmatrix an, ferner basierend auf einem Zustandsübergangsmodell.
-
In verschiedenen Ausführungsformen beinhaltet das Hidden Markov Modell ein Messmodell. In verschiedenen Ausführungsformen wendet das Messmodell Messwerte auf eine Signalzustandsmatrix an, basierend auf einem erfassten Signalzustand des Verkehrssignals. In verschiedenen Ausführungsformen ist das Steuermodul ferner konfiguriert, um Kreuzungsinformationen zu bestimmen, die den abgeglichenen Verkehrsvorrichtungen zugeordnet sind, basierend auf den Kartendaten, und wobei die Wahrscheinlichkeitsverteilung auf den Kreuzungsinformationen basiert.
-
In verschiedenen Ausführungsformen beinhalten die Kreuzungsinformationen mindestens eines von Fahrspursegmenten und Fahrspur-zu-Fahrspur-Verbindungen, die den abgeglichenen Verkehrsvorrichtungen zugeordnet sind.
-
In verschiedenen Ausführungsformen ist das Steuermodul ferner konfiguriert, um zu bestimmen, ob das Verkehrssignal aus den Sensordaten erfasst ist, wobei, wenn das Verkehrssignal erfasst ist, das Steuermodul die Wahrscheinlichkeitsverteilung basierend auf einem Messmodell bestimmt, und wobei, wenn das Verkehrssignal nicht erfasst ist, das Steuermodul die Wahrscheinlichkeitsverteilung basierend auf einem Diffusionsmodell bestimmt.
-
Figurenliste
-
Die exemplarischen Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Nummern gleiche Elemente bezeichnen und wobei:
- 1 ein Funktionsblockdiagramm ist, das ein autonomes Fahrzeug mit einem Interpretationssystem gemäß verschiedenen Ausführungsformen darstellt;
- 2 ein Datenflussdiagramm ist, das ein autonomes Antriebssystem darstellt, das das Interpretationssystem gemäß verschiedener Ausführungsformen beinhaltet;
- 3 ein Datenflussdiagramm ist, das eine Interpretation darstellt, gemäß verschiedener Ausführungsformen;
- 4 eine Darstellung einer exemplarischen Kreuzung und erfasster Verkehrseinrichtungen gemäß verschiedenen Ausführungsformen ist; und
- 5, 6 und 7 Flussdiagramme sind, die Interpretationsverfahren darstellen, die vom Interpretationssystem durchgeführt werden können, gemäß verschiedenen Ausführungsformen.
-
DETAILLIERTE BESCHREIBUNG
-
Die folgende detaillierte Beschreibung ist lediglich exemplarischer Natur und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht keine Absicht, an eine ausdrückliche oder stillschweigende Theorie gebunden zu sein, die im vorhergehenden technischen Gebiet, dem Hintergrund, der kurzen Beschreibung oder der folgenden detaillierten Beschreibung dargestellt wird. Wie hierin verwendet, bezieht sich der Begriff Modul auf jede Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorvorrichtung, einzeln oder in beliebiger Kombination, einschließlich, aber nicht beschränkt auf: anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (geteilt, dediziert oder Gruppe) und Speicher, der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
-
Ausführungsformen der vorliegenden Offenbarung können hierin in Bezug auf funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmwarekomponenten realisiert werden können, die zur Ausführung der angegebenen Funktionen konfiguriert sind. So kann beispielsweise eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z.B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder dergleichen, die eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuergeräte ausführen können. Darüber hinaus werden Fachleute verstehen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können und dass die hierin beschriebenen Systeme lediglich exemplarische Ausführungsformen der vorliegenden Offenbarung sind.
-
Der Kürze halber können konventionelle Techniken der Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und andere funktionale Aspekte der Systeme (und der einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Darüber hinaus sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
-
Unter Bezugnahme auf 1 ist ein im Allgemeinen bei 100 dargestelltes Interpretationssystem einem Fahrzeug 10 gemäß verschiedener Ausführungsformen zugeordnet. Im Allgemeinen verarbeitet das Interpretationssystem 100 Daten, die von einer oder mehreren um das Fahrzeug 10 herum angeordneten Sensorvorrichtungen bereitgestellt werden (wie im Folgenden näher erläutert wird), um Verkehrsvorrichtungen in der Umgebung des Fahrzeugs 10 zu erfassen. Das Interpretationssystem 100 interpretiert dann ein aktuelles Verkehrssignal (z.B. rotes Licht, grünes Licht, gelbes Licht, grüner Pfeil, rotes Blinken, gelbes Blinken, etc.) der erfassten Verkehrsvorrichtung. In verschiedenen Ausführungsformen verwendet das Interpretationssystem 100 ein Hidden Markov Model (HMM), um eine Wahrscheinlichkeitsverteilung definierter Zustände eines Verkehrssignals zu erzeugen. In verschiedenen Ausführungsformen kann die Wahrscheinlichkeitsverteilung beliebig viele Zustände beinhalten. Zu exemplarischen Diskussionszwecken können die definierten Zustände unter anderem einen roten Zustand, einen gelben Zustand, einen grünen Zustand, einen gelben blinkenden Zustand, einen roten blinkenden Zustand, einen grünen blinkenden Zustand, einen grünen Pfeil-Zustand usw. beinhalten. In verschiedenen Ausführungsformen verwendet das autonome Fahrzeug 10 die Wahrscheinlichkeitsverteilung, um Entscheidungen über die Navigation des Fahrzeugs 10 durch die Umgebung zu treffen.
-
Wie in 1 dargestellt, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt im Wesentlichen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils drehbar mit dem Fahrgestell 12 in der Nähe einer entsprechenden Ecke der Karosserie 14 gekoppelt.
-
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Interpretationssystem 100 ist in das autonome Fahrzeug 10 (im Folgenden als autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Personenkraftwagen dargestellt, aber es ist zu beachten, dass auch jedes andere Fahrzeug einschließlich Motorräder, Lastkraftwagen, Geländewagen (SUVs), Freizeitfahrzeuge (RVs), Seeschiffe, Luftfahrzeuge oder einfach Roboter usw., die durch Verkehrseinrichtungen gesteuert werden, verwendet werden kann. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Automatisierungssystem des Levels Vier oder des Levels Fünf. Ein Level-Vier-System bedeutet „hohe Automatisierung“ und bezieht sich auf die fahrmodusspezifische Performanz eines automatisierten Fahrsystems in allen Aspekten der dynamischen Fahraufgabe, auch wenn ein menschlicher Fahrer nicht angemessen auf eine Interventionsaufforderung reagiert. Ein Level-Fünf-System bezeichnet „Vollautomatisierung“, d.h. die Vollzeitperformanz eines automatisierten Fahrsystems in allen Aspekten der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer gesteuert werden können. Wie zu erkennen ist, kann das autonome Fahrzeug 10 in verschiedenen Ausführungsformen ein beliebiges Automatisierungslevel aufweisen oder gar keine Automatisierung aufweisen (z.B. wenn das System 100 einem Benutzer lediglich die Wahrscheinlichkeitsverteilung zur Entscheidungsfindung präsentiert).
-
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Fahrmotor, und/oder ein Brennstoffzellenantriebssystem beinhalten. Das Getriebesystem 22 ist konfiguriert, um Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16-18 entsprechend den wählbaren Übersetzungsverhältnissen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein stufenloses Automatikgetriebe, ein kontinuierlich variables Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist konfiguriert, um das Bremsmoment für die Fahrzeugräder 16-18 bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Drahtbremse, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine, und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Obwohl es zu veranschaulichenden Zwecken als ein Lenkrad aufweisend dargestellt ist, mag das Lenksystem 24 in einigen Ausführungsformen, die im Rahmen der vorliegenden Offenbarung vorgesehen sind, kein Lenkrad beinhalten.
-
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radare, Lidars, globale Ortungssysteme, optische Kameras, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen beinhalten die Sensorvorrichtungen 40a-40n einen oder mehrere Bildsensoren, die Bildsensordaten erzeugen, die vom Interpretationssystem 100 verwendet werden.
-
Das Aktuatorsystem 30 beinhaltet eine oder mehrere Aktuatorvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale steuern, wie unter anderem beispielsweise das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner innere und/oder äußere Fahrzeugmerkmale wie Türen, Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert) beinhalten.
-
Das Kommunikationssystem 36 ist konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48 zu übertragen, wie beispielsweise, aber nicht beschränkt auf, andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (genauer beschrieben in Bezug auf 2). In einer exemplarischen Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das konfiguriert ist, um über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung der Standards IEEE 802.11 oder unter Verwendung einer mobilen Datenkommunikation zu kommunizieren. Im Rahmen der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Kurzstreckenkommunikationskanal (DSRC), berücksichtigt. DSRC-Kanäle beziehen sich auf drahtlose Einweg- oder Zweiwege-Kommunikationskanäle mit kurzer Reichweite bis mittlerer Reichweite, die speziell für den Einsatz im Automobil entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards.
-
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung bei der automatischen Steuerung des autonomen Fahrzeugs 10. Die Datenspeichervorrichtung 32 speichert in verschiedenen Ausführungsformen definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Karten aus den Sensordaten des Fahrzeugs 10 aufgebaut. In verschiedenen Ausführungsformen werden die Karten von einem entfernten System und/oder anderen Fahrzeugen empfangen. Wie zu erkennen ist, kann die Datenspeichervorrichtung 32 Teil der Steuerung 34, getrennt von der Steuerung 34, oder Teil der Steuerung 34 und Teil eines separaten Systems sein.
-
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine/ein computerlesbare(s) Speichervorrichtung oder -medium 46. Der Prozessor 44 kann ein beliebiger benutzerspezifischer oder kommerziell verfügbarer Prozessor, eine Zentralrecheneinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren der Steuerung 34 zugeordneten Prozessoren, ein halbleiterbasierter Mikroprozessor (in Form eines Mikrochips oder Chipsatzes), ein Makroprozessor, eine beliebige Kombination davon oder im Allgemeinen eine Vorrichtung zur Ausführung von Anweisungen sein. Die/Das computerlesbare Speichervorrichtung oder -medium 46 kann beispielsweise einen flüchtigen und nichtflüchtigen Speicher im Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM) und einen Keep-Alive-Speicher (KAM) beinhalten. KAM ist ein persistenter oder nichtflüchtiger Speicher, der zum Speichern verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder das computerlesbare Speichermedium 46 kann unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen wie PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrisches PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen repräsentieren, die von der Steuerung 34 zur Steuerung des autonomen Fahrzeugs 10 verwendet werden.
-
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jedes eine geordnete Liste von ausführbaren Anweisungen zur Implementierung logischer Funktionen umfasst. Die Anweisungen, wenn sie vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zum automatischen Steuern der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Aktuatorsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder den Algorithmen automatisch zu steuern. Obwohl lediglich eine Steuerung 34 in 1 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenarbeiten, um die Sensorsignale zu verarbeiten, die Logik, die Berechnungen, die Verfahren und/oder die Algorithmen durchzuführen und Steuersignale zur automatischen Steuerung von Merkmalen des autonomen Fahrzeugs 10 zu erzeugen.
-
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Interpretationssystem 100 verkörpert und integrieren, wenn sie vom Prozessor 44 ausgeführt werden, Echtzeitinformationen von den Sensorvorrichtungen 28 und Informationen von der Datenspeichervorrichtung und geben eine darauf basierende Wahrscheinlichkeitsverteilung von Verkehrssignalzuständen aus. Die integrierten Informationen werden mit Hilfe von HMM-Vorhersage und Glättung sowie Post-HMM-Schlussfolgerung verarbeitet, um die Wahrscheinlichkeitsverteilungen über Verkehrssignalzustände für eine direkte Kreuzungsverbindung und andere Kreuzungsverbindungen zu erzeugen. Die Anweisungen der Steuerung 34 nutzen diese Wahrscheinlichkeitsverteilungen ferner, um Entscheidungen für anstehende Fahrzeugmanöver zu treffen und zu planen, mit denen das Fahrzeug 10 durch die Umgebung navigiert wird.
-
Wie zu verstehen ist, bietet der hierin offenbarte Gegenstand bestimmte erweiterte Merkmale und Funktionen für ein Standard- oder Basisfahrzeug, das als nicht autonomes Fahrzeug oder autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Ferntransportsystem (nicht dargestellt) betrachtet werden kann, das das autonome Fahrzeug 10 koordiniert. Zu diesem Zweck können ein nicht autonomes Fahrzeug, ein autonomes Fahrzeug und ein autonomes fahrzeugbasiertes Ferntransportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die im Folgenden näher beschriebenen zusätzlichen Merkmale bereitzustellen. Zu exemplarischen Zwecken werden die folgenden Beispiele im Zusammenhang mit einem autonomen Fahrzeug diskutiert.
-
Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 50, wie in 2 dargestellt. Das heißt, es werden geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z.B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet, um ein autonomes Antriebssystem 50 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
-
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystems 50 nach Funktion, Modul oder System organisiert sein. Wie in 2 dargestellt, kann das autonome Antriebssystem 50 beispielsweise ein Computer-Visionssystem 54, ein Ortungssystem 56, ein Leitsystem 58 und ein Fahrzeugsteuerungssystem 60 beinhalten. Wie zu erkennen ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig vielen Systemen (z.B. kombiniert, weiter unterteilt usw.) organisiert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
-
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Visionssystem 54 Sensordaten und prognostiziert das Vorhandensein, die Position, die Klassifizierung und/oder den Pfad von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Visionssystem 54 Informationen von mehreren Sensoren integrieren, einschließlich, aber nicht beschränkt auf Kameras, Lidars, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
-
Das Ortungssystem 56 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z.B. eine lokale Position relativ zu einer Karte, eine genaue Position relativ zur Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 relativ zur Umgebung zu bestimmen. Das Leitsystem 58 verarbeitet Sensordaten zusammen mit anderen Daten, um einen kommenden Pfad für das Fahrzeug 10 zu bestimmen. Die Fahrzeugsteuerung 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend dem vorgegebenen Pfad.
-
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z.B. Merkmalserfassung / Klassifizierung, Hindernisreduzierung, Routentraversierung, Kartierung, Sensorintegration, Bodenwahrheitsbestimmung und dergleichen.
-
In verschiedenen Ausführungsformen kann das Interpretationssystem 100 von 1 in das ADS 50 aufgenommen sein, beispielsweise als Teil des Leitsystems 58. So empfängt beispielsweise das Interpretationssystem 100 Daten vom Computer-Visionssystem 54 und vom Ortungssystem 56 und stellt Wahrscheinlichkeitsverteilungen bereit, die bei der Entscheidungsfindung verwendet werden, um schließlich den Pfad des Fahrzeugs 10 zu bestimmen.
-
Wie in Bezug auf 3 und unter fortgesetzter Bezugnahme auf die 1 und 2 näher dargestellt, beinhaltet das Interpretationssystem 100 ein Abgleichmodul 102, ein Wahrscheinlichkeitsbestimmungsmodul 104 und einen Kartendatenspeicher 106.
-
Der Kartendatenspeicher 106 speichert Karten der navigierbaren Umgebung. Die Karten enthalten Details wie Fahrspurbegrenzungen, Fahrspursegmente, Fahrspur-zu-Fahrspur-Verbindungen und Verkehrseinrichtungen. Der Kartendatenspeicher 106 stellt die Kartendaten 108 zur weiteren Verarbeitung zur Verfügung.
-
Das Abgleichmodul 102 empfängt als Eingang Kartendaten 108, die dem anstehenden Pfad zugeordnet sind, Sensordaten 110, die von den Sensorvorrichtungen 28 des Fahrzeugs 10 erzeugt werden, und Fahrzeugdaten 111, die eine Fahrzeugposition und/oder -ausrichtung anzeigen. Wie in 4 dargestellt, beinhalten die exemplarischen Kartendaten 108 Fahrspuren 200, Fahrspursegmente 202, Fahrspur-zu-Fahrspur-Verbindungen 204 und Verkehrseinrichtungen 206, die beispielsweise einer Kreuzung 208 oder einem anderen Straßenmerkmal zugeordnet sind. Die Sensordaten 110 beinhalten Daten, die eine erfasste Verkehrsvorrichtung und/oder ein erfasstes Verkehrssignal der erfassten Verkehrsvorrichtung identifizieren. Solche Daten können unter anderem eine x, y, z-Position, eine Ausrichtung, einen Zeitstempel, einen Signalzustand, eine Signalbreite, einen Gerätetyp usw. beinhalten.
-
Das Abgleichmodul 102 gleicht die erfasste Verkehrsvorrichtung und/oder das erfasste Verkehrssignal der Sensordaten 110 mit einer in den Kartendaten 108 definierten Verkehrsvorrichtung ab. Das Abgleichmodul 102 gleicht dann die erfasste Verkehrsvorrichtung und/oder das erfasste Verkehrssignal mit den in den Kartendaten 108 definierten Fahrspursegmenten und/oder Fahrspur-zu-Fahrspur-Verbindungen ab. So führt beispielsweise das Abgleichmodul 102 den Abgleich basierend auf einer Position und/oder Fahrspurposition des Fahrzeugs 10, einer projizierten Position der erfassten Verkehrsvorrichtung und/oder des erfassten Verkehrssignals und einer Position der Verkehrsvorrichtung in der Karte durch. Das Abgleichmodul 102 filtert dann alle unerwünschten Erfassungen heraus. So filtert beispielsweise das Abgleichmodul 102 basierend auf einem Erfassungsabstand von der Kreuzung (d.h. Entfernung) eine Erfassungspositionskonsistenz (d.h. gemessene Schwankungen) und/oder andere Parameter, die sich auf die Genauigkeit beziehen können. Das Abgleichmodul 102 erzeugt ein Indexpaar 112, das die abgeglichene Verkehrsvorrichtung der Karte mit den erfassten Verkehrsinformationen zur weiteren Verarbeitung verknüpft.
-
Das Wahrscheinlichkeitsbestimmungsmodul 104 empfängt die Indexpaardaten 112 und bestimmt Wahrscheinlichkeitsverteilungsdaten 114 für ein durch den Abgleich identifiziertes Verkehrssignal. In verschiedenen Ausführungsformen beinhalten die Wahrscheinlichkeitsverteilungsdaten 114 eine Wahrscheinlichkeitsverteilung für das erfasste Verkehrssignal und eine Wahrscheinlichkeitsverteilung für andere mit der Verkehrsvorrichtung zusammenhängende Verkehrssignale (z.B. Verkehrssignale einer gegenüberliegenden und/oder benachbarten Seite der Verkehrsvorrichtung).
-
In verschiedenen Ausführungsformen basiert die Bestimmung der Wahrscheinlichkeitsverteilung darauf, ob das Verkehrssignal von der Verkehrsvorrichtung erfasst wurde oder nicht. So kann beispielsweise in einigen Fällen die Verkehrsvorrichtung von den Sensorvorrichtungen 28 erfasst werden, aber ein genaues Verkehrssignal mag noch nicht erkannt sein. Wenn die Sensordaten 110 aus dem Indexpaar nicht darauf hindeuten, dass ein Verkehrssignal erkannt ist, bestimmt das Wahrscheinlichkeitsbestimmungsmodul 104 die Wahrscheinlichkeitsverteilung basierend auf einem Diffusionsmodell. Das Diffusionsmodell aktualisiert beispielsweise eine Signalzustandsmatrix mit Wahrscheinlichkeitswerten, basierend auf einem zuletzt erfassten Verkehrssignal, einer Zeit seit dem letzten erfassten Verkehrssignal und einem dem Typ der Verkehrsvorrichtung zugeordneten Zustandsübergangsmodell.
-
In einem Beispiel, wie in 5 dargestellt, beginnt ein exemplarisches Verfahren 300, das das Diffusionsmodell beinhaltet, bei 305. Es wird bestimmt, ob eine Erkennung bei 310 erfolgt ist. Wenn eine Erkennung erfolgt ist, kann das Verfahren bei 340 enden. Wenn bei 310 keine Erkennung erfolgt ist, wird der Signalzustand für jeden Zustand der Signalzustandsmatrix bei 320 und 330 aktualisiert. In verschiedenen Ausführungsformen kann die Signalzustandsmatrix beliebig viele Zustände umfassen, die mit den potenziellen Verkehrssignalen korrespondieren, die von der Verkehrsvorrichtung ausgesendet werden können (z.B. ein roter Zustand, ein gelber Zustand, ein grüner Zustand, etc.).
-
So wird beispielsweise für jeden Signalzustand bei 320 der Wahrscheinlichkeitswert auf einen Anfangswert gesetzt, basierend auf der letzten Erfassung, und durch einen Diffusionswert (z.B. der die Wahrscheinlichkeit reduziert) bei 330 aktualisiert, basierend auf der Zeit seit der letzten Erfassung und dem der Verkehrsvorrichtung zugeordneten Zustandsübergangsmodell. Sobald alle Wahrscheinlichkeitswerte bei 320 aktualisiert wurden, wird die Signalzustandsmatrix zur Verwendung bei 335 veröffentlicht und das Verfahren kann bei 340 enden.
-
Mit Bezug auf 3, wenn die Sensordaten 110 des Indexpaares 112 anzeigen, dass ein aktuelles Verkehrssignal erfasst ist, bestimmt das Wahrscheinlichkeitsbestimmungsmodul 104 die Wahrscheinlichkeitsverteilung basierend auf einem Messmodell. Das Messmodell bietet eine Gewichtung zwischen dem erfassten Signalzustand und anderen möglichen Signalzuständen und wendet Messdaten auf die Wahrscheinlichkeitswerte der Signalzustandsmatrix an.
-
In einem Beispiel, wie in 6 dargestellt, beginnt ein exemplarisches Verfahren 400, das das Messmodell beinhaltet, bei 405. Es wird bei 410 bestimmt, ob eine Erfassung erfolgt ist. Wenn bei 410 keine Erfassung erfolgt ist, kann das Verfahren bei 480 enden. Wenn eine Erfassung bei 410 durchgeführt wurde, wird bei 420 bestimmt, ob die Erfassung gültig ist. So können beispielsweise verschiedene Parameter der Sensordaten 110 und anderer Fahrzeugdaten 111 ausgewertet werden, um zu bestätigen, dass es sich bei der Erfassung nicht um ein Rücklicht, ein Notsignal eines Einsatzfahrzeugs, eine Straßenleuchte oder eine andere Lichtemission in der Umgebung handelt. Wenn die Erfassung keine gültige Verkehrssignalerfassung bei 420 ist, kann das Verfahren bei 480 enden. Handelt es sich bei der Erfassung jedoch um eine gültige Verkehrssignalerfassung bei 420, fährt das Verfahren mit der Bestätigung des Abgleichs und der Anwendung von Messwerten bei 430-470 fort.
-
So werden beispielsweise alle Fahrspursegmente und/oder Fahrspur-zu-Fahrspur-Verbindungen der Kartendaten 108, die als mit dem erfassten Verkehrssignal zusammenhängend bestimmt sind, bei 430 gruppiert. In verschiedenen Ausführungsformen kann die Bestimmung basierend auf einer Näherungsmetrik und eines Schwellenwerts erfolgen.
-
Bei 440 wird die Gruppe der Fahrspursegmente und/oder die Fahrspur-zu-Fahrspur-Verbindung ausgewertet, um die Genauigkeit des Abgleichs zwischen dem erfassten Verkehrssignal und der Verkehrsvorrichtung zu bestätigen. So werden beispielsweise während des Echtzeitbetriebs der Verkehrssignalzustand und die hervorgehende Position (die Position der Verkehrsvorrichtung) durch eine am Fahrzeug angebrachte Sensorvorrichtung gemessen. Der Abstand von der gemessenen Position der Verkehrsvorrichtung zur kartierten Position der Verkehrsvorrichtung wird verwendet, um die Genauigkeit des Vorrichtung-Fahrspur-Abgleichs zu bewerten. Für den Fall, dass keine Verkehrsvorrichtung auf die Fahrspur abgebildet wird, wird das Kreuzungszentrum berücksichtigt. Aus diesem Vergleich (Abgleichgenauigkeit) wird die Gruppe der Fahrspursegmente (Fahrspur-zu- Fahrspur-Verbindungen) ausgewertet.
-
Bei 450 wird der Signalzustand aus dem bestätigten Verkehrssignal und der Verkehrsvorrichtung interpretiert. Eine Messmatrix wird dann bei 460 basierend auf dem Signalzustand ausgewählt und bei 470 auf die Signalzustandsmatrix angewendet. Danach kann die Signalzustandsmatrix bei 475 zur Verwendung veröffentlicht werden und das Verfahren kann bei 480 enden.
-
Mit Bezug auf 3 kann, sobald die Wahrscheinlichkeitsverteilung für ein erfasstes Verkehrssignal bestimmt ist, eine Wahrscheinlichkeitsverteilung für andere Verkehrssignale (z.B. Verkehrssignale auf gegenüberliegenden oder benachbarten Seiten der Verkehrsvorrichtung) geschlussfolgert werden, die der Verkehrsvorrichtung zugeordnet sind, basierend auf einem Schlussfolgerungsmodell.
-
In einem Beispiel, wie in 7 dargestellt, beginnt ein exemplarisches Verfahren 500, das das Schlussfolgerungsmodell beinhaltet, bei 505. Eine Vorrichtungsdatenstruktur wird bei 510 mit dem aktuellen Signalzustand, einer Kreuzungsidentifikation und Fahrspuridentifizierern von aktuellen und parallelen Fahrspuren initialisiert. Die Daten der Vorrichtungsdatenstruktur werden dann bei 520 ausgewertet, um das der Vorrichtung zugeordnete Verkehrssystem (z.B. vierspurige Kreuzung, zweispurige Kreuzung, Kreuzung mit Linksabbiegerspur usw.) zu kategorisieren. Basierend auf der bestimmten Kategorie bei 530 wird dann eine Schlussfolgerungsmatrix bestimmt. Die Fahrspuren in der Vorrichtungsdatenstruktur werden bei 540 dann basierend darauf gruppiert, ob sie sich gegenüberliegen, von links kreuzen, von rechts kreuzen usw. Jede Gruppe wird dann bei 550-600 verarbeitet.
-
So wird beispielsweise für jede Gruppe bei 550 das Schlussfolgerungssignal basierend auf dem erfassten Verkehrssignal und dem Gruppentyp bei 560 ausgewählt. Der Signalzustand wird dann basierend auf dem Schlussfolgerungssignal bei 570 eingestellt. Die ausgewählte Schlussfolgerungsmatrix wird dann auf die Signalzustandsmatrix basierend auf dem Signalzustand bei 580 angewendet und die Signalzustandsmatrix wird bei 590 zur weiteren Verarbeitung veröffentlicht. Das Verfahren 500 wird fortgesetzt, bis alle Gruppen bei 550 verarbeitet sind. Danach kann das Verfahren bei 600 enden.
-
Wie zu erkennen ist, ist die Operationsreihenfolge innerhalb der Verfahren 300, 400, 500 nicht auf die sequentielle Ausführung beschränkt, wie in den 5-7 dargestellt, sondern kann in einer oder mehreren unterschiedlichen Reihenfolgen durchgeführt werden, soweit zutreffend und in Übereinstimmung mit der vorliegenden Offenbarung. In verschiedenen Ausführungsformen können die Verfahren 300, 400, 500 so geplant sein, dass sie basierend auf einem oder mehreren vorbestimmten Ereignissen laufen und/oder während des Betriebs des Fahrzeugs 10 kontinuierlich laufen können. In verschiedenen Ausführungsformen können ein oder mehrere Schritte der Verfahren entfernt oder hinzugefügt werden, ohne den Kerngedanken des Verfahrens zu verändern.
-
Obwohl in der vorstehenden ausführlichen Beschreibung mindestens eine exemplarische Ausführungsform vorgestellt wurde, ist zu beachten, dass es eine Vielzahl von Varianten gibt. Es ist auch zu beachten, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und nicht dazu dienen sollen, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken. Vielmehr wird den Fachleuten durch die vorstehende detaillierte Beschreibung eine geeignete Anleitung zur Umsetzung der exemplarischen Ausführungsform oder der exemplarischen Ausführungsformen zur Verfügung gestellt. Es ist zu verstehen, dass verschiedene Änderungen in der Funktion und Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie sie in den beigefügten Ansprüchen und deren rechtlichen Äquivalenten dargelegt ist, abzuweichen.