DE102018132981A1

DE102018132981A1 - Ampelzustandsbewertung

Info

Publication number: DE102018132981A1
Application number: DE102018132981.4A
Authority: DE
Inventors: Juan Fasola; Tristan Zier; Thomas Gellatly; Varadharajan Ponnappan; Matthias Wisniowski
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2017-12-21
Filing date: 2018-12-19
Publication date: 2019-06-27
Anticipated expiration: 2038-12-20
Also published as: US20180112997A1; CN109949590A; DE102018132981B4; CN109949590B; US10458810B2

Abstract

Systeme und Verfahren werden zum Steuern eines Fahrzeugs bereitgestellt. In einer Ausführungsform beinhaltet ein Verfahren: das Empfangen von semantischen Kartendaten über einen Prozessor, worin die semantischen Kartendaten Ampelstandortdaten beinhalten, das Berechnen von Routendaten unter Verwendung der semantischen Kartendaten über einen Prozessor; das Betrachten einer Ampel über eine Abtastvorrichtung und das Bewerten eines Zustands der betrachteten Ampel über einen Prozessor, basierend auf den Ampelstandortdaten, und das Steuern des Fahrens eines autonomen Fahrzeugs über einen Prozessor, basierend zumindest auf den Routendaten und dem Zustand der Ampel.

Description

EINLEITUNG
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf autonome Fahrzeuge und insbesondere auf Systeme und Verfahren für das autonome Fahren.
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit wenig oder ohne Benutzereingabe zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung unter Verwendung von Sensorvorrichtungen, wie beispielsweise Radar-, Lidar-, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt weiterhin Informationen von globalen Positioniersystemen (GPS), Navigationssystemen, Fahrzeug-Fahrzeug-Kommunikationen, Fahrzeug-Infrastruktur-Technologien und/oder drahtgesteuerten Systemen, um das Fahrzeug zu navigieren.
Die Fahrzeugautomatisierung wurde kategorisiert nach nummerischen Ebenen von null, entsprechend keiner Automatisierung mit voller menschlicher Kontrolle, bis Fünf, entsprechend der vollen Automatisierung ohne menschliche Kontrolle. Verschiedene automatisierte Fahrerassistenzsysteme, wie beispielsweise Geschwindigkeitsregelung, adaptive Geschwindigkeitsregelung und Parkassistenzsysteme, entsprechen niedrigeren Automatisierungsebenen, während echte „fahrerlose“ Fahrzeuge mit höheren Automatisierungsebenen übereinstimmen.
Autonome Fahrzeuge können einen Zustand von Ampeln an Kreuzungen erfassen und bewerten und je nach Ampelzustand geeignete Maßnahmen zum Steuern des Fahrzeugs ergreifen. Es kann jedoch rechenintensiv sein, an jeder Kreuzung auf jede Ampel zu achten und daraus abzuleiten, welchen Fahrweg die Ampel unter einer Vielzahl von Möglichkeiten darstellt. Weiterhin ist es wichtig, eine relevante Ampel genau zu identifizieren.
Dementsprechend ist es wünschenswert, Systeme und Verfahren vorzusehen, die den Zustand einer relevanten Ampel an jeder Kreuzung entlang einer Route mit verbesserter Recheneffizienz und/oder Genauigkeit anzeigen und bewerten. Ferner werden weitere wünschenswerte Funktionen und Merkmale der vorliegenden Offenbarung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen in Verbindung mit den beigefügten Zeichnungen, sowie dem vorangehenden technischen Gebiet und Hintergrund ersichtlich.
KURZDARSTELLUNG
Systeme und Verfahren zum Steuern eines Fahrzeugs werden bereitgestellt.
In einer Ausführungsform beinhaltet ein autonomes Fahrsystem ein Leitsystem, das konfiguriert ist, um semantische Kartendaten zu empfangen und Routendaten unter Verwendung der semantischen Kartendaten über einen Prozessor zu berechnen. Die semantischen Kartendaten beinhalten Ampelstandortdaten. Ein Computer-Sichtsystem ist konfiguriert, um einen Zustand einer Ampel basierend auf den Ampelstandortdaten über einen Prozessor anzuzeigen und zu bewerten. Ein Fahrzeugsteuersystem ist konfiguriert, um das Fahren eines autonomen Fahrzeugs zumindest basierend auf den Routendaten und dem Zustand der Ampel über einen Prozessor zu steuern.
In Ausführungsformen beinhalten die Routendaten eine gekennzeichnete Kreuzungsspur und die Ampelstandortdaten sind der gekennzeichneten Kreuzungsspur zugeordnet.
In Ausführungsformen bildet die semantische Karte eine Kreuzung unter Verwendung einer Vielzahl von gekennzeichneten Kreuzungsspuren ab, die Wege zum Durchfahren der Kreuzung definieren. Jede gekennzeichnete Kreuzungsspur beinhaltet eine Ampel, die Ampelstandortdaten definiert. Ampelkennzeichnungen von mindestens einem Teil der markierten Kreuzungsspuren kennzeichnen verschiedene Ampeln voneinander.
In Ausführungsformen beinhaltet die semantische Karte eine gekennzeichnete Fahrspur, die in eine Kreuzung eintritt, und mindestens erste und zweite gekennzeichnete Fahrspuren, die die Kreuzung verlassen. Eine erste gekennzeichnete Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet, und die erste markierte Fahrspur, die die Kreuzung verlässt, und eine zweite markierte Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet und die zweite markierte Fahrspur, die die Kreuzung verlässt. Den ersten und zweiten markierten Kreuzungsspuren sind unterschiedliche Ampelkennzeichnungen zugeordnet, die unterschiedliche Ampeln identifizieren und unterschiedliche Ampelstandortdaten definieren.
In Ausführungsformen beinhaltet die semantische Karte markierte Fahrspuren, die in eine Kreuzung eintreten und diese verlassen, markierte Kreuzungsfahrspuren, die Wege definieren, die markierte Fahrspuren, die in die Kreuzung eintreten, und markierte Fahrspuren, die aus der Kreuzung austreten, markierte Ankerpunkte, an denen Fahrspuren in die Kreuzung eintreten, und markierte Ampeln, worin jeder markierte Ankerpunkt mit einer markierten Ampel verknüpft ist, worin jede markierte Kreuzungsfahrspur einer markierten Ampel zugeordnet ist.
In Ausführungsformen beinhaltet die semantische Karte Ampelkennungen, Ampeltypdaten, Kreuzungsfahrbahnkennungen, Kennungen für Fahrspuren, die in die Kreuzung eintreten, und/oder Kennungen für Fahrspuren, die die Kreuzung verlassen.
In Ausführungsformen beinhalten die Routendaten Fahrspuridentifikatoren, die Fahrspuren identifizieren, die entlang der Route verwendet werden sollen, und Kreuzungsfahrspuridentifikatoren, die Kreuzungsfahrspuren identifizieren, die entlang der Route verwendet werden sollen.
In Ausführungsformen beinhaltet das System eine Datenspeichervorrichtung, welche die semantische Karte im autonomen Fahrzeug speichert.
In Ausführungsformen definieren die Ampelstandortdaten eine Position der Ampel in drei räumlichen Dimensionen einschließlich der Höhe. In Ausführungsformen beinhalten die Ampelstandortdaten die Ausrichtung der Ampel. In Ausführungsformen beinhalten die Ampelstandortdaten sechs Informationen zur Position des Freiheitsgrades. In Ausführungsformen beinhalten die Ampelstandortdaten Schätzungen für x-, y- und z-Koordinaten sowie für Roll-, Neigungs- und Gierbewegungen.
In Ausführungsformen ist das Computer-Sichtsystem konfiguriert, um ein Sichtfeld einer Abtastvorrichtung basierend auf den Ampelstandortdaten zu steuern und/oder einen Teil der von mindestens einer Abtastvorrichtung erhaltenen Bilddaten auszuwählen, welche die Ampel basierend auf den Ampelstandortdaten enthält, wodurch das Computer-Sichtsystem konfiguriert ist, um den Zustand der Ampel durch Fokussieren, z. B. Fokussieren der Bildverarbeitung, auf die Ampel in dem ausgewählten Teil der Bilddaten zu bewerten.
In Ausführungsformen ist das Computer-Sichtsystem konfiguriert, um optische Daten der Ampel von einer Abtastvorrichtung zu empfangen, und konfiguriert, um einen Zustand der Ampel einschließlich eines Stopp- und Fahrzustands zu bewerten. Das Fahrzeugsteuerungssystem ist konfiguriert, um das autonome Fahrzeug so zu steuern, dass es vor der Ampel je nach Zustand der Ampel losfährt, weiterfährt oder anhält.
In Ausführungsformen beinhaltet das System ein Positionierungssystem, das konfiguriert ist, um Positionsdaten zu bestimmen, die eine aktuelle Position des autonomen Fahrzeugs darstellen.
In Ausführungsformen ist das Computer-Sichtsystem konfiguriert, um eine bevorstehende Ampel basierend auf den Positionsdaten, die eine Position des Fahrzeugs in Bezug auf die semantische Karte identifizieren, den Routendaten, die die bevorstehende Ampel identifizieren, und den Ampelstandortdaten, die einer Kreuzungsspur zugeordnet sind, die gemäß den Routendaten verfolgt werden, zu visualisieren. In Ausführungsformen beginnt das Computer-Sichtsystem mit der Visualisierung und Bewertung des Zustands der Ampel basierend auf geometrischen (z. B. Sichtlinien-) Berechnungen, den Positionsdaten und den Ampelstandortdaten, die bestimmen, wann die Ampel zum ersten Mal visualisiert werden kann, oder basierend auf einer Datenkennzeichnung in der semantischen Karte, die angibt, wo die Ampel zuerst visualisiert werden kann, oder basierend auf einer vorgegebenen Entfernung von der Ampel, die aus den Positionsdaten und den Ampelstandortdaten ermittelt werden kann.
In Ausführungsformen ist das Computer-Sichtsystem konfiguriert, um die Ampel zu betrachten und/oder die Bildverarbeitung auf die Ampel zu konzentrieren, basierend auf der aktuellen Position des Fahrzeugs und den Ampelstandortdaten.
In einer weiteren Ausführungsform beinhaltet ein computerimplementiertes Verfahren zum autonomen Fahren das Empfangen semantischer Kartendaten über einen Prozessor. Die semantischen Kartendaten beinhalten Ampelstandortdaten. Das Verfahren beinhaltet das Berechnen von Routendaten unter Verwendung der semantischen Kartendaten über einen Prozessor. Das Verfahren beinhaltet das Betrachten einer Ampel über mindestens eine Abtastvorrichtung und das Bewerten eines Zustands der betrachteten Ampel über mindestens einen Prozessor basierend auf den Ampelstandortdaten. Das Verfahren beinhaltet das Steuern des Fahrens eines autonomen Fahrzeugs basierend zumindest auf den Routendaten und dem Zustand der Ampel über einen Prozessor.
In Ausführungsformen beinhaltet die semantische Karte eine gekennzeichnete Fahrspur, die in eine Kreuzung eintritt, und mindestens erste und zweite gekennzeichnete Fahrspuren, die die Kreuzung verlassen. Eine erste gekennzeichnete Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet, und die erste markierte Fahrspur, die die Kreuzung verlässt, und eine zweite markierte Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet und die zweite markierte Fahrspur, die die Kreuzung verlässt. Den ersten und zweiten markierten Kreuzungsfahrspuren sind unterschiedliche Ampelfelder zugeordnet, die unterschiedliche Ampeln identifizieren und unterschiedliche Ampelstandortdaten definieren.
In Ausführungsformen definieren die Ampelstandortdaten eine Position der Ampel in drei räumlichen Dimensionen einschließlich der Höhe. In Ausführungsformen beinhalten die Ampelstandortdaten sechs Informationen zur Position des Freiheitsgrades. In Ausführungsformen beinhalten die Ampelstandortdaten Schätzungen für x-, y- und z-Koordinaten sowie für Roll-, Neigungs- und Gierbewegungen.
In Ausführungsformen beinhaltet das Verfahren das Steuern eines Sichtfeldes einer Abtastvorrichtung basierend auf den Ampelstandortdaten und/oder das Auswählen eines Teils der Bilddaten, die durch mindestens eine Abtastvorrichtung erhalten werden, die die Ampel enthält, wodurch das Computer-Sichtsystem konfiguriert ist, um den Zustand der Ampel durch Fokussieren auf die Ampel im ausgewählten Teil der Bilddaten zu bewerten.
In Ausführungsformen beinhaltet das Verfahren das Verfolgen einer Position des autonomen Fahrzeugs in der semantischen Karte basierend auf aktuellen Positionsdaten für das autonome Fahrzeug, das Extrahieren von Ampelstandortdaten aus einer bevorstehenden markierten Kreuzungsfahrspur in der semantischen Karte, die gemäß den Routendaten zu verfolgen ist, und das Konfigurieren der Abtastvorrichtung, um die Ampel basierend auf den extrahierten Ampelstandortdaten anzuzeigen.
In einer Ausführungsform beinhaltet ein autonomes Fahrzeug eine Datenspeichervorrichtung, die eine semantische Karte speichert, ein Leitsystem, das konfiguriert ist, um semantische Kartendaten von der semantischen Karte zu empfangen und Routeninformationen unter Verwendung der semantischen Kartendaten über einen Prozessor zu berechnen. Die semantischen Kartendaten beinhalten Ampelstandortdaten. Ein Computer-Sichtsystem ist konfiguriert, um einen Zustand einer Ampel basierend auf den Ampelstandortdaten über einen Prozessor anzuzeigen und zu bewerten. Ein Fahrzeugsteuersystem ist konfiguriert, um das Fahren des autonomen Fahrzeugs zumindest basierend auf den Routendaten und dem Zustand der Ampel über einen Prozessor zu steuern.
In Ausführungsformen beinhaltet die semantische Karte eine gekennzeichnete Fahrspur, die in eine Kreuzung eintritt, und mindestens erste und zweite gekennzeichnete Fahrspuren, die die Kreuzung verlassen. Eine erste gekennzeichnete Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet, und die erste markierte Fahrspur, die die Kreuzung verlässt, und eine zweite markierte Kreuzungsspur definiert einen Weg, der die markierte Fahrspur in die Kreuzung verbindet und die zweite markierte Fahrspur, die die Kreuzung verlässt. Den ersten und zweiten markierten Kreuzungsfahrspuren sind unterschiedliche Ampelfelder zugeordnet, die unterschiedliche Ampeln identifizieren und unterschiedliche Ampelstandortdaten definieren.
In Ausführungsformen ist ein Positionierungssystem konfiguriert, um aktuelle Positionsdaten für das autonome Fahrzeug zu bestimmen und konfiguriert, um eine Position des autonomen Fahrzeugs in der semantischen Karte basierend auf den aktuellen Positionsdaten für das autonome Fahrzeug zu verfolgen. Das Computer-Sichtsystem ist konfiguriert, um Ampelstandortdaten aus einer bevorstehenden markierten Kreuzungsfahrspur in der semantischen Karte zu extrahieren, die gemäß den Routendaten zu verfolgen ist. Das Computer-Sichtsystem ist ferner zum Konfigurieren der Abtastvorrichtung zum Betrachten der Ampel und/oder zum Fokussieren der Bildverarbeitung auf die Ampel basierend auf den extrahierten Ampelstandortdaten vorgesehen.
Figurenliste
Die exemplarischen Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, worin gleiche Bezugszeichen gleiche Elemente bezeichnen, und worin gilt:

1 ist ein Funktionsblockdiagramm, das ein autonomes Fahrzeug gemäß verschiedenen Ausführungsformen veranschaulicht;
2 ist ein Funktionsblockdiagramm, das ein Transportsystem mit einem oder mehreren autonomen Fahrzeugen aus 1 gemäß verschiedenen Ausführungsformen darstellt;
Die 3 und 4 sind Datenflussdiagramme, die ein autonomes Fahrsystem gemäß verschiedenen Ausführungsformen veranschaulichen;
5A veranschaulicht einen Teil einer semantischen Karte an einer Kreuzung gemäß verschiedenen Ausführungsformen.
5B veranschaulicht eine Ansicht einer Kreuzung von mindestens einer Abtastvorrichtung.
6 ist ein Ablaufdiagramm, das ein Steuerverfahren zum Steuern des autonomen Fahrzeugs gemäß verschiedenen Ausführungsformen veranschaulicht.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Kurzzusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, auf die Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in Kombinationen, unter anderem umfassend, eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder gruppiert) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, die die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, beispielsweise Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die exemplarischen Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine exemplarische Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber sind konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienelementen der Systeme) hierin ggf. nicht im Detail beschrieben. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien exemplarische Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Mit Bezug auf 1 ist ein System, das allgemein bei 100 gezeigt ist, einem Fahrzeug 10 gemäß verschiedenen Ausführungsformen zugeordnet. Im Allgemeinen verwendet das System 100 Ampeldaten, die in einer semantischen Karte gespeichert sind, und steuert das Fahrzeug 10 basierend darauf intelligent.
Wie in 1 abgebildet, beinhaltet das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 10. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar verbunden.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das System 100 ist in das autonome Fahrzeug 10 (nachfolgend als das autonomes Fahrzeug 10 bezeichnet) integriert. Das autonome Fahrzeug 10 ist beispielsweise ein Fahrzeug, das automatisch gesteuert wird, um Passagiere von einem Ort zum anderen zu befördern. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Pkw dargestellt, es sollte jedoch beachtet werden, dass auch jedes andere Fahrzeug, einschließlich Motorräder, Lastwagen, Sportfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Schiffe, Flugzeuge usw. verwendet werden können. In einer exemplarischen Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier oder Level-Fünf Automatisierungssystem. Ein Level-Vier-System zeigt eine „hohe Automatisierung“ unter Bezugnahme auf die Fahrmodus-spezifische Leistung durch ein automatisiertes Fahrsystem aller Aspekte der dynamischen Fahraufgabe an, selbst wenn ein menschlicher Fahrer nicht angemessen auf eine Anforderung einzugreifen, reagiert. Ein Level-Fünf-System zeigt eine „Vollautomatisierung“ an und verweist auf die Vollzeitleistung eines automatisierten Fahrsystems aller Aspekte der dynamischen Fahraufgabe unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer verwaltet werden können.
Wie dargestellt, beinhaltet das autonome Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß den wählbaren Übersetzungen zu übertragen. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein Stufenverhältnis-Automatikgetriebe, ein stufenlos verstellbares Getriebe oder ein anderes geeignetes Getriebe beinhalten. Das Bremssystem 26 ist dazu konfiguriert, den Fahrzeugrädern 16-18 ein Bremsmoment bereitzustellen. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem, wie beispielsweise eine elektrische Maschine und/oder andere geeignete Bremssysteme beinhalten. Das Lenksystem 24 beeinflusst die Position der Fahrzeugräder 16-18. Während in einigen Ausführungsformen innerhalb des Umfangs der vorliegenden Offenbarung zur Veranschaulichung als ein Lenkrad dargestellt, kann das Lenksystem 24 kein Lenkrad beinhalten.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Erfassungsvorrichtungen 40a-40n können Radargeräte, Lidare, globale Positionierungssysteme, optische Kameras 40a, Wärmebildkameras, Ultraschallsensoren, Trägheitsmesseinheiten und/oder andere Sensoren beinhalten, sind aber nicht darauf beschränkt. Das Stellantriebssystem 30 beinhaltet eine oder mehrere Stellantriebs-Vorrichtungen 42a-42n, die ein oder mehrere Fahrzeugmerkmale, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, jedoch nicht darauf beschränkt sind. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner Innen- und/oder Außenfahrzeugmerkmale, wie beispielsweise Türen, einen Kofferraum und Innenraummerkmale, wie z. B. Luft, Musik, Beleuchtung usw., beinhalten, sind jedoch nicht auf diese beschränkt (nicht nummeriert).
Das Kommunikationssystem 36 ist dazu konfiguriert, Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Vorrichtungen (in Bezug auf 2 näher beschrieben), zu übermitteln. In einer exemplarischen Ausführungsform ist das drahtlose Kommunikationssystem 36 dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards, über Bluetooth oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim automatischen Steuern des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Karten 100 der navigierbaren Umgebung. In verschiedenen Ausführungsformen werden die definierten Karten 100 vordefiniert und von einem entfernten System (in weiteren Einzelheiten in Bezug auf 2 beschrieben) erhalten. So können beispielsweise die definierten Karten 100 durch das entfernte System zusammengesetzt und dem autonomen Fahrzeug 10 (drahtlos und/oder drahtgebunden) mitgeteilt und in der Datenspeichervorrichtung 32 gespeichert werden. Wie ersichtlich, kann die Datenspeichervorrichtung 32 ein Teil der Steuerung 34, von der Steuerung 34 getrennt, oder ein Teil der Steuerung 34 und Teil eines separaten Systems sein.
In Ausführungsformen ist die Karte 101 eine semantische Karte 101, die aus einer Reihe von markierten (z. B. menschlich markierten) LiDAR-Karten erstellt wurde. Das heißt, Kartierungsfahrzeuge erhalten zunächst Cloud- oder LiDAR-Karten und die semantische Karte 101 wird aus den LiDAR-Karten abgeleitet. In einem Beispiel wird die semantische Karte 101 mit ausführlichen Informationen, wie beispielsweise fahrbare Bereiche, Fahrspurtypen, Routenmöglichkeiten durch Kreuzungen (Kreuzungsfahrspuren), Ampelstandortdaten, Ampeltypendaten und Fußgängerwege, kodiert und in einer Postgres-Datenbank im Fahrzeug 10 verwaltet. Die semantische Karte 101 beinhaltet eine zweidimensionale Karte, die aus Markierungen besteht, wobei die Markierungen basierend auf den erhaltenen LiDAR-Daten erstellt wurden, wobei Informationen wie fahrbare Bereiche, mögliche Routen durch Kreuzungen und Ampelinformationen (einschließlich Ampelstandort- und Typdaten) der zweidimensionalen Karte durch semantische Schichten hinzugefügt wurden. Die Markierung erfolgt in einigen Ausführungsformen durch eine Kombination aus automatisierten Prozessen und manuellen Anmerkungen.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU) unter mehreren Prozessoren verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes), ein Makroprozessor, eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 durch und erzeugen Steuersignale an das Stellantriebssystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 10 automatisch zu steuern.
In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im System 100 verkörpert und rufen, wenn sie durch den Prozessor 44 ausgeführt werden, Ampelstandortdaten aus der semantischen Karte (oder den Karten) 100 ab, lenken die Bildverarbeitung von Bildern, die von mindestens einer visuellen Abtastvorrichtung 40a erhalten werden, basierend auf den Ampelstandortdaten, bewerten einen Zustand der Ampel und steuern das Fahrzeug 10 gemäß dem Zustand der Ampel.
Mit weiterem Bezug auf 2 in verschiedenen Ausführungsformen kann das autonome Fahrzeug 10, das mit Bezug auf 1 beschrieben ist, für den Einsatz im Rahmen eines Taxi- oder Shuttle-Unternehmens in einem bestimmten geografischen Gebiet (z. B. einer Stadt, einer Schule oder einem Geschäftscampus, einem Einkaufszentrum, einem Vergnügungspark, einem Veranstaltungszentrum oder dergleichen) geeignet sein. So kann beispielsweise das autonome Fahrzeug 10 einem autonomen fahrzeugbasierten Transportsystem zugeordnet sein. 2 veranschaulicht eine exemplarische Ausführungsform einer Betriebsumgebung, die im Allgemeinen bei 50 dargestellt ist und ein autonomes fahrzeugbasiertes Transportsystem 52 beinhaltet, das, wie mit Bezug auf 1 beschrieben, einem oder mehreren autonomen Fahrzeugen 10a-10n zugeordnet ist. In verschiedenen Ausführungsformen beinhaltet die Betriebsumgebung 50 ferner eine oder mehrere Benutzervorrichtungen 54, die mit dem autonomen Fahrzeug 10 und/oder dem entfernten Transportsystem 52 über ein Kommunikationsnetzwerk 56 kommunizieren.
Das Kommunikationsnetzwerk 56 unterstützt die Kommunikation zwischen Geräten, Systemen und Komponenten, die von der Betriebsumgebung 50 unterstützt werden (z. B. über physische Kommunikationsverbindungen und/oder drahtlose Kommunikationsverbindungen). So kann beispielsweise das Kommunikationsnetzwerk 56 ein drahtloses Trägersystem 60 beinhalten, wie beispielsweise ein Mobiltelefonsystem, das eine Vielzahl von Mobilfunktürmen (nicht dargestellt), eine oder mehrere Mobilvermittlungsstellen (MSCs) (nicht dargestellt) sowie alle anderen Netzwerkkomponenten beinhalten, die zum Verbinden des drahtlosen Trägersystems 60 mit dem Festnetz erforderlich sind. Jeder Mobilfunkturm beinhaltet Sende- und Empfangsantennen und eine Basisstation, wobei die Basisstationen verschiedener Mobilfunktürme mit den MSC verbunden sind, entweder direkt oder über Zwischenvorrichtungen, wie beispielsweise eine Basisstationssteuerung. Das Drahtlosträgersystem 60 kann jede geeignete Kommunikationstechnologie implementieren, beispielsweise digitale Technologien, wie CDMA (z. B. CDMA2000), LTE (z. B. 4G LTE oder 5G LTE), GSM/GPRS oder andere aktuelle oder neu entstehende drahtlose Technologien. Andere Mobilfunkturm/Basisstation/MSC-Anordnungen sind möglich und könnten mit dem Drahtlosträgersystem 60 verwendet werden. So könnten sich beispielsweise die Basisstation und der Mobilfunkturm an derselben Stelle oder entfernt voneinander befinden, jede Basisstation könnte für einen einzelnen Mobilfunkturm zuständig sein oder eine einzelne Basisstation könnte verschiedene Mobilfunktürme bedienen, oder verschiedene Basisstationen könnten mit einer einzigen MSC gekoppelt werden, um nur einige der möglichen Anordnungen zu nennen.
Abgesehen vom Verwenden des Drahtlosträgersystems 60 kann ein zweites Drahtlosträgersystem in Form eines Satellitenkommunikationssystems 64 verwendet werden, um unidirektionale oder bidirektionale Kommunikation mit dem autonomen Fahrzeug 10a-10n bereitzustellen. Dies kann unter Verwendung von einem oder mehreren Kommunikationssatelliten (nicht dargestellt) und einer aufwärts gerichteten Sendestation (nicht dargestellt) erfolgen. Die unidirektionale Kommunikation kann beispielsweise Satellitenradiodienste beinhalten, worin programmierte Inhaltsdaten (Nachrichten, Musik usw.) von der Sendestation empfangen werden, für das Hochladen gepackt und anschließend zum Satelliten gesendet werden, der die Programmierung an die Teilnehmer ausstrahlt. Die bidirektionale Kommunikation kann beispielsweise Satellitentelefondienste beinhalten, die den Satelliten verwenden, um Telefonkommunikationen zwischen dem Fahrzeug 10 und der Station weiterzugeben. Die Satellitentelefonie kann entweder zusätzlich oder anstelle des Drahtlosträgersystems 60 verwendet werden.
Ein Festnetz-Kommunikationssystem 62 kann ein konventionelles Festnetz-Telekommunikationsnetzwerk beinhalten, das mit einem oder mehreren Festnetztelefonen verbunden ist und das Drahtlosträgersystem 60 mit dem entfernten Transportsystem 52 verbindet. So kann beispielsweise das Festnetz-Kommunikationssystem 62 ein Fernsprechnetz (PSTN) wie jenes sein, das verwendet wird, um festverdrahtetes Fernsprechen, paketvermittelte Datenkommunikationen und die Internetinfrastruktur bereitzustellen. Ein oder mehrere Segmente des Festnetz-Kommunikationssystems 62 könnten durch Verwenden eines normalen drahtgebundenen Netzwerks, eines Lichtleiter- oder eines anderen optischen Netzwerks, eines Kabelnetzes, von Stromleitungen, anderen drahtlosen Netzwerken, wie drahtlose lokale Netzwerke (WLANs) oder Netzwerke, die drahtlosen Breitbandzugang (BWA) bereitstellen oder jeder Kombination davon implementiert sein. Weiterhin muss das entfernte Transportsystem 52 nicht über das Festnetz-Kommunikationssystem 62 verbunden sein, sondern könnte Funktelefonausrüstung beinhalten, sodass sie direkt mit einem drahtlosen Netzwerk, wie z. B. dem Drahtlosträgersystem 60, kommunizieren kann.
Obwohl in 2 nur eine Benutzervorrichtung 54 dargestellt ist, können Ausführungsformen der Betriebsumgebung 50 eine beliebige Anzahl an Benutzervorrichtungen 54, einschließlich mehrerer Benutzervorrichtungen 54 unterstützen, die das Eigentum einer Person sind, von dieser bedient oder anderweitig verwendet werden. Jede Benutzervorrichtung 54, die von der Betriebsumgebung 50 unterstützt wird, kann unter Verwendung einer geeigneten Hardwareplattform implementiert werden. In dieser Hinsicht kann das Benutzergerät 54 in einem gemeinsamen Formfaktor realisiert werden, darunter auch in: einen Desktop-Computer; einem mobilen Computer (z. B. einem Tablet-Computer, einem Laptop-Computer oder einem Netbook-Computer); einem Smartphone; einem Videospielgerät; einem digitalen Media-Player; einem Bestandteil eines Heimunterhaltungsgeräts; einer Digitalkamera oder Videokamera; einem tragbaren Computergerät (z. B. einer Smart-Uhr, Smart-Brille, Smart-Kleidung); oder dergleichen. Jede von der Betriebsumgebung 50 unterstützte Benutzervorrichtung 54 ist als computerimplementiertes oder computergestütztes Gerät mit der Hardware-, Software-, Firmware- und/oder Verarbeitungslogik realisiert, die für die Durchführung der hier beschriebenen verschiedenen Techniken und Verfahren erforderlich ist. So beinhaltet beispielsweise die Benutzervorrichtung 54 einen Mikroprozessor in Form einer programmierbaren Vorrichtung, die eine oder mehrere in einer internen Speicherstruktur gespeicherte Anweisungen beinhaltet und angewendet wird, um binäre Eingaben zu empfangen und binäre Ausgaben zu erzeugen. In einigen Ausführungsformen beinhaltet die Benutzervorrichtung 54 ein GPS-Modul, das GPS-Satellitensignale empfangen und GPS-Koordinaten basierend auf diesen Signalen erzeugen kann. In weiteren Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine Mobilfunk-Kommunikationsfunktionalität, sodass die Vorrichtung Sprach- und/oder Datenkommunikationen über das Kommunikationsnetzwerk 56 unter Verwendung eines oder mehrerer Mobilfunk-Kommunikationsprotokolle durchführt, wie hierin erläutert. In verschiedenen Ausführungsformen beinhaltet die Benutzervorrichtung 54 eine visuelle Anzeige, wie zum Beispiel ein grafisches Touchscreen-Display oder eine andere Anzeige.
Das entfernte Transportsystem 52 beinhaltet ein oder mehrere Backend-Serversysteme, die an dem speziellen Campus oder dem geografischen Standort, der vom Transportsystem 52 bedient wird, Cloud-basiert, netzwerkbasiert oder resident sein können. Das entfernte Transportsystem 52 kann mit einem Live-Berater, einem automatisierten Berater oder einer Kombination aus beidem besetzt sein. Das entfernte Transportsystem 52 kann mit den Benutzervorrichtungen 54 und den autonomen Fahrzeugen 10a-10n kommunizieren, um Fahrten zu planen, autonome Fahrzeuge 10a-10n zu versetzen und dergleichen. In verschiedenen Ausführungsformen speichert das entfernte Transportsystem 52 Kontoinformationen, wie zum Beispiel Teilnehmerauthentifizierungsdaten, Fahrzeugkennzeichen, Profilaufzeichnungen, Verhaltensmuster und andere entsprechende T eilnehmerinformati onen.
Gemäß einem typischen Anwendungsfall-Arbeitsablauf kann ein registrierter Benutzer des entfernten Transportsystems 52 über die Benutzervorrichtung 54 eine Fahrtanforderung erstellen. Die Fahrtanforderung gibt typischerweise den gewünschten Abholort des Fahrgastes (oder den aktuellen GPS-Standort), den gewünschten Zielort (der einen vordefinierten Fahrzeugstopp und/oder ein benutzerdefiniertes Passagierziel identifizieren kann) und eine Abholzeit an. Das entfernte Transportsystem 52 empfängt die Fahrtanforderung, verarbeitet die Anforderung und sendet ein ausgewähltes der autonomen Fahrzeuge 10a-10n (wenn und sofern verfügbar), um den Passagier an dem vorgesehenen Abholort und zu gegebener Zeit abzuholen. Das entfernte Transportsystem 52 kann zudem eine entsprechend konfigurierte Bestätigungsnachricht oder Benachrichtigung an die Benutzervorrichtung 54 erzeugen und senden, um den Passagier zu benachrichtigen, dass ein Fahrzeug unterwegs ist.
Wie ersichtlich, bietet der hierin offenbarte Gegenstand bestimmte verbesserte Eigenschaften und Funktionen für das, was als ein standardmäßiges oder Basislinien autonomes Fahrzeug 10 und/oder ein autonomes fahrzeugbasiertes Transportsystem 52 betrachtet werden kann. Zu diesem Zweck kann ein autonomes fahrzeugbasiertes Transportsystem modifiziert, erweitert oder anderweitig ergänzt werden, um die nachfolgend näher beschriebenen zusätzlichen Funktionen bereitzustellen.
Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Antriebssystem (ADS) 70, wie in 3 dargestellt. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und die computerlesbare Speichervorrichtung 46) verwendet werden, um ein autonomes Antriebssystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Antriebssystem 70 je nach Funktion, Modul oder System gegliedert sein. Das autonome Antriebssystem 70 kann beispielsweise, wie in 3 dargestellt, ein Computer-Sichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuersystem 80 beinhalten. Wie ersichtlich ist, können die Anweisungen in verschiedenen Ausführungsformen in beliebig viele Systeme (z. B. kombiniert, weiter unterteilt usw.) gegliedert werden, da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computer-Sichtsystem 74 Sensordaten und prognostiziert Anwesenheit, Standort, Klassifizierung und/oder Verlauf von Objekten und Merkmalen der Umgebung des Fahrzeugs 10. In verschiedenen Ausführungsformen kann das Computer-Sichtsystem 74 Informationen von mehreren Sensoren beinhalten, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren.
Das Positioniersystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine exakte Position in Bezug auf die Fahrspur einer Straße, Fahrzeugrichtung, Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu ermitteln. Das Leitsystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Strecke zu ermitteln, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuerungssystem 80 erzeugt Steuersignale zum Steuern des Fahrzeugs 10 entsprechend der ermittelten Strecke.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalerkennung/Klassifizierung, Hindernisminderung, Routenüberquerung, Kartierung, Sensorintegration, Boden-Wahrheitsbestimmung und dergleichen.
Wie vorstehend kurz erwähnt, ist das System 100 von 1 beispielsweise im ADS 70 integriert, wie im Folgenden beschrieben wird. Im Allgemeinen ist das autonome Fahrsystem konfiguriert, um Ampelstandortdaten aus der semantischen Karte 101 abzurufen, das Computer-Sichtsystem 74 ist konfiguriert, um die Bildverarbeitung von Bildern, die von der mindestens einen Abtastvorrichtung 40a erhalten wurden, basierend auf den Ampelstandortdaten zu lenken, um einen Zustand einer zugehörigen Ampel zu bewerten, und das Fahrzeugsteuersystem 80 ist konfiguriert, um das Fahrzeug 10 basierend auf dem Zustand der Ampel zu steuern.
Wie beispielsweise in Bezug auf 4 und unter fortgesetzter Bezugnahme auf 3 näher dargestellt wird, ist das autonome Fahrsystem 70 konfiguriert, um semantische Kartendaten 112 aus der semantischen Karte 101 abzurufen, die in der Speichervorrichtung 32 des autonomen Fahrzeugs 10 gespeichert sind. Es sind weitere Ausführungsformen vorgesehen, in denen die Kartendaten 112 von einer entfernten Speichervorrichtung über ein drahtloses Netzwerk abgerufen werden.
Unter Bezugnahme auf 5 (a) dort ist eine semantische Karte 101 veranschaulicht, die eine zweidimensionale Basiskarte 122 und mindestens eine semantische Schicht 120 beinhaltet, die räumlich mit der Basiskarte 122 ausgerichtet ist. Das heißt, die semantischen Merkmale in der semantischen Schicht 120 sind geographisch auf die Koordinaten der Basiskarte 122 ausgerichtet. Die mindestens eine semantische Schicht kann in Form einer Überlagerung vorliegen. Die mindestens eine semantische Schicht 120 beinhaltet Kennzeichnungen für verschiedene Straßenmerkmale, wie vorstehend beschrieben. Ein besonderer Schwerpunkt der vorliegenden Offenbarung sind Kennzeichnungen, die einer Kreuzung mit einer Ampel zugeordnet sind. In der veranschaulichten Ausführungsform beinhaltet die mindestens eine semantische Schicht die Ampelbezeichnungen 1100-1107, die Kennzeichnung für normale Fahrspuren, die in die Kreuzung 1200-1203 einmünden, die Kennzeichnung für normale Fahrspuren, die die Kreuzung 1210-1213 verlassen, und die Kreuzungsfahrspuren 1300, die alle möglichen (pro Straße und Fahrvorschriften zulässige) Fahrspuren definieren, welche die in die Kreuzung 1200-1203 einmündenden Fahrspuren und die aus der Kreuzung 1210-1213 abgehenden Fahrspuren verbinden. Weiterhin sind in der mindestens einen semantischen Schicht 120 die Ankerpunkte 6000-6003-6003 vorgesehen, die an einem definierten Zugang zu der Kreuzung vorgesehen sind, wobei eine normale Fahrspur 1200-1203 in die Kreuzung eintritt und zu den Kreuzungsfahrspuren 1300 übergeht. Die mindestens eine semantische Schicht beinhaltet Verbindungskennzeichnungen 1220, die jeden Ankerpunkt 6000-6003 mit relevanten Ampeln verbinden. In der exemplarischen Ausführungsform beinhaltet die mindestens eine semantische Schicht 120 Ampelinformationen 124 (z. B. Ampelkennung und/oder Standortdaten 124), die jeder Kreuzungsspur 1300 zugeordnet sind. Ampelstandortdaten werden entweder direkt aus den Ampeldaten übernommen oder indirekt über die Ampelkennung erhalten. In Ausführungsformen beinhalten die Ampelstandortdaten x-, y- und z-Koordinaten sowie Neigungs-, Gier- und Rolldaten.
In Ausführungsformen beinhalten die Kennzeichnungen der mindestens einen semantischen Schicht mindestens eine der Linien, Identifikatoren, Standortdaten, usw. In der veranschaulichten Ausführungsform sind die gekennzeichneten normalen Fahrspuren, die in die Kreuzung 1200-1203, 1210-1213 und die gekennzeichneten Kreuzungsfahrspuren 1300 einmünden, mit Fahrspurkennzeichnungen versehen, welche die Fahrspur in der semantischen Karte 101 eindeutig identifizieren, Richtungsinformationen (z. B. eine Richtung, in die ein Fahrzeug fahren darf, wenn es der Fahrspur folgt), Standortinformationen und Linien, die einen Fahrweg für ein der Fahrspur folgendes Fahrzeug definieren. Einige gekennzeichnete Kreuzungsfahrspuren 1300 sind so beschaffen, dass mehrere (z. B. zwei oder drei) Kreuzungsfahrspuren von einer einzelnen Fahrspur in die Kreuzung 1200-1203 einmünden, wobei sie sich mit den jeweiligen Fahrspuren verbinden, welche die Kreuzung 1210-1213 verlassen und jeweils Wege festlegen, die nach links abbiegen, nach rechts abbiegen und/oder gerade verlaufen. In Ausführungsformen sind die Ankerpunkte 6000-6003- 6003 jeweils mit einer oder mehreren Ampeln 1100-1107 verbunden. Die Ankerpunkte 6000-6003 sind nur mit Ampeln verbunden, die für den Verkehrsfluss von diesem Ankerpunkt 6000 und der zugehörigen Fahrspur in die Kreuzung 1200-1203 relevant sind. In der veranschaulichten Ausführungsform werden die gekennzeichneten Verbindungen 1220 zwischen dem Ankerpunkt 6000 und der Ampel 1105-1106 durch Verbindungslinien, wie beispielsweise gerade Linien, hergestellt. In einer Ausführungsform sind die Ampeln 1100-1107 mit Ampelkennzeichnungen versehen, die jede Ampel an der Kreuzung eindeutig identifizieren, mit zweidimensionalen Standortinformationen in Bezug auf die Basiskarte 122 gekennzeichnet und mit einer Höhe aus Fahrbahnoberflächeninformationen versehen. In einer weiteren Ausführungsform sind neben dreidimensionalen Standortdaten auch Ausrichtungsinformationen (z. B. Neigung, Gieren und Rollen) mit den Ampelkennzeichnungen 1100-1107 beinhaltet. Weiterhin sind die Ampeln in einigen Ausführungsformen mit Daten des Ampeltyps gekennzeichnet. Verschiedene Ampeltypen sind in einem Typparameter verkörpert, der jeder Ampel zugeordnet ist. So sind beispielsweise normale rote/gelbe/grüne Ampeln von einem anderen Typ als Ampeln mit roten/gelben/grünen/Pfeilen nach links.
In Ausführungsformen wird jeder Kreuzungsfahrspur 1300 über Zuordnungskennzeichnungen mindestens eine Ampel 1101-1107 zugeordnet, sodass verschiedene Kreuzungsfahrspuren 1300 unterschiedlichen Ampelinformationen 124 zugeordnet werden, je nachdem, welche Ampel für die Fahrt entlang dieser Kreuzungsfahrspur relevant sind. In einem Beispiel erfolgt die Zuordnung zwischen der Ampel 1101-1107 und der Kreuzungsfahrspur 1300 durch die Einbindung einer Ampelkennung oder einer anderen Zuordnungskennzeichnung mit der Kreuzungsfahrspur 1300. Alternativ werden die Ampelstandortdaten 124 (in drei Dimensionen) in die Kennzeichnung für die Kreuzungsfahrspur 1300 eingebettet.
In verschiedenen Ausführungsformen wird die mindestens eine semantische Schicht 120 durch einen Prozess wie folgt aufgebaut. Ampeln werden im präzisen x-, y- und z-Raum durch eine Kombination aus manuellen und automatisierten Prozessen platziert und an dieser Stelle in der Karte Ampelkennzeichnungen 1100-1107 konstruiert, die dreidimensionale Ampelstandortdaten, Ampelkennzeichnungsdaten und optionale Ampelausrichtungsdaten beinhalten. Jede Ampelkennzeichnung 1100-1107 ist mit der gekennzeichneten Einmündung in die Kreuzung oder dem Ankerpunkt 6000 für alle Fahrspuren 1200-1203 verknüpft, welche die Ampel(n) als Orientierungshilfe verwenden würden. Die Kreuzung in der semantischen Karte 101 beinhaltet Linienzeichenfolgen, die alle möglichen Fahrwege darstellen, die von einem Ankerpunkt 6000 ausgehen, wodurch die Kreuzungsfahrspuren 1300 bereitgestellt werden. Ampelzuordnungen in Form von Ampeldaten 124 werden automatisch in diese einzelnen Fahr- oder Kreuzungsfahrspuren 1300 eingepflegt, basierend auf den Ankerpunkten 6000-6003 und dem Richtungstyp (z. B. ist ein Licht mit rot/gelb/grünen linken Pfeilen nur mit Kreuzungswegen verbunden, denen ein „linker“ Fahrtrichtungstyp zugewiesen ist).
Im Rückblick auf die 3 und 4, unter fortgesetzter Bezugnahme auf 5A, wird die Verwendung der semantischen Karte 101 weiter beschrieben. Das Computer-Sichtsystem 74 ist konfiguriert, um semantische Kartendaten 112 von der semantischen Karte 101 abzurufen oder anderweitig zu empfangen, wenn sich das autonome Fahrzeug 10 einer Kreuzung nähert. Die semantischen Kartendaten 112 beinhalten die Ampelstandortdaten 124 als Teil der Kennzeichnungen für die Ampel 1100-1107 und/oder als Teil der Kennzeichnungen für die Kreuzungsfahrspuren 1300, wie vorstehend beschrieben. Die in den semantischen Kartendaten 112 beinhalteten Ampelstandortdaten 124 ermöglichen es dem Computer-Sichtsystem 74, die Bildverarbeitung auf einen ausgewählten Teil eines Sichtfeldes von mindestens einer Abtastvorrichtung 40a zu richten. In einer Ausführungsform beinhaltet die mindestens eine Abtastvorrichtung 40a eine oder mehrere optische Kameras. In verschiedenen Ausführungsformen ist das Computer-Sichtsystem 74 konfiguriert, um basierend auf den Ampel standortdaten 124 Steuerbefehle 108 für die Kamera (oder eine andere Abtastvorrichtung) zum Steuern von mindestens einer der folgenden Größen zu erzeugen: Sichtfeldgröße, Sichtfeldrichtung (z. B. Schwenkbewegungen einschließlich Gieren, Neigen und/oder Rollen) sowie Kamerazoom. Auf diese Weise werden Ampeln basierend auf den in der semantischen Karte 101 enthaltenen Ampelstandortdaten 124 vom Computer-Sichtsystem 74 effizient identifiziert und von der Abtastvorrichtung 40a visualisiert, um eine Ampelbewertung durch das Computer-Sichtsystem 74 zu ermöglichen. In weiteren Ausführungsformen steuert das Computer-Sichtsystem 74 die mindestens eine Abtastvorrichtung nicht an und es werden keine entsprechenden Steuerbefehle 108 erzeugt. Stattdessen fokussiert das Computer-Sichtsystem 74 die Bildverarbeitung auf einen ausgewählten Teil der erfassten Bilder basierend auf den Ampelstandortdaten 124.
In Ausführungsformen ruft das Computer-Sichtsystem 74 Ampeltypendaten als Teil von Kennzeichnungen für die Ampeln 1100-1107 ab. Das Computer-Sichtsystem 74 ist konfiguriert, um Bildverarbeitungstechniken durchzuführen, um die Art der Ampel, die durch Daten vom Ampeltyp identifiziert wird, mit den visuellen Daten zu vergleichen, die von der mindestens einen Abtastvorrichtung 40a erfasst werden, wodurch eine Übereinstimmung sichergestellt wird und Fehlalarme reduziert werden können. Wenn die visuellen Daten nicht mit dem Ampeltyp übereinstimmen, ist das Computer-Sichtsystem 74 konfiguriert, um eine Nachbarschaftssuche nach der relevanten wahren Ampel fortzusetzen.
Die mindestens eine Abtastvorrichtung 40a visualisiert in verschiedenen Ausführungsformen die Ampel basierend auf den Steuerbefehlen 108 und erzeugt die erfassten Daten 106, meist in Form von Bild- oder Videodaten von mindestens der Ampel und gegebenenfalls auch von benachbarten Bereichen. Das Computer-Sichtsystem 74 empfängt die erfassten Daten 106 und beinhaltet ein Ampelbewertungsmodul 104, das die erfassten Daten 106 verarbeitet, um einen Zustand der Ampel zu bewerten (z. B. rot für Stopp, rot und gelb für Anfahren, grün für Losfahren, gelb für Anhalten). Das Ampelbewertungsmodul 104 verwendet Bildverarbeitungstechniken und Ampelbewertungsalgorithmen, um den Zustand der Ampel in verschiedenen Ausführungsformen zu bewerten. Das Ampelbewertungsmodul 104 gibt Ampelzustandsdaten 107, die einen der möglichen Ampelzustände darstellen, an die Fahrzeugsteuerung 80 aus, wie im Folgenden näher beschrieben wird. In einer alternativen oder zusätzlichen Ausführungsform zu der in 4 dargestellten Ausführungsform ist das Computer-Sichtsystem 74 konfiguriert, um sich auf eine bestimmte Ampel zu konzentrieren, nicht notwendigerweise durch Steuern eines Sichtfeldes von mindestens einer Abtastvorrichtung 40a, sondern durch Lokalisieren eines Teils der Bilder, die durch die mindestens eine Abtastvorrichtung 40a erhalten wurden, welche die Ampel enthält. Der lokalisierte Teil der Bilder ist durch Transformieren der realen Koordinaten der Ampel, die aus den Ampelstandortdaten 124 in den semantischen Kartendaten 112 erhalten wurden, in den Bildraum bestimmbar. In verschiedenen Ausführungsformen verwendet die Transformation von realen Koordinaten in den Bildraum Kalibrierdaten der Position der Kamera 40a, die neben dem Rollen, Neigen und Gieren des Fahrzeugs 10 auch Bilder der Ampel in Bezug auf das Fahrzeug 10 erfassen. Die Roll-, Neigungs- und Gierinformationen des Fahrzeugs 10 sind über das Positionierungssystem 76 verfügbar. Die Kalibrierdaten sind über die mindestens eine Speichervorrichtung 32 erhältlich. Das Ampelbewertungsmodul 104 ist in der Lage, nur die im lokalisierten Teil enthaltene Ampel zu bewerten, um die Ampelzustandsdaten 107 zu bestimmen.
In einer exemplarischen Ausführungsform ist das Computer-Sichtsystem 74 konfiguriert, um Positionsdaten 118 vom Positionierungssystem 76 zu empfangen. Das Positionierungssystem 76 ist in der Lage, die Position des Fahrzeugs 10 in sechs Freiheitsgraden basierend auf GPS-Daten und Lidar-basierten Scan-Abgleichtechniken zu bestimmen. Die visuelle Odometrie lokalisiert im Allgemeinen das Fahrzeug 10 in Bezug auf eine in der Speichervorrichtung gespeicherte dreidimensionale Karte, indem sie Merkmale aus einer erfassten dreidimensionalen Cloud (z. B. einer LiDAR-Cloud) mit entsprechenden Merkmalen in der dreidimensionalen Karte vergleicht. Auf diese Weise wird das Fahrzeug 10 in der dreidimensionalen Karte lokalisiert. Das Positionierungssystem 76 ist konfiguriert, um die lokalisierte Position in der dreidimensionalen Karte in eine lokalisierte Position in der zweidimensionalen semantischen Karte 101 als Teil der Positionierungsdaten 118 zu verschieben. Daraus können aus den semantischen Kartendaten 112 relevante Ampelstandortdaten 124 (und andere Ampeldaten, wie beispielsweise Ampeltyp) erhalten werden. Basierend auf der aktuellen lokalisierten Position des Fahrzeugs in drei Dimensionen, der dreidimensionalen Position der Ampel, die aus den Ampelstandortdaten 124 und den Kalibrierdaten der externen Kamera erhalten wird, wird die Position der Ampel im Bildraum durch das Computer-Sichtsystem 74 bestimmt.
In Ausführungsformen ist das Computer-Sichtsystem 74 konfiguriert, um einen interessierenden Bereich von Bildern auszuwählen, die durch die mindestens eine Abtastvorrichtung 40a erhalten wurden, die der Ampelposition im Bildraum entspricht und die basierend auf den Ampelstandortdaten 124 wie vorstehend beschrieben bestimmt wurde. Basierend auf geometrischen Überlegungen wählt das Computer-Sichtsystem 74 einen größeren interessierenden Bereich aus, wenn sich das Fahrzeug der Ampel nähert. Der interessierende Bereich wird in der Folgeverarbeitung durch das Ampelbewertungsmodul 104 verwendet.
In verschiedenen Ausführungsformen ist das Ampelbewertungsmodul 104 konfiguriert, um den interessierenden Bereich auf eine feste Skala zu skalieren und die skalierten Bilddaten durch ein neuronales Netzwerk zu leiten, das zum Identifizieren des Status der Ampel konfiguriert ist. Das Ampelbewertungsmodul 104 ist in einigen Ausführungsformen konfiguriert, um zu überprüfen, ob der Ampeltyp, wie er aus den Ampeltypendaten in den semantischen Kartendaten 112 bekannt ist, mit der Ampel im interessierenden Bereich übereinstimmt. Dieser Abgleichprozess kann über das neuronale Netzwerk durchgeführt werden. Im Falle eines Fehlalarms ist das Computer-Sichtsystem 74 zum Durchsuchen der Nachbarschaft des interessierenden Bereichs oder zum Ableiten der Ampelbewertung auf nachfolgende oder frühere Einzelbilder von Bilddaten konfiguriert, die keinen Fehlalarm zurückgeben.
Unter Bezugnahme auf 5B ist eine exemplarische Ansicht von einer Frontkamera des autonomen Fahrzeugs 10 dargestellt, die in der mindestens einen Abtastvorrichtung 40a beinhaltet ist. Die Ansicht ist repräsentativ für Bilder, die von der Frontkamera eines autonomen Fahrzeugs 10 aufgenommen wurden, das sich am Ankerpunkt 6000 von 5A befindet. Zwei Ampeln mit den Kennzeichen 1105, 1106 in der semantischen Karte 101 von 5A werden durch die Frontkamera visualisiert. In diesem Beispiel sind beide Ampeln für die Geradeausfahrt relevant und werden der entsprechenden Kennzeichnung für eine Kreuzungsfahrspur 1300 zugeordnet, die einem Geradeausweg in der semantischen Karte folgt. Das Computer-Sichtsystem 74 ist konfiguriert, um Ampelstandortdaten 124 zu extrahieren, die in der semantischen Karte 101 enthalten sind und der Geradeausfahrspur zugeordnet sind, und um ein Sichtfeld der Frontkamera zu konfigurieren und/oder um die Ampel in den von der Kamera erhaltenen Bildern basierend auf den Ampelstandortdaten 124 zu fokussieren, wie vorstehend beschrieben wurde. Die Ampelstandortdaten 124 in der semantischen Karte 101 beinhalten dreidimensionale Standortdaten. Basierend auf einer aktuellen Position des autonomen Fahrzeugs 10, die aus den nachfolgend beschriebenen Positionsdaten 118, den Ampelstandortdaten 124 und geometrischen Berechnungen bekannt ist, ist das Computer-Sichtsystem 74 konfiguriert, um in Bezug auf das Fahrzeug 10 den Standort der Ampel zu bestimmen. In Ausführungsformen ist das Computer-Sichtsystem 74 konfiguriert, um eine Sichtlinie der Ampel basierend auf der Position der Ampel in Bezug auf das Fahrzeug zu bestimmen und/oder um eine Position der Ampel im Bildraum zu bestimmen. Durch die Verwendung von Ampelstandortdaten 124 zum Bestimmen einer Position im Bildraum der Ampel können Ampeln mit einer verbesserten Genauigkeit identifiziert und bewertet werden. Insbesondere die hierin beschriebenen Systeme und Verfahren ermöglichen es, Falschmeldungen für Ampeln herauszufiltern. So könnte beispielsweise eine Rückleuchte theoretisch mit einer Rückleuchte verwechselt werden, allerdings mit der Tatsache, dass die Rückleuchte gemäß den Ampelstandortdaten 124 nicht mit dem Standort der Ampel übereinstimmt, wodurch eine derartige Fehlermittlung ausgeschlossen oder vermieden wird. Weiterhin kann das System, da aus den Ampeldaten 124 bekannt ist, dass eine Ampel an einer lokalen Kreuzung vorhanden sein sollte, gewährleisten, dass das Fahrzeug 10 konservativ gesteuert wird, um das Vorhandensein einer Ampel vorauszusetzen, auch wenn diese noch nicht visualisiert werden kann (z. B. wegen eines Hindernisses), und entsprechend durch die Kreuzung fahren. Weiterhin werden Computerprozesse effizient gestaltet, um jede Ampel an jeder Kreuzung zu lokalisieren und daraus abzuleiten, welche Fahrwege die Ampel repräsentiert.
Betrachtet man das Beispiel von 5B genauer, so ist das autonome Fahrsystem 70 konfiguriert, um den Standort des Fahrzeugs 10 entlang eines Fahrbahnsegments 1200 zu verfolgen, das in eine Kreuzung eintritt. Das autonome Fahrsystem 70 ist so konfiguriert, dass es dem Fahrspurabschnitt 1200 gemäß den Routendaten 114 folgt. Das autonome Fahrsystem 70 ist konfiguriert, um den Ankerpunkt 6000 aus den semantischen Kartendaten 101 abzurufen, die der durch die Routendaten 114 definierten Route entsprechen. Der Ankerpunkt 6000 ist zwei Ampeln 1105, 1106 zugeordnet, die den Verkehr über die Kreuzung für dieses Fahrbahnsegment 1200 steuern. Basierend auf den Ampeln 1105, 1106, die dem jeweiligen Ankerpunkt 6000 zugeordnet sind, können die Ampelstandortdaten 124 für jede Ampel 1105, 1106 aus der semantischen Karte 101 extrahiert werden. Das Computer-Sichtsystem 74 ist konfiguriert, um Bilder der kommenden Kreuzung aufzunehmen, und ein Prozessor derselben ist konfiguriert, um lokale Boxen (oder andere Begrenzungen) zu bestimmen, die ein kleiner Teil der erfassten Bilder sind, die im Bildraum lokalisiert sind, basierend auf den dreidimensionalen Ampelstandortdaten 124 und der Verarbeitung der Transformation von Realraum zu Bildraum. Das Ampelbewertungsmodul 104 konzentriert sich auf kleine Teile der aufgenommenen Bilder, die den Positionen der Ampeln 1105, 1106 entsprechen, wodurch die Wahrscheinlichkeit von Falschmeldungen reduziert und die Verarbeitungseffizienz verbessert wird. Das Fahrzeugsteuerungssystem 80 steuert das Fahrzeug gemäß dem Ampelsignal.
Basierend auf semantischen Kartendaten 112, Positionsdaten 118 für das autonome Fahrzeug 10 in Bezug auf die semantische Karte 101 und Routendaten 114, die eine Route definieren, der das autonome Fahrzeug 10 folgen soll, ist das Computer-Sichtsystem 74 in der Lage, bevorstehende Ampeln zu bestimmen und die Suche nach der relevanten Ampel an einem geeigneten Standort zu starten. Das heißt, die Routendaten 114 definieren eine bevorstehende Route mit normalen Fahrspuren und Kreuzungsfahrspuren. Die Kreuzungsfahrspuren sind den Ampeldaten 124 in den Kennzeichnungen in den semantischen Kartendaten 112 zugeordnet, wie vorstehend in Bezug auf 5A beschrieben. Das Computer-Sichtsystem 74 ist in verschiedenen Ausführungsformen konfiguriert, um die Visualisierung einer Ampel gemäß den vorstehend beschriebenen Prozessen einzuleiten, wenn Positionsdaten 118, Routendaten 114 und semantische Kartendaten 112 eine Annäherung, z. B. innerhalb einer vorgegebenen Entfernung von einem aktuellen Standort des autonomen Fahrzeugs 10, anzeigen. In Ausführungsformen beinhalten die Routendaten 114 eine Kennzeichnung einer bevorstehenden Kreuzungsfahrspur. Ausgehend von den semantischen Kartendaten 112 sind die Ampeldaten 124 der Kreuzungsfahrspur zugeordnet, die entweder die Ampelstandortdaten 124 beinhaltet oder diesen zugeordnet ist. Die Positionsdaten 118 ermöglichen die Verfolgung, z. B. durch das Positionierungssystem 76, des autonomen Fahrzeugs 10 entlang der durch die Routendaten 114 definierten Route und ermöglichen das Berechnen einer Entfernung zu der zu berechnenden Ampel. Wenn eine Entfernung zur Ampel ausreichend nahe ist (z. B. durch einen Schwellenwert bestimmt), ist das Computer-Sichtsystem 74 so konfiguriert, dass es die Ampel visualisiert oder zum Visualisieren ansetzt oder mit der Bildverarbeitung beginnt, um die Ampel zu lokalisieren und auszuwählen, die der Kreuzungsfahrspur zugeordnet ist, und beginnt, den Zustand der Ampel zu bewerten. In zusätzlichen oder alternativen Ausführungsformen beinhaltet die semantische Karte 101 in der mindestens einen semantischen Schicht, z. B. in Verbindung mit den Kreuzungsfahrspuren, Kennzeichnungen, die eine erste Sichtlinie für die Ampel beschreiben, sodass das Computer-Sichtsystem 74 beginnt, die entsprechende Ampel an der frühestmöglichen Stelle entlang der Route zu visualisieren.
Die Positionierungsdaten 118 werden durch das Positionierungssystem 76 und die Routendaten 114 durch das Leitsystem 78 erhalten, wie im Folgenden näher beschrieben wird.
In verschiedenen Ausführungsformen ist das Positionierungssystem 76 konfiguriert, um basierend auf Sensoreingaben eine Position des autonomen Fahrzeugs 10 zu bestimmen. In Ausführungsformen ist das Positionierungssystem 76 konfiguriert, um globale Positionierungsdaten von einem globalen Positionierungsempfänger und Sensorabbildungen von mindestens einer Sensorvorrichtung 40a-40n (z. B. einer Lidar-Sensorvorrichtung) zu empfangen, um eine Position des autonomen Fahrzeugs in Bezug auf die semantische Karte 101 zu lokalisieren. Das Positionierungssystem 76 ist konfiguriert, um dreidimensionale Kartendaten zu empfangen und die durch die Sensorabbildung erhaltenen Merkmale mit Merkmalen in den dreidimensionalen Kartendaten abzugleichen, um das autonome Fahrzeug in Bezug auf die dreidimensionale Karte genau zu lokalisieren. Da die dreidimensionale Karte und die semantische 101 aufeinander abgestimmt sind, kann das Positionierungssystem 76 Positionierungsdaten 118 erzeugen, die den Standort des Fahrzeugs 10 in der semantischen Karte 101 repräsentieren.
In verschiedenen Ausführungsformen beinhaltet das Leitsystem 78 einen Router 110, der konfiguriert ist, um semantische Kartendaten 112 zu verwenden und einen Routing-Algorithmus auszuführen, um eine Route von einem Start- zu einem Endstandort darzustellen. Der Startort kann ein aktueller Standort des autonomen Fahrzeugs 10 sein. In Ausführungsformen ist der Endstandort ein von einem Insassen des autonomen Fahrzeugs 10 eingegebenes Ziel oder ein von einer entfernten Quelle über ein drahtloses Netzwerk empfangenes Ziel. In Ausführungsformen umfassen die Routendaten 114 eine Reihe von Fahrspuridentifikatoren, einschließlich den normalen Fahrspuren und Kreuzungsfahrspuren. Durch das Folgen der durch die Routendaten 114 definierten Route entlang der semantischen Karte 101 sind gekennzeichnete Daten, die dieser Route zugeordnet sind, aus der semantischen Karte 101 extrahierbar, wie beispielsweise Ampelstandortdaten 124, die den gekennzeichneten Kreuzungsfahrspuren 1300 zugeordnet sind.
In Ausführungsformen verwendet das Fahrzeugsteuerungssystem 80 die Routendaten 114 und semantischen Kartendaten 112 und bestimmt bei Betätigungsbefehlen 116 algorithmisch den durch die Routendaten 114 definierten Fahrweg. Das Stellgliedsystem 30 reagiert auf die Betätigungsbefehle 116, um die Fahrzeugbewegung gemäß den Anweisungen des Fahrzeugsteuerungssystems 80 zu steuern. Das Fahrzeugsteuerungssystem 80 empfängt Ampelzustandsdaten 107 und bestimmt basierend darauf die geeignete Fahrzeugaktion. So ist beispielsweise die Fahrzeugsteuerung 80 bei einem durch die Ampelzustandsdaten 107 definierten Grünsignalzustand so konfiguriert, dass sie, wie von der Route vorgegeben, den Fahrbetrieb aufnimmt oder über die Kreuzung fährt. Im Falle eines durch die Ampelzustandsdaten 107 definierten Rotsignalzustands ist die Fahrzeugsteuerung 80 so konfiguriert, dass sie das Fahrzeug vor der Ampel stoppt. Das Fahrzeugsteuerungssystem 80 ist konfiguriert, um Steuerbefehle 116 auszugeben, welche die Aktion beschreiben, die durch das autonome Fahrzeug 10 als Reaktion auf den Ampelzustand auszuführen ist.
Unter jetziger Bezugnahme auf 6 und fortgesetzter Bezugnahme auf die 1-5, veranschaulicht ein Computersteuerungsverfahren 400, das durch das System 100 von 1 gemäß der vorliegenden Offenbarung ausgeführt werden kann. Wie aus der Offenbarung ersichtlich, ist die Abfolge der Vorgänge innerhalb des Verfahrens nicht auf die in 6 dargestellte sequenzielle Abarbeitung beschränkt, sondern kann, soweit zutreffend, in einer oder mehreren unterschiedlichen Reihenfolge(n) gemäß der vorliegenden Offenbarung durchgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 400 basierend auf einem oder mehreren vordefinierten Ereignissen zur Ausführung geplant werden und/oder kontinuierlich während des Betriebs des autonomen Fahrzeugs 10 ausgeführt werden.
In Schritt 402 empfängt das autonome Fahrsystem 70 semantische Kartendaten 112 von der semantischen Karte 101, die in der mindestens einen Speichervorrichtung 32 gespeichert ist. Die semantischen Kartendaten 112 beinhalten gekennzeichnete Ampelinformationen 124 einschließlich Ampelstandortdaten 124 als Teil mindestens einer semantischen Schicht 120 der gekennzeichneten Straßenmerkmale. Die semantischen Kartendaten können auch Ampeltypendaten beinhalten, wie vorstehend beschrieben. Die semantischen Kartendaten 112 werden von verschiedenen Komponenten des autonomen Fahrsystems 70 verwendet.
In Schritt 404 werden die Routendaten 114 durch einen Router 110 des Leitsystems 78 basierend auf den eingegebenen Start- und Zielorten, den semantischen Kartendaten 112, insbesondere der Basiskarte 122 derselben, berechnet. Der Router 110 implementiert einen Routing-Algorithmus, um eine optimale Route zwischen Start- und Zielort zu berechnen. Die Routendaten 114 beinhalten das Identifizieren von normalen Fahrspuren und Kreuzungsfahrspuren, denen das autonome Fahrzeug 10 folgen soll.
In Schritt 406 extrahiert das autonome Fahrsystem 70, z. B. das Positionierungssystem 76 oder das Computer-Sichtsystem 74, Ampelstandortdaten 124, die mindestens einer Kreuzungsfahrspur zugeordnet sind, um zu identifizieren, welche Ampel(n) zu sehen sind und wo diese Ampel(n) im realen Raum zu finden sind. Diese Ampelstandortdaten 124 sind in der semantischen Karte 101 integriert und jeder Kreuzungsfahrspur 1200-1203 zugeordnet. Die Routendaten 114 identifizieren die befahrene Kreuzungsfahrspur 1200-1203 und ermöglichen so das Extrahieren der zugehörigen Ampelstandortdaten 124. In Ausführungsformen lokalisiert das Positionierungssystem 76 das autonome Fahrzeug 10 in Bezug auf die semantische Karte 101 und stellt entsprechende Positionsdaten 118 bereit. Das Computer-Vision-System 74 bestimmt aus den Routendaten 114 die bevorstehende Kreuzungsfahrspur, die durch die Positionsdaten 118 und die semantische Karte 101 definierte aktuelle Position und extrahiert die der gekennzeichneten Kreuzungsfahrspur zugeordneten Ampelstandortdaten 124 in der semantischen Karte 101.
In Schritt 408 visualisiert das Computer-Sichtsystem 74 die durch die Ampelstandortdaten 124 spezifizierte(n) Ampel(n) in den semantischen Kartendaten 112 und bewertet deren Zustand. Das Computer-Sichtsystem 74 erstellt Ampelzustandsdaten 107, die den bewerteten Zustand der Ampel anzeigen. In einigen Ausführungsformen steuert das Computer-Sichtsystem 74 ein Sichtfeld und/oder einen Zoom oder einen anderen Parameter mindestens einer Abtastvorrichtung 40a (z. B. einer optischen Kamera), um die Ampel basierend auf den Ampelstandortdaten 124 zu erfassen. Dazu transformiert das Computer-Sichtsystem 74 dreidimensionale Koordinaten der Ampelstandortdaten 124 aus der semantischen Karte 101 in Kamerasteuerbefehle 108 zum Visualisieren der Ampel. Um zu bestimmen, an welcher Stelle die optische Kamera 40a die Ampel zum ersten Mal wahrnehmen kann, werden in einigen Ausführungsformen geometrische Berechnungen verwendet, die eine Sichtlinie von der mindestens einen Abtastvorrichtung 40a zu der durch die Ampelstandortdaten 124 definierten Ampelstandort bestimmen. Alternativ wird der Standort, an dem jede Ampel (unter normalen Sichtverhältnissen) zuerst betrachtet werden kann, als Kennzeichnung in der semantischen Karte 101 gespeichert, die optional jeder gekennzeichneten Kreuzungsfahrspur 1300 zugeordnet ist. In einer weiteren Möglichkeit wird der Standort, an dem jede Ampel zum ersten Mal wahrgenommen werden kann, bestimmt, wenn sich das autonome Fahrzeug innerhalb einer vorgegebenen Entfernung von der Ampel befindet, die aus den Positionierungsdaten 118, die eine aktuelle Position des autonomen Fahrzeugs 10 darstellen, und den Ampelpositionsdaten 107 berechenbar ist. In zusätzlichen oder alternativen Ausführungsformen verarbeitet das Computer-Sichtsystem 74 einen ausgewählten Teil der aufgenommenen Bilder, welche die durch die Ampelstandortdaten 124 identifizierte Ampel beinhalten. Der Teil der aufgenommenen Bilder wird in einigen Ausführungsformen durch Transformation der Ampelstandortdaten 124 in einen Bildraum bestimmt, sodass sich das Computer-Sichtsystem 74 nur auf einen Teil der Bilder konzentrieren kann, welche die Ampel beinhalten. Unter Verwendung von Fahrzeugpositionierungsinformationen ist die relative Position der Ampel 1101-1103, wie in den Ampelstandortdaten 124 beschrieben, und des Fahrzeugs 10 bestimmbar. Aus diesem relativen Standort und den Kalibrierungsinformationen der Kamera wird die Position der Ampel 1101-1103 im Bildraum bestimmt.
In Schritt 410 steuert das Fahrzeugsteuerungssystem 80 das Fahren des autonomen Fahrzeugs 10 zum Folgen der durch die Routendaten 114 definierten Route und zum Ergreifen geeigneter Maßnahmen an Ampeln basierend auf den Ampelzustandsdaten. Das Fahrzeugsteuerungssystem 80 erstellt Stellgliedbefehle 116 zum Ausführen durch das Stellgliedsystem 30.
Während mindestens eine exemplarische Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Varianten gibt. Es versteht sich weiterhin, dass die exemplarische Ausführungsform oder die exemplarischen Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der exemplarischen Ausführungsform bzw. der exemplarischen Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Autonomes Fahrsystem, umfassend: ein Leitsystem, das konfiguriert ist, um semantische Kartendaten zu empfangen und Routendaten unter Verwendung der semantischen Kartendaten über einen Prozessor zu berechnen; worin die semantischen Kartendaten Ampelstandortdaten beinhalten; ein Computer-Sichtsystem, das konfiguriert ist, um einen Zustand einer Ampel basierend auf den Ampelstandortdaten über mindestens einen Prozessor anzuzeigen und zu bewerten; und ein Fahrzeugsteuerungssystem, das konfiguriert ist, um das Fahren eines autonomen Fahrzeugs basierend auf zumindest den Routendaten und dem Zustand der Ampel über mindestens einen Prozessor zu steuern.
Autonomes Fahrsystem nach Anspruch 1, worin die Routendaten mindestens eine gekennzeichnete Kreuzungsfahrspur beinhalten und die Ampelstandortdaten der mindestens einen gekennzeichneten Kreuzungsfahrspur zugeordnet sind.
Autonomes Fahrsystem nach Anspruch 1, worin die semantische Karte eine Kreuzung unter Verwendung einer Vielzahl von gekennzeichneten Kreuzungsfahrspuren abbildet, die Wege zum Überqueren der Kreuzung definieren, worin jede gekennzeichnete Kreuzungsfahrspur eine Ampelkennzeichnung beinhaltet, die Ampelstandortdaten definiert, und worin die Ampelkennzeichnungen von mindestens einigen der gekennzeichneten Kreuzungsfahrspuren unterschiedliche Ampeln voneinander identifizieren.
Autonomes Fahrsystem nach Anspruch 1, worin die semantische Karte mindestens eine gekennzeichnete Fahrspur beinhaltet, die in eine Kreuzung einmündet, und mindestens erste und zweite gekennzeichnete Fahrspuren, welche die Kreuzung verlassen, worin eine erste gekennzeichnete Kreuzungsfahrspur einen Weg definiert, der die mindestens eine gekennzeichnete Fahrspur verbindet, die in die Kreuzung einmündet, und die erste gekennzeichnete Fahrspur, welche die Kreuzung verlässt, und eine zweite gekennzeichnete Kreuzungsfahrtspur einen Weg definiert, der die mindestens eine gekennzeichnete Fahrspur verbindet, die in die Kreuzung einmündet und die zweite markierte Fahrspur, welche die Kreuzung verlässt, worin verschiedene Ampelkennzeichnungen den ersten und zweiten markierten Kreuzungsfahrspuren zugeordnet sind, wobei verschiedene Ampeln identifiziert und verschiedene Ampelstandortdaten definiert werden.
Autonomes Fahrsystem nach Anspruch 1, worin die semantische Karte markierte Fahrspuren beinhaltet, die in eine Kreuzung einmünden und diese verlassen, gekennzeichnete Kreuzungsfahrspuren, die Wege definieren, die gekennzeichnete Fahrspuren, die in die Kreuzung einmünden, und gekennzeichnete Fahrspuren, die aus der Kreuzung austreten, gekennzeichnete Ankerpunkte, an denen Fahrspuren in die Kreuzung einmünden, und gekennzeichnete Ampeln, worin jeder gekennzeichnete Ankerpunkt mit mindestens einer gekennzeichneten Ampel verknüpft ist, worin jede gekennzeichnete Kreuzungsfahrspur einer gekennzeichneten Ampel zugeordnet ist.
Autonomes Fahrsystem nach Anspruch 5, worin die semantische Karte mindestens eine der folgenden Komponenten beinhaltet: Ampelkennzeichnungen, Ampeltypendaten, Kreuzungsfahrspuridentifikatoren, Kennzeichnungen für Fahrspuren, die in die Kreuzung münden, und Kennzeichnungen für Fahrspuren, die die Kreuzung verlassen.
Autonomes Fahrsystem nach Anspruch 1, worin die Routendaten Fahrspuridentifikatoren beinhalten, die Fahrspuren identifizieren, die entlang der Strecke zu verwenden sind, und Kreuzungsfahrspuridentifikatoren, die Kreuzungsfahrspuren identifizieren, die entlang der Strecke zu verwenden sind.
Autonomes Fahrsystem nach Anspruch 1, umfassend mindestens eine Datenspeichervorrichtung, welche die semantische Karte in dem autonomen Fahrzeug speichert.
Computerimplementiertes Verfahren zum autonomen Fahren, wobei das Verfahren Folgendes umfasst: Empfangen von semantischen Kartendaten über mindestens einen Prozessor, worin die semantischen Kartendaten Ampelstandortdaten beinhalten; Berechnen von Routendaten unter Verwendung der semantischen Kartendaten über mindestens einen Prozessor; Betrachten einer Ampel über mindestens eine Abtastvorrichtung und das Bewerten eines Zustands der betrachteten Ampel über mindestens einen Prozessor basierend auf den Ampelstandortdaten; Steuern des Fahrens eines autonomen Fahrzeugs basierend zumindest auf den Routendaten und dem Zustand der Ampel über mindestens einen Prozessor.
Autonomes Fahrzeug, umfassend: eine Datenspeichervorrichtung, die eine semantische Karte speichert; ein Leitsystem, das konfiguriert ist, um semantische Kartendaten von der semantischen Karte zu empfangen, und das konfiguriert ist, um Routendaten unter Verwendung der semantischen Kartendaten über mindestens einen Prozessor zu berechnen; worin die semantischen Kartendaten Ampelstandortdaten beinhalten; ein Computer-Sichtsystem, das konfiguriert ist, um einen Zustand einer Ampel basierend auf den Ampelstandortdaten über mindestens einen Prozessor anzuzeigen und zu bewerten; und ein Fahrzeugsteuerungssystem, das konfiguriert ist, um das Fahren des autonomen Fahrzeugs zumindest basierend auf den Routendaten und dem Zustand der Ampel über mindestens einen Prozessor zu steuern.