DE102019115059A1

DE102019115059A1 - System zum ableiten eines autonomen fahrzeugs, das eine fahrbare karte ermöglicht

Info

Publication number: DE102019115059A1
Application number: DE102019115059.0A
Authority: DE
Inventors: Lawrence A. Bush; Michael A. Losh; Brent N. Bacchus; Aravindhan Mani
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-11-09
Filing date: 2019-06-04
Publication date: 2020-05-14
Also published as: CN111177288A; US20200149896A1

Abstract

Ein Verfahren zur autonomen Fahrzeugkartenkonstruktion beinhaltet das automatische Erfassen von Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße zurückgelegt hat, wobei die Wahrnehmungsdaten Daten beinhalten, die den Standort von Fahrspurkanten und Fahrspurmarkierungen für die Straße identifizieren, die Position von Verkehrszeichen, die der Straße zugeordnet sind, und den Standort von Verkehrssignalvorrichtungen für die Straße. Das Verfahren beinhaltet ferner die Vorverarbeitung, um die erfassten Wahrnehmungsdaten mit den erfassten Standortdaten, den erfassten Bewegungsdaten und den Navigationskartendaten zu verknüpfen; das Bestimmen von Fahrspurbegrenzungsdaten, Verkehrsvorrichtungs- und Schilderstandortdaten und Fahrspurniveau-Kreuzungsdaten aus den vorverarbeiteten Daten, die die durch die Fahrspurbegrenzungsdaten identifizierten kreuzenden und angrenzenden Fahrspuren verbinden; und das Speichern der Fahrspurbegrenzungsdaten, der Verkehrsvorrichtungs- und Schilderstandsdaten und der Fahrspurniveau-Kreuzungsdaten in einer Kartendatei, die zur Verwendung durch ein autonomes Fahrzeug konfiguriert ist.

Description

HINTERGRUND
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Systeme und Verfahren zur Erzeugung von Karten, insbesondere auf Systeme und Verfahren zur automatischen Erzeugung von Karten, die für die Verwendung durch autonome Fahrzeuge zur Navigation geeignet sind.
Navigationsebenenkarten wie OpenStreetMap (OSM) und Google Maps sind nicht für das Fahren mit autonomen Fahrzeugen (AV) geeignet. Zum Navigieren kann ein autonomes Fahrzeug eine hochauflösende Karte des Bereichs benötigen, in dem das Fahrzeug fährt. Die hochauflösende Karte muss möglicherweise dreidimensional sein, mit den festen Objekten in dem Gebiet versehen sein und jede Straße in einem zu navigierenden Gebiet mit der genauen Position jedes Stoppschildes, aller Fahrbahnmarkierungen, jeder Ausfahrt und jeder Ampel beinhalten.
Die Erstellung von AV-Karten kann komplex sein. Es gibt mehr als vier Millionen Meilen Straßen in den Vereinigten Staaten, und im Vergleich zu den von GPS- und Navigationssystemen verwendeten Karten ist die Genauigkeit der AV-Karten viel höher. Navigationskarten finden typischerweise eine Position des Fahrzeugs innerhalb von einigen Metern. AV-Karten müssen in einigen Fällen in der Lage sein, die Position von Fahrzeugen, Bordsteinen und anderen Objekten innerhalb von etwa vier Zoll zu lokalisieren.
Es ist daher wünschenswert, Systeme und Verfahren zur automatischen Erzeugung von Karten bereitzustellen, die für die Verwendung durch autonome Fahrzeuge zur Navigation geeignet sind. Ferner werden andere wünschenswerte Funktionen und Merkmale der vorliegenden Erfindung aus der nachfolgenden ausführlichen Beschreibung und den beigefügten Ansprüchen, in Verbindung mit den beigefügten Zeichnungen, sowie mit dem vorangehenden technischen Gebiet und Hintergrund ersichtlich offensichtlich.
KURZDARSTELLUNG
Systeme und Verfahren zur automatischen Erstellung von Karten für das autonome Fahren auf öffentlichen Straßen werden bereitgestellt. In einer Ausführungsform beinhaltet ein prozessorimplementiertes Verfahren zur autonomen Fahrzeugkartenkonstruktion das automatische Erfassen von Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße hinuntergefahren ist, wobei die Standortdaten über einen GPS-Sensor erfasst werden und Breiten-, Längen- und Kursdaten beinhalten, die Bewegungsdaten über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst werden und Odometrie- und Beschleunigungsdaten beinhalten, die Wahrnehmungsdaten über eine oder mehrere Kameras, Lidars und Radars erfasst werden und Fahrspurkanten- und Fahrspurmarkierungsdaten beinhalten, die die Position von Fahrspurkanten und Fahrbahnmarkierungen für die Straße identifizieren, Verkehrszeichendaten, die die Position von mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrszeichendaten, die die Position von Verkehrszeichenvorrichtungen für die Straße identifizieren. Das Verfahren beinhaltet ferner die Vorverarbeitung der erfassten Positions-, Bewegungs- und Wahrnehmungsdaten mit einem Prozessor, um die erfassten Wahrnehmungsdaten den erfassten Positionsdaten, den erfassten Bewegungsdaten und den Navigationskartendaten zuzuordnen; Bestimmen, mit dem Prozessor aus den vorverarbeiteten Daten, Fahrspurbegrenzungsdaten, Verkehrsvorrichtungs- und Schilderstandortdaten und Fahrspurniveau-Kreuzungsdaten, die die durch die Fahrspurbegrenzungsdaten identifizierten Kreuzungsspuren und angrenzenden Fahrspuren verbinden; und Speichern der Fahrspurbegrenzungsdaten, Verkehrsvorrichtungs- und Schilderstandsdaten und Fahrspurniveau-Kreuzungsdaten auf nichtflüchtigen, computerlesbaren Medien in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug beim Navigieren der Straße konfiguriert ist.
In einer Ausführungsform beinhaltet das Ermitteln derSpurbegrenzungsdaten: das Abrufen von Fahrzeugtrajektorieninformationen aus den vorverarbeiteten Daten; das Trennen der Fahrzeugtrajektorieninformationen für eine Straße in eine Vielzahl von Clustern von Fahrzeugtrajektorieninformationen für ein Fahrspursegment; das Bestimmen von Spurbegrenzungsdaten für ein Fahrspursegment aus einem Cluster von Fahrzeugtrajektorieninformationen für ein Fahrspursegment unter Verwendung einer Clustering-Technik; und das Verbinden von Fahrspurbegrenzungsdaten für eine Vielzahl von Fahrspursegmenten, um Fahrspurbegrenzungsdaten für eine Fahrspur unter Verwendung von Trajektorieninformationen für Fahrspursegmente zu konstruieren, um Fahrspursegmente zu identifizieren.
In einer Ausführungsform beinhalten die bestimmenden Spurbegrenzungsdaten für ein Spursegment das Anwenden einer Bottom-Up-Clustering-Technik auf den Cluster von Trajektorieninformationen für das Spursegment, das Entfernen von Ausreißern aus dem Cluster und das Auffinden eines Prototypen für das Cluster, wobei der Prototyp eine Spurbegrenzung identifiziert.
In einer Ausführungsform beinhaltet das Finden eines Prototyps für den Cluster das Aktualisieren von Fahrspurrändern durch das Analysieren eines gesamten Datensatzes, das Entfernen von Ausreißern aus dem Cluster, bis ein Ausreißerschwellenwert erreicht ist, das Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente und das Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp.
In einer Ausführungsform beinhaltet das Finden eines Prototyps für den Cluster das schrittweise Aktualisieren der Fahrspurkanten in Echtzeit, indem ein Kalman-Filter angewendet wird, um den Prototyp für den Cluster zu finden.
In einer Ausführungsform beinhalten die bestimmenden Verkehrsvorrichtungs- und Schilderstandortdaten das Auffinden von Verkehrsvorrichtungen und Schildern, die jeder Spur und Kreuzung zugeordnet sind, und das Verbinden der Verkehrsvorrichtungen und Schilder mit den zugehörigen Fahrspuren und Kreuzungen.
In einer Ausführungsform beinhaltet das Auffinden von Verkehrsvorrichtungen und Schildern, die jeder Fahrspur und Kreuzung zugeordnet sind: das Entfernen von Standorten von niedrigerer Präzision aus dem Verkehrsgerät und den Verkehrszeichen-Daten; das Anwenden einer Bottom-up-Clustering-Technik auf die Verkehrs- und Vorzeichenstandortdaten; Erzwungen der minimalen Spanne zwischen der Verkehrsvorrichtung und den Verkehrszeichen-Daten; Entfernen von Ausreißern von jedem Cluster; und das Finden eines Prototyps für jeden Cluster, wobei der Prototyp einen Standort der Verkehrsvorrichtung oder einen Verkehrszeichenort identifiziert.
In einer Ausführungsform beinhaltet das Finden eines Prototyps für den Cluster das Entfernen von Ausreißern aus dem Cluster, bis ein Ausreißerschwellenwert erreicht ist, das Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente und das Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp.
In einer Ausführungsform beinhaltet das Finden eines Prototyps für den Cluster das Anwenden eines Kalman-Filters, um den Prototyp für den Cluster zu finden.
In einer Ausführungsform beinhalten die bestimmenden Fahrspurniveau-Kreuzungsdaten: das Auffinden des Wegesegmentpaares, das an einer Kreuzung verbunden ist; und das Füllen von Fahrspursegmentverbindungsattributen und Kreuzungseinfahrspurattributen, um Kreuzungsfahrspuren in den Fahrspurniveau-Kreuzungsdaten zu identifizieren.
In einer anderen Ausführungsform wird ein System zur autonomen Kartenerstellung, das einen oder mehrere Prozessoren umfasst, die durch Programmieranweisungen konfiguriert sind, die in nicht transienten computerlesbaren Medien codiert sind. Das autonome Kartenerstellungsmodul für Fahrzeuge ist konfiguriert, um Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße hinuntergefahren ist, abzurufen, wobei die Standortdaten, Bewegungsdaten und Wahrnehmungsdaten automatisch durch das Fahrzeug, die Standortdaten über einen GPS-Sensor erfasst werden und Breiten-, Längen- und Kursdaten beinhalten, die Bewegungsdaten über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst werden und Odometrie- und Beschleunigungsdaten beinhalten, die Wahrnehmungsdaten über eine oder mehrere Kameras, Lidars und Radars erfasst werden und Fahrspurkanten- und Fahrspurmarkierungsdaten beinhalten, die die Position von Fahrspurkanten und Fahrbahnmarkierungen für die Straße identifizieren, Verkehrszeichendaten, die die Position von mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrszeichendaten, die die Position von Verkehrszeichenvorrichtungen für die Straße identifizieren. Das autonome Fahrzeugkarten-Konstruktionsmodul ist weiterhin konfiguriert für: Vorverarbeiten der erfassten Positions-, Bewegungs- und Wahrnehmungsdaten, um die erfassten Wahrnehmungsdaten mit den erfassten Positionsdaten, den erfassten Bewegungsdaten und den Navigationskartendaten zu verknüpfen; Bestimmen von Fahrspurbegrenzungsdaten, Verkehrsmittel- und Schilderstandortdaten aus den vorverarbeiteten Daten und Fahrspurebenenkreuzungsdaten, die die durch die Fahrspurbegrenzungsdaten identifizierten kreuzenden und angrenzenden Fahrspuren verbinden; und Speichern der Fahrspurbegrenzungsdaten, der Verkehrseinrichtungs- und Schilderstandortdaten sowie der Kreuzungsdaten auf nichtflüchtigen, computerlesbaren Medien in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug bei der Navigation auf der Straße konfiguriert ist.
In einer Ausführungsform ist das Modul konfiguriert für das Ermitteln der Spurbegrenzungsdaten, d.h.: das Abrufen von Fahrzeugtrajektorieninformationen aus den vorverarbeiteten Daten; das Trennen der Fahrzeugtrajektorieninformationen für eine Straße in eine Vielzahl von Clustern von Fahrzeugtrajektorieninformationen für ein Fahrspursegment; das Bestimmen von Spurbegrenzungsdaten für ein Fahrspursegment aus einem Cluster von Fahrzeugtrajektorieninformationen für ein Fahrspursegment unter Verwendung einer Clustering-Technik; und das Verbinden von Fahrspurbegrenzungsdaten für eine Vielzahl von Fahrspursegmenten, um Fahrspurbegrenzungsdaten für eine Fahrspur unter Verwendung von Trajektorieninformationen für Fahrspursegmente zu konstruieren, um Fahrspursegmente zu identifizieren.
In einer Ausführungsform ist das Modul konfiguriert zur Ermittlung der bestimmenden Spurbegrenzungsdaten für ein Spursegment durch Anwenden einer Bottom-Up-Clustering-Technik auf den Cluster von Trajektorieninformationen für das Spursegment, das Entfernen von Ausreißern aus dem Cluster und das Auffinden eines Prototypen für das Cluster, wobei der Prototyp eine Spurbegrenzung identifiziert.
In einer Ausführungsform ist das Modul konfiguriert zum Aktualisieren von Fahrspurrändern durch das Analysieren eines gesamten Datensatzes, das Entfernen von Ausreißern aus dem Cluster, bis ein Ausreißerschwellenwert erreicht ist, das Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente und das Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp.
In einer Ausführungsform ist das Modul konfiguriert zum schrittweisen Aktualisieren der Fahrspurkanten in Echtzeit, indem ein Kalman-Filter angewendet wird, um den Prototyp für den Cluster zu finden.
In einer Ausführungsform zur Ermittlung der Verkehrsvorrichtungs- und Schilderstandortdaten ist das Modul konfiguriert zum Auffinden von Verkehrsvorrichtungen und Schildern, die jeder Spur und Kreuzung zugeordnet sind, und das Verbinden der Verkehrsvorrichtungen und Schilder mit den zugehörigen Fahrspuren und Kreuzungen.
In einer Ausführungsform zum Auffinden von Verkehrsvorrichtungen und Schildern, die jeder Fahrspur und Kreuzung zugeordnet sind, ist das Modul konfiguriert zum Entfernen von Standorten von niedrigerer Präzision aus dem Verkehrsgerät und den Verkehrszeichen-Daten; das Anwenden einer Bottom-up-Clustering-Technik auf die Verkehrs- und Vorzeichenstandortdaten; Erzwungen der minimalen Spanne zwischen der Verkehrsvorrichtung und den Verkehrszeichen-Daten; Entfernen von Ausreißern von jedem Cluster; und das Finden eines Prototyps für jeden Cluster, wobei der Prototyp einen Standort der Verkehrsvorrichtung oder einen Verkehrszeichenort identifiziert.
In einer Ausführungsform zum Finden eines Prototyps für den Cluster ist das Modul konfiguriert zum Entfernen von Ausreißern aus dem Cluster, bis ein Ausreißerschwellenwert erreicht ist, das Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente und das Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp.
In einer Ausführungsform zum Ermitteln der Fahrspurniveau-Kreuzungsdaten ist das Modul konfiguriert zum: Auffinden des Wegesegmentpaares, das an einer Kreuzung verbunden ist; und Füllen von Fahrspursegmentverbindungsattributen und Kreuzungseinfahrspurattributen, um Kreuzungsfahrspuren in den Fahrspurniveau-Kreuzungsdaten zu identifizieren.
In einer anderen Ausführungsform beinhaltet ein autonomes Fahrzeug eine Steuerung, die durch Programmieranweisungen auf nicht-flüchtigen computerlesbaren Medien konfiguriert ist, um die Navigation des autonomen Fahrzeugs unter Verwendung einer autonomen Fahrzeugkartendatei zu steuern, die an Bord des autonomen Fahrzeugs gespeichert ist. Die autonome Kartenerstellungdatei wurde durch ein autonomes Fahrzeug-Kartenerstellungsmodul erstellt, um Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße hinuntergefahren ist, abzurufen, wobei die Standortdaten, Bewegungsdaten und Wahrnehmungsdaten automatisch durch das Fahrzeug, die Standortdaten über einen GPS-Sensor erfasst werden und Breiten-, Längen- und Kursdaten beinhalten, die Bewegungsdaten über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst werden und Odometrie- und Beschleunigungsdaten beinhalten, die Wahrnehmungsdaten über eine oder mehrere Kameras, Lidars und Radars erfasst werden und Fahrspurkanten- und Fahrspurmarkierungsdaten beinhalten, die die Position von Fahrspurkanten und Fahrbahnmarkierungen für die Straße identifizieren, Verkehrszeichendaten, die die Position von mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrszeichendaten, die die Position von Verkehrszeichenvorrichtungen für die Straße identifizieren. Das autonome Fahrzeugkarten-Konstruktionsmodul ist weiterhin konfiguriert für: Vorverarbeiten der erfassten Positions-, Bewegungs- und Wahrnehmungsdaten, um die erfassten Wahrnehmungsdaten mit den erfassten Positionsdaten, den erfassten Bewegungsdaten und den Navigationskartendaten zu verknüpfen; Bestimmen von Fahrspurbegrenzungsdaten, Verkehrsmittel- und Schilderstandortdaten aus den vorverarbeiteten Daten und Fahrspurebenenkreuzungsdaten, die die durch die Fahrspurbegrenzungsdaten identifizierten kreuzenden und angrenzenden Fahrspuren verbinden; und Speichern der Fahrspurbegrenzungsdaten, der Verkehrseinrichtungs- und Schilderstandortdaten sowie der Kreuzungsdaten auf nichtflüchtigen, computerlesbaren Medien in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug bei der Navigation auf der Straße konfiguriert ist.
Figurenliste
Die beispielhaften Ausführungsformen werden nachfolgend in Verbindung mit den folgenden Zeichnungen beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei gilt:

1 ist ein Blockdiagramm eines beispielhaften Kartierungssystems gemäß verschiedenen Ausführungsformen;
2 ist ein Blockdiagramm eines beispielhaften Fahrzeugs, das ein Kartendatenerfassungsmodul gemäß verschiedenen Ausführungsformen verwenden kann;
3 ist ein Blockdiagramm, das beispielhafte Teilmodule und Vorgänge darstellt, die in einem beispielhaften Kartenerstellungsmodul gemäß verschiedenen Ausführungsformen ausgeführt werden;
4 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul durchgeführt werden, wenn Vorgänge in Bezug auf die Fahrspurfindung und das Sortieren gemäß verschiedenen Ausführungsformen ausgeführt werden;
5A ist ein Prozessablaufdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul durchgeführt werden, um Ausreißer von jedem Cluster zu entfernen und nach verschiedenen Ausführungsformen einen Prototyp für jeden Cluster zu finden;
5B ist ein Flussdiagramm, das in einem Beispielprozess beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul durchgeführt werden, um aus jedem Cluster Ausreißer zu entfernen und für jeden Cluster entsprechend verschiedener Ausführungsformen einen Prototyp zu finden;
6 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartengenerierungsmodul durchgeführt werden, wenn Vorgänge durchgeführt werden, die sich auf das Erzeugen von Verkehrsgeräten und Verkehrszeichen-Standortdaten beziehen, die in eine AV-Kartendatei gemäß verschiedenen Ausführungsformen aufgenommen werden sollen;
7 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul durchgeführt werden, wenn Vorgänge in Bezug auf das Verbinden der sich kreuzenden und angrenzenden Fahrspuren, die durch die Fahrspurbegrenzungsdaten identifiziert werden, in Übereinstimmung mit verschiedenen Ausführungsformen durchgeführt werden; und
8 ist ein Prozessflussdiagramm, das einen beispielhaften Prozess für die autonome Erstellung von Fahrzeugkartengemäß verschiedenen Ausführungsformen darstellt.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende ausführliche Beschreibung dient lediglich als Beispiel und soll die Anwendung und Verwendung in keiner Weise einschränken. Weiterhin besteht keine Absicht, im vorstehenden technischen Bereich, Hintergrund, der Zusammenfassung oder der folgenden ausführlichen Beschreibung an eine ausdrücklich oder implizit vorgestellte Theorie gebunden zu sein. Der hierin verwendete Begriff „Modul“ bezieht sich auf alle Hardware-, Software-, Firmwareprodukte, elektronische Steuerkomponenten, Verarbeitungslogik und/oder Prozessorgeräte, einzeln oder in allen Kombinationen, unter anderem beinhaltend, eine anwendungsspezifische integrierte Schaltung (ASIC), ein feldprogrammierbares Gate-Array (FPGA), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher, der ein oder mehrere Software- oder Firmwareprogramme, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten.
Ausführungsformen der vorliegenden Offenbarung können hierin als funktionale und/oder logische Blockkomponenten und verschiedene Verarbeitungsschritte beschrieben sein. Es ist zu beachten, dass derartige Blockkomponenten aus einer beliebigen Anzahl an Hardware-, Software- und/oder Firmware-Komponenten aufgebaut sein können, die zur Ausführung der erforderlichen Funktionen konfiguriert sind. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung eines Systems oder einer Komponente verschiedene integrierte Schaltungskomponenten, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Wertetabellen oder dergleichen, einsetzen, die mehrere Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuervorrichtungen durchführen können. Zudem werden Fachleute auf dem Gebiet erkennen, dass die beispielhaften Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl an Systemen eingesetzt werden können, und dass das hierin beschriebene System lediglich eine beispielhafte Ausführungsform der vorliegenden Offenbarung darstellt.
Der Kürze halber können konventionelle Techniken in Verbindung mit der Signalverarbeitung, Datenübertragung, Signalgebung, Steuerung, Maschinenlernmodelle, Radar, Lidar, Bildanalyse und weiteren funktionalen Aspekten der Systeme (und den einzelnen Bedienkomponenten der Systeme) hierin nicht im Detail beschrieben werden. Weiterhin sollen die in den verschiedenen Figuren dargestellten Verbindungslinien beispielhafte Funktionsbeziehungen und/oder physikalische Verbindungen zwischen den verschiedenen Elementen darstellen. Es sollte beachtet werden, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
Hierin werden Vorrichtungen, Systeme, Verfahren, Techniken und Artikel zum Erzeugen von AV-fahrbaren Karten beschrieben. Die beschriebenen Vorrichtungen, Systeme, Verfahren, Techniken und Artikel können AV-steuerbare Karten erzeugen, die leicht aktualisierbar und änderbar sind und die gemeinsam verfügbare Sensoren verwenden.
1 ist ein Blockdiagramm, das ein autonomes Fahrzeugkartierungssystem 100 darstellt. Das Beispielsystem 100 ist konfiguriert, um eine detaillierte Karte zu erstellen, die für die Verwendung mit der autonomen Fahrzeugnavigation geeignet ist. Das beispielhafte autonome Fahrzeugabbildungssystem 100 beinhaltet ein oder mehrere Fahrzeuge 102, die Straßen in einem abzubildenden Gebiet durchqueren, und ein Kartenerzeugungsmodul 104, das von einem Cloud-basierten Server implementiert wird, der konfiguriert ist, um eine Karte 105 zu erzeugen, die ausreichend detailliert ist, um von einem autonomen Fahrzeug beim Navigieren verwendet zu werden. Das Kartenerstellungsmodul 104 ist konfiguriert, um Navigationskartendaten (z.B.., OSM) zu verwenden, die Daten über Straßen und Kreuzungen und von Fahrzeugen 102 erfasste Daten beinhalten, um die Karte 105 des autonomen Fahrzeugs (AV) zu erzeugen.
Jedes Fahrzeug 102 beinhaltet einen oder mehrere Onboard-Sensoren 106 und ein Kartendatenerfassungsmodul 108. Die Sensoren 106 können Kamera, Lidar, Radar, GPS, Odometrie und andere Sensoren beinhalten. Das Kartendatenerfassungsmodul 108 ist konfiguriert, um bestimmte Daten zu erfassen, die von den Onboard-Sensoren erfasst werden, während das Fahrzeug 102 einen Weg auf zu kartierenden Straßen zurücklegt, und die gesammelten Daten an das Kartenerstellungsmodul 104 zu übertragen. Die erfassten Daten können Wahrnehmungsdaten beinhalten, die Fahrspurkanten, Bordsteine, Verkehrsvorrichtungen, Verkehrsschilder und andere Elemente identifizieren, die ein autonomes Fahrzeug beim Navigieren beachten muss. Die Wahrnehmungsdaten können über Kamerasensoren, Lidar-Sensoren, Radarsensoren und andere an Bord des Fahrzeugs 102 erfasst werden. Die erfassten Daten können auch Positions- und Bewegungsdaten für das Fahrzeug 102 beinhalten, wenn es die Straßen durchquert und Wahrnehmungsdaten erfasst. Die Positions- und Bewegungsdaten können unter anderem den Fahrzeug-Breitengrad, Längengrad, Kurs, Odometriedaten und Beschleunigungsdaten beinhalten. Das Kartendatenerfassungsmodul 108 ist konfiguriert, um mit dem Kartenerstellungsmodul 104 beispielsweise über einen Mobilfunkkanal 110 über ein Mobilfunknetz wie 4G LTE oder 4G LTE-V2X, ein öffentliches Netz und ein privates Netz 112 zu kommunizieren.
Das beispielhafte Kartenerzeugungsmodul 104 ist konfiguriert, um Daten zu empfangen und zu analysieren, die von den Onboard-Sensoren 106 an dem/den Fahrzeug(en) 102 erfasst und über das Kartendatenerfassungsmodul 108 an das Kartenerzeugungsmodul 104 übertragen werden. Das beispielhafte Kartenerzeugungsmodul 104 ist ferner konfiguriert, um in Verbindung mit Kartendaten aus einer nicht ausführlichen Navigationskarte die ausführliche autonome Fahrzeugkarte 105 zur Verwendung durch ein autonomes Fahrzeug 114 bei der Navigation zu erstellen.
2 ist ein Blockdiagramm eines beispielhaften Fahrzeugs 200, das ein Kartendatenerfassungsmodul 108 verwendet und fahrzeugeigene Sensoren 106 besitzt. Das beispielhafte Fahrzeug 200 umfasst im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umhüllt im Wesentlichen die anderen Komponenten des Fahrzeugs 200. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils mit dem Fahrgestell 12 in der Nähe einer jeweiligen Ecke der Karosserie 14 drehbar gekoppelt.
Das beispielhafte Fahrzeug 200 kann ein autonomes Fahrzeug (z. B. ein Fahrzeug, das automatisch gesteuert wird, um Fahrgäste von einem Ort zum anderen zu befördern), ein teilautonomes Fahrzeug oder ein personenbetriebenes Fahrzeug sein. In jedem Fall ist ein Kartendatenerfassungsmodul 210 in das beispielhafte Fahrzeug 200 integriert. Das beispielhafte Fahrzeug 200 wird als PKW dargestellt, kann jedoch auch eine andere Art von Fahrzeug sein, wie beispielsweise Motorrad, LKW, Geländewagen (SUV), Wohnmobil (RV), Seefahrzeug, Flugzeug, usw.
Wie dargestellt, beinhaltet das beispielhafte Fahrzeug 200 im Allgemeinen ein Antriebssystem 20, ein Übertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellgliedsystem 30, mindestens einen Datenspeicher 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie beispielsweise einen Traktionsmotor und/oder ein Brennstoffzellenantriebssystem, beinhalten. Das Übertragungssystem 22 ist dazu konfiguriert, Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 gemäß den wählbaren Übersetzungsverhältnissen zu übertragen.
Das Sensorsystem 28 beinhaltet eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Zustände der äußeren Umgebung und/oder der inneren Umgebung des Fahrzeugs 200 (zum Beispiel den Zustand eines oder mehrerer Insassen) erfassen und entsprechende Sensordaten erzeugen. Sensorvorrichtungen 40a-40n können, sind jedoch nicht beschränkt auf, Radare (z. B. Langstrecken-, Mittelstrecken-Kurzbereich), Lidare, globale Positionierungssysteme (GPS), optische Kameras (z. B. nach vorne gerichtet, 360-Grad, nach hinten gerichtet, seitlich gerichtet, Stereo, usw.), beinhalten, Wärmebildkameras (z. B. Infrarot), Ultraschallsensoren, Geschwindigkeitsmesssensoren (z. B. Encoder) und/oder andere Sensoren, die in Verbindung mit Systemen und Verfahren gemäß dem vorliegenden Gegenstand verwendet werden können.
Das Stellgliedsystem 30 beinhaltet ein oder mehrere Stellgliedvorrichtungen 42a-42n, die ein oder mehrere Fahrzeugeigenschaften, wie zum Beispiel das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, steuern, sind aber nicht darauf beschränkt. In verschiedenen Ausführungsformen kann das Fahrzeug 200 auch Fahrzeug-Innen- und/oder Außenausstattungen beinhalten, die nicht in 2 dargestellt sind, wie beispielsweise verschiedene Türen, Kofferraum- und Kabinenausstattungen, wie Luft, Musik, Beleuchtung, Touchscreen-Anzeige-Komponenten (wie sie in Verbindung mit Navigationssystemen verwendet werden) und dergleichen.
Die Steuerung 34 beinhaltet mindestens einen Prozessor 44 und eine computerlesbare Speichervorrichtung oder Medien 46. Der Prozessor 44 kann eine Spezialanfertigung oder ein handelsüblicher Prozessor sein, eine Zentraleinheit (CPU), eine Grafikprozessoreinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC) (z. B. eine benutzerdefinierte ASIC, die ein neuronales Netzwerk implementiert), ein feldprogrammierbares Gate-Array (FPGA), ein Hilfsprozessor unter mehreren Prozessoren, verbunden mit der Steuerung 34, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chip-Satzes) eine Kombination derselben oder allgemein jede beliebige Vorrichtung zur Ausführung von Anweisungen. Die computerlesbare Speichervorrichtung oder Medien 46 können flüchtige und nicht-flüchtige Speicher in einem Nur-Lese-Speicher (ROM), einem Speicher mit direktem Zugriff (RAM) und einem Keep-Alive-Memory (KAM) beinhalten. KAM ist ein persistenter oder nicht-flüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 ausgeschaltet ist. Die computerlesbare Speichervorrichtung oder Medien 46 können unter Verwendung einer beliebigen einer Anzahl an bekannten Speichervorrichtungen, wie beispielsweise PROMs (programmierbarer Nur-Lese-Speicher), EPROMs (elektrische PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebige andere elektrischen, magnetischen, optischen oder kombinierten Speichervorrichtungen, implementiert werden, die Daten speichern können, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 beim Steuern des Fahrzeugs 200 verwendet werden. In verschiedenen Ausführungsformen ist die Steuerung 34 konfiguriert, um das im Folgenden ausführlich erläuterte Kartendatenerfassungsmodul 210 zu implementieren.
Die Steuerung 34 kann ein Kartendatenerfassungsmodul 210 implementieren. Das heißt, dass geeignete Soft- und/oder Hardwarekomponenten der Steuerung 34 (z. B. der Prozessor 44 und das computerlesbare Speichermedium 46) verwendet werden, um ein Kartendatenerfassungsmodul 210 bereitzustellen, das in Verbindung mit dem Fahrzeug 200 verwendet wird.
Die Anweisungen können ein oder mehrere separate Programme beinhalten, von denen jede eine geordnete Auflistung von ausführbaren Anweisungen zum Implementieren von logischen Funktionen umfasst. Die Anweisungen empfangen und verarbeiten, wenn diese vom Prozessor 44 ausgeführt werden, Signale (z. B. Sensordaten) vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des Fahrzeugs 200 durch und erzeugen Steuersignale, die an das Stellgliedsystem 30 übertragen werden, um die Komponenten des Fahrzeugs 200 basierend auf der Logik, den Berechnungen, den Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 2 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des Fahrzeugs 200 eine beliebige Anzahl an Steuerungen 34 beinhalten, die über ein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und zusammenwirken, um die Sensorsignale zu verarbeiten, Logiken, Berechnungen, Verfahren und/oder Algorithmen durchzuführen, und Steuersignale zu erzeugen, um die Funktionen des autonomen Fahrzeugs 200 automatisch zu steuern.
Das Kommunikationssystem 36 ist konfiguriert, um Informationen drahtlos an und von anderen Einheiten 48, wie beispielsweise, jedoch nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation,) Infrastruktur („V2I“-Kommunikation), Netzwerke („V2N“-Kommunikation), Fußgänger („V2P“-Kommunikation), entfernte Transportsysteme und/oder Benutzervorrichtungen zu übermitteln. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das dazu konfiguriert, über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung des IEEE 802.11-Standards oder mittels einer mobilen Datenkommunikation zu kommunizieren. Im Geltungsbereich der vorliegenden Offenbarung werden jedoch auch zusätzliche oder alternative Kommunikationsverfahren, wie beispielsweise ein dedizierter Nahbereichskommunikations-(DSRC)-Kanal, berücksichtigt. DSRC-Kanäle beziehen sich auf Einweg- oder Zweiwege-Kurzstrecken- bis Mittelklasse-Funkkommunikationskanäle, die speziell für den Automobilbau und einen entsprechenden Satz von Protokollen und Standards entwickelt wurden.
3 ist ein Blockdiagramm, das beispielhafte Teilmodule und Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul 300 ausgeführt werden. Das beispielhafte Kartenerzeugungsmodul 300 beinhaltet ein Datenvorverarbeitungsmodul 302 und ein Kartendatenerzeugungsmodul 304. Das beispielhafte Vorverarbeitungsmodul 302 ist konfiguriert, um Eingangsdaten 301 so zu formatieren, dass sie von den Submodulen im Kartendatenerzeugungsmodul 304 verwendet werden können, um eine detaillierte AV-Kartendatei 303 für autonome Fahrzeuge beim Navigieren zu erzeugen.
Das beispielhafte Datenvorverarbeitungsmodul 302 ist konfiguriert, um Eingangsdaten 301 für das beispielhafte Kartenerstellungsmodul 300 abzurufen. Die beispielhaften Eingangsdaten 301 beinhalten automatisch erfasste Positions- und Bewegungsdaten 305 und Wahrnehmungsdaten 307 von einem oder mehreren Fahrzeug(en), die eine oder mehrere Straßen zurückgelegt haben, die in die AV-Kartendatei 303 aufgenommen werden sollen. Die beispielhaften Standortdaten 305 wurden automatisch von dem/den Fahrzeug(en) über einen Onboard-GPS-Sensor erfasst und beinhalten Breiten-, Längen- und Richtungsdaten. Die beispielhaften Bewegungsdaten 305 wurden automatisch von dem/den Fahrzeug(en) über einen oder mehrere von einem Onboard-IMU-Sensor und einem Onboard-Odometrie-Sensor erfasst und beinhalten Odometrie- und Beschleunigungsdaten. Die beispielhaften Wahrnehmungsdaten 307 wurden automatisch von dem/den Fahrzeug(en) über eine oder mehrere Kamera-, Lidar- und Radar erfasst und beinhalten Fahrspurrand- und Fahrspurmarkierungserkennungsdaten, die Position von Fahrspurkanten und Fahrspurmarkierungen für die Straße identifizieren, Verkehrszeichen-Daten identifizieren, die den Standort der mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrssignalvorrichtungsdaten, die den Standort von Verkehrssignalvorrichtungen für die Straße identifizieren. Die Eingangsdaten 301 können durch ein Kartendatenerfassungsmodul 108/210 gesammelt und über das Kartendatenerhebungsmodul 108/210 an das Kartenerzeugungsmodul 300 übertragen werden. Die beispielhaften Eingangsdaten 301 können auch niedrigere Präzisions-Navigationskartendaten 309 beinhalten, beispielsweise aus einer Navigationskarte, wie beispielsweise einer von OpenStreetMap (OSM).
Das beispielhafte Datenvorverarbeitungsmodul 302 ist ferner konfiguriert, um die Eingangsdaten 301 vorzuverarbeiten, um die erfassten Wahrnehmungsdaten 307 mit den erfassten Standort- und Bewegungsdaten 305 und Navigationskartendaten 309 zu verknüpfen. Die Vorverarbeitung kann das Aggregieren mehrerer Dateien beinhalten (Vorgang 312), von denen jede eine Trajektorie eines Fahrzeugs auf einer oder mehreren Straßen enthält, und die Vorverarbeitung jeder Datei (Vorgang 314). Das Vorverarbeiten einer Datei kann das Analysieren der Daten in der Datei (Vorgang 316), das Zuordnen von Trajektorien in die zu fahrenden Daten (Vorgang 318), das Serialisieren zugeordneter Daten (Vorgang 320) und das Visualisieren zugehöriger Daten (Vorgang 322) beinhalten.
Das beispielhafte Kartendatenerzeugungsmodul 304 ist konfiguriert, um aus den vorverarbeiteten Daten Fahrspurstandortinformationen, Verkehrsvorrichtungs-Standortinformationen und Fahrspurniveaukreuzungsinformationen zu ermitteln. Das beispielhafte Kartendatenerzeugungsmodul 304 beinhaltet ein Fahrspurerkennungs- und Sortiermodul 306, das konfiguriert ist, um Fahrspurbegrenzungsdaten aus den Eingangsdaten zu erzeugen, ein Verkehrsvorrichtung- und Zeichenschild-Such- und Platzierungsmodul 308, das konfiguriert ist, um Verkehrsvorrichtungs-Standortdaten und Verkehrszeichen-Standortdaten zu erzeugen, und ein Fahrspurniveaukreuzungs- und -verbindungsmodul 310, das konfiguriert ist, um die sich kreuzenden und angrenzenden Fahrspuren zu verbinden, die durch die Fahrspurbegrenzungsdaten identifiziert werden.
Das beispielhafte Kartendatenerzeugungsmodul 304, durch seine Untermodule - das Fahrspurerkennungs- und Sortiermodul 306, das Verkehrs- und Lokalisierungsmodul 308, und das Lokalisierungs- und Lokalisierungsmodul 310 der Fahrspur - ist konfiguriert, um eine AV-Kartendatei 303 zu erzeugen, die ausführlich genug ausgeführt ist, um von einem autonomen Fahrzeug zur Navigation verwendet zu werden. Die AV-Kartendatei 303 kann detaillierte Spurstandortdaten, ausführliche Kreuzungsortsdaten, detaillierte Verkehrsvorrichtungs-Ortsdaten, ausführliche Fahrspurverbindungsdaten, ausführliche Fahrspurgeschwindigkeitsbegrenzungsdaten und detaillierte Vorrichtungszuordnungen beinhalten. Das beispielhafte Kartendatenerzeugungsmodul 304 ist ferner konfiguriert, um die ausführlichen Informationen in der AV-Kartendatei 303 zu speichern.
4 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul 400 durchgeführt werden, wenn Vorgänge bezüglich der Fahrspurfindung und Sortierung durchgeführt werden. Das beispielhafte Kartenerzeugungsmodul 400 beinhaltet ein Datenvorverarbeitungsmodul 402 und ein Kartendatenerzeugungsmodul 404. Das beispielhafte Vorverarbeitungsmodul 402 ist konfiguriert, um Eingangsdaten 401 so zu formatieren, dass sie vom Kartendatenerzeugungsmodul 404 verwendet werden können, um eine detaillierte AV-Kartendatei 403 für autonome Fahrzeuge beim Navigieren zu erzeugen.
Das beispielhafte Datenvorverarbeitungsmodul 402 ist konfiguriert, um Eingangsdaten 401 für das beispielhafte Kartenerstellungsmodul 400 abzurufen. Die beispielhaften Eingangsdaten 401 beinhalten automatisch erfasste Positions- und Bewegungsdaten und Wahrnehmungsdaten von einem oder mehreren Fahrzeug(en), die eine oder mehrere Straßen zurückgelegt haben, die in die AV-Kartendatei 403 aufgenommen werden sollen. Die Eingangsdaten 401 können durch ein Kartendatenerfassungsmodul 108 / 210 gesammelt und über das Kartendatenerhebungsmodul 108/210 an das Kartenerzeugungsmodul 400 übertragen werden. Die beispielhaften Eingangsdaten 401 können auch niedrigere Präzisions-Navigationskartendaten beinhalten.
Das beispielhafte Datenvorverarbeitungsmodul 402 ist ferner konfiguriert, um die Eingangsdaten 401 vorzuverarbeiten, um die erfassten Wahrnehmungsdaten mit den erfassten Standort- und Bewegungsdaten und Navigationskartendaten zu verknüpfen. Die Vorverarbeitung kann das Aggregieren mehrerer Dateien beinhalten (Vorgang 406), von denen jede eine Trajektorie eines Fahrzeugs auf einer oder mehreren Straßen enthält, und die Vorverarbeitung jeder Datei (Vorgang 408). Das Vorverarbeiten einer Datei kann das Zuordnen von Trajektorien in die Straßensegmente zu Straßensegmenten (Vorgang 410), das Extrahieren und Zuordnen von Randmarkierungen zu Straßensegmenten (Vorgang 412) und das Aggregieren von Verbindungstrajektorienpunkten (Vorgang 414) beinhalten.
Das beispielhafte Kartendatenerzeugungsmodul 404 ist konfiguriert, um aus den vorverarbeiteten Daten Fahrspurstandortinformationen und Fahrspurniveaukreuzungsinformationen zu ermitteln. Das beispielhafte Kartendatenerzeugungsmodul 404 beinhaltet ein Fahrspurerkennungs- und Sortiermodul 416, das konfiguriert ist, um Fahrspurbegrenzungsdaten aus den Eingangsdaten 401 zu erzeugen.
Das beispielhafte Kartendatenerzeugungsmodul 404 ist durch das Fahrspurerkennungs- und Sortiermodul 416 konfiguriert, um Fahrspurstandortinformationen für eine AV-Kartendatei 403 zu erzeugen, die ausführlich genug ausgeführt ist, um von einem autonomen Fahrzeug zur Navigation verwendet zu werden. Die AV-Kartendatei 403 kann detaillierte Spurstandortdaten, ausführliche Kreuzungsortsdaten, detaillierte Verkehrsvorrichtungs-Ortsdaten, ausführliche Fahrspurverbindungsdaten, ausführliche Fahrspurgeschwindigkeitsbegrenzungsdaten und detaillierte Vorrichtungszuordnungen beinhalten. Das beispielhafte Kartendatenerzeugungsmodul 404 ist ferner konfiguriert, um die ausführlichen Informationen in der AV-Kartendatei 403 zu speichern.
Das beispielhafte Spurerkennungs- und Sortierungsmodul 416 ist konfiguriert, um aus den vorverarbeiteten Daten Fahrspurstandortinformationen und Fahrspurniveaukreuzungsinformationen zu ermitteln. Das beispielhafte Fahrspurerkennungs- und Sortiermodul 416 ist konfiguriert, um die Fahrspurortsinformationen zu bestimmen, indem: die Fahrzeugtrajektorieninformationen für eine Straße in eine Vielzahl von Clustern von Fahrzeugtrajektorieninformationen für ein Fahrspursegment unterteilt werden (Vorgang 418); und das Verbinden von Fahrspurbegrenzungsdaten für eine Vielzahl von Fahrspursegmenten, um Fahrspurbegrenzungsdaten für eine Fahrspur unter Verwendung von Trajektorieninformationen für Fahrspursegmente zu konstruieren, um Fahrspursegmentverbindungspunkte zu identifizieren (Vorgang 420). Das beispielhafte Fahrspurerkennungs- und Sortiermodul 416 ist konfiguriert, um die Fahrzeugtrajektorieninformationen durch Anwenden einer Clustering-Technik auf die Fahrspursegmentinformationen zu trennen, um Spursegmentbegrenzungen für ein Fahrspursegment zu ermitteln. Die beispielhafte Clustering-Technik beinhaltet: das Erzwingen der Unsicherheit der Trajektorie an der wichtigsten Fahrspurkante (Vorgang 422); Anwenden einer Bottom-up-Clustering-Technik auf die Fahrspur-Trajektorieninformationen, um Fahrspurrandpositionsinformationen zu ermitteln (Vorgang 424); Anwenden einer mehrphasigen Trajektorienentfernungsmessung auf die Fahrspurrandpositionsinformationen (Vorgang 426); das Erzwingen der maximalen Überlagerung zwischen Fahrspuren (Vorgang 428); Entfernen von Ausreißern von jedem Cluster (Vorgang 430); und Finden eines Prototyps für jeden Cluster (Vorgang 432), wobei der Prototyp eine Fahrspurbegrenzung identifiziert.
5A ist ein Prozessablaufdiagramm, das beispielhafte Vorgänge in einem beispielhaften Prozess 500 darstellt, der in einem beispielhaften Kartenerzeugungsmodul 400 durchgeführt wird, um Fahrspurränder im Batch-Modus zu aktualisieren, oder als eine Reihe von zusammen analysierten Daten und nicht inkrementell. Der beispielhafte Prozess 500 beinhaltet Vorgänge, um Ausreißer von jedem Cluster zu entfernen (Vorgang 502) und einen Prototyp für jeden Cluster zu finden (Vorgang 504). Die beispielhaften Vorgänge zum Entfernen von Ausreißern aus jedem Cluster beinhalten: innerhalb eines Fahrspurclusters das Bestimmen des am weitesten entfernten Paares von Trajektorien (Vorgang 506); Anwendung einer gewichteten Kombination von Verstopfungsmaßnahmen auf alle Trajektorien (Vorgang 508); und das am weitesten entfernte Paar von Bahnen zu eliminieren (Vorgang 510). Die beispielhaften Vorgänge zum Auffinden eines Prototyps für jeden Cluster beinhalten: Wiederholen der Vorgänge zum Entfernen von Ausreißern aus jedem Cluster, bis ein Ausreißerschwellenwert erreicht ist (Vorgang 512); Berechnen eines gewichteten Durchschnitts (entlang der Spur) der verbleibenden Clusterelemente (Vorgang 514); und Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp (Vorgang 516).
5B ist ein Prozessablaufdiagramm, das beispielhafte Vorgänge in einem beispielhaften Prozess 520 darstellt, der in einem beispielhaften Kartenerzeugungsmodul 400 durchgeführt wird, um Fahrspurränder inkrementell in Echtzeit zu aktualisieren. Der beispielhafte Prozess 500 beinhaltet Vorgänge, um Ausreißer von jedem Cluster zu entfernen und einen Prototyp für jeden Cluster zu finden. Der beispielhafte Prozess 520 beinhaltet das Entfernen von Ausreißern aus jedem Cluster und das Finden eines Prototyps für jeden Cluster durch Verschmelzen von Daten und Vorwissen mit einem Kalman-Filter 522. Der Kalman-Filter 522 kann einen Ausgang glätten, der zu einer nominalen Fahrspurbreite und -mitte konvergiert, wenn Daten fehlen. Der beispielhafte Prozess 520 beinhaltet die Verwendung des Kalman-Filters 522, Daten von dem/den Fahrspursensor(en) 524 und Daten vom GPS-Sensor 526.
Im beispielhaften Prozess 520 werden Daten von Fahrspursensoren (524) verwendet, um Fahrspurabstände im Fahrspurrahmen zu berechnen (Vorgang 528). Daten von Fahrspursensoren (524) werden ebenfalls verwendet, um die Trägerfahrzeugrichtung im Fahrspurrahmen zu berechnen (Vorgang 530). Die berechneten Fahrspurabstände werden an einen robusten Kalman-Filter (522) eingegeben. Gleichzeitig werden Daten von einem GPS-Sensor (526) verwendet, um eine Trägerfahrzeuggeschwindigkeit in einem globalen Rahmen zu bestimmen (Vorgang 532). Die Längsgeschwindigkeit des Trägerfahrzeugs wird berechnet (Vorgang 532) unter Verwendung der Geschwindigkeit des Trägerfahrzeugs im globalen Rahmen (532) und der Fahrtrichtung des Trägerfahrzeugs im Fahrspurrahmen (530). Die berechnete Längsgeschwindigkeit (534) wird auch an den robusten Kalman-Filter (522) eingegeben. Der robuste Kalman-Filter (522) gibt das verschmolzene Fahrspurzentrum und die Breiten-Positionsinformationen (536) aus. Die zusammengeführten Fahrspurzentrum- und Breitenpositionsinformationen (536) werden in den Trägerfahrzeugrahmen umgewandelt (Vorgang 538). Die Fahrtrichtung des Trägerfahrzeugs im globalen Rahmen (540) wird vom GPS-Sensor (526) abgeleitet. Die Fahrtrichtung des Trägerfahrzeugs im globalen Rahmen (540) wird verwendet, um die fusionierte Fahrspurmitte und Breitenposition im Trägerfahrzeugrahmen (538) in den globalen Rahmen umzuwandeln (Vorgang 542). Die Trägerfahrzeugposition im globalen Rahmen (544) wird summiert (Vorgang 546) mit der fusionierten Fahrspurmitte und der Breiten-Position im globalen Rahmen (542), um eine Fahrspurkantenkoordinate im globalen Rahmen (548) zu erhalten.
6 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul 600 durchgeführt werden, wenn Vorgänge in Bezug auf das Erzeugen von Verkehrsvorrichtungen und Verkehrszeichen-Standortdaten durchgeführt werden, um in eine AV-Kartendatei einzuschließen. Das beispielhafte Kartenerzeugungsmodul 600 beinhaltet ein Datenvorverarbeitungsmodul 602 und ein Kartendatenerzeugungsmodul 604. Das beispielhafte Vorverarbeitungsmodul 602 ist konfiguriert, um Eingangsdaten 601 so zu formatieren, dass sie vom Kartendatenerzeugungsmodul 604 verwendet werden können, um eine detaillierte AV-Kartendatei 603 für autonome Fahrzeuge beim Navigieren zu erzeugen.
Das beispielhafte Datenvorverarbeitungsmodul 602 ist konfiguriert, um Eingangsdaten 601 für das beispielhafte Kartenerstellungsmodul 600 abzurufen. Die beispielhaften Eingangsdaten 601 beinhalten automatisch erfasste Positions- und Bewegungsdaten und Wahrnehmungsdaten von einem oder mehreren Fahrzeug(en), die eine oder mehrere Straßen zurückgelegt haben, die in die AV-Kartendatei 603 aufgenommen werden sollen. Die Eingangsdaten 401 können durch ein Kartendatenerfassungsmodul 108 / 210 gesammelt und über das Kartendatenerhebungsmodul 108/210 an das Kartenerzeugungsmodul 600 übertragen werden. Die beispielhaften Eingangsdaten 601 können auch niedrigere Präzisions-Navigationskartendaten beinhalten.
Das beispielhafte Datenvorverarbeitungsmodul 602 ist ferner konfiguriert, um die Eingangsdaten 601 vorzuverarbeiten, um die erfassten Wahrnehmungsdaten mit den erfassten Standort- und Bewegungsdaten und Navigationskartendaten zu verknüpfen. Die Vorverarbeitung kann das Aggregieren mehrerer Dateien beinhalten (Vorgang 606), von denen jede eine Trajektorie eines Fahrzeugs auf einer oder mehreren Straßen enthält, und die Vorverarbeitung jeder Datei (Vorgang 608). Das Vorverarbeiten einer Datei kann das Zuordnen von Trajektorien in die Straßensegmente zu Straßensegmenten (Vorgang 610) und das Zuordnen von Trajektorien in die Daten zu Kreuzungen beinhalten (Vorgang 612).
Das beispielhafte Kartendatenerzeugungsmodul 604 ist konfiguriert, um aus den vorverarbeiteten Daten Fahrspurstandortinformationen und Fahrspurniveaukreuzungsinformationen zu ermitteln. Das beispielhafte Kartendatenerzeugungsmodul 604 beinhaltet eine Verkehrs- und Zeichenvorrichtung 614, die konfiguriert ist, um eine Verkehrsvorrichtungsposition und Verkehrszeichen-Standortinformation aus den Eingangsdaten 601 zu erzeugen.
Das beispielhafte Kartendatenerzeugungsmodul 604, durch das Verkehrs- und Lokalisierungsmodul für das Verkehrszeichen 614, ist konfiguriert, um Informationen zum Verkehrsvorrichtungsstandort und Verkehrszeichen zu erzeugen, indem eine Teilmenge repräsentativer Vorrichtungen für jede Fahrspur/Kreuzung gefunden wird (Vorgang 616) und Vorrichtungen mit Fahrspuren und Kreuzungen verbunden werden (Vorgang 618). Die Suche nach einer Teilmenge repräsentativer Geräte für jede Spur/Kreuzung beinhaltet die Verwendung einer Clustering-Technik. Die Clustering-Technik beinhaltet: Entfernen von Geräten mit geringerer Präzision (Vorgang 620); Anwenden einer Bottom-Up-Clustering-Technik auf die Gerätepositions- und Verkehrszeichenstandortinformationen (Vorgang 622); Durchsetzen einer minimalen Spanne zwischen Verkehrszeichenstandort und Verkehrszeichenstandortinformationen (Vorgang 624); Entfernen von Ausreißern aus jedem Cluster (Vorgang 626); und Finden des Prototyps für jeden Cluster (Vorgang 628), wobei der Prototyp einen Verkehrszeichenstandort oder eine Verkehrszeichenposition identifiziert. 7 ist ein Blockdiagramm, das beispielhafte Vorgänge darstellt, die in einem beispielhaften Kartenerzeugungsmodul 700 durchgeführt werden, wenn Vorgänge in Bezug auf das Verbinden der sich kreuzenden und angrenzenden Fahrspuren, die durch die Fahrspurbegrenzungsdaten identifiziert werden; und Das beispielhafte Kartenerzeugungsmodul 700 beinhaltet ein Kartendatenerzeugungsmodul 702. Das beispielhafte Kartendatenerzeugungsmodul 702 ist konfiguriert, um Fahrspurstandortinformationsdaten 701 abzurufen, die in Verbindung mit einem Fahrspurerkennungs- und Sortiermodul erzeugt wurden (z B., Spurerkennungs- und Sortiermodul 416).
Das beispielhafte Kartendatengenerierungsmodul 702 ist ferner konfiguriert, um die sich kreuzenden und angrenzenden Fahrspuren, die durch die Fahrspurbegrenzungsdaten identifiziert wurden, durch Identifizieren von Fahrspursegmenten und Kreuzungen (Betrieb 704) zu verbinden und Verbindungen herzustellen (Betrieb 706). Das beispielhafte Kartendatenerzeugungsmodul 702 ist konfiguriert, um Verbindungen herzustellen, indem es Spursegmente findet, die aus einer ähnlichen Quelle stammen (Vorgang 708) und eine Verbindung erstellt (Vorgang 710).
In einer beispielhaften Implementierung beinhalten diese Vorgänge das Finden des Paares von Wegsegmenten (OSM), die an einer Kreuzung verbunden sind (Vorgang 712); und das Befüllen der Fahrspursegmentverbindungsattribute und der eingehenden Fahrspurattribute (Vorgang 714). Das Erkennen des Paars von Wegsegmenten (OSM), die an einer Kreuzung verbunden sind, kann durchgeführt werden: Versuchen, die Fahrspursegmente auszuwählen, die sich von der gleichen Quelle (angetriebenes Protokoll) im Wegsegmentpaar befinden (Vorgang 716). Wenn Fahrspursegmente von derselben Quelle in dem Wegsegment-Paar nicht gefunden werden, finden Sie die eliminierten Quellen im Clustering-Verfahren und suchen auf die Quellübereinstimmung (Vorgang 718). Wenn Fahrspursegmente von derselben Quelle im Wegsegment-Segment gefunden werden, verbinden sie entweder von angetriebenen Punkten oder durch Erzeugen einer neuen Verbindung (Vorgang 720). Die Ausführung dieser Vorgänge kann zu verbundenen Fahrspuren an Kreuzungsdaten 703 zur Aufnahme in eine AV-Kartendatei führen.
8 ist ein Prozessablaufdiagramm, das einen beispielhaften Prozess 800 zur Kartenerzeugung autonomer Fahrzeuge darstellt. Die Abfolge der Vorgänge innerhalb des beispielhaften Prozesses 800 ist nicht auf die in der Figur dargestellte sequenzielle Abarbeitung beschränkt, sondern kann in einer oder mehreren unterschiedlichen Reihenfolgen gemäß der vorliegenden Offenbarung durchgeführt werden.
Der beispielhafte Prozess 800 beinhaltet das automatische Erfassen von Standortdaten, Bewegungsdaten und Sensordaten von einem Fahrzeug, das eine Straße zurückgelegt hat (Vorgang 802). Die Ortsdaten können über einen GPS-Sensor erfasst werden und Breiten-, Längen- und Richtungsdaten beinhalten. Die Bewegungsdaten können über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst werden und beinhalten Odometrie- und Beschleunigungsdaten. Die Sensordaten können über eine oder mehrere Kameras, Lidars und Radars erfasst werden und beinhalten Fahrspurkanten- und Fahrspurmarkierungsdaten für die Straße, Verkehrszeichendaten für die Straße und Verkehrssignalisierungsdaten für die Straße.
Der beispielhafte Prozess 800 beinhaltet auch das Vorverarbeiten der erfassten Orts-, Bewegungs- und Sensordaten, um die erfassten Sensordaten mit den erfassten Ortsdaten, den erfassten Bewegungsdaten und den Navigationskartendaten zu verknüpfen (Vorgang 804). Die Vorverarbeitung kann in einer Weise durchgeführt werden, die mit den Vorgängen übereinstimmt, wobei das beispielhafte Datenvorverarbeitungsmodul 402 und das beispielhafte Datenvorverarbeitungsmodul 602 konfiguriert sind.
Der beispielhafte Prozess 800 beinhaltet ferner das Ermitteln von Fahrspurstandortinformationen, Verkehrsvorrichtungs-Standortinformationen und Spurniveaukreuzungsdaten (Vorgang 806) aus den vorverarbeiteten Daten. Das Ermitteln kann in einer Weise durchgeführt werden, die mit den Vorgängen übereinstimmt, wobei das beispielhafte Kartendatenerzeugungsmodul 404, das beispielhafte Kartendatenerzeugungsmodul 604 und das beispielhafte Kartendatenerzeugungsmodul 702 konfiguriert sind.
Abschließend beinhaltet der beispielhafte Prozess 800 das Speichern der Fahrspurinformationen, der Verkehrsvorrichtungs-Standortdaten und der Spurniveaukreuzungsdaten in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug beim Navigieren der Straße konfiguriert ist (Vorgang 808).
Während mindestens eine beispielhafte Ausführungsform in der vorstehenden ausführlichen Beschreibung dargestellt wurde, versteht es sich, dass es eine große Anzahl an Variationen gibt. Es versteht sich weiterhin, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen lediglich Beispiele sind und den Umfang, die Anwendbarkeit oder die Konfiguration dieser Offenbarung in keiner Weise einschränken sollen. Die vorstehende ausführliche Beschreibung stellt Fachleuten auf dem Gebiet vielmehr einen zweckmäßigen Plan zur Implementierung der beispielhaften Ausführungsform bzw. der beispielhaften Ausführungsformen zur Verfügung. Es versteht sich, dass verschiedene Veränderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Umfang der Offenbarung, wie er in den beigefügten Ansprüchen und deren rechtlichen Entsprechungen aufgeführt ist, abzuweichen.

Claims

Prozessorimplementiertes Verfahren zur autonomen Kartenerzeugung für Fahrzeuge, wobei das Verfahren Folgendes umfasst: automatisches Erfassen von Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße hinunter gefahren ist, der Standortdaten, die über einen GPS-Sensor erfasst wurden, einschließlich Breiten-, Längen- und Kursdaten, der Bewegungsdaten, die über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst wurden, einschließlich Odometrie- und Beschleunigungsdaten, die Wahrnehmungsdaten, die über eine oder mehrere Kameras, Lidars und Radars erfasst werden und Fahrbahnkanten- und Fahrbahnmarkierungsdaten beinhalten, die die Position von Fahrbahnkanten und Fahrbahnmarkierungen für die Straße identifizieren, Verkehrszeichendaten, die die Position von mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrszeichendaten, die die Position von Verkehrszeichenvorrichtungen für die Straße identifizieren; Vorverarbeitung der erfassten Positions-, Bewegungs- und Wahrnehmungsdaten mit einem Prozessor, um die erfassten Wahrnehmungsdaten mit den erfassten Positionsdaten, erfassten Bewegungsdaten und Navigationskartendaten zu verknüpfen. Bestimmen, mit dem Prozessor von den vorverarbeiteten Daten, Fahrspurbegrenzungsdaten, von Verkehrsdaten und Verkehrsortsdaten und Fahrspurniveaudaten, die Kreuzungen und angrenzende Fahrspuren verbinden, die durch die Fahrspurbegrenzungsdaten identifiziert werden; und Speichern der Fahrspurbegrenzungsdaten, der Verkehrsvorrichtungs- und Schilderstandortdaten und der Kreuzungsdaten auf nichtflüchtigen, computerlesbaren Datenträgern in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug beim Navigieren durch die Straße konfiguriert ist.
Verfahren nach Anspruch 1, wobei das Ermitteln der Fahrspurbegrenzungsdaten Folgendes umfasst: Abrufen von Fahrzeugtrajektorieninformationen aus den vorverarbeiteten Daten; das Trennen der Fahrzeugtrajektorieninformationen für eine Straße in eine Vielzahl von Clustern von Fahrzeugtrajektorieninformationen für ein Fahrspursegment; Ermitteln von Fahrspurbegrenzungsdaten für ein Fahrspursegment aus einem Cluster von Fahrzeugtrajektorieninformationen für ein Fahrspursegment unter Verwendung einer Clustering-Technik; und das Verbinden von Fahrspurbegrenzungsdaten für eine Vielzahl von Fahrspursegmenten, um Fahrspurbegrenzungsdaten für eine Fahrspur unter Verwendung von Trajektorieninformationen für Fahrspursegmente zu konstruieren, um Fahrspursegmentverbindungspunkte zu identifizieren.
Verfahren nach Anspruch 2, wobei das Bestimmen von Spurbegrenzungsdaten für ein Spursegment das Anwenden einer Bottom-Up-Clustering-Technik auf den Cluster von Trajektorieninformationen für das Spursegment, das Entfernen von Ausreißern aus dem Cluster und das Finden eines Prototyps für das Cluster umfasst, wobei der Prototyp eine Spurbegrenzung identifiziert.
Verfahren nach Anspruch 3, wobei das Finden eines Prototyps für den Cluster das Aktualisieren von Fahrspurkanten durch gemeinsames Analysieren eines Datenstapels umfasst, wobei das Analysieren eines Datenstapels zusammen das Entfernen von Ausreißern aus dem Cluster umfasst, bis ein Ausreißerschwellenwert erreicht ist; das Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente; und das Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Fahrspurprototyp.
Verfahren nach Anspruch 3, wobei das Finden eines Prototyps für den Cluster das schrittweise Aktualisieren von Fahrspurkanten in Echtzeit durch Anwenden eines Kalman-Filters umfasst, um den Prototyp für den Cluster zu finden.
Verfahren nach Anspruch 1, wobei das Bestimmen von Verkehrsvorrichtungs- und Schilderstandortdaten das Auffinden von Verkehrsvorrichtungen und Schildern umfasst, die jeder Spur und Kreuzung zugeordnet sind, und das Verbinden der Verkehrsvorrichtungen und Schilder mit den zugehörigen Fahrspuren und Kreuzungen.
Verfahren nach Anspruch 6, wobei das Finden von Verkehrsvorrichtungen und Schildern, die jeder Fahrspur und Kreuzung zugeordnet sind, Folgendes umfasst: das Entfernen von Standorten mit niedrigerer Präzision aus Verkehrs- und Verkehrsortungsdaten; das Anwenden einer Bottom-up-Clustering-Technik auf die Verkehrs- und Vorzeichenstandortdaten; das Erzwingen der minimalen Spanne zwischen der Verkehrs- und der V orzei chenstandortdaten; Entfernen von Ausreißern von jedem Cluster; und Finden eines Prototyps für jeden Cluster, wobei der Prototyp einen Standort der Verkehrsvorrichtung oder einen Verkehrszeichenort identifiziert.
Verfahren nach Anspruch 7, wobei das Finden eines Prototyps für den Cluster entweder umfasst: Entfernen von Ausreißern aus dem Cluster, bis ein Ausreißerschwellenwert erreicht ist; Berechnen eines gewichteten Durchschnitts der verbleibenden Clusterelemente; und Einstellen des Ergebnisses der gewichteten Durchschnittsberechnung als Spurprototyp; oder Anwenden eines Kalman-Filters, um den Prototyp für den Cluster zu finden.
Verfahren nach Anspruch 1, wobei die bestimmenden Fahrspurniveau-Kreuzungsdaten umfassen: Finden des Paares von Wegesegmenten, die an einer Kreuzung verbunden sind; und Füllen von Verbindungsattributen für Fahrspursegmente und eingehenden Fahrspurattributen für Kreuzungen, um kreuzende Fahrspuren in den Kreuzungsdaten der Fahrspurebene zu identifizieren.
Autonomes Fahrzeugkartenerzeugungsmodul, wobei das autonome Fahrzeugkartenerzeugungsmodul einen oder mehrere Prozessoren umfasst, die durch Programmieranweisungen in nichtflüchtigen, computerlesbaren Medien konfiguriert sind, wobei das autonome Fahrzeugkartenerzeugungsmodul konfiguriert ist um: Standortdaten, Bewegungsdaten und Wahrnehmungsdaten von einem Fahrzeug, das eine Straße hinuntergefahren ist, abzurufen, wobei die Standortdaten, Bewegungsdaten und Wahrnehmungsdaten automatisch durch das Fahrzeug, die Standortdaten über einen GPS-Sensor erfasst werden und Breiten-, Längen- und Kursdaten beinhalten, die Bewegungsdaten über einen oder mehrere IMU-Sensoren und einen Odometriesensor erfasst werden und Odometrie- und Beschleunigungsdaten beinhalten, die Wahrnehmungsdaten über eine oder mehrere Kameras, Lidars und Radars erfasst werden und Fahrspurkanten- und Fahrspurmarkierungsdaten beinhalten, die die Position von Fahrspurkanten und Fahrbahnmarkierungen für die Straße identifizieren, Verkehrszeichendaten, die die Position von mit der Straße verbundenen Verkehrszeichen identifizieren, und Verkehrszeichendaten, die die Position von Verkehrszeichenvorrichtungen für die Straße identifizieren, Vorverarbeitung der erfassten Positions-, Bewegungs- und Wahrnehmungsdaten, um die erfassten Wahrnehmungsdaten mit den erfassten Positionsdaten, erfassten Bewegungsdaten und Navigationskartendaten zu verknüpfen. Bestimmen, mit dem Prozessor, von Fahrspurbegrenzungsdaten, von Verkehrsdaten und Verkehrsortsdaten und Fahrspurniveaudaten, die Kreuzungen und angrenzende Fahrspuren verbinden, die durch die Fahrspurbegrenzungsdaten identifiziert werden; und Speichern der Fahrspurbegrenzungsdaten, der Verkehrsvorrichtungs- und Schilderstandortdaten und der Kreuzungsdaten auf nichtflüchtigen, computerlesbaren Datenträgern in einer Kartendatei, die für die Verwendung durch ein autonomes Fahrzeug beim Navigieren durch die Straße konfiguriert ist.