DE102021105823A1

DE102021105823A1 - Dynamische lidar-anpassung

Info

Publication number: DE102021105823A1
Application number: DE102021105823.6A
Authority: DE
Inventors: Shengbing Jiang; Yao Hu; Xinyu Du; Wen-Chiao Lin; Hao Yu; Shiming Duan
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-05-29
Filing date: 2021-03-10
Publication date: 2021-12-02
Also published as: US20210373138A1; CN113805145B; CN113805145A

Abstract

Es werden Systeme und Verfahren zur Steuerung eines Fahrzeugs bereitgestellt. In einer Ausführungsform umfasst ein Verfahren: Aufzeichnen von Lidar-Daten von der Lidar-Vorrichtung durch eine Steuerung an Bord des Fahrzeugs, während das Fahrzeug auf einer geraden Straße fährt; Bestimmen, durch die Steuerung, dass das Fahrzeug auf der geraden Straße geradeaus fährt; Erfassen, durch die Steuerung, von geraden Fahrbahnmarkierungen auf der geraden Straße; Berechnen, durch die Steuerung, von Lidar-Ausrichtungsparametern auf der Grundlage der geraden Fahrbahnmarkierungen; Kalibrieren, durch die Steuerung, der Lidar-Vorrichtung auf der Grundlage der Lidar-Ausrichtungsparameter; und Steuern, durch die Steuerung, des Fahrzeugs auf der Grundlage von Daten von der kalibrierten Lidar-Vorrichtung.

Description

Die vorliegende Offenbarung bezieht sich im Allgemeinen auf Lidar-Systeme und im Besonderen auf Systeme und Verfahren für Lidare eines Fahrzeugs.
Ein autonomes Fahrzeug ist ein Fahrzeug, das in der Lage ist, seine Umgebung zu erfassen und mit wenigen oder keinen Benutzereingaben zu navigieren. Ein autonomes Fahrzeug erfasst seine Umgebung mithilfe von Erfassungsgeräten wie Radar, Lidar, Bildsensoren und dergleichen. Das autonome Fahrzeugsystem nutzt darüber hinaus Informationen aus der GPS (Global Positioning Systems)-Technologie, Navigationssystemen, Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Technologie und/oder Drive-by-Wire-Systemen, um das Fahrzeug zu navigieren.
Während autonome Fahrzeuge und teilautonome Fahrzeuge viele potenzielle Vorteile gegenüber herkömmlichen Fahrzeugen bieten, kann es unter bestimmten Umständen wünschenswert sein, den Betrieb der Fahrzeuge zu verbessern. Zum Beispiel müssen Lidare aufgrund von Verschiebungen, die durch verschiedene Fahrbedingungen verursacht werden, von Zeit zu Zeit neu auf das Fahrzeug angepasst werden. Die Lidar-Anpassung kann anhand von Daten durchgeführt werden, die von einem festen Ziel und einer festen Route stammen. In manchen Fällen kann es schwierig sein, solche Daten für die Lidar-Neuanpassung regelmäßig zu erhalten.
Dementsprechend ist es wünschenswert, verbesserte Systeme und Verfahren zum Ausrichten von Sensoren wie Lidare eines Fahrzeugs bereitzustellen. Darüber hinaus werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen ersichtlich, die in Verbindung mit den beigefügten Zeichnungen und dem vorangehenden technischen Gebiet und Hintergrund genommen werden.
BESCHREIBUNG
Es werden Systeme und Verfahren zur Steuerung eines Fahrzeugs bereitgestellt. In einer Ausführungsform umfasst ein Verfahren: Aufzeichnen von Lidar-Daten von der Lidar-Vorrichtung durch eine Steuerung an Bord des Fahrzeugs, während das Fahrzeug auf einer geraden Straße fährt; Bestimmen, durch die Steuerung, dass das Fahrzeug auf der geraden Straße geradeaus fährt; Erkennen, durch die Steuerung, von geraden Fahrbahnmarkierungen auf der geraden Straße; Berechnen von Lidar-Ausrichtungsparametern durch die Steuerung, basierend auf den geraden Fahrbahnmarkierungen; Kalibrieren der Lidar-Vorrichtung durch die Steuerung, basierend auf den Lidar-Ausrichtungsparametern; und Steuern, durch die Steuerung, des Fahrzeugs auf der Grundlage von Daten von der kalibrierten Lidar-Vorrichtung.
In verschiedenen Ausführungsformen basiert das Bestimmen, dass das Fahrzeug auf einer geraden Linie fährt, auf der seitlichen Abweichung des Fahrzeugs.
In verschiedenen Ausführungsformen basiert das Bestimmen, dass das Fahrzeug auf einer geraden Linie fährt, auf globalen Positionierungsdaten.
In verschiedenen Ausführungsformen basiert das Erkennen von geraden Fahrbahnmarkierungen auf dem Extrahieren von Bodenpunkten und Fahrbahnmarkierungspunkten aus den Lidar-Daten.
In verschiedenen Ausführungsformen basiert die Berechnung der Lidar-Ausrichtungsparameter auf einer Hauptkomponentenanalyse.
In verschiedenen Ausführungsformen umfasst die Berechnung der Lidar-Ausrichtungsparameter das Neuausgleichen der Lidar-Punktverteilungen durch die Steuerung, das Berechnen von zweiten und dritten Hauptkomponentenparametern für die linke und rechte Markierung durch die Steuerung und das Kalibrieren der Ausrichtungsparameter durch die Steuerung.
In verschiedenen Ausführungsformen umfasst das Verfahren die Bestimmung, dass Referenzfahrbahnmarkierungen mit Erdkoordinaten existieren, und die Aktualisierung der Lidar-Ausrichtungsparameter basierend auf den Referenzfahrbahnmarkierungen durch die Steuerung.
In verschiedenen Ausführungsformen beinhaltet das Verfahren die Berechnung der Lidar-Referenzfahrbahnmarkierungen durch die Steuerung, basierend auf verschiedenen Fahrzeugstandorten.
In verschiedenen Ausführungsformen beinhaltet die Berechnung der Lidar-Ausrichtungsparameter die Durchführung einer Integration mit mehreren Lidar-Ausrichtungsparametern.
In verschiedenen Ausführungsformen umfasst das Verfahren die Bestimmung durch die Steuerung, dass das Fahrzeug auf einer ebenen Straße fährt; und wobei das Erkennen der geraden Fahrbahnmarkierungen auf dem Fahren des Fahrzeugs auf der ebenen Straße basiert.
In einer anderen Ausführungsform wird ein Fahrzeugsystem eines Fahrzeugs bereitgestellt. Das Fahrzeugsystem umfasst: eine Lidar-Vorrichtung; und eine Steuerung, die so konfiguriert ist, dass sie durch einen Prozessor Lidar-Daten von der Lidar-Vorrichtung aufzeichnet, während das Fahrzeug auf einer geraden Straße fährt, dass sie bestimmt, dass das Fahrzeug auf der geraden Straße geradeaus fährt, dass sie gerade Fahrbahnmarkierungen auf der geraden Straße erkennt, dass sie Lidar-Ausrichtungsparameter auf der Basis der geraden Fahrbahnmarkierungen berechnet, dass sie die Lidar-Vorrichtung auf der Basis der Lidar-Ausrichtungsparameter kalibriert, und dass sie das Fahrzeug auf der Basis von Daten von der kalibrierten Lidar-Vorrichtung steuert.
In verschiedenen Ausführungsformen ist die Steuerung so konfiguriert, dass sie anhand der seitlichen Drift des Fahrzeugs feststellt, dass das Fahrzeug auf der geraden Linie fährt.
In verschiedenen Ausführungsformen beinhaltet das Verfahren, dass die Steuerung so konfiguriert ist, dass sie auf der Grundlage von globalen Positionierungsdaten feststellt, dass das Fahrzeug auf der geraden Linie fährt.
In verschiedenen Ausführungsformen ist die Steuerung so konfiguriert, dass sie gerade Fahrbahnmarkierungen erkennt, indem sie Bodenpunkte und Fahrbahnmarkierungspunkte aus den Lidar-Daten extrahiert.
In verschiedenen Ausführungsformen ist die Steuerung so konfiguriert, dass sie die Lidar-Ausrichtungsparameter basierend auf einer Hauptkomponentenanalyse berechnet.
In verschiedenen Ausführungsformen ist die Steuerung so konfiguriert, dass sie die Lidar-Ausrichtungsparameter berechnet, indem sie die Lidar-Punktverteilungen neu ausgleicht; indem sie zweite und dritte Hauptkomponentenparameter für die linke und rechte Markierung berechnet; und indem sie die Ausrichtungsparameter kalibriert.
In verschiedenen Ausführungsformen ist die Steuerung außerdem so konfiguriert, dass sie: bestimmt, dass Referenzfahrbahnmarkierungen mit Erdkoordinaten existieren; und die Lidar-Ausrichtungsparameter basierend auf den Referenzfahrbahnmarkierungen aktualisiert.
In verschiedenen Ausführungsformen ist die Steuerung ferner so konfiguriert, dass sie: die Lidar-Ausrichtungsparameter basierend auf verschiedenen Fahrzeugstandorten berechnet.
In verschiedenen Ausführungsformen ist die Steuerung ferner so konfiguriert, dass sie die Lidar-Ausrichtungsparameter berechnet, indem sie eine Integration mit mehreren Lidar-Ausrichtungsparameter durchführt.
In verschiedenen Ausführungsformen ist die Steuerung ferner so konfiguriert, dass sie: bestimmt, dass das Fahrzeug auf einer ebenen Straße fährt, und die geraden Fahrbahnmarkierungen basierend darauf erkennt, dass das Fahrzeug auf der ebenen Straße fährt.
In einer anderen Ausführungsform umfasst ein Verfahren zum Steuern eines Fahrzeugs mit einer Lidar-Vorrichtung und einer Trägheitsmesseinheit (IMU): Bestimmen, durch eine Steuerung, dass das Fahrzeug ein Kurvenmanöver durchführt, basierend auf aufgezeichneten Lidar-Daten und IMU-Daten; Erkennen, durch die Steuerung, von Objekten in den Lidar-Daten; Bestimmen, durch die Steuerung, von nützlichen Daten, die mit den erkannten Objekten aus den Lidar-Daten assoziiert sind; Berechnen von Parametern durch die Steuerung, basierend auf den nützlichen Daten; Kalibrieren der Lidar-Vorrichtung durch die Steuerung, basierend auf den Parametern; und Steuern des Fahrzeugs durch die Steuerung, basierend auf Daten von der kalibrierten Lidar-Vorrichtung.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Ziffern gleiche Elemente bezeichnen, und wobei:

1 ein funktionales Blockdiagramm ist, das ein autonomes Fahrzeug mit einem Lidar-Anpassungssystem zeigt, gemäß verschiedenen Ausführungsformen;
2 ein schematisches Blockdiagramm eines automatisierten Fahrsystems (ADS) für ein Fahrzeug ist, gemäß einer oder mehreren beispielhaften Ausführungsformen;
3 ein Datenflussdiagramm eines Steuermoduls des Lidar-Anpassungssystems ist, gemäß einer oder mehreren beispielhaften Ausführungsformen;
4-10 Flussdiagramme zur Veranschaulichung von Lidar-Anpassungsverfahren sind, die auf geraden Linienmarkierungen basieren, gemäß einer oder mehreren beispielhaften Ausführungsformen;
11 ein Datenflussdiagramm eines Steuermoduls des Lidar-Anpassungssystems ist, gemäß einer oder mehreren beispielhaften Ausführungsformen; und
12-21 Flussdiagramme zur Veranschaulichung von Lidar-Anpassungsverfahren sind, die auf Kurvenmanövern basieren, gemäß einer oder mehreren beispielhaften Ausführungsformen.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht keine Absicht, an irgendwelche ausdrücklichen oder impliziten Theorien gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt sind. Wie hierin verwendet, bezieht sich der Begriff Modul auf jegliche Hardware, Software, Firmware, elektronische Steuerkomponente, Verarbeitungslogik und/oder Prozessorgerät, einzeln oder in beliebiger Kombination, einschließlich und ohne Einschränkung: anwendungsspezifischer integrierter Schaltkreis (ASIC), ein elektronischer Schaltkreis, ein Prozessor (gemeinsam, dediziert oder Gruppe) und Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinierte Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hier in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es ist zu beachten, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software-und/oder Firmware-Komponenten realisiert werden können, die so konfiguriert sind, dass sie die angegebenen Funktionen ausführen. Zum Beispiel kann eine Ausführungsform der vorliegenden Offenbarung verschiedene integrierte Schaltungskomponenten verwenden, z. B. Speicherelemente, digitale Signalverarbeitungselemente, Logikelemente, Nachschlagetabellen oder ähnliches, die eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuerungsvorrichtungen ausführen können. Darüber hinaus wird der Fachmann verstehen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen praktiziert werden können, und dass die hier beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Der Kürze halber werden konventionelle Techniken in Bezug auf Signalverarbeitung, Datenübertragung, Signalisierung, Steuerung und andere funktionale Aspekte der Systeme (und der einzelnen Betriebskomponenten der Systeme) hier nicht im Detail beschrieben. Darüber hinaus sollen die in den verschiedenen hier enthaltenen Figuren dargestellten Verbindungslinien beispielhafte funktionale Beziehungen und/oder physikalische Kopplungen zwischen den verschiedenen Elementen darstellen. Es ist zu beachten, dass viele alternative oder zusätzliche funktionale Beziehungen oder physikalische Verbindungen in einer Ausführungsform der vorliegenden Offenbarung vorhanden sein können.
In einer oder mehreren hierin beschriebenen beispielhaften Ausführungsformen umfasst ein zum autonomen Betrieb fähiges Fahrzeug eine Reihe verschiedener Geräte, die Daten erzeugen, die eine Szene oder Umgebung in der Nähe des Fahrzeugs aus verschiedenen Perspektiven darstellen. Ein Erfassungswinkel eines einzelnen Sensors oder mehrerer Sensoren kann verändert werden, um die Reichweite und/oder die Auflösung der Sensordaten zu verbessern. In diesem Zusammenhang kann der erweiterte oder verbesserte Datensatz dann analysiert und verwendet werden, um Befehle für den autonomen Betrieb eines oder mehrerer Aktuatoren an Bord des Fahrzeugs zu bestimmen. Auf diese Weise wird der autonome Betrieb des Fahrzeugs durch die erweiterten Datensätze beeinflusst.
Wie unten im Zusammenhang mit den 1-10 näher beschrieben, ist in beispielhaften Ausführungsformen ein allgemein mit 100 bezeichnetes Steuersystem mit einem Fahrzeug 10 verbunden, gemäß verschiedenen Ausführungsformen. Im Allgemeinen richtet das Steuersystem 100 einen Sensor des Fahrzeugs 10 selektiv aus. In verschiedenen Ausführungsformen richtet das Steuersystem 100 einen Sensor, wie z. B. ein Lidar, anhand von geraden Fahrbahnmarkierungen einer Straße aus.
Wie in 1 dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, einen Aufbau 14, Vorderräder 16 und Hinterräder 18. Der Aufbau 14 ist auf dem Fahrgestell 12 angeordnet und umfasst im Wesentlichen Komponenten des Fahrzeugs 10. Der Aufbau 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Räder 16-18 sind jeweils in der Nähe einer Ecke des Aufbaus 14 drehbar mit dem Fahrgestell 12 verbunden.
In verschiedenen Ausführungsformen ist das Fahrzeug 10 ein autonomes Fahrzeug und das Steuersystem 100 ist in das autonome Fahrzeug 10 (im Folgenden als autonomes Fahrzeug 10 bezeichnet) eingebaut. Das autonome Fahrzeug 10 ist z. B. ein Fahrzeug, das automatisch gesteuert wird, um Fahrgäste von einem Ort zu einem anderen zu befördern. Das Fahrzeug 10 ist in der gezeigten Ausführungsform als PKW dargestellt, aber es sollte verstanden werden, dass jedes andere Fahrzeug, einschließlich Motorräder, LKWs, Geländefahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Wasserfahrzeuge, Luftfahrzeuge usw., ebenfalls verwendet werden können. In einer beispielhaften Ausführungsform ist das autonome Fahrzeug 10 ein sogenanntes Level-Vier- oder Level-Fünf-Automatisierungssystem. Ein Level-Vier-System kennzeichnet eine „hohe Automatisierung“, die sich darauf bezieht, dass ein automatisiertes Fahrsystem alle Aspekte der dynamischen Fahraufgabe fahrmodusspezifisch ausführt, auch wenn ein menschlicher Fahrer nicht angemessen auf eine Aufforderung zum Eingreifen reagiert. Ein Level-Fünf-System bedeutet „Vollautomatisierung“ und bezieht sich auf die vollständige Ausführung aller Aspekte der dynamischen Fahraufgabe durch ein automatisiertes Fahrsystem unter allen Fahrbahn- und Umgebungsbedingungen, die von einem menschlichen Fahrer bewältigt werden können. Wie zu erkennen ist, kann das Fahrzeug in verschiedenen Ausführungsformen ein nichtautonomes Fahrzeug sein und ist nicht auf die vorliegenden Beispiele beschränkt.
Wie dargestellt, umfasst das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Getriebesystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Aktuatorsystem 30, mindestens eine Datenspeichereinrichtung 32, mindestens eine Steuerung 34 und ein Kommunikationssystem 36. Das Antriebssystem 20 kann in verschiedenen Ausführungsformen einen Verbrennungsmotor, eine elektrische Maschine, wie z. B. einen Antriebsmotor, und/oder ein Brennstoffzellenantriebssystem umfassen. Das Getriebesystem 22 ist so konfiguriert, dass es Leistung vom Antriebssystem 20 zu den Fahrzeugrädern 16-18 gemäß wählbaren Drehzahlverhältnissen überträgt. Gemäß verschiedenen Ausführungsformen kann das Getriebesystem 22 ein gestuftes Automatikgetriebe, ein stufenloses Getriebe oder ein anderes geeignetes Getriebe umfassen. Das Bremssystem 26 ist so konfiguriert, dass es ein Bremsmoment für die Fahrzeugräder 16-18 bereitstellt. Das Bremssystem 26 kann in verschiedenen Ausführungsformen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem wie eine elektrische Maschine und/oder andere geeignete Bremssysteme umfassen. Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16-18. Während es für illustrative Zwecke als ein Lenkrad enthaltend dargestellt ist, mag das Lenksystem 24 in einigen Ausführungsformen im Rahmen der vorliegenden Offenbarung kein Lenkrad enthalten.
Das Sensorsystem 28 umfasst eine oder mehrere Sensorvorrichtungen 40a-40n, die beobachtbare Bedingungen der äußeren Umgebung und/oder der inneren Umgebung des autonomen Fahrzeugs 10 erfassen. Die Sensorvorrichtungen 40a-40n können Radare, Lidare, globale Positionierungssysteme, optische Kameras, Wärmekameras, Ultraschallsensoren und/oder andere Sensoren umfassen, sind aber nicht darauf beschränkt.
In verschiedenen Ausführungsformen sind die Sensorvorrichtungen 40a-40n an verschiedenen Stellen des Fahrzeugs 10 angeordnet. In den hier beschriebenen beispielhaften Ausführungsformen sind die Sensorvorrichtungen 40-40n als Lidar-Vorrichtungen realisiert. In dieser Hinsicht kann jede der Erfassungsvorrichtungen 40a-40n einen oder mehrere Laser, Abtastkomponenten, optische Anordnungen, Fotodetektoren und andere Komponenten umfassen oder integrieren, die geeignet konfiguriert sind, um die Umgebung in der Nähe des Fahrzeugs 10 mit einer bestimmten Winkelfrequenz oder Rotationsgeschwindigkeit horizontal und drehbar abzutasten.
Das Aktuatorsystem 30 umfasst eine oder mehrere Aktuatorvorrichtungen 42a-42n, die eine oder mehrere Fahrzeugfunktionen steuern, wie z. B. das Antriebssystem 20, das Getriebesystem 22, das Lenksystem 24 und das Bremssystem 26, aber nicht darauf beschränkt. In verschiedenen Ausführungsformen können die Fahrzeugmerkmale ferner innere und/oder äußere Fahrzeugmerkmale umfassen, wie z. B. Türen, einen Kofferraum und Kabinenmerkmale wie Luft, Musik, Beleuchtung usw. (nicht nummeriert).
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung bei der automatischen Steuerung des autonomen Fahrzeugs 10. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 definierte Karten der navigierbaren Umgebung. In verschiedenen Ausführungsformen können die definierten Karten durch ein entferntes System vordefiniert und von diesem bezogen werden (in Bezug auf 2 näher beschrieben). Beispielsweise können die definierten Karten von dem entfernten System zusammengestellt und an das autonome Fahrzeug 10 (drahtlos und/oder drahtgebunden) übermittelt und in der Datenspeichervorrichtung 32 gespeichert werden. In verschiedenen Ausführungsformen speichert die Datenspeichervorrichtung 32 Kalibrierungen zur Verwendung bei der Ausrichtung der Erfassungsvorrichtungen 40a-40n. Wie zu erkennen ist, kann die Datenspeichervorrichtung 32 Teil der Steuerung 34, getrennt von der Steuerung 34 oder Teil der Steuerung 34 und Teil eines separaten Systems sein.
Die Steuerung 34 umfasst mindestens einen Prozessor 44 und ein computerlesbares Speichergerät oder Medium 46. Der Prozessor 44 kann ein beliebiger kundenspezifischer oder handelsüblicher Prozessor sein, eine zentrale Prozessoreinheit (CPU), eine Grafikverarbeitungseinheit (GPU), ein Hilfsprozessor unter mehreren Prozessoren, die der Steuerung 34 zugeordnet sind, ein Mikroprozessor auf Halbleiterbasis (in Form eines Mikrochips oder Chipsatzes), ein Makroprozessor, eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zur Ausführung von Anweisungen. Das computerlesbare Speichergerät oder -medum 46 können flüchtige und nichtflüchtige Speicher umfassen, z. B. Festwertspeicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM). KAM ist ein dauerhafter oder nichtflüchtiger Speicher, der zum Speichern verschiedener Betriebsvariablen verwendet werden kann, während der Prozessor 44 ausgeschaltet ist. Das/die computerlesbare(n) Speichergerät(e) 46 kann/können unter Verwendung einer beliebigen Anzahl bekannter Speichervorrichtungen implementiert werden, wie PROMs (programmierbarer Festwertspeicher), EPROMs (elektrisch löschbares PROM), EEPROMs (elektrisch löschbares PROM), Flash-Speicher oder beliebige andere elektrische, magnetische, optische oder kombinierte Speichervorrichtungen, die in der Lage sind, Daten zu speichern, von denen einige ausführbare Anweisungen darstellen, die von der Steuerung 34 bei der Steuerung des autonomen Fahrzeugs 10 verwendet werden.
Die Anweisungen können ein oder mehrere separate Programme umfassen, von denen jedes eine geordnete Auflistung von ausführbaren Anweisungen zur Implementierung logischer Funktionen enthält. Die Anweisungen empfangen und verarbeiten, wenn sie vom Prozessor 44 ausgeführt werden, Signale vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zur automatischen Steuerung der Komponenten des autonomen Fahrzeugs 10 aus und erzeugen Steuersignale für das Aktuatorsystem 30, um die Komponenten des autonomen Fahrzeugs 10 basierend auf der Logik, den Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl in 1 nur eine Steuerung 34 dargestellt ist, können Ausführungsformen des autonomen Fahrzeugs 10 eine beliebige Anzahl von Steuerungen 34 umfassen, die über ein beliebiges geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen durchzuführen und Steuersignale zu erzeugen, um Merkmale des autonomen Fahrzeugs 10 automatisch zu steuern. In verschiedenen Ausführungsformen sind eine oder mehrere Anweisungen der Steuerung 34 im Steuersystem 100 verkörpert und bewirken bei Ausführung durch den Prozessor 44, dass der Prozessor 44 die Verfahren und Systeme durchführt, die die Lidarvorrichtungen dynamisch anpassen, indem sie die in der Datenspeichervorrichtung 32 gespeicherten Kalibrierungen aktualisieren, wie nachstehend ausführlicher beschrieben.
In beispielhaften Ausführungsformen ist das Kommunikationssystem 36 so konfiguriert, dass es drahtlos Informationen zu und von anderen Einheiten 48, wie z. B., aber nicht beschränkt auf andere Fahrzeuge („V2V“-Kommunikation), Infrastruktur („V2I“-Kommunikation), entfernte Systeme und/oder persönliche Geräte (ausführlicher beschrieben in Bezug auf 2), übermittelt. In einer beispielhaften Ausführungsform ist das Kommunikationssystem 36 ein drahtloses Kommunikationssystem, das so konfiguriert ist, dass es über ein drahtloses lokales Netzwerk (WLAN) unter Verwendung von IEEE 802.11-Standards oder unter Verwendung von zellularer Datenkommunikation kommuniziert. Zusätzliche oder alternative Kommunikationsverfahren, wie z. B. ein dedizierter Kurzstrecken-Kommunikationskanal (DSRC), werden jedoch ebenfalls im Rahmen der vorliegenden Offenbarung berücksichtigt. DSRC-Kanäle beziehen sich auf ein- oder zweiseitige drahtlose Kurzstrecken- bis Mittelstrecken-Kommunikationskanäle, die speziell für den Einsatz in Kraftfahrzeugen entwickelt wurden, sowie auf einen entsprechenden Satz von Protokollen und Standards.
Gemäß verschiedenen Ausführungsformen implementiert die Steuerung 34 ein autonomes Fahrsystem (ADS) 70, wie in 2 gezeigt. Das heißt, geeignete Software- und/oder Hardwarekomponenten der Steuerung 34 (z. B. Prozessor 44 und computerlesbare Speichervorrichtung 46) werden verwendet, um ein autonomes Fahrsystem 70 bereitzustellen, das in Verbindung mit dem Fahrzeug 10 verwendet wird, um beispielsweise verschiedene Aktuatoren 30 an Bord des Fahrzeugs 10 automatisch zu steuern, um dadurch die Fahrzeugbeschleunigung, die Lenkung bzw. das Bremsen ohne menschlichen Eingriff zu steuern.
In verschiedenen Ausführungsformen können die Anweisungen des autonomen Fahrsystems 70 nach Funktionen oder Systemen organisiert sein. Zum Beispiel kann das autonome Fahrsystem 70, wie in 2 gezeigt, ein Computersichtsystem 74, ein Positionierungssystem 76, ein Leitsystem 78 und ein Fahrzeugsteuerungssystem 80 umfassen. Wie zu erkennen ist, können die Anweisungen in verschiedenen Ausführungsformen in einer beliebigen Anzahl von Systemen organisiert sein (z. B. kombiniert, weiter unterteilt usw.), da die Offenbarung nicht auf die vorliegenden Beispiele beschränkt ist.
In verschiedenen Ausführungsformen synthetisiert und verarbeitet das Computersichtsystem 74 Sensordaten und sagt das Vorhandensein, den Standort, die Klassifizierung und/oder den Weg von Objekten und Merkmalen der Umgebung des Fahrzeugs 10 voraus. In verschiedenen Ausführungsformen kann das Computersichtsystem 74 Informationen von mehreren Sensoren einbeziehen, einschließlich, aber nicht beschränkt auf Kameras, Lidare, Radare und/oder eine beliebige Anzahl anderer Arten von Sensoren. In verschiedenen Ausführungsformen empfängt das Computersichtsystem 74 Informationen von dem hier beschriebenen Steuersystem 100 und/oder implementiert dieses.
Das Positionierungssystem 76 verarbeitet Sensordaten zusammen mit anderen Daten, um eine Position (z. B. eine lokale Position in Bezug auf eine Karte, eine genaue Position in Bezug auf die Fahrbahn einer Straße, die Fahrzeugrichtung, die Geschwindigkeit usw.) des Fahrzeugs 10 in Bezug auf die Umgebung zu bestimmen. Das Lenksystem 78 verarbeitet Sensordaten zusammen mit anderen Daten, um einen Pfad zu bestimmen, dem das Fahrzeug 10 folgen soll. Das Fahrzeugsteuersystem 80 erzeugt Steuersignale zur Steuerung des Fahrzeugs 10 gemäß dem ermittelten Pfad.
In verschiedenen Ausführungsformen implementiert die Steuerung 34 maschinelle Lerntechniken, um die Funktionalität der Steuerung 34 zu unterstützen, wie z. B. Merkmalserkennung/- klassifizierung, Hindernisvermeidung, Routendurchquerung, Kartierung, Sensorintegration, Bestimmung der Bodenwahrheit und Ähnliches.
Unter Bezugnahme auf 3 und unter fortgesetzter Bezugnahme auf 1 und 2 zeigt 3 eine Ausführungsform eines Steuermoduls 200 des Steuersystems 100, das von der Steuerung 34, dem Prozessor 44 und/oder dem Computersichtsystem 74 implementiert oder in diese integriert werden kann. In verschiedenen Ausführungsformen kann das Steuermodul 200 als ein oder mehrere Untermodule implementiert sein. Wie zu erkennen ist, können die dargestellten und beschriebenen Untermodule in verschiedenen Ausführungsformen kombiniert und/oder weiter unterteilt werden. Dateneingaben in das Steuermodul 200 können direkt von den Sensorvorrichtungen 40a-40n, von anderen Modulen (nicht dargestellt) der Steuerung 34 und/oder von anderen Steuerungen (nicht dargestellt) empfangen werden. In verschiedenen Ausführungsformen umfasst das Verarbeitungsmodul 200 ein Datensammelmodul 202, ein Fahrzeugbewegungsauswertungsmodul 204, ein Fahrbahnmarkierungserkennungsmodul 206, ein Parameterbestimmungsmodul 208, ein Kalibrierungsmodul 210 und einen Datendatenspeicher 212.
In verschiedenen Ausführungsformen empfängt das Datensammelmodul 202 als Eingabe aufgezeichnete Daten 214. In verschiedenen Ausführungsformen umfassen die aufgezeichneten Daten 214 Lidar-Daten 216, Fahrzeugstandortdaten 218 und Fahrzeugorientierungsdaten 220, die über eine vorbestimmte Zeit aufgezeichnet wurden. Beispielsweise empfängt das Datensammelmodul 202 die aufgezeichneten Daten 214, wenn Verlaufsdaten 222 und/oder Kartendaten 224 darauf hinweisen, dass das Fahrzeug 10 auf einer Straße fährt oder kürzlich gefahren ist, die als gerade gilt (z.B. auf einer Karte als gerade Straße gekennzeichnet ist). Die empfangenen aufgezeichneten Daten 214 sind mit der Fahrt des Fahrzeugs 10 auf der geraden Straße verbunden. Das Datenerfassungsmodul 202 speichert die aufgezeichneten Daten 214 im Datendatenspeicher 212 zur weiteren Verarbeitung.
In verschiedenen Ausführungsformen empfängt das Fahrzeugbewegungsauswertungsmodul 204 die aufgezeichneten Daten 214 und bestimmt aus den aufgezeichneten Daten 214, ob das Fahrzeug 10 gerade auf der geraden Straße fährt oder fuhr. Beispielsweise wertet das Fahrzeugbewegungsauswertungsmodul 204 die Standortdaten 218 des Fahrzeugs aus, wie sie z.B. vom GPS angezeigt werden, um zu bestimmen, ob das Fahrzeug 10 gerade und auf einer ebenen Straße fährt. In verschiedenen Ausführungsformen verwendet das Bewegungsauswertungsmodul 204 Regressionstechniken, um zu bestimmen, ob das Fahrzeug 10 geradeaus fährt.
Wenn festgestellt wird, dass das Fahrzeug 10 geradeaus und auf einer ebenen Straße fährt, gibt das Fahrzeugbewegungsauswertungsmodul 204 ein Fahrzeugbewegungs-Geradeauskennzeichen 226 aus, das anzeigt, dass das Fahrzeug 10 geradeaus fährt. Wenn bestimmt wird, dass das Fahrzeug 10 nicht geradeaus fährt, oder wenn bestimmt wird, dass das Fahrzeug 10 nicht auf einer ebenen Straße fährt, gibt das Fahrzeugbewegungsauswertungsmodul 204 ein Fahrzeugbewegungs-Geradeauskennzeichen 226 aus, das anzeigt, dass das Fahrzeug 10 nicht geradeaus fährt.
In verschiedenen Ausführungsformen empfängt das Fahrbahnmarkierungserkennungsmodul 206 die aufgezeichneten Daten 214 und bestimmt, ob auf der Straße, auf der das Fahrzeug 10 fährt, gerade Fahrbahnmarkierungen erkannt werden. Beispielsweise wertet das Fahrbahnmarkierungserkennungsmodul 206 die Lidar-Daten 214 aus, wie sie beispielsweise von der Lidar-Vorrichtung angezeigt werden, um Fahrbahnmarkierungen zu erkennen und zu bestimmen, ob die erkannten Fahrbahnmarkierungen gerade sind. In verschiedenen Ausführungsformen verwendet das Fahrbahnmarkierungserkennungsmodul 206 Bildverarbeitungstechniken, um die Fahrbahnmarkierungen zu erkennen und auszuwerten.
Wenn gerade Fahrbahnmarkierungen erkannt werden, gibt das Fahrbahnmarkierungserkennungsmodul 206 ein Fahrbahn-Geradeauskennzeichen 228 für gerade Fahrbahnmarkierungen aus, das anzeigt, dass die erkannten Fahrbahnmarkierungen gerade sind. Wenn keine geraden Fahrbahnmarkierungen erkannt werden, gibt das Fahrbahnmarkierungserkennungsmodul 206 das Fahrbahn-Geradeauskennzeichen 228 für gerade Fahrbahnmarkierungen aus, das anzeigt, dass die Fahrbahnmarkierungen nicht gerade sind.
Das Parameterbestimmungsmodul 208 empfängt das Fahrzeugbewegungs-Geradeauskennzeichen 225 und das Fahrbahn-Geradeauskennzeichen 228 sowie die aufgezeichneten Daten 214. Das Parameterbestimmungsmodul wählt die zu kalibrierenden Anpassungsparameter 230 für die Fahrbahn aus. Beispielsweise wählt das Parameterbestimmungsmodul 208 die Anpassungsparameter 230 für die Fahrbahn auf der Grundlage einer Sensitivitätsanalyse aus. Das Parameterbestimmungsmodul 208 bestimmt dann Werte 232 für die ausgewählten Parameter unter Verwendung der aufgezeichneten Daten 214 und z. B. der Hauptkomponentenanalyse.
Das Kalibrierungsmodul 210 empfängt die Parameterwerte 232. Das Kalibrierungsmodul 210 aktualisiert die der Lidarvorrichtung zugeordneten Kalibrierungen, indem es sie z. B. in der Datenspeichervorrichtung 36 zur Verwendung durch andere Systeme des ADS 70 speichert.
Unter Bezugnahme auf die 4-10 und unter fortgesetzter Bezugnahme auf die 1-3 veranschaulichen Flussdiagramme verschiedene Ausführungsformen eines Verfahrens 300, das gemäß der vorliegenden Offenbarung in einer Steuerung 34 im Steuersystem 100 von 1 eingebettet sein kann, die das ADS 70 und das Steuermodul 200 von 3 unterstützt. Wie in Anbetracht der Offenbarung zu erkennen ist, ist die Reihenfolge der Abläufe innerhalb des Verfahrens nicht auf die sequentielle Ausführung, wie sie in den 4-10 dargestellt ist, beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolge(n), wie anwendbar und gemäß der vorliegenden Offenbarung, durchgeführt werden. In verschiedenen Ausführungsformen kann der Prozess 300 so geplant werden, dass er basierend auf einem oder mehreren vorgegebenen Ereignissen abläuft, und/oder er kann während des Betriebs des Fahrzeugs 10 kontinuierlich ablaufen.
In verschiedenen Ausführungsformen veranschaulicht 4 ein Verfahren zur dynamischen Lidar-Anpassung. In einem Beispiel kann das Verfahren bei 305 beginnen. Basierend auf einer Leistungsdiagnose auf Systemebene oder einem Zeitintervall der letzten dynamischen Kalibrierung wird die Notwendigkeit einer dynamischen Kalibrierung bei 310 bestimmt. Wenn ein Bedarf für die Lidar-Anpassung besteht, werden Lidar-Daten, Fahrzeugpositionsdaten und Orientierungsdaten kontinuierlich für ein vorbestimmtes Zeitfenster aufgezeichnet, wenn die Historie oder die Kartendaten auf eine gerade Straße hinweisen (320).
Danach wird bestimmt, ob das Fahrzeug für das vordefinierte Zeitfenster bei 330 geradeaus fährt. Wenn nicht bestimmt wird, dass das Fahrzeug für das vordefinierte Fenster bei 330 geradeaus fährt, fährt das Verfahren 300 mit der Aufzeichnung von Lidar-Daten, Fahrzeugpositionsdaten und Orientierungsdaten für ein vordefiniertes Zeitfenster fort, wenn die Historie oder die Kartendaten bei 320 auf eine gerade Straße hinweisen.
Wenn bestimmt wird, dass das Fahrzeug für das vordefinierte Zeitfenster geradeaus fährt, dann wird bestimmt, ob die gerade Fahrbahnmarkierung bei 340 erkannt wird. Wenn bei 340 bestimmt wird, dass die gerade Fahrbahnmarkierung nicht erkannt wird, fährt das Verfahren 300 bei 320 mit der Aufzeichnung der Lidar-Daten, der Fahrzeugpositionsdaten und der Orientierungsdaten für ein vorbestimmtes Zeitfenster fort, wenn die Historie oder die Kartendaten auf eine gerade Straße hinweisen.
Wenn bestimmt wird, dass die gerade Fahrbahnmarkierung bei 340 erkannt wird, fährt das Verfahren mit der Kalibrierung der Lidar-INS-Ausrichtungsparameter fort, indem die Fahrbahnmarkenverschiebungen an verschiedenen Fahrzeugstandorten bei 350 minimiert werden.
Danach wird bestimmt, ob eine Fahrbahnreferenz (erdfeste Koordinaten) für die gegebenen Fahrzeugpositionen bei 360 existiert. Wenn Fahrbahnreferenzen bei 360 vorhanden sind, wird die Kalibrierung der Lidar-INS-Ausrichtungsparameter durchgeführt, indem die Unterschiede zwischen den Referenzen und den beobachteten Fahrbahnmarkierungen sowie den Fahrbahnmarkierungsverschiebungen für verschiedene Fahrzeugpositionen (370) minimiert werden. Die Integration mit mehreren Ergebnissen wird bei 380 durchgeführt und die Fahrbahnmarkierungsreferenzen werden für die Fahrzeugstandorte bei 390 aktualisiert. Danach wird das Verfahren 300 mit der Bewertung der Notwendigkeit einer Neukalibrierung bei 310 fortgesetzt.
Wenn die Fahrbahnmarkierungsreferenzen bei 360 nicht vorhanden sind, wird die Integration mit mehreren Ergebnissen bei 380 durchgeführt und die Fahrbahnmarkierungsreferenzen werden für die Fahrzeugpositionen bei 390 aktualisiert. Danach fährt das Verfahren 300 mit der Bewertung der Notwendigkeit einer Neukalibrierung bei 310 fort.
Mit Bezug auf 5 wird nun das Verfahren 330 zur Geradeausfahrterkennung gemäß verschiedenen Ausführungsformen gezeigt. In einem Beispiel kann das Verfahren 330 bei 405 beginnen. Danach wird bei 410 bestimmt, ob die Querabweichung klein ist (z. B. unterhalb eines Schwellenwerts), z. B. durch Auswerten des Ausdrucks $\int_{0}^{T} \int_{0}^{t} (α_{y} (τ) - r (τ) * v_{x} (τ)) d τ \cdot d t < T h_{1,}$
wobei a_y: Querbeschleunigung; r: Gierrate; und v_x: Längsgeschwindigkeit.
Wenn die seitliche Verschiebung bei 410 als klein bestimmt wird, wird bei 430 bestimmt, ob der GPS-Pfad des Fahrzeugs gerade ist, indem z. B. eine Regressionsprüfung durch Auswertung des Ausdrucks $\underset{i}{m a x} {a b s (y_{i} - a - b * x_{i})} < T h_{2},$
wobei (x_i, y_i): GPS-Standorte der Fahrzeuge; $a = \bar{y} - b * \bar{x}; b = \frac{\sum_{i} (x_{1} - \bar{x}) * (y_{i} - \bar{y})}{\sum_{i} {(x_{1} - \bar{x})}^{2}};$
und x und y: der Durchschnitt von x_i und y_i. Wenn der GPS-Pfad des Fahrzeugs bei 430 gerade ist, wird z. B. bei 440 ermittelt, ob die Straße eben ist, indem der Ausdruck max{z_i} - min{z_i} < Th₃ ausgewertet wird, wobei z_i: GPS-Höhe des Fahrzeugs.
Wenn bei 440 festgestellt wird, dass die Straße eben ist, wird bei 450 bestimmt, dass das Fahrzeug geradeaus fährt. Danach kann das Verfahren 330 bei 460 enden.
Wenn jedoch bei 410 bestimmt wird, dass die seitliche Abweichung groß ist, wird bei 430 bestimmt, dass der GPS-Pfad nicht gerade ist, oder wenn bei 440 wird bestimmt, dass die Straße nicht eben ist, wird bei 420 bestimmt, dass das Fahrzeug nicht geradeaus fährt. Danach kann das Verfahren 330 bei 460 enden.
6 zeigt das Verfahren 340 zur Fahrbahnmarkierungserkennung gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 340 bei 505 beginnen. Lidar-Punkte werden akkumuliert, während das Fahrzeug während des vordefinierten Zeitfensters bei 510 geradeaus fährt. Die Datenpunkte werden unter Verwendung der vorhandenen Lidar-INS-Ausrichtungsparameter und der INS-Werte des Fahrzeugs (Positionen und Ausrichtungen) bei 520 in den Weltbezugsrahmen übersetzt. Bodenpunkte werden basierend auf Bodenanpassung und Filterung um 530 extrahiert. Fahrbahnmarkierungspunkte werden basierend auf der Erkennung von Intensitätsänderung und Filterung bei 540 extrahiert. Potenzielle Fahrbahnmarkierungspunkte werden durch räumliche Filterung (a>x>b, c>y>d) bei 550 extrahiert, basierend auf den Fahrzeugpositionen und den Referenz-Fahrbahnmarkierungslinieninformationen aus Karten, Crowd-Sourcing und historischen Daten. Störende Punkte werden durch eine Linienmodellanpassung bei 560 entfernt.
Danach wird die gerade Linie durch eine Regressionsprüfung bei 570 ausgewertet. Wenn die gerade Linie bei 570 nicht bestätigt wird, wird bei 580 festgestellt, dass keine Fahrbahnmarkierung vorhanden ist. Danach kann das Verfahren bei 600 enden. Wenn die gerade Linie bei 570 bestätigt wird, werden die Freigabebedingungen bei 590 ausgewertet, z. B. durch Auswertung der Ausdrücke der Anzahl der Punkte > f; und Länge > h. Wenn die Bedingungen bei 590 erfüllt sind, wird die Fahrbahnmarkierung bei 595 ausgegeben. Wenn die Bedingungen bei 590 nicht erfüllt sind, wird bei 580 keine Fahrbahnmarkierung ausgegeben. Danach kann das Verfahren 340 bei 600 enden.
7 zeigt das Verfahren 350 zur Kalibrierung durch Minimierung von Fahrbahnmarkenverschiebungen gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 350 bei 605 beginnen. Die zu kalibrierenden Ausrichtungsanpassungsparameter werden basierend auf einer Empfindlichkeitsanalyse bei 610 ausgewählt. Die aggregierten Lidar-Punktverteilungen werden bei nahen und fernen Längsabständen bei 620 neu ausgeglichen. Die zweite und dritte PCA-Komponente oder die Breite und die Höhe der aggregierten Punkte für linke bzw. rechte Fahrbahnmarkierungen werden bei 630 berechnet. Die Parameter werden kalibriert, indem die gewichtete Summe der obigen PCA-Komponenten zu den Breiten und Höhen für linke und/oder rechte Fahrbahnmarkierungen minimiert wird, bis die Ergebnisse bei 640 konvergieren. Die kalibrierten Parameterwerte werden zusammen mit der Zeit, dem endgültigen Fehler aus der Kostenfunktion und der Anzahl der Punkte bei 650 ausgegeben. Danach kann das Verfahren 350 bei 660 beendet werden.
8 veranschaulicht das Verfahren 370 zur Kalibrierung durch Minimierung der Fahrbahnmarkierungsverschiebungen und der Unterschiede zu den Referenzen gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 370 bei 705 beginnen. Die Fahrbahnmarkierungspunkte werden aus den Gleichungen der Referenzfahrbahnmarkierungslinien bei 710 erzeugt. Die Parameter werden kalibriert, indem die Differenzen zu den erdfesten Koordinaten der Referenzfahrbahnmarkierung unter Verwendung der Lidar/Scan-Registrierungsansätze bei 720 minimiert werden. Die Parameter werden bei 730 kalibriert, indem die Fahrbahnmarkierungsverschiebungen an verschiedenen Fahrzeugstandorten minimiert werden, wie durch das Verfahren 350 durchgeführt.
Danach wird bestimmt, ob die Ergebnisse konvergieren oder das Verfahren eine Iterationsgrenze bei 740 erreicht hat. Wenn die Ergebnisse nicht konvergiert haben und das Zeitlimit bei 740 nicht erreicht wurde, kehrt das Verfahren 370 zur Kalibrierung der Parameter durch Minimierung der Differenzen bei 720 zurück.
Wenn die Ergebnisse konvergiert haben oder das Zeitlimit bei 740 erreicht wurde, werden die kalibrierten Parameterwerte zusammen mit der Zeit, dem Fehler und der Anzahl der Datenpunkte bei 750 ausgegeben. Danach kann das Verfahren 370 bei 760 enden.
9 veranschaulicht das Verfahren 380 zur Integration mit mehreren Ergebnissen gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 380 bei 805 beginnen. Die Ergebnisse, die abgelaufen sind (außerhalb des vordefinierten Zeitfensters), werden um 810 aus dem gespeicherten Ergebnissatz entfernt. Die Ausreißer aus den gespeicherten Mehrfachkalibrierungsergebnissen werden bei 820 entfernt. Die Anzahl der Ergebnisse wird dann bei 830 ausgewertet.
Wenn die Anzahl der Ergebnisse kleiner oder gleich k ist, kann das Verfahren 380 bei 870 enden. Wenn die Anzahl der Ergebnisse bei 830 größer als k ist, werden der Mittelwert und die Varianz jedes Parameters bei 840 aus den Ergebnissen berechnet, basierend auf den Gewichten aus der Zeit, dem Fehler und der Anzahl der Datenpunkte, die mit jedem Ergebnis verbunden sind. Die Varianz wird bei 850 ausgewertet. Wenn die Varianz kleiner ist als der Fehler für den Parameter bei 850, wird der Parameter mit dem Mittelwert bei 860 aktualisiert. Und das Verfahren kann bei 870 enden. Wenn die Varianz größer oder gleich dem Fehler für den Parameter bei 850 ist, kann das Verfahren 380 bei 870 enden.
10 zeigt das Verfahren 390 zum Aktualisieren der Referenzfahrbahnmarkierungen gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 390 bei 905 beginnen. Es wird bestimmt, ob das aktuelle Ergebnis zum gespeicherten Satz bei 910 hinzugefügt wird. Wenn das aktuelle Ergebnis bei 910 nicht zu dem gespeicherten Satz hinzugefügt wird, kann das Verfahren 390 bei 920 enden.
Wenn das aktuelle Ergebnis zum gespeicherten Satz bei 910 hinzugefügt wird, werden die erdfesten Koordinaten für den aktuellen Satz von Lidar-Punkten unter Verwendung der aktualisierten Kalibrierungsparameter bei 930 berechnet. Die Parameter der linken und/oder rechten Fahrbahnmarkierungslinie (a*x+b*y+c*z=d) werden durch Regression aus dem aktuellen Punktesatz bei 940 ermittelt. Die Parameter der Referenzfahrbahnmarkierungslinie werden bei 950 aus den oben berechneten Werten aktualisiert, basierend auf dem Gewicht für den aktuellen Datensatz aus der Anzahl der Datenpunkte und dem endgültigen Fehler der Kalibrierungskostenfunktion. Die Referenzfahrbahnmarkierung wird entweder durch die Linienparameter (a, b, c, d) oder die erdfesten Koordinaten der beiden Endpunkte des linearen Fahrbahnmarkierungssegments bei 960 gespeichert. Danach kann das Verfahren 390 bei 920 enden.
Unter Bezugnahme auf 11 und unter fortgesetzter Bezugnahme auf 1 und 2 zeigt 11 eine weitere Ausführungsform eines Steuermoduls 1200 des Steuersystems 100, das von der Steuerung 34, dem Prozessor 44 und/oder dem Computersichtsystem 74 implementiert oder in diese integriert werden kann. In verschiedenen Ausführungsformen kann das Steuermodul 1200 als ein oder mehrere Untermodule implementiert sein. Wie zu erkennen ist, können die gezeigten und beschriebenen Untermodule in verschiedenen Ausführungsformen kombiniert und/oder weiter unterteilt werden. Dateneingaben in das Steuermodul 1200 können direkt von den Sensorvorrichtungen 40a-40n, von anderen Modulen (nicht dargestellt) der Steuerung 34 und/oder von anderen Steuerungen (nicht dargestellt) empfangen werden. In verschiedenen Ausführungsformen umfasst das Steuermodul 1200 ein Datensammelmodul 1202, ein Fahrzeugkurvenauswertungsmodul 1204, ein Objekterfassungsmodul 1206, ein Parameterbestimmungsmodul 1208, ein Kalibrierungsmodul 1210 und einen Daten-Datenspeicher 1212.
In verschiedenen Ausführungsformen empfängt das Datensammelmodul 1202 als Eingabe aufgezeichnete Daten 1214. In verschiedenen Ausführungsformen umfassen die aufgezeichneten Daten 1214 Lidar-Daten 1216, IMU-Daten 1218 und Entfernungs-/Geschwindigkeitsdaten 1220, die über eine vorgegebene Zeitspanne aufgezeichnet wurden. Das Datenerfassungsmodul 1202 führt eine erneute Abtastung der aufgezeichneten Daten auf der Grundlage der Entfernung und Geschwindigkeit durch und speichert die aufgezeichneten Daten 1214 im Datendatenspeicher 1212 zur weiteren Verarbeitung.
Das Fahrzeugkurvenauswertungsmodul 1204 verarbeitet die aufgezeichneten Daten 1214, um zu bestimmen, ob das Fahrzeug 10 ein Kurvenmanöver durchgeführt hat. Beispielsweise wertet das Fahrzeugkurvenauswertungsmodul 1204 die IMU-Daten 1218 aus, um zu bestimmen, wann das Fahrzeug 10 ein Kurvenmanöver durchführt.
Wenn festgestellt wird, dass das Fahrzeug 10 ein Kurvenfahrmanöver durchgeführt hat, gibt das Fahrzeugkurvenauswertungsmodul 1204 ein Fahrzeugkurvenkennzeichen 1226 aus, das anzeigt, dass das Fahrzeug 10 ein Kurvenfahrmanöver durchgeführt hat. Wenn festgestellt wird, dass das Fahrzeug 10 kein Kurvenmanöver durchgeführt hat, gibt das Fahrzeugkurvenauswertungsmodul 1204 ein Fahrzeugkurvenkennzeichen 1226 aus, das anzeigt, dass das Fahrzeug 10 ein Kurvenmanöver durchgeführt hat.
Das Objekterkennungsmodul 1206 verarbeitet die aufgezeichneten Daten 1214, um festzustellen, ob Objekte in der Umgebung des Fahrzeugs 10 erkannt werden. Beispielsweise durchläuft das Objekterkennungsmodul 1206 jede Abtastung der Lidar-Daten 1216 in einer Schleife, um festzustellen, ob ein Objekt in mehr als einer Abtastung vorhanden ist (z. B. ein konstantes Objekt).
Wenn erkannte Objekte vorhanden sind, verarbeitet das Objekterkennungsmodul 1206 die aufgezeichneten Daten 1214 weiter, um zu bestimmen, ob für mindestens eines der erkannten Objekte für die Kalibrierung nützliche Daten verfügbar sind. Wenn nützliche Daten erkannt werden, gibt das Objekterkennungsmodul 1206 ein Nutzdatenerkennungskennzeichen 1228 aus, das anzeigt, dass nützliche Daten verfügbar sind. Wenn keine nützlichen Daten erkannt werden, gibt das Objekterkennungsmodul 1206 ein Nutzdatenerkennungskennzeichen 1228 aus, das anzeigt, dass keine Nutzdaten verfügbar sind.
Das Parameterbestimmungsmodul 1208 empfängt das Nutzdatenerkennungskennzeichen 1228 und die aufgezeichneten Daten 1214. Das Parameterbestimmungsmodul 1208 ermittelt dann anhand der ermittelten nützlichen Daten für die Objekte und z. B. der Hauptkomponentenanalyse Werte 1232 für Kalibrierungsparameter.
Das Kalibriermodul 1210 empfängt die Parameterwerte 1232. Das Kalibrierungsmodul 1210 aktualisiert die der Lidarvorrichtung zugeordneten Kalibrierungen, indem es sie z. B. in der Datenspeichervorrichtung 36 zur Verwendung durch andere Systeme des ADS 70 speichert.
Unter Bezugnahme auf die 12-21 und unter fortgesetzter Bezugnahme auf die 12 und 11 veranschaulichen Flussdiagramme verschiedene Ausführungsformen eines Verfahrens 1300, das in einer Steuerung 34 im Steuersystem 100 von 1 eingebettet sein kann, die das ADS 70 und das Steuermodul 1200 von 11 gemäß der vorliegenden Offenbarung unterstützt. Wie in Anbetracht der Offenbarung zu erkennen ist, ist die Reihenfolge der Abläufe innerhalb des Verfahrens nicht auf die sequentielle Ausführung, wie sie in den 12-21 dargestellt ist, beschränkt, sondern kann in einer oder mehreren variierenden Reihenfolge(n), wie anwendbar und gemäß der vorliegenden Offenbarung, ausgeführt werden. In verschiedenen Ausführungsformen kann das Verfahren 1300 so geplant werden, dass es auf der Grundlage eines oder mehrerer vorbestimmter Ereignisse ausgeführt wird, und/oder es kann während des Betriebs des Fahrzeugs 10 kontinuierlich ausgeführt werden.
In verschiedenen Ausführungsformen veranschaulicht 12 ein Verfahren 1300 zur dynamischen Lidar-Anpassung. In einem Beispiel kann das Verfahren 1300 bei 1305 beginnen. Lidar-Daten und IMU-Daten werden unter Verwendung eines zyklischen Puffers mit einer kalibrierbaren Größe für eine kalibrierbare Zeitspanne bei 1310 aufgezeichnet. Die aufgezeichneten Daten werden dann bei 1320 nach Abstand/Geschwindigkeit neu abgetastet.
Danach werden die Daten ausgewertet, um festzustellen, ob ein Kurvenmanöver durchgeführt wurde (1330). Wenn um 1330 festgestellt wird, dass kein Kurvenmanöver durchgeführt wurde, wird das Verfahren 1300 mit der Aufzeichnung von Lidar-Daten und IMU-Daten bei 1310 fortgesetzt.
Wenn bei 1330 festgestellt wird, dass ein Kurvenmanöver durchgeführt wurde, wird bei 1340 festgestellt, ob für die Kalibrierung nützliche Objekte verfügbar sind. Wenn bei 1340 festgestellt wird, dass keine Objekte für die Kalibrierung verfügbar sind, wird das Verfahren mit der Aufzeichnung neuer Lidar-Daten und IMU-Daten um 1310 fortgesetzt.
Wenn bei 1340 festgestellt wird, dass für die Kalibrierung nützliche Objekte verfügbar sind, wird bei 1350 festgestellt, ob für die Kalibrierung nützliche Daten, die mindestens einem der Objekte entsprechen, verfügbar sind. Wenn bei 1350 festgestellt wird, dass für die Kalibrierung nützliche Daten nicht verfügbar sind, wird das Verfahren 1300 mit der Aufzeichnung neuer Lidar-Daten und IMU-Daten bei 1310 fortgesetzt.
Wenn festgestellt wird, dass für die Kalibrierung nützliche Daten verfügbar sind (1350), werden Parameter (z. B. x-, y-Koordinaten und Roll-, Nick-, Gierwinkel) unter Verwendung der für die Kalibrierung relevanten Daten bei 1360 berechnet und z wird bei 1370 berechnet.
Danach wird bestimmt, ob alle Parameter (x, y, z und Roll-, Nick- und Gierwinkel) bei 1380 kalibriert sind. Wenn nicht alle oder keiner der Parameter bei 1380 kalibriert sind, werden Teilkalibrierungsinformationen ausgegeben und gegebenenfalls andere Kalibrierungsverfahren bei 1390 aufgerufen.
Wenn alle Parameter kalibriert bei 1380 sind, wird die Kalibrierung durch Speichern der ermittelten Parameter im Datenspeicher bei 1395 abgeschlossen und es können Benachrichtigungen gesendet werden, die die tatsächlich kalibrierten Parameter und die Ergebnisse angeben.
13 veranschaulicht das Verfahren 1330 zur Überprüfung eines dynamischen Manövers, wie z. B. einer Kurvenfahrt, gemäß einer ersten Ausführungsform. In einem Beispiel kann das Verfahren 1330 bei 1405 beginnen. Die IMU-Daten werden bei 1410 aus dem zyklischen Puffer gelesen. Bei 1420 wird bestimmt, ob die Querbeschleunigung größer als A für die Zeit T₁ ist (wobei A und T₁ kalibrierbare Schwellenwerte sind). Wenn die Querbeschleunigung für die Zeit T₁ bei 1420 nicht größer als A ist, wird bei 1450 festgestellt, dass das Fahrzeug 10 nicht mit genügend Daten in die Kurve fährt. Daraufhin kann das Verfahren 1330 bei 1455 beendet werden. Wenn die Querbeschleunigung für die Zeit T₁ größer als A ist, wird bei 1430 bestimmt, ob die Gierrate für die Zeit T₂ größer als R ist und sich mit T₁ überschneidet (wobei R und T₂ kalibrierbare Schwellenwerte sind).
Wenn die Gierrate nicht größer ist als R für die Zeit T₂ und sich mit T₁ bei 1430 überschneidet, wird das Fahrzeug 10 bei 1450 als nicht datenreich genug eingestuft und das Verfahren 1330 kann bei 1455 enden. Wenn die Gierrate für die Zeit T₂ größer als R ist und sich mit T₁ bei 1430 überschneidet, wird bei 1440 festgestellt, dass das Fahrzeug 10 ein Kurvenmanöver mit potenziell ausreichenden Daten durchführt. Danach kann das Verfahren 1330 bei 1455 enden.
14 veranschaulicht das Verfahren 1330 zur Überprüfung eines dynamischen Manövers wie z. B. einer Kurvenfahrt gemäß einer zweiten Ausführungsform. In einem Beispiel kann das Verfahren 1330 bei 1456 beginnen. Die IMU-Daten werden um 1460 aus dem zyklischen Puffer gelesen. Es wird bei 1470 ermittelt, ob die Änderung von (x, y) in der Weltkoordinate größer als L für das Intervall T₃ ist (wobei L und T₃ kalibrierbare Schwellenwerte sind). Wenn bei 1470 festgestellt wird, dass die Änderung von (x, y) in der Weltkoordinate nicht größer als L für das Intervall T₃ ist, wird bei 1480 festgestellt, dass das Fahrzeug 10 nicht mit ausreichend vielen Daten in die Kurve fährt. Danach kann das Verfahren 1330 bei 1505 enden.
Wenn bei 1470 festgestellt wird, dass die Änderung von (x, y) in Weltkoordinaten größer ist als L für das Intervall T₃, wird bei 1490 festgestellt, ob die Gierwinkeländerung größer ist als Y in Weltkoordinaten für die Zeit T₄ und mit T₃ überlappt (wobei Y und T₄ kalibrierbare Schwellenwerte sind). Wenn bei 1490 festgestellt wird, dass die Gierwinkeländerung größer ist als Y in Weltkoordinaten für die Zeit T₄ und mit T₃ überlappt, wird festgestellt, dass das Fahrzeug 10 ein Kurvenmanöver mit potenziell ausreichend vielen Daten bei 1500 durchführt. Danach kann das Verfahren 1330 bei 1505 enden. Wenn bei 1490 festgestellt wird, dass die Gierwinkeländerung nicht größer als Y in Weltkoordinaten für die Zeit T₄ ist und mit T₃ überlappt, wird bei 1480 festgestellt, dass das Fahrzeug 10 nicht in einer Kurve ist und genügend Daten hat. Danach kann das Verfahren 1330 bei 1505 enden.
15 veranschaulicht das Verfahren 1340 zur Erkennung von Objekten gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 1340 bei 1510 beginnen. Alle Lidar-Daten werden gelesen und in Weltkoordinaten um 1520 aggregiert. Die Segmentierung der Lidar-Daten wird in 1530 durchgeführt. Punkte mit niedriger Intensität (z.B. < T₁) werden um 1540 aus den Daten gefiltert. Daten mit niedriger (<T₂) und hoher (>T₃) Reichweite (Entfernung) werden um 1550 herausgefiltert. Datenposition (Mean Shift Clustering) und räumliche Dimension (Bereiche in (x, y, z)) werden zum Herausfiltern bei 1560 verwendet. Potenzielle Objekte mit Datenpunkten kleiner als N₁ werden bei 1570 herausgefiltert. Objekte werden für jede Abtastung bei 1580 erkannt.
Danach wird ermittelt, ob in mindestens N₂ (aufeinanderfolgenden) Abtastungen bei 1590 ein berücksichtigtes Objekt vorhanden ist. Wenn es in mindestens N₂ (aufeinanderfolgenden) Abtastungen bei 1590 kein berücksichtigtes Objekt gibt, wird bei 1600 festgestellt, dass keine Objekte erkannt wurden. Danach kann das Verfahren 1340 bei 1605 enden.
Wenn in mindestens N₂ (aufeinanderfolgenden) Abtastungen bei 1590 ein berücksichtigtes Objekt vorhanden ist, wird bei 1610 festgestellt, dass Objekte erkannt wurden. Danach kann das Verfahren 1340 bei 1605 enden.
In verschiedenen Ausführungsformen sind T₁, T₂, T₃, N₁, N₂, Bereich (x, y, z) kalibrierbar und spezifisch für jedes berücksichtigte Objekt. Objekte, deren wahre Position bekannt ist, können auch über HD-Karten, Fahrzeug-zu-Fahrzeug-Kommunikation, Fahrzeug-zu-Infrastruktur-Kommunikation usw. ermittelt werden.
16 veranschaulicht das Verfahren 1350 zur Überprüfung mit Daten, die für die Kalibrierung nützlich sind, gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 1350 bei 1620 beginnen. Alle Abtastungen mit bestimmten Objekten und zugehörigen IMU-Daten werden bei 1630 gelesen. Es wird festgestellt, ob Abtastungen vorhanden sind für: (1) Fahrzeug mit unterschiedlichen Gierwinkeln in Bezug auf das Objekt, und (2) Fahrzeug mit großer Abstandsvariation zum Objekt. Die Objekte werden gekennzeichnet als: (0,0), wenn weder (1) noch (2) vorhanden sind: keine Kalibrierungsmöglichkeit, (1,0), wenn (1) vorhanden ist, aber nicht (2): kann zur Kalibrierung von Roll-, Nickwinkeln und (x, y) verwendet werden, (0,1), wenn (2) vorhanden ist, aber nicht (1): kann zur Kalibrierung von Gierwinkeln verwendet werden, und (1,1), wenn sowohl (1) als auch (2) vorhanden sind: kann zur Kalibrierung von Roll-, Nick-, Gierwinkeln und (x, y) verwendet werden.
Danach wird bei 1660 eine Tabelle erstellt, so dass die Objekte in jeder Zeile der Bezeichnung (i, j) entsprechen. Bei 1670 wird festgestellt, ob sich nicht alle Objekte in der Zeile befinden, die (0, 0) entspricht. Wenn sich bei 1670 alle Objekte in der Zeile (0, 0) befinden, wird bei 1680 festgestellt, dass keine Daten verfügbar sind. Danach kann das Verfahren 1350 bei 1695 enden.
Wenn sich bei 1670 nicht alle Objekte in der Zeile befinden, die (0, 0) entspricht, wird bei 1690 festgestellt, dass Daten verfügbar sind. Danach kann das Verfahren 1350 bei 1695 enden.
17 zeigt das Verfahren 1360 zur Integration von Kalibrierungsdaten von erkannten Objekten gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 1360 bei 1705 beginnen. Die Kalibrierung wird unter Verwendung von Objekten und Daten in Zeile (1, 0) bei 1710 durchgeführt. In verschiedenen Ausführungsformen werden die Ergebnisse im Integrationsschritt 1740 übersprungen, wenn keine der Kalibrierungen mit den Objekten richtig konvergiert. Die Kalibrierung wird unter Verwendung der Objekte und Daten in Zeile (0, 1) bei 1720 durchgeführt. In verschiedenen Ausführungsformen werden die Ergebnisse im Integrationsschritt 1740 übersprungen, wenn keine der Kalibrierungen mit den Objekten ordnungsgemäß konvergiert hat.
Die Kalibrierung wird unter Verwendung der Objekte und Daten in Zeile (1, 1) bei 1730 durchgeführt. In verschiedenen Ausführungsformen werden die Ergebnisse im Integrationsschritt 1740 übersprungen, wenn keine der Kalibrierungen mit den Objekten ordnungsgemäß konvergiert.
Wenn in mindestens einem der obigen Schritte Ergebnisse erzielt wurden, die ordnungsgemäß konvergieren, werden die Ergebnisse danach aus den obigen Schritten bei 1740 integriert (z. B. Mittelwert der kalibrierten Parameter bilden). Danach kann das Verfahren 1360 bei 1750 enden.
18 zeigt das Verfahren 1710 zur Kalibrierung unter Verwendung der Daten in Zeile (1, 0) gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 1710 bei 1805 beginnen. Für jedes Objekt in Zeile (1, 0) bei 1810 werden die Roll- und Nickwinkel und (x, y) unter Verwendung der Daten (1) kalibriert (z. B. durch Minimierung der PCA-Komponenten) bei 1820; und die Algorithmen werden ausgewertet, um festzustellen, ob sie bei 1830 richtig konvergiert haben. Wenn die Algorithmen bei 1830 nicht richtig konvergieren, werden bei 1840 andere Objekte und Daten in derselben Zeile (Kategorie) verwendet. Wenn die Algorithmen bei 1830 richtig konvergieren, wird die Sensoranpassung für X-, Y-, Roll- und Nickwinkel bei 1850 abgeschlossen.
Danach wird bestimmt, ob mindestens ein Algorithmus bei 1860 richtig konvergiert hat. Wenn keiner der Algorithmen bei 1860 richtig konvergiert hat, wird bei 1870 festgestellt, dass die Kalibrierung mit (1, 0) fehlgeschlagen ist. Danach kann das Verfahren bei 1890 beendet werden. Wenn mindestens ein Algorithmus bei 1860 ordnungsgemäß konvergiert hat, werden die Kalibrierungsergebnisse bei 1880 integriert (z. B. Kalibrierungsmittelwert bilden). Danach kann das Verfahren 1710 bei 1890 enden.
Alternativ können in verschiedenen Ausführungsformen zur Integration Algorithmen zur Kalibrierung von Parametern so ausgeführt werden, dass in jedem Optimierungsschritt jedes Objekt der Reihe nach betrachtet wird und die Ergebnisse des vorherigen Objekts als Ausgangspunkt für das aktuelle Objekt verwendet werden.
19 veranschaulicht das Verfahren 1720 zur Kalibrierung unter Verwendung der Daten in Zeile (0, 1) gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren bei 2005 beginnen. Für jedes Objekt in Reihe (0, 1) wird 2010 der Gierwinkel unter Verwendung der Daten (2) (z. B. durch Minimierung der PCA-Komponenten) ermittelt; und die Algorithmen werden ausgewertet, um festzustellen, ob sie bei 2030 richtig konvergiert haben. Wenn die Algorithmen im bei 2030 nicht richtig konvergieren, werden bei 2040 andere Objekte und Daten in der gleichen Zeile (Kategorie) verwendet. Wenn die Algorithmen bei 2030 richtig konvergieren, wird die Sensoranpassung bei 2050 mit dem Gierwinkel abgeschlossen.
Danach wird ermittelt, ob mindestens ein Algorithmus in 2060 korrekt konvergiert hat. Wenn keiner der Algorithmen bei 2060 richtig konvergiert hat, wird bei 2070 festgestellt, dass die Kalibrierung mit (0, 1) fehlgeschlagen ist. Danach kann das Verfahren bei 2090 beendet werden. Wenn mindestens ein Algorithmus bei 2060 ordnungsgemäß konvergiert hat, werden die Kalibrierungsergebnisse bei 2080 integriert (z. B. Kalibrierungsmittelwert bilden). Danach kann das Verfahren 1720 bei 2090 enden.
Alternativ können in verschiedenen Ausführungsformen zur Integration Algorithmen zur Kalibrierung von Parametern so ausgeführt werden, dass in jedem Optimierungsschritt jedes Objekt der Reihe nach betrachtet wird und die Ergebnisse des vorherigen Objekts als Ausgangspunkt für das aktuelle Objekt verwendet werden.
20 veranschaulicht das Verfahren 1730 zur Kalibrierung unter Verwendung der Daten in Zeile (1, 1) gemäß verschiedenen Ausführungsformen. In einem Beispiel kann das Verfahren 1730 bei 2105 beginnen. Für jedes Objekt in Reihe (1, 1) bei 2110 werden die Roll- und Nickwinkel und (x, y) unter Verwendung der Daten (1) und (2) (z. B. durch Minimierung der PCA-Komponenten) bei 2120 kalibriert; und die Algorithmen werden ausgewertet, um festzustellen, ob sie bei 2130 richtig konvergiert haben. Wenn die Algorithmen bei 2130 nicht richtig konvergieren, werden bei 2140 andere Objekte und Daten in der gleichen Zeile (Kategorie) verwendet. Wenn die Algorithmen bei 2130 ordnungsgemäß konvergieren, wird die Sensoranpassung für X-, Y-, Roll- und Neigungswinkel bei 2150 abgeschlossen.
Danach wird festgestellt, ob mindestens ein Algorithmus bei 2160 richtig konvergiert hat. Wenn keiner der Algorithmen bei 2160 richtig konvergiert hat, wird bei 2170 festgestellt, dass die mit (1, 1) durchgeführte Kalibrierung fehlgeschlagen ist. Danach kann das Verfahren bei 2190 beendet werden. Wenn mindestens ein Algorithmus bei 2160 ordnungsgemäß konvergiert hat, werden die Kalibrierungsergebnisse bei 2180 integriert (z. B. Kalibrierungsmittelwert bilden). Danach kann das Verfahren 1730 bei 2190 enden.
In verschiedenen Ausführungsformen können die Dimensionen für die PCA-Minimierung je nach Objekttyp unterschiedlich sein, z. B. wenn das Fahrzeug geradeaus fährt und einem Schild gegenübersteht, wird die Dickendimension ignoriert, da sie sich aufgrund des Kalibrierungsfehlers nicht ändert. In verschiedenen Ausführungsformen können alternativ zur Integration Algorithmen zur Kalibrierung von Parametern so ausgeführt werden, dass in jedem Optimierungsschritt jedes Objekt der Reihe nach betrachtet wird und die Ergebnisse des vorherigen Objekts als Ausgangspunkt für das aktuelle Objekt verwendet werden.
21 zeigt das Verfahren der Z-Anpassung 1370 gemäß verschiedener Ausführungsformen. In einem Beispiel kann das Verfahren 1370 bei 2205 beginnen.
Es wird ermittelt, ob bei 2210 Informationen über Objekte mit wahrer Position verfügbar sind. Wenn bei 2210 keine Informationen über Objekte verfügbar sind, werden alle Lidar-Daten gelesen und bei 2220 in (1) IMU, (2) Lidar oder (3) Weltbezugsrahmen transformiert. Nahfeld-Lidar-Punkte mit niedrigem z (d. h. Datenpunkte mit niedrigen vertikalen Positionswerten) werden bei 2230 gesammelt. Danach wird bestimmt, ob Daten mit Bodenabgleichung bei 2240 verfügbar sind.
Wenn festgestellt wird, dass Daten mit Bodenabgleichung bei 2240 verfügbar sind, wird der Mittelwert von z bei 2260 berechnet. Danach wird die kalibrierte z-Koordinate in einem entsprechenden Koordinatenrahmen berechnet (2270) unter Verwendung von: $_{tz_baseline} - t_{z_ins} - mean (z);$
$- mean (z) - t_{z_ins}; und$
$t_{z_baseline} - mean (z) .$
wobei tz_baseline die anfängliche Schätzung der Lidar-z-Koordinate ist, tz_ins die IMU-Sensor-z-Koordinate ist und mean(z) der Mittelwert von z ist.
Danach wird die Sensoranpassung für z bei 2280 abgeschlossen und das Verfahren 1370 kann bei 2290 enden.
Wenn festgestellt wird, dass Daten mit Bodenangleichung bei 2240 verfügbar sind, kann z bei 2250 nicht kalibriert werden. Danach kann das Verfahren bei 2290 enden.
Wenn bei 2210 Informationen über Objekte mit wahrer Position verfügbar sind, werden die Informationen über die wahre Zielposition zur Kalibrierung für z verwendet, indem bei 2300 die Differenz zwischen den wahren und den mit dem Lidar gemessenen vertikalen Koordinatenwerten Δ_z minimiert wird. Der Algorithmus wird dann bei 2310 auf Konvergenz geprüft. Wenn der Algorithmus bei 2310 konvergiert, ist die Sensoranpassung für z bei 2280 abgeschlossen und das Verfahren kann bei 2290 beendet werden. Wenn der Algorithmus bei 2310 nicht konvergiert, fährt das Verfahren 1370 mit dem Lesen aller Lidar-Daten 2220 fort.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine große Anzahl von Variationen gibt. Es sollte auch anerkannt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen lediglich Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise einzuschränken. Vielmehr wird die vorstehende detaillierte Beschreibung den Fachleuten eine bequeme Anleitung für die Umsetzung der beispielhaften Ausführungsform oder beispielhafter Ausführungsformen bieten. Es sollte verstanden werden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne vom Umfang der Offenbarung, wie in den beigefügten Ansprüchen und den rechtlichen Äquivalenten davon dargelegt, abzuweichen.

Claims

Verfahren zum Steuern eines Fahrzeugs mit einer Lidar-Vorrichtung, wobei das Verfahren umfasst: Aufzeichnen von Lidar-Daten von der Lidar-Vorrichtung durch eine Steuerung an Bord des Fahrzeugs, während das Fahrzeug auf einer geraden Straße fährt; Bestimmen, durch die Steuerung, dass das Fahrzeug auf der geraden Straße geradeaus fährt; Erkennen, durch die Steuerung, von geraden Fahrbahnmarkierungen auf der geraden Straße; Berechnen von Lidar-Ausrichtungsparametern durch die Steuerung basierend auf den geraden Fahrbahnmarkierungen; Kalibrieren der Lidar-Vorrichtung durch die Steuerung basierend auf den Lidar-Ausrichtungsparametern; und Steuern des Fahrzeugs durch die Steuerung basierend auf Daten von der kalibrierten Lidar-Vorrichtung.
Verfahren nach Anspruch 1, wobei das Bestimmen, dass das Fahrzeug auf der geraden Linie fährt, auf einer seitlichen Abweichung des Fahrzeugs basiert.
Verfahren nach Anspruch 1, wobei das Bestimmen, dass das Fahrzeug auf einer geraden Linie fährt, auf globalen Positionierungsdaten basiert.
Verfahren nach Anspruch 1, wobei das Erkennen von geraden Fahrbahnmarkierungen auf einem Extrahieren von Bodenpunkten und Fahrbahnmarkierungspunkten aus den Lidar-Daten basiert.
Verfahren nach Anspruch 1, wobei das Berechnen der Lidar-Ausrichtungsparameter auf einer Hauptkomponentenanalyse basiert.
Verfahren nach Anspruch 5, wobei das Berechnen der Lidar-Laufrichtungsparameter umfasst: Neuausgleichen von Lidar-Punktverteilungen durch die Steuerung; Berechnen eines zweiten und dritten Hauptkomponentenparameters für die linke und rechte Markierung durch die Steuerung; und Kalibrieren der Ausrichtungsparameter durch die Steuerung.
Verfahren nach Anspruch 1, ferner umfassend: Bestimmen, durch die Steuerung, dass Referenzfahrbahnmarkierungen mit Erdkoordinaten existieren; und Aktualisieren der Lidar-Ausrichtungsparameter durch die Steuerung basierend auf den Referenzfahrbahnmarkierungen.
Verfahren nach Anspruch 7, ferner umfassend: Berechnen der Lidar-Ausrichtungsparameter durch die Steuerung basierend auf verschiedenen Fahrzeugstandorten.
Verfahren nach Anspruch 1, wobei das Berechnen der Lidar-Ausrichtungsparameter ein Durchführen einer Integration mit mehreren Lidar-Ausrichtungsparametern umfasst.
Verfahren zum Steuern eines Fahrzeugs mit einer Lidar-Vorrichtung und einer Trägheitsmesseinheit (IMU), wobei das Verfahren umfasst: Bestimmen, durch eine Steuerung, dass das Fahrzeug ein Kurvenmanöver durchführt, basierend auf aufgezeichneten Lidar-Daten und IMU-Daten; Erkennen von Objekten in den Lidar-Daten durch die Steuerung; Bestimmen von nützlichen Daten, die den erkannten Objekten zugeordnet sind, aus den Lidar-Daten durch die Steuerung; Berechnen von Parametern durch die Steuerung basierend auf den nützlichen Daten; Kalibrieren der Lidar-Vorrichtung durch die Steuerung basierend auf den Parametern; und Steuern des Fahrzeugs durch die Steuerung basierend auf Daten von der kalibrierten Lidar-Vorrichtung.