DE102022108712A1

DE102022108712A1 - Gemeinsame Schätzung und Korrektur eines Ausrichtungsfehlers einer LIDAR-Mittelachse und eines Lokalisierungsfehlers eines Trägerfahrzeugs

Info

Publication number: DE102022108712A1
Application number: DE102022108712.3A
Authority: DE
Inventors: Xinyu Du; Yao Hu; Wende Zhang; Hao Yu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-06-04
Filing date: 2022-04-11
Publication date: 2022-12-08
Also published as: CN115436917A; US20220390607A1

Abstract

Ein LIDAR-auf-Fahrzeug-Ausrichtungssystem enthält einen Speicher und ein Modul zum autonomen Fahren. Der Speicher speichert Datenpunkte, die basierend auf einer Ausgabe eines LIDAR-Sensors und den GPS-Orten bereitgestellt werden. Das Modul zum autonomen Fahren führt einen Ausrichtungsprozess aus, der das Ausführen einer Merkmalsextraktion an den Datenpunkten enthält, um ein oder mehrere Merkmale eines oder mehrerer vorgegebener Typen von Objekten mit einer oder mehreren vorgegebenen Eigenschaften zu detektieren. Die Merkmale werden so bestimmt, dass sie einem oder mehreren Zielen entsprechen, weil die Merkmale die vorgegebenen Eigenschaften aufweisen. Einer oder mehrere der GPS-Orte sind jene der Ziele. Der Ausrichtungsprozess enthält ferner: Bestimmen von Ground-Truth-Positionen der Merkmale; Korrigieren der GPS-Orte basierend auf den Ground-Truth-Positionen; Berechnen einer LIDAR-zu-Fahrzeug-Transformation basierend auf den korrigierten GPS-Orten; und basierend auf den Ergebnissen des Ausrichtungsprozesses, Bestimmen, ob eine oder mehrere Ausrichtungsbedingungen erfüllt sind.

Description

EINLEITUNG
Die in diesem Abschnitt bereitgestellten Informationen dienen der allgemeinen Darstellung des Kontexts der Offenbarung. Sowohl die Arbeit der gegenwärtig genannten Erfinder, in dem Ausmaß, in dem sie in diesem Abschnitt beschrieben ist, als auch die Aspekte der Beschreibung, die sich zum Zeitpunkt des Einreichens nicht anderweitig als Stand der Technik qualifizieren können, werden weder ausdrücklich noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die vorliegende Offenbarung bezieht sich auf Fahrzeugobjekt-Detektionssysteme und insbesondere auf Lichtdetektions- und Ortungssysteme (LIDAR-Systeme) für Fahrzeuge.
Fahrzeuge können verschiedene Sensoren zum Detektieren einer umliegenden Umgebung und von Objekten in dieser Umgebung enthalten. Die Sensoren können Kameras, Funkdetektions- und Ortungssensoren (RADAR-Sensoren), LIDAR-Sensoren usw. enthalten. Ein Fahrzeug-Controller kann in Reaktion auf die detektierte Umgebung verschiedene Operationen ausführen. Die Operationen können teil- und/oder vollautonome Fahrzeugoperationen, Kollisionsvermeidungsoperationen und Informationsmeldungsoperationen enthalten. Die Genauigkeit der ausgeführten Operationen kann auf der Genauigkeit der von den Sensoren gesammelten Daten basieren.
ZUSAMMENFASSUNG
Es wird ein LIDAR-auf-Fahrzeug-Ausrichtungssystem geschaffen, das einen Speicher und ein Modul zum autonomen Fahren enthält. Der Speicher ist konfiguriert, Datenpunkte zu speichern, die basierend auf einer Ausgabe eines LIDAR-Sensors und den Orten eines globalen Positionierungssystems bereitgestellt werden. Das Modul zum autonomen Fahren ist konfiguriert, einen Ausrichtungsprozess auszuführen, der enthält: Erhalten der Datenpunkte; Ausführen einer Merkmalsextraktion an den Datenpunkten, um ein oder mehrere Merkmale eines oder mehrerer vorgegebener Typen von Objekten mit einer oder mehreren vorgegebenen Eigenschaften zu detektieren, wobei bestimmt wird, dass das eine oder die mehreren Merkmale einem oder mehreren Zielen entsprechen, weil das eine oder die mehreren Merkmale die eine oder die mehreren vorgegebenen Eigenschaften aufweisen, und wobei ein oder mehrere der Orte des globalen Positionierungssystems jene des einen oder der mehreren Ziele sind; Bestimmen der Ground-Truth-Positionen des einen oder der mehreren Merkmale; Korrigieren des einen oder der mehreren Orte des globalen Positionierungssystems basierend auf den Ground-Truth-Positionen; Berechnen einer LIDAR-zu-Fahrzeug-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems; Bestimmen basierend auf den Ergebnissen des Ausrichtungsprozesses, ob eine oder mehrere Ausrichtungsbedingungen erfüllt sind; und in Reaktion darauf, dass die LIDAR-zu-Fahrzeug-Transformation die eine oder die mehreren Ausrichtungsbedingungen nicht erfüllt, erneutes Kalibrieren wenigstens einer der LIDAR-zu-Fahrzeug-Transformationen oder erneutes Kalibrieren des LIDAR-Sensors.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Ausführens der Merkmalsextraktion wenigstens eines von (i) einem ersten Objekt eines ersten vorgegebenen Typs, (ii) einem zweiten Objekt eines zweiten vorgegebenen Typs oder (ii) einem dritten Objekt eines dritten vorgegebenen Typs zu detektieren. Der erste vorgegebene Typ ist ein Verkehrszeichen. Der zweite vorgegebene Typ ist ein Lichtmast. Der dritte vorgegebene Typ ist ein Gebäude.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Ausführens der Merkmalsextraktion eine Kante oder eine ebene Oberfläche des dritten Objekts zu detektieren.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Ausführens des Ausrichtungsprozesses in einer Offline-Betriebsart zu arbeiten.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Ausführens des Ausrichtungsprozesses in einer Online-Betriebsart zu arbeiten.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Ausführens der Merkmalsextraktion: Daten von dem LIDAR-Sensor in ein Fahrzeugkoordinatensystem und dann in ein Weltkoordinatensystem umzusetzen; und die resultierenden Daten des Weltkoordinatensystems zu aggregieren, um die Datenpunkte bereitzustellen.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, während des Bestimmens der Ground-Truth-Positionen: basierend auf einer Fahrzeuggeschwindigkeit, einem Typ eines Beschleunigungsmanövers und einer Signalstärke eines globalen Positionierungssystems den Datenpunkten Gewichte zuzuweisen, um die Vertrauensniveaus der Datenpunkte anzugeben; diejenigen der Datenpunkte zu entfernen, die Gewichtswerte aufweisen, die kleiner als ein vorgegebenes Gewicht sind; und ein Modell eines Merkmals zu bestimmen, das den verbleibenden der Datenpunkte entspricht, um die Ground-Truth-Daten zu erzeugen.
Gemäß anderen Merkmalen besteht das Modell aus einer Ebene oder einer Linie.
Gemäß anderen Merkmalen enthalten die Ground-Truth-Daten das Modell, einen Eigenvektor und einen Durchschnittsvektor.
Gemäß anderen Merkmalen werden die Ground-Truth-Daten unter Verwendung der Hauptkomponentenanalyse bestimmt.
Gemäß anderen Merkmalen ist das LIDAR-auf-Fahrzeug-Ausrichtungssystem in einem Fahrzeug implementiert. Der Speicher speichert Trägheitsmessdaten. Das Modul zum autonomen Fahren ist konfiguriert, während des Ausrichtungsprozesses: basierend auf den Trägheitsmessdaten eine Orientierung des Fahrzeugs zu bestimmen; und die Orientierung basierend auf den Ground-Truth-Daten zu korrigieren.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert, eine Interpolation auszuführen, um den einen oder die mehreren Orte des globalen Positionierungssystems basierend auf zuvor bestimmten korrigierten Orten des globalen Positionierungssystems zu korrigieren.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert: den einen oder die mehreren Orte des globalen Positionierungssystems unter Verwendung eines Ground-Truth-Modells für ein Verkehrszeichen oder einen Lichtmast zu korrigieren; die LIDAR-Punkte für das Verkehrszeichen oder den Lichtmast auf eine Ebene oder eine Linie zu projizieren; einen durchschnittlichen Versatz des globalen Positionierungssystems für mehrere Zeitstempel zu berechnen; den durchschnittlichen Versatz des globalen Positionierungssystems anzuwenden, um den einen oder die mehreren korrigierten Orte des globalen Positionierungssystems bereitzustellen; und eine Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems zu aktualisieren.
Gemäß anderen Merkmalen ist das Modul zum autonomen Fahren konfiguriert: den einen oder die mehreren Orte des globalen Positionierungssystems und die Trägheitsmessdaten unter Verwendung eines Ground-Truth-Punktabgleichs, der das Ausführen eines iterativen Dichteste-Punkte-Algorithmus enthält, um eine Transformation zwischen den aktuellen Daten und den Ground-Truth-Daten zu finden, zu korrigieren, einen durchschnittlichen Versatz des globalen Positionierungssystems und einen Versatz der Fahrzeugorientierung für mehrere Zeitstempel zu berechnen und den durchschnittlichen Versatz des globalen Positionierungssystems und den Versatz der Fahrzeugorientierung anzuwenden, um den einen oder die mehreren korrigierten Orte des globalen Positionierungssystems und eine korrigierte Fahrzeugorientierung zu erzeugen; und eine Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems und den korrigierten Trägheitsmessdaten zu aktualisieren.
Gemäß anderen Merkmalen wird ein LIDAR-auf-Fahrzeug-Ausrichtungsprozess geschaffen, der enthält: Erhalten von Datenpunkten, die basierend auf einer Ausgabe eines LIDAR-Sensors bereitgestellt werden; Ausführen einer Merkmalsextraktion an den Datenpunkten, um ein oder mehrere Merkmale eines oder mehrerer vorgegebener Typen von Objekten mit einer oder mehreren vorgegebenen Eigenschaften zu detektieren, wobei bestimmt wird, dass das eine oder die mehreren Merkmale einem oder mehreren Zielen entsprechen, weil das eine oder die mehreren Merkmale die eine oder die mehreren vorgegebenen Eigenschaften aufweisen; Bestimmen der Ground-Truth-Positionen des einen oder der mehreren Merkmale; Korrigieren eines oder mehrerer Orte des globalen Positionierungssystems des einen oder der mehreren Ziele basierend auf den Ground-Truth-Positionen; Berechnen einer LIDAR-zu-Fahrzeug-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems; basierend auf den Ergebnissen des Ausrichtungsprozesses Bestimmen, ob eine oder mehrere Ausrichtungsbedingungen erfüllt sind; und in Reaktion auf die LIDAR-zu-Fahrzeug-Transformation, die die eine oder die mehreren Ausrichtungsbedingungen nicht erfüllt, erneutes Kalibrieren wenigstens einer der LIDAR-zu-Fahrzeug-Transformation oder erneutes Kalibrieren des LIDAR-Sensors.
Gemäß anderen Merkmalen enthält der LIDAR-auf-Fahrzeug-Ausrichtungsprozess ferner während des Bestimmens der Ground-Truth-Positionen: basierend auf einer Fahrzeuggeschwindigkeit, einem Typ eines Beschleunigungsmanövers und einer Signalstärke eines globalen Positionierungssystems Zuweisen von Gewichten zu den Datenpunkten, um die Vertrauensniveaus der Datenpunkte anzugeben; Entfernen jener der Datenpunkte, die Gewichtswerte aufweisen, die kleiner als ein vorgegebenes Gewicht sind; und Bestimmen eines Modells eines Merkmals, das den verbleibenden der Datenpunkte entspricht, unter Verwendung einer Hauptkomponentenanalyse, um die Ground-Truth-Daten zu erzeugen, wobei das Modell aus einer Ebene oder einer Linie besteht, wobei die Ground-Truth-Daten das Modell, einen Eigenvektor und einen Durchschnittsvektor enthalten.
Gemäß anderen Merkmalen enthält der LIDAR-auf-Fahrzeug-Ausrichtungsprozess ferner: Bestimmen einer Orientierung eines Fahrzeugs basierend auf Trägheitsmessdaten; und Korrigieren der Orientierung basierend auf den Ground-Truth-Daten.
Gemäß anderen Merkmalen werden der eine oder die mehreren Orte des globalen Positionierungssystems durch Implementieren einer Interpolation basierend auf zuvor bestimmten korrigierten Orten des globalen Positionierungssystems korrigiert.
Gemäß anderen Merkmalen enthält der LIDAR-auf-Fahrzeug-Ausrichtungsprozess ferner: Korrigieren des einen oder der mehreren Orte des globalen Positionierungssystems unter Verwendung eines Ground-Truth-Modells für ein Verkehrszeichen oder einen Lichtmast; Projizieren von LIDAR-Punkten für das Verkehrszeichen oder den Lichtmast auf eine Ebene oder eine Linie; Berechnen eines durchschnittlichen Versatzes des globalen Positionierungssystems für mehrere Zeitstempel; Anwenden des durchschnittlichen Versatzes des globalen Positionierungssystems, um den einen oder die mehreren korrigierten Orte des globalen Positionierungssystems bereitzustellen; und Aktualisieren einer Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems.
Gemäß anderen Merkmalen enthält der LIDAR-auf-Fahrzeug-Ausrichtungsprozess ferner: Korrigieren des einen oder der mehreren Orte des globalen Positionierungssystems und der Trägheitsmessdaten unter Verwendung eines Ground-Truth-Punktabgleichs, der das Ausführen eines iterativen Dichteste-Punkte-Algorithmus enthält, um eine Transformation zwischen den aktuellen Daten und den Ground-Truth-Daten zu finden, Berechnen eines durchschnittlichen Versatzes des globalen Positionierungssystems und eines Versatzes der Fahrzeugorientierung für mehrere Zeitstempel und Anwenden des durchschnittlichen Versatzes des globalen Positionierungssystems und des Versatzes der Fahrzeugorientierung, um den einen oder die mehreren korrigierten Orte des globalen Positionierungssystems und eine korrigierte Fahrzeugorientierung zu erzeugen; und Aktualisieren einer Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems und den korrigierten Trägheitsmessdaten.
Weitere Anwendungsbereiche der vorliegenden Offenbarung werden aus der ausführlichen Beschreibung, den Ansprüchen und den Zeichnungen offensichtlich. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur für Veranschaulichungszwecke vorgesehen und sind nicht vorgesehen, den Schutzumfang der Offenbarung einschränken.
Figurenliste
Die vorliegende Offenbarung wird aus der ausführlichen Beschreibung und den beigefügten Zeichnungen vollständiger verstanden; es zeigen:

1 einen funktionalen Blockschaltplan eines beispielhaften Fahrzeugsystems, das ein Sensorausrichtungs- und -fusionsmodul und ein Kartierungs- und Lokalisierungsmodul gemäß der vorliegenden Offenbarung enthält;
2 einen funktionalen Blockschaltplan eines beispielhaften Ausrichtungssystems, das ein Modul zum autonomen Fahren enthält, das eine Korrektur des globalen Positionierungssystems (GPS), des LIDAR und der Fahrzeuglokalisierung ausführt, gemäß der vorliegenden Offenbarung;
3 ein beispielhaftes Ausrichtungsverfahren, das eine Korrektur des GPS, des LIDAR und der Fahrzeuglokalisierung enthält, gemäß der vorliegenden Offenbarung;
4 einen beispielhaften Abschnitt des Ausrichtungsverfahrens nach 3, der während des Betriebs in einer Offline-Betriebsart implementiert ist, gemäß der vorliegenden Offenbarung;
5 einen beispielhaften Abschnitt des Ausrichtungsverfahrens nach 3, der während des Betriebs in einer Online-Betriebsart mit oder ohne cloud-basierter Netzunterstützung implementiert ist, gemäß der vorliegenden Offenbarung;
6 ein beispielhaftes Merkmalsdaten-Extraktionsverfahren gemäß der vorliegenden Offenbarung;
7 ein beispielhaftes Ground-Truth-Daten-Erzeugungsverfahren gemäß der vorliegenden Offenbarung;
8 ein beispielhaftes GPS- und Trägheitsmessungskorrektur- und LIDAR-auf-Fahrzeug-Ausrichtungsverfahren gemäß der vorliegenden Offenbarung;
9 ein beispielhaftes GPS-Korrekturverfahren unter Verwendung eines Ground-Truth-Modells gemäß der vorliegenden Offenbarung; und
10 ein beispielhaftes GPS- und Trägheitsmessungskorrekturverfahren unter Verwendung eines Ground-Truth-Punktabgleichs gemäß der vorliegenden Offenbarung.

In den Zeichnungen können Bezugszeichen mehrfach verwendet werden, um ähnliche und/oder gleiche Elemente zu identifizieren.
AUSFÜHRLICHE BESCHREIBUNG
Ein Modul zum autonomen Fahren kann Sensorausrichtungs- und -fusionsoperationen, Wahrnehmungs- und Lokalisierungsoperationen und Wegplanungs- und Fahrzeugsteuerungsoperationen ausführen. Die genannten Operationen können basierend auf Daten, die von verschiedenen Sensoren, wie z. B. LIDAR-Sensoren, RADAR-Sensoren, Kameras und einem Trägheitsmesssensor (oder einer Trägheitsmesseinheit) gesammelt werden, und auf Daten, die von einem globalen Positionierungssystem (GPS) gesammelt werden, ausgeführt werden. Die Sensorausrichtung und -fusion können die Ausrichtung eines Koordinatensystems jedes Sensors auf ein Bezugskoordinatensystem, wie z. B. ein Fahrzeugkoordinatensystem, enthalten. Die Fusion kann sich auf das Sammeln und Kombinieren der Daten von den verschiedenen Sensoren beziehen.
Eine Wahrnehmung bezieht sich auf die Überwachung der Fahrzeugumgebung und die Detektion und Identifikation verschiedener Merkmale und/oder Objekte in der Umgebung. Dies kann das Bestimmen verschiedener Aspekte der Merkmale und Objekte enthalten. Der Begriff „Merkmal“, wie er hier verwendet wird, bezieht sich auf einen oder mehrere detektierte Punkte, die zuverlässig verwendet werden können, um einen Ort eines Objekts zu bestimmen. Dies steht im Gegensatz zu anderen detektierten Datenpunkten, die keine zuverlässigen Informationen hinsichtlich des Ortes eines Objekts bereitstellen, z. B. ein Punkt auf einem Blatt oder einem Ast eines Baumes. Die bestimmten Aspekte können Entfernungen, Orte, Größen, Formen, Orientierungen, Trajektorien usw. von Objekten enthalten. Dies kann das Bestimmen des Typs des detektierten Objekts enthalten, z. B. ob das Objekt ein Verkehrszeichen, ein Fahrzeug, ein Mast, ein Fußgänger, eine Bodenfläche usw. ist. Außerdem können Fahrspurmarkierungsinformationen detektiert werden. Ein Merkmal kann sich auf eine Oberfläche, eine Kante oder eine Ecke eines Gebäudes beziehen. Die Lokalisierung bezieht sich auf die Informationen, die über ein Trägerfahrzeug bestimmt werden, wie z. B. einen Ort, eine Geschwindigkeit, einen Steuerkurs usw. Die Wegplanung und die Fahrzeugsteuerung (z. B. Bremsen, Lenken und Beschleunigen) werden basierend auf den gesammelten Wahrnehmungs- und Lokalisierungsinformationen ausgeführt.
Ein Fahrzeug kann mehrere LIDAR-Sensoren enthalten. Die Ausrichtung der LIDAR-Sensoren einschließlich der LIDAR-auf-Fahrzeug-Ausrichtung und der LIDAR-auf-LIDAR-Ausrichtung beeinflusst die Genauigkeit der bestimmten Wahrnehmungs- und Lokalisierungsinformationen, die Merkmals- und Objektinformationen enthalten, wie z. B. die, die oben beschrieben worden sind. Die GPS-Messungen werden für die Fahrzeuglokalisierung, die Kartierung und die LIDAR-Ausrichtung verwendet. Das GPS-Signal kann verschlechtert sein und zu unscharfen Bildern der Umgebung führen, insbesondere wenn sich das entsprechende Fahrzeug in der Nähe großer (oder hoher) Gebäude, unter einer Brücke oder innerhalb eines Tunnels befindet, wo GPS-Signale blockiert sein können. Dies wird als eine Mehrwegewirkung auf GPS-Signale bezeichnet. Im hohen Grade genaue GPSs (z. B. ein kinematisches Echtzeit-GPS) können außerdem dasselbe Problem erfahren. Ein kinematisches Echtzeit-GPS verwendet eine trägerbasierte Positionierung. Die Verschlechterung kann z. B. dazu führen, dass ein stationäres Objekt so erscheint, als ob sich das Objekt bewegt. Ein Verkehrszeichen kann z. B. als sich bewegend erscheinen, wenn es in Wirklichkeit stationär ist. Ungenaue GPS-Datenergebnisse beeinflussen die Genauigkeit und Qualität der aggregierten LIDAR-Daten eines Orts und einer Orientierung eines Fahrzeugs negativ, die basierend auf GPS- und Trägheitsmessungen geschätzt werden.
Die hier dargelegten Beispiele enthalten das Schätzen der Ausrichtung der LIDAR-Mittelachse und das Korrigieren des Orts des Trägerfahrzeugs unter Verwendung von LIDAR-, Trägheits- und GPS-Messungen. Dies enthält das Korrigieren der GPS-Daten und der Fahrzeugorientierung. Die Beispiele enthalten einen gemeinsamen Rahmen, der iterativ einen Prozess implementiert, um genaue Fahrzeugorte zu erzeugen und eine genaue Ausrichtung der LIDAR-Mittelachse bereitzustellen. Der iterative Prozess korrigiert die GPS-Daten während der Ausführung einer LIDAR-Kalibrierung. Die GPS- und Trägheitsmessungs-Signaldaten werden basierend auf den LIDAR-Daten korrigiert, die mehreren Merkmalen zugeordnet sind. Die Daten expliziter und/oder ausgewählter Straßenelemente (z. B. Verkehrszeichen und Lichtmasten) werden verwendet, um die Ground-Truth zu bestimmen. Die „ Ground-Truth“ bezieht sich auf Punkte und/oder Informationen, von denen bekannt ist, dass sie richtig sind, und die dann als eine Referenz verwendet werden können, auf der basierend Informationen erzeugt und/oder Entscheidungen getroffen werden. Die Hauptkomponentenanalyse (PCA) wird verwendet, um Merkmale zu charakterisieren. Die korrigierten Ortsinformationen werden verwendet, um die Fahrzeug-auf-LIDAR-Ausrichtung zu kalibrieren. Um die Leistung des Algorithmus zu verbessern, werden Merkmalsdaten aus einer früheren Fahrthistorie des Trägerfahrzeugs und/oder anderer Fahrzeuge verwendet.
1 zeigt ein Beispiel eines Fahrzeugsystems 100 eines Fahrzeugs 102, das ein Sensorausrichtungs- und -fusionsmodul 104 und ein Kartierungs- und Lokalisierungsmodul 113 enthält. Die durch die Module 104 und 113 ausgeführten Operationen werden im Folgenden bezüglich der 1-10 weiter beschrieben.
Das Fahrzeugsystem 100 kann ein Modul 105 zum autonomen Fahren, ein Karosseriesteuermodul (BCM) 107, ein Telematikmodul 106, ein Antriebssteuermodul 108, ein Servolenkungssystem 109, ein Bremssystem 111, ein Navigationssystem 112, ein Infotainmentsystem 114, eine Klimaanlage 116 und andere Fahrzeugsysteme und -module 118 enthalten. Das Modul 105 für autonomes Fahren enthält das Sensorausrichtungs- und -fusionsmodul 104 und das Kartierungs- und Lokalisierungsmodul 113 und kann außerdem ein Ausrichtungsvalidierungsmodul 115, ein Wahrnehmungsmodul 117 und ein Wegplanungsmodul 121 enthalten. Das Sensorausrichtungs- und -fusionsmodul 104 und das Kartierungs- und Lokalisierungsmodul 113 können miteinander in Verbindung stehen und/oder als ein einziges Modul implementiert sein. Das Kartierungs- und Lokalisierungsmodul 113 kann ein GPS-Korrekturmodul enthalten, wie in 2 gezeigt ist. Die Operationen dieser Module werden im Folgenden weiter beschrieben.
Die Module und Systeme 104-108, 112-115, 121 und 118 können über einen Controller-Bereichsnetz-Bus (CAN-Bus), ein Ethernet-Netz, einen Bus eines lokalen Zusammenschaltungsnetzes (LIN-Bus), einen weiteren Bus oder ein weiteres Kommunikationsnetz und/oder drahtlos miteinander kommunizieren. Das Element 119 kann sich auf einen CAN-Bus, ein Ethernet-Netz, einen LIN-Bus und/oder ein anderen Bus- und/oder ein anderes Kommunikationsnetz beziehen und/oder diese enthalten. Diese Kommunikation kann andere Systeme, wie z. B. die Systeme 109, 111, 116, enthalten. Eine Leistungsquelle 122 kann enthalten sein und das Modul zum autonomen Fahren 105 und andere Systeme, Module, Vorrichtungen und/oder Komponenten mit Leistung versorgen. Die Leistungsquelle 122 kann ein Zusatzleistungsmodul, eine oder mehrere Batterien, Generatoren und/oder andere Leistungsquellen enthalten.
Das Telematikmodul 106 kann Sender/Empfänger 130 und ein Telematik-Steuermodul 132 enthalten. Das Antriebssteuermodul 108 kann den Betrieb eines Antriebssystems 136 steuern, das ein Kraftmaschinensystem 138 und/oder einen oder mehrere Elektromotoren 140 enthalten kann. Das Kraftmaschinensystem 138 kann eine Brennkraftmaschine 141, einen Anlasser 142 (oder Starter), ein Kraftstoffsystem 144, ein Zündsystem 146 und ein Drosselklappensystem 148 enthalten.
Das Modul zum autonomen Fahren 105 kann die Module und Systeme 106, 108, 109, 111, 112, 114, 116, 118 und andere Vorrichtungen und Systeme basierend auf den Daten von den Sensoren 160 steuern. Die anderen Vorrichtungen und Systeme können Fenster- und Türaktuatoren 162, Innenbeleuchtungen 164, Au-ßenbeleuchtungen 166, Kofferraummotor und -schloss 168, Sitzpositionsmotoren 170, Sitztemperatursteuerungssysteme 172 und Fahrzeugspiegelmotoren 174 enthalten. Die Sensoren 160 können Temperatursensoren, Drucksensoren, Durchflussmengensensoren, Positionssensoren usw. enthalten. Die Sensoren 160 können LIDAR-Sensoren 180, RADAR-Sensoren 182, Kameras 184, einen Trägheitsmesssensor 186, ein GPS-System 190 und/oder andere Umgebungs- und Merkmalsdetektionssensoren enthalten. Das GPS-System 190 kann als Teil des Navigationssystems 112 implementiert sein. Die LIDAR-Sensoren 180, der Trägheitsmesssensor 186 und das GPS-System 190 können die LIDAR-Datenpunkte, die Trägheitsmessdaten und die GPS-Daten bereitstellen, auf die im Folgenden Bezug genommen wird.
Das Modul 105 zum autonomen Fahren kann einen Speicher 192 enthalten, der Sensordaten, historische Daten, Ausrichtungsinformationen usw. speichern kann. Der Speicher 192 kann dedizierte Puffer enthalten, auf die im Folgenden Bezug genommen wird.
2 zeigt ein Beispiel eines Ausrichtungssystem 200, das ein Modul zum autonomen Fahren enthält, das eine Korrektur des globalen Positionierungssystems (GPS), des LIDAR und der Fahrzeuglokalisierung ausführt. Das System 200 kann ein erstes (oder Host-) Fahrzeug (z. B. das Fahrzeug 102 nach 1) und/oder andere Fahrzeuge, ein verteiltes Kommunikationssystem 202 und ein Backoffice 204 enthalten. Das Trägerfahrzeug enthält ein Modul 206 zum autonomen Fahren, das das Modul 105 zum autonomen Fahren nach 1 ersetzen und/oder ähnlich wie dieses arbeiten kann, die Fahrzeugsensoren 160, das Telematikmodul 106 und die Aktuatoren 210. Die Aktuatoren 210 können Motoren, Treiber, Ventile, Schalter usw. enthalten.
Das Backoffice 204 kann eine zentrale Dienststelle sein, die Dienste für die Fahrzeuge einschließlich Datenerfassungs- und -verarbeitungsdiensten bereitstellt. Das Backoffice 204 kann einen Sender/Empfänger 212 und einen Server 214 mit einem Steuermodul 216 und einem Speicher 218 enthalten. Zusätzlich oder als eine Alternative können die Fahrzeuge mit anderen cloud-basierten Netzvorrichtungen als dem Server in Verbindung stehen.
Das Modul 206 zum autonomen Fahren kann das Modul 105 zum autonomen Fahren nach 1 ersetzen und kann das Sensorausrichtungs- und -fusionsmodul 104, das Kartierungs- und Lokalisierungsmodul 113, das Ausrichtungsvalidierungsmodul 115, das Wahrnehmungsmodul 117 und das Wegplanungsmodul 121 enthalten.
Das Sensorausrichtungs- und -fusionsmodul 104 kann Sensorausrichtungs- und -fusionsoperationen basierend auf den Ausgaben der Sensoren 160 (z. B. der Sensoren 180, 182, 184, 186, 190) ausführen, wie im Folgenden beschrieben wird. Das Kartierungs- und Lokalisierungsmodul 113 führt die im Folgenden weiter beschriebenen Operationen aus. Ein GPS-Korrekturmodul 220 kann in einem der Module 104, 113 enthalten sein. Das Ausrichtungsvalidierungsmodul 115 bestimmt, ob die LIDAR-Sensoren und/oder andere Sensoren ausgerichtet sind, was bedeutet, dass sich die Unterschiede in den durch die LIDAR-Sensoren und/oder anderen Sensoren für dasselbe oder dieselben mehreren Merkmale und/oder Objekte bereitgestellten Informationen innerhalb vorgegebener Bereiche voneinander befinden. Das Ausrichtungsvalidierungsmodul 115 kann Differenzwerte für sechs Freiheitsgrade der LIDAR-Sensoren bestimmen, einschließlich Roll-, Nick-, Gier-, x-, y- und z-Differenzwerten, und bestimmt basierend auf diesen Informationen, ob die LIDAR-Sensoren ausgerichtet sind. Die x-Koordinate kann sich auf eine seitliche horizontale Richtung beziehen. Die y-Koordinate kann sich auf eine Vorwärts- und Rückwärts- oder Längsrichtung beziehen, und die z-Richtung kann sich auf eine vertikale Richtung beziehen. Die x-, y- und z-Koordinaten können vertauscht und/oder anders definiert werden. Falls sie nicht ausgerichtet sind, können einer oder mehrere der LIDAR-Sensoren neu kalibriert werden. In einer Ausführungsform wird, wenn bestimmt wird, dass einer der LIDAR-Sensoren falsch ausgerichtet ist, der falsch ausgerichtete LIDAR-Sensor neu kalibriert. Wenn in einer weiteren Ausführungsform bestimmt wird, dass einer der LIDAR-Sensoren falsch ausgerichtet ist, werden zwei oder mehr LIDAR-Sensoren einschließlich das falsch ausgerichteten LIDAR-Sensors neu kalibriert. In einer weiteren Ausführungsform wird der falsch ausgerichtete LIDAR-Sensor isoliert und nicht länger verwendet, wobei ein Hinweissignal erzeugt wird, das angibt, dass für den LIDAR-Sensor eine Wartung benötigt wird. Die Daten des falsch ausgerichteten Sensors können verworfen werden. Nach einer erneuten Kalibrierung und/oder Wartung des falsch ausgerichteten LIDAR-Sensors können zusätzliche Daten gesammelt werden.
Das Kartierungs- und Lokalisierungsmodul 113 und das Sensorausrichtungs- und -fusionsmodul 104 stellen genaue Ergebnisse für die GPS-Positionen und die LIDAR-Ausrichtung bereit, so dass die dem Wahrnehmungsmodul 117 bereitgestellten Daten für die Wahrnehmungsoperationen genau sind. Nach der Validierung kann das Wahrnehmungsmodul 117 basierend auf den gesammelten, korrigierten und aggregierten Sensordaten Wahrnehmungsoperationen ausführen, um die Aspekte einer Umgebung zu bestimmen, die ein entsprechendes Trägerfahrzeug (z. B. das Fahrzeug 102 nach 1) umgibt. Dies kann das Erzeugen von Wahrnehmungsinformationen enthalten, wie oben dargelegt worden ist. Dies kann die Detektion und Identifikation von Merkmalen und Objekten, falls dies nicht bereits ausgeführt worden ist, und das Bestimmen von Orten, Entfernungen und Trajektorien der Merkmale und Objekte bezüglich des Trägerfahrzeugs enthalten. Das Wegplanungsmodul 121 kann basierend auf einer Ausgabe des Wahrnehmungs- und Lokalisierungsmoduls 113 einen Weg für das Fahrzeug bestimmen. Das Wegplanungsmodul 121 kann basierend auf dem bestimmten Weg die Operationen des Fahrzeugs steuern, einschließlich des Steuerns der Operationen des Servolenkungssystems, des Antriebssteuermoduls und des Bremssystems über die Aktuatoren 210.
Das Modul 206 zum autonomen Fahren kann in einer Offline-Betriebsart oder in einer Online-Betriebsart arbeiten. Die Offline-Betriebsart bezieht sich darauf, wenn das Backoffice 204 Daten sammelt und die Datenverarbeitung für das Modul 206 zum autonomen Fahren ausführt. Dies kann z. B. das Sammeln von GPS-Daten vom Fahrzeug und das Ausführen einer GPS-Positionskorrektur und einer LIDAR-Ausrichtung für die Datenkommentierung und das Bereitstellen der Korrektur-GPS-Daten und der Datenkommentierung zurück zu dem Modul 206 zum autonomen Fahren enthalten. Ein neuronales Netz des Moduls 206 zum autonomen Fahren kann basierend auf der Datenkommentierung trainiert werden. Die GPS-Positionskorrekturen können vor der Datenkommentierung ausgeführt werden. Obwohl dies in 2 nicht gezeigt ist, kann das Steuermodul 216 des Servers 214 eines oder mehrere der Module 104, 113 und/oder 115 enthalten und/oder ähnliche Operationen wie eines oder mehrere der Module 104, 113 und/oder 115 ausführen.
Während der Offline-Betriebsart verarbeitet der Server 214 die Daten, die zuvor über einen längeren Zeitraum gesammelt worden sind. Während der Online-Betriebsart führt das Modul 206 für autonomes Fahren die GPS-Positionierungskorrektur und/oder die LIDAR-Ausrichtung aus. Dies kann mit oder ohne Hilfe einer cloud-basierten Netzvorrichtung, wie z. B. dem Server 214, implementiert sein. Während der Online-Betriebsart führt das Modul 206 zum autonomen Fahren die Echtzeit-GPS-Positionierung und die LIDAR-Ausrichtung unter Verwendung von gesammelten und/oder historischen Daten aus. Dies kann Daten enthalten, die von anderen Fahrzeugen und/oder Infrastrukturvorrichtungen gesammelt worden sind. Die cloud-basierte Netzvorrichtung kann historische Daten, historische Ergebnisse bereitstellen und/oder andere Operationen ausführen, um die Echtzeit-GPS-Positionierung und die LIDAR-Ausrichtung zu unterstützen. Die Echtzeit-GPS-Positionierung bezieht sich auf das Bereitstellen von GPS-Informationen für einen aktuellen Ort des Trägerfahrzeugs. Die LIDAR-Ausrichtungsinformationen werden für einen aktuellen Zustand eines oder mehrerer LIDAR-Sensoren erzeugt.
3 zeigt ein Ausrichtungsverfahren, das die GPS-, LIDAR- und Fahrzeuglokalisierungskorrektur enthält. Die Operationen in 3 können, wie auch die Operationen nach den 4-5, durch eines oder mehrere der Module 104, 113, 220 nach den 1-2 ausgeführt werden.
Das Ausrichtungsverfahren wird ausgeführt, um die LIDAR-auf-Fahrzeug-Mittelachsenausrichtung dynamisch zu kalibrieren und die GPS- und Trägheitsmessungs-Lokalisierungsergebnisse zu korrigieren. Das Verfahren dient der dynamischen LIDAR-Kalibrierung und der GPS- und Trägheitsmessungskorrektur. Es werden eine PCA und eine Ebenenanpassung verwendet, um die Ground-Truth z. B. des Ortes eines Verkehrszeichens zu bestimmen. Es wird eine Fusion mehrerer Merkmale ausgeführt, um die Ground-Truth-Positionsdaten von Objekten, wie z. B. Verkehrszeichen und Lichtmasten, zu bestimmen. Außerdem können die Ground-Truth-Daten für die Punktregistrierung ausgeführt werden. Es wird eine Interpolation verwendet, um die GPS-Messungen zu korrigieren, wenn ein LIDAR-Sensor ein Verkehrszeichen nicht innerhalb einer bestimmten Reichweite des Trägerfahrzeugs abtastet. Die Ground-Truth-Punkte können gewichtet werden, um die Leistung des Algorithmus zu verbessern, wenn nach einer besten Transformation gesucht wird. Die Ground-Truth-Daten werden im Fahrzeugspeicher und/oder im cloud-basierten Netzspeicher gespeichert und bei bevorstehenden Fahrten des Trägerfahrzeugs und/oder anderer Fahrzeuge verwendet.
Das Verfahren kann bei 300 beginnen, was das Sammeln von Daten von Sensoren, wie z. B. den Sensoren 160 nach 1, enthält. Die gesammelten GPS-Daten enthalten Längengrad-, Breitengrad- und Lagedaten. Über den Trägheitsmesssensor 186 werden Trägheitsmessungen für die Bestimmungen von Roll-, Nick- und Gierrate, Beschleunigung und Orientierung zum Schätzen von Winkeln ausgeführt. Bei 302 und 304 wird eine Merkmalsextraktion ausgeführt. Bei 302 wird eine Merkmalsdetektion und -charakterisierung für erste Merkmalstypen (z. B. Verkehrszeichen, Lichtmasten usw.) ausgeführt. Bei 304 wird eine weitere Merkmalsdetektion und -charakterisierung für zweite Merkmalstypen (z. B. Gebäudekanten, Ecken, ebene Oberflächen usw.) ausgeführt.
Bei 306 wird für ein oder mehrere Merkmale und/oder Objekte eine Ground-Truth-Position berechnet. Es werden verschiedene Straßenelemente einschließlich Zeichen, Gebäuden und Lichtmasten überwacht, was eine beträchtliche Abdeckung und ein robustes System bereitstellt. Es werden Straßenelemente, wie z. B. Verkehrszeichen, zum Bestimmen einer Ground-Truth-Position detektiert. Dies kann die Verwendung einer ganzen Punktwolke von einem LIDAR-Sensor enthalten. Mit der früheren Kenntnis eines Verkehrszeichens, das die Eigenschaften einer flache Ebene, eines Reflexionsgrades mit hoher Intensität aufweist und statisch ist (d. h., sich nicht bewegt), kann der bei 306 implementierte Algorithmus die Zeichendaten unter Verwendung eines PCA-Ansatzes einfach charakterisieren, um die Ground-Truth-Position des Zeichens zu bestimmen.
Bei 308 wird ein GPS-Ort unter Verwendung der einen oder der mehreren Ground-Truth-Positionen korrigiert. Dies kann das Ausführen einer Interpolation enthalten, um fehlende LIDAR-Lücken in den Daten zu behandeln, wo LIDAR-Daten für bestimmte Zeiträume und/oder Zeitstempel nicht verfügbar und/oder nicht verwendbar sind. Dies verbessert die Lokalisierungsgenauigkeit.
Bei 310 wird die korrigierte GPS-Position verwendet, um die Ausrichtung zu berechnen. Während dieser Operation kann die LIDAR-auf-Fahrzeug-Ausrichtung neu kalibriert werden, um die Ausrichtungsdrift zu behandeln.
Bei 312 können Operationen ausgeführt werden, um zu bestimmen, ob die Ausrichtung akzeptabel ist. Dies kann das Ausführen eines Ausrichtungsvalidierungsprozesses enthalten. Der Ausrichtungsvalidierungsprozess kann das Ausführen mehrerer Verfahren enthalten. Die Verfahren enthalten die Integration einer Bodenanpassung, eine Zieldetektion und eine Punktwolkenregistrierung. In einer Ausführungsform werden die Roll-, Nick- und Gierunterschiede zwischen den LIDAR-Sensoren basierend auf den Zielen (z. B. dem Boden, einem Verkehrszeichen, einem Lichtmast usw.) bestimmt. In einer gleichen oder alternativen Ausführungsform werden Rotations- und Translationsunterschiede der LIDAR-Sensoren basierend auf den Unterschieden in den Punktwolkenregistrierungen der LIDAR-Sensoren bestimmt.
Die Validierungsverfahren enthalten (i) ein erstes Verfahren zum Bestimmen eines ersten Sechs-Parameter-Vektors der Unterschiede zwischen LIDAR-Sensoren in den Nick-, Roll-, Gier-, x-, y-, z-Werten und/oder (ii) ein zweites Verfahren zum Bestimmen eines zweiten Sechs-Parameter-Vektors der Nick-, Roll-, Gier-, x-, y-, z-Werte. Das erste Verfahren basiert auf der Auswahl bestimmter Objekte zum Bestimmen des Rollens, des Nickens und des Gierens. Das zweite Verfahren basiert auf dem Bestimmen von Rotations- und Translationsunterschieden aus Punktwolken von LIDAR-Sensoren. Die Ergebnisse der Verfahren können gewichtet und aggregiert werden, um einen resultierenden Sechs-Parameter-Vektor bereitzustellen, auf dem basierend eine Bestimmung einer Ausrichtung ausgeführt wird, wie oben beschrieben worden ist. Falls die Ergebnisse akzeptiert werden, kann das Verfahren enden und können die GPS-Positionsinformationen und die Ausgaben der LIDAR-Sensoren verwendet werden, um Entscheidungen des autonomen Fahrens, die die Steuerung der Systeme 109, 111, 136 usw. enthalten, zu treffen. Es ist eine weitere Variation, dass, falls die Ausrichtungsergebnisse akzeptiert werden, der Ausrichtungsalgorithmus nicht ausgeführt wird, sondern ein GPS-Korrekturalgorithmus kontinuierlich ausgeführt wird, um die GPS-Koordinaten zu korrigieren. Die Ausrichtungsergebnisse ändern sich im Allgemeinen nicht mit der Zeit, es sei denn, es treten eine langfristige Verschlechterung und/oder ein Unfall auf, wobei aber die GPS-Korrekturergebnisse aktualisiert werden können und jederzeit nützlich sind, weil sich das Fahrzeug bewegt (d. h., sich der Ort des Fahrzeugs ändert). Falls die Ergebnisse nicht akzeptiert werden, wenigstens eines des Folgenden: (i) die LIDAR-zu-Fahrzeug-Transformation kann neu kalibriert werden und/oder (ii) einer oder mehrere LIDAR-Sensoren können neu kalibriert und/oder gewartet werden.
In einer Ausführungsform wird die Ausrichtungsvalidierung im Anschluss an die Operation 310 ausgeführt, wobei sie die bei 310 ausgeführte Ausrichtung validiert. In einer weiteren Ausführungsform wird die Ausrichtungsvalidierung wenigstens vor den Operationen 308 und 310 ausgeführt. In dieser Ausführungsform werden die Operationen nach 3 ausgeführt, um eine GPS-Korrektur auszuführen und im Ergebnis des Validierungsprozesses, der eine ungültige Ausrichtung angibt, die Ausrichtung zu korrigieren.
Die Operationen 302, 306, 308 und 310 werden im Folgenden bezüglich der Verfahren nach den 4-5 weiter beschrieben. Außerdem wird ferner die Operation 302 bezüglich des Verfahrens nach 6 beschrieben. Die Operation 306 wird ferner bezüglich des Verfahrens nach 7 beschrieben. Die Operationen 308 und 310 werden ferner bezüglich der Verfahren nach den 8-10 beschrieben.
4 zeigt einen Abschnitt des Ausrichtungsverfahrens nach 3, das während des Arbeitens in der Offline-Betriebsart implementiert ist. Das Verfahren kann bei 400 beginnen, was das Laden der neuesten LIDAR-zu-Fahrzeug- und Fahrzeug-zu-Welt-Transformationen und/oder der Ausgaben des nächsten Algorithmus in den Speicher (z. B. den Speicher 192 nach 1) des Fahrzeugs enthält.
Bei 402 werden die LIDAR-Punkte unter Verwendung der obigen beiden Transformationen von einem LIDAR-Rahmen in einen Weltrahmen umgesetzt. Die LIDAR-Koordinaten werden in Fahrzeugkoordinaten umgesetzt und dann in Weltkoordinaten (z. B. Osten-Norden-Oben-Koordinaten (ENU-Koordinaten)) umgesetzt. Es kann eine Matrixtransformation ausgeführt werden, um in Weltkoordinaten umzusetzen. Wenn eine Fahrzeug-zu-Welt-Transformation ausgeführt wird und das aus den aggregierten LIDAR-Daten erzeugte resultierende Bild unscharf ist, sind die GPS-Daten ungenau. Der GPS-Ort wird bei 414 korrigiert, so dass das resultierende Bild nach der Korrektur deutlich ist.
Bei 404 werden die LIDAR-Datenpunkte (die als LIDAR-Punkte bezeichnet werden) kontinuierlich für einen nächsten Stapel aggregiert. Dies kann z. B. für einen Stapel von 500 Rahmen ausgeführt werden. Bei 406 werden die Merkmalsdaten aus der aggregierten LIDAR-Punktwolke unter Verwendung des Merkmalsextraktionsverfahrens nach 6 extrahiert. Bei 408 werden die Merkmalsdaten in einem dedizierten Puffer im Speicher gespeichert.
Bei 410 wird eine Bestimmung bezüglich dessen ausgeführt, ob für ein Merkmal Daten gesammelt worden sind. Falls ja, kann die Operation 404 ausgeführt werden, andernfalls wird die Operation 412 ausgeführt. Bei 412 wird unter Verwendung des Ground-Truth-Datenerzeugungsverfahrens nach 7 die Ground-Truth der Daten berechnet.
Bei 414 werden die Ground-Truth-Daten zur Ortskorrektur verwendet und wird die LIDAR-zu-Fahrzeug-Transformation aktualisiert. Dies wird basierend auf GPS- und Trägheitsmessungskorrekturen und durch das Implementieren des LIDAR-auf-Fahrzeug-Ausrichtungsverfahrens nach 8 ausgeführt. Bei 416 werden die Aktualisierungs-Ortsdaten und die LIDAR-auf-Fahrzeug-Ausrichtungsinformationen gespeichert. Bei 418 wird eine Bestimmung bezüglich dessen ausgeführt, ob weitere Daten zu verarbeiten sind. Falls ja, kann die Operation 404 ausgeführt werden, andernfalls kann das Verfahren enden.
In einer Ausführungsform werden die Daten während der Offline-Betriebsart erneut verarbeitet, so dass sie korrigiert sind, nachdem die Daten und/oder andere Daten aggregiert sind und die Ground-Truth erzeugt worden ist.
5 zeigt einen Abschnitt des Ausrichtungsverfahrens nach 3, der während des Arbeitens in einer Online-Betriebsart mit oder ohne eine cloud-basierte Netzunterstützung implementiert ist. Das Verfahren kann bei 500 beginnen, was das Laden der neuesten LIDAR-zu-Fahrzeug- und Fahrzeug-zu-Welt-Transformationen und/oder der Ausgaben des nächsten Algorithmus in den Speicher (z. B. den Speicher 192 nach 1) des Fahrzeugs enthält.
Bei 502 werden die LIDAR-Daten gelesen und werden die LIDAR-Punkte unter Verwendung der obigen beiden Transformationen von einem LIDAR-Rahmen in einen Welt-Rahmen umgesetzt. Die LIDAR-Koordinaten werden in Fahrzeugkoordinaten umgesetzt und dann in Weltkoordinaten (oder Osten-Norden-Oben-Koordinaten (ENU-Koordinaten)) umgesetzt. Es kann eine Matrixtransformation ausgeführt werden, um in Weltkoordinaten umzusetzen. Wenn eine Fahrzeug-zu-Welt-Transformation ausgeführt wird und das aus den aggregierten LIDAR-Daten erzeugte resultierende Bild unscharf ist, sind die GPS-Daten ungenau. Die GPS-Position wird bei 510 korrigiert, so dass das resultierende Bild nach der Korrektur deutlich ist.
Bei 504 werden die Ground-Truth-Daten z. B. durch das Modul 206 zum autonomen Fahren nach 2 aus dem Speicher und/oder einer cloud-basierten Netzvorrichtung geladen (oder erhalten). Bei 506 wird unter Verwendung des Merkmalsdaten-Extraktionsverfahrens nach 6 eine Bestimmung bezüglich dessen ausgeführt, ob es ein potentielles Merkmal gibt. Falls ja, kann die Operation 508 ausgeführt werden, andernfalls wird die Operation 502 ausgeführt.
Bei 508 wird eine Bestimmung bezüglich dessen ausgeführt, ob die potentiellen Merkmalsdaten ein Teil der Ground-Truth-Daten sind. Falls ja, wird die Operation 510 ausgeführt, andernfalls wird die Operation 512 ausgeführt.
Bei 510 werden die Ground-Truth-Daten verwendet, um den Ort zu korrigieren und die LIDAR-zu-Fahrzeug-Transformation zu aktualisieren. Dies wird basierend auf den GPS- und Trägheitsmessungskorrekturen und durch das Implementieren des LIDAR-auf-Fahrzeug-Ausrichtungsverfahrens nach 8 ausgeführt. Bei 512 werden die transformierten Fahrzeugdaten kontinuierlich aggregiert und wird die Ground-Truth unter Verwendung des Verfahrens nach 7 erzeugt.
Bei 514 werden die im Speicher und/oder in der cloud-basierten Netzvorrichtung gespeicherten Ground-Truth-Daten mit den bei 512 erzeugten Ground-Truth-Daten aktualisiert. Die Operation 502 kann im Anschluss an die Operation 514 ausgeführt werden. Die aktualisierten Ground-Truth-Daten (i) werden für einen nächsten Datensatz und einen nächsten oder nachfolgenden Zeitstempel und/oder Zeitraum gespeichert, und (ii) werden nicht für den aktuellen Datensatz und einen aktuellen Zeitstempel und/oder Zeitraum verwendet. Für die Online-Korrektur-Betriebsart kann es nicht genügend Zeit geben, um vor der Ortskorrektur die Daten für die Ground-Truth-Erzeugung zu akkumulieren, wobei sie folglich im Anschluss an die Korrektur für einen nächsten Datensatz erzeugt werden.
6 zeigt ein beispielhaftes Merkmalsdaten-Extraktionsverfahren. Das Verfahren kann bei 600 beginnen, was das Anwenden eines räumlichen Filters enthält, um statische Punkte zu finden. Als ein Beispiel können sich die statischen Punkte an Orten befinden, wo z größer als 5 Meter ist und der Abstand der Punkte vom Fahrzeug größer als 20 Meter ist.
Das Raumfilter verwendet einen 3-dimensionalen Bereich (3D-Bereich) im Raum, um Punkte innerhalb des Bereichs auszuwählen. Das Raumfilter kann z. B. mit den Bereichen x, y, z: x E [ϑ₁,ϑ₂], y ∈ [ϑ₃,ϑ_4], z ∈ [ϑ₅,ϑ_6] definiert sein, wobei ϑ₁, ϑ₂, ϑ₃, ϑ₄, ϑ₅, ϑ₆ vorgegebene Werte (oder Schwellenwerte) sind. Falls (x, y, z) eine Punkts eine vorgegebene Bedingung erfüllen, dass er sich innerhalb des Bereichs befindet, wird er durch das Raumfilter ausgewählt.
Bei 602 werden ein Intensitätsfilter und ein Formfilter verwendet, um erste Objekte (z. B. Verkehrszeichen) zu detektieren. Ein Verkehrszeichen weist vorgegebene Eigenschaften auf, wie z. B. dass es eine ebene Fläche ist und eine bestimmte geometrische Form aufweist. Das Intensitätsfilter kann einen Intensitätsbereich enthalten, der definiert ist, um Punkte mit Intensitätswerten auszuwählen, die sich im Intensitätsbereich (z. B. einem Bereich von 0-255) befinden. Als ein Beispiel kann das Intensitätsfilter Punkte auswählen, die Intensitätswerte größer als 200 aufweisen. Die Intensitätswerte sind zum Reflexionsgrad des Materials des Merkmals und/oder Objekts, auf dem sich der Punkt befindet, proportional. Das Intensitätsfilter kann z. B. als i > ϑ₇ definiert sein, wobei i die Intensität ist und ϑ₇ ein vorgegebener Schwellenwert ist. Das Formfilter kann das Detektieren von Objekten mit vorgegebenen Formen enthalten. Bei 604 werden ein Intensitätsfilter und ein Formfilter verwendet, um zweite Objekte (z. B. Lichtmasten) zu detektieren. Ein Lichtmast weist vorgegebene Eigenschaften auf, wie z. B. dass er lang und zylinderförmig ist.
Bei 606 wird ein Kantendetektionsalgorithmus verwendet, um erste Merkmale (z. B. Kanten von Gebäuden) zu detektieren. Der Kantendetektionsalgorithmus kann ein Verfahren sein, das in einer Punktwolkenbibliothek gespeichert ist, die im Speicher 192 nach 1 oder in einer cloud-basierten Netzvorrichtung gespeichert ist. Bei 608 wird ein Ebenendetektionsalgorithmus verwendet, um zweite Merkmale (z. B. Ebenen von Gebäuden) zu detektieren. Der Ebenendetektionsalgorithmus kann ein Verfahren sein, das in einer Punktwolkenbibliothek gespeichert ist, die im Speicher 192 nach 1 oder in einer cloud-basierten Netzvorrichtung gespeichert ist.
Bei 610 werden die Merkmalsdaten und die Merkmalstypen (z. B. Verkehrszeichen, Lichtmast, Gebäudekante oder Gebäudeebene) zusammen mit dem Fahrzeugort und der Orientierung, die zuvor bestimmt worden sind, gespeichert. Das Verfahren kann im Anschluss an die Operation 610 enden.
7 zeigt ein beispielhaftes Ground-Truth-Daten-Erzeugungsverfahren. Das Verfahren kann bei 700 beginnen, was das Laden von Merkmalsdaten enthält.
Bei 702 werden den Merkmalen basierend auf Parametern Gewichte zugewiesen. Es werden z. B. basierend auf der Fahrzeuggeschwindigkeit, dem Typ des ausgeführten Beschleunigungsmanövers und der GPS-Signalstärke den LIDAR-Punkten des Verkehrszeichens Gewichte zugewiesen, um die Vertrauensniveaus der Punkte anzugeben. Wenn sich die Position des Verkehrszeichens von Rahmen zu Rahmen nicht bewegt, sich aber die Position des Trägerfahrzeugs geändert hat, dann ist ein Problem vorhanden, wobei die gewichteten Werte für diese Punkte niedrig festgelegt werden. Wenn sich jedoch die Position des Verkehrszeichens in einer erwarteten Weise von Rahmen zu Rahmen bewegt, dann werden den Punkten höhere Gewichtswerte gegeben, die höhere Vertrauensniveaus der Punkte angeben.
Bei 704 wird eine Bestimmung bezüglich dessen ausgeführt, ob die Merkmalsdaten vom ersten Typ (z. B. ein Verkehrszeichen) sind. Falls ja, wird die Operation 706 ausgeführt, andernfalls wird die Operation 710 ausgeführt.
Bei 706 werden die niedrig gewichteten Punkte (z. B. die Punkte, denen Gewichtswerte zugewiesen worden sind, die kleiner als ein vorgegebener Gewichtswert sind) herausgefiltert. Bei 708 wird eine Hauptkomponentenanalyse (PCA) oder eine Ebenenanpassung ausgeführt, nachdem die niedrig gewichteten Punkte entfernt worden sind, um ein Modell des Merkmals zu bestimmen. Das Modell kann sich in der Form der Gleichung 1 befinden, wobei d = e₃ × m, α = e₃₁, b = e₃₂ und c = e₃₃, e₃ = [e₃₁, e₃₂, e₃₃]. a und b sind senkrechte Eigenvektoren in der Ebene und c ist der dritte Eigenvektor, der zur Ebene des Merkmals senkrecht ist und aus der PCA berechnet wird. m ist der durchschnittliche Vektor (oder Durchschnittsvektor) der verbleibenden Punkte. $a x + b y + c z = d$
Bei 710 wird eine Bestimmung bezüglich dessen ausgeführt, ob die Merkmalsdaten von einem zweiten Typ (z. B. ein Lichtmast) sind. Falls ja, wird die Operation 712 ausgeführt, andernfalls wird die Operation 716 ausgeführt.
Bei 712 werden die niedrig gewichteten Punkte herausgefiltert. Bei 714 werden die verbleibenden Punkte an ein 3D-Linienmodell angepasst, wie es durch die Gleichung 2 repräsentiert wird, wobei t ein Parameter ist, e₁ der Eigenvektor ist, der dem größten Eigenwert aus der PCA entspricht, und m der Durchschnittsvektor ist. Die Eigenvektoren e₂ und e₃ sind sehr klein. Der erste Eigenvektor e₁ erstreckt sich in einer Längsrichtung des Lichtmastes (z. B. in der z-Richtung für einem senkrecht verlaufenden Mast). $(x,y,z) = m + t * e_{1}$
Bei 716 werden das erzeugte Modell, die Daten der verbleibenden Punkte und die entsprechenden Gewichte z. B. im Speicher 192 nach 1 gespeichert.
8 zeigt ein beispielhaftes GPS- und Trägheitsmessungskorrektur- und LIDAR-auf-Fahrzeugausrichtungs-Verfahren. Das Verfahren kann bei 800 beginnen, was das Lesen von LIDAR-Datenpunkten und das Erhalten von GPS- und Trägheitsmessdaten enthält.
Bei 802 werden die LIDAR-Datenpunkte auf Weltkoordinaten projiziert. Bei 804 werden die projizierten LIDAR-Datenpunkte aggregiert.
Bei 806 wird eine Bestimmung ausgeführt, ob es einen projizierten LIDAR-Datenpunkt im Bereich der Ground-Truth-Daten gibt. Falls ja, wird die Operation 808 ausgeführt, andernfalls wird die Operation 804 ausgeführt.
Bei 808 werden die GPS- und Trägheitsmessdaten unter Verwendung eines oder mehrerer der Verfahren nach den 9-10 korrigiert und wird die Fahrzeug-zu-Welt-Transformation aktualisiert. Bei 810 werden die korrigierten GPS- und LIDAR-Daten verwendet, um eine LIDAR-zu-Fahrzeug-Transformation zu berechnen. Bei 812 wird die LIDAR-zu-Fahrzeug-Transformation im Speicher 192 nach 1 gespeichert.
Bei 814 wird eine Bestimmung bezüglich dessen ausgeführt, ob es weitere LIDAR-Datenpunkte gibt. Falls ja, wird die Operation 804 ausgeführt, andernfalls kann das Verfahren im Anschluss an die Operation 814 enden.
9 zeigt ein beispielhaftes GPS-Korrekturverfahren unter Verwendung eines Ground-Truth-Modells. Das Verfahren kann bei 900 beginnen, was das Laden von LIDAR-Datenpunkten und GPS- und Trägheitsmessdaten enthält.
Bei 902 werden die Ground-Truth-Daten für ein erstes Objekt (z. B. ein Verkehrszeichen) oder ein zweites Objekt (z. B. einen Lichtmast) geladen.
Bei 904 wird eine Bestimmung bezüglich dessen ausgeführt, ob es LIDAR-Punkte gibt, die zu einem oder mehreren Zielen gehören. Das eine oder die mehreren Ziele können sich z. B. auf ein oder mehrere aktuell detektierte statische Objekte, wie z. B. Verkehrszeichen und/oder Lichtmasten, beziehen. Falls ja, wird die Operation 906 ausgeführt, andernfalls wird die Operation 900 ausgeführt.
Bei 906 werden die zu den Zielen gehörenden LIDAR-Punkte auf eine Ebene und/oder eine Linie projiziert. Dies kann unter Verwendung der folgenden Gleichungen 3-5 ausgeführt werden, wobei X_Lidar ein LIDAR-Punkt mit x-, y- und z-Komponenten ist, X'_Lidar der projizierte Punkt ist, center ein Durchschnittsvektor ist, norm der dritte Eigenvektor e₃ ist und norm^T die Transponierte von norm ist. Dies enthält das Entfernen von center, das Projizieren in die Ebene und das Zurückaddieren von center. $X_{L i d a r}^{'} = C_{L i d a r} - c e n t e r$
$X_{L i d a r}^{'} = X_{L i d a r} - X_{L i d a r} * n o r m * n o r m^{T}$
$X_{L i d a r} = X_{L i d a r}^{'} + c e n t e r$
Bei 908 wird ein durchschnittlicher GPS-Versatz für jeden Zeitstempel berechnet und in einem dedizierten Puffer des Speichers 192 nach 1 gespeichert. Um den GPS-Versatz bereitzustellen, wird ein Unterschied zwischen dem ursprünglichen Punkt und dem projizierten Punkt bestimmt.
Bei 910 wird durch das Vergleichen des korrigierte Versatzes mit benachbarten Versätzen auf einer (basierend auf korrigierten Versätzen erzeugten) korrigierten Versatzkurve eine Bestimmung bezüglich dessen ausgeführt, ob der korrigierte Versatz angemessen ist. Wenn der korrigierte Versatz ein Ausreißer ist (sich z. B. mehr als ein vorgegebener Abstand von der korrigierten Verssatzkurve befindet), dann wird der korrigierte Versatz nicht verwendet. Wenn sich der korrigierte Versatz auf der korrigierten Versatzkurve oder innerhalb eines vorgegebenen Abstands von der korrigierten Versatzkurve befindet, dann wird er verwendet. Die korrigierte Versatzkurve kann dann basierend auf dem verwendeten korrigierten Versatz aktualisiert werden. Falls der korrigierte Versatz verwendet wird, wird die Operation 912 ausgeführt, andernfalls wird die Operation 914 ausgeführt.
Bei 912 wird der korrigierte Versatz angewendet und wird ein korrekter GPS-Ort berechnet. Bei 914 wird ein Zeitstempel für zwei benachbarte korrigierte GPS-Orte bestimmt. Die benachbarten korrigierten GPS-Orte beziehen sich auf korrigierte GPS-Orte, die sich zeitlich am nächsten bei dem zu korrigierenden GPS-Ort befinden.
Bei 916 wird eine Bestimmung bezüglich dessen ausgeführt, ob ein Zeitunterschied zwischen dem Zeitstempel für den aktuellen korrigierten GPS-Ort und dem Zeitstempel der beiden benachbarten korrigierten GPS-Orte größer als ein vorgegebener Schwellenwert ist. Falls nein, wird die Operation 918 ausgeführt, andernfalls wird die Operation 920 ausgeführt.
Bei 918 wird eine Interpolation (z. B. eine lineare Interpolation) ausgeführt, um einen korrigierten GPS-Ort für das Ziel zu berechnen. Wenn die Operation 912 ausgeführt wird, dann kann ein Durchschnitt des bei 912 bestimmten korrigierten GPS-Ortes mit dem bei 918 bestimmten korrigierten GPS-Ort gemittelt werden. Bei 920 können der korrigierte GPS-Ort und andere entsprechende Informationen, wie z. B. Zeitstempel und benachbarte korrigierte GPS-Orte, in dem Speicher 192 gespeichert werden.
Das Verfahren nach 9 kann für mehr als ein detektiertes Objekt (oder Ziel) ausgeführt werden. Eine Korrektur kann basierend auf Ground-Truth-Modellen der Objekte ausgeführt werden. Wenn sich auf mehrere Objekte gestützt werden kann, dann kann der Prozess für jedes Objekt ausgeführt werden. Die korrigierten Werte können für jedes Objekt bereitgestellt werden. Ein Durchschnitt der korrigierten Versätze für einen speziellen Zeitstempel kann bestimmt und verwendet werden, um die GPS-Orte zu korrigieren.
10 zeigt ein beispielhaftes GPS- und Trägheitsmessungs-Korrekturverfahren unter Verwendung des Ground-Truth-Punktabgleichs. Das Verfahren nach 10 kann anstelle des Ausführens des Verfahrens nach 9 ausgeführt werden oder zusätzlich zu und parallel zu dem Verfahren nach 9 ausgeführt werden. Das Verfahren kann bei 1000 beginnen, was das Laden von LIDAR-Datenpunkten und GPS- und Trägheitsmessdaten enthält.
Bei 1002 werden die Ground-Truth-Daten geladen. Dies kann die Ground-Truth-Daten enthalten, die bestimmt werden, wenn das Verfahren nach 7 ausgeführt wird.
Bei 1004 wird eine Bestimmung bezüglich dessen ausgeführt, ob es LIDAR-Punkte gibt, die zu einem oder mehreren Zielen gehören. Falls ja, wird die Operation 1006 ausgeführt, andernfalls wird die Operation 1000 ausgeführt.
Bei 1006 werden andere LIDAR-Punkte, die dem einen oder den mehreren Zielen nicht entsprechen, herausgefiltert.
Bei 1008 wird ein LIDAR-Punktwolken-Registrierungsalgorithmus (z. B. ein iterativer Dichtester-Punkte-Algorithmus (ICP-Algorithmus) und/oder ein verallgemeinerter iterativer Dichtester-Punkte-Algorithmus (GICP-Algorithmus)) ausgeführt, um eine Transformation zwischen den aktuellen Daten und den Ground-Truth-Daten zu finden. In einer ICP- und/oder GICP-Optimierungsfunktion kann ein Gewicht verwendet werden.
Der ICP ist ein Algorithmus, der verwendet wird, um einen Unterschied zwischen zwei Punktwolken zu minimieren. Der ICP kann das Berechnen von Übereinstimmungen zwischen zwei Abtastungen und das Berechnen einer Transformation enthalten, die den Abstand zwischen den entsprechenden Punkten minimiert. Der verallgemeinerte ICP ist zum ICP ähnlich und kann das Beifügen eines probabilistischen Modells zu einer Minimierungsoperation des ICP enthalten. Der ICP-Algorithmus kann durch das Abwechseln zwischen (i) dem Finden des nächstgelegenen Punkts in S für jeden Punkt in M bei gegebener Transformation und (ii) dem Finden der besten starren Transformation durch das Lösen eines Problems der kleinsten Quadrate bei gegebenen Übereinstimmungen eine starre Registrierung in einer iterativen Weise ausführen. Die Registrierung von Punktmengen ist ein Prozess des Ausrichtens von zwei Punktmengen.
Bei 1010 werden ein durchschnittlicher GPS-Versatz und ein Fahrzeugorientierungsversatz für jeden Zeitstempel berechnet und in einem dedizierten Puffer im Speicher 192 nach 1 gespeichert.
Bei 1012 wird durch das Vergleichen des durchschnittlichen GPS-Versatzes mit einem oder mehreren benachbarten Versatz- und Orientierungswerten eine Bestimmung bezüglich dessen ausgeführt, ob der durchschnittliche GPS-Versatz angemessen ist. Falls ja, wird die Operation 1014 ausgeführt, andernfalls wird die Operation 1016 ausgeführt.
Bei 1014 wird der durchschnittliche GPS-Versatz angewendet und werden ein korrigierter GPS-Ort und eine korrigierte Fahrzeugorientierung berechnet.
Bei 1016 wird ein Zeitstempel für zwei benachbarte korrigierte GPS-Orte bestimmt, wie dies ähnlich bei 914 nach 9 ausgeführt wird.
Bei 1018 wird eine Bestimmung bezüglich dessen ausgeführt, ob ein Zeitunterschied zwischen dem Zeitstempel für den zu korrigierenden GPS-Ort und dem Zeitstempel der beiden benachbarten korrigierten GPS-Orte größer als ein vorgegebener Schwellenwert ist. Falls nein, wird die Operation 1020 ausgeführt, andernfalls wird die Operation 1022 ausgeführt.
Bei 1020 wird eine Interpolation (z. B. eine lineare Interpolation) ausgeführt, um einen korrigierten GPS-Ort und eine korrigierte Fahrzeugorientierung zu berechnen. Wenn die Operation 1014 ausgeführt wird, dann (i) kann ein Durchschnitt des bei 1014 bestimmten korrigierten GPS-Orts mit dem bei 1020 bestimmten korrigierten GPS-Ort gemittelt werden und (ii) kann ein Durchschnitt der bei 1014 bestimmten korrigierten Fahrzeugorientierung mit der bei 1020 bestimmten korrigierten Fahrzeugorientierung gemittelt werden.
Bei 1022 können der korrigierte GPS-Ort, die korrigierte Fahrzeugorientierung und andere entsprechende Informationen, wie z. B. Zeitstempel und Informationen über benachbarte korrigierte GPS-Orte, in dem Speicher 192 gespeichert werden.
Die oben beschriebenen Operationen sind als veranschaulichende Beispiele gemeint. Die Operationen können abhängig von der Anwendung nacheinander, synchron, gleichzeitig, kontinuierlich, während überlappender Zeiträume oder in einer anderen Reihenfolge ausgeführt werden. Außerdem kann irgendeine der Operationen abhängig von der Implementierung und/oder Reihenfolge von Ereignissen nicht ausgeführt oder übersprungen werden.
Die oben beschriebenen Beispiele enthalten das Aktualisieren der LIDAR-auf-Fahrzeug-Ausrichtung unter Verwendung eines aktualisierten Orts und einer aktualisierten Orientierung, um die Genauigkeit der LIDAR-auf-Fahrzeug-Ausrichtung zu verbessern. Die GPS-Daten werden unter Verwendung der LIDAR-Daten und spezifischer detektierter Merkmale (z. B. Verkehrszeichen, Lichtmasten usw.) korrigiert. Dies wird ausgeführt, um ein System zu schaffen, das im Gegensatz zu allgemeinen Punktregistrierungsansätzen robust gegenüber anfänglichen Vermutungen, Hyperparametern und dynamischen Objekten ist. Die Beispiele enthalten die Merkmals- und/oder Objektdetektion und -charakterisierung unter Verwendung von Intensitäts- und räumlichen Filtern, der Cluster-Bildung und der PCA. Eine flexible Merkmalsfusionsarchitektur ist vorgesehen, um die Ground-Truth-Positionen von Merkmalen und/oder Objekten (z. B. Fahrspurmarkierungen, Lichtmasten, Straßenoberflächen, Gebäudeoberflächen und Ecken) zu berechnen, um die Genauigkeit und Robustheit des Gesamtsystems zu verbessern. Die GPS-Orte werden unter Verwendung von Ground-Truth-Informationen mit Interpolation korrigiert, um ein System zu schaffen, das gegenüber verrauschten Daten und fehlenden Rahmen robust ist. Im Ergebnis werden eine genaue LIDAR-Mittelachsenausrichtung und einen genauer GPS-Ort und eine genaue Kartierung bereitgestellt, was die autonome Merkmalsabdeckung und Leistung verbessert.
Die hier genannten Merkmalsdaten können Merkmalsdaten enthalten, die von anderen Fahrzeugen über eine Fahrzeug-zu-Fahrzeug-Kommunikation und/oder eine Fahrzeug-zu-Infrastruktur-Kommunikation an einem Trägerfahrzeug empfangen werden. Für eine gleiche aktuelle Fahrtroute eines Trägerfahrzeugs können in den oben beschriebenen Beispielen historische Merkmalsdaten verwendet werden. Die historischen Merkmalsdaten können an Bord des Fahrzeugs gespeichert sein und/oder von einem entfernten Server (z. B. einem Server in einem Backoffice, einer zentralen Dienststelle und/oder in einem cloud-basierten Netz) empfangen werden.
Die vorhergehende Beschreibung ist lediglich veranschaulichender Art und ist in keiner Weise vorgesehen, die Offenbarung, ihre Anwendung oder Verwendungen einzuschränken. Die umfassenden Lehren der Offenbarung können in verschiedenen Formen implementiert sein. Während diese Offenbarung spezielle Beispiele enthält, sollte deshalb der wahre Schutzumfang der Offenbarung nicht so eingeschränkt werden, weil andere Modifikationen bei einem Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche offensichtlich werden. Es sollte erkannt werden, dass ein oder mehrere Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser Merkmale, die bezüglich irgendeiner Ausführungsform der Offenbarung beschrieben worden sind, in irgendeiner der anderen Ausführungsform implementiert und/oder mit den Merkmalen irgendeiner der anderen Ausführungsform kombiniert sein, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen einander nicht aus, wobei Permutationen einer oder mehrerer Ausführungsformen miteinander innerhalb des Schutzumfangs dieser Offenbarung verbleiben.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) werden unter Verwendung verschiedener Begriffe, z. B. „verbunden“, „im Eingriff, „gekoppelt“, „benachbart“, „neben“, „oben auf“, „über“, „unter“ und „angeordnet“, beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der keine anderen dazwischenliegenden Elemente zwischen dem ersten und dem zweiten Element vorhanden sind, sie kann aber außerdem eine indirekte Beziehung sein, bei der ein oder mehrere dazwischenliegende Elemente (entweder räumlich oder funktional) zwischen dem ersten und dem zweiten Element vorhanden sind, wenn sie nicht ausdrücklich als „direkt“ beschrieben ist. Wie der Ausdruck wenigstens eines von A, B und C hier verwendet wird, sollte er ausgelegt werden, dass er ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließlichen logischen ODER bedeutet, und nicht ausgelegt werden, dass er „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ bedeutet.
In den Figuren demonstriert die Richtung eines Pfeils, wie durch die Pfeilspitze angegeben ist, im Allgemeinen den Informationsfluss (wie z. B. von Daten oder Anweisungen), der für die Veranschaulichung von Interesse ist. Wenn z. B. das Element A und das Element B verschiedene Informationen austauschen, aber die vom Element A zum Element B übertragenen Informationen für die Veranschaulichung relevant sind, kann der Pfeil vom Element A zum Element B zeigen. Dieser unidirektionale Pfeil impliziert nicht, dass keine anderen Informationen vom Element B zum Element A übertragen werden. Ferner kann das Element B für die vom Element A zum Element B gesendeten Informationen Anforderungen für die oder Empfangsquittungen der Informationen an das Element A senden.
In dieser Anmeldung einschließlich der Definitionen im Folgenden kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich beziehen auf, Teil sein von, oder enthalten: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine kombinatorische Logikschaltung; eine feldprogrammierbare Gatteranordnung (FPGA); eine Prozessorschaltung (gemeinsam benutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam benutzt, dediziert oder Gruppe), die den durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardware-Komponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination aus einigen oder allen der Obigen, wie z. B. in einem System auf einem Chip.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. In einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), dem Internet, einem Weitbereichsnetz (WAN) oder Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann zwischen mehreren Modulen verteilt sein, die über Schnittstellenschaltungen verbunden sind. Mehrere Module können z. B. einen Lastausgleich ermöglichen. In einem weiteren Beispiel kann ein Server-Modul (das außerdem als ein entferntes oder Cloud-Modul bekannt ist) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet wird, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam benutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die etwas oder alles des Codes von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die in Kombination mit zusätzlichen Prozessorschaltungen einiges oder alles des Codes von einem oder mehreren Modulen ausführt. Die Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Dies, mehrere Prozessorschaltungen auf einem einzigen Die, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination aus dem Obigen. Der Begriff gemeinsam benutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die etwas oder alles des Codes von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicher- schaltung, die in Kombination mit zusätzlichen Speichern etwas oder alles des Codes von einem oder mehreren Modulen speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet wird, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich durch ein Medium (wie z. B. auf einer Trägerwelle) ausbreiten; der Begriff computerlesbares Medium kann deshalb als greifbar und nicht transitorisch betrachtet werden. Nicht einschränkende Beispiele eines nicht transitorischen, greifbaren computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie z. B. eine Flash-Speicherschaltung, eine löschbare programmierbare Festwertspeicherschaltung oder eine Maskenfestwertspeicherschaltung), flüchtige Speicherschaltungen (z. B. eine statische Schreib-Lese-Speicher-Schaltung oder eine dynamische Schreib-Lese-Speicher-Schaltung), magnetische Speichermedien (wie z. B. ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Speichermedien (wie z. B. eine CD, eine DVD oder eine Blu-ray-Disc).
Die in dieser Anwendung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen Spezialcomputer implementiert sein, der durch das Konfigurieren eines Universalcomputers erzeugt wird, um eine oder mehrere spezielle in Computerprogrammen verkörperte Funktionen auszuführen. Die oben beschriebenen Funktionsblöcke, Ablaufplankomponenten und anderen Elemente dienen als Software-Spezifikationen, die durch die Routinearbeit eines ausgebildeten Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten prozessorausführbare Anweisungen, die in wenigstens einem nicht transitorischen, greifbaren computerlesbaren Medium gespeichert sind. Die Computerprogramme können außerdem gespeicherte Daten enthalten oder sich auf gespeicherte Daten stützen. Die Computerprogramme können ein grundlegendes Eingabe-/Ausgabesystem (BIOS), das mit der Hardware des Spezialcomputers wechselwirkt, Vorrichtungstreiber, die mit speziellen Vorrichtungen des Spezialcomputers wechselwirken, ein oder mehrere Betriebssysteme, Anwenderanwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie z. B. HTML (Hypertext-Auszeichnungssprache), XML (erweiterbare Auszeichnungssprache) oder JSON (JavaScript-Objektbezeichnung), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Kompilierung und Ausführung durch einen Just-in-Time-Compiler usw. Lediglich als Beispiele kann der Quellcode unter Verwendung der Syntax von Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext-Auszeichnungssprache, 5. Überarbeitung), Ada, ASP (Aktive Server-Seiten), PHP (PHP: Hypertext-Vorprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

LIDAR-auf-Fahrzeug-Ausrichtungssystem, das umfasst: einen Speicher, der konfiguriert ist, Datenpunkte zu speichern, die basierend auf einer Ausgabe eines LIDAR-Sensors und den Orten des globalen Positionierungssystems bereitgestellt werden; und ein Modul zum autonomen Fahren, das konfiguriert ist, einen Ausrichtungsprozess auszuführen, der umfasst: Erhalten der Datenpunkte, Ausführen einer Merkmalsextraktion an den Datenpunkten, um ein oder mehrere Merkmale eines oder mehrerer vorgegebener Typen von Objekten mit einer oder mehreren vorgegebenen Eigenschaften zu detektieren, wobei bestimmt wird, dass das eine oder die mehreren Merkmale einem oder mehreren Zielen entsprechen, weil das eine oder die mehreren Merkmale die eine oder die mehreren vorgegebenen Eigenschaften aufweisen, und wobei einer oder mehrere der Orte des globalen Positionierungssystems jene des einen oder der mehreren Ziele sind, Bestimmen der Ground-Truth-Positionen des einen oder der mehreren Merkmale, Korrigieren des einen oder der mehreren Orte des globalen Positionierungssystems basierend auf den Ground-Truth-Positionen, Berechnen einer LIDAR-zu-Fahrzeug-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems, basierend auf den Ergebnissen des Ausrichtungsprozesses Bestimmen, ob eine oder mehrere Ausrichtungsbedingungen erfüllt sind, und in Reaktion auf die LIDAR-zu-Fahrzeug-Transformation, die die eine oder die mehrere Ausrichtungsbedingungen nicht erfüllt, erneutes Kalibrieren wenigstens einer der LIDAR-zu-Fahrzeug-Transformation oder erneutes Kalibrieren des LIDAR-Sensors.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei: das Modul zum autonomen Fahren konfiguriert ist, während des Ausführens der Merkmalsextraktion wenigstens eines von (i) einem ersten Objekt eines ersten vorgegebenen Typs, (ii) einem zweiten Objekt eines zweiten vorgegebenen Typs oder (ii) einem dritten Objekt eines dritten vorgegebenen Typs zu detektieren; wobei der erste vorgegebene Typ ein Verkehrszeichen ist; der zweite vorgegebene Typ ein Lichtmast ist; und der dritte vorgegebene Typ ein Gebäude ist.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist, während des Ausführens des Ausrichtungsprozesses in einer Offline-Betriebsart zu arbeiten.
LIDAR-auf-Fahrzeugausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist, während des Ausführens des Ausrichtungsprozesses in einer Online-Betriebsart zu arbeiten.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist, während des Ausführens der Merkmalsextraktion: Daten von dem LIDAR-Sensor in ein Fahrzeugkoordinatensystem und dann in ein Weltkoordinatensystem umzusetzen; und die resultierenden Daten des Weltkoordinatensystems zu aggregieren, um die Datenpunkte bereitzustellen.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist, während des Bestimmens der Ground-Truth-Positionen: basierend auf einer Fahrzeuggeschwindigkeit, einem Typ eines Beschleunigungsmanövers und einer Signalstärke eines globalen Positionsbestimmungssystems den Datenpunkten Gewichte zuzuweisen, um die Vertrauensniveaus der Datenpunkte anzugeben; die Datenpunkte der Datenpunkte mit Gewichtswerten, die kleiner als ein vorgegebenes Gewicht sind, zu entfernen; und ein Modell eines Merkmals, das den verbleibenden der Datenpunkte entspricht, zu bestimmen, um die Ground-Truth-Daten zu erzeugen.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei: das LIDAR-auf-Fahrzeug-Ausrichtungssystem an einem Fahrzeug implementiert ist; der Speicher Trägheitsmessdaten speichert; und das Modul zum autonomen Fahren konfiguriert ist, während des Ausrichtungsprozesses basierend auf den Trägheitsmessdaten eine Orientierung des Fahrzeugs zu bestimmen, und die Orientierung basierend auf den Ground-Truth-Daten zu korrigieren.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist, eine Interpolation auszuführen, um den einen oder die mehreren Orte des globalen Positionierungssystems basierend auf zuvor bestimmten korrigierten Orten des globalen Positionierungssystems zu korrigieren.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist: den einen oder die mehreren Orte des globalen Positionierungssystems unter Verwendung eines Ground-Truth-Modells für ein Verkehrszeichen oder einen Lichtmast zu korrigieren; die LIDAR-Punkte für das Verkehrszeichen oder den Lichtmast auf eine Ebene oder eine Linie zu projizieren; einen durchschnittlichen Versatz des globalen Positionierungssystems für mehrere Zeitstempel zu berechnen; den durchschnittlichen Versatz des globalen Positionierungssystems anzuwenden, um den einen oder die mehreren korrigierten Orte des globalen Positionierungssystems bereitzustellen; und eine Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems zu aktualisieren.
LIDAR-auf-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Modul zum autonomen Fahren konfiguriert ist: den einen oder die mehreren Orte des globalen Positionierungssystems und die Trägheitsmessdaten unter Verwendung eines Ground-Truth-Punktabgleichs zu korrigieren, einschließlich des Ausführens eines iterativen Dichteste-Punkte-Algorithmus, um eine Transformation zwischen den aktuellen Daten und den Ground-Truth-Daten zu finden, des Berechnens eines durchschnittlichen Versatzes des globalen Positionierungssystems und eines Versatzes der Fahrzeugorientierung für mehrere Zeitstempel und Anwenden des durchschnittlichen Versatzes des globalen Positionierungssystems und des Versatzes der Fahrzeugorientierung, um den einen oder die mehreren korrigierten Ortes des globalen Positionierungssystems und eine korrigierte Fahrzeugorientierung zu erzeugen; und eine Fahrzeug-zu-Welt-Transformation basierend auf dem einen oder den mehreren korrigierten Orten des globalen Positionierungssystems und den korrigierten Trägheitsmessdaten zu aktualisieren.