DE102022128437A1

DE102022128437A1 - Aggregationsbasierte LIDAR-Datenausrichtung

Info

Publication number: DE102022128437A1
Application number: DE102022128437.9A
Authority: DE
Inventors: Xinyu Du; Yao Hu; Wende Zhang; Hao Yu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-01-06
Filing date: 2022-10-27
Publication date: 2023-07-06
Also published as: US20230213633A1; CN116449356A

Abstract

Ein LIDAR-zu-Fahrzeug-Ausrichtungssystem enthält einen Speicher sowie Module zur Ausrichtung und für autonomes Fahren. Der Speicher speichert Datenpunkte, die auf der Grundlage von einer Ausgabe eines oder mehrerer LIDAR-Sensoren und Lokalisierungsdaten bereitgestellt werden. Das Ausrichtungsmodul führt einen Ausrichtungsprozess durch, welcher umfasst: auf der Grundlage der Lokalisierungsdaten; Bestimmen, ob ein Host-Fahrzeug abbiegt; als Reaktion auf das Abbiegen des Host-Fahrzeugs, Auswählen eines Teils der Datenpunkte; Aggregieren des ausgewählten Teils, um aggregierte Daten bereitzustellen; Auswählen von Zielen auf der Grundlage der aggregierten Daten; und, auf der Grundlage der ausgewählten Ziele, iteratives Reduzieren eines Verlustwertes einer Verlustfunktion, um eine resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen. Das Modul für autonomes Fahren wandelt auf der Grundlage der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix zumindest den ausgewählten Teil in zumindest Koordinaten von Fahrzeugkoordinaten oder Weltkoordinaten um, um resultierende Daten bereitzustellen, und führt auf der Grundlage der resultierenden Daten eine oder mehrere Operationen für autonomes Fahren durch.

Description

Einführung
Die in diesem Abschnitt gelieferten Informationen dienen dem Zweck, den Kontext der Offenbarung allgemein darzulegen. Die Arbeit der hier genannten Erfinder, soweit sie in diesem Abschnitt beschrieben wird, sowie Aspekte der Beschreibung, die zum Zeitpunkt der Einreichung im Übrigen nicht zum Stand der Technik gehören, werden weder ausdrücklich noch stillschweigend als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die vorliegende Offenbarung bezieht sich auf Fahrzeug-Objektdetektionssysteme und insbesondere auf Fahrzeug-Lichtdetektions- und Entfernungsmess-(LIDAR)Systeme.
Fahrzeuge können verschiedene Sensoren zum Detektieren der Umgebung und von Objekten in dieser Umgebung enthalten. Die Sensoren können Kameras, Sensoren für eine funkgestützte Detektion und Entfernungsmessung (Radio Detection and Ranging; RADAR), LIDAR-Sensoren etc. umfassen. Ein Fahrzeug-Controller kann als Reaktion auf die detektierte Umgebung verschiedene Operationen durchführen. Die Operationen können die Durchführung von teil- und/oder vollautonomen Fahrzeugoperationen, Operationen zur Kollisionsvermeidung und Operationen zur Informationsmeldung umfassen. Die Genauigkeit der durchgeführten Operationen kann auf der Genauigkeit der von den Sensoren gesammelten Daten beruhen.
Zusammenfassung
Ein LIDAR-zu-Fahrzeug-Ausrichtungssystem wird offenbart und umfasst einen Speicher, ein Ausrichtungsmodul und ein Modul für autonomes Fahren. Der Speicher ist so konfiguriert, dass er Datenpunkte speichert, die auf der Grundlage von einer Ausgabe eines oder mehrerer LIDAR-Sensoren und Lokalisierungsdaten bereitgestellt werden. Das Ausrichtungsmodul ist so konfiguriert, dass es einen Ausrichtungsprozess durchführt, welcher umfasst: auf der Grundlage der Lokalisierungsdaten, Bestimmen, ob ein Host-Fahrzeug wendet bzw. abbiegt; als Reaktion auf das Abbiegen des Host-Fahrzeugs, Auswählen eines Teils der Datenpunkte; Aggregieren des ausgewählten Teils der Datenpunkte, um aggregierte Daten bereitzustellen; Auswählen von Zielen auf der Grundlage der aggregierten Daten; und, auf der Grundlage der ausgewählten Ziele, iteratives Reduzieren eines Verlustwerts einer Verlustfunktion, um eine resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen. Das Modul für autonomes Fahren ist so konfiguriert, dass es auf der Grundlage der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix zumindest den ausgewählten Teil der Datenpunkte in zumindest Koordinaten von Fahrzeugkoordinaten oder Weltkoordinaten umwandelt, um resultierende Daten bereitzustellen, und auf der Grundlage der resultierenden Daten eine oder mehrere Operationen für autonomes Fahren durchführt.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es die Lokalisierungsdaten von einem oder mehreren globalen Positionssensoren oder Trägheitsmesssensoren empfängt.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es einer Durchführung einer Datenauswahl und -aggregation sowie einer Zielauswahl unterlässt, wenn das Host-Fahrzeug keine Kurve fährt.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es Datenpunkte und die Ziele auf der Grundlage von Wende- bzw. Abbiegepunkten auswählt.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es einen Bereich auf der Grundlage eines Abbiegepunkts auswählt, Bodenpunkte auf der Grundlage des ausgewählten Bereichs entfernt, die Ziele identifiziert und einen Datencluster-Algorithmus durchführt, um eines der Ziele zur Überwachung auszuwählen.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es mehrere Szenen von LIDAR-Daten akkumuliert und auf der Grundlage der mehreren Szenen von LIDAR-Daten den Verlustwert minimiert.
In anderen Fällen ist das Ausrichtungsmodul so konfiguriert, dass es eine Kontinuitätsprüfung durchführt, um zu bestimmen, welcher der Datenpunkte auszuwählen ist und welcher der Datenpunkte zu verwerfen ist.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es: LIDAR-Abtastungen von Daten für einen vordefinierten Raum aggregiert; auf der Grundlage der aggregierten LIDAR-Abtastungen von Daten eine Zielauswahl durchführt; und nach Durchführung der Zielauswahl eine Abwärtsabtastung an jedem Datenrahmen bzw. Daten-Frame, der mit den aggregierten LIDAR-Abtastungen von Daten verbunden ist, unter Verwendung eines Intensitätsfilters und eines Zufallsfilters vornimmt (engl.: down sample), um resultierende Zieldaten bereitzustellen.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es: einen z-Wert für jede von mehreren LIDAR-Abtastungen erhält; eine Normalverteilung der aggregierten Daten erhält, die mit den LIDAR-Abtastungen verbunden sind, um einen ersten Mittelwert der aggregierten Daten, die mit den LIDAR-Abtastungen verbunden sind, zu extrahieren; Daten um den ersten Mittelwert herum auswählt; eine weitere Normalverteilung der ausgewählten Daten um den ersten Mittelwert herum erhält, um einen zweiten Mittelwert zu erhalten, der nicht auf Bodenpunkten basiert; Bodenpunkte um den zweiten Mittelwert herum extrahiert; andere Daten als die Bodenpunkte als Zieldaten kennzeichnet; und, wenn eine vorbestimmte Menge von Zieldaten gesammelt ist, einen Cluster-Algorithmus durchführt, um einen Teil der Zieldaten auszuwählen.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es, wenn der Verlustwert iterativ reduziert wird: Optimierungsparameter und eine anfänglich geschätzte LIDAR-zu-Fahrzeug-Transformationsmatrix lädt; und iterativ (i) die anfänglich geschätzte LIDAR-zu-Fahrzeug-Transformationsmatrix oder eine zuletzt bestimmte LIDAR-zu-Fahrzeug-Transformationsmatrix ändert, um die resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen, (ii) die Änderung in der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix bewertet, einschließlich einer Bestimmung des Verlustwertes, und (iii) auf der Grundlage des Verlustwertes bestimmt, ob eine weitere Iteration durchgeführt werden soll.
In anderen Merkmalen ist das Ausrichtungsmodul so konfiguriert, dass es, wenn die Verlustfunktion ausgewertet wird: eine LIDAR-zu-Welt-Transformationsmatrix unter Verwendung der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix berechnet; die aggregierten Daten auf der Grundlage der LIDAR-zu-Welt-Transformationsmatrix auf Weltkoordinatendaten projiziert; einen binären Baum auf die Weltkoordinatendaten anwendet; Entfernungen bereitstellt, indem es für jeden LIDAR-Datenpunkt eine Entfernung zu einem benachbarten Datenpunkt berechnet; und auf der Grundlage eines Durchschnitts der Entfernungen den Verlustwert bestimmt.
In anderen Merkmalen ist die Verlustfunktion eine dichtebasierte Verlustfunktion, die zumindest eine der folgenden Eigenschaften Schwere der LIDAR-Fehlausrichtung oder Punktdichte relativ zu einem der ausgewählten Ziele charakterisiert.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen: Speichern von Datenpunkten, die auf der Grundlage einer Ausgabe eines oder mehrerer LIDAR-Sensoren und von Lokalisierungsdaten bereitgestellt werden; Durchführen eines LIDAR-zu-Fahrzeug-Ausrichtungsprozesses, welcher umfasst: (i) auf der Grundlage der Lokalisierungsdaten, Bestimmen, ob ein Host-Fahrzeug abbiegt, (ii) als Reaktion auf ein Abbiegen des Host-Fahrzeugs, Auswählen eines Teils der Datenpunkte und Aggregieren des ausgewählten Teils der Datenpunkte, um aggregierte Daten bereitzustellen, (iii) Auswählen von Zielen auf der Grundlage der aggregierten Daten, und (iv) auf der Grundlage der ausgewählten Ziele, iteratives Reduzieren eines Verlustwerts einer Verlustfunktion, um eine resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen; auf der Grundlage der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix, Umwandeln zumindest des ausgewählten Teils der Datenpunkte in zumindest Koordinaten von Fahrzeugkoordinaten oder Weltkoordinaten, um resultierende Daten bereitzustellen; und Durchführen einer oder mehrerer Operationen für autonomes Fahren auf der Grundlage der resultierenden Daten.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeug ferner: Auswählen eines Bereichs auf der Grundlage eines Wendepunkts; Entfernen von Bodenpunkten auf der Grundlage des ausgewählten Bereichs; Identifizieren eines Ziels; und Durchführen eines Datencluster-Algorithmus, um eines der Ziele zur Überwachung auszuwählen.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen ferner: Durchführen einer Kontinuitätsprüfung, um zu bestimmen, welcher der Datenpunkte auszuwählen ist und welcher der Datenpunkte zu verwerfen ist; und Akkumulieren mehrerer Szenen von LIDAR-Daten und, auf der Grundlage der mehreren Szenen von LIDAR-Daten, Minimieren des Verlustwerts.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen ferner: Aggregieren von LIDAR-Datenabtastungen für einen vordefinierten Raum; Durchführen einer Zielauswahl auf der Grundlage der aggregierten LIDAR-Datenabtastungen; und nach Durchführung der Zielauswahl, Vornehmen einer das Abwärtsabtastung jedes Daten-Frames, der mit den aggregierten LIDAR-Datenabtastungen verbunden ist, unter Verwendung eines Intensitätsfilters und eines Zufallsfilters, um die resultierenden Zieldaten bereitzustellen.
In anderen Merkmalen umfasst das Verfahren für autonomen Fahren von Fahrzeugen ferner: Erhalten des z-Wertes für jede von mehreren LIDAR-Abtastungen; Bestimmen zumindest eines Mittelwertes auf der Grundlage der aggregierten Daten, die mit den LIDAR-Abtastungen verbunden sind; Extrahieren von Bodenpunkten auf der Grundlage des zumindest einen Mittelwertes; Kennzeichnen von anderen Daten als die Bodenpunkte als Zieldaten; und, wenn eine vorbestimmte Menge von Zieldaten gesammelt wird, Durchführen eines Cluster-Algorithmus, um einen Teil der Zieldaten auszuwählen. In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen ferner: Erhalten des z-Wertes für jede von mehreren LIDAR-Abtastungen; Erhalten einer Normalverteilung der aggregierten Daten, die mit den LIDAR-Abtastungen verbunden sind, um einen ersten Mittelwert der aggregierten Daten, die mit den LIDAR-Abtastungen verbunden sind, zu extrahieren; Auswählen von Daten um den ersten Mittelwert herum; Erhalten einer weiteren Normalverteilung der ausgewählten Daten um den ersten Mittelwert herum, um einen zweiten Mittelwert zu erhalten, der nicht auf Bodenpunkten basiert; Extrahieren von Bodenpunkten um den zweiten Mittelwert herum; Kennzeichnen von anderen Daten als die Bodenpunkte als Zieldaten; und, wenn eine vorbestimmte Menge von Zieldaten gesammelt wird, Durchführen eines Cluster-Algorithmus, um einen Teil der Zieldaten auszuwählen.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen ferner, wenn der Verlustwert iterativ reduziert wird: Laden von Optimierungsparametern und einer anfänglich geschätzten LIDAR-zu-Fahrzeug-Transformationsmatrix; und iteratives (i) Ändern der anfänglich geschätzten LIDAR-zu-Fahrzeug-Transformationsmatrix oder einer zuletzt bestimmten LIDAR-zu-Fahrzeug-Transformationsmatrix, um die resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen, (ii) Bewerten der Änderung der resultierenden Ll-DAR-zu-Fahrzeug-Transformationsmatrix einschließlich eines Bestimmens des Verlustwerts, und (iii) auf der Grundlage des Verlustwerts, Bestimmen, ob eine weitere Iteration durchgeführt werden soll.
In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen, wenn die der Verlustfunktion ausgewertet wird, ferner: Berechnen einer LIDAR-zu-Welt-Transformationsmatrix unter Verwendung der resultierenden Ll-DAR-zu-Fahrzeug-Transformationsmatrix; Projizieren der aggregierten Daten auf Weltkoordinatendaten auf der Grundlage der LIDAR-zu-Welt-Transformationsmatrix; auf der Grundlage der Weltkoordinaten, Bereitstellen von Entfernungen, indem für jeden LIDAR-Datenpunkt eine Entfernung zu einem benachbarten Datenpunkt berechnet wird; und Bestimmen des Verlustwertes auf der Grundlage eines Durchschnitts der Entfernungen. In anderen Merkmalen umfasst das Verfahren für autonomes Fahren von Fahrzeugen, wenn die Verlustfunktion ausgewertet wird, ferner: Berechnen einer LIDAR-zu-Welt-Transformationsmatrix unter Verwendung der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix; Projizieren der aggregierten Daten auf Weltkoordinatendaten auf der Grundlage der LIDAR-zu-Welt-Transformationsmatrix; Anwenden eines binären Baums auf die Weltkoordinatendaten; Bereitstellen von Entfernungen, indem für jeden LIDAR-Datenpunkt eine Entfernung zu einem benachbarten Datenpunkt berechnet wird; und Bestimmen des Verlustwerts auf der Grundlage eines Durchschnitts der Entfernungen.
In anderen Merkmalen ist die Verlustfunktion eine dichtebasierte Verlustfunktion, die zumindest eine der folgenden Eigenschaften Schwere der LIDAR-Fehlausrichtung oder Punktdichte relativ zu einem der ausgewählten Ziele charakterisiert.
Weitere Anwendungsbereiche der vorliegenden Offenbarung werden aus der detaillierten Beschreibung, den Ansprüchen und den Zeichnungen ersichtlich. Die detaillierte Beschreibung und die spezifischen Beispiele dienen lediglich zu Veranschaulichungszwecken und sollen den Umfang der Offenbarung nicht einschränken.
Figurenliste
Die vorliegende Offenbarung wird aus der detaillierten Beschreibung und den beigefügten Zeichnungen besser verständlich, wobei:

1 ein funktionales Blockdiagramm eines beispielhaften Fahrzeugsystems ist, das ein Ausrichtungsvalidierungsmodul gemäß der vorliegenden Offenbarung enthält;
2 ein funktionales Blockdiagramm eines beispielhaften Ausrichtungssystems einschließlich eines Fahrzeugs und eines Back-Office gemäß der vorliegenden Offenbarung ist;
3 ein beispielhaftes Ausrichtungsverfahren gemäß der vorliegenden Offenbarung veranschaulicht;
4 das Ausrichtungsverfahren von 3 in weiteren Details veranschaulicht;
5 ein beispielhaftes Puffermanagement- und Datenfilterverfahren gemäß der vorliegenden Offenlegung veranschaulicht;
6 einen beispielhaften Algorithmus zur Merkmalsextraktion und -filterung gemäß der vorliegenden Offenbarung veranschaulicht;
7 einen beispielhaften Zielauswahl-Algorithmus gemäß der vorliegenden Offenbarung veranschaulicht;
8 einen beispielhaften Optimierungsalgorithmus gemäß der vorliegenden Offenbarung veranschaulicht;
9 eine beispielhafte Darstellung des Verlusts gegen die Translationsentfernung unter Verwendung eines ersten Verfahrens zur Dichtecharakterisierung gemäß der vorliegenden Offenbarung ist; und
10 eine beispielhafte Darstellung des Verlusts gegen die Translationsentfernung unter Verwendung eines zweiten Verfahrens zur Dichtecharakterisierung gemäß der vorliegenden Offenbarung ist.

In den Zeichnungen können Bezugsziffern wiederverwendet werden, um ähnliche und/oder identische Elemente zu identifizieren.
Detaillierte Beschreibung
Ein Modul für autonomes Fahren kann Operationen zur Sensorjustierung bzw. - ausrichtung und -fusion, Wahrnehmungs- und Lokalisierungsoperationen und Operationen zur Wegplanung und Fahrzeugsteuerung durchführen. Die genannten Operationen können auf der Grundlage von Daten, die von verschiedenen Sensoren wie etwa LIDAR-Sensoren, RADAR-Sensoren, Kameras und einem Trägheitsmesssensor (oder einer Trägheitsmesseinheit) gesammelt werden, sowie von von einem globalen Positionsbestimmungssystem (GPS) gesammelten Daten durchgeführt werden. Die Sensorausrichtung und -fusion kann die eine Ausrichtung eines Koordinatensystems jedes Sensors mit einem Bezugskoordinatensystem wie etwa einem Fahrzeugkoordinatensystem umfassen. Fusion kann sich auf das Sammeln und Kombinieren der Daten von den verschiedenen Sensoren beziehen.
Wahrnehmung bezieht sich auf das Überwachen einer Fahrzeugumgebung und die Detektion und Identifizierung verschiedener Merkmale und/oder Objekte in der Umgebung. Dies kann auch ein Bestimmen verschiedener Aspekte der Merkmale und Objekte einschließen. Der Begriff „Merkmal“, wie er hierin verwendet wird, bezieht sich auf einen oder mehr detektierte Punkte, die zuverlässig verwendet werden können, um einen Standort eines Objekts zu bestimmen. Dies ist anders als bei anderen detektierten Datenpunkten, die keine zuverlässigen Informationen hinsichtlich des Standorts eines Objekts bereitstellen, zum Beispiel einem Punkt auf einem Blatt oder Ast eines Baumes. Die bestimmten Aspekte können Distanzen bzw. Entfernungen, Standorte, Größen, Formen, Ausrichtungen bzw. Orientierungen, Trajektorien etc. von Objekten umfassen. Dies kann auch ein Bestimmen der Art eines detektierten Objekts einschließen, zum Beispiel ob es sich bei dem Objekt um ein Verkehrsschild, ein Fahrzeug, einen Pfosten bzw. Mast, einen Fußgänger, eine Bodenfläche etc. handelt. Es können auch Informationen über eine Fahrbahnmarkierung detektiert werden. Ein Merkmal kann sich auf eine Oberfläche, eine Kante oder eine Ecke eines Gebäudes beziehen. Lokalisierung bezieht sich auf Informationen, die über ein Host-Fahrzeug bestimmt werden, wie etwa Standort, Geschwindigkeit, Fahrtrichtung etc. Die Wegplanung und Fahrzeugsteuerung (z. B. Bremsen, Lenken und Beschleunigen) werden auf der Grundlage der erfassten Wahrnehmungs- und Lokalisierungsinformationen durchgeführt.
Ein Fahrzeug kann mehrere LIDAR-Sensoren enthalten. Die Ausrichtung der LIDAR-Sensoren einschließlich der LIDAR-zu-Fahrzeug-Ausrichtung und LIDAR-zu-LIDAR- Ausrichtung beeinflusst die Genauigkeit von bestimmten Wahrnehmungs- und Lokalisierungsinformationen einschließlich der Merkmals- und Objektinformationen, wie sie oben beschrieben wurden. GPS-Messungen werden zur Fahrzeuglokalisierung, Abbildung und LIDAR-Ausrichtung verwendet.
Die von verschiedenen LIDAR-Sensoren gesammelten Daten werden vor einer Auswertung in dasselbe Koordinatensystem transformiert (oder projiziert). Die Ll-DAR-Daten können zum Beispiel in ein Fahrzeugkoordinatensystem oder ein Weltkoordinatensystem transformiert werden. Die Genauigkeit dieser Transformation basiert auf dem Ausrichtungszustand des Ausrichtungssystems. Die Ausrichtung bezieht sich darauf, ob Einträge in einer Transformationsmatrix T_LtoV, die verwendet wird, um LIDAR-Koordinatendaten in Fahrzeugkoordinatendaten zu transformieren, gültig sind. Die Transformationsmatrix T_LtoV kann verwendet werden, um Koordinaten im Fahrzeugkoordinatensystem in LIDAR-Koordinatendaten zu transformieren. Die Ausrichtung kann sich aus verschiedenen Gründen im Laufe der Zeit verschlechtern oder fehlerhaft werden, so dass die Einträge der Transformationsmatrix T_LtoV nicht mehr gültig sind. Die Ausrichtung kann sich aufgrund einer falschen Ausrichtung eines Sensors, von Vibrationen eines Sensors, eines Unfalls etc. verschlechtern. Die Neujustierung bzw. Neuausrichtung der LIDAR-Sensoren kann in einem Ausrichtungs-Servicezentrum von einem geschulten Servicetechniker unter Verwendung einer Spezialausrüstung offline durchgeführt werden. Der Kunde eines Fahrzeugs kann eine Offline-Ausrichtung der LIDAR-Sensoren typischerweise nicht durchführen.
Die Aggregation von LIDAR-Frames umfasst die Verwendung von Lokalisierungsdaten wie etwa GPS-Daten und Daten von einer Trägheitsmesseinheit (IMU), LIDAR-Daten und einer Transformationsmatrix T_LtoV für die LIDAR-zu-Fahrzeug-Koordinatenausrichtung (auf die Folgenden als „Transformationsmatrix T_Ltov“ verwiesen wird). Die Transformationsmatrix T_LtoV wird verwendet, um resultierende Daten in einem Fahrzeugkoordinatensystem bereitzustellen. Falls keine Justierung bzw. Ausrichtung durchgeführt wird, ist dann ein resultierendes Bild aufgrund von Fehlern in der Transformationsmatrix T_LtoV unscharf. Eine fehlerhafte Ausrichtung bzw. Fehlausrichtung kann Fehler erzeugen, wenn beispielsweise Manöver eines autonomen Fahrzeugs, eine Objektdetektion, eine Kollisionsvermeidung etc. durchgeführt werden.
Die hierin dargelegten Beispiele schließen eine Online-Fehlausrichtungsdetektion und -korrektur ein. Bereitgestellt wird ein Ausrichtungsalgorithmus, der ein Bestimmung einer gültigen Transformationsmatrix T_LtoV zum Transformieren von Daten zwischen LIDAR- und Fahrzeugkoordinaten einschließt. Es wird ein Ausrichtungsalgorithmus offenbart, der eine Punktdichte einer aggregierten LIDAR-Punktwolke eines ausgewählten Ziels maximiert. Der Betrag eines Ausrichtungsfehlers nimmt tendenziell zu, wenn das Volumen einer Punktwolke zunimmt (oder die Dichte der Punktwolke abnimmt). Durch Erhöhen der Punktdichte und/oder Verringern der Volumina von Punkten, die mit ausgewählten Zielen verbunden sind, wird die Schärfe der Bilder verbessert und wird der Betrag des Ausrichtungsfehlers verringert.
Der Ausrichtungsalgorithmus umfasst: einen Subalgorithmus, um LIDAR-Daten dynamisch zu verarbeiten, um Ausrichtungsergebnisse zu berechnen; einen Subalgorithmus, um ein oder mehr Ziele während eines Kurvenmanövers automatisch auszuwählen; die Verwendung einer oder mehrerer Verlustfunktionen; einen Subalgorithmus, um die eine oder mehr Verlustfunktionen zu optimieren, die verwendet wird oder werden; und einen Subalgorithmus, um unter Verwendung mehrerer Datenszenen Ergebnisse zu erzeugen. Bei den Verlustfunktionen kann es sich um dichtebasierte Verlustfunktionen handeln, die verwendet werden, um der Schwere der Fehlausrichtung zu charakterisieren. Der Subalgorithmus, um die eine oder mehr Verlustfunktionen zu optimieren, beschleunigt einen entsprechenden iterativen Prozess, der wie weiter unten erläutert durchgeführt wird. Jede Szene von Daten bezieht sich auf einen Satz von Bildern von LIDAR-Daten, die für einen bestimmten Bereich, durch den ein Fahrzeug gefahren ist, gesammelt wurden. Die für mehrere Szenen gesammelten Daten werden verwendet, um die Robustheit der bestimmten Transformation zu verbessern. Der Ausrichtungsalgorithmus führt eine Zielauswahl durch und ist auf beliebig geformtes Ziel anwendbar, das zu Ausrichtungszwecken verwendet wird.
Die Transformationsmatrix T_LtoV kann durch Gleichung 1 repräsentiert werden, wobei R eine 3x3-Drehmatrix und T ein Translationsvektor ist. Die Drehmatrix R wird auf der Grundlage von Roll-, Nick- und Gierwinkeln erzeugt, wie durch Gleichung 2 dargestellt ist. Der Translationsvektor T kann durch Gleichung 3 repräsentiert werden und ist ein 3x1-Vektor, der für eine Translation verwendet wird, wobei T_x, T_y, T_z Translationswerte für die x-, y- und z-Richtungen sind. R und T sind abhängig von T_x, T_y, T_z und den Roll-, Nick- und Gierwinkeln. ${Transformationsmatrix T}_{LtoV} = [\begin{matrix} R & T \\ 0 & 1 \end{matrix}]$
$\begin{array}{l} R = R_{z} (α) R_{y} (β) R_{x} (γ) = \\ [\begin{matrix} cos α & - sin α & 0 \\ sin α & cos α & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} cos β & 0 & sin β \\ 0 & 1 & 0 \\ - sin β & 0 & cos β \end{matrix}] [\begin{matrix} 1 & 0 & 0 \\ 0 & cos γ & - sin γ \\ 0 & sin γ & cos γ \end{matrix}] = \\ [\begin{matrix} cos α cos β & cos α sin β sin γ - sin α cos γ & cos α sin β cos γ + sin α sin γ \\ sin α cos β & sin α sin β sin γ + cos α cos γ & sin α sin β cos γ - cos α sin γ \\ - sin β & cos β sin γ & cos β cos γ \end{matrix}] \end{array}$
$T = [\begin{matrix} T_{x} \\ T_{y} \\ T_{z} \end{matrix}]$
Die Daten in Fahrzeugkoordinaten sind gleich einem Produkt aus der Transformationsmatrix T_LtoV und den gesammelten LIDAR-Sensordaten. Eine Umkehrung bzw. Inverse der Transformationsmatrix T_LtoV kann verwendet werden, um von den Fahrzeugkoordinaten auf die LIDAR-Koordinaten zu transformieren.
Die hierin dargelegten Beispiele umfassen LIDAR-zu-Fahrzeug-Ausrichtungssysteme und -algorithmen, die die Transformationsmatrix T_LtoV „online“ erzeugen. Die Transformationsmatrix T_LtoV wird verwendet, um eine dynamische lineare Abbildung zwischen LIDAR- und Fahrzeugkoordinaten zu erstellen. Dies liefert eine dynamische Kalibrierung sowohl für einzelne Fahrzeuge als auch für eine große Fahrzeugflotte, während der Bedarf an Ausrichtungen in der Produktionsstätte, im Autohaus und/oder in der Servicestation minimiert und/oder eliminiert wird.
1 zeigt ein beispielhaftes Fahrzeugsystem 100 eines Fahrzeugs 102, das ein Online-Ausrichtungsmodul 104 enthält. Mittels des Online-Ausrichtungsmoduls 104 durchgeführte Operationen werden weiter unten in Bezug auf die 1-10 beschrieben. Das Fahrzeugsystem 100 kann ein Modul 105 für autonomes Fahren, ein Karosseriesteuerungsmodul (BCM) 107, ein Telematikmodul 106, ein Antriebssteuerungsmodul 108, ein Servolenksystem 109, ein Bremssystem 111, ein Navigationssystem 112, ein Infotainmentsystem 114, eine Klimaanlage 116 und andere Fahrzeugsysteme und -module 118 umfassen. Das Modul 105 für autonomes Fahren umfasst das Online-Ausrichtungsmodul 104, ein Fusionsmodul 113, ein Wahrnehmungsmodul 115, ein Abbildungs- und Lokalisierungsmodul 117 und ein Wegplanungsmodul 121. Das Abbildungs- und Lokalisierungsmodul 117 kann ein GPS-Korrekturmodul enthalten. Die Funktionsweise dieser Module wird weiter unten beschrieben.
Die Module und Systeme 104-108, 112-115, 118 und 121 können über einen Bus eines Controller-Area-Netzwerk (CAN), ein Ethernet-Netzwerk, einen Bus eines lokalen Verbundnetzwerks (Local Interconnect Network; LIN), einen anderen Bus oder ein anderes Kommunikationsnetzwerk und/oder drahtlos miteinander kommunizieren. Das Element 119 kann sich auf einen CAN-Bus, ein Ethernet-Netzwerk, einen LIN-Bus und/oder einen anderen Bus und/oder ein anderes Kommunikationsnetzwerk beziehen und/oder dieses umfassen. Diese Kommunikation kann andere Systeme wie etwa die Systeme 109, 111, 116 einschließen. Eine Stromquelle 122 kann einbezogen sein und das Modul 105 für autonomes Fahren und andere Systeme, Module, Geräte und/oder Komponenten mit Strom versorgen. Die Stromquelle 122 kann ein Zusatzstrommodul, eine oder mehrere Batterien, Generatoren und/oder andere Stromquellen umfassen.
Das Telematikmodul 106 kann Sende-Empfangsgeräte bzw. Transceiver 130 und ein Telematiksteuerungsmodul 132 umfassen. Das Antriebssteuerungsmodul 108 kann den Betrieb eines Antriebssystems 136 steuern, das ein Motorsystem 138 und/oder einen oder mehrere Elektromotoren 140 umfassen kann. Das Motorsystem 138 kann einen Verbrennungsmotor 141, einen Anlassermotor 142 (oder Anlasser), ein Kraftstoffsystem 144, ein Zündsystem 146 und ein Drosselsystem 148 umfassen.
Das Modul 105 für autonomes Fahren kann die Module und Systeme 106, 108, 109, 111, 112, 114, 116, 118 und andere Vorrichtungen und Systeme auf der Grundlage der Daten von Sensoren 160 steuern. Die anderen Vorrichtungen und Systeme können Fenster- und Türaktuatoren 162, Innenleuchten 164, Außenleuchten 166, einen Motor und eine Verrieglung 168 für einen Kofferraum, Sitzpositionsmotoren 170, Sitztemperatursteuerungssysteme 172 und Fahrzeugspiegelmotoren 174 einschließen. Die Sensoren 160 können Temperatursensoren, Drucksensoren, Volumenstromsensoren, Positionssensoren etc. umfassen. Die Sensoren 160 können LIDAR-Sensoren 180, RADAR-Sensoren 182, Kameras 184, einen Trägheitsmesssensor 186, GPS-Sensoren 190 und/oder andere Umgebungs- und Merkmalsdetektionssensoren umfassen. Die GPS-Sensoren 190 können als Teil des Navigationssystems 112 implementiert sein. Die LIDAR-Sensoren 180, der Trägheitsmessungssensor 186 und die GPS-Sensoren 190 können die LIDAR-Datenpunkte, Trägheitsmessungsdaten und GPS-Daten bereitstellen, auf die im Folgenden verwiesen wird.
Das Modul 105 für autonomes Fahren kann einen Speicher 192 enthalten, der Sensordaten, historische Daten, Ausrichtungsinformationen etc. speichern kann. Der Speicher 192 kann spezielle Puffer enthalten, auf die unten verwiesen wird.
2 zeigt eine beispielhaftes Justierungs- bzw. Ausrichtungssystem 200, das ein erstes (oder Host-) Fahrzeug (z. B. das Fahrzeug 102 von 1) und/oder andere Fahrzeuge, ein verteiltes Kommunikationsnetzwerk 202 und ein Backoffice 204 umfasst. Das Host-Fahrzeug enthält das Modul 105 für autonomes Fahren, die Fahrzeugsensoren 160, das Telematikmodul 106 und Aktoren 210. Die Aktuatoren 210 können Motoren, Treiber, Ventile, Schalter etc. umfassen.
Bei dem Backoffice 204 kann es sich um ein Zentralbüro handeln, das Dienste für die Fahrzeuge einschließlich Datenerfassungs- und -verarbeitungsdienste bereitstellt. Das Backoffice 204 kann einen Transceiver 211 und einen Server 214 mit einem Steuerungsmodul 216 und einem Speicher 218 aufweisen. Zusätzlich oder als Alternative dazu können die Fahrzeuge mit anderen cloud-basierten Netzwerkvorrichtungen als dem Server kommunizieren.
Das Modul 105 für autonomes Fahren kann ein Sensordatenerfassungsmodul 212, das Online-Ausrichtungsmodul 104, das Fusionsmodul 113, das Wahrnehmungsmodul 115, das Abbildungs- und Lokalisierungsmodul 117 und das Wegplanungsmodul 121 umfassen. Das Sensordatenerfassungsmodul 212 kann Daten von den Sensoren 160 einschließlich LIDAR-Daten von mehreren LIDAR-Sensoren sammeln bzw. erfassen. Das Online-Ausrichtungsmodul 104 kann auf der Grundlage von Ausgaben der Sensoren 160 (z. B. der Sensoren 180, 182, 184, 186, 190) Sensorausrichtungsoperationen durchführen, wie weiter unten beschrieben wird. Das Fusionsmodul 113 aggregiert die von den Differenzsensoren empfangenen Daten, nachdem sie beispielsweise in Fahrzeug- oder Weltkoordinaten transformiert wurden. Die Aggregation kann zeitbasiert sein.
Das Online-Ausrichtungsmodul 104 bestimmt, ob die LIDAR-Sensoren und/oder andere Sensoren ausgerichtet sind, d. h. ob die Differenzen in den Informationen, die von den LIDAR-Sensoren und/oder anderen Sensoren für dasselbe oder dieselben Merkmale und/oder Objekte bereitgestellt werden, innerhalb vorbestimmter Bereiche zueinander liegen. Das Online-Ausrichtungsmodul 104 kann Differenzwerte für sechs Freiheitsgrade der LIDAR-Sensoren einschließlich Roll-, Nick-, Gier-, x-, y- und z-Differenzwerte bestimmen und bestimmt auf der Grundlage dieser Informationen, ob die LIDAR-Sensoren ausgerichtet sind. Die x-Koordinate kann sich auf eine seitliche horizontale Richtung beziehen. Die y-Koordinate kann sich auf eine Vorwärts- und Rückwärts- oder Längsrichtung beziehen, und die z-Richtung kann sich auf eine vertikale Richtung beziehen. Die x-, y- und z-Koordinaten können vertauscht und/oder anders definiert werden. Falls sie nicht ausgerichtet sind, können einer oder mehrere der LIDAR-Sensoren neukalibriert werden und/oder kann ein Ausrichtungsprozess, wie unten weiter beschrieben wird, durchgeführt werden.
Das Wahrnehmungsmodul 115 kann Wahrnehmungsoperationen auf der Grundlage der transformierten und aggregierten Sensordaten durchführen, die vom Fusionsmodul 113 bereitgestellt werden. Die empfangenen Daten können verwendet werden, um Aspekte einer Umgebung zu bestimmen, die ein entsprechendes Host-Fahrzeug (z. B. das Fahrzeug 102 von 1) umgibt. Dies kann (i) ein Erzeugen von Wahrnehmungsinformationen, wie oben beschrieben, und/oder (ii) eine Detektion und Identifizierung von Merkmalen und Objekten, sofern dies nicht bereits erfolgt ist, und ein Bestimmen von Positionen, Entfernungen und Trajektorien der Merkmale und Objekte relativ zum Host-Fahrzeug 102 einschließen. Das Abbildungs- und Lokalisierungsmodul 117 führt GPS-Abbildungs- und Lokalisierungsoperationen durch, einschließlich einer GPS-Positionsbestimmung in Echtzeit, die sich auf die Bereitstellung von GPS-Informationen für einen aktuellen Standort des Host-Fahrzeugs bezieht.
Das Wegplanungsmodul 121 kann einen Weg für das Fahrzeug auf der Grundlage einer Ausgabe des Abbildungs- und Lokalisierungsmoduls 117 bestimmen. Das Wegplanungsmodul 121 kann Operationen für ein autonomes Fahrzeug durchführen, einschließlich einer Steuerung von Operationen des Fahrzeugs 102 auf der Grundlage des bestimmten Weges, einschließlich einer Steuerung von Operationen des Servolenksystems 109, des Antriebssteuerungsmoduls 108, des Bremssystems 111 und/oder anderer Systeme und Vorrichtungen von 1. Dies kann eine Steuerung des Betriebs der Aktuatoren 210 und/oder eine Meldung von Informationen, Erzeugung von Alarmmeldungen, eine Warnung für Fahrzeuge in der Nähe etc. umfassen. Die Operationen für ein autonomes Fahrzeug können Kollisionsvermeidungsoperationen und/oder Informationsmeldeoperationen umfassen.
Das Modul 105 für autonomes Fahren kann in einem Offline-Modus oder einem Online-Modus arbeiten. Der Offline-Modus bezieht sich auf den Fall, wenn das Backoffice 204 Daten sammelt und eine Datenverarbeitung für das Modul 105 für autonomes Fahren durchführt. Dies kann zum Beispiel das Sammeln von GPS-Daten vom Fahrzeug 102 und Durchführen einer GPS-Positionsbestimmungskorrektur und einer LIDAR-Ausrichtung für eine Datenkommentierung und Bereitstellen korrigierter GPS-Daten und einer Datenkommentierung für das Modul 105 für autonomes Fahren umfassen. Ein neuronales Netz des Moduls 105 für autonomes Fahren kann auf der Grundlage der Datenkommentierung trainiert werden. GPS-Positionskorrekturen können vor einer Datenkommentierung vorgenommen werden. Obwohl in 2 nicht gezeigt, kann das Steuerungsmodul 216 des Servers 214 eines oder mehrere der Module 212, 104, 113 enthalten und/oder ähnliche Operationen wie eines oder mehrere der Module 212, 104 und/oder 113 durchführen.
Während des Offline-Modus verarbeitet der Server 214 zuvor über einen ausgedehnten Zeitraum gesammelte Daten. Während des Online-Modus führt das Modul 105 für autonomes Fahren die GPS-Positionsbestimmungskorrektur und/oder die LIDAR-Ausrichtung durch. Dies kann mit oder ohne Hilfe einer cloud-basierten Netzwerkvorrichtung wie etwa des Servers 214 durchgeführt werden. Während des Online-Modus führt das Modul 105 für autonomes Fahren die GPS-Positionsbestimmung in Echtzeit und LIDAR-Ausrichtung unter Verwendung der gesammelten und/oder historische Daten durch. Dies kann von anderen Fahrzeugen und/oder Infrastrukturvorrichtungen gesammelte Daten umfassen. Die cloud-basierte Netzwerkvorrichtung kann historische Daten, historische Ergebnisse bereitstellen und/oder andere Operationen durchführen, um die GPS-Positionsbestimmung in Echtzeit und LIDAR-Ausrichtung zu unterstützen. Die GPS-Positionsbestimmung in Echtzeit bezieht sich auf eine Bereitstellung von GPS-Informationen für einen aktuellen Standort des Host-Fahrzeugs. Die Informationen zur LIDAR-Ausrichtung werden für den aktuellen Zustand eines oder mehrerer LIDAR-Sensoren erzeugt.
Die Module 105, 212, 104, 113, 115, 117, 121 können auf den Speicher 192 zugreifen. Der Speicher 192 kann zum Beispiel einen Rohdatenpuffer 220, einen Zieldatenpuffer 222, einen Ergebnis-Transformationsmatrixpuffer 224 und andere Puffer 226 enthalten. Der Rohdatenpuffer 220 kann Rohdaten speichern, die von Sensoren wie etwa den LIDAR-Sensoren 180 von 1 gesammelt werden. Der Zieldatenpuffer 222 kann Daten speichern, die mit einem oder mehreren ausgewählten Zielen verbunden sind. Der Ergebnis-Transformationsmatrixpuffer 224 kann eine bestimmte Transformationsmatrix speichern, die unter Verwendung der Methoden und Algorithmen der 3-8 bestimmt wurde.
3 zeigt ein beispielhaftes Ausrichtungsverfahren, das mittels des Online-Ausrichtungsmoduls 104 der 1-2 implementiert werden kann. Das Ausrichtungsverfahren kann die Verfahren und Algorithmen der 4-8 umfassen, die durch die Systeme der 1-2 implementiert werden können. Das Ausrichtungsverfahren wird durchgeführt, um eine beste Ausrichtungs-Transformationsmatrix T_LtoV zu bestimmen, die eine 4x4-Matrix ist. Die Transformationsmatrix ist eine lineare Abbildung, die für dynamische Transformationen von Fahrzeug-zu-LIDAR-Koordinaten oder von LIDAR-zu-Fahrzeug-Koordinaten verwendet werden kann. Das Ausrichtungsverfahren kann iterativ durchgeführt werden und bei 300 beginnen. Bei 302 können LIDAR-Daten und Lokalisierungsdaten in den Rohdatenpuffer 220 geladen werden. Ein Zeitstempel i der LIDAR-Daten kann durch Gleichung 4 repräsentiert werden. Die Lokalisierungsdaten können durch Gleichung 5 repräsentiert werden und können von den GPS-Sensoren 190 und/oder dem Trägheitsmesssensor 186 bereitgestellt werden. Die Sensoren 190 und 186 stellen Informationen über die Ausrichtung und Translation des Fahrzeugs bereit. Gleichung 5 liefert eine Fahrzeug-(V-)zu-Welt-(W-)Transformationsmatrix T_VtoW,i. $L_{i} = {[x_{i}, y_{i}, z_{i}]}^{T}$
$T_{V t o W, i} = [\begin{matrix} R_{i} & T_{i} \\ 0 & 1 \end{matrix}], w o b e i T = [\begin{matrix} T_{x, i} \\ T_{y, i} \\ T_{z, i} \end{matrix}]$
Bei 304 kann das Online-Ausrichtungsmodul 104 bestimmen, ob das Fahrzeug 102 eine Kurve fährt. Kurvenfahren (oder Abbiegen) bezieht sich darauf, wenn das Fahrzeug nach links oder rechts abbiegt. Dies kann Links- und Rechtsabbiegen, U-Turns bzw. Kehrtwenden, Fahren auf einer kreisförmigen Einfahrts- oder Ausfahrtsrampe etc. umfassen. Falls das Fahrzeug eine Kurve fährt, wird eine Operation 306 ausgeführt; andernfalls wird die Operation 302 ausgeführt. Dies stellt sicher, dass sich das Fahrzeug zum Zeitpunkt der Ausrichtung bewegt. Falls sich das Fahrzeug nicht bewegt, wird die Ausrichtung nicht durchgeführt. In einer Ausführungsform wird die Ausrichtung nicht durchgeführt, falls das Fahrzeug nicht abbiegt.
Bei 306 wählt das Online-Ausrichtungsmodul 104 die mit dem Kurvenfahr- (oder Abbiege-)ereignis verbundene Daten aus und fasst sie zusammen bzw. aggregiert sie. Die aggregierten LIDAR-Daten in Weltkoordinaten L^W können durch Gleichung 6 repräsentiert werden, wobei X eine Matrixmultiplikation ist, $L_{i}^{W} = {[x_{i}^{w}, y_{i}^{w}, z_{i}^{w}]}^{T}$

ist und bestimmte Punkte auf der Grundlage von Wende- - bzw. Abbiegepunkten (engl.: turning points) ausgewählt werden, wie weiter unten beschrieben wird. Das Verfahren von 3 ist ein Optimierungsverfahren, das mit einer anfänglichen Schätzung und/oder Vorgabe der Transformationsmatrix T_LtoV beginnt und dann eine Optimierung der Einträge in dieser Matrix umfasst. $L^{W} : L^{W} = {L_{i}^{W}} = {T_{VtoW,i} {X T}_{LtoV} {X L}_{i}}$
Bei 308 führt das Online-Ausrichtungsmodul 104 auf der Grundlage der aggregierten Daten eine Zielauswahl durch. Das Online-Ausrichtungsmodul 104 bestimmt einen Wendepunkt und bestimmt auf der Grundlage des Wendepunkts einen ausgewählten, zu überwachenden Bereich. Der Umfang des ausgewählten Bereichs kann kreisförmig sein und einen vorbestimmten Abstand vom Wendepunkt haben. Bodenpunkte werden aus dem ausgewählten Bereich entfernt und ein oder mehr Ziele im ausgewählten Bereich werden zur Überwachung ausgewählt. Die Bodenpunkte j werden aus LYV ausgewählt, wobei Gleichung 7 gilt. Die Bodenpunkte werden entfernt, und dann wird ein Datencluster-Algorithmus wie etwa eine dichtebasierte räumliche Cluster-Anwendung mit Rauschen (DBSCAN) implementiert bzw. umgesetzt, um ein oder mehr Ziele zu identifizieren und auszuwählen. Jedes Ziel (z. B. ein Lichtmast, ein Verkehrsschild, ein Baum etc.) wird mit der größten Anzahl von Punkten ausgewählt, die mit einem Bodenpunkt verbunden sind.
Bei 310 bestimmt das Online-Ausrichtungsmodul 104, ob der Zieldatenpuffer 222 voll ist. Falls ja, wird Operation 312 durchgeführt; andernfalls kann Operation 302 durchgeführt werden. Sobald genügend Zieldaten (z. B. mit 3-10 Ziele verbundene Daten) vorhanden sind, wird die Operation 312 ausgeführt.
Bei 312 führt das Online-Ausrichtungsmodul 104 eine Optimierung der Verlustfunktion durch, die mittels Gleichung 7 repräsentiert werden kann. Das Online-Ausrichtungsmodul 104 sucht nach einer besten Ausrichtungs-Transformationsmatrix T_LtoV um die Verlustfunktion mit gradientenbasierter Variantenschrittoptimierung zu minimieren. $Verlust = \frac{\sum_{i = 1}^{N} \sum_{j}^{M} \sqrt{{(x_{j}^{W} - x_{i}^{W})}^{2} + {(y_{j}^{W} - y_{i}^{W})}^{2} + {(z_{j}^{W} - z_{i}^{W})}^{2}}}{(M * N)}$
Die Optimierung der Verlustfunktion wird durchgeführt, um die Entfernungen der Punkte relativ zu einem Bezugspunkt für ein Ziel zu minimieren und somit die Punktdichte für jedes Ziel zu maximieren und infolgedessen die Bilder der ein oder mehr Ziele zu schärfen. Das Verfahren kann nach Durchführung der Operation 312 bei 314 enden. Das oben beschriebene Verfahren liefert einen Gesamtablauf und umfasst (i) einen dynamischen Zielauswahlalgorithmus und (ii) einen schnellen Optimierungsalgorithmus.
4 zeigt das Ausrichtungsverfahren von 3 in weiteren Details. Das Verfahren kann bei 400 beginnen. Bei 402 lädt das Online-Ausrichtungsmodul 104 LIDAR-Frames und Trägheitsnavigations-(INS-)daten zum Beispiel von den Sensoren 186, 190. Die LIDAR-Frames und INS-Daten können beispielsweise in Warteschlangen des Moduls 105 für autonomes Fahren geladen werden.
Bei 404 akkumuliert das Online-Ausrichtungsmodul 104 N Frames von Daten, um einen Scan bzw. eine Abtastung zu erstellen. Bei 406 berechnet das Online-Ausrichtungsmodul 104 die INS-Systemdaten entsprechend den Lokalisierungsdaten unter Verwendung einer Interpolation.
Bei 408 bestimmt das Online-Ausrichtungsmodul 104, ob die Fahrzeuggeschwindigkeit größer als ein vorbestimmter Geschwindigkeitsschwellenwert ist. Falls ja, wird Operation 410 durchgeführt; andernfalls wird die Operation 402 durchgeführt. Bei 410 speichert das Online-Ausrichtungsmodul 104 die LIDAR-Daten und die Lokalisierungsdaten im Rohdatenpuffer 220.
Bei 412 lässt das Online-Ausrichtungsmodul 104 einen Algorithmus (oder ein Verfahren) zum Puffermanagement und zur Datenfilterung laufen, wie in 5 gezeigt ist. Bei 414 lässt das Online-Ausrichtungsmodul 104 einen Algorithmus zur Merkmalsextraktion und -filterung laufen, wie in 6 gezeigt ist.
Bei 416 akkumuliert das Online-Ausrichtungsmodul 104 Daten für mehrere Szenen. Es werden Daten für mehrere verschiedene Szenen (z. B. mit mehreren Kurvenfahrereignissen verbundene Szenen) akkumuliert. Mehrere Szenen von Daten werden gesammelt, um die Robustheit zu verbessern. Jede Szene kann mit einem oder mehreren Zielen verbunden sein. Bei 418 lässt das Online-Ausrichtungsmodul 104 den Optimierungsalgorithmus laufen und speichert die Ergebnisse im Puffer 224 für die Ergebnis-Transformationsmatrix.
Bei 420 bestimmt das Online-Ausrichtungsmodul 104, ob alle im Rohdatenpuffer 220 gespeicherten Rohdaten für die aktuelle Iteration dieses Verfahrens vorliegen. Falls ja, wird Operation 422 durchgeführt; andernfalls wird die Operation 402 durchgeführt. Bei 422 meldet das Online-Ausrichtungsmodul 104 die Ausrichtungsergebnisse. Dies kann ein Melden der Transformationsmatrix T_LtoV zur zukünftigen Verwendung einschließen. Nach Durchführung der Operation 422 kann das Verfahren bei 424 enden.
5 veranschaulicht ein beispielhaftes Puffermanagement- und Datenfilterverfahren. Das Verfahren kann iterativ durchgeführt werden und kann bei 500 beginnen. Bei 502 wandelt das Online-Ausrichtungsmodul 104 die Fahrzeug-zu-Welt-Transformationsdaten in Tx-, Ty-, Tz-, Roll- (α), Nick- (β) und Gier- (y) Daten umfassende 6-Parameter-Daten um.
Bei 504 fügt das Online-Ausrichtungsmodul 104 LIDAR-Daten, Fahrzeug-zu-Welt-Transformationsdaten und 6-Parameter-Daten einem oder mehreren Puffern (z. B. einem oder mehreren der Rohdatenpuffer 220 und der anderen Puffer 226) hinzu. In einer Ausführungsform werden drei Rohdatenpuffer verwendet, um jeweils die LIDAR-Daten, die Fahrzeug-zu-Welt-Transformationsdaten und die 6-Parameter-Daten zu speichern. Bei 506 lädt das Online-Ausrichtungsmodul 104 die letzten beiden Pufferereignisse der 6-Parameter-Daten (engl.: worth of the 6-parameter data) für jeden der 6 Parameter.
Bei 508 bestimmt das Online-Ausrichtungsmodul 104, ob eine Differenz zwischen zwei aufeinanderfolgenden Ereignissen der Daten größer als ein vorbestimmter Differenzschwellenwert ist. Falls ja, wird Operation 510 durchgeführt; andernfalls wird die Operation 502 durchgeführt. Die Operationen 506 und 508 werden durchgeführt, um eine Kontinuitätsprüfung durchzuführen und Diskontinuitäten (oder Fehler) zu detektieren. Falls sich beispielsweise das Fahrzeug bewegt und die Daten für zwei aufeinanderfolgende Ereignisse angeben, dass das Fahrzeug stillsteht oder sich das Fahrzeug in eine falsche Richtung bewegt, liegt dann eine Diskontinuität und/oder ein Fehler vor. Falls eine Diskontinuität und/oder ein Fehler vorliegt, wird die Operation 510 durchgeführt, um die entsprechende Datenaufzeichnung bzw. der entsprechende Datensatz aus dem einen oder den mehreren Puffern zu entfernen, in denen der Datensatz gespeichert ist. Falls keine Diskontinuität und/oder kein Fehler vorliegt, wird die Operation 502 durchgeführt.
Bei 512 bestimmt das Online-Ausrichtungsmodul 104, ob die in dem einen oder den mehreren Puffern gespeicherte Datenmenge größer als ein maximaler Schwellenwert ist. Bei 514 entfernt das Online-Ausrichtungsmodul 104 den Anfangsdatenpunkt der Daten (oder den ältesten gespeicherten Datenpunkt der Daten) aus dem einen oder den mehreren Puffern und setzt ein Daten-Bereit-Flag auf Wahr. Das Verfahren kann nach Durchführung von Operation 514 bei 516 enden.
6 veranschaulicht einen beispielhaften Algorithmus zur Merkmalsextraktion und -filterung. Der Algorithmus kann iterativ durchgeführt werden und bei 600 beginnen. Bei 602 bestimmt das Online-Ausrichtungsmodul 104, ob das Bereit-Flag gleich True ist. Falls ja, wird die Operation 604 durchgeführt; andernfalls kann das Verfahren bei 624 enden.
Bei 604 berechnet das Online-Ausrichtungsmodul 104 die Gierwinkeländerung während einer Pufferperiode. Bei 606 bestimmt das Online-Ausrichtungsmodul 104, ob die Gierwinkeländerung größer ist als ein vorbestimmter Winkelschwellenwert (z. B. 80° oder 90°). Falls ja, wird die Operation 608 durchgeführt; andernfalls kann das Verfahren bei 624 enden.
Bei 608 bestimmt bzw. ermittelt das Online-Ausrichtungsmodul 104 Informationen über den Abbiegeort. Die Informationen können einen Abbiegewinkel (z. B. eine Gierwinkeländerung bei 45°) und/oder die Angabe darüber enthalten, ob die Abbiegung bzw. Kurve länger als ein vorbestimmter Entfernungsschwellenwert (z. B. 20 Meter) ist.
Bei 610 bestimmt das Online-Ausrichtungsmodul 104, ob die Informationen über den Abbiegeort verfügbar sind. Falls ja, wird eine Operation 612 durchgeführt; andernfalls kann das Verfahren bei 624 enden. Bei 612 berechnet das Online-Ausrichtungsmodul 104 die Änderungen der Tx- und Ty-Werte des Fahrzeugs für sequentiell gesammelte Datenpunkte.
Falls das Online-Ausrichtungsmodul 104 bei 614 bestimmt, dass eine Diskontinuität in den Daten vorliegt und die Änderung größer als ein vorbestimmter Schwellenwert ist, kann das Verfahren dann bei 624 enden; andernfalls kann eine Operation 616 durchgeführt werden. Bei 616 aggregiert das Online-Ausrichtungsmodul 104 LIDAR-Abtastungen von Daten innerhalb eines vordefinierten Bereichs für eine Datenauswahl, zum Beispiel eines Bereichs in der Nähe eines Kurven- bzw. Abbiegebezugspunkts x, y, z. B. in einem Bereich von x+20 bis x+40, y+30 bis y+60. Die Operation 616 wird für eine Bereichsauswahl durchgeführt, bei der die Ziele in einer nachfolgenden Operation ausgewählt werden. Bei 618 führt das Online-Ausrichtungsmodul 104 eine Zielauswahl durch, wie unten in Bezug auf das Verfahren von 7 beschrieben wird.
Bei 620 nimmt das Online-Ausrichtungsmodul 104 eine Abwärtsabtastung jedes Daten-Frames unter Verwendung eines Intensitätsfilters und eines Zufallsfilters vor, um die Anzahl an Berechnungen zu minimieren. Bei 622 speichert es die Zieldaten in den Zieldatenpuffer 222, löscht die Rohdaten (z. B. die letzten 800 Frames) in einem oder mehreren Puffern und setzt das Daten-Bereit-Flag auf False. Das Setzen des Daten-Bereit-Flags auf False veranlasst das Online-Ausrichtungsmodul 104, auf eine weitere vorbestimmte Datenmenge zu warten, die in dem einen oder den mehreren Puffern (z. B. im Rohdatenpuffer) gesammelt werden soll. Das Verfahren von 6 kann nach Durchführung der Operation 622 bei 624 enden.
In den oben beschriebenen Verfahren wird eine vorbestimmte Anzahl von Einzelbildern bzw. Frames (z. B. 800 Frames) in ersten ein oder mehr Puffern (Rohdatenpuffern) gesammelt, die gelöscht werden, nachdem Ziele ausgewählt sind und die aus den Frame-Daten erhaltenen entsprechenden Zieldaten in zweiten ein oder mehr Puffern (Zieldatenpuffern) gespeichert sind. Die Ziele werden ausgewählt, und die Zieldaten werden in den zweiten ein oder mehr Puffern gespeichert, die nicht gelöscht werden, bis eine Optimierung durchgeführt ist.
7 veranschaulicht einen beispielhaften Zielauswahl-Algorithmus. Der Algorithmus kann iterativ ausgeführt werden und bei 700 beginnen. Bei 702 erhält das Online-Ausrichtungsmodul 104 einen z-Wert für jede LIDAR-Abtastung. Die meisten LIDAR-Datenpunkte sind Bodenpunkte. Aus diesem Grund werden die Berechnungen in z-Richtung durchgeführt.
Bei 704 erhält das Online-Ausrichtungsmodul 104 eine Normalverteilung der Ll-DAR-Daten, um einen Mittelwert zu extrahieren. Bei 706 wählt das Online-Ausrichtungsmodul 104 Daten um den Mittelwert plus oder minus einen ersten Schwellenwert (oder vorbestimmten Wert) aus. Bei 708 erhält das Online-Ausrichtungsmodul 104 eine Normalverteilung der ausgewählten Daten, um einen anderen Mittelwert zu bestimmen, der nicht auf Bodenpunkten basiert.
Bei 710 extrahiert das Online-Ausrichtungsmodul 104 Bodenpunkte um den anderen Mittelwert plus oder minus einen zweiten Schwellenwert (oder vorbestimmten Wert). Dies kann unter Verwendung von Gleichung 8 realisiert werden. Bodenpunkte werden aus der LIDAR-Punktwolke identifiziert und in einer vertikalen Dimension z entfernt, wobei ε ein Schwellenwert ist, der sich auf einen Durchschnitt der ausgewählten Datenpunkte bezieht. $z_{i, j}^{W} \in [\sum_{j} \frac{z_{i, j}^{W}}{p} - ε, \sum_{j} \frac{z_{i, j}^{W}}{p} + ε]$
Bei 712 kennzeichnet das Online-Ausrichtungsmodul 104 andere Datenpunkte als Zieldaten.
Bei 714 bestimmt das Online-Ausrichtungsmodul 104, ob eine Menge der im Zieldatenpuffer 222 gespeicherten Zieldaten größer als ein dritter Schwellenwert ist. Falls ja, kann das Verfahren bei 724 enden; andernfalls kann die Operation 716 durchgeführt werden.
Bei 716 führt das Online-Ausrichtungsmodul 104 eine Clusterbildung an den Zieldaten durch (führt z. B. DBSCAN durch, um einen Cluster zu finden). Bei 718 wählt das Online-Ausrichtungsmodul 104 N Ziele mit den meisten Punkten aus.
Bei 720 wählt das Online-Ausrichtungsmodul 104 Bodenpunkte auf der Grundlage eines vordefinierten Raumfilters aus.
Bei 722 aggregiert das Online-Ausrichtungsmodul 104 alle ausgewählten Zieldaten und Bodendaten und sichert die aggregierten Daten im Zieldatenpuffer 222. Das Verfahren kann nach Durchführung der Operation 720 bei 724 enden.
8 veranschaulicht einen beispielhaften Optimierungsalgorithmus, um die Ausrichtungsergebnisse (oder Transformationsmatrix T_LtoV) zu optimieren. Dies wird bewerkstelligt, indem der Verlust, wie etwa der unter Verwendung von Gleichung 8 berechnete, reduziert und minimiert wird. Der Algorithmus kann iterativ durchgeführt werden und kann bei 800 beginnen. Bei 802 lädt das Online-Ausrichtungsmodul 104 fünf Optimierungsparameter (Tx, Ty, α, β, y) und eine erste Schätzung der Ausrichtungsmatrix T_LtoV und setzt einen Schrittwert gleich 0. Der Parameter Tz wird nicht geladen.
Bei 804 bestimmt das Online-Ausrichtungsmodul 104, ob der Schrittwert größer als ein vorbestimmter Schwellenwert für die Anzahl der Schritte ist. Falls ja, kann das Verfahren bei 826 enden; andernfalls wird Operation 806 durchgeführt.
Bei 806 erhöht oder verringert das Online-Ausrichtungsmodul 104 die Ausrichtungsergebnisse, indem es eine Änderung an einem oder mehreren der 5 Parameter (Tx, Ty, α, β, y) auf der Grundlage einer Translationsänderung (z. B. ±0,1 Meter oder ±0,2 Grad) vornimmt.
Bei 808 wertet das Online-Ausrichtungsmodul 104 die Verlustfunktion aus. Diese Auswertung kann umfassen: (i) Berechnen der LIDAR-zu-Welt-Transformationsmatrix T_LtoW unter Verwendung aktueller Ausrichtungsergebnisse (T_LtoV); (ii) Projizieren der aggregierten LIDAR-Daten auf die Weltkoordinaten (T_VtoW,IX T_LtoVX L_i); (iii) Anwenden eines K-D-Baums auf die Weltkoordinatendaten; (iv) für jeden Punkt, Berechnen einer Entfernung zu Nachbarpunkten; und (v) Verwenden des Durchschnitts aller Entfernungen als durch die Verlustfunktion bereitgestellten Verlust (oder Verlustwert), wie mittels Gleichung 8 ähnlich gezeigt ist. Der K-D-Baum wird verwendet, um Daten zu organisieren und eine Entfernung schnell zu bestimmen. Ein K-D-Baum ist ein binärer Baum, in dem jeder Knoten ein k-dimensionaler Punkt ist. Bei 810 aktualisiert das Online-Ausrichtungsmodul 104 die Ausrichtungsergebnisse, falls der Verlust abnimmt. Falls der Verlust abnimmt (d. h. sich verbessert), wird die bei 806 vorgenommene Änderung beibehalten.
Bei 812 bestimmt das Online-Ausrichtungsmodul 104, ob die Änderung des Ausrichtungsergebnisses bei den letzten beiden Iterationen des Verfahrens in dieselbe Richtung geht. Beispielsweise können die letzten beiden Iterationen den gleichen Betrag einer Zunahme eines oder mehrerer Parameter oder den gleichen Betrag einer Abnahme eines oder mehrerer Parameter haben.
Bei 814 bestimmt das Online-Ausrichtungsmodul 104, ob die Änderung innerhalb eines ersten vordefinierten Bereichs liegt. Falls ja, wird eine Operation 816 durchgeführt; andernfalls wird eine Operation 818 durchgeführt. Bei 816 erhöht das Online-Ausrichtungsmodul 104 die bei 806 vorgenommene Änderung. Beispielsweise kann die Änderung um 0,2 Meter und/oder um 0,4 Grad erhöht werden. Bei 818 behält das Online-Ausrichtungsmodul 104 die bei 806 vorgenommene Änderung bei.
Bei 820 bestimmt das Online-Ausrichtungsmodul 104, ob die Änderung innerhalb des zweiten vordefinierten Bereichs liegt. Falls ja, wird eine Operation 822 durchgeführt; andernfalls wird die Operation 818 durchgeführt. Bei 822 verringert das Online-Ausrichtungsmodul 104 die bei 806 vorgenommene Änderung. Zum Beispiel kann die Änderung um 0,5 Meter und/oder um 0,1 Grad verringert werden.
Bei 824 bestimmt das Online-Ausrichtungsmodul 104, ob die Änderung des Verlusts geringer als ein vorbestimmter Verlustschwellenwert ist. Falls ja, kann das Verfahren bei 826 enden; andernfalls wird die Operation 804 durchgeführt.
Der Optimierungsalgorithmus (oder das Optimierungsverfahren) von 8 umfasst ein Suchen nach einer besten LIDAR-zu-Fahrzeug-Transformationsmatrix T_LtoV, die eine Verlustfunktion minimiert, mit einer gradientenbasierten Variantenschrittoptimierung. Der Optimierungsalgorithmus kann zusätzlich oder alternativ dazu einen Algorithmus mit stochastischem Gradientenabstieg (SGD), einen Algorithmus mit mittlerer quadratischer Fortpflanzung und adaptivem Gradienten (engl.: Root Mean Square Propagation and Adaptive Gradient Algorithm) (oder einen Algorithmus mit adaptivem Momentum (engl.: Adaptive Momentum (ADAM) Algorithm)), eine Partikelschwarmoptimierung (PSO) und einen generischen Algorithmus (GA) realisieren, um die Ausrichtungsergebnisse (oder Transformationsmatrix T_LtoV) zu optimieren.
Im Verfahren von 8 können eine oder mehrere verschiedene Verlustfunktionen verwendet werden, um die Punktdichte zu charakterisieren. Die Punktdichte wird für ausgewählte Ziele für eine verbesserte Bildklarheit und daraus resultierende Entscheidungsgenauigkeit erhöht. Die Aktionen werden auf der Grundlage der resultierenden Bilder durchgeführt. Als erstes Beispiel kann ein erstes Verfahren zur Dichtecharakterisierung realisiert werden, das für jeden ausgewählten Datenpunkt eine Bestimmung einer Zählung, wie viele andere Punkte innerhalb eines vorbestimmten Radius (z. B. 0,5 Meter) um den ausgewählten Punkt liegen, einschließt. 9 zeigt eine beispielhafte Darstellung des Verlusts gegen die Translationsentfernung unter Verwendung des ersten Verfahrens zur Dichtecharakterisierung. Als ein weiteres Beispiel kann ein zweites Verfahren zur Dichtecharakterisierung implementiert werden, das für jeden Punkt ein Berechnen einer durchschnittlichen Entfernung für die nächstgelegenen 20 Punkte einschließt. Dies kann die Verwendung von Gleichung 8 beinhalten. 10 zeigt eine beispielhafte Darstellung des Verlusts gegen die Translationsentfernung unter Verwendung des zweiten Verfahrens zur Dichtecharakterisierung. Als ein drittes Beispiel kann ein drittes Verfahren zur Dichtecharakterisierung realisiert werden, das für jeden Punkt ein Berechnen einer Summe von drei Eigenwerten unter Verwendung der Punktwolkenausrichtung (PCA) an in der Nähe gelegenen Punkten einschließt.
Die oben beschriebenen Vorgänge bzw. Operationen in 3-8 sind als veranschaulichende Beispiele zu verstehen. Die Operationen können je nach Anwendung sequentiell, synchron, gleichzeitig, kontinuierlich, während sich überschneidender Zeitspannen oder in einer anderen Reihenfolge durchgeführt werden. Auch kann je nach Realisierung und/oder Abfolge von Ereignissen eine der Operationen nicht durchgeführt oder übersprungen werden.
Die vorhergehende Beschreibung ist in ihrer Art nur veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen einschränken. Die umfassende Lehre der Offenbarung kann in einer Vielzahl von Formen umgesetzt werden. Daher soll, auch wenn diese Offenbarung besondere Beispiele enthält, der wahre Umfang der Offenbarung nicht so eingeschränkt werden, da nach einem Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche andere Modifikationen offensichtlich werden. Es sollte sich verstehen, dass ein oder mehrere Schritte innerhalb eines Verfahrens in unterschiedlicher Reihenfolge (oder gleichzeitig) ausgeführt werden können, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Ferner kann, obgleich jede der Ausführungsformen oben als bestimmte Merkmale aufweisend beschrieben ist, eines oder mehr dieser Merkmale, die in Bezug auf eine beliebige Ausführungsform der Offenbarung beschrieben wurden, in einer der anderen Ausführungsformen implementiert und/oder mit Merkmalen einer der anderen Ausführungsformen kombiniert werden, selbst wenn diese Kombination nicht ausdrücklich beschrieben ist. Mit anderen Worten schließen sich die beschriebenen Ausführungsformen nicht gegenseitig aus, und Permutationen einer oder mehrerer Ausführungsformen miteinander bleiben im Rahmen dieser Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (zum Beispiel zwischen Modulen, Schaltungselementen, Halbleiterschichten etc.) werden unter Verwendung verschiedener Begriffen, einschließlich „verbunden“, „in Eingriff gebracht“, „gekoppelt“, „benachbart“, „nahe bzw. neben“, „auf“, „oberhalb“, „unterhalb“ und „angeordnet“, beschrieben. Sofern sie nicht ausdrücklich als „direkt“ beschrieben wird, kann, wenn eine Beziehung zwischen ersten und zweiten Elementen in der obigen Offenbarung beschrieben ist, diese Beziehung eine direkte Beziehung sein, bei der keine anderen dazwischenliegenden Elemente zwischen den ersten und zweiten Elementen vorhanden sind, kann aber auch eine indirekte Beziehung sein, bei der ein oder mehrere dazwischenliegende Elemente (entweder räumlich oder funktional) zwischen den ersten und zweiten Elementen vorhanden sind. Wie hier verwendet, soll der Ausdruck „zumindest eines von A, B und C“ dahingehend aufgefasst werden, dass er ein logisches (A ODER B ODER C) unter Verwendung eines nicht-exklusiven logischen ODER bedeutet, und sollte nicht dahingehend aufgefasst werden, dass er „zumindest eines von A, zumindest eines von B und zumindest eines von C“ bedeutet.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben wird, im Allgemeinen den Fluss von Informationen (z.B. Daten oder Anweisungen), der für die Veranschaulichung von Interesse ist. Wenn z.B. Element A und Element B eine Vielzahl von Informationen austauschen, aber von Element A zu Element B übertragene Informationen für die Veranschaulichung von Bedeutung sind, kann der Pfeil von Element A zu Element B zeigen. Dieser unidirektionale Pfeil impliziert nicht, dass keine anderen Informationen von Element B zu Element A übertragen werden. Überdies kann für von Element A zu Element B übertragene Informationen Element B Anforderungen für, oder Empfangsbestätigungen der, Informationen an Element A senden.
In dieser Anmeldung kann, einschließlich der nachstehenden Definitionen, der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. “Der Begriff „Modul“ kann sich auf eine Schaltung beziehen, Teil einer solchen sein, oder eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analoge/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine kombinatorische Logikschaltung; ein feldprogrammierbares Gate-Array (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die einen Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die einen von der Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder all der oben genannten Komponenten, wie etwa in einem System-on-Chip umfassen.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. In einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netzwerk (LAN), dem Internet, einem Weitbereichsnetz (WAN) oder Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module verteilt sein, die über Schnittstellenschaltungen verbunden sind. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. In einem weiteren Beispiel kann ein Server-Modul (auch bekannt als Remote- oder Cloud-Modul) einige Funktionen für ein Client-Modul ausführen.
Der Begriff Code, wie er oben verwendet wird, kann Software, Firmware und/oder einen Mikrocode umfassen und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen gewissen Teil oder den ganzen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltkreis umfasst eine Prozessorschaltung, die in Kombination mit zusätzlichen Prozessorschaltungen einen gewissen Teil oder den ganzen Code von einem oder mehreren Modulen ausführt. Verweise auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf einzelnen Chips, mehrere Prozessorschaltungen auf einem einzigen Chip, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der oben genannten. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen gewissen Teil oder den ganzen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die in Kombination mit zusätzlichen Speichern einen gewissen Teil oder den ganzen Code von einem oder mehreren Modulen speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet wird, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich durch ein Medium (wie etwa auf einer Trägerwelle) ausbreiten; der Begriff computerlesbares Medium kann daher als materiell und nicht-transitorisch betrachtet werden. Nicht einschränkende Beispiele eines nicht-transitorischen, materiellen computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbare Nurlese-Speicherschaltung oder eine Masken-Nurlese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Direktzugriffsspeicherschaltung oder eine dynamische Direktzugriffsspeicherschaltung), magnetische Speichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Speichermedien (wie etwa eine CD, eine DVD oder eine Blu-ray Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können mittels eines Computers für spezielle Zwecke, der durch Konfigurieren eines Mehrzweck-Computers geschaffen wird, teilweise oder vollständig implementiert werden, um eine oder mehrere spezielle Funktionen auszuführen, die in Computerprogrammen verkörpert sind. Die oben beschriebenen funktionalen Blöcke, Komponenten von Flussdiagrammen und andere Elemente dienen als Software-Spezifikationen, die durch die Routinearbeit eines Fachmanns oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten von Prozessoren ausführbare Anweisungen, die auf zumindest einem nicht-transitorischen, materiellen computerlesbaren Medium gespeichert sind. Die Computerprogramme können auch gespeicherte Daten enthalten oder sich auf diese stützen. Die Computerprogramme können ein grundlegendes Ein-/Ausgabesystem (BIOS) umfassen, das mit der Hardware des Computers für spezielle Zwecke, Gerätetreibern, die mit bestimmten Geräten des Computers für spezielle Zwecke interagieren, einem oder mehreren Betriebssystemen, Nutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen etc. interagieren.
Die Computerprogramme können enthalten: (i) einen Beschreibungstext, der analysiert werden soll, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) einen Assembler-Code, (iii) einen Objektcode, der von einem Compiler aus dem Quellcode generiert wird, (iv) einen Quellcode zur Ausführung durch einen Interpreter, (v) einen Quellcode zur Kompilierung und Ausführung mittels eines Just-in-Time-Compilers, etc. Nur als Beispiele kann ein Quellcode unter Verwendung einer Syntax aus Sprachen geschrieben sein, die C, C++, C#, ObjectiveC-, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, FlashO, Visual Basic®, Lua, MATLAB, SIMULINK und Python® einschließen.

Claims

LIDAR-zu-Fahrzeug-Ausrichtungssystem, umfassend: einen Speicher, der so konfiguriert ist, dass er Datenpunkte speichert, die auf der Grundlage von einer Ausgabe eines oder mehrerer LIDAR-Sensoren und Lokalisierungsdaten bereitgestellt werden; ein Ausrichtungsmodul, das so konfiguriert ist, dass es einen Ausrichtungsprozess durchführt, welcher umfasst: auf der Grundlage der Lokalisierungsdaten, Bestimmen, ob ein Host-Fahrzeug abbiegt; als Reaktion auf das Abbiegen des Host-Fahrzeugs, Auswählen eines Teils der Datenpunkte und Aggregieren des ausgewählten Teils der Datenpunkte, um aggregierte Daten bereitzustellen; Auswählen von Zielen auf der Grundlage der aggregierten Daten; und auf der Grundlage der ausgewählten Ziele, iteratives Reduzieren eines Verlustwertes einer Verlustfunktion, um eine resultierende LIDAR-zu-Fahrzeug-Transformationsmatrix bereitzustellen; und ein Modul für autonomes Fahren, das so konfiguriert ist, dass es auf der Grundlage der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix zumindest den ausgewählten Teil der Datenpunkte in zumindest Koordinaten von Fahrzeugkoordinaten oder Weltkoordinaten umwandelt, um die resultierenden Daten bereitzustellen, und auf der Grundlage der resultierenden Daten eine oder mehrere Operationen für autonomes Fahren durchführt.
LIDAR-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es eine Durchführung einer Datenauswahl und -aggregation und einer Zielauswahl unterlässt, wenn das Host-Fahrzeug keine Kurve fährt.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es Datenpunkte und die Ziele auf der Grundlage von Abbiegepunkten auswählt.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es einen Bereich auf der Grundlage eines Abbiegepunkts auswählt, Bodenpunkte auf der Grundlage des ausgewählten Bereichs entfernt, eine Vielzahl von Zielen identifiziert und einen Datencluster-Algorithmus durchführt, um eines der Vielzahl von Zielen zur Überwachung auszuwählen.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es mehrere Szenen von LIDAR-Daten akkumuliert und auf der Grundlage der mehreren Szenen von LIDAR-Daten den Verlustwert minimiert.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es: LIDAR-Abtastungen von Daten für einen vordefinierten Raum aggregiert; auf der Grundlage der aggregierten LIDAR-Abtastungen von Daten eine Zielauswahl durchführt; und nach Durchführung der Zielauswahl eines Abwärtsabtastung an jedem Daten-Frame, der mit den aggregierten LIDAR-Datenscans verbunden ist, unter Verwendung eines Intensitätsfilters und eines Zufallsfilters vornimmt, um die resultierenden Zieldaten bereitzustellen.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es: einen z-Wert für jede von mehreren LIDAR-Abtastungen erhält; eine Normalverteilung der aggregierten Daten erhält, die mit den LIDAR-Abtastungen verbunden sind, um einen ersten Mittelwert der aggregierten Daten, die mit den LIDAR-Abtastungen verbunden sind, zu extrahieren; Daten um den ersten Mittelwert herum auswählt; eine weitere Normalverteilung der ausgewählten Daten um den ersten Mittelwert herum erhält, um einen zweiten Mittelwert zu erhalten, der nicht auf Bodenpunkten basiert; Bodenpunkte um den zweiten Mittelwert herum extrahiert; andere Daten als die Bodenpunkte als Zieldaten kennzeichnet; und, wenn eine vorbestimmte Menge von Zieldaten gesammelt ist, einen Cluster-Algorithmus durchführt, um einen Teil der Zieldaten auszuwählen.
LIDAR-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es, wenn der Verlustwert iterativ reduziert wird: Optimierungsparameter und eine anfänglich geschätzte LIDAR-zu-Fahrzeug-Transformationsmatrix lädt; und iterativ die anfänglich geschätzte LIDAR-Fahrzeug-Transformationsmatrix oder eine zuletzt bestimmte LIDAR-Fahrzeug-Transformationsmatrix ändert, um die resultierende LIDAR-Fahrzeug-Transformationsmatrix bereitzustellen; die Änderung in der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix bewertet, einschließlich einer Bestimmung des Verlustwertes; und auf der Grundlage des Verlustwerts bestimmt, ob eine weitere Iteration durchgeführt werden soll.
LIDAR-zu-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei das Ausrichtungsmodul so konfiguriert ist, dass es, wenn die Verlustfunktion ausgewertet wird: eine LIDAR-zu-Welt-Transformationsmatrix unter Verwendung der resultierenden LIDAR-zu-Fahrzeug-Transformationsmatrix berechnet; die aggregierten Daten auf der Grundlage der LIDAR-zu-Welt-Transformationsmatrix auf Weltkoordinatendaten projiziert; einen binären Baum auf die Weltkoordinatendaten anwendet; eine Vielzahl von Entfernungen bereitstellt, indem für jeden LIDAR-Datenpunkt eine Entfernung zu einem benachbarten Datenpunkt berechnet wird; und auf der Grundlage eines Durchschnitts der Vielzahl von Entfernungen den Verlustwert bestimmt.
LIDAR-Fahrzeug-Ausrichtungssystem nach Anspruch 1, wobei die Verlustfunktion eine dichtebasierte Verlustfunktion ist, die zumindest eine der folgenden Eigenschaften Schwere der LIDAR-Fehlausrichtung oder Punktdichte relativ zu einem der ausgewählten Ziele charakterisiert.