DE102022108842A1

DE102022108842A1 - Online-Validierung der LIDAR-LIDAR-Ausrichtung und der LIDAR-Fahrzeug-Ausrichtung

Info

Publication number: DE102022108842A1
Application number: DE102022108842.1A
Authority: DE
Inventors: Yao Hu; Xinyu Du; Wende Zhang; Hao Yu
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-06-17
Filing date: 2022-04-12
Publication date: 2022-12-22
Also published as: US20220404506A1; CN115496782A

Abstract

Ein LIDAR-LIDAR-Ausrichtungssystem enthält einen Speicher und ein Modul für autonomes Fahren. Der Speicher speichert auf der Grundlage von Ausgaben des ersten und des zweiten LIDAR-Sensors erste und zweite Punkte. Das Modul für autonomes Fahren führt einen Validierungsprozess aus, um zu bestimmen, ob die Ausrichtungen der LIDAR-Sensoren einer Ausrichtungsbedingung genügen. Der Validierungsprozess enthält: Aggregieren der ersten und der zweiten Datenpunkte in einem Fahrzeugkoordinatensystem, um aggregierte LIDAR-Punkte bereitzustellen; Ausführen (i) eines ersten Verfahrens, das das Bestimmen von Nick- und Rolldifferenzen zwischen dem ersten und dem zweiten LIDAR-Sensor enthält, und/oder (ii) eines zweiten Verfahrens, das das Bestimmen einer Gierdifferenz zwischen dem ersten und dem zweiten LIDAR-Sensor enthält, und/oder (iii) einer Punktwolkenregistrierung, um Rotations- und Translationsdifferenzen zwischen dem ersten und dem zweiten LIDAR-Sensor zu bestimmen, auf der Grundlage der aggregierten LIDAR-Punkte; und Bestimmen, ob die Ausrichtungsbedingung erfüllt ist, auf der Grundlage von Ergebnissen des ersten Verfahrens, des zweiten Verfahrens oder der Punktwolkenregistrierung.

Description

EINLEITUNG
Die in diesem Abschnitt gegebenen Informationen dienen der allgemeinen Darstellung des Kontexts der Offenbarung. Arbeit der hier genannten Erfinder in dem Umfang, in dem sie in diesem Abschnitt beschrieben ist, sowie Aspekte der Beschreibung, die nicht auf andere Weise als Stand der Technik zum Zeitpunkt der Einreichung berechtigen können, sind weder explizit noch implizit als Stand der Technik gegenüber der vorliegenden Offenbarung anerkannt.
Die vorliegende Offenbarung betrifft Fahrzeugobjektdetektionssysteme und insbesondere Lichtortungs- und Abstandsmessungssysteme für Fahrzeuge (Fahrzeug-LI DAR-Systeme).
Fahrzeuge können verschiedene Sensoren enthalten, um eine Umgebung und Objekte in dieser Umgebung zu detektieren. Die Sensoren können Kameras, Funkortungs- und Abstandsmessungssensoren (RADAR-Sensoren), LIDAR-Sensoren usw. enthalten. Ein Fahrzeugcontroller kann in Ansprechen auf die detektierte Umgebung verschiedene Operationen ausführen. Die Operationen können das Ausführen teil- und/oder vollautonomer Fahrzeugoperationen, von Kollisionsvermeidungsoperationen und Informationsberichterstattungsoperationen enthalten. Die Genauigkeit der ausgeführten Operationen kann auf der Genauigkeit der von den Sensoren erhobenen Daten beruhen.
ZUSAMMENFASSUNG
Es wird ein LIDAR-LIDAR-Ausrichtungssystem geschaffen, das einen Speicher und ein Modul für autonomes Fahren enthält. Der Speicher ist zum Speichern (i) erster Datenpunkte, die auf der Grundlage einer Ausgabe eines ersten LIDAR-Sensors bereitgestellt werden, und (ii) zweiter Datenpunkte, die auf der Grundlage einer Ausgabe eines zweiten LIDAR-Sensors bereitgestellt werden, konfiguriert. Das Modul für autonomes Fahren ist dafür konfiguriert, einen Validierungsprozess auszuführen, um zu bestimmen, ob die Ausrichtungen des ersten LIDAR-Sensors und des zweiten LIDAR-Sensors einer oder mehreren Ausrichtungsbedingungen genügen. Der Validierungsprozess umfasst: Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in einem Fahrzeugkoordinatensystem, um aggregierte LIDAR-Punkte bereitzustellen; (i) Ausführen eines ersten Verfahrens, das das Bestimmen von Nick- und Rolldifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, und/oder (ii) Ausführen eines zweiten Verfahrens, das das Bestimmen einer Gierdifferenz zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, und/oder (iii) Ausführen einer Punktwolkenregistrierung, um Rotations- und Translationsdifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor zu bestimmen, auf der Grundlage der aggregierten LIDAR-Punkte; Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, auf der Grundlage von Ergebnissen des ersten Verfahrens und/oder des zweiten Verfahrens und/oder der Punktwolkenregistrierung; und Rekalibrieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors in Ansprechen darauf, dass die eine oder die mehreren Ausrichtungsbedingungen nicht erfüllt sind.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren ferner konfiguriert zum: Bestimmen, ob mehrere Freigabebedingungen erfüllt sind, einschließlich zweier oder mehrerer von: Bestimmen, ob sich das Fahrzeug bewegt, Bestimmen, ob das Fahrzeug an einem bekannten Ort ist, Bestimmen, ob eine Geschwindigkeit des Fahrzeugs größer als eine vorgegebene Geschwindigkeit ist, Bestimmen, ob eine Beschleunigungsrate des Fahrzeugs größer als eine vorgegebene Beschleunigungsrate ist, oder Bestimmen, ob eine Gierrate größer als eine vorgegebene Gierrate ist; und Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in Ansprechen darauf, dass die Freigabebedingungen erfüllt sind.
Gemäß anderen Merkmalen enthält das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte: Ausführen einer Punktregistrierung zum Abbilden der ersten Datenpunkte zu einem ersten Zeitpunkt in einem Koordinatensystem des ersten LIDAR-Sensors zu einem zweiten Zeitpunkt; Aggregieren der abgebildeten ersten Datenpunkte von dem ersten LIDAR-Sensor, um erste aggregierte Punkte bereitzustellen; Ausführen einer Punktregistrierung zum Abbilden der zweiten Datenpunkte zu dem ersten Zeitpunkt in einem Koordinatensystem des zweiten LIDAR-Sensors zu dem zweiten Zeitpunkt; und Aggregieren der abgebildeten zweiten Datenpunkte von dem zweiten LIDAR-Sensor, um zweite aggregierte Punkte bereitzustellen.
Gemäß anderen Merkmalen enthält das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte ferner: Abbilden der ersten aggregierten Punkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den ersten LIDAR-Sensor; und Abbilden der zweiten aggregierten Punkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den zweiten LIDAR-Sensor.
Gemäß anderen Merkmalen enthält das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte: Abbilden erster Datenpunkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den ersten LIDAR-Sensor; und Abbilden der zweiten Datenpunkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den zweiten LIDAR-Sensor.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren konfiguriert zum: Ausführen einer Bodenanpassung und Auswählen erster ausgewählter Punkte des ersten LIDAR-Sensors in einer Bodenfläche und zweiter ausgewählter Punkte des zweiten LIDAR-Sensors in der Bodenfläche auf der Grundlage aggregierter LIDAR-Punkte, um sie bereitzustellen; und Ausführen des ersten Verfahrens auf der Grundlage der ersten ausgewählten Punkte und der zweiten ausgewählten Punkte.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, das erste Verfahren auszuführen und auf der Grundlage von Ergebnissen des ersten Verfahrens zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, das zweite Verfahren auszuführen, auf der Grundlage von Ergebnissen des zweiten Verfahrens zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, die Punktwolkenregistrierung auszuführen und auf der Grundlage von Ergebnissen der Punktwolkenregistrierung zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, das erste Verfahren, das zweite Verfahren und das Punktwolken-Registrierungsverfahren auszuführen und auf der Grundlage von Ergebnissen des ersten Verfahrens, des zweiten Verfahrens und des Punktwolken-Registrierungsverfahrens zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren konfiguriert zum: Integrieren von Ergebnissen von dem ersten Verfahren und/oder von dem zweiten Verfahren und/oder von der Punktwolkenregistrierung einschließlich des Bestimmens einer gewichteten Summe eines Vektors von Differenzwerten für sechs Freiheitsgrade; und (i) Identifizieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors als verdächtig, und/oder (ii) Rekalibrieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors in Ansprechen darauf, dass einer oder mehrere der Differenzwerte einen vorgegebenen Schwellenwert übersteigen.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, auf der Grundlage der Kenntnis, dass eine Transformation von dem ersten LiDAR-Sensor-Koordinatensystem zu dem Fahrzeugkoordinatensystem genau ist, und der gewichteten Summe des Vektors von Differenzwerten zu bestimmen, ob die Transformation von dem zweiten LiDAR-Sensor-Koordinatensystem zu dem Fahrzeugkoordinatensystem genau ist.
Gemäß anderen Merkmalen ist das Modul für autonomes Fahren dafür konfiguriert, auf der Grundlage von Ausrichtungsergebnissen des ersten LIDAR-Sensors auf das Fahrzeug und von Ergebnissen des zweiten LIDAR-Sensors auf das Fahrzeug sechs Freiheitsgrad-Differenzwerte zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor zu berechnen.
Gemäß anderen Merkmalen wird ein LiDAR-LiDAR-Ausrichtungsverfahren geschaffen und enthält es: Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in einem Fahrzeugkoordinatensystem, um aggregierte LIDAR-Punkte bereitzustellen, wobei die ersten Datenpunkte auf der Grundlage einer Ausgabe eines ersten LIDAR-Sensors bereitgestellt werden und die zweiten Datenpunkte auf der Grundlage einer Ausgabe eines zweiten LIDAR-Sensors bereitgestellt werden; (i) Ausführen eines ersten Verfahrens, das das Bestimmen von Nick- und Rolldifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, und/oder (ii) Ausführen eines zweiten Verfahrens, das das Bestimmen einer Gierdifferenz zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, und/ oder (iii) Ausführen einer Punktwolkenregistrierung, um Rotations- und Translationsdifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor zu bestimmen, auf der Grundlage der aggregierten LIDAR-Punkte; Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, auf der Grundlage von Ergebnissen des ersten Verfahrens und/oder des zweiten Verfahrens und/oder der Punktwolkenregistrierung; und Rekalibrieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors in Ansprechen darauf, dass die eine oder die mehreren Ausrichtungsbedingungen nicht erfüllt sind.
Gemäß anderen Merkmalen enthält das Verfahren ferner: Bestimmen, ob mehrere Freigabebedingungen erfüllt sind, einschließlich zweier oder mehrerer von: Bestimmen, ob sich das Fahrzeug bewegt, Bestimmen, ob das Fahrzeug an einem bekannten Ort ist, Bestimmen, ob eine Geschwindigkeit des Fahrzeugs größer als eine vorgegebene Geschwindigkeit ist, Bestimmen, ob eine Beschleunigungsrate des Fahrzeugs größer als eine vorgegebene Beschleunigungsrate ist, oder Bestimmen, ob eine Gierrate größer als eine vorgegebene Gierrate ist; und Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in Ansprechen darauf, dass die Freigabebedingungen erfüllt sind.
Gemäß anderen Merkmalen enthält das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte: Ausführen einer Punktregistrierung zum Abbilden der ersten Datenpunkte zu einem ersten Zeitpunkt in einem Koordinatensystem des ersten LIDAR-Sensors zu einem zweiten Zeitpunkt; Aggregieren der abgebildeten ersten Datenpunkte von dem ersten LIDAR-Sensor, um erste aggregierte Punkte bereitzustellen; Ausführen einer Punktregistrierung zum Abbilden der zweiten Datenpunkte zu dem ersten Zeitpunkt in einem Koordinatensystem des zweiten LIDAR-Sensors zu dem zweiten Zeitpunkt; Aggregieren der abgebildeten zweiten Datenpunkte von dem zweiten LIDAR-Sensor, um zweite aggregierte Punkte bereitzustellen; Abbilden der ersten aggregierten Punkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den ersten LIDAR-Sensor; und Abbilden der zweiten aggregierten Punkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den zweiten LIDAR-Sensor.
Gemäß anderen Merkmalen enthält das Verfahren ferner: Ausführen einer Bodenanpassung und Auswählen erster ausgewählter Punkte des ersten LIDAR-Sensors in einer Bodenfläche und zweiter ausgewählter Punkte des zweiten LIDAR-Sensors in der Bodenfläche auf der Grundlage aggregierter LIDAR-Punkte, um sie bereitzustellen; und Ausführen des ersten Verfahrens auf der Grundlage der ersten ausgewählten Punkte und der zweiten ausgewählten Punkte.
Gemäß anderen Merkmalen enthält das Verfahren ferner das Ausführen des ersten Verfahrens und des zweiten Verfahrens und das Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, auf der Grundlage von Ergebnissen des ersten Verfahrens und des zweiten Verfahrens.
Gemäß anderen Merkmalen enthält das Verfahren ferner das Ausführen der Punktwolkenregistrierung und das Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, auf der Grundlage von Ergebnissen der Punktwolkenregistrierung.
Gemäß anderen Merkmalen enthält das Verfahren ferner das Ausführen des ersten Verfahrens, des zweiten Verfahrens und des Punktwolken-Registrierungsverfahrens und das Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, auf der Grundlage von Ergebnissen des ersten Verfahrens, des zweiten Verfahrens und des Punktwolken-Registrierungsverfahrens.
Weitere Bereiche der Anwendbarkeit der vorliegenden Offenbarung gehen aus der ausführlichen Beschreibung, aus den Ansprüchen und aus den Zeichnungen hervor. Die ausführliche Beschreibung und die spezifischen Beispiele sind nur zu Veranschaulichungszwecken bestimmt und sollen den Schutzumfang der Offenbarung nicht einschränken.
Figurenliste
Die vorliegende Offenbarung wird umfassender verständlich aus der ausführlichen Beschreibung und aus den beigefügten Zeichnungen; es zeigen:

1 einen Funktionsblockschaltplan eines beispielhaften Fahrzeugsystems, das ein Ausrichtungsvalidierungsmodul gemäß der vorliegenden Offenbarung enthält;
2 einen Funktionsblockschaltplan eines beispielhaften Moduls für autonomes Fahren, das auf der Grundlage einer durch das Ausrichtungsvalidierungsmodul ausgeführten LIDAR-Sensor-Ausrichtung gemäß der vorliegenden Offenbarung arbeitet;
3 einen Funktionsblockschaltplan eines Beispiels eines Ausrichtungssystems, das ein LIDAR-Ausrichtungsmodul und ein LIDAR-Ausrichtungs-Validierungsmodul gemäß der vorliegenden Offenbarung enthält;
4 ein beispielhaftes Verfahren des Validierens von LIDAR-Sensor-Ausrichtungen gemäß der vorliegenden Offenbarung;
5 ein beispielhaftes Freigabebedingungs-Prüfverfahren gemäß der vorliegenden Offenbarung;
6 ein beispielhaftes Bodenanpassungs- und Bodenauswahlverfahren gemäß der vorliegenden Offenbarung;
7 ein beispielhaftes Diagramm, das die Gierdifferenzdetektion gemäß der vorliegenden Offenbarung darstellt; und
8 ein beispielhaftes Objektdetektionsverfahren.

AUSFÜHRLICHE BESCHREIBUNG
Ein Modul für autonomes Fahren kann Sensorausrichtungs- und Sensorfusionsoperationen, Wahrnehmungs- und Ortsbestimmungsoperationen und Wegplanungs- und Fahrzeugsteueroperationen ausführen. Die genannten Operationen können auf der Grundlage von Daten, die von verschiedenen Sensoren wie etwa LIDAR-Sensoren, RADAR-Sensoren, Kameras und einem Inertialmesssensor (oder einer Inertialmesseinheit) erhoben werden, und von Daten, die von einem globalen Positionsbestimmungssystem (GPS) erhoben werden, ausgeführt werden. Die Sensorausrichtung und die Sensorfusion können die Ausrichtung eines Koordinatensystems jedes Sensors auf ein Bezugskoordinatensystem wie etwa ein Fahrzeugkoordinatensystem enthalten. Die Fusion kann sich auf das Erheben und Kombinieren der Daten von den verschiedenen Sensoren beziehen.
Die Wahrnehmung bezieht sich auf die Überwachung der Fahrzeugumgebung und auf die Detektion und Identifizierung verschiedener Merkmale und/oder Objekte in der Umgebung. Dies kann die Bestimmung verschiedene Aspekte der Merkmale und Objekte enthalten. Der Begriff „Merkmal“, wie er hier verwendet ist, bezieht sich auf einen oder mehrere detektierte Punkte, die zuverlässig zum Bestimmen eines Orts eines Objekts verwendet werden können. Dies ist anders als bei anderen detektierten Datenpunkten, die keine zuverlässigen Informationen hinsichtlich des Orts eines Objekts z. B. eines Punkts an einem Blatt oder Zweig eines Baums, bereitstellen. Die bestimmten Aspekte können Objektentfernungen, Orte, Größen, Formen, die Orientierung, Bewegungsbahnen usw. enthalten. Dies kann das Bestimmen des Typs des detektierten Objekts, z. B., ob das Objekt ein Verkehrszeichen, ein Fahrzeug, ein Leitungsmast, ein Fußgänger, eine Bodenoberfläche usw. ist, enthalten. Fahrspurmarkierungsinformationen können ebenfalls detektiert werden. Ein Merkmal kann sich auf eine Oberfläche, eine Kante oder eine Ecke eines Gebäudes beziehen. Die Ortsbestimmung bezieht sich auf Informationen, die über ein Trägerfahrzeug bestimmt werden, wie etwa den Ort, die Geschwindigkeit, die Fahrtrichtung usw. Die Wegplanung und die Fahrzeugsteuerung (z. B. Bremsung, Lenkung und Beschleunigung) werden auf der Grundlage der erhobenen Wahrnehmung- und Ortsbestimmungsinformationen ausgeführt.
Ein Fahrzeug kann mehrere LIDAR-Sensoren enthalten. Die LIDAR-Sensor-Ausrichtung, die die LIDAR-Fahrzeug-Ausrichtung und die LIDAR-LIDAR-Ausrichtung enthält, beeinflusst die Genauigkeit der detektierten Wahrnehmungs- und Ortsbestimmungsinformationen einschließlich Merkmals- und Objektinformationen wie etwa der oben beschriebenen. Es kann notwendig sein, dass die LIDAR-Ausrichtung periodisch rekalibriert wird, um irgendeine durch verschiedene Fahrbedingungen verursachte Verschiebung der Ausrichtung zu berücksichtigen. Die Online-Validierung, d. h. die fahrzeuginterne Validierung in der Laufzeit, ist herausfordernd, da Zielobjekte nicht vorgegeben sind.
Die hier dargelegten Beispiele enthalten LIDAR-LIDAR-Ausrichtungs- und LIDAR-Fahrzeug-Ausrichtungs-Validierungsverfahren. Durch Validierung wird eine LIDAR-Fehlausrichtung detektiert, um einen Rekalibrierungsprozess zu initiieren. Die Validierungsverfahren enthalten die Integration der Bodenanpassung, der Zieldetektion und der Punktwolkenregistrierung. Gemäß einer Ausführungsform werden Roll-, Nick- und Gierdifferenzen zwischen LIDAR-Sensoren auf der Grundlage von Zielen (z. B. Boden, Verkehrszeichen, Lichtmast usw.) bestimmt. Gemäß einer selben oder alternativen Ausführungsform werden auf der Grundlage von Differenzen von Punktwolkenregistrierungen der LIDAR-Sensoren Rotations- und Translationsdifferenzen von LIDAR-Sensoren bestimmt. Die Validierungsverfahren enthalten: (i) ein erstes Verfahren zum Bestimmen eines ersten Sechs-Parameter-Vektors von Differenzen zwischen LIDAR-Sensoren in Nick-, Roll-, Gier-, x-, y-, z-Werten und/oder (ii) ein zweites Verfahren zum Bestimmen eines zweiten Sechs-Parameter-Vektors von Nick-, Roll-, Gier-, x-, y-, z-Werten. Das erste Verfahren beruht auf der Auswahl bestimmter Objekte zur Bestimmung von Rollen, Nicken und Gieren. Das zweite Verfahren beruht auf der Bestimmung von Rotations- und Translationsdifferenzen von Punktwolken von LIDAR-Sensoren. Die Ergebnisse der Verfahren können gewichtet und aggregiert werden, um einen resultierenden Sechs-Parameter-Vektor bereitzustellen, auf dessen Grundlage eine Bestimmung der Ausrichtung vorgenommen wird.
1 zeigt ein beispielhaftes Fahrzeugsystem 100 eines Fahrzeugs 102, das ein Ausrichtungsvalidierungsmodul 104 für die LIDAR-LIDAR- und LIDAR-Fahrzeug-Ausrichtung enthält. Die durch das Ausrichtungsvalidierungsmodul 104 ausgeführten Operationen sind im Folgenden wenigstens anhand von 2-8 weiter beschrieben.
Das Fahrzeugsystem 100 kann ein Modul 105 für autonomes Fahren, ein Karosseriesteuermodul (BCM) 107, ein Telematikmodul 106, ein Vortriebssteuermodul 108, ein Servolenkungssystem 109, ein Bremssystem 111, ein Navigationssystem 112, ein Infotainmentsystem 114, ein Klimatisierungssystem 116 und andere Fahrzeugsysteme und Fahrzeugmodule 118 enthalten. Das Modul 105 für autonomes Fahren kann das Ausrichtungsvalidierungsmodul 104 enthalten und kann außerdem ein Sensorausrichtungs- und Sensorfusionsmodul 113, ein Wahrnehmungs- und Ortsbestimmungsmodul 115 und ein Wegplanungsmodul 117 enthalten. Operationen dieser Module sind im Folgenden weiter beschrieben.
Die Module und Systeme 104-108, 112-115 und 118 können über einen Controller-Area-Network-Bus (CAN-Bus), ein Ethernet-Netz, einen Local-Interconnect-Network-Bus (LIN-Bus), einen anderen Bus oder ein anderes Kommunikationsnetz und/oder drahtlos miteinander kommunizieren. Die Position 119 kann sich auf einen CAN-Bus, auf ein Ethernet-Netz, auf einen LIN-Bus und/oder auf einen anderen Bus und/oder auf ein anderes Kommunikationsnetz beziehen und/oder diese enthalten. Diese Kommunikation kann andere Systeme wie etwa die Systeme 109, 111, 116 enthalten. Es kann eine Leistungsquelle 120 enthalten sein und diese kann das Modul 105 für autonomes Fahren und andere Systeme, Module, Vorrichtungen und/oder Komponenten mit Leistung versorgen. Die Leistungsquelle 120 kann ein Zubehörleistungsmodul, eine oder mehrere Batterien, Generatoren und/oder andere Leistungsquellen enthalten.
Das Telematikmodul 106 kann Transceiver 130 und das Telematiksteuermodul 132 enthalten. Das Vortriebssteuermodul 108 kann den Betrieb eines Vortriebssystems 136 steuern, das ein Kraftmaschinensystem 138 und/oder einen oder mehrere Elektromotoren 140 enthalten kann. Das Kraftmaschinensystem 138 kann eine Brennkraftmaschine 141, einen Startermotor 142 (oder Starter), ein Brennstoffsystem 144, ein Zündungssystem 146 und ein Drosselsystem 148 enthalten.
Das Modul 105 für autonomes Fahren kann die Module und Systeme 106, 108, 109, 111, 112, 114, 116, 118 und andere Vorrichtungen und Systeme auf der Grundlage von Daten von Sensoren 160 steuern. Die anderen Vorrichtungen und Systeme können Fenster- und Türaktuatoren 162, Innenbeleuchtungen 164, Außenbeleuchtungen 166, Kofferraummotor und Kofferraumverriegelung 168, Sitzpositionsmotoren 170, Sitztemperatursteuersysteme 172 und Fahrzeugspiegelmotoren 174 enthalten. Die Sensoren 160 können Temperatursensoren, Drucksensoren, Durchflussmengensensoren, Positionssensoren usw. enthalten. Die Sensoren 160 können LIDAR-Sensoren 180, RADAR-Sensoren 182, Kameras 184, einen Inertialmesssensor 186, einen Kartensensor 188, ein GPS-System 190 und/oder andere Umgebungs- und Merkmalsdetektionssensoren und/oder Umgebungs- und Merkmalsdetektionssysteme enthalten. Das GPS-System 190 kann als Teil des Navigationssystems 112 implementiert sein.
2 zeigt ein beispielhaftes Modul 200 für autonomes Fahren, das auf der Grundlage einer durch das Ausrichtungsvalidierungsmodul 104 ausgeführten LIDAR-Sensor-Ausrichtung arbeitet. Das Modul 200 für autonomes Fahren kann ein oder mehrere des Moduls 105 für autonomes Fahren aus 1 ersetzen und kann das Sensorausrichtungs- und Sensorfusionsmodul 113, das Ausrichtungsvalidierungsmodul 104, das Wahrnehmungs- und Ortsbestimmungsmodul 115 und das Wegplanungsmodul 117 enthalten.
Das Sensorausrichtungs- und Sensorfusionsmodul 113 kann auf der Grundlage von Ausgaben der Sensoren 160 (z. B. der Sensoren 180, 182, 184, 186, 188, 190) wie oben beschriebene Sensorausrichtungs- und Sensorfusionsoperationen ausführen. Das Ausrichtungsvalidierungsmodul 104 bestimmt, ob LIDAR-Sensoren ausgerichtet sind, d. h., ob Differenzen der durch die LIDAR-Sensoren bereitgestellten Informationen für dasselbe eine oder für dieselben mehreren Merkmale und/oder Objekte innerhalb vorgegebener Reichweiten voneinander sind. Das Ausrichtungsvalidierungsmodul 104 bestimmt Differenzwerte für sechs Freiheitsgrade der LIDAR-Sensoren einschließlich Roll-, Nickel-, Gier-, x-, y- und z-Differenzwerten und bestimmt auf der Grundlage dieser Informationen, ob die LIDAR-Sensoren ausgerichtet sind. Falls Sie nicht ausgerichtet sind, können einer oder mehrere der LIDAR-Sensoren rekalibriert werden. Gemäß einer Ausführungsform wird der fehlausgerichtete LIDAR-Sensor rekalibriert, wenn bestimmt wird, dass einer der LIDAR-Sensoren fehlausgerichtet ist. Gemäß einer anderen Ausführungsform werden zwei oder mehr LIDAR-Sensoren einschließlich des fehlausgerichteten LIDAR-Sensors rekalibriert, wenn bestimmt wird, dass einer der LIDAR-Sensoren fehlausgerichtet ist. Gemäß einer anderen Ausführungsform wird der fehlausgerichtete LIDAR-Sensor isoliert und nicht mehr verwendet und wird ein Angabesignal erzeugt, das angibt, dass für den LIDAR-Sensor eine Wartung notwendig ist. Daten von dem fehlausgerichteten Sensor können ausgesondert werden. Nach der Rekalibrierung und/oder Wartung des fehlausgerichteten LIDAR-Sensors können zusätzliche Daten erhoben werden.
Nach der Validierung kann das Wahrnehmungs- und Ortsbestimmungsmodul 115 auf der Grundlage der erhobenen und aggregierten Sensordaten Wahrnehmungs- und Ortsbestimmungsoperationen ausführen, um Aspekte einer Umgebung zu bestimmen, die ein entsprechendes Trägerfahrzeug (z. B. das Fahrzeug 102 aus 1) umgibt. Dies kann das wie oben erwähnte Erzeugen von Wahrnehmungs- und Ortsbestimmungsinformationen enthalten. Dies kann die Detektion und Identifizierung von Merkmalen und Objekten und das Bestimmen von Orten, Entfernungen und Bewegungsbahnen der Merkmale und Objekte relativ zu dem Trägerfahrzeug enthalten. Das Wegplanungsmodul 117 kann auf der Grundlage einer Ausgabe des Wahrnehmungs- und Ortsbestimmungsmoduls 115 einen Weg für das Fahrzeug bestimmen. Das Wegplanungsmodul 117 kann auf der Grundlage des bestimmten Wegs Operationen des Fahrzeugs steuern, einschließlich des Steuerns von Operationen des Servolenkungssystems, des Vortriebssteuermoduls und des Bremssystems über Aktuatoren 204. Die Aktuatoren 204 können Motoren, Treiber, Ventile, Schalter usw. enthalten.
Das Modul 105 für autonomes Fahren kann Speicher 192 enthalten, der Sensordaten, Verlaufsdaten und andere Daten und Informationen, auf die hier Bezug genommen wird, speichern kann.
3 zeigt ein Ausrichtungssystem 300, das ein LIDAR-Ausrichtungsmodul 302 und ein LIDAR-Ausrichtungs-Validierungsmodul 304 enthält. Das Ausrichtungssystem 300 kann in Bezug auf Operationen, die in Abhängigkeit von den LIDAR-Sensoren 180 ausgeführt werden, Abschnitte des Sensorausrichtungs- und Sensorfusionsmoduls 113 und des Ausrichtungsvalidierungsmoduls 104 aus 1-2 darstellen. Das LIDAR-Ausrichtungsmodul 302 kann Ausgaben von Sensoren und/oder gesicherte Sensordaten erheben wie etwa Daten, die von den LIDAR-Sensoren 180, von dem Initialmesssensor 182 und von dem GPS-System 190 erhoben werden und/oder auf der Grundlage von deren Ausgaben erzeugt werden. Es sind die Sensordaten 306 gezeigt.
Das LIDAR-Ausrichtungsmodul 302 kann Ausgaben der LIDAR-Sensoren unter Verwendung jeweiliger Koordinatensysteme, eines für jeden LIDAR-Sensor, unabhängig messen. Jeder LIDAR-Sensor erzeugt eine Punktwolke von Daten, wobei jeder Punkt x-, y- und z- Koordinaten enthält. Die x-Koordinate kann sich auf eine horizontale Querrichtung beziehen. Die y-Koordinate kann sich auf eine Vorwärtsrückwärts- oder Längsrichtung beziehen und die z-Richtung kann sie auf eine vertikale Richtung beziehen. In einem anderen Koordinatensystem können x, y und z anders definiert sein. Jeder der LIDAR-Sensoren kann an einem Fahrzeug an einem jeweiligen Ort angebracht sein und eine jeweilige Orientierung aufweisen. Da die LIDAR-Sensoren an unterschiedlichen Orten sind und in unterschiedlichen Orientierungen sein können, können die LIDAR-Sensoren für ein selbes detektiertes Objekt unterschiedliche Werte berichten. Das LIDAR-Ausrichtungsmodul 302 führt für jeden LIDAR-Sensor eine LIDAR-Fahrzeug-Transformation aus und stellt für einen oder mehrere LIDAR-Sensoren sechs Ausrichtungsparameter 308 bereit, die Roll-, Nick-, Gier-, x-, y- und z-Transformationswerte darstellen. Die Parameter können als eine Matrix (z. B. als eine 4 × 4-Matrix) dargestellt werden.
Das LIDAR-Ausrichtungs-Validierungsmodul 304 empfängt die Ausgabe des LIDAR-Ausrichtungsmoduls 302, die die sechs Parameterwerte für jeden LIDAR-Sensor und/oder die repräsentative Matrix von Werten enthalten kann. Das LIDAR-Ausrichtungs-Validierungsmodul 304 führt auf der Grundlage der empfangenen Werte eine Online-Validierung der LIDAR-LIDAR-Ausrichtung aus und stellt Diagnoseergebnisdaten 310 bereit, die angeben, ob die Ausrichtung bestimmte Bedingungen erfüllt hat. Im Gegensatz dazu, dass sie in einem Backoffice (oder in einer Zentrale) oder in dem Fahrzeug zu einem späteren Zeitpunkt ausgeführt wird (was als offline bezeichnet wird), bezieht sich die Online-Validierung darauf, dass die Validierung innerhalb des Fahrzeugs zur Laufzeit ausgeführt wird. Dies kann für teil- oder vollautonome Fahrzeuge ausgeführt werden. Der Unterschied zwischen online und offline hängt hauptsächlich mit der Laufzeit zusammen. Falls die Validierung während der regulären Fahraufgabe des Fahrzeugs ausgeführt wird, wird sie als online angesehen. Somit kann eine Online-Validierung in einem Backoffice ausgeführt werden, solange dies während der Laufzeit ist. Ein Fahrzeug kann einen Validierungsprozess außerhalb seiner regulären Fahraufgabe wie etwa bei einem Händler ausführen, bei dem das Fahrzeug gewartet wird. In diesem Fall wird sie als offline angesehen, selbst wenn die Validierung in dem Fahrzeug ausgeführt wird.
Die Validierung der LIDAR-LIDAR-Ausrichtung enthält: Überwachen auf eine Freigabebedingung zum Initiieren des Online-Validierungsprozesses, die auf Fahrzeugdynamik- und Ortsbestimmungs- und Wahrnehmungsergebnissen beruht; Aggregieren von LIDAR-Punktwolken in einem Fahrzeugkoordinatensystem; Bestimmen von Nick-, Roll- und Gierdifferenzen; Bestimmen von Rotations- und Translationsdifferenzen; und/oder Treffen von Entscheidungen auf der Grundlage der Integration von Ergebnissen von mehreren verschiedenen ausgeführten Verfahren. Die Aggregierung der LIDAR-Punktwolken kann das Verwenden einer LIDAR-Fahrzeug-Transformation zum Abbilden jedes Punkts in das Fahrzeugkoordinatensystem enthalten, wenn das entsprechende Trägerfahrzeug in einem statischen Zustand ist (d. h. sich nicht bewegt). Als ein Beispiel kann das Fahrzeugkoordinatensystem einen Schwerpunkt oder einen anderen Punkt an dem Fahrzeug als einem Bezugspunkt aufweisen. Wenn das Trägerfahrzeug in einem dynamischen Zustand ist (d. h. sich bewegt), kann die Aggregierung der LIDAR-Punktwolken außerdem zunächst die Verwendung der Punktregistrierung zum Aggregieren mehrerer LIDAR-Rahmen, gefolgt vom Anwenden einer LIDAR-Fahrzeug-Transformation, enthalten.
Die Bestimmung von Nick- und Rolldifferenzen kann unter Verwendung eines ersten Verfahrens und auf der Grundlage von Daten, die von zwei LIDAR-Sensoren empfangen werden, ausgeführt werden. Wie im Folgenden beschrieben wird, kann die Nick- und Rolldifferenz auf der Grundlage der Bodenanpassung und Bodenauswahl bestimmt werden. Das erste Verfahren kann die Verwendung von Algorithmen auf der Grundlage eines Raumfilters, eines Anstiegs, morphologischer Transformationen usw. enthalten. Das Raumfilter verwendet ein 3-dimensionales Gebiet (3D-Gebiet) im Raum, um Punkte innerhalb des Gebiets auszuwählen. Zum Beispiel kann das Raumfilter mit Reichweiten x, y, z: x ∈ [ϑ₁, ϑ₂], y ∈ [ϑ₃, ϑ₄], z ∈ [ϑ₅, ϑ₆], definiert werden, wobei ϑ₁, ϑ₂, ϑ₃, ϑ₄, ϑ₅, ϑ₆ vorgegebene Werte (oder Schwellenwerte) sind. Falls das (x, y, z) eines Punkts einer vorgegebenen Bedingung genügt, dass es innerhalb des Gebiets liegt, wird es durch das Raumfilter ausgewählt. Die anstiegsbasierten Algorithmen detektieren durch Prüfen, ob der Anstieg zwischen einem Punkt und Nachbarpunkten einer vorgegebenen Bedingung genügt (z. B., dass der Anstieg kleiner als ein vorgegebener Schwellenwert ist), Punkte auf dem Boden (z. B. auf dem Erdboden oder auf der Straßenoberfläche). Morphologische Transformationen beziehen sich auf eine Theorie und Technik für die Analyse und Verarbeitung geometrischer Strukturen. Die Theorie und die Technik können auf der Mengenlehre, auf der Gittertheorie, auf der Topologie und auf Zufallsfunktionen beruhen.
Die Bestimmung von Gierdifferenzen zwischen LIDARs kann auf der Zieldetektion beruhen und kann die Verwendung eines Raumfilters, eines Intensitätsfilters, einer Clusterung und/oder einer Punktwolkenregistrierung enthalten. Das Intensitätsfilter kann eine Intensitätsreichweite enthalten, die zum Auswählen von Punkten mit Intensitätswerten, die in der Intensitätsreichweite sind, definiert ist. Zum Beispiel kann das Intensitätsfilter als i>ϑ₇ definiert sein, wobei i die Intensität ist und ϑ₇ ein vorgegebener Schwellenwert ist. Die Clusterung ist eine Aufgabe des Kopierens einer Menge von Objekten in der Weise, dass die Objekte in derselben Gruppe (als ein Cluster bezeichnet) (in einem bestimmten Sinn) zueinander ähnlicher als jene in anderen Gruppen (Clustern) sind. Die Punktwolkenregistrierung ist der Prozess des Ermittelns einer räumlichen Transformation (z. B. Skalierung, Rotation und Translation), die zwei Punktwolken ausrichtet.
Die Bestimmung von Rotations- und Translationsdifferenzen zwischen zwei LIDAR-Sensoren beruht auf der Punktwolkenregistrierung wie etwa einem iterativen nächsten Punkt (ICP), einem generalisierten ICP, einer Normalverteilungstransformation (NDT) usw. ICP ist ein Algorithmus, der zum Minimieren einer Differenz zwischen zwei Punktwolken verwendet wird. ICP kann das Berechnen von Entsprechungen zwischen zwei Abtastungen und das Berechnen einer Transformation, die die Entfernung zwischen einander entsprechenden Punkten minimiert, enthalten. Generalisierter ICP ist ähnlich ICP und kann das Anbringen eines probabilistischen Modells an einer Minimierungsoperation von ICP enthalten. NDT ist eine Darstellung einer Reichweitenabtastung, die beim Anpassen von 2D-Reichweitenabtastungen verwendet werden kann. Eine 2D-Ebene wird ähnlich einem Belegungsgitter in Zellen unterteilt. Jeder Zelle wird eine Normalverteilung zugewiesen, die die Wahrscheinlichkeit der Messung eines Punkts lokal modelliert. Das Ergebnis der Transformation ist eine stückweise stetige und differenzierbare Wahrscheinlichkeitsdichte, die verwendet werden kann, um unter Verwendung eines Newton-Algorithmus eine andere Abtastung anzupassen.
Die Module 302, 304 können eine LIDAR-LIDAR-Ausrichtung und eine LIDAR-LIDAR-Validierung ausführen, die das Transformieren von Punktdaten eines LIDAR-Sensors in ein Koordinatensystem eines anderen LIDAR-Sensors und das Validieren der Transformation enthält. Dies kann aus Redundanzgründen und zu Verifizierungszwecken und zur Berücksichtigung von Fehlern bei der Ausführung dieser Transformationen zusätzlich zur LIDAR-Fahrzeug-Ausrichtung ausgeführt werden. Die LIDAR-Fahrzeug-Transformation kann für Datensätze von jedem LIDAR-Sensor ausgeführt werden. Im Allgemeinen sind die LIDAR-Sensoren ausgerichtet, falls die Differenzen der Transformationen zwischen LIDAR-LIDAR und LIDAR-Fahrzeug klein (z. B. unter vorgegebenen Schwellenwerten) sind. Wenn das nicht der Fall ist, kann es notwendig sein, dass ein oder mehrere der LIDAR-Sensoren rekalibriert und/oder gewartet werden. Ergebnisse der Ausführung einer LIDAR-LIDAR-Transformation können verwendet werden, um eine LIDAR-Fahrzeug-Transformation zu folgern. Eine LIDAR-LIDAR-Transformation kann unter Verwendung zweier LIDAR-Fahrzeug-Transformationen berechnet werden. Eine Verifizierung, dass eine LIDAR-LIDAR-Transformation genau ist, folgert, dass jede der LIDAR-Fahrzeug-Transformationen genau ist. Wenn eine LIDAR-LIDAR-Transformation und/oder eine LIDAR-Fahrzeug-Transformation validiert werden, werden wenigstens zwei LIDAR-Sensoren verwendet.
AUSRICHTUNGSVALIDIERUNG
4 zeigt ein beispielhaftes Verfahren zum Validieren von LIDAR-Sensor-Ausrichtungen, das iterativ ausgeführt werden kann. Das Verfahren kann durch die Ausrichtungsvalidierungsmodule 104, 304 aus 1-3 ausgeführt werden. Das Verfahren kann bei 402 beginnen, das das Prüfen von Freigabebedingungsparametern enthält, um zu bestimmen, ob ein Validierungsprozess begonnen werden soll. Die Freigabebedingungen sind der Fahrzeugdynamik, dem Fahrzeugort, der Detektion und dem Ort umgebender Objekte usw. zugeordnet.
PRÜFUNG VON FREIGABEBEDINGUNGEN
Bei 404 bestimmt das Ausrichtungsvalidierungsmodul, ob die Freigabebedingungen erfüllt sind. Bei Ja wird die Operation 406 ausgeführt. Die Operationen 402, 404 können die in Bezug auf das Verfahren aus 5 beschriebenen Operationen enthalten.
Das Verfahren aus 5 kann bei 502 beginnen, das das Messen, Lesen und/oder Bestimmen der Fahrzeuggeschwindigkeit und Fahrzeugbeschleunigung enthält. Bei 504 bestimmt das Ausrichtungsvalidierungsmodul, ob sich das Fahrzeug nicht bewegt (oder statisch ist). Bei Ja wird die Operation 506 ausgeführt, andernfalls wird die Operation 516 ausgeführt.
Bei 506 erhebt das Ausrichtungsvalidierungsmodul Fahrzeug-GPS-Daten. Bei 508 bestimmt das Ausrichtungsvalidierungsmodul auf der Grundlage der Fahrzeug-GPS-Daten, ob das Fahrzeug an einem vorgegebenen Ort ist. Bei Ja wird die Operation 514 ausgeführt, andernfalls wird die Operation 510 ausgeführt. Bei 510 detektiert das Ausrichtungsvalidierungsmodul Kalibrierungsziele. Dies kann das Verwenden von Wahrnehmungsoperationen und/oder das Ausführen der Zieldetektion des Verfahrens aus 6, die im Folgenden anhand der Operationen 408 und 412 weiter beschrieben sind, enthalten.
Bei 512 bestimmt das Ausrichtungsvalidierungsmodul, ob Kalibrierungsziele existieren. Bei Ja wird die Operation 514 ausgeführt, andernfalls wird die Operation 518 ausgeführt. Bei 514 bestimmt das Ausrichtungsvalidierungsmodul, dass die Freigabebedingungen erfüllt sind, und geht es mit den Zielen zur Operation 408 über.
Bei 516 bestimmt das Ausrichtungsvalidierungsmodul, ob dynamische Parameter innerhalb vorgegebener Reichweiten sind. Dynamische Parameter können Fahrzeuggeschwindigkeits-, Fahrzeugbeschleunigungs- und Gierratenbedingungen, als ein Beispiel, wenn die Beschleunigung, die Geschwindigkeit und die Gierrate jeweils größer als bestimmte im Voraus definierten Schwellenwerte sind, enthalten. Falls Sie nicht innerhalb der vorgegebenen Reichweiten sind, wird die Operation 518 ausgeführt, andernfalls wird die Operation 522 ausgeführt.
Bei 518 bestimmt das Ausrichtungsvalidierungsmodul, ob eine Anzahl von Merkmalspunkten größer oder gleich einer vorgegebenen Anzahl ist. Bei Ja wird die Operation 520 ausgeführt, andernfalls wird die Operation 522 ausgeführt. Bei 520 bestimmt das Ausrichtungsvalidierungsmodul, dass die Freigabebedingungen erfüllt sind, und geht es mit der Punktregistrierung zur Operation 408 über. Bei 522 bestimmt das Ausrichtungsvalidierungsmodul, dass die Freigabebedingungen nicht erfüllt sind, und geht es nicht über. Nach der Operation 522 kann das Verfahren aus 4 enden.
LIDAR-PUNKTAGGREGATION
Wieder anhand von 4 aggregiert das Ausrichtungsvalidierungsmodul bei 406 LIDAR-Punkte in dem Fahrzeugkoordinatensystem. Die Operation 406 kann eine statische Aggregation enthalten, die für Punkte ausgeführt wird, die erhoben werden, wenn sich das Fahrzeug nicht bewegt, und kann zusätzlich eine dynamische Aggregation enthalten, die für Punkte ausgeführt wird, die erhoben werden, wenn sich das Fahrzeug bewegt. Die statische Aggregation enthält das Ausführen einer LIDAR-Fahrzeug-Transformation für jeden LIDAR-Sensor. Als ein Beispiel können zwei LIDAR-Sensoren A und B verwendet werden. Die Punkte vom LIDAR A, die als ${P_{i}^{A}}$
dargestellt sind, und die LIDAR-A-Kalibrierungswerte für die Rotation R_A und für die Translation t_A werden zum Aggregieren und/oder Abbilden von Punkten von dem LIDAR A auf das Fahrzeugkoordinatensystem verwendet. Die resultierenden Punkte werden als ${P_{i}^{V A}}$
dargestellt. Dies kann unter Verwendung von Gleichung 1 erfolgen, wobei i die Punktanzahl ist. ${P_{i}^{V A}} = R_{A} P_{i}^{A} + t_{A}$
Punkte vom LIDAR B, die als ${P_{i}^{B}}$
dargestellt sind, und LIDAR-B-Kalibrierungswerte für die Rotation R_B und für die Translation t_B werden verwendet, um Punkte von dem LIDAR B in das Fahrzeugkoordinatensystem zu aggregieren und/oder abzubilden. Die resultierenden Punkte werden als ${P_{i}^{V B}}$
dargestellt. Dies kann unter Verwendung von Gleichung 2 erfolgen. In diesem Beispiel wird LIDAR-LIDAR nicht direkt, sondern vielmehr indirekt durch LIDAR-Fahrzeug-Transformationen, vergleichen. ${P_{i}^{V B}} = R_{B} P_{i}^{B} + t_{B}$
Die dynamische Aggregation enthält das Nehmen von Punkten sowohl des LIDARS A als auch des LIDARS B, dargestellt als LIDAR j, wobei j A oder B ist, zum Zeitpunkt $k : {P_{i, k}^{j}},$
und das Ausführen der Punktregistrierung. Die Punktregistrierung wird ausgeführt, um die Punkte zum Zeitpunkt k' in dem Koordinatensystem von LIDAR j zum Zeitpunkt k abzubilden. Dies kann unter Verwendung von Gleichung 3 erfolgen, sodass sich ${P_{i, k}^{j}}$
und ${{\hat{P}}_{i, k'}^{j}}$
überlappen. ${\hat{P}}_{i, k'}^{j} = R_{j, k', k} P_{i, k}^{j} + t_{j, k', k}$
Die Registrierungsverfahren, die ausgeführt werden, können ICP, generalisiertes ICP, Kanten- und Oberflächenmerkmalspunkte-Registrierung, NDT usw. enthalten. Daraufhin werden die abgebildeten Punkte für LIDAR j (A oder B) unter Verwendung von Gleichung 4 aggregiert. ${P_{i}^{j}} = U_{k'} {{\hat{P}}_{i, k'}^{j}}$
Daraufhin werden die durch Ausführen der LIDAR-Registrierung erzeugten Werte ${P_{i}^{A}}$
und ${P_{i}^{B}}$
als Eingaben verwendet, um dieselbe Aggregation wie die statische Aggregation auszuführen, und in die Gleichungen 1 bzw. 2 eingegeben, um die resultierenden aggregierten und abgebildeten Punkte ${P_{i}^{V A}}, {P_{i}^{V B}}$
bereitzustellen.
Die aggregierten und abgebildeten Punkte ${P_{i}^{V A}},$
${P_{i}^{V B}}$
können als Eingaben für die Operationen 408, 412 und 416 bereitgestellt werden.
Da zwei LIDAR-Sensoren einen Ort unterschiedlich detektieren, selbst wenn sie in dasselbe Koordinatensystem abgebildet werden, können Nick- und Rolldifferenzen, Gierdifferenzen, Rotationsdifferenzen und/oder Translationsdifferenzen bestimmt werden. Diese Differenzen werden in den folgenden Operationen 410, 414, 416 bestimmt. Um Nick- und Rolldifferenzen zu bestimmen, können zwei jeweilige Bodenorte, einer auf einer Seite des Fahrzeugs und einer vor dem Fahrzeug, ausgewählt werden. Eine vertikale Höhendifferenz beim Detektieren des Bodenorts auf der Seite des Fahrzeugs kann verwendet werden, um die Rolldifferenz zu bestimmen. Eine vertikale Höhendifferenz beim Detektieren des Bodenorts vor dem Fahrzeug kann verwendet werden, um die Nickdifferenz zu bestimmen. Für eine Gierdifferenz kann ein Objekt, das vertikal verläuft, (z. B. ein Lichtmast) ausgewählt werden. Eine horizontale Differenz beim Detektieren des Orts des Objekts kann verwendet werden, um die Gierdifferenz zu bestimmen.
BODENANPASSUNG UND BODENAUSWAHL
Bei 408 führt das Ausrichtungsvalidierungsmodul die Bodenanpassung und Bodenauswahl aus. Die Operationen 408, 410 können als ein Nick- und Rolldifferenzverfahren bezeichnet werden. Die Operation 408 kann die Operationen aus 6 enthalten, die bei 602 beginnen können. Bei 602 liest das Ausrichtungsvalidierungsmodul aggregierte LIDAR-Punkte aus dem Speicher und wie sie oben bestimmt worden sind. Bei 604 bestimmt das Ausrichtungsvalidierungsmodul, ob das Fahrzeug an einem vorgegebenen bekannten Ort ist. Wenn nicht, wird die Operation 606 ausgeführt, andernfalls wird die Operation 608 ausgeführt.
Bei 606 wird die Bodenanpassung ausgeführt. Bei 606A projiziert das Ausrichtungsvalidierungsmodul Punkte auf ein Gitter, wobei jede Zeile des Gitters ein Bündel darstellt und jede Spalte des Gitters einen Azimutwinkel darstellt. Bei 606B berechnet das Ausrichtungsvalidierungsmodul einen Anstieg jedes Punkts relativ zu seinem entsprechenden Punkt in einer vorhergehenden Zeile. Bei 606C bestimmt das Ausrichtungsvalidierungsmodul unter Verwendung von z<θ, wobei θ ein vorgegebener Schwellenwert ist, Bodenpunkte in der untersten Zeile des Gitters (oder des Rahmens). Wenn der z-Wert des Punkts kleiner als der vorgegebene Schwellenwert ist, ist der Punkt ein Bodenpunkt in der untersten Zeile.
Bei 606D bestimmt das Ausrichtungsvalidierungsmodul, ob die Nachbarpunkte und die Bodenpunkte markiert sind. Bei Ja kann die Operation 608 ausgeführt werden, andernfalls kann die Operation 606E ausgeführt werden. Bei 606E wählt das Ausrichtungsvalidierungsmodul einen unmarkierten Punkt P_j eines Bodenpunkts P_i aus. Bei 606F bestimmt das Ausrichtungsvalidierungsmodul, ob der Anstieg von P_j nahe dem Anstieg von P_i ist. Bei Ja wird die Operation 606G ausgeführt, andernfalls wird die Operation 606H ausgeführt. Bei 606G markiert das Ausrichtungsvalidierungsmodul P_j als einen Bodenpunkt. Bei 606H markiert das Ausrichtungsvalidierungsmodul P_j als einen Nicht-Bodenpunkt. Nach den Operationen 606G und 606H wird die Operation 606D ausgeführt.
Bei 608 wählt das Ausrichtungsvalidierungsmodul auf der Grundlage von Raumfiltern, wobei x ∈ [θ₁,θ₂], y ∈ [θ₃,θ₄], z ∈ [θ₅ θ₆] ist, Kandidatenpunkte aus. θ_i kann für Nicken bzw. Rollen unterschiedliche Werte aufweisen. Bei 610 passt das Ausrichtungsvalidierungsmodul unter Verwendung einer Hauptkomponentenanalyse eine Ebene an die ausgewählten Bodenpunkte an und entfernt es Punkte mit einer größeren als einer vorgegebenen Entfernung von dem ebenen Boden.
Bei 612 wählt das Ausrichtungsvalidierungsmodul unter Verwendung von Verfahren zum Auswählen von Punkten innerhalb einer vorgegebenen Reichweite voneinander Punkte von LIDAR A und B, die derselben Bodenfläche zugeordnet sind, aus. Die Verfahren können das Verwenden eines k-d-Baums, der ein binärer Baum ist, enthalten, wobei jeder Blattknoten ein k-dimensionaler Punkt ist. Der k-d-Baum kann verwendet werden, um Punkte in naher Entfernung auszuwählen.
Δz UND NICK- UND ROLLDIFFERENZEN
Wieder anhand des Verfahrens aus 4 berechnet des Ausrichtungsvalidierungsmodul bei 410 eine Differenz in z (oder Δz) zwischen Ausgangsdatenpunkten (einfach als „Punkte ‟bezeichnet) der LIDAR-Sensoren und bestimmt es Nick- und Rolldifferenzen zwischen den LIDAR-Sensoren. Um die Nickdifferenz zu bestimmen, werden oben ausgewählte Bodenpunkte ${P_{p, i}^{V A}}, {P_{p n i}^{V B}}$
erhalten. Eine Differenz in z wird unter Verwendung von Gleichung 5 bestimmt. $Δ z_{p} = = m e a n_{z} (P_{p, i}^{V A}) - m e a n_{z} (P_{p, j}^{V B})$
Die Nickdifferenz wird unter Verwendung von Gleichung 6 bestimmt. $Pitch_diff = arctan (\frac{Δ z_{p}}{m e a n_{x} {P_{p, i}^{V A}, P_{p, j}^{V B}}})$
Um die Rolldifferenz zu bestimmen, werden die oben ausgewählten Bodenpunkte ${P_{r, i}^{V A}}, {P_{r, j}^{V B}}$
erhalten. Eine Differenz in z wird unter Verwendung von Gleichung 7 bestimmt. $Δ z_{r} = = m e a n_{z} (P_{r, i}^{V A}) - m e a n_{z} (P_{r, j}^{V B})$
Die Rolldifferenz wird unter Verwendung von Gleichung 8 bestimmt. $Roll_diff = arctan (\frac{Δ z_{r}}{m e a n_{y} {P_{r, i}^{V A}, P_{r, j}^{V B}}})$
ZIELDETEKTION
Bei 412 detektiert das Ausrichtungsvalidierungsmodul Ziele (z. B. Merkmale und/oder Objekte). Ein Ziel kann sich auf kleine Objekte beziehen, die anders als große Gebäude vollständig detektiert werden können. Zielpunkte sind Merkmalspunkte, aber nicht alle Merkmalspunkt sind Zielpunkte. Die Zieldetektion kann implementiert werden unter Verwendung: eines Raumfilters, wobei x ∈ [θ₈, θ₉], y ∈ [θ₁₀, θ₁₁], z ∈ [θ₁₂, θ₁₃], Entfernung ∈ [θ₁₄, θ₁₅] ist; eines Intensitätsfilters und einer Clusterung; und einer Punktwolkenregistrierung. Das Raumfilter kann verwendet werden, falls der Ort des Fahrzeugs bekannt ist (z. B. ein Parkplatz mit bekannten Objekten wie etwa Lichtmasten an bekannten Orten). Falls der Ort des Fahrzeugs nicht bekannt ist, können das Intensitätsfilter und die Clusterung zusammen mit der Punktwolkenregistrierung ausgeführt werden, um ein Ziel auszusuchen und daraufhin die Winkeldifferenz zu dem Ziel zu berechnen. Daraufhin wird auf der Grundlage der Winkeldifferenz eine Gierdifferenz bestimmt.
GIERDIFFERENZEN
Bei 414 bestimmt das Ausrichtungsvalidierungsmodul Gierdifferenzen zwischen Punkten von LIDAR-Sensoren. Die Operationen 412, 414 können als ein Gierdifferenzenverfahren bezeichnet werden. Die Gierdifferenz kann unter Verwendung der Gleichungen 9-11 wie in 7 dargestellt bestimmt werden, wo ψ_A ein Winkel zwischen einer Bezugslinie und einem Ziel, wie durch LIDAR A gesehen, ist, ψ_B ein Winkel zwischen der Bezugslinie und dem Ziel, wie durch LIDAR B gesehen, ist, und die Gierdifferenz Δψ ist. Der Punkt 700 bezieht sich auf einen Bezugspunkt (z. B. den Schwerpunkt) des Fahrzeugs. Der Punkt 702 bezieht sich auf das Ziel, wie es durch LIDAR A gesehen wird, und der Punkt 704 bezieht sich auf das Ziel, wie es durch LIDAR B gesehen wird. $ψ_{A} = arctan (\frac{m e a n_{y} (P_{ψ, i}^{V A})}{m e a n_{x} (P_{ψ, i}^{V A})})$
$ψ_{B} = arctan (\frac{m e a n_{y} (P_{ψ, i}^{V B})}{m e a n_{x} (P_{ψ, j}^{V B})})$
$Yaw_diff = ψ_{A} - ψ_{B}$
PUNKTWOLKENREGISTRIERUNG
Bei 416 führt das Ausrichtungsvalidierungsmodul die Punktwolkenregistrierung aus, um Translations- und Rotationsinformationen zu bestimmen. Die Operation 416 kann als ein Punktwolken-Differenzverfahren bezeichnet werden und enthält das Bestimmen von Rotations- und Translationsdifferenzen. Das Ausrichtungsvalidierungsmodul führt die Punktwolkenregistrierung unter Verwendung der aggregieren Punkte von LIDAR A und B oder ${P_{i}^{V A}}, {P_{j}^{V B}},$
einschließlich des Bestimmens einer Transformation T_B-A in der Weise, dass Gleichung 12 erfüllt ist, wobei ${P_{i}^{V B - A}}$
auf ${P_{i}^{V A}}$
ausgerichtet ist, aus. $P_{i}^{V B - A} = T_{B = A} P_{i}^{V P}$
Das Ausrichtungsvalidierungsmodul wandelt die Transformation T_B-A in Rotationswinkel und Translationswerte um, die Rolldifferenz-, Nickdifferenz-, Gierdifferenz-, x-Differenz-, y-Differenz- und z-Differenzwerte sind. Die obengenannte Technik enthält das Bewegen einer ersten Punktwolke zum Überlappen einer zweiten Punktwolke und das Bestimmen, wie viel die erste Punktwolke bewegt wurde, dargestellt durch Rotations- und Translationswerte. Gemäß einer Ausführungsform wird die erste Punktwolke bewegt, damit sie so nahe wie möglich ist, um die zwei Punktwolken ideal zu überlappen und anzupassen. Daraufhin werden die Rotations- und Translationswerte in die sechs Freiheitsgrade umgewandelt. Es können Nick-, Roll-, Gier-, x-, y-, z-Fehler berechnet werden und diese geben das Ausmaß der Fehlausrichtung zwischen den LIDAR-Sensoren an.
Aus den Operationen 410, 414 und 416 werden zwei Sätze von Sechs-Freiheitsgrad-Werten für die LIDAR-Sensoren bestimmt. Der erste Satz ist von den Operationen 410 und 414 und der zweite Satz ist von der Operation 416.
INTEGRIEREN DER ERGEBNISSE UND ABSCHLIESSENDE ENTSCHEIDUNGEN
Bei 418 integriert das Ausrichtungsvalidierungsmodul die Ergebnisoperationen 410, 414 und 416 des Nick- und Rolldifferenzverfahrens, des Gierdifferenzverfahrens und des Punktwolken-Differenzverfahrens. Die Operation 418 kann das Verwenden von Ergebnissen von dem ersten Verfahren (oder von den Operationen 408, 410, 412, 414) und/oder von Ergebnissen von dem zweiten Verfahren (Operation 416) enthalten. Aus dem Kombinieren von Ergebnissen der Operationen 410, 414 kann ein erster Vektor von sechs Differenzwerten erhalten werden. Aus dem Ausführen der Operation 416 kann ein zweiter Vektor von sechs Differenzwerten erhalten werden. Die Nummer des Verfahrens ist als Variable i angegeben. Ein Vektor Δa_i des sechs Parameterdifferenzen ist durch Gleichung 13 dargestellt. Für jedes der ausgeführten Verfahren kann ein ähnlicher Vektor bestimmt werden. $Δ a_{i} = [{roll_diif}_{i} {,pitch_diff}_{i} {,yaw_diff}_{i} {,x_diff}_{i} {,y_diff}_{i}, {z_diff}_{i}]$
Unter Verwendung von Gleichung 14 können integrierte Ergebnisse der Verfahren bestimmt werden, wobei w_i die kalibrierten Gewichte sind, die auf jeden der Vektoren angewendet werden. Auf jeden Wert eines Vektors kann ein selbes Gewicht angewendet werden, wobei auf jeden Vektor ein anderes Gewicht angewendet wird. Alternativ kann auf jeden Differenzwert jedes Vektors ein anderes Gewicht angewendet werden. $Δ a = \frac{Σ w_{i} Δ a_{i}}{Σ w_{i}}$
Bei 420 führt das Ausrichtungsvalidierungsmodul abschließende Entscheidungen wie etwa das Bestimmen, ob Ausrichtungsbedingungen erfüllt sind, aus. Falls die Bedingungen erfüllt sind, sind die LIDAR-Sensoren ausgerichtet. Falls Werte eines resultierenden Vektors Δa größer als vorgegebene Schwellenwerte eines vorgegebenen Vektors sind, gilt die Ausrichtungsvalidierung als fehlgeschlagen. Der vorgegebene Vektor kann sechs Schwellenwerte enthalten, die den sechs Differenzparametern entsprechen. Wenn ein oder mehrere der Schwellenwerte überschritten sind, gilt die Ausrichtungsvalidierung als fehlgeschlagen. Daraufhin können einer oder mehrere der LIDAR-Sensoren rekalibriert und/oder gewartet und/oder ersetzt werden, um neue Kalibrierungswerte bereitzustellen, und kann der obige Prozess mit den neuen Kalibrierungswerten wiederholt werden. Als ein Beispiel ist eine Bedingung nicht erfüllt und können einer oder mehrere der LIDAR-Sensoren rekalibriert werden, wenn einer oder mehrere der Roll-, Nick- und Gierdifferenzwerte größer oder gleich 0,3° sind. Als ein anderes Beispiel ist eine Bedingung nicht erfüllt und können einer oder mehrere der LIDAR-Sensoren rekalibriert werden, wenn die x-, y-, z-Differenzwerte größer oder gleich 5,0 Zentimeter (cm) sind. Falls die resultierenden Werte des Vektors Δa kleiner oder gleich den Werten des vorgegebenen Schwellenvektors sind, gilt die Ausrichtungsvalidierung als bestanden.
Wenn es mehr als zwei LIDARs gibt, kann für jedes Paar von LIDAR-Sensoren ein Vektor Δa bestimmt werden. Falls Δa größer als der Vektor vorgegebener Schwellenwerte ist, können der eine oder die mehreren der LIDAR-Sensoren des Paars, das bewertet wird, als verdächtig identifiziert werden. Die verdächtigen LIDARs können rekalibriert werden oder die Schnittmenge verdächtiger LIDARs kann kalibriert werden. Falls z. B. ein Differenzwert zwischen den LIDAR-Sensoren A und B groß ist, ein Differenzwert zwischen den LIDAR-Sensoren A und C groß ist und ein Differenzwert zwischen den LIDAR-Sensoren B und C klein ist, kann der LIDAR-Sensor A rekalibriert werden und können die LIDAR-Sensoren B und C nicht rekalibriert werden.
Gemäß einer Ausführungsform werden Ausrichtungsergebnisse für eine erste LIDAR-Sensor-Fahrzeug-Transformation und Ausrichtungsergebnisse für eine zweite LIDAR-Sensor-Fahrzeug-Transformation bereitgestellt. Auf der Grundlage dieser Ergebnisse werden sechs Freiheitsgrad-Differenzwerte für die zwei LIDAR-Sensoren bestimmt.
Gemäß einer anderen Ausführungsform kann bestimmt werden, ob eine zweite LIDAR-Fahrzeug-Transformation (oder LIDAR-Fahrzeug-Ausrichtung) genau ist, wenn bekannt ist, dass die Ausrichtungsergebnisse eines ersten LIDAR-Sensors genau sind und die Ergebnisse von einer Erster-LIDAR-Sensor-Fahrzeug-Transformation (oder Erster-LIDAR-Sensor-Fahrzeug-Ausrichtung) bekannt sind. Die Erstes-LIDAR-Fahrzeug-Transformation (oder Erstes-LIDAR-Fahrzeug-Ausrichtung) kann erste sechs Differenzwerte bereitstellen und die Erstes-LIDAR-zweites-LIDAR-Transformation (oder Erstes-LIDAR-zweites-LIDAR-Ausrichtung) kann zweite sechs Werte bereitstellen. Um die genauen Werte (oder die Ground Truth) der sechs Werte der Zweites-LIDAR-Fahrzeug-Transformation (oder Zweites-LIDAR-Fahrzeug-Ausrichtung) zu erhalten, können die ersten sechs Differenzwerte zu den zweiten sechs Differenzwerten addiert werden. Die Differenz zwischen dieser Ground Truth der sechs Werte der Zweites-LIDAR-Fahrzeug-Transformation (oder Zweites-LIDAR-Fahrzeug-Ausrichtung) und dem vorhandenen Kalibrierungsergebnis der Zweites-LIDAR-Fahrzeug-Transformation (oder Zweites-LIDAR-Fahrzeug-Ausrichtung) wird hinsichtlich der sechs Differenzwerte erzeugt. Daraufhin können die resultierenden sechs Differenzwerte mit den sechs Schwellenwerten verglichen werden, um zu bestimmen, ob die Zweites-LIDAR-Fahrzeug-Transformation (oder Zweites-LIDAR-Fahrzeug-Ausrichtung) genau ist.
Falls die Ausrichtungsvalidierung als fehlgeschlagen gilt, kann die Operation 422 ausgeführt werden, andernfalls kann die Operation 402 ausgeführt werden. Bei 422 kann das Ausrichtungsvalidierungsmodul einen LIDAR-Ausrichtungsprozess auslösen, um die identifizierten LIDAR-Sensoren, die als solche identifiziert worden sind, die den Ausrichtungsvalidierungsprozess nicht bestanden haben, zu rekalibrieren. Bis sie rekalibriert und/oder gewartet worden sind, können die verdächtigen LIDAR-Sensoren nicht verwendet werden und/oder kann nicht auf sie Bezug genommen werden.
Die oben beschriebenen Operationen sind als veranschaulichende Beispiele gedacht. Die Operationen können in Abhängigkeit von der Anwendung aufeinanderfolgend, synchron, gleichzeitig, ununterbrochen, während überlappender Zeitdauern oder in einer anderen Reihenfolge ausgeführt werden. Außerdem können irgendwelche der Operationen in Abhängigkeit von der Implementierung und/oder Folge von Ereignissen nicht ausgeführt oder übersprungen werden.

Die folgende Tabelle 1 gibt Vorteile des Ausführens der Operationen 408, 410, 412, 414 (Verfahren 1), der Operation 416 (Verfahren 2) und der Operation 418 an. Tabelle 1 - Vorteile der Ausführung einiger Operationen von Fig. 4.

Vergleich	Auf der Grundlage des Ziels	Auf der Grundlage der Punktregistrierung	Integration beider Verfahren
Fähig zur Validierung der Orientierungsdifferenz	Ja	Ja	Ja
Fähig zur Validierung der Translationsdifferenz	Nein	Ja	Ja
Fähig zur Anwendung auf einen zufälligen Ort	Nein	Ja	Ja
Fähig zur Anwendung während eines dynamischen Zustands	Nein	Ja	Ja
Rechenbetriebsmittel	niedrig	hoch	hoch
Streuung	hoch	niedrig	niedrig

Gemäß einer Ausführungsform enthalten die oben beschriebenen Beispiele eine dynamische LIDAR-Fahrzeug-Validierung. Die dynamische LIDAR-Fahrzeug-Validierung enthält die Punktregistrierung in einem dynamischen Zustand, die Bewegungsverzerrungsentfernung für LIDAR-Daten und die Inertialnavigationssystem-Fehlerkompensation (INS-Fehlerkompensation). Die Beispiele können das Vornehmen von Vergleichen mit Referenzen einschließlich des Bereitstellens von LIDAR-Ausrichtungsergebnissen und das Bestimmen von Referenzen wie etwa der Ground Truth, Verlaufsergebnissen und Wagenparkstatistiken enthalten. Eine „Ground Truth“ bezieht sich auf Punkte und/oder Informationen, von denen bekannt ist, dass sie richtig sind, die daraufhin als eine Referenz verwendet werden können, auf deren Grundlage Informationen erzeugt werden und/oder Entscheidungen getroffen werden.
8 zeigt ein Objektdetektionsverfahren, das in die oben beschriebenen Verfahren integriert werden kann, um Objekte zu detektieren. Das Verfahren kann bei 802 beginnen, wo das Modul 105 für autonomes Fahren aus 1 für jeden Typ eines Objekts, das betrachtet wird, über jede Abtastung von unter Verwendung eines LIDAR-Sensors erhobenen Daten eine Schleife ausführt.
Bei 802A liest das Modul 105 für autonomes Fahren über LIDAR-Sensoren erhobene Daten und aggregiert es die Daten in einem Weltkoordinatensystem. Bei 802B führt das Modul 105 für autonomes Fahren die LIDAR-Datensegmentierung aus. Bei 802C filtert das Modul 105 für autonomes Fahren Punkte mit niedriger Intensität oder Punkte mit Intensitätspegeln kleiner als ein vorgegebener Schwellenwert (z. B. T1) heraus.
Bei 802D filtert das Modul 105 für autonomes Fahren Daten mit einer niedrigen und hohen Reichweite (Entfernung) oder Daten außerhalb einer vorgegebenen Reichweite T2-T3 heraus. Bei 802E filtert das Modul 105 für autonomes Fahren die Datenposition (Mittelwertverschiebungs-Clusterung) und die räumliche Dimension (Reichweiten in x, y, z) heraus.
Bei 802F beseitigt das Modul 105 für autonomes Fahren potentielle Objekte mit Datenpunkten kleiner als N1, wobei N1 eine vorgegebene Schwellenanzahl von Punkten ist. Bei 802G detektiert das Modul 105 für autonomes Fahren für jede Abtastung ein bzw. mehrere Objekte.
Bei 804 bestimmt das Modul 105 für autonomes Fahren, ob es in wenigstens N2 aufeinanderfolgenden Abtastungen ein betrachtetes Objekt gibt, wobei N2 eine vorgegebene Schwellenanzahl von Abtastungen ist. Bei Ja wird die Operation 806 ausgeführt, andernfalls wird die Operation 808 ausgeführt. Bei 806 gibt das Modul 105 für autonomes Fahren an, dass Objekte detektiert werden. Bei 808 gibt das Modul 105 für autonomes Fahren an, dass keine Objekte detektiert werden.
Die Werte T1, T2, T3, N1, N2 und die Reichweiten x, y, z sind kalibrierbar und können für jedes betrachtete Objekt spezifisch sein. Objekte mit wahren bekannten Orten können z. B. ebenfalls unter Verwendung hochauflösender Karten, der Fahrzeug-Fahrzeug-Kommunikation und/oder der Fahrzeug-Infrastruktur-Kommunikation detektiert werden.
Die vorstehende Beschreibung ist dem Wesen nach lediglich veranschaulichend und soll die Offenbarung, ihre Anwendung oder Verwendungen in keiner Weise einschränken. Die umfassenden Lehren der Offenbarung können in einer Vielzahl von Formen implementiert werden. Obwohl diese Offenbarung bestimmte Beispiele enthält, soll der wahre Schutzumfang der Offenbarung somit nicht darauf beschränkt sein, da andere Änderungen bei einem Studium der Zeichnungen, der Beschreibung und der folgenden Ansprüche hervorgehen. Selbstverständlich können ein oder mehrere Schritte innerhalb eines Verfahrens in einer anderen Reihenfolge (oder gleichzeitig) ausgeführt werden, ohne die Prinzipien der vorliegenden Offenbarung zu ändern. Obwohl jede der Ausführungsformen oben als mit bestimmten Merkmalen beschrieben worden ist, können ferner ein oder mehrere dieser in Bezug auf irgendeine Ausführungsform der Offenbarung beschriebenen Merkmale in und/oder zusammen mit Merkmalen irgendeiner der anderen Ausführungsformen implementiert werden, selbst wenn diese Kombination nicht explizit beschrieben ist. Mit anderen Worten, die beschriebenen Ausführungsformen schließen sich nicht gegenseitig aus und Vertauschungen einer oder mehrerer Ausführungsformen miteinander bleiben im Schutzumfang dieser Offenbarung.
Räumliche und funktionale Beziehungen zwischen Elementen (z. B. zwischen Modulen, Schaltungselementen, Halbleiterschichten usw.) sind unter Verwendung verschiedener Begriffe einschließlich „verbunden“, „in Eingriff“, „gekoppelt“, „benachbart“, „neben“, „auf‟, „über“, „unter“ und „angeordnet“ beschrieben. Wenn eine Beziehung zwischen einem ersten und einem zweiten Element in der obigen Offenbarung nicht explizit als „direkt“ beschrieben ist, kann diese Beziehung eine direkte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element keine anderen dazwischenliegenden Elemente vorhanden sind, kann sie aber ebenfalls eine indirekte Beziehung sein, bei der zwischen dem ersten und dem zweiten Element ein oder mehrere (entweder räumlich oder funktional) dazwischenliegende Elemente vorhanden sind. Wie die Formulierung wenigstens eines von A, B und C hier verwendet ist, soll sie ein logisches (A ODER B ODER C) unter Verwendung eines nicht ausschließenden logischen ODER bedeuten und ist sie nicht in der Bedeutung „wenigstens eines von A, wenigstens eines von B und wenigstens eines von C“ zu verstehen.
In den Figuren veranschaulicht die Richtung eines Pfeils, wie sie durch die Pfeilspitze angegeben ist, allgemein den Informationsfluss (wie etwa von Daten oder Anweisungen), der für die Darstellung von Interesse ist. Wenn z. B. ein Element A und ein Element B eine Vielzahl von Informationen austauschen, für die Darstellung aber von dem Element A zu dem Element B übertragene Informationen relevant sind, kann der Pfeil von dem Element A zu dem Element B weisen. Dieser einfachgerichtete Pfeil bedeutet nicht, dass keine anderen Informationen von dem Element B zu dem Element A übertragen werden. Ferner kann für von dem Element A zu dem Element B gesendete Informationen das Element B Anforderungen für die Informationen an das Element A senden oder deren Quittierungen empfangen.
In dieser Anmeldung einschließlich in den folgenden Definitionen kann der Begriff „Modul“ oder der Begriff „Controller“ durch den Begriff „Schaltung“ ersetzt werden. Der Begriff „Modul“ kann sich auf: eine anwendungsspezifische integrierte Schaltung (ASIC); eine digitale, analoge oder gemischt analog/digitale diskrete Schaltung; eine digitale, analoge oder gemischt analog/digitale integrierte Schaltung; eine Kombinationslogikschaltung; eine frei programmierbare logische Anordnung (FPGA); eine Prozessorschaltung (gemeinsam genutzt, dediziert oder Gruppe), die Code ausführt; eine Speicherschaltung (gemeinsam genutzt, dediziert oder Gruppe), die durch die Prozessorschaltung ausgeführten Code speichert; andere geeignete Hardwarekomponenten, die die beschriebene Funktionalität bereitstellen; oder eine Kombination einiger oder aller der Obigen wie etwa in einem Ein-Chip-System beziehen, ein Teil davon sein oder sie enthalten.
Das Modul kann eine oder mehrere Schnittstellenschaltungen enthalten. Gemäß einigen Beispielen können die Schnittstellenschaltungen verdrahtete oder drahtlose Schnittstellen enthalten, die mit einem lokalen Netz (LAN), mit dem Internet, mit einem Weitverkehrsnetz (WAN) oder mit Kombinationen davon verbunden sind. Die Funktionalität irgendeines gegebenen Moduls der vorliegenden Offenbarung kann auf mehrere Module, die über Schnittstellenschaltungen verbunden sind, verteilt sein. Zum Beispiel können mehrere Module einen Lastausgleich ermöglichen. Gemäß einem weiteren Beispiel kann ein Servermodul (auch als entferntes Modul oder Cloud-Modul bekannt) einige Funktionalität im Auftrag eines Client-Moduls ausführen.
Der Begriff Code, wie er oben verwendet ist, kann Software, Firmware und/oder Mikrocode enthalten und kann sich auf Programme, Routinen, Funktionen, Klassen, Datenstrukturen und/oder Objekte beziehen. Der Begriff gemeinsam genutzte Prozessorschaltung umfasst eine einzelne Prozessorschaltung, die einen Teil des Codes oder allen Code von mehreren Modulen ausführt. Der Begriff Gruppenprozessorschaltung umfasst eine Prozessorschaltung, die einen Teil oder allen Code von einem oder von mehreren Modulen zusammen mit zusätzlichen Prozessorschaltungen ausführt. Bezugnahmen auf mehrere Prozessorschaltungen umfassen mehrere Prozessorschaltungen auf diskreten Chips, mehrere Prozessorschaltungen auf einem einzelnen Chip, mehrere Kerne einer einzelnen Prozessorschaltung, mehrere Threads einer einzelnen Prozessorschaltung oder eine Kombination der Obigen. Der Begriff gemeinsam genutzte Speicherschaltung umfasst eine einzelne Speicherschaltung, die einen Teil von oder allen Code von mehreren Modulen speichert. Der Begriff Gruppenspeicherschaltung umfasst eine Speicherschaltung, die einen Teil oder allen Code von einem oder mehreren Modulen zusammen mit zusätzlichen Speichern speichert.
Der Begriff Speicherschaltung ist eine Teilmenge des Begriffs computerlesbares Medium. Der Begriff computerlesbares Medium, wie er hier verwendet ist, umfasst keine transitorischen elektrischen oder elektromagnetischen Signale, die sich (wie etwa in einer Trägerwelle) durch ein Medium ausbreiten; somit kann der Begriff computerlesbares Medium als konkret und nichttransitorisch angesehen werden. Nicht einschränkende Beispiele eines nichttransitorischen, konkreten computerlesbaren Mediums sind nichtflüchtige Speicherschaltungen (wie etwa eine Flash-Speicherschaltung, eine löschbare, programmierbarere Nur-Lese-Speicherschaltung oder eine Masken-Nur-Lese-Speicherschaltung), flüchtige Speicherschaltungen (wie etwa eine statische Schreib-Lese-Speicherschaltung oder eine dynamische Schreib-Lese-Speicherschaltung), magnetische Ablagespeichermedien (wie etwa ein analoges oder digitales Magnetband oder ein Festplattenlaufwerk) und optische Ablagespeichermedien (wie etwa eine CD, eine DVD oder eine Blu-Ray-Disc).
Die in dieser Anmeldung beschriebenen Vorrichtungen und Verfahren können teilweise oder vollständig durch einen durch Konfigurieren eines Universalcomputers zum Ausführen einer oder mehrerer bestimmter Funktionen, die in Computerprogrammen verkörpert sind, erzeugten Spezialcomputer implementiert werden. Die Funktionsblöcke, Ablaufplankomponenten und anderen Elemente, die oben beschrieben sind, dienen als Softwarespezifikationen, die durch die Routinearbeit eines erfahrenen Technikers oder Programmierers in die Computerprogramme übersetzt werden können.
Die Computerprogramme enthalten durch einen Prozessor ausführbare Anweisungen, die in wenigstens einem nichttransitorischen, konkreten computerlesbaren Medium gespeichert sind. Außerdem können die Computerprogramme gespeicherte Daten enthalten oder sich auf sie stützen. Die Computerprogramme können ein Basis-Eingabe/Ausgabe-System (BIOS), das mit Hardware des Spezialcomputers zusammenwirkt, Vorrichtungstreiber, die mit bestimmten Vorrichtungen des Spezialcomputers zusammenwirken, ein oder mehrere Betriebssysteme, Benutzeranwendungen, Hintergrunddienste, Hintergrundanwendungen usw. umfassen.
Die Computerprogramme können enthalten: (i) beschreibenden Text, der zu parsen ist, wie etwa HTML (Hypertext Markup Language), XML (Extensible Markup Language) oder JSON (JavaScript Object Notation), (ii) Assemblercode, (iii) Objektcode, der durch einen Compiler aus Quellcode erzeugt wird, (iv) Quellcode zur Ausführung durch einen Interpreter, (v) Quellcode zur Compilierung und Ausführung durch einen Just-in-time-Compiler usw. Nur als Beispiele kann Quellcode unter Verwendung einer Syntax aus Sprachen einschließlich C, C++, C#, Objective-C, Swift, Haskell, Go, SQL, R, Lisp, Java®, Fortran, Perl, Pascal, Curl, OCaml, Javascript®, HTML5 (Hypertext Markup Language, 5. Revision), Ada, ASP (Active Server Pages), PHP (PHP: Hypertext-Präprozessor), Scala, Eiffel, Smalltalk, Erlang, Ruby, Flash®, Visual Basic®, Lua, MATLAB, SIMULINK und Python® geschrieben sein.

Claims

LIDAR-LIDAR-Ausrichtungssystem, das umfasst: einen Speicher, der zum Speichern (i) erster Datenpunkte, die auf der Grundlage einer Ausgabe eines ersten LIDAR-Sensors bereitgestellt werden, und (ii) zweiter Datenpunkte, die auf der Grundlage einer Ausgabe eines zweiten LIDAR-Sensors bereitgestellt werden, konfiguriert ist; und ein Modul für autonomes Fahren, das dafür konfiguriert ist, einen Validierungsprozess auszuführen, um zu bestimmen, ob die Ausrichtungen des ersten LIDAR-Sensors und des zweiten LIDAR-Sensors einer oder mehreren Ausrichtungsbedingungen genügen, wobei der Validierungsprozess umfasst: Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in einem Fahrzeugkoordinatensystem, um aggregierte LIDAR-Punkte bereitzustellen, auf der Grundlage der aggregierten LIDAR-Punkte wenigstens eines von: Ausführen eines ersten Verfahrens, das das Bestimmen von Nick- und Rolldifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, Ausführen eines zweiten Verfahrens, das das Bestimmen einer Gierdifferenz zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor enthält, oder Ausführen einer Punktwolkenregistrierung, um Rotations- und Translationsdifferenzen zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor zu bestimmen, auf der Grundlage von Ergebnissen des ersten Verfahrens und/oder des zweiten Verfahrens und/oder der Punktwolkenregistrierung Bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind, und Rekalibrieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors in Ansprechen darauf, dass die eine oder die mehreren Ausrichtungsbedingungen nicht erfüllt sind.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren ferner konfiguriert ist zum: Bestimmen, ob mehrere Freigabebedingungen erfüllt sind, einschließlich zweier oder mehrerer von: Bestimmen, ob sich das Fahrzeug bewegt, Bestimmen, ob das Fahrzeug an einem bekannten Ort ist, Bestimmen, ob eine Geschwindigkeit des Fahrzeugs größer als eine vorgegebene Geschwindigkeit ist, Bestimmen, ob eine Beschleunigungsrate des Fahrzeugs größer als eine vorgegebene Beschleunigungsrate ist, oder Bestimmen, ob eine Gierrate größer als eine vorgegebene Gierrate ist; und Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte in Ansprechen darauf, dass die mehreren Freigabebedingungen erfüllt sind.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte enthält: Ausführen einer Punktregistrierung zum Abbilden der ersten Datenpunkte zu einem ersten Zeitpunkt in einem Koordinatensystem des ersten LIDAR-Sensors zu einem zweiten Zeitpunkt; Aggregieren der abgebildeten ersten Datenpunkte von dem ersten LIDAR-Sensor, um erste aggregierte Punkte bereitzustellen; Ausführen einer Punktregistrierung zum Abbilden der zweiten Datenpunkte zu dem ersten Zeitpunkt in einem Koordinatensystem des zweiten LIDAR-Sensors zu dem zweiten Zeitpunkt; und Aggregieren der abgebildeten zweiten Datenpunkte von dem zweiten LIDAR-Sensor, um zweite aggregierte Punkte bereitzustellen.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Aggregieren der ersten Datenpunkte und der zweiten Datenpunkte enthält: Abbilden erster Datenpunkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den ersten LIDAR-Sensor; und Abbilden der zweiten Datenpunkte auf das Fahrzeugkoordinatensystem auf der Grundlage eines Rotationskalibrierungswerts und eines Translationskalibrierungswerts für den zweiten LIDAR-Sensor.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren konfiguriert ist zum: Ausführen einer Bodenanpassung und Auswählen erster ausgewählter Punkte des ersten LIDAR-Sensors in einer Bodenfläche und zweiter ausgewählter Punkte des zweiten LIDAR-Sensors in der Bodenfläche auf der Grundlage aggregierter LIDAR-Punkte zum Bereitstellen; und Ausführen des ersten Verfahrens auf der Grundlage der ersten ausgewählten Punkte und der zweiten ausgewählten Punkte.
LIDAR-LIDAR-Ausrichtungs System nach Anspruch 1, wobei das Modul für autonomes Fahren dafür konfiguriert ist, das erste Verfahren auszuführen und auf der Grundlage von Ergebnissen des ersten Verfahrens zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren dafür konfiguriert ist, das zweite Verfahren auszuführen, auf der Grundlage von Ergebnissen des zweiten Verfahrens zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren dafür konfiguriert ist, die Punktwolkenregistrierung auszuführen und auf der Grundlage von Ergebnissen der Punktwolkenregistrierung zu bestimmen, ob die eine oder die mehreren Ausrichtungsbedingungen erfüllt sind.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren konfiguriert ist zum: Integrieren von Ergebnissen von dem ersten Verfahren und/oder von dem zweiten Verfahren und/oder von der Punktwolkenregistrierung einschließlich des Bestimmens einer gewichteten Summe eines Vektors von Differenzwerten für sechs Freiheitsgrade; und (i) Identifizieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors als verdächtig, und/oder (ii) Rekalibrieren des ersten LIDAR-Sensors und/oder des zweiten LIDAR-Sensors in Ansprechen darauf, dass einer oder mehrere der Differenzwerte einen vorgegebenen Schwellenwert übersteigen.
LIDAR-LIDAR-Ausrichtungssystem nach Anspruch 1, wobei das Modul für autonomes Fahren dafür konfiguriert ist, auf der Grundlage von Ausrichtungsergebnissen des ersten LIDAR-Sensors auf das Fahrzeug und von Ergebnissen des zweiten LIDAR-Sensors auf das Fahrzeug sechs Freiheitsgrad-Differenzwerte zwischen dem ersten LIDAR-Sensor und dem zweiten LIDAR-Sensor zu berechnen.