DE102022122356A1

DE102022122356A1 - Kalibrierungspipeline zum schätzen von sechs-freiheitsgrad-ausrichtungsparametern (6dof-ausrichtungsparametern) für ein autonomes fahrzeug

Info

Publication number: DE102022122356A1
Application number: DE102022122356.6A
Authority: DE
Inventors: Kamran Ali; Wende Zhang; Fan Bai
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2021-10-27
Filing date: 2022-09-05
Publication date: 2023-04-27
Also published as: US20230126100A1; CN116026359A; US11965978B2

Abstract

Eine Kalibrierungspipeline für 6DoF-Ausrichtungsparameter für ein autonomes Fahrzeug enthält einen Controller für automatisiertes Fahren, der angewiesen wird, Inertialmesseinheits-Lagen (IMU-Lagen) und endgültige Radarlagen zu empfangen und aus den IMU-Lagen geglättete IMU-Lagen und aus den endgültigen Radarlagen geglättete endgültigen Radarlagen zu bestimmen. Der Controller für automatisiertes Fahren richtet die geglätteten IMU-Lagen und die geglätteten endgültigen Radarlagen aufeinander aus, um mehrere Paare relativer Radar-IMU-Lagen A, B zu erzeugen. Der Controller für automatisiertes Fahren bestimmt eine Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B, ergibt, tastet die weiter gefilterten Paare relativer Radar-IMU-Lagen A, B mit Ersetzungen mehrmals ab, um einen Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B zu bestimmen, und löst für eine Lösung X des Datenstroms gefilterter Paare relativer Radar-IMU-Lagen A, B.

Description

EINLEITUNG
Die vorliegende Offenbarung betrifft eine Kalibrierungspipeline zum Schätzen von Sechs-Freiheitsgrad-Ausrichtungsparametern (6DoF-Ausrichtungsparametern) zwischen einem Radarsensor und einem Schwerpunkt eines autonomen Fahrzeugs.
Ein autonomes Fahrzeug kann unter Verwendung verschiedener in das Fahrzeug integrierter Technologien und Sensoren von einem Anfangspunkt mit beschränktem oder keinem menschlichen Eingriff zu einem vorgegebenen Ziel fahren. Autonome Fahrzeuge enthalten eine Vielzahl autonomer Sensoren wie etwa, aber nicht beschränkt auf, Kameras, Radars, LiDAR, globale Positionsbestimmungssysteme (GPS) und Inertialmesseinheiten (IMU) zum Detektieren der Außenumgebung und des Status eines Fahrzeugs. Allerdings muss die Kamera oder der Radarsensor neu kalibriert werden, was ein manueller und häufig unhandlicher Prozess ist, falls eine Kamera oder ein Radar von seiner Anbringung bewegt wird, wenn das autonome Fahrzeug repariert wird, einen Unfall erleidet oder während des Fahrens ein erhebliches Schlagloch oder Hindernis erfährt. Darüber hinaus erfordern die Kameras und Radare ebenfalls eine Neukalibrierung, falls das autonome Fahrzeug eine Radeinstellung durchläuft. Dies ist so, da die Räder des Fahrzeugs die Fahrtrichtung bestimmen, die die Zielrichtung der Kameras und Radare beeinflusst.
Millimeterwellenradar (mmWave-Radar) ist eine spezifische Technologie, die bei autonomen Fahrzeugen verwendet werden kann. Zum Beispiel kann Millimeterwellenradar verwendet werden, um vor Vorwärtskollisionen und Rückwärtskollisionen zu warnen, um einen adaptiven Tempomat und autonomes Parken zu implementieren und um autonomes Fahren auf Stadtstraßen und Fernverkehrsstraßen auszuführen. Es sollte gewürdigt werden, dass Millimeterwellenradar gegenüber anderen Sensorsystemen Vorteile dadurch hat, dass Millimeterwellenradar unter den meisten Wettertypen und in Licht und Dunkelheit arbeiten kann. Ein Millimeterwellenradar kann die Radialentfernung, den Winkel und die Dopplerverschiebung (Radialgeschwindigkeit) bewegter Objekte messen. Auf der Grundlage der durch das Millimeterwellenradar erhobenen Daten kann auf der Grundlage verschiedener Clusterungs- und Nachführungsalgorithmen eine Radarpunktwolke bestimmt werden, die verwendet werden kann, um den Ort, die Geschwindigkeit und die Bewegungsbahn von Objekten zu bestimmen. Allerdings können Radarpunktwolken, die auf Daten beruhen, die durch Millimeterwellenradar erhoben werden, und insbesondere Millimeterwellenradare, die auf einem preiswerten Einchipsignalsystem (SoC) beruhen, zu verrauscht und dünn besetzt sein, um für eine robuste und genaue Lageschätzung verwendet zu werden, die für dynamische Kalibrierungszwecke erforderlich ist.
Obwohl aktuelle autonome Fahrzeuge ihren beabsichtigten Zweck erfüllen, besteht im Gebiet somit ein Bedarf an einem System und an einem Verfahren zum Schätzen von 6DoF-Ausrichtungsparametern zwischen einem Radarsensor und einem Schwerpunkt eines autonomen Kraftfahrzeugs auf der Grundlage verrauschter und spärlich besetzter Radarpunktwolken.
ZUSAMMENFASSUNG
Gemäß mehreren Aspekten wird eine Kalibrierungspipeline zum Schätzen von Sechs-Freiheitsgrad-Ausrichtungsparametern (6DoF-Ausrichtungsparametern) für ein autonomes Fahrzeug offenbart. Die Kalibrierungspipeline enthält einen Controller für automatisiertes Fahren, der zum Empfangen von Inertialmesseinheits-Lagen (IMU-Lagen) und endgültigen Radarlagen angewiesen wird. Die IMU-Lagen beruhen auf Daten, die durch eine IMU und durch ein globales Positionsbestimmungssystem (GPS) des autonomen Fahrzeugs erhoben werden, und die endgültigen Radarlagen beruhen auf Daten, die von einem Radarsensor des autonomen Fahrzeugs erhoben werden. Der Controller für automatisiertes Fahren wird zum Bestimmen geglätteter IMU-Lagen aus den IMU-Lagen und geglätteter endgültigen Radarlagen aus den endgültigen Radarlagen entweder auf der Grundlage eines Gleitmittelwertfilters oder eines Gleitmedianfilters angewiesen. Der Controller für automatisiertes Fahren wird zum Ausrichten der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen aufeinander, um mehrere Paare relativer Radar-IMU-Lagen A, B zu erzeugen, angewiesen. Der Controller für automatisiertes Fahren wird zum Bestimmen einer Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, auf der Grundlage der mehreren Paare relativer Radar-IMU-Lagen A, B angewiesen. Der Controller für automatisiertes Fahren wird zum mehrmaligen zufälligen Abtasten der weiter gefilterten Paare relativer Radar-IMU-Lagen A, B mit Ersetzungen, um einen Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B zu bestimmen, angewiesen. Schließlich wird der Controller für automatisiertes Fahren zum Lösen für eine Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B, wobei die Lösung X die 6DoF-Ausrichtungsparameter angibt, angewiesen.
Gemäß einem Aspekt wird der Controller für automatisiertes Fahren zum weiteren Verfeinern der Lösung X durch Ausführen einer nichtlinearen Minimierung eines Fehlerterms auf der Grundlage einer nichtlinearen Optimierungsroutine angewiesen, wobei die nichtlineare Optimierungsroutine bis zur Konvergenz des Fehlerterms ausgeführt wird.
Gemäß einem anderen Aspekt ist die nichtlineare Optimierungsroutine eine nichtlineare Routine der kleinsten Fehlerquadrate.
Gemäß einem abermals anderen Aspekt ist der Fehlerterm eine Summe eines Maßes für die Orthogonalität eines Rotationsteils eines aktuellen Schätzwerts der in einer vorhergehenden Iteration erhaltenen Lösung X, einer Norm eines Rotationsteils der Lösung X der vorhergehenden Iteration und eines Mahalanobis-Abstands von Termen {AX-XB}.
Gemäß einem Aspekt werden die geglätteten IMU-Lagen und die geglätteten endgültigen Radarlagen auf der Grundlage eines Zeitversatz-Korrelationskoeffizienten aufeinander ausgerichtet.
Gemäß einem anderen Aspekt gibt der Zeitversatz-Korrelationskoeffizient einen Systemzeitversatz zwischen den geglätteten IMU-Lagen und den geglätteten endgültigen Radarlagen an.
Gemäß einem abermals anderen Aspekt wird der Zeitversatz-Korrelationskoeffizient durch Korrelieren von Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten IMU-Lagen bestimmt werden, mit Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten endgültigen Radarlagen bestimmt werden, bestimmt.
Gemäß einem Aspekt wird zum Bestimmen aller möglichen Paare relativer Lagen A, B für die Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, eine Technik der k-ten nächsten Nachbarn (kNN-Technik) verwendet.
Gemäß einem anderen Aspekt werden alle möglichen Paare relativer Lagen A, B durch zwei Random-Sample-Consensus-Filter (RANSAC-Filter), die auf einem Hand-Augen-Kalibrierungsproblem beruhen, das auf der Form eines Lösers AX = XB beruht, gefiltert.
Gemäß einem abermals anderen Aspekt wird die Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B durch einen iterativen Löser bestimmt.
Gemäß einem Aspekt ist der iterative Löser ein Unscented Kalman-Filter.
Gemäß einem anderen Aspekt werden die geglätteten IMU-Lagen und die geglätteten endgültigen Radarlagen auf der Grundlage eines Gleitmittelwertfilters auf der Grundlage einer sphärischen linearen Interpolation (SLERP) bestimmt.
Gemäß einem Aspekt wird ein Verfahren zum Schätzen von 6DoF-Ausrichtungsparametern für ein autonomes Fahrzeug offenbart. Das Verfahren enthält das Empfangen von IMU-Lagen und endgültigen Radarlagen durch ein Modul für automatisiertes Fahren, wobei die IMU-Lagen auf Daten beruhen, die durch eine IMU und durch ein GPS des autonomen Fahrzeugs erhoben werden, und die endgültigen Radarlagen auf Daten beruhen, die von einem Radarsensor des autonomen Fahrzeugs erhoben werden. Außerdem enthält das Verfahren das Bestimmen geglätteter IMU-Lagen aus den IMU-Lagen und geglätteter endgültigen Radarlagen aus den endgültigen Radarlagen entweder auf der Grundlage eines Gleitmittelwertfilters oder eines Gleitmedianfilters durch ein Modul für automatisiertes Fahren. Ferner enthält das Verfahren das Ausrichten der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen aufeinander, um mehrere Paare relativer Radar-IMU-Lagen A, B zu erzeugen. Außerdem enthält das Verfahren das Bestimmen einer Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, auf der Grundlage der mehreren Paare relativer Radar-IMU-Lagen A, B. Das Verfahren enthält das mehrmalige zufällige Abtasten der weiter gefilterten Paare relativer Radar-IMU-Lagen A, B mit Ersetzungen, um einen Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B zu bestimmen. Schließlich enthält das Verfahren das Lösen für eine Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B, wobei die Lösung X die 6DoF-Ausrichtungsparameter angibt.
Gemäß einem Aspekt enthält das Verfahren ferner das weitere Verfeinern der Lösung X durch Ausführen einer nichtlinearen Minimierung eines Fehlerterms auf der Grundlage einer nichtlinearen Optimierungsroutine. Die nichtlineare Optimierungsroutine wird bis zur Konvergenz des Fehlerterms ausgeführt.
Gemäß einem anderen Aspekt enthält das Verfahren das Bestimmen des Fehlerterms, wobei der Fehlerterm eine Summe eines Maßes für die Orthogonalität eines Rotationsteils eines aktuellen Schätzwerts der in einer vorhergehenden Iteration erhaltenen Lösung X, einer Norm eines Rotationsteils der Lösung X der vorhergehenden Iteration und eines Mahalanobis-Abstands von Termen {AX-XB} ist.
Gemäß einem abermals anderen Aspekt enthält das Verfahren das Ausrichten der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen auf der Grundlage eines Zeitversatz-Korrelationskoeffizienten aufeinander. Der Zeitversatz-Korrelationskoeffizient gibt einen Systemzeitversatz zwischen den geglätteten IMU-Lagen und den geglätteten endgültigen Radarlagen an.
Gemäß einem Aspekt enthält das Verfahren das Bestimmen aller möglichen Paare relativer Lagen A, B für die Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, auf der Grundlage einer kNN-Technik und das Filtern aller möglichen Paare relativer Lagen A, B durch zwei RANSAC-Filter, die auf einem Hand-Augen-Kalibrierungsproblem beruhen, das auf der Form eines Lösers AX = XB beruht.
Gemäß einem anderen Aspekt enthält das Verfahren das Bestimmen der Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B durch einen iterativen Löser.
Gemäß einem anderen Aspekt enthält das Verfahren das Bestimmen der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen auf der Grundlage eines Gleitmittelwertfilters auf der Grundlage einer SLERP.
Gemäß einem anderen Aspekt wird eine Kalibrierungspipeline zum Schätzen von 6DoF-Ausrichtungsparametern für ein autonomes Fahrzeug offenbart. Die Kalibrierungspipeline enthält einen Controller für automatisiertes Fahren, der zum Empfangen von IMU-Lagen und endgültigen Radarlagen angewiesen wird. Die IMU-Lagen beruhen auf Daten, die durch eine IMU und durch ein GPS des autonomen Fahrzeugs erhoben werden, und die endgültigen Radarlagen beruhen auf Daten, die von einem Radarsensor des autonomen Fahrzeugs erhoben werden. Der Controller für automatisiertes Fahren wird zum Bestimmen geglätteter IMU-Lagen aus den IMU-Lagen und geglätteter endgültigen Radarlagen aus den endgültigen Radarlagen entweder auf der Grundlage eines Gleitmittelwertfilters oder eines Gleitmedianfilters angewiesen. Der Controller für automatisiertes Fahren wird zum Ausrichten der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen aufeinander, um mehrere Paare relativer Radar-IMU-Lagen A, B zu erzeugen, angewiesen. Der Controller für automatisiertes Fahren wird zum Bestimmen einer Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, auf der Grundlage der mehreren Paare relativer Radar-IMU-Lagen A, B angewiesen. Der Controller für automatisiertes Fahren wird zum mehrmaligen zufälligen Abtasten der weiter gefilterten Paare relativer Radar-IMU-Lagen A, B mit Ersetzungen, um einen Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B zu bestimmen, angewiesen. Der Controller für automatisiertes Fahren wird zum Lösen für eine Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B, wobei die Lösung X die 6DoF-Ausrichtungsparameter angibt, angewiesen. Schließlich wird der Controller für automatisiertes Fahren zum weiteren Verfeinern der Lösung X durch Ausführen einer nichtlinearen Minimierung eines Fehlerterms auf der Grundlage einer nichtlinearen Optimierungsroutine angewiesen, wobei die nichtlineare Optimierungsroutine bis zur Konvergenz des Fehlerterms ausgeführt wird.
Weitere Bereiche der Anwendbarkeit gehen aus der hier gegebenen Beschreibung hervor. Selbstverständlich sind die Beschreibung und die spezifischen Beispiele nur zur Veranschaulichung bestimmt und sollen sie den Schutzumfang der vorliegenden Offenbarung nicht einschränken.
Figurenliste
Die hier beschriebenen Zeichnungen dienen nur zur Veranschaulichung und sollen den Schutzumfang der vorliegenden Offenbarung in keiner Weise einschränken; es zeigen:

1 eine schematische Darstellung eines autonomen Fahrzeugs, das mehrere Radarsensoren und einen Controller für automatisiertes Fahren enthält, wobei der Controller für automatisiertes Fahren eine Lageschätzungspipeline zum Bestimmen von Kalibrierungskoordinaten gemäß einer beispielhaften Ausführungsform enthält;
2 einen Blockschaltplan einer Kalibrierungspipeline zum Schätzen von Sechs-Freiheitsgrad-Ausrichtungsparametern (6DoF-Ausrichtungsparametern) gemäß einer beispielhaften Ausführungsform; und
3 einen Prozessablaufplan eines Verfahrens zum Bestimmen der 6DoF-Ausrichtungsparameter gemäß einer beispielhaften Ausführungsform.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft und soll die vorliegende Offenbarung, die vorliegende Anwendung oder die vorliegenden Verwendungen nicht einschränken.
In 1 ist ein beispielhaftes autonomes Fahrzeug 10 dargestellt. Das autonome Fahrzeug 10 weist ein System 12 für autonomes Fahren auf, das einen Controller 20 für autonomes Fahren in elektronischer Kommunikation mit mehreren autonomen Bordsensoren 22 und mehreren Fahrzeugsystemen 24 enthält. Gemäß dem wie in 1 gezeigten Beispiel enthalten die mehreren autonomen Bordsensoren 22 einen oder mehrere Radarsensoren 30, eine oder mehrere Kameras 32, eine Inertialmesseinheit (IMU) 34, ein globales Positionsbestimmungssystem (GPS) 36 und ein LiDAR 38, die an dem autonomen Fahrzeug 10 angebracht sind, wobei aber gewürdigt werden soll, dass ebenfalls zusätzliche Sensoren verwendet werden können. Die mehreren Radarsensoren 30 können an der Front 14, am Heck 16 und/oder an den Seiten 18 des autonomen Fahrzeugs 10 angebracht sein, um Objekte in einer Umgebung, die das autonome Fahrzeug 10 umgibt, zu detektieren. Jeder Radarsensor 30 führt mehrere Einzelabtastungen der Umgebung, die das autonome Fahrzeug 10 umgibt, aus, um Daten in Form einer Radarpunktwolke zu erhalten, die mehrere Detektionspunkte enthält. Sowohl die IMU 34 als auch das GPS 36 messen direkt den Fahrzeugzustand. Genauer bestimmt die IMU 34 eine Winkelrotationsrate, eine Beschleunigung und eine Fahrtrichtung des autonomen Fahrzeugs 10 und bestimmt das GPS die Position, die Geschwindigkeit und die Zeit des autonomen Fahrzeugs 10.
Der Controller 20 für automatisiertes Fahren enthält eine Lageschätzungspipeline 40, die einen Abtastungsaggregator und ein Filter 42, ein Inertialnavigationssystem-Modul (INS-Modul) 44, ein Abtastungsanpassungs- und Radarlageschätzungsmodul 46 und ein Kalibrierungsmodul 48 enthält. Der Abtastungsaggregator und das Filter 42 bestimmen eine aggregierte gefilterte Datenpunktwolke 50, die an das Abtastungsanpassungs- und Radarlageschätzungsmodul 46 gesendet wird. Ein Zeitstempel der Abtastung, der der aggregierten gefilterten Datenpunktwolke 50 zugeordnet ist, wird an das INS-Modul 44 gesendet. Das INS-Modul 44 bestimmt die zeitlich angepassten IMU-Lagen 52 mit entsprechenden Radarlagen, die an das Kalibrierungsmodul 48 gesendet werden. Das Abtastungsanpassungs- und Radarlageschätzungsmodul 46 bestimmt endgültige Radarlagen 54, die an das Kalibrierungsmodul 48 gesendet werden.
Das Kalibrierungsmodul 48 bestimmt auf der Grundlage entsprechender IMU-Lagen 52 und endgültiger Radarlagen 54 Sechs-Freiheitsgrad-Ausrichtungsparameter (6DoF-Ausrichtungsparameter) 56 zwischen einem Radarsensor 30 und einem Schwerpunkt G des autonomen Fahrzeugs 10. Die 6DoF-Ausrichtungsparameter 56 enthalten die x-, y- und z-Koordinaten sowie eine Seitenneigung φ, ein Nicken θ und ein Gieren Ψ des autonomen Fahrzeugs 10. Gemäß einer Ausführungsform sind die 6DoF-Parameter 56 Radar-zu-Fahrzeug-Kalibrierungsparameter, die genutzt werden, um die Radarsensoren 30 automatisch auf den Schwerpunkt G des autonomen Fahrzeugs 10 auszurichten. Gemäß einer alternativen Ausführungsform sind die 6DoF-Ausrichtungsparameter 56 Fahrzeug-zu-Radar-Kalibrierungsparameter.
Es wird gewürdigt werden, dass die durch die Radarsensoren 30 erhaltenen Radarpunktwolken dünn besetzt sein können und in vielen Fällen verrauschte und stark schwingende Daten, Geisterdetektionen, Reflexionen und Störzeichen enthalten. Der Abtastungsaggregator und das Filter 42 filtern die durch die Radarsensoren 30 erhaltenen Radarpunktwolken, um den Einfluss verschiedener Rauschquellen zu verringern sowie außerdem die Dichte der Punktwolkenabtastungen zu erhöhen. Allerdings wird gewürdigt werden, dass der Abtastungsaggregator und das Filter 42 das Rauschen in den Radarpunktwolken verringern, aber nicht vollständig beseitigen können. Wie im Folgenden erläutert wird, bestimmt das Kalibrierungsmodul 48 der Lageschätzungspipeline 40 die 6DoF-Ausrichtungsparameter 56 auf der Grundlage der Lageschätzwerte, die auf der Grundlage verrauschter Punktwolken bestimmt werden, die durch die Radarsensoren 30 mit ausreichend Genauigkeit erhalten werden, um die Radarsensoren 30 automatisch auf den Schwerpunkt G des autonomen Fahrzeugs 10 auszurichten.
Das autonome Fahrzeug 10 kann irgendein Typ eines Fahrzeugs wie etwa, aber nicht beschränkt auf, eine Limousine, ein Lastkraftwagen, ein Geländefahrzeug, ein Transporter oder ein Wohnmobil sein. Gemäß einer nicht einschränkenden Ausführungsform ist das autonome Fahrzeug 10 ein vollautonomes Fahrzeug, das ein System für automatisiertes Fahren (ADS) zum Ausführen aller Fahraufgaben enthält. Alternativ ist das autonome Fahrzeug 10 gemäß einer anderen Ausführungsform ein teilautonomes Fahrzeug, das ein fortgeschrittenes Fahrerassistenzsystem (ADAS), um einen Fahrer beim Lenken, Bremsen und/oder Beschleunigen zu unterstützen, enthält. Der Controller 20 für autonomes Fahren bestimmt Merkmale des autonomen Fahrens wie etwa Wahrnehmung, Planung, Ortsbestimmung, Kartendarstellung und Steuerung des autonomen Fahrzeugs 10. Obwohl 1 den Controller 20 für autonomes Fahren als einen einzelnen Controller darstellt, wird gewürdigt werden, dass ebenfalls mehrere Controller enthalten sein können. Die mehreren Fahrzeugsysteme 24 enthalten, sind aber nicht beschränkt auf, ein Bremssystem 70, ein Lenkungssystem 72, ein Antriebsstrangsystem 74 und ein Aufhängungssystem 76. Der Controller 20 für automatisiertes Fahren sendet an die mehreren Fahrzeugsysteme 24 Fahrzeugsteuerbefehle, um das autonome Fahrzeug 10 zu führen.
Die Radarsensoren 30 können ein kurzreichweitiges Radar zum Detektieren von Objekten von etwa 1 bis etwa 20 Meter von dem autonomen Fahrzeug 10, ein Radar mittlerer Reichweite zum Detektieren von Objekten von etwa 1 bis etwa 60 Meter von dem autonomen Fahrzeug 10 oder ein langreichweitiges Radar zum Detektieren von Objekten bis zu 260 Meter von dem autonomen Fahrzeug 10 sein. Gemäß einer Ausführungsform enthalten der eine oder die mehreren der Radarsensoren 30 Millimeterwellen-Radarsensoren (mmWave-Radarsensoren) und insbesondere ein preiswertes Einchipsignalsystem (SoC), das auf Millimeterwellen-Radarsensoren mit einem beschränkten Blickfeld beruht. Gemäß einer anderen Ausführungsform enthalten die Radarsensoren 30 einen oder mehrere über 360 Grad rotierende Radarsensoren.
Nun in 2 ist ein Blockschaltplan gezeigt, der das Kalibrierungsmodul 48 darstellt, wobei das Kalibrierungsmodul 48 eine Kalibrierungspipeline 78 mit einem Glättungsteilmodul 80, einem Zeitausrichtungsmodul 82, einem Lagefilterungsteilmodul 84, einem Lagepaarabtastungs-Teilmodul 86, einem Teilmodul 88 eines iterativen Lösers und einem Verfeinerungsteilmodul 90 enthält. Die Kalibrierungspipeline 78 beginnt bei dem Glättungsteilmodul 80. Das Glättungsteilmodul 80 empfängt die IMU-Lagen 52 von dem INS-Modul 44 und die endgültigen Radarlagen 54 von dem Abtastungsanpassungs- und Radarlagenschätzmodul 46. Wie oben erwähnt wurde, beruhen die IMU-Lagen 52 auf Daten, die durch die IMU 34 und das GPS 36 (1) erhoben werden, und beruhen die endgültigen Radarlagen 54 auf den Daten, die von einem der Radarsensoren 30 (1) erhoben werden. Das Glättungsteilmodul 80 bestimmt entweder auf der Grundlage eines Gleitmittelwerts oder eines Gleitmedianfilters geglättete IMU-Lagen 92 und geglättete endgültige Radarlagen 94.
Das Gleitmittelwertfilter oder das Gleitmedianfilter verringert Mehrwegerauschen in den endgültigen Radarlagen 54. Es wird gewürdigt werden, dass Mehrwegerauschen in radarbasierten Erfassungsanwendungen inhärent ist. Gemäß einer spezifischen Ausführungsform bestimmt das Glättungsteilmodul 80 die geglätteten IMU-Lagen 92 und die geglätteten endgültigen Radarlagen 94 auf der Grundlage einer sphärischen linearen Interpolation (SLERP) auf der Grundlage eines Gleitmittelwertfilters, wobei aber gewürdigt werden wird, dass andere Gleitmittelwertfilter oder Gleitmedianfilter ebenfalls verwendet werden können.
Die geglätteten IMU-Lagen 92 und die geglätteten endgültigen Radarlagen 94 werden durch das Zeitausrichtungsmodul-Teilmodul 82 empfangen, das einen Zeitversatz-Korrelationskoeffizienten bestimmt. Der Zeitversatz-Korrelationskoeffizient gibt einen Systemzeitversatz zwischen den geglätteten IMU-Lagen 92 und den geglätteten endgültigen Radarlagen 94 an. Folglich erhöht der Systemzeitversatz zwischen den geglätteten IMU-Lagen 92 und den geglätteten endgültigen Radarlagen 94 den Fehler in den 6DoF-Ausrichtungsparametern 56. Der Zeitversatz-Korrelationskoeffizient wird durch Korrelieren von Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten IMU-Lagen 92 bestimmt werden, mit Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten endgültigen Radarlagen 94 bestimmt werden, bestimmt. Daraufhin werden die geglätteten IMU-Lagen 92 und die geglätteten endgültigen Radarlagen 94 auf der Grundlage des Zeitversatz-Korrelationskoeffizienten aufeinander ausgerichtet, um mehrere Paare 96 relativer Radar-IMU-Lagen A, B zu erzeugen. Die Variable A des Lösers AX = XB repräsentiert eine Transformation zwischen zwei relativen Radarlagen auf der Grundlage des Radarsensors 30 (1), B ist eine Transformation zwischen zwei durch die IMU 34 (1) bestimmten relativen IMU-Lagen und X ist die Transformation zwischen dem Radarsensor 30 und der IMU 34.
Selbst nach der durch das Zeitausrichtungsmodul-Teilmodul 82 ausgeführten Zeitausrichtung können die mehreren Paare 96 relativer Radar-IMU-Lagen A, B weiterhin zu verrauscht sein, um Genauigkeitsanforderungen für die Kalibrierung zu erfüllen. Somit filtert das Lagefilterungs-Teilmodul 84 die mehreren Paare 96 relativer Radar-IMU-Lagen A, B, um eine Lösung zu bestimmen, die eine Schwellenanzahl von Nicht-Ausreißern N weiter gefilterter Paare 98 relativer Radar-IMU-Lagen A, B ergibt. Es wird gewürdigt werden, dass die Schwellenanzahl von Nicht-Ausreißern N von der Dichte der Radarpunktwolken abhängt, wobei aber die Schwellenanzahl von Nicht-Ausreißern N dazu führt, dass wenigstens fünf Detektionspunkte ausgewählt werden. Die Schwellenanzahl von Nicht-Ausreißern N kann in einem Bereich von etwa fünfzig Prozent der Detektionspunkte, die herausgefiltert werden, bis etwa neunundneunzig Prozent der Detektionspunkte, die herausgefiltert werden, liegen. Gemäß einem Beispiel führt die Schwellenanzahl von Nicht-Ausreißern N dazu, dass etwa neunzig Prozent der Detektionspunkte herausgefiltert werden. Die Schwellenanzahl von Nicht-Ausreißern N wird auf der Grundlage der spezifischen Anwendung bestimmt, wobei die Tatsache, dass ein höherer Prozentsatz von Nicht-Ausreißern herausgefiltert wird, zu genaueren Daten führt, aber dazu führen kann, dass weniger Detektionspunkte betrachtet werden.
Gemäß einer Ausführungsform wird eine Technik der k-ten nächsten Nachbarn (kNN-Technik) verwendet, um alle möglichen weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B zu bestimmen. Es wird gewürdigt werden, dass A auf der Grundlage von zwei Radarlagen (d. h. eines Paars relativer Lagen) berechnet wird, wobei die relativen Radarlagen k-te nächste Nachbarn voneinander in der Zeit sind. Zum Beispiel wird eine relative Radarlage A für k = 3 auf der Grundlage von P_R(i-3)^-1 P_R(i) bestimmt, wobei i einen Probenidentifizierer in der Zeit (z. B. Probe 1, Probe 2 usw.) repräsentiert, P_R eine Radarlage repräsentiert und P_R(i-3)^-1 ein Inverses von P_R (i-3) repräsentiert. Ähnlich wird B auf der Grundlage zweier IMU-Lagen (d. h. eines relativen IMU-Lagepaars) berechnet, wo die relativen IMU-Lagen k-te nächste Nachbarn voneinander in der Zeit sind. Für k = 3 wird eine relative IMU-Lage B als P_I(i-3)^-1 P_I(i) bestimmt, wobei P_I(i-3)^-1 ein Inverses von P_I(i-3) repräsentiert und P_I eine IMU-Lage repräsentiert. Gemäß einer nochmals anderen Ausführungsform können ebenfalls mehrere Werte für die Variable k verwendet werden. Daraufhin werden die Paare relativer Lagen A, B durch zwei Random-Sample-Consensus-Filter (RANSAC-Filter), die auf einem Hand-Augen-Kalibrierungsproblem beruhen, das auf der Form eines Lösers A X = XP beruht, wobei die RANSAC-Filter bestimmen, welche Paare relativer Lagen A, B für die Kalibrierung verwendet werden können, gefiltert. Gemäß einer Ausführungsform beruhen die zwei RANSAC-Filter auf der Tsai-Technik und auf der Andreff-Technik.
Wenn die Schwellenanzahl von Nicht-Ausreißern N weiter gefilterter Paare 98 relativer Radar-IMU-Lagen A, B durch das Lagefilterungs-Teilmodul 84 bestimmt worden ist, tastet das Lagepaarabtastungs-Teilmodul 86 die weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B mit Ersetzungen mehrmals zufällig ab, um einen Datenstrom gefilterter Paare 100 relativer Radar-IMU-Lagen A, B zu bestimmen. Die spezifische Anzahl, in der die weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B mit Ersetzungen durch das Lagepaarabtastungs-Teilmodul 86 zufällig abgetastet werden, hängt von der Anwendung ab. Gemäß einer Ausführungsform tastet das Lagepaarabtastungs-Teilmodul 86 die weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B mit Ersetzungen zehnmal zufällig ab, sodass das Lagepaarabtastungs-Teilmodul 86 daraufhin die weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B zweitausendfünfhundertmal zufällig abtastet, falls es zweihundertfünfzig weiter gefilterte Paare 98 relativer Radar-IMU-Lagen A, B gibt.
Daraufhin wird der Datenstrom gefilterter Paare 100 relativer Radar-IMU-Lagen A, B an das Teilmodul 88 eines iterativen Lösers gesendet, das für jedes des Datenstroms gefilterter und zufällig abgetasteter Paare 100 relativer Radar-IMU-Lagen A, B eineindeutig für die Lösung X löst. Das Teilmodul 88 eines iterativen Lösers kann irgendeinen iterativen Löser nutzen, um die Lösung X zu bestimmen, wobei der iterative Löser gemäß einer Ausführungsform aber ein Unscented Kalman-Filter ist. Daraufhin wird die Lösung X, die durch den Datenstrom gefilterter Paare 100 relativer Radar-IMU-Lagen A, B eineindeutig bestimmt wird, an das Verfeinerungsteilmodul 90 gesendet. Das Verfeinerungsteilmodul 90 verfeinert die Lösung X durch Ausführen einer nichtlinearen Minimierung eines Fehlerterms auf der Grundlage eine nichtlinearen Optimierungsroutine weiter, wobei die nichtlineare Optimierungsroutine bis zu der Konvergenz des Fehlerterms ausgeführt wird. Gemäß einer Ausführungsform ist die nichtlineare Optimierungsroutine eine nichtlineare Routine der kleinsten Fehlerquadrate wie etwa, aber nicht beschränkt auf, der Levenberg-Marquardt-Algorithmus. Die Lösung X gibt die 6DoF-Ausrichtungsparameter 56 (x, y, z und Seitenneigung φ, Nicken θ und Gieren Ψ) des autonomen Fahrzeugs 10 an. Genauer wird die Lösung X entweder als eine Matrix, die die 6DoF-Ausrichtungsparameter 56 angibt, ausgedrückt oder wird die Lösung X in einer Form ausgedrückt, die in die 6DoF-Ausrichtungsparameter 56 umgesetzt werden kann.
Der Fehlerterm ist eine Summe eines Maßes für die Orthogonalität eines Rotationsteils eines aktuellen Schätzwerts der Lösung X, der in der vorhergehenden Iteration erhalten wurde, einer Norm eines Rotationsteils einer Lösung X der vorhergehenden Iteration und eines Mahalanobis-Abstands von Termen {AX-XB}, wobei {AX-XB} durch Subtrahieren eines Produkts zwischen B und X von einem Produkt zwischen A und X bestimmt wird. Es wird gewürdigt werden, dass der Rotationsteil des aktuellen Schätzwerts der Lösung X immer orthogonal ist und dass die Norm des Rotationsteils der Lösung X immer 1 ist. Die Paare A, B der Terme {AX-XB} repräsentieren die Paare relativer Lagen A, B, die durch das Lagepaarabtastungs-Teilmodul 86 ausgegeben werden. Der Mahalanobis-Abstand des Terms {AX-XB} wird auf der Grundlage einer Kovarianzmatrix bestimmt, die die Änderung des Terms {AX-XB} erfasst. Gemäß einer Ausführungsform wird die Kovarianzmatrix während der Erstkalibrierung oder während Testläufen des autonomen Fahrzeugs 10 (1) erhalten.
3 ist ein Prozessablaufplan, der ein Verfahren 200 zum Bestimmen der 6DoF-Ausrichtungsparameter 56 (1) durch das Kalibrierungsmodul 48 (1) darstellt. Allgemein anhand der 1-3 beginnt das Verfahren 200 im Block 202. Im Block 202 empfängt das Glättungsteilmodul 80 des Kalibrierungsmoduls 48, das Teil des Controllers 20 für automatisiertes Fahren ist, die IMU-Lagen 52 von dem INS-Modul 44 und die endgültigen Radarlagen 54 von dem Abtastungsanpassungs- und Radarlagenschätzmodul 46. Daraufhin kann das Verfahren 200 zum Block 204 übergehen.
Im Block 204 bestimmt das Glättungsteilmodul 80 entweder auf der Grundlage des Gleitmittelwertfilters oder das Gleitmedianfilters geglättete IMU-Lagen 92 und geglättete endgültige Radarlagen 94. Gemäß einer spezifischen Ausführungsform wird ein Gleitmittelwertfilter auf der Grundlage einer SLERP genutzt.
Im Block 206 richtet das Zeitausrichtungs-Teilmodul 82 die geglätteten IMU-Lagen 92 und die geglätteten endgültigen Radarlagen 94 auf der Grundlage des Zeitversatz-Korrelationskoeffizienten aufeinander aus, um mehrere Paare 96 relativer Radar-IMU-Lagen A, B zu erzeugen. Daraufhin kann das Verfahren 200 zum Block 208 übergehen.
Im Block 208 filtert das Lagefilterungsteilmodul 84 die mehreren Paare 96 relativer Radar-IMU-Lagen A, B, um eine Lösung zu bestimmen, die die Schwellenanzahl von Nicht-Ausreißern N weiter gefilterter Paare 98 relativer Radar-IMU-Lagen A, B ergibt. Wie oben erwähnt wurde, wird spezifisch die kNN-Technik verwendet, um alle möglichen Paare relativer Lagen A, B zu bestimmen. Daraufhin werden die Paare relativer Lagen A, B durch zwei RANSAC-Filter, die auf einem Hand-Augen-Kalibrierungsproblem beruhen, das auf der Form eines Lösers AX = XP beruht, gefiltert, wobei die RANSAC-Filter bestimmen, welche Paare relativer Lagen A, B für die Kalibrierung verwendet werden können. Daraufhin kann das Verfahren 200 zum Block 210 übergehen.
Im Block 210 tastet das Lagepaarabtastungs-Teilmodul 86 die weiter gefilterten Paare 98 relativer Radar-IMU-Lagen A, B mit Ersetzungen mehrmals weiter ab, um den Datenstrom gefilterter Paare 100 relativer Radar-IMU-Lagen A, B zu bestimmen. Daraufhin kann das Verfahren 200 zum Block 212 übergehen.
Im Block 212 löst das Teilmodul 88 eines iterativen Lösers für die Lösung X für jedes des Datenstroms gefilterter Paare 100 relativer Radar-IMU-Lagen A, B. Wie oben erwähnt wurde, kann das Teilmodul 88 eines iterativen Lösers irgendeinen iterativen Löser nutzen, um die Lösung X zu bestimmen, wobei der iterative Löser gemäß einer Ausführungsform allerdings ein Unscented Kalman-Filter ist. Daraufhin kann das Verfahren 200 zum Block 214 übergehen.
Im Block 214 verfeinert das Verfeinerungsteilmodul 90 die Lösung X durch Ausführen der nichtlinearen Minimierung des Fehlerterms auf der Grundlage einer nichtlinearen Optimierungsroutine weiter. Die nichtlineare Optimierungsroutine wird bis zur Konvergenz des Fehlerterms ausgeführt. Gemäß einer Ausführungsform ist die nichtlineare Optimierungsroutine eine nichtlineare Routine der kleinsten Fehlerquadrate wie etwa, aber nicht beschränkt auf, der Levenberg-Marquardt-Algorithmus. Die Lösung X gibt die 6DoF-Ausrichtungsparameter 56 (x, y, z und Seitenneigung φ, Nicken θ und Gieren Ψ) des autonomen Fahrzeugs 10 an. Daraufhin kann das Verfahren 200 enden.
Allgemein anhand der Figuren schafft die offenbarte Kalibrierungspipeline für das autonome Fahrzeug verschiedene technische Wirkungen und Vorteile. Genauer bestimmt die offenbarte Lageschätzungs-Kalibrierungspipeline auf der Grundlage verrauschter Punktwolken, die durch den Radarsensor und durch den Schwerpunkt des autonomen Fahrzeugs erhalten werden, 6DoF-Ausrichtungsparameter zwischen einem spezifischen Radarsensor und dem Schwerpunkt G des autonomen Fahrzeugs. Es wird gewürdigt werden, dass die 6DoF-Ausrichtungsparameter genau genug sind, um den Radarsensor automatisch auf den Schwerpunkt des autonomen Fahrzeugs auszurichten.
Die Controller können sich auf eine elektronische Schaltung, eine Kombinationslogikschaltung, eine frei programmierbare logische Anordnung (FPGA), einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe), der Code ausführt, oder eine Kombination einiger oder aller der Obigen wie etwa in einem Einchipsystem beziehen oder ein Teil davon sein. Zusätzlich können die Controller wie etwa ein Computer mit wenigstens einem Prozessor, einem Speicher (RAM und/oder ROM) und zugeordneten Eingabe- und Ausgabebussen mikroprozessorbasiert sein. Der Prozessor kann unter der Steuerung eines Betriebssystems, das im Speicher liegt, arbeiten. Das Betriebssystem kann Computerbetriebsmittel managen, sodass Computerprogrammcode, der als eine oder mehrere Computersoftwareanwendungen verkörpert ist, wie etwa eine Anwendung, die im Speicher liegt, Anweisungen aufweisen kann, die durch den Prozessor ausgeführt werden. Gemäß einer alternativen Ausführungsform kann der Prozessor die Anwendung direkt ausführen, wobei das Betriebssystem in diesem Fall weggelassen sein kann.
Die Beschreibung der vorliegenden Offenbarung ist dem Wesen nach lediglich beispielhaft und Varianten, die nicht von dem Hauptpunkt der vorliegenden Offenbarung abweichen, sollen in dem Schutzumfang der vorliegenden Offenbarung liegen. Derartige Varianten werden nicht als Abweichung von dem Erfindungsgedanken und Schutzumfang der vorliegenden Offenbarung angesehen.

Claims

Kalibrierungspipeline zum Schätzen von Sechs-Freiheitsgrad-Ausrichtungsparametern (6DoF-Ausrichtungsparametern) für ein autonomes Fahrzeug, wobei die Kalibrierungspipeline umfasst: einen Controller für automatisiertes Fahren, der angewiesen wird zum: Empfangen von Inertialmesseinheits-Lagen (IMU-Lagen) und endgültigen Radarlagen, wobei die IMU-Lagen auf Daten beruhen, die durch eine IMU und durch ein globales Positionsbestimmungssystem (GPS) des autonomen Fahrzeugs erhoben werden, und die endgültigen Radarlagen auf Daten beruhen, die von einem Radarsensor des autonomen Fahrzeugs erhoben werden; Bestimmen geglätteter IMU-Lagen aus den IMU-Lagen und geglätteter endgültigen Radarlagen aus den endgültigen Radarlagen entweder auf der Grundlage eines Gleitmittelwertfilters oder eines Gleitmedianfilters; Ausrichten der geglätteten IMU-Lagen und der geglätteten endgültigen Radarlagen aufeinander, um mehrere Paare relativer Radar-IMU-Lagen A, B zu erzeugen; Bestimmen einer Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, auf der Grundlage der mehreren Paare relativer Radar-IMU-Lagen A, B; mehrmaliges zufälliges Abtasten der weiter gefilterten Paare relativer Radar-IMU-Lagen A, B mit Ersetzungen, um einen Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B zu bestimmen; und Lösen für eine Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B, wobei die Lösung X die 6DoF-Ausrichtungsparameter angibt.
Kalibrierungspipeline nach Anspruch 1, wobei der Controller für automatisiertes Fahren angewiesen wird zum: weiteren Verfeinern der Lösung X durch Ausführen einer nichtlinearen Minimierung eines Fehlerterms auf der Grundlage einer nichtlinearen Optimierungsroutine, wobei die nichtlineare Optimierungsroutine bis zur Konvergenz des Fehlerterms ausgeführt wird.
Kalibrierungspipeline nach Anspruch 2, wobei die nichtlineare Optimierungsroutine eine nichtlineare Routine der kleinsten Fehlerquadrate ist.
Kalibrierungspipeline nach Anspruch 2, wobei der Fehlerterm eine Summe eines Maßes für die Orthogonalität eines Rotationsteils eines aktuellen Schätzwerts der in einer vorhergehenden Iteration erhaltenen Lösung X, einer Norm eines Rotationsteils der Lösung X der vorhergehenden Iteration und eines Mahalanobis-Abstands von Termen {AX-XB} ist.
Kalibrierungspipeline nach Anspruch 1, wobei die geglätteten IMU-Lagen und die geglätteten endgültigen Radarlagen auf der Grundlage eines Zeitversatz-Korrelationskoeffizienten aufeinander ausgerichtet werden.
Kalibrierungspipeline nach Anspruch 5, wobei der Zeitversatz-Korrelationskoeffizient einen Systemzeitversatz zwischen den geglätteten IMU-Lagen und den geglätteten endgültigen Radarlagen angibt.
Kalibrierungspipeline nach Anspruch 5, wobei der Zeitversatz-Korrelationskoeffizient durch Korrelieren von Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten IMU-Lagen bestimmt werden, mit Winkelgeschwindigkeitsgrößen, die auf der Grundlage der geglätteten endgültigen Radarlagen bestimmt werden, bestimmt wird.
Kalibrierungspipeline nach Anspruch 1, wobei zum Bestimmen aller möglichen Paare relativer Lagen A, B für die Lösung, die eine Schwellenanzahl von Nicht-Ausreißern weiter gefilterter Paare relativer Radar-IMU-Lagen A, B ergibt, eine Technik der k-ten nächsten Nachbarn (kNN-Technik) verwendet wird.
Kalibrierungspipeline nach Anspruch 8, wobei die allen möglichen Paare relativer Lagen A, B durch zwei Random-Sample-Consensus-Filter (RANSAC-Filter), die auf einem Hand-Augen-Kalibrierungsproblem beruhen, das auf der Form eines Lösers AX = XB beruht, gefiltert werden.
Kalibrierungspipeline nach Anspruch 1, wobei die Lösung X für den Datenstrom gefilterter Paare relativer Radar-IMU-Lagen A, B durch einen iterativen Löser bestimmt wird.