-
Querverweise zu verwandten Anmeldungen
-
Diese Anmeldung beansprucht den Nutzen der vorläufigen
U.S.-Patentanmeldung Nr. 62/915,563 , die mit DYNAMISCHE KALIBRIERUNG VON BILDGEBENDEN LIDAR-SENSOREN betitelt ist und die am 15. Oktober 2019 eingereicht wurde, der
U.S.-Patentanmeldung Nr. 17/069,727 , die mit KALIBRIERUNG VON LIDAR-SENSOREN betitelt ist und die am 13. Oktober 2020 eingereicht wurde, und der
U.S.-Patentanmeldung Nr. 17/069,733 , die mit DYNAMISCHE KALIBRIERUNG VON LIDAR SENSOREN betitelt ist und die am 13. Oktober 2020 eingereicht wurde, deren Inhalt durch Verweis in seiner Gesamtheit einbezogen wird.
-
Hintergrund
-
In autonomen Fahrzeugen, Drohnen, der Robotik, Sicherheitsanwendungen und ähnlichem können dreidimensionale Sensoren angewendet werden. LiDAR-Sensoren sind eine Art von dreidimensionalen Sensoren, die hohe Winkelauflösungen erreichen können, die für solche Anwendungen angemessen sind. Ein LiDAR-Sensor kann eine oder mehrere Laserquellen zur Emission von Laserpulsen und einen oder mehrere Detektoren zum Detektieren von reflektierten Laserpulsen umfassen. Der LiDAR-Sensor misst die Zeit, die von jedem Laserpuls benötigt wird, um von dem LiDAR-Sensor zu einem Objekt innerhalb des Bildfelds des Sensors zu wandern, dann von dem Objekt abzuprallen und zu dem LiDAR-Sensor zurückzukehren. Basierend auf der Laufzeit des Laserpulses bestimmt der LiDAR-Sensor, wie weit entfernt sich das Objekt von dem LiDAR-Sensor befindet. Durch Scannen über eine Szene kann ein dreidimensionales Bild der Szene erhalten werden.
-
Für genaue Messungen kann es nötig sein, die Orientierung der optischen Achse des LiDAR-Sensors bezüglich einem bestimmten mechanischen Datenpunkt zu kalibrieren, wie beispielsweise Befestigungslöcher in einem Gehäuse des LiDAR-Sensors. Zusätzlich kann es nötig sein, die Position und die Orientierung des LiDAR-Sensors bezüglich des Fahrzeugs zu kalibrieren, wenn er in einem Fahrzeug befestigt ist. Solche Kalibrierungen können beispielsweise in einem Herstellerwerk durchgeführt werden. Im Falle eines Unfalls oder anderen mechanischen Störungen des LiDAR-Sensors könnte sich die Kalibrierung entweder bezüglich des Gehäuses oder des Fahrzeugs ändern. Demnach kann es wünschenswert sein, dazu imstande zu sein, einen Verlust von Kalibrierungsgenauigkeit zu detektieren und die Kalibrierung zu korrigieren, um einen sicheren und genauen Langzeitbetrieb eines LiDAR-Sensors sicherzustellen.
-
Überblick über die Erfindung
-
Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Positionieren des Fahrzeugs in einer Distanz von einem Ziel. Das Ziel umfasst einen ebenen Spiegel und Merkmale, die den Spiegel umgeben. Die optische Achse des Spiegels ist im Wesentlichen horizontal. Das Fahrzeug ist relativ zu dem Spiegel so positioniert und orientiert, dass eine optische Achse des LiDAR-Sensors zu der optischen Achse des Spiegels im Sollzustand parallel ist und das Ziel in einem Bildfeld des LiDAR-Sensors im Sollzustand zentriert ist. Das Verfahren umfasst ferner ein Aufnehmen eines dreidimensionalen Bilds des Ziels unter Verwendung des LiDAR-Sensors. Das dreidimensionale Bild des Ziels umfasst Bilder der Merkmale des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs. Das Verfahren umfasst ferner ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren der Bilder der Merkmale und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.
-
Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Speichern eines dreidimensionalen Referenzbilds, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer erwarteten Ausrichtung bezüglich des Fahrzeugs ist. Das dreidimensionale Referenzbild umfasst ein erstes Bild eines festen Merkmals an dem Fahrzeug. Das Verfahren umfasst ferner ein Aufnehmen eines dreidimensionalen Bilds, das ein zweites Bild des festen Merkmals umfasst, unter Verwendung des LiDAR-Sensors, und ein Bestimmen einer Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen des zweiten Bilds des festen Merkmals in dem dreidimensionalen Bild mit dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild.
-
Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Aufnehmen eines oder mehrerer dreidimensionalen Bilder unter Verwendung des LiDAR-Sensors, während sich das Fahrzeug auf einer Straße mit festen Straßenmerkmalen bewegt. Jedes des einen oder der mehreren dreidimensionalen Bilder umfasst Bilder von Straßenmerkmalen. Das Verfahren umfasst ferner ein Analysieren einer räumlichen Beziehung zwischen den Bildern der Straßenmerkmale in dem einen oder den mehreren dreidimensionalen Bilder und einer Orientierung eines Bildfelds des LiDAR-Sensors, und ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der räumlichen Beziehung zwischen den Bildern der Straßenmerkmale und dem Bildfeld des LiDAR-Sensors.
-
Figurenliste
-
- 1 zeigt einen beispielhaften LiDAR-Sensor zur dreidimensionalen Bildgebung gemäß manchen Ausführungsformen.
- 2A zeigt schematisch einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen.
- 2B zeigt ein Fahrzeug-Koordinatensystem gemäß manchen Ausführungsformen.
- 2C zeigt ein LiDAR-Koordinatensystem gemäß manchen Ausführungsformen.
- 3A und 3B zeigen schematisch einen Befestigungsmechanismus, der dazu verwendet werden kann, einen LiDAR-Sensor an einem Fahrzeug zu befestigen, gemäß manchen Ausführungsformen.
- 4A - 4C zeigen einen beispielhaften Kalibrierungsaufbau für einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen.
- 5A - 5C und 6A - 6D zeigen schematisch, was ein LiDAR-Sensor unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen sehen kann.
- 7 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen zeigt.
- 8 zeigt einen LiDAR-Sensor, der hinter der vorderen Windschutzscheibe des Fahrzeugs befestigt ist, die eine Maske gemäß manchen Ausführungsformen umfasst.
- 9A und 9B zeigen schematische Seitenansichten der Windschutzscheibe mit der in 8 gezeigten Maske.
- 10A - 10C zeigen schematisch einige Beispiele von Wirkungen der in 8 gezeigten Maske auf das effektive Bildfeld des LiDAR-Sensors unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen.
- 10D - 10E zeigen schematisch einige beispielhafte Bilder von bestimmten Merkmalen des Fahrzeugs, die durch den LiDAR-Sensor gemäß manchen Ausführungsformen aufgenommen wurden.
- 11 zeigt ein vereinfachtes Flussdiagramm, dass ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Merkmalen an dem Fahrzeug gemäß manchen Ausführungsformen zeigt.
- 12A - 12B und 13A - 13C zeigen ein Verfahren zum dynamischen Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Spurmarkierungen auf einer Straße gemäß manchen Ausführungsformen.
- 14 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Straßenmerkmalen gemäß manchen Ausführungsformen zeigt.
-
Detaillierte Beschreibung
-
Gemäß manchen Ausführungsformen werden Verfahren zum Kalibrieren eines LiDAR-Sensors bereitgestellt, der an einem Fahrzeug befestigt ist. Die Kalibrierung muss nicht das Zurückbringen des Fahrzeugs mit dem daran befestigten LiDAR-Sensor zu einem Herstellerwerk oder einer Werkstatt benötigen. Kalibrierungen können periodisch oder kontinuierlich durchgeführt werden, während das Fahrzeug geparkt ist, oder sogar während des Fahrens.
-
1 zeigt einen beispielhaften LiDAR-Sensor 100 zur dreidimensionalen Bildgebung gemäß manchen Ausführungsformen. Der LiDAR-Sensor 100 umfasst eine Emissionslinse 130 und eine Empfangslinse 140. Der LiDAR-Sensor 100 umfasst eine Lichtquelle 110a, die im Wesentlichen in einer hinteren Brennebene der Emissionslinse 130 angeordnet ist. Die Lichtquelle 110a ist in der Lage, einen Lichtpuls 120 von einem jeweiligen Emissionsort in der hinteren Brennebene der Emissionslinse 130 zu emittieren. Die Emissionslinse 130 ist dazu konfiguriert, den Lichtpuls 120 zu kollimieren und hin zu einem Objekt 150 zu richten, das vor dem LiDAR-Sensor 100 liegt. Für einen gegebenen Emissionsort der Lichtquelle 110a wird der kollimierte Lichtpuls 120' in einem entsprechenden Winkel hin zu dem Objekt 150 gerichtet.
-
Ein Teil 122 des kollimierten Lichtpulses 120' wird von dem Objekt 150 hin zu der Empfangslinse 140 reflektiert. Die Empfangslinse 140 ist dazu konfiguriert, den von dem Objekt 150 reflektierten Teil 122' des Lichtpulses auf einen entsprechenden Detektionsort in der Brennebene der Empfangslinse 140 zu fokussieren. Der LiDAR-Sensor 100 umfasst ferner einen Detektor 160a, der im Wesentlichen in der Brennebene der Empfangslinse 140 angeordnet ist. Der Detektor 160a ist dazu konfiguriert, den von dem Objekt reflektierten Teil 122' des Lichtpulses 120 an dem entsprechenden Detektionsort zu empfangen. Der entsprechende Detektionsort des Detektors 160a ist zum jeweiligen Emissionsort der Lichtquelle 110a optisch konjugiert.
-
Der Lichtpuls 120 kann von kurzer Dauer sein, beispielsweise 10 ns Pulsweite. Der LiDAR-Sensor 100 umfasst ferner einen Prozessor 190, der mit der Lichtquelle 110a und dem Detektor 160a verbunden ist. Der Prozessor 190 ist dazu konfiguriert, eine Laufzeit (TOF) des Lichtpulses 120 von Emission bis Detektion zu bestimmen. Da sich der Lichtpuls 120 mit Lichtgeschwindigkeit bewegt, kann eine Distanz zwischen dem LiDAR-Sensor 100 und dem Objekt 150 basierend auf der bestimmten Laufzeit bestimmt werden.
-
Eine Art des Scannens des Laserstrahls 120' über ein FOV ist es, die Lichtquelle 110a seitlich relativ zu der Emissionslinse 130 in der hinteren Brennebene der Emissionslinse 130 zu bewegen. Beispielsweise kann die Lichtquelle 110a über eine Vielzahl von Emissionsorten in der hinteren Brennebene der Emissionslinse 130 gerastet werden, wie in 1 gezeigt. Die Lichtquelle 110a kann eine Vielzahl von Lichtpulsen an der Vielzahl von Emissionsorten emittieren. Jeder an einem jeweiligen Emissionsort emittierte Lichtpuls wird durch die Emissionslinse 130 kollimiert und in einem jeweiligen Winkel hin zu dem Objekt 150 gerichtet, und trifft an einem entsprechenden Punkt an der Oberfläche des Objekts 150 auf. Demnach wird ein entsprechender Objektbereich an dem Objekt 150 gescannt, da die Lichtquelle 110a innerhalb eines bestimmten Bereichs in der hinteren Brennebene der Emissionslinse 130 gerastert wird. Der Detektor 160a kann gerastert werden, um an einer Vielzahl von entsprechenden Detektionsorten in der Brennebene der Empfangslinse 140 positioniert zu werden, wie in 1 gezeigt. Das Scannen des Detektors 160a wird typischerweise mit dem Scannen der Lichtquelle 110a synchron durchgeführt, sodass der Detektor 160a und die Lichtquelle 110a zu jedem Zeitpunkt zueinander optisch konjugiert sind.
-
Durch Bestimmen der Laufzeit für jeden an einem jeweiligen Emissionsort emittierten Lichtpuls kann die Distanz von dem LiDAR-Sensor 100 zu jedem entsprechenden Punkt auf der Oberfläche des Objekts 150 bestimmt werden. In manchen Ausführungsformen ist der Prozessor 190 mit einem Positionsgeber verbunden, der die Position der Lichtquelle 110a an jedem Emissionsort detektiert. Der Winkel des kollimierten Lichtpulses 120' kann basierend auf dem Emissionsort bestimmt werden. Die X-Y-Koordinate des entsprechenden Punkts an der Oberfläche des Objekts 150 kann basierend auf dem Winkel und der Distanz des LiDAR-Sensors 100 bestimmt werden. Demnach kann ein dreidimensionales Bild des Objekts 150 basierend auf den gemessenen Distanzen von dem LiDAR-Sensor 100 zu verschiedenen Punkten an der Oberfläche des Objekts 150 konstruiert werden. In manchen Ausführungsformen kann das dreidimensionale Bild als eine Punktewolke repräsentiert werden, genauer gesagt als ein Satz X-, Y- und Z-Koordinaten von Punkten an der Oberfläche des Objekts 150.
-
In manchen Ausführungsformen wird die Intensität des zurückgekehrten Lichtpulses 122' gemessen und dazu verwendet, die Leistung von nachfolgenden Lichtpulsen von demselben Emissionsort anzupassen, um eine Sättigung des Detektors zu verhindern, die Augensicherheit zu erhöhen, oder den gesamten Stromverbrauch zu verringern. Die Leistung des Lichtpulses kann durch eine Anpassung der Dauer des Lichtpulses, der dem Laser zugeführten Spannung oder des dem Laser zugeführten Stroms, oder der in einem Kondensator gespeicherten Ladung, die dazu verwendet wird, den Laser zu betreiben, angepasst werden. Im letzteren Fall kann die in dem Kondensator gespeicherte Ladung durch eine Anpassung der Ladezeit, der Ladespannung, oder des Ladestroms des Kondensators angepasst werden. In manchen Ausführungsformen kann auch die Reflektivität, wie sie durch die Intensität des detektierten Pulses bestimmt wird, dazu verwendet werden, eine andere Dimension dem Bild hinzuzufügen. Beispielsweise kann das Bild X-, Y- und Z-Koordinaten enthalten, sowie Reflektivität (oder Helligkeit).
-
Das Winkelbildfeld (AFOV) des LiDAR-Sensors 100 kann basierend auf dem Scanbereich der Lichtquelle 110a und der Brennweite der Emissionslinse 130 als
geschätzt werden, wobei h der Scanbereich der Lichtquelle 110a entlang einer bestimmten Richtung ist und f die Brennweite der Emissionslinse 130 ist. Für einen gegebenen Scanbereich h würden kürzere Brennweiten breitere AFOVs erzeugen. Für eine gegebene Brennweite f würden größere Scanbereiche breitere AFOVs erzeugen. In manchen Ausführungsformen kann der LiDAR-Sensor 100 mehrere Lichtquellen umfassen, die als ein Array in der hinteren Brennebene der Emissionslinse 130 angeordnet sind, sodass ein größeres gesamtes AFOV erreicht werden kann, während der Scanbereich jeder einzelnen Lichtquelle relativ klein gehalten wird. Entsprechend kann der LiDAR-Sensor 100 mehrere Detektoren umfassen, die als ein Array in der Brennebene der Empfangslinse 140 angeordnet sind, wobei jeder Detektor zu einer jeweiligen Lichtquelle konjugiert ist. Beispielsweise kann der LiDAR-Sensor 100 eine zweite Lichtquelle 110b und einen zweiten Detektor 160b umfassen, wie in
1 gezeigt. In anderen Ausführungsformen kann der LiDAR-Sensor 100 vier Lichtquellen und vier Detektoren, oder acht Lichtquellen und acht Detektoren umfassen. In einer Ausführungsform kann der LiDAR-Sensor 100 acht als ein 4x2 Array angeordnete Lichtquellen und acht als ein 4x2 Array angeordnete Detektoren umfassen, sodass der LiDAR-Sensor 100 ein breiteres AFOV in der horizontalen Richtung aufweisen kann, als sein AFOV in der vertikalen Richtung. Gemäß verschiedenen Ausführungsformen kann das gesamte AFOV des LiDAR-Sensors 100 von etwa 5° bis etwa 15°, oder von etwa 15° bis etwa 45°, oder von etwa 45° bis etwa 120° reichen, abhängig von der Brennweite der Emissionslinse, dem Scanbereich jeder Lichtquelle und der Anzahl von Lichtquellen.
-
Die Lichtquelle 110a kann dazu konfiguriert sein, Lichtpulse in den ultravioletten, sichtbaren, oder nah-infraroten Wellenlängenbereichen zu emittieren. Die Energie jedes Lichtpulses kann in der Größenordnung von Mikrojoules sein, was für Wiederholraten im KHz Bereich üblicherweise als augen-sicher gilt. Für Lichtquellen, die mit Wellenlängen betrieben werden, die größer sind als etwa 1500 nm, könnten die Energielevel höher sein, da das Auge bei diesen Wellenlängen nicht fokussiert. Der Detektor 160a kann eine Silikon-Avalanche-Fotodiode, einen Fotomultiplier, eine PIN-Diode, oder andere Halbleitersensoren umfassen.
-
Wenn ein LiDAR-Sensor, wie beispielsweise der in 1 gezeigte LiDAR-Sensor 100, zur Hindernisdetektion für autonome Fahrzeuge verwendet wird, kann es nötig sein, die Position und Orientierung des LiDAR-Sensors bezüglich des Fahrzeugs genau zu kennen, um den Ort des Hindernisses relativ zu dem Fahrzeug genau zu bestimmen. 2a zeigt schematisch einen LiDAR-Sensor 210, der an einem Fahrzeug 220 befestigt ist. Beispielsweise kann der LiDAR-Sensor 210 an dem oberen Zentrum hinter der Windschutzscheibe des Fahrzeugs 220 befestigt sein. Der LiDAR-Sensor 210 kann durch eine optische Achse 250 (zum Beispiel die optische Achse einer Emissionslinse oder einer Empfangslinse) charakterisiert sein. Das Fahrzeug 220 kann eine Längsachse 240 aufweisen. Es kann vorteilhaft sein, die optische Achse 250 des LiDAR-Sensors 210 an die Längsachse 240 des Fahrzeugs 220 auszurichten, sodass der LiDAR-Sensor 210 geradeaus hin zu der Richtung sieht, in die sich das Fahrzeug 220 bewegt.
-
Angenommen, der LiDAR-Sensor 210 ist ursprünglich gemäß dieser Ausrichtungsbedingung kalibriert. Wenn die Ausrichtung des LiDAR-Sensors aufgrund von einigen mechanischen Störungen verschoben wird (zum Beispiel nach links gedreht), dann ist die optische Achse 250 des LiDAR-Sensors 210 nicht länger an der Längsachse 240 des Fahrzeugs 220 ausgerichtet, wie in 2A gezeigt. Die Fehlausrichtung kann ungenaue Messungen einer Position eines Hindernisses (zum Beispiel einer Person 260) relativ zu dem Fahrzeug 220 zur Folge haben. Demnach kann eine Rekalibrierung des LiDAR-Sensors 210 notwendig sein.
-
2B zeigt ein Fahrzeug-Koordinatensystem. Das Fahrzeug-Koordinatensystem kann drei Translationsfreiheitsgrade aufweisen, die beispielsweise durch die x-, y-und z-Koordinaten repräsentiert werden können. Das Fahrzeug-Koordinatensystem kann drei Rotationsfreiheitsgrade aufweisen, die beispielsweise durch die Roll-, Neigungs-, und Gierwinkel um die X-Achse, die Y-Achse, bzw. die Z-Achse repräsentiert werden können. Beispielsweise kann die x-Achse entlang einer Längsachse des Fahrzeugs 220 sein; die z-Achse kann entlang der vertikalen Richtungen sein; und die y-Achse kann entlang der seitlichen Richtung sein. Die Position und die Orientierung des LiDAR-Sensors 210 relativ zu dem Fahrzeug 220 kann durch die (x-, y-, z-, Roll-, Neigung-, Gier-) Koordinaten in dem Fahrzeug-Koordinatensystem charakterisiert werden.
-
2C zeigt ein LiDAR-Koordinatensystem. Das LiDAR-Koordinatensystem kann auch drei Translationsfreiheitsgrade (zum Beispiel durch die X-, Y-, und Z-Koordinaten repräsentiert) und drei Rotationsfreiheitsgrade (zum Beispiel durch die Roll-, Neigungs-, und Gierwinkel um die X-Achse, die Y-Achse, bzw. die Z-Achse repräsentiert) aufweisen. Beispielsweise kann die X-Achse entlang einer optischen Achse des LiDAR-Sensors 210 sein; die Z-Achse kann entlang der im Sollzustand vertikalen Richtung sein; und die Y-Achse kann entlang einer zu der X-Achse und der Z-Achse orthogonalen Richtung sein.
-
Die Rohdaten einer durch den LiDAR-Sensor 210 aufgenommenen Punktwolke können in dem LiDAR-Koordinatensystem sein. Um den Ort eines Hindernisses relativ zu dem Fahrzeug 220 zu bestimmen, können die Punktwolkendaten in das Fahrzeug-Koordinatensystem transformiert werden, wenn die Position und die Orientierung des LiDAR-Sensors 210 in dem Fahrzeug-Koordinatensystem bekannt sind. Die Transformation von dem LiDAR-Koordinatensystem in das Fahrzeug-Koordinatensystem kann hierin als Kalibrierung des LiDAR-Sensors 210 bezüglich des Fahrzeugs 220 bezeichnet werden.
-
Gemäß manchen Ausführungsformen kann der LiDAR-Sensor 220 so an dem Fahrzeug 220 befestigt sein, dass der LiDAR-Sensor 210 bezüglich des Fahrzeugs 220 im Sollzustand ausgerichtet ist. Beispielsweise kann der LiDAR-Sensor 210 so an dem Fahrzeug 220 befestigt sein, dass die X-Achse des LiDAR-Koordinatensystems (zum Beispiel entlang der optischen Achse des LiDAR-Sensors 210) mit der x-Achse des Fahrzeug-Koordinatensystems (zum Beispiel entlang der Längsachse des Fahrzeugs) im Sollzustand ausgerichtet ist; die Y-Achse des LiDAR-Koordinatensystems ist mit der y-Achse des Fahrzeug-Koordinatensystems im Sollzustand ausgerichtet; und die Z-Achse des LiDAR-Koordinatensystems ist mit der z-Achse des Fahrzeug-Koordinatensystems im Sollzustand ausgerichtet. Demnach sind der Rollwinkel, der Neigungswinkel und der Gierwinkel in dem Fahrzeug-Koordinatensystem alle näherungsweise null. Eine Kalibrierung kann benötigt werden, um irgendwelche verbleibenden Abweichungen von der Sollausrichtung bis zu einer ausreichenden Genauigkeit zu kompensieren. Beispielsweise kann es wünschenswert sein, den LiDAR-Sensor 210 auf eine Translationsgenauigkeit von 2 cm entlang jeder der x-, y-, und z-Achsen zu kalibrieren und eine Rotationsgenauigkeit auf 0,1° für jeden der Roll-, Neigungs-, und Gierwinkel zu kalibrieren.
-
3A und 3B zeigen schematisch einen Befestigungsmechanismus, der dazu verwendet werden kann, um einen LiDAR-Sensor an einem Fahrzeug gemäß manchen Ausführungsformen zu befestigen. Der LiDAR-Sensor kann ein Außengehäuse 310 mit drei Befestigungslöchern 320 (zum Beispiel an der oberen Oberfläche des Außengehäuses 310) aufweisen, wie in 3A gezeigt. Eine Halterung 330 kann drei Löcher 340 aufweisen, die zu den Befestigungslöchern 320 an dem Außengehäuse 310 passen, sodass der LiDAR-Sensor an der Halterung 330 mit einer festen Orientierung angebracht werden kann, wie in 3B gezeigt. Die Halterung 330 kann an dem Fahrzeug angebracht sein (zum Beispiel an dem Dach des Innenraums), wobei ähnliche Befestigungslöcher (nicht gezeigt) zur korrekten Ausrichtung verwendet werden.
-
Ein LiDAR-Sensor kann in einem Herstellerwerk vorkalibriert werden, um irgendwelche verbleibenden Fehlausrichtungen des LiDAR-Sensors bezüglich des Fahrzeugs zu korrigieren. Während des Betriebs des Fahrzeugs mit der Zeit können die optischen Komponenten des LiDAR-Sensors relativ zu dem Gehäuse 310 verschoben werden, oder das Gehäuse 310 des LiDAR-Sensors kann relativ zu der Befestigungshalterung 330 und/oder zu dem Fahrzeug verschoben werden. Dies kann beispielsweise aufgrund von Verschleiß des internen Mechanismus des LiDAR-Sensors, einer Kollision oder Vibrationen des Fahrzeugs, Fehlausrichtungen der Räder, Alterung der Fahrzeugaufhängung oder ähnlichem geschehen. Demnach kann die Kalibrierung mit der Zeit ungenau werden und eine neue Kalibrierung kann benötigt werden. Gemäß verschiedenen Ausführungsformen können LiDAR-Kalibrierungen periodisch unter Verwendung eines Ziels mit einem eingebetteten Spiegel durchgeführt werden, oder können periodisch oder kontinuierlich unter Verwendung von festen Merkmalen an dem Fahrzeug oder festen Straßenmerkmalen durchgeführt werden, wie im Folgenden ausführlicher beschrieben.
-
A. Kalibrierung von LiDAR-Sensoren unter Verwendung eines Ziels mit einem eingebetteten Spiegel
-
4A - 4C zeigen einen beispielhaften Kalibrierungsaufbau für einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen. Der LiDAR-Sensor 410 ist in diesem Beispiel als hinter der vorderen Windschutzscheibe des Fahrzeugs 400 befestigt gezeigt. Dies wird jedoch nicht benötigt. Beispielsweise kann der LiDAR-Sensor 410 an anderen Orten des Fahrzeugs 420 befestigt sein, wie zum Beispiel an der vorderen Stoßstange, der hinteren Windschutzscheibe, der hinteren Stoßstange, oder ähnlichem. Ein Ziel 440 ist in einer gewissen Distanz D vor dem LiDAR-Sensor 410 platziert. Das Ziel 440 umfasst einen ebenen Spiegel 430 und identifizierbare Merkmale 490, die den Spiegel 430 umgeben.
-
Unter Bezugnahme auf 4A kann das Ziel 440 an einem Gestell (nicht gezeigt) befestigt sein, sodass der Spiegel 430 im Sollzustand vertikal ist. Demnach kann eine optische Achse 432 des Spiegels 430 im Sollzustand horizontal sein, die eine Normale der Oberfläche des Spiegels 430 ist. Das Fahrzeug 420 ist relativ zu dem Spiegel 430 so positioniert und orientiert, dass eine optische Achse 412 des LiDAR-Sensors zu der optischen Achse 432 des Spiegels 430 im Sollzustand parallel ist, und das Ziel 440 ist in einem Bildfeld des LiDAR-Sensors 410 im Sollzustand zentriert. In den Fällen, in denen der LiDAR-Sensor 410 hinter der vorderen Windschutzscheibe des Fahrzeugs 420 befestigt ist (zum Beispiel wie in 4A gezeigt), kann das Fahrzeug 420 so positioniert sein, dass eine Längsachse 422 des Fahrzeugs 420 zu der optischen Achse 432 des Spiegels 430 im Sollzustand parallel ist.
-
Unter Bezugnahme auf 4B kann der LiDAR-Sensor 410 ein dreidimensionales Bild des Ziels 440 durch Scannen über das Ziel 440 aufnehmen. Das dreidimensionale Bild des Ziels kann Bilder der Merkmale 490, die den Spiegel 430 umgeben, und ein Spiegelbild des Fahrzeugs 420 aufweisen, das durch den Spiegel 430 gebildet wird. Beispielsweise kann der LiDAR-Sensor 410 einen Laserpuls 450 (oder 450a) emittieren, der hin zu dem Spiegel 430 gerichtet ist. Ein reflektierter Laserpuls 450b kann hin zu einem bestimmten Teil des Fahrzeugs (zum Beispiel das Nummernschild an der vorderen Stoßstange) gerichtet sein, der wiederum zurück zu dem Spiegel 430 reflektiert werden kann (als 450c in 4B gezeigt) und zu dem LiDAR-Sensor 410 zurückkehren (als 450d in 4B gezeigt). Demnach kann der LiDAR-Sensor 410 ein dreidimensionales Spiegelbild des Fahrzeugs 420 effektiv aufnehmen, wie in 14 gezeigt.
-
Gemäß manchen Ausführungsformen kann die Distanz D zwischen dem Ziel 440 und dem Fahrzeug 420 groß genug gemacht werden, um eine gewünschte Genauigkeit zu erreichen. Beispielsweise kann die Distanz D etwa 3 m sein. Die Größe des Spiegels 430 kann groß genug gemacht werden, sodass das gesamte Fahrzeug 420 sichtbar ist, obwohl dies nicht benötigt wird. Beispielsweise kann die Größe des Spiegels 430 etwa 1 m hoch und etwa 2 m breit sein. Die Größe des Ziels 440 kann etwa 2 m hoch und etwa 3 m breit sein (zum Beispiel kann die Kante des Ziels 440 mit Merkmalen 490 eine Breite von 0,5 m aufweisen).
-
5A zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 zu der Oberfläche des Spiegels 430 senkrecht ist) und der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist (zum Beispiel die optische Achse des LiDAR-Sensors 410 zu der Längsachse des Fahrzeugs 420 parallel ist). Angenommen, dass auch das Fahrzeug 420 bezüglich der Breite des Spiegels 430 seitlich zentriert ist und der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 seitlich zentriert ist. In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420, wie es von dem LiDAR-Sensor 410 gesehen wird, als symmetrisch erscheinen und könnte keinen Rollwinkel, Neigungswinkel, oder Gierwinkel aufweisen. Das Ziel 440 kann auch als symmetrisch bezüglich des Bildfelds 414 des LiDAR-Sensors erscheinen (zum Beispiel ist der seitliche Rand d von der linken Kante des Ziels 440 zu der linken Grenze des Bildfelds 414 etwa derselbe, wie der seitliche Rand d von der rechten Kante des Ziels 440 zu der rechten Grenze des Bildfelds 414) und könnte keinen Rollwinkel, Neigungswinkel, oder Gierwinkel aufweisen.
-
5B zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 falsch ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 einen endlichen Gierwinkel bezüglich der optischen Achse des Spiegels 430 aufweist). In solchen Fällen ist das Ziel 440 nicht länger in dem Bildfeld 414 des LiDARs zentriert (zum Beispiel seitlich nach rechts verschoben). Die Verschiebungsmenge (zum Beispiel die Differenz zwischen dem neuen Rand D und dem Sollrand d) kann die Fehlausrichtungsmenge betreffen. Demnach kann es möglich sein, die Fehlorientierungsmenge (zum Beispiel ein Gierfehler) des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Verschiebungsmenge zu bestimmen. Zusätzlich erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, auch als einen endlichen Gierwinkel aufweisend (es sei angemerkt, dass die Rotationsmenge in 5B etwas übertrieben ist). Demnach kann der LiDAR-Sensor 410 die Fehlorientierungsmenge des Fahrzeugs 420 bezüglich des Ziels 440 durch Messen der Distanzen von bestimmten Merkmalen des Fahrzeugs 420 bestimmen. Beispielsweise kann der LiDAR-Sensor 410 wie in 5B gezeigt messen, dass ein Scheinwerfer (zum Beispiel der linke Scheinwerfer) weiter von dem LiDAR-Sensor 410 entfernt ist, als der andere Scheinwerfer (zum Beispiel der rechte Scheinwerfer), und kann demnach den Gierwinkel des Fahrzeugs 420 berechnen.
-
5C zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 410 bezüglich des Ziels 440 korrekt ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 zu der Oberfläche des Spiegels 430 senkrecht ist), aber der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 nicht korrekt ausgerichtet ist (zum Beispiel der LiDAR-Sensor 410 nach links sieht statt gerade aus zusehen). In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420 als symmetrisch erscheinen, aber das Ziel 440 kann seitlich verschoben sein (zum Beispiel nach rechts) bezüglich des Bildfeldes 414 des LiDARs. Der LiDAR-Sensor 410 kann die Menge von Fehlorientierung (zum Beispiel der Gierfehler) des LiDAR-Sensors 410 basierend auf der Verschiebungsmenge (zum Beispiel die Differenz zwischen dem neuen Rand D und dem Sollrand d) bestimmen.
-
6A zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 einen Neigungsfehler aufweist. In solchen Fällen ist das Ziel 440 nicht länger in dem Bildfeld 414 des LiDARs zentriert (zum Beispiel vertikal nach unten verschoben). Die Menge von vertikaler Verschiebung kann die Menge eines Neigungsfehlers betreffen. Demnach kann es möglich sein, die Menge eines Neigungsfehlers des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Menge von vertikaler Verschiebung zu bestimmen. Zusätzlich erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, auch als einen endlichen Neigungswinkel aufweisend (es sei angemerkt, dass die Rotationsmenge in 6A etwas übertrieben ist). Demnach kann der LiDAR-Sensor 410 auch die Menge eines Neigungsfehlers des Fahrzeugs 420 bezüglich des Ziels 440 durch Messen der Distanzen von bestimmten Merkmalen des Fahrzeugs 420 bestimmen. Beispielsweise kann der LiDAR-Sensor 410 wie in 6A gezeigt messen, dass das Dach des Fahrzeugs 420 geneigt ist und kann den Neigungsfehler basierend auf der Menge der Neigungen berechnen.
-
6B zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist, aber der LiDAR-Sensor 410 einen Neigungsfehler bezüglich des Fahrzeugs 420 aufweist (zum Beispiel sieht der LiDAR-Sensor 410 nach oben statt gerade aus). In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420 als keinen Neigungswinkel aufweisend erscheinen, aber das Ziel 440 kann vertikal verschoben sein (zum Beispiel nach unten) bezüglich des Bildfelds 414 des LiDARs. Der LiDAR-Sensor 410 kann die Menge eines Neigungsfehlers des LiDAR-Sensors 410 basierend auf der Menge der vertikalen Verschiebung bestimmen.
-
6C zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 einen Rollfehler aufweist. In solchen Fällen erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, als keinen Rollwinkel aufweisend, aber das Ziel 440 kann als einen endlichen Rollwinkel aufweisend bezüglich des Bildfelds 414 des LiDARs erscheinen. Es kann möglich sein, die Menge eines Rollfehlers des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Menge des Rollwinkels des Ziels 440 bezüglich des Bildfelds 414 des LiDAR-Sensors zu bestimmen.
-
6D zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist, aber der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 einen Rollfehler aufweist. In solchen Fällen kann sowohl das Spiegelbild 420' des Fahrzeugs 420, als auch das Ziel 440 als einen endlichen Rollwinkel aufweisend bezüglich des Bildfelds 414 des LiDARs erscheinen. Der LiDAR-Sensor 410 kann die Menge eines Rollfehlers des LiDAR-Sensors 410 basierend auf der Menge der Rollrotation bestimmen.
-
Dementsprechend kann der LiDAR-Sensor 410 (oder eine Berechnungseinheit des Fahrzeugs 420) eine Abweichung von einer erwarteten Ausrichtung (zum Beispiel eine in einem Herstellerwerk durchgeführte ursprüngliche Ausrichtung) des LiDAR-Sensors 410 bezüglich des Fahrzeugs 420 durch Analysieren eines durch den LiDAR-Sensor 410 aufgenommenen dreidimensionalen Bilds bestimmen, dass die Bilder von Merkmalen 490 an dem Ziel und das Spiegelbild 420' des Fahrzeugs 420 umfasst. Die Abweichung von der erwarteten Ausrichtung kann einen Gierfehler, Rollfehler, Neigungsfehler und Translationsfehler (zum Beispiel δx, δy, δz) umfassen.
-
Gemäß manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors 410 bezüglich des Fahrzeugs 420 die folgenden Schritte umfassen. Eine Position und eine Orientierung des LiDAR-Sensors 410 bezüglich des Ziels 440 können basierend auf den Bildern der Merkmale 490 an dem Ziel 440 bestimmt werden. Eine Position und eine Orientierung des LiDAR-Sensors 410 relativ zu dem Spiegelbild 420' des Fahrzeugs 420 können basierend auf dem Spiegelbild 420' des Fahrzeugs bestimmt werden. Dann kann eine Transformation von einem LiDAR-Koordinatensystem in ein Fahrzeug-Koordinatensystem bestimmt werden, basierend auf: (i) die Position und die Orientierung des LiDAR-Sensors 410 relativ zu dem Ziel 440, und (ii) die Position und Orientierung des LiDAR-Sensors 410 relativ zu dem Spiegelbild 420' des Fahrzeugs 420.
-
In manchen Ausführungsformen kann eine Berechnungseinheit ein Referenzbild speichern. Beispielsweise kann das Referenzbild ein Bild sein, das durch den LiDAR-Sensor 410 gerade nach einer ursprünglichen Ausrichtung aufgenommen wurde, die in einem Herstellerwerk durchgeführt wurde, oder kann ein simuliertes Bild für die erwartete Ausrichtung sein. Während der Rekalibrierung kann die Berechnungseinheit das durch den LiDAR-Sensor 410 aufgenommene dreidimensionale Bild mit dem Referenzbild vergleichen und eine multivariable Minimierung (zum Beispiel unter Verwendung eines Gradientenverfahrens oder anderer Algorithmen) durchführen, um eine Transformationsmatrix zu bestimmen, sodass das aufgenommene dreidimensionale Bild am meisten mit dem Referenzbild übereinstimmt. Die Abweichung von der erwarteten Ausrichtung (zum Beispiel Gierfehler, Rollfehler, Neigungsfehler, δx, δy und δz) kann dann von der Transformationsmatrix abgeleitet werden.
-
Die folgenden beispielhaften Verfahren können dazu verwendet werden, die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 in nicht weniger als sechs Freiheitsgraden gemäß verschiedenen Ausführungsformen zu bestimmen. Andere Verfahren und Techniken können auch von dem Fachmann verwendet werden. In den folgenden Beschreibungen der beispielhaften Ausführungsformen werden die folgenden Bezeichnungen und Terminologien verwendet. Lt bezeichnet eine Matrix, die die Beziehung des LiDAR-Sensors 410 zu dem Ziel 440 beschreibt, Ct bezeichnet eine Matrix, die die Beziehung des Fahrzeugs 420 zu dem Ziel 440 beschreibt, LC bezeichnet eine Matrix, die die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 beschreibt (zur Korrektur jedweder Fehlkalibrierung des LiDAR-Sensors 410), M bezeichnet eine Spiegeltransformationsmatrix und LmC bezeichnet eine Matrix, die die Beziehungen des LiDAR-Sensors 410 des Fahrzeugs 420 beschreibt, so wie sie der LiDAR-Sensor 410 in dem Spiegel 430 sieht.
-
In manchen Ausführungsformen kann der LiDAR-Sensor 410 seine Positionsbeziehung (x, y, z) zu den Zielmerkmalen 490 um den Spiegel 430 durch Triangulieren der Distanz von wenigstens drei Zielmerkmalen 490 (zum Beispiel ähnlich dazu, wie ein GPS-Empfänger seine Position relativ zu den GPS-Satelliten trianguliert) ermitteln. Die Rotationsbeziehungen von Neigung, Rollen und Gierung können durch Messen des Ortes von wenigstens drei Zielmerkmalen 490 bestimmt werden (die dieselben Zielmerkmale sein können, die für x, y und z verwendet wurden). Demnach kann die Matrix Lt, die die Beziehung des LiDAR-Sensors 410 zu dem Ziel 440 beschreibt, ermittelt werden. Die Matrix Lt ist eine 4x4 Matrix, die x-, y-und z-Positionen, sowie Neigung, Rollen und Gierung definiert.
-
Als nächstes kann die Beziehung des Fahrzeugs 420 zu dem Ziel 440 durch einen ähnlichen Ablauf ermittelt werden: durch Messen der Distanz zu bestimmten Merkmalen des Fahrzeugs 420, so wie sie in dem Spiegel 430 zu sehen sind, um seine Position relativ zu dem Ziel 440 zu triangulieren, und durch Messen von Orten von Merkmalen des Fahrzeugs 420 relativ zu dem Spiegel 430, um die Neigung, das Rollen und die Gierung des Fahrzeugs 420 zu bestimmen. Demnach kann die Matrix C
t, die die Beziehung des Fahrzeugs 420 zu dem Ziel 440 beschreibt, ermittelt werden. Die Matrix C
t ist eine 4x4 Matrix, die x-, y- und z-Positionen, sowie Neigung, Rollen und Gierung definiert. Die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 kann dann durch
definiert werden.
-
Gemäß manchen Ausführungsformen kann der LiDAR-Sensor 410 seine Position relativ zu dem Ziel 440 wie oben beschrieben bestimmen, um die Matrix L
t zu ermitteln. Der LiDAR-Sensor 410 kann auch die Beziehung des Spiegelbilds des Fahrzeugs 420' zu dem LiDAR-Sensor 410 bestimmen, so wie sie durch den Spiegel 430 gesehen wird, um die Matrix L
mC zu ermitteln. Die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 kann dann durch Matrix-Multiplikation bestimmt werden als
-
Gemäß manchen Ausführungsformen werden das Bild des Fahrzeugs 420', sowie es in dem Spiegel 430 gesehen wird, und das Bild des Ziels 440, so wie es durch den LiDAR-Sensor 410 aufgenommen wird, mit einem gespeicherten Referenzbild verglichen. Das Referenzbild kann entweder ein simuliertes Bild oder ein Bild sein, das während einer Fabrikkalibrierung aufgenommen wurde. Eine Minimierungstechnik (zum Beispiel unter Verwendung eines Gradientenverfahrensalgorithmus) kann dann dazu verwendet werden, die Transformationsparameter (δx, δy, δz, Neigungsfehler, Rollfehler und Gierfehler) zu bestimmen, die die Differenz zwischen dem momentan aufgenommenen Bild und dem gespeicherten Referenzbild minimiert. In diesem Prozess kann entweder das momentan aufgenommene Bild transformiert werden, um dem gespeicherten Referenzbild zu entsprechen, oder das gespeicherte Referenzbild kann transformiert werden, um dem momentan aufgenommenen Bild zu entsprechen. Die Transformationsparameter können die Differenz zwischen der momentanen LiDAR-Position und der idealen (oder in einer Fabrik kalibrierten) LiDAR-Position relativ zu dem Fahrzeug 420 repräsentieren.
-
Wenn einmal die Beziehung des LiDARs 410 zu dem Fahrzeug 420 bestimmt ist, kann eine Diskrepanz dieser Beziehung von der momentanen LiDAR-Kalibrierung dazu verwendet werden, um die LiDAR-Kalibrierung zu korrigieren.
-
In manchen Ausführungsformen können eine oder mehrere Distanzsensoren dazu verwendet werden, um den Ort und die Orientierung des Fahrzeugs 420 relativ zu dem Ziel 440 zu bestimmen (zum Beispiel in einem Weltkoordinatensystem). Durch Platzieren von zwei oder drei Distanzsensoren in dem Boden unter dem Fahrzeug 420 können beispielsweise die Neigung, das Rollen und z-Koordinaten (Höhe) des Fahrzeugs bestimmt werden. Durch Verwenden von sechs Distanzsensoren können alle Freiheitsgrade (x, y, z, Neigung, Rollen und Gierung) bestimmt werden. Die Distanzsensoren können Ultraschallsensoren oder Lasersensoren sein.
-
Ein Beispiel einer Verwendung von Distanzsensoren, um die Position und die Orientierung des Fahrzeugs 420 zu bestimmen, ist in 5A gezeigt. In diesem Beispiel können vier Distanzsensoren 590 an angemessenen Orten um das Fahrzeug 420 positioniert werden. Beispielsweise kann jeder Distanzsensor 590 in der Umgebung eines jeweiligen Rads des Fahrzeugs 420 liegen. Der Distanzsensor 590 kann einen Ultraschallpuls oder einen Laserpuls hin zu dem Rad aussenden und den zurückgekehrten Puls messen und dabei die Distanz von dem Rad schätzen. Demnach können die y-Koordinate und der Gierwinkel des Fahrzeugs 420 bestimmt werden. In manchen Ausführungsformen können nur zwei Distanzsensoren 590 auf einer Seite des Fahrzeugs benötigt werden (entweder auf der Fahrerseite oder der Beifahrerseite) ein anderer Distanzsensor 592 kann vor dem Fahrzeug 420 positioniert werden, um die x-Koordinate des Fahrzeugs 420 zu bestimmen.
-
Gemäß manchen Ausführungsformen können zusätzliche Korrekturen oder Kalibrierungen gemacht werden. Beispielsweise können Windschutzscheiben-Verzerrungseffekte gemessen und korrigiert werden. Windschutzscheiben-Verzerrungskorrektur kann jedes Mal notwendig sein, wenn die Windschutzscheibe ausgetauscht wird.
-
7 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 700 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen zeigt.
-
Das Verfahren 700 umfasst, bei 702, ein Positionieren des Fahrzeugs in einer Distanz von dem Ziel. Das Ziel umfasst einen ebenen Spiegel und Merkmale, die den Spiegel umgeben. Die optische Achse des Spiegels ist im Wesentlichen horizontal. Das Fahrzeug ist relativ zu dem Spiegel so positioniert und orientiert, dass eine optische Achse des LiDAR-Sensors im Sollzustand parallel zu der optischen Achse des Spiegels ist und das Ziel im Sollzustand in einem Bildfeld des LiDAR-Sensors zentriert ist.
-
Das Verfahren 700 umfasst ferner, bei 704, ein Aufnehmen eines dreidimensionalen Bilds des Ziels, unter Verwendung des LiDAR-Sensors. Das dreidimensionale Bild des Ziels umfasst Bilder von Merkmalen des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs.
-
Das Verfahren 700 umfasst ferner, bei 706, ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren des Bilds des Merkmals und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.
-
In manchen Ausführungsformen umfasst das Verfahren 700 ferner, bei 708, ein Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
-
In manchen Ausführungsformen umfasst das Verfahren 700 ferner ein Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
-
In manchen Ausführungsformen ist das Bildfeld des LiDAR-Sensors kleiner als 180° in einer horizontalen Richtung.
-
In manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfassen: ein Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Ziel basierend auf den Bildern der Merkmale; ein Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs basierend auf dem Spiegelbild des Fahrzeugs; und ein Bestimmen einer Transformation von einem LiDAR-Koordinatensystem in ein Fahrzeug-Koordinatensystem basierend auf: (i) die Position und die Orientierung des LiDAR-Sensors relativ zu dem Ziel, und (ii) die Position und die Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs.
-
In manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfassen: ein Speichern einer Referenzmatrix, die eine erwartete Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; ein Bestimmen einer Matrix, die eine momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; und ein Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen der Matrix mit der Referenzmatrix. In manchen Ausführungsformen umfasst das Verfahren 700 ferner ein Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Matrix, die die momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft.
-
Es sollte verstanden werden, dass die in 7 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellt. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 7 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte können abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
-
B. Dynamische Kalibrierung von LiDAR-Sensoren unter Verwendung von Merkmalen an einem Fahrzeug
-
Es kann wünschenswert sein, ein Verfahren zum periodischen oder kontinuierlichen Überprüfen der Kalibrierung eines LiDAR-Sensors bezüglich eines Fahrzeugs zu haben, während das Fahrzeug geparkt ist, oder sogar während des Fahrens. Gemäß manchen Ausführungsformen kann eine Kalibrierung des LiDAR-Sensors unter Verwendung von Merkmalen an dem Fahrzeug durchgeführt werden, sodass die Kalibrierung während eines normalen Betriebs des Fahrzeugs durchgeführt werden kann. Solche Verfahren werden hierin als dynamische Kalibrierung bezeichnet.
-
8 zeigt ein Beispiel einer dynamischen Kalibrierung eines LiDAR-Sensors unter Verwendung einer Maske, die an einer Windschutzscheibe angebracht ist, gemäß manchen Ausführungsformen. Wie gezeigt ist der LiDAR-Sensor 810 (nicht sichtbar in 8) hinter der vorderen Windschutzscheibe 840 des Fahrzeugs 850 befestigt. Eine Maske 820 ist an der Windschutzscheibe 840 in einem Bereich angebracht, der gerade vor dem LiDAR-Sensor 810 liegt. Unter der Annahme, dass die Betriebswellenlänge des LiDAR-Sensors 810 in dem IR-Wellenlängenbereich liegt, kann die Maske 820 dazu konfiguriert sein, infrarotes (IR) Licht zu blockieren (zum Beispiel lichtundurchlässig für infrarotes Licht). In manchen Ausführungsformen kann die Maske 820 in einer Ringform sein, die einen IR-transparenten Teil 830 der Windschutzscheibe 840 umgibt. Die Geometrie und die Größe der IR-blockenden Maske 820 können so gemacht werden, dass ein Umfang um die Kante des Bildfelds des LiDAR-Sensors 810 blockiert ist.
-
9A und 9B zeigen schematische Seitenansichten der Windschutzscheibe 840 mit der IR-blockenden Maske 820 gemäß manchen Ausführungsformen. Der IR-transparente Teil 830 der Windschutzscheibe 840 ist von der IR-blockenden Maske 820 umgeben. Der IR-transparente Teil 830 ist etwas kleiner als das Bildfeld 910 des LiDAR-Sensors 810. Unter Bezugnahme auf 9A kann der LiDAR-Sensor 810 unter einer korrekten Ausrichtung (zum Beispiel einer erwarteten Ausrichtung) so hinter der Windschutzscheibe 840 positioniert sein, dass sein Bildfeld 910 über dem IR-transparenten Teil 830 zentriert ist. Demnach ist eine Kante des Bildfelds 910 an allen vier Seiten blockiert (die Seitenansicht von 9A zeigt die obere und untere Seite).
-
9B zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition verschoben ist (zum Beispiel nach oben geneigt). Infolgedessen ist der IR-transparente Teil 830 nicht länger über dem Bildfeld 830 des LiDAR-Sensors 810 zentriert. Demnach kann ein größerer Teil seines Bildfelds 910 auf der oberen Seite blockiert sein als auf der unteren Seite.
-
10A - 10C zeigen schematisch manche Beispiele von Wirkungen der IR-blockenden Maske 820, die in 8 gezeigt ist, unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen. 10A zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 korrekt ausgerichtet ist. Der IR-transparente Teil 830 der Windschutzscheibe 840 ist über dem Bildfeld 910 des LiDAR-Sensors 810 zentriert. Demnach weist die Kante des Bildfelds 910, die durch die IR-blockende Maske 820 (der graue Bereich), etwa dieselbe Breite an allen vier Seiten auf.
-
10B zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition nach rechts verschoben ist (zum Beispiel weist der LiDAR-Sensor 810 einen Gierfehler auf). Infolgedessen ist der IR-transparente Teil 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 nach links verschoben. Demnach ist ein größerer Teil des Bildfelds 910 an der rechten Seite als an der linken Seite durch die IR-blockende Maske 820 blockiert.
-
10C zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition rotiert ist (zum Beispiel weist der LiDAR-Sensor 810 einen Rollfehler auf). Infolgedessen ist der IR-transparente Teil 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 rotiert.
-
Gemäß manchen Ausführungsformen können die relative Position und Orientierung des IR-transparenten Teils 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 dazu verwendet werden, um den LiDAR-Sensor 810 zu kalibrieren. Beispielsweise kann eine Berechnungseinheit ein Referenzbild speichern. Das Referenzbild kann entweder durch den LiDAR-Sensor 810 aufgenommen werden, während der LiDAR-Sensor in der korrekten Ausrichtungsposition ist, oder durch eine Simulation erhalten werden. Beispielsweise kann das Referenzbild durch den LiDAR-Sensor aufgenommen werden, gerade nachdem der LiDAR-Sensor in einer Herstellungseinrichtung vorkalibriert wurde. Wenn der LiDAR-Sensor 810 in einem normalen Betrieb ist (entweder wenn das Fahrzeug geparkt ist oder fährt) kann die Berechnungseinheit ein momentanes LiDAR-Bild periodisch oder kontinuierlich mit dem Referenzbild vergleichen. Abweichungen von der korrekten Ausrichtungsposition des LiDAR-Sensors 810 können basierend auf dem Vergleich gemacht werden.
-
In manchen Ausführungsformen kann eine multivariable Minimierung durchgeführt werden, um eine Transformationsmatrix so zu bestimmen, dass der IR-transparente Teil 830 der Windschutzscheibe 840 in dem momentanen LiDAR-Bild am meisten mit dem Referenzbild übereinstimmt. Die Abweichungen von der korrekten Ausrichtungsposition (zum Beispiel Gierfehler, Rollfehler, Neigungsfehler, δx, δy und δz) können dann von der Transformationsmatrix abgeleitet werden. Gemäß verschiedenen Ausführungsformen kann sich der LiDAR-Sensor 810 automatisch rekalibrieren, oder eine Warnung an das Fahrzeug als Antwort auf das Bestimmen, dass die Abweichung von der korrekten Ausrichtungsposition einen Schwellwert überschreitet, bereitstellen.
-
Zusätzlich oder alternativ können Bilder von manchen festen Merkmalen des Fahrzeugs, die durch den LiDAR-Sensor 810 aufgenommen wurden, auch dazu verwendet werden, um den LiDAR-Sensor 810 zu kalibrieren. 10D - 10F zeigen manche beispielhafte Bilder, die durch den LiDAR-Sensor 810 aufgenommen werden können. Die Bilder zeigen einen Teil der Motorhaube 1020 des Fahrzeugs und ein Ziermerkmal 1030 (zum Beispiel ein Herstellerlogo), das an der Motorhaube 1020 angebracht ist. In 10D ist das Ziermerkmal 1030 ungefähr seitlich in dem Bildfeld 910 des LiDAR-Sensors 810 zentriert. In 10E ist das Ziermerkmal 1030 zur Linken des Bildfelds 910 verschoben, was angibt, dass der LiDAR-Sensor 810 nach rechts gedreht sein kann (zum Beispiel einen Gierfehler aufweist). In 10F ist das Ziermerkmal 1030 rotiert, was angibt, dass der LiDAR-Sensor 810 rotiert sein kann (zum Beispiel einen Rollfehler aufweist). Es sei angemerkt, dass Bilder der Motorhaube 1020 in 10E und 10F auch entsprechend verschoben und/oder rotiert sind. Andere beispielhafte Merkmale des Fahrzeugs, die zum Kalibrieren verwendet werden können, umfassen eine Abdeckung über einem LiDAR-Sensor, der in dem Kühlergrill befestigt ist, Merkmale eines Scheinwerfers oder eines Rücklichts (zum Beispiel wenn der LiDAR-Sensor innerhalb des Scheinwerfers oder des Rücklichts eingebaut ist) oder ähnliches.
-
Gemäß manchen Ausführungsformen kann eine Berechnungseinheit ein Referenzbild speichern, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer korrekten Ausrichtung (zum Beispiel einer erwarteten Ausrichtung) bezüglich des Fahrzeugs ist. Das Referenzbild kann ein erstes Bild eines festen Merkmals des Fahrzeugs umfassen. Wenn der LiDAR-Sensor 810 in einem normalen Betrieb ist (entweder wenn das Fahrzeug geparkt ist oder fährt), kann die Berechnungseinheit ein momentanes LiDAR-Bild periodisch oder kontinuierlich mit dem Referenzbild vergleichen. Das momentane LiDAR-Bild umfasst ein zweites Bild des festen Merkmals des Fahrzeugs. Abweichungen von der korrekten Ausrichtung können durch Vergleichen der Position und Orientierung des festen Merkmals in dem zweiten Bild mit denen in dem ersten Bild bestimmt werden.
-
11 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 1100 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Merkmalen an dem Fahrzeug gemäß manchen Ausführungsformen zeigt.
-
Das Verfahren 1100 umfasst, bei 1102, ein Speichern eines dreidimensionalen Referenzbilds, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer erwarteten Ausrichtung bezüglich des Fahrzeugs ist. Das dreidimensionale Referenzbild umfasst ein erstes Bild eines festen Merkmals des Fahrzeugs.
-
Das Verfahren 1100 umfasst ferner, bei 1104, ein Aufnehmen eines dreidimensionalen Bilds, das ein zweites Bild des festen Merkmals umfasst, unter Verwendung des LiDAR-Sensors.
-
Das Verfahren 1100 umfasst ferner, bei 1106, ein Bestimmen einer Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen des zweiten Bilds des festen Merkmals in dem dreidimensionalen Bild mit dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild.
-
In manchen Ausführungsformen umfasst das Verfahren 1100 ferner, bei 1108, ein Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
-
In manchen Ausführungsformen umfasst das Verfahren 1100 ferner ein Bestimmen einer Transformation, um auf das zweite Bild des festen Merkmals in dem dreidimensionalen Bild angewendet zu werden, um dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild zu entsprechen und ein Rekalibrieren des LiDAR-Sensors basierend auf der Transformation.
-
In manchen Ausführungsformen umfasst das Verfahren 1100 ferner ein Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet, und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichungen von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
-
In manchen Ausführungsformen wird das dreidimensionale Referenzbild durch den LiDAR-Sensor aufgenommen, nachdem der LiDAR-Sensor in einer Herstellungseinrichtung vorkalibriert wurde.
-
In manchen Ausführungsformen umfasst das feste Merkmal einen Teil einer Motorhaube des Fahrzeugs, oder ein Objekt, das an der Motorhaube angebracht ist.
-
In manchen Ausführungsformen ist der LiDAR-Sensor hinter einer Windschutzscheibe des Fahrzeugs positioniert und das feste Merkmal umfasst eine Maske, die an einem Bereich der Windschutzscheibe angebracht ist, der direkt vor dem LiDAR-Sensor ist. Die Maske ist dazu konfiguriert, Licht einer Betriebswellenlänge des LiDAR-Sensors zu blockieren und ist geformt, um einen Teil eines Bildfelds des LiDAR-Sensors zu blockieren. Die Maske kann eine äußere Begrenzung und eine innere Begrenzung aufweisen und die innere Begrenzung ist so groß, dass die Maske in einen Umfang des Bildfelds des LiDAR-Sensors vordringt.
-
Es sollte verstanden werden, dass die in 11 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellen. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 11 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
-
C. Dynamische Kalibrierung von LiDAR-Sensoren unter Verwendung von Straßenmerkmalen
-
Gemäß manchen Ausführungsformen kann ein Verfahren zum dynamischen Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, Straßenmerkmale verwenden, wenn sich das Fahrzeug über einen relativ geraden Abschnitt einer Straße bewegt. 12A und 12B zeigen ein Beispiel. Ein LiDAR-Sensor 1210 ist als hinter der vorderen Windschutzscheibe eines Fahrzeugs 1220 befestigt gezeigt (der LiDAR-Sensor 1210 kann in anderen Positionen befestigt sein, zum Beispiel an der vorderen Stoßstange). Das Fahrzeug 1220 fährt auf einem geraden Abschnitt einer Straße 1230. Die aufgemalten Spurmarkierungen 1240 können zum dynamischen Kalibrieren der Position und Orientierung des LiDAR-Sensors 1210 relativ zu dem Fahrzeug 1220 basierend auf LiDAR-Bildern verwendet werden, die aufgenommen werden, während sich das Fahrzeug entlang der Straße 1230 bewegt. Verwenden der aufgemalten Spurmarkierungen zum Kalibrieren kann vorteilhaft sein, da diese auf fast allen Straßen existieren. Außerdem ist die Distanz zwischen einem Paar von Spurmarkierungen 1240 normalerweise eine Standarddistanz. Die Spurmarkierungen mit retroreflektierender Farbe können in LiDAR-Bildern klar erscheinen.
-
Wie in 12A gezeigt kann das Paar von Spurmarkierungen 1240 als auf jeder Seite des Fahrzeugpfads 1250 gleich vorbeibewegend erscheinen, wenn der LiDAR-Sensor 1210 bezüglich des Fahrzeugs 1220 korrekt ausgerichtet ist (zum Beispiel sieht der LiDAR-Sensor 1210 in dieselbe Richtung, in die das Fahrzeug 1220 fährt). Wenn der LiDAR-Sensor 1210 bezüglich des Fahrzeugs 1220 fehlausgerichtet ist (zum Beispiel sieht der LiDAR-Sensor 1210 bezüglich der Längsachse des Fahrzeugs 1220 nach links), dann kann das Paar von Spurmarkierungen 1240 wie in 12B gezeigt als bezüglich des Fahrzeugpfads 1250 asymmetrisch an dem Fahrzeug 1220 vorbeibewegend erscheinen. Beispielsweise kann der Fahrzeugpfad 1250 als sich näher zu der Spurmarkierung 1240a auf der Fahrerseite, als zu der Spurmarkierung 1240b auf der Beifahrerseite bewegend erscheinen. Durch Analysieren der LiDAR-Bilder der Spurmarkierungen 1240 bezüglich des Fahrzeugpfads 1250, kann demnach die Fehlausrichtungsmenge (zum Beispiel der Gierfehler) des LiDAR-Sensors 1210 bezüglich des Fahrzeugs 1220 geschätzt werden.
-
13A - 13C zeigen etwas mehr Beispiele einer Verwendung von Spurmarkierungen zur dynamischen Kalibrierung eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen. Wie in 13A gezeigt können die Spurmarkierungen 1240 als bezüglich des Fahrzeugpfads geneigt erscheinen (unter der Annahme, dass die Straße relativ eben ist), wenn die Ausrichtung des LiDAR-Sensors 1210 einen Neigungsfehler aufweist.
-
Wie in 13B gezeigt, kann die Spurmarkierung 1240a auf einer Seite des Fahrzeugs 1220 (zum Beispiel der Fahrerseite) höher erscheinen, als die Spurmarkierung 1240b auf der anderen Seite des Fahrzeugs 1220 (zum Beispiel der Beifahrerseite), wenn die Ausrichtung des LiDAR-Sensors 1210 einen Rollfehler aufweist.
-
Wie in 13C gezeigt kann die Höhe der Spurmarkierungen 1240 gegenüber dem Fahrzeugpfad versetzt sein, wenn die Ausrichtung des LiDAR-Sensors 1210 einen Z-Fehler (in der vertikalen Richtung) aufweist. Translationsfehler in die anderen zwei orthogonalen Richtungen (zum Beispiel X-Fehler und Y-Fehler) können auch durch Überwachen der Bewegungen von Objekten detektiert werden, wie beispielsweise Spurmarkierungen (gegen erwartete Bewegungen), während sich das Fahrzeug 1220 nach vorne bewegt.
-
Durch Analysieren der räumlichen Beziehung zwischen den Bildern der Spurmarkierungen 1240 (oder anderen Straßenmerkmalen) und des Fahrzeugpfads können demnach verschiedene Rotations- und Translationsfehlausrichtungen des LiDAR-Sensors 1200 bezüglich des Fahrzeugs 1220 detektiert und geschätzt werden. Wenn ein LiDAR-Sensor an der Seite oder der Rückseite des Fahrzeugs befestigt ist, können ähnliche Kalibrierungsabläufe verwendet werden, mit angemessenen Modifizierungen und mathematischen Transformationen, die die anderen Sichtwinkel berücksichtigen.
-
Gemäß manchen Ausführungsformen können Messungen über eine Anzahl von Zeitpunkten wiederholt werden, und die Ergebnisse können gemittelt werden, um beispielsweise Unregelmäßigkeiten der Fahrbahn, schlecht aufgemalte Spurmarkierungen, Kurven, Senken, Schlaglöcher, o. ä. zu berücksichtigen. Ausreißer können verworfen werden. Ausreißer können beispielsweise aus Spurwechsel und andere Fahrunregelmäßigkeiten, verdeckte Sicht der Spurmarkierungen durch andere Fahrzeuge, oder ähnlichem resultieren.
-
Gemäß manchen Ausführungsformen können andere Informationen dazu verwendet werden, um die Qualität und Verlässlichkeit der Kalibrierungsdaten zu verbessern. Beispielsweise können Daten von dem Fahrzeuglenkungssensor, Daten von globalen Navigationssatellitensystemen (zum Beispiel GPS) und Daten von inertialen Messeinheiten (IMU), oder ähnlichem dazu verwendet werden, um sicher zu gehen, dass das Fahrzeug nicht dreht. Kartendaten können dazu verwendet werden, um gute Straßenabschnitte zum Kalibrieren auszuwählen, wo die Straße gerade, eben ist und die Spurmarkierungen frisch und korrekt beabstandet sind. Andere Straßenmerkmale, wie beispielsweise Bordsteinkanten, Leitplanken und Straßenschilder können auch als Eingabe an den Kalibrierungsalgorithmus verwendet werden.
-
14 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 1400 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Straßenmerkmalen gemäß manchen Ausführungsformen zeigt.
-
Das Verfahren 1400 umfasst, bei 1402, ein Aufnehmen eines oder mehrerer dreidimensionalen Bilder unter Verwendung des LiDAR-Sensors, während sich das Fahrzeug auf einer Straße mit festen Straßenmerkmalen bewegt. Jedes des einen oder der mehreren dreidimensionalen Bilder umfasst Bilder der Straßenmerkmale.
-
Das Verfahren 1400 umfasst ferner, bei 1404, ein Analysieren einer räumlichen Beziehung zwischen den Bildern der Straßenmerkmale in dem einen oder den mehreren dreidimensionalen Bildern und einer Orientierung eines Bildfelds des LiDAR-Sensors.
-
Das Verfahren 1400 umfasst ferner, bei 1406, ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der räumlichen Beziehung zwischen den Bildern der Straßenmerkmale und dem Bildfeld des LiDAR-Sensors.
-
In manchen Ausführungsformen umfasst das Verfahren 1400 ferner, bei 1408, ein Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
-
In manchen Ausführungsformen umfasst das Verfahren 1400 ferner ein Bestimmen, dass die Abweichungen von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet, und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
-
In manchen Ausführungsformen umfassen die Straßenmerkmale ein oder mehr Paare von Spurmarkierungen auf jeder Seite des Fahrzeugs. Das Analysieren der räumlichen Beziehung kann ein Bestimmen eines Neigungswinkels zwischen einem Paar von Spurmarkierungen des einen oder der mehreren Paare von Spurmarkierungen und dem Bildfeld des LiDAR-Sensors umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Neigungswinkels des LiDAR-Sensors basierend auf dem Neigungswinkel umfassen. In manchen Ausführungsformen kann das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs umfassen; das Analysieren der räumlichen Beziehung kann ein Bestimmen einer Höhendifferenz zwischen der ersten Spurmarkierung und der zweiten Spurmarkierung umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Rollfehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfassen.
-
In manchen Ausführungsformen können das eine oder die mehreren dreidimensionalen Bilder eine Vielzahl von dreidimensionalen Bildern umfassen, die durch den LiDAR-Sensor über ein Zeitintervall aufgenommen werden, wenn sich das Fahrzeug über ein Distanzintervall auf der Straße bewegt. In manchen Ausführungsformen umfasst das Verfahren 1400 ferner ein Bestimmen eines Pfads des Fahrzeugs über das Distanzintervall, und ein Vergleichen des Pfads des Fahrzeugs mit den Pfaden der Straßenmerkmale anhand der Vielzahl von dreidimensionalen Bildern. In manchen Ausführungsformen umfassen das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs; das Analysieren der räumlichen Beziehung kann ein Bestimmen einer Menge von seitlicher Asymmetrie zwischen der ersten Spurmarkierung von dem Pfad des Fahrzeugs und der zweiten Spurmarkierung von dem Pfad des Fahrzeugs umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Gierfehlers des LiDAR-Sensors basierend auf der Menge von seitlicher Asymmetrie umfassen. In manchen Ausführungsformen kann das Analysieren der räumlichen Beziehung ein Bestimmen einer Höhendifferenz zwischen einem Paar von Spurmarkierungen und dem Pfad des Fahrzeugs umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines vertikalen Fehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfassen.
-
Es sollte verstanden werden, dass die in 14 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellen. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 14 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte können abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
-
Es wird auch verstanden, dass die hierin beschriebenen Beispiele und Ausführungsformen lediglich zu anschaulichen Zwecken dienen und dass dem Fachmann verschiedene Modifizierungen oder Änderungen im Zuge dessen vorgeschlagen sind und im Geltungsbereich dieser Anmeldung und dem Umfang der anhängigen Ansprüche umfasst sein sollen.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 62915563 [0001]
- US 17069727 [0001]
- US 17069733 [0001]