DE112020004984T5 - Kalibrierung von LiDAR-Sensoren - Google Patents

Kalibrierung von LiDAR-Sensoren Download PDF

Info

Publication number
DE112020004984T5
DE112020004984T5 DE112020004984.1T DE112020004984T DE112020004984T5 DE 112020004984 T5 DE112020004984 T5 DE 112020004984T5 DE 112020004984 T DE112020004984 T DE 112020004984T DE 112020004984 T5 DE112020004984 T5 DE 112020004984T5
Authority
DE
Germany
Prior art keywords
lidar sensor
vehicle
determining
procedure
deviation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020004984.1T
Other languages
English (en)
Inventor
Dongyi Liao
Zukai Wang
Mark A. McCord
Chao Gu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cepton Technologies Inc
Original Assignee
Cepton Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cepton Technologies Inc filed Critical Cepton Technologies Inc
Publication of DE112020004984T5 publication Critical patent/DE112020004984T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G01S7/4972—Alignment of sensor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/24—Arrangements for determining position or orientation
    • G05D1/247—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons
    • G05D1/249—Arrangements for determining position or orientation using signals provided by artificial sources external to the vehicle, e.g. navigation beacons from positioning sensors located off-board the vehicle, e.g. from cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, umfasst ein Positionieren des Fahrzeugs in einer Distanz von einem Ziel, das einen ebenen Spiegel und Merkmale umfasst, die den Spiegel umgeben. Das Fahrzeug ist relativ zu dem Spiegel so positioniert und orientiert, dass eine optische Achse des LiDAR-Sensors zu der optischen Achse des Spiegels im Sollzustand parallel ist und das Ziel in einem Bildfeld des LiDAR-Sensors im Sollzustand zentriert ist. Das Verfahren umfasst ferner ein Aufnehmen eines dreidimensionalen Bilds des Ziels unter Verwendung des LiDAR-Sensors, wobei das dreidimensionale Bild des Ziels Bilder der Merkmale des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs umfasst. Das Verfahren umfasst ferner ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren der Bilder der Merkmale und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.

Description

  • Querverweise zu verwandten Anmeldungen
  • Diese Anmeldung beansprucht den Nutzen der vorläufigen U.S.-Patentanmeldung Nr. 62/915,563 , die mit DYNAMISCHE KALIBRIERUNG VON BILDGEBENDEN LIDAR-SENSOREN betitelt ist und die am 15. Oktober 2019 eingereicht wurde, der U.S.-Patentanmeldung Nr. 17/069,727 , die mit KALIBRIERUNG VON LIDAR-SENSOREN betitelt ist und die am 13. Oktober 2020 eingereicht wurde, und der U.S.-Patentanmeldung Nr. 17/069,733 , die mit DYNAMISCHE KALIBRIERUNG VON LIDAR SENSOREN betitelt ist und die am 13. Oktober 2020 eingereicht wurde, deren Inhalt durch Verweis in seiner Gesamtheit einbezogen wird.
  • Hintergrund
  • In autonomen Fahrzeugen, Drohnen, der Robotik, Sicherheitsanwendungen und ähnlichem können dreidimensionale Sensoren angewendet werden. LiDAR-Sensoren sind eine Art von dreidimensionalen Sensoren, die hohe Winkelauflösungen erreichen können, die für solche Anwendungen angemessen sind. Ein LiDAR-Sensor kann eine oder mehrere Laserquellen zur Emission von Laserpulsen und einen oder mehrere Detektoren zum Detektieren von reflektierten Laserpulsen umfassen. Der LiDAR-Sensor misst die Zeit, die von jedem Laserpuls benötigt wird, um von dem LiDAR-Sensor zu einem Objekt innerhalb des Bildfelds des Sensors zu wandern, dann von dem Objekt abzuprallen und zu dem LiDAR-Sensor zurückzukehren. Basierend auf der Laufzeit des Laserpulses bestimmt der LiDAR-Sensor, wie weit entfernt sich das Objekt von dem LiDAR-Sensor befindet. Durch Scannen über eine Szene kann ein dreidimensionales Bild der Szene erhalten werden.
  • Für genaue Messungen kann es nötig sein, die Orientierung der optischen Achse des LiDAR-Sensors bezüglich einem bestimmten mechanischen Datenpunkt zu kalibrieren, wie beispielsweise Befestigungslöcher in einem Gehäuse des LiDAR-Sensors. Zusätzlich kann es nötig sein, die Position und die Orientierung des LiDAR-Sensors bezüglich des Fahrzeugs zu kalibrieren, wenn er in einem Fahrzeug befestigt ist. Solche Kalibrierungen können beispielsweise in einem Herstellerwerk durchgeführt werden. Im Falle eines Unfalls oder anderen mechanischen Störungen des LiDAR-Sensors könnte sich die Kalibrierung entweder bezüglich des Gehäuses oder des Fahrzeugs ändern. Demnach kann es wünschenswert sein, dazu imstande zu sein, einen Verlust von Kalibrierungsgenauigkeit zu detektieren und die Kalibrierung zu korrigieren, um einen sicheren und genauen Langzeitbetrieb eines LiDAR-Sensors sicherzustellen.
  • Überblick über die Erfindung
  • Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Positionieren des Fahrzeugs in einer Distanz von einem Ziel. Das Ziel umfasst einen ebenen Spiegel und Merkmale, die den Spiegel umgeben. Die optische Achse des Spiegels ist im Wesentlichen horizontal. Das Fahrzeug ist relativ zu dem Spiegel so positioniert und orientiert, dass eine optische Achse des LiDAR-Sensors zu der optischen Achse des Spiegels im Sollzustand parallel ist und das Ziel in einem Bildfeld des LiDAR-Sensors im Sollzustand zentriert ist. Das Verfahren umfasst ferner ein Aufnehmen eines dreidimensionalen Bilds des Ziels unter Verwendung des LiDAR-Sensors. Das dreidimensionale Bild des Ziels umfasst Bilder der Merkmale des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs. Das Verfahren umfasst ferner ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren der Bilder der Merkmale und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.
  • Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Speichern eines dreidimensionalen Referenzbilds, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer erwarteten Ausrichtung bezüglich des Fahrzeugs ist. Das dreidimensionale Referenzbild umfasst ein erstes Bild eines festen Merkmals an dem Fahrzeug. Das Verfahren umfasst ferner ein Aufnehmen eines dreidimensionalen Bilds, das ein zweites Bild des festen Merkmals umfasst, unter Verwendung des LiDAR-Sensors, und ein Bestimmen einer Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen des zweiten Bilds des festen Merkmals in dem dreidimensionalen Bild mit dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild.
  • Gemäß manchen Ausführungsformen umfasst ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, ein Aufnehmen eines oder mehrerer dreidimensionalen Bilder unter Verwendung des LiDAR-Sensors, während sich das Fahrzeug auf einer Straße mit festen Straßenmerkmalen bewegt. Jedes des einen oder der mehreren dreidimensionalen Bilder umfasst Bilder von Straßenmerkmalen. Das Verfahren umfasst ferner ein Analysieren einer räumlichen Beziehung zwischen den Bildern der Straßenmerkmale in dem einen oder den mehreren dreidimensionalen Bilder und einer Orientierung eines Bildfelds des LiDAR-Sensors, und ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der räumlichen Beziehung zwischen den Bildern der Straßenmerkmale und dem Bildfeld des LiDAR-Sensors.
  • Figurenliste
    • 1 zeigt einen beispielhaften LiDAR-Sensor zur dreidimensionalen Bildgebung gemäß manchen Ausführungsformen.
    • 2A zeigt schematisch einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen.
    • 2B zeigt ein Fahrzeug-Koordinatensystem gemäß manchen Ausführungsformen.
    • 2C zeigt ein LiDAR-Koordinatensystem gemäß manchen Ausführungsformen.
    • 3A und 3B zeigen schematisch einen Befestigungsmechanismus, der dazu verwendet werden kann, einen LiDAR-Sensor an einem Fahrzeug zu befestigen, gemäß manchen Ausführungsformen.
    • 4A - 4C zeigen einen beispielhaften Kalibrierungsaufbau für einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen.
    • 5A - 5C und 6A - 6D zeigen schematisch, was ein LiDAR-Sensor unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen sehen kann.
    • 7 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen zeigt.
    • 8 zeigt einen LiDAR-Sensor, der hinter der vorderen Windschutzscheibe des Fahrzeugs befestigt ist, die eine Maske gemäß manchen Ausführungsformen umfasst.
    • 9A und 9B zeigen schematische Seitenansichten der Windschutzscheibe mit der in 8 gezeigten Maske.
    • 10A - 10C zeigen schematisch einige Beispiele von Wirkungen der in 8 gezeigten Maske auf das effektive Bildfeld des LiDAR-Sensors unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen.
    • 10D - 10E zeigen schematisch einige beispielhafte Bilder von bestimmten Merkmalen des Fahrzeugs, die durch den LiDAR-Sensor gemäß manchen Ausführungsformen aufgenommen wurden.
    • 11 zeigt ein vereinfachtes Flussdiagramm, dass ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Merkmalen an dem Fahrzeug gemäß manchen Ausführungsformen zeigt.
    • 12A - 12B und 13A - 13C zeigen ein Verfahren zum dynamischen Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Spurmarkierungen auf einer Straße gemäß manchen Ausführungsformen.
    • 14 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Straßenmerkmalen gemäß manchen Ausführungsformen zeigt.
  • Detaillierte Beschreibung
  • Gemäß manchen Ausführungsformen werden Verfahren zum Kalibrieren eines LiDAR-Sensors bereitgestellt, der an einem Fahrzeug befestigt ist. Die Kalibrierung muss nicht das Zurückbringen des Fahrzeugs mit dem daran befestigten LiDAR-Sensor zu einem Herstellerwerk oder einer Werkstatt benötigen. Kalibrierungen können periodisch oder kontinuierlich durchgeführt werden, während das Fahrzeug geparkt ist, oder sogar während des Fahrens.
  • 1 zeigt einen beispielhaften LiDAR-Sensor 100 zur dreidimensionalen Bildgebung gemäß manchen Ausführungsformen. Der LiDAR-Sensor 100 umfasst eine Emissionslinse 130 und eine Empfangslinse 140. Der LiDAR-Sensor 100 umfasst eine Lichtquelle 110a, die im Wesentlichen in einer hinteren Brennebene der Emissionslinse 130 angeordnet ist. Die Lichtquelle 110a ist in der Lage, einen Lichtpuls 120 von einem jeweiligen Emissionsort in der hinteren Brennebene der Emissionslinse 130 zu emittieren. Die Emissionslinse 130 ist dazu konfiguriert, den Lichtpuls 120 zu kollimieren und hin zu einem Objekt 150 zu richten, das vor dem LiDAR-Sensor 100 liegt. Für einen gegebenen Emissionsort der Lichtquelle 110a wird der kollimierte Lichtpuls 120' in einem entsprechenden Winkel hin zu dem Objekt 150 gerichtet.
  • Ein Teil 122 des kollimierten Lichtpulses 120' wird von dem Objekt 150 hin zu der Empfangslinse 140 reflektiert. Die Empfangslinse 140 ist dazu konfiguriert, den von dem Objekt 150 reflektierten Teil 122' des Lichtpulses auf einen entsprechenden Detektionsort in der Brennebene der Empfangslinse 140 zu fokussieren. Der LiDAR-Sensor 100 umfasst ferner einen Detektor 160a, der im Wesentlichen in der Brennebene der Empfangslinse 140 angeordnet ist. Der Detektor 160a ist dazu konfiguriert, den von dem Objekt reflektierten Teil 122' des Lichtpulses 120 an dem entsprechenden Detektionsort zu empfangen. Der entsprechende Detektionsort des Detektors 160a ist zum jeweiligen Emissionsort der Lichtquelle 110a optisch konjugiert.
  • Der Lichtpuls 120 kann von kurzer Dauer sein, beispielsweise 10 ns Pulsweite. Der LiDAR-Sensor 100 umfasst ferner einen Prozessor 190, der mit der Lichtquelle 110a und dem Detektor 160a verbunden ist. Der Prozessor 190 ist dazu konfiguriert, eine Laufzeit (TOF) des Lichtpulses 120 von Emission bis Detektion zu bestimmen. Da sich der Lichtpuls 120 mit Lichtgeschwindigkeit bewegt, kann eine Distanz zwischen dem LiDAR-Sensor 100 und dem Objekt 150 basierend auf der bestimmten Laufzeit bestimmt werden.
  • Eine Art des Scannens des Laserstrahls 120' über ein FOV ist es, die Lichtquelle 110a seitlich relativ zu der Emissionslinse 130 in der hinteren Brennebene der Emissionslinse 130 zu bewegen. Beispielsweise kann die Lichtquelle 110a über eine Vielzahl von Emissionsorten in der hinteren Brennebene der Emissionslinse 130 gerastet werden, wie in 1 gezeigt. Die Lichtquelle 110a kann eine Vielzahl von Lichtpulsen an der Vielzahl von Emissionsorten emittieren. Jeder an einem jeweiligen Emissionsort emittierte Lichtpuls wird durch die Emissionslinse 130 kollimiert und in einem jeweiligen Winkel hin zu dem Objekt 150 gerichtet, und trifft an einem entsprechenden Punkt an der Oberfläche des Objekts 150 auf. Demnach wird ein entsprechender Objektbereich an dem Objekt 150 gescannt, da die Lichtquelle 110a innerhalb eines bestimmten Bereichs in der hinteren Brennebene der Emissionslinse 130 gerastert wird. Der Detektor 160a kann gerastert werden, um an einer Vielzahl von entsprechenden Detektionsorten in der Brennebene der Empfangslinse 140 positioniert zu werden, wie in 1 gezeigt. Das Scannen des Detektors 160a wird typischerweise mit dem Scannen der Lichtquelle 110a synchron durchgeführt, sodass der Detektor 160a und die Lichtquelle 110a zu jedem Zeitpunkt zueinander optisch konjugiert sind.
  • Durch Bestimmen der Laufzeit für jeden an einem jeweiligen Emissionsort emittierten Lichtpuls kann die Distanz von dem LiDAR-Sensor 100 zu jedem entsprechenden Punkt auf der Oberfläche des Objekts 150 bestimmt werden. In manchen Ausführungsformen ist der Prozessor 190 mit einem Positionsgeber verbunden, der die Position der Lichtquelle 110a an jedem Emissionsort detektiert. Der Winkel des kollimierten Lichtpulses 120' kann basierend auf dem Emissionsort bestimmt werden. Die X-Y-Koordinate des entsprechenden Punkts an der Oberfläche des Objekts 150 kann basierend auf dem Winkel und der Distanz des LiDAR-Sensors 100 bestimmt werden. Demnach kann ein dreidimensionales Bild des Objekts 150 basierend auf den gemessenen Distanzen von dem LiDAR-Sensor 100 zu verschiedenen Punkten an der Oberfläche des Objekts 150 konstruiert werden. In manchen Ausführungsformen kann das dreidimensionale Bild als eine Punktewolke repräsentiert werden, genauer gesagt als ein Satz X-, Y- und Z-Koordinaten von Punkten an der Oberfläche des Objekts 150.
  • In manchen Ausführungsformen wird die Intensität des zurückgekehrten Lichtpulses 122' gemessen und dazu verwendet, die Leistung von nachfolgenden Lichtpulsen von demselben Emissionsort anzupassen, um eine Sättigung des Detektors zu verhindern, die Augensicherheit zu erhöhen, oder den gesamten Stromverbrauch zu verringern. Die Leistung des Lichtpulses kann durch eine Anpassung der Dauer des Lichtpulses, der dem Laser zugeführten Spannung oder des dem Laser zugeführten Stroms, oder der in einem Kondensator gespeicherten Ladung, die dazu verwendet wird, den Laser zu betreiben, angepasst werden. Im letzteren Fall kann die in dem Kondensator gespeicherte Ladung durch eine Anpassung der Ladezeit, der Ladespannung, oder des Ladestroms des Kondensators angepasst werden. In manchen Ausführungsformen kann auch die Reflektivität, wie sie durch die Intensität des detektierten Pulses bestimmt wird, dazu verwendet werden, eine andere Dimension dem Bild hinzuzufügen. Beispielsweise kann das Bild X-, Y- und Z-Koordinaten enthalten, sowie Reflektivität (oder Helligkeit).
  • Das Winkelbildfeld (AFOV) des LiDAR-Sensors 100 kann basierend auf dem Scanbereich der Lichtquelle 110a und der Brennweite der Emissionslinse 130 als A F O V = 2 tan − 1 ( h 2 ƒ )
    Figure DE112020004984T5_0001
    geschätzt werden, wobei h der Scanbereich der Lichtquelle 110a entlang einer bestimmten Richtung ist und f die Brennweite der Emissionslinse 130 ist. Für einen gegebenen Scanbereich h würden kürzere Brennweiten breitere AFOVs erzeugen. Für eine gegebene Brennweite f würden größere Scanbereiche breitere AFOVs erzeugen. In manchen Ausführungsformen kann der LiDAR-Sensor 100 mehrere Lichtquellen umfassen, die als ein Array in der hinteren Brennebene der Emissionslinse 130 angeordnet sind, sodass ein größeres gesamtes AFOV erreicht werden kann, während der Scanbereich jeder einzelnen Lichtquelle relativ klein gehalten wird. Entsprechend kann der LiDAR-Sensor 100 mehrere Detektoren umfassen, die als ein Array in der Brennebene der Empfangslinse 140 angeordnet sind, wobei jeder Detektor zu einer jeweiligen Lichtquelle konjugiert ist. Beispielsweise kann der LiDAR-Sensor 100 eine zweite Lichtquelle 110b und einen zweiten Detektor 160b umfassen, wie in 1 gezeigt. In anderen Ausführungsformen kann der LiDAR-Sensor 100 vier Lichtquellen und vier Detektoren, oder acht Lichtquellen und acht Detektoren umfassen. In einer Ausführungsform kann der LiDAR-Sensor 100 acht als ein 4x2 Array angeordnete Lichtquellen und acht als ein 4x2 Array angeordnete Detektoren umfassen, sodass der LiDAR-Sensor 100 ein breiteres AFOV in der horizontalen Richtung aufweisen kann, als sein AFOV in der vertikalen Richtung. Gemäß verschiedenen Ausführungsformen kann das gesamte AFOV des LiDAR-Sensors 100 von etwa 5° bis etwa 15°, oder von etwa 15° bis etwa 45°, oder von etwa 45° bis etwa 120° reichen, abhängig von der Brennweite der Emissionslinse, dem Scanbereich jeder Lichtquelle und der Anzahl von Lichtquellen.
  • Die Lichtquelle 110a kann dazu konfiguriert sein, Lichtpulse in den ultravioletten, sichtbaren, oder nah-infraroten Wellenlängenbereichen zu emittieren. Die Energie jedes Lichtpulses kann in der Größenordnung von Mikrojoules sein, was für Wiederholraten im KHz Bereich üblicherweise als augen-sicher gilt. Für Lichtquellen, die mit Wellenlängen betrieben werden, die größer sind als etwa 1500 nm, könnten die Energielevel höher sein, da das Auge bei diesen Wellenlängen nicht fokussiert. Der Detektor 160a kann eine Silikon-Avalanche-Fotodiode, einen Fotomultiplier, eine PIN-Diode, oder andere Halbleitersensoren umfassen.
  • Wenn ein LiDAR-Sensor, wie beispielsweise der in 1 gezeigte LiDAR-Sensor 100, zur Hindernisdetektion für autonome Fahrzeuge verwendet wird, kann es nötig sein, die Position und Orientierung des LiDAR-Sensors bezüglich des Fahrzeugs genau zu kennen, um den Ort des Hindernisses relativ zu dem Fahrzeug genau zu bestimmen. 2a zeigt schematisch einen LiDAR-Sensor 210, der an einem Fahrzeug 220 befestigt ist. Beispielsweise kann der LiDAR-Sensor 210 an dem oberen Zentrum hinter der Windschutzscheibe des Fahrzeugs 220 befestigt sein. Der LiDAR-Sensor 210 kann durch eine optische Achse 250 (zum Beispiel die optische Achse einer Emissionslinse oder einer Empfangslinse) charakterisiert sein. Das Fahrzeug 220 kann eine Längsachse 240 aufweisen. Es kann vorteilhaft sein, die optische Achse 250 des LiDAR-Sensors 210 an die Längsachse 240 des Fahrzeugs 220 auszurichten, sodass der LiDAR-Sensor 210 geradeaus hin zu der Richtung sieht, in die sich das Fahrzeug 220 bewegt.
  • Angenommen, der LiDAR-Sensor 210 ist ursprünglich gemäß dieser Ausrichtungsbedingung kalibriert. Wenn die Ausrichtung des LiDAR-Sensors aufgrund von einigen mechanischen Störungen verschoben wird (zum Beispiel nach links gedreht), dann ist die optische Achse 250 des LiDAR-Sensors 210 nicht länger an der Längsachse 240 des Fahrzeugs 220 ausgerichtet, wie in 2A gezeigt. Die Fehlausrichtung kann ungenaue Messungen einer Position eines Hindernisses (zum Beispiel einer Person 260) relativ zu dem Fahrzeug 220 zur Folge haben. Demnach kann eine Rekalibrierung des LiDAR-Sensors 210 notwendig sein.
  • 2B zeigt ein Fahrzeug-Koordinatensystem. Das Fahrzeug-Koordinatensystem kann drei Translationsfreiheitsgrade aufweisen, die beispielsweise durch die x-, y-und z-Koordinaten repräsentiert werden können. Das Fahrzeug-Koordinatensystem kann drei Rotationsfreiheitsgrade aufweisen, die beispielsweise durch die Roll-, Neigungs-, und Gierwinkel um die X-Achse, die Y-Achse, bzw. die Z-Achse repräsentiert werden können. Beispielsweise kann die x-Achse entlang einer Längsachse des Fahrzeugs 220 sein; die z-Achse kann entlang der vertikalen Richtungen sein; und die y-Achse kann entlang der seitlichen Richtung sein. Die Position und die Orientierung des LiDAR-Sensors 210 relativ zu dem Fahrzeug 220 kann durch die (x-, y-, z-, Roll-, Neigung-, Gier-) Koordinaten in dem Fahrzeug-Koordinatensystem charakterisiert werden.
  • 2C zeigt ein LiDAR-Koordinatensystem. Das LiDAR-Koordinatensystem kann auch drei Translationsfreiheitsgrade (zum Beispiel durch die X-, Y-, und Z-Koordinaten repräsentiert) und drei Rotationsfreiheitsgrade (zum Beispiel durch die Roll-, Neigungs-, und Gierwinkel um die X-Achse, die Y-Achse, bzw. die Z-Achse repräsentiert) aufweisen. Beispielsweise kann die X-Achse entlang einer optischen Achse des LiDAR-Sensors 210 sein; die Z-Achse kann entlang der im Sollzustand vertikalen Richtung sein; und die Y-Achse kann entlang einer zu der X-Achse und der Z-Achse orthogonalen Richtung sein.
  • Die Rohdaten einer durch den LiDAR-Sensor 210 aufgenommenen Punktwolke können in dem LiDAR-Koordinatensystem sein. Um den Ort eines Hindernisses relativ zu dem Fahrzeug 220 zu bestimmen, können die Punktwolkendaten in das Fahrzeug-Koordinatensystem transformiert werden, wenn die Position und die Orientierung des LiDAR-Sensors 210 in dem Fahrzeug-Koordinatensystem bekannt sind. Die Transformation von dem LiDAR-Koordinatensystem in das Fahrzeug-Koordinatensystem kann hierin als Kalibrierung des LiDAR-Sensors 210 bezüglich des Fahrzeugs 220 bezeichnet werden.
  • Gemäß manchen Ausführungsformen kann der LiDAR-Sensor 220 so an dem Fahrzeug 220 befestigt sein, dass der LiDAR-Sensor 210 bezüglich des Fahrzeugs 220 im Sollzustand ausgerichtet ist. Beispielsweise kann der LiDAR-Sensor 210 so an dem Fahrzeug 220 befestigt sein, dass die X-Achse des LiDAR-Koordinatensystems (zum Beispiel entlang der optischen Achse des LiDAR-Sensors 210) mit der x-Achse des Fahrzeug-Koordinatensystems (zum Beispiel entlang der Längsachse des Fahrzeugs) im Sollzustand ausgerichtet ist; die Y-Achse des LiDAR-Koordinatensystems ist mit der y-Achse des Fahrzeug-Koordinatensystems im Sollzustand ausgerichtet; und die Z-Achse des LiDAR-Koordinatensystems ist mit der z-Achse des Fahrzeug-Koordinatensystems im Sollzustand ausgerichtet. Demnach sind der Rollwinkel, der Neigungswinkel und der Gierwinkel in dem Fahrzeug-Koordinatensystem alle näherungsweise null. Eine Kalibrierung kann benötigt werden, um irgendwelche verbleibenden Abweichungen von der Sollausrichtung bis zu einer ausreichenden Genauigkeit zu kompensieren. Beispielsweise kann es wünschenswert sein, den LiDAR-Sensor 210 auf eine Translationsgenauigkeit von 2 cm entlang jeder der x-, y-, und z-Achsen zu kalibrieren und eine Rotationsgenauigkeit auf 0,1° für jeden der Roll-, Neigungs-, und Gierwinkel zu kalibrieren.
  • 3A und 3B zeigen schematisch einen Befestigungsmechanismus, der dazu verwendet werden kann, um einen LiDAR-Sensor an einem Fahrzeug gemäß manchen Ausführungsformen zu befestigen. Der LiDAR-Sensor kann ein Außengehäuse 310 mit drei Befestigungslöchern 320 (zum Beispiel an der oberen Oberfläche des Außengehäuses 310) aufweisen, wie in 3A gezeigt. Eine Halterung 330 kann drei Löcher 340 aufweisen, die zu den Befestigungslöchern 320 an dem Außengehäuse 310 passen, sodass der LiDAR-Sensor an der Halterung 330 mit einer festen Orientierung angebracht werden kann, wie in 3B gezeigt. Die Halterung 330 kann an dem Fahrzeug angebracht sein (zum Beispiel an dem Dach des Innenraums), wobei ähnliche Befestigungslöcher (nicht gezeigt) zur korrekten Ausrichtung verwendet werden.
  • Ein LiDAR-Sensor kann in einem Herstellerwerk vorkalibriert werden, um irgendwelche verbleibenden Fehlausrichtungen des LiDAR-Sensors bezüglich des Fahrzeugs zu korrigieren. Während des Betriebs des Fahrzeugs mit der Zeit können die optischen Komponenten des LiDAR-Sensors relativ zu dem Gehäuse 310 verschoben werden, oder das Gehäuse 310 des LiDAR-Sensors kann relativ zu der Befestigungshalterung 330 und/oder zu dem Fahrzeug verschoben werden. Dies kann beispielsweise aufgrund von Verschleiß des internen Mechanismus des LiDAR-Sensors, einer Kollision oder Vibrationen des Fahrzeugs, Fehlausrichtungen der Räder, Alterung der Fahrzeugaufhängung oder ähnlichem geschehen. Demnach kann die Kalibrierung mit der Zeit ungenau werden und eine neue Kalibrierung kann benötigt werden. Gemäß verschiedenen Ausführungsformen können LiDAR-Kalibrierungen periodisch unter Verwendung eines Ziels mit einem eingebetteten Spiegel durchgeführt werden, oder können periodisch oder kontinuierlich unter Verwendung von festen Merkmalen an dem Fahrzeug oder festen Straßenmerkmalen durchgeführt werden, wie im Folgenden ausführlicher beschrieben.
  • A. Kalibrierung von LiDAR-Sensoren unter Verwendung eines Ziels mit einem eingebetteten Spiegel
  • 4A - 4C zeigen einen beispielhaften Kalibrierungsaufbau für einen LiDAR-Sensor, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen. Der LiDAR-Sensor 410 ist in diesem Beispiel als hinter der vorderen Windschutzscheibe des Fahrzeugs 400 befestigt gezeigt. Dies wird jedoch nicht benötigt. Beispielsweise kann der LiDAR-Sensor 410 an anderen Orten des Fahrzeugs 420 befestigt sein, wie zum Beispiel an der vorderen Stoßstange, der hinteren Windschutzscheibe, der hinteren Stoßstange, oder ähnlichem. Ein Ziel 440 ist in einer gewissen Distanz D vor dem LiDAR-Sensor 410 platziert. Das Ziel 440 umfasst einen ebenen Spiegel 430 und identifizierbare Merkmale 490, die den Spiegel 430 umgeben.
  • Unter Bezugnahme auf 4A kann das Ziel 440 an einem Gestell (nicht gezeigt) befestigt sein, sodass der Spiegel 430 im Sollzustand vertikal ist. Demnach kann eine optische Achse 432 des Spiegels 430 im Sollzustand horizontal sein, die eine Normale der Oberfläche des Spiegels 430 ist. Das Fahrzeug 420 ist relativ zu dem Spiegel 430 so positioniert und orientiert, dass eine optische Achse 412 des LiDAR-Sensors zu der optischen Achse 432 des Spiegels 430 im Sollzustand parallel ist, und das Ziel 440 ist in einem Bildfeld des LiDAR-Sensors 410 im Sollzustand zentriert. In den Fällen, in denen der LiDAR-Sensor 410 hinter der vorderen Windschutzscheibe des Fahrzeugs 420 befestigt ist (zum Beispiel wie in 4A gezeigt), kann das Fahrzeug 420 so positioniert sein, dass eine Längsachse 422 des Fahrzeugs 420 zu der optischen Achse 432 des Spiegels 430 im Sollzustand parallel ist.
  • Unter Bezugnahme auf 4B kann der LiDAR-Sensor 410 ein dreidimensionales Bild des Ziels 440 durch Scannen über das Ziel 440 aufnehmen. Das dreidimensionale Bild des Ziels kann Bilder der Merkmale 490, die den Spiegel 430 umgeben, und ein Spiegelbild des Fahrzeugs 420 aufweisen, das durch den Spiegel 430 gebildet wird. Beispielsweise kann der LiDAR-Sensor 410 einen Laserpuls 450 (oder 450a) emittieren, der hin zu dem Spiegel 430 gerichtet ist. Ein reflektierter Laserpuls 450b kann hin zu einem bestimmten Teil des Fahrzeugs (zum Beispiel das Nummernschild an der vorderen Stoßstange) gerichtet sein, der wiederum zurück zu dem Spiegel 430 reflektiert werden kann (als 450c in 4B gezeigt) und zu dem LiDAR-Sensor 410 zurückkehren (als 450d in 4B gezeigt). Demnach kann der LiDAR-Sensor 410 ein dreidimensionales Spiegelbild des Fahrzeugs 420 effektiv aufnehmen, wie in 14 gezeigt.
  • Gemäß manchen Ausführungsformen kann die Distanz D zwischen dem Ziel 440 und dem Fahrzeug 420 groß genug gemacht werden, um eine gewünschte Genauigkeit zu erreichen. Beispielsweise kann die Distanz D etwa 3 m sein. Die Größe des Spiegels 430 kann groß genug gemacht werden, sodass das gesamte Fahrzeug 420 sichtbar ist, obwohl dies nicht benötigt wird. Beispielsweise kann die Größe des Spiegels 430 etwa 1 m hoch und etwa 2 m breit sein. Die Größe des Ziels 440 kann etwa 2 m hoch und etwa 3 m breit sein (zum Beispiel kann die Kante des Ziels 440 mit Merkmalen 490 eine Breite von 0,5 m aufweisen).
  • 5A zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 zu der Oberfläche des Spiegels 430 senkrecht ist) und der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist (zum Beispiel die optische Achse des LiDAR-Sensors 410 zu der Längsachse des Fahrzeugs 420 parallel ist). Angenommen, dass auch das Fahrzeug 420 bezüglich der Breite des Spiegels 430 seitlich zentriert ist und der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 seitlich zentriert ist. In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420, wie es von dem LiDAR-Sensor 410 gesehen wird, als symmetrisch erscheinen und könnte keinen Rollwinkel, Neigungswinkel, oder Gierwinkel aufweisen. Das Ziel 440 kann auch als symmetrisch bezüglich des Bildfelds 414 des LiDAR-Sensors erscheinen (zum Beispiel ist der seitliche Rand d von der linken Kante des Ziels 440 zu der linken Grenze des Bildfelds 414 etwa derselbe, wie der seitliche Rand d von der rechten Kante des Ziels 440 zu der rechten Grenze des Bildfelds 414) und könnte keinen Rollwinkel, Neigungswinkel, oder Gierwinkel aufweisen.
  • 5B zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 falsch ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 einen endlichen Gierwinkel bezüglich der optischen Achse des Spiegels 430 aufweist). In solchen Fällen ist das Ziel 440 nicht länger in dem Bildfeld 414 des LiDARs zentriert (zum Beispiel seitlich nach rechts verschoben). Die Verschiebungsmenge (zum Beispiel die Differenz zwischen dem neuen Rand D und dem Sollrand d) kann die Fehlausrichtungsmenge betreffen. Demnach kann es möglich sein, die Fehlorientierungsmenge (zum Beispiel ein Gierfehler) des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Verschiebungsmenge zu bestimmen. Zusätzlich erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, auch als einen endlichen Gierwinkel aufweisend (es sei angemerkt, dass die Rotationsmenge in 5B etwas übertrieben ist). Demnach kann der LiDAR-Sensor 410 die Fehlorientierungsmenge des Fahrzeugs 420 bezüglich des Ziels 440 durch Messen der Distanzen von bestimmten Merkmalen des Fahrzeugs 420 bestimmen. Beispielsweise kann der LiDAR-Sensor 410 wie in 5B gezeigt messen, dass ein Scheinwerfer (zum Beispiel der linke Scheinwerfer) weiter von dem LiDAR-Sensor 410 entfernt ist, als der andere Scheinwerfer (zum Beispiel der rechte Scheinwerfer), und kann demnach den Gierwinkel des Fahrzeugs 420 berechnen.
  • 5C zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 410 bezüglich des Ziels 440 korrekt ausgerichtet ist (zum Beispiel die Längsachse des Fahrzeugs 420 zu der Oberfläche des Spiegels 430 senkrecht ist), aber der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 nicht korrekt ausgerichtet ist (zum Beispiel der LiDAR-Sensor 410 nach links sieht statt gerade aus zusehen). In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420 als symmetrisch erscheinen, aber das Ziel 440 kann seitlich verschoben sein (zum Beispiel nach rechts) bezüglich des Bildfeldes 414 des LiDARs. Der LiDAR-Sensor 410 kann die Menge von Fehlorientierung (zum Beispiel der Gierfehler) des LiDAR-Sensors 410 basierend auf der Verschiebungsmenge (zum Beispiel die Differenz zwischen dem neuen Rand D und dem Sollrand d) bestimmen.
  • 6A zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 einen Neigungsfehler aufweist. In solchen Fällen ist das Ziel 440 nicht länger in dem Bildfeld 414 des LiDARs zentriert (zum Beispiel vertikal nach unten verschoben). Die Menge von vertikaler Verschiebung kann die Menge eines Neigungsfehlers betreffen. Demnach kann es möglich sein, die Menge eines Neigungsfehlers des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Menge von vertikaler Verschiebung zu bestimmen. Zusätzlich erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, auch als einen endlichen Neigungswinkel aufweisend (es sei angemerkt, dass die Rotationsmenge in 6A etwas übertrieben ist). Demnach kann der LiDAR-Sensor 410 auch die Menge eines Neigungsfehlers des Fahrzeugs 420 bezüglich des Ziels 440 durch Messen der Distanzen von bestimmten Merkmalen des Fahrzeugs 420 bestimmen. Beispielsweise kann der LiDAR-Sensor 410 wie in 6A gezeigt messen, dass das Dach des Fahrzeugs 420 geneigt ist und kann den Neigungsfehler basierend auf der Menge der Neigungen berechnen.
  • 6B zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist, aber der LiDAR-Sensor 410 einen Neigungsfehler bezüglich des Fahrzeugs 420 aufweist (zum Beispiel sieht der LiDAR-Sensor 410 nach oben statt gerade aus). In solchen Fällen kann das Spiegelbild 420' des Fahrzeugs 420 als keinen Neigungswinkel aufweisend erscheinen, aber das Ziel 440 kann vertikal verschoben sein (zum Beispiel nach unten) bezüglich des Bildfelds 414 des LiDARs. Der LiDAR-Sensor 410 kann die Menge eines Neigungsfehlers des LiDAR-Sensors 410 basierend auf der Menge der vertikalen Verschiebung bestimmen.
  • 6C zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 korrekt ausgerichtet ist, aber das Fahrzeug 420 bezüglich des Ziels 440 einen Rollfehler aufweist. In solchen Fällen erscheint das Spiegelbild 420' des Fahrzeugs 420, wie es durch den LiDAR-Sensor 410 gesehen wird, als keinen Rollwinkel aufweisend, aber das Ziel 440 kann als einen endlichen Rollwinkel aufweisend bezüglich des Bildfelds 414 des LiDARs erscheinen. Es kann möglich sein, die Menge eines Rollfehlers des Fahrzeugs 420 bezüglich des Ziels 440 basierend auf der Menge des Rollwinkels des Ziels 440 bezüglich des Bildfelds 414 des LiDAR-Sensors zu bestimmen.
  • 6D zeigt schematisch, was der LiDAR-Sensor 410 sehen kann, wenn das Fahrzeug 420 bezüglich des Ziels 440 korrekt ausgerichtet ist, aber der LiDAR-Sensor 410 bezüglich des Fahrzeugs 420 einen Rollfehler aufweist. In solchen Fällen kann sowohl das Spiegelbild 420' des Fahrzeugs 420, als auch das Ziel 440 als einen endlichen Rollwinkel aufweisend bezüglich des Bildfelds 414 des LiDARs erscheinen. Der LiDAR-Sensor 410 kann die Menge eines Rollfehlers des LiDAR-Sensors 410 basierend auf der Menge der Rollrotation bestimmen.
  • Dementsprechend kann der LiDAR-Sensor 410 (oder eine Berechnungseinheit des Fahrzeugs 420) eine Abweichung von einer erwarteten Ausrichtung (zum Beispiel eine in einem Herstellerwerk durchgeführte ursprüngliche Ausrichtung) des LiDAR-Sensors 410 bezüglich des Fahrzeugs 420 durch Analysieren eines durch den LiDAR-Sensor 410 aufgenommenen dreidimensionalen Bilds bestimmen, dass die Bilder von Merkmalen 490 an dem Ziel und das Spiegelbild 420' des Fahrzeugs 420 umfasst. Die Abweichung von der erwarteten Ausrichtung kann einen Gierfehler, Rollfehler, Neigungsfehler und Translationsfehler (zum Beispiel δx, δy, δz) umfassen.
  • Gemäß manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors 410 bezüglich des Fahrzeugs 420 die folgenden Schritte umfassen. Eine Position und eine Orientierung des LiDAR-Sensors 410 bezüglich des Ziels 440 können basierend auf den Bildern der Merkmale 490 an dem Ziel 440 bestimmt werden. Eine Position und eine Orientierung des LiDAR-Sensors 410 relativ zu dem Spiegelbild 420' des Fahrzeugs 420 können basierend auf dem Spiegelbild 420' des Fahrzeugs bestimmt werden. Dann kann eine Transformation von einem LiDAR-Koordinatensystem in ein Fahrzeug-Koordinatensystem bestimmt werden, basierend auf: (i) die Position und die Orientierung des LiDAR-Sensors 410 relativ zu dem Ziel 440, und (ii) die Position und Orientierung des LiDAR-Sensors 410 relativ zu dem Spiegelbild 420' des Fahrzeugs 420.
  • In manchen Ausführungsformen kann eine Berechnungseinheit ein Referenzbild speichern. Beispielsweise kann das Referenzbild ein Bild sein, das durch den LiDAR-Sensor 410 gerade nach einer ursprünglichen Ausrichtung aufgenommen wurde, die in einem Herstellerwerk durchgeführt wurde, oder kann ein simuliertes Bild für die erwartete Ausrichtung sein. Während der Rekalibrierung kann die Berechnungseinheit das durch den LiDAR-Sensor 410 aufgenommene dreidimensionale Bild mit dem Referenzbild vergleichen und eine multivariable Minimierung (zum Beispiel unter Verwendung eines Gradientenverfahrens oder anderer Algorithmen) durchführen, um eine Transformationsmatrix zu bestimmen, sodass das aufgenommene dreidimensionale Bild am meisten mit dem Referenzbild übereinstimmt. Die Abweichung von der erwarteten Ausrichtung (zum Beispiel Gierfehler, Rollfehler, Neigungsfehler, δx, δy und δz) kann dann von der Transformationsmatrix abgeleitet werden.
  • Die folgenden beispielhaften Verfahren können dazu verwendet werden, die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 in nicht weniger als sechs Freiheitsgraden gemäß verschiedenen Ausführungsformen zu bestimmen. Andere Verfahren und Techniken können auch von dem Fachmann verwendet werden. In den folgenden Beschreibungen der beispielhaften Ausführungsformen werden die folgenden Bezeichnungen und Terminologien verwendet. Lt bezeichnet eine Matrix, die die Beziehung des LiDAR-Sensors 410 zu dem Ziel 440 beschreibt, Ct bezeichnet eine Matrix, die die Beziehung des Fahrzeugs 420 zu dem Ziel 440 beschreibt, LC bezeichnet eine Matrix, die die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 beschreibt (zur Korrektur jedweder Fehlkalibrierung des LiDAR-Sensors 410), M bezeichnet eine Spiegeltransformationsmatrix und LmC bezeichnet eine Matrix, die die Beziehungen des LiDAR-Sensors 410 des Fahrzeugs 420 beschreibt, so wie sie der LiDAR-Sensor 410 in dem Spiegel 430 sieht.
  • In manchen Ausführungsformen kann der LiDAR-Sensor 410 seine Positionsbeziehung (x, y, z) zu den Zielmerkmalen 490 um den Spiegel 430 durch Triangulieren der Distanz von wenigstens drei Zielmerkmalen 490 (zum Beispiel ähnlich dazu, wie ein GPS-Empfänger seine Position relativ zu den GPS-Satelliten trianguliert) ermitteln. Die Rotationsbeziehungen von Neigung, Rollen und Gierung können durch Messen des Ortes von wenigstens drei Zielmerkmalen 490 bestimmt werden (die dieselben Zielmerkmale sein können, die für x, y und z verwendet wurden). Demnach kann die Matrix Lt, die die Beziehung des LiDAR-Sensors 410 zu dem Ziel 440 beschreibt, ermittelt werden. Die Matrix Lt ist eine 4x4 Matrix, die x-, y-und z-Positionen, sowie Neigung, Rollen und Gierung definiert.
  • Als nächstes kann die Beziehung des Fahrzeugs 420 zu dem Ziel 440 durch einen ähnlichen Ablauf ermittelt werden: durch Messen der Distanz zu bestimmten Merkmalen des Fahrzeugs 420, so wie sie in dem Spiegel 430 zu sehen sind, um seine Position relativ zu dem Ziel 440 zu triangulieren, und durch Messen von Orten von Merkmalen des Fahrzeugs 420 relativ zu dem Spiegel 430, um die Neigung, das Rollen und die Gierung des Fahrzeugs 420 zu bestimmen. Demnach kann die Matrix Ct, die die Beziehung des Fahrzeugs 420 zu dem Ziel 440 beschreibt, ermittelt werden. Die Matrix Ct ist eine 4x4 Matrix, die x-, y- und z-Positionen, sowie Neigung, Rollen und Gierung definiert. Die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 kann dann durch L C = ( C t − 1 ) L t
    Figure DE112020004984T5_0002
    definiert werden.
  • Gemäß manchen Ausführungsformen kann der LiDAR-Sensor 410 seine Position relativ zu dem Ziel 440 wie oben beschrieben bestimmen, um die Matrix Lt zu ermitteln. Der LiDAR-Sensor 410 kann auch die Beziehung des Spiegelbilds des Fahrzeugs 420' zu dem LiDAR-Sensor 410 bestimmen, so wie sie durch den Spiegel 430 gesehen wird, um die Matrix LmC zu ermitteln. Die Beziehung des LiDAR-Sensors 410 zu dem Fahrzeug 420 kann dann durch Matrix-Multiplikation bestimmt werden als L C = L t ⋅ M ( L t − 1 ) L m C ⋅ M .
    Figure DE112020004984T5_0003
  • Gemäß manchen Ausführungsformen werden das Bild des Fahrzeugs 420', sowie es in dem Spiegel 430 gesehen wird, und das Bild des Ziels 440, so wie es durch den LiDAR-Sensor 410 aufgenommen wird, mit einem gespeicherten Referenzbild verglichen. Das Referenzbild kann entweder ein simuliertes Bild oder ein Bild sein, das während einer Fabrikkalibrierung aufgenommen wurde. Eine Minimierungstechnik (zum Beispiel unter Verwendung eines Gradientenverfahrensalgorithmus) kann dann dazu verwendet werden, die Transformationsparameter (δx, δy, δz, Neigungsfehler, Rollfehler und Gierfehler) zu bestimmen, die die Differenz zwischen dem momentan aufgenommenen Bild und dem gespeicherten Referenzbild minimiert. In diesem Prozess kann entweder das momentan aufgenommene Bild transformiert werden, um dem gespeicherten Referenzbild zu entsprechen, oder das gespeicherte Referenzbild kann transformiert werden, um dem momentan aufgenommenen Bild zu entsprechen. Die Transformationsparameter können die Differenz zwischen der momentanen LiDAR-Position und der idealen (oder in einer Fabrik kalibrierten) LiDAR-Position relativ zu dem Fahrzeug 420 repräsentieren.
  • Wenn einmal die Beziehung des LiDARs 410 zu dem Fahrzeug 420 bestimmt ist, kann eine Diskrepanz dieser Beziehung von der momentanen LiDAR-Kalibrierung dazu verwendet werden, um die LiDAR-Kalibrierung zu korrigieren.
  • In manchen Ausführungsformen können eine oder mehrere Distanzsensoren dazu verwendet werden, um den Ort und die Orientierung des Fahrzeugs 420 relativ zu dem Ziel 440 zu bestimmen (zum Beispiel in einem Weltkoordinatensystem). Durch Platzieren von zwei oder drei Distanzsensoren in dem Boden unter dem Fahrzeug 420 können beispielsweise die Neigung, das Rollen und z-Koordinaten (Höhe) des Fahrzeugs bestimmt werden. Durch Verwenden von sechs Distanzsensoren können alle Freiheitsgrade (x, y, z, Neigung, Rollen und Gierung) bestimmt werden. Die Distanzsensoren können Ultraschallsensoren oder Lasersensoren sein.
  • Ein Beispiel einer Verwendung von Distanzsensoren, um die Position und die Orientierung des Fahrzeugs 420 zu bestimmen, ist in 5A gezeigt. In diesem Beispiel können vier Distanzsensoren 590 an angemessenen Orten um das Fahrzeug 420 positioniert werden. Beispielsweise kann jeder Distanzsensor 590 in der Umgebung eines jeweiligen Rads des Fahrzeugs 420 liegen. Der Distanzsensor 590 kann einen Ultraschallpuls oder einen Laserpuls hin zu dem Rad aussenden und den zurückgekehrten Puls messen und dabei die Distanz von dem Rad schätzen. Demnach können die y-Koordinate und der Gierwinkel des Fahrzeugs 420 bestimmt werden. In manchen Ausführungsformen können nur zwei Distanzsensoren 590 auf einer Seite des Fahrzeugs benötigt werden (entweder auf der Fahrerseite oder der Beifahrerseite) ein anderer Distanzsensor 592 kann vor dem Fahrzeug 420 positioniert werden, um die x-Koordinate des Fahrzeugs 420 zu bestimmen.
  • Gemäß manchen Ausführungsformen können zusätzliche Korrekturen oder Kalibrierungen gemacht werden. Beispielsweise können Windschutzscheiben-Verzerrungseffekte gemessen und korrigiert werden. Windschutzscheiben-Verzerrungskorrektur kann jedes Mal notwendig sein, wenn die Windschutzscheibe ausgetauscht wird.
  • 7 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 700 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung eines Ziels mit einem eingebetteten Spiegel gemäß manchen Ausführungsformen zeigt.
  • Das Verfahren 700 umfasst, bei 702, ein Positionieren des Fahrzeugs in einer Distanz von dem Ziel. Das Ziel umfasst einen ebenen Spiegel und Merkmale, die den Spiegel umgeben. Die optische Achse des Spiegels ist im Wesentlichen horizontal. Das Fahrzeug ist relativ zu dem Spiegel so positioniert und orientiert, dass eine optische Achse des LiDAR-Sensors im Sollzustand parallel zu der optischen Achse des Spiegels ist und das Ziel im Sollzustand in einem Bildfeld des LiDAR-Sensors zentriert ist.
  • Das Verfahren 700 umfasst ferner, bei 704, ein Aufnehmen eines dreidimensionalen Bilds des Ziels, unter Verwendung des LiDAR-Sensors. Das dreidimensionale Bild des Ziels umfasst Bilder von Merkmalen des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs.
  • Das Verfahren 700 umfasst ferner, bei 706, ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren des Bilds des Merkmals und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.
  • In manchen Ausführungsformen umfasst das Verfahren 700 ferner, bei 708, ein Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
  • In manchen Ausführungsformen umfasst das Verfahren 700 ferner ein Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
  • In manchen Ausführungsformen ist das Bildfeld des LiDAR-Sensors kleiner als 180° in einer horizontalen Richtung.
  • In manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfassen: ein Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Ziel basierend auf den Bildern der Merkmale; ein Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs basierend auf dem Spiegelbild des Fahrzeugs; und ein Bestimmen einer Transformation von einem LiDAR-Koordinatensystem in ein Fahrzeug-Koordinatensystem basierend auf: (i) die Position und die Orientierung des LiDAR-Sensors relativ zu dem Ziel, und (ii) die Position und die Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs.
  • In manchen Ausführungsformen kann das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfassen: ein Speichern einer Referenzmatrix, die eine erwartete Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; ein Bestimmen einer Matrix, die eine momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; und ein Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen der Matrix mit der Referenzmatrix. In manchen Ausführungsformen umfasst das Verfahren 700 ferner ein Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Matrix, die die momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft.
  • Es sollte verstanden werden, dass die in 7 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellt. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 7 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte können abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
  • B. Dynamische Kalibrierung von LiDAR-Sensoren unter Verwendung von Merkmalen an einem Fahrzeug
  • Es kann wünschenswert sein, ein Verfahren zum periodischen oder kontinuierlichen Überprüfen der Kalibrierung eines LiDAR-Sensors bezüglich eines Fahrzeugs zu haben, während das Fahrzeug geparkt ist, oder sogar während des Fahrens. Gemäß manchen Ausführungsformen kann eine Kalibrierung des LiDAR-Sensors unter Verwendung von Merkmalen an dem Fahrzeug durchgeführt werden, sodass die Kalibrierung während eines normalen Betriebs des Fahrzeugs durchgeführt werden kann. Solche Verfahren werden hierin als dynamische Kalibrierung bezeichnet.
  • 8 zeigt ein Beispiel einer dynamischen Kalibrierung eines LiDAR-Sensors unter Verwendung einer Maske, die an einer Windschutzscheibe angebracht ist, gemäß manchen Ausführungsformen. Wie gezeigt ist der LiDAR-Sensor 810 (nicht sichtbar in 8) hinter der vorderen Windschutzscheibe 840 des Fahrzeugs 850 befestigt. Eine Maske 820 ist an der Windschutzscheibe 840 in einem Bereich angebracht, der gerade vor dem LiDAR-Sensor 810 liegt. Unter der Annahme, dass die Betriebswellenlänge des LiDAR-Sensors 810 in dem IR-Wellenlängenbereich liegt, kann die Maske 820 dazu konfiguriert sein, infrarotes (IR) Licht zu blockieren (zum Beispiel lichtundurchlässig für infrarotes Licht). In manchen Ausführungsformen kann die Maske 820 in einer Ringform sein, die einen IR-transparenten Teil 830 der Windschutzscheibe 840 umgibt. Die Geometrie und die Größe der IR-blockenden Maske 820 können so gemacht werden, dass ein Umfang um die Kante des Bildfelds des LiDAR-Sensors 810 blockiert ist.
  • 9A und 9B zeigen schematische Seitenansichten der Windschutzscheibe 840 mit der IR-blockenden Maske 820 gemäß manchen Ausführungsformen. Der IR-transparente Teil 830 der Windschutzscheibe 840 ist von der IR-blockenden Maske 820 umgeben. Der IR-transparente Teil 830 ist etwas kleiner als das Bildfeld 910 des LiDAR-Sensors 810. Unter Bezugnahme auf 9A kann der LiDAR-Sensor 810 unter einer korrekten Ausrichtung (zum Beispiel einer erwarteten Ausrichtung) so hinter der Windschutzscheibe 840 positioniert sein, dass sein Bildfeld 910 über dem IR-transparenten Teil 830 zentriert ist. Demnach ist eine Kante des Bildfelds 910 an allen vier Seiten blockiert (die Seitenansicht von 9A zeigt die obere und untere Seite).
  • 9B zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition verschoben ist (zum Beispiel nach oben geneigt). Infolgedessen ist der IR-transparente Teil 830 nicht länger über dem Bildfeld 830 des LiDAR-Sensors 810 zentriert. Demnach kann ein größerer Teil seines Bildfelds 910 auf der oberen Seite blockiert sein als auf der unteren Seite.
  • 10A - 10C zeigen schematisch manche Beispiele von Wirkungen der IR-blockenden Maske 820, die in 8 gezeigt ist, unter verschiedenen Ausrichtungsbedingungen gemäß manchen Ausführungsformen. 10A zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 korrekt ausgerichtet ist. Der IR-transparente Teil 830 der Windschutzscheibe 840 ist über dem Bildfeld 910 des LiDAR-Sensors 810 zentriert. Demnach weist die Kante des Bildfelds 910, die durch die IR-blockende Maske 820 (der graue Bereich), etwa dieselbe Breite an allen vier Seiten auf.
  • 10B zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition nach rechts verschoben ist (zum Beispiel weist der LiDAR-Sensor 810 einen Gierfehler auf). Infolgedessen ist der IR-transparente Teil 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 nach links verschoben. Demnach ist ein größerer Teil des Bildfelds 910 an der rechten Seite als an der linken Seite durch die IR-blockende Maske 820 blockiert.
  • 10C zeigt ein Beispiel, bei dem der LiDAR-Sensor 810 von der korrekten Ausrichtungsposition rotiert ist (zum Beispiel weist der LiDAR-Sensor 810 einen Rollfehler auf). Infolgedessen ist der IR-transparente Teil 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 rotiert.
  • Gemäß manchen Ausführungsformen können die relative Position und Orientierung des IR-transparenten Teils 830 der Windschutzscheibe 840 bezüglich des Bildfelds 910 des LiDAR-Sensors 810 dazu verwendet werden, um den LiDAR-Sensor 810 zu kalibrieren. Beispielsweise kann eine Berechnungseinheit ein Referenzbild speichern. Das Referenzbild kann entweder durch den LiDAR-Sensor 810 aufgenommen werden, während der LiDAR-Sensor in der korrekten Ausrichtungsposition ist, oder durch eine Simulation erhalten werden. Beispielsweise kann das Referenzbild durch den LiDAR-Sensor aufgenommen werden, gerade nachdem der LiDAR-Sensor in einer Herstellungseinrichtung vorkalibriert wurde. Wenn der LiDAR-Sensor 810 in einem normalen Betrieb ist (entweder wenn das Fahrzeug geparkt ist oder fährt) kann die Berechnungseinheit ein momentanes LiDAR-Bild periodisch oder kontinuierlich mit dem Referenzbild vergleichen. Abweichungen von der korrekten Ausrichtungsposition des LiDAR-Sensors 810 können basierend auf dem Vergleich gemacht werden.
  • In manchen Ausführungsformen kann eine multivariable Minimierung durchgeführt werden, um eine Transformationsmatrix so zu bestimmen, dass der IR-transparente Teil 830 der Windschutzscheibe 840 in dem momentanen LiDAR-Bild am meisten mit dem Referenzbild übereinstimmt. Die Abweichungen von der korrekten Ausrichtungsposition (zum Beispiel Gierfehler, Rollfehler, Neigungsfehler, δx, δy und δz) können dann von der Transformationsmatrix abgeleitet werden. Gemäß verschiedenen Ausführungsformen kann sich der LiDAR-Sensor 810 automatisch rekalibrieren, oder eine Warnung an das Fahrzeug als Antwort auf das Bestimmen, dass die Abweichung von der korrekten Ausrichtungsposition einen Schwellwert überschreitet, bereitstellen.
  • Zusätzlich oder alternativ können Bilder von manchen festen Merkmalen des Fahrzeugs, die durch den LiDAR-Sensor 810 aufgenommen wurden, auch dazu verwendet werden, um den LiDAR-Sensor 810 zu kalibrieren. 10D - 10F zeigen manche beispielhafte Bilder, die durch den LiDAR-Sensor 810 aufgenommen werden können. Die Bilder zeigen einen Teil der Motorhaube 1020 des Fahrzeugs und ein Ziermerkmal 1030 (zum Beispiel ein Herstellerlogo), das an der Motorhaube 1020 angebracht ist. In 10D ist das Ziermerkmal 1030 ungefähr seitlich in dem Bildfeld 910 des LiDAR-Sensors 810 zentriert. In 10E ist das Ziermerkmal 1030 zur Linken des Bildfelds 910 verschoben, was angibt, dass der LiDAR-Sensor 810 nach rechts gedreht sein kann (zum Beispiel einen Gierfehler aufweist). In 10F ist das Ziermerkmal 1030 rotiert, was angibt, dass der LiDAR-Sensor 810 rotiert sein kann (zum Beispiel einen Rollfehler aufweist). Es sei angemerkt, dass Bilder der Motorhaube 1020 in 10E und 10F auch entsprechend verschoben und/oder rotiert sind. Andere beispielhafte Merkmale des Fahrzeugs, die zum Kalibrieren verwendet werden können, umfassen eine Abdeckung über einem LiDAR-Sensor, der in dem Kühlergrill befestigt ist, Merkmale eines Scheinwerfers oder eines Rücklichts (zum Beispiel wenn der LiDAR-Sensor innerhalb des Scheinwerfers oder des Rücklichts eingebaut ist) oder ähnliches.
  • Gemäß manchen Ausführungsformen kann eine Berechnungseinheit ein Referenzbild speichern, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer korrekten Ausrichtung (zum Beispiel einer erwarteten Ausrichtung) bezüglich des Fahrzeugs ist. Das Referenzbild kann ein erstes Bild eines festen Merkmals des Fahrzeugs umfassen. Wenn der LiDAR-Sensor 810 in einem normalen Betrieb ist (entweder wenn das Fahrzeug geparkt ist oder fährt), kann die Berechnungseinheit ein momentanes LiDAR-Bild periodisch oder kontinuierlich mit dem Referenzbild vergleichen. Das momentane LiDAR-Bild umfasst ein zweites Bild des festen Merkmals des Fahrzeugs. Abweichungen von der korrekten Ausrichtung können durch Vergleichen der Position und Orientierung des festen Merkmals in dem zweiten Bild mit denen in dem ersten Bild bestimmt werden.
  • 11 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 1100 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Merkmalen an dem Fahrzeug gemäß manchen Ausführungsformen zeigt.
  • Das Verfahren 1100 umfasst, bei 1102, ein Speichern eines dreidimensionalen Referenzbilds, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer erwarteten Ausrichtung bezüglich des Fahrzeugs ist. Das dreidimensionale Referenzbild umfasst ein erstes Bild eines festen Merkmals des Fahrzeugs.
  • Das Verfahren 1100 umfasst ferner, bei 1104, ein Aufnehmen eines dreidimensionalen Bilds, das ein zweites Bild des festen Merkmals umfasst, unter Verwendung des LiDAR-Sensors.
  • Das Verfahren 1100 umfasst ferner, bei 1106, ein Bestimmen einer Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen des zweiten Bilds des festen Merkmals in dem dreidimensionalen Bild mit dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild.
  • In manchen Ausführungsformen umfasst das Verfahren 1100 ferner, bei 1108, ein Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
  • In manchen Ausführungsformen umfasst das Verfahren 1100 ferner ein Bestimmen einer Transformation, um auf das zweite Bild des festen Merkmals in dem dreidimensionalen Bild angewendet zu werden, um dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild zu entsprechen und ein Rekalibrieren des LiDAR-Sensors basierend auf der Transformation.
  • In manchen Ausführungsformen umfasst das Verfahren 1100 ferner ein Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet, und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichungen von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
  • In manchen Ausführungsformen wird das dreidimensionale Referenzbild durch den LiDAR-Sensor aufgenommen, nachdem der LiDAR-Sensor in einer Herstellungseinrichtung vorkalibriert wurde.
  • In manchen Ausführungsformen umfasst das feste Merkmal einen Teil einer Motorhaube des Fahrzeugs, oder ein Objekt, das an der Motorhaube angebracht ist.
  • In manchen Ausführungsformen ist der LiDAR-Sensor hinter einer Windschutzscheibe des Fahrzeugs positioniert und das feste Merkmal umfasst eine Maske, die an einem Bereich der Windschutzscheibe angebracht ist, der direkt vor dem LiDAR-Sensor ist. Die Maske ist dazu konfiguriert, Licht einer Betriebswellenlänge des LiDAR-Sensors zu blockieren und ist geformt, um einen Teil eines Bildfelds des LiDAR-Sensors zu blockieren. Die Maske kann eine äußere Begrenzung und eine innere Begrenzung aufweisen und die innere Begrenzung ist so groß, dass die Maske in einen Umfang des Bildfelds des LiDAR-Sensors vordringt.
  • Es sollte verstanden werden, dass die in 11 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellen. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 11 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
  • C. Dynamische Kalibrierung von LiDAR-Sensoren unter Verwendung von Straßenmerkmalen
  • Gemäß manchen Ausführungsformen kann ein Verfahren zum dynamischen Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, Straßenmerkmale verwenden, wenn sich das Fahrzeug über einen relativ geraden Abschnitt einer Straße bewegt. 12A und 12B zeigen ein Beispiel. Ein LiDAR-Sensor 1210 ist als hinter der vorderen Windschutzscheibe eines Fahrzeugs 1220 befestigt gezeigt (der LiDAR-Sensor 1210 kann in anderen Positionen befestigt sein, zum Beispiel an der vorderen Stoßstange). Das Fahrzeug 1220 fährt auf einem geraden Abschnitt einer Straße 1230. Die aufgemalten Spurmarkierungen 1240 können zum dynamischen Kalibrieren der Position und Orientierung des LiDAR-Sensors 1210 relativ zu dem Fahrzeug 1220 basierend auf LiDAR-Bildern verwendet werden, die aufgenommen werden, während sich das Fahrzeug entlang der Straße 1230 bewegt. Verwenden der aufgemalten Spurmarkierungen zum Kalibrieren kann vorteilhaft sein, da diese auf fast allen Straßen existieren. Außerdem ist die Distanz zwischen einem Paar von Spurmarkierungen 1240 normalerweise eine Standarddistanz. Die Spurmarkierungen mit retroreflektierender Farbe können in LiDAR-Bildern klar erscheinen.
  • Wie in 12A gezeigt kann das Paar von Spurmarkierungen 1240 als auf jeder Seite des Fahrzeugpfads 1250 gleich vorbeibewegend erscheinen, wenn der LiDAR-Sensor 1210 bezüglich des Fahrzeugs 1220 korrekt ausgerichtet ist (zum Beispiel sieht der LiDAR-Sensor 1210 in dieselbe Richtung, in die das Fahrzeug 1220 fährt). Wenn der LiDAR-Sensor 1210 bezüglich des Fahrzeugs 1220 fehlausgerichtet ist (zum Beispiel sieht der LiDAR-Sensor 1210 bezüglich der Längsachse des Fahrzeugs 1220 nach links), dann kann das Paar von Spurmarkierungen 1240 wie in 12B gezeigt als bezüglich des Fahrzeugpfads 1250 asymmetrisch an dem Fahrzeug 1220 vorbeibewegend erscheinen. Beispielsweise kann der Fahrzeugpfad 1250 als sich näher zu der Spurmarkierung 1240a auf der Fahrerseite, als zu der Spurmarkierung 1240b auf der Beifahrerseite bewegend erscheinen. Durch Analysieren der LiDAR-Bilder der Spurmarkierungen 1240 bezüglich des Fahrzeugpfads 1250, kann demnach die Fehlausrichtungsmenge (zum Beispiel der Gierfehler) des LiDAR-Sensors 1210 bezüglich des Fahrzeugs 1220 geschätzt werden.
  • 13A - 13C zeigen etwas mehr Beispiele einer Verwendung von Spurmarkierungen zur dynamischen Kalibrierung eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, gemäß manchen Ausführungsformen. Wie in 13A gezeigt können die Spurmarkierungen 1240 als bezüglich des Fahrzeugpfads geneigt erscheinen (unter der Annahme, dass die Straße relativ eben ist), wenn die Ausrichtung des LiDAR-Sensors 1210 einen Neigungsfehler aufweist.
  • Wie in 13B gezeigt, kann die Spurmarkierung 1240a auf einer Seite des Fahrzeugs 1220 (zum Beispiel der Fahrerseite) höher erscheinen, als die Spurmarkierung 1240b auf der anderen Seite des Fahrzeugs 1220 (zum Beispiel der Beifahrerseite), wenn die Ausrichtung des LiDAR-Sensors 1210 einen Rollfehler aufweist.
  • Wie in 13C gezeigt kann die Höhe der Spurmarkierungen 1240 gegenüber dem Fahrzeugpfad versetzt sein, wenn die Ausrichtung des LiDAR-Sensors 1210 einen Z-Fehler (in der vertikalen Richtung) aufweist. Translationsfehler in die anderen zwei orthogonalen Richtungen (zum Beispiel X-Fehler und Y-Fehler) können auch durch Überwachen der Bewegungen von Objekten detektiert werden, wie beispielsweise Spurmarkierungen (gegen erwartete Bewegungen), während sich das Fahrzeug 1220 nach vorne bewegt.
  • Durch Analysieren der räumlichen Beziehung zwischen den Bildern der Spurmarkierungen 1240 (oder anderen Straßenmerkmalen) und des Fahrzeugpfads können demnach verschiedene Rotations- und Translationsfehlausrichtungen des LiDAR-Sensors 1200 bezüglich des Fahrzeugs 1220 detektiert und geschätzt werden. Wenn ein LiDAR-Sensor an der Seite oder der Rückseite des Fahrzeugs befestigt ist, können ähnliche Kalibrierungsabläufe verwendet werden, mit angemessenen Modifizierungen und mathematischen Transformationen, die die anderen Sichtwinkel berücksichtigen.
  • Gemäß manchen Ausführungsformen können Messungen über eine Anzahl von Zeitpunkten wiederholt werden, und die Ergebnisse können gemittelt werden, um beispielsweise Unregelmäßigkeiten der Fahrbahn, schlecht aufgemalte Spurmarkierungen, Kurven, Senken, Schlaglöcher, o. ä. zu berücksichtigen. Ausreißer können verworfen werden. Ausreißer können beispielsweise aus Spurwechsel und andere Fahrunregelmäßigkeiten, verdeckte Sicht der Spurmarkierungen durch andere Fahrzeuge, oder ähnlichem resultieren.
  • Gemäß manchen Ausführungsformen können andere Informationen dazu verwendet werden, um die Qualität und Verlässlichkeit der Kalibrierungsdaten zu verbessern. Beispielsweise können Daten von dem Fahrzeuglenkungssensor, Daten von globalen Navigationssatellitensystemen (zum Beispiel GPS) und Daten von inertialen Messeinheiten (IMU), oder ähnlichem dazu verwendet werden, um sicher zu gehen, dass das Fahrzeug nicht dreht. Kartendaten können dazu verwendet werden, um gute Straßenabschnitte zum Kalibrieren auszuwählen, wo die Straße gerade, eben ist und die Spurmarkierungen frisch und korrekt beabstandet sind. Andere Straßenmerkmale, wie beispielsweise Bordsteinkanten, Leitplanken und Straßenschilder können auch als Eingabe an den Kalibrierungsalgorithmus verwendet werden.
  • 14 zeigt ein vereinfachtes Flussdiagramm, das ein Verfahren 1400 zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, unter Verwendung von Straßenmerkmalen gemäß manchen Ausführungsformen zeigt.
  • Das Verfahren 1400 umfasst, bei 1402, ein Aufnehmen eines oder mehrerer dreidimensionalen Bilder unter Verwendung des LiDAR-Sensors, während sich das Fahrzeug auf einer Straße mit festen Straßenmerkmalen bewegt. Jedes des einen oder der mehreren dreidimensionalen Bilder umfasst Bilder der Straßenmerkmale.
  • Das Verfahren 1400 umfasst ferner, bei 1404, ein Analysieren einer räumlichen Beziehung zwischen den Bildern der Straßenmerkmale in dem einen oder den mehreren dreidimensionalen Bildern und einer Orientierung eines Bildfelds des LiDAR-Sensors.
  • Das Verfahren 1400 umfasst ferner, bei 1406, ein Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der räumlichen Beziehung zwischen den Bildern der Straßenmerkmale und dem Bildfeld des LiDAR-Sensors.
  • In manchen Ausführungsformen umfasst das Verfahren 1400 ferner, bei 1408, ein Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
  • In manchen Ausführungsformen umfasst das Verfahren 1400 ferner ein Bestimmen, dass die Abweichungen von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet, und ein Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
  • In manchen Ausführungsformen umfassen die Straßenmerkmale ein oder mehr Paare von Spurmarkierungen auf jeder Seite des Fahrzeugs. Das Analysieren der räumlichen Beziehung kann ein Bestimmen eines Neigungswinkels zwischen einem Paar von Spurmarkierungen des einen oder der mehreren Paare von Spurmarkierungen und dem Bildfeld des LiDAR-Sensors umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Neigungswinkels des LiDAR-Sensors basierend auf dem Neigungswinkel umfassen. In manchen Ausführungsformen kann das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs umfassen; das Analysieren der räumlichen Beziehung kann ein Bestimmen einer Höhendifferenz zwischen der ersten Spurmarkierung und der zweiten Spurmarkierung umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Rollfehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfassen.
  • In manchen Ausführungsformen können das eine oder die mehreren dreidimensionalen Bilder eine Vielzahl von dreidimensionalen Bildern umfassen, die durch den LiDAR-Sensor über ein Zeitintervall aufgenommen werden, wenn sich das Fahrzeug über ein Distanzintervall auf der Straße bewegt. In manchen Ausführungsformen umfasst das Verfahren 1400 ferner ein Bestimmen eines Pfads des Fahrzeugs über das Distanzintervall, und ein Vergleichen des Pfads des Fahrzeugs mit den Pfaden der Straßenmerkmale anhand der Vielzahl von dreidimensionalen Bildern. In manchen Ausführungsformen umfassen das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs; das Analysieren der räumlichen Beziehung kann ein Bestimmen einer Menge von seitlicher Asymmetrie zwischen der ersten Spurmarkierung von dem Pfad des Fahrzeugs und der zweiten Spurmarkierung von dem Pfad des Fahrzeugs umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines Gierfehlers des LiDAR-Sensors basierend auf der Menge von seitlicher Asymmetrie umfassen. In manchen Ausführungsformen kann das Analysieren der räumlichen Beziehung ein Bestimmen einer Höhendifferenz zwischen einem Paar von Spurmarkierungen und dem Pfad des Fahrzeugs umfassen; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors kann ein Bestimmen eines vertikalen Fehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfassen.
  • Es sollte verstanden werden, dass die in 14 gezeigten spezifischen Schritte ein bestimmtes Verfahren zum Kalibrieren eines LiDAR-Sensors gemäß manchen Ausführungsformen bereitstellen. Es können auch andere Schrittfolgen gemäß alternativen Ausführungsformen durchgeführt werden. Beispielsweise können alternative Ausführungsformen der vorliegenden Erfindung die oben skizzierten Schritte in einer anderen Reihenfolge durchführen. Darüber hinaus können die einzelnen in 14 gezeigten Schritte mehrere Teilschritte umfassen, die in verschiedenen Folgen durchgeführt werden können, wie es für den einzelnen Schritt angemessen ist. Des Weiteren können zusätzliche Schritte hinzugefügt werden und manche Schritte können abhängig von den bestimmten Anwendungen entfernt werden. Der Fachmann würde viele Abänderungen, Modifizierungen und Alternativen erkennen.
  • Es wird auch verstanden, dass die hierin beschriebenen Beispiele und Ausführungsformen lediglich zu anschaulichen Zwecken dienen und dass dem Fachmann verschiedene Modifizierungen oder Änderungen im Zuge dessen vorgeschlagen sind und im Geltungsbereich dieser Anmeldung und dem Umfang der anhängigen Ansprüche umfasst sein sollen.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 62915563 [0001]
    • US 17069727 [0001]
    • US 17069733 [0001]

Claims (34)

  1. Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, wobei das Verfahren umfasst: Positionieren des Fahrzeugs in einer Distanz von einem Ziel, wobei: das Ziel einen ebenen Spiegel und Merkmale umfasst, die den Spiegel umgeben, wobei eine optische Achse des Spiegels im Wesentlichen horizontal ist; das Fahrzeug relativ zu dem Spiegel so positioniert und orientiert ist, dass eine optische Achse des LiDAR-Sensors zu der optischen Achse des Spiegels im Sollzustand parallel ist und das Ziel in einem Bildfeld des LiDAR-Sensors im Sollzustand zentriert ist; Aufnehmen eines dreidimensionalen Bilds des Ziels unter Verwendung des LiDAR-Sensors, wobei das dreidimensionale Bild des Ziels Bilder der Merkmale des Ziels und ein durch den Spiegel gebildetes Spiegelbild des Fahrzeugs umfasst; und Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Analysieren der Bilder der Merkmale und des Spiegelbilds des Fahrzeugs in dem dreidimensionalen Bild des Ziels.
  2. Verfahren nach Anspruch 1, ferner umfassend: Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezügliche des Fahrzeugs.
  3. Verfahren nach Anspruch 1, ferner umfassend: Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet; und Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet.
  4. Verfahren nach Anspruch 1, wobei das Bildfeld des LiDAR-Sensors kleiner als 180° in einer horizontalen Richtung ist.
  5. Verfahren nach Anspruch 1, wobei das Bestimmen der Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfasst: Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Ziel basierend auf den Bildern der Merkmale; Bestimmen einer Position und einer Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs basierend auf dem Spiegelbild des Fahrzeugs; und Bestimmen einer Transformation von einem LiDAR-Koordinatensystem in ein Fahrzeug-Koordinatensystem basierend auf: (i) der Position und der Orientierung des LiDAR-Sensors relativ zu dem Ziel und (ii) der Position und der Orientierung des LiDAR-Sensors relativ zu dem Spiegelbild des Fahrzeugs.
  6. Verfahren nach Anspruch 5, wobei das LiDAR-Koordinatensystem drei Translationsfreiheitsgrade und drei Rotationsfreiheitsgrade aufweist, und das Fahrzeug-Koordinatensystem drei Translationsfreiheitsgrade und drei Rotationsfreiheitsgrade aufweist.
  7. Verfahren nach Anspruch 6, wobei: die drei Translationsfreiheitsgrade des LiDAR-Koordinatensystems entlang drei orthogonalen Achsen sind, die eine x-Achse, eine y-Achse und eine z-Achse umfassen, und die drei Rotationsfreiheitsgrade des LiDAR-Koordinatensystems eine Rolldrehung um die x-Achse, eine Neigungsdrehung um die y-Achse und eine Gierdrehung um die z-Achse umfassen; und die drei Translationsfreiheitsgrade des Fahrzeug-Koordinatensystems entlang drei orthogonalen Achsen sind, die eine X-Achse, eine Y-Achse und eine Z-Achse umfassen, und die drei Rotationsfreiheitsgrade des Fahrzeug-Koordinatensystems eine Rolldrehung um die X-Achse, eine Neigungsdrehung um die Y-Achse und eine Gierdrehung um die Z-Achse umfassen.
  8. Verfahren nach Anspruch 7, ferner umfassend: Bestimmen eines Gierwinkels des Fahrzeugs bezüglich der optischen Achse des Spiegels, unter Verwendung von zwei oder mehr Distanzsensoren, die neben dem Fahrzeug positioniert sind.
  9. Verfahren nach Anspruch 8, ferner umfassend: Bestimmen einer seitlichen Position des Fahrzeugs entlang einer Achse, die orthogonal zu der optischen Achse des Spiegels und einer vertikalen Achse ist, unter Verwendung der zwei oder mehr Distanzsensoren.
  10. Verfahren nach Anspruch 8, wobei jeder der zwei oder mehr Distanzsensoren einen Ultraschallsensor oder einen Lasersensor umfasst.
  11. Verfahren nach Anspruch 7, ferner umfassend: Bestimmen eines Gierwinkels, eines Rollwinkels, eines Neigungswinkels und einer Translationsposition des Fahrzeugs entlang drei orthogonalen Achsen in einem Koordinatensystem des Spiegels unter Verwendung von sechs Distanzsensoren.
  12. Verfahren nach Anspruch 11, wobei jeder der sechs Distanzsensoren einen Ultraschallsensor oder einen Lasersensor umfasst.
  13. Verfahren nach Anspruch 1, wobei das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs umfasst: Speichern einer Referenzmatrix, die eine erwartete Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; Bestimmen einer Matrix, die eine momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft; und Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen der Matrix mit der Referenzmatrix.
  14. Verfahren nach Anspruch 13, ferner umfassend: Rekalibrieren des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf der Matrix, die die momentane Beziehung zwischen dem LiDAR-Sensor und dem Fahrzeug betrifft.
  15. Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, wobei das Verfahren umfasst: Speichern eines dreidimensionalen Referenzbilds, das durch den LiDAR-Sensor aufgenommen wird, während der LiDAR-Sensor in einer erwarteten Ausrichtung bezüglich des Fahrzeugs ist, wobei das dreidimensionale Referenzbild ein erstes Bild eines festen Merkmals an dem Fahrzeug umfasst; Aufnehmen eines dreidimensionalen Bilds, das ein zweites Bild des festen Merkmals umfasst, unter Verwendung des LiDAR-Sensors; und Bestimmen einer Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs durch Vergleichen des zweiten Bilds des festen Merkmals in dem dreidimensionalen Bild mit dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild.
  16. Verfahren nach Anspruch 15, ferner umfassend: Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
  17. Verfahren nach Anspruch 15, ferner umfassend: Bestimmen einer Transformation, um auf das zweite Bild des festen Merkmals in dem dreidimensionalen Bild angewendet zu werden, um dem ersten Bild des festen Merkmals in dem dreidimensionalen Referenzbild zu entsprechen; und Rekalibrieren des LiDAR-Sensors basierend auf der Transformation.
  18. Verfahren nach Anspruch 15, ferner umfassend: Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet; und Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
  19. Verfahren nach Anspruch 15, wobei das dreidimensionale Referenzbild durch den LiDAR-Sensor aufgenommen wird nachdem der LiDAR-Sensor in einer Herstellungseinrichtung vorkalibriert wurde.
  20. Verfahren nach Anspruch 15, wobei die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors eine Gierabweichung, eine Rollabweichung, eine Neigungsabweichung und/oder eine Translationsabweichung entlang drei orthogonalen Achsen umfasst.
  21. Verfahren nach Anspruch 15, wobei das feste Merkmal einen Teil einer Motorhaube des Fahrzeugs oder ein Objekt umfasst, das an der Motorhaube angebracht ist.
  22. Verfahren nach Anspruch 15, wobei: der LiDAR-Sensor hinter einer Windschutzscheibe des Fahrzeugs positioniert ist; und das feste Merkmal eine Maske umfasst, die an einem Bereich der Windschutzscheibe angebracht ist, der direkt vor dem LiDAR-Sensor ist, wobei die Maske dazu konfiguriert ist, Licht einer Betriebswellenlänge des LiDAR-Sensors zu blockieren, und so geformt ist, dass ein Teil eines Bildfelds des LiDAR-Sensors blockiert ist.
  23. Verfahren nach Anspruch 22, wobei die Maske eine äußere Begrenzung und eine innere Begrenzung aufweist, wobei die innere Begrenzung so groß ist, dass die Maske in einen Umkreis des Bildfelds des LiDAR-Sensors vordringt.
  24. Verfahren zum Kalibrieren eines LiDAR-Sensors, der an einem Fahrzeug befestigt ist, wobei das Verfahren umfasst: Aufnehmen eines oder mehrerer dreidimensionaler Bilder unter Verwendung des LiDAR-Sensors, während sich das Fahrzeug auf einer Straße mit festen Straßenmerkmalen bewegt, wobei jedes des einen oder der mehreren dreidimensionalen Bilder Bilder der Straßenmerkmale umfasst; Analysieren einer räumlichen Beziehung zwischen den Bildern der Straßenmerkmale in dem einen oder den mehreren dreidimensionalen Bildern und einer Orientierung eines Bildfelds des LiDAR-Sensors; und Bestimmen einer Abweichung von einer erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs basierend auf den räumlichen Beziehungen zwischen den Bildern der Straßenmerkmale und dem Bildfeld des LiDAR-Sensors.
  25. Verfahren nach Anspruch 24, ferner umfassend: Rekalibrieren des LiDAR-Sensors basierend auf der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors bezüglich des Fahrzeugs.
  26. Verfahren nach Anspruch 24, ferner umfassend: Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors einen Schwellwert überschreitet; und Bereitstellen einer Warnung als Antwort auf das Bestimmen, dass die Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors den Schwellwert überschreitet.
  27. Verfahren nach Anspruch 24, wobei die Straßenmerkmale ein oder mehr Paare von Spurmarkierungen auf jeder Seite des Fahrzeugs umfassen.
  28. Verfahren nach Anspruch 27, wobei: das Analysieren der räumlichen Beziehung ein Bestimmen eines Neigungswinkels zwischen einem Paar von Spurmarkierungen des einen oder der mehreren Paare von Spurmarkierungen und dem Bildfeld des LiDAR-Sensors umfasst; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors ein Bestimmen eines Neigungsfehlers des LiDAR-Sensors basierend auf dem Neigungswinkel umfasst.
  29. Verfahren nach Anspruch 27, wobei: das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs umfassen; das Analysieren der räumlichen Beziehung ein Bestimmen einer Höhendifferenz zwischen der ersten Spurmarkierung und der zweiten Spurmarkierung umfasst; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors ein Bestimmen eines Rollfehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfasst.
  30. Verfahren nach Anspruch 27, wobei das eine oder die mehreren dreidimensionalen Bilder eine Vielzahl von dreidimensionalen Bildern umfasst, die durch den LiDAR-Sensor über ein Zeitintervall aufgenommen werden, wenn sich das Fahrzeug über ein Distanzintervall auf der Straße bewegt.
  31. Verfahren nach Anspruch 30, wobei die Straße über das Distanzintervall im Wesentlichen gerade und eben ist.
  32. Verfahren nach Anspruch 30, ferner umfassend: Bestimmen eines Pfads des Fahrzeugs über das Distanzintervall; und Vergleichen des Pfads des Fahrzeugs mit den Pfaden der Straßenmerkmale anhand der Vielzahl von dreidimensionalen Bildern.
  33. Verfahren nach Anspruch 32, wobei: das eine oder die mehreren Paare von Spurmarkierungen eine erste Spurmarkierung auf einer Fahrerseite des Fahrzeugs und eine zweite Spurmarkierung auf einer Beifahrerseite des Fahrzeugs umfassen; das Analysieren der räumlichen Beziehung ein Bestimmen einer Menge von seitlicher Asymmetrie zwischen der ersten Spurmarkierung von dem Pfad des Fahrzeugs und der zweiten Spurmarkierung von dem Pfad des Fahrzeugs umfasst; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors ein Bestimmen eines Gierfehlers des LiDAR-Sensors basierend auf der Menge von seitlicher Asymmetrie umfasst.
  34. Verfahren nach Anspruch 32, wobei: das Analysieren der räumlichen Beziehung ein Bestimmen einer Höhendifferenz zwischen einem Paar von Spurmarkierungen und dem Pfad des Fahrzeugs umfasst; und das Bestimmen der Abweichung von der erwarteten Ausrichtung des LiDAR-Sensors ein Bestimmen eines vertikalen Fehlers des LiDAR-Sensors basierend auf der Höhendifferenz umfasst.
DE112020004984.1T 2019-10-15 2020-10-14 Kalibrierung von LiDAR-Sensoren Pending DE112020004984T5 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962915563P 2019-10-15 2019-10-15
US62/915,563 2019-10-15
US17/069,733 2020-10-13
US17/069,733 US20210109205A1 (en) 2019-10-15 2020-10-13 Dynamic calibration of lidar sensors
US17/069,727 US11994631B2 (en) 2019-10-15 2020-10-13 Calibration of LiDAR sensors
US17/069,727 2020-10-13
PCT/US2020/055503 WO2021076569A1 (en) 2019-10-15 2020-10-14 Calibration of lidar sensors

Publications (1)

Publication Number Publication Date
DE112020004984T5 true DE112020004984T5 (de) 2022-07-28

Family

ID=75382747

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020004984.1T Pending DE112020004984T5 (de) 2019-10-15 2020-10-14 Kalibrierung von LiDAR-Sensoren

Country Status (5)

Country Link
US (2) US11994631B2 (de)
JP (1) JP2022552293A (de)
CN (1) CN114829979A (de)
DE (1) DE112020004984T5 (de)
WO (1) WO2021076569A1 (de)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294050B2 (en) * 2020-01-15 2022-04-05 Rockwell Collins, Inc. Automatic ground initialization of radar alignment servo
US20210373138A1 (en) * 2020-05-29 2021-12-02 GM Global Technology Operations LLC Dynamic lidar alignment
US11908164B2 (en) * 2021-07-23 2024-02-20 Embark Trucks Inc. Automatic extrinsic calibration using sensed data as a target
CN113744222B (zh) * 2021-08-26 2024-04-30 江南大学 一种基于内切圆的纱线条干三维建模校准方法
US11909950B1 (en) * 2021-09-21 2024-02-20 Amazon Technologies, Inc. Three-dimensional (3D) sensor performance evaluation
EP4202474A1 (de) * 2021-12-21 2023-06-28 dSPACE GmbH Verfahren und anordnung zum parametrieren einer emulationslogik
CN114543725B (zh) * 2022-01-26 2023-08-18 深圳市云鼠科技开发有限公司 线激光标定方法、装置、设备及存储介质
US11989893B2 (en) * 2022-03-22 2024-05-21 GM Global Technology Operations LLC Methods and systems for camera to lidar alignment using road poles
US20230384434A1 (en) * 2022-05-26 2023-11-30 Guangzhou Xiaopeng Autopilot Technology Co., Ltd. System and method for performing lidar self-calibration and application of same
CN117387572A (zh) * 2022-07-04 2024-01-12 中兴通讯股份有限公司 水平度校验方法、终端和计算机可读存储介质
EP4375699A1 (de) * 2022-11-28 2024-05-29 Kabushiki Kaisha Toshiba Informationsverarbeitungsvorrichtung, informationsverarbeitungssystem und programm
CN116381632B (zh) * 2023-06-05 2023-08-18 南京隼眼电子科技有限公司 雷达横滚角的自标定方法、装置及存储介质
CN117647795A (zh) * 2023-11-28 2024-03-05 无锡中科光电技术有限公司 一种用于激光雷达标定的质控装置及其方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8958057B2 (en) 2006-06-27 2015-02-17 Arete Associates Camera-style lidar setup
US9052721B1 (en) 2012-08-28 2015-06-09 Google Inc. Method for correcting alignment of vehicle mounted laser scans with an elevation map for obstacle detection
US9383753B1 (en) 2012-09-26 2016-07-05 Google Inc. Wide-view LIDAR with areas of special attention
US9866816B2 (en) * 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10127461B2 (en) 2016-08-12 2018-11-13 Here Global B.V. Visual odometry for low illumination conditions using fixed light sources
US10210406B2 (en) * 2016-08-19 2019-02-19 Dura Operating, Llc System and method of simultaneously generating a multiple lane map and localizing a vehicle in the generated map
US20180108150A1 (en) 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US10401501B2 (en) 2017-03-31 2019-09-03 Uber Technologies, Inc. Autonomous vehicle sensor calibration system
US10746858B2 (en) 2017-08-17 2020-08-18 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10775488B2 (en) 2017-08-17 2020-09-15 Uatc, Llc Calibration for an autonomous vehicle LIDAR module
US10843669B2 (en) * 2017-09-28 2020-11-24 Uatc, Llc Sensor control system for autonomous vehicle
US11435456B2 (en) 2017-12-28 2022-09-06 Lyft, Inc. Sensor calibration facility
US11841437B2 (en) 2018-10-12 2023-12-12 Baidu Usa Llc Automatic lidar calibration based on pre-collected static reflection map for autonomous driving

Also Published As

Publication number Publication date
US20210109205A1 (en) 2021-04-15
US11994631B2 (en) 2024-05-28
CN114829979A (zh) 2022-07-29
US20210109204A1 (en) 2021-04-15
JP2022552293A (ja) 2022-12-15
WO2021076569A1 (en) 2021-04-22

Similar Documents

Publication Publication Date Title
DE112020004984T5 (de) Kalibrierung von LiDAR-Sensoren
DE102010013488B4 (de) Vorrichtung und verfahren zum projizieren von grafischen bildern an eine frontscheiben-head-up-anzeige
DE102007021762B4 (de) Straßenumgebungs-Erkennungsvorrichtung und Verfahren zum Erkennen einer Straßenumgebung
DE102010013490B4 (de) Verfahren zum anzeigen einer einen punkt von interesse identifizierenden grafik an einer frontscheiben-head-up-anzeige
DE102010013357B4 (de) Verfahren und System zum Anzeigen einer Grafik eines virtuellen Rückspiegels
DE102010013232B4 (de) Personendetektion tagsüber an HEAD-UP-Anzeige für gesamte Frontscheibe
EP1711371B1 (de) Vorrichtung und verfahren zur leuchtweitenregulierung eines kraftfahrzeugs
DE102010013356B4 (de) Fahrermüdigkeitsalarm an Head-Up-Anzeige für gesamte Windschutzscheibe
DE19503960B4 (de) Optische Radarvorrichtung für Fahrzeuge
EP1628141B1 (de) Triangulationsverfahren mit Laserdioden und einer Mono-Kamera zur Abstandsbestimmung für Stop-and-Go Anwendungen für Kraftfahrzeuge
DE60025816T2 (de) Messung von radwinkeln mit übergangspunkten auf reflektierten laser geraden
DE202016008786U1 (de) Fahrzeugkamerasystem und Bildverarbeitungsvorrichtung
DE102016010985A1 (de) Laser-scanner zur abstandsmessung bei kraftfahrzeugen
WO2012048795A1 (de) Verfahren zum justieren und/oder kalibrieren zumindest eines scheinwerfers eines fahrzeugs
DE102010013224A1 (de) HUD für gesamte Winschutzscheibe eines verbesserten Sichtsytems
DE102010013402A1 (de) Fahrzeug-Fahrzeug-Kommunikationseinrichtung an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102010013401A1 (de) Empfohlene Folgedistanz an Head-Up-Anzeige für gesamte Windschutzscheibe
DE102019102669A1 (de) Zielobjekterfassungsvorrichtung
DE102020215420A1 (de) Verfahren zum Kalibrieren mindestens einer Kamera
DE112020004690T5 (de) Abstandsmesssensor, signalverarbeitungsverfahren und abstandsmessmodul
EP3519858B1 (de) Abtasteinheit einer optischen sende- und empfangseinrichtung einer optischen detektionsvorrichtung eines fahrzeugs
DE60300794T2 (de) Vorrichtung und Verfahren zum Einstellen der Orientierung von wenigstens einem Fahrzeugscheinwerfer
DE102022115267A1 (de) Verfahren zur Ermittlung wenigstens einer Korrekturfunktionen für ein LiDARSystem, LiDAR-System, Fahrzeug mit wenigstens einem LiDAR-System, Messanlage
DE102019117312A1 (de) Bestimmen einer Nickwinkellage eines aktiven optischen Sensorsystems
WO2021023423A1 (de) Lidar-messsystem mit zwei lidar-messvorrichtungen