-
Die Erfindung betrifft eine Vorrichtung zur Kalibrierung optischer Sensoren gemäß dem Oberbegriff des Anspruchs 1.
-
Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung optischer Sensoren gemäß dem Oberbegriff des Anspruchs 5.
-
Aus der
DE 10 2012 001 858 A1 ist ein Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung zur Umgebungserfassung für ein Fahrzeug bekannt, wobei während eines Betriebs der Bilderfassungseinheiten eine Kalibrierung der Bilderfassungseinheiten anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten durchgeführt wird. Bei der Kalibrierung werden die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert. Zusätzlich wird bei der Kalibrierung der Bilderfassungseinheiten als extrinsischer Parameter eine relative Orientierung der Bilderfassungseinheiten zueinander zu vorgegebenen Zeitpunkten mittels einer Korrespondenzanalyse ermittelt und berücksichtigt, wobei bei der Korrespondenzanalyse innerhalb von jeweils mittels der Bilderfassungseinheiten erfassten Bilddatensätzen korrespondierende Bildpunkte identifiziert werden.
-
Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung und ein verbessertes Verfahren zur Kalibrierung optischer Sensoren anzugeben.
-
Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich des Verfahrens durch die im Anspruch 5 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Eine Vorrichtung zur Kalibrierung optischer Sensoren ist derart ausgebildet, dass eine relative Orientierung der optischen Sensoren in einer Korrespondenzanalyse von mittels der optischen Sensoren erzeugten und/oder erfassten korrespondierenden Messpunkten ermittelbar ist, wobei die optischen Sensoren ein Kamerasystem umfassen.
-
Erfindungsgemäß umfassen die optischen Sensoren ein Lidarsystem und es ist zumindest eine pigmentierte Messtafel vorgesehen, welche vom Lidarsystem ausgesendete elektromagnetische Strahlung als sichtbares Licht reflektiert. Das Lidarsystem erzeugt auf der zumindest einen pigmentierten Messtafel Messpunkte, welche das Kamerasystem erfasst.
-
Die Vorrichtung ermöglicht eine sehr exakte relative Kalibrierung zwischen dem Lidarsystem und dem Kamerasystem bezüglich ihrer räumlichen Lage. Somit kann bei einer Verwendung des Lidarsystems und des Kamerasystems in einem Fahrzeug eine Zuverlässigkeit von Daten dieser Systeme verwendender Fahrzeugkomponenten signifikant erhöht werden.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch einen Ausschnitt einer Seitenansicht eines Fahrzeugs mit einem Kamerasystem und einem Lidarsystem,
-
2 schematisch eine Seitenansicht des Fahrzeugs gemäß 1 und eine Messtafel,
-
3 schematisch ein mittels des Kamerasystems des Fahrzeugs gemäß 2 erfasstes Bild einer Fahrzeugumgebung und der Messtafel,
-
4 schematisch eine Seitenansicht des Fahrzeugs gemäß 1 und eine pigmentierte Messtafel,
-
5 schematisch ein mittels des Kamerasystems des Fahrzeugs gemäß 4 erfasstes Bild einer Fahrzeugumgebung und der pigmentierten Messtafel,
-
6 schematisch ein mittels des Kamerasystems des Fahrzeugs gemäß 4 bei geringer Umgebungshelligkeit erfasstes Bild der Fahrzeugumgebung und der pigmentierten Messtafel,
-
7 schematisch ein Blockschaltbild einer Vorrichtung zur Kalibrierung optischer Sensoren, und
-
8 schematisch eine mit mehreren zeitlich nacheinander erfassten Messergebnissen durchgeführte Ausgleichsrechnung.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Ausschnitt einer Seitenansicht eines sich auf einer Fahrbahnoberfläche F befindlichen Fahrzeugs 1 mit optischen Sensoren 2, 3 dargestellt, wobei ein optischer Sensor 2 ein Kamerasystem mit einem Erfassungsbereich E1 und ein weiterer optischer Sensor 3 ein Lidarsystem mit einem Erfassungsbereich E2, auch als Scanbereich bezeichnet, ist.
-
Das Kamerasystem umfasst dabei eine beliebige Anzahl von Kameras, welche an unterschiedlichen Positionen am Fahrzeug 1 angeordnet sein können. Die zumindest eine Kamera ist dabei eine Monokamera oder eine Stereokamera, wobei bei mehreren Kameras Mono- und/oder Stereokameras vorhanden sein können, wobei Kameras für Fahrzeuganwendungen insbesondere derart ausgebildet sind, dass diese Signale im infraroten Wellenlängenbereich nicht erfassen. Vielmehr bilden derartige Kameras Farbinformationen ab, aus welchen sich vielfältige Funktionen, wie beispielsweise eine Verkehrszeichenerkennung, eine Spurerkennung, eine Objekterkennung, eine Abblendlicht-/Fernlicht-Steuerung und/oder ein automatisches Notbremssystem, ableiten lassen. In einer möglichen Ausgestaltung ist die zumindest eine Kamera eine so genannte Rolling-Shutter-Kamera.
-
Das Lidarsystem umfasst eine beliebige Anzahl von Lidarsensoren, welche an unterschiedlichen Positionen am Fahrzeug 1 angeordnet sein können. Lidarsensoren für Fahrzeuganwendungen senden und empfangen Signale dabei insbesondere im infraroten Wellenlängenbereich.
-
Die im dargestellten Ausführungsbeispiel gezeigten Positionen und Ausrichtungen des Kamerasystems und des Lidarsystems sind lediglich beispielhaft gewählt.
-
Bei einer Verwendung eines Kamerasystems und eines Lidarsystems in dem Fahrzeug 1 ist eine sehr genaue Justierung und Kalibrierung des Kamerasystems und des Lidarsystems erforderlich, um mittels des Kamerasystems und Lidarsystems eine sehr genaue Umgebungserfassung und somit eine hohe Zuverlässigkeit Daten dieser Systeme verwendender Fahrzeugkomponenten sicherzustellen. Insbesondere ist dabei eine sehr genaue relative Kalibrierung zwischen dem Lidarsystem und dem Kamerasystem bezüglich ihrer räumlichen Lage erforderlich. Werden mehrere Kameras und/oder Lidarsensoren verwendet erfolgt die im Folgenden beschriebene Kalibrierung insbesondere paarweise, d. h. jeweils für ein aus einer Kamera und einem Lidarsensor gebildetes Sensorpaar, wobei sich zur Kalibrierung Erfassungsbereiche E1, E2 der Kamera und des Lidarsensors überlappen müssen.
-
Unter einer Kalibrierung wird dabei vorliegend eine so genannte externe Kalibrierung der Sensoren 2, 3 im Raum, d. h. eine Kalibrierung extrinsischer Parameter der Sensoren 2, 3, verstanden. Bei den extrinsischen Parametern der Sensoren 2, 3 handelt es sich um Parameter, welche durch äußere Einflüsse veränderbar sind. Hierzu zählen insbesondere eine Ausrichtung oder Orientierung der Sensoren 2, 3 zueinander, eine Ausrichtung zum Fahrzeug 1 und eine Ausrichtung zur Umgebung des Fahrzeugs 1.
-
Interne Parameter der Sensoren 2, 3, so genannte intrinsische Parameter, können beispielsweise anhand entsprechender Ausgleichsrechnungen A mitgeschätzt werden. Die intrinsischen Parameter sind durch eine Konstruktion und Eigenschaften der Sensoren 2, 3 selbst vorgegeben. Intrinsische Parameter beschreiben quasi eine innere Geometrie der Sensoren 2, 3, hängen jedoch nicht von den extrinsischen Parametern ab. Zu den intrinsischen Parametern zählen beispielsweise eine Brennweite, eine Verzeichnung, ein Weißabgleich, eine Farbeinstellung und weitere interne Parameter.
-
2 zeigt eine Seitenansicht des Fahrzeugs 1 gemäß 1 und eine Messtafel 4. Die mittels des Lidarsystems ausgesendeten Signale bilden auf der Messtafel 4 und auf der vor dem Fahrzeug 1 befindlichen Fahrbahnoberfläche F Messpunkte M1 bis Mn, welche jedoch vom Kamerasystem nicht erfasst werden.
-
In 3 ist ein mittels des Kamerasystems erfasstes Bild B einer Fahrzeugumgebung dargestellt. Das Bild B zeigt die vor dem Fahrzeug 1 befindliche Fahrbahnoberfläche F sowie die Messtafel 4, nicht jedoch die Messpunkte M1 bis Mn, welche durch Aussendung der Signale des Lidarsystems auf der Messtafel 4 erzeugt werden.
-
4 zeigt eine Seitenansicht des Fahrzeugs 1 gemäß 1 und eine Messtafel 5 und 5 ein mittels des Kamerasystems des Fahrzeugs 1 gemäß 4 erfasstes Bild B der Fahrzeugumgebung mit der Messtafel 5. Die Messtafel 5 weist dabei eine pigmentierte Oberfläche auf. Eine solche Oberfläche wird durch Aufbringen von Pigmenten auf die Messtafel 5 erzeugt, wobei die Pigmente derart ausgebildet sind, dass diese von dem Lidarsystem ausgesendete infrarote Strahlung als Strahlung im sichtbaren Spektrum, d. h. als sichtbares Licht, reflektiert.
-
Hierdurch wird ermöglicht, dass mittels des Lidarsystems auf der pigmentierten Messtafel 5 erzeugte Messpunkte M1 bis M8 vom Kamerasystem erfasst werden und somit auf dem erfassten Bild B sichtbar sind. Daraus resultiert wiederum die Möglichkeit, dass Korrespondenzen zwischen den mittels des Lidarsystems erzeugten Messpunkten M1 bis M8 und in dem Bild B von der Kamera erfassten Messpunkten M1' bis M8' ermittelt werden können. Dabei wird in einer solchen Korrespondenzanalyse anhand der korrespondierenden Messpunkte M1 bis M8; M1' bis M8' eine relative Orientierung des Kamerasystems zum Lidarsystem und umgekehrt ermittelt. Dabei wird eine in 8 näher dargestellte Transformationsmatrix T, in welcher ein in 7 näher dargestelltes Koordinatensystem K2 des Lidarsystems in ein ebenfalls in 7 dargestelltes Koordinatensystem K1 des Kamerasystems oder umgekehrt transformiert ist, erzeugt.
-
Durch Erzeugung dieser Transformationsmatrix T und der anhand dieser durchgeführten Korrespondenzanalyse kann gegenüber aus dem Stand der Technik bekannten Verfahren und Vorrichtungen, bei welchen unterschiedliche Sensoren 2, 3 anhand von mittels der unterschiedlichen Sensoren 2, 3 gleichzeitig detektierbaren Markern oder Messaufbauten unabhängig voneinander auf ein Fahrzeugkoordinatensystem mit der Gefahr einer Aufakkumulation von Fehlern kalibriert bzw. referenziert werden, eine sehr hohe Genauigkeit bei der Kalibrierung der Sensoren 2, 3 realisiert werden.
-
Abweichend von der dargestellten Verwendung einer Messtafel 5 können in nicht näher dargestellten Ausführungsbeispielen auch mehrere pigmentierte Messtafeln 5 verwendet werden.
-
Weiterhin ist es möglich, Kamerasysteme mit Kameras zu verwenden, welche Signale im infraroten Wellenlängenbereich erfassen können. Hierbei kann die Pigmentierung der Messtafel 5 entfallen.
-
In 6 sind ein mittels des Kamerasystems des Fahrzeugs 1 gemäß 4 bei geringer Umgebungshelligkeit erfasstes Bild B der Fahrzeugumgebung und die pigmentierte Messtafel 5 dargestellt. Eine Erfassung des Bildes B und eine Durchführung der Kalibrierung bei geringer Umgebungshelligkeit ermöglicht auch dann eine sehr genaue Kalibrierung, wenn die von der pigmentierten Messtafel 5 reflektierten, d. h. vom Kamerasystem erfassten, Messpunkte M1' bis M8' lediglich eine geringe Helligkeit aufweisen, da sich bei geringer Umgebungshelligkeit ein Kontrast der Messpunkte M1' bis M8' auf der pigmentierten Messtafel 5 erhöht.
-
Eine solche Erfassung ist insbesondere bei einer Verwendung von Kamerasystemen mit Kameras, welche Signale im infraroten Wellenlängenbereich erfassen können, aufgrund der Erhöhung des Kontrastes vorteilhaft.
-
7 zeigt ein Blockschaltbild eines möglichen Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung 6 zur Kalibrierung der optischen Sensoren 2, 3.
-
Dabei weist der als Kamerasystem ausgebildete Sensor 2 das Koordinatensystem K1 mit den Koordinaten x, y, z auf, wobei die Koordinate z nur dann vorhanden ist, wenn die Kamera des Kamerasystems eine Stereokamera ist. Die Kamera ist im vorliegenden Ausführungsbeispiel eine so genannte Rolling-Shutter-Kamera.
-
Der als Lidarsystem ausgebildete Sensor 3 weist das Koordinatensystem K2 mit den Koordinaten x, y, z auf, wobei das Lidarsystem einen scannenden Lidarsensor mit einem Erfassungsbereich E2, auch als Scanbereich bezeichnet, mit mehreren Erfassungsebenen, auch als Scanebenen bezeichnet, umfasst.
-
Das mittels der Vorrichtung 6 ausgeführte Verfahren zur Kalibrierung der Sensoren 2, 3 wird im Folgenden anhand einer Erzeugung und Erfassung eines Messpunktes M1, M1' in einer Scanebene auf der pigmentierten Messtafel 5 beschrieben, wobei die Kalibrierung der Sensoren 2, 3 anhand der in weiteren Scanebenen vom Lidarsensor erzeugten Messpunkte M2 bis Mn und von der Kamera erfassten Messpunkte M2' bis M8' analog erfolgt.
-
Da der Messpunkt M1' zu einer anderen Zeit t von der Kamera erfasst, als der Messpunkt M1 vom Lidarsensor erzeugt wird, wird zu einer Sicherstellung einer richtigen Zuordnung des erfassten Messpunktes M1' zu dem gesendeten Messpunkt M1 ein Zeitgeber 7, auch als Timer bezeichnet, verwendet, welcher ermöglicht, den im mittels der Rolling-Shutter-Kamera erfassten Bild B erfassten Messpunkt M1' und den mittels des Lidarsensors erzeugten Messpunkt M1 anhand von Erzeugungs- und Erfassungszeitpunkten miteinander in Korrespondenz zu setzen, d. h. zu synchronisieren. Dabei erzeugt der Zeitgeber 7 einen Zeitstempel St, welchem Messergebnisse ME, ME' des Lidarsensors und der Kamera als Zeit t, d. h. als Erzeugungs- und Erfassungszeitpunkt, hinzugefügt werden. Des Weiteren umfassen die Messergebnisse ME, ME' jeweils die ermittelten Koordinaten x, y, z des zugehörigen Messpunktes M1, M1'.
-
Um eine qualitativ hochwertige, d. h. sehr exakte, Kalibrierung zu ermöglichen, wird die Kalibrierung derart durchgeführt, dass ein Kalibrierraum einem Messraum entspricht.
-
In 8 ist eine mit mehreren zeitlich nacheinander ermittelten Messergebnissen ME0 bis MEn des Lidarsensors und Messergebnissen ME0' bis MEn' der Kamera durchgeführte Ausgleichsrechnung A dargestellt, welche während eines Vorbeifahrens des Fahrzeugs 1 an mehreren Messtafeln 5 zu unterschiedlichen Zeitpunkten t0 bis tn ermittelt wurden.
-
Dies wird durch die Hinzufügung des Zeitstempels St zu den Messergebnissen ME0 bis MEn des Lidarsensors und Messergebnissen ME0' bis MEn' der Kamera durch den Zeitgeber 7 ermöglicht. Dabei kann das Vorbeifahren auch dynamisch, d. h. bei nicht konstanter Geschwindigkeit und/oder bei unterschiedlichen Abständen zwischen den Messtafeln 5, erfolgen. Unterschiedliche Scaneffekte und Rolling-Shutter-Effekte sind somit für die Messergebnisse ME0 bis MEn des Lidarsensors und Messergebnisse ME0' bis MEn' der Kamera sowie daraus folgend für die Kalibrierung unproblematisch. Somit ist es auch möglich, Messungen in unterschiedlichen Entfernungen zu einer Messtafel 5 oder zu mehreren Messtafeln 5 während des Vorbeifahrens durchzuführen und für die Kalibrierung zu verwenden.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Sensor
- 3
- Sensor
- 4
- Messtafel
- 5
- Messtafel
- 6
- Vorrichtung
- 7
- Zeitgeber
- A
- Ausgleichsrechnung
- B
- Bild
- E1, E2
- Erfassungsbereich
- F
- Fahrbahnoberfläche
- K1, K2
- Koordinatensystem
- M1 bis Mn
- Messpunkt
- M1' bis M8'
- Messpunkt
- ME, ME'
- Messergebnis
- ME0 bis MEn
- Messergebnis
- ME0' bis MEn'
- Messergebnis
- St
- Zeitstempel
- T
- Transformationsmatrix
- t
- Zeit
- t0 bis tn
- Zeitpunkt
- x, y, z
- Koordinate
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012001858 A1 [0003]
