-
Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Sensors.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung des Verfahrens.
-
Aus der
DE 10 2007 024 638 A1 sind ein Verfahren und eine Vorrichtung zur Kalibrierung eines Multikamerasystems bekannt, wobei das Multikamerasystem mindestens eine im Nahinfrarotbereich empfindliche erste Kamera und mindestens eine im Ferninfrarotbereich empfindliche zweite Kamera mit voneinander verschiedener Position umfasst. Im Verfahren wird ein mit einem aus aneinandergrenzenden hellen Teilflächen und dunklen Teilflächen gebildeten Muster, welches als Schachbrettmuster ausgebildet ist, versehener Kalibrierkörper im Sichtfeld jeder der Kameras positioniert. Zumindest in Teilen werden die dunklen oder aber die hellen Teilflächen beheizt oder gekühlt und für mindestens eine Aufnahme des Kalibrierkörpers jeder der Kameras werden Kreuzungspunkte des Schachbrettmusters und ein durch die Kreuzungspunkte bestimmter Graph ermittelt. Anhand des Graphen und einer bekannten Geometrie des Kalibrierkörpers wird eine dreidimensionale Position der Kamera zum Kalibrierkörper geschätzt. Durch Projektion eines der Graphen einer der Kameras auf einen anderen der Graphen mindestens einer anderen der Kameras werden intrinsische Parameter und/oder extrinsische Parameter mindestens einer der Kameras bestimmt. Weiterhin wird jeweils eine Transformation eines Koordinatensystems einer der Kameras in ein Koordinatensystem einer anderen der Kameras ermittelt.
-
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung eines Sensors und eine verbesserte Vorrichtung zur Durchführung des Verfahrens anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die in Anspruch 4 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Kalibrierung eines Sensors werden erfindungsgemäß der Sensor und ein Referenzsensor in einer definierten Bewegung relativ zu zumindest einem Kalibrierobjekt bewegt, welches mittels des Sensors und des Referenzsensors anhand von Sensormessdaten und Referenzsensormessdaten erfasst wird, wobei ein Eingangszeitpunkt der Sensormessdaten in eine Datenverarbeitungseinheit erfasst wird und aus einer Zeitdifferenz zwischen dem Eingangszeitpunkt und einem bekannten Referenzsensor-Aufnahmezeitpunkt der Referenzsensormessdaten ein Sensor-Aufnahmezeitpunkt der Sensormessdaten ermittelt wird.
-
Aus dem erfindungsgemäßen Verfahren ergibt sich in besonders vorteilhafter Weise, dass auch Sensor-Aufnahmezeitpunkte so genannter nicht-triggerbarer Sensoren, wie beispielsweise nicht-triggerbaren Radarsensoren, Kameras, Laserscannern und Sensoren eines Elektronischen Stabilitätsprogramms eines Fahrzeugs, in einfacher und zuverlässiger Art und Weise ermittelt werden können, so dass die Sensoren zeitlich synchronisiert werden können. Somit ist es insbesondere bei einer Anwendung des Verfahrens in einem Fahrzeug möglich, für Brems- und Ausweichfunktionen eine sehr genaue Angabe von Kollisionszeitpunkten, Bremszeitpunkten, Lenkzeitpunkten und Zeitpunkten, zu denen das Fahrzeug eine Fahrspur überquert, zur Verfügung zu stellen. Aufgrund dieser zur Verfügung stehenden Daten ist basierend auf einer Situationsanalyse eine präzise Steuerung von automatischen Warn-, Brems- und Lenkeingriffen im Rahmen von Fahrerassistenzsystemen durchführbar.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch Bestandteile einer Vorrichtung zur Kalibrierung von Sensoren,
-
2 schematisch ein Mess- und Laufzeitverhalten eines Sensors,
-
3 schematisch eine weitere Darstellung des Mess- und Laufzeitverhaltens gemäß 2,
-
4 schematisch ein Kalibrierobjekt,
-
5 schematisch das Kalibrierobjekt und mittels der Bestandteile der Vorrichtung gemäß 1 erfasste Sensormessdaten und Referenzsensormessdaten,
-
6 schematisch die Sensormessdaten und Referenzsensormessdaten gemäß 5 sowie eine Übertragungszeit und
-
7 schematisch ein Mess- und Laufzeitverhalten des Sensors und des Referenzsensors sowie eine Berücksichtigung der Übertragungszeit.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 sind Bestandteile einer Vorrichtung zur Kalibrierung von zwei Sensoren 1, 2 dargestellt. Die Vorrichtung umfasst einen Referenzsensor 3, eine Synchronisationseinheit 4 und eine Datenverarbeitungseinheit 5. Weiterhin umfasst die Vorrichtung ein in den 4 und 5 näher dargestelltes Kalibrierobjekt 6. Die Sensoren 1, 2 und der Referenzsensor 3 sind insbesondere Bestandteil eines nicht gezeigten Fahrzeugs und zum Betrieb von Fahrerassistenzsystemen vorgesehen.
-
Bei einem ersten Sensor 1 handelt es sich im dargestellten Ausführungsbeispiel um eine nicht triggerbaren Radarsensor. Bei einem zweiten Sensor 2 handelt es sich um einen nicht triggerbare Kamera. Alternativ können die Sensoren 1, 2 auch andere Sensoren, beispielsweise nicht triggerbare Laserscanner oder nicht triggerbare Sensoren eines Elektronischen Stabilitätsprogramms eines Fahrzeugs sein. Unter einem nicht triggerbaren Sensor 1, 2 wird dabei ein Sensor 1, 2 verstanden, dessen in 2 dargestellte Sensor-Aufnahmezeitpunkte tA von in den 5 und 6 näher dargestellten Sensormessdaten SD1, SD2 nicht direkt bestimmt werden können.
-
Der Referenzsensor 3 ist dagegen eine triggerbare Kamera, deren ebenfalls in 2 dargestellte Referenzsensor-Aufnahmezeitpunkte RtA von in den 5 und 6 näher dargestellten Referenzsensormessdaten RD direkt bestimmt werden können und/oder bekannt sind. Alternativ oder zusätzlich kann der Referenzsensor 3 auch ein anderer triggerbarer Sensor sein. Die Referenzsensor-Aufnahmezeitpunkte RtA liegen dabei mit hoher Genauigkeit vor, da die Referenzsensormessdaten RD mit Zeitstempeln versehen sind, welche GPS-genau erfasst werden. Hierzu weist die Synchronisationseinheit 4 Mittel zum Empfang und zum Senden von GPS-Daten auf.
-
Die Zeitstempel werden von der Synchronisationseinheit 4 an die Datenverarbeitungseinheit 5 übertragen. Weiterhin wird der Referenzsensor 3 von der Synchronisationseinheit 4 getriggert. Von dem Referenzsensor 3 erfasste Bilder BR des Kalibrierobjektes 6 werden ebenfalls an die Datenverarbeitungseinheit 5 übertragen, wobei den Bildern BR von der Datenverarbeitungseinheit 5 der jeweilige Zeitstempel, d. h. der jeweilige Referenzsensor-Aufnahmezeitpunkt RtA, zugewiesen wird. Somit liegt ein exakter und GPS-synchronisierter Aufnahmezeitpunkt des mittels des Referenzsensors 3 erfassten Bildes BR vor.
-
Auch mittels der Sensoren 1, 2 werden Bilder BS1, BS2 des Kalibrierobjektes 6 erfasst und der Datenverarbeitungseinheit 5 zugeführt. Die Sensoren 1, 2 sind dabei so genannte freilaufende Sensoren, welche mehrere Bilder BS1, BS2 periodisch nacheinander erfassen. Zu diesem Zweck weisen die Sensoren 1, 2 jeweils eine interne Uhr auf. Da die Sensor-Aufnahmezeitpunkte tA der Sensoren 1, 2 nicht direkt bestimmt werden können, liegen lediglich Eingangszeitpunkte t ~'A1, t ~'A2, zu welchen die Sensormessdaten SD1, SD2 in der Datenverarbeitungseinheit 5 eingehen, vor.
-
2 zeigt ein Mess- und Laufzeitverhalten am Beispiel des Sensors 1, wobei die folgenden Ausführungen auch auf den Sensor 2 anwendbar sind. Auf einer ersten Zeitachse u1, welche eine Zeitachse der internen Uhr des Sensors 1 ist, sind die Sensor-Aufnahmezeitpunkte tA abgetragen, wobei die Sensor-Aufnahmezeitpunkte tA nicht direkt erfassbar sind und die gesuchte Größe darstellen. Aufgrund der periodischen Erfassung mittels des Sensors 1 ist zwischen den Sensor-Aufnahmezeitpunkten tA jeweils eine Zeitperiode Δt ausgebildet. Die Zeitperiode Δt weist beispielsweise eine Dauer von 60 ms auf. Alternativ sind beliebige andere Dauern möglich.
-
Auf einer zweiten Zeitachse u2, welche eine Zeitachse einer internen Uhr der Datenverarbeitungseinheit 5 ist, sind die Eingangszeitpunkte t ~'A1 und zwischen den Eingangszeitpunkten t ~'A1 ausgebildete und erfassbare Zeitperioden Δ ~t' abgetragen. Die interne Uhr der Datenverarbeitungseinheit 5 ist ebenfalls GPS-synchronisiert und somit sehr exakt.
-
Dabei ergeben sich die Eingangszeitpunkte t ~'A1 gemäß t ~'A1 = tA + Δτ [1] aus dem jeweiligen Sensor-Aufnahmezeitpunkt tA und einer Zeitdifferenz Δτ, welcher eine Übertragungszeit zwischen dem Eingangszeitpunkt t ~'A1 und dem realen Sensor-Aufnahmezeitpunkt tA ist. Das heißt, die Sensormessdaten SD1 kommen verspätet nach dem jeweiligen Sensor-Aufnahmezeitpunkt tA in der Datenverarbeitungseinheit 5 an.
-
Die Zeitdifferenz Δτ setzt sich gemäß Δτ = Δτproc + Δτtrans + Δτbuff + Δτsched [2] aus einer Verarbeitungszeit Δτproc im Sensor 1, einer Transferzeit Δτtrans, einer Verweilzeit Δτbuff im Buffer und einer Zeit Δτsched, in welcher einer jeweiliger Verarbeitungsprozess innerhalb der Datenverarbeitungseinheit 5 Rechenzeit zuerkannt bekommt, zusammen.
-
Zur Ermittlung des Sensor-Aufnahmezeitpunktes tA wird die Zeitdifferenz Δτ ermittelt.
-
Die interne Uhr des Sensors 1 ist sehr exakt, kann jedoch gegenüber der internen Uhr der Datenverarbeitungseinheit 5 driften. Weiterhin schwanken – auch als Jittern bekannt – die erfassbaren Zeitperioden Δ ~t'. Aus diesem Grund wird eine Größe der erfassbaren Zeitperiode Δ ~t' geschätzt. Diese Schätzung wird vorzugsweise mit einem Kalman-Filter durchgeführt, so dass sich eine geschätzte Zeitperiode Δt'' ergibt.
-
In 3 ist eine weitere Darstellung des Mess- und Laufzeitverhaltens des Sensors 1 dargestellt, wobei zur Ermittlung der Zeitdifferenz Δτ die geschätzte Zeitperiode Δ ~t'' verwendet wird.
-
Dabei wird zunächst auf einer dritten Zeitachse u3 ein Anker A1 gesetzt, welcher einen Basisanker, d. h. einen Ausgangspunkt bildet. Der Anker A1 entspricht einem Eingangszeitpunkt t ~'A1. Anschließend wird die geschätzte Zeitperiode Δ ~t'' zeitlich nach dem Anker A1 auf der dritten Zeitachse u3 abgetragen. Ist die erfasste Zeitperiode Δ ~t' größer als die geschätzte Zeitperiode Δ ~t'', wird der Eingangszeitpunkt t ~'A1 auf der dritten Zeitachse u3 zeitlich zurückversetzt und an das Ende der geschätzten Zeitperiode Δ ~t'' gesetzt. Dies erfolgt solange, bis die erfasste Zeitperiode t' kleiner ist als die geschätzte Zeitperiode Δ ~t''. In diesem Fall wird der Eingangszeitpunkt t ~'A1 von der zweiten Zeitachse u2 auf die dritte Zeitachse u3 übertragen und es wird ein weiterer Anker A2 gesetzt.
-
Ausgehend vom weiteren Anker A2 werden die beschriebenen Schritte solange durchgeführt, bis sich eine zeitliche Differenz zwischen weiteren nicht gezeigten Ankern und dem Beginn der geschätzten Zeitperiode Δ ~t'' nicht mehr ändert. Zu diesem Zeitpunkt liegt eine optimale Übertragungsfunktion mit einer minimalen Zeitdifferenz Δτ vor, wobei jedoch weder die minimale Zeitdifferenz Δτ noch die dazu gehörige Übertragungsfunktion bekannt sind.
-
Zur Ermittlung der Zeitdifferenz Δτ werden deshalb der Sensor 1 und der Referenzsensor 3 weiterhin in einer definierten Bewegung relativ zu dem Kalibrierobjekt 6 bewegt.
-
4 zeigt dieses Kalibrierobjekt 6, wobei das Kalibrierobjekt 6 eine Fläche 6.1 mit einem aus aneinandergrenzenden hellen Teilflächen und dunklen Teilflächen gebildeten Muster umfasst, wobei das Muster als ein Schachbrettmuster ausgebildet ist. Diese Fläche 6.1 dient als Zielobjekt, welches von dem als Kamera ausgebildeten Referenzsensor 3 und dem zweiten Sensor 2 erfasst wird und ein exaktes Punktziel für den Referenzsensor 3 und den zweiten Sensor 2 bildet.
-
Das Kalibrierobjekt 6 umfasst weiterhin einen Winkelreflektor, welcher auch als Cornerreflektor bekannt ist und welcher für den als Radarsensor ausgebildeten ersten Sensor 1 ein exaktes Punktziel bildet.
-
Handelt es sich bei den Sensoren 1, 2 und dem Referenzsensor 3 um abweichende Sensoren, ist das Kalibrierobjekt 6 entsprechend angepasst ausgebildet.
-
Die definierte Bewegung der Sensoren 1, 2 und des Referenzsensors 3 wird insbesondere als eine Fahrt mittels des Fahrzeugs durchgeführt, wobei das Fahrzeug während der Fahrt in Schlangenlinien in Richtung des Kalibrierobjektes 6 bewegt wird.
-
Dies ist in 5 schematisch dargestellt. Während der Bewegung werden mittels der Sensoren 1, 2 die Sensormessdaten SD1, SD2 erfasst. Gleichzeitig erfasst der Referenzsensor 3 die Referenzsensormessdaten RD.
-
Die Sensormessdaten SD1, SD2 und die Referenzsensordaten RD werden jeweils als charakteristische Kurve in ein zweidimensionales Koordinatensystem übertragen, wobei auf einer x-Achse des Koordinatensystems die Zeit t und auf der y-Achse Amplituden Y, Z der Sensormessdaten SD1, SD2 und eine Amplitude X der Referenzsensordaten RD abgetragen werden. Die Amplituden X, Y, Z stellen dabei einen Anfahrtswinkel der Sensoren 1, 2 und des Referenzsensors 3 auf das Kalibrierobjekt 6 dar. Mit anderen Worten: Die Amplituden X, Y, Z resultieren aus der Bewegung der mittels des Kalibrierobjektes 6 gebildeten exakten Punktziele in den in 1 dargestellten Bildern BS1, BS2, BR.
-
Die Amplitude X der Referenzsensordaten RD ergibt sich gemäß X = {xt:t ∊ TRD [3] mit:
- xt
- = zeitlicher Verlauf der Amplitude X,
- TRD
- = auf Referenzsensordaten RD bezogene Zeit.
-
Die Amplituden Y und Z der Sensordaten SD1, SD2 ergeben sich gemäß Y = {yt:t ∊ TSD1} [4] und Z = {zt:t ∊ TSD2} [5] mit:
- yt
- = zeitlicher Verlauf der Amplitude Y,
- zt
- = zeitlicher Verlauf der Amplitude Z,
- TSD1
- = auf Sensordaten SD1 bezogene Zeit,
- TSD2
- = auf Sensordaten SD2 bezogene Zeit.
-
Als Ankunftszeit der Sensordaten SD1 des Sensors 1 werden die Eingangszeitpunkte t ~'A1 der Sensordaten SD1 in der Datenverarbeitungseinheit 5 verwendet, für die Sensordaten SD1 des Sensors 2 deren Eingangszeitpunkte t ~'A2 in der Datenverarbeitungseinheit 5.
-
Die aus dem Sensordaten SD1, SD2 und den Referenzsensordaten RD gebildeten Kurven unterscheiden sich aufgrund der charakteristischen Schlangenfahrt nur durch eine zeitlich Verschiebung, welche durch die Zeitdifferenz Δτ wiedergegeben wird. Die zeitliche Verschiebung wird durch unterschiedlich lange Verarbeitungszeiten der Sensoren 1, 2 verursacht.
-
Aufgrund der Ausbildung der Kurven ähnlich zu Sinussignalen mit unterschiedlicher Phasenlage aber gleicher Frequenz werden die einzelnen Kurven der Sensordaten SD1, SD2 und der Referenzsensordaten RD in einer so genannten Matchingoperation übereinandergelegt.
-
Dieser Vorgang ist in 6 dargestellt. Während der Matchingoperation wird ein Abgleich der Amplituden X, Y, Z, d. h. von Minima und Maxima der Sensormessdaten SD1, SD2 sowie der Referenzsensormessdaten RD und/oder eine Kreuzkorrelation der Zeitstempel, d. h. des Eingangszeitpunktes t ~'A1 und des Referenzsensor-Aufnahmezeitpunktes RtA durchgeführt.
-
Während der Matchingoperation wird im dargestellten Ausführungsbeispiel eine Kovarianzfunktion gebildet, wobei durch die Bildung eines Maximums der Kovarianzfunktion die Zeitdifferenz Δτ ermittelt wird.
-
Im Folgenden wird die Bildung der Kovarianzfunktion und die Ermittlung der Zeitdifferenz Δτ zwischen dem Sensorsignal SD1 des ersten Sensors 1 und dem Referenzsensorsignal RD beschrieben, wobei die Bildung der Kovarianzfunktion und die Ermittlung der Zeitdifferenz Δτ zwischen dem Sensorsignal SD2 des zweiten Sensors 2 und dem Referenzsensorsignal RD analog erfolgt.
-
Die Kovarianzfunktion ρ
X,Y ergibt sich gemäß:
mit:
- σXund σY
- = Standardabweichung.
-
Die Zeitdifferenz Δτ wird durch Bildung des Maximums der Kovarianzfunktion ρX,Y gemäß Δτ = argmaxδt{ρX,Y(δt)} [7] mit dem Verschiebungsparameter δt ermittelt. Das Maximum tritt an der Position auf, an welcher die Kurven der Amplituden X, Y, Z am besten übereinstimmen.
-
Somit ist die Zeitdifferenz Δτ für alle Sensoren 1, 2 bestimmbar.
-
7 zeigt wiederum eine Darstellung des Mess- und Laufzeitverhaltens des Sensors 1. Aufgrund der Kenntnis der Zeitdifferenz Δτ und der geschätzten Zeitperiode Δ ~t'' sind die Sensor-Aufnahmezeitpunkte tA ermittelbar. Mit anderen Worten: Es werden anhand der Referenzsensordaten RD die exakten Sensor-Aufnahmezeitpunkte tA für die nicht triggerbaren Sensoren 1, 2 ermittelt. Dies ist möglich, da die nicht beobachtbare Dauer zwischen tatsächlichem Sensor-Aufnahmezeitpunkt tA und dem Eingangszeitpunkt t ~'A1 in der Datenverarbeitungseinheit 5 in Form der Zeitdifferenz Δτ bestimmt werden kann. Diese Zeitdifferenz Δτ wird als konstante Größe von den Eingangszeitpunkten t ~'A1, d. h. den Zeitstempeln der Datenverarbeitungseinheit 5, subtrahiert.
-
Somit wird aus der Zeitdifferenz Δτ zwischen dem Eingangszeitpunkt t ~'A1 und dem bekannten Referenzsensor-Aufnahmezeitpunktes RtA der Referenzsensormessdaten RD der Sensor-Aufnahmezeitpunkt tA der Sensormessdaten SD1, SD2 ermittelt.
-
Bezugszeichenliste
-
- 1
- Sensor
- 2
- Sensor
- 3
- Referenzsensor
- 4
- Synchronisationseinheit
- 5
- Datenverarbeitungseinheit
- 6
- Kalibrierobjekt
- 6.1
- Fläche
- 6.2
- Winkelreflektor
- A1
- Anker
- A2
- Anker
- BR
- Bild
- BS1
- Bild
- BS2
- Bild
- RD
- Referenzsensormessdaten
- RtA
- Referenzsensor-Aufnahmezeitpunkt
- SD1
- Sensormessdaten
- SD2
- Sensormessdaten
- t
- Zeit
- tA
- Sensor-Aufnahmezeitpunkt
- t ~'A1
- Eingangszeitpunkt
- t ~'A2
- Eingangszeitpunkt
- u1
- erste Zeitachse
- u2
- zweite Zeitachse
- u3
- dritte Zeitachse
- X
- Amplitude
- Y
- Amplitude
- Z
- Amplitude
- Δt
- Zeitperiode
- Δ ~t'
- Zeitperiode
- Δ ~t''
- geschätzt Zeitperiode
- Δτ
- Zeitdifferenz
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102007024638 A1 [0003]