DE102013017341A1

DE102013017341A1 - Vorrichtung und Verfahren zur Kalibrierung einer Kameraanordnung

Info

Publication number: DE102013017341A1
Application number: DE201310017341
Authority: DE
Inventors: Lars Krüger; Nora von Egloffstein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2013-10-18
Filing date: 2013-10-18
Publication date: 2014-06-18

Abstract

Die Erfindung betrifft eine Vorrichtung (2) zur Kalibrierung einer Kameraanordnung (3), wobei die Kameraanordnung (3) mehrere Einzelkameras (3.1, 3.2) umfasst. Erfindungsgemäß ist im Bereich jeder Einzelkamera (3.1, 3.2) oder an jeder Einzelkamera (3.1, 3.2) zumindest ein Drehraten- und Beschleunigungssensor (2.2, 2.3) angeordnet, mittels welchem Abweichungen (Δ) der entsprechenden Einzelkamera (3.1, 3.2) von einer Solllage (SL) erfassbar sind, wobei bei einer Abweichung (Δ) einer Einzelkamera (3.1, 3.2) von einer Solllage (SL) eine Kalibrierung extrinsischer Parameter (P) der Einzelkamera (3.1, 3.2) ausführbar ist. Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung einer Kameraanordnung (3) mit mehreren Einzelkameras (3.1, 3.2). Erfindungsgemäß werden mittels eines jeweils im Bereich jeder Einzelkamera (3.1, 3.2) oder an jeder Einzelkamera (3.1, 3.2) angeordneten Drehraten- und Beschleunigungssensors (2.2, 2.3) Abweichungen (Δ) der entsprechenden Einzelkamera (3.1, 3.2) von einer Solllage (SL) erfasst, wobei bei einer Abweichung (Δ) einer Einzelkamera (3.1, 3.2) von einer Solllage (SL) eine Kalibrierung extrinsischer Parameter (P) der Einzelkamera (3.1, 3.2) ausgeführt wird.

Description

Die Erfindung betrifft eine Vorrichtung zur Kalibrierung einer Kameraanordnung, wobei die Kameraanordnung mehrere Einzelkameras umfasst.
Die Erfindung betrifft weiterhin ein Verfahren zur Kalibrierung einer Kameraanordnung mit mehreren Einzelkameras.
Aus der JP 06169424 A sind eine Vorrichtung und ein Verfahren zur Korrektur horizontaler, vertikaler und rotatorischer Erschütterungen einer Kameraanordnung bekannt. Zu dieser Korrektur werden Daten eines Winkelsensors sowie eines horizontalen und vertikalen Beschleunigungssensors einer Verarbeitungseinheit zugeführt, welche in Abhängigkeit der mittels des Winkelsensors und der Beschleunigungssensoren erfassten Daten mittels der Kameraanordnung erfasste Bilddaten korrigiert.
Aus der WO 2013/019707 A1 ist eine mehrere Einzelkameras umfassende Kameraanordnung für ein Fahrzeug bekannt, wobei die Einzelkameras an dem Fahrzeug angeordnet sind und in eine Umgebung des Fahrzeugs gerichtete Erfassungsbereiche aufweisen. Ein Großteil der Einzelkameras weist jeweils einen im Bereich der jeweiligen Einzelkamera angeordneten oder mit der jeweiligen Einzelkamera verbundenen Neigungssensor auf, wobei eine Ausrichtung der Einzelkameras automatisch in Abhängigkeit von von den Neigungssensoren gelieferten Daten erfolgt.
Die DE 10 2012 001 858 A1 beschreibt ein Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung zur Umgebungserfassung für ein Fahrzeug, wobei während eines Betriebs der Bilderfassungseinheiten eine Kalibrierung der Bilderfassungseinheiten anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten durchgeführt wird. Bei der Kalibrierung werden die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert werden. Bei der Kalibrierung der Bilderfassungseinheiten wird zusätzlich als extrinsischer Parameter eine relative Orientierung der Bilderfassungseinheiten zueinander zu vorgegebenen Zeitpunkten mittels einer Korrespondenzanalyse ermittelt und berücksichtigt, wobei bei der Korrespondenzanalyse innerhalb von jeweils mittels der Bilderfassungseinheiten erfassten Bilddatensätzen korrespondierende Bildpunkte identifiziert werden.
Der Erfindung liegt die Aufgabe zu Grunde, eine gegenüber dem Stand der Technik verbesserte Vorrichtung und ein verbessertes Verfahren zur Kalibrierung einer Kameraanordnung anzugeben.
Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich des Verfahrens durch die im Anspruch 3 angegebenen Merkmale gelöst.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Die Vorrichtung ist zu einer Kalibrierung einer Kameraanordnung, welche mehrere Einzelkameras umfasst, vorgesehen. Erfindungsgemäß ist im Bereich jeder Einzelkamera oder an jeder Einzelkamera zumindest ein Drehraten- und Beschleunigungssensor angeordnet, mittels welchem Abweichungen der entsprechenden Einzelkamera von einer Solllage erfassbar sind, wobei bei einer Abweichung einer Einzelkamera von einer Solllage eine Kalibrierung extrinsischer Parameter der Einzelkamera ausführbar ist.
Die erfindungsgemäße Vorrichtung ermöglicht in besonders vorteilhafter Weise zu jedem Zeitpunkt eine genaue Kenntnis über die Kalibrierung der Einzelkameras der Kameraanordnung, auch bei einer unmittelbaren Dekalibrierung durch Erschütterung, Vibrationen oder aerodynamische Effekte und stellt somit die eine Funktion und Genauigkeit anschließender Bildverarbeitungsalgorithmen sicher. Die Kalibrierung ist aufgrund der Verwendung der Drehraten- und Beschleunigungssensoren in vorteilhafter Weise auch bei besonders hochfrequenten Erschütterungen, Vibrationen oder aerodynamischen Effekten sehr genau durchführbar. Dabei dienen die mittels der Drehraten- und Beschleunigungssensoren erfassten Daten sowohl als Hinweis dafür, dass eine Kalibrierung eingeleitet werden soll, als auch als absolute Daten, welche kontinuierlich in einem Kalibrierverfahren verwendet werden. Dabei ist aufgrund der Verwendung der Drehraten- und Beschleunigungssensoren eine zusätzliche Informationsquelle gegeben, welche Informationen über eine extrinsische Dekalibrierung der als Multi-Kamera-System ausgebildeten Kameraanordnung liefert. Außerdem ermöglicht eine höhere Abtastrate der Drehraten- und Beschleunigungssensoren eine Aussage über die Bewegung der Einzelkameras noch vor einem Eintreffen eines bei einer Ausbildung der Kameraanordnung als Stereokameraanordnung erfassten Bildpaares im Bildverarbeitungsalgorithmus.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1 schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Kalibrierung einer Kameraanordnung, und
2 schematisch einen Ablauf eines erfindungsgemäßen Verfahrens zur Kalibrierung einer Kameraanordnung.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Fahrzeug 1 mit einem möglichen Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 2 zur Kalibrierung einer an dem Fahrzeug 1 angeordneten Kameraanordnung 3 dargestellt.
Die Kameraanordnung 3 ist als so genanntes Multi-Kamera-System, im dargestellten Ausführungsbeispiel insbesondere als Stereokameraanordnung, ausgebildet und umfasst zwei Einzelkameras 3.1, 3.2, wobei jeweils eine Einzelkamera 3.1, 3.2 in einem Außenspiegel 1.1, 1.2 des Fahrzeugs 1 angeordnet ist. Mittels der Einzelkameras 3.1, 3.2 erfasste Bilddaten werden einer Bildverarbeitungseinheit 3.3 zugeführt und stereoskopisch verarbeitet. Die aus dieser Verarbeitung resultierenden stereoskopischen Bilddaten werden insbesondere zum Betrieb eines oder mehrerer nicht gezeigter Fahrerassistenzsysteme des Fahrzeugs 1 verwendet. Für eine einwandfreie Funktion der Fahrerassistenzsysteme ist es erforderlich, dass die Bilddaten exakt sind. Hierfür ist wiederum eine richtige Kalibrierung der Einzelkameras 3.1, 3.2 zwingend erforderlich.
Das heißt, um eine korrekte Berechnung von dreidimensionalen Positionen aus korrespondierenden Bildpunkten in mittels der Einzelkameras 3.1, 3.2 erfassten Bildern zu berechnen, ist eine genaue Kenntnis einer relativen Transformation der Einzelkameras 3.1, 3.2 zu jedem Zeitpunkt einer Bildaufnahme erforderlich.
Zu einer solchen Kalibrierung der Einzelkameras 3.1, 3.2 umfasst die Vorrichtung 2 eine Auswerteeinheit 2.1 und zwei Drehraten- und Beschleunigungssensoren 2.2, 2.3. Dabei ist jeweils ein Drehraten- und Beschleunigungssensor 2.2, 2.3 unmittelbar an einer Einzelkamera 3.1, 3.2 angeordnet. Alternativ ist auch eine Anordnung der Drehraten- und Beschleunigungssensoren 2.2, 2.3 im Bereich der Einzelkameras 3.1, 3.2 möglich.
Mittels der Auswerteeinheit 2.1 und der Drehraten- und Beschleunigungssensoren 2.2, 2.3 sind gemäß 2 Abweichungen Δ der entsprechenden Einzelkamera 3.1, 3.2 von einer Solllage SL erfassbar, wobei bei einer Abweichung Δ einer Einzelkamera 3.1, 3.2 von einer Solllage SL eine automatische Kalibrierung extrinsischer Parameter der Einzelkamera 3.1, 3.2 durchgeführt wird.
Bei den Drehraten- und Beschleunigungssensoren 2.2, 2.3 handelt es sich jeweils um einen 6-Achsen-Beschleunigungssensor, mittels welchem lineare Beschleunigungen und Drehraten der Einzelkamera 3.1, 3.2 in drei Raumachsen erfassbar sind.
2 zeigt einen Ablauf eines möglichen Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Kalibrierung der Kameraanordnung 3, wobei mittels der Drehraten- und Beschleunigungssensoren 2.2, 2.3 jeweils Abweichungen Δ der entsprechenden Einzelkamera 3.1, 3.2 von einer Solllage SL erfasst werden, wobei bei einer Abweichung Δ einer Einzelkamera 3.1, 3.2 von einer Solllage SL eine Kalibrierung extrinsischer Parameter P der Einzelkamera 3.1, 3.2 ausgeführt wird.
Aufgrund der Kenntnis über die Bewegung B des Fahrzeugs 1 und somit der Kameraanordnung 3 und die Position der Einzelkameras 3.1, 3.2 am Fahrzeug 1 und somit in der Kameraanordnung 3 kann in einem ersten Verfahrensschritt 51 eine auf die Einzelkameras 3.1, 3.2 wirkende Linearbeschleunigung a_linmod als Summe aus der Erdanziehungskraft E, Längsbeschleunigung a_l und Querbeschleunigung a_q modelliert werden.
Anhand einer Abweichung der jeweiligen modellierten Linearbeschleunigung a_linmod von einer mittels des entsprechenden Drehraten- und Beschleunigungssensors 2.2, 2.3 gemessenen Linearbeschleunigung a_lin an der jeweiligen Einzelkamera 3.1, 3.2 wird eine relative Orientierung O_rel der beiden Einzelkameras 3.1, 3.2 zueinander, insbesondere bis auf eine Rotation um eine vertikale Achse, in einem zweiten Verfahrensschritt S2 bestimmt. Die Erdanziehungskraft E bzw. die Schwerkraft wird also als vertikale Referenz in der Kameraanordnung 3 verwendet.
Weiterhin wird anhand einer in einem ersten Zeitschritt bekannten relativen Transformation T_rel der beiden Einzelkameras 3.1, 3.2 anhand einer mittels des Drehraten- und Beschleunigungssensors 2.2, 2.3 erfassten Drehrate φ die relative Orientierung O_rel einer Einzelkamera 3.1, 3.2 zu der anderen Einzelkamera 3.1, 3.2 ermittelt.
Das heißt, anhand der mittels der Drehraten- und Beschleunigungssensoren 2.2, 2.3 erfassten Drehraten φ wird die Rotation R einer Einzelkamera 3.1, 3.2 zwischen zwei Zeitschritten in einem dritten Verfahrensschritt 83 berechnet. Ist eine relative Transformation T_rel der beiden Einzelkameras 3.1, 3.2 im ersten Zeitschritt bekannt, wird die relative Orientierung O_rel der einen Einzelkamera 3.1, 3.2 zur der andere Einzelkamera 3.2, 3.1 im nächsten Zeitschritt durch die Abweichung Δ der Rotationsbewegung der anderen Einzelkamera 3.2, 3.1 berechnet.
Wird eine Abweichung Δ der Einzelkameras 3.1, 3.2 von der Solllage SL in einem vierten Verfahrensschritt S4 ermittelt, wird die Kalibrierung der extrinsischen Parameter P der entsprechenden Einzelkamera 3.1, 3.2 in einem fünften Verfahrensschritt S5 ausgeführt.
Somit werden eine zuverlässige Online-Kalibrierung der Kameraanordnung 3 und eine kontinuierliche Kalibrierung während des Betriebs der Kameraanordnung 3 ermöglicht.
Bezugszeichenliste

1: Fahrzeug
1.1: Außenspiegel
1.2: Außenspiegel
2: Vorrichtung
2.1: Auswerteeinheit
2.2: Drehraten- und Beschleunigungssensor
2.3: Drehraten- und Beschleunigungssensor
3: Kameraanordnung
3.1: Einzelkamera
3.2: Einzelkamera
3.3: Bildverarbeitungseinheit
a_l: Längsbeschleunigung
a_lin: Linearbeschleunigung
a_linmod: modellierte Linearbeschleunigung
a_q: Querbeschleunigung
B: Bewegung
E: Erdanziehungskraft
O_rel: Orientierung
P: extrinsischer Parameter
POS: Position
R: Rotation
SL: Solllage
S1 bis S5: Verfahrensschritt
T_rel: relative Transformation Abweichung Drehrate

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 06169424 A [0003]
WO 2013/019707 A1 [0004]
DE 102012001858 A1 [0005]

Claims

Vorrichtung (2) zur Kalibrierung einer Kameraanordnung (3), wobei die Kameraanordnung (3) mehrere Einzelkameras (3.1, 3.2) umfasst, dadurch gekennzeichnet, dass im Bereich jeder Einzelkamera (3.1, 3.2) oder an jeder Einzelkamera (3.1, 3.2) zumindest ein Drehraten- und Beschleunigungssensor (2.2, 2.3) angeordnet ist, mittels welchem Abweichungen (Δ) der entsprechenden Einzelkamera (3.1, 3.2) von einer Solllage (SL) erfassbar sind, wobei bei einer Abweichung (Δ) einer Einzelkamera (3.1, 3.2) von einer Solllage (SL) eine Kalibrierung extrinsischer Parameter (P) der Einzelkamera (3.1, 3.2) ausführbar ist.
Vorrichtung (2) nach Anspruch 1, dadurch gekennzeichnet, dass der Drehraten- und Beschleunigungssensor (2.2, 2.3) ein 6-Achsen-Beschleunigungssensor ist, mittels welchem lineare Beschleunigungen und Drehraten (φ) in drei Raumachsen erfassbar sind.
Verfahren zur Kalibrierung einer Kameraanordnung (3) mit mehreren Einzelkameras (3.1, 3.2), dadurch gekennzeichnet, dass mittels eines jeweils im Bereich jeder Einzelkamera (3.1, 3.2) oder an jeder Einzelkamera (3.1, 3.2) angeordneten Drehraten- und Beschleunigungssensors (2.2, 2.3) Abweichungen (Δ) der entsprechenden Einzelkamera (3.1, 3.2) von einer Solllage (SL) erfasst werden, wobei bei einer Abweichung (Δ) einer Einzelkamera (3.1, 3.2) von einer Solllage (SL) eine Kalibrierung extrinsischer Parameter (P) der Einzelkamera (3.1, 3.2) ausgeführt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass anhand einer Bewegung (B) der Kameraanordnung (3) und einer Position (POS) der entsprechenden Einzelkamera (3.1, 3.2) in der Kameraanordnung (3) eine auf die Einzelkamera (3.1, 3.2) wirkende Linearbeschleunigung (a_linmod) aus der Erdanziehungskraft (E), einer Längsbeschleunigung (a_l) und einer Querbeschleunigung (a_q) modelliert wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass aus einer Abweichung der modellierten Linearbeschleunigung (a_linmod) und einer mittels des Drehraten- und Beschleunigungssensors (2.2, 2.3) erfassten Linearbeschleunigung (a_lin) eine Orientierung (O_rel) der Einzelkameras (3.1, 3.2) zueinander bestimmt wird.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Erdanziehungskraft (E) als vertikale Referenz verwendet wird.
Verfahren nach Anspruch einem der Ansprüche 4 bis 6, dadurch gekennzeichnet, dass anhand einer in einem ersten Zeitschritt bekannten relativen Transformation (T_rel) zweier Einzelkameras (3.1, 3.2) und anhand einer mittels des Drehraten- und Beschleunigungssensors (2.2, 2.3) erfassten Drehrate (φ) eine relative Orientierung (O_rel) zumindest einer Einzelkamera (3.1, 3.2) zu zumindest einer anderen Einzelkamera (3.2, 3.1) ermittelt wird.