DE102007024638A1

DE102007024638A1 - Verfahren und Vorrichtung zur Kalibrierung eines Multikamerasystems

Info

Publication number: DE102007024638A1
Application number: DE102007024638A
Authority: DE
Inventors: Otto Dr.-Ing. Löhlein; Dietmar Pollinger; Werner Dr.Rer.Nat. Ritter; Axel Dipl.-Inform. Roth; Roland Dipl.-Inform. Schweiger
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2007-05-24
Filing date: 2007-05-24
Publication date: 2008-01-10

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Multikamerasystems, umfassend mindestens eine im Nahinfrarotbereich empfindliche erste Kamera und mindestens eine im Ferninfrarotbereich empfindliche zweite Kamera mit voneinander verschiedener Position, bei dem ein mit einem aus hellen Teilflächen (1.2) und dunklen Teilflächen (1.1) gebildeten Schachbrettmuster versehener Kalibrierkörper (1) im Sichtfeld jeder der Kameras positioniert wird, wobei die dunklen Teilflächen (1.1) beheizt werden, dass für mindestens eine Aufnahme des Kalibrierkörpers (1) jeder der Kameras Kreuzungspunkte des Schachbrettmusters und ein durch die Kreuzungspunkte bestimmter Grapf ermittelt werden, dass anhand des Graphen und einer bekannten Geometrie des Kalibrierkörpers (1) eine dreidimensionale Position der Kamera zum Kalibrierkörper (1) geschätzt wird, dass durch Projektion eines der Graphen einer der Kameras auf einen anderen der Graphen mindestens einer anderen der Kameras intrinsische Parameter und/oder extrinsische Parameter mindestens einer der Kameras bestimmt werden und jeweils eine Transformation eines Koordinatensystems (A, B) einer der Kameras in ein Koordinatensystem (B, A) einer anderen der Kameras ermittelt wird.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Multikamerasystems.
Multikamerasysteme werden beispielsweise in Fahrzeugen eingesetzt, um die räumliche Struktur oder die Lage von Objekten zu erkennen und so gegebenenfalls eine Verkehrssituation zu erfassen. Voraussetzung für eine möglichst genaue Lokalisierung eines Objekts ist, dass Parameter der Kameras bekannt sind, die eine Transformation einer Aufnahme einer Kamera in eine Aufnahme einer anderen Kamera ermöglicht. Sind beide Kameras im gleichen Wellenlängenbereich empfindlich, können diese Parameter und Transformationsvorschriften durch eine Kalibrierung mit einem im Sichtfeld der Kameras positionierten Kalibrierkörper ermittelt werden.
Für Kameras, die im Bereich des sichtbaren Lichts empfindlich sind, ist ein solcher Kalibrierkörper in der DE 103 32 161 A1 beschrieben worden. Der Kalibrierkörper weist dabei ein schachbrettartiges Muster auf. Sollen jedoch Kameras in einem Multikamerasystem miteinander kombiniert werden, die für unterschiedliche, einander nicht überlappende Wellenlängenbereiche empfindlich sind, beispielsweise Ferninfrarot und Nahinfrarot, wird bislang für jede der Kameras jeweils ein eige ner Kalibrierkörper benötigt. Die Aufnahmen der Kalibrierkörper müssen nacheinander erfolgen, wobei die Kalibrierkörper exakt gleich positioniert werden müssen. Jede Abweichung der Position wirkt sich als Ungenauigkeit der Parameter der Kameras und der daraus abgeleiteten Transformationsvorschriften aus, so dass auch eine zu bestimmende Lage oder räumliche Struktur eines Objekts entsprechend ungenau wird.
Es ist daher eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Kalibrierung eines Multikamerasystems anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
Bei einem erfindungsgemäßen Verfahren zur Kalibrierung eines Multikamerasystems, das mindestens eine im Nahinfrarotbereich empfindliche erste Kamera und mindestens eine im Ferninfrarotbereich empfindliche zweite Kamera mit voneinander verschiedener Position umfasst, wird ein mit einem aus hellen und dunklen Teilflächen gebildeten Schachbrettmuster versehener Kalibrierkörper im Sichtfeld jeder der Kameras positioniert. Die dunklen Teilflächen werden beheizt, insbesondere auf eine Temperatur zwischen 40 °C und 60 °C, vorzugsweise 50 °C. In Gegensatz zu einer Beheizung der Teilflächen ist es sehr wohl auch denkbar die Teilflächen zu kühlen. Wichtig ist nur, dass ein von wenigstens einem Kamerasensor wahrnehmbarer Temperaturunterschied zwischen den dunklen und den hellen Teilflächen vorherrscht.
Selbstverständlich ist es sehr wohl denkbar alternativ zu den dunklen Teilfläche die hellen Teilflächen zu beheizen bzw. zu kühlen. Oder die einen zu kühlen und die anderen zu beheizen.
Auch ist es denkbar nicht alle der hellen bzw. der dunklen Teilflächen zu beheizen oder zu kühlen, sondern nur einen Teil davon.
Für mindestens eine Aufnahme des Kalibrierkörpers jeder der Kameras werden Kreuzungspunkte des Schachbrettmusters und ein durch die Kreuzungspunkte bestimmter Graph ermittelt. Anhand des Graphen und einer bekannten Geometrie des Kalibrierkörpers wird eine dreidimensionale Position der Kamera zum Kalibrierkörper geschätzt. Durch Projektion eines der Graphen einer der Kameras auf einen anderen der Graphen mindestens einer anderen der Kameras werden intrinsische Parameter und/oder extrinsische Parameter mindestens einer der Kameras bestimmt und jeweils eine Transformation eines Koordinatensystems einer der Kameras in ein Koordinatensystem einer anderen der Kameras ermittelt. Auf diese Weise ist mit nur einem einzigen Kalibrierkörper eine Kalibrierung des Multikamerasystems möglich. Damit entfällt der Einfluss von Positionierungsfehlern, wie er bei Verwendung mehrerer Kalibrierkörper für unterschiedliche Wellenlängenbereiche auftritt.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.
Dabei zeigen:
1 einen Kalibrierkörper für ein Verfahren zum kalibrieren eines Multikamerasystems, und
2 Koordinatensysteme und Bildebenen zweier Kameras in einem Multikamerasystem.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In 1 ist ein Kalibrierkörper 1 gezeigt, der mit einem aus dunklen Teilflächen 1.1 und hellen Teilflächen 1.2 gebildeten Schachbrettmuster versehen ist. Jede der dunklen Teilflächen 1.1 ist beheizbar, beispielsweise mittels je eines auf einer Rückseite des Kalibrierkörpers 1 angeordneten, nicht gezeigten PTC-Heizelements (PTC = Widerstand mit positivem Temperaturkoeffizienten). Zur Kalibrierung eines eine im Nahinfrarotbereich empfindliche erste Kamera und eine im Ferninfrarotbereich empfindliche zweite Kamera umfassenden Multikamerasystems werden die dunklen Teilflächen 1.1 beispielsweise auf etwa 50 °C erwärmt. Die im Nahinfrarotbereich empfindliche erste Kamera nimmt die dunklen, insbesondere schwarzen Teilflächen 1.1 und die hellen, insbesondere weißen Teilflächen 1.2 optisch wahr. Die im Ferninfrarotbereich empfindliche zweite Kamera nimmt den Temperaturunterschied zwischen den erwärmten dunklen Teilflächen 1.1 und den kalten hellen Teilflächen 1.2 als Kontrast wahr.
Die erste Kamera und die zweite Kamera sind gegenüber dem Kalibrierkörper 1 unterschiedlich positioniert, wie in 2 verdeutlicht wird. Dort sind ein Koordinatensystem A der ersten Kamera, ein Koordinatensystem B der zweiten Kamera, jeweils mit drei Koordinaten x, y, z gezeigt. Ein von beiden Kameras anvisierter Punkt P, beispielsweise ein auf dem Kalibrierkörper identifizierter Punkt, wird auf einer Bildebene E₁ der ersten Kamera an einer Position P₁ und auf einer Bildebene E₂ der zweiten Kamera an einer Position P₂ abgebildet.
Die durch jeweils zwei Achsen u, v aufgespannten Bildebenen E₁, E₂ entsprechen Aufnahmen der Kameras. Als solche gut identifizierbare Punkte P eignen sich besonders die Eckpunkte der Teilflächen 1.1, 1.2 (Kreuzungspunkte des Schachbrettmusters).
Ein mögliches Verfahren zur Ermittlung dieser Eckpunkte wird im Folgenden skizziert. Andere Verfahren können jedoch ebenso angewandt werden.
Die Punkte P werden zunächst mit Hilfe von Templatematching und Kreuzkorrelation gesucht. Dabei wird eine Maske in der Größe der kleinsten, in einer der Aufnahmen erkennbaren Teilfläche 1.1, 1.2 verwendet, wobei ein Eckpunkt in der Mitte der Maske lokalisiert ist. Liegt die Ebene der Teilflächen 1.1, 1.2 nicht parallel zur Bildebene E₁, E₂, was für jeweils mindestens eine der Kameras der Fall ist, erscheinen die Teilflächen 1.1, 1.2 in der Aufnahme unterschiedlich groß. Für eine initiale Menge möglicher Eckpunkte werden lokale Maxima des Korrelationskoeffizienten aus der Kreuzkorrelation herangezogen, die einen Schwellwert überschreiten. Die Lokalisierung der Eckpunkte erfolgt subpixelgenau durch gewichtete Mittelung bzw. durch quadratische Interpolation von nahegelegenen Maxima. Darauf folgt eine topologische Analyse der Menge der möglichen Eckpunkte. Es wird ein Graph erzeugt, dessen Knoten die Eckpunkte und dessen Kanten die Ränder der Teilflächen 1.1, 1.2 sind. Die Kanten werden nur zwischen Knoten erzeugt, die eine gewisse Nähe zueinander aufweisen. Nun werden Kanten mit Hilfe von Randbedingungen eliminiert.
Dabei werden die folgenden Regeln definiert:

– Von jedem der Knoten müssen mindestens zwei und maximal vier Knoten ausgehen. Mit einfachen Heuristiken werden so falsche Kanten identifiziert.
– Es werden Kreise von vier Pixeln Länge gesucht. Jeder Knoten ist, je nach Anzahl an Kanten, Teil eines bzw. mehrerer solcher Kreise. Des Weiteren erhält jede Kante eines von vier Labeln "nach oben", "nach unten", "nach links" oder "nach rechts", von denen jedes genau einmal in einem solchen Kreis vorkommen muss.
– Kantenlängen von Kanten mit gleichem Label müssen gleiche Länge haben.
– optional, insbesondere im Falle der Beheizung der dunklen Teilflächen bietet es sich als zusätzliche Regel an, festzulegen, dass die Polarisation der Korrelationskoeffizienten für die beiden eine Kante begrenzenden Knoten verschieden sein muss, da an einem der Knoten ein Hell-Dunkel-Übergang und am anderen ein Dunkel-Hell-Übergang liegen muss, wobei diese Regel

Der resultierende Graph wird nun auf Konsistenz geprüft. Hierbei wird nicht gefordert, dass alle Kreuzungspunkte des Kalibrierkörpers gefunden werden. Als inkonsistent gilt ein Graph, falls es keine eindeutige Zuordnung der gefundenen Kreuzungspunkte zu denen des Kalibrierkörpers gibt. Dies ist etwa dann der Fall, wenn der Graph in einer Richtung zu viele oder zu wenige Knoten besitzt. Diesem Pruning-Verfahren liegt das Prinzip zugrunde, Bilder schnell auszusortieren und keine Messfehler zu tolerieren.
Anhand einer bekannten Geometrie des Kalibrierkörpers kann nun dessen dreidimensionale Position in jeder Aufnahme geschätzt werden. Die Bestimmung von Parametern der Kameras geschieht nun mit Hilfe eines modifizierten Newton-Algorithmus.
Dazu wird der Kalibrierkörper aus einer der Bildebenen E₁, E₂ in die jeweils andere Bildebene E₂, E₁ projiziert. Der Abstand auf Pixelebene zwischen der Rückprojektion und dem tatsächlich vorhandenen Kalibrierkörper 1 wird minimiert. Das Resultat sind alle intrinsischen und/oder extrinsischen Parameter der Kameras und Transformationen aller Koordinatensysteme A, B der Kameras in ein gemeinsames Koordinatensystem X. Das gemeinsame Koordinatensystem X kann eines der Koordinatensysteme A, B oder auch ein Koordinatensystem F eines Fahrzeugs sein, an dem das Multikamerasystem angeordnet ist. Es kann nun eine Beziehung zwischen Punkten P in beiden Bildebenen E₁, E₂ hergestellt werden. Mit dem so kalibrierten Multikamerasystem ist eine Bestimmung von dreidimensionaler Struktur und Lage eines von beiden Kameras erfassten Objektes möglich.
Intrinsische Parameter der Kamera sind eine fokale Länge, eine Pixelgröße (Breite, Höhe), ein Bildmittelpunkt bezüglich des jeweiligen Koordinatensystems A, B und Verzeichnungen. Extrinsische Parameter der Kamera sind ein Translationsvektor des Koordinatensystems A, B der Kamera bezüglich eines der anderen Koordinatensysteme B, A, F, X und eine Rotationsmatrix bezüglich eines der anderen Koordinatensysteme B, A, F, X.
Das beschriebene Verfahren ist auch auf mehr als zwei Kameras anwendbar.

1: Kalibrierkörper
1.1: dunkle Teilfläche
1.2: helle Teilfläche
A, B, F, X: Koordinatensysteme
E1, E2: Bildebene
P: Punkt auf dem Kalibrierkörper
P1, P2: Punkt in der Bildebene
u, v: Achsen der Bildebene
x, y, z: Koordinate

Claims

Verfahren zur Kalibrierung eines Multikamerasystems, umfassend mindestens eine im Nahinfrarotbereich empfindliche erste Kamera und mindestens eine im Ferninfrarotbereich empfindliche zweite Kamera mit voneinander verschiedener Position, bei dem nur ein mit einem aus aneinandergrenzenden hellen Teilflächen (1.2) und dunklen Teilflächen (1.1) gebildeten Muster, insbesondere einem Schachbrettmuster, versehener Kalibrierkörper (1) im Sichtfeld jeder der Kameras positioniert wird, wobei zumindest in Teilen die dunklen oder aber die hellen Teilflächen (1.1) beheizt oder gekühlt werden und für mindestens eine Aufnahme des Kalibrierkörpers (1) jeder der Kameras Kreuzungspunkte des Schachbrettmusters und ein durch die Kreuzungspunkte bestimmter Graph ermittelt werden und anhand des Graphen und einer bekannten Geometrie des Kalibrierkörpers (1) eine dreidimensionale Position der Kamera zum Kalibrierkörper (1) geschätzt wird sowie durch Projektion eines der Graphen einer der Kameras auf einen anderen der Graphen mindestens einer anderen der Kameras intrinsische Parameter und/oder extrinsische Parameter mindestens einer der Kameras bestimmt werden und jeweils eine Transformation eines Koordinatensystems (A, B) einer der Kameras in ein Koordinatensystem (B, A) einer anderen der Kameras ermittelt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die dunklen oder die hellen Teilflächen (1.1) zumindest in Teilen auf 40 °C bis 60 °C erwärmt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die dunklen oder die hellen Teilflächen (1.1) zumindest in Teilen gekühlt werden.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass der Kalibrierkörper (1) so positioniert wird, dass eine Kantenlänge der in der jeweiligen Aufnahme kleinsten der Teilflächen (1.1, 1.2) für jede der Kameras mindestens vier Pixel beträgt.
Kalibierkörper zur Kalibrierung eines Multikamerasystems, umfassend eine Oberfläche, welche mit aneinandergrenzenden hellen Teilflächen (1.2) und dunklen Teilflächen (1.1) gebildeten wird, wobei der Kalibrierkörper so ausgestaltet ist, dass zumindest eine Teilanzahl der dunklen oder aber der hellen Teilflächen (1.1) beheizt oder gekühlt werden kann.
Kalibrierkörper nach Anspruch 5, dadurch gekennzeichnet, dass die hellen und dunklen Teilflächen im Wesentlichen Form eines Schachbrettmusters angeordnet sind.