DE102008008619A1

DE102008008619A1 - Verfahren zur Kalibrierung eines Stereokamerasystems

Info

Publication number: DE102008008619A1
Application number: DE102008008619A
Authority: DE
Inventors: Stefan Dr. rer. nat Gehrig
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2008-02-12
Filing date: 2008-02-12
Publication date: 2008-07-31

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Stereokamerasystems (2), bei dem in mindestens einer Iteration mindestens ein Bildpaar des Stereokamerasystems (2) rektifiziert wird, wobei das Bildpaar mindestens zweimal mit verschiedenen Rektifizierungsparametern auf einen Nickwinkel (β) untersucht wird, wobei der Nickwinkel (β) des Bildpaares mit den meisten Korrespondenzen als tatsächlicher Nickwinkel (β) identifiziert wird, wobei korrespondierende Punkte im rektifizierten Bildpaar mittels eines optischen Flusses ermittelt werden und eine vertikale Verschiebung zwischen den korrespondierenden Punkten zur Bestimmung eines Wankwinkels (α) verwendet wird, wobei ein Gierwinkel (γ) mittels eines Punktes mit bekannter Entfernung (Δx) bestimmt wird, indem eine Differenz zwischen der bekannten Entfernung (Δx) und einer stereoskopisch ermittelten Entfernung bestimmt wird.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Stereokamerasystems, bei dem in mindestens einer Iteration mindestens ein Bildpaar des Kamerasystems rektifiziert wird.
Tiefenberechnung auf Basis zweier Bilder ist ein Standardproblem der Bildverarbeitung. Um die Tiefe zu berechnen müssen Kamerapositionen und Kameraparameter bekannt sein. Diese werden meist in einem Kalibrierschritt mittels signalisierter Punkte ermittelt. Durch Vibrationen in einem Fahrzeug, in das das Stereokamerasystem eingebaut ist, oder durch Fehler im Initialkalibrierschritt können Fehler in der 3D-Rekonstruktion entstehen.
Aus [Tiberiu Marita et al., Camera Calibration Method for Far Range Stereovision Sensors Used in Vehicles, In Proceedings of the IEEE Intelligent Vehicles Symposium, Tokyo, 2006.] ist ein Verfahren bekannt, bei dem eine vertikale Drift von Epipolarlinien in der Geometrie des Kamerasystems, beispielsweise aufgrund eines Nickwinkels, d. h. einer veränderten Position einer der Kameras um eine Querachse, ermittelt wird, indem in einem Bereich von –2 Pixeln bis +2 Pixeln Driftwerte mit einer Schrittweite von 0.25 Pixeln vorgegeben werden. Eine Anzahl korrespondierender 3D-Punkte wird für jeden Schritt ermittelt. Anschließend wird ein Histogramm der Anzahl rekonstruierter 3D-Punkte für die verschiedenen Driftwerte berechnet, die Maximalanzahl rekonstruierter 3D-Punkte im Histogramm bestimmt, ein Intervall in der Umgebung der Maximalanzahl bestimmt, in der die Anzahl der rekonstruierten 3D-Punkte größer als 95% des Maximums ist und die Mitte dieses Intervalls als korrekte Position der korrespondierenden Drift betrachtet. Es wird jedoch keine Korrektur der Drift vorgenommen.
Es ist eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Kalibrierung eines Stereokamerasystems anzugeben.
Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1.
Vorteilhafte Weiterbildungen sind Gegenstand der Unteransprüche.
In einem erfindungsgemäßen Verfahren zur Kalibrierung eines Stereokamerasystems wird in mindestens einer Iteration mindestens ein Bildpaar des Kamerasystems rektifiziert. Korrespondierende Punkte im rektifizierten Bildpaar werden mittels eines optischen Flusses ermittelt und eine vertikale Verschiebung zwischen den korrespondierenden Punkten zur Bestimmung eines Wankwinkels verwendet. Der Wankwinkel beschreibt dabei eine Rotation um eine Längsachse. Vorzugsweise werden dabei die vertikalen Verschiebungen der Korrespondenzen links des Hauptpunkts gemittelt (dv_l) und mit denen rechts des Hauptpunkts verglichen (dv_r). Auch werden die horizontalen Positionen der Korrespondenzen links und rechts gemittelt (u_l und u_r). Die resultierende Änderung des Wankwinkels ergibt sich dann anhand der nachfolgenden Formel: DeltaAlpha = arctan[(dv_r – dv_l)/(u_r – u_l)].
Weiter wird das Bildpaar mindestens zweimal mit verschiedenen Rektifizierungsparametern auf einen Nickwinkel untersucht. Der Nickwinkel des Bildpaares mit den meisten Korrespondenzen wird als tatsächlicher Nickwinkel identifiziert. Außerdem wird ein Gierwinkel mittels eines Punktes mit bekannter Entfernung bestimmt, indem eine Differenz zwischen der bekannten Entfernung und einer stereoskopisch ermittelten Entfernung zu diesem Punkt bestimmt wird.
Voraussetzung des Verfahrens ist ein Stereokamerasystem mit bekannter Initialkalibrierung. Eine Kalibrierung intrinsischer Parameter des Stereokamerasystems findet nicht statt. Intrinsische Parameter sind beispielsweise eine fokale Länge, eine Pixelgröße (Breite, Höhe), ein Bildmittelpunkt bezüglich eines jeweiligen Koordinatensystems und Verzeichnungen. Extrinsische Parameter der Kamera sind beispielsweise ein Translationsvektor eines Koordinatensystems einer der Kameras des Stereokamerasystems bezüglich eines anderen Koordinatensystems (beispielsweise des Koordinatensystems der anderen Kamera) und eine Rotationsmatrix zwischen den Koordinatensystemen. Für die Rotationsmatrix werden Wankwinkel, Nickwinkel und Gierwinkel benötigt.
Mit dem erfindungsgemäßen Verfahren ist eine präzise 3D-Rekonstruktion, insbesondere über lange Fahrzeiten bei an einem Fahrzeug angeordneten Stereokamerasystemen erzielbar. Durch Anwendung des Verfahrens in Offline-Analysen können Genauigkeitsanforderungen an die Initialkalibrierung reduziert werden.
Im Folgenden wird ein Ausführungsbeispiel der Erfindung anhand einer Zeichnung näher erläutert.
Dabei zeigt:
1 Ein Fahrzeug mit einem Stereokamerasystem.
In 1 ist ein Fahrzeug 1 mit einem Stereokamerasystem 2 gezeigt. Infolge Vibrationen oder Fehlern in einer Initialkalibrierung können Dekalibrierungen des Stereokamerasystems 2 auftreten. Zur Ermittlung oder Behebung der Dekalibrierung wird eine Rotationsmatrix als extrinsischer Parameter des Stereokamerasystems benötigt. Hierzu werden ein Wankwinkel α, ein Nickwinkel β und ein Gierwinkel γ des Stereokamerasystems 2 ermittelt. Der Wankwinkel α beschreibt eine Rotation um eine Längsachse x, der Nickwinkel β eine Rotation um eine Querachse γ und der Gierwinkel γ eine Rotation um eine Hochachse z.
In mindestens einer Iteration wird mindestens ein Bildpaar des Stereokamerasystems rektifiziert. Korrespondierende Punkte im rektifizierten Bildpaar werden mittels eines optischen Flusses ermittelt und eine vertikale Verschiebung zwischen den korrespondierenden Punkten zur Bestimmung des Wankwinkels α verwendet. Weiter wird das Bildpaar mindestens zweimal mit verschiedenen Rektifizierungsparametern auf einen Nickwinkel β untersucht. Der Nickwinkel β des Bildpaares mit den meisten Korrespondenzen wird als tatsächlicher Nickwinkel β identifiziert. Außerdem wird ein Gierwinkel γ mittels eines Punktes mit bekannter Entfernung Δx bestimmt, indem eine Differenz zwischen der bekannten Entfernung Δx und einer stereoskopisch ermittelten Entfernung zu diesem Punkt bestimmt wird. Im gezeigten Beispiel wird eine Kühlerfigur 3 des Fahrzeugs 1 als Punkt mit bekannter Entfernung Δx genutzt.
Die Bestimmung des Nickwinkels β in einem Bildpaar wird vorzugsweise mit mehr als zwei verschiedenen Sätzen von Rektifizierungsparametern durchgeführt. Beispielsweise können in einem Bereich von –2 Pixeln bis +2 Pixeln Driftwerte mit einer Schrittweite von 0,25 Pixeln vorgegeben werden. Dabei wird eine Anzahl korrespondierender 3D-Punkte für jeden Schritt ermittelt. Es wird ein Histogramm der Anzahl rekonstruierter 3D-Punkte für die verschiedenen Driftwerte berechnet, die Maximalanzahl rekonstruierter 3D-Punkte im Histogramm bestimmt, ein Intervall in der Umgebung der Maximalanzahl bestimmt, in der die Anzahl der rekonstruierten 3D-Punkte größer als 95% des Maximums ist und die Mitte dieses Intervalls als korrekte Position der korrespondierenden Drift betrachtet.
Es können mehrere Iterationen des Verfahrens durchgeführt werden. Die in einer der Iterationen modifizierten Parameter können in einer der folgenden Iterationen genutzt werden, um eine bessere 3D-Rekonstruktion zu erreichen.
Zur Ermittlung des optischen Flusses kann beispielsweise ein Powerflow oder ein Kanade-Lukas-Tomasi-Tracker benutzt werden.
Der Punkt mit bekannter Entfernung Δx kann alternativ mittels einer Radarmessung ermittelt werden, um die bekannte Entfernung Δx zu bestimmen.
Ebenso kann eine interaktive Bestimmung der bekannten Entfernung Δx erfolgen, insbesondere bei einer Offline-Kalibrierung.

1: Fahrzeug
2: Stereokamerasystem
3: Kühlerfigur
α: Wankwinkel
β: Nickwinkel
γ: Gierwinkel
Δx: bekannte Entfernung
x: Längsachse
y: Querachse
z: Hochachse

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

- Tiberiu Marita et al., Camera Calibration Method for Far Range Stereovision Sensors Used in Vehicles, In Proceedings of the IEEE Intelligent Vehicles Symposium, Tokyo, 2006. [0003]

Claims

Verfahren zur Kalibrierung eines Stereokamerasystems (2), bei dem in mindestens einer Iteration mindestens ein Bildpaar des Stereokamerasystems (2) rektifiziert wird, wobei das Bildpaar mindestens zweimal mit verschiedenen Rektifizierungsparametern auf einen Nickwinkel (β) untersucht wird, wobei der Nickwinkel (β) des Bildpaares mit den meisten Korrespondenzen als tatsächlicher Nickwinkel (β) identifiziert wird, dadurch gekennzeichnet, dass korrespondierende Punkte im rektifizierten Bildpaar mittels eines optischen Flusses ermittelt werden und eine vertikale Verschiebung zwischen den korrespondierenden Punkten zur Bestimmung eines Wankwinkels (α) verwendet wird, wobei ein Gierwinkel (γ) mittels eines Punktes mit bekannter Entfernung (Δx) bestimmt wird, indem eine Differenz zwischen der bekannten Entfernung (Δx) und einer stereoskopisch ermittelten Entfernung bestimmt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Ermittlung des optischen Flusses ein Powerflow- oder ein Kanade-Lukas-Tomasi-Tracker eingesetzt wird.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass der Punkt mit bekannter Entfernung (Δx) mittels einer Radarmessung ermittelt wird.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass als Punkt mit bekannter Entfernung (Δx) eine Kühlerfigur (3) eines Fahrzeugs (1) genutzt wird.