DE102004001572A1

DE102004001572A1 - Laufzeit-Kalibrierungsverfahren

Info

Publication number: DE102004001572A1
Application number: DE102004001572A
Authority: DE
Inventors: Uwe Dr.-Ing. Franke; Stefan Dipl.-Ing. Heinrich; Fridtjof Dr.rer.nat. Stein; Alexander Dr.rer.nat. Würz-Wessel
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2004-01-12
Filing date: 2004-01-12
Publication date: 2005-08-04
Anticipated expiration: 2024-01-13
Also published as: DE102004001572B4

Abstract

Die Erfindung betrifft ein Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras, wobei aktuelle Kameraparameter fortlaufend ermittelt werden. Zur fortlaufenden Ermittlung der aktuellen Kameraparameter werden ein optischer Fluss und eine Stereotiefenvermessung der jeweiligen von den wenigstens zwei Kameras detektierten Bilder gemeinsam ausgewertet.

Description

Die Erfindung betrifft ein Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras, wobei aktuelle Kameraparameter fortlaufend ermittelt werden.

Ein derartiges System ist aus der US 5,559,695 bekannt. Dort ist ein selbstkalibrierendes visuelles Sensorsystem für ein mobiles Fahrzeug beschrieben.

Bildgebende Systeme, bestehend aus zwei oder mehreren Kameras, müssen für ihren Einsatz kalibriert werden. D.h. es werden innere und äußere Kameraparameter bestimmt. Die inneren Kameraparameter sind u.a. die Fokallänge der Kamera, der Hauptpunkt, d.h. der Durchstoßpunkt der optischen Achse durch die Bildebene, die Größe der Sensorelemente und die Koeffizienten der Linsenverzeichnungen. Die äußeren Kameraparameter beschreiben die relative Positionierung der Kameras des Stereosystems zueinander. Dabei ist die relative Positionierung durch eine Verschiebung (die sogenannte Basislinie) und eine Rotation der Kamerakoordinatensysteme vollständig beschrieben.

In der Regel wird ein Kamerasystem vor dem Einsatz einmalig kalibriert, danach wird angenommen, dass diese Konfiguration statisch ist und die Parameter für das System dauerhaft gültig sind. In einem kontrollierten Umfeld, beispielsweise einem Labor, kann diese Annahme getroffen werden. Wird das Sys tem jedoch unter realen Bedingungen eingesetzt, muss diese Annahme jedoch nicht richtig sein.

Insbesondere der Automotive-Bereich stellt hohe Anforderungen, sowohl hinsichtlich der auftretenden Einflüsse als auch der erforderlichen Messgenauigkeiten. Während des Betriebs können sich nämlich insbesondere die äußeren Kameraparameter durch äußere Einflüsse, wie z.B. Erschütterung, Erwärmung, etc., signifikant ändern. Um die Funktionalität des Gesamtsystems zu gewährleisten und die erforderliche Genauigkeit bereitzustellen, müssen die Parameter demzufolge während der Laufzeit immer wieder neu ermittelt werden (sogenannte Laufzeitkalibrierung) bzw. die Korrektheit der eingestellten Parameter muss ständig überwacht werden.

Es ist bekannt, zur Bestimmung der relativen Position zweier Kameras, welche sich durch eine statische Umgebung bewegen, Verfahren einzusetzen, die ursprünglich zur Bestimmung der Kamerabewegung aus einer monokularen Bildsequenz entwickelt wurden. Der Nachteil dieses Ansatzes besteht darin, dass das Verfahren zum einen sehr rechen- und damit auch zeitintensiv ist, und dass es auf der Annahme einer statischen Szene beruht und damit für einen Einsatz in einer realen bewegten Umwelt – insbesondere mangels Genauigkeit – weniger geeignet ist. Die Annahme einer statischen Szene ist im Automobilbereich selbstverständlich nicht gegeben.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Laufzeit-Kalibrierungsverfahren der eingangs erwähnten Art zu schaffen, welches die Nachteile des Standes der Technik vermeidet und insbesondere eine genaue und aktuelle Kalibrierung gewährleistet.

Diese Aufgabe wird erfindungsgemäß durch Anspruch 1 gelöst.

Das erfindungsgemäße Verfahren verbindet in einfacher und vorteilhafter Weise die Stereotiefeninformationen, die unter Verwendung der kalibrierten Kameraparameter aus einem Mehrfachkamerasystem bestimmt worden sind, mit der Flussinformation, die aus jedem aufgezeichneten Kamerabild extrahiert werden kann. Mit anderen Worten verknüpft die Erfindung Methoden, die bisher nur getrennt angewendet wurden, nämlich die stereoskopische, dreidimensionale Vermessung einer Umgebung und die Auswertung des optischen Flusses im Bild. Durch den Vergleich dieser Daten können die Kameraparameter bestimmt bzw. deren Gültigkeit überprüft werden. Sind des weiteren fahrzeugspezifische Daten, wie beispielsweise Tiefeninformationen anderer Sensoren (Radar, Lidar, etc.) oder Gier-, Wank- oder Nickwinkel bzw. Fahrgeschwindigkeiten und Lenkwinkel des Fahrzeugs vorhanden, können diese zusätzlich zur Bestimmung der Kameraparameter herangezogen werden. Bisher passive Zeiten (System eingeschaltet aber nicht aktiviert) können nun dazu genutzt werden, entweder das System zu kalibrieren oder die Kalibrierung zu überprüfen. Dadurch ist es möglich, den Einsatz von bildgebenden Stereosystemen insbesondere im Automobil-/Automotive-Bereich wesentlich sicherer zu machen, da die Messgenauigkeit der Systeme letztlich auf der Genauigkeit der Kalibrierungsdaten beruht und diese durch das erfindungsgemäße Verfahren wesentlich verbessert wird. Wird das Verfahren dazu eingesetzt, das System zu kalibrieren, entfallen ggf. zusätzliche technisch und zeitlich aufwändige Verfahren.

Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den Unteransprüchen. Nachfolgend ist anhand der Zeichnung prinzipmäßig ein Ausführungsbeispiel beschrieben.

Die einzige Figur der Zeichnung zeigt ein schematisches Flussdiagramm des erfindungsgemäßen Laufzeit-Kalibrierungsverfahrens.

Bei einem bildgebenden System mit zwei nicht dargestellten Kameras ordnet die stereoskopische Vermessung zuerst in den jeweiligen Kamerabildern beobachtete Objekte einander zu.
Aufgrund der unterschiedlichen Beobachtungspositionen der Kameras relativ zur Szene (Verschiebung der Kameras um die Basislinie) wird das Objekt an unterschiedlichen Stellen in den Kamerabildern abgebildet. Diese Verschiebung im Bildpaar der Kameras wird als Disparität D bezeichnet. Die Disparität D ist dabei durch die Basislinie b des bildgebenden Systems, einer Fokallänge f der Kameras, einer Sensorelementgröße s_u bzw. s_v der Kameras und einer Entfernung z₀ eines Objekts von der Kamera bestimmt:
Ein optischer Fluss F_u (in Bildkoordinatenrichtung u, v folgt analog) kommt dadurch zustande, dass sich bei einer Kamerabewegung die beobachteten Objekte im Bild verschieben. Dies gilt für jede einzelne Kamera des bildgebenden Systems. Durch Zuordnung der Objekte in aufeinanderfolgenden Bildern und der Kenntnis der neuen Objektentfernung z₁ lässt sich der optische Fluss F_u wie folgt berechnen:
x beschreibt in dieser Gleichung die horizontale Koordinate des bildgebenden Systems. Bei einer lateralen Bewegung der Kamera entspricht diese der horizontalen Verschiebung des Objekts relativ zur Kamera. Kombiniert man nun diese beiden Methoden, so lässt sich eine Fluss-Tiefen-Begrenzung (Flow-Depth-Constraint) wie folgt formulieren:
Mit Δs = z₁– z₀ (4) ergibt sich für die Bildkoordinatenrichtungen u und v:
Nimmt man eine laterale Kamerabewegung durch eine statische Szene an und berechnet die Fluss-Tiefen-Beziehungen für die beobachteten Objekte, so ergeben unbewegte Objekte in den Fluss-Tiefen-Diagrammen für die Bildkoordinatenrichtungen u und v über dem Bild jeweils eine Ebene. Kennt man die Kalibrierung des Kamerasystems, so lassen sich aufgrund dieser Berechnungen sehr leicht eigenbewegte Objekte im Bild bestimmen. Dies ist die übliche Anwendung des Verfahrens gemäß dem Stand der Technik.
In dem vorliegenden erfindungsgemäßen Verfahren werden jedoch wie aus der Figur ersichtlich der optische Fluss F_u, F_v in einem Modul M₁ und die Disparität D in einem Modul M₂ auf Basis aktueller Kameraparameter P von Bildern Bild₁, Bild₂ eines bildgebenden Systems mit zwei Kameras ausgewertet.
Anschließend werden in einem weiteren Modul M_K anhand der Ergebnisse F_u, F_v, D der Module M₁, M₂ die neuen aktuellen Kameraparameter P wiederum als Eingabe für das Modul M₂ geliefert. Gleichzeitig erfolgt eine Online-Überwachung der Änderung ΔP der Parameter P im Vergleich zu einem voreingestellten Schwellenwert ε.
Wie weiter aus der Figur ersichtlich kann das Modul M₁ (durch gestrichelte Pfeile angedeutet) durch ein Modul M_F eines Fahrzeugs (nicht dargestellt) zur Verfügung gestellte fahrzeugspezifische Daten wie Geschwindigkeit V, Lenkwinkel, Winkelmessungen wie Gier-, Wank- und Nickwinkel Φ_G, Φ_W, Φ_N in die Berechnung mit einbeziehen. Stehen darüber hinaus Systeme zur Abstandsmessung (z.B. Radar, Lidar) zur Verfügung, so kann eine Tiefe D von abgebildeten Objekten direkt gemessen und in die Berechnung des Moduls M_k einfließen.
In einem Kraftfahrzeug lassen sich über den sogenannten CAN-Bus die Geschwindigkeit und der Lenkwinkel abgreifen. Über die Raddrehzahlen oder zusätzlich eingebaute Gierratensensoren lässt sich die Eigenrotation bestimmen. Damit ist die Eigenbewegung der Kameras sehr gut bekannt. Die Bilder werden in Video-Echtzeit, d.h. mit 25 Hz (40 ms Bildabstand) aufgezeichnet. In diesem Zeitraum ändert sich die Fahrzeugumgebung nicht wesentlich. Daraus ergibt sich, dass durch eine Optimierungsrechnung für einen längeren Zeitraum die Systemparameter berechnet werden können. Objekte mit einer signifikanten Eigenbewegung sind aufgrund eben dieser nur für einen begrenzten Zeitraum sichtbar und stellen in der Optimierung lediglich ein Rauschen in den Daten dar.

Claims

Laufzeit-Kalibrierungsverfahren für ein bildgebendes System mit wenigstens zwei Kameras, wobei aktuelle Kameraparameter fortlaufend ermittelt werden, dadurch gekennzeichnet, dass zur fortlaufenden Ermittlung der aktuellen Kameraparameter (P) ein optischer Fluss (F_u, F_v) und eine Stereotiefenvermessung (D) der jeweiligen von den wenigstens zwei Kameras detektierten Bilder (Bild₁, Bild₂) gemeinsam ausgewertet werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass – in einem ersten Schritt in einem ersten Modul (M₁) ein optischer Fluss (F_u, F_v) aus den Bildern der Kameras berechnet wird, wobei in einem zweiten Modul (M₂) eine Stereotiefenvermessung (D) der Bilder (Bild₁, Bild₂) der Kameras auf Basis der aktuellen Kameraparameter (P) durchgeführt wird, wonach – in einem zweiten Schritt in einem Kalibrierungsmodul (M_K) aus den Ergebnissen (F_u, F_v, D) des ersten und des zweiten Moduls (M₁, M₂) die neuen aktuellen Kameraparameter (P) bestimmt und dem zweiten Modul (M₂) zur Verfügung gestellt werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass die wenigstens zwei Kameras in einem Fahrzeug eingesetzt werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 3, dadurch gekennzeichnet, dass das zweite Modul (M₂) zusätzlich als Hilfsparameter aktuelle fahrzeugspezifische Daten (V, Φ_G, Φ_W, Φ_N) in die Berechnung mit einbezieht.
Laufzeit-Kalibrierungsverfahren nach Anspruch 4, dadurch gekennzeichnet, dass als aktuelle fahrzeugspezifische Daten eine Geschwindigkeit (V), ein aktueller Lenkwinkel, ein Gier- (Φ_G), ein Wank- (Φ_W) und/oder ein Nickwinkel (Φ_N) verwendet werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 3, 4 oder 5, dadurch gekennzeichnet, dass das Kalibrierungsmodul (M_K) zusätzlich als Hilfsparameter aktuelle Abstandsmessungsdaten (D) des Fahrzeugs in die Berechnung mit einbezieht.
Laufzeit-Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass innere und äußere Kameraparameter (P) ermittelt werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass als innere Kameraparameter eine Fokallänge der Kamera, ein Durchstoßpunkt der optischen Achse durch die Bildebene, Größen von Sensorelementen der Kameras und Koeffizienten von Verzeichnungen von Linsen der Kameras verwendet werden.
Laufzeit-Kalibrierungsverfahren nach Anspruch 7, dadurch gekennzeichnet, dass als äußere Kameraparameter eine relative Position und eine Ausrichtung der Kameras zueinander verwendet werden.
Fahrzeug mit einem bildgebenden System mit wenigstens zwei Kameras, welche mit einem Verfahren gemäß einem der Ansprüche 1 bis 9 zur Laufzeit kalibriert werden.