DE102007050558A1 - Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung - Google Patents

Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung Download PDF

Info

Publication number
DE102007050558A1
DE102007050558A1 DE102007050558A DE102007050558A DE102007050558A1 DE 102007050558 A1 DE102007050558 A1 DE 102007050558A1 DE 102007050558 A DE102007050558 A DE 102007050558A DE 102007050558 A DE102007050558 A DE 102007050558A DE 102007050558 A1 DE102007050558 A1 DE 102007050558A1
Authority
DE
Germany
Prior art keywords
determined
image
pairs
pair
rectified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102007050558A
Other languages
English (en)
Inventor
Lars Dipl.-Inf. Krüger
Christian Dr. rer. nat. Wöhler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102007050558A priority Critical patent/DE102007050558A1/de
Publication of DE102007050558A1 publication Critical patent/DE102007050558A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Abstract

Die Erfindung betrifft ein Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung (1), insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien (1<SUB>l</SUB>, 1<SUB>r</SUB>) ein rektifiziertes Bildpaar (B1, B2) ermittelt wird. Erfindungsgemäß werden für das rektifizierte Bildpaar (B1, B2) eine Anzahl von Paaren korrespondierender Bildpunkte (p<SUB>l</SUB>, p<SUB>r</SUB>) mit weitgehend gleichen Übereinstimmungsmaßen ermittelt, wobei das rektifizierte Bildpaar (B1, B2) derart weiter analysiert wird, dass zumindest zu einem der ermittelten Paare korrespondierender Bildpunkte (p<SUB>l</SUB>, p<SUB>r</SUB>) jene benachbarten Paare korrespondierender Bildpunkte (p<SUB>ln</SUB>, p<SUB>rn</SUB>) auf der jeweiligen Epipolarlinie (1<SUB>l</SUB>, 1<SUB>r</SUB>) und/oder in einer benachbarten Bildzeile (z<SUB>l</SUB>, z<SUB>r</SUB>) identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen.

Description

  • Die Erfindung betrifft ein Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung, insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien ein rektifiziertes Bildpaar ermittelt wird.
  • Für eine präzise dreidimensionale Rekonstruktion einer Szene oder eines Objektes aus stereoskopischen oder multiokularen Bildern ist eine genaue Kenntnis der Parameter der Kameras eines Stereo-Kamerasystems, wie Lage und Ausrichtung der Kameras im Raum, erforderlich. Hierzu werden die Kameras üblicherweise vor der Rekonstruktion durch Verwendung eines geeigneten Kalibrierverfahrens derart kalibriert, dass die den einzelnen Bildaufnahmen zuzuordnenden Kamerakoordinaten in Bezug zueinander und in Bezug auf die zu erfassende Szene oder das zu erfassende Objekt ermittelt werden können.
  • Es sind verschiedene Kalibrierungsverfahren bekannt. Dabei nutzen eine Art von Kalibrierungsverfahren Kalibrierungskörper z. B. in Form von punktförmigen Kalibrierungsmarken. Andere Kalibrierungsverfahren kommen ohne die Vermessung eines Kalibrierungskörpers aus, indem sie beispielsweise als Reflexionsobjekt ein regelmäßiges Muster und somit ein Referenzobjekt bekannter Geometrie, beispielsweise ein Schachbrettmuster oder ein Punktraster verwenden, wie dies beispielsweise in J. Bouquet, Camera Calibration Toolbox for Matlab, www.vision.clatech.edu/bouguetj/calib doc/, oder in Zhang, Z., A Flexible New Technique for Camera Calibration, IEEE Transactions On Pattern Analysis and Machine Intelligence, Volume 22, No. 11, pp. 1330–1334, Oct. 2000, beschrieben ist. Bei diesen Verfahren werden von dem mit dem regelmäßigen Rastermuster versehenen Kalibrierungskörper mehrere Bildaufnahmen erfasst, wobei der Kalibrierungskörper in Bezug auf die eine bestimmte Bildaufnahmeposition in der Abfolge der einzelnen Bildaufnahmen in seiner Ausrichtung verändert wird. Mehrere Aufnahmen aus denselben Kamerapositionen bei unterschiedlicher Ausrichtung des Kalibrierungskörpers sind insbesondere wegen der notwendigen numerischen Stabilität der Lageschätzung bezüglich der dieser zugrunde liegenden Gleichungssysteme notwendig. Die so erzeugten Bilddaten können aber nur dann miteinander korreliert werden, wenn in allen Bildern der Kalibrierungskörper vollständig sichtbar ist. Die Korrelation liefert sodann eine eindeutige Zuordnung der Bildpunkte zueinander und im Umkehrschluss eine eindeutige Bestimmung der Kamerakoordinatensysteme zueinander und in Bezug auf das zu erfassende Objekt oder die Szene.
  • Bei Verwendung von Stereo-Kamerasystemen im Bereich von Fahrerassistenzsystemen kann es während des Betriebs des Stereo-Kamerasystems zu starken thermischen Beanspruchungen durch starke Temperaturschwankungen und/oder mechanische Beanspruchungen, z. B. Vibrationen, kommen. Dies kann zu Veränderungen von Kameraparametern, insbesondere von Änderungen in der Position und Lage sowie Ausrichtung der jeweiligen Kamera führen. Daher ist es erforderlich, das Kamerasystem in kurzen Zeitabständen (z. B. jede Stunde) neu zu kalibrieren. Beispielsweise sollte daher ein in einem Fahrerassistenzsystem eingesetztes Stereo-Kamerasystem in der Lage sein, eine kontinuierliche Selbstkalibrierung vorzunehmen. Aufgrund begrenzter Rechenzeit- und Speicherplatzressourcen muss ein solches Verfahren sehr recheneffizient sein.
  • In Hartley, R., Zisserman, A., Mutiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2003, wird ein ausführlicher Überblick über Verfahren zur Selbstkalibrierung gegeben. Unter anderem wird ein klassisches Verfahren der Photogrammetrie der so genannte Bündelausgleich beschrieben, der zwar sehr genaue Ergebnisse liefert, allerdings einen hohen Rechenaufwand nach sich zieht. Dabei wird zunächst die Fundamentalmatrix ermittelt, die eine Szenenrekonstruktion sowie eine Konfiguration von Kameraparametern liefert, die bis auf eine beliebige projektive Transformation eindeutig sind. Eine euklidische Rekonstruktion wird anschließend z. B. mittels der so genannten Kruppa-Gleichungen, der absoluten dualen Quadrik oder durch "geschichtete" Szenenrekonstruktion erhalten. Diese Verfahren sind nicht direkt auf übliche Stereo-Kamerasysteme in Fahrerassistenzsystemen anwendbar, da die Möglichkeit bestehen müsste, Korrespondenzen zwischen im Prinzip beliebigen Bildpunkten zu bestimmen, während für Fahrerassistenzsysteme geeignete Stereoverfahren aus Gründen der Recheneffizienz in Standardgeometrie konfiguriert sind, d. h. eine Korrespondenzsuche findet nur entlang von Epipolarlinien statt, für deren Kenntnis wiederum die Kameraparameter bekannt sein müssen.
  • In Dang, T., Kontinuierliche Selbstkalibrierung von Stereokameras, Dissertation, Fakultät für Maschinenbau, Universität Karlsruhe, 2007, wird ein recheneffizientes Verfahren zur Selbstkalibrierung vorgestellt, das auf der Auswertung von Punktkorrespondenzen durch Blockmatching-Verfahren oder Analyse von SIFT-Merkmalen sowie der zeitlichen Analyse der berechneten Kameraparameter mittels eines Kalman-Filters oder eines erweiterten Kalman-Filters basiert. Auch dieses Verfahren ist rechenaufwändig.
  • Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung anzugeben, welches bei geringem Verarbeitungsaufwand und geringer Verarbeitungszeit eine hochgenaue Vermessung ermöglicht.
  • Die Aufgabe wird erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst.
  • Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
  • Das erfindungsgemäße Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung, insbesondere eines multiokularen Kamerasystems, z. B. eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien ein rektifiziertes Bildpaar ermittelt wird, werden für das rektifizierte Bildpaar eine Anzahl von Paaren korrespondierender Bildpunkte mit weitgehend gleichen Übereinstimmungsmaßen ermittelt, wobei das rektifizierte Bildpaar derart weiter analysiert wird, dass zumindest zu einem der ermittelten Paare korrespondierender Bildpunkte auf der jeweiligen Epipolarlinie und/oder in einer benachbarten Bildzeile jene benachbarten Paare korrespondierender Bildpunkte identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen.
  • Der Erfindung liegt dabei die Idee zugrunde, ein aufgenommenes rektifiziertes Bildpaar in Realzeit derart auszuwerten, dass für jedes Bildpaar diejenigen Punktkorrespondenzen mit den besten Übereinstimmungsmaßen dahingehend überprüft werden, inwieweit eine noch bessere Übereinstimmung erzielt werden kann. Dabei sollte die Auswertung nicht nur auf der jeweiligen Epipolarlinie, sondern auch bis zu einer oder mehrerer Bildzeilen darüber oder darunter zur Korrespondenzsuche von Punktkorrespondenzen durchgeführt werden.
  • Alternativ zu der Korrespondenzsuche in rektifizierten Bildpaaren werden die im rektifizierten Bildpaar auf der jeweiligen Epipolarlinie ermittelten Paare korrespondierender Bildpunkte mit weitgehend gleichen Übereinstimmungsmaßen derart weiterverarbeitet, dass zumindest ein ermitteltes Paar korrespondierender Bildpunkte mit weitgehend gleichen Übereinstimmungsmaßen im rektifizierten Bildpaar in das ursprünglich erfasste und nicht rektifizierte Bildpaar rücktransformiert wird und zu zumindest dem rücktransformierten Paar korrespondierender Bildpunkte im ursprünglichen Bildpaar in einer lokalen Umgebung jene benachbarten Paare korrespondierender Bildpunkte identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen und somit weitgehend korrespondieren.
  • Aufgrund der benötigten Genauigkeit der Verfahren ist die Bestimmung der Korrespondenzen mit möglichst hoher Genauigkeit auszuführen. Dazu sind in der Literatur Verfahren bekannt, die eine sub-pixel genaue Korrespondenzbestimmung erlauben. Bei Korrespondenzen, die außerhalb der Epipolarlinie liegen, ist darauf zu achten, dass sie keine mehrdeutige Positionsbestimmung auf Grund ihrer Form nach sich ziehen. Dies kann z.B. dadurch geschehen, dass Korrespondenzen gewählt werden, die einen Grauwertübergang in zwei unterschiedliche Richtungen haben, wie z.B. Ecken.
  • Beide Verfahren basieren dabei auf der geometrischen Relation zwischen zwei Bildern einer Szene, der so genannten Epipolargeometrie, welche lineare Beziehungen zum Auffinden korrespondierender Punkte in den beiden Bildern nutzen. Die beiden Verfahren haben gegenüber bekannten Ansätzen zur Selbstkalibrierung den Vorteil, dass sie direkt auf den Ergebnissen von auf Standardgeometrie basierenden Stereoverfahren aufbauen. Dabei benötigen die Verfahrensschritte des erfindungsgemäßen Selbstkalibrierungsverfahrens aufgrund einfacher linearer Beziehungen wenig Rechenaufwand und können so häufig durchgeführt werden. Insbesondere können so Bildverarbeitungssysteme, welche wie bei der Verwendung in einem Fahrerassistenzsystem großen mechanischen Beanspruchungen ausgesetzt sind, fortlaufend, einfach und schnell kalibriert werden. Beispielsweise können intrinsische und extrinsische Kameraparameter, wie z. B. die Orientierungswinkel der beiden Kameras, die recht empfindlich gegenüber thermischen und/oder mechanischen Beanspruchungen sind und bei denen sich Ungenauigkeiten stark auf die Genauigkeit der Abstandsschätzung auswirken, fortlaufend aktualisiert werden.
  • Ausführungsbeispiele der Erfindung werden anhand einer Zeichnung näher erläutert.
  • Dabei zeigen:
  • 1 Epipolargeometrie eines Stereokamerasystems, und
  • 2 ein Blockschaltdiagramm eines Verfahrens zur fortlaufenden Selbstkalibrierung.
  • Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
  • 1 zeigt die Epipolargeometrie einer als Stereokamerasystem ausgebildeten Bildaufnahmevorrichtung 1 mit zwei Kameras Kl und Kr. Die Kameras Kl und Kr sind dabei beliebig im Raum angeordnet. Die Erfindung wird nachfolgend anhand des Stereokamerasystems beschrieben, ist aber auf die Verwendung von zwei Kameras Kl und Kr nicht begrenzt.
  • Bei einer Verwendung für ein Fahrerassistenzsystem in einem Fahrzeug sind die beiden Kameras Kl und Kr beispielsweise im Frontbereich, insbesondere im oberen Bereich einer Windschutzscheibe am Rückspiegel angeordnet. Die räumliche Beziehung der beiden Kameras Kl und Kr kann durch die Koordinatentransformation des rechten Kamerakoordinatensystems KKr in das linke Kamerakoordinatensystem KKl beschrieben werden und ist definiert durch eine Drehung D mit einer orthogonalen Rotationsmatrix R und eine Translation mit einem dreidimensionalen Translationsvektor t →: KKl = R–1·KKr + t → [1]
  • D.h. die Kameras Kl, Kr können nicht nur jeweils verschoben, sondern auch zueinander gedreht werden. Der Bildpunkt pl in einem ersten Bild B1 der linken Kamera Kl mit den beiden optischen Zentren, d.h. den Kamerapositionen der Kameras Kl und Kr, wobei das Weltkoordinatensystem im optischen Zentrum der linken Kamera Kl liegt, spannt eine Ebene auf, die sowohl den Objektpunkt P als auch den korrespondierenden Bildpunkt pr im korrespondierenden zweiten Bild B2 der rechten Kamera Kr enthält. Die Schnittgeraden dieser Ebene mit den Bildebenen der Bilder B1, B2 werden Epipolarlinien ll, lr genannt. Die Verbindungslinie zwischen den optischen Zentren der beiden Kameras Kl, Kr wird Basislinie b genannt. Aufgrund der gedrehten Bildebenen der Bilder B1, B2 schneiden die Basislinie b die Bilder B1 und B2 in den Epipolen el, er. Die Lage der Epipole el, er wird durch die Anordnung der Kameras Kl, Kr zueinander bestimmt.
  • Bei dem hier vorgeschlagenen Verfahren zur Selbstkalibrierung der Bildaufnahmevorrichtung 1 wird angenommen, dass ein Stereomodul verfügbar ist, das eine Auswertung des auf Basis der beschriebenen Epipolargeometrie angenommenen rektifizierten Bildpaares B1, B2 in Realzeit vornimmt.
  • Nachfolgend wird das Verfahren zur Selbstkalibrierung der Bildaufnahmevorrichtung 1 anhand der 2 näher beschrieben.
  • Dabei werden nachfolgende Schritte ausgeführt:
  • Schritt S1: Ermitteln von Paaren korrespondierender Bildpunkte pl, pr mit weitgehend gleichen Übereinstimmungsmaßen auf Epipolarlinien ll, lr im rektifizierten Bildpaar B1, B2;
  • Schritt S2.1: Bestimmen von zu den im Schritt S1 ermittelten Paaren korrespondierender Bildpunkte pl, pr auf der jeweiligen Epipolarlinie ll, lr und/oder benachbarten Bildzeilen z diejenigen Paare korrespondierender Bildpunkte pln, prn, die weitgehend gleiche Übereinstimmungsmaße aufweisen; oder
  • Schritt S2.2: Bestimmen von zu den im Schritt S1 auf der jeweiligen Epipolarlinie ll, lr im rektifizierten Bildpaar B1, B2 ermittelten und in das ursprünglich erfasste Bildpaar rücktransformierten Paaren korrespondierender Bildpunkte mit weitgehend gleichen Übereinstimmungsmaßen diejenigen Paare korrespondierender Bildpunkte in einer lokalen Umgebung des rücktransformierten Punktepaares im ursprünglichen Bildpaar, die weitgehend gleiche Übereinstimmungsmaße aufweisen.
  • Dabei werden gemäß dem Schritt S2.1 oder S2.2 die Paare korrespondierender 3-D-Bildpunkte pl, pr derart gewählt, dass diese in einer Ebene im Raum auf einer der Epipolarlinien ll, lr oder einer der Bildzeilen zl, zr liegen. Hierdurch kann die Anzahl der erforderlichen Punktkorrespondenzen reduziert werden, so dass das Kalibrierungsverfahren einfach und schnell ausgeführt und somit aktualisiert werden kann.
  • Schritt S3: Ermitteln der Fundamentalmatrix F anhand der im Schritt S2.1 oder S2.2 ermittelten Paare von korrespondierenden Bildpunkten pl, pr gemäß: F := (KK–1l )T·S(t →)·R–1·(KK–1r ) [2]wobei durch die Beziehung p →Tl ·F·p →Tr = 0 [3]ein linearer Zusammenhang zwischen dem Paar korrespondierender Bildpunkte pl, pr (= projektive Bildkoordinaten der Bildpunkte im Sensor-Koordinatensystem in Pixel) der beiden Kamerabilder B1, B2 und den Kamerakoordinaten mit den Kamerakoordinatensystem KKl, KKr hergestellt wird;
  • Dabei umfasst die Fundamentalmatrix F sowohl intrinsische Parameter als auch Informationen über die räumliche Zuordnung der beiden Kameras Kl, Kr und somit extrinsische Parameter durch die Rotationsmatrix R und den Translationsvektor S(t →).
  • Schritt S4: Bestimmen der intrinsischen Kameraparameter anhand der Fundamentalmatrix F;
  • Schritt S5: Bestimmen der Essentialmatrix E aus der Fundamentalmatrix F gemäß: F := A–Tl ·E·A–1r [4]wobei durch die intrinsische Transformation der Matrix A der Zusammenhang zwischen normierten Kamerakoordinaten und Pixelkoordinaten hergestellt wird;
  • Alternativ kann bei Kenntnis der intrinsischen Kameraparameter die Essentialmatrix E direkt aus den korrespondierenden Bildpunkten q →l und q →r (gegeben in homogenen Koordinaten) gemäß der Beziehung q →l·E·q →r = 0 geschätzt werden, wobei die Bildpunkte q →l und q →r in metrischen Kamerakoordinaten und nicht in Pixeln anzugeben sind.
  • Schritt S6: Ermitteln der extrinsischen Kameraparameter aus der Essentialmatrix E gegeben durch die Rotatonsmatrix R und den Translationsvektor t → gemäß: E = [t →]p·R [5]mit [t →]p als Kreuzproduktmatrix des Translationsvektors t → nach Hartley, R., Zisserman, A., Mutiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2003;
  • Schritt S7: fortlaufende Aktualisierung der Rotationsmatrix R und der Fundamentalmatrix F und der Essentialmatrix E sowie der intrinsischen und extrinsischen Parameter.
  • Sowohl die Essentialmatrix E als auch die Fundamentalmatrix F beschreiben die geometrischen Beziehungen zwischen den Paaren korrespondierender Bildpunkte pl, pr in den beiden Bildern B1, B2 des Stereokamerasystems. Die Essentialmatrix E beschreibt die Beziehung für Punkte in den Sensor- oder Kamerakoordinaten und somit extrinsische Parameter, für welche die intrinsischen Parameter bekannt sein müssen, um von den korrespondierenden Bildpunkten pl, pr in den Bildkoordinaten in die Kamerakoordinaten transformieren zu können. Die Fundamentalmatrix F beschreibt die Beziehung der korrespondierenden Bildpunkte pl, pr.
  • Im Detail werden für jedes Bildpaar B1, B2 diejenigen Punktkorrespondenzen mit den besten Übereinstimmungsmaßen dahingehend überprüft, inwieweit eine noch bessere Übereinstimung dadurch erzielt werden kann, dass nicht nur auf der jeweiligen Epipolarlinie ll, lr, sondern auch eine oder mehrere Bildzeilen zl, zr darüber oder darunter eine Korrespondenzsuche durchgeführt wird. Alternativ können die Bildkoordinaten der auf Epipolarlinien ll, lr gefundenen Korrespondenzen in das ursprüngliche, nicht rektifizierte Bild B1 oder B2 rücktransformiert werden, und es wird eine erneute Korrespondenzsuche in einer lokalen Umgebung des rücktransformierten Bildpunktes durchgeführt. Pro Bildpaar B1, B2 werden in dieser Weise nur wenige, insbesondere 10 bis 100 Punktkorrespondenzen betrachtet.
  • Für jeden Zeitschritt, also in Video-Echtzeit, wird anhand dieser Korrespondenzen die Fundamentalmatrix F gemäß der oben im Schritt S3 beschriebenen Methode ermittelt.
  • Da dieser Schritt lediglich der Inversion einer Matrix der Größe 9 × 9 entspricht, lässt er sich in Videoechtzeit auf dem Steuergerät ausführen. Um starke Schwankungen der Elemente der Fundamentalmatrix F von Bildpaar B1, B2 zu Bildpaar B1n, B2n, z. B. aufgrund von Messungsungenauigkeiten oder Ausreißern zu vermeiden, werden die entsprechenden Werte über die Zeit einem Zustandsschätzer, z. B. einem Kalmanfilter oder einer zeitlichen Glättung durch einen Tiefpaßfilter zugeführt.
  • Die intrinsischen und extrinsischen Kameraparameter werden aus der Fundamentalmatrix F vorzugsweise mit dem in Hartley, R., Zisserman, A., Mutiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2003, beschriebenen Verfahren der absoluten dualen Quadrik oder der "geschichteten" Selbstkalibrierung ermittelt. Da dies nicht in Videoechtzeit, sondern lediglich auf längeren Zeitskalen (z. B. Minuten) erfolgt, lassen sich die entsprechenden Berechnungen in einem Prozess geringer Priorität auf dem Steuergerät während der Stereo-Bildanalyse durchführen. Die Priorität dieses Prozesses wird hierbei so gewählt, dass in vorgegebenen Zeitintervallen (z. B. jede Minute) ein Ergebnis für die Kameraparameter vorliegt.
  • Eine vorzugsweise Ausgestaltung der erfindungsgemäßen Lösung ergibt sich dann, wenn die intrinsischen Parameter der beiden Kameras Kl, Kr, wie Kamerakonstante, Lage des Hauptpunktes im Bild, Seitenverhältnis und Scherwinkel der Pixel, die durch die Matrizen Al und Ar gegeben sind, als konstant angenommen werden. Des Weiteren sei auch der Translationsvektor t → als konstant angenommen, wobei nur der gegenseitige Orientierungswinkel der Kameras Kl, Kr, gegeben durch die Rotationsmatrix R, als veränderlich betrachtet wird. Diese Annahme ist dadurch gerechtfertigt, dass sich eine mechanische Beanspruchung des Stereo-Kamerasystems hauptsächlich auf die Orientierungswinkel auswirkt. Gleichzeitig führen leichte Variationen des Translationsvektors t →, d. h. insbesondere kleine Änderungen der Basislinie b, nicht zu großen Fehlern in der Abstandsmessung.
  • Aus der Fundamentalmatrix F lässt sich dann die Essentialmatrix E gemäß der Beziehung F = A–Tr A E–1l berechnen.
  • Aus der Essentialmatrix E folgen direkt die extrinsischen Kameraparameter, gegeben durch die Rotationsmatrix R und den Translationsvektor t →, gemäß E = [t →]xR mit [t →]x, als Kreuzproduktmatrix des Translationsvektors t → nach Hartley, R., Zisserman, A., Mutiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2003. Da die so berechnete Matrix R im allgemeinen Fall nicht orthonormal ist, muss noch die (z. B. im Sinne der Frobenius-Norm) "nächstgelegene" orthonormale Matrix mit dem in Hartley, R., Zisserman, A., Mutiple View Geometry in Computer Vision, Cambridge University Press, Cambridge, UK, 2003, beschriebenen Verfahren ermittelt werden.
  • Vorzugsweise werden beide Ausführungen des Verfahrens in Kombination angewendet: In relativ kurzen Zeitabständen (z. B. eine Minute) wird die Rotationsmatrix R aktualisiert, in längeren Zeitabständen (z. B. alle zehn Minuten bis mehrere Stunden) werden die verbleibenden extrinsischen sowie die relevanten intrinsischen Parameter (Kamerakonstante, Lage des Hauptpunktes), wie oben beschrieben, ermittelt, wobei die Berechnung wiederum als Prozess geringer Priorität auf dem Steuergerät parallel zur eigentlichen Stereoanalyse abläuft. Hierbei kann zur Erhöhung der Genauigkeit sowie ggf. zur Aktualisierung der Verzeichnisparameter der Objektive auch ein voller Bündelausgleich durchgeführt werden. Vorzugsweise werden alle ermittelten Kameraparameter zur zeitlichen Glättung und zur Verminderung des Einflusses von Ausreißern einem Zustandsschätzer, z. B. einem Kalmanfilter, oder einer zeitlichen Glättung durch einen Tiefpaßfilter zugeführt.
  • Werden die Parameter R und t → nicht explizit benötigt, lassen sich die Epipolarlinien im Bild auch direkt aus der Fundamentalmatrix F bestimmen gemäß der Beziehung l →r = F p →l und l →l = F p →r berechnen, wobei l →r und l →l die Epipolarlinien zu den Bildpunkten p →l und p →r bezeichnen.
  • Weiterhin besteht auch die Möglichkeit, dass anhand der ermittelten Fundamentalmatrix F die einem Merkmalspunkt zuzuordnende Epipolarlinie bestimmt wird. Im Anschluss daran kann anhand dieser Epipolarlinie dann eine Korrespondenzanalyse durchgeführt werden.
    • 1
    Bildaufnahmevorrichtung
    B1, B2
    Paar korrespondierender Bilder
    D
    Drehung
    el, er
    Epipole
    Kl
    linke Kamera
    Kr
    rechte Kamera
    KK
    Kamerakoordinatensystem
    pl, pr
    Paar korrespondierender Bildpunkte
    ll, lr
    Epipolarlinien
    P
    Objektpunkt
    R
    Rotationsmatrix
    t
    Translationsvektor

Claims (10)

  1. Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung (1), insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereoverfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien (ll, lr) ein rektifiziertes Bildpaar (B1, B2) ermittelt wird, dadurch gekennzeichnet, dass für das rektifizierte Bildpaar (B1, B2) eine Anzahl von Paaren korrespondierender Bildpunkte (pl, pr) mit weitgehend gleichen Übereinstimmungsmaßen ermittelt werden und das rektifizierte Bildpaar (B1, B2) derart weiter analysiert wird, dass zumindest zu einem der ermittelten Paare korrespondierender Bildpunkte (pl, pr) jene benachbarten Paare korrespondierender Bildpunkte (pln, prn) auf der jeweiligen Epipolarlinie (ll, lr) und/oder in einer benachbarten Bildzeile (zl, zr) identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen.
  2. Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung (1), insbesondere eines Stereo-Kamerasystems, bei welchem mittels eines Stereo-Verfahrens ein Bildpaar erfasst wird, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien (ll, lr) ein rektifiziertes Bildpaar (B1, B2) ermittelt wird, dadurch gekennzeichnet, dass für das rektifizierte Bildpaar (B1, B2) auf der jeweiligen Epipolarlinie (ll, lr) eine Anzahl von Paaren korrespondierender Bildpunkte (pl, pr) mit weitgehend gleichen Übereinstimmungsmaßen ermittelt werden, wobei das jeweilige Paar korrespondierender Bildpunkte (pl, pr) in das erfasste Bildpaar rücktransformiert werden und zu zumindest einem der ermittelten Paare korrespondierender Bildpunkte jene benachbarten Paare korrespondierender Bildpunkte identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass anhand der ermittelten Paare korrespondierender Bildpunkte (pl, pr, pln, prn) im rektifizierten Bildpaar (B1, B2) und/oder der ermittelten Paare rücktransformierter korrespondierender Bildpunkte im erfassten Bild eine Fundamentalmatrix (F) bestimmt wird.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass anhand der ermittelten Fundamentalmatrix (F) intrinsische Parameter der Bildaufnahmevorrichtung (1) ermittelt werden.
  5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als intrinsische Parameter mindestens eine Aufnahmekonstante, Lage des Hauptpunktes im Bild, Seitenverhältnisse und/oder Orientierungswinkel der Bildpunkte (pl, pr, pln, prn) ermittelt werden.
  6. Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass bei konstantem Translationsvektor (t →) und veränderlichem Orientierungswinkel der Bildaufnahmevorrichtung (1) mit veränderlicher Rotationsmatrix (R) anhand einer aus der Fundamentalmatrix (F) ermittelten Essentialmatrix (E) extrinsische Parameter der Bildaufnahmevorrichtung (1) bestimmt werden.
  7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass als extrinsische Parameter der Bildaufnahmevorrichtung (1) die relative räumliche Lage von aufnehmenden Kameras (Kl, Kr) zueinander bestimmt werden.
  8. Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Rotationsmatrix (R) fortlaufend in vorgebbaren Zeitabständen aktualisiert wird.
  9. Verfahren nach einem der Ansprüche 4 bis 8, dadurch gekennzeichnet, dass die extrinsischen und/oder intrinsischen Parameter fortlaufend in vorgebbaren Zeitabständen bestimmt werden.
  10. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass anhand der ermittelten Fundamentalmatrix (F) die einem Merkmalspunkt zuzuordnende Epipolarlinie bestimmt wird, wobei anhand dieser Epipolarlinie anschließend eine Korrespondenzanalyse durchgeführt wird.
DE102007050558A 2007-10-23 2007-10-23 Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung Withdrawn DE102007050558A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102007050558A DE102007050558A1 (de) 2007-10-23 2007-10-23 Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102007050558A DE102007050558A1 (de) 2007-10-23 2007-10-23 Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung

Publications (1)

Publication Number Publication Date
DE102007050558A1 true DE102007050558A1 (de) 2008-05-15

Family

ID=39277871

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102007050558A Withdrawn DE102007050558A1 (de) 2007-10-23 2007-10-23 Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung

Country Status (1)

Country Link
DE (1) DE102007050558A1 (de)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung
DE102008058798A1 (de) 2008-11-24 2010-05-27 Carl Zeiss Optronics Gmbh Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen
DE102009016818A1 (de) 2009-04-09 2010-10-14 Carl Zeiss Optronics Gmbh Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen
WO2011153989A3 (de) * 2010-06-12 2012-03-29 Conti Temic Microelectronic Gmbh Patente & Lizenzen Stereokamerasystem
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102011076338A1 (de) * 2011-05-24 2012-11-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Röntgensystems mit einem verfahrbaren Bildaufnahmesystem
DE102015205088A1 (de) * 2015-03-20 2016-09-22 Kuka Roboter Gmbh Online-Kalibrierungsprüfung während des Betreibens eines autonomen Fahrzeugs
CN114827571A (zh) * 2021-01-20 2022-07-29 赫克斯冈技术中心 基于模型的补偿

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008040985B4 (de) * 2008-08-05 2021-05-27 Robert Bosch Gmbh Verfahren zur Kalibrierung eines Mehrkamerasystems
CN102119317A (zh) * 2008-08-05 2011-07-06 罗伯特·博世有限公司 多摄像机系统以及用于所述多摄像机系统的校准的方法
WO2010015499A1 (de) * 2008-08-05 2010-02-11 Robert Bosch Gmbh Mehrkamerasystem und verfahren zu dessen kalibrierung
CN102119317B (zh) * 2008-08-05 2013-09-18 罗伯特·博世有限公司 多摄像机系统以及用于所述多摄像机系统的校准的方法
DE102008058798A1 (de) 2008-11-24 2010-05-27 Carl Zeiss Optronics Gmbh Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen
DE102008058798B4 (de) * 2008-11-24 2011-02-17 Carl Zeiss Optronics Gmbh Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen
DE102009016818A1 (de) 2009-04-09 2010-10-14 Carl Zeiss Optronics Gmbh Stereokameraeinrichtungen, Verfahren zur fortlaufenden automatischen Kalibrierung einer Stereokameraeinrichtung, Computerprogramm, Computerprogrammprodukt und Überwachungsvorrichtung für Windkraftanlagen, Gebäude mit transparenten Bereichen, Start- und Landebahnen und/oder Flugkorridore von Flughäfen
WO2011153989A3 (de) * 2010-06-12 2012-03-29 Conti Temic Microelectronic Gmbh Patente & Lizenzen Stereokamerasystem
DE102011076338A1 (de) * 2011-05-24 2012-11-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Röntgensystems mit einem verfahrbaren Bildaufnahmesystem
DE102012001858A1 (de) 2012-02-01 2012-09-27 Daimler Ag Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102015205088B4 (de) * 2015-03-20 2021-03-04 Kuka Deutschland Gmbh Verfahren zum Ermitteln eines Kalibrierungsparameters eines Fahrzeuges sowie Fahrzeug hierzu
DE102015205088A1 (de) * 2015-03-20 2016-09-22 Kuka Roboter Gmbh Online-Kalibrierungsprüfung während des Betreibens eines autonomen Fahrzeugs
CN114827571A (zh) * 2021-01-20 2022-07-29 赫克斯冈技术中心 基于模型的补偿
CN114827571B (zh) * 2021-01-20 2024-04-05 赫克斯冈技术中心 基于模型的补偿

Similar Documents

Publication Publication Date Title
DE102007050558A1 (de) Verfahren zur fortlaufenden Selbstkalibrierung einer Bildaufnahmevorrichtung
DE69918347T2 (de) Vorrichtung und Verfahren zur Einstellung der Konvergenz einer stereoskopsichen Kamera
DE60301026T2 (de) System zur Untersuchung von stereoskopischen Bildmerkmalen
DE60109858T2 (de) System zur Ungleichheitsmessung von stereoskopischen Bildern
DE102015011914A1 (de) Konturlinienmessvorrichtung und Robotersystem
DE102011113197B4 (de) Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger, und Fahrzeug
WO2017206999A1 (de) Verfahren zur auswertung von bilddaten einer fahrzeugkamera
DE102011103423A1 (de) System und Verfahren für 3D-Videostabilisierung durch Verschmelzen von Ausrichtungssensormesswerten und Bildanordnungsabschätzungen
EP3186776B1 (de) Bildaufnahmevorrichtung und verfahren zur bildaufnahme
DE112010005189T5 (de) Tiefe-Aus-Defokussierung-Kalibration
DE102013108070A9 (de) Bildkalibrierung und Entzerrung einer Weitwinkelkamera
DE102014201271A1 (de) Verfahren und Steuergerät zum Erkennen einer Veränderung eines relativen Gierwinkels innerhalb eines Stereo-Video-Systems für ein Fahrzeug
EP1209622A2 (de) Verfahren und Vorrichtung zur Registrierung von Bildern
DE102012001858A1 (de) Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE112019002599T5 (de) Bildverarbeitungsverfahren, Vorrichtung und dreidimensionales Bildgebungssystem
DE102021102233B4 (de) Vorrichtung und Verfahren zur Korrespondenzanalyse in Bildern
DE102016123149A1 (de) Bilddatenbasierte rekonstruktion dreidimensionaler oberflächen
DE102013214497A1 (de) Stereo-Bildverarbeitungsvorrichtung und Verfahren derselben
EP1098268A2 (de) Verfahren zur dreidimensionalen optischen Vermessung von Objektoberflächen
DE102010004233B3 (de) Verfahren zur Bestimmung der Lage eines Kamerasystems bezüglich eines Objekts
DE102006013318A1 (de) 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination von geometrischen und photometrischen Verfahren
DE10340023B3 (de) Verfahren zur Selbstkalibrierung eines Kamerasystems
EP3638095B1 (de) Verfahren zum hochgenauen bestimmen eines pupillendurchmessers eines auges und eine diesbezügliche vorrichtung
DE102006013316A1 (de) 3D-Rekonstruktion von statischen Szenen durch vereinheitlichte Kombination der Methode des Depth from Defokus und der des Shape from Motion
DE3446009C2 (de)

Legal Events

Date Code Title Description
OAV Publication of unexamined application with consent of applicant
R005 Application deemed withdrawn due to failure to request examination
R005 Application deemed withdrawn due to failure to request examination

Effective date: 20141024