DE102012001858A1

DE102012001858A1 - Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung

Info

Publication number: DE102012001858A1
Application number: DE102012001858A
Authority: DE
Inventors: Fridtjof Stein
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2012-02-01
Filing date: 2012-02-01
Publication date: 2012-09-27

Abstract

Die Erfindung betrifft ein Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten (2 bis 5) einer Bilderfassungsvorrichtung (1) zur Umgebungserfassung für ein Fahrzeug (F), wobei während eines Betriebs der Bilderfassungseinheiten (2 bis 5) eine Kalibrierung der Bilderfassungseinheiten (2 bis 5) anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten (2 bis 5) durchgeführt wird, wobei bei der Kalibrierung die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten (2 bis 5) relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert werden. Erfindungsgemäß wird bei der Kalibrierung der Bilderfassungseinheiten (2 bis 5) zusätzlich als extrinsischer Parameter eine relative Orientierung der Bilderfassungseinheiten (2 bis 5) zueinander zu vorgegebenen Zeitpunkten (ti bis ti+n) mittels einer Korrespondenzanalyse ermittelt und berücksichtigt, wobei bei der Korrespondenzanalyse innerhalb von jeweils mittels der Bilderfassungseinheiten (2 bis 5) erfassten Bilddatensätzen (BD1, BD2) korrespondierende Bildpunkte identifiziert werden.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung zur Umgebungserfassung für ein Fahrzeug, wobei während eines Betriebs der Bilderfassungseinheiten eine Kalibrierung der Bilderfassungseinheiten anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten durchgeführt wird, wobei bei der Kalibrierung die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert werden.
Es sind allgemein Stereokameraanordnungen zur Umgebungserfassung bekannt, welche sehr hohe Ansprüche an eine genaue relative Orientierung der Kameras der Stereokameraanordnung zueinander stellen. Zu einer genauen stereoskopischen Ermittlung der Umgebung aus den stereoskopisch erfassten Stereobildern ist es deshalb erforderlich, beide erfassten Stereobilder in der Art abzugleichen, dass diese rektifiziert sind. Dieser Abgleich wird mittels einer internen und externen Kalibrierung der Kameras der Stereokameraanordnung durchgeführt. Die interne Kalibrierung wird anhand so genannter intrinsischer Parameter und die externe Kalibrierung anhand so genannter extrinsischer Parameter der jeweiligen Kamera durchgeführt.
Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung bekannt.
Eine derartiges Verfahren zur fortlaufenden Selbstkalibrierung einer als Stereo-Kamerasystem ausgebildeten Bildaufnahmevorrichtung beschreibt die DE 10 2007 050 558 A1 . Hierbei wird mittels eines Stereoverfahrens ein Bildpaar erfasst, anhand dessen durch eine pixelweise Korrespondenzanalyse entlang von Epipolarlinien ein rektifiziertes Bildpaar ermittelt wird. Für das rektifizierte Bildpaar wird eine Anzahl von Paaren korrespondierender Bildpunkte mit weitgehend gleichen Übereinstimmungsmaßen ermittelt. Das rektifizierte Bildpaar wird derart weiter analysiert, dass zumindest zu einem der ermittelten Paare korrespondierender Bildpunkte jene benachbarten Paare korrespondierender Bildpunkte auf der jeweiligen Epipolarlinie und in einer benachbarten Bildzeile identifiziert werden, welche weitgehend gleiche Übereinstimmungsmaße aufweisen. Die korrespondierenden Bildpunkte werden weiterhin einem als Tiefpassfilter ausgebildeten Zustandsschätzer zu einer zeitlichen Glättung zugeführt. Weiterhin werden extrinsische und intrinsische Kameraparameter ermittelt und bei der Verarbeitung des Bildpaares berücksichtigt.
Die US 2005/0100207 A1 offenbart eine Vorrichtung und ein Verfahren zur Korrelationsanalyse zwischen zwei gleichzeitig aufgenommenen Bildern unter Verwendung eines Summations-Speichers, wobei jedes der Bilder eine Mehrzahl von Zeilen aufweist. In dem Verfahren wird jeweils eine Zeile von jedem der Bilder extrahiert, anschließend eine Korrelation der beiden Zeilen ermittelt, wobei die ermittelte Korrelation in dem Summations-Speicher gespeichert wird. Anhand der in dem Summations-Speicher gespeicherten Daten wird eine neue Zeile in einem Disparitätsbild ermittelt. Zusätzlich ist eine weiterverarbeitende Berechnung vorgesehen, welche einen Filter bereitstellt, mittels welchem eine interpolierte Subpixel-Disparität erzeugbar ist.
Ferner offenbart die DE 10 2008 040 985 A1 ein Verfahren zur Kalibrierung eines Mehrkamerasystems, das mindestens zwei zueinander beabstandete Kameras mit elektronischen Bildsensoren aufweist. Die Kameras werden bei der Kalibrierung hinsichtlich ihrer optischen Achsen zueinander ausgerichtet und dienen der Lieferung von dreidimensionalen Bildinformationen. Das Mehrkamerasystem ist dabei an einem Fahrzeug angeordnet. Eine Position der Kameras zueinander, d. h. eine Ausrichtung ihrer optischen Achsen zueinander, wird vor, während und nach der Kalibrierung unverändert beibehalten. Die Kalibrierung der Kameras erfolgt durch elektronische Bearbeitung von Bildinformationen von mindestens einer der Kameras.
Bei Stereokameraanordnungen für Automobilanwendungen ist es bekannt, die Kameras an einer starren Verbindung bis zu einer Basisbreite von 30 cm anzuordnen. Dies resultiert aus einem zur Verfügung stehenden Bauraum, einer zugelassenen Sichtverdeckung für Fahrzeuginsassen und Kostenbeschränkungen. Entsprechend ist eine Kalibrierung der Kameras dieser Stereokameraanordnungen ausgelegt. Zwischen zeitlich aufeinanderfolgenden Bildpaaren ist eine Verwindung der starren Verbindung derart klein, dass diese vernachlässigbar ist. Zur Kompensation von Alterungs- und Temperatureinflüsse wird eine Online-Kalibrierung der Kameras, d. h. eine interne und externe Kalibrierung während des Betriebs der Kamera durchgeführt. Zur Filterung von Abweichungen hinsichtlich der Kameraorientierung wird eine Tiefpassfilterung durchgeführt.
Um größere Sichtweiten einer Stereokameraanordnung oder allgemein einer Bilderfassungsvorrichtung mit mehreren, insbesondere mehr als zwei Bilderfassungseinheiten zu realisieren, sind jedoch größere Basisbreiten zwischen den Bilderfassungseinheiten erforderlich. Aufgrund der größeren Basisbreiten ist keine starre Verbindung der Bilderfassungseinheiten mit vernachlässigbar kleinen Verwindungen möglich. Insbesondere bei der Verwendung der Bilderfassungsvorrichtung für Automobilanwendungen spielt eine Verwindung einer Fahrzeugkarosserie, wie sie bei einer Anordnung der Bilderfassungseinheiten an Außenspiegeln oder bei dynamischen Verbiegungen einer Windschutzscheiben bei an dieser mit großen Basisbreiten angeordneten Bilderfassungseinheiten auftreten, eine nicht mehr zu vernachlässigende Rolle bei der stereoskopischen Ermittlung der Umgebung.
Deshalb liegt der Erfindung die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
In einem Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung zur Umgebungserfassung für ein Fahrzeug wird während eines Betriebs der Bilderfassungseinheiten eine Kalibrierung der Bilderfassungseinheiten anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten durchgeführt, wobei bei der Kalibrierung die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert werden.
Bei den extrinsischen Parametern der Bilderfassungseinheiten handelt es sich um Parameter, welche durch äußere Einflüsse veränderbar sind. Hierzu zählen insbesondere eine Ausrichtung bzw. Orientierung der Bilderfassungseinheiten zueinander, eine Ausrichtung zum Fahrzeug und eine Ausrichtung zur Umgebung des Fahrzeugs.
Die intrinsischen Parameter der Bilderfassungseinheiten sind durch eine Konstruktion und Eigenschaften der Bilderfassungseinheiten selbst vorgegeben. Intrinsische Parameter beschreiben quasi eine innere Geometrie der Bilderfassungseinheit, hängen jedoch nicht von den extrinsischen Parametern ab. Zu den intrinsischen Parametern zählen beispielsweise eine Brennweite, eine Verzeichnung, ein Weißabgleich, Farbeinstellung und weitere interne Parameter.
Erfindungsgemäß wird bei der Kalibrierung der Bilderfassungseinheiten zusätzlich als extrinsischer Parameter eine relative Orientierung der Bilderfassungseinheiten zueinander zu vorgegebenen Zeitpunkten mittels einer Korrespondenzanalyse ermittelt und berücksichtigt, wobei bei der Korrespondenzanalyse innerhalb von jeweils mittels der Bilderfassungseinheiten erfassten Bilddatensätzen korrespondierende Bildpunkte identifiziert werden.
Aus der zusätzlichen Korrespondenzanalyse der relativen Orientierung der Bilderfassungseinheiten zueinander zu vorgegebenen Zeitpunkten ergibt sich in besonders vorteilhafter Weise, dass gegenüber den aus dem Stand der Technik bekannten Verfahren auch bei Bilderfassungsvorrichtungen, welche Bilderfassungseinheiten mit einer großen Basisbreite aufweisen, eine Genauigkeit der Umgebungserfassung signifikant erhöht wird. Dies resultiert aus dem Umstand, dass aufgrund der Korrespondenzanalyse während einer Fahrt des Fahrzeugs auftretende Karosserieverwindungen und Fahrzeugschwingungen ermittelt und somit bei der Kalibrierung berücksichtigt werden können.
Das Verfahren ermöglicht aufgrund der genannten Vorteile weiterhin, dass nicht zwingend starre Verbindungen zwischen den Bilderfassungseinheiten erforderlich sind. Daraus resultierend ist eine Bauraumreduzierung zur Realisierung der Bilderfassungsvorrichtung möglich, woraus neben einer Verbesserung des optischen Erscheinungsbildes des Fahrzeugs auch eine Verringerung von Sichtbehinderungen der Fahrzeuginsassen möglich ist, wenn die Bilderfassungseinheiten im Sichtfeld der Fahrzeuginsassen, beispielsweise an einer Windschutzscheibe des Fahrzeugs, angeordnet sind.
Zusätzlich ist es möglich, als Bilderfassungseinheiten eine Vielzahl von Waferlevelkameras zu verwenden. Sind diese beispielsweise an der Windschutzscheibe des Fahrzeugs angeordnet, wird bei der Durchführung des erfindungsgemäßen Verfahrens eine Verwindung der Windschutzscheibe ermittelt und berücksichtigt.
Auch ermöglicht die Anordnung der Bilderfassungseinheiten mit großen Basisbreiten eine Sichtweitenerhöhung der Bilderfassungsvorrichtung und es sind multiple Bilderfassungsvorrichtungen, beispielsweise Stereokameraanordnungen, mit sich überlappenden Blickwinkeln realisierbar.
In einer besonders vorteilhaften Weiterbildung des erfindungsgemäßen Verfahrens wird die relative Orientierung der Bilderfassungseinheiten zueinander mittels der Korrespondenzanalyse zu jedem Zeitpunkt einer einzelnen Bildaufnahme einer Bilderfassungseinheit durchgeführt. Dadurch wird ermöglicht, dass in jedem Zeitschritt, in welchem eine Bildaufnahme erfolgt, die erfassten Bilder nachjustiert werden können. Somit ist es weiterhin möglich, die Orientierung der Bilderfassungseinheiten zueinander in jedem Zeitschritt zu bestimmen oder Bilderfassungsvorrichtung zu deaktivieren, falls diese Bestimmung, beispielsweise aufgrund ungenügender Lichtverhältnisse, nicht möglich ist.
Um eine besonders präzise Korrespondenzanalyse zu realisieren, wird die Korrespondenzanalyse bevorzugt anhand räumlicher und zeitlicher Korrespondenzen durchgeführt.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens werden bei der Korrespondenzanalyse Modelldaten berücksichtigt, wobei als Modelldaten insbesondere statische und/oder sich dynamisch verändernde geometrische Daten zumindest eines zumindest zwei Bilderfassungseinheiten verbindenden Verbindungselements verwendet werden. Ferner wird in einer Weiterbildung des erfindungsgemäßen Verfahrens bei der Korrespondenzanalyse zumindest ein Kalmanfilter verwendet. Die Verwendung der statischen und dynamischen Modelldaten ermöglicht dabei eine Verbesserung der Filtereigenschaften und somit eine weitere Erhöhung der Genauigkeit der Korrespondenzanalyse.
Die Korrespondenzen werden in der Korrespondenzanalyse gemäß einer Ausgestaltung des Verfahrens anhand einer Korrelationsanalyse ermittelt, welche mit geringem Aufwand durchführbar ist und genaue Ergebnisse liefert.
Alternativ oder zusätzlich wird bei der Korrespondenzanalyse in einem ersten Schritt ein Bilddatensatz mit einem Signaturoperator derart transformiert, dass für jeden Bildpunkt ein Signaturstring berechnet und in einer Signaturtabelle gemeinsam mit Koordinaten des Bildpunktes abgelegt wird. In einem nächsten Schritt wird jeder Bildpunkt des anderen Bilddatensatzes mittels desselben Signaturoperators transformiert, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Koordinaten der Bildpunkte in einer weiteren Signaturtabelle abgelegt werden. Die Einträge der beiden Signaturtabellen werden anschließend dahingehend untersucht, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings zugeordneten Koordinaten eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird. In einfachster Weise kann die Korrespondenzhypothese dergestalt definiert sein, dass dann, wenn in beiden Signaturtabellen übereinstimmende Signaturstrings aufgefunden wurden, davon ausgegangen wird, dass die jeweiligen Bildpunkte des Bildpunktpaares Abbilder desselben Objekts bzw. Teilen davon entsprechen. Dadurch wird in vorteilhafter Weise eine in Bezug auf die Rechenzeit sehr effiziente Korrespondenzanalyse ermöglicht, welche auch in der Lage ist, mehrere gleichzeitig aufgenommene Bilder auch dann noch schnell zu verarbeiten, wenn sich einzelne Objekte in den Bilddatensätzen an stark unterschiedlichen Stellen abbilden.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
1A bis 1F schematisch mehrere Ausführungsbeispiele von Anordnungen einer Bilderfassungsvorrichtung mit mehreren Bilderfassungseinheiten an einem Fahrzeug,
2A schematisch eine Frontansicht eines Fahrzeugs mit einer Bilderfassungsvorrichtung, welche zwei jeweils in einem Außenspiegel des Fahrzeugs angeordnete Bilderfassungseinheiten umfasst,
2B schematisch eine Darstellung von Schwingungen der Bilderfassungseinheiten gemäß 2A während des Betriebs des Fahrzeugs,
3 schematisch ein Paar von mittels zwei Bilderfassungseinheiten gleichzeitig aufgenommenen Stereobildern im Sollzustand,
4 schematisch mehrere zeitlich nacheinander mittels zwei Bilderfassungseinheiten aufgenommene Paare von Stereobildern im Istzustand,
5 schematisch einen Ablaufplan eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
6 schematisch mehrere zeitlich nacheinander mittels zwei Bilderfassungseinheiten aufgenommene Paare von Stereobildern und eine Anwendung eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens,
7 schematisch mehrere zeitlich nacheinander mittels zwei Bilderfassungseinheiten aufgenommene Paare von Stereobildern, und
8 schematisch eine mögliches Ausführungsbeispiel einer hochdynamischen Kalibrierung mittels einer Filterung.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In den 1A bis 1F sind mehrere Ausführungsbeispiele von Anordnungen einer Bilderfassungsvorrichtung 1 mit mehreren Bilderfassungseinheiten 2 bis 5 an einem Fahrzeug F dargestellt. Die Bilderfassungsvorrichtung 1 ist zur Erfassung einer Umgebung des Fahrzeugs F ausgebildet.
Die Bilderfassungseinheiten 2 bis 5 sind dabei jeweils in unterschiedlicher Anzahl, an unterschiedlichen Positionen am Fahrzeug F und in unterschiedlichen Abständen, d. h. so genannten Basisbreiten B1 bis B9, zueinander angeordnet.
1A zeigt das Fahrzeug F, bei dem zwei Bilderfassungseinheiten 2, 3 an einer Windschutzscheibe W des Fahrzeugs F mit einer Basisbreite B1 angeordnet sind. Die Bilderfassungsvorrichtung 1 ist eine Stereokameraanordnung.
In 1B ist Fahrzeug F dargestellt, wobei zwei Bilderfassungseinheiten 2, 3 jeweils an einem Außenspiegel A1, A2 des Fahrzeugs F mit einer Basisbreite B2 angeordnet sind. Die Bilderfassungsvorrichtung 1 ist dabei ebenfalls eine Stereokameraanordnung.
1C zeigt das Fahrzeug F, bei dem zwei Bilderfassungseinheiten 2, 3 jeweils an einem Frontscheinwerfer S1, S2 des Fahrzeugs F mit einer Basisbreite B3 angeordnet sind. Die Bilderfassungsvorrichtung 1 ist dabei eine Stereokameraanordnung.
In 1D ist das Fahrzeug F dargestellt, bei dem drei Bilderfassungseinheiten 2, 3, 4 an der Windschutzscheibe W des Fahrzeugs F mit den Basisbreiten B4 und B5 angeordnet sind.
1E das Fahrzeug F, wobei vier Bilderfassungseinheiten 2, 3, 4, 5 im Seitenbereich des Fahrzeugs F mit den Basisbreiten B6, B7, B8 angeordnet sind und zu einer Seiten- und Rundumsichterfassung ausgebildet sind.
In 1F ist das Fahrzeug F mit zwei an einer Heckscheibe H mit einer Basisbreite B9 angeordneten Bilderfassungseinheiten 2, 3 dargestellt. Die Bilderfassungsvorrichtung 1 ist dabei eine Stereokameraanordnung zur Erfassung eines rückwärtigen, hinter dem Fahrzeug F befindlichen Raumes.
Die Bilderfassungseinheiten 2 bis 5 sind in allen in den 1A bis 1F dargestellten Ausführungsbeispielen Kameras, beispielsweise so genannte Waferlevelkameras. In nicht gezeigten weiteren Ausführungsbeispielen sind die Bilderfassungseinheiten beliebige andere Bildsensoren zur Erfassung der Umgebung des Fahrzeugs F. Das Fahrzeug F weist in nicht näher dargestellten Ausführungsbeispiele ein Kombination aus den in den 1A bis 1F dargestellten Anordnungen auf, wobei hiermit insbesondere Bilderfassungsvorrichtungen 1 zu einer Rundumsichterfassung realisiert werden.
Die Bilderfassungsvorrichtung 1 zeichnet sich in allen dargestellten Ausführungsbeispielen dadurch aus, dass die Basisbreite B1 bis B9 zwischen den einzelnen Bilderfassungseinheiten 2 bis 5 jeweils relativ groß, insbesondere größer als 30 cm ausgebildet ist.
Aufgrund der großen Basisbreiten B1 bis B9 zwischen den Bilderfassungseinheiten 2 bis 5 kann es während des Betriebes des Fahrzeugs F aufgrund von Karosserieverwindungen und Schwingungen V, S zu statischen und insbesondere zu dynamischen Veränderungen einer Orientierung der Bilderfassungseinheiten 2 bis 5 zu dem Fahrzeug F, der Umgebung und zueinander kommen.
Dies ist am Beispiel der Anordnung von zwei Bilderfassungseinheiten 2, 3 in den Außenspiegeln A1, A2 des Fahrzeugs F in den 2A und 2B dargestellt.
Zu verschiedenen aufeinanderfolgenden Zeitpunkten t_i bis t_i+n weisen die Bilderfassungseinheiten 2, 3 aufgrund von Verwindungen und Schwingungen des Fahrzeugs F, insbesondere einer Verbindung zwischen den Bilderfassungseinheiten 2, 3 unterschiedliche Orientierungen zueinander auf.
Zu stereoskopischen Verarbeitung der von mittels der Bilderfassungseinheiten 2, 3 erfassten Bilddatensätzen BD1, BD2 ist es erforderlich, die Orientierungen der Bilderfassungseinheiten 2, 3 zu kennen, um richtige und präzise Ergebnisse der Umgebungserfassung zu realisieren.
In 3 sind zwei Bilddaten BD1, BD2 der Bilderfassungseinheiten 2, 3 dargestellt, welche beispielsweise beim Stillstand des Fahrzeugs F ohne Veränderung einer beispielsweise bei einer so genannten Band-Ende-Kalibrierung und Band-Ende-Justierung eingestellten Orientierung der Bilderfassungseinheiten 2, 3 zueinander.
Die Bilddatensätze BD1, BD2 bestehen dabei jeweils aus mehreren zeitlich nacheinander erfassten Bilder, wobei im dargestellten Ausführungsbeispiel lediglich ein Bild jeder Bilderfassungseinheit 2, 3 dargestellt ist, wobei die Bilder gleichzeitig erfasst wurden.
Im dargestellten Ausführungsbeispiel entspricht die Orientierung der Bilderfassungseinheiten 2, 3 zueinander einer voreingestellten Soll-Orientierung, so dass von den beiden Bilderfassungseinheiten 2, 3 Bilddatensätze BD1, BD2 mit Bildern erfasst werden, die eine epipolare Ausrichtung der auf den Bildern dargestellten Objekte aufweisen.
Aufgrund der Verwindungen und Schwingungen kommt es jedoch dazu, dass wie in 4 dargestellt, die Ausrichtung der auf den Bildern dargestellten Objekte zwischen zwei aufeinanderfolgenden Zeitpunkten t_i, t_i+1 rotatorisch und translatorisch schwingt.
Ohne Kenntnis der Veränderung der Orientierung der Bilderfassungseinheiten 2, 3 zueinander sowie zum Fahrzeug F und zur Umgebung ist eine exakte und richtige Berechnung der Umgebung aus den Bilddatensätzen BD1, BD2 nicht möglich.
Aus diesem Grund erfolgt eine Kalibrierung der Bilderfassungseinheiten 2, 3 mittels des erfindungsgemäßen Verfahrens, wobei ein Ablaufplan eines möglichen Ausführungsbeispiels des erfindungsgemäßen Verfahrens im Bezug auf das in 2A dargestellte Ausführungsbeispiel der Bilderfassungsvorrichtung 1 in 5 dargestellt ist.
In einem ersten Verfahrensschritt VS1 werden in einer Band-Ende- oder Werkstatt-Kalibrierung und Band-Ende- oder Werkstatt-Justierung eine so genannte Offline-Kalibrierung und Offline-Justierung durchgeführt, bei welcher zunächst Abweichungen einer Ist-Orientierung der Bilderfassungseinheiten 2, 3 von einer Soll-Orientierung ermittelt werden und anschließend die Bilderfassungseinheiten 2, 3 derart ausgerichtet werden, dass die Soll-Orientierung eingestellt wird. Unter einer Offline-Kalibrierung und Offline-Justierung wird dabei verstanden, dass die Kalibrierung bzw. Justierung nicht während des Betriebs der Bilderfassungsvorrichtung 1 durchgeführt werden.
In einem zweiten Verfahrensschritt VS2 werden mittels der Bilderfassungseinheiten 2, 3 die Bilddatensätze BD1, BD2 erfasst, so dass ein Paar von Stereobildern vorliegt. In nicht näher dargestellten Ausführungsbeispielen wird das Verfahren auch für weiteren Bilderfassungseinheiten B4, B5 und die mittels dieser erfassten Bilddatensätze in gleicher Weise ausgeführt.
Anschließend erfolgt in einem dritten Verfahrensschritt VS3 in einer Online-Kalibrierung, d. h. während des Betriebs der Bilderfassungsvorrichtung 1, eine Kalibrierung der Bilderfassungseinheiten 2, 3 anhand intrinsischer und extrinsischer Parameter derselben. Bei dieser Online-Kalibrierung werden die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich der Orientierung der Bilderfassungseinheiten 2, 3 relativ zur Umgebung und zum Fahrzeug F von der Soll-Orientierung mittels eines Tiefpassfilters in bekannter Weise gefiltert. Dabei werden Abweichungen der Orientierung der Bilderfassungseinheiten 2, 3 relativ zur Umgebung und zum Fahrzeug F ermittelt, welche beispielsweise aufgrund von Temperatur- und Alterungseinflüssen hervorgerufen werden.
Mittels dieser Tiefpassfilterung lassen sich die aus den Verwindungen und Schwingungen resultierenden Abweichungen der relativen Orientierung der Bilderfassungseinheiten 2, 3 zueinander jedoch nicht in zuverlässiger Weise erfassen.
Aus diesem Grund wird bei der Kalibrierung der Bilderfassungseinheiten 2, 3 in einem vierten Verfahrensschritt VS4 zusätzlich als extrinsischer Parameter die relative Orientierung der Bilderfassungseinheiten 2, 3 zueinander zu vorgegebenen Zeitpunkten t_i bis t_i+n mittels einer Korrespondenzanalyse ermittelt und bei der Kalibrierung berücksichtigt.
Die Korrespondenzanalyse erfolgt dabei insbesondere gemäß dem aus der DE 103 51 778 A1 bekannten Verfahren.
Bei der Korrespondenzanalyse werden innerhalb von den jeweils mittels der Bilderfassungseinheiten 2, 3 erfassten Bilddatensätzen BD1, BD2 korrespondierende Bildpunkte identifiziert. Hierbei wird zunächst ein Bilddatensatz BD1 oder BD2 mit einem Signaturoperator derart transformiert, dass für jeden Bildpunkt ein Signaturstring berechnet und in einer Signaturtabelle gemeinsam mit Koordinaten des Bildpunktes abgelegt wird. Anschließend wird jeder Bildpunkt des anderen Bilddatensatzes BD2 bzw. BD1 mittels desselben Signaturoperators transformiert, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Koordinaten der Bildpunkte in einer weiteren Signaturtabelle abgelegt werden. Die Einträge der beiden Signaturtabellen werden dahingehend untersucht, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings zugeordneten Koordinaten eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird.
Alternativ oder zusätzlich werden die Korrespondenzen in so genannten Korrelationsanalysen ermittelt.
Die Korrespondenzanalyse zur Ermittlung der relativen Orientierung der Bilderfassungseinheiten 2, 3 wird dabei zu jedem Zeitpunkt t_i bis t_i+n einer einzelnen Bildaufnahme einer Bilderfassungseinheit 2, 3 durchgeführt.
Nach der Ermittlung der intrinsischen und extrinsischen Parameter der Bilderfassungseinheiten 2, 3 in den Verfahrensschritten VS3 und VS4 werden die Ergebnisse E1, E2 der Kalibrierung in einem fünften Verfahrensschritt VS5 bei der Rektifizierung der Bilddatensätze BD1, BD2, d. h. im beschriebenen Ausführungsbeispiel der beiden Stereobilder, berücksichtigt, so dass als Ergebnis vorzugsweise die in 3 dargestellten Bilddatensätze BD1, BD2 realisiert werden können.
Anschließend wird die Umgebung des Fahrzeugs F in einem sechsten Verfahrensschritt VS6 basierend auf einem Stereo-Triangulations-Algorithmus berechnet. Mit Hilfe der ermittelten Umgebung erfolgt insbesondere ein Betrieb von nicht gezeigten Fahrerassistenzvorrichtungen des Fahrzeugs F.
Zusätzlich werden während der Korrespondenzanalyse gemäß 6 Modelldaten MD des Fahrzeugs F berücksichtigt, wobei als Modelldaten MD statische Daten D_stat und sich dynamisch verändernde geometrische Daten D_dyn der die zwei Bilderfassungseinheiten 2, 3 verbindenden Verbindungselemente verwendet. Die Verbindungselemente sind in dem in 2 dargestellten Ausführungsbeispiel alle Fahrzeugteile, welche zwischen den Bilderfassungsvorrichtungen 2, 3 angeordnet sind und die Veränderung der relativen Orientierung der Bilderfassungseinheiten 2, 3 zueinander beeinflussen. Hierzu zählen insbesondere die Windschutzscheibe W, ein Windschutzscheibenrahmen sowie die Außenspiegel A1, A2 und deren Befestigungspunkte am Fahrzeug F.
Ausgehend von der Band-Ende-Kalibrierung oder Werkstatt-Kalibrierung zum Zeitpunkt t₀ wird während des Betriebs der Bilderfassungsvorrichtung 1 zu den Zeitpunkten t_i bis t_i+n jeder jeder Bildaufnahme die Korrespondenzanalyse unter Berücksichtigung der Modelldaten MD durchgeführt.
Dabei wird die Korrespondenzanalyse anhand räumlicher Korrespondenzen KR_i, KR_i+1 und zeitlicher Korrespondenzen KT1, KT2 durchgeführt.
Weiterhin wird die Korrespondenzanalyse mittels mehrerer Kalmanfilter 6, 7 durchgeführt, wobei den Kalmanfiltern 6, 7 hierzu die Modelldaten MD sowie die zeitlichen Korrespondenzen KT1, KT2 und räumlichen Korrespondenzen KR_i, KR_i+1, KR_i+2 als Eingangsdaten zugeführt werden. Aus diesen Eingangsdaten werden die Ergebnisse E2 der Korrespondenzanalyse zu den verschiedenen Zeitpunkten t_i+1, t_i+2 ermittelt.
Aufgrund der Modelldaten MD, d. h. insbesondere aufgrund des Wissens über die Verwindungssteifigkeit der die Bilderfassungseinheiten 2, 3 verbindenden Verbindungselemente sind die Filtereigenschaften signifikant verbesserbar.
In den Modelldaten MD wird dabei insbesondere berücksichtigt, dass die Schwingungen und Verwindungen insbesondere daraus resultieren, dass das die beiden Bilderfassungseinheiten 2, 3 verbindende Verbindungselement mittels eines Scharniers an der Fahrzeugkarosserie befestigt ist, beispielsweise bei einer Tür oder Klappe, dass die Karosserie aufgrund von Schwingungen eines Antriebsaggregates Eigenschwingungen aufweist und aufgrund einer Fahrt über einen unebenen Untergrund Karosserie- und Fahrwerksschwingungen entstehen. Ein als Windschutzscheibe W des Fahrzeugs F ausgebildetes Verbindungselement besteht aus einem nicht starren Material, was ebenfalls in den Modelldaten MD berücksichtigt wird.
Bezugszeichenliste

1: Bilderfassungsvorrichtung
2 bis 5: Bilderfassungseinheit
6, 7: Kalmanfilter
A1, A2: Außenspiegel
B1 bis B9: Basisbreite
BD1: Bilddatensatz
BD2: Bilddatensatz
D_dyn: Daten
D_stat: Daten
E1: Ergebnis
E2: Ergebnis
F: Fahrzeug
H: Heckscheibe
KT1, KT2: zeitliche Korrespondenz
KR_i, KR_i+1, KR_i+2: räumliche Korrespondenz
MD: Modelldaten
S: Schwingung
S1, S2: Frontscheinwerfer
t₀: Zeitpunkt
t_i bis t_i+1: Zeitpunkt
V: Verwindung
VS1 bis VS6: Verfahrensschritt
W: Windschutzscheibe

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007050558 A1 [0004]
US 2005/0100207 A1 [0005]
DE 102008040985 A1 [0006]
DE 10351778 A1 [0062]

Claims

Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten (2 bis 5) einer Bilderfassungsvorrichtung (1) zur Umgebungserfassung für ein Fahrzeug (F), wobei während eines Betriebs der Bilderfassungseinheiten (2 bis 5) eine Kalibrierung der Bilderfassungseinheiten (2 bis 5) anhand intrinsischer und extrinsischer Parameter der Bilderfassungseinheiten (2 bis 5) durchgeführt wird, wobei bei der Kalibrierung die intrinsischen Parameter und als extrinsische Parameter Abweichungen hinsichtlich einer Orientierung der Bilderfassungseinheiten (2 bis 5) relativ zur Umgebung von einer Soll-Orientierung mittels eines Tiefpassfilters gefiltert werden, dadurch gekennzeichnet, dass bei der Kalibrierung der Bilderfassungseinheiten (2 bis 5) zusätzlich als extrinsischer Parameter eine relative Orientierung der Bilderfassungseinheiten (2 bis 5) zueinander zu vorgegebenen Zeitpunkten (t_i bis t_i+n) mittels einer Korrespondenzanalyse ermittelt und berücksichtigt wird, wobei bei der Korrespondenzanalyse innerhalb von jeweils mittels der Bilderfassungseinheiten (2 bis 5) erfassten Bilddatensätzen (BD1, BD2) korrespondierende Bildpunkte identifiziert werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die relative Orientierung der Bilderfassungseinheiten (2 bis 5) zueinander mittels der Korrespondenzanalyse zu jedem Zeitpunkt (t_i bis t_i+n) einer einzelnen Bildaufnahme einer Bilderfassungseinheit (2 bis 5) durchgeführt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Korrespondenzanalyse anhand räumlicher Korrespondenzen (KR_i, KR_i+1, KR_i+2) und zeitlicher Korrespondenzen (KT1, KT2) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrespondenzanalyse Modelldaten (MD) berücksichtigt werden.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass als Modelldaten (MD) statische geometrische Daten (D_stat) und/oder sich dynamisch verändernde geometrische Daten (D_dyn) zumindest eines zumindest zwei Bilderfassungseinheiten (2 bis 5) verbindenden Verbindungselements verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrespondenzanalyse zumindest ein Kalmanfilter (6, 7) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Korrespondenzen in der Korrespondenzanalyse anhand einer Korrelationsanalyse ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Korrespondenzanalyse in einem ersten Schritt ein Bilddatensatz (BD1 oder BD2) mit einem Signaturoperator derart transformiert wird, dass für jeden Bildpunkt ein Signaturstring berechnet und in einer Signaturtabelle gemeinsam mit Koordinaten des Bildpunktes abgelegt wird, wobei in einem nächsten Schritt jeder Bildpunkt des anderen Bilddatensatzes (BD2 bzw. BD1) mittels desselben Signaturoperators transformiert wird, worauf die resultierenden Signaturstrings gemeinsam mit den jeweiligen Koordinaten der Bildpunkte in einer weiteren Signaturtabelle abgelegt werden, und wobei die Einträge der beiden Signaturtabellen dahingehend untersucht werden, ob Signaturstrings vorliegen, welche in beiden Tabellen aufzufinden sind, worauf in diesen Fällen für die diesen Signaturstrings zugeordneten Koordinaten eine Korrespondenzhypothese generiert und in einer Hypothesenliste zur Weiterverarbeitung gespeichert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bilderfassungsvorrichtung (1) eine Stereokameraanordnung verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Bilderfassungseinheiten (2 bis 5) Waferlevelkameras verwendet werden.