DE102010062297A1

DE102010062297A1 - Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug

Info

Publication number: DE102010062297A1
Application number: DE102010062297A
Authority: DE
Inventors: Sascha Wilhelm; Sebastian Waltl
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2010-12-01
Filing date: 2010-12-01
Publication date: 2012-06-06
Anticipated expiration: 2030-12-02
Also published as: DE102010062297B4

Abstract

Bei einem Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug, mittels der dem Fahrzeugnutzer ein dem realen Umfeld entsprechendes Videobild zur Verfügung gestellt wird, werden mehrere Standard-Kalibrierverfahren für sich jeweils speziellen Fahrzuständen und/oder Bewegungsbedingungen des Fahrzeugs zugeordnet. Werden. Das zugehörige Standard-Kalibrierverfahren wird eingesetzt, solange die für ein Standard-Kalibrierverfahren maßgeblichen Fahrzustände und/oder Bewegungsbedingungen des Fahrzeugs vorliegen. Liegen Fahrzustände und/oder Bewegungsbedingungen eines anderen Standard-Kalibrierverfahren vor, wird auf dieses umgestellt.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug, mittels der dem Fahrzeugnutzer ein dem realen Umfeld entsprechendes Videobild zur Verfügung gestellt wird.
In Kraftfahrzeugen werden Videokameras zur Erfassung des Fahrzeugumfeldes und insbesondere im Rahmen von Fahrerassistenzsystemen eingesetzt.
Beispielsweise werden Videokameras als Einparkhilfe zur bildlichen Darstellung der rückwärtigen Umgebung des Fahrzeugs (sog. RearView) verwendet. Um den Fahrer beim Rangieren auf engstem Raum zu unterstützen wird das System optional um zwei weitere Kameras in den Seitenspiegeln ergänzt. Aus den drei einzelnen, sich teilweise überlappenden Videobildern wird ein vogelperspektivisches Gesamtbild des unmittelbaren Umfelds seitlich und hinter dem Fahrzeug erzeugt (sog. TopView).
Die Kameras werden kalibriert, um die Einflüsse der Einbautoleranzen der Kameras im Fahrzeug zu beseitigen. Dies ist notwendig um dem Fahrer ein in seiner Geometrie bestmöglich dem realen Umfeld entsprechendes Videobild bereitzustellen.
Verfahren zur Kalibrierung von Videokameras in Kraftfahrzeugen sind bekannt.
Aus der DE 10229336 A ist beispielsweise ein Verfahren zur Kalibrierung einer Videokamera mittels eines Kalibrierobjektes und eines Lagebezugsensors bekannt.
Die EP 1 120 746 A2 beschreibt ein Verfahren zur Kalibrierung einer Videokamera in einem Kraftfahrzeug mittels eines Kalibrierobjektes, bei dem das Kalibrierobjekt mit dem Kraftfahrzeug verbunden und über eine mechanische Verstellvorrichtung bezüglich des Kraftfahrzeuges ausgerichtet wird.
Die Kalibrierung der Videokameras für RearView und TopView im Rahmen der Fertigung und des Services ist aufwendig. Sie erfordert teure Werkzeuge und kostet wertvolle Taktzeit.
Bei Austausch einer Videokamera ist eine erneute Kalibrierung notwendig, die sehr aufwändig ist und nur durch erfahrene Mitarbeiter durchgeführt werden kann.
Darüber hinaus werden die Videokameras in der Regel nur einmalig bei der Fertigung oder der Inbetriebnahme kalibriert. Toleranzen hinsichtlich Alterung, Setzverhalten oder etwaiger Veränderungen am Fahrzeug werden nicht berücksichtigt.
Der Erfindung liegt die Aufgabe zu Grunde, ein Kalibrierverfahren der eingangs genannten Art zu schaffen, das eine stets exakte Ausrichtung der eingesetzten Videokamera sicherstellt.
Die Erfindung löst diese Aufgabe mit den im Patentanspruch 1 angegebenen Mitteln.
Die Erfindung macht sich die Erfahrungen zu Nutze, die für Standard-Kalibrierverfahren auf Grund ihrer breiten Anwendung bestehen. Die Grenzen der Anwendung der Standard-Kalibrierverfahren werden insoweit berücksichtigt, als diese Kalibrierverfahren nur innerhalb dieser Grenzen eingesetzt werden. Diese Grenzen bestehen in speziellen Fahrzuständen und/oder Bewegungsbedingungen des Fahrzeugs für die und innerhalb derer diese Kalibrierverfahren einsetzbar sind.
Werden die Grenzen überschritten, wird auf ein dann einsetzbares anderes Standard-Kalibrierverfahren umgestellt.
Um einen allzu häufigen Wechsel des Kalibrierverfahrens zu vermeiden, wird dabei vorteilhafter Weise erst dann eine Wechsel des angewandten Verfahrens vollzogen, wenn dessen Anwendungsvoraussetzungen eine definierte Zeitspanne vorliegen.
Auf diese Weise gelingt es, den Kalibriervorgang der Videokameras für RearView und TopView zu automatisieren und den Kalibrieraufwand in der Fertigung und im Service zu minimieren. Eine derartige Videokamera bedarf keiner Werks- oder Servicekalibrierung mehr, da sie eigenständig während des Fahrbetriebes kalibriert wird.
Vorbereitend für die Beschreibung des erfindungsgemäßen Kalibriervorgangs werden nachfolgend vier bekannte Standard-Kalibrierverfahren mit ihren Anwendungsvoraussetzungen erläutert. Es sind dies die unter den Bezeichnungen

• Object-Tracking
• Motion-Blur-Analyse
• Car-Body-Analyse
• Vanishing-Point-Analyse

Das Object-Tracking basiert auf dem Verfolgen von markanten Farbmustern/Texturen auf der Fahrbahn. Durch die Beobachtung eines Farbmusters über mehrere Einzelbilder des Videos wird dessen Trajektorie bestimmt. Die Analyse mehrerer Trajektorien in verschiedenen Bereichen des Bildschirms im Vergleich zur eignen Fahrzeugbewegung ermöglicht die Berechnung der Kamerarotationen. Da eine minimale Anzahl an Frames bzw. Beobachtungen nötig ist um eine brauchbare Spur zusammenzusetzen, ist diese Methode nur bei relativ niedrigen Geschwindigkeiten anwendbar.
Die Motion-Blur-Analyse analysiert die Unschärfe eines Videobildes welche durch die schnelle Bewegung des Fahrzeugs entsteht. Dabei werden die Richtungsvektoren des Untergrunds in relevanten Bereichen des Bildes unter Zuhilfenahme einer Fast-Fourier-Transformation (FFT) bestimmt. Anhand dieser Richtungsvektoren werden die Rotationsparameter der Kamera berechnet. Diese Methode ist nur bei relativ hohen Geschwindigkeiten oder in Situationen mit geringer Helligkeit anwendbar.
Bei der Car-Body-Analyse wird die Position markanter Kanten der Fahrzeugkarosserie im Videobild bestimmt. Für die Kalibrierung der RearView-Kamera beispielsweise wird die Kante des hinteren Stoßfängers genutzt. Für TopView-Kameras, die beispielsweise in den Außenspiegeln sitzen, werden jeweils der Schweller und die Kanten der geschlossenen Vordertür detektiert. Durch den Vergleich dieser geometrischen Daten mit einer vorgegebenen idealen Kameraposition, beispielsweise bekannt aus den Konstruktionsdaten des Fahrzeugs, lässt sich eine Verdrehung der Kamera erkennen und durch an sich bekannte elektronische Bildkorrekturmaßnahmen kompensieren. Dieses Verfahren liefert schnelle Ergebnisse, d. h. Aussagen über eine vom Idealzustand abweichende Drehlage der Kamera und ist bei einer von Null verschiedenen Geschwindigkeit des Fahrzeugs anwendbar. Da sie in Bezug auf die Karosserie durchgeführt wird, kann eine Neigung des Fahrzeugs nicht ohne Weiteres berücksichtigt werden.
Schließlich werden bei der Vanishing-Point-Analyse Fahrbahnmarkierungen erkannt und daraus deren Schnittpunkte durch Extrapolation berechnet. Der Schnittpunkt entspricht dem Fluchtpunkt des Bildes. Anhand dieser Bild-Geometrie lassen sich der tatsächliche Nick- und Gierwinkel der Kamera bestimmen und Abweichungen zur idealen Kameraposition korrigieren. Da diese Methode auf der Erkennung von Straßenmarkierungen basiert, werden äußere Einflüsse, die zu einer fehlerhaften Kalibrierung führen können, besonders berücksichtigt. Dazu zählen Kurven, Gefälle, Änderungen der Fahrbahntextur und natürlich mögliche Spurwechsel. Durch Vergleich mit den im Fahrzeug durch entsprechende Sensoren gelieferten Informationen über den jeweiligen Fahrzustand werden diese Einflüsse erkannt und dieses Kalibrierverfahren währenddessen nicht durchgeführt. Dieses Standard-Kalibrierverfahren ist vorzugsweise für die RearView-Kamera anwendbar.
Neben diesen vier genannten Standard-Kalibrierverfahren können auch noch andere bekannten Kalibrierverfahren zum Einsatz kommen. Nur beispielhaft sei hier das PGM(= Parallel Geometric Method)-Verfahren genannt.
Bei der ersten Inbetriebnahme des Fahrzeugs startet die Online-Kalibrierung in einem „Fast-Calibration-Mode”. Dabei werden die Car-Body- und Vanishing-Point-Analyse in Verbindung mit verringerten Filterkonstanten genutzt um schnellstmöglich ein erste Korrektur grober Verdrehungen der Kamera durchzuführen. Somit stehen die Kamerafunktionen dem Fahrzeugnutzer unmittelbar zur Verfügung.
Nach Erreichen einer definierten Qualität wechselt die Online-Kalibrierung in einen „Normal-Calibration-Mode”. Nun werden die Filterkonstanten erhöht damit die Kalibrierparameter in kleineren Schritten gegen die „optimale Kalibrierung” konvergieren. Jetzt werden auch die zeitlich aufwändigeren Methoden genutzt.
Die zeitliche Abfolge der für die Online-Kalibrierung eingesetzten Standard-Kalibrierverfahren reagiert gezielt auf die aktuelle Kalibrierungs-Qualität der verschiedenen Kameras und deren einzelner Rotationen. Somit wird immer die Methode aktiviert, die zur aktuellen Kalibrierung den besten Beitrag leisten kann.
Wird eine Kamera im Service getauscht, werden auch die zugehörigen Qualitätswerte zurückgesetzt. Auf diese Weise wird die betroffene Kamera automatisch beim zeitlichen Ablauf bevorzugt bis sie zur Qualität der restlichen verbauten Kameras aufgeschlossen hat.
Die Kalibrierung des Systems im Werk kann entfallen, dadurch können Kosten für die nötigen Werkzeuge eingespart und die Prozesszeit verkürzt werden. Im Falle eines nötigen Services der eine Kalibrierung erfordert, kann auch diese eingespart.
Die Qualität über Lebensdauer der Funktionen wird erhöht, da durch die fortlaufende Kalibrierung externe Einflüsse berücksichtigt werden. Im Rahmen dieser Erfindung wird eine vollautonome (Online-)Kalibrierung realisiert. Eine Kalibrierung im Rahmen der Fahrzeugherstellung oder im Service kann dann entfallen. Die Online-Kalibrierung wird im Hintergrund ausgeführt und sorgt somit für eine ständig fortschreitende Verfeinerung bzw. Kontrolle der aktuellen Kalibrierparameter der Kamera.
Keines der Standard-Kalibrierverfahren ist für sich ausreichend, um alle notwendigen Parameter der Kameras zu berechnen. Die Algorithmen unterscheiden sich hinsichtlich der erreichbaren Genauigkeit, der jeweiligen Anforderungen an die Fahrsituation und der grundsätzlichen Fähigkeit einzelne Rotationsparameter der Kameras zu bestimmen. Zusätzlich ergeben sich durch die verschiedenen Einbaupositionen der Kameras am Fahrzeug unterschiedliche Ausgangssituationen bzw. „Blickwinkel” für die Kalibrierung. Das erfindungsgemäße Kalibrierverfahren vereint verschiedene Methoden der Bildverarbeitung zu einer Gesamtfunktion. Durch diese Kombination wird eine automatische Kalibrierung des gesamten Kamerasystems möglich. Dabei wird je nach aktueller Fahrsituation der Algorithmus aktiviert dessen Anforderungen mit den aktuellen Bedingungen übereinstimmen. Die Ergebnisse der einzelnen Methoden werden unter Berücksichtigung einer Gewichtung fusioniert.
Sollten sich im Zuge der Weiterentwicklung der einzelnen Methoden bzw. durch die Ergänzung weiterer Algorithmen geänderte Anforderungen ergeben, kann die kombinierte Kalibrierung durch Applizierung relevanter Parameter flexibel angepasst werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 10229336 A [0006]
EP 1120746 A2 [0007]

Claims

Verfahren zur Kalibrierung einer Videokamera in oder an einem Fahrzeug, mittels der dem Fahrzeugnutzer ein dem realen Umfeld entsprechendes Videobild zur Verfügung gestellt wird, dadurch gekennzeichnet, dass mehrere Standard-Kalibrierverfahren für sich jeweils speziellen Fahrzuständen und/oder Bewegungsbedingungen des Fahrzeugs zugeordnet werden, dass solange die für ein Standard-Kalibrierverfahren maßgeblichen Fahrzustände und/oder Bewegungsbedingungen des Fahrzeugs vorliegen das zugehörige Standard-Kalibrierverfahren eingesetzt wird, und dass auf ein anderes Standard-Kalibrierverfahren umgestellt wird, wenn dessen Fahrzustände und/oder Bewegungsbedingungen vorliegen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der ersten Inbetriebnahme des Fahrzeugs ein „Fast-Calibration-Mode” eingesetzt wird, bei dem eine Car-Body- und Vanishing-Point-Analyse in Verbindung mit verringerten Filterkonstanten genutzt wird.