DE102013201137B4

DE102013201137B4 - Verfahren zur Kalibrierung der extrinsischen Eigenschaften einer fest mit einer Windschutzscheibe eines Kraftfahrzeugs verbundenen Kamera

Info

Publication number: DE102013201137B4
Application number: DE102013201137.7A
Authority: DE
Inventors: Lucien Garcia; Jean-Michel Le Quellec
Original assignee: Continental Automotive GmbH; Continental Automotive France SAS
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2012-01-31
Filing date: 2013-01-24
Publication date: 2018-12-27
Anticipated expiration: 2033-01-25
Also published as: DE102013201137A1; FR2986358A1; FR2986358B1

Abstract

Kalibrierungsverfahren der extrinsischen Eigenschaften einer fest mit der Windschutzscheibe (3) eines Kraftfahrzeugs (1) verbundenen Kamera (4), um in einer Bildebene Szenen zu erfassen, die sich im Bereich des Bodens vor dem Fahrzeug abspielen, wobei das Kalibrierungsverfahren darin besteht:
- vor dem Fahrzeug (1) eine Messlatte (5) zu positionieren, auf der n Zielpunkte (6-8) realisiert und markiert sind, mit n ≥ 3,
- jeden der auf der Messlatte (5) markierten Zielpunkte (6-8) zu erfassen, und durch die Auflösung eines Systems von nicht-linearen Gleichungen mit sechs Unbekannten, die aus drei Translationskomponenten und drei Rotationskomponenten bestehen, die Beziehungen zu berechnen, die es ermöglichen, die Positionierung eines Punkts vor dem Fahrzeug (1) mit gegebenen Koordinaten in der Bildebene der Kamera (4) zu berechnen, und das Kalibrierungsverfahren dadurch gekennzeichnet ist, dass:
- eine Messlatte (5) verwendet wird, deren Zielpunkte (6-8) je auf einer vorbestimmten Höhe bezüglich des Bodens (S) positioniert und entlang einer Achse (d) ausgerichtet sind,
- die Kamera (4) so an der Windschutzscheibe (3) befestigt wird, dass die Kamera einen Brennpunkt aufweist, der sich auf einer bestimmten Höhe (hc) bezüglich der unteren Mantellinie der Luftreifen (2) des Fahrzeugs (1) erstreckt, die auf dem Boden (S) aufliegen,
- und eine der Translationskomponenten ausgehend vom Wert der Höhe jedes Zielpunkts (6-8) und der Höhe (hc) der Kamera (4) zur Auflösung des Systems nicht-linearer Gleichungen bestimmt wird.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung der extrinsischen Eigenschaften einer fest mit einer Windschutzscheibe eines Kraftfahrzeugs verbundenen Kamera, um in einer Bildebene Szenen zu erfassen, die sich im Bereich des Bodens vor dem Fahrzeug abspielen.
Es wird daran erinnert, dass die Kameras tatsächlich intrinsische und extrinsische Eigenschaften aufweisen. Die intrinsischen Eigenschaften bestehen zum Beispiel aus der Brennweite der Kamera, dem Zoom, ... Die extrinsischen Eigenschaften sind ihrerseits mit der Stellung der Kamera bezüglich des Fahrzeugs und/oder bezüglich des Bodens verbunden. Diese extrinsischen Eigenschaften äußern sich in Form der Rotationen/Translationen bezüglich einer idealen Stellung der Kamera.
Das derzeitige Kalibrierungsverfahren solcher Kameras besteht darin,

- vor dem Fahrzeug eine Messlatte zu positionieren, auf der n Zielpunkte realisiert und markiert sind, mit n höher als oder gleich drei (n ≥ 3)
- und jeden der auf der Messlatte markierten Zielpunkte zu erfassen und durch die Lösung eines Systems von nicht-linearen Gleichungen mit sechs Unbekannten, die aus drei Translationskomponenten und drei Rotationskomponenten bestehen, die Beziehungen zu berechnen, die es ermöglichen, die Positionierung eines Punkts vor dem Fahrzeug mit gegebenen Koordinaten in der Bildebene der Kamera zu berechnen.

Außerdem weisen die verwendeten Messlatten in üblicher Weise mindestens drei nicht ausgerichtete Zielpunkte auf. Die Projektion auf die Bildebene der Kamera von drei so nicht-linear angeordneten Zielpunkten ermöglicht es nämlich, zum Beispiel durch die Anwendung eines sogenannten „Carceroni“-Verfahrens, ein System von sechs nicht-linearen Gleichungen mit sechs Unbekannten (drei Translationen und drei Rotationen) zu erhalten, das eine einzige Lösung aufweist.
Aus verschiedenen Gründen, wie zum Beispiel hauptsächlich die Beibehaltung der Verwendung von bisher für weniger leistungsfähige Kalibrierungen verwendeten Messlatten, die eine verringerte Anzahl von räumlichen Informationen besitzen, möchten bestimmte Hersteller dagegen die Verwendung von Messlatten vorschreiben, deren Zielpunkte entlang der gleichen Achse ausgerichtet sind. Wenn die Zielpunkte linear angeordnet sind, sind die Gleichungen des Gleichungssystems aber nicht mehr unabhängig, und die Auflösung dieses Gleichungssystems durch die bekannten Verfahren wird unmöglich.
Tatsächlich erlaubt es derzeit kein Verfahren, die Kamerakalibrierung mittels solcher Messlatten durchzuführen, es sei denn, jedes mit einer solchen Kamera ausgestattete Fahrzeug wird systematisch sehr präzise positioniert (Höhe, Abstand, Ausrichtung bezüglich der Messlatte). Es hat sich aber herausgestellt, dass solche Vorgaben zu inakzeptablen Kosten der Durchführung der Kalibrierungsverfahren auf dem Automobilsektor führen.
In der Druckschrift DE 102 46 067 A1 wird ein Verfahren und eine Vorrichtung zur Kalibrierung wenigstens eines Bildsensorsystems vorgeschlagen, das sich an und/oder in und/oder auf einem Kraftfahrzeug befindet, mittels wenigstens eines Kalibrierobjektes, wobei zur Kalibrierung die Ausrichtung des wenigstens einen Bildsensorsystems bezüglich der geometrischen Fahrachse des Kraftfahrzeuges bestimmt wird.
Die Druckschrift DE 10 2004 033 468 A1 beschreibt ein Verfahren zur Kalibrierung einer in einem Kraftfahrzeug angeordneten Kamera, mittels diesem Abweichungswinkel der Kamera zu Sollanordnungswinkeln besonders einfach zu ermitteln sein sollten. Dazu werden über ein Kamerabild eines außerhalb des Kraftfahrzeuges angeordneten rechteckigen Kalibriermusters näherungsweise die Abweichungswinkel der Kamera zu den Sollanordnungswinkeln ermittelt.
Aus der Druckschrift DE 10 2008 010 805 A1 ist eine Vorrichtung zum Anordnen einer Kalibriertafel vor einem Fahrzeug-Kamerasystem bekannt mit einer Haltevorrichtung für die Kalibriertafel, wobei die Haltevorrichtung derart ausgebildet ist, dass sie eine vertikale und horizontale Justage und Fixierung der Kalibriertafel ermöglicht, und einer Zielvorrichtung, die zum Ausrichten der Kalibriertafel in Bezug auf das Fahrzeug-Kamerasystem vorgesehen ist.
Die vorliegende Erfindung hat zum Ziel dieses Problem zu beseitigen, indem sie ein Verfahren liefert, das ohne Hinzufügung einer teuren Durchführungsvorgabe die Kalibrierung einer Kamera mittels einer Messlatte erlaubt, die mit ausgerichteten Zielpunkten versehen ist.
Zu diesem Zweck betrifft die Erfindung ein Kalibrierungsverfahren der extrinsischen Eigenschaften einer fest mit der Windschutzscheibe eines Kraftfahrzeugs verbundenen Kamera, gemäß dem:

- vor dem Fahrzeug eine Messlatte positioniert wird, auf der n Zielpunkte realisiert und markiert sind, (mit n ≥ 3)
- und jeder der auf der Messlatte markierten Zielpunkte erfasst wird und durch die Auflösung eines Systems von nicht-linearen Gleichungen mit sechs Unbekannten, die aus drei Translationskomponenten und drei Rotationskomponenten bestehen, die Beziehungen berechnet werden, die es ermöglichen die Positionierung eines Punkts vor dem Fahrzeug mit gegebenen Koordinaten in der Bildebene der Kamera zu berechnen.

Erfindungsgemäß besteht dieses Kalibrierungsverfahren darin,

- eine Messlatte zu verwenden, deren Zielpunkte je auf einer vorbestimmten Höhe bezüglich des Bodens positioniert und entlang einer Achse (d) ausgerichtet sind,
- die Kamera so an der Windschutzscheibe zu befestigen, dass die Kamera einen Brennpunkt aufweist, der sich auf einer bestimmten Höhe (hc) bezüglich der unteren Mantellinie der Luftreifen des Fahrzeugs erstreckt, die auf dem Boden aufliegen
- und eine der Translationskomponenten ausgehend vom Wert der Höhe jedes Zielpunkts und der Höhe (hc) der Kamera zur Auflösung des Systems nicht-linearer Gleichungen zu bestimmen.

Als Bedingung schreibt die Erfindung also einfach vor, die Kamera auf der Innenseite der Windschutzscheibe mit einer Präzision zu befestigen, die es ermöglicht, den Wert der Höhe des Brennpunkts dieser Kamera bezüglich des Bodens zu garantieren (in der Praxis wird eine Toleranz von etwa ± 2 cm zugelassen).
Eine solche Forderung erweist sich in der Praxis aber als wenig verbindlich, da:

- die Montage der Kamera auf der Fertigungskette der Fahrzeuge stattfindet und mit großer Präzision durchgeführt werden kann,
- die Kalibrierung am Ausgang der Fertigungskette an Fahrzeugen durchgeführt wird, deren Luftreifendruck für die verschiedenen Fahrzeuge gleich ist, und deren Höhe der Luftreifen folglich perfekt festgelegt ist.

Das erfindungsgemäße Verfahren ermöglicht es, mittels des Ausdrucks der Werte der Höhen der Zielpunkte und des Brennpunkts der Kamera im gleichen geometrischen Bezugssystem, eine der Translationskomponenten des Gleichungssystems zu bestimmen und ein System von fünf nicht-linearen Gleichungen mit fünf Unbekannten (zwei Translationen und drei Rotationen) zu erhalten, das eine einzige Lösung aufweist.
Das erfindungsgemäße Verfahren kann außerdem durchgeführt werden, indem eine Messlatte verwendet wird, deren Zielpunkte entlang einer bezüglich der Waagrechten geneigten Achse ausgerichtet sind.
Man verwendet aber vorteilhafterweise erfindungsgemäß eine Messlatte, deren Zielpunkte entlang einer zumindest im Wesentlichen waagrechten Achse (d) ausgerichtet sind.
Eine solche Anordnung führt dazu, die verschiedenen Zielpunkte auf der gleichen Höhe bezüglich des Bodens zu positionieren, und ermöglicht es, den Wert der Translationskomponente direkt von der Differenz zwischen der Höhe der Zielpunkte und der Höhe des Brennpunkts der Kamera abzuleiten.
Gemäß einer anderen vorteilhaften Ausführungsform der Erfindung wird die Messlatte so positioniert, dass sie eine Höhen- und Breitenzone frei lässt, die geeignet sind, um das Entfernen der mit einer kalibrierten Kamera ausgestatteten Fahrzeuge zu erlauben, ohne dass sie bei ihrem Durchgang an die Messlatte stoßen.
Außerdem wird erfindungsgemäß vorteilhafterweise das sogenannte „Carceroni“-Verfahren angewendet, um das System von nicht-linearen Gleichungen zu erhalten.
Weitere Merkmale, Ziele und Vorteile der Erfindung gehen aus der nachfolgenden ausführlichen Beschreibung unter Bezug auf die beiliegenden Zeichnungen hervor, die als nicht einschränkendes Beispiel eine bevorzugte Ausführungsform darstellen. In diesen Zeichnungen zeigen:

- 1 eine schematische Ansicht einer Kalibrierungsstation zur Durchführung des erfindungsgemäßen Kalibrierungsverfahrens,
- und 2 eine Frontansicht einer Messlatte, die für die Durchführung des erfindungsgemäßen Kalibrierungsverfahrens verwendet wird.

Die als Beispiel in 1 dargestellte Kalibrierungsstation ist für die Kalibrierung der extrinsischen Eigenschaften einer Kamera 4 konzipiert, die fest mit der Innenseite der Windschutzscheibe 3 eines Kraftfahrzeugs 1 verbunden ist, das auf dem Boden S mittels Luftreifen 2 aufliegt, die einen für alle Fahrzeuge des gleichen Modells gleichen bestimmten Fülldruck aufweisen.
Außerdem ist die Position dieser Kamera 4 so angepasst, dass der Brennpunkt dieser letzteren sich mit einer Toleranz in der Größenordnung von ± 2 cm auf einer bestimmten Höhe (hc) bezüglich der unteren Mantellinie der Luftreifen 2 des Fahrzeugs 1 erstreckt, die auf dem Boden S aufliegen.
Diese Kalibrierungsstation weist eine Messlatte 5 auf, die von einer unter der Decke P der Station befestigten Aufhängung 13 getragen wird und so angeordnet ist, dass die Messlatte sich in einer senkrechten Ebene (y, z) erstreckt, die ein orthonormiertes Bezugssystem mit einer Achse (x) parallel zur Verschiebeachse der Fahrzeuge 1 formt.
Diese Messlatte 5 weist drei Zielpunkte 6, 7, 8 ( 2) auf, die entlang einer zumindest im Wesentlichen waagrechten Achse (d) ausgerichtet sind. Jeder dieser Zielpunkte 6-8 bildet den Mittelpunkt eines quadratischen Ziels, das in vier quadratische Sektoren 9-12 gleicher Abmessungen und abwechselnd schwarz (Sektoren 9, 10) und weiß (Sektoren 11, 12) aufgeteilt ist.
Außerdem ist die Aufhängung 13 geeignet, damit die Messlatte 5 sich über einer Zone mit geeigneter Höhe und Breite erstreckt, um es den Fahrzeugen 1 zu erlauben, die Kalibrierungsstation zu verlassen, ohne gegen die Messlatte zu stoßen.
Das Kalibrierungsverfahren der extrinsischen Eigenschaften einer Kamera 4, das in dieser Kalibrierungsstation durchgeführt wird, besteht darin,

- die drei Zielpunkte 6-8 der Messlatte 5 zu erfassen, d.h. die Koordinaten dieser drei Zielpunkte in der Ebene der Messlatte zu erstellen,
- die Translationskomponente gemäß der Achse z ausgehend von der Differenz (hm - hc) zwischen den jeweiligen Höhen der Zielpunkte 6-8 und dem Brennpunkt der Kamera 4 abzuleiten,
- das sogenannte „Carceroni“-Verfahren für den Erhalt eines Systems von fünf nicht-linearen Gleichungen mit fünf Unbekannten anzuwenden
- und das Gleichungssystem aufzulösen, um die extrinsischen Eigenschaften der Kamera 4 zu bestimmen.

Es ist anzumerken, dass erfindungsgemäß als „Carceroni“-Verfahren das Verfahren definiert wird, das insbesondere in dem Artikel von H. Araújo, R. L. Carceroni und C. M. Brown „A fully projection formulation to improve the accuracy of Lowe's pose estimation algorithm“ (Computer Vision and Image Understanding, 70/2; 227-238, 1998) beschrieben wird.
Das oben beschriebene erfindungsgemäße Kalibrierungsverfahren ermöglicht es, die extrinsischen Eigenschaften einer Kamera 4 mittels einer Messlatte zu bestimmen, die eine verringerte Anzahl von räumlichen Informationen besitzt (drei ausgerichtete Zielpunkte), ohne Hinzufügung einer teuren Vorgabe der Durchführung des Kalibrierungsverfahrens.

Claims

Kalibrierungsverfahren der extrinsischen Eigenschaften einer fest mit der Windschutzscheibe (3) eines Kraftfahrzeugs (1) verbundenen Kamera (4), um in einer Bildebene Szenen zu erfassen, die sich im Bereich des Bodens vor dem Fahrzeug abspielen, wobei das Kalibrierungsverfahren darin besteht: - vor dem Fahrzeug (1) eine Messlatte (5) zu positionieren, auf der n Zielpunkte (6-8) realisiert und markiert sind, mit n ≥ 3, - jeden der auf der Messlatte (5) markierten Zielpunkte (6-8) zu erfassen, und durch die Auflösung eines Systems von nicht-linearen Gleichungen mit sechs Unbekannten, die aus drei Translationskomponenten und drei Rotationskomponenten bestehen, die Beziehungen zu berechnen, die es ermöglichen, die Positionierung eines Punkts vor dem Fahrzeug (1) mit gegebenen Koordinaten in der Bildebene der Kamera (4) zu berechnen, und das Kalibrierungsverfahren dadurch gekennzeichnet ist, dass: - eine Messlatte (5) verwendet wird, deren Zielpunkte (6-8) je auf einer vorbestimmten Höhe bezüglich des Bodens (S) positioniert und entlang einer Achse (d) ausgerichtet sind, - die Kamera (4) so an der Windschutzscheibe (3) befestigt wird, dass die Kamera einen Brennpunkt aufweist, der sich auf einer bestimmten Höhe (hc) bezüglich der unteren Mantellinie der Luftreifen (2) des Fahrzeugs (1) erstreckt, die auf dem Boden (S) aufliegen, - und eine der Translationskomponenten ausgehend vom Wert der Höhe jedes Zielpunkts (6-8) und der Höhe (hc) der Kamera (4) zur Auflösung des Systems nicht-linearer Gleichungen bestimmt wird.
Kalibrierungsverfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Messlatte (5) verwendet wird, deren Zielpunkte (6-8) entlang einer waagrechten Achse ausgerichtet sind.
Kalibrierungsverfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass die Messlatte (5) so positioniert wird, dass sie eine Höhen- und Breitenzone frei lässt, die geeignet sind, um das Entfernen der mit einer kalibrierten Kamera (4) ausgestatteten Fahrzeuge (1) zu erlauben.
Kalibrierungsverfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das sogenannte „Carceroni“-Verfahren angewendet wird, um das System nicht-linearer Gleichungen zu erhalten.