DE102014016342B4

DE102014016342B4 - Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera

Info

Publication number: DE102014016342B4
Application number: DE102014016342.3A
Authority: DE
Inventors: Nicolaj Stache; Gregory Baratoff; Jochen Spruck; Fridtjof Stein
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-11-05
Filing date: 2014-11-05
Publication date: 2019-03-14
Anticipated expiration: 2034-11-06
Also published as: DE102014016342A1

Abstract

Verfahren zur Kalibrierung eines Schielwinkels (γ) von Einzelbildkameras (12, 14) einer Stereokamera (10) eines Fahrzeugs, dadurch gekennzeichnet, dass während des Betriebs des Fahrzeugs mittels wenigstens einer von der Stereokamera (10) unterschiedlichen Erfassungseinrichtung des Fahrzeugs wenigstens ein erster Abstand des Fahrzeugs zu einem vom Fahrzeug unterschiedlichen Objekt erfasst wird, mittels der Stereokamera (10) ein weiterer Abstand des Fahrzeugs zu dem Objekt erfasst wird, wobei der Schielwinkel (γ) in Abhängigkeit von einem Vergleich des erfassten ersten Abstands mit dem erfassten weiteren Abstand kalibriert wird.

Description

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines Schielwinkels von Einzelbildkameras einer Stereokamera gemäß dem Oberbegriff von Patentanspruch 1.
Ein solches Verfahren ist beispielsweise bereits der DE 10 2012 009 577 A1 als bekannt zu entnehmen. Bei dem Verfahren wird ein Schielwinkel von Einzelbildkameras einer Stereokamera eines Fahrzeugs, insbesondere eines Kraftwagens, kalibriert. Dabei werden in zeitlich nacheinander erfassten Sätzen von jeweils zumindest zwei gleichzeitig mittels der zumindest zwei Bildkameras erfassten Bildern korrespondierende Bildpunkte ermittelt. Ferner wird zu zumindest zwei aufeinanderfolgenden Zeitpunkten jeweils eine Disparität der korrespondierenden Bildpunkte in den gleichzeitig erfassten Bildern stereoskopisch ermittelt. Außerdem ist vorgesehen, dass aus Odometriedaten des Fahrzeugs eine von dem Fahrzeug in einem Zeitraum zwischen den zumindest zwei Zeitpunkten zurückgelegte Referenz-Fahrstrecke ermittelt wird. Zu den zumindest zwei aufeinanderfolgenden Zeitpunkten werden aus der stereoskopisch ermittelten Disparität, einer Brennweite der Stereokamera und einer Basisbreite zwischen den Einzelbildkameras Positionen des Fahrzeugs ermittelt. Des Weiteren wird aus einer Differenz der Positionen eine von dem Fahrzeug in einem Zeitraum zwischen den zumindest zwei Zeitpunkten zurückgelegte stereoskopisch ermittelte Fahrstrecke ermittelt. Schließlich wird zur Kalibrierung des Schielwinkels der Einzelbildkameras eine Abweichung zwischen der Referenz-Fahrstrecke und der stereoskopisch ermittelten Fahrstrecke ermittelt.
Der sogenannte Schielwinkel der Einzelbildkamera ist in der DE 10 2012 009 577 A1 sehr gut erläutert und hat einen großen Einfluss auf eine Genauigkeit, mit der mittels der Stereokamera Abstände des Fahrzeugs zu vom Fahrzeug unterschiedlichen Objekten in der Umgebung des Fahrzeugs erfasst werden können. Mit anderen Worten hängt eine Distanzmessgenauigkeit der Stereokamera im Wesentlichen von dem Schielwinkel beziehungsweise von der Genauigkeit ab, mit der der Schielwinkel der Einzelbildkameras eingestellt ist. Es hat sich gezeigt, dass sich der Schielwinkel während des Betriebs des Fahrzeugs beispielsweise aufgrund von Temperaturschwankungen ändern kann, weshalb eine Kalibrierung beziehungsweise Justage des Schielwinkels wünschenswert ist. Dabei ist es wünschenswert, diese Justage online, das heißt also während des Betriebs des Fahrzeugs durchzuführen.
Die DE 10 2011 105 074 A1 offenbart ein Verfahren zur Bestimmung einer Sichtweite für ein Fahrzeug, wobei mittels zumindest einer Kamera eine Umgebung des Fahrzeugs erfasst wird. In mittels der Kamera erfassten Bildern werden Kontrastmaße für zumindest ein auf den Bildern dargestelltes Objekt ermittelt, wobei aus den Kontrastmaßen die Sichtweite ermittelt wird. Dabei ist es vorgesehen, dass aus mittels zumindest eines Radarsensors erfassten Daten ein Abstand zwischen dem Fahrzeug und dem Objekt ermittelt wird, wobei der ermittelte Abstand als Referenzwert für die ermittelte Sichtweite verwendet wird. Bei einer Abweichung der ermittelten Sichtweite von dem Abstand wird der Wert der Sichtweite berichtigt.
DE 102 29 336 A1 zeigt ein Verfahren zur Kalibrierung von Bildsensorsystemen in Kraftfahrzeugen, bei dem das Bildsensorsystem ein Kalibrierobjekt aufnimmt. Ein Lagebezugsensor ermittelt einen Wert, der die Lage und/oder die Ausrichtung des Kalibrierobjekts und des Bildsensorsystems zueinander repräsentiert. Dieser Wert wird zur Kalibrierung verwendet.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren der eingangs genannten Art zu schaffen, mittels welchem der Schielwinkel der Einzelbildkameras auf besonders einfache Weise und besonders präzise kalibriert werden kann.
Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte Ausgestaltungen mit zweckmäßigen Weiterbildungen der Erfindung sind in den übrigen Ansprüchen angegeben.
Um ein Verfahren der im Oberbergriff des Patentanspruchs 1 angegebenen Art zu schaffen, mittels welchem der Schielwinkel der Einzelbildkameras auf besonders einfache Weise und besonders präzise kalibriert, das heißt justiert werden kann, ist es erfindungsgemäß vorgesehen, dass mittels wenigstens einer von der Stereokamera unterschiedlichen Erfassungseinrichtung des Fahrzeugs wenigstens ein Abstand des Fahrzeugs zu einem vom Fahrzeug unterschiedlichen Objekt erfasst wird, wobei der Schielwinkel in Abhängigkeit von dem erfassten Abstand kalibriert wird. Mit anderen Worten ist es erfindungsgemäß vorgesehen, dass zum Kalibrieren beziehungsweise zur Justage des Schielwinkels eine redundante, das heißt von der Stereokamera unterschiedliche und zusätzlich zur Stereokamera vorgesehene Erfassungseinrichtung verwendet wird. Hierdurch kann der Abstand des Fahrzeugs zu dem Objekt unabhängig von der Stereokamera erfasst werden.
Mit anderen Worten wird die Erfassung des Abstands nicht durch die Stereokamera und somit nicht durch eine entsprechende Abweichung eines Ist-Werts des Schielwinkels von einem Soll-Wert des Schielwinkels beeinträchtigt. In der Folge kann der Schielwinkel besonders präzise eingestellt werden. Darüber hinaus kann der Schielwinkel auf besonders einfache Weise, das heißt beispielsweise ohne zeit- und rechenaufwendige Algorithmen justiert werden.
Erfindungsgemäß wird mittels der Stereokamera ein weiterer Abstand des Fahrzeugs zu dem vom Fahrzeug unterschiedlichen Objekt erfasst. Dieser weitere Abstand wird mit dem mittels der Erfassungseinrichtung erfassten, ersten Abstand verglichen. Weicht der mittels der Stereokamera erfasste, weitere Abstand von dem mittels der Erfassungseinrichtung erfassten, ersten Abstand ab, so weicht der Ist-Wert des Schielwinkels von dem vorgebbaren Soll-Wert ab, sodass der Schielwinkel zu kalibrieren beziehungsweise zu justieren ist. Dies bedeutet, dass der mittels der Erfassungseinrichtung erfasste, erste Abstand als Referenz-Abstand oder Referenz-Messung verwendet wird, wobei in Abhängigkeit von dieser Referenz-Messung der Schielwinkel zunächst überprüft und - falls der Ist-Wert von dem Soll-Wert des Schielwinkels abweicht - kalibriert wird. Dabei ist es beispielsweise vorgesehen, dass der Schielwinkel derart kalibriert wird, dass eine etwaige Abweichung zwischen dem ersten Abstand und dem weiteren Abstand zumindest verringert, das heißt verringert oder aufgehoben wird. Mit anderen Worten wird der Schielwinkel der Einzelbildkameras derart festgelegt, dass der erste Abstand, das heißt die Referenz-Messung beziehungsweise Referenz-Wert mit dem weiteren Abstand übereinstimmt. Dadurch kann eine zuverlässige Justage des Schielwinkels der Stereokamera während des Betriebs des Fahrzeugs realisiert werden. Mit anderen Worten ermöglicht das erfindungsgemäße Verfahren eine besonders einfache Online-Kalibrierung des Schielwinkels.
Bei dem vom Fahrzeug unterschiedlichen Objekt, welches auch als Führungsobjekt bezeichnet wird handelt es sich beispielsweise um ein sich bewegendes Objekt in der Umgebung des Fahrzeugs, insbesondere um ein vorausfahrendes Fahrzeug. Der jeweilige, erfasste beziehungsweise ermittelte Abstand des Fahrzeugs zu dem Objekt bezieht sich dabei beispielsweise auf einen Referenzpunkt am Fahrzeug.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.
Die Zeichnung zeigt in:

1 eine schematische Draufsicht einer zwei Einzelbildkameras umfassenden Stereokamera eines Fahrzeugs, wobei ein Schielwinkel der Einzelbildkameras einen Ist-Wert aufweist, welcher einem vorgebbaren Soll-Wert des Schielwinkels entspricht; und
2 eine weitere schematische.Draufsicht der Stereokamera, wobei der Ist-Wert des Schielwinkels vom Soll-Wert abweicht, sodass der Schielwinkel im Rahmen eines entsprechenden Verfahrens kalibriert wird, indem mittels wenigstens einer von der Stereokamera unterschiedlichen Erfassungseinrichtung des Fahrzeugs wenigstens ein Abstand des Fahrzeugs zu einem vom Fahrzeug unterschiedlichen Objekt erfasst wird, wobei der Schielwinkel in Abhängigkeit von dem erfassten Abstand kalibriert wird.

In den Fig. sind gleiche oder funktionsgleiche Elemente mit gleichen Bezugszeichen versehen.
1 zeigt in einer schematischen Draufsicht eine im Ganzen mit 10 bezeichnete Stereokamera eines Fahrzeugs, insbesondere eines Personenkraftwagens. Die Stereokamera 10 wird beispielsweise für wenigstens ein Fahrerassistenzsystem des Fahrzeugs verwendet, um jeweilige Abstände des Fahrzeugs zu vom Fahrzeug unterschiedlichen Objekten zu erfassen beziehungsweise zu ermitteln. Beispielsweise ist es auf diese Weise möglich, jeweilige Abstände des Fahrzeugs zu anderen Fahrzeugen zu ermitteln. Die Erfassung dieser Abstände erfolgt im Rahmen einer jeweiligen, sogenannten Distanzmessung. Im Rahmen einer solchen Distanzmessung wird also wenigstens ein Messwert mittels der Stereokamera 10 erfasst, wobei dieser Messwert einen Abstand des Fahrzeugs zu wenigstens einem vom Fahrzeug unterschiedlichen Objekt beschreibt. Ergeben beispielsweise Distanzmessungen, dass der Abstand des Fahrzeugs zu einem anderen Objekt einen vorgebbaren Schwellenwert unterschreitet oder über eine vorgebbare Zeitdauer geringer wird und einen vorgebbaren Schwellenwert unterschreitet, so kann beispielsweise in Abhängigkeit von diesen Distanzmessungen mittels des Fahrerassistenzsystem eine automatische Bremsung, das heißt eine automatische Geschwindigkeitsverringerung des Fahrzeugs bewirkt werden, um dadurch eine Kollision des Fahrzeugs mit dem anderen Objekt zu vermeiden beziehungsweise die Wahrscheinlichkeit einer Kollision des Fahrzeugs mit dem anderen Objekt zu verringern.
Die Stereokamerä 10 umfasst zwei Einzelbildkameras 12 und 14 mit einer jeweiligen, optischen Hauptachse HA1 und HA2. Aus 1 ist erkennbar, dass die Einzelbildkameras 12 und 14 derart relativ zueinander ausgerichtet sind, dass ihre optischen Hauptachsen HA1 und HA2 zumindest im Wesentlichen parallel zueinander verlaufen. Die Ausrichtung der Einzelbildkameras 12 und 14 ist ferner durch einen Schielwinkel γ beschrieben, welcher eine Rotation der Einzelbildkameras 12 und 14 um eine vertikal verlaufende und senkrecht zu den Hauptachsen HA1 und HA2 ausgerichtete Achse y beschreibt. Dieser Schielwinkel γ der Einzelbildkameras 12 und 14 ist besonders gut in DE 10 2012 009 577 A1 erläutert, deren Inhalt vollumfänglich als Teil dieser Offenbarung anzusehen ist.
Gemäß 1 sind die Einzelbildkameras 12 und 14 derart relativ zueinander ausgerichtet, dass der Schielwinkel γ einen Ist-Wert aufweist, welcher einem vorgebbaren Soll-Wert entspricht. Der Schielwinkel γ hat dabei einen großen Einfluss auf die Genauigkeit, das heißt die Messgenauigkeit, mit welcher mittels der Stereokamera 10 jeweilige Abstände des Fahrzeugs zu vom Fahrzeug unterschiedlichen Objekten erfasst werden können. Der zuvor genannte Soll-Wert beträgt beispielsweise null Grad, sodass gemäß 1 auch der Ist-Wert des Schielwinkels γ null Grad beträgt. Weicht nun beispielsweise der Ist-Wert vom vorgebbaren Soll-Wert ab, so kann es zu Entfernungsmessfehlern kommen.
2 zeigt die Stereokamera 10, bei welcher nun der Schielwinkel γ größer oder kleiner als null Grad ist. Mit anderen Worten weicht gemäß 2 der Ist-Wert vom Soll-Wert ab, sodass ein Schielwinkelfehler vorliegt. Bereits geringe Schielwinkelfehler können zu verhältnismäßig hohen Entfernungsmessfehlern führen, sodass beispielsweise mittels der Stereokamera 10 eine Entfernung beziehungsweise Distanz zwischen dem Fahrzeug und einem vom Fahrzeug unterschiedlichen Objekt erfasst wird, wobei diese erfasste Distanz um bis zu 50 Prozent von der tatsächlich vorliegenden Distanz zwischen dem Fahrzeug und dem Objekt abweichen kann. Mit anderen Worten kann es aufgrund von Schielwinkelfehlern dazu kommen, dass mittels der Stereokamera 10 Entfernungen des Fahrzeugs zu anderen Objekten erfasst werden, welche deutlich von den tatsächlich vorliegenden Entfernungen abweichen. Um daraus gegebenenfalls resultierende, unerwünschte Funktionen des Fahrerassistenzsystems zu vermeiden, wird ein Verfahren durchgeführt, bei welchem der Schielwinkel γ kalibriert, das heißt justiert wird. Diese Kalibrierung beziehungsweise Justage des Schielwinkels γ kann dabei während des Betriebs des Fahrzeugs, das heißt online durchgeführt werden, ohne dass hierzu das Fahrzeug angehalten beziehungsweise in eine Werkstatt gebracht werden müsste.
Im Rahmen des Verfahrens wird mittels wenigstens einer von der Stereokamera 10 unterschiedlichen Erfassungseinrichtung des Fahrzeugs wenigstens ein erster Abstand des Fahrzeugs zu einem vom Fahrzeug unterschiedlichen Objekt erfasst. Dabei wird der Schielwinkel γ in Abhängigkeit von dem erfassten ersten Abstand kalibriert. Mit anderen Worten wird mittels der von der Stereokamera 10 unterschiedlichen und zusätzlich zur Stereokamera 10 vorgesehenen Erfassungseinrichtung eine Referenz-Distanzmessung durchgeführt, bei welcher der erste Abstand erfasst beziehungsweise ermittelt wird. Ferner wird mittels der Stereokamera 10 wenigstens eine weitere Distanzmessung durchgeführt, bei welcher wenigstens ein weiterer Abstand des Fahrzeugs zu dem Objekt erfasst wird. Die Referenz-Distanzmessung wird mit der weiteren Distanzmessung verglichen. Mit anderen Worten wird der erste Abstand mit dem weiteren Abstand verglichen. Weicht die Distanzmessung von der Referenz-Distanzmessung ab, das heißt überschreitet beispielsweise eine etwaige Abweichung der Distanzmessung von der Referenz-Distanzmessung einen vorgebbaren Schwellenwert, so wird der Schielwinkel γ derart kalibriert beziehungsweise festgelegt, dass die Abweichung reduziert oder aufgehoben wird, und sodass die Distanzmessung beziehungsweise der weitere Abstand der Referenz-Distanzmessung beziehungsweise dem ersten Abstand entspricht.
Vorzugsweise wird ein Radarsensor und/oder ein Lidarsensor der Erfassungseinrichtung verwendet, mittels welchem der wenigstens eine erste Abstand erfasst wird. Die jeweilige Distanzmessung, insbesondere die Referenz-Distanzmessung, geschieht beispielsweise von einem Referenzpunkt des Fahrzeugs aus, sodass der jeweilige erfasste Abstand auf diesen Referenzpunkt bezogen wird. Bei dem Objekt, dessen Abstand zu dem Fahrzeug erfasst wird, handelt es sich beispielsweise um ein vorausfahrendes Fahrzeug, wobei das Objekt auch als Führungsobjekt bezeichnet wird.
Die weitere Distanzmessung, das heißt die Erfassung oder Ermittlung des weiteren Abstands geschieht beispielsweise durch Auswertung der Stereo-Disparität, ebenfalls von einem Referenzpunkt des Fahrzeugs zum vorausfahrenden Fahrzeug beziehungsweise zu einem Referenzpunkt des vom Fahrzeug unterschiedlichen Objekts. Insgesamt ist es möglich, in Schielwinkel γ so zu korrigieren, dass der erste Abstand mit dem weiteren Abstand übereinstimmt.
Zur Korrektur des Schielwinkels γ wird beispielsweise ein sogenanntes Winkel-Delta d_yaw berechnet, der sich für kleine Winkel aus folgender Formel ergibt: $d_{yaw} = {tan}^{- 1} (b (\frac{1}{x 1} - \frac{1}{x 2})) .$
Dabei bezeichnet b die Baselinelänge, x₁ den ersten Abstand, welcher auch als Stereo-Distanz bezeichnet wird und x₂ den weiteren Abstand, welcher - wenn der weitere Abstand beispielsweise mittels eines Radarsensors erfasst wird - auch als Radar-Distanz bezeichnet wird. Das aus dieser Formel berechnete Winkel-delta d_yaw wird zu dem verwendeten Schielwinkel äddiert.
Die Verwendung eines Radarsensors ist insofern besonders vorteilhaft, als eine Radar-Distanzmessung technisch gerade bei großen Distanzen sehr genau durchgeführt werden kann und eher einen konstanten Offset von beispielsweise 20 Zentimeter als Fehler hat. Dadurch kann schon bei geringen Distanzen ab beispielsweise 30 Meter eine ausreichende Schielwinkel-Kalibriergenauigkeit realisiert werden.
Um eine besonders hohe Genauigkeit und eine besonders hohe Robustheit zu realisieren, werden vorzugsweise mehrere Distanzmessungen durchgeführt, bei welchen mehrere Abstände des Fahrzeugs zu unterschiedlichen Führungsobjekten erfasst werden. Die mehreren Abstände werden beispielsweise durch Verwendung eines Quantils um den Median der Abstände von Ausreisern befreit und gemittelt, sodass der Schielwinkel γ besonders präzise korrigiert werden kann. Es hat sich gezeigt, dass auf diese Weise über eine sehr lange Betriebsdauer eine sehr gute Kameramessgenauigkeit gewährleistet werden kann.
Bezugszeichenliste

10: Stereokamera
12: Einzelbildkamera
14: Einzelbildkamera
HA1: optische Hauptachse
HA2: optische Hauptachse
y: Achse
γ: Schielwinkel

Claims

Verfahren zur Kalibrierung eines Schielwinkels (γ) von Einzelbildkameras (12, 14) einer Stereokamera (10) eines Fahrzeugs, dadurch gekennzeichnet, dass während des Betriebs des Fahrzeugs mittels wenigstens einer von der Stereokamera (10) unterschiedlichen Erfassungseinrichtung des Fahrzeugs wenigstens ein erster Abstand des Fahrzeugs zu einem vom Fahrzeug unterschiedlichen Objekt erfasst wird, mittels der Stereokamera (10) ein weiterer Abstand des Fahrzeugs zu dem Objekt erfasst wird, wobei der Schielwinkel (γ) in Abhängigkeit von einem Vergleich des erfassten ersten Abstands mit dem erfassten weiteren Abstand kalibriert wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass während einer Fahrt des Fahrzeugs eine Online-Kalibrierung des Schielwinkels erfolgt.
Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass es sich bei dem von dem Fahrzeug unterschiedlichen Objekt um ein sich bewegendes Objekt in der Umgebung des Fahrzeugs oder um ein vorausfahrendes Fahrzeug handelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der jeweilige erfasste Abstand des Fahrzeugs zu dem Objekt sich auf einen Referenzpunkt am Fahrzeug bezieht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Korrektur des Schielwinkels (γ) durch Addition mit einem Winkel-Delta d_yaw vorgenommen wird, das sich für kleine Winkel aus folgender Formel ergibt: $d_{yaw} = {tan}^{- 1} (b (1 /x 1 - 1 /x 2));$
wobei b die Baselinelänge bezeichnet, x1 den von der Stereokamera erfassten Abstand zum Objekt und x2 den von der zur Stereokamera unterschiedlichen Erfassungseinrichtung erfassten Abstand bezeichnen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Radarsensor der Erfassungseinrichtung verwendet wird, mittels welchem der wenigstens erste Abstand erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Lidarsensor der Erfassungseinrichtung verwendet wird, mittels welchem der wenigstens erste Abstand erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der weitere Abstand mit dem ersten Abstand verglichen wird und wobei der Schielwinkel (γ) derart kalibriert wird, dass ein Abweichung zwischen dem ersten Abstand und dem weiteren Abstand zumindest verringert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels der Erfassungseinrichtung mehrere Abstände des Fahrzeugs zu jeweiligen, vom Fahrzeug unterschiedlichen Objekten erfasst werden, wobei der Schielwinkel (γ) in Abhängigkeit von einem Quantil, insbesondere dem Median, der erfassten Abstände kalibriert wird.