-
Die Erfindung betrifft ein Verfahren zur Kalibrierung einer Fahrzeugkamera eines Fahrzeugs sowie ein Fahrzeug mit einer Fahrzeugkamera zur Ausführung eines solchen Verfahrens.
-
Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen (Kameras) erlangen eine immer höhere Markdurchdringung, da diese neben einem Sicherheitsgewinn auch einen Komfortzuwachs für den Fahrzeugführer bedeuten.
So sind beispielsweise Spurhalteassistenten bekannt, welche den Fahrzeugführer warnen, wenn die Gefahr besteht, dass das Fahrzeug von der Spur abkommt.
-
Ebenso beim Thema „autonome Fahrzeugführung“, bzw. „pilotiertes Fahren“ (automatische Fahrzeugführung) sind Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen (Kameras) unerlässlich.
-
Da die Assistenzsysteme mit optischen Umgebungsüberwachungsfunktionen die „Schnittstelle“ zwischen Fahrbahn und Fahrzeug bilden, ist es für eine einwandfreie Funktionsweise zwingend erforderlich, dass die optischen Umgebungserfassungssysteme sehr genau im Fahrzeug (insbesondere Windschutzscheibe) montiert sind, da bereits geringfügige Abweichungen (Toleranzen) zu Fehlfunktionen führen können.
-
Bei Stereo-Kameras ist insbesondere die exakte Ausrichtung der optischen Achsen der beiden mit Mindestabstand zueinander montierten Mono-Kameras sehr maßgebend, um eine fehlerfreie Bildtiefen-Information / Entfernungsinformation zu erlangen. Letzteres bedeutet, dass im Fertigungsprozess die Einbautoleranzen (z.B. Klebung der Linsen ins Gehäuse) mit sehr engen Grenzen eingehalten werden müssen, bzw. unter höchster Präzisionsanforderungen zu Fertigen ist, wobei Präzisionsanforderungen in der Produktion stets mit erhöhten Kosten verbunden sind.
-
Eine Aufgabe der Erfindung kann darin gesehen werden, ein einfaches Kalibrierverfahren für Stereo-Kameras vorzustellen, mittels diesem Verfahren / Methode Toleranzabweichungen sehr einfach kompensiert werden können.
-
Eine weitere Aufgabe der Erfindung liegt darin, ein Verfahren vorzuschlagen, mit dem eine Kalibrierung oder Ausrichtung von mindestens einer monokularen Fahrzeugkamera insbesondere nach einem Scheiben- und/oder Kamerawechsel auf einfache und kostengünstige Weise ermöglicht wird.
-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur einfachen Kalibrierung eines Stereo-Kamerasystems, wobei die erfindungsgemäße Lösung
- a) sowohl im Fahrzeug-Einbauzustand, sowie
- b) insbesondere bei der Stereo-Kamera-Produktherstellung im Werk zur Anwendung gelangen kann.
-
Diese Aufgabe wird durch ein Verfahren gemäß einem der unabhängigen Ansprüche 1 und 2, sowie durch ein Fahrzeug gemäß Anspruch 3 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.
-
Ein erfindungsgemäßes Verfahren zur Kalibrierung einer Fahrzeugkamera eines Fahrzeugs betrifft eine Stereokamera mit zwei Kameramodulen, wobei jedes Kameramodul einen Bildaufnahmechip mit einer Gesamtzahl an Pixeln aufweist. Ein aktiver Chip-Bereich ist für den Bildaufnahmechip jedes Kameramodul einstellbar, der eine Teilmenge der Pixel oder alle Pixel des Bildaufnahmechips aufweist.
-
Der Begriff „Bildaufnahmechip“ ist im Lichte der Erfindung als übergeordneter Begriff zu verstehen, welcher
- a) primär einen Kamera-Chip mit einer entsprechenden Pixelzahl umfasst, wie z. B. einen CMOS-Sensor, insbesondere zur Erfassung des von der Optik projizierten Lichts, wie auch
- b) im weitesten Sinne eine Pixelmatrix bzw. einen µP mit Bildverarbeitungsalgorithmus umfasst, welcher insbesondere aus einer Gesamtzahl an Pixeln, daraus als Untermenge einen bestimmten Bildauswertebereich, bzw. bestimmten Pixelbereiches mit einer vorgebbaren Zeilen- und Spaltenzahl definiert / herausgreift, und selektiv als „aktiven Bereich“ verarbeitet.
-
Unter „aktiver Chip-Bereich“ ist im Licht der Erfindung ein Bereich mit einer gewissen Anzahl an Pixeln zu verstehen, wobei die gewisse Anzahl an Pixeln eine Untermenge aus der Gesamtzahl an Pixeln ist, und dieser selektierte Bereich mit einer gewissen Anzahl an Pixeln im weiteren Verlauf aktiv ausgewertet wird.
-
Mit anderen Worten:
-
Theoretisch bzw. praktisch könnten alle Pixel des Bildempfänger-Chips aktiv (erfassungsbereit) sein, wobei anhand der Selektion eines gewissen Pixelbereiches der dann aktiv ausgewertet wird, der zu erfassende Umgebungsbereich festgelegt wird. Die Pixel die nicht ausgewertet werden, müssen hierzu nicht zwangsweise deaktiviert werden.
-
Zur Aufnahme eines Stereo-Bilds mittels der Fahrzeugkamera werden nur die Pixel des aktiven Chip-Bereichs (selektierten Chip-Bereichs) des jeweiligen Bildaufnahmechips verwendet. In einer Ausgangskonfiguration sind die beiden aktiven Chip-Bereiche derart eingestellt, dass sie überlappend denselben Umgebungsbereich erfassen. Das Verfahren weist die folgenden Schritte auf:
- - Aufnahme von mindestens einem Stereo-Referenzbild;
- - Bestimmen einer Abweichung der Überlappung der Erfassungsbereiche der beiden Kameramodule infolge einer Veränderung der optischen Achse mindestens eines der Kameramodule;
- - in Abhängigkeit von der bestimmten Abweichung Einstellung eines geänderten aktiven Chip-Bereichs des Bildaufnahmechips des abweichenden Kameramoduls durch Verkleinern oder Verschieben der aktiven Pixel von dem Referenzbild in der Weise, dass die Überlappung der aktiven Chip-Bereiche von erstem und zweitem Kameramodul wieder hergestellt ist.
-
Es wird weiterhin ein Verfahren zur Kalibrierung einer insbesondere monokularen Fahrzeugkamera eines Fahrzeugs wie z. B. einem PKW vorgeschlagen. Insbesondere ist das Verfahren nach einem Scheibenwechsel und/oder nach einem Kameraaustausch, welche beiderseits eine Neuausrichtung der Fahrzeugkamera im Fahrzeug erfordern, vorgesehen. Beispielsweise ist die Fahrzeugkamera in einem Innenraum des Fahrzeugs hinter einer Scheibe, insbesondere der Windschutzscheibe zur Erfassung einer Fahrzeugumgebung anordbar oder angeordnet. Bei der Fahrzeugumgebung handelt es sich beispielsweise um einen in Fahrtrichtung des Fahrzeugs vorausliegenden oder rückwärtigen Umgebungsbereich. Vorzugsweise umfasst die Fahrzeugkamera mindestens eine Optik zur Projektion von Licht. Die Fahrzeugkamera umfasst mindestens einen Bildsensor bzw. Bildaufnahmechip, wie z. B. einen CMOS-Sensor, insbesondere zur Erfassung des von der Optik projizierten Lichts. Der Bildaufnahmechip weist eine Gesamtzahl an Pixeln auf. Ein aktiver Chip-Bereich ist einstellbar, der eine (echte) Teilmenge der Pixel des Bildaufnahmechips aufweist. Zur Aufnahme eines Bilds mittels der Fahrzeugkamera werden nur die Pixel des aktiven Chip-Bereichs (die mittels Auswahl bestimmter Pixel ergebenden gewünschten Chip-Bereichs) verwendet bzw. ausgewertet.
-
Insbesondere ist die Fahrzeugkamera in eine Fahrerassistenzvorrichtung integrierbar oder mit dieser verbindbar. Die Fahrerassistenzvorrichtung umfasst z. B. einen (Not-)Brems-, einen (Not-)Lenk-, Einpark-, Verkehrszeichenerkennungs-, Geschwindigkeitsregelungs- und/oder einen Spurhalteassistenten. Im Fahrbetrieb können aus den von der Fahrzeugkamera aufgenommenen Kamerabildern Objekte wie z. B. weitere Verkehrsteilnehmer, Ampeln, Verkehrszeichen und/oder Fahrspuren ausgewertet werden.
-
Um insbesondere Fehlfunktionen von der auf den Kamerabildern basierenden Fahrerassistenzvorrichtung zu vermeiden, erfolgt vor einer Inbetriebnahme insbesondere eine Kalibrierung der Fahrzeugkamera/s. Vorzugsweise wird für die Kalibrierung das Fahrzeug mit der Fahrzeugkamera relativ zu einer Kalibriermarke mit einem festgelegten Abstand und/oder in einem rechten Winkel der optischen Achse der Fahrzeugkamera, bzw. einem annähernd rechten Winkel der beiden optischen Achsen der Fahrzeugkameras einer Stereokamera zu einem Flächenabschnitt der Kalibriermarke positioniert. Beispielsweise wird die Fahrzeugkamera mittels eines Diagnosetesters in einen Kalibriermodus geschaltet oder der Kalibriermodus, in dem die Fahrzeugkamera kalibriert wird, initialisiert.
-
Die Fahrzeugkamera nimmt insbesondere in dem Kalibriermodus mindestens ein Referenzbild mit der in einem Blickfeld der Fahrzeugkamera angeordneten Kalibriermarke auf. Das aufgenommene Referenzbild entspricht einem ersten aktiven Chip-Bereich, z.B. gemäß einer Ausgangskonfiguration. Bei der Kalibriermarke kann es sich um eine ortsfeste Kalibriermarke, so z. B. um eine an einer Wand angeordneten Positionsmarke, alternativ um eine mobile Kalibriermarke handeln.
-
In einem nächsten Schritt wird in dem mindestens einen aufgenommenen Referenzbild eine Lageabweichung von der Kalibriermarke, insbesondere von einem Zentrum der Kalibriermarke zu einem Bildzentrum des Referenzbildes bestimmt. In Abhängigkeit von der bestimmten Lageabweichung wird ein Bildausschnitt, insbesondere ein „verschobener“ Bildausschnitt mit gleicher Größe von dem aufgenommenen Referenzbild selektiert, bei dem die Kalibriermarke mittig, somit insbesondere im Zentrum des Bildausschnitts angeordnet ist. Folglich wird mit anderen Worten im Falle einer zur Mitte des Referenzbildes versetzten Lage der Kalibriermarke insbesondere derjenige Bildausschnitt ausgewertet, bei dem sich die Kalibriermarke nunmehr im Zentrum befindet.
-
Der selektierte Bildausschnitt wird als ein insbesondere durch die Fahrerassistenzvorrichtung auszuwertender Bildauswertebereich für die von der Fahrzeugkamera im Fahrbetrieb aufzunehmenden Kamerabilder als neuer aktiver Chip-Bereich festgelegt. Somit wird vorzugsweise im Falle einer Lageabweichung der Kalibriermarke ausschließlich ein Teilbildbereich der im Fahrbetrieb aufgenommenen Kamerabilder zur Objekterkennung wie z. B. der Verkehrszeichen ausgewertet. Beispielsweise ist die Fahrzeugkamera im Fahrbetrieb in einem Fahrbetriebsmodus geschaltet, bei dem vorzugsweise die Objekterkennung in dem festgelegten Bildauswertebereich durchgeführt wird. Bei einer Stereo-Kamera wird diese Prozedur entsprechend für jede der beiden Einzel-Kameras durchgeführt, um einen entsprechenden Gesamt-Abgleich herbeizuführen.
-
Somit erfolgt vorzugsweise in dem Fahrbetriebsmodus die Aufnahme von Kamerabildern durch die Fahrzeugkamera sowie die Auswertung von Bildinformationen ausschließlich in dem festgelegten Bildauswertebereich beispielsweise durch die Fahrerassistenzvorrichtung. Bei der Auswertung des Bildauswertebereichs erfolgt insbesondere die Objekterkennung für die Ausführung der auf der Objekterkennung basierenden Fahrerassistenzvorrichtung wie z. B. die Auswertung von Fahrspuren für den Spurhalteassistenten.
-
Insbesondere erfolgt gemäß dem erfindungsgemäßen Verfahren z.B. nach einem Scheibenwechsel oder im Falle einer neuen im Fahrzeug verbauten Fahrzeugkamera die Nach- bzw. Neukalibrierung rein elektronisch. Auf diese Weise kann vorteilhafterweise auf eine zeit- und kostenintensive mechanische Nachjustierung verzichtet werden.
-
Einen weiteren Gegenstand der Erfindung betrifft ein Fahrzeug mit einer Fahrzeugkamera, welche ausgebildet ist, das Verfahren nach der vorhergehenden Beschreibung auszuführen.
-
In einer Weiterbildung der angegebenen Fahrzeugkamera weist diese einen Speicher und einen Prozessor auf. Dabei ist das angegebene Verfahren in Form eines Computerprogramms in dem Speicher hinterlegt und der Prozessor zur Ausführung des Verfahrens vorgesehen, wenn das Computerprogramm aus dem Speicher in den Prozessor geladen ist.
-
Gemäß einem weiteren Aspekt der Erfindung umfasst ein Computerprogramm Programmcodemittel, um alle Schritte eines der angegebenen Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer oder einer der angegebenen Vorrichtungen ausgeführt wird.
-
Gemäß einem weiteren Aspekt der Erfindung enthält ein Computerprogrammprodukt einen Programmcode, der auf einem computerlesbaren Datenträger gespeichert ist und der, wenn er auf einer Datenverarbeitungseinrichtung ausgeführt wird, eines der angegebenen Verfahren durchführt.
-
Mit anderen Worten:
-
Der Schutzbereich erstreckt sich auf ein Computerprogramm mit einem Bildbearbeitungsalgorithmus zur Emulation einer Kalibrierung einer Fahrzeugkamera eines Fahrzeugs, mit den Merkmalen bzw. Verfahrensschritten eines erfindungsgemäßen Verfahrens.
-
Besonders bevorzugt umfasst das Fahrzeug eine Fahrerassistenzvorrichtung, welche ausgebildet ist, ausschließlich den in den von der Fahrzeugkamera aufgenommenen Kamerabildern festgelegten Bildauswertebereich auszuwerten. Insbesondere ist die Fahrerassistenzvorrichtung ausgebildet, in dem festgelegten Bildauswertebereich Objekte zur Ausführung von auf der Objekterkennung basierenden Fahrerassistenzfunktionen wie z. B. einen Einpark-, Fahrspur-, Ausweichmanöver-, Geschwindigkeitsregelungs- und/oder Notbremsassistenten zu erkennen.
-
Weitere Merkmale, Wirkungen und Vorteile der Erfindung ergeben sich aus der Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:
- 1 eine Darstellung aus der Vogelperspektive von einem Fahrzeug mit einer Stereokamera, welches auf einer dreispurigen Fahrbahn fährt.
- 2 eine schematische Darstellung der beiden Kameramodule einer Stereokamera mit optischen Achsen und aktiven Chip-Bereichen.
- 3 eine Anpassung der optischen Achse eines Kameramoduls durch eine Veränderung des aktiven Chip-Bereichs dieses Kameramoduls der Stereokamera.
- 4 eine schematische Darstellung eines Kalibrierplatzes.
- 5a/5b eine schematische Darstellung eines Kalibriervorganges.
-
Die 1 zeigt ein Fahrzeug (1) mit einer Stereo-Kamera (10), deren Erfassungsbereich in Fahrtrichtung ausgerichtet ist. Die beiden optischen Achsen (10.1, 10.2) der beiden mit einem Abstand montierten Mono-Kameras weisen einen definierten Winkel (α) gegenüber der x-Richtung auf. Aufgrund der beiden Winkel (α) ergibt sich ein Schnittpunkt bei einem Abstand (a). Sofern die beiden optischen Achsen parallel zueinander ausgerichtet sind, kann der Abstand (a) den Abstand zu einem Raumpunkt darstellen, der durch Triangulation aus den jeweiligen Bildpunkten der beiden Kameramodule rekonstruiert wird.
-
Die 2 zeigt beispielhaft und schematisch eine Stereokamera (10) mit einem linken (L) und einem rechten (R) Kameramodul mit jeweils einem Bildaufnahmesensor mit Pixeln mit einen aktiven Chip-Bereich (aB) und einer als Ellipse dargestellten Linse. Der optische Erfassungsbereich ist durch die sich in der Linse kreuzenden strichpunktierten Linien symbolisiert. Die optischen Achsen (10.1, 10.2) der beiden Kameramodule (L, R) weisen jeweils einen Winkel (α) gegenüber der x-Richtung auf.
Für Kalibrierzwecke ist der aktive Chip-Bereich (aB) variabel wählbar bzw. verschiebbar, was erforderlich ist, um den Erfassungsbereich, bzw. den Schnittpunkt der beiden optischen Achsen (10.1, 10.2) mit dem Abstand (a) zu erzielen.
Sofern bei der Überprüfung (Kalibrierung) im Stereo-Kamera-Herstellprozess im Werk, der Schnittpunkt nicht in der vorgesehenen Entfernung (a) gemäß 1 liegen sollte, so kann der Abstand des Schnittpunktes durch Kalibrierung derart zum richtigen Abstand (a) abgeändert werden, indem ein oder beide Chipbereiche (auszuwertende aktive Chipbereiche (aB)) in der horizontalen Ebene beschnitten oder verschoben werden (wie dies beispielhaft in der 3, betreffend der rechten Kamera (R) gezeigt ist). Selbstverständlich kann auch der Neigungswinkel der optischen Achsen durch Beschneiden und/oder Verschieben des aktiven Chipbereiches in der vertikalen Ebene abgeändert bzw. Kalibriert werden (eine Kombination aus horizontaler und vertikaler Beschneidung und/oder Verschiebung ist ebenso möglich).
-
Wie aus der 3 im rechten Bild hierzu ersichtlich ist, kann der Winkel (α') der optischen Achse (10.2') des rechten Kameramoduls gegenüber der x-Richtung verändert werden, indem der aktive Chipbereich (aB') in der horizontalen Ebene verschoben wird.
-
Mit anderen Worten:
-
Das zu erfassende Gesamtbild wird elektronisch durch Selektion der künftig (nach der Kalibrierung) auszuwertenden Pixelpunkte (Chipbereiches, aB') derart „beschnitten“ bzw. „verschoben“, dass der Winkel (α') der optischen Achse (10.2') zu dem Wert abgeändert / verschoben wird, wie dieser nach der Kalibrierung erforderlich ist.
-
Diese Art der Kalibrierung kann sowohl bei der Produktherstellung im Fertigungswerk der Kamera, wie auch im Einbauzustand im Fahrzeug durchgeführt werden.
-
Durch ein erfindungsgemäßes Verfahren wird insbesondere eine Neuausrichtung einer optischen Achse (10.1, 10.2) der Fahrzeugkamera (2) bzw. eines Kameramoduls (L, R) einer Stereo-Kamera (10) mit einfachen Mitteln und geringem Aufwand ermöglicht.
-
Die 4 zeigt beispielhaft eine schematische Darstellung eines einfachen Kalibrierplatzes. Für den Kalibriervorgang wird das Fahrzeug (1) an Bodenmarkierungen (BM) ausgerichtet, sodass sich zur Kalibriermarke (4) ein definierter Abstand (a) ergibt. Die Kalibriermarke (4) ist ebenfalls an einer Bodenmarkierung (BM) ausgerichtet, sodass die Kalibriermarke (4) mit einer vorgegebenen Höhe (h) und einem definierten Abstand (a) von der Kamera (2) erfasst werden kann.
-
Die 5a und 5b zeigen beispielhaft eine schematische Darstellung eines Kalibriervorganges gemäß der 4, anhand einer Monokamera als Fahrzeugkamera (2) . Die 5a zeigt einen unkalibrierten Zustand. Wie aus der linken 5a beispielhaft ersichtlich ist, befindet sich die Kalibriermarke (4) nicht mittig zum aktiven Bereich (aB), sodass eine Kalibrierung erforderlich ist.
-
Die Kalibrierung wird mittels Verschiebung des aktiven Bereiches (aB) erzielt, indem der aktive Bereich (aB) wie in der 5b gezeigt, soweit nach links verschoben wird, bis die Kalibriermarke (4) mittig zum aktiven Bereich (aB) ist.
-
Bei der Kalibrierung wird der aktive Bereich (aB) quasi durch die Auswahl der entsprechenden Pixel horizontal „verschoben“ (neu definiert), indem nach der Kalibrierung nur noch der selektierte Pixel-Bereich (aktive Bereich (aB)) weiter ausgewertet wird.
-
Die in den 2, 3 und 5 gezeigten Pixel (P) sind von der Anzahl nur beispielhaft und für den Fachmann selbsterklärend, dass in der Realität die Anzahl an Pixeln (P) deutlich mehr sind.
-
Der Vollständigkeitshalber sei angemerkt, dass der sogenannte aktive Chipbereich (aB), sowohl
- a) direkt auf dem Empfänger-Chip / Bildaufnahmechip durch die Definition eines bestimmten Pixelbereiches mit einer vorgebbaren Zeilen- und Spaltenzahl definiert werden kann, und bei der Kalibrierung entsprechend „verschoben“ werden kann, wie auch ersatzweise
- b) indirekt auf dem Bildverarbeitungs-µP durch die Definition eines bestimmten Pixelbereiches mit einer vorgebbaren Zeilen- und Spaltenzahl definiert werden kann, und bei der Kalibrierung entsprechend „verschoben“ werden kann.
