DE102014219428A1

DE102014219428A1 - Selbstkalibrierung eines Stereokamerasystems im Auto

Info

Publication number: DE102014219428A1
Application number: DE102014219428.8A
Authority: DE
Inventors: Anton Feldmann; Lars Krüger; Tilo Schwarz; Nicolaj Stache; Thomas Ruland
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2014-09-25
Filing date: 2014-09-25
Publication date: 2016-03-31
Anticipated expiration: 2034-09-26
Also published as: DE102014219428B4

Abstract

Die Erfindung betrifft ein Verfahren zur Rektifizierung von Bildern einer ersten Kamera (11) und einer zweiten Kamera (21) einer Stereokamera (31) eines Fahrzeugs (30). In einem Schritt des Verfahrens erfolgt ein Aufnehmen eines ersten Bildes (10a) einer Umgebung des Fahrzeugs (30) durch die erste Kamera (11) und in einem weiteren Schritt erfolgt das Aufnehmen eines zweiten Bildes (20a) einer Umgebung des Fahrzeugs (30) durch die zweite Kamera (21). Ein weiterer Schritt des Verfahrens umfasst ein Bestimmen einer ersten Abbildungsposition (4) eines Fluchtpunktes in dem ersten Bild (10a) der ersten Kamera (11) und in einem weiteren Schritt erfolgt das Bestimmen einer zweiten Abbildungsposition (9) des Fluchtpunktes in dem zweiten Bild (20a) der zweiten Kamera (21). Ein Bestimmen einer Disparität des Fluchtpunktes anhand der ersten Abbildungsposition (4) des Fluchtpunktes im ersten Bild (10a) und der zweiten Abbildungsposition (9) des Fluchtpunktes im zweiten Bild (20a) erfolgt in einem weiteren Schritt des Verfahrens. Ferner wird in einem weiteren Schritt eine Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität angepasst und schließlich wird in einem Schritt das erste Bild (10a) und das zweite Bild (20a) mit der angepassten Berechnungsvorschrift rektifiziert. Die Erfindung betrifft ferner eine Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera (11) und einer zweiten Kamera (21) einer Stereokamera (31) eines Fahrzeugs (30) und eine Verwendung eines Disparitätswertes eines Fluchtpunktes zur Anpassung einer Berechnungsvorschrift.

Description

Gebiet der Erfindung
Die Erfindung betrifft kamerabasierte Fahrerassistenzsysteme in Fahrzeugen. Insbesondere betrifft die Erfindung ein Verfahren und eine Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs sowie eine Verwendung eines Disparitätswertes eines Fluchtpunktes zur Anpassung einer Berechnungsvorschrift.
Hintergrund der Erfindung
Eine exakte Ausrichtung einer Kamera eines Fahrerassistenzsystems innerhalb eines Fahrzeugs ist von großer Bedeutung für die Zuverlässigkeit des Fahrerassistenzsystems, da die Informationsgüte für eine Fahrerassistenz umso höher ist, je genauer die sich beispielweise vor dem Fahrzeug befindenden zu erfassenden Objekte abgebildet werden können. Die Ausrichtung ist insbesondere bei einer Stereokamera für ein Fahrerassistenzsystem entscheidend, da hier die relative Ausrichtung der Kameras einer Stereokamera eine große Rolle spielt. Sowohl Toleranzen in den Kameras als auch Toleranzen im Fahrzeug und der Kamerahalterung sorgen für eine geringfügig unterschiedliche Blickrichtung der Kameras in verschiedenen Fahrzeugen. Weitere Einflüsse auf die Abbildungsqualität bei einer Stereokamera kommen gegebenenfalls noch durch eine Änderung der Blickrichtung in Abhängigkeit der Fahrzeugbeladung oder durch den Windschutzscheibeneinfluss hinzu. Die Kameras eines Fahrerassistenzsystems sind zum Beispiel Fahrerassistenzkameras, die Fahrerassistenzfunktionen für das Fahrzeug mit Informationen versorgen. Fahrerassistenzfunktionen sind zum Beispiel Objekterkennung, Einparkhilfe, Spurhalteassistenten, etc. Durch die Änderung der Blickrichtung der Fahrerassistenzkameras kann die Qualität der Informationen, die durch die Fahrerassistenzkameras gewonnen werden und an die Fahrerassistenzfunktionen weitergegeben werden, beeinträchtigt werden. Dieser Verlust an Informationsgüte kann unter Umständen sogar die Zuverlässigkeit der Fahrerassistenzsysteme und damit die Sicherheit im Straßenverkehr beeinträchtigen.
Zusammenfassung der Erfindung
Es kann als eine Aufgabe der vorliegenden Erfindung angesehen werden, ein verbessertes Verfahren zur Rektifizierung von Bildern einer Stereokamera eines Fahrzeugs bereitzustellen.
Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Beispielhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und der nachfolgenden Beschreibung.
Gemäß einem Aspekt der Erfindung ist ein Verfahren zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs mit mehreren Schritten angegeben. In einem Schritt des Verfahrens wird ein erstes Bild einer Umgebung des Fahrzeugs durch die erste Kamera aufgenommen und in einem weiteren Schritt wird ein zweites Bild einer Umgebung des Fahrzeugs durch die zweite Kamera aufgenommen. In einem Schritt des Verfahrens erfolgt ferner ein Bestimmen einer ersten Abbildungsposition eines Fluchtpunktes in dem ersten Bild der ersten Kamera und in einem weiteren Schritt erfolgt ein Bestimmen einer zweiten Abbildungsposition des Fluchtpunktes in dem zweiten Bild der zweiten Kamera. Weiterhin wird in einem Schritt eine Disparität des Fluchtpunktes anhand der ersten Abbildungsposition des Fluchtpunktes im ersten Bild und der zweiten Abbildungsposition des Fluchtpunktes im zweiten Bild bestimmt. In einem weiteren Schritt erfolgt ein Anpassen einer Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität des Fluchtpunktes. Schließlich erfolgt ein Rektifizieren des ersten Bildes und des zweiten Bildes mit der angepassten Berechnungsvorschrift in einem weiteren Schritt.
Wie im Folgenden erklärt wird, ist der Fluchtpunkt ein Objekt oder Merkmal in der Umgebung des Fahrzeugs, das durch die Stereokamera abgebildet wird. Insbesondere kann der Fluchtpunkt ein Horizontpunkt oder ein Punkt im Unendlichen sein.
Durch dieses Verfahren ist es möglich, anhand der Abbildungsposition des Fluchtpunktes im ersten Bild und im zweiten Bild die Disparität zwischen den Abbildungspositionen des Fluchtpunktes, welche auch als Rest-Disparität bezeichnet wird, zu bestimmen beziehungsweise zu berechnen und auf Basis der bestimmten Disparität der Abbildungspositionen des Fluchtpunktes, die aufgenommenen Bilder der ersten Kamera und der zweiten Kamera zu rektifizieren. Mögliche Einflüsse durch die geometrische Ausrichtung der beiden Kameras der Stereokamera können somit zumindest teilweise kompensiert werden. Dazu kann eine Berechnungsvorschrift abhängig von der Disparität ständig angepasst werden, so dass eine Rektifizierung beziehungsweise Entzeichnung der von den Kameras aufgenommenen Bilder und damit auch des für das Fahrerassistenzsystem bereitgestellten Bildes während der Fahrt des Fahrzeugs, also während des Fahrbetriebs des Fahrzeugs, erfolgen kann. Dadurch kann eine verbesserte Güte der Informationen der Stereokamera beispielsweise für Fahrerassistenzsysteme bereitgestellt werden.
Unter Rektifizierung versteht der Fachmann einen Prozess, in welchem die sogenannten Epipolarlinien auf die Pixelmatrix des Bildsensors einer Kamera transformiert werden. Die Epipolarlinien sind beispielweise Sehstrahlen von einem Objekt in die jeweiligen Kameras der Stereokamera. Dabei wird ein erster Sehstrahl von einem Objekt zur ersten Kamera und im Falle einer Stereokamera ein zweiter Sehstrahl von demselben Objekt zur zweiten Kamera erzeugt. Mit einer richtigen Rektifizierung kann sichergestellt werden, dass das Objekt, welches auch als Merkmal bezeichnet wird, bezüglich des ersten Bildes an derselben vertikalen Position abgebildet wird wie auf dem zweiten Bild. Mit anderen Worten kann sichergestellt werden, dass ein Objekt oder Merkmal, welches in einer Pixellinie v im ersten Bild liegt, auf derselben Pixellinie v im zweiten Bild liegen muss. Die Pixellinie v beschreibt zum Beispiel eine in Bezug auf den Bildsensor horizontal ausgerichtete Pixelzeile des Bildsensors. Analog kann durch eine Rektifizierung sichergestellt werden, dass ein Objekt oder Merkmal, welches in einer Pixelspalte u im ersten Bild liegt, auf derselben Pixelspalte u im zweiten Bild liegt. Dabei kann beispielsweise vorgesehen sein, dass dies jedoch nur für den Fall gilt, wenn das Objekt oder Merkmal ein Fluchtpunkt ist oder sich in unendlicher bzw. sehr großer Distanz zur Stereokamera befindet. Dementsprechend kann durch eine Rektifizierung sichergestellt werden, dass beispielsweise der Fluchtpunkt, welcher in einer Pixelspalte u im ersten Bild liegt, auf derselben Pixelspalte u im zweiten Bild liegt. Die Pixelspalte u beschreibt zum Beispiel eine in Bezug auf den Bildsensor vertikal ausgerichtete Pixelspalte des Bildsensors. Liegt ein Objekt zum Beispiel im ersten Bild auf einer anderen Pixelspalte als dasselbe Objekt im zweiten Bild, so liegt ein horizontaler Versatz oder ein Versatz in eine x-Richtung zwischen dem ersten Bild und dem zweiten Bild vor. Ein solcher Versatz, entsteht beispielsweise durch Fehler in der geometrischen Ausrichtung der ersten zur zweiten Kamera, durch Windschutzscheibeneinflüsse oder beispielsweise durch die sich während der Fahrt des Fahrzeugs ständig verändernden Blickrichtungen der Kameras. Das Objekt beziehungsweise Merkmal kann zum Beispiel ein Horizontpunkt oder ein Punkt im Unendlichen, insbesondere jedoch ein Fluchtpunkt sein. Der Fluchtpunkt kann in einem Ausführungsbeispiel konstruiert werden, jedoch kann dieser auch automatisch detektiert werden. Zur Rektifizierung kann die Berechnungsvorschrift verwendet werden. Die Berechnungsvorschrift kann eine mathematische Formel sein, die verschiedene Komponenten, wie beispielsweise eine Rotationskomponente zur Kompensation einer potentiell nicht planparallelen Stereogeometrie umfasst. Die Rotationskomponente kann zum Beispiel von Parametern oder Werten abhängen, welche eine räumliche Ausrichtung der ersten Kamera zu einer räumlichen Ausrichtung der zweiten Kamera der Stereokamera im Fahrzeug beschreiben. Die Rotationskompensation, das heißt die Kompensation der nicht planparallelen Stereogeometrie, kann beispielsweise mit Hilfe der folgenden Homographie erfolgen:
Dabei repräsentiert die Matrix R zum Beispiel eine Rotation um einen bestimmten Schielwinkel und die Matrix K eine Projektion mittels einer Lochkamera. Die Variable x_physical gibt die dabei eine Eingabe-Position im ursprünglichen, das heißt entzeichneten Kamerabild an. Die Variable x_rect umfasst das Ergebnis der Rektifizierung. Die Rotationsmatrix R korrigiert zum Beispiel einen Roll- und Pitchwinkel zwischen den beiden Kameras. Die exakte Komposition der Matrix hängt von der definierten Zerlegung in sogenannte Euler Winkel ab.
Die Disparität des Fluchtpunktes beschreibt also die Abweichung zwischen der Position des Fluchtpunktes auf dem ersten Bildsensor der ersten Kamera und der Position desselben Fluchtpunktes auf dem zweiten Bildsensor der zweiten Kamera. Die Positionen des Fluchtpunktes auf den beiden Bildsensoren werden auch als Abbildungspositionen des Fluchtpunktes bezeichnet. Im theoretischen Idealfall ist die Disparität des Fluchtpunktes gleich Null, so dass sich der Fluchtpunkt auf dem ersten Bildsensor genau auf der gleichen Position befindet wie auf dem zweiten Bildsensor und somit sowohl auf dem von der ersten Kamera aufgenommenen ersten Bild als auch auf dem von der zweiten Kamera aufgenommenen zweiten Bild an exakt der selben Position befindet. In der Realität liegt jedoch aufgrund von den zuvor beschriebenen Ungenauigkeiten, wie zum Beispiel der Ausrichtung der beiden Kameras, insbesondere während des Fahrbetriebs, eine bestimmte Disparität des Fluchtpunktes vor. Diese Disparität kann durch das erfindungsgemäße Verfahren zumindest teilweise kompensiert werden. Dabei macht sich das erfindungsgemäße Verfahren zunutze, dass theoretisch die Disparität des Fluchtpunktes Null sein sollte. Mit dem beschriebenen Verfahren der Erfindung kann zum Beispiel durch eine in das Fahrerassistenzsystem integrierte Recheneinheit oder durch die jeweilige Kamera selbst die Abbildungsposition des Fluchtpunktes auf dem jeweiligen Bildsensor ermittelt werden. Zum Beispiel kann eine Bewegung eines Objektes oder Merkmals, welches auch als Feature bezeichnet wird, mittels eines optischen Flusses und Feature-Korrespondenzen verfolgt werden. Mit anderen Worten kann nach der Aufnahme eines ersten Bildes durch die erste Kamera eine erste Abbildungsposition eines Fluchtpunktes innerhalb des ersten Bildes bestimmt werden und analog dazu kann nach der Aufnahme eines zweiten Bildes durch die zweite Kamera eine zweite Abbildungsposition desselben Fluchtpunktes innerhalb des zweiten Bildes bestimmt werden. Anschließend kann aufgrund der bestimmten ersten und zweiten Abbildungsposition des Fluchtpunktes ein horizontaler und/oder ein vertikaler Versatz der Abbildungspositionen auf dem Bildsensor bestimmt werden. Die Disparität beschreibt beispielsweise einen horizontalen Versatz der Abbildungspositionen. Durch Bestimmen beziehungsweise Berechnen des Versatzes der Abbildungspositionen des Fluchtpunktes auf dem ersten und zweiten Bild können Werte bestimmt werden, welche die Disparität beschreiben. Zum Beispiel sind diese Werte abhängig von der Größe der Disparität, das heißt von der Stärke der Abweichung der Abbildungspositionen. Die Bestimmung der Disparität und das bestimmen des Wertes zur Beschreibung der Disparität können durch eine erfindungsgemäße Vorrichtung, zum Beispiel unter Verwendung einer Recheneinheit und/oder von den beiden Kameras selbst durchgeführt werden. Zusätzlich kann, falls gewünscht, eine Robustifizierung auf den Komponenten der Abbildungspositionen erfolgen. Beispiele hierfür sind robuste Mittelwertverfahren, bei denen obere und untere Perzentile verworfen beziehungsweise nicht berücksichtigt werden und anschließend ein arithmetisches Mittel oder Median gebildet wird. Ferner ist eine Approximation durch angenommene Verteilungen, wie zum Beispiel einer generalisierten Gauss-Verteilung möglich. Ein Schielwinkel kann dann aus dem Mittelwert der Verteilung berechnet werden.
Nach der Bestimmung beziehungsweise Berechnung der Disparität und der Werte, welche die Disparität beschreiben beziehungsweise ein Maß für die Disparität darstellen, werden diese Werte an eine Berechnungsvorschrift übergeben, die auf Basis der bestimmten Werte oder der Disparität selbst angepasst wird. Beispielsweise kann in einer Ausführungsform ein Schielwinkel basierend auf der bestimmten Disparität errechnet werden. Dieser errechnete Schielwinkel wird dann als neuer Wert in der Berechnungsvorschrift eingesetzt und zukünftig verwendet.
Mit anderen Worten verändert sich die Berechnungsvorschrift durch das Einsetzten der Werte in die Berechnungsvorschrift, da diese von den Werten und somit auch von der Disparität abhängt. Die Disparität ist eine zeitlich veränderliche Größe, da sich die Blickrichtung der Kameras und damit auch die Abbildungspositionen des Fluchtpunktes während der Fahrt des Fahrzeugs ständig verändern. Damit kann auch die Berechnungsvorschrift während der Fahrt ständig beziehungsweise kontinuierlich neu angepasst werden. Die Disparität beziehungsweise die Werte zur Anpassung der Berechnungsvorschrift können in beliebigen durch den Benutzer vorgebbaren Zeitintervallen bestimmt und an die Berechnungsvorschrift übergeben oder dort eingesetzt werden. Nachdem die Berechnungsvorschrift aufgrund der bestimmten Disparität angepasst wurde, kann die Rektifizierung des ersten Bildes und des zweiten Bildes durch die angepasste Berechnungsvorschrift erfolgen. Durch die Rektifizierung kann die Disparität der Abbildungspositionen des Fluchtpunktes des ersten und des zweiten Bildes verringert und damit zumindest teilweise kompensiert werden. Nach dem Rektifizieren des ersten und zweiten Bildes kann erneut die Disparität von Abbildungspositionen von Fluchtpunkten in neuen durch die erste und zweite Kamera aufgenommenen Bildern bestimmt werden, so dass die Berechnungsvorschrift aufgrund der erneut bestimmten Disparität neu angepasst wird. Das Verfahren beschreibt in dieser Form also einen sich ständig wiederholenden Prozess, der das Aufnehmen von Bildern durch die beiden Fahrerassistenzkameras, die Bestimmung der Disparität von Abbildungspositionen eines Fluchtpunktes sowie das Rektifizieren der aufgenommenen Bilder aufgrund einer mit Hilfe der bestimmten Disparität angepassten Berechnungsvorschrift bestimmt.
Die beiden Kameras der Stereokamera können zum Beispiel Teil eines Fahrerassistenzsystems für ein Fahrzeug sein. Das Fahrerassistenzsystem bezieht also Bildinformationen aus den von der Stereokamera erzeugten Bildern und kann somit eine Fahrerassistenz für den Fahrer des Fahrzeugs bereitstellen. Es sei angemerkt, dass das Verfahren auch für mehr als zwei Kameras, das heißt auch für eine Vielzahl von Kameras, angewendet werden kann, ohne dabei den Schutzbereich der Erfindung zu verlassen. Das Fahrzeug kann ein Kraftfahrzeug, insbesondere ein Personenkraftwagen oder ein Lastkraftwagen sein. Ein Fahrerassistenzsystem, welches auf Basis der von der Stereokamera erzeugten Bilder arbeitet, kann zum Beispiel eine Objekterkennung, eine Einparkhilfe, ein Spurhalteassistenten oder ein Spurwechselassistent sein. Das Fahrerassistenzsystem kann neben den beiden Kameras auch eine Recheneinheit aufweisen, die dazu ausgeführt ist, die Anpassung der Berechnungsvorschrift durchzuführen. Dabei kann die Recheneinheit eine oder mehrere Komponenten aufweisen, welche die Schritte des Verfahrens durchführen.
Mit dem zuvor und im Folgenden angegebenen Verfahren und der entsprechenden Vorrichtung kann also insgesamt eine Selbstkalibrierung eines Stereokamerasystems im Auto bereitgestellt werden.
Gemäß einer Ausführungsform der Erfindung weist das Verfahren weitere Schritte auf. In einem Schritt erfolgt das Konstruieren des Fluchtpunktes mittels Flussvektoren aus zeitlich versetzt aufgenommenen Bildern der ersten Kamera und aus zeitlich versetzt aufgenommenen Bildern der zweiten Kamera.
Der Fluchtpunkt ist beispielsweise ein virtueller Punkt in einem von einer Kamera aufgenommenen Bild, in dem sich Vektoren beziehungsweise Flussvektoren schneiden, wenn sie verlängert werden. Diese Vektoren können sich dadurch ergeben, dass sich das Fahrzeug mit der Stereokamera bewegt und die Kameras der Stereokamera mindestens zwei zeitlich aufeinanderfolgende Bilder aufnehmen. Statische Objekte, das heißt sich nicht bewegende Objekte der Szene oder Umgebung des Fahrzeugs erscheinen im zeitlich früher erfassten Bild an einer anderen Position als im zeitlich später erfassten Bild der Kamera. Beide Positionen können durch eine Linie verbunden werden. Diese Linie wird im Kontext der vorliegenden Erfindung als Flussvektor bezeichnet. Die Flussvektoren werden für eine große Anzahl an räumlich verteilten statischen Objekten im Sichtfeld der Kameras bestimmt und in deren Verlängerung der Schnittpunkt bestimmt. Für den Fall, dass sich aufgrund von Messungenauigkeiten mehrere Schnittpunkte ergeben, kann durch Mittelung und/oder bekannte Verfahren zur Beseitigung von stark abweichenden Messwerten ein einziger Schnittpunkt bestimmt werden. Dieser Punkt wird als Fluchtpunkt angesehen und gemäß der Erfindung verwendet. Bringt man beispielsweise die Linien zweier fehlerfreier Flussvektoren, die auf unbewegten Objekten liegen, zum Schnitt, ist der Schnittpunkt identisch mit dem Fluchtpunkt. Dieser virtuelle Punkt hat nach Hartley und Zissermann eine unendlich große Entfernung und kann als „vanishing point“ bezeichnet werden (Hartley, Richard; Andrew Zisserman; Multiple view geometry in computer vision; Cambridge University Press, 2003). Im Kontext der vorliegenden Erfindung kann der „vanishing point“ der Fluchtpunkt sein. Entsprechend der Stereogeometrie eines kalibrierten Stereosystems beziehungsweise Stereokamera sollte dieser Punkt eine Disparität von Null haben. Abweichungen davon können auf eine Dekalibrierung des Stereosystems sowie auf unvermeidliche Messfehler zurückzuführen sein.
Mit anderen Worten ist in diesem Ausführungsbeispiel der Fluchtpunkt derjenige Schnittpunkt, in dem sich die verlängerten Flussvektoren schneiden, wobei sich die Flussvektoren durch die Bewegung eines Objektes beziehungsweise Merkmals relativ zu einer Kamera aus zwei durch dieselbe Kamera zeitlich versetzt aufgenommenen Bildern ergeben. Der zeitliche Versatz der aufgenommenen Bilder einer Kamera kann dabei beliebig sein und vom Benutzer eingestellt werden.
Gemäß einer weiteren Ausführungsform der Erfindung umfasst das Verfahren weitere Schritte. In einem Schritt wird dabei die erste Abbildungsposition des Fluchtpunktes in dem ersten Bild durch Verlängern mindestens zweier Flussvektoren auf Basis des von der ersten Kamera aufgenommenen ersten Bildes und eines von der ersten Kamera zeitlich versetzt zum ersten Bild aufgenommenen dritten Bildes bestimmt. In einem anderen Schritt wird die zweite Abbildungsposition des Fluchtpunktes in dem zweiten Bild durch Verlängern mindestens zweier Flussvektoren auf Basis des von der zweiten Kamera aufgenommenen zweiten Bildes und eines von der zweiten Kamera zeitlich versetzt zum zweiten Bild aufgenommenen vierten Bildes bestimmt.
Durch die erste Kamera wird also ein erstes Bild erzeugt und nach einem bestimmten Zeitraum wird durch die erste Kamera ein drittes Bild erzeugt, so dass sich ein zum Beispiel stillstehendes Objekt oder Merkmal in der Umgebung des Fahrzeugs im ersten Bild an einer anderen Position befindet als im dritten Bild, da sich die Kamera während der Fahrt des Fahrzeugs relativ zum Objekt bewegt hat. Zwischen der Position des Objektes im ersten Bild und der Position desselben Objektes im dritten Bild kann eine virtuelle Linie konstruiert werden, die auch als Flussvektor bezeichnet wird. Auf dieselbe Weise wird auf Basis des durch die erste Kamera zeitlich versetzt aufgenommenen ersten und dritten Bildes ein zweiter Flussvektor anhand eines zweiten Objekts konstruiert. Der erste und der zweite Flussvektor werden anschließend derart verlängert, dass sich beide Flussvektoren in einem Schnittpunkt schneiden, wobei der Schnittpunkt die Abbildungsposition des Fluchtpunktes angibt. Analog erfolgt die Konstruktion zweier Flussvektoren auf Basis des von der zweiten Kamera zeitlich versetzt aufgenommenen zweiten und vierten Bildes. Es sei angemerkt, dass für die Bestimmung der ersten und zweiten Abbildungsposition des Fluchtpunktes beliebig viele Flussvektoren konstruiert werden können, mit denen jeweils die Schnittpunkte und damit die Abbildungspositionen des Fluchtpunktes bestimmt werden können. Um die Genauigkeit zu erhöhen, kann der Benutzer viele Flussvektoren verwenden. Die Konstruktion der Flussvektoren beziehungsweise der Verlängerungen der Flussvektoren erfolgt dabei durch eine Bestimmung von virtuellen Linien, zum Beispiel durch eine Recheneinheit oder durch die Kameras der Stereokamera selbst. Das bedeutet, dass die Flussvektoren in den aufgenommenen Bildern selbst nicht zu sehen sein müssen, jedoch werden deren Koordinaten rechnerisch verwendet. Das dritte Bild muss nicht zeitlich nach dem ersten Bild durch die erste Kamera aufgenommen werden. Das bedeutet, dass die Bezeichnungen „erstes“, „zweites“, „drittes“ Bild also nicht zwingend eine chronologische Reihenfolge angeben. Es kann also auch vorgesehen sein, dass das dritte Bild vor dem ersten Bild aufgenommen wird.
Gemäß einer weiteren Ausführungsform der Erfindung wird die erste Abbildungsposition des Fluchtpunktes durch einen Schnittpunkt der mindestens zwei verlängerten Flussvektoren des zeitlich versetzt aufgenommenen ersten und dritten Bildes definiert und die zweite Abbildungsposition des Fluchtpunktes wird durch einen Schnittpunkt der mindestens zwei verlängerten Flussvektoren des zeitlich versetzt aufgenommenen zweiten und vierten Bildes definiert. Mit anderen Worten erfolgt ein Definieren der ersten Abbildungsposition und der zweiten Abbildungsposition des Fluchtpunktes durch jeweils einen Schnittpunkt der Flussvektoren.
Das bedeutet, dass zur Bestimmung der ersten und zweiten Abbildungsposition eines Fluchtpunktes von jeder der beiden Kameras der Stereokamera mindestens zwei Bilder zeitlich versetzt aufgenommen werden. Die erste und zweite Abbildungsposition des Fluchtpunktes ergeben sich aus den Schnittpunkten der verlängerten Flussvektoren der jeweils zwei aufeinanderfolgend aufgenommenen Bilder. Es kann dabei angenommen werden, dass das erste Bild der ersten Kamera und das zweite Bild der zweiten Kamera zeitgleich aufgenommen werden. Aber auch ein durch den Benutzer vorgebbarer zeitlicher Versatz dazwischen ist möglich. Analog kann angenommen werden, dass das dritte Bild der ersten Kamera und das vierte Bild der zweiten Kamera zeitgleich aufgenommen werden. Aber auch hier ist ein zeitlicher Versatz möglich. Damit kann zum Beispiel unmittelbar nach Aufnehmen des dritten Bildes durch die erste Kamera des vierten Bildes durch die zweite Kamera die Disparität des Fluchtpunktes bestimmt werden, da zu diesem Zeitpunkt die Abbildungspositionen des Fluchtpunktes bekannt sind. Die Bestimmung der Abbildungspositionen des Fluchtpunktes kann dabei im ersten und zweiten oder im dritten und vierten Bild erfolgen. Mit anderen Worten kann die Bestimmung der Abbildungspositionen des Fluchtpunktes und damit der Disparität aus mindestens zwei zeitlich versetzt aufgenommenen Bildern in Bezug auf das früher aufgenommene Bild oder in Bezug auf das später aufgenommene Bild der jeweiligen Kamera erfolgen.
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt das Anpassen der Berechnungsvorschrift auf Basis der berechneten Disparität nur dann, wenn die bestimmte Disparität ungleich Null ist.
Mit anderen Worten bedeutet dies, dass im Idealfall, bei dem die Disparität gleich Null ist, keine Anpassung der Berechnungsvorschrift und damit auch keine Rektifizierung der von den Kameras aufgenommenen Bilder notwendig ist. Eine Disparität von Null liegt genau dann vor, wenn sich die erste Abbildungsposition des Fluchtpunktes von der zweiten Abbildungsposition des Fluchtpunktes nicht unterscheidet beziehungsweise der Versatz der beispielsweise mit Hilfe der verlängerten Flussvektoren bestimmten Schnittpunkte im ersten und im zweiten Bild gleich Null ist. Es kann beispielweise durch die Recheneinheit festgestellt werden, ob die Disparität gleich Null ist oder ob Sie von Null verschieden ist. Es kann auch ein Grenzwert für die Disparität festgelegt sein, so dass eine Anpassung der Berechnungsvorschrift dann erfolgt, wenn dieser Grenzwert der Disparität überschritten wird. Umgekehrt kann bei Unterschreiten des Grenzwertes ein Anpassen der Berechnungsvorschrift unterbunden werden.
Gemäß einer weiteren Ausführungsform der Erfindung hängt die Berechnungsvorschrift von einem Schielwinkel zwischen der ersten Kamera und der zweiten Kamera ab.
Der Schielwinkel ist dabei ein Maß für den Unterschied in der Blickrichtung der ersten Kamera und der zweiten Kamera der Stereokamera. Beispielsweise beschreibt der Schielwinkel den Winkel zwischen einem ersten Sehstrahl von der ersten Kamera zu einem Objekt in der Umgebung des Fahrzeugs und einem zweiten Sehstrahl von der zweiten Kamera zu demselben Objekt. Die Berechnungsvorschrift ist daher eine Formel zur Rektifizierung, die als Parameter einen angenommenen Anfangswert des Schielwinkels enthält, zum Beispiel x. Nachdem die Disparität des Fluchtpunktes bestimmt ist, kann abhängig von diesem Ergebnis ein neuer zu verwendender Wert des Schielwinkels y in die Berechnungsvorschrift eingesetzt werden.
In einer weiteren Ausführungsform der Erfindung erfolgt in einem Schritt ein Anpassen des Schielwinkels der Stereokamera in Abhängigkeit von der bestimmten Disparität der Fluchtpunkte. Das Anpassen des Schielwinkels kann dabei als einhergehend mit dem Anpassen der Berechnungsvorschrift verstanden werden. Das bedeutet, das Anpassen des Schielwinkels ist ein anderer Ausdruck für das Anpassen der Berechnungsvorschrift.
Das Anpassen des Schielwinkels kann als ein Kalibrierprozess der Stereokamera verstanden werden. Beispielsweise kann eine Selbstkalibrierung eines relativen Schielwinkels erreicht werden. Dabei kann sich die Anpassung der Berechnungsvorschrift aus der Disparität der Fluchtpunkte ergeben. Es ist möglich, dass der Schielwinkel durch ein entsprechendes Berechnungsverfahren verringert wird. Dafür kann die Berechnungsvorschrift für eine Rektifizierung derart angepasst werden, dass der Schielwinkel zumindest teilweise kompensiert wird. Eine Eingabegröße für die Berechnungsvorschrift kann der bestimmte Schielwinkel sein oder aber ein Wert, der von dem bestimmten Schielwinkel abhängt.
Gemäß einer weiteren Ausführungsform der Erfindung hängt die Berechnungsvorschrift von einer Rotation zwischen der ersten Kamera und der zweiten Kamera ab.
Die Berechnungsvorschrift kann also eine mathematische Funktion sein, die neben der Rotation zwischen der ersten Kamera und der zweiten Kamera auch von anderen Größen abhängig ist. Die Rotation kann auch als Rest-Rotation bezeichnet werden. Mittels der Abbildungspositionen der Fluchtpunkte kann aus der gemessenen Disparität beziehungsweise Rest-Disparität ein zu korrigierender Schielwinkel beziehungsweise Rest-Schielwinkel bestimmt werden. Eine Schätzung der Rotation zwischen erster und zweiter Kamera kann dann um den Schielwinkel beziehungsweise Rest-Schielwinkel korrigiert werden.
Die Rest-Rotation
lässt sich folgendermaßen aus der Rest-Disparität d und der Brennweite f der Kamera ableiten:
wird anschließend auf die aktuelle Schätzung der Rotationsmatrix von rechter zu linker Kamera multipliziert. Bei der Bestimmung der Abbildungspositionen der Fluchtpunkte und damit auch der Disparität können zum Beispiel der Fluss nach Fridtjof Stein oder das Semi-Global Matching nach Hirschmüller genutzt werden (Stein, F.; Rasmussen, C. E.; Bülthoff, H. H.; Schölkopf, B. & Giese, M. A. (Eds.); Efficient Computation of Optical Flow Using the Census Transform DAGM-Symposium, Springer, 2004, 3175, 79–86). Das Ergebnis dieser Bestimmung kann zum Beispiel mit Hilfe von Histogrammen robustifiziert werden. Dabei werden die einzelnen Komponenten des Schnittpunktes der Fluchtvektoren robustifiziert.
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt das Anpassen der Berechnungsvorschrift während des Fahrbetriebs des Fahrzeugs. Beispielsweise wird die Berechnungsvorschrift während des Fahrbetriebs vollautomatisch angepasst.
Dadurch ist es möglich, die Abbildungspositionen des Fluchtpunktes in den von den Kameras aufgenommenen Bildern aufgrund von Flussvektoren zu bestimmen. Mit anderen Worten werden während der Fahrt des Fahrzeugs von den Kameras zeitlich versetzt Bilder aufgenommen und anhand der sich in Bezug zu den Kameras bewegenden Objekte in der Umgebung des Fahrzeugs Flussvektoren bestimmt, mit deren Hilfe letztlich die Bestimmung der Disparität des Fluchtpunktes möglich ist. Es sei angemerkt, dass die Objekte in der Umgebung des Fahrzeugs, die zur Bestimmung der Flussvektoren und damit zur Konstruktion der Abbildungspositionen des Fluchtpunktes in dem jeweiligen Bild verwendet werden, stillstehende Objekte sein können.
Gemäß einem Aspekt der Erfindung ist eine Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs angegeben, die dazu ausgeführt ist, das hierin beschriebene, erfindungsgemäße Verfahren durzuführen.
Gemäß einer weiteren Ausführungsform der Erfindung weist die Vorrichtung eine Stereokamera mit einer ersten Kamera und einer zweiten Kamera sowie eine Recheneinheit auf. Die erste Kamera ist dazu ausgeführt, ein erstes Bild einer Umgebung des Fahrzeugs aufzunehmen und die zweite Kamera ist dazu ausgeführt, ein zweites Bild einer Umgebung des Fahrzeugs aufzunehmen. Die Recheneinheit ist dazu ausgeführt, eine erste Abbildungsposition eines Fluchtpunktes in dem ersten Bild der ersten Kamera und eine zweite Abbildungsposition des Fluchtpunktes in dem zweiten Bild der zweiten Kamera zu bestimmen. Die Recheneinheit ist dazu ausgeführt, eine Disparität anhand der ersten Abbildungsposition des Fluchtpunktes im ersten Bild und der zweiten Abbildungsposition des Fluchtpunktes im zweiten Bild zu bestimmen. Ferner ist die Recheneinheit dazu ausgeführt, eine Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität anzupassen und das erste Bild und das zweite Bild mit der angepassten Berechnungsvorschrift zu rektifizieren. Die Vorrichtung kann zum Beispiel Teil eines Fahrerassistenzsystems des Fahrzeugs sein. Die Recheneinheit kann mit den beiden Kameras der Stereokamera verbunden sein, so dass eine Datenübertragung, zum Beispiel eine Übertragung von Bildinformationen zwischen den Kameras und der Recheneinheit, stattfinden kann.
Gemäß einem weiteren Aspekt der Erfindung ist die Verwendung eines Disparitätswertes eines Fluchtpunktes zur Anpassung einer Berechnungsvorschrift, insbesondere zur Anpassung eines Wertes eines Schielwinkels, zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs angegeben.
Die Bestimmung des Fluchtpunktes und die Bestimmung der Disparität sowie die Anpassung der Berechnungsvorschrift und die Rektifizierung kann durch unterschiedliche bauliche Komponenten der erfindungsgemäßen Recheneinheit erfolgen.
Kurze Beschreibung der Figuren
1 zeigt die Bestimmung einer ersten Abbildungsposition und einer zweiten Abbildungsposition eines Fluchtpunktes mit Hilfe von Flussvektoren gemäß einem Ausführungsbeispiel der Erfindung.
2 zeigt ein Flussdiagramm für ein Verfahren zur Rektifizierung von Bildern gemäß einem Ausführungsbeispiel der Erfindung.
3 zeigt ein Fahrzeug mit einer Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera gemäß einem Ausführungsbeispiel der Erfindung.
Detaillierte Beschreibung beispielhafter Ausführungsformen
1 zeigt die Bestimmung einer ersten Abbildungsposition 4 und einer zweiten Abbildungsposition 9 eines Fluchtpunktes mit Hilfe von Flussvektoren. Dabei wird ein Flussvektor aufgrund einer Bewegung eines Objektes während der Fahrt des Fahrzeugs bestimmt, indem von einer Kamera zeitlich versetzt mindestens zwei Bilder aufgenommen werden. Dabei wird von einer ersten Kamera ein erstes Bild 10a und ein drittes Bild 10b zeitlich versetzt aufgenommen. Von einer zweiten Kamera wird ein zweites Bild 20a und ein viertes Bild 20b zeitlich versetzt aufgenommen.
In dem ersten Bild 10a der ersten Kamera befindet sich ein erstes Objekt an einer ersten Position 1a und ein zweites Objekt an einer zweiten Position 2a. Das erste und das zweite Objekt können zum Beispiel stillstehende Gegenstände in der Umgebung des Fahrzeugs sein. Wird nun durch die erste Kamera das dritte Bild 10b zeitlich versetzt zum ersten Bild 10a aufgenommen, so verschiebt sich das erste Objekt und das zweite Objekt innerhalb des von der ersten Kamera erfassten Sichtfeldes, da sich das Fahrzeug und damit auch die erste Kamera während des Fahrbetriebs relativ zur Umgebung, in der die Objekte stillstehend angeordnet sind, bewegt. Dabei werden hier die relevanten Inhalte der beiden Bilder 10a, 10b der ersten Kamera der Übersicht halber zusammen dargestellt. Insbesondere verschiebt sich das erste Objekt von der ersten Position 1a zu einer dritten Position 1b und das zweite Objekt verschiebt sich von der zweiten Position 2a zu einer vierten Position 2b. Die Verschiebung wird durch Translation der jeweiligen Positionen zum Beispiel durch eine Recheneinheit ermittelt, die daraus virtuelle Linien, das heißt Flussvektoren, bestimmt. Dabei entsteht durch die Verschiebung des ersten Objektes von der ersten Position 1a in die dritte Position 1b ein erster Flussvektor 1 und durch die Verschiebung des zweiten Objektes von der zweiten Position 2a in die vierte Position 2b ein zweiter Flussvektor 2.
Anschließend können die beiden Flussvektoren 1, 2 rechnerisch und/oder graphisch derart verlängert werden, dass sich diese Verlängerungen 1c, 2c in einem bestimmten Punkt, das heißt ihrem Schnittpunkt, schneiden. Der Schnittpunkt definiert also den von der ersten Kamera aus zumindest zwei Bildern 10a und 10b ermittelten Fluchtpunkt. Der Fluchtpunkt weist eine erste Abbildungsposition 4 innerhalb des Bildbereichs der ersten Kamera auf. Die Position kann zum Beispiel in eine x-Richtung oder in eine y-Richtung auf dem Pixelsensor der ersten Kamera bestimmt werden. In dem in 1 gezeigten Fall befindet sich die Abbildungsposition 4 des Fluchtpunktes in der Pixelspalte oder Subpixelspalte x.
In dem zweiten Bild 20a der zweiten Kamera befindet sich das erste Objekt an einer fünften Position 6a und das zweites Objekt an einer sechsten Position 8a. Das erste und das zweite Objekt stellen dabei dieselben Objekte dar, wie das von der ersten Kamera erfasste erste und zweite Objekt. Lediglich die Position der Objekte innerhalb des Bildbereichs der ersten und zweiten Kamera kann unterschiedlich sein. Wird nun durch die zweite Kamera das vierte Bild 20b zeitlich versetzt zum zweiten Bild 20a aufgenommen, so verschiebt sich das erste Objekt und das zweite Objekt innerhalb des von der zweiten Kamera erfassten Sichtfeldes, da sich das Fahrzeug und damit auch die zweite Kamera während des Fahrbetriebs relativ zur Umgebung, in der die Objekte stillstehend angeordnet sind, bewegt. Dabei werden hier die relevanten Inhalte der beiden Bilder 20a, 20b der zweiten Kamera der Übersicht halber zusammen dargestellt. Insbesondere verschiebt sich das erste Objekt von der fünften Position 6a zu einer siebenten Position 6b und das zweite Objekt verschiebt sich von der sechsten Position 8a zu einer achten Position 8b. Die Verschiebung wird durch Translation der jeweiligen Positionen zum Beispiel durch eine Recheneinheit ermittelt, die daraus virtuelle Linien, das heißt Flussvektoren, bestimmt.
Dabei entsteht durch die Verschiebung des ersten Objektes von der fünften Position 6a in die siebente Position 6b ein erster Flussvektor 6 und durch die Verschiebung des zweiten Objektes von der sechsten Position 8a in die achte Position 8b ein zweiter Flussvektor 8. Anschließend können die beiden Flussvektoren 6, 8 rechnerisch und/oder graphisch derart verlängert werden, dass sich diese Verlängerungen 1c, 2c in einem bestimmten Punkt, das heißt ihrem Schnittpunkt, schneiden. Der Schnittpunkt definiert also den von der ersten Kamera aus zumindest zwei Bildern 20a und 20b ermittelten Fluchtpunkt. Der Fluchtpunkt weist eine zweite Abbildungsposition 9 innerhalb des Bildbereichs der zweiten Kamera auf. Die Position kann zum Beispiel in eine x-Richtung oder in eine y-Richtung auf dem Pixelsensor der zweiten Kamera bestimmt werden. In dem in 1 gezeigten Fall befindet sich die Abbildungsposition 9 des Fluchtpunktes in der Pixelspalte oder Subpixelspalte x+n, wobei n einen Versatz oder eine Abweichung in eine horizontale Richtung des Bildsensors beschreibt. Diese Abweichung gibt die Disparität des Fluchtpunktes an. Der Fluchtpunkt bezieht sich zwar auf dasselbe Objekt in der Umgebung des Fahrzeugs, weist jedoch auf dem Pixelsensor der ersten Kamera und dem Pixelsensor der zweiten Kamera eine unterschiedliche Abbildungsposition auf.
Mit der bekannten ersten Abbildungsposition 4 und der bekannten zweiten Abbildungsposition 9 des Fluchtpunktes kann die Disparität des Fluchtpunktes durch die Recheneinheit bestimmt werden, woraufhin von der Recheneinheit ebenfalls ein Wert oder mehrere Werte für eine Anpassung einer Berechnungsvorschrift bestimmt werden. Insbesondere kann in einem Ausführungsbeispiel eine Anpassung der in der Berechnungsvorschrift verwendeten Schielwinkel basierend auf der Disparität erfolgen. Dies wurde bereits zuvor im Kontext anderer Ausführungsformen beschrieben und kann mit diesen Ausführungsformen kombiniert werden. Nach Anpassung der Berechnungsvorschrift kann eine Rektifizierung des dritten Bildes der ersten Kamera und des vierten Bildes der zweiten Kamera erfolgen, so dass die Disparität der Abbildungspositionen 4 und 9 zumindest teilweise kompensiert werden kann. Werden im Anschluss weitere Bilder von der ersten und zweiten Kamera aufgenommen, werden erneut Flussvektoren bestimmt, anhand denen die Berechnungsvorschrift aufgrund einer Disparität der Abbildungspositionen des Fluchtpunktes angepasst wird, so dass wiederum eine Rektifizierung der von den Kameras erfassten Bilder stattfinden kann. Dies ist also ein sich ständig wiederholender Prozess, durch den die Güte der einem Fahrerassistenzsystem bereitgestellten Bildinformationen verbessert wird, indem Bildverzeichnungen verringert beziehungsweise kompensiert werden können.
Es sei angemerkt, dass in der 1 die Konstruktion beziehungsweise die Bestimmung der Abbildungspositionen des Fluchtpunktes anhand von zwei Flussvektoren für eine Kamera erläutert wird. Jedoch können beliebig viele, das heißt auch mehr als zwei, Flussvektoren zur Bestimmung einer Abbildungsposition des Fluchtpunktes verwendet werden. Für die Schielwinkelbestimmung können auch auf andere Weise konstruierte Punkte mit unendlicher oder näherungsweise unendlicher Entfernung zur Kamera verwendet werden.
2 zeigt ein Flussdiagramm für ein Verfahren zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs mit mehreren Schritten. In einem Schritt (S1) des Verfahrens wird ein erstes Bild 10a einer Umgebung des Fahrzeugs durch die erste Kamera aufgenommen und in einem weiteren Schritt (S2) wird ein zweites Bild 20a einer Umgebung des Fahrzeugs durch die zweite Kamera aufgenommen. In einem Schritt (S3) des Verfahrens erfolgt ferner ein Bestimmen einer ersten Abbildungsposition 4 eines Fluchtpunktes in dem ersten Bild 10a der ersten Kamera und in einem weiteren Schritt (S4) erfolgt ein Bestimmen einer zweiten Abbildungsposition 9 des Fluchtpunktes in dem zweiten Bild 20a der zweiten Kamera. Weiterhin wird in einem Schritt (S5) eine Disparität des Fluchtpunktes anhand der ersten Abbildungsposition 4 des Fluchtpunktes im ersten Bild 10a und der zweiten Abbildungsposition 9 des Fluchtpunktes im zweiten Bild 20a bestimmt. In einem weiteren Schritt (S6) erfolgt ein Anpassen einer Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität. Schließlich erfolgt ein Rektifizieren des ersten Bildes 10a und des zweiten Bildes 20a mit der angepassten Berechnungsvorschrift in einem weiteren Schritt (S7).
3 zeigt ein Fahrzeug 30 mit einer Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera 11 und einer zweiten Kamera 21 einer Stereokamera 31. Die Vorrichtung ist also ein Teil eines Fahrerassistenzsystems mit einer ersten Kamera 11 und einer zweiten Kamera 21, wobei die erste Kamera 11 und die zweite Kamera 21 mit einer Recheneinheit 33, zum Beispiel über eine kabelgestützte und/oder über eine kabellose Datenverbindung 35 verbunden sind. Zusätzlich zur ersten Kamera 11 und zur zweiten Kamera 21 können auch weitere Kameras in dem Fahrzeug 30 vorgesehen sein, die ebenfalls die für die erste Kamera 11 und die zweite Kamera 21 beschriebenen Funktionen ausführen können. Diese weiteren Kameras können auch mit der Recheneinheit 33 verbunden sein und anschließend Bildinformationen für eine Fahrerassistenzfunktion 34 bereitstellen. Um Bildinformationen für eine Fahrerassistenzfunktion 34, wie zum Beispiel Objekterkennung, Einparkhilfe, Spurhalteassistenten, etc. bereitzustellen kann die Recheneinheit 33 mit einer solchen Fahrerassistenzfunktion 34 verbunden sein. Es ist jedoch auch möglich, dass die Fahrerassistenzkameras direkt mit der zugehörigen Fahrerassistenzfunktion 34 verbunden sind, so dass die von den beiden Kameras 11 und 21 aufgenommenen Bildinformationen direkt an die Fahrerassistenzfunktion 34 übertragen werden können. Die Recheneinheit 33 ist zum Beispiel dazu ausgeführt, eine erste Abbildungsposition 4 eines Fluchtpunktes in einem ersten Bild 10a der ersten Kamera 11 und eine zweite Abbildungsposition 9 eines Fluchtpunktes in einem zweiten Bild 20a der zweiten Kamera 21 zu bestimmen. Anschließend kann durch die Recheneinheit 33 eine Disparität anhand der ersten Abbildungsposition 4 des Fluchtpunktes im ersten Bild 10a und der zweiten Abbildungsposition 9 des Fluchtpunktes im zweiten Bild 20a bestimmt werden. Es ist möglich, dass durch die Recheneinheit 33 eine Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität angepasst und somit das erste Bild 10a und das zweite Bild 20a mit der angepassten Berechnungsvorschrift rektifiziert werden kann.
Stereokameras 31 sind in der Regel im Fahrzeug hinter der Windschutzscheibe angeordnet und die beiden Photosensoren beziehungsweise Kameras sind räumlich nebeneinander angeordnet. In 3 sind die beiden Photosensoren beziehungsweise Kameras jedoch aus Darstellungsgründen übereinander angeordnet gezeigt, um beide Komponenten in 3 zeigen zu können.
In einem weiteren Ausführungsbeispiel basierend auf der 3 ist ein Fahrzeug mit einer Stereokamera bereitgestellt, wobei damit eine Selbstkalibrierung der Stereokamera möglich ist. Diese Selbstkalibrierung kann gemäß den zuvor und im Folgenden beschriebenen Ausführungsformen durchgeführt werden.
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen. Ebenfalls sei angemerkt, dass die Verfahrensschritte des beschriebenen Verfahrens in einer beliebigen Reihenfolge durchgeführt können.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

Hartley, Richard; Andrew Zisserman; Multiple view geometry in computer vision; Cambridge University Press, 2003 [0016]
Stein, F.; Rasmussen, C. E.; Bülthoff, H. H.; Schölkopf, B. & Giese, M. A. (Eds.); Efficient Computation of Optical Flow Using the Census Transform DAGM-Symposium, Springer, 2004, 3175, 79–86 [0031]

Claims

Verfahren zur Rektifizierung von Bildern einer ersten Kamera (11) und einer zweiten Kamera (21) einer Stereokamera (31) eines Fahrzeugs (30), aufweisend die Schritte: Aufnehmen eines ersten Bildes (10a) einer Umgebung des Fahrzeugs durch die erste Kamera (S1); Aufnehmen eines zweiten Bildes (20a) einer Umgebung des Fahrzeugs durch die zweite Kamera (S2); Bestimmen einer ersten Abbildungsposition (4) eines Fluchtpunktes in dem ersten Bild (10a) der ersten Kamera (S3); Bestimmen einer zweiten Abbildungsposition (9) des Fluchtpunktes in dem zweiten Bild (20a) der zweiten Kamera (S4); Bestimmen einer Disparität des Fluchtpunktes anhand der ersten Abbildungsposition (4) des Fluchtpunktes im ersten Bild (10a) und der zweiten Abbildungsposition (9) des Fluchtpunktes im zweiten Bild (S5); Anpassen einer Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität des Fluchtpunktes (S6); und Rektifizieren des ersten Bildes (10a) und des zweiten Bildes (20a) mit der angepassten Berechnungsvorschrift (S7).
Verfahren nach Anspruch 1, weiterhin aufweisend die Schritte: Konstruieren des Fluchtpunktes mittels Flussvektoren aus zeitlich versetzt aufgenommenen Bildern der ersten Kamera (11); und Konstruieren des Fluchtpunktes mittels Flussvektoren aus zeitlich versetzt aufgenommenen Bildern der zweiten Kamera (21).
Verfahren nach einem der vorhergehenden Ansprüche, weiter aufweisend die Schritte: Bestimmen der ersten Abbildungsposition (4) des Fluchtpunktes in dem ersten Bild (10a) durch Verlängern mindestens zweier Flussvektoren auf Basis des von der ersten Kamera (11) aufgenommenen ersten Bildes (10a) und eines von der ersten Kamera (11) zeitlich versetzt zum ersten Bild aufgenommenen dritten Bildes (10b); und Bestimmen der zweiten Abbildungsposition (9) des Fluchtpunktes in dem zweiten Bild (20a) durch Verlängern mindestens zweier Flussvektoren auf Basis des von der zweiten Kamera (21) aufgenommenen zweiten Bildes (20a) und eines von der zweiten Kamera (21) zeitlich versetzt zum zweiten Bild (20a) aufgenommenen vierten Bildes (20b).
Verfahren nach Anspruch 3, wobei die erste Abbildungsposition (4) des Fluchtpunktes durch einen Schnittpunkt der mindestens zwei verlängerten Flussvektoren des zeitlich versetzt aufgenommenen ersten und dritten Bildes (10a, 10b) definiert wird; und wobei die zweite Abbildungsposition (9) des Fluchtpunktes durch einen Schnittpunkt der mindestens zwei verlängerten Flussvektoren des zeitlich versetzt aufgenommenen zweiten und vierten Bildes (20a, 20b) definiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Anpassen der Berechnungsvorschrift auf Basis der berechneten Disparität nur erfolgt, wenn die bestimmte Disparität ungleich Null ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Berechnungsvorschrift von einem Schielwinkel zwischen der ersten Kamera (11) und der zweiten Kamera (21) abhängt; das Verfahren weiterhin aufweisend den Schritt: Anpassen des Schielwinkels der Stereokamera (31) in Abhängigkeit von der bestimmten Disparität der Fluchtpunkte.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Berechnungsvorschrift von einer Rotation zwischen der ersten Kamera (11) und der zweiten Kamera (21) abhängt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Anpassen der Berechnungsvorschrift während des Fahrbetriebs des Fahrzeugs (30) erfolgt.
Vorrichtung zur Rektifizierung von Bildern einer ersten Kamera (11) und einer zweiten Kamera (21) einer Stereokamera (31) eines Fahrzeugs (30), die Vorrichtung aufweisend: eine Stereokamera (31) mit einer ersten Kamera (11) und einer zweiten Kamera (21); eine Recheneinheit (33); wobei die erste Kamera (11) dazu ausgeführt ist, ein erstes Bild (10a) einer Umgebung des Fahrzeugs (30) aufzunehmen; wobei die zweite Kamera (21) dazu ausgeführt ist, ein zweites Bild (20a) einer Umgebung des Fahrzeugs (30) aufzunehmen; wobei die Recheneinheit (33) dazu ausgeführt ist, eine erste Abbildungsposition (4) eines Fluchtpunktes in dem ersten Bild (10a) der ersten Kamera (11) zu bestimmen; wobei die Recheneinheit (33) dazu ausgeführt ist, eine zweite Abbildungsposition (9) des Fluchtpunktes in dem zweiten Bild (20a) der zweiten Kamera (21) zu bestimmen; wobei die Recheneinheit (33) dazu ausgeführt ist, eine Disparität anhand der ersten Abbildungsposition (4) des Fluchtpunktes im ersten Bild (10a) und der zweiten Abbildungsposition (9) des Fluchtpunktes im zweiten Bild (20a) zu bestimmen; wobei die Recheneinheit (33) dazu ausgeführt ist, eine Berechnungsvorschrift zur Rektifizierung basierend auf der bestimmten Disparität anzupassen; und wobei die Recheneinheit (33) dazu ausgeführt ist, das erste Bild (10a) und das zweite Bild (20a) mit der angepassten Berechnungsvorschrift zu rektifizieren.
Verwendung eines Disparitätswertes eines Fluchtpunktes zur Anpassung einer Berechnungsvorschrift, insbesondere zur Anpassung eines Wertes eines Schielwinkels in der Berechnungsvorschrift, wobei die Berechnungsvorschrift zur Rektifizierung von Bildern einer ersten Kamera (11) und einer zweiten Kamera (21) einer Stereokamera (31) eines Fahrzeugs (30) verwendet wird.