-
Gebiet der Erfindung
-
Die Erfindung betrifft kamerabasierte Fahrerassistenzsysteme in Fahrzeugen. Die Erfindung betrifft insbesondere ein Verfahren zum Überwachen einer Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs. Die Erfindung betrifft ferner eine Vorrichtung zum Überwachen einer Rektifizierung von Bildern.
-
Hintergrund der Erfindung
-
Eine präzise Ausrichtung von Kameras einer Stereokamera innerhalb eines Fahrzeugs ist von großer Bedeutung, da die von den Kameras erfassten Bilder Fahrerassistenzfunktionen bereitgestellt werden. Die erfassten Bilder haben daher einen erheblichen Einfluss auf die Zuverlässigkeit der Fahrerassistenzfunktionen. Um nun die Funktion und das präzise Messen, zum Beispiel der Ausrichtung einer Stereokamera, über den gesamten Lebenszeitraum zu gewährleisten, werden sogenannte Online-Kalibrierverfahren eingesetzt. Diese Verfahren bestimmen beispielsweise die Orientierung einer ersten Kamera zu einer zweiten Kamera der Stereokamera in einem Fahrzeug. Dabei ist eine der beiden Kameras die Referenzkamera und damit der Ausgangspunkt zur Berechnung der Orientierung der anderen Kamera beziehungsweise der anderen Kameras. Diese Art der Kalibrierung ist wichtig, um beispielsweise Disparitätskarten mit einer hohen Genauigkeit berechnen zu können. Eine Disparitätskarte gibt beispielsweise ortsaufgelöst den Versatz zwischen Bildmerkmalen in einem Bild einer ersten Kamera einer Stereokamera und einer zweiten Kamera einer Stereokamera wieder. Solche Disparitätskarten gelten als Basisinformation für weitere Funktionen eines Fahrerassistenzsystems. In diesem Kontext sind die Sicherheitsanforderungen an ein Fahrerassistenzsystem und somit auch an dessen Kalibrierung sehr hoch. Eine schlechte oder falsche Kamerakalibrierung kann zur Fehlinterpretation der aufgenommenen Szene beziehungsweise Umgebung des Fahrzeugs führen. Beispielsweise können Fahrerassistenzsysteme bei einer Fehlinterpretation mit verfrühten oder verspäteten Bremsungen oder falschen Lenkmanövern reagieren.
-
Zusammenfassung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, die Zuverlässigkeit eines Fahrerassistenzsystems zu erhöhen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Beispielhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und der nachfolgenden Beschreibung.
-
Gemäß der Erfindung ist ein Verfahren zum Überwachen einer Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs angegeben. Das Verfahren weist mehrere Schritte auf. In einem Schritt des Verfahrens erfolgt ein Aufnehmen eines ersten Bildes einer Umgebung des Fahrzeugs durch die erste Kamera der Stereokamera. In einem weiteren Schritt erfolgt ein Aufnehmen eines zweiten Bildes einer Umgebung des Fahrzeugs durch die zweite Kamera. Dabei können die erste und die zweite Kamera die Kameras einer Stereokamera darstellen. In einem weiteren Schritt des Verfahrens erfolgt ein Rektifizieren des ersten Bildes und des zweiten Bildes. Ferner erfolgt in einem weiteren Schritt ein Bestimmen eines Rektifizierungsfehlers basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild. In einem weiteren Schritt des Verfahrens erfolgt ein Generieren einer Anweisung zum Unterbinden einer Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für eine Fahrerassistenzfunktion basierend auf dem bestimmten Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes.
-
Durch das erfindungsgemäße Verfahren ist es möglich, die Rektifizierung der von der ersten und zweiten Kamera der Stereokamera erzeugten Bilder zu überprüfen, bevor diese Bilder einer Fahrerassistenzfunktion bereitgestellt werden. Die Rektifizierung erfolgt dabei beispielsweise über eine Online-Kalibrierung, bei der bestimmte Werte, die zum Beispiel die Ausrichtung der ersten Kamera zur zweiten Kamera der Stereokamera beschreiben, überwacht werden, wodurch eine Plausibilisierung der durch die Online-Kalibrierung bestimmten Werte bereitgestellt werden kann. Werte oder Parameter, die von der Online-Kalibrierung bestimmt werden und einer Plausibilisierung bedürfen, sind die relativen Winkel, die eine Ausrichtung der ersten Kamera zur zweiten Kamera beschreiben. Mit anderen Worten kann die erste Kamera gegenüber der zweiten Kamera zum Beispiel durch mechanische oder temperaturbedingte äußere Einflüsse verdreht sein. Um solche Fehler in der Ausrichtung der beiden Kameras zueinander kompensieren zu können, werden die von den beiden Kameras erfassten Bilder rektifiziert. Eine solche Rektifizierung kann zum Beispiel erfolgen, wenn sich die Abbildungspositionen von Objekten im ersten Bild der ersten Kamera von den Abbildungspositionen derselben Objekte im zweiten Bild der zweiten Kamera unterscheiden. Beispielsweise wird ein Objekt, welches auch als Merkmal oder Feature bezeichnet wird, im ersten Bild auf einer anderen Pixelzeile dargestellt als im zweiten Bild. Eine solche Abweichung wird auch als Rektifizierungsfehler bezeichnet. Die Pixelzeile definiert dabei eine Position in einer vertikalen Richtung auf dem Bildsensor der jeweiligen Kamera. Die Kompensation einer solchen Abweichung kann durch die Rektifizierung erreicht werden. Es werden also zum Beispiel die Winkel, die die Ausrichtung der ersten Kamera zur zweiten Kamera beschreiben, dazu verwendet, die beiden Kamerabilder zu rektifizieren, das heißt korrespondierende Merkmale bildzeilengenau auszurichten beziehungsweise Abweichungen zu kompensieren. Nach der Rektifizierung kann wiederum ein Rektifizierungsfehler basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild entstehen. Dieser Rektifizierungsfehler kann im Rahmen einer Überprüfung der durchgeführten Rektifizierung ermittelt werden. Dies kann anhand der rektifizierten Bilder geschehen, indem beispielsweise die Verteilung von mehreren Rektifizierungsfehlern über das gesamte von der Stereokamera aufgenommene Bild erfasst wird, was im Folgenden noch genauer beschrieben wird.
-
Zur Überwachung der Winkel, die von der Ausrichtung der ersten Kamera zu der zweiten Kamera abhängig sein können, können die rektifizierten Bilder verwendet werden. In diesen rektifizierten Bildern werden Merkmale extrahiert, so dass Korrespondenzen zwischen dem ersten Bild und dem zweiten Bild hergestellt werden können. Weichen diese Korrespondenzen bildzeilenmäßig, das heißt in vertikaler Richtung, voneinander ab, ergibt sich ein sogenannter Rektifizierungsfehler. Der Rektifizierungsfehler wird also anhand der rektifizierten Bilder der ersten Kamera und der zweiten Kamera bestimmt. Beispielsweise bestimmt ein sogenannter Kalibriermonitor ständig, das heißt während des Fahrbetriebs des Fahrzeugs, den Rektifizierungsfehler aus den rektifizierten Eingangsbildern der ersten und zweiten Kamera. Der Kalibriermonitor kann daher als ein Monitor zur Überwachung einer Kalibriergüte einer Stereokamera für Fahrerassistenzfunktionen angesehen werden. Eine entsprechende erfindungsgemäße Vorrichtung wird im weiteren Verlauf genauer erläutert werden. Aus dem bestimmten Rektifizierungsfehler, welcher basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild ermittelt wurde, kann eine Anweisung, welche auch als „Enable-Flag“ bezeichnet werden kann, generiert werden. Mit dieser Anweisung können abhängige Funktionen, wie zum Beispiel Fahrerassistenzfunktionen, gesteuert werden. Die Anweisung kann das Verwenden des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für eine Fahrerassistenzfunktion unterbinden. Ob die Verwendung der rektifizierten Bilder durch die Anweisung unterbunden wird, ist abhängig von dem Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes. Somit kann erreicht werden, dass abhängig von der Anweisung Fahrerassistenzfunktionen, wie zum Beispiel Objekterkennung, Spurerkennung oder andere Fahrerassistenzfunktionen, deaktiviert werden können. Beispiele für weitere Fahrerassistenzfunktionen sind zum Beispiel ein Spurerkennungssystem, ein Spurhalteassistent oder ein Spurwechselassistent. Online-Kalibrierung bedeutet in diesem Kontext, dass die Rektifizierung beziehungsweise Kalibrierung der von den Kameras erfassten Bilder während des Fahrbetriebs erfolgt. Beispielsweise können die Bilder während des Fahrbetriebs ständig neu rektifiziert werden, so dass auch ein Rektifizierungsfehler während der Fahrt des Fahrzeugs ständig neu bestimmt werden kann. In der Folge ist es auch möglich, dass in beliebigen Zeitabständen jeweils eine Anweisung zum Unterbinden einer Verwendung der rektifizierten Bilder für die jeweilige Fahrerassistenzfunktion generiert werden kann. Der Kalibriermonitor stellt somit sicher, dass Fahrerassistenzfunktionen genaue und verlässliche Eingabegrößen, das heißt Informationen hinsichtlich der Kalibrierung, empfangen. Sind die Informationen aufgrund einer nicht hinreichend genauen Rektifizierung zu ungenau beziehungsweise nicht verlässlich, kann gewährleistet werden, dass diese Informationen nicht an die Fahrerassistenzfunktion weitergegeben werden und/oder die Fahrerassistenzfunktion erst gar nicht aktiviert wird. Fehlinterpretationen der Szene beziehungsweise der Umgebung des Fahrzeugs durch falsche Kalibrierwerte werden dadurch vermieden.
-
Gemäß einer Ausführungsform der Erfindung wird die Anweisung zum Unterbinden der Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für die Fahrerassistenzfunktion generiert, wenn der bestimmte Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes einen vorbestimmten Grenzwert überschreitet.
-
Ist beispielsweise die Rektifizierung des ersten Bildes und des zweiten Bildes nicht vollständig oder fehlerhaft erfolgt, so dass immer noch ein bestimmter Rektifizierungsfehler vorliegt, kann vermieden werden, dass die rektifizierten Bilder der Fahrerassistenzfunktion bereitgestellt werden, wenn der Rektifizierungsfehler den vorbestimmten Grenzwert überschreitet, das heißt der Rektifizierungsfehler zu groß ist.
-
Der vorbestimmte Grenzwert kann zum Beispiel ein fester im System implementierter Wert sein, der stets mit einem Rektifizierungsfehler verglichen wird. Dabei kann der vorbestimmte Grenzwert auch abhängig von der Fahrerassistenzfunktion sein, für die die jeweiligen rektifizierten Bilder verwendet werden. Das Unterbinden der Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes durch die Fahrerassistenzfunktion kann auch als eine Art Deaktivierung der Fahrerassistenzfunktion angesehen werden. Dies folgt aus der Tatsache, dass aufgrund der Anweisung zum Unterbinden, die rektifizierten Bilder für die Fahrerassistenzfunktion nicht verwendet werden können und somit die Fahrerassistenzfunktion selbst keine Eingangsinformationen mehr erhält. Dadurch kann einer falschen Interpretation der Szene beziehungsweise der Umgebung des Fahrzeugs vorgebeugt und somit die Zuverlässigkeit des Fahrerassistenzsystems erhöht werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung wird eine Anweisung zum Verwenden des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für die Fahrerassistenzfunktion generiert, wenn der bestimmte Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes einen vorbestimmten Grenzwert unterschreitet.
-
Der vorbestimmte Grenzwert ist beispielsweise derselbe, der auch zur Entscheidung darüber verwendet wird, ob eine Anweisung zum Unterbinden der Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für die Fahrerassistenzfunktion generiert wird. Damit kann vorteilhafterweise erreicht werden, dass eine Fahrerassistenzfunktion aktiviert wird, wenn ein Wert des Rektifizierungsfehlers kleiner als der vorbestimmte Grenzwert ist und dass diese Fahrerassistenzfunktion deaktiviert wird, wenn der Wert des Rektifizierungsfehlers über dem vorbestimmten Grenzwert liegt. Dabei bestimmt der Kalibriermonitor laufend, das heißt während des Fahrbetriebs, den Rektifizierungsfehler aus den rektifizierten Bildern und berechnet daraus die Anweisung, um die Fahrerassistenzfunktionen steuern zu können.
-
In einem Ausführungsbeispiel kann der Rektifizierungsfehler, der von dem Kalibriermonitor bestimmt wurde, auch an die jeweiligen Fahrerassistenzfunktionen verteilt werden und von diesen selbst interpretiert, das heißt ausgewertet werden. Das bedeutet, dass die Entscheidung über die Verwendung der rektifizierten Bilder nicht durch die Anweisung erfolgen muss, sondern auch selbst von der jeweiligen Fahrerassistenzfunktion gesteuert werden kann. Der Kalibriermonitor ist zum Beispiel eine Recheneinheit beziehungsweise ein Prozessor, der mit der Stereokamera und mit der jeweiligen Fahrerassistenzfunktion oder mit den jeweiligen Fahrerassistenzfunktionen drahtlos oder drahtgebunden verbunden sein kann. Durch diese Verbindungen kann eine Datenübertragung zwischen den Komponenten, zum Beispiel kabelgestützt und/oder kabellos erfolgen.
-
Wird eine Anweisung zum Verwenden der rektifizierten Bilder für die Fahrerassistenzfunktion generiert, so kann dies als ein Aktivieren dieser Fahrerassistenzfunktion verstanden werden. Beispielsweise wird ein Kalibrieralgorithmus abhängig von der Anweisung zwischen zwei verschiedenen Modi umgeschaltet. Ein erster Modus ist beispielsweise eine Grobkalibrierung und ein zweiter Modus ist beispielsweise eine Feinkalibrierung. Die Großkalibrierung zeichnet sich dadurch aus, dass sie sehr schnell einen möglichen Kalibrierfehler oder Rektifizierungsfehler kompensiert. Die Grobkalibrierung, das heißt das Kompensieren des Kalibrierfehlers oder Rektifizierungsfehlers, kann derart erfolgen, dass eine Fahrerassistenzfunktion parallel zur Grobkalibrierung deaktiviert, das heißt nicht lauffähig ist. Die Grobkalibrierung verbessert daraufhin die Kalibrierung soweit, bis der Kalibriermonitor, das heißt die Recheneinheit, einen ausreichend kleinen Rektifizierungsfehler bestätigt, so dass in den zweiten Modus, welcher die Feinkalibrierung darstellt, gewechselt werden kann. Dabei wird der aktuell bestimmte Rektifizierungsfehler mit dem vorbestimmten Grenzwert verglichen. Es kann vorgesehen sein, dass Fahrerassistenzfunktionen während der Feinkalibrierung aktiviert, das heißt lauffähig sind. Das bedeutet mit anderen Worten, dass eine Grobkalibrierung erfolgt, wenn der Rektifizierungsfehler den vorbestimmten Grenzwert überschreitet, so dass die Weitergabe der Informationen an die Fahrerassistenzfunktion beziehungsweise eine Aktivierung der Fahrerassistenzfunktion ausgeschlossen wird. Analog erfolgt eine Feinkalibrierung, wenn der Rektifizierungsfehler den vorbestimmten Grenzwert unterschreitet, so dass die rektifizierten Bilder der Fahrerassistenzfunktion bereitgestellt werden können beziehungsweise die Fahrerassistenzfunktion aktiviert wird. Somit kann gewährleistet werden, dass lediglich zuverlässige Bildinformationen der Stereokamera an die Fahrerassistenzfunktion weitergegeben werden, wodurch letztendlich auch eine zuverlässige Arbeitsweise der Fahrerassistenzfunktion gewährleistet wird. Somit wird verhindert, dass von der jeweiligen Fahrerassistenzfunktion falsch interpretierte Bilder verwendet werden, um dem Fahrer letztlich eine zuverlässige Fahrerassistenz bereitstellen zu können.
-
In einem Ausführungsbeispiel bestimmt eine erfindungsgemäße Vorrichtung, zum Beispiel ein Kalibriermodul, den Rektifizierungsfehler und bestimmt somit die Verwendbarkeit der rektifizierten Bilder für andere Funktionen, zum Beispiel Fahrerassistenzfunktionen. Wenn der bestimmte Rektifizierungsfehler zu hoch ist, um die anderen Funktionen spezifikationsgemäß betreiben zu können, schaltet die Kalibrierung in den Modus „Grobkalibrierung“ andernfalls in den Modus „Feinkalibrierung“.
-
Es ist möglich, dass ein Übergang von Grobkalibrierung zu Feinkalibrierung stattfindet. Das heißt, solange der Rektifizierungsfehler den vorbestimmten Grenzwert überschreitet, bleibt die Fahrerassistenzfunktion deaktiviert. Wenn jedoch zu einem bestimmten Zeitpunkt während der Fahrt der Rektifizierungsfehler unter den vorbestimmten Grenzwert sinkt, kann diese Fahrerassistenzfunktion aktiviert werden. Dies geschieht beispielsweise durch das ständige Neugenerieren der Anweisung beziehungsweise des „Enable-Flag“. Das Generieren der Anweisung kann also in beliebigen Zeitabständen erfolgen. Zum Beispiel basiert die Anweisung auf einem Wert, der sich ständig während des Fahrbetriebs des Fahrzeugs verändert. Dieser Wert kann der Rektifizierunsfehler sein. Anhand dieses Wertes wird beispielsweise auch entschieden, ob eine Grobkalibrierung oder ob eine Feinkalibrierung erfolgt. Jedoch sind auch feinere Abstufungen in der Kalibrierung möglich. Es sei angemerkt, dass für eine feinere Abstufung beziehungsweise Funktionsdegradation zum Beispiel der Rektifizierungsfehler selbst oder ein aus dem Rektifizierungsfehler abgeleitetes Qualitätsmaß verwendet werden kann. Somit kann vorgesehen sein, dass durch das „Enable-Flag“ nicht nur ein hartes An- und Abschalten der Funktionen beziehungsweise Fahrerassistenzfunktionen erfolgt und folglich nicht nur zwischen Grobkalibrierung und Feinkalibrierung gewechselt werden kann. Vielmehr kann beispielsweise ein von einem automatischen Bremsen des Fahrzeugs auf Hindernisse auf ein Warnen degradiert, das heißt abgestuft werden. Feinere Abstufungen können die Bremsintensität oder der Entfernungsbereich von Objekten oder der Geschwindigkeitsbereich innerhalb dessen Funktionen aktiv sind, sein.
-
Wird während des Fahrbetriebs eine Fahrerassistenzfunktion aufgrund eines hinreichend kleinen Rektifizierungsfehlers aktiviert, so kann durch die Feinkalibrierung auch ein verbleibender Restkalibrierfehler kompensiert werden. Dieser Restkalibrierfehler basiert zum Beispiel auf dem Rektifizierungsfehler, der im Falle einer Feinkalibrierung kleiner ist als der vorbestimmte Grenzwert. Das heißt, dass die Kompensation des Kalibrierfehlers beziehungsweise des Rektifizierungsfehlers im Hinblick auf die Rechenzeit oder den Rechenaufwand parallel zu der Fahrerassistenzfunktion laufen kann. Die Kompensation des Restfehlers während die Fahrerassistenzfunktion aktiviert ist, kann zu einer hohen Zielperformanz der Fahrerassistenzfunktion führen. Eine Kompensation des Restfehlers, der auf dem Kalibrierfehler beziehungsweise Rektifizierungsfehler beruht, kann zum Beispiel solange erfolgen, bis der Rektifizierungsfehler gleich Null ist.
-
Es kann vorgesehen sein, dass der Rechenaufwand während der Grobkalibrierung größer ist als während der Feinkalibrierung.
-
Das „Enable-Flag ist zum Beispiel eine boolsche Variable, die den Wert „true“ oder „false“ tragen kann. Diese Variable kann von anderen Modulen, beispielsweise der Recheneinheit oder der Fahrerassistenzfunktion eingelesen werden und steuert diese entsprechend. Aber auch andere Ausführungsformen des „Enable-Flag“ sind möglich.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt ein Kompensieren des Rektifizierungsfehlers des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes, wenn der Rektifizierungsfehler den vorbestimmten Grenzwert überschreitet oder unterschreitet.
-
Mit anderen Worten wird dadurch sichergestellt, dass der Rektifizierungsfehler beziehungsweise der Restfehler kompensiert wird, wenn die Fahrerassistenzfunktion aktiviert oder deaktiviert ist. Eine Kompensation des Rektifizierungsfehlers findet also sowohl bei der Feinkalibrierung als auch bei der Grobkalibrierung statt. Jedoch kann eine Kompensation des Rektifizierungsfehlers unterbunden sein, wenn der Rektifizierungsfehler gleich Null ist.
-
Ferner erfolgt das Kompensieren durch Kalibrieren eines Nickwinkels und/oder eines Rollwinkels und/oder eines Gierwinkels einer der beiden Kameras innerhalb einer Berechnungsvorschrift zur Rektifizierung.
-
Eine solche Berechnungsvorschrift kann auch als Rektifizierungsfunktion bezeichnet werden und ist abhängig von Werten, die auf der geometrischen Ausrichtung der ersten Kamera zur zweiten Kamera der Stereokamera basieren. Eine der beiden Kameras ist zur Bestimmung der Ausrichtung der beiden Kameras zueinander als Referenzkamera festgelegt. Die Referenzkamera ist beispielsweise die in Fahrtrichtung auf der rechten Seite eingebaute Kamera der Stereokamera.
-
Wenn aus verschiedenen Gründen, wie zum Beispiel Krafteinwirkung, Temperaturänderung etc. sich die Kamerakalibrierung trotz laufender Feinkalibrierung verschlechtert, so dass der Rektifizierungsfehler über den vorbestimmten Grenzwert steigt, wird dies durch den Kalibriermonitor beziehungsweise die Recheneinheit detektiert. Die Kalibrierung kann daraufhin durch eine entsprechende Anweisung in den Modus Grobkalibrierung geschaltet werden, so dass die zugehörige Fahrerassistenzfunktion deaktiviert wird. Auf diese Weise ist sichergestellt, dass nötigenfalls schnell auf Kalibriereinflüsse in der richtigen Weise reagiert wird. Fehlauslösungen seitens der Fahrerassistenzfunktion werden somit wirkungsvoll vermieden. Sobald wieder eine gute Qualität beziehungsweise eine gute Kalibriergüte detektiert wird, bei der der Rektifizierungsfehler den bestimmten Grenzwert unterschreitet, führt dies erneut zur Aktivierung der Fahrerassistenzfunktion und zum Umschalten in den Feinkalibriermodus.
-
Es kann vorgesehen sein, dass beim Starten des Fahrerassistenzsystems beziehungsweise der Fahrerassistenzfunktion die Anweisung von vornherein auf Grobkalibrierung, das heißt auf Unterbinden der Verwendung der rektifizierten Bilder für das Fahrerassistenzsystem beziehungsweise die Fahrerassistenzfunktion eingestellt ist. Das heißt, erst wenn eine ausreichende Qualität der Kalibrierung oder Kalibriergüte sichergestellt ist, werden die anderen Funktionen aktiviert und auf Feinkalibrierung umgeschaltet. Dies geschieht durch Generieren einer Anweisung zum Verwenden der rektifizierten Bilder für die Fahrerassistenzfunktion.
-
Gemäß einer weiteren Ausführungsform der Erfindung hängt der Rektifizierungsfehler von einer Abweichung einer Abbildungsposition eines Merkmals auf dem rektifizierten ersten Bild und einer Abbildungsposition desselben Merkmals auf dem rektifizierten zweiten Bild ab.
-
Die Abbildungsposition des Merkmals auf dem rektifizierten ersten Bild kann sowohl in vertikaler als auch in horizontaler Richtung von der Abbildungsposition dieses Merkmals auf dem rektifizierten zweiten Bild abweichen. Ein Merkmal kann dabei durch ein oder mehrere Pixel des Bildsensors auf dem ersten beziehungsweise auf dem zweiten Bild abgebildet werden. Als Rektifizierungsfehler wird beispielsweise die Abweichung der Abbildungspositionen in eine vertikale Richtung des Bildsensors bezeichnet. Diese Abweichung kann auch als vertikaler Versatz bezeichnet werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt das Bestimmen einer Vielzahl von Rektifizierungsfehlern basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild. Ferner erfolgt gemäß einer weiteren Ausführungsform ein Bestimmen eines mittleren Rektifizierungsfehlers durch das Mitteln der Vielzahl von bestimmten Rektifizierungsfehlern in dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild.
-
Beispielsweise werden für bis zu 120 in einem Bild vorhandenen Merkmalen beziehungsweise Features jeweils die Rektifizierungsfehler bestimmt. Um aus den 120 Einzelmessungen zu einer Gesamtaussage zu gelangen, werden die Rektifizierungsfehler betragsmäßig sortiert und das 80%-Quantil um den Median wird betragsmäßig gemittelt. Das 80%-Quantil ist derjenige Wert, für den gilt, dass 80% aller Werte kleiner sind als dieser Wert. Anhand des so gewonnenen Ergebnisses kann eine Aussage über die Qualität einer aus den rektifizierten Bildern berechneten Disparitätskarte gewonnen werden. Eine solche Disparitätskarte beschreibt somit die Verteilung der Abweichungen der Abbildungspositionen beziehungsweise der Rektifizierungsfehler über die gesamte Bildfläche. Der mittlere Rektifizierungsfehler oder Gesamtrektifizierungsfehler kann nach seiner Bestimmung zum Beispiel mit dem vorbestimmten Grenzwert verglichen werden, um auf Basis dieses Vergleichs anschließend eine Anweisung zum Verwenden oder zum Unterbinden der Verwendung der rektifizierten Bilder für die Fahrerassistenzfunktion generieren zu können.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt in einem Schritt ein Bestimmen einer Stereodisparitätskarte basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild.
-
Ein Algorithmus zur Bestimmung der Disparitätskarte lässt einen Versatz, das heißt zum Beispiel eine vertikale Abweichung der Abbildungspositionen der Merkmale von maximal 0,5 Pixelzeilen zu. In diesem Fall wird eine dichte Disparitätskarte dann gebildet, wenn der Rektifizierungsfehler oder mittlere Rektifizierungsfehler kleiner 0,5 Pixel beträgt. Es kann jedoch auch ein anderer maximaler Versatz vorgesehen sein, zum Beispiel im Pixelbereich, insbesondere jedoch auch im Subpixelbereich. Darüber hinaus kann die Kalibriergüte überwacht werden. Dies kann von Vorteil sein, da insbesondere Ungenauigkeiten in den Rollwinkeln beziehungsweise Nickwinkeln einen signifikanten Einfluss auf den Rektifizierungsfehler oder mittleren Rektifizierungsfehler haben. Der Algorithmus zur Bestimmung der Disparitätskarte kann zum Beispiel von dem Kalibriermonitor beziehungsweise der Recheneinheit des Fahrerassistenzsystems ausgeführt werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt in weiteren Schritten des Verfahrens ein Kalibrieren eines Nickwinkels und/oder eines Rollwinkels und/oder eines Gierwinkels einer der beiden Kameras (31a, 31b) innerhalb einer Berechnungsvorschrift zur Rektifizierung und ein Rektifizieren des ersten Bildes und des zweiten Bildes mittels der Berechnungsvorschrift.
-
Mit anderen Worten erfolgt das Rektifizieren des ersten Bildes und des zweiten Bildes mittels Kalibrieren des Nickwinkels und/oder des Rollwinkels und/oder des Gierwinkels einer der beiden Kameras innerhalb der Berechnungsvorschrift zur Rektifizierung.
-
Dazu kann die Berechnungsvorschrift während des Fahrbetriebs ständig angepasst werden, so dass eine Rektifizierung der beiden durch die Kameras der Stereokamera bereitgestellten Bilder ebenfalls ständig durchgeführt werden kann. Die Berechnungsvorschrift umfasst dafür beispielsweise Werte, die vom Nickwinkel und/oder vom Rollwinkel und/oder vom Gierwinkel abhängen, die die Ausrichtung der beiden Kameras zueinander beschreiben.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt in einem Schritt des Verfahrens ein Durchführen der Kalibrierung des Nickwinkels und/oder des Rollwinkels und/oder des Gierwinkels während des Fahrbetriebs des Fahrzeugs. In einem weiteren Schritt erfolgt ein Überwachen der Kalibrierung mittels eines Kalibriermonitors. Ein Verwenden von Ergebnissen der durch den Kalibriermonitor überwachten Kalibrierung erfolgt in einem weiteren Schritt.
-
Sowohl das Rektifizieren als auch das Kalibrieren können dabei auf Grundlage der Berechnungsvorschrift stattfinden. Das Verwenden von Ergebnissen der durch den Kalibriermonitor überwachten Kalibrierung kann beispielsweise dann stattfinden, wenn der mittlere Rektifizierungsfehler den bestimmten Grenzwert unterschreitet. Die Überwachung der Kalibrierung kann also vom Rektifizierungsfehler abhängig sein. Beim Kalibrieren werden beispielsweise die Nick- und Rollwinkel durch Optimierung einer Kostenfunktion, die sich aus einer Epipolargeometrie herleitet, bestimmt. Hierzu können subpixelgenaue Merkmalskorrespondenzen verwendet werden.
-
Gemäß der Erfindung ist eine Vorrichtung zum Überwachen einer Rektifizierung von Bildern angegeben. Die Vorrichtung weist eine Recheneinheit auf, die dazu ausgeführt ist, ein erstes Bild einer ersten Kamera einer Stereokamera und ein zweites Bild einer zweiten Kamera einer Stereokamera zu rektifizieren. Die Recheneinheit ist ferner dazu ausgeführt, einen Rektifizierungsfehler basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild zu bestimmen. Die Recheneinheit ist dazu ausgeführt, eine Anweisung zur Unterbindung einer Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für eine Fahrerassistenzfunktion basierend auf dem bestimmten Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes zu generieren. Die Vorrichtung kann zum Beispiel in einem Fahrzeug angeordnet sein. Das Fahrzeug ist ein Kraftfahrzeug, insbesondere ein Personenkraftwagen oder ein Lastkraftwagen.
-
Es sei angemerkt, dass die Vorrichtung jedoch auch mehr als zwei Kameras aufweisen kann. Insbesondere kann die Vorrichtung zum Überwachen einer Kalibrierung zur Rektifizierung von Bildern von einer Vielzahl von Kameras vorgesehen sein, ohne dabei den Schutzbereich der Erfindung zu verlassen.
-
Kurze Beschreibung der Figuren
-
1 zeigt einen Rektifizierungsfehler eines ersten Bildes und eines zweiten Bildes gemäß einem Ausführungsbeispiel der Erfindung.
-
2 zeigt ein Verfahren zum Überwachen einer Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera gemäß einem Ausführungsbeispiel der Erfindung.
-
3 zeigt ein Blockschaltbild für ein Verfahren zum Generieren einer Anweisung zum Unterbinden einer Verwendung und zum Verwenden von rektifizierten Bildern für eine Fahrerassistenzfunktion gemäß einem Ausführungsbeispiel der Erfindung.
-
4 zeigt ein Fahrzeug mit einem Fahrerassistenzsystem zum Überwachen einer Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera gemäß einem Ausführungsbeispiel der Erfindung.
-
Detaillierte Beschreibung beispielhafter Ausführungsformen
-
Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.
-
1 zeigt ein erstes Bild 1 einer ersten Kamera und ein zweites Bild 2 einer zweiten Kamera, in denen jeweils ein und dasselbe Objekt oder Merkmal 5, welches auch als Feature bezeichnet wird, abgebildet ist. Das Objekt 5 weist jedoch im ersten Bild 1 eine andere Abbildungsposition auf als im zweiten Bild 2. Beispielsweise ist das Objekt 5 im ersten Bild 1 um einen Versatz 6 gegenüber einer Referenzlinie oder Horizontlinie 4 verschoben, wobei im zweiten Bild 2 das Objekt 5 auf der Referenzlinie oder Horizontlinie 4 liegt. Dieser vertikale Versatz 6 wird auch als Rektifizierungsfehler bezeichnet. Dieser Rektifizierungsfehler kann beispielsweise von der relativen Ausrichtung beziehungsweise der Blickrichtung der ersten Kamera zur Blickrichtung der zweiten Kamera abhängen. Beispielsweise ist die zweite Kamera beziehungsweise die sich in Fahrtrichtung auf der rechten Seite befindende Kamera die Referenzkamera der Stereokamera, bezüglich der die Ausrichtung der ersten Kamera unter Berücksichtigung eines Rollwinkels und/oder Nickwinkels und/oder Gierwinkels berechnet wird. Das erste Bild 1 und das zweite Bild 2 können beispielsweise rektifizierte Bilder sein, die auch nach der Rektifizierung noch immer einen bestimmten Rektifizierungsfehler aufweisen. Anhand dieses Rektifizierungsfehlers im rektifizierten ersten Bild 1 und im rektifizierten zweiten Bild 2 kann festgestellt werden, ob die rektifizierten Bilder für eine Fahrerassistenzfunktion verwendet werden sollen oder nicht. Hierfür kann eine Anweisung generiert werden, welche die Verwendung der rektifizierten Bilder für eine Fahrerassistenzfunktion unterbindet, wenn der Rektifizierungsfehler einen vorbestimmten Grenzwert überschreitet. Analog kann eine Anweisung zur Verwendung der rektifizierten Bilder für die Fahrerassistenzfunktion generiert werden, wenn der Rektifizierungsfehler unter dem vorbestimmten Grenzwert liegt. Ist der Versatz 6 des Objektes 5 gegenüber der Referenzlinie oder Horizontlinie 4 größer als ein vorbestimmter Grenzwert des Versatzes, so wird eine entsprechende Anweisung zum Unterbinden der Verwendung der rektifizierten Bilder für die Fahrerassistenzfunktion generiert. Entsprechend wird eine Anweisung zum Verwenden der rektifizierten Bilder für die Fahrerassistenzfunktion generiert, wenn der Versatz 6 des Objekts 5 gegenüber der Horizontlinie 4 unter dem vorbestimmten Grenzwert liegt. Insbesondere bestimmt sich das Verwenden oder das Nichtverwenden der rektifizierten Bilder basierend auf dem vertikalen Versatz 6 beziehungsweise dem Rektifizierungsfehler des ersten rektifizierten Bildes und des zweiten rektifizierten Bildes. Die Referenzlinie kann durch eine bestimmte Pixelzeile definiert sein.
-
2 zeigt ein Verfahren zum Überwachen einer Kalibrierung zur Rektifizierung von Bildern einer ersten Kamera und einer zweiten Kamera einer Stereokamera eines Fahrzeugs. Das Verfahren weist unterschiedliche Schritte auf. In einem ersten Schritt S1 erfolgt die Aufnahme eines ersten Bildes einer Umgebung des Fahrzeugs durch die erste Kamera. In einem zweiten Schritt S2 des Verfahrens erfolgt die Aufnahme eines zweiten Bildes einer Umgebung des Fahrzeugs durch die zweite Kamera. Vorzugsweise erfolgt die Aufnahme des ersten Bildes der Umgebung des Fahrzeugs durch die erste Kamera zeitgleich zur Aufnahme des zweiten Bildes der Umgebung des Fahrzeugs durch die zweite Kamera. Ferner erfolgt ein Rektifizieren des ersten Bildes und des zweiten Bildes in einem weiteren Schritt S3. In einem weiteren Schritt S4 erfolgt ein Bestimmen des Rektifizierungsfehlers basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild. Ein Generieren einer Anweisung zum Unterbinden einer Verwendung des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes für eine Fahrerassistenzfunktion basierend auf dem bestimmten Rektifizierungsfehler des rektifizierten ersten Bildes und des rektifizierten zweiten Bildes erfolgt in einem weiteren Schritt S5.
-
Es sei angemerkt, dass das Rektifizieren der Bilder sowie das Bestimmen des Rektifizierungsfehlers als auch das Generieren der Anweisung durch eine Recheneinheit durchgeführt werden kann. Die Recheneinheit kann dafür in dem Fahrzeug vorgesehen sein und mit der Stereokamera und der Fahrerassistenzfunktion verbunden sein. Die Recheneinheit kann auch als Kalibriermonitor bezeichnet werden.
-
3 zeigt die Wirkungsweise eines Kalibriermonitors zur Bestimmung von Rektifizierungsfehlern in einem rektifizierten ersten Bild 14a und einem rektifizierten zweiten Bild 14b und das anschließende Generieren einer Anweisung zum Unterbinden einer Verwendung oder zum Verwenden der rektifizierten Bilder 14a und 14b für eine Fahrerassistenzfunktion 18. Ein von einer ersten Kamera aufgenommenes erstes Bild 11 wird per Datenübertragung 11a an einen Rektifizierer 13 übertragen. Analog dazu wird ein zweites Bild 12 einer zweiten Kamera per Datenübertragung 12a ebenfalls an den Rektifizierer 13 übertragen. Der Rektifizierer 13 rektifiziert die von der ersten und zweiten Kamera empfangenen Bilder 11 und 12. Die erste Kamera und die zweite Kamera können dabei Kameras einer Stereokamera sein. Die Rektifizierung des ersten Bildes 11 und des zweiten Bildes 12 erfolgt durch den Rektifizierer 13 auf Basis eines Nickwinkels und/oder eines Rollwinkels und/oder eines Gierwinkels zwischen den beiden Kameras. Zur Rektifizierung kann eine Berechnungsvorschrift zugrunde gelegt werden. Die Berechnungsvorschrift kann dabei von Parametern 22 abhängen, die die relative Ausrichtung der beiden Kameras beziehungsweise die Blickrichtung der ersten Kamera relativ zur Blickrichtung der zweiten Kamera beschreiben. Die Rektifizierung kann dabei auch als ein Kompensieren eines Rektifizierungsfehlers oder einer Vielzahl von Rektifizierungsfehlern des ersten Bildes 11 und des zweiten Bildes 12 verstanden werden.
-
Nach dem Rektifizieren des ersten Bildes 11 und des zweiten Bildes 12 durch den Rektifizierer 13 werden die rektifizierten Bilder 14a und 14b an einen Kalibriermonitor 16 übergeben. Der Kalibriermonitor 16 kann Teil einer Recheneinheit eines Fahrerassistenzsystems sein, welches die Stereokamera, die Fahrerassistenzfunktion als auch die Recheneinheit umfasst. Der Kalibriermonitor 16 bestimmt aus dem empfangenen rektifizierten ersten Bild 14a und dem rektifizierten zweiten Bild 14b eine Anweisung, welche auch als „Enable-Flag“ bezeichnet wird. Diese Anweisung kann zum Beispiel zur Steuerung einer Fahrerassistenzfunktion 18 verwendet werden. Dazu können beispielsweise zwischen dem Kalibriermonitor 16 und der Fahrerassistenzfunktion 18 Daten mittels Datenübertragung 19 übertragen werden, so dass eine entsprechende Kommunikation stattfinden kann. Beispielsweise kann der Kalibriermonitor 16 die Verwendung der rektifizierten Bilder 14a und 14b für die Fahrerassistenzfunktion 18 unterbinden. Beispielsweise wird die Verwendung der rektifizierten Bilder 14a und 14b für die Fahrerassistenzfunktion 18 unterbunden, wenn ein Rektifizierungsfehler einen bestimmten Grenzwert überschreitet. Analog kann der Kalibriermonitor 16 eine Anweisung zum Verwenden der rektifizierten Bilder 14a und 14b für die Fahrerassistenzfunktion 18 generieren, wenn der Rektifizierungsfehler den bestimmten Grenzwert unterschreitet. Auch diese Anweisung kann mittels einer Datenübertragung 19 an die Fahrerassistenzfunktion 18 übertragen werden.
-
Ferner kann der Kalibriermonitor 16 auch einen Kalibrieralgorithmus 15 ansteuern oder ausführen, so dass mittels dieses Kalibrieralgorithmus 15 ein Kalibriermodus ausgewählt und anschließend verwendet werden kann. Dabei kann zum Beispiel ein Grobkalibriermodus und ein Feinkalibriermodus vorgesehen sein, die in Abhängigkeit des Rektifizierungsfehlers in dem rektifizierten ersten Bild 14a und dem rektifizierten zweiten Bild 14b ausgewählt werden können. Es kann vorgesehen sein, dass bei der Grobkalibrierung vorhandene Kalibrierfehler beziehungsweise Rektifizierungsfehler sehr schnell kompensiert werden können. Beispielsweise ist die Rechenleistung, die für eine Grobkalibrierung benötigt wird, größer als die Rechenleistung, die für eine Feinkalibrierung benötigt wird. Ferner kann vorgesehen sein, dass während der Feinkalibrierung die Fahrerassistenzfunktion parallel laufen kann, wohingegen während der Grobkalibrierung die Fahrerassistenzfunktion nicht parallel laufen kann. Mit anderen Worten wird eine Fahrerassistenzfunktion 18 deaktiviert, wenn der
-
Kalibriermonitor 16 eine Anweisung zum Unterbinden der Verwendung der rektifizierten Bilder 14a und 14b generiert. Diese Anweisung zum Unterbinden der Verwendung der rektifizierten Bilder für die Fahrerassistenzfunktion 18 wird beispielsweise dann generiert, wenn der Kalibrieralgorithmus 15 auf Grobkalibrierung eingestellt ist. Ebenso kann der Kalibriermonitor 16 eine Anweisung zum Verwenden der rektifizierten Bilder 14a und 14b für die Fahrerassistenzfunktion 18 erzeugen. Dies ist beispielsweise dann der Fall, wenn der Rektifizierungsfehler der rektifizierten Bilder 14a und 14b unter dem vorbestimmten Grenzwert liegt, so dass die Fahrerassistenzfunktion 18 auf zuverlässigen und genauen Bilddaten arbeiten kann. Einhergehend mit der Verwendung der rektifizierten Bilddaten kann jedoch vorgesehen sein, dass eine Feinkalibrierung durch den Kalibrieralgorithmus 15 vorgenommen wird. Das bedeutet, dass die Rektifizierungsfehler in den rektifizierten Bildern 14a und 14b weiterhin kompensiert werden können, jedoch trotzdem für die Fahrerassistenzfunktion 18 verwendet werden können. Dazu können die bereits rektifizierten Bilder 14a und 14b erneut an den Rektifizierer 13 übergeben werden, zum Beispiel mittels einer Datenübertragung 22.
-
Die rektifizierten Bilder 14a und 14b können ferner an eine Disparitätsbestimmung 17 übergeben werden. In der Disparitätsbestimmung 17 erfolgt beispielsweise eine Bestimmung eines horizontalen Versatzes eines Objekts in den rektifizierten Bildern 14a und 14b. Mit anderen Worten kann durch die Disparitätsbestimmung 17 eine Bestimmung der Abweichung zwischen einer Abbildungsposition eines Objektes im ersten rektifizierten Bild 14a und einer Abbildungsposition desselben Objektes im zweiten rektifizierten Bild 14b erfolgen. Nach der Disparitätsbestimmung 17 können die rektifizierten Bilder 14a und 14b per Datenübertragung 23 an die Fahrerassistenzfunktion 18 übergeben werden und zur Bereitstellung einer Fahrerassistenz für den Fahrer des Fahrzeugs verwendet werden. Die Pfeile in dem Blockschaltbild beschreiben die Richtung der Datenübertragung für dieses Beispiel, sind jedoch nicht als einschränkend zu betrachten. Insbesondere kann die Richtung der Datenübertragung auch von den in der 3 dargestellten Pfeilrichtungen abweichen. Ferner können die beschriebenen Funktionen beziehungsweise Vorrichtungen auch noch mit anderen in der 3 nicht dargestellten Funktionen beziehungsweise Vorrichtungen über die Datenverbindungen 20 und 21 verbunden sein.
-
4 zeigt ein Fahrzeug 30 mit einer Vorrichtung zum Überwachen einer Kalibrierung zur Rektifizierung von Bildern. Die Vorrichtung weist eine Recheneinheit 33 sowie eine Stereokamera 31 mit einer ersten Kamera 31a und einer zweiten Kamera 31b auf. Die Vorrichtung kann also ein Teil eines Fahrerassistenzsystems mit einer ersten Kamera 31a und einer zweiten Kamera 31b sein, wobei die erste Kamera 31a und die zweite Kamera 31b mit der Recheneinheit 33 verbunden sind, zum Beispiel über eine kabelgestützte und/oder eine kabellose Datenverbindung 35. Die Recheneinheit 33 kann zum Beispiel ein Kalibriermonitor 16 zum Überwachen einer Rektifizierung von durch die erste Kamera 31a und die zweite Kamera 31b aufgenommenen Bildern sein. Zusätzlich zu der ersten Kamera 31a und zur zweiten Kamera 31b können auch weitere Kameras in dem Fahrzeug 30 vorgesehen sein, die ebenfalls die für die erste Kamera 31a und die zweite Kamera 31b beschriebenen Funktionen ausführen können. Diese weiteren Kameras können auch mit der Recheneinheit 33 verbunden sein und anschließend Bildinformationen für eine Fahrerassistenzfunktion 18 bereitstellen.
-
Um Bildinformationen für eine Fahrerassistenzfunktion 18, wie zum Beispiel Objekterkennung, Einparkhilfe, Spurhalteassistent, Spurwechselassistent etc. bereitzustellen, kann die Recheneinheit mit einer solchen Fahrerassistenzfunktion 18 verbunden sein. Es ist jedoch auch möglich, dass die Fahrerassistenzkameras direkt mit der zugehörigen Fahrerassistenzfunktion 18 verbunden sind, so dass die von den beiden Kameras 31a und 31b aufgenommenen Bildinformationen direkt an die Fahrerassistenzfunktion 18 übertragen werden können. Die Recheneinheit ist zum Beispiel dazu ausgeführt, ein durch die erste Kamera 31a aufgenommenes erstes Bild und ein durch die zweite Kamera 31b aufgenommenes zweites Bild zu rektifizieren. Ferner kann die Recheneinheit 33 dazu ausgeführt sein, einen Rektifizierungsfehler basierend auf dem rektifizierten ersten Bild und dem rektifizierten zweiten Bild zu bestimmen. Außerdem kann durch die Recheneinheit 33 eine Anweisung zum Unterbinden einer Verwendung sowie eine Anweisung zum Verwenden der rektifizierten Bilder für die Fahrerassistenzfunktion 18 generiert werden. Das Generieren der Anweisung kann zum Beispiel durch einen in der Recheneinheit 33 integrierten Kalibriermonitor 16 basierend auf dem bestimmten Rektifizierungsfehler der rektifizierten Bilder stattfinden. Es ist auch möglich, dass durch die Recheneinheit 33 eine Berechnungsvorschrift zur Rektifizierung beziehungsweise zur Kompensation eines Rektifizierungsfehlers bereitgestellt wird.
-
Stereokameras 31 sind in der Regel im Fahrzeug hinter der Windschutzscheibe angeordnet und die beiden Fotosensoren beziehungsweise Kameras sind räumlich nebeneinander angeordnet. In der 4 sind die beiden Fotosensoren beziehungsweise Kameras jedoch aus Darstellungsgründen übereinander angeordnet gezeigt, um beide Komponenten in 4 zeigen zu können.
-
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen. Ebenfalls sei angemerkt, dass die Verfahrensschritte des beschriebenen Verfahrens in einer beliebigen Reihenfolge durchgeführt werden können.
