-
Gebiet der Erfindung
-
Die Erfindung betrifft kamerabasierte Fahrerassistenzsysteme in Fahrzeugen. Die Erfindung betrifft insbesondere ein Fahrerassistenzsystem für ein Fahrzeug und ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem.
-
Hintergrund der Erfindung
-
Der Einbau beziehungsweise die Ausrichtung einer Kamera für ein Fahrerassistenzsystem hinter der Windschutzscheibe eines Fahrzeugs ist nie 100% genau. Sowohl Toleranzen in der Kamera als auch Toleranzen im Fahrzeug und der Kamerahaltung sorgen für eine geringfügig unterschiedliche Blickrichtung der Kamera in verschiedenen Fahrzeugen. Dazu kann gegebenenfalls noch eine Änderung der Blickrichtung in Abhängigkeit der Fahrzeugbeladung kommen. Dies hat zur Folge, dass das von der Kamera erfasste Sichtfeld von Baugruppe zu Baugruppe nicht immer exakt das gleiche ist. Solche Kameras sind zum Beispiel Fahrerassistenzkameras, die Fahrerassistenzfunktionen für das Fahrzeug mit Informationen versorgen. Fahrerassistenzfunktionen sind zum Beispiel Objekterkennung, Einparkhilfe, Spurhalteassistenten, etc. Durch die Änderung der Blickrichtung der Fahrerassistenzkamera kann die Qualität der Informationen, die durch die Fahrerassistenzkameras gewonnen werden und an die Fahrerassistenzfunktionen weitergegeben werden, beeinträchtigt werden. Dieser Verlust an Informationsgüte kann unter Umständen sogar die Zuverlässigkeit der Fahrerassistenzsysteme und damit die Sicherheit im Straßenverkehr beeinträchtigen.
-
Zusammenfassung der Erfindung
-
Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte Sichtfeldanpassung und/oder Sichtfeldsynchronisation für Fahrerassistenzkameras bereitzustellen.
-
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Beispielhafte Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und der nachfolgenden Beschreibung.
-
Gemäß der Erfindung ist ein Fahrerassistenzsystem für ein Fahrzeug angegeben. Das Fahrerassistenzsystem weist eine erste Kamera zur Erzeugung eines ersten Bildes auf. Ferner weist das Fahrerassistenzsystem eine Recheneinheit auf, die dazu ausgeführt ist, eine Ausrichtung der ersten Kamera zu bestimmen und daraus eine Position eines Referenzobjekts innerhalb des von der ersten Kamera erzeugten ersten Bildes zu bestimmen. Die erste Kamera und/oder die Recheneinheit sind/ist dazu ausgeführt, einen ersten Bildbereich aus dem ersten Bild auszuwählen. Die Recheneinheit ist ferner dazu ausgeführt, den ersten Bildbereich in seinen Abmessungen und/oder seiner Position innerhalb des ersten Bildes derart anzupassen, dass die Position des Referenzobjekts in Bezug auf den ersten Bildbereich über einen vorgegebenen Zeitraum konstant ist.
-
Durch die Anpassung der Position des ersten Bildbereichs innerhalb des ersten Bildes kann erreicht werden, dass sich die Position des Referenzobjekts in Bezug auf das erste Bild zwar ändern kann, nicht jedoch in Bezug auf den ersten Bildbereich. Das heißt, dass die Recheneinheit den ersten Bildbereich zum Beispiel durch Verschieben so geschickt anpassen kann, dass einer zugehörigen Fahrerassistenzfunktion ein Bildbereich mit Szenenmerkmalen an konstanten Positionen zur Verfügung gestellt werden kann. Ein Szenenmerkmal kann dabei zum Beispiel eine Aufnahme der Umgebung durch die erste Kamera sein und das Referenzobjekt umfassen.
-
Die erste Kamera ist zum Beispiel eine Fahrerassistenzkamera, die Informationen beziehungsweise Bildinformationen aufgrund der erfassten Bilddaten für eine Fahrerassistenzfunktion des Fahrzeugs bereitstellt. Eine solche Fahrerassistenzfunktion ist zum Beispiel eine Objekterkennung, eine Einparkhilfe, ein Spurhalteassistent, ein Spurwechselassistent oder eine Aufmerksamkeitsassistenz. Jedoch sind auch weitere Fahrerassistenzfunktionen, die von den Informationen der von der ersten Kamera erfassten Bilddaten versorgt werden, möglich. Die erste Kamera, also die Fahrerassistenzkamera, kann je nach benötigten Bildinformationen an bestimmten Positionen am Fahrzeug angebracht sein. Die erste Kamera kann zum Beispiel derart angebracht sein, dass diese sich vor dem Fahrzeug befindende Objekte erfassen kann. Die Recheneinheit des Fahrerassistenzsystems kann zum Beispiel über eine Steuereinheit oder eine Kalibriervorrichtung die Ausrichtung der ersten Kamera bestimmen. Dies kann über die Bestimmung der Position eines Referenzobjekts auf dem von der ersten Kamera erzeugten oder erfassten ersten Bildes erfolgen. Mit anderen Worten bedeutet dies, dass die Kamera ein erstes Bild erzeugt, auf welchem ein Referenzobjekt abgebildet ist, so dass über die Bestimmung der Position des Referenzobjekts auf dem ersten erzeugten Bild eine Bestimmung der Ausrichtung der ersten Kamera erfolgen kann. Die Kameraausrichtung, das heißt die Ausrichtung der ersten Kamera wird zum Beispiel über ein Kalibrierverfahren gemessen. Die Anwendung dieses Kalibrierverfahrens kann beispielsweise online und/oder offline erfolgen. Durch die so bestimmte Ausrichtung der ersten Kamera ist auch der Einbaufehler der ersten Kamera im Fahrzeug bekannt, also zum Beispiel die Abweichung der Ausrichtung der ersten Kamera von einer Soll-Position im Fahrzeug. Ferner können Online-Kalibrierverfahren, die ohne einen Zielpunkt oder ein Referenzobjekt auskommen, aus dem ersten Bild der aufgenommenen Fahrszene die Kameraausrichtung bestimmen. „Online“ bedeutet dabei, dass eine Bestimmung der Ausrichtung der Kameras während des Fahrbetriebs erfolgen kann. Eine Fahrszene ist zum Beispiel eine Verkehrssituation vor dem Fahrzeug, welche von der ersten Kamera erfasst wird. Im Falle einer Stereokamera, also der Anordnung von zwei Kameras, ist somit auch die relative Ausrichtung beziehungsweise Transformation zwischen der ersten und der zweiten Kamera bekannt. Eine solche Stereokamera bestehend aus zwei Fahrerassistenzkameras kann zum Beispiel eine Kamera auf der linken und eine Kamera auf der rechten Seite des Fahrzeugs sein, wobei mit linker und rechter Seite zum Ausdruck gebracht werden soll, dass sich die Fahrerassistenzkameras an unterschiedlichen und beliebigen Einbauorten im und/oder am Fahrzeug befinden können. Es ist möglich, dass beide Kameras der Stereokameraanordnung in die gleiche Richtung ausgerichtet sind, so dass sich die erzeugten beziehungsweise erfassten Bilder der beiden Kameras überschneiden. Das bedeutet, dass von beiden Kameras zumindest teilweise gleiche Bildinformationen gewonnen werden können.
-
Die erste Kamera und/oder die Recheneinheit können ferner einen ersten Bildbereich aus dem ersten Bild auswählen. Dieser erste Bildbereich kann zum Beispiel einen Teilbereich des ersten Bildes abdecken. Der erste Bildbereich wird zum Beispiel auch Region of Interest (ROI) genannt und bezeichnet damit den für das Fahrerassistenzsystem oder die zugeordnete Fahrerassistenzfunktion relevanten Bildbereich. Das heißt, dass das Optikmodul des Fahrerassistenzsystems derart entworfen ist, dass es einen Bildbereich aufnehmen kann, der zum einen den für die Fahrerassistenzfunktion benötigten Bildbereich umfasst, aber auch darüber hinaus einen bestimmten Toleranzbereich abdeckt. Dieser Toleranzbereich kann zum Beispiel umlaufend um den ersten Bildbereich beziehungsweise die Region of Interest herum angeordnet sein und ebenfalls einen Teilbereich des ersten Bildes abdecken. Dadurch, dass von dem ersten Bild, also dem erfassten Gesamtbild der Kamera, nur ein Ausschnitt beziehungsweise der erste Bildbereich verwendet wird, in dem für die Fahrerassistenzfunktion relevante Inhalte erwartet werden, kann der Rechenaufwand für die einzelnen Fahrerassistenzfunktionen verringert werden. Das Ausschneiden des ersten Bildbereichs, also der ROI aus dem ersten Bild, kann wiederum auf unterschiedliche Weise erfolgen. Es ist möglich, dass der erste Bildbereich bereits auf dem Imager beziehungsweise Bildchip, also von der Kamera selbst, ausgeschnitten wird, und nur der relevante Bildbereich, das heißt der erste Bildbereich, an die Recheneinheit übertragen wird. Ferner ist es möglich, dass das gesamte von der Kamera erfasste erste Bild an die Recheneinheit übertragen wird und dort nur der relevante Bereich, also der erste Bildbereich, verwendet wird. Der erste Bildbereich kann also von der Recheneinheit ausgewählt und ausgeschnitten werden. Weiterhin ist es möglich, dass nur ein Ausschnitt des ersten Bildes, also zum Beispiel der erste Bildbereich, an die Recheneinheit übertragen wird, der allerdings noch Toleranzbereiche beinhaltet. Das bedeutet, dass der von der ersten Kamera an die Recheneinheit übertragene Bildausschnitt den ersten Bildbereich sowie den Toleranzbereich, der sich zum Beispiel um den ersten Bildbereich herum befindet, umfasst. Aus dem Bildausschnitt wird dann auf der Recheneinheit wiederum der erste Bildbereich beziehungsweise die ROI ausgeschnitten, um die ausgeschnittenen Bildinformationen dem Fahrerassistenzsystem bereitzustellen. Im Allgemeinen ist der erste Bildbereich der für die Fahrerassistenzfunktion relevante Ausschnitt des ersten Bildes. Dies ist von Vorteil, da oftmals die Formate der Bildchips, auf denen beispielsweise das gesamte von der Kamera erfasste Bild abgebildet wird, nicht den Anforderungen der Fahrerassistenzfunktionen entsprechen.
-
Die Recheneinheit kann ferner den ersten Bildbereich in seinen Abmessungen und/oder seiner Position innerhalb des ersten Bildes verändern. Die Abmessungen des ersten Bildbereichs innerhalb des ersten Bildes können zum Beispiel in Bezug auf ein und/oder mehrere Referenzobjekte im ersten Bild angepasst beziehungsweise verändert werden. Das erste Bild umfasst beispielsweise eine Vielzahl von Pixeln, das heißt eine Pixelmatrix, wobei der erste Bildbereich ebenfalls eine Vielzahl von Pixeln umfasst, die jedoch kleiner als die Anzahl der Pixel des ersten Bildes ist. Dies wird weiter im Kontext der 1 und 2 erläutert werden. Die Abmessungen des ersten Bildbereichs innerhalb des ersten Bildes können somit zum Beispiel durch die Anzahl der verwendeten Pixel für den ersten Bildbereich bestimmt sein. Ebenfalls kann die Position des ersten Bildbereichs innerhalb des ersten Bildes über eine Auswahl bestimmter Pixel in dem ersten Bild bestimmt sein. Der erste Bildbereich kann also innerhalb des ersten Bildes verschoben werden. Die Verschiebung erfolgt dabei derart, dass das von der ersten Kamera auf dem ersten Bild erfasste Referenzobjekt in Bezug auf den ersten Bildbereich über einen vorgegebenen Zeitraum konstant ist. Das heißt, dass sich die Position des Referenzobjekts in Bezug auf das erste Bild zwar ändern kann, jedoch nicht in Bezug auf den ersten Bildbereich. Die Position des Referenzobjekts in Bezug auf den ersten Bildbereich ist somit zum Beispiel über eine bestimmte von der ersten Kamera erzeugte Bildabfolge, das heißt über einen vorgegebenen Zeitraum konstant. Das Referenzobjekt ist zum Beispiel ein von der ersten Kamera erfasster sich vor dem Fahrzeug befindender Gegenstand, wie zum Beispiel ein Verkehrsschild. Das Referenzobjekt kann dabei eine beliebige Größe beziehungsweise eine beliebige Anzahl von Pixeln auf dem ersten Bild einnehmen. Verändert sich die Ausrichtung der Kamera in Bezug auf das Referenzobjekt, zum Beispiel indem sich das Fahrzeug bewegt, so verändert sich im Allgemeinen auch die Position des Referenzobjekts innerhalb des von der ersten Kamera erzeugten ersten Bildes. Jedoch wird der erste Bildbereich innerhalb des ersten Bildes derart verschoben, dass das Referenzobjekt seine Position in Bezug auf den ersten Bereich nicht ändert. Das von der ersten Kamera erfasste Verkehrsschild, welches zum Beispiel das Referenzobjekt darstellt, kann somit zwar seine Position in Bezug auf das erste Bild verändern, nicht jedoch in Bezug auf den ersten Bildbereich, also die Region of Interest, so dass der erste Bildbereich, welcher die Bildinformationen für das entsprechende Fahrerassistenzsystem oder die entsprechende Fahrerassistenzfunktion bereitstellt, trotz der Bewegung des Fahrzeugs gleiche Bildinformationen oder zumindest ähnliche Bildinformationen an die Recheneinheit und damit an die jeweilige Fahrerassistenzfunktion übertragen kann. Mit anderen Worten kann der erste Bildbereich mit dem erfassten Referenzobjekt innerhalb des ersten Bildes mitwandern. Das heißt, dass die Recheneinheit die Region of Interest, also den ersten Bildbereich, unter Berücksichtigung der Kalibrierergebnisse so geschickt verschiebt, dass einer zugehörigen Fahrerassistenzfunktion ein konstanter Bildbereich zur Verfügung gestellt werden kann. Durch die Verschiebung der Region of Interest beziehungsweise des ersten Bildbereichs zum Beispiel anhand von Kalibrierparametern ist sichergestellt, dass ein Ausschnitt aus dem Sichtfeld der Kamera in der Welt immer der gleiche ist. Es ist ferner möglich, dass sich ein Merkmal beziehungsweise Referenzobjekt an einer bestimmten Position im ersten Bild befindet. Eine Objekterkennung wie beispielsweise eine Verkehrszeichenerkennung erwartet Verkehrszeichen nur an bestimmten Stellen im ersten Bild, zum Beispiel nicht im Himmel. Durch die ROI-Positionierung, das heißt die Positionierung des ersten Bildbereichs kann sichergestellt werden, dass auch bei ungenau justierter Kamera die Auswertebereiche der Verkehrszeichenerkennung konstant sein können. Durch das Fahrerassistenzsystem kann somit eine automatische Kamerasichtfeldanpassung bereitgestellt werden. Insbesondere kann bei einer Anordnung von mehreren Fahrerassistenzkameras eine automatische Sichtfeldanpassung und Synchronisation bereitgestellt werden.
-
Gemäß einer Ausführungsform der Erfindung wird das Referenzobjekt innerhalb des ersten Bildbereichs abgebildet, wobei das Referenzobjekt ausgewählt ist aus der Gruppe bestehend aus Horizontpunkt, Referenzpunkt, Verkehrsbeschilderung, Leitplanke, Fahrbahnmarkierung, Fahrbahnbeleuchtung, Ampeln, Himmelskörper wie zum Beispiel Mond oder Sonne, am Fahrzeug fest angebrachte Objekte wie zum Beispiel Nummernschilder oder Kennzeichen für Automarken, wie zum Beispiel ein Mercedes-Stern.
-
Dieses Referenzobjekt kann sich in unterschiedlichen Entfernungen zur ersten Kamera befinden und sich selbst relativ zu seiner Umgebung bewegen oder aber auch ortsfest mit der Umgebung verbunden sein. Jedoch kann das Referenzobjekt von der ersten Kamera erfasst werden und somit über eine bestimmte Anzahl von Pixeln auf dem ersten Bild abgebildet werden.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist das Referenzobjekt, der Horizontpunkt oder der Referenzpunkt ein virtueller Punkt im Unendlichen, der auf den ersten Bildbereich abgebildet wird und somit eine virtuelle Horizontposition bestimmt.
-
Der virtuelle Punkt kann dabei eine Art Fluchtpunkt sein, in dem sich Vektoren schneiden, wenn sie verlängert werden. Diese Vektoren ergeben sich beispielsweise dadurch, dass sich die Kamera beziehungsweise die Kameras bewegen und mindestens zwei zeitlich aufeinanderfolgende Bilder aufgenommen werden. Die Kameras bewegen sich, da sich das Fahrzeug, in dem diese verbaut sind, bewegt. Statische Objekte, das heißt nicht mitbewegte Objekte der Szene oder Umgebung des Fahrzeugs erscheinen in den zeitlich früher erfassten Bildern an einer anderen Positionen als in zeitlich später erfassten Bildern der Kamera beziehungsweise der Kameras. Die Positionen der früher erfassten Bilder können mit korrspondierenden Positionen in später erfassten Bildern durch Linien verbunden werden. Jede dieser Linien wird hier als Flussvektor bezeichnet. Die Flussvektoren werden für eine große Anzahl an räumlich verteilten statischen Objekten bestimmt und in deren Verlängerung der Schnittpunkt bestimmt. Für den Fall, dass sich aufgrund von Messungenauigkeiten mehrere Schnittpunkte ergeben, kann durch Mittelung und/oder bekannte Verfahren zur Beseitigung von stark abweichenden Messwerten ein einziger Schnittpunkt für jede Kamera bestimmt werden. Dieser Punkt wird als Fluchtpunkt bezeichnet. Die vertikale Position des Fluchtpunktes stimmt mit der Position eines Horizonts im Bild überein. Die Horizontposition oder die Position von Punkten im Unendlichen oder anderen Referenzpunkten kann aber auch auf andere Weise geschehen, ohne dass der Bereich der Erfindung verlassen wird. Die Beschreibung ist nur als beispielhaft anzusehen.
-
Gemäß einer weiteren Ausführungsform der Erfindung erfolgt die Anpassung des ersten Bildbereichs innerhalb des ersten Bildes durch eine Verschiebung des Bildbereichs innerhalb des ersten Bildes. Ein Kamerasensor oder ein Bildchip der ersten Kamera deckt zum Beispiel einen größeren Erfassungsbereich ab, als später von den entsprechenden Fahrerassistenzfunktionen benötigt werden. Es reicht also aus, einen kleineren Bereich des Kamerasensors auszulesen und auszuwerten, so dass der erste Bildbereich beziehungsweise die Region of Interest generiert wird. Der erste Bildbereich kann frei wählbar und verschiebbar sein. Dabei kann der erste Bildbereich durch eine Auswahl an Pixeln innerhalb des ersten Bildes dargestellt werden. Die Verschiebung erfolgt über die Aktivierung beziehungsweise Deaktivierung von Pixeln innerhalb des ersten Bildbereichs. Mit anderen Worten bedeutet dies, dass bestimmte Pixel innerhalb des ersten Bildes neu zum ersten Bildbereich hinzugefügt beziehungsweise aktiviert werden, wobei andere Pixel innerhalb des ersten Bildes vom ersten Bildbereich abgezogen beziehungsweise deaktiviert werden. Auf die gleiche Weise kann auch eine Veränderung der Abmessungen beziehungsweise der Größe des ersten Bildbereichs innerhalb des ersten Bildes erfolgen.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist die Recheneinheit ferner dazu ausgeführt, durch das Auswerten des ersten Bildbereichs Informationen für ein Fahrerassistenzsystem bereitzustellen.
-
Die Recheneinheit kann dazu mit einer oder mehreren Fahrerassistenzsystemen beziehungsweise Fahrerassistenzfunktionen verbunden sein, an die sie Informationen aus Bilddaten des von der ersten Kamera erfassten ersten Bildbereichs bereitstellt. Dadurch, dass die Bildinformationen des ersten Bildbereichs über einen bestimmten Zeitraum zumindest teilweise gleichbleibend sind, kann die Informationsgüte, die den Fahrerassistenzfunktionen bereitgestellt wird, verbessert werden. Zudem kann durch die Anpassung der Position des ersten Bildbereichs, also durch die beschriebene Sichtfeldanpassung, eine Verringerung der von der Fahrerassistenzfunktion zu verarbeitenden Informationen erzielt werden. Dies rührt zum Beispiel daher, dass nicht mehr das gesamte Bild, welches von der ersten Kamera erfasst wird, an die Recheneinheit und somit an die Fahrerassistenzfunktion weitergegeben wird, sondern nur noch ein Ausschnitt, das heißt der erste Bildbereich, innerhalb des ersten Bildes, zur Auswertung durch die Recheneinheit und/oder durch die jeweilige Fahrerassistenzfunktion herangezogen wird.
-
Gemäß einer weiteren Ausführungsform der Erfindung weist das Fahrerassistenzsystem ferner eine zweite Kamera zur Erzeugung eines zweiten Bildes auf. Ferner ist die Recheneinheit dazu ausgeführt, eine Ausrichtung der zweiten Kamera zu bestimmen und daraus die Position des Referenzobjekts innerhalb des von der zweiten Kamera erzeugten zweiten Bildes zu bestimmen. Die zweite Kamera und/oder die Recheneinheit sind ferner dazu ausgeführt, einen zweiten Bildbereich aus dem zweiten Bild auszuwählen. Die Recheneinheit ist dazu ausgeführt, den zweiten Bildbereich in seinen Abmessungen und/oder seiner Position innerhalb des zweiten Bildes derart anzupassen, dass die Position des Referenzobjekts in Bezug auf den zweiten Bildbereich über einen vorgegebenen Zeitraum konstant ist.
-
Alle für die erste Kamera beschriebenen Funktionen und Eigenschaften gelten sinngemäß auch für die zweite Kamera. Eine Anordnung von zwei Kameras wird auch als Stereokamera bezeichnet werden. Es ist auch möglich, dass die für die erste Kamera beschriebenen Funktionen auch für mehr als zwei Kameras gelten. Insbesondere kann eine Vielzahl von Fahrerassistenzkameras im Fahrzeug vorgesehen sein, welche die für die erste und die zweite Kamera beschriebenen Funktionen und Eigenschaften aufweisen. Eine Anordnung von zwei Kameras, eine sogenannte Stereokamera, kann ebenfalls an einem Fahrzeug vorgesehen sein. Im Falle von Stereokameras kann die Auswahl des für die jeweilige Fahrerassistenzfunktion relevanten Bildausschnittes auf einem rechten und einem linken Bild erfolgen. Dabei beschreibt beispielsweise das linke Bild das Bild, welches von der ersten Kamera erzeugt wird und das rechte Bild das Bild, welches von der zweiten Kamera erzeugt wird. Es ist möglich, dass in Abhängigkeit der jeweiligen Fahrerassistenzfunktion bestimmte Kriterien für die Überdeckung beziehungsweise Überschneidung der Bildausschnitte gelten. Durch Toleranzen im Aufbau der Stereokamera und/oder der Ausrichtung der Stereokameras relativ zueinander und relativ zum Fahrzeug werden diese Bildausschnitte jedoch geringfügig gegeneinander versetzt sein. Dieser Versatz ist, da es sich zum Beispiel um Fertigungstoleranzen handelt, auch von Kamera zu Kamera verschieden.
-
Die Kameras der Stereokamera können mit sogenannten Rolling Shuttern, das heißt rollenden Verschlüssen ausgestattet sein. Das bedeutet, dass die pixelweise Bilderfassung auf den Bildchips zeitversetzt erfolgt. Zum Beispiel erfolgt die Belichtung der einzelnen Pixel auf dem Bildchip zeilenweise und zeitlich versetzt, was sich negativ auf die Möglichkeiten der Stereo-Bildauswertung auswirken kann. Eine Zeile von Pixeln ist zum Beispiel eine Anordnung von Pixeln in einer horizontalen Bilddimension. Durch den Einsatz der beschriebenen Stereokamera mit erster und zweiter Kamera können die jeweiligen Bildbereiche innerhalb des ersten beziehungsweise innerhalb des zweiten Bildes so verschoben werden, dass zumindest ein Ausschnitt des jeweiligen Sichtfeldes der Kameras konstant ist und beide Kameras trotz Rolling Shutter auf einen Weltpunktpunkt beziehungsweise ein Referenzobjekt synchronisiert sind. Das bedeutet, dass die Belichtung der einzelnen Pixel derart erfolgt, dass der erste Bildbereich und der zweite Bildbereich gleichzeitig belichtet werden, auch wenn der erste Bildbereich innerhalb des ersten Bildes eine andere Position aufweist als der zweite Bildbereich innerhalb des zweiten Bildes.
-
Mit anderen Worten bedeutet dies, dass nicht alle Bildpunkte gleichzeitig belichtet werden, sondern zeitlich beziehungsweise zeilenweise nacheinander. Jede Position im Bild, das heißt zumindest jede Zeile, hat somit einen individuellen Belichtungszeitpunkt. Wenn nur ein Bildbereich vom Imager oder Bildchip ausgelesen wird und dieser bereits an einem Referenzobjekt ausgerichtet ist, kann sichergestellt werden, dass dieses Referenzobjekt in beiden Imagern beziehungsweise auf beiden Bildchips gleichzeitig belichtet wird, da der Rolling Shutter und damit die Belichtung in Abhängigkeit von der Position des Bildbereichs ausgelöst wird. Dies wird in der Figurenbeschreibung noch genauer erläutert. Es ist möglich, dass der erste Bildbereich mit der gleichen Lichtintensität auf dem Bildchip abgebildet wird wie der zweite Bildbereich.
-
Durch die beschriebene Anordnung der ersten und der zweiten Kamera kann sichergestellt werden, dass zumindest ein Punkt in der Welt von beiden Kameras gleichzeitig aufgenommen wird. Dies ist zum Beispiel das Referenzobjekt, welches seine vertikale Position in Bezug auf den ersten Bildbereich und den zweiten Bildbereich nicht verändert. Dies erfolgt wiederum durch geeignete Verschiebung des ersten Bildbereichs innerhalb des ersten Bildes und des zweiten Bildbereichs innerhalb des zweiten Bildes, so dass sich die jeweiligen Bildbereiche mit dem Referenzobjekt mitbewegen beziehungsweise derart verschieben lassen, dass sich die vertikale und/oder horizontale Position des Referenzobjekts in Bezug auf den ersten Bildbereich und den zweiten Bildbereich nicht ändert. Durch eine derartige Synchronisation der beiden Kameras kann eine vertikale Verschiebung der Bilddaten, die den Fahrerassistenzfunktionen bereitgestellt werden, vermieden werden. Insbesondere bei schneller Fahrzeugbewegung kann eine Synchronisation der Kameras daher von Vorteil sein, da bei schneller Fahrzeugbewegung und mangelnder Synchronisation ein Versatz beziehungsweise eine Verschiebung entsteht, die nicht notwendigerweise nur in einer vertikalen Bilddimension, sondern auch in einer horizontalen, das heißt zur vertikalen Bilddimension senkrechten, Bilddimension auftreten kann. Das rührt daher, dass sich das Fahrzeug zwischen zwei nicht synchronisierten beziehungsweise zeitlich versetzten Aufnahmen um eine bestimmte Strecke fortbewegt hat. Eine Stereoauswertung mitsamt Disparitätskartenberechnung kann so gewährleistet werden. Eine Disparitätskarte wird auf Basis des ersten und zweiten rektifizierten Bildes berechnet. Dies geschieht beispielsweise, indem für zumindest ein Bildmerkmal im rechten Bild zumindest ein korrespondierendes Bildmerkmal im linken Bild auf derselben Bildzeile gefunden wird. Der Horizontalversatz beider Bildmerkmale wird als Stereodisparität bezeichnet. Wird die Disparität für mehrere Bildmerkmale berechnet und in Form eines sogenannten Range Images dargestellt, das heißt zum Beispiel durch Auftragen der Disparität als Grauwert an der Stelle des Bildmerkmals im rechten Bild, spricht man von Disparitätskarte.
-
Die Bildinformationen des ersten Bildbereichs beziehungsweise die Bildinformationen des zweiten Bildbereichs können an die Recheneinheit übertragen werden, die wiederum Informationen an die entsprechenden Fahrerassistenzsysteme beziehungsweise Fahrerassistenzfunktionen übertragen kann.
-
Als Referenzobjekt kann jedes Szenenmerkmal verwendet werden, welches von beiden Kameras oder, im Falle von mehr als zwei Kameras, von allen Kameras erfasst wird. Ein Szenenmerkmal ist zum Beispiel ein von der Kamera erfasstes und sich in der Umgebung des Fahrzeugs befindendes Objekt, zum Beispiel ein Leitpfosten. Vorzugsweise wird die Anpassung des jeweiligen Bildbereichs anhand eines statischen, das heißt in der Umgebung des Fahrzeugs nicht bewegten Objekts der Szene, zum Beispiel des Leitpfostens etc., durchgeführt, wenn das Fahrzeug steht. Dadurch können Bildverschiebungen aufgrund von mangelnder Synchronisation ausgeschlossen werden. Für den Fall, dass sich das Fahrzeug bewegt, kann die Ausrichtung der Bildbereiche anhand von Merkmalen erfolgen, die sich statisch zu dem bewegenden Fahrzeug verhalten, wie zum Beispiel ein Merkmal im Unendlichen, zum Beispiel ein virtuell konstruierter Punkt, ein sehr weit entferntes statisches Szenenmerkmal oder ein Horizont.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist die Recheneinheit ferner dazu ausgeführt, die Ausrichtung der zweiten Kamera in Bezug auf die Ausrichtung der ersten Kamera zu bestimmen.
-
Die Ausrichtung der Kamera kann dabei beispielsweise über ein Kalibrierverfahren erfolgen, welches seinerseits Informationen aus der Position des Referenzobjekts innerhalb des ersten beziehungsweise innerhalb des zweiten Bildes bezieht. Das Kalibrierverfahren kann online und offline eingesetzt werden. Die Ausrichtung der zweiten Kamera kann durch das Kalibrierverfahren in Bezug auf die Ausrichtung der ersten Kamera bestimmt werden. Der Einbaufehler ist somit bekannt, so dass im Falle einer Stereokamera die relative Transformation beziehungsweise Ausrichtung zwischen erster und zweiter beziehungsweise linker und rechter Kamera bekannt ist. Es ist auch möglich, dass die Ausrichtung der ersten Kamera und der zweiten Kamera untereinander in Bezug auf das Fahrzeug oder sich im Fahrzeug befindende Referenzbauteile bestimmt werden können.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist ist die Recheneinheit ferner dazu ausgeführt, dass das Referenzobjekt im ersten Bildbereich und im zweiten Bildbereich liegt und somit von der ersten und der zweiten Kamera gleichzeitig erfasst wird. Im Falle von mehr als zwei verwendeten Kameras, kann gewährleistet werden, dass das Referenzobjekt von allen Kameras in den jeweiligen Bildbereichen gleichzeitig erfasst wird.
-
Das Referenzobjekt kann dabei in Bezug auf den ersten Bildbereich und in Bezug auf den zweiten Bildbereich in seiner vertikalen Position über einen bestimmten Zeitraum konstant sein. Es ist jedoch auch möglich, dass das Referenzobjekt in Bezug auf den ersten Bildbereich und in Bezug auf den zweiten Bildbereich in seiner horizontalen Position über einen bestimmten Zeitraum konstant ist. Im Falle von mehr als zwei Kameras kann das Referenzobjekt in Bezug auf den jeweiligen Bildbereich jeder weiteren Kamera in seiner vertikalen und/oder horizontalen Position über einen bestimmten Zeitraum konstant sein.
-
Gemäß einer weiteren Ausführungsform der Erfindung ist die Recheneinheit ferner dazu ausgeführt, den ersten Bildbereich und den zweiten Bildbereich derart anzupassen, dass eine vertikale Position des Referenzobjekts in Bezug auf den ersten Bildbereich und eine vertikale Position des Referenzobjekts in Bezug auf den zweiten Bildbereich identisch sind. Analog kann im Falle von mehr als zwei Kameras jeder weitere Bildbereich so angepasst werden, dass eine vertikale Position des Referenzobjekts in Bezug auf den ersten und/oder zweiten Bildbereich und eine vertikale Position des Referenzobjekts in Bezug auf jeden weiteren Bildbereich identisch sind.
-
Dies erfordert nicht zwangsweise, dass die vertikale Position des Referenzobjekts in Bezug auf das erste Bild und die vertikale Position des Referenzobjekts in Bezug auf das zweite Bild identisch sind. Die vertikale Position des Referenzobjekts entspricht zum Beispiel der Höhe eines Horizonts im Bild. Die Horizontposition stellt dabei zum Beispiel eine sehr wichtige Marke für Fahrerassistenzfunktionen dar. Der erste Bildbereich innerhalb des ersten Bildes und der zweite Bildbereich innerhalb des zweiten Bildes werden in vertikaler Richtung so verschoben, dass die berechnete Horizontposition, das heißt die Position des Referenzobjekts im Bild an der gewünschten Stelle ist. Analog kann auch bei mehr als zwei Kameras jeder weitere Bildbereich innerhalb des Bildes jeder weiteren Kamera in vertikaler Richtung so verschoben werden, dass die berechnete Horizontposition, das heißt die Position des Referenzobjekts im Bild an der gewünschten Stelle ist. Bei verschiedenen Einbautoleranzen der beiden Kameras kann so gewährleistet werden, dass die Kameras zumindest teilweise immer dasselbe Sichtfeld haben beziehungsweise immer denselben Bildbereich erfassen können. Mit anderen Worten wird im Falle einer Stereokamera in beiden Imagern oder auf beiden Bildchips die Region of Interest durch vertikale Verschiebung so gewählt, dass der Horizont für beide Bilder an der gleichen gewünschten Position ist. Das gleiche gilt auch für mehr als zwei Kameras.
-
Gemäß einer weiteren Ausführungsform ist die Recheneinheit dazu ausgeführt, eine Belichtung des ersten Bildes zeitlich versetzt zu einer Belichtung des zweiten Bildes zu beginnen und/oder durchzuführen. Im Falle von mehr als zwei Kameras kann eine Belichtung jedes weiteren Bildes der zeitlich versetzt zu einer Belichtung des ersten und/oder zweiten Bildes begonnen und/oder durchgeführt werden.
-
Die Belichtung durch die Kamera kann zum Beispiel pixelweise innerhalb des Bildes beziehungsweise zeilenweise innerhalb des Bildes erfolgen. Die Zeilen stellen zum Beispiel eine horizontale Anordnung von einer Vielzahl von Pixeln innerhalb des Bildes dar. Befindet sich der erste Bildbereich in Bezug auf das erste Bild auf einer anderen vertikalen Position als der zweite Bildbereich innerhalb des zweiten Bildes, kann durch den zeitlichen Versatz der Belichtung des ersten und des zweiten Bildes erreicht werden, dass der erste Bildbereich und der zweite Bildbereich gleichzeitig belichtet werden, was wiederum die Bildqualität und damit die Qualität der Informationen, die der jeweiligen Fahrerassistenzfunktion bereitgestellt werden, erhöht. Im Falle von mehr als zwei Kameras kann durch den zeitlichen Versatz der Belichtung des ersten beziehungsweise zweiten Bildes und jedes weiteren Bildes erreicht werden, dass der erste beziehungsweise zweite Bildbereich und jeder weitere Bildbereich gleichzeitig belichtet werden. Mit anderen Worten bedeutet dies, dass die beiden Bildbereiche, also die ROI, so verschoben werden können, dass ein Referenzobjekt, zum Beispiel ein Punkt in der Welt, von beiden Kameras gleichzeitig abgetastet beziehungsweise belichtet wird, obwohl diese nicht perfekt zueinander ausgerichtet sind. Obwohl die Funktionen beziehungsweise Eigenschaften der Kameras sowie der Recheneinheit schwerpunktmäßig anhand einer Anordnung von zwei Kameras beschrieben wird, gelten diese auch für eine Vielzahl von Kameras, ohne dabei den Schutzbereich der Erfindung zu verlassen.
-
Gemäß der Erfindung ist ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem mit mehreren Schritten angegeben. In einem Schritt des Verfahrens erfolgt das Erzeugen eines ersten Bildes durch eine erste Kamera eines Fahrerassistenzsystems. In einem weiteren Schritt erfolgt das Bestimmen einer Ausrichtung der ersten Kamera und ein Bestimmen der Position eines Referenzobjekts innerhalb des von der ersten Kamera erzeugten ersten Bildes durch eine Recheneinheit. In einem weiteren Schritt des Verfahrens erfolgt ferner das Auswählen eines ersten Bildbereichs aus dem ersten Bild durch die erste Kamera und/oder durch die Recheneinheit. In einem weiteren Schritt erfolgt das Anpassen einer Abmessung und/oder einer Position des ersten Bildbereichs innerhalb des ersten Bildes durch die Recheneinheit derart, dass die Position des Referenzobjekts in Bezug auf den ersten Bildbereich über einen vorgegebenen Zeitraum konstant ist.
-
Das Verfahren kann zudem das Erzeugen eines zweiten Bildes durch eine zweite Kamera umfassen, dessen Bildbereich ebenfalls angepasst wird. Die genannten Schritte gelten dann analog ebenfalls für die zweite Kamera sinngemäß.
-
Kurze Beschreibung der Figuren
-
1 zeigt einen aktiven Bereich eines ersten Bildchips einer ersten Kamera gemäß einer Ausführungsform der Erfindung.
-
2 zeigt einen aktiven Bereich eines zweiten Bildchips einer zweiten Kamera gemäß einer Ausführungsform der Erfindung.
-
3 zeigt Fahrzeug mit einem Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung.
-
4 zeigt ein Flussdiagramm für ein Verfahren zum Anpassen eines Bildbereichs eines Bildes für ein Fahrerassistenzsystem gemäß einer Ausführungsform der Erfindung.
-
Detaillierte Beschreibung beispielhafter Ausführungsformen
-
Die Darstellungen in den Figuren sind schematisch und nicht maßstabsgetreu. 1 zeigt einen aktiven Bereich eines ersten Bildchips 1, welcher auch als Active Pixel Array bezeichnet werden kann. Aus diesem aktiven Bereich des Bildchips wird für eine bestimmte Kamerafunktion ein Bild inklusive Toleranzbereich 11, welcher auch als Frame bezeichnet wird, ausgewählt beziehungsweise ausgeschnitten. Auf einer Recheneinheit und/oder dem Bildchip 1 der Kamera selbst wird aus dem Toleranzbereich 11 wiederum ein Bildbereich 12, also eine sogenannte Region of Interest, für die Kamerafunktion ausgewählt beziehungsweise ausgeschnitten. Kamerafunktion bedeutet dabei, dass die generierten Bildinformationen für eine Fahrerassistenzfunktion bereitgestellt werden können. Dazu werden die von der Kamera erfassten Bildinformationen an die Recheneinheit übertragen, die diese Bildinformationen auswertet und an entsprechende Fahrerassistenzfunktionen weiterleitet beziehungsweise überträgt. In 1 ist ein Bildchip dargestellt, welcher auch als Imager bezeichnet wird und eine Vielzahl von Pixeln umfasst. Die Pixel können zum Beispiel rechteckig oder quadratisch auf dem Bildchip angeordnet sein, so dass eine Vielzahl von Zeilen mit Pixeln und eine Vielzahl von Spalten mit Pixeln auf dem Bildchip angeordnet ist. Die Pixel können zum Beispiel Bestandteil eines lichtempfindlichen Elements, wie beispielsweise ein Film oder ein Sensor einer Kamera sein. Eine solche Kamera kann beispielsweise ein hochauflösender Camcorder oder eine videotaugliche Digitalkamera sein. Insbesondere ist es möglich, durch die Kamera eine bestimmte Bildabfolge, zum Beispiel in Echtzeit, an die Recheneinheit zu übertragen.
-
Der in 1 dargestellte erste Bildchip 1 ist zum Beispiel Teil einer ersten Kamera, welche ein erstes Bild 10 erfasst. Das erste Bild 10 wird auf alle Pixel des ersten Bildchips 1 abgebildet. Ferner ist ein erster Toleranzbereich 11, der sich zumindest teilweise innerhalb des Bereichs des ersten Bildes 10 befindet, auf dem ersten Bildchip 1 angeordnet. Der Toleranzbereich 11 wird dabei durch eine Vielzahl von zum Beispiel ganzen Pixeln innerhalb des ersten Bildes 10 dargestellt. Unter Pixel versteht der Fachmann einen Bildpunkt einer Bildzelle oder ein Bildelement einer digitalen Rastergrafik. Solche Pixel sind in dem hier dargestellten Fall zum Beispiel rechteckig oder quadratisch und ermöglichen die Darstellung beziehungsweise Erfassung eines Farbwertes auf dem ersten Bildchip 1 beziehungsweise auf dem Bildsensor. 1 zeigt ferner einen ersten Bildbereich 12, der sich innerhalb des Toleranzbereiches 11 befindet. Der erste Bildbereich 12 ist wiederum durch eine Vielzahl von Pixeln innerhalb des Toleranzbereichs 11 definiert. Dadurch definiert der erste Bildbereich 12 auch einen Teilbereich des ersten Bildes 10. Es ist möglich, dass der erste Toleranzbereich 11 durch eine geringere Anzahl von Pixeln auf dem ersten Bildchip 1 bestimmt wird als das erste Bild 10. Ferner ist es möglich, dass der erste Bildbereich 12 durch eine geringe Anzahl an Pixeln bestimmt ist als der erste Toleranzbereich 11 sowie das erste Bild 10, welches auf dem ersten Bildchip 1 abgebildet wird. Dadurch ist der erste Bildbereich 12 zum Beispiel ein Teilbereich des Toleranzbereiches 11 und der Toleranzbereich 11 ist beispielsweise ein Teilbereich des ersten Bildes 10. Ferner ist es möglich, dass der erste Toleranzbereich 11 seine Position innerhalb des ersten Bildes 10 ändert. Gleichermaßen ist es auch möglich, dass der erste Bildbereich 12 seine Position innerhalb des Toleranzbereiches 11 verändert und damit auch seine Position gegenüber dem ersten Bild 10 ändert. Beispielsweise kann sich der erste Bildbereich 12 innerhalb des ersten Toleranzbereichs 11 und innerhalb des ersten Bildes 10 verschieben. Die Verschiebung kann dabei so erfolgen, dass der erste Bildbereich 12 zum Beispiel auf der oberen und der linken Seite um eine Zeile beziehungsweise Spalte an Pixeln erweitert wird, wohingegen auf der rechten und unteren Seite des ersten Bildbereichs 12 eine Spalte beziehungsweise Zeile von Pixeln abgezogen wird. Die Pixel werden dabei durch Übergabe an oder von dem jeweils angrenzenden Bereich, in diesem Fall dem Toleranzbereich 11, hinzugewonnen oder abgegeben. Somit kann der erste Bildbereich 12 innerhalb des Toleranzbereiches 11 und innerhalb des ersten Bildes 10 wandern beziehungsweise seine Position verändern. Es ist auch möglich, dass sowohl der erste Bildbereich 12 als auch der Toleranzbereich 11 unabhängig voneinander ihre Größe in Bezug auf das erste Bild 10 anpassen.
-
Der Abstand von der oberen Kante des Bildchips beziehungsweise des ersten Bildes 10 zur oberen Kante des Toleranzbereichs 11 wird zum Beispiel als Frame Row Offset 13 bezeichnet. Der Frame Row Offset 13 ist variabel, da sich die Position des Toleranzbereiches 11 innerhalb des ersten Bildes 10 und damit innerhalb des ersten Bildchips 1 verändern kann. Analog kann ein Offset, der ebenfalls variabel ist, den Abstand von der oberen Kante des ersten Bildchips 1 beziehungsweise ersten Bildes 10 zum ersten Bildbereich 12 definieren. Ferner kann ein Abstand zwischen der linken Seite des ersten Bildchips 1 beziehungsweise ersten Bildes 10 und der linken Seite des Toleranzbereiches 11 angegeben werden. Dieser Abstand wird Frame Column Offset 14 bezeichnet. In analoger Weise kann wiederum ein Abstand zwischen der linken Seite des ersten Bildchips 1 beziehungsweise ersten Bildes 10 und dem ersten Bildbereich 12 definiert sein. Diese Abstände sind ebenfalls variabel.
-
Innerhalb des ersten Bildes 10 kann ein Referenzobjekt 15 abgebildet sein. Anhand dieses Referenzobjektes 15 kann die Ausrichtung der Kamera durch ein Kalibrierverfahren bestimmt werden. Die Position des Referenzobjekts 15 kann sich innerhalb des ersten Bildes 10 verändern. Ist die Kamera zum Beispiel in einem fahrenden Auto installiert, verändert diese ständig ihre Ausrichtung in Bezug auf das Referenzobjekt 15. Der erste Bildbereich 12 wird jedoch in seiner Position innerhalb des ersten Bildes 10 und damit ggf. auch innerhalb des Toleranzbereichs 11 derart verschoben, dass das Referenzobjekt 15 in Bezug auf den ersten Bildbereich 12 und/oder den Toleranzbereich 11 über einen bestimmten Zeitraum hinweg konstant ist. Über einen bestimmten Zeitraum bedeutet dabei zum Beispiel über eine Bildabfolge oder einen Bewegungsablauf, der von der Kamera ersten in Echtzeit über einen bestimmten Zeitraum erfasst wird. Der erste Bildbereich 12 ist dabei zum Beispiel derjenige Bildbereich, der von einer Fahrerassistenzfunktion benötigt wird und daher dieser Fahrerassistenzfunktion zur Verfügung gestellt wird. Dabei wird der erste Bildbereich 12 allein oder mit Toleranzbereich 11 aus dem ersten Bild 10 ausgewählt beziehungsweise ausgeschnitten und an die Recheneinheit übergeben.
-
2 zeigt einen aktiven Bereich eines zweiten Bildchips 2 einer zweiten Kamera. Die zweite Kamera ist beispielsweise im oder am selben Fahrzeug wie die erste Kamera des in 1 dargestellten ersten Bildchips 1 angeordnet. Ein entsprechendes Fahrzeug ist in 3 gezeigt. Die erste und die zweite Kamera können im Fahrzeug nebeneinander angeordnet sein. Auf dem zweiten Bildchip 2 der zweiten Kamera wird wiederum ein zweites Bild 20 abgebildet. Auch das zweite Bild 20 wird durch eine Belichtung einer Vielzahl von Pixeln auf dem zweiten Bildchip 2 erzeugt. Ein zweiter Toleranzbereich 21 wird ebenfalls durch eine Vielzahl von Pixeln, die sich innerhalb des zweiten Bildes 20 befinden, repräsentiert. Innerhalb des zweiten Toleranzbereichs 21 ist wiederum ein zweiter Bildbereich 22 angeordnet. Der zweite Bildbereich 22 umfasst zum Beispiel eine Vielzahl von Pixeln. Innerhalb des zweiten Bildbereiches 22 befindet sich das Referenzobjekt 15. Die Position des Referenzobjektes 15 innerhalb des zweiten Bildes 20 kann sich von der Position des Referenzobjekts 15 innerhalb des ersten Bildes 10 aus 1 unterscheiden. Dagegen unterscheidet sich zumindest die vertikale Position des Referenzobjekts 15 in Bezug auf den zweiten Bildbereich 22 nicht von der vertikalen Position des Referenzobjekts 15 in Bezug auf den ersten Bildbereich 12. Vielmehr ist die vertikale Position des Referenzobjekts 15 in Bezug auf den zweiten Bildbereich 22 dieselbe wie die vertikale Position des Referenzobjekts 15 in Bezug auf den ersten Bildbereich 12. Mit anderen Worten ist die Horizontposition des Referenzobjekts 15, das heißt der vertikale Abstand vom unteren Rand des zweiten Bildbereiches 22 identisch mit dem vertikalen Abstand des Referenzobjekts 15 vom unteren Rand des ersten Bildbereichs 12. Dies ist darauf zurückzuführen, dass sich der erste Bildbereich 12 innerhalb des ersten Bildes 10 mit dem Referenzobjekt 15 mitbewegt und sich analog der zweite Bildbereich 22 bezüglich des ersten Bildes 20 mit dem Referenzobjekt 15 mitbewegt. In analoger Weise ist es somit auch möglich, dass die horizontale Position des Referenzobjekts 15 in Bezug auf den zweiten Bildbereich 22 dieselbe ist wie die horizontale Position des Referenzobjekts 15 in Bezug auf den ersten Bildbereich 12.
-
Es kann also gewährleistet werden, dass zumindest ein Teilbereich des ersten Bildes 10, nämlich der erste Bildbereich 12, die gleichen Bildinformationen aufweist wie ein Teilbereich des zweiten Bildes 20, nämlich des zweiten Bildbereiches 22. Durch eine solche Synchronisation beider Kameras kann ebenfalls gewährleistet werden, dass, wenn die Kameras relativ zueinander im Fahrzeug verschiedene Einbautoleranzen und damit verschiedene Blickrichtungen haben, dass die Kameras zumindest teilweise immer dasselbe Sichtfeld haben. Mit anderen Worten kann durch eine solche Anordnung erreicht werden, dass bei einer Stereokamera, das heißt einer Anordnung von mindestens zwei Kameras, in beiden Imagern oder Bildchips die Bildbereiche durch vertikale Verschiebung so gewählt werden, dass der Horizont, das heißt das Referenzobjekt 15 für beide Bilder, an der gleichen gewünschten Position ist. Dasselbe Verfahren ist jedoch auch für mehr als zwei Kameras anwendbar, ohne den Schutzbereich der Erfindung zu verlassen. So können beliebig viele Kameras mit derselben Funktion an einem Fahrzeug angeordnet sein.
-
Die Belichtung des ersten Bildbereichs 12 und des zweiten Bildbereichs 22 kann gleichzeitig gestartet und durchgeführt werden. Bei einem Bildchip mit Rolling Shutter wird technologiebedingt die Belichtung der einzelnen Zellen nacheinander mit einem definierten Abstand gestartet. Beispielsweise beginnt die Belichtung bei dem sich jeweils in der linken oberen Ecke eines Bildchips befindenden Pixels. Anschließend werden alle Pixel in der gleichen Zeile nacheinander belichtet. Ist eine Zeile vollständig belichtet, kann die nächste Zeile belichtet werden, so dass am Schluss der gesamte Bildchip belichtet ist. Der erste Bildbereich 12 und der zweite Bildbereich 22 weisen eine unterschiedliche vertikale Position bezüglich der jeweiligen Bildchips 1, 2 und/oder Toleranzbereiche 11, 21 auf. Würde die Belichtung der in den 1 und 2 dargestellten Bildchips 1, 2 beziehungsweise Toleranzbereiche 11, 21 zur gleichen Zeit gestartet, würde sich daraus ein zeitlicher Versatz in der Belichtung der beiden Bildbereiche 12 und 22 ergeben. Um dies zu vermeiden, wird in einem Beispiel der erste Bildchip 1 in 1 um den Zeilenversatz von vier Zeilen früher gestartet als die Belichtung des zweiten Bildchips 2 in 2. Dadurch kann gewährleistet werden, dass der erste Bildbereich 12 zum selben Zeitpunkt wie der zweite Bildbereich 22 belichtet wird.
-
In 2 ist ferner zu erkennen, dass ein Abstand zwischen der oberen Kante des Toleranzbereiches 21 und der oberen Kante des zweiten Bildbereichs 22 angegeben werden kann. Dieser Abstand wird auch als ROI Row Offset 23 bezeichnet. Ebenfalls kann ein Abstand zwischen der linken Kante des Toleranzbereiches 21 und der linken Kante des ersten Bildbereichs 22 angegeben werden, welcher durch den Begriff ROI Column Offset 24 definiert ist. Diese Abstände können sich zeitlich verändern und sind somit variabel. Die Synchronisation der Belichtung kann abhängig davon sein, wie das Ausschneiden der einzelnen Bildbereiche erfolgt. Wird der Toleranzbereich beziehungsweise der Bildbereich auf dem Bildchip ausgeschnitten, so erfolgt die Synchronisation durch gemeinsames Triggern beziehungsweise Ansteuern der Belichtung dieses Bildbereichs. Ferner kann das Ausschneiden des Bildbereichs auf dem jeweiligen Bildchip durch die Recheneinheit erfolgen. In diesem Fall wird das gleichzeitige Belichten des relevanten Bildbereichs erreicht, indem die beiden Belichtungen zeitlich versetzt angestoßen werden. Für den Fall, dass immer der gleiche Bereich aus dem Bildchip ausgeschnitten wird und daraus auf der Recheneinheit wiederum der Bildbereich ausgeschnitten wird, werden wie zuvor beschrieben, ebenfalls die beiden Belichtungen zeitlich versetzt angestoßen beziehungsweise initiiert.
-
3 zeigt ein Fahrzeug 30 mit einem Fahrerassistenzsystem. Das Fahrerassistenzsystem kann zum Beispiel Stereokameras umfassen. Dementsprechend weist das Fahrerassistenzsystem eine erste Kamera 31 und eine zweite Kamera 32 auf, wobei die erste Kamera 31 und die zweite Kamera 32 mit einer Recheneinheit 33, zum Beispiel über eine kabelgestützte und/oder über eine kabellose Datenverbindung verbunden ist. Zusätzlich zur ersten Kamera 31 und zur zweiten Kamera 32 können auch weitere Kameras in dem Fahrzeug vorgesehen sein, die wie die erste Kamera 31 und die zweite Kamera 32 Fahrerassistenzkameras zur automatischen Sichtfeldanpassung und Synchronisation sein können und damit ebenfalls die für die erste Kamera 31 und die zweite Kamera 32 beschriebenen Funktionen ausführen können. Diese weiteren Kameras können auch mit der Recheneinheit 33 verbunden sein und anschließend Bildinformationen für eine Fahrerassistenzfunktion bereitstellen. Um Bildinformationen für eine Fahrerassistenzfunktion 34, wie zum Beispiel Objekterkennung, Einparkhilfe, Spurhalteassistenten, etc. bereitzustellen kann die Recheneinheit 33 mit einer solchen Fahrerassistenzfunktion 34 verbunden sein. Es ist jedoch auch möglich, dass die Fahrerassistenzkameras direkt mit der zugehörigen Fahrerassistenzfunktion 34 verbunden sind.
-
Stereokameras sind in der Regel im Fahrzeug hinter der Windschutzscheibe angeordnet und die beiden Photosensoren/Kameras sind räumlich nebeneinander angeordnet. In 3 sind die beiden Photosensoren/Kameras jedoch aus Darstellungsgründen übereinander angeordnet gezeigt, um beide Komponenten in 3 zeigen zu können.
-
4 zeigt anhand eines Flussdiagramms die Schritte eines Verfahrens zum Anpassen eines Bildbereiches eines Bildes für ein Fahrerassistenzsystem. In einem Schritt S1 des Verfahrens erfolgt ein Erzeugen eines ersten Bildes 10 durch eine erste Kamera 31 eines Fahrerassistenzsystems. In einem weiteren Schritt S2 des Verfahrens erfolgt ein Bestimmen einer Ausrichtung der ersten Kamera 31 und ein Bestimmen der Position eines Referenzobjekts 15 innerhalb des von der ersten Kamera 31 erzeugten ersten Bildes 10 durch eine Recheneinheit. Die Bestimmung der Ausrichtung der ersten Kamera 31 kann dabei beispielsweise über ein Kalibrierverfahren beziehungsweise über bestimmte Kalibrierparameter erfolgen. Weist das Fahrerassistenzsystem eine zweite Kamera 32 auf, kann auch die Ausrichtung der zweiten Kamera 32 bezüglich der ersten Kamera 31 oder eines Fahrzeugs 1 durch das Kalibrierverfahren bestimmt werden. In einem weiteren Schritt S3 des Verfahrens erfolgt das Auswählen eines ersten Bildbereichs 12 aus dem ersten Bild 10 durch die erste Kamera 31 und/oder durch die Recheneinheit 33. Auswählen kennzeichnet dabei zum Beispiel auch das Ausschneiden des ersten Bildbereichs 12 aus dem ersten Bild 10, welches auf dem ersten Bildchip 1 der ersten Kamera 31 abgebildet wird. Das Ausschneiden kann dabei direkt auf dem ersten Bild 10 erfolgen oder aber auch nach Übergabe an eine Recheneinheit 33 in der Recheneinheit 33 selbst erfolgen. In einem weiteren Schritt des Verfahrens erfolgt ein Anpassen einer Abmessung des ersten Bildbereichs 12 innerhalb des ersten Bildes 10 durch die Recheneinheit 33 derart, dass die Position des Referenzobjekts 15 in Bezug auf den ersten Bildbereich 12 über einen vorgegebenen Zeitraum konstant ist. Dies ist mit Schritt S4 bezeichnet.
-
Ergänzend sei darauf hingewiesen, dass „umfassend“ und „aufweisend“ keine anderen Elemente oder Schritte ausschließt und „eine“ oder „ein“ keine Vielzahl ausschließt. Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele beschrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkungen anzusehen.
