DE102018102051A1

DE102018102051A1 - Method for representing an environmental region of a motor vehicle with an image window in an imgage, computer program product as well as display system

Info

Publication number: DE102018102051A1
Application number: DE102018102051.1A
Authority: DE
Inventors: Huanqing Guo; Fergal O'Malley; Felix Ruhl; Guenter Bauer
Original assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Current assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Priority date: 2018-01-30
Filing date: 2018-01-30
Publication date: 2019-08-01
Anticipated expiration: 2038-01-31
Also published as: WO2019149499A1; DE102018102051B4

Abstract

Die Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs (13) eines Kraftfahrzeugs (1) in einem Bild (19), bei welchem durch eine Mehrzahl von realen Kameras (5, 6, 7, 8) des Kraftfahrzeugs (1) Realbilder des Umgebungsbereichs (13) aufgenommen werden und aus diesen Realbildern das Bild (19) erzeugt wird, welches den Umgebungsbereich (13) zumindest teilweise darstellt, wobei das Bild (19) aus einer Perspektive einer virtuell angeordneten virtuellen Kamera (14) dargestellt wird, wobei in dem Bild (19) zumindest ein Bildfenster (17, 26, 27) dargestellt wird, wobei in dem Bildfenster (17, 26, 27) nur ein Teilbereich des Umgebungsbereichs (13) dargestellt wird, und dieser Teilbereich in einer zweiten Perspektive dargestellt wird, die unterschiedlich zur ersten Perspektive der virtuellen Kamera (14) ist. Die Erfindung betrifft auch ein Computerprogrammprodukt und ein Anzeigesystem (2) für ein Kraftfahrzeug (1).

Description

Die Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs, bei dem dieser Umgebungsbereich in einem Bild dargestellt wird. Durch eine Mehrzahl von realen Kameras des Kraftfahrzeugs werden Realbilder des Umgebungsbereichs aufgenommen. Aus diesen Realbildern wird das Bild erzeugt, welches den Umgebungsbereich zumindest teilweise darstellt. Das Bild wird aus einer Perspektive einer virtuellen Kamera dargestellt. Des Weiteren betrifft die Erfindung auch ein Computerprogrammprodukt sowie ein Anzeigesystem für ein Kraftfahrzeug.
Aus dem Stand der Technik, beispielsweise der DE 10 2015 105 529 A1 , ist ein Verfahren bekannt, bei welchem mit mehreren realen Kameras, die an dem Kraftfahrzeug angeordnet sind, mehrere Realbilder aufgenommen werden und aus diesen Bildern ein gemeinsames Gesamtbild erzeugt wird, welches auf einer Anzeigeeinheit des Kraftfahrzeugs angezeigt werden kann. Aus diesen Realbildern wird dort das Gesamtbild in einer Schalenform gebildet. Dies bedeutet, dass das Bild in einer „verzerrten“ Darstellung gezeigt wird und somit quasi in einer gewissen gekrümmten Form, die dann die Schalenform ergibt, dargestellt wird. Dies erfolgt derart, dass der Umgebungsbereich um das Fahrzeug herum vollständig angezeigt wird. Dies bedeutet, dass die Darstellung des Bildes derart ist, dass geschlossen und unterbrechungsfrei um das Fahrzeug herum eine Darstellung des Umgebungsbereichs erfolgt. Durch die Darstellung des Bildes in dieser gekrümmten Ansicht und somit in der Schalenform kann ein größerer Bereich mit größerem Abstand zum Kraftfahrzeug dargestellt werden, insbesondere im Vergleich zu einer ebenen Darstellung.
Wie aus dem Stand der Technik auch bekannt ist, kann eine virtuelle Kamera an verschiedenen Positionen in diesem erzeugten gesamten Bild angeordnet werden, sodass auch eine dreidimensionale Perspektive aus unterschiedlichen Blickrichtungen dargestellt werden kann. Dies kann jedoch auch zu Situationen führen, bei denen im Hinblick auf das Fahrmanöver des Kraftfahrzeugs eine für den Fahrzeugführer ebenfalls störende Perspektive gezeigt wird. Beispielsweise kann dies dann der Fall sein, wenn die virtuelle Kamera an einer Position angeordnet ist, sodass sie von vorne auf das Kraftfahrzeug blickt und andererseits das Kraftfahrzeug sich im Realen in Vorwärtsrichtung bewegt. Dies kann gegebenenfalls zu Beeinträchtigungen des Fahrers führen, insbesondere ist dadurch die intuitive Wahrnehmung der Information für einen Fahrer beeinträchtigt.
Des Weiteren sind Verfahren zum Transformieren eines Bilds bekannt, bei welchen ein Umgebungsbereich eines Kraftfahrzeugs zumindest teilweise durch das Bild aus der Perspektive einer virtuell in dem Umgebungsbereich angeordneten virtuellen Kamera dargestellt wird, sind aus dem Stand der Technik bekannt.
So wird in der DE 10 2013 013 364 A1 ein Verfahren zum verzerrungsarmen Abbilden von Umgebungsbilddaten bereitgestellt, welche von einer Mehrzahl an Kameras, die an einem Kraftfahrzeug angeordnet sind, erzeugt werden.
Weiterhin wird in der US 2011/0032357 A1 eine Bildverarbeitungsvorrichtung beschrieben, mit welcher ein Bild von einem Umgebungsbereich eines Kraftfahrzeugs aufgenommen wird. Das aufgenommene Bild wird in ein Bild konvertiert, welches aus der Perspektive einer virtuellen Sichtlinie betrachtet wird. Die virtuelle Sichtlinie läuft von einer vorbestimmten Position in dem Umgebungsbereich in eine vorbestimmte Richtung.
Weiterhin ist es bekannt, dass ein Bild mit einer virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera kann dann üblicherweise beliebig um ein Kraftfahrzeug herum fiktiv angeordnet werden. Das Bild wird durch Transformieren von Realbildern bereitgestellt. Die Realbilder werden üblicherweise von einer Mehrzahl von realen Kameras des Kraftfahrzeugs bereitgestellt. Durch die Mehrzahl der realen Kameras wird üblicherweise ein Umgebungsbereich des Kraftfahrzeugs vollständig erfasst. Durch die virtuelle Kamera können die Realbilder derart ausgewählt und transformiert werden, dass das Bild aus der Perspektive der virtuellen Kamera bereitgestellt wird. Die virtuelle Kamera in dem Umgebungsbereich des Kraftfahrzeugs ist also nicht real existierend, sondern beschreibt die Transformation und Auswahl der Realbilder, sodass durch das Bild die gewünschte Perspektive der virtuellen Kamera gezeigt wird. Üblicherweise wird das Bereitstellen des Bilds durch eine Transformation, welche eine Translation und mehrere Rotationen umfasst, bestimmt. So wird beispielsweise jedes der Realbilder aus einem Kamerakoordinatensystem der jeweiligen realen Kamera in ein Kraftfahrzeugkoordinatensystem transformiert, und in dem Kraftfahrzeugkoordinatensystem kann schließlich die Position der virtuellen Kamera festgelegt werden.
Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren zu schaffen, bei welchem die Darstellung von Informationen eines Umgebungsbereichs des Kraftfahrzeugs umfänglicher und für einen Benutzer einfacher nachvollziehbar dargestellt wird. Ebenso ist es Aufgabe, ein Computerprogrammprodukt sowie ein Anzeigesystem für ein Kraftfahrzeug zu schaffen.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs, wobei die Darstellung in einem Bild erfolgt. Bei dem Verfahren wird durch eine Mehrzahl von realen Kameras des Kraftfahrzeugs ein Aufnehmen von mehreren Realbildern des Umgebungsbereichs durchgeführt. Aus diesen Realbildern wird dann das Bild, welches auch dann als Gesamtbild bezeichnet werden kann, erzeugt. Es wird daher aus einer Mehrzahl von Realbildern dieses dann gemeinsame Bild erzeugt. In diesem Bild wird der Umgebungsbereich zumindest teilweise dargestellt. Das Bild wird aus einer Perspektive einer virtuellen Kamera dargestellt. In diesem Bild wird zumindest ein Bildfenster beziehungsweise ein Bildausschnitt dargestellt. In diesem Bildfenster wird ein Teilbereich des Umgebungsbereichs dargestellt, wobei dieser Teilbereich in einer zweiten Perspektive dargestellt wird, die unterschiedlich zur ersten Perspektive der virtuellen Kamera ist. Es wird also in dem Bild die Möglichkeit geschaffen, dass zumindest zwei unterschiedliche Perspektiven gezeigt sind und somit Informationen an einen Nutzer in einem Bild gleichzeitig aus zwei unterschiedlichen Perspektiven gezeigt sind. Da das Bildfenster mit der Darstellung des Bildes angezeigt wird und somit gleichzeitig angezeigt wird, erhält ein Fahrer gleichzeitig Informationen vom Umgebungsbereich aus verschiedenen Perspektiven und somit mit verschiedenen Blickrichtungen. Da das Bildfenster größenmäßig kleiner ist als dieses Gesamtbild, ist das Bildfenster in einem Teilbereich des Flächenbereichs des Bildes dargestellt. Das Bildfenster wird insbesondere vollständig innerhalb der Fläche des Bilds dargestellt. Es bleibt der Informationsgehalt, der mit der ersten Perspektive dargestellt ist, uneingeschränkt aufrecht erhalten und kann von einem Fahrzeugnutzer auch weiterhin uneingeschränkt wahrgenommen werden.
Die virtuelle Kamera kann virtuell im Umgebungsbereich angeordnet sein. Die virtuelle Kamera ist dann virtuell außerhalb des Kraftfahrzeugs positioniert. Die virtuelle Kamera kann auch im Inneren und somit im Fahrgastraum des Kraftfahrzeugs virtuell positioniert sein.
Die Informationsdarstellung über den Umgebungsbereich des Kraftfahrzeugs ist durch dieses Verfahren deutlich verbessert und auch die intuitive Wahrnehmbarkeit für einen Nutzer verbessert. Durch das zumindest eine Bildfenster können insbesondere Darstellungen erfolgen, die abhängig von der Orientierung des Kraftfahrzeugs und/oder abhängig von einem Fahrmanöver des Kraftfahrzeugs durch die erste Perspektive nicht einsehbar sind oder nicht umfassend dargestellt werden können. Insbesondere können durch eine derartige Ausgestaltung dann in dem Bildfenster Darstellungen erfolgen, die für den Fahrzeugnutzer zusätzlich hilfreich sind und für das Verständnis des Umgebungsbereichs hilfreich sind. Situationen, in denen der Fahrzeugführer den Umgebungsbereich nur aus einer Perspektive wahrnimmt und die somit gegebenenfalls im Hinblick auf sein aktuelles Fahrmanöver und/oder die Orientierung des Kraftfahrzeugs gegebenenfalls missverständlich wären oder für die intuitive Wahrnehmbarkeit und das sichere Verständnis einschränkend wären, können damit zumindest deutlich reduziert werden.
Vorzugsweise wird das Bild mit dem Bildfenster auf einer Anzeigeeinheit des Kraftfahrzeugs angezeigt. Diese Anzeigeeinheit kann ortsfest in dem Kraftfahrzeug verbaut sein, kann jedoch auch beispielsweise eine mobile Anzeigeeinheit sein, die zerstörungsfrei lösbar aus dem Kraftfahrzeug entnommen werden kann und wieder eingesetzt werden kann. Beispielsweise kann dies ein tragbares Display beziehungsweise ein tragbarer Bildschirm sein. Dieser Bildschirm kann beispielsweise auch Bestandteil einer tragbaren Funktionseinheit sein, die zusätzlich zur Darstellung von Bildern auch zumindest eine weitere Funktion aufweist. Beispielsweise kann eine derartige Funktionseinheit ein tragbares Kommunikationsendgerät wie ein Tablet-Computer oder ein Mobilfunkendgerät sein.
In einer vorteilhaften Ausführung wird die zweite Perspektive derart eingestellt, dass in dem Bildfenster als Teilbereich des Umgebungsbereichs der seitlich zum Kraftfahrzeug gelegene Umgebungsbereich und/oder der hinter dem Kraftfahrzeug gelegene Umgebungsbereich dargestellt wird. Insbesondere ist dies dann vorgesehen, wenn die erste Perspektive in Vorwärtsrichtung des Kraftfahrzeugs orientiert wird. Da gerade in Situationen, in denen die Einsehbarkeit des Fahrers seitlich und nach hinten eingeschränkt ist, beispielsweise aufgrund der Orientierung des Kraftfahrzeugs und/oder aufgrund des vorgenommenen oder zukünftig geplanten Fahrmanövers des Kraftfahrzeugs, ist diese Ausgestaltung bevorzugt. So kann dies beispielsweise dann von Vorteil sein, wenn das Kraftfahrzeug einen Parkvorgang durchführt, bei welchem zumindest zeitweise ein Rückwärtsfahren vollzogen wird. Denn ist dann beispielsweise die erste Perspektive nicht nach hinten gerichtet, sondern derartig orientiert, dass der seitliche und/oder hintere Bereich des Kraftfahrzeugs nicht oder nicht ausreichend dargestellt wird, so kann gerade durch diese vorteilhafte Ausführung dann dieser seitliche und/oder hintere Bereich des Kraftfahrzeugs mit der zweiten Perspektive in dem Bildfenster dargestellt werden. Gerade bei einem derartigen Rückwärtsfahren, bei dem auch die eigene Sicht des Fahrzeugführers und somit das ohnehin selbstständige Wahrnehmen zur Seite und nach hinten eingeschränkt sein kann, ist diese Ausführung besonders vorteilhaft.
In einer besonders vorteilhaften Ausführung wird vorgesehen, dass das Bildfenster als reflektiertes Bild eines Spiegels erzeugt wird. Es wird somit die zweite Perspektive so dargestellt, dass sie eine Blickrichtung zeigt, die einen Teilbereich dieses Umgebungsbereichs darstellt, welche durch den Fahrer nicht eingesehen werden kann und/oder entgegen der aktuellen und/oder zukünftigen Fahrtrichtung des Kraftfahrzeugs gerichtet ist. Gerade ein derartiges Spiegelbild weist die oben genannten Vorteile im besonderen Maße auf. Gerade bei einer Rückwärtsfahrt wird einem Fahrzeugführer daher eine besonders intuitive und für den Fahrer dann auch sehr verständliche Bilddarstellung in dem Bildfenster ermöglicht. Insbesondere wird in dem Zusammenhang auch nach Art eines nach hinten blickenden Spiegels, der beispielsweise durch einen realen Spiegel oder einen realen Seitenspiegel des Kraftfahrzeugs gegeben sein kann, virtuell eine entsprechende Bilddarstellung in dem Bildfenster gezeigt. In einer vorteilhaften Ausführung kann somit eine Darstellung im Bildfenster erfolgen, die für den Fahrzeugführer besonders leicht verständlich ist. Dies insbesondere im Hinblick auf die dann spezifische Orientierung des Kraftfahrzeugs und/oder im Hinblick auf die spezifische Fahrtrichtung des Kraftfahrzeugs. Der Fahrzeugführer hat dann bei einer derartigen Ausgestaltung den Eindruck, dass er praktisch aufgrund der ersten Perspektive in Vorwärtsfahrtrichtung des Fahrzeugs blickt und eine derartige Blickrichtung und somit Perspektive auch auf dem Bild entsprechend sieht und eine entsprechende Darstellung erkennt, andererseits in dem Bildfenster eine seitliche und/oder nach hinten gerichtete Darstellung wahrnimmt. Er hat daher auch die Möglichkeit, dass er trotz der Blickrichtung nach vorne eine bildhafte Darstellung eines Teilbereichs des Umgebungsbereichs seitlich des Fahrzeugs und/oder rückseitig des Fahrzeugs sieht.
In einer vorteilhaften Ausführung wird das Bild eines Spiegels als virtuelles Spiegelbild erzeugt. Bei einer derartigen Ausgestaltung wird in einer vorteilhaften Weise dann vorzugsweise aus Realbildern der virtuellen Kamera dieses virtuelle Bildfenster in dem Gesamtbild erstellt. Es wird bei einer derartigen Ausgestaltung dann vorzugsweise die zweite Perspektive als eine Perspektive einer zweiten virtuellen Kamera bestimmt. Es kann auch vorgesehen sein, dass das virtuelle Spiegelbild durch ein Ray-Tracing-Verfahren bestimmt wird. Abhängig von individuellen Situationen kann somit die Darstellung in einem Bildfenster sehr individuell erzeugt werden. Es können in dem Zusammenhang dann auch individuelle und vielfältige Positionierungen der weiteren virtuellen Kamera in dem Umgebungsbereich durchgeführt werden. Die Darstellung von Informationen im Bildfenster ist daher sehr vielfältig und variabel. Auch dies trägt sehr vorteilhaft zur flexiblen Informationsdarstellung in dem Bildfenster bei.
In einer alternativen Ausführung kann vorgesehen sein, dass als Spiegelbild ein Realbild nur einer der realen Kameras dargestellt wird. Bei einer derartigen Ausgestaltung ist dann der Rechenaufwand reduziert, da kein virtuelles Bild zur Darstellung in dem Bildfenster erzeugt werden muss, welches aus mehreren einzelnen Realbildern erzeugt wird.
Vorzugsweise ist vorgesehen, dass das Kraftfahrzeug zumindest teilweise in dem Spiegelbild dargestellt wird. Damit ist die Beständigkeit der Informationen insbesondere in Bezug zum eigenen Kraftfahrzeug für einen Fahrer noch verständlicher.
Insbesondere kann vorgesehen sein, dass die Darstellung des Kraftfahrzeugs in diesem Spiegelbild in einer nicht gespiegelten, sondern tatsächlichen Orientierung dargestellt wird.
In einer weiteren, besonders vorteilhaften Ausführung ist vorgesehen, dass das Bild und somit das Gesamtbild als Schalenform und somit mit einer gekrümmten Bildebene erzeugt wird und das Kraftfahrzeug am Boden der Schalenform dargestellt wird. Die Darstellung des Gesamtbilds durch eine derartige Schalenform wurde bereits eingangs erläutert. Insbesondere wird das Bild derart dargestellt, dass der Umgebungsbereich vollständig umlaufend um das Kraftfahrzeug und unterbrechungsfrei dargestellt wird.
Vorzugsweise wird das Bildfenster in einem gekrümmten Wandbereich der Schalenform dargestellt. Insbesondere wird das Bildfenster ebenfalls gekrümmt dargestellt. Dies bedeutet, dass das Bildfenster ebenfalls in Form eines gekrümmten Wandereichs der Schalenform dargestellt wird. Vorzugsweise wird das Bildfenster mit einer Krümmung dargestellt, die der Krümmung des Wandbereichs der Schalenform entspricht, in welchem das Bildfenster dargestellt wird. Durch eine derartige Ausgestaltung wird das Bildfenster quasi in dieses Bild eingebettet angezeigt. Dabei ergeben sich in spezifischen Darstellungssituationen Vorteile bezüglich der Wahrnehmbarkeit und dem Verständnis der auf dem restlichen Flächenbereich des Bildes dargestellten Informationen zu den in dem Bildfenster dargestellten Informationen.
Die Krümmung des Bildfensters kann an das Szenario angepasst werden, mit welchem die Darstellung erfolgt beziehungsweise in welcher Richtung und in welcher Position dies zum Kraftfahrzeug sich befindet. So kann beispielsweise vorgesehen sein, dass, wenn das Bildfenster bei einer Positionierung im Bild linksseitig zum Kraftfahrzeug erfolgt, die zweite Perspektive ein Spiegelbild des linksseitigen seitlichen und/oder linksseitigen rückseitigen Teilbereichs des Umgebungsbereichs ist. Insbesondere kann die Krümmung des Bildfensters so sein, als würde die Ansicht in einem derartigen seitlichen und/oder hinteren Wandbereich der Schalenform des Gesamtbildes erfolgen, sodass die Krümmung der Bilddarstellung im Bildfenster unterschiedlich zur Krümmung desjenigen Wandbereichs des Gesamtbildes ist, in dem das Bildfenster tatsächlich dargestellt wird. Es kann jedoch auch eine diesbezüglich gleiche Krümmung vorliegen, wie dies bereits oben erwähnt wurde.
In einer alternativen Ausführung kann vorgesehen sein, dass das Bildfenster als ungekrümmte und somit unverzerrte Darstellung angezeigt wird und somit quasi als ungekrümmte Ebene in dem Bild angezeigt wird. Dies ist dann insbesondere ein ungekrümmtes Spiegelbild. Es kann bei einer derartigen Ausgestaltung vorgesehen sein, dass das Bildfenster quasi als in der Schalenform des Gesamtbildes eingestellte Ebene dargestellt wird, sodass sich diesbezüglich bei einer derartigen Ausgestaltung das Bildfenster auch als insbesondere dreidimensionales Objekt in dem Bild erkennen lässt. Abhängig von der zweiten Perspektive und/oder dem individuell darzustellenden Informationsgehalt kann in spezifischen Situationen die gekrümmte Darstellung des Bildfensters, insbesondere in dem Wandbereich der Schalenform des Gesamtbildes eingebettet, vorteilhaft sein, oder dieses ebene Bildfenster von Vorteil sein. So können auch Szenarien auftreten, bei denen unverzerrte beziehungsweise ungekrümmte Darstellungen von Bildinformationen in dem Bildfenster vorteilhaft sind, insbesondere bezüglich der Wahrnehmung für den Beobachter der Anzeigeeinheit.
In einer vorteilhaften Ausführung wird eine Größe des Bildfensters und/oder eine Form des Bildfensters und/oder ein Rahmen des Bildfensters und/oder ein Vergrößerungsfaktor des im Bildfenster dargestellten Teilbereichs abhängig von der ersten Perspektive und/oder abhängig von einer Veränderung der ersten Perspektive und/oder abhängig von einer, insbesondere aktuellen und/oder zukünftigen, Orientierung des Kraftfahrzeugs und/oder abhängig von einer, insbesondere aktuellen und/oder zukünftigen, Bewegung des Kraftfahrzeugs und/oder abhängig von einer, insbesondere aktuelle und/oder zukünftigen, Bewegungsrichtung des Kraftfahrzeugs und/oder abhängig von der Anzahl von Bildfenstern und/oder abhängig von einer Position eines weiteren Bildfensters im Bild und/oder von der, insbesondere aktuellen oder zukünftigen, Krümmung einer Schalenform des Bilds erzeugt oder verändert. Durch eine derartige Ausgestaltung wird eine besonders variable und flexible Erzeugung und/oder Veränderung des Bildfensters in dem Bild ermöglicht, sodass sehr bedarfsgerecht auf Darstellungsszenarien reagiert werden kann und stets, insbesondere auch dynamisch, eine entsprechende Anpassung erfolgen kann. Dadurch wird das Anzeigeszenario für einen Beobachter nochmals verbessert und die Wahrnehmbarkeit von vielfältigsten Informationen sehr bedarfsgerecht ermöglicht, sodass diese Informationen für einen Nutzer auch verbessert verständlich sind und leicht nachvollzogen werden können.
In einer vorteilhaften Ausführung wird vorgesehen, dass eine Position des Bildfensters im Bild abhängig von einer Veränderung der ersten Perspektive und/oder abhängig von einer, insbesondere aktuellen und/oder zukünftigen, Veränderung einer Orientierung des Kraftfahrzeugs und/oder abhängig von einer, insbesondere aktuellen und/oder zukünftigen, Veränderung einer Bewegung des Kraftfahrzeugs und/oder abhängig von einer, insbesondere aktuellen und/oder zukünftigen, Veränderung einer Bewegungsrichtung des Kraftfahrzeugs und/oder abhängig von einer Veränderung einer Anzahl von Bildfenstern und/oder abhängig von einer Veränderung einer Position eines weiteren Bildfensters im Bild und/oder abhängig von der, insbesondere aktuellen oder zukünftigen, Veränderung einer Krümmung einer Schalenform des Bilds verändert wird. Auch hier können somit vielfältige und variable Ausgestaltungen bezüglich der Position des Bildfensters erfolgen. Auch dadurch kann sehr bedarfsgerecht und insbesondere im Hinblick auf die einfache, schnelle, und intuitive Wahrnehmbarkeit der Informationspräsentation durch einen Nutzer ein Vorteil erzielt werden. Die oben genannten Ausgestaltungen im Hinblick auf die Veränderung einer Position des Bildes kann in diskreten Zeitabständen oder kontinuierlich erfolgen. Somit kann auch auf sich verändernde Umgebungsszenarien und/oder sich verändernde Positionen und/oder sich verändernde Bewegungen des Kraftfahrzeugs in dem Umgebungsbereich schnell reagiert werden. Es kann somit jeweils bedarfsgerecht und sofort angepasst an die neuen Gegebenheiten eine dann bestmögliche und angepasste Darstellung des Umgebungsbereichs aus zumindest zwei unterschiedlichen Perspektiven in dem Bild erfolgen.
Es können neben den oben genannten Parametern auch zusätzlich oder anstatt dazu das Kraftfahrzeug charakterisierende Parameter und/oder den Bewegungszustand des Kraftfahrzeugs charakterisierende Parameter berücksichtigt werden. Beispielsweise kann ein Lenkwinkel oder eine Vorwärtsfahrt oder eine Rückwärtsfahrt oder die Geschwindigkeit oder ein ein spezifisches Fahrmanöver charakterisierende Parameter, wie beispielsweise das Erkennen eines Parkvorgangs, berücksichtigt werden.
Vorzugsweise wird die zweite Perspektive abhängig von der ersten Perspektive bestimmt. Auch durch eine derartige Ausführung, bei der die Perspektiven miteinander verknüpft beziehungsweise gekoppelt sind, kann in individuellen Darstellungsszenarien die besonders vorteilhafte Informationspräsentation durch einen Nutzer erfolgen. Die zweite Perspektive kann zusätzlich oder anstatt dazu auch abhängig von der aktuellen und/oder zukünftigen Orientierung des Kraftfahrzeugs und/oder abhängig von einer aktuellen und/oder zukünftigen Bewegungsrichtung des Kraftfahrzeugs bestimmt werden.
Im Hinblick auf die oben genannten Einflussfaktoren, die sich auf zukünftige Szenarien beziehen, kann dies beispielsweise anhand der Betriebszustände des Kraftfahrzeugs erkannt werden beziehungsweise auf diese zukünftigen Aspekte rückgeschlossen werden. Wird beispielsweise ein Parkvorgang durchgeführt und hat beispielsweise insbesondere ein Fahrzeugführer das Suchen einer Parklücke und/oder den Beginn des Einparkens oder des Ausparkens selbst gestartet, das tatsächliche Bewegen des Kraftfahrzeugs hat jedoch noch nicht stattgefunden, so kann hier aufgrund dieser Informationen darauf geschlossen werden, dass das Kraftfahrzeug alsbald beziehungsweise zukünftig die spezifische Trajektorie, die insbesondere dann auch schon bekannt sein kann, durchfährt. Aus diesen Informationen kann dann wieder darauf geschlossen werden, dass das Fahrzeug beispielsweise über eine bestimmte Strecke rückwärts fahren wird. Daraus oder anstatt dazu kann wiederum geschlossen werden, dass das Kraftfahrzeug zukünftig einen spezifischen Lenkwinkel einstellen wird und/oder eine spezifische Änderung des Lenkwinkels auftreten wird. Selbiges kann anhand weiterer Parameter, wie beispielsweise der Geschwindigkeit oder einem Betätigen einer Bremse etc. erfolgen. Im Hinblick auf die Angaben für zukünftige Parameter oder Einflussfaktoren sind die oben genannten Erläuterungen daher nur beispielhaft zu verstehen.
Wesentlich ist es insbesondere, dass das Bild beziehungsweise das Gesamtbild nicht nur durch ein reales Bild einer realen Kamera gebildet ist und somit auch einer Anzeigeeinheit das reale Bild nur einer Kamera und gegebenenfalls übergeblendet oder überlappungsfrei daneben das wiederum einzelne Realbild einer weiteren realen Kamera angezeigt wird. Sondern dass das Bild beziehungsweise das Gesamtbild aus einer Mehrzahl von Realbildern einer Mehrzahl von realen Kameras als quasi einziges gemeinsames Gesamtbild erzeugt wird und in diesem Bild dann zusätzlich ein als solches erkennbares individuelles Bildfenster dargestellt wird, insbesondere überlagert dargestellt wird. Das Bildfenster ist somit nicht neben dem Gesamtbild und insbesondere überlappungsfrei mit dem Gesamtbild angezeigt, sondern innerhalb der Fläche des Gesamtbilds dargestellt, insbesondere vollständig innerhalb dieses Gesamtbildes dargestellt.
Neben den oben genannten vorteilhaften Ausführungen, dass sich beispielsweise die Größe und/oder die Position des Bildfensters in dem Bild ändern kann, kann auch ein Vergrößerungsfaktor und somit ein Zoomfaktor im Bildfenster verändert werden. Auch dies kann anhand der oben genannten beispielhaften und nicht abschließenden Parameter und/oder Einflussfaktoren erfolgen. Darüber hinaus können sich auch die Helligkeit und/oder der Kontrast dieser Bildfenster abhängig von den genannten Parametern und/oder Einflussfaktoren individuell verändern.
Des Weiteren kann es vorteilhaft sein, dass dann, wenn in dem Bildfenster kritische Situationen dargestellt werden, beispielsweise ein Abstand zu einem Objekt zum Umgebungsbereich des Kraftfahrzeugs verändert wird, insbesondere derart verkleinert wird, dass beispielsweise eine Kollision auftreten könnte, ein entsprechendes Warnsymbol in dem Bildfenster angezeigt wird. Zusätzlich oder anstatt dazu kann vorgesehen sein, dass das Bildfenster diesbezüglich eine Farbänderung erfährt und/oder ein Blinken des Bildfensters in dem Bild auftritt. Ebenso könnte zusätzlich oder anstatt dazu vorgesehen sein, dass ein Begrenzungsrand des Bildfensters sich entsprechend darstellt. Dies bedeutet, dass sich ein entsprechender Rahmen einblenden könnte, der eine individuelle Farbgebung aufweist, beispielsweise rot oder gelb. Diesbezüglich könnte dann auch ein derartiger Rahmen dynamisch blinken. Die Frequenz des Blinkens und/oder die farbliche Änderung und/oder die Helligkeit dieses Warnhinweises könnten mit zunehmender Wahrscheinlichkeit eines kritischen Zustands größer werden.
Es kann vorgesehen sein, dass die Darstellung des Bildfensters in dem Bild beziehungsweise in dem Gesamtbild aktiviert und deaktiviert werden kann. Dies kann manuell durch einen Nutzer erfolgen. Es kann jedoch auch vorgesehen sein, dass abhängig von Umgebungssituationen und/oder Fahrsituationen des Kraftfahrzeugs dieses Aktivieren oder Deaktivieren dieses Bildfensters erfolgt. Es kann auch vorgesehen sein, dass in einer vorteilhaften Ausführung zumindest zwei Bildfenster als separate und überlappungsfrei in dem Bild angezeigte Bildfenster dargestellt werden. In dem Zusammenhang kann ein Teilbereich des Umgebungsbereichs in einer zweiten Perspektive dargestellt werden und ein weiterer, insbesondere dazu unterschiedlicher, Teilbereich kann in einer zur ersten und zur zweiten Perspektive unterschiedlichen dritten Perspektive in dem zweiten Bildfenster dargestellt werden. Ebenso ist es auch möglich, dass zumindest drei separate Bildfenster, die überlappungsfrei in dem Bild dargestellt werden, angezeigt werden. So ist es in dem Zusammenhang dann auch möglich, dass insbesondere drei separate Spiegelbilder, die somit reflektierte Bilder sind, angezeigt werden. So könnte in einem Bildfenster, das vor dem und rechtsseitig zum Kraftfahrzeug im Bild angezeigt wird, der rechts von einem Kraftfahrzeug liegende seitliche Teilbereich und/oder ein rückwärtiger Bereich des Kraftfahrzeugs als Spiegelbild angezeigt werden. In einem linksseitig zum Kraftfahrzeug und vor dem Kraftfahrzeug im Bild angezeigten weiteren Bildfenster könnte der linksseitige Teilbereich des Umgebungsbereichs und/oder ein hinter dem Kraftfahrzeug befindlicher Teilbereich des Umgebungsbereichs angezeigt werden. In einem im Bild mittig vor dem Kraftfahrzeug befindlichen dritten Bildfenster könnte ein Spiegelbild des vor dem Kraftfahrzeug liegenden Teilbereichs des Umgebungsbereichs oder des hinter dem Kraftfahrzeug befindlichen Teilbereichs des Umgebungsbereichs angezeigt werden.
Vorzugsweise wird die Position und/oder Orientierung des Bildfensters in dem Bild abhängig von der mit dem Bildfenster anzuzeigenden zweiten Perspektive gewählt und eine entsprechende Anzeige des Bildfensters wird im Bild durchgeführt. Das intuitive Verständnis der auf dem Bildfenster angezeigten Information wird dadurch nochmals verbessert.
Ein weiterer Aspekt betrifft ein Computerprogrammprodukt zum Ausführen eines Verfahrens gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausführung davon, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt ist.
Darüber hinaus betrifft ein weiterer Aspekt der Erfindung ein Anzeigesystem für ein Kraftfahrzeug. Das Anzeigesystem weist zumindest eine Auswerteeinheit und eine Anzeigeeinheit auf und weist darüber hinaus eine Mehrzahl von realen Kameras auf. Das Anzeigesystem ist dazu ausgebildet, ein Verfahren gemäß dem oben genannten Aspekt oder einer vorteilhaften Ausgestaltung davon auszuführen.
Des Weiteren betrifft ein Aspekt der Erfindung ein Kraftfahrzeug mit einem derartigen Anzeigesystem.
Die mit Bezug auf das Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für das Computerprogrammprodukt, das Anzeigesystem sowie für das Kraftfahrzeug.
Mit den Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“, „Tiefenrichtung“, „Breitenrichtung“, „Höhenrichtung“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der virtuellen Kamera oder der realen Kamera oder dem Kraftfahrzeug gegebenen Positionen und Orientierungen angegeben.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert.
Dabei zeigen:

1 eine schematische Draufsicht auf ein Ausführungsbeispiel eines Kraftfahrzeugs mit einem Ausführungsbeispiel eines Anzeigesystem;
2 eine schematische Darstellung einer virtuellen Anordnung einer virtuellen Kamera in einem Umgebungsbereich des Kraftfahrzeugs mit einer symbolhaften Darstellung eines Bildfensters;
3 eine schematische Darstellung einer virtuellen Anordnung einer virtuellen Kamera in einem Umgebungsbereich des Kraftfahrzeugs mit einer weiteren symbolhaften Darstellung eines Bildfensters;
4 eine schematische Darstellung eines Bilds mit zwei Bildfenstern, wie es auf einer Anzeigeeinheit dargestellt sein kann;
5 eine weitere schematische Darstellung eines Bilds mit drei Bildfenstern, wie es auf einer Anzeigeeinheit dargestellt sein kann,
6 eine weitere schematische Darstellung eines Bilds mit zwei Bildfenstern, wie es bei einem Parkvorgang eines Kraftfahrzeugs auf einer Anzeigeeinheit dargestellt sein kann; und
7 eine weitere schematische Darstellung eines Bilds mit zwei Bildfenstern, wie es bei einem weiteren Parkvorgang eines Kraftfahrzeugs auf einer Anzeigeeinheit dargestellt sein kann.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.
In 1 ist schematisch eine Draufsicht auf ein Kraftfahrzeug 1 mit einem Anzeigesystem 2 gemäß einer Ausführungsform der Erfindung dargestellt. Das Anzeigesystem 2 weist im Ausführungsbeispiel eine Auswerteeinheit 3 und eine Anzeigeeinheit 4 auf. Weiterhin weist das Anzeigesystem 2 im Ausführungsbeispiel eine erste reale Kamera 5, eine zweite reale Kamera 6, eine dritte reale Kamera 7 und eine vierte reale Kamera 8 auf. Gemäß dem Ausführungsbeispiel ist die erste reale Kamera 5 an einer Front 9 des Kraftfahrzeugs 1 angeordnet, die zweite reale Kamera 6 ist an einer rechten Seite 10 des Kraftfahrzeugs 1 angeordnet, die dritte reale Kamera 7 ist an einem Heck 11 des Kraftfahrzeugs 1 angeordnet und die vierte reale Kamera 8 ist an einer linken Seite 12 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der realen Kameras 5, 6, 7, 8 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass das Kraftfahrzeug 1 und/oder ein Umgebungsbereich 13 des Kraftfahrzeugs 1 zumindest teilweise erfasst werden kann.
Die realen Kameras 5, 6, 7, 8 weisen insbesondere einen weiten Erfassungsbereich, welcher beispielsweise größer als 180° sein kann, auf. Der weite Erfassungsbereich kann jeweils beispielsweise durch eine Fischaugenlinse eines Objektivs der realen Kamera 5, 6, 7, 8 bereitgestellt werden. So kann das Anzeigesystem 2 beispielsweise als Umfeldsichtsystem (CMS - camera monitoring system) oder elektronischer Rückspiegel ausgebildet sein oder als ein weiteres Fahrerassistenzsystem des Kraftfahrzeugs 1 ausgebildet sein, bei welchem der Umgebungsbereich 13 zumindest teilweise erfasst wird.
Die realen Kameras 5, 6, 7, 8 können CMOS-Kamera (complementary metal-oxide semiconductor) oder CCD-Kameras (charge coupled device) oder auch andere Bilderfassungseinrichtungen sein, welche ein Einzelbild von dem Umgebungsbereich 13 und/oder dem Kraftfahrzeug 1 bereitstellen können. Die realen Kameras 5, 6, 7, 8 sind insbesondere Videokameras, welche kontinuierlich eine Bildsequenz von Einzelbildern bereitstellen. Die Auswerteeinheit 3 verarbeitet die Bildsequenz der Einzelbilder dann beispielsweise in Echtzeit. Die Auswerteeinheit 3 kann beispielsweise innerhalb der jeweiligen realen Kamera 5, 6, 7, 8 oder innerhalb der Anzeigeeinheit 4 angeordnet sein. Die Auswerteeinheit 3 kann aber auch außerhalb der jeweiligen Kamera 5, 6, 7, 8 oder der Anzeigeeinheit 3 an einer beliebigen anderen Position innerhalb des Kraftfahrzeugs 1 angeordnet sein und somit als zur realen Kamera 5, 6, 7, 8 und zur Anzeigeeinheit 4 separaten Einheit ausgebildet sein.
Die Anzeigeeinheit 4 kann beispielsweise als Flüssigkristallanzeige (LCD - liquid crystal display) ausgebildet sein. Die Anzeigeeinheit 4 kann vielfältig in dem Kraftfahrzeug 1 angeordnet sein, vorzugsweise allerdings so, dass ein Nutzer des Kraftfahrzeugs 1 einen hindernisfreien Blick auf die Anzeigeeinheit 4 richten kann.
Durch die realen Kameras 5, 6, 7, 8 wird eine Mehrzahl von Realbildern aufgenommen. Die Realbilder zeigen den Umgebungsbereich 13 zumindest teilweise aus der Perspektive der jeweiligen realen Kamera 5, 6, 7, 8. Vorzugsweise werden die Realbilder zumindest teilweise überlappend aufgenommen.
2 zeigt eine virtuelle Anordnung einer virtuellen Kamera 14 in dem Umgebungsbereich 13 des Kraftfahrzeugs 1. Die virtuelle Kamera 14 kann vielfältig in dem Umgebungsbereich 13 angeordnet werden. Vorzugsweise wird die virtuelle Kamera 14 an vorgegebenen virtuellen Kamerapositionen 15, insbesondere der Schalenform des Bilds, angeordnet, wobei das Kraftfahrzeug 1 an einem Boden 30 der Schalenform angezeigt wird. Abhängig von der jeweiligen virtuellen Kameraposition 15 der virtuellen Kamera 14 und deren Ausrichtung wird die Perspektive der virtuellen Kamera 14 auf den Umgebungsbereich 13 und/oder das Kraftfahrzeug 1 bestimmt. Die Perspektive der virtuellen Kamera 14 kann beispielsweise in Echtzeit beziehungsweise innerhalb einer vorbestimmten Rechenzeit angepasst werden.
In 2 ist auch zu erkennen, dass die virtuelle Kamera 14 hier im Ausführungsbeispiel die Kameraposition 15 aufweist, die schräg von hinten nach vorne blickt, sodass hier eine erste Perspektive vorhanden ist, die diese Blickrichtung beziehungsweise diese Orientierung hat. Es sei hier nochmals erwähnt, dass diese Darstellung nur beispielhaft ist und vielfältigste andere Kamerapositionen 15 der virtuellen Kamera 14 möglich sind.
Bei der in 2 gezeigten Ausführung ist ein Teilbereich des Umgebungsbereichs 13, der linksseitig vom Kraftfahrzeug 1 sich befindet, nur teilweise oder gar nicht mit der virtuellen Kamera 14 einsehbar. Um insbesondere auch diesen Teilbereich linksseitig vom Kraftfahrzeug 1 bei der beispielhaften Darstellung in 2 darstellen zu können, ist in der gezeigten Ausführung vorgesehen, dass beispielsweise eine weitere virtuelle Kamera 16 an einer Kameraposition 15 virtuell angeordnet wird, die unterschiedlich zur Kameraposition 15 der ersten virtuellen Kamera 14 ist. Die weitere virtuelle Kamera 16 ist derart orientiert, dass der Umgebungsbereich 13 in einer zweiten Perspektive gezeigt wird, die unterschiedlich zur ersten Perspektive der ersten virtuellen Kamera 14 ist. Im gezeigten Beispiel ist dies die zweite Perspektive der zweiten virtuellen Kamera 16 im linksseitigen Bereich des Kraftfahrzeugs 1 und mit Blickrichtung nach hinten und somit hier im Wesentlichen in entgegengesetzter Richtung zur Orientierung des Kraftfahrzeugs 1 gerichtet.
Auch hier kann die zweite virtuelle Kamera 16 auch in einer zu 2 unterschiedlichen Kameraposition angeordnet sein, wobei jedoch stets die zweite Perspektive unterschiedlich zur ersten Perspektive ist.
Auf der Anzeigeeinheit 4 wird bei einer derartigen Ausgestaltung ein Bild dargestellt, welches aus mehreren Realbildern von mehreren realen Kameras 5, 6, 7 und 8 erzeugt wird, und zwar als einheitlich gesamtes Bild beziehungsweise als Gesamtbild. In diesem Gesamtbild wird innerhalb des Flächenbereichs dieses Bildes ein kleineres Bildfenster dargestellt. In diesem Bild, welches aus der Perspektive der ersten virtuellen Kamera 14 gezeigt wird, wird somit ein kleineres Bildfenster 17 dargestellt, welches die zweite Perspektive und somit die Perspektive der hier vorzugsweise gezeigten zweiten virtuellen Kamera 16 darstellt. Auf der Anzeigeeinheit 4 wird somit gleichzeitig die Bildinformation angezeigt, bei welcher in dem Bild mit der ersten Perspektive gleichzeitig ein kleineres Bildfenster 17 mit der zweiten Perspektive angezeigt ist.
Das Bildfenster 17 ist in 2 lediglich symbolhaft zum besseren Verständnis dargestellt, da in 2 grundsätzlich nur die Schalenform des Bilds mit der Position des Kraftfahrzeugs 1 in diesem Bild gezeigt ist und darüber hinaus beispielhafte Kamerapositionen 15 für die virtuellen Kameras 14 und 16 dargestellt sind.
Angedeutet ist in 2 jedoch bereits ein Beispiel dieses Bildfensters 17, welches in einem Wandbereich 18 der Schalenform dargestellt ist. Symbolhaft ist in 2 auch die diesbezügliche Krümmung beziehungsweise Verzerrung des Bildfensters 17 gezeigt, welches durch die Krümmung beziehungsweise Verzerrung des Wandbereichs 18 gegeben ist. Es kann auch eine zu der Krümmung des Wandbereichs 18 unterschiedliche Krümmung des Bildfensters 17 vorgesehen sein.
Insbesondere ist das Bildfenster 17 als Spiegel ausgebildet, sodass die Darstellung des Teilbereichs des Umgebungsbereichs 13, welcher in dem Bildfenster 17 dargestellt ist, als reflektiertes Bild eines Spiegels dargestellt wird. Bei der hier gezeigten Ausführung wird somit ein Spiegelbild erzeugt, welches von einem Spiegel gebildet werden würde, der an der Kameraposition 15, hier der weiteren virtuellen Kamera 16, angeordnet werden würde.
Bei der Darstellung in 2 ist dieses Bildfenster 17 als in die Schalenform des Bilds eingebetteter Bereich dargestellt.
In 3 ist ein weiteres Ausführungsbeispiel gezeigt, bei welchem das Bildfenster 17 nicht als gekrümmter Bildbereich dargestellt ist, sondern als ebener Bildbereich. Auch hier ist vorzugsweise ein Spiegelbild gebildet, wobei dieses Spiegelbild bei dieser Darstellung in 3 quasi als ebener Spiegel realisiert ist.
Insbesondere ist vorgesehen, dass die Darstellung des Bilds zweidimensional oder dreidimensional sein kann.
In 4 ist in einer beispielhaften Darstellung ein Bild 19 gezeigt, wie es auf der Anzeigeeinheit 4 angezeigt sein kann. Das Bild 19 ist aus einer Mehrzahl von Realbildern der realen Kameras 5, 6, 7 und 8 erzeugt. Bei der Darstellung in 4 ist die virtuelle Kamera 14, die die erste Perspektive darstellt, insbesondere an der Kameraposition 15a, wie sie in 2 und 3 beispielhaft gezeigt ist, angeordnet. In 4 ist im Umgebungsbereich 13 ein Parkbereich 20, der als Parkzone ausgebildet ist, gezeigt. Benachbart zu diesem Parkbereich 20 sind weitere Parkbereiche 21 und 22 gezeigt, in denen Kraftfahrzeuge 23 und 24 abgestellt sind. Das Kraftfahrzeug 1 soll in einem Parkvorgang in die Parkzone beziehungsweise den Parkbereich 20 eingeparkt werden. Wie in 4 zu erkennen ist, ist das Kraftfahrzeug 1 mit seiner Fahrzeuglängsachse A schräg zur Orientierung der Längsparklücke, die der Parkbereich 20 darstellt, orientiert. Bei der Darstellung in 4 ist der Parkvorgang bereits gestartet und das Kraftfahrzeug 1 parkt durch ein Rückwärtsfahren in den Parkbereich 20 ein. Durch die Kameraposition 15a wird eine Perspektive erzeugt, bei welcher der linksseitige Bereich des Kraftfahrzeugs 1 vollständig und bestmöglich eingesehen werden kann. Nicht oder nur teilweise eingesehen werden kann der rechts von dem Kraftfahrzeug 1 (bei Blick in Richtung der Fahrzeuglängsachse A) ausgebildete Teilbereich des Umgehungsbereichs 13. Bei dem hier gezeigten Ausführungsbeispiel ist vorzugsweise vorgesehen, dass ein Bildfenster 17 als Spiegelbild in dem Bild 19 erzeugt wird, welches ein Spiegelbild darstellt, in dem der rechts vom Kraftfahrzeug 1 befindliche Teilbereich des Umgehungsbereichs 13 angezeigt wird. Vorzugsweise wird auch ein Teilbereich hinter dem Kraftfahrzeug 1 durch dieses Spiegelbild im Bildfenster 17 noch mit angezeigt. Durch die Position des Bildfensters 17 im Bild 19 rechtsseitig vor dem Kraftfahrzeug 1 wird in dem Spiegelbild im Bildfenster 17 vorzugsweise der Teilbereich des Umgebungsbereichs 13 seitlich vom Kraftfahrzeug 1 gezeigt, der sich über die gesamte Länge dieser rechten Seite des Kraftfahrzeugs 1 befindet. Es wird in einem derartigen Bildfenster 17 daher eine umfänglichere spiegelbildliche Darstellung gezeigt, als wenn der Fahrer in einem an der rechten Außenseite angeordneten Seitenspiegel 25 blicken würde. Es kann jedoch auch vorgesehen sein, dass das Bildfenster 17 ein Spiegelbild zeigt, welches einem virtuellen Seitenspiegel 25 entspricht oder im Wesentlichen entspricht.
Durch das Bildfenster 17, insbesondere die Position und die Größe, kann im Vergleich dazu vorzugsweise jedoch ein wesentlich größerer Ausschnitt als Teilbereich des Umgehungsbereichs 13, insbesondere rechtsseitig zum Kraftfahrzeug 1 dargestellt werden. Vorzugsweise wird das Bildfenster 17 als Teilbild aus einer Mehrzahl von Realbildern der realen Kameras 5 und/oder 6 und/oder 7 und/oder 8 erzeugt. Insbesondere ist hier ein virtuelles Bild als Bildfenster 17 gezeigt, welches durch eine weitere Kameraposition 15b, wie es in 2 und 3 beispielhaft eingezeichnet ist, erzeugt wird. An dieser Kameraposition 15b ist vorzugsweise eine virtuelle Kamera angeordnet, durch welche eine entsprechende zweite Perspektive gebildet ist, durch welche dieses Spiegelbild dargestellt wird.
Es kann in einer vorteilhaften Ausführung vorgesehen sein, dass in dem Bild 19 zusätzlich und gleichzeitig ein zum ersten Bildfenster 17 separates weiteres Bildfenster 26 dargestellt wird. Dieses zweite Bildfenster 26 ist überlappungsfrei mit dem ersten Bildfenster 17 angeordnet. Das Bildfenster 27, welches ebenfalls ein kleiner Bildausschnitt ist, der vollständig innerhalb der Fläche des Bildes 19 angezeigt wird, kann eine zusätzliche genauere Darstellung des linksseitigen Teilbereichs des Umgehungsbereichs 13 zum Kraftfahrzeug 1 angezeigt werden. Dies wäre beispielsweise durch die zweite virtuelle Kamera 16, wie sie in 2 und 3 dargestellt ist, gegeben.
Wie bereits oben dargelegt, kann in vorteilhafter Weise die Position eines Bildbereichs 17, 26 abhängig von verschiedensten Parametern und/oder Einflussfaktoren sein, die beispielhaft oben genannt wurden, und hier nicht nochmals wiederholt werden sollen.
In 5 ist in einem weiteren Ausführungsbeispiel ein Bild 19 gezeigt, welches aus einer Mehrzahl von Realbildern der realen Kameras 5, 6, 7, 8 erzeugt wird. Beispielhaft ist auch hier eine erste Perspektive gezeigt, die durch eine virtuelle Kamera 14 erzeugt wird, die an der Kameraposition 15a gemäß den Darstellungen in 2 und 3 positioniert ist.
Bei dieser Ausführung sind im Unterschied zu 4 drei separate Bildfenster 17, 26 und 27 in dem Bild 19 gezeigt, die vorzugsweise alle als Spiegelbilder dargestellt sind. Die Spiegelbilder in diesen Bildfenstern 17, 26 und 27 zeigen hier Teilbereiche des Umgebungsbereichs 13, die rechtsseitig vom Kraftfahrzeug 1, linksseitig vom Kraftfahrzeug 1 und von vorne entgegen der Fahrzeuglängsachse A geblickt einen Teilbereich des Umgebungsbereichs 13 darstellen. Beispielhaft und zum besseren Verständnis ist in dem Spiegelbild im Bildfenster 17 das zum Kraftfahrzeug 1 benachbarte weitere Kraftfahrzeug 28 gezeigt, welches im Realen in die gleiche Fahrtrichtung orientiert ist wie das Kraftfahrzeug 1, jedoch im Spiegelbild für einen Betrachter von vorne dargestellt und gesehen wird.
Es kann vorgesehen sein, dass in einem derartigen Spiegelbild das eigene Kraftfahrzeug 1 spiegelbildlich oder auch nicht spiegelbildlich dargestellt ist. In 5 ist beispielhaft eine Darstellung gezeigt, bei der das eigene Kraftfahrzeug 1 nicht als Spiegelbild dargestellt ist und schräg von oben gezeigt wird. In 2 und 3 sind mit den Kamerapositionen 15c beispielhafte Ausführungen gezeigt, bei denen weitere, insbesondere virtuelle, Kameras vorhanden sein können, um das Bildfenster 27 mit der entsprechenden spiegelbildlichen Darstellung zu ermöglichen, wobei hier dann diese Perspektive der weiteren virtuellen Kamera 29 ermöglicht sind.
Lediglich der Übersichtlichkeit dienend sind in den Bildfenstern 26 und 27 in 5 keine Szene des Umgebungsbereichs 13 dargestellt. Das gleiche gilt für die Bildfenstern 17 und 26 in 4.
Vorzugsweise wird vorgesehen, dass zur Erzeugung eines Spiegelbilds ein Ray-Tracing-Verfahren durchgeführt wird, mit welchem die reflektierten Lichtstrahlen abgebildet werden, sodass ein entsprechendes Spiegelbild entsteht und angezeigt wird. Es kann auch vorgesehen sein, dass beispielsweise in dem Bildfenster 27, welches zentral mittig vor dem Kraftfahrzeug 1 im Bild 19 angezeigt wird, nur ein Teilbereich des Umgebungsbereichs 13 hinter dem Kraftfahrzeug 1 gezeigt wird. Dies kann ein virtuelles Spiegelbild sein, kann jedoch auch beispielsweise ein Realbild der realen Kamera 7 sein.
Entsprechend kann zusätzlich oder anstatt dazu in dem Bildfenster 17 und/oder 26 ein, wie bereits oben erläutert, virtuelles Bild des seitlichen Teilbereichs des Umgehungsbereichs 13 zum Kraftfahrzeug 1 dargestellt werden. Es kann jedoch auch in dem Bildfenster 17 ein Realbild nur der Kamera 6 angezeigt sein. Ebenso kann vorgesehen sein, dass in dem Bildfenster 26 ein virtuelles Bild als Spiegelbild oder ein Realbild nur der Kamera 8 dargestellt wird. Ebenso ist es möglich, dass bei mehreren Bildfenstern in einem dieser Bildfenster ein virtuelles Spiegelbild erzeugt wird und in einem anderen dieser Bildfenster ein reales Bild einer einzigen realen Kamera dargestellt wird. Wesentlich ist in dem Zusammenhang auch immer, dass die Perspektive der virtuellen Kamera, die das Bild 19 erzeugt, und die in dem zumindest einen Bildfenster dargestellte Szenerie unterschiedlich sind. Wesentlich ist auch, dass das Bild 19 jeweils aus mehreren Realbildern von mehreren realen Kameras 5, 6, 7 und 8 erzeugt wird und in dem Zusammenhang dann die Kameraposition einer virtuellen Kamera 14 für dieses Bild 9 zugrundegelegt wird. Zusätzlich ist es möglich, dass alternativ zu den dreidimensionalen perspektivischen Darstellungen, wie sie in 4 und 5 schematisch dargestellt und erläutert wurden, ein Bild 19 auch als zweidimensionale Ansicht dargestellt werden kann, beispielsweise als komplette Vogelperspektive oder komplett seitlich zu dem Kraftfahrzeug 1.
In 6 ist eine Darstellung gezeigt, bei welcher ein Bild 19 auf einer Anzeigeeinheit 4 angezeigt ist. Das Kraftfahrzeug 1 führt einen Parkvorgang aus. In dem Bild 19 ist eine Perspektive der virtuellen Kamera 14 gezeigt, die aus dem Inneren des Kraftfahrzeugs 1 nach vorne in den vorderen Umgebungsbereich 13 gerichtet ist. In dem Bild 19 sind als Beispiel zwei kleinere Bildfenster 17 und 26 gezeigt, die jeweils eine dazu unterschiedliche Perspektive aufweisen. In dem Bildfenster 26 ist eine Darstellung des Umgebungsbereichs 13 linksseitig zum Kraftfahrzeug 1 und nach hinten gerichtet gezeigt. Ein weiteres Kraftfahrzeug 24 ist in dem Bildfenster 26 zu erkennen. Das weitere Kraftfahrzeug 24 ist in dem Bild 19 nicht zu erkennen. In dem Bildfenster 17 ist eine Darstellung des Umgebungsbereichs 13 rechtsseitig zum Kraftfahrzeug 1 und nach hinten gerichtet gezeigt. Insbesondere sind beide Bildfenster 17 und 26 Spiegelbilder.
In 7 ist eine Darstellung gezeigt, bei welcher ein Bild 19 auf einer Anzeigeeinheit 4 angezeigt ist. Das Kraftfahrzeug 1 führt einen Parkvorgang aus. In dem Bild 19 ist eine Perspektive der virtuellen Kamera 14 von außerhalb des Kraftfahrzeugs 1 gezeigt. Insbesondere ist die virtuelle Kamer 14 hinter dem Kraftfahrzeug 1 und oberhalb von diesem Kraftfahrzeug 1 angeordnet. In dem Bild 19 sind als Beispiel zwei kleinere Bildfenster 17 und 26 gezeigt, die jeweils eine dazu unterschiedliche Perspektive aufweisen. In dem Bildfenster 26 ist eine Darstellung des Umgebungsbereichs 13 linksseitig zum Kraftfahrzeug 1 und nach hinten gerichtet gezeigt.
Ein weiteres Kraftfahrzeug 24 ist in dem Bildfenster 26 zu erkennen. Das weitere Kraftfahrzeug 24 ist auch in dem Bild 19 zu erkennen. In dem Bildfenster 17 ist eine Darstellung des Umgebungsbereichs 13 rechtsseitig zum Kraftfahrzeug 1 und nach hinten gerichtet gezeigt. Insbesondere sind beide Bildfenster 17 und 26 Spiegelbilder.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102015105529 A1 [0002]
DE 102013013364 A1 [0005]
US 2011/0032357 A1 [0006]

Claims

Verfahren zum Darstellen eines Umgebungsbereichs (13) eines Kraftfahrzeugs (1) in einem Bild (19), bei welchem durch eine Mehrzahl von realen Kameras (5, 6, 7, 8) des Kraftfahrzeugs (1) Realbilder des Umgebungsbereichs (13) aufgenommen werden und aus diesen Realbildern das Bild (19) erzeugt wird, welches den Umgebungsbereich (13) zumindest teilweise darstellt, wobei das Bild (19) aus einer Perspektive einer virtuell angeordneten virtuellen Kamera (14) dargestellt wird, dadurch gekennzeichnet, dass in dem Bild (19) zumindest ein Bildfenster (17, 26, 27) dargestellt wird, wobei in dem Bildfenster (17, 26, 27) nur ein Teilbereich des Umgebungsbereichs (13) dargestellt wird, und dieser Teilbereich in einer zweiten Perspektive dargestellt wird, die unterschiedlich zur ersten Perspektive der virtuellen Kamera (14) ist.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die zweite Perspektive derart eingestellt wird, dass in dem Bildfenster (17, 26, 27) als Teilbereich des Umgebungsbereichs (13) der seitlich zum Kraftfahrzeug (1) gelegene Umgebungsbereich und/oder der hinter dem Kraftfahrzeug (1) gelegene Umgebungsbereich (13) dargestellt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bildfenster (17, 26, 27) als reflektiertes Bild eines Spiegels erzeugt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das reflektierte Bild eines Spiegels als virtuelles Spiegelbild erzeugt wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das virtuelle Spiegelbild aus Realbildern von mehreren der realen Kameras (5, 6, 7, 8) erzeugt wird und die zweite Perspektive als eine Perspektive einer zweiten virtuellen Kamera (16, 29) bestimmt wird oder das virtuelle Spiegelbild durch ein Ray-Tracing-Verfahren bestimmt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass als Spiegelbild ein Realbild einer der realen Kameras (5, 6, 7, 8) dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche 3 bis 6, dadurch gekennzeichnet, dass das Kraftfahrzeug (1) zumindest teilweise in dem Spiegelbild dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bild (19) als Schalenform erzeugt wird, und das Kraftfahrzeug (1) am Boden (30) der Schalenform dargestellt wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Bildfenster (17, 26, 27) in einem gekrümmten Wandbereich (18) der Schalenform dargestellt wird und die Krümmung des Bildfensters (17, 26, 27) an die Krümmung des Wandbereichs (18) angepasst wird.
Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass das Bildfenster (17, 26, 27) als Ebene in dem Bild (19) angezeigt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Größe des Bildfensters (17, 26, 27) und/oder eine Form des Bildfensters (17, 26, 27) und/oder ein Rahmen des Bildfensters (17, 26, 27) und/oder ein Vergrößerungsfaktor des im Bildfenster (17, 26, 27) dargestellten Teilbereichs des Umgebungsbereichs (13) abhängig von der ersten Perspektive und/oder von einer Veränderung der ersten Perspektive und/oder von einer Orientierung des Kraftfahrzeugs (1) und/oder einer Bewegung des Kraftfahrzeugs (1) und/oder einer Bewegungsrichtung des Kraftfahrzeugs (1) und/oder von der Anzahl von Bildfenstern (17, 26, 27) und/oder von einer Position eines weiteren Bildfensters (17, 26, 27) im Bild (19) und/oder von der Krümmung einer Schalenform des Bilds (19) erzeugt oder verändert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Position des Bildfensters (17, 26, 27) im Bild (19) abhängig von einer Veränderung der ersten Perspektive und/oder von einer Veränderung einer Orientierung des Kraftfahrzeugs (1) und/oder einer Veränderung einer Bewegung des Kraftfahrzeugs (1) und/oder einer Veränderung einer Bewegungsrichtung des Kraftfahrzeugs (1) und/oder von einer Veränderung einer Anzahl von Bildfenstern (17, 26, 27) und/oder von einer Veränderung einer Position eines weiteren Bildfensters (17, 26, 27) im Bild (19) und/oder von der Veränderung einer Krümmung einer Schalenform des Bilds (19) verändert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zweite Perspektive abhängig von der ersten Perspektive und/oder der Orientierung des Kraftfahrzeugs (1) und/oder einer Bewegungsrichtung des Kraftfahrzeugs (1) bestimmt wird.
Computerprogrammprodukt, zum Ausführen eines Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogrammprodukt auf einer programmierbaren Computereinrichtung ausgeführt ist.
Anzeigesystem (2) für ein Kraftfahrzeug (1), mit einer Auswerteeinheit (3), einer Anzeigeeinheit (4) und einer Mehrzahl von realen Kameras (5, 6, 7, 8), welches dazu ausgebildet ist, ein Verfahren nach einem der Ansprüche 1 bis 13 auszuführen.