DE102022209182A1

DE102022209182A1 - Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells, Computerprogramm, Rechenvorrichtung und Fahrzeug

Info

Publication number: DE102022209182A1
Application number: DE102022209182.5A
Authority: DE
Inventors: Stefan Nordbruch
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2022-09-05
Filing date: 2022-09-05
Publication date: 2024-03-07

Abstract

Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells (200) eines Fahrzeugs (100), umfassend eine Erfassung (610) von Kamerabildern mittels wenigstens einer Fahrzeugkamera (110), wobei die Kamerabilder einen Teilbereich der Umgebung (190) des Fahrzeugs (100) abbilden; eine Speicherung (620) zumindest eines Bildausschnittes wenigstens eines erfassten Kamerabildes als historische Bildinformation; und eine Darstellung (630) eines virtuellen Umgebungsmodells (200) basierend auf zumindest einem aktuellen Kamerabild und zumindest einem Teil der gespeicherten historischen Bildinformation, wobei eine bildliche Repräsentation (220) des Fahrzeugs (100) aus einem elektronischen Speicher (130) geladen und in das virtuelle Umgebungsmodell (200) eingefügt wird, wobei zusätzlich eine Erkennung (640) einer Fahrsituation des Fahrzeugs (100), und eine Anpassung (650) des virtuellen Umgebungsmodells (200) in Abhängigkeit der erkannten Fahrsituation erfolgt, wobei eine zumindest teilweise transparente Repräsentation (320) des Fahrzeugs (100) aus dem elektronischen Speicher (130) geladen und anstelle der bildlichen Repräsentation (220) in das virtuelle Umgebungsmodell (200) eingefügt oder eine Transparenz der bildlichen Repräsentation (220) des Fahrzeugs (100) in dem virtuellen Umgebungsmodell (200) erhöht wird.

Description

Die vorliegende Erfindung betrifft ein Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells eines Fahrzeugs, wobei das virtuelle Umgebungsmodells in Abhängigkeit einer erkannten Fahrsituation angepasst wird, wobei eine zumindest teilweise transparente Repräsentation des Fahrzeugs anstelle einer bildlichen Repräsentation in das virtuelle Umgebungsmodell eingefügt oder eine Transparenz der bildlichen Repräsentation des Fahrzeugs erhöht wird. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Anzeigeverfahrens auszuführen. Des Weiteren betrifft die Erfindung eine Rechenvorrichtung mit einer Recheneinheit, die so konfiguriert ist, dass sie die Schritte des Anzeigeverfahrens ausführt. Außerdem betrifft die Erfindung ein Fahrzeug mit dieser Rechenvorrichtung.
Stand der Technik
Die Schrift EP 2 257 065 A1 offenbart eine transparente Überlagerung einer Darstellung eines Fahrzeugs auf einem erfassten Kamerabild.
Das Dokument EP 2 512 134 B1 offenbart eine Anzeige von Kamerabildern auf einem Monitor, wobei eine Umwandlung der Perspektive und eine Anzeige eines halbtransparenten Fahrzeugbildes und eines halbtransparenten Reifenbildes erfolgt.
Die Schrift EP 2 660 104 B1 offenbart eine Darstellung eines toten Winkels.
Das Dokument EP 3 129 260 B1 offenbart ein Anzeigeverfahren.
Die Aufgabe der vorliegenden Erfindung ist es, ein Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells für einen Nutzer eines Fahrzeugs zu verbessern.
Offenbarung der Erfindung
Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 10 bis 12 gelöst.
Die vorliegende Erfindung betrifft ein Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells eines Fahrzeugs. Das Anzeigeverfahren umfasst einen Schritt, in welchem Kamerabilder mittels wenigstens einer Fahrzeugkamera erfasst werden, wobei die Kamerabilder mindestens einen Teilbereich der Umgebung des Fahrzeugs abbilden, wobei die Erfassung insbesondere kontinuierlich erfolgt. Die wenigstens eine Fahrzeugkamera ist mit anderen Worten insbesondere dazu eingerichtet, eine Abfolge von Kamerabildern von der Umgebung des Fahrzeugs zu erfassen. Vorteilhafterweise sind mindestens zwei beziehungsweise mehrere Kameras am Fahrzeug angeordnet, wobei diese Fahrzeugkameras vorzugsweise unterschiedliche Teilbereiche der Umgebung erfassen. Besonders bevorzugt umfasst das Fahrzeug wenigstens vier Fahrzeugkameras, wobei die Fahrzeugkameras insbesondere jeweils ein Weitwinkelobjektiv aufweisen, und jeweils wenigstens eine Kamera an jeder Fahrzeugseite angeordnet ist, so dass mittels der vier Fahrzeugkameras die Umgebung des Fahrzeugs außer einem Unterbodenbereich der Umgebung des Fahrzeugs, welcher unterhalb des Fahrzeugs liegt, im Wesentlichen vollständig erfasst wird. In einem weiteren Verfahrensschritt wird zumindest ein Bildausschnitt wenigstens eines der erfassten Kamerabilder der Abfolge als historische Bildinformation gespeichert, insbesondere in einem elektronischen Speicher. Die gespeicherte historische Bildinformation wird vorteilhafterweise im Verfahrensverlauf basierend auf der erfassten Abfolge von Kamerabildern kontinuierlich angepasst, insbesondere erweitert. Mit anderen Worten umfasst die historische Bildinformation vorzugsweise Daten verschiedener Kamerabilder, welche zu unterschiedlichen Zeitpunkten erfasst werden können beziehungsweise erfasst worden sind. Die gespeicherte historische Bildinformation repräsentiert insbesondere zumindest den Nahbereich der Umgebung des Fahrzeugs, vorteilhafterweise insbesondere zumindest denjenigen Teil des Nahbereichs der Umgebung, welcher aktuell und/oder zukünftig nicht mehr von der Kamera oder den Kameras erfasst werden kann, weil er sich unter dem Fahrzeug befindet und/oder im Betrieb in Kürze unter dem Fahrzeug verschwindet, beispielsweise, weil er sich nah am Fahrzeug befindet. Vorteilhafterweise wird der gespeicherten historischen Bildinformation eine Lage relativ zu dem Fahrzeug zugeordnet, wobei die zugeordnete Lage laufend basierend auf Betriebsparametern des Fahrzeugs angepasst wird, wie beispielsweise basierend auf einem Lenkwinkel des Fahrzeugs und/oder der Fahrzeuggeschwindigkeit. Mit anderen Worten wird die Lage der historischen Bildinformation basierend auf der Bewegung des Fahrzeugs laufend aktualisiert. Somit resultiert beispielsweise durch das Verfahren im Betrieb des Fahrzeugs historische Bildinformation im elektronischen Speicher, welche unter anderem wenigstens den nicht in aktuellen Kamerabildern erfassten Unterbodenbereich des Fahrzeugs abbildet, da dieser während der Fahrt des Fahrzeugs vor dem aktuellen Zeitpunkt von einer Fahrzeugkamera bereits erfasst und als historische Bildinformation zu dem Nahbereich gespeichert wurde. In einem weiteren Schritt erfolgt eine Darstellung eines virtuellen Umgebungsmodells des Fahrzeugs, insbesondere aus einer virtuellen Beobachtungsperspektive, basierend auf zumindest einem aktuellen Kamerabild und zumindest einem Teil der gespeicherten historischen Bildinformation, wobei eine bildliche Repräsentation des Fahrzeugs aus einem Speicher geladen und in das virtuelle Umgebungsmodell eingefügt wird. Die bildliche Repräsentation des Fahrzeugs ist zunächst insbesondere nicht transparent. Das aktuelle Kamerabild und die historische Bildinformation sowie die bildliche Repräsentation des Fahrzeugs werden insbesondere auf einer den Boden repräsentierenden Projektionsfläche angezeigt. Beispielsweise wird eine sogenannte Surround View - oder Top Down - Darstellung als virtuelles Umgebungsmodell erzeugt und angezeigt. Des Weiteren wird in einem Verfahrensschritt eine Fahrsituation des Fahrzeugs basierend auf der erfassten Abfolge von Kamerabildern erkannt beziehungsweise ermittelt. Alternativ oder zusätzlich kann die Erkennung der Fahrsituation vorteilhafterweise in Abhängigkeit von erfassten Abstandsdaten erkannt werden. Die Abstandsdaten werden mittels wenigstens eines Abstandssensors erfasst, beispielsweise mittels mindestens einem Ultraschallsensor, einem Radarsensor, einem Lidarsensor, einer Monokamera, beispielsweise der Fahrzeugkamera, wobei Abstände beispielsweise basierend auf den erfassten Kamerabilder der Monokamera durch ein Structure from Motion - Verfahren und/oder basierend auf einer Stereokamera ermittelt werden. Alternativ oder zusätzlich kann die Erkennung der Fahrsituation vorteilhafterweise in Abhängigkeit von bestimmten Positionsdaten des Fahrzeugs erkannt werden, wobei die Positionsdaten beispielsweise durch eine sattelitengestützte Positionsbestimmung (GNSS; GPS) ermittelt werden. Alternativ oder zusätzlich kann die Erkennung der Fahrsituation vorteilhafterweise in Abhängigkeit von erfassten Betriebsparametern des Fahrzeugs erkannt werden, beispielsweise werden als Betriebsparameter die Fahrzeuggeschwindigkeit und/oder die Fahrzeugbeschleunigung und/oder ein Nickwinkel des Fahrzeugs um die Querachse des Fahrzeugs und/oder ein Lenkwinkel des Fahrzeugs und/oder ein eingelegter Gang der Gangschaltung des Fahrzeugs erfasst. Alternativ oder zusätzlich kann die Erkennung der Fahrsituation vorteilhafterweise in Abhängigkeit von einem empfangenen Infrastruktursignal eines Infrastruktursendesystems erkannt werden, wobei das Infrastruktursignal insbesondere eine Fahrsituation, wie eine Baustelle oder einer Engstelle der Fahrbahn, zu einer definierten Position oder einem Kartenbereich repräsentiert. Alternativ oder zusätzlich kann die Erkennung der Fahrsituation vorteilhafterweise in Abhängigkeit von einem empfangenen Serversignal einer Servervorrichtung erkannt werden, wobei das Serversignal insbesondere eine Fahrsituation zu einer definierten Position oder einem Kartenbereich repräsentiert, wie beispielsweise repräsentiert das Serversignal als Fahrsituation eine Baustelle, eine Fahrspurverengung oder eine Engstelle in einem Kartenbereich oder an einer definierten Position. Anschließend wird das virtuelle Umgebungsmodell in Abhängigkeit der erkannten Fahrsituation angepasst, wobei in Abhängigkeit der erkannten Fahrsituation eine zumindest teilweise transparente Repräsentation des Fahrzeugs geladen und anstelle der bildlichen Repräsentation in das virtuelle Umgebungsmodell eingefügt oder eine Transparenz der bildlichen Repräsentation des Fahrzeugs in dem virtuellen Umgebungsmodells erhöht wird. Vorzugsweise erfolgt diese Anpassung des virtuellen Umgebungsmodells in Abhängigkeit der Fahrzeuggeschwindigkeit, beispielsweise nur, wenn die Fahrzeuggeschwindigkeit kleiner oder gleich oder alternativ größer oder gleich einem Geschwindigkeitsschwellenwert ist, insbesondere je nach erkannter Fahrsituation. Durch das Verfahren resultiert der vorteilhafte technische Effekt, dass eine Transparenz der bildlichen Repräsentation oder eine zumindest teilweise transparente Repräsentation des Fahrzeugs in Abhängigkeit der Fahrsituation und optional in Abhängigkeit der Fahrzeuggeschwindigkeit dargestellt wird. Mit anderen Worten wird das Fahrzeug vorteilhafterweise automatisch und nur dann transparent in dem virtuellen Umgebungsmodell dargestellt beziehungsweise angezeigt, wenn dies für die aktuelle Fahrsituation sinnvoll ist, um die Übersicht des Nutzers zu erhöhen und/oder die Steuerung des Fahrzeugs durch den Nutzer zu vereinfachen.
In einer vorteilhaften Ausgestaltung wird als Fahrsituation ein Baustellenbereich erkannt. Der Baustellenbereich wird insbesondere zumindest in Abhängigkeit eines in der erfassten Abfolge von Kamerabildern erkannten Baustellenobjektes erkannt beziehungsweise ermittelt, wobei das erkannte Baustellenobjekt bevorzugt wenigstens jeweils ein Baustellenschild, eine Pylone, eine Leitbake und/oder eine gelbe Fahrbahnmarkierung ist. Bevorzugt werden mindestens zwei beziehungsweise mehrere unterschiedliche Baustellenobjekte gleichzeitig erkannt und in Abhängigkeit der mindestens zwei unterschiedlichen Baustellenobjekte der Baustellenbereich ermittelt. In dieser Ausgestaltung resultiert der Vorteil, dass der Baustellenbereich zuverlässig als aktuelle Fahrsituation des Fahrzeugs erkannt und in dem Baustellenbereich das Fahrzeug in dem virtuellen Umgebungsmodell transparent dargestellt wird, so dass die Übersicht des Nutzers in Baustellenbereichen automatisch verbessert wird.
In einer weiteren Ausgestaltung der Erfindung wird als Fahrsituation eine verengte Fahrbahn für das Fahrzeug erkannt, vorteilhafterweise in Abhängigkeit von den erfassten Kamerabildern, wobei die verengte Fahrbahn insbesondere erkannt wird, wenn ein ermittelter Abstand zwischen zwei bestimmten beziehungsweise in wenigstens einem Kamerabild erkannten Fahrspurbegrenzungen, wie beispielsweise einer Fahrbahnbegrenzungslinie, Leitplanke, Wand, Objekt (z.B. Baken), oder ein ermittelten Abstand zwischen einer Mittellinie der Fahrbahn und dem Rand der Fahrbahn einen Spurbreitenschwellenwert unterschreitet. Beispielsweise kann der Abstand zwischen einer mittleren Fahrspurbegrenzung und einer Leitplanke oder einer Wand oder zwischen zwei Fahrbahnbegrenzungslinien ermittelt werden. Alternativ oder zusätzlich wird die verengte Fahrbahn für das Fahrzeug basierend auf den bestimmten Positionsdaten des Fahrzeugs und/oder basierend auf dem empfangenen Infrastruktursignal und/oder basierend auf dem empfangenen Serversignal erkannt. In dieser Ausgestaltung resultiert der Vorteil, dass die verengte Fahrbahn zuverlässig als aktuelle Fahrsituation des Fahrzeugs erkannt und das Fahrzeug bei einer verengten Fahrbahn in dem virtuellen Umgebungsmodell transparent dargestellt wird, so dass die Übersicht des Nutzers bei einer erkannten verengten Fahrbahn automatisch verbessert wird.
Der Baustellenbereich oder die verengte Fahrbahn können alternativ oder zusätzlich in Abhängigkeit von der bestimmten Position beziehungsweise von Positionsdaten des Fahrzeugs und Kartendaten erkannt beziehungsweise bestimmt werden, beispielsweise, wenn zu einem Bereich einer Karte, in welchem die Position des Fahrzeugs liegt, ein Baustellenbereich oder eine verengte Fahrbahn hinterlegt ist. Es kann alternativ oder zusätzlich vorgesehen sein, dass der Baustellenbereich oder die verengte Fahrbahn in Abhängigkeit eines empfangenen Infrastruktursignals eines Infrastruktursendesystems erkannt wird, wobei das Infrastruktursendesystem in der Nähe oder an der Baustelle oder der verengten Fahrbahn angeordnet ist. Es kann alternativ oder zusätzlich vorgesehen sein, dass der Baustellenbereich oder die verengte Fahrbahn in Abhängigkeit eines empfangenen Serversignal einer Servervorrichtung erkannt wird.
Durch diese Ausgestaltungen resultiert der Vorteil, dass in Baustellenbereichen und/oder bei einer verengten Fahrbahn das Fahrzeug vorteilhafterweise transparent in dem virtuellen Umgebungsmodell dargestellt beziehungsweise angezeigt wird, wodurch in diesen Fahrsituationen der Bereich unter dem Fahrzeug vollständig und übersichtlich sichtbar wird, wodurch beispielsweise die Abstände zu den Begrenzungslinien oder einer mittigen Ausrichtung des Fahrzeugs in einer Fahrspur verbessert durch den Nutzer des Fahrzeugs in der Darstellung des virtuellen Umgebungsmodells erkannt werden kann. Auch die Gesamtsituation wird übersichtlicher in dem virtuellen Umgebungsmodell dargestellt, was die Führung des Fahrzeugs für den Nutzer durch den Baustellenbereich oder die verengte Fahrbahn durch das virtuelle Umgebungsmodell vereinfacht. Die Ausrichtung des Fahrzeugs beziehungsweise der Längsachse des Fahrzeugs zur Mittellinie der Fahrspur oder einer Mittellinie eines Parkplatzes, Abstände zu Randbegrenzungen, wie Leitplanken oder ähnliches, sowie die Abstände zu in benachbarten Fahrspuren fahrenden Fahrzeugen können beispielsweise durch diese Ausgestaltungen besser abgeschätzt werden.
In einer anderen Ausführung wird als Fahrsituation eine prognostizierte Engstelle für das Fahrzeug erkannt. Die Engstelle als Fahrsituation wird vorteilhafterweise basierend auf einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs und wenigstens einem erkannten Objekt in der Umgebung des Fahrzeugs erkannt, wobei die Fahrtrajektorie in Abhängigkeit eines erfassten aktuellen Lenkwinkels und einer erfassten Fahrzeuggeschwindigkeit ermittelt wird. Alternativ oder zusätzlich kann die Engstelle als Fahrsituation basierend auf erfassten Abstandsdaten zwischen dem Fahrzeug und einem erkannten Objekt in der Umgebung des Fahrzeugs erkannt werden, insbesondere, wenn ein erfasster Abstand zwischen dem Fahrzeug oder der prognostizierten Fahrtrajektorie des Fahrzeugs und einem Objekt in der Umgebung des Fahrzeugs kleiner oder gleich einem Abstandsschwellenwert ist. Dabei wird das Objekt jeweils insbesondere in Abhängigkeit der erfassten Kamerabilder und die Engstelle insbesondere zusätzlich in Abhängigkeit der vorgegebenen Abmessungen des Fahrzeugs erkannt, beispielsweise der Breite und der Länge des Fahrzeugs. Durch diese Ausgestaltung resultiert der Vorteil, dass bei einer Engstelle das Fahrzeug transparent in dem virtuellen Umgebungsmodell angezeigt wird, wodurch keine Umgebungsbereiche durch die nicht transparente bildliche Repräsentation des Fahrzeugs in dem virtuellen Umgebungsmodell verdeckt werden. Somit erhält der Nutzer des Fahrzeugs eine verbesserte Übersicht für die Führung des Fahrzeugs an der Engstelle durch das virtuelle Umgebungsmodell. Außerdem kann er mit dem virtuelle Umgebungsmodell dieser Ausführung das Fahrzeug verbessert durch die Engstelle führen.
In einer alternativen Ausgestaltung der Erfindung wird als Fahrsituation ein Ein- oder Ausparkvorgang oder ein Parken in einer Tiefgarage oder eine Bewegung auf einer Rampe einer Tiefgarage erkannt, vorteilhafterweise erfolgt diese Erkennung basierend auf den erfassten Kamerabildern. Alternativ oder zusätzlich kann diese Erkennung in Abhängigkeit eines ermittelten freien Parkplatzes zum Einparken des Fahrzeugs erkannt werden. Der freie Parkplatz zum Einparken des Fahrzeugs wird vorteilhafterweise in Abhängigkeit von erfassten Sensordaten eines Ultraschallsensors, eines Radarsensors, eines Lidarsensors und/oder einer Kamera des Fahrzeugs erkannt beziehungsweise ermittelt, beispielsweise durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Es kann alternativ oder zusätzlich vorgesehen sein, dass die Erkennung basierend auf den bestimmten Positionsdaten des Fahrzeugs und Kartendaten erfolgt, beispielsweise, wenn sich das Fahrzeug auf einem Parkplatz, Parkhaus oder dergleichen befindet beziehungsweise die aktuelle Position des Fahrzeugs in einem Parkbereich liegt. Alternativ oder zusätzlich kann der Ein- oder Ausparkvorgang als Fahrsituation basierend auf dem empfangenen Infrastruktursignal und/oder basierend auf dem empfangenen Serversignal erkannt werden. Durch diese Ausgestaltung resultiert der Vorteil, dass das Fahrzeug beispielsweise während des Ein- oder Ausparkens transparent in dem virtuellen Umgebungsmodell angezeigt wird, so dass der Nutzer einen besseren Überblick zur Führung des Fahrzeugs beim Parken durch das virtuelle Umgebungsmodell erhält, da einerseits die Parkplatzbegrenzungslinien immer leicht in dem virtuellen Umgebungsmodell erkennbar sind, beispielsweise auch beim zeitweisen Überfahren der Parkplatzbegrenzungslinie, und des Weiteren keine Umgebungsbereiche durch eine angezeigte nicht transparente bildliche Repräsentation des Fahrzeugs in dem angezeigten virtuellen Umgebungsmodell verdeckt werden.
In einer bevorzugten Ausgestaltung der Erfindung wird die Transparenz des als Repräsentation in dem virtuellen Umgebungsmodell angezeigten Fahrzeugs kontinuierlich oder stufenweise erhöht, wobei die Zeitspanne beziehungsweise die Geschwindigkeit zur Erhöhung der Transparenz basierend auf der erkannten Fahrsituation und/oder basierend auf den erfassten Abstandsdaten und/oder in Abhängigkeit eines erfassten Betriebsparameters des Fahrzeugs und/oder in Abhängigkeit einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs angepasst wird. Diese Transparenzerhöhung kann vorteilhafterweise durch eine im zeitlichen Verlauf wechselndes Einfügen beziehungsweise wechselnde Anzeige zumindest teilweise transparenter Repräsentationen des Fahrzeugs mit zunehmendem Transparenzniveau oder eine Transparenzerhöhung der eingefügten bildliche Repräsentationen des Fahrzeugs erfolgen. Beispielsweise wird die angezeigte bildliche Repräsentation des Fahrzeugs beim Anfahren in einen Baustellenbereich oder zum Ein - oder Ausparken in einen ermittelten freien Parkplatz langsam transparenter. Dadurch wird vermieden, dass der Nutzer durch einen plötzlichen Ansichtswechsel irritiert wird. Gleichzeitig wird das Verständnis zur Anpassung des virtuellen Umgebungsmodells erhöht, wobei gleichzeitige Perspektivwechsel und zusätzliche Einblendungen von weiteren Informationen vorgesehen sein können. Es wird somit gewährleistet, dass der Nutzer einen besseren und kontinuierlichen sowie jederzeit leicht verständlichen Überblick zur Führung des Fahrzeugs durch das virtuelle Umgebungsmodell erhält.
In einer besonders bevorzugten Weiterführung der Erfindung umfasst die Darstellung des virtuellen Umgebungsmodells basierend auf der erkannten Fahrsituation des Fahrzeugs eine eingeblendete Überlagerung beziehungsweise Einblendung, welche zumindest teilweise unter oder über der zumindest teilweise transparenten Repräsentation des Fahrzeugs oder der transparenten Darstellung der bildlichen Repräsentation des Fahrzeugs angezeigt wird. Die eingeblendete Überlagerung repräsentiert insbesondere eine prognostizierte Trajektorie des Fahrzeugs, und/oder eine erkannte und/oder abgespeicherte Bordsteinkante unter dem Fahrzeug, und/oder Lenkhinweise zur Unterstützung des Spurhaltens, und/oder eine Spurbreite der aktuellen Fahrspur des Fahrzeugs, und/oder eine Spurwechselempfehlung, und/oder einen Hinweis zum Abstand der Längsachse des Fahrzeugs bezüglich der Mittellinie einer Fahrspur oder einer Mittellinie eines Parkplatzes, und/oder eine ermittelte Beurteilung des Verlaufs des Gier- oder Lenkwinkels des Fahrzeugs während einer Gradeausfahrt in der aktuellen Fahrspur, und/oder eine ermittelte Beurteilung des Schwankens des Fahrzeugs um die Querachse des Fahrzeugs, und/oder eine ermittelte Fahrempfehlung für den Nutzer, insbesondere eine empfohlene Fahrtrajektorie und/oder eine empfohlene Fahrgeschwindigkeit, wobei die Fahrempfehlung in Abhängigkeit der erkannten Fahrsituation und/oder der erfassten Abfolge von Kamerabildern ermittelt wird. Durch diese Ausgestaltung resultiert der Vorteil, dass die eingeblendete Überlagerung in dem angezeigten virtuellen Umgebungsmodell intuitiv sehr leicht verständlich wird, da sie beispielsweise unmittelbar dort angezeigt wird, wo der Nutzer die Information gerne hätte, beziehungsweise wohin sein Blick in dieser Fahrsituation beim Betrachten des virtuellen Umgebungsmodells typischerweise gerichtet ist. Der Nutzer gewinnt durch die Information der eingeblendeten Überlagerung eine zusätzliche Unterstützung beim Führen des Fahrzeugs. Somit kann der Nutzer die Fahrsituation besser beziehungsweise schneller einschätzen, wodurch die Führung des Fahrzeugs erleichtert wird. Somit können Unfälle vermieden werden.
In einer anderen optionalen Ausführung wird in einem weiteren Verfahrensschritt eine unterstützende oder automatische Fahrfunktion in Abhängigkeit der erkannten Fahrsituation aktiviert. Die aktivierte Fahrfunktion ist insbesondere eine Spurhalteassistenzfunktion oder eine Notstoppfunktion oder eine Ein- oder Ausparkfunktion des Fahrzeugs. Die aktivierte Fahrfunktion umfasst insbesondere eine Steuerung eines Lenkmotors des Fahrzeugs und/oder eine Steuerung des Antriebsmotors und/oder eine Steuerung der Bremsen des Fahrzeugs. In dieser Ausführung wird der Nutzer vorteilhafterweise nicht nur visuell durch das virtuelle Umgebungsmodell unterstützt, sondern die Führung des Fahrzeugs zumindest teilweise übernommen oder, beispielsweise durch Drehmomentgabe am Lenkrad, unterstützt. In dieser Ausführung kann der Nutzer die unterstützende oder automatische Fahrfunktion durch das angezeigte virtuelle Umgebungsmodell verbessert kontrollieren.
Vorzugsweise kann die Repräsentation des Fahrzeugs in dem virtuellen Umgebungsmodell auch zusätzlich einen Anhänger des Fahrzeugs umfassen. Dadurch wird vorteilhafterweise der Nutzer bei einer Fahrt des Fahrzeugs mit einem Anhänger besonders gut und intuitiv unterstützt. Da die Fahrt mit einem Anhänger, das Ankuppeln und das Abstellen beziehungsweise das Auskuppeln des Anhängers besonders anspruchsvoll sind, ist die automatische Anpassung des virtuellen Umgebungsmodells mit einer transparenten Repräsentation besonders vorteilhaft zur Unterstützung des Nutzers, auch zur Lageeinschätzung des Anhängers beispielsweise bezüglich eines seitlichen Abstandes zu einer Fahrspurbegrenzungslinie oder zu einer Parkplatz- beziehungsweise Stellplatzbegrenzungslinie. In dieser Ausführung kann als Fahrsituation automatisch ein drohender Kontrollverlust über den Anhänger basierend auf einer Veränderung des Gier- oder Nickwinkels des Anhängers oberhalb eines Schwellenwertes erkannt werden. Alternativ kann in dieser Ausführung als Fahrsituation ein bevorstehende Abstellvorgang oder auch eine bevorstehende Ankupplung des Anhängers erkannt werden.
Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Anzeigeverfahrens auszuführen.
Die Erfindung betrifft des Weiteren eine Rechenvorrichtung, insbesondere ein Steuergerät, eine zonale oder eine zentrale Recheneinheit. Die Rechenvorrichtung umfasst mindestens einen Signaleingang zur Bereitstellung eines Eingangssignals, welches mittels wenigstens einer Fahrzeugkamera erfasste Kamerabilder repräsentiert. Des Weiteren umfasst die Rechenvorrichtung eine Recheneinheit, insbesondere einen Prozessor, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Anzeigeverfahrens ausführt.
Die Erfindung betrifft ferner ein Fahrzeug mit der erfindungsgemäßen Rechenvorrichtung.
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

1: Fahrzeug
2: virtuelles Umgebungsmodell mit bildlicher Repräsentation des Fahrzeugs
3: virtuelles Umgebungsmodell mit transparenter Repräsentation des Fahrzeugs
4: virtuelles Umgebungsmodell mit transparenter Repräsentation beim Einparken
5: Umgebungsmodell mit transparenter Repräsentation auf Großparkplatz
6: Ablaufdiagramm des Anzeigeverfahrens als Blockdiagramm

Ausführungsbeispiele
In 1 ist ein Beispiel für ein erfindungsgemäßes Fahrzeug 100 von oben schematisch dargestellt. Das Fahrzeug 100 weist eine Längsachse 102 in Längsrichtung des Fahrzeugs 100 und eine dazu senkrechte Querachse 101 auf. Das Fahrzeug 100 umfasst mindestens die Fahrzeugkamera 110, welche dazu eingerichtet ist, einen Teilbereich der Umgebung 190 des Fahrzeugs 100 zu erfassen. Vorzugsweise weist das Fahrzeug 100 mindestens zwei Fahrzeugkameras 110 auf, beispielsweise eine Frontkamera und eine Heckkamera. Besonders bevorzugt umfasst das Fahrzeug 100, wie in 1 dargestellt, vier Fahrzeugkameras 110, welche jeweils eine Weitwinkeloptik zur Erfassung eines Teilbereichs 191, 192, 193, 194 der Umgebung 190 des Fahrzeugs 100 aufweisen, wobei jede der Fahrzeugkameras 110 an einer anderen Fahrzeugseite angeordnet ist und somit vorteilhafterweise in eine andere Richtung ausgerichtet ist. Die wenigstens eine Fahrzeugkamera 110, insbesondere die hier in 1 dargestellten vier Fahrzeugkameras 110, ist beziehungsweise sind mit der Rechenvorrichtung 120 zumindest zur Übertragung der erfassten aktuellen Kamerabilder verbunden, beispielsweise mittels eines Ethernet-Bus 125. Im Fahrzeug 100 ist außerdem eine Anzeigevorrichtung 140 vorgesehen, insbesondere ein Display, welche dazu eingerichtet ist, einem Nutzer des Fahrzeugs 100 ein virtuelles Umgebungsmodell 200 darzustellen beziehungsweise anzuzeigen, welches die Umgebung 190 des Fahrzeugs 100 repräsentiert. Dieses angezeigte virtuelle Umgebungsmodell 200 der Umgebung 190 des Fahrzeugs 100 unterstützt den Nutzer beim Führen des Fahrzeuges 100 oder zur Kontrolle einer teilautomatischen oder automatischen Steuerung des Fahrzeugs 100 durch die Umgebung 190 und/oder zeigt ihm gegebenenfalls wichtige aktuelle Betriebszustände des Fahrzeugs 100 an. In 1 ist beispielhaft ein Nahbereich 170 um das Fahrzeug 100 mit einer gestrichelten Begrenzungslinie dargestellt. Zu diesem Nahbereich 170 werden Ausschnitte der aktuellen Kamerabilder der Fahrzeugkameras 110 als historische Bildinformation in einem elektronischen Speicher 130 des Fahrzeugs 100 gespeichert, wobei den jeweiligen Ausschnitten der aktuellen Kamerabilder als historische Bildinformation zum Nahbereich 170 die jeweilige Lage relativ zum Fahrzeug 100 zugeordnet wird, so dass sich beispielsweise die zur aktuellen Lage vor dem Fahrzeug 100 erfasste historische Bildinformation bei einer Vorwärtsfahrt des Fahrzeugs 100 zukünftig unter das Fahrzeug 100 verschiebt. Die relative Lage der historischen Bildinformation wird somit kontinuierlich im elektronischen Speicher 130 bei einer Bewegung des Fahrzeugs 100 entlang der Bewegungsrichtung des Fahrzeugs 109 angepasst beziehungsweise aktualisiert, wobei die Aktualisierung vorzugsweise in Abhängigkeit der Bewegungsrichtung 109 sowie der Bewegungsgeschwindigkeit des Fahrzeugs 100 erfolgt, so dass auch eine historische Bildinformation gespeichert ist, welche den Unterbodenbereich 180 unter dem Fahrzeug 100 abbildet beziehungsweise repräsentiert. Dieser Unterbodenbereich 180, zu dem historische Bildinformation gespeichert ist, kann zum aktuellen Zeitpunkt von keiner Fahrzeugkamera 110 erfasst werden. Das virtuelle Umgebungsmodell 200 der Umgebung 190 kann somit in Abhängigkeit der aktuellen Kamerabilder von der Umgebung 190 des Fahrzeugs 100 und in Abhängigkeit der gespeicherten historischen Bildinformation zum Nahbereich 170 mittels der Rechenvorrichtung 120 erzeugt beziehungsweise dargestellt beziehungsweise angezeigt werden, vorzugsweise mittels der Anzeigevorrichtung 140, wobei auch der zum aktuellen Zeitpunkt nicht erfasste Unterbodenbereich 180 unter dem Fahrzeug 100 in der virtuellen Darstellung der Umgebung 190 bildlich beziehungsweise als Textur mittels der historischen Bildinformation angezeigt wird. Die in dem virtuellen Umgebungsmodell angezeigte historische Bildinformation zum Unterbodenbereich 180 unter dem Fahrzeug 100 repräsentiert somit vor Kurzem erfasste Kamerabilder. Mit anderen Worten unterscheiden sich die Erfassungszeitpunkte der angezeigten Bildinformationen in dem virtuellen Umgebungsmodell 200, wobei zumindest der in dem virtuellen Umgebungsmodell 200 angezeigte Bereich zum Unterbodenbereich 180, auf welchem die historische Bildinformation angezeigt beziehungsweise projiziert wird, einen früheren Erfassungszeitpunkt aufweist. In dem elektronischen Speicher 130 ist außerdem eine bildliche Repräsentation 220 des Fahrzeugs 100 gespeichert, welche in das virtuelle Umgebungsmodell 200 eingefügt wird. Vorzugsweise ist in dem elektronischen Speicher 130 auch eine zumindest teilweise transparente Repräsentation 320 des Fahrzeugs 100 gespeichert, welche je nach Fahrsituation anstelle der bildlichen Repräsentation 220 in das virtuelle Umgebungsmodell automatisiert eingefügt wird. Des Weiteren zeigt 1 ein Objekt 150 in der Umgebung des Fahrzeugs 100, hier beispielsweise ein Schild 5 der Baustelle, eine Säule, eine Pylone P oder eine Person beziehungsweise einen Menschen M. Das Objekt 150 kann beispielsweise durch ein angelerntes maschinelles Erkennungsverfahren erkannt werden, beispielsweise ein neuronales Netz. Die Pylonen P, 150 und das Baustellenschild S, 150 vor dem Fahrzeug 100 zeigen einen Baustellenbereich B an, auf welchen sich das Fahrzeug 100 in 1 zubewegt. Es ist außerdem eine Fahrspur 160 und ein freier Parkplatz 170 in der Umgebung 190 des Fahrzeugs 100 dargestellt. Die Fahrspur 160 weist Fahrbahnbegrenzungslinien 161 und einen Baustellenbereich B auf, in welchem die Fahrspur 160 für das Fahrzeug 100 nicht passierbar ist. Das Fahrzeug 100 muss zur Weiterfahrt an dem Baustellenbereich B typischerweise warten, um den entgegenkommenden Verkehr vorbeizulassen, und kann anschließend die durch die Pylonen P gekennzeichnete Baustelle auf der Gegenfahrspur 162 passieren, welche durch die Gegenfahrspurbegrenzungslinien 163 der Gegenfahrspur 162 gekennzeichnet ist. Alternativ könnte es vorkommen, dass Objekte 150 die Spurbreite 165 der Fahrspur 160 verengen. Außerdem umfasst die Fahrspur eine gedachte beziehungsweise ermittelte Fahrspurmittellinie 169, welche in der Mitte zwischen den zwei Fahrbahnbegrenzungslinien 161 ermittelt wird. Der Parkplatz 170 weist Parkplatzbegrenzungslinien 171 und eine gedachte beziehungsweise ermittelte Parkplatzmittellinie 179 auf, welche in Längsrichtung des Parkplatzes 170 in der Mitte zwischen den zwei Parkplatzbegrenzungslinien 171 ermittelt wird. Die Fahrspur 160 und/oder der Parkplatz 170 können beispielsweise durch Analyse von erfassten Abstandsdaten und/oder eine Bildanalyse der erfassten Kamerabilder der Fahrzeugkamera 110 und/oder ein angelerntes maschinelles Erkennungsverfahren erkannt werden, beispielsweise ein neuronales Netz, welches basierend auf den Abstandsdaten und/oder den Kamerabildern die Fahrspur 160 und/oder den Parkplatz 170 erkennt. Abstandsdaten werden insbesondere mit zusätzlichen Abstandssensoren des Fahrzeugs 100 (hier nicht gezeigt), beispielsweise wenigstens einem Ultraschallsensor, einem Radarsensor, einem Lidarsensor und/oder einer Stereokamera, oder z.B. durch ein bekanntes „Structure-from-motion“-Verfahren ermittelt, wobei die Abstandsdaten beispielsweise durch das „Structure-from-motion“-Verfahren basierend auf den Kamerabildern der Fahrzeugkamera 110 ermittelt werden.
In 2 ist ein virtuelles Umgebungsmodell 200 mit einer bildlichen Repräsentation 220 des Fahrzeugs 100 aus einer virtuellen Beobachterperspektive seitlich neben der Repräsentation 220 des Fahrzeugs 100 schematisch dargestellt. Mit anderen Worten zeigt 2 das virtuelle Umgebungsmodell 200 schematisch in seitlicher Ansicht im Querschnitt. Diese in 2 gezeigte Beobachterperspektive ist im Betrieb eher ungewöhnlich beziehungsweise unüblich und hier im Wesentlichen zu Erläuterungszwecken dargestellt. Die virtuellen Beobachterperspektiven 290, 291, 292 können variieren beziehungsweise angepasst werden, beispielsweise wird das virtuelle Umgebungsmodell 200 vorzugsweise aus einer virtuellen Beobachterperspektive 290 über dem Fahrzeug und senkrecht von oben nach unten angezeigt beziehungsweise dargestellt, was einer sogenannten Top Down-Ansicht entspricht. Typischerweise wird das virtuelle Umgebungsmodell 200 also mit anderen Worten für den Nutzer meist aus der virtuellen Beobachterperspektive 290 über der Repräsentation 220, 320 des Fahrzeugs 100 senkrecht von oben nach unten („Top-down“-Ansicht) angezeigt.
Alternativ wird das virtuelle Umgebungsmodell 200 vorteilhafterweise aus einer virtuellen Beobachterperspektive 291, 292 über der Repräsentation 220, 320 des Fahrzeugs 100 schräg von oben nach unten und basierend auf der aktuellen Fahrrichtung beziehungsweise Bewegungsrichtung 109 des Fahrzeugs 100 nach vorne oder nach hinten ausgerichtet dargestellt. Das virtuelle Umgebungsmodell 200 wird beispielsweise im Schritt 630 durch das erfindungsgemäße Anzeigeverfahren erzeugt beziehungsweise dargestellt beziehungsweise angezeigt und im Schritt 650 angepasst. Wechsel zwischen den virtuellen Beobachtungsperspektiven 290, 291, 292 beziehungsweise Anpassungen der virtuellen Beobachterperspektiven 290, 291, 292 sind des Weiteren im Betrieb möglich, beispielsweise zur Position und/oder Ausrichtung der jeweiligen virtuellen Beobachtungsperspektive. Das virtuelle Umgebungsmodell 200 umfasst eine Projektionsfläche 210, welche einen Bodenbereich 211 der Projektionsfläche 210 und einen für die Erfindung optionalen vertikalen Projektionsflächenbereich 212 umfasst. Der optionale vertikalen Projektionsflächenbereich 212 ist insbesondere zur Anzeige eines Fernbereichs der Umgebung 190 vorgesehen. Der Bodenbereich 211 und der vertikale Projektionsflächenbereich 212 können durch einen optionalen Übergangsbereich 213 der Projektionsfläche 210 miteinander verbunden sein. Die Projektionsfläche 210 kann optional sowohl im Bodenbereich 211 als auch im vertikalen Projektionsflächenbereich 212 in Abhängigkeit von erfassten Abstandsdaten zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs zweidimensional oder dreidimensional verformt werden. Die bildliche Repräsentation 220 des Fahrzeugs 100 kann optional als separates synthetisches Objekt auf dem Bodenbereich 211 der Projektionsfläche 210 in das virtuelle Umgebungsmodell eingefügt werden, wie hier in 2 schematisch gezeigt. Die bildliche Repräsentation 220 des Fahrzeugs 100 kann des Weiteren zweidimensional oder dreidimensional sein. In der Top-Down-Ansicht wird typischerweise eine zweidimensionale bildliche Repräsentation 220 des Fahrzeugs 100 eingefügt. Der Bereich 250 unter der bildlichen Repräsentation 220 des Fahrzeugs 100, welcher den Unterbodenbereich 180 repräsentiert, ist somit aus einer typischen virtuellen Beobachtungsperspektive über der bildlichen Repräsentation 220 des Fahrzeugs nicht sichtbar. Dies ist in manchen Fahrsituationen allerdings nicht wünschenswert, da hier eine größere Übersichtlichkeit bei einer transparenten Repräsentation 220 des Fahrzeugs 100 resultiert, wenn darunter der Unterbodenbereich 180 unter dem Fahrzeug 100 realistisch dargestellt werden kann.
In den 3 bis 5 ist das virtuelles Umgebungsmodell 200 aus 2 jeweils mit einer transparenten Repräsentation 320 des Fahrzeugs 100 statt der bildlichen Repräsentation 220 des Fahrzeugs 100 aus einer virtuellen Beobachterperspektive 290 oder 291 über der transparenten Repräsentation 320 des Fahrzeugs 100 in senkrechter Ansicht von oben nach unten beziehungsweise in schräger Ansicht von oben nach vorne und unten schematisch dargestellt, wie es beispielsweise im Schritt 650 durch das erfindungsgemäße Anzeigeverfahren 600 automatisch erzeugt beziehungsweise dargestellt beziehungsweise angezeigt wird. Die bildliche Repräsentation 220 aus 2 wird erfindungsgemäß im Schritt 650 in Abhängigkeit einer erkannten Fahrsituation durch eine transparente Repräsentation 320 des Fahrzeugs 100 ersetzt oder eine Transparenz der bildlichen Repräsentation 220 erhöht, das heißt die Repräsentation im virtuellen Umgebungsmodell 200 automatisch transparent dargestellt. Die in 3 bis 5 dargestellte zumindest teilweise transparente Repräsentation 320 des Fahrzeugs 100 ist auf die Darstellung eines Fahrzeugumrisses beziehungsweise einer Umrandung stark abstrahiert. Alternativ kann die transparente Darstellung durch eine Erhöhung der Transparenz der bildlichen Repräsentation 220 des Fahrzeugs erzeugt beziehungsweise eingestellt werden (hier nicht gezeigt). Gegenüber der in 2 gezeigten Darstellung der nicht transparenten, bildlichen Repräsentation 220 wird in den 3 bis 5 somit durch das Einfügen der transparenten Repräsentation 320 des Fahrzeugs 100 oder durch die Transparenzerhöhung aus den jeweiligen virtuellen Beobachtungsperspektiven über dem Fahrzeug der Bereich 250 unter der Repräsentation des Fahrzeugs 100 automatisiert sichtbar, welcher jeweils durch die gestrichelte Begrenzungslinie 251 visualisiert ist und den Unterbodenbereich 180 repräsentiert. Der Unterbodenbereich 180 wird folglich spätestens durch den Schritt 650 im virtuellen Umgebungsmodell 200 angezeigt. In diesem Bereich 250 unter der transparenten Repräsentation 320 des Fahrzeugs 100 werden die historischen Bildinformationen angezeigt beziehungsweise projiziert, welche vor dem aktuellen Zeitpunkt von der Fahrzeugkamera 110 erfasst wurden, so dass der Bodenbereich 211 der Projektionsfläche 210 im Bereich 250 unter dem Fahrzeug 100 mit zuvor real erfassten Kamerabildern texturiert wird. Durch die Transparenz ist der Bodenbereich 211 der Projektionsfläche 210 unter der transparente Repräsentation 320 des Fahrzeug 100 jeweils sichtbar, wie erwähnt, wobei auf diesen vor dem aktuellen Zeitpunkt erfasste Kamerabilder als gespeicherte historische Bildinformationen entsprechend ihrer ermittelten relativen Lage zum Fahrzeug 100 projiziert werden. Dadurch wird der Bodenbereich 211 sehr realistisch in dem virtuellen Umgebungsmodell 200 dargestellt und es werden beispielsweise unter der Repräsentation 320 des Fahrzeug 100 im Unterbodenbereich 180 befindliche Markierungen der Fahrbahn oder eines Parkplatzes, wie beispielsweise Fahrspurbegrenzungslinien 161 oder Parkplatzbegrenzungslinien 171, im angezeigten virtuellen Umgebungsmodell 200 sichtbar. Des Weiteren kann über die unter der transparenten Repräsentation 320 des Fahrzeugs 100 dargestellten historischen Bildinformation eine Überlagerung 330, 340, 430, 440, 530 zur zusätzlichen Informationen des Nutzers für die Führung des Fahrzeugs 100 oder einer Kontrolle einer automatischen Fahrfunktion eingeblendet beziehungsweise angezeigt werden. Es hat sich überraschenderweise gezeigt, dass durch den Schritt 660 die unter oder auf der Repräsentation 220, 320 des Fahrzeugs 100 angezeigte Einblendung 330, 340, 430, 440, 530 besonders intuitiv für den Nutzer wahrnehmbar ist, da der Nutzer sich vom Fahrzeugs 100 beziehungsweise von der transparenten Repräsentation 220, 320 des Fahrzeugs 100 aus orientiert. Bei den hier in den 3 bis 5 gezeigten Darstellungen aus einer Beobachterperspektive senkrecht von oben nach unten (Top-Down-Ansicht) wird typischerweise nur der Bodenbereich 211 der Projektionsfläche 210 angezeigt. Die aktuell erfassten Kamerabilder werden auf Teilbereiche der Projektionsfläche 210, welche für die Fahrzeugkamera 110 sichtbar sind, projiziert. Im Bereich 250 unter der transparenten Repräsentation 320 wird die gespeicherte historische Bildinformation entsprechend ihrer zugeordneten Lage relativ zum Fahrzeug 100 angezeigt beziehungsweise projiziert, welche den Unterbodenbereich 180 abbildet beziehungsweise repräsentiert.
Die Fahrsituation aus 3 wird vorteilhafterweise automatisch basierend auf einer Verengung der Fahrspur 160 als Fahrsituation erkannt, beispielsweise bei Unterschreitung eines Schwellenwertes für die Spurbreite 165. Anschließend werden in dem virtuellen Umgebungsmodell 200 einem Nutzer beispielsweise die Fahrspurbegrenzungslinien 161 unter dem Fahrzeug 100 angezeigt, da das Fahrzeug 100 in dem virtuellen Umgebungsmodell 200 basierend auf dieser erkannten Verengung der Fahrspur 160 als transparente Repräsentation 320 angezeigt wird. In 3 sind optionale Überlagerungen 330 und 340 in dem virtuellen Umgebungsmodell eingeblendet beziehungsweise schematisch dargestellt, welche insbesondere innerhalb des Bereichs 250 beziehungsweise über der historischen Bildinformation eingeblendet werden. Die eingeblendeten Überlagerungen 330, 340 repräsentieren insbesondere ermittelte unterstützende Informationen zur Fahrt des Fahrzeugs 100 oder repräsentieren Informationen zur Kontrolle automatischer Fahrfunktionen. Die eingeblendeten Überlagerungen 330, 340 können transparent oder nicht transparent sein, beispielsweise bildlich. Hier repräsentiert die erste eingeblendete Überlagerung 330 einen Hinweis zur mittigen Ausrichtung des Fahrzeugs 100 innerhalb der Fahrspur 160. Mit anderen Worten repräsentiert die erste eingeblendete Überlagerung 330 einen Abstand der Längsachse 102 des Fahrzeugs 100 zur Mittellinie 169 der Fahrspur 160. Optional könnte beispielsweise eine Beurteilung des Verlaufs des Gier- oder Lenkwinkels des Fahrzeugs 100 während der Gradeausfahrt in der aktuellen Fahrspur 160 ermittelt und als eingeblendete Überlagerung 330, 340 angezeigt werden. Die hier dargestellte weitere oder zweite eingeblendete Überlagerung 340 repräsentiert beispielsweise eine Warnung zu einem ermittelten prognostizierten seitlichen Abstand y zwischen dem Fahrzeug 100 und einem entgegenkommenden anderen Fahrzeug beziehungsweise einem Fremdfahrzeug 350 auf der Gegenfahrspur 162, wobei eine Warnung insbesondere dann durch Anzeige der eingeblendete Überlagerung 340 ausgegeben wird, wenn dieser seitliche Abstand y einen Schwellenwert unterschreitet. Der seitliche Abstand y kann beispielsweise basierend auf der bestimmten Position und der ermittelten Trajektorie des Fahrzeugs 100 und der bestimmten Position und der ermittelten Trajektorie des Fremdfahrzeugs 350 bestimmt werden.
In 4 ist ein Einparkvorgang des Fahrzeugs schematisch aus einer virtuellen Perspektive 290 senkrecht von oben dargestellt. Die Fahrsituation wird vorteilhafterweise automatisch basierend auf einer Positionsbestimmung oder einer Navigationseingabe des Nutzers oder basierend auf erkannten Parkplätzen 170 automatisch erkannt. Basierend auf dieser erkannten Fahrsituation werden in dem virtuellen Umgebungsmodell 200 einem Nutzer die Parkplatzbegrenzungslinien 171 angezeigt, auch wenn diese im Unterbodenbereich 180 unter dem Fahrzeug 100 liegen. Hier liegt beispielsweise ein Teil der angezeigten Parkplatzbegrenzungslinie 171 unter dem Fahrzeug 100. Dieser Teil der Parkplatzbegrenzungslinie 171 im Unterbodenbereich 180, welcher im Bereich 250 der Projektionsfläche 210 unter der transparenten Repräsentation 320 des Fahrzeug 100 angezeigt wird, ist für den Nutzer besonders hilfreich zur Führung des Fahrzeugs 100, beispielsweise zur Einschätzung der Lage des Fahrzeugs 100 relativ zum Parkplatz 170. Als unterstützende eingeblendete Überlagerungen 430, 440 können beispielsweise die erkannte Fahrsituation des Einparkvorgangs 430, eine ermittelte empfohlene Trajektorie 440 oder eine Ausrichtung der Längsachse 102 des Fahrzeugs 100 zu einer ermittelten Mittellinie 179 des Parkplatzes 170 vorgesehen sein, wobei sich die eingeblendete Überlagerung 430, 440 von der angezeigten beziehungsweise projizierten gespeicherten historischen Bildinformation im Bereich 250 der Projektionsfläche 210 unter der transparenten Repräsentation 320 des Fahrzeugs 100 bis über die angezeigte beziehungsweise projizierte aktuellen Kamerabilder erstrecken kann, wie in 4 bezüglich der empfohlene Trajektorie 440 zum Einparkvorgang dargestellt.
Dadurch wird ein für den Nutzer besonders schnell beziehungsweise intuitiv verständliches virtuelles Umgebungsmodell 200 geschaffen.
in 5 ist ein virtuelles Umgebungsmodell 200 in Aufsicht von oben zu einem Einparkvorgang auf einem Großparkplatz als weitere erkannte Fahrsituation dargestellt. Die Fahrsituation wird vorteilhafterweise automatisch basierend auf einer Positionsbestimmung oder einer Navigationseingabe des Nutzers oder basierend auf erkannten Parkplätzen 510 automatisch erkannt. Daher wird in dem angezeigten virtuellen Umgebungsmodell 200 eine transparente Repräsentation 320 des Fahrzeugs 100 angezeigt. Das Fahrzeug 100 steht hier über dem Parkplatz 170 und den benachbarten Parkplätzen 510 eines größeren Parkplatzbereiches beziehungsweise Großparkplatzes, beispielsweise eines Supermarktes. Die Begrenzungslinien 171 liegen teilweise unter dem Fahrzeug 100 im Unterbodenbereich 180 des Fahrzeugs 100. Sie werden wegen der transparenten Repräsentation 320 somit im virtuellen Umgebungsmodell 200 basierend auf gespeicherten beziehungsweise geladenen historischen Bildinformationen angezeigt. Eine im Bereich 250 unter der transparenten Repräsentation 320 des Fahrzeugs angezeigte zusätzlich eingeblendete Überlagerung 530 zeigt beispielsweise automatisch ein empfohlenes Fahrmanöver zur Positionierung des Fahrzeugs 100 innerhalb der Begrenzungslinien 171 des erkannten Parkplatzes 170 an, wobei das durch die eingeblendete Überlagerung empfohlene Fahrmanöver beispielsweise basierend auf einer Eingabe des Nutzers des Fahrzeugs 100 oder vollautomatisch durchgeführt wird.
in 6 ist ein Ablauf des Anzeigeverfahrens 600 zur Darstellung eines virtuellen Umgebungsmodells 200 eines Fahrzeugs 100 als Blockdiagramm schematisch dargestellt. Das Anzeigeverfahren 600 umfasst eine Erfassung 610 von Kamerabildern mittels wenigstens einer Fahrzeugkamera 110, wobei die erfassten Kamerabilder wenigstens einen Teilbereich der Umgebung 190 des Fahrzeugs 100 abbilden beziehungsweise repräsentieren. In einem weiteren Schritt 620 wird zumindest ein Bildausschnitt des wenigstens einen erfassten Kamerabildes als historische Bildinformation gespeichert. In einem weiteren Prozessschritt 630 wird das virtuelle Umgebungsmodell 200 basierend auf dem zumindest einen aktuellen Kamerabild und zumindest einem Teil der gespeicherten historischen Bildinformation dargestellt, wobei eine bildliche Repräsentation 220 des Fahrzeugs 100 aus einem elektronischen Speicher 130 geladen und in das virtuelle Umgebungsmodell 200 eingefügt wird. In der Darstellung 630 des virtuellen Umgebungsmodells 200 werden die aktuellen Kamerabilder und die historische Bildinformation auf eine Projektionsfläche 210 projiziert, insbesondere als Texturen. Die bildliche Repräsentation 220 des Fahrzeugs 100 wird bezüglich der projizierten aktuellen Kamerabilder und die historische Bildinformation insbesondere an der Stelle des virtuellen Umgebungsmodells 200 angeordnet, welche der Position des Fahrzeugs 100 in der realen Umgebung 190 entspricht, wodurch die Orientierung des Nutzers zur Führung des Fahrzeugs 100 in der Umgebung 190 erleichtert wird. Dem Nutzer beziehungsweise Fahrer wird durch die Darstellung 630 des virtuellen Umgebungsmodells 200 beispielsweise eine Ansicht von oben auf die bildliche Repräsentation 220 des Fahrzeugs 100 angezeigt, d.h. es wird eine Ansicht aus einer virtuellen Perspektive außerhalb oder innerhalb des Fahrzeugs berechnet, beispielsweise aus der Fahrerperspektive als virtueller Perspektive oder aus einer Perspektive von oben über dem Fahrzeug senkrecht nach unten als virtueller Perspektive, wodurch der Fahrer jeweils eine große Übersicht über die aktuelle Fahrsituation des Fahrzeugs 100 in der Umgebung 190 erhält. Die aktuellen Kamerabilder und/oder die historische Bildinformation werden vorzugsweise vor der Darstellung 630 beziehungsweise Anzeige auf der Projektionsfläche 210 durch eine Bildvorbereitung und/oder eine Bildaufbereitung und/oder Bildentzerrung angepasst (hier im Ablaufdiagramm nicht dargestellt), beispielsweise werden die Kamerabilder und/oder die historische Bildinformation entzerrt, eine Auflösung angepasst und/oder eine Beobachtungsperspektive verändert. In einem weiteren Verfahrensschritt 640 wird eine Fahrsituation des Fahrzeugs 100 erfindungsgemäß automatisch erkannt. Beispielsweise wird im Schritt 640 als Fahrsituation ein Baustellenbereich 8 erkannt, wobei der Baustellenbereich B insbesondere in Abhängigkeit eines in der erfassten Kamerabildern erkannten Objektes 150 der Baustelle, d.h. beispielsweise einer Pylone P oder eines Baustellenschildes S, erkannt wird. Alternativ oder zusätzlich wird im Schritt 640 als Fahrsituation eine verengte Fahrbahn für das Fahrzeug 100 erkannt. Die verengte Fahrbahn wird insbesondere basierend auf den bestimmten Positionsdaten des Fahrzeugs 100 erkannt. Alternativ oder zusätzlich kann es vorgesehen sein, dass im Schritt 640 als Fahrsituation eine prognostizierte Engstelle für das Fahrzeug 100 erkannt wird. Die Engstelle wird als Fahrsituation vorteilhafterweise in Abhängigkeit von einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs 100 und wenigstens einem erkannten Objekt 150, S, P in der Umgebung des Fahrzeugs 100 erkannt, wobei die Engstelle vorzugsweise in Abhängigkeit eines ermittelten Abstandes zwischen zwei erkannten Objekten 150 und der ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs 100 erkannt beziehungsweise ermittelt wird, insbesondere, wenn die prognostizierte Fahrtrajektorie des Fahrzeugs 100 zwischen den zwei erkannten Objekten 150 verläuft und der Abstand zwischen den Objekten einen vorgegebenen, insbesondere fahrzeugspezifischen, Schwellenwert unterschreitet. Alternativ oder zusätzlich kann die Engstelle als Fahrsituation beispielsweise basierend auf erfassten oder ermittelten Abstandsdaten zwischen dem Fahrzeug 100 und einem erkannten Objekt 150, P, S in der Umgebung 190 des Fahrzeugs 100 erkannt werden. Des Weiteren kann es vorgesehen sein, im Schritt 640 als Fahrsituation einen Ein- oder Ausparkvorgang zu erkennen, wobei der Ein- oder Ausparkvorgang vorzugsweise basierend auf den erfassten Kamerabildern und/oder basierend auf einem ermittelten freien Parkplatz 170 zum Einparken des Fahrzeugs 100 und/oder basierend auf den Positionsdaten des Fahrzeugs 100 und/oder basierend auf einem empfangenen Infrastruktursignal und/oder basierend auf einem empfangenen Serversignal und/oder basierend auf einer Eingabe des Nutzers zum Ein- oder Ausparken erkannt wird. Anschließend wird im Schritt 650 die Darstellung des virtuellen Umgebungsmodells 200 in Abhängigkeit der erkannten Fahrsituation angepasst, wobei anstelle der bildlichen Repräsentation 220 eine zumindest teilweise transparente Repräsentation 320 des Fahrzeugs 100 in das virtuelle Umgebungsmodell 200 eingefügt oder eine Transparenz der bildlichen Repräsentation 220 des Fahrzeugs 100 in dem virtuellen Umgebungsmodell 200 erhöht wird. Die zumindest teilweise transparente Repräsentation 320 des Fahrzeugs 100 wird dabei aus dem elektronischen Speicher 130 geladen. Im Schritt 650 wird optional die Transparenz der bildlichen oder der eingefügten zumindest teilweise transparenten Repräsentation 220, 320 des Fahrzeugs 100 in dem virtuellen Umgebungsmodells 200 basierend auf der erkannten Fahrsituation und/oder basierend auf den erfassten Abstandsdaten zu einem erkannten Objekt 150 und/oder in Abhängigkeit eines erfassten Betriebsparameters des Fahrzeugs 100 und/oder in Abhängigkeit einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs kontinuierlich oder stufenweise erhöht, wobei beispielsweise eine Folge von unterschiedlich transparenten Repräsentationen 320 des Fahrzeugs 100 aus dem elektronischen Speicher 130 geladen und nacheinander, sich jeweils gegenseitig ersetzend, in das virtuelle Umgebungsmodell 200 eingefügt werden. Vorzugsweise wird zusätzlich im optionalen Schritt 660 basierend auf der erkannten Fahrsituation des Fahrzeugs eine Überlagerung beziehungsweise ein Overlay in dem virtuellen Umgebungsmodell eingeblendet, welche zumindest teilweise unterhalb oder oberhalb der zumindest teilweise transparenten Repräsentation des Fahrzeugs oder der transparenten bildlichen Repräsentation des Fahrzeugs angezeigt beziehungsweise eingeblendet wird. Die eingeblendete Überlagerung repräsentiert insbesondere eine prognostizierte Trajektorie des Fahrzeugs 100 und/oder eine erkannte und/oder abgespeicherte Bordsteinkante unter dem Fahrzeug 100 und/oder Lenkhinweise zur Unterstützung des Spurhaltens und/oder eine aktuelle ermittelte Spurbreite 165 der aktuellen Fahrspur 160, insbesondere entlang der prognostizierten Trajektorie des Fahrzeugs 100. Alternativ oder zusätzlich kann die eingeblendete Überlagerung eine Spurwechselempfehlung und/oder einen Hinweis zum Abstand der Längsachse 102 des Fahrzeugs 100 bezüglich der Mittellinie 169 einer Fahrspur 160 oder einer Mittellinie 175 eines Parkplatzes 170 und/oder eine ermittelte Beurteilung des Verlaufs des Gier- oder Lenkwinkels des Fahrzeugs 100 während einer Gradeausfahrt in der aktuellen Fahrspur 160 und/oder eine ermittelte Beurteilung des Schwankens des Fahrzeugs 100 um die Querachse 101 des Fahrzeugs 100 und/oder eine ermittelte Fahrempfehlung für den Nutzer des Fahrzeugs 100 repräsentieren.
In einem weiteren optionalen Verfahrensschritt 670 wird eine unterstützende oder automatische Fahrfunktion des Fahrzeugs in Abhängigkeit der erkannten Fahrsituation aktiviert.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2257065 A1 [0002]
EP 2512134 B1 [0003]
EP 2660104 B1 [0004]
EP 3129260 B1 [0005]

Claims

Anzeigeverfahren zur Darstellung eines virtuellen Umgebungsmodells (200) eines Fahrzeugs (100), umfassend die folgenden Schritte • Erfassung (610) von Kamerabildern mittels wenigstens einer Fahrzeugkamera (110), wobei die Kamerabilder mindestens einen Teilbereich der Umgebung (190) des Fahrzeugs (100) abbilden, • Speicherung (620) zumindest eines Bildausschnittes wenigstens eines erfassten Kamerabildes als historische Bildinformation, und • Darstellung (630) eines virtuellen Umgebungsmodells (200) basierend auf zumindest einem aktuellen Kamerabild und zumindest einem Teil der gespeicherten historischen Bildinformation, wobei eine bildliche Repräsentation (220) des Fahrzeugs (100) aus einem elektronischen Speicher (130) geladen und in das virtuelle Umgebungsmodell (200) eingefügt wird, dadurch gekennzeichnet, dass folgende Schritte durchgeführt werden • Erkennung (640) einer Fahrsituation des Fahrzeugs (100), und • Anpassung (650) des virtuellen Umgebungsmodells (200) in Abhängigkeit der erkannten Fahrsituation, wobei eine zumindest teilweise transparente Repräsentation (320) des Fahrzeugs (100) aus dem elektronischen Speicher (130) geladen und anstelle der bildlichen Repräsentation (220) in das virtuelle Umgebungsmodell (200) eingefügt oder eine Transparenz der bildlichen Repräsentation (220) des Fahrzeugs (100) in dem virtuellen Umgebungsmodell (200) erhöht wird.
Anzeigeverfahren nach Anspruch 1, wobei als Fahrsituation ein Baustellenbereich (B) erkannt wird, wobei der Baustellenbereich (B) insbesondere in Abhängigkeit eines in den erfassten Kamerabildern erkannten Objektes (150) der Baustelle erkannt wird.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei als Fahrsituation eine verengte Fahrbahn für das Fahrzeug (100) erkannt wird, wobei die verengte Fahrbahn insbesondere basierend auf den bestimmten Positionsdaten des Fahrzeugs (100) erkannt wird.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei als Fahrsituation eine prognostizierte Engstelle für das Fahrzeug (100) erkannt wird, wobei • die Engstelle als Fahrsituation basierend auf einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs (100) und wenigstens einem erkannten Objekt (150) in der Umgebung des Fahrzeugs (100) erkannt wird, und/oder • die Engstelle als Fahrsituation basierend auf erfassten Abstandsdaten zwischen dem Fahrzeug (100) und einem erkannten Objekt (150) in der Umgebung des Fahrzeugs (100) erkannt wird.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei als Fahrsituation ein Ein- oder Ausparkvorgang oder ein Parken in einer Tiefgarage oder eine Bewegung auf einer Rampe einer Tiefgarage erkannt wird, wobei die Erkennung insbesondere basierend auf den erfassten Kamerabildern und/oder basierend auf einem ermittelten freien Parkplatz zum Einparken des Fahrzeugs (100) und/oder basierend auf den bestimmten Positionsdaten des Fahrzeugs (100) und/oder basierend auf einem empfangenen Infrastruktursignal und/oder basierend auf dem empfangenen Serversignal erfolgt.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei bei der Anpassung (650) des virtuellen Umgebungsmodells (200) die Transparenz des als Repräsentation (220, 320) in dem virtuellen Umgebungsmodells angezeigten Fahrzeugs (100) kontinuierlich oder stufenweise basierend auf der erkannten Fahrsituation und/oder basierend auf den erfassten Abstandsdaten und/oder in Abhängigkeit eines erfassten Betriebsparameters des Fahrzeugs (100) und/oder in Abhängigkeit einer ermittelten prognostizierten Fahrtrajektorie des Fahrzeugs erhöht wird.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich folgender Schritt durchgeführt wird • Einblendung (660) einer Überlagerung (330, 340, 430, 440, 530) in das virtuelle Umgebungsmodell (200) basierend auf der erkannten Fahrsituation des Fahrzeugs (100), wobei die Überlagerung (330, 340, 430, 440, 530) zumindest teilweise auf oder unter der zumindest teilweise transparenten Repräsentation (320) des Fahrzeugs (100) oder der transparenten bildlichen Repräsentation (220) des Fahrzeugs (100) angezeigt wird, wobei die eingeblendete Überlagerung (330, 340, 430, 440, 530) insbesondere repräsentiert: i. eine prognostizierte Trajektorie des Fahrzeugs, ii. eine erkannte und/oder abgespeicherte Bordsteinkante unter und/oder neben dem Fahrzeug, iii. Lenkhinweise zur Unterstützung des Spurhaltens, iv. eine Spurbreite der aktuellen Fahrspur, v. eine Spurwechselempfehlung, vi. einen Hinweis zum Abstand der Längsachse (102) des Fahrzeugs (100) bezüglich der Mittellinie einer Fahrspur (160) oder einer Mittellinie (175) eines Parkplatzes (170), vii. eine ermittelte Beurteilung des Verlaufs des Gier- oder Lenkwinkels des Fahrzeugs (100) während einer Gradeausfahrt in der aktuellen Fahrspur (160), viii. eine ermittelte Beurteilung des Schwankens des Fahrzeugs (100) um die Querachse (101) des Fahrzeugs (100), und/oder ix. eine ermittelte Fahrempfehlung für den Nutzer des Fahrzeugs (100).
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei zusätzlich folgender Schritt durchgeführt wird • Aktivierung (670) einer unterstützenden oder automatischen Fahrfunktion in Abhängigkeit der erkannten Fahrsituation.
Anzeigeverfahren nach einem der vorhergehenden Ansprüche, wobei die Repräsentation (220, 320) des Fahrzeugs (100) auch einen Anhänger umfasst.
Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Anzeigeverfahrens gemäß einem der vorhergehenden Ansprüche auszuführen.
Rechenvorrichtung (120) für ein Fahrzeug (100), insbesondere Steuergerät, dezentrale oder zentrale Recheneinheit, umfassend mindestens folgende Komponenten • einen Signaleingang zur Bereitstellung eines Eingangssignals, welches mittels wenigstens einer Fahrzeugkamera (110) erfasste Kamerabilder repräsentiert, • eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des Anzeigeverfahrens gemäß einem der Ansprüche 1 bis 9 ausführt.
Fahrzeug (100), umfassend wenigstens eine Rechenvorrichtung (120) nach Anspruch 11.