-
Die vorliegende Erfindung betrifft ein Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs. Die Erfindung betrifft darüber hinaus ein Computerprogramm sowie ein Steuergerät, welche jeweils dazu eingerichtet sind, das erfindungsgemäße Verfahren durchzuführen. Die Erfindung betrifft des Weiteren ein Fahrzeug mit dem erfindungsgemäßen Steuergerät.
-
Stand der Technik
-
Das Dokument
DE 10 2008 034 594 A1 offenbart ein Verfahren zur Darstellung einer Umgebung eines Fahrzeugs, in welcher wenigstens zwei Bilder auf eine perspektivisch wiedergegebene virtuelle Fahrbahnebene abgebildet werden. Ferner kann das angezeigte Bild mittels einer Synthese aus dem Bild einer Kamera und einer Vorrichtung zur Umfeldsensierung zusammengesetzt werden. Beispielsweise kann das Fahrbahnprofil und/oder die Höhe eines Objektes auf der Fahrbahn erfasst und diese durch eine Verkrümmung entsprechender Bildbereiche dargestellt werden. Beispielsweise wird eine Bordsteinkante mit der Vorrichtung zur Umfeldsensierung erfasst und die virtuelle Fahrbahnfläche an der entsprechenden Stelle verformt.
-
Das Dokument
EP 2 511 137 A1 offenbart eine Anzeige eines Umgebungsmodells eines Fahrzeugs.
-
Die vorliegende Erfindung hat zur Aufgabe die bekannten Darstellungen eines Umgebungsmodells eines Fahrzeugs zu verbessern.
-
Offenbarung der Erfindung
-
Die vorstehende Aufgabe wird gemäß der unabhängigen Ansprüche 1, 13, 14 und 15 erfindungsgemäß gelöst.
-
Die vorliegende Erfindung betrifft ein Anzeigeverfahren zur Darstellung eines Umgebungsmodells eines Fahrzeugs. In dem Verfahren wird in einem Schritt wenigstens eine Abfolge von Kamerabildern von zumindest einem Teilbereich der Umgebung des Fahrzeugs mittels wenigstens einer Kamera erfasst. Die Erfassung der Abfolge von Kamerabildern wird insbesondere kontinuierlich durchgeführt. Die Kamera ist am Fahrzeug angeordnet, wobei die Kamera vorzugsweise eine Weitwinkeloptik aufweist. Vorteilhafterweise sind mindestens vier Kameras am Fahrzeug angeordnet, wobei eine erste Kamera mit einer ersten Blickrichtung nach vorne, eine zweite Kamera mit einer zweiten Blickrichtung nach hinten, eine dritte Kamera mit einer dritten Blickrichtung nach rechts und eine vierte Kamera mit einer vierten Blickrichtung nach links jeweils unterschiedliche Teilbereiche der Umgebung des Fahrzeugs erfassen. Die erfassten Teilbereiche können sich teilweise überschneiden. Mit anderen Worten wird vorteilhafterweise die Umgebung rund um das Fahrzeug mittels wenigstens vier Kameras am Fahrzeug erfasst, wobei die Kameras voneinander unterschiedliche Blickrichtung aufweisen. In einem weiteren Verfahrensschritt erfolgt eine Erfassung einer Position des Fahrzeugs. Die Erfassung der Fahrzeugposition wird insbesondere kontinuierlich durchgeführt, wodurch die aktuelle Position des Fahrzeugs und vergangene Positionen des Fahrzeugs bekannt sind. Die Erfassung der Position erfolgt mittels wenigstens eines Positionssensors, vorzugsweise mittels eines Positionssensors für ein globales Navigationssatellitensystem. Die Erfassung der Position kann optional zusätzlich in Abhängigkeit erfasster Abstände zu Objekten in der Umgebung und/oder in Abhängigkeit von Kartendaten und/oder in Abhängigkeit von Odometriedaten des Fahrzeugs erfolgen. Anschließend erfolgt, insbesondere zumindest für eine vorgegebene Zeitspanne, eine Speicherung wenigstens eines erfassten Kamerabildes der Umgebung des Fahrzeugs in einem elektronischen Speicher. Jedem dieser gespeicherten Kamerabilder wird jeweils die erfasste Position des Fahrzeugs zum Erfassungszeitpunkt des gespeicherten Kamerabildes zugeordnet. In einem weiteren Schritt erfolgt eine Erfassung von Abständen zwischen dem Fahrzeug und Objekten in der Umgebung des Fahrzeugs. Die Abstände werden vorteilhafterweise dreidimensional erfasst, beispielsweise mittels wenigstens eines Ultraschallsensors, einer Stereo-Kamera, eines Radar-Sensors und/oder eines Lidar-Sensors und/oder basierend auf einer structure-from-motion - Analyse mittels wenigstens einer Kamera. Danach wird wenigstens eine Nahbereichsprojektionsfläche des Umgebungsmodells erzeugt, wobei zumindest ein Teilbereich der Nahbereichsprojektionsfläche in Abhängigkeit der erfassten Abstände räumlich beziehungsweise dreidimensional verformt wird. Es kann vorteilhafterweise optional vorgesehen sein, dass die Nahbereichsprojektionsfläche um eine Fernbereichsprojektionsfläche erweitert wird, wobei die Fernbereichsprojektionsfläche nicht in Abhängigkeit erfasster Abstände verformt wird und die Nahbereichsprojektionsfläche und die Fernbereichsprojektionsfläche beispielsweise nahtlos beziehungsweise unmittelbar aneinander oder getrennt voneinander angeordnet sind. Die dreidimensionale Verformung der Nahbereichsprojektionsfläche in Abhängigkeit der erfassten Abstände erfolgt vorteilhafterweise ausgehend von einem zumindest teilweise ebenen Gitternetz als Nahbereichsprojektionsfläche. Das Gitternetz kann dabei beliebige Maschenformen umfassen, beispielsweise weist das Gitternetz dreieckige oder viereckige Maschen auf. Beispielsweise wird die Nahbereichsprojektionsfläche in Abhängigkeit der erfassten Abstände und/oder in Abhängigkeit von im Kamerabild erkannter Objekte gekrümmt, so dass die Nahbereichsprojektionsfläche vorteilhafterweise eine Hüllfläche um den Untergrund und die Objekte in der näheren Umgebung des Fahrzeugs repräsentiert. Diese Nahbereichsprojektionsfläche beziehungsweise Hüllfläche ist bevorzugt, wie oben erwähnt, ein Gitternetz. Abschließend erfolgt eine Anzeige beziehungsweise Darstellung des Umgebungsmodells in Abhängigkeit der erzeugten Nahbereichsprojektionsfläche, wenigstens eines aktuellen Kamerabildes und eines gespeicherten Kamerabildes und der aktuellen Fahrzeugposition. Bei dieser Anzeige beziehungsweise Darstellung werden vorzugsweise das aktuelle Kamerabild in Abhängigkeit der aktuellen Fahrzeugposition und das gespeicherte Kamerabild in Abhängigkeit der aktuellen Position und der zugeordneten Position des Fahrzeugs zum Erfassungszeitpunkt als Texturen auf die erzeugte Nahbereichsprojektionsfläche und/oder eine Fernbereichsprojektionsfläche projiziert. Vorteilhafterweise werden bei dieser Darstellung mehrere aktuelle Kamerabilder von mehreren Kameras sowie mehrere gespeicherte Kamerabilder auf die Nahbereichsprojektionsfläche und/oder die Fernbereichsprojektionsfläche projiziert. Die Projektion eines aktuellen und/oder gespeicherten Kamerabilds auf die Nahbereichsprojektionsfläche und/oder die Fernbereichsprojektionsfläche erfolgt dabei bevorzugt für jede Gitternetzmasche separat beziehungsweise für Teilbereiche des jeweiligen Bilds, wobei vorteilhafterweise eine Bildkoordinatentransformationen eines Teilbereichs des erfassten Kamerabilds pro zugeordneter Masche in Abhängigkeit der Maschenform und der erfassten Abstände der jeweilig zugehörigen Gitternetzpunkte zum Fahrzeug durchgeführt werden. Durch das Verfahren resultiert der Vorteil, dass in dem Umgebungsmodell für den Nutzer auch Bereiche des Umgebungsmodells mit einer realistischen beziehungsweise gespeicherte Textur dargestellt sind, welche aktuell nicht mehr mittels einer Kamera am Fahrzeug eingesehen werden können, weil sie beispielsweise durch ein anderes Objekt, wie ein vorbeifahrendes Fahrzeug, zumindest kurzzeitig verdeckt sind. Das Verfahren weist den Vorteil auf, dass während eines Einparkvorgangs eine vollständigere und realistische Sicht der Umgebung für den Nutzer resultiert.
-
Es kann vorteilhafterweise vorgesehen sein, dass die Texturbereiche des Umgebungsmodells, welche auf gespeicherten Kamerabildern beziehungsweise auf nicht aktuellen Kamerabilden basieren gekennzeichnet werden, beispielsweise können diese farblich verfälscht oder statt farblich in Graustufen dargestellt sein. Dadurch kann der Nutzer jederzeit erkennen, welche Bereiche des dargestellten Umgebungsmodells aktuell erfasst werden und welche Bereiche des dargestellten Umgebungsmodells auf gespeicherten Kamerabildern basieren.
-
Es ist vorteilhafterweise vorgesehen, zur Nahbereichsprojektionsfläche mindestens eine Fernbereichsprojektionsfläche anzuordnen, welche insbesondere zumindest zum Teil einen Rand des Umgebungsmodells definiert. Beispielsweise ist die Fernbereichsprojektionsfläche eine im Wesentlichen senkrecht zur Nahbereichsprojektionsfläche angeordnete Innenfläche eines Zylindermantels. Auf der Fernbereichsprojektionsfläche werden bevorzugt Kamerabilder mit weit entfernteren Umgebungsansichten als Textur dargestellt. Mit anderen Worten werden ein Nahbereich der Umgebung des Fahrzeugs vorteilhafterweise als Textur auf einer dreidimensional verformten Nahbereichsprojektionsfläche, insbesondere als Hüllfläche, und ein Fernbereich der Umgebung auf zumindest einer Fernbereichsprojektionsfläche dargestellt, wobei die Fernbereichsprojektionsfläche bevorzugt im Wesentlichen senkrecht zur Nachbereichsprojektionsfläche angeordnet ist und nicht dreidimensional verformt wird. Die Nachbereichsprojektionsfläche und die wenigstens eine Fernbereichsprojektionsfläche können sich optional an den Grenzen kontaktieren, so dass der Eindruck einer zusammenhängenden Projektionsfläche resultiert. Durch diese Weiterbildung kann eine realistische Ansicht der Umgebung als Umgebungsmodell mit relativ geringer Rechenleistung erzeugt werden.
-
Es kann in einer bevorzugten Ausführungsform der Erfindung vorgesehen sein, dass die Speicherung des Kamerabilds beziehungsweise der Kamerabilder nur innerhalb einer vorgegebenen Zeitspanne ausgehend vom aktuellen Zeitpunkt aus erfolgt. Mit anderen Worten werden in dieser Ausführungsform ältere Kamerabilder verworfen beziehungsweise aus dem elektronischen Speicher gelöscht oder im elektronischen Speicher überschrieben. Ferner kann alternativ oder zusätzlich die Speicherung der Kamerabilder in Abhängigkeit eines vorgegebenen Zeitabstands und/oder in Abhängigkeit eines vorgegebenen Positionsabstandes des Fahrzeugs durchgeführt werden. Mit anderen Worten wird beispielsweise alle 5 Sekunden als vorgegebener Zeitabstand und/oder nach einer gefahrenen Wegstrecke des Fahrzeugs von beispielsweise 2 Metern als vorgegebener Positionsabstand jeweils ein neues Kamerabild gespeichert. Dadurch resultiert jeweils der Vorteil, dass der Speicherplatz zur Speicherung der Kamerabilder begrenzt wird und das Umgebungsmodell mit geringer Rechenleistung dargestellt werden kann.
-
In einer weiteren Ausgestaltung wird jedem gespeicherten Kamerabild zusätzlich ein Blickwinkel der jeweiligen Kamera zum Erfassungszeitpunkt zugeordnet. Ferner wird das gespeicherte Kamerabild im dargestellten Umgebungsmodell in Abhängigkeit des zugeordneten Blickwinkels als Textur auf die erzeugte Nahbereichsprojektionsfläche und/oder auf die Fernbereichsprojektionsfläche projiziert. Durch diese Ausgestaltung der Erfindung resultiert eine weniger rechenintensive Darstellung des Umgebungsmodells.
-
In einer Ausführung wird vor der Darstellung des Umgebungsmodells mindestens ein Objekt in der Umgebung des Fahrzeugs in Abhängigkeit des erfassten Kamerabilds erkannt. Vorteilhafterweise wird zusätzlich eine Objektbeweglichkeit erkannt. Bei der optionalen Erkennung der Objektbeweglichkeit wird beispielsweise ermittelt, ob das Objekt prinzipiell beweglich oder grundsätzlich statisch ist. Anschließend erfolgt eine Ermittlung einer Höhe und/oder einer Breite des erkannten Objektes. In dieser Ausführung wird bei der Erzeugung der Nahbereichsprojektionsfläche diese zusätzlich in Abhängigkeit der ermittelten Höhe und/oder der ermittelten Breite des erkannten Objekts dreidimensional verformt. Durch diese Ausführung resultiert ein für den Nutzer realistisches Umgebungsmodell. Optional erfolgt die Anpassung beziehungsweise Verformung beziehungsweise Erzeugung der Nahbereichsprojektionsfläche zusätzlich in Abhängigkeit der erkannten Objektbeweglichkeit. Es kann zur besseren Wahrnehmbarkeit bewegter Objekte vorgesehen sein, bewegte Objekte in Abhängigkeit der erkannten Objektbeweglichkeit besonders leicht erkennbar im Umgebungsmodell darzustellen, beispielsweise durch eine Überhöhung im Vergleich zu der erfassten Höhe und/oder eine Verbreiterung im Vergleich zu der erfassten Breite des Objektes und/oder durch farbliche Kennzeichnung des Objektes. Beispielsweise können bewegte Objekte mit doppelter Höhe und/oder mit doppelter Breite auf der Nahbereichsprojektionsfläche dargestellt werden. Dadurch werden die bewegten Objekte besonders leicht erkennbar.
-
In einer weiteren Ausführung wird auch eine Erkennung von mindestens einem Objekt in der Umgebung des Fahrzeugs in Abhängigkeit des erfassten Kamerabilds durchgeführt. Anschließend wird ein Standardmodell zu dem erkannten Objekt aus einer Datenbank geladen, wobei die Datenbank insbesondere eine Vielzahl an gespeicherten Objekten enthält. Die räumliche Verformung bei der Erzeugung der Nahbereichsprojektionsfläche erfolgt in dieser weiteren Ausführung zusätzlich in Abhängigkeit des geladenen Standardmodells. Mit anderen Worten werden erkannte Objekte, wie beispielsweise parkende Fahrzeuge und/oder Häuser, als gespeicherte Standardmodellen aus einer Datenbank geladen und die Nahbereichsprojektionsfläche in Abhängigkeit dieser geladenen Standardmodelle räumlich beziehungsweise dreidimensional verformt. Durch diese Ausführung wirkt das dargestellte Umgebungsmodell vorteilhafterweise für einen Betrachter realistischer, da beispielsweise auch die nicht mittels eines Sensors am Fahrzeug erfassbaren Dimensionen und Ansichten von beispielsweise zum Fahrzeug angeordneten Objektrückseiten realistisch dargestellt werden können. Beispielsweise kann in dieser Ausführung ein Baum als erkanntes Objekt in der Umgebung des Fahrzeugs durch Verformung der Projektionsfläche in Abhängigkeit eines Standardmodells eines Baums realistischer in dem Umgebungsmodell dargestellt werden.
-
Es kann vorgesehen sein, dass im dargestellten Umgebungsmodell wenigstens ein Texturbereich auf der Nahbereichsprojektionsfläche zumindest teilweise transparent dargestellt ist. Vorteilhafterweise werden die Texturbereiche zumindest teilweise transparent dargestellt, für welche die Nahbereichsprojektionsfläche gegenüber einer ebenen Gitterebene als Nahbereichsprojektionsfläche in Abhängigkeit von erfassten Abstandsdaten und/oder von geladenen Standardmodelle räumlich beziehungsweise dreidimensional verformt worden ist. Die Darstellung der Texturbereiche zu verformten Bereichen der Nahbereichsprojektionsfläche erfolgt vorteilhafterweise halbtransparent. Durch diese Ausgestaltung der Erfindung kann ein Betrachter durch im Umgebungsmodell dargestellte Objekte beziehungsweise Verformungen des Umgebungsmodells hindurchschauen und somit beispielsweise eine Parklücke in der Umgebung des Fahrzeugs unabhängig von der angezeigten Perspektive des Umgebungsmodells besser bewerten. Außerdem entsteht in dieser Ausgestaltung vorteilhafterweise für den Nutzer die Wirkung, dass die Darstellung des Umgebungsmodells seine persönliche Wahrnehmbarkeit der Umgebung erheblich erweitert.
-
In einer besonders bevorzugten Weiterführung der Erfindung wird eine Texturinformation zu einem unbekannten Bereich der Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche zu dem weder ein aktuelles Kamerabild noch ein gespeichertes Kamerabild im elektronischen Speicher des Fahrzeugs vorliegt von einer Servereinrichtung und/oder von einem anderen Fahrzeug in Abhängigkeit der aktuellen Fahrzeugposition geladen beziehungsweise empfangen. Dies erfolgt insbesondere mittels einer Funkverbindung zu der Servereinrichtung und/oder dem anderen Fahrzeug. Mit anderen Worten umfasst die empfangene Texturinformation eine Textur zu einem bisher nicht durch eine Kamera des Fahrzeugs einsehbaren unbekannten Bereich der näheren und/oder ferneren Umgebung. Die Darstellung des Umgebungsmodells umfasst in dieser Weiterbildung zusätzlich eine Projektion zumindest eines Teils der empfangenen Texturinformation auf die unbekannten Bereiche der erzeugten Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche. Es kann alternativ vorgesehen sein, dass auf den unbekannten Bereich der erzeugten Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche eine Schätztextur projiziert beziehungsweise gelegt wird, wobei die Schätztextur beispielsweise eine Mittelung oder eine Kopie von auf der Nahbereichsprojektionsfläche und/oder auf der Fernbereichsprojektionsfläche benachbarten Texturen umfasst. Die Schätztextur kann optional auch einem Standardmodell zugeordnet sein, welches basierend auf einem erkannten Objekt geladen wurde. Durch diese Weiterbildung wird die Nahbereichsprojektionsfläche und/oder die Fernbereichsprojektionsfläche vorteilhafterweise bei der Darstellung des Umgebungsmodells vollständig mit realistischen Texturen belegt, auch wenn der entsprechende Teilbereich der Projektionsfläche bisher nicht mittels einer Kamera am Fahrzeug einsehbar war und/oder aktuell nicht einsehbar ist.
-
In einer Weiterbildung der vorstehenden Weiterführung wird die empfangene Texturinformation oder eine Schätztextur während der Darstellung des Umgebungsmodells abstrahiert auf die Nahbereichsprojektionsfläche und/oder die Fernbereichsprojektionsfläche projiziert. Dadurch resultiert der Vorteil, dass für den Nutzer leicht erkennbar ist, welcher Bereich der Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche von einer Kamera des Fahrzeugs erfasst worden und welcher Bereich der Umgebung basierend auf einer empfangenen Texturinformation oder mittels eines Schätztextur geschätzt dargestellt ist. Die Abstraktion kann beispielsweise durch Betonung der Kanten und/oder eine farbliche Veränderung der Texturinformation und/oder der Schätztextur erfolgen. Ungenauigkeiten in der Darstellung des Umgebungsmodells, beispielsweise Farbabweichungen zwischen aktuellen Kamerabildern und empfangenen Texturinformationen und/oder Schätztexturen werden in dieser Weiterbildung außerdem vorteilhafterweise vermieden ohne das der Nutzer dies merkt, da die Abstraktion der empfangenen Texturinformationen und/oder Schätztexturen dem Nutzer vorteilhafterweise eine zusätzliche Information zur Aktualität der Textur liefert.
-
In einer anderen Ausgestaltung wird in der Darstellung des Umgebungsmodells eine Grenzlinie zwischen einer empfangenen Texturinformation und/oder einer Schätztextur und/oder einem aktuellen Kamerabild und/oder einem gespeicherten Kamerabild auf der Nahbereichsprojektionsfläche und/oder die Fernbereichsprojektionsfläche hervorgehoben oder alternativ geglättet. Beispielsweise wird die Grenzlinie farbig dargestellt. Dadurch werden die entsprechenden Bildquellen für den Nutzer insbesondere deutlich hervorgehoben und der Nutzer kann somit deren Aktualität gut einschätzen.
-
In einer weiteren Ausführung wird eine Gefahreninformation von einer Servereinrichtung und/oder von einem anderen Fahrzeug in Abhängigkeit der aktuellen Fahrzeugposition empfangen, wobei der Gefahreninformation insbesondere eine Gefahrpositionsinformation zugeordnet ist. Die Darstellung des Umgebungsmodells umfasst in dieser Ausführung zusätzlich die empfangene Gefahreninformation, wobei die empfangene Gefahreninformation insbesondere in Abhängigkeit der zugeordneten Gefahrpositionsinformation auf der Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche als Textur und/oder als Symbol dargestellt wird. Durch diese Ausführung wird ein Nutzer vorteilhafterweise auf eine Gefahr in der Umgebung des Fahrzeugs aufmerksam gemacht, auch wenn diese hinter Objekten liegt. Die Gefahreninformation umfasst beispielsweise Fahrbahnbereiche in der Nähe von Schulen beziehungsweise Kindergärten beziehungsweise Kinderspielplätzen beziehungsweise spielenden Kindern oder Kreuzungen mit einer hohen Unfallgefahr. Dadurch wird der Nutzer vorteilhafterweise auf mögliche Gefahren in der Umgebung aufmerksam gemacht beziehungsweise für solche Gefahren sensibilisiert. Somit wird die Gefahr eines Unfalls für den Nutzer vorteilhafterweise reduziert.
-
Es kann vorgesehen sein, dass zu einer empfangenen Gefahreninformation die Texturen in einem Gefahrenbereich des Umgebungsmodells in Abhängigkeit der der empfangenen Gefahreninformation zugeordneten Gefahrpositionsinformation farblich gekennzeichnet werden. Insbesondere wird der Gefahrenbereich in einem vorgegebenen Abstand von der zugeordneten Gefahrpositionsinformation und/oder in Abhängigkeit der Gefahreninformation eingefärbt. Beispielsweise wird eine Baustelle anders eingefärbt als ein Bereich des Umgebungsmodells zu einer Gefahreninformation mit spielenden Kindern. Durch diese Ausgestaltung kann der Nutzer leicht den Gefahrenbereich abgrenzen beziehungsweise erkennen.
-
Vorzugsweise wird ferner eine Eingabe eines Nutzers zur Aktivierung des Verfahrens erfasst. Diese Erfassung der Eingabe kann insbesondere durch Aktivierung eines Einparkassistenten mittels eines Druckknopfes erfolgen. Besonders bevorzugt repräsentiert die Eingabe eine Zielposition beziehungsweise ein Fahrziel zu einer gewünschten Navigationsroute beziehungsweise Fahrt des Nutzers. Mit anderen Worten wird vorteilhafterweise beim Erreichen eines Zielbereichs der Fahrt das Verfahren automatisch gestartet.
-
Die Erfindung betrifft auch ein Computerprogramm, wobei das Computerprogramm dazu eingerichtet ist, das erfindungsgemäßes Anzeigeverfahren durchzuführen.
-
Die Erfindung betrifft auch ein Steuergerät, wobei das Steuergerät dazu eingerichtet ist, das erfindungsgemäßes Anzeigeverfahren durchzuführen.
-
Die Erfindung betrifft auch ein Fahrzeug, wobei das Fahrzeug das erfindungsgemäße Steuergerät umfasst.
-
Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.
- 1: Fahrzeug
- 2: Schematische Darstellung des Umgebungsmodells
- 3: Ablaufdiagramm des Verfahrens als Blockschaltbild
-
Ausführungsbeispiele
-
In 1 ist ein Fahrzeug 100 mit vier Kameras 110 senkrecht von oben beziehungsweise aus einer Aufsicht beziehungsweise Vogelperspektive schematisch dargestellt. Jede der vier Kameras 110 weist eine Weitwinkeloptik auf. Jede Kamera 110 erfasst eine Abfolge von Kamerabildern eines jeweiligen Erfassungsbereichs beziehungsweise Umgebungsbereichs 151 der Umgebung 150 des Fahrzeugs 100. Das Fahrzeug 100 umfasst ferner einen Positionssensor 120, welcher dazu eingerichtet ist, eine aktuelle Position 121 des Fahrzeugs zu ermitteln. Der Positionssensor 120 ist bevorzugt ein Sensor für wenigstens ein globales Navigationssatellitensystem, wie z.B. GPS, Galileo, Glonass und/oder Beidou. Das Fahrzeug 100 umfasst ferner einen elektronischen Speicher 130, welcher dazu eingerichtet ist, ein erfasstes Kamerabild 230 zu speichern, wobei dem gespeicherten Kamerabild 230 jeweils die Position 121, 122, 123 oder 124 des Fahrzeugs 100 zum Erfassungszeitpunkt und bevorzugt auch ein Blickwinkel der jeweiligen Kamera 110, welche das gespeicherte Kamerabild erfasst hat, zugeordnet wird. Das Fahrzeug 100 umfasst ferner ein Steuergerät 140, welches dazu eingerichtet ist, das erfindungsgemäße Anzeigeverfahren durchzuführen. Ferner sind an dem Fahrzeug als Abstandssensoren Ultraschallsensoren 170, ein Lidarsensor 180 sowie eine Stereokamera 190 angeordnet. Die Ultraschallsensoren 170 sind vorne, hinten und an der rechten und linken Fahrzeugseite angeordnet. Ein Lidarsensor 180 und eine Stereokamera 190 zur Erfassung von Abständen bei unterschiedlichen Wetterbedingungen weisen in diesem Ausführungsbeispiel einen Erfassungsbereich in Fahrtrichtung des Fahrzeugs 100 beziehungsweise nach vorne auf.
-
In 2 ist ein Umgebungsmodell 200 zur Darstellung der Umgebung 150 des Fahrzeugs 100 schematisch dargestellt. Das Umgebungsmodell 200 umfasst eine Nahbereichsprojektionsfläche 210 sowie ein Fahrzeugmodell 250, welches mittig auf der Nahbereichsprojektionsfläche 210 angeordnet ist. Das Fahrzeugmodell 250 wird vorteilhafterweise aus dem elektronischen Speicher 130 geladen und entspricht zumindest einem Fahrzeugtyp des Fahrzeugs 100. Die Nahbereichsprojektionsfläche 210 repräsentiert einen Nahbereich der Umgebung 150 des Fahrzeugs 100 und umfasst bevorzugt ein, insbesondere relativ zur Größe des Fahrzeugmodells 250, engmaschiges Gitternetz. Ferner umfasst das Umgebungsmodell eine Fernbereichsprojektionsfläche 290. Die Fernbereichsprojektionsfläche 290 ist in diesem Ausführungsbeispiel zur Nahbereichsprojektionsfläche 210 im Wesentlichen senkrecht angeordnet. Die Nahbereichsprojektionsfläche 210 und die Fernbereichsprojektionsfläche 290 können alternativ zum in 2 gezeigten Ausführungsbeispiel auch unterschiedliche Teilbereiche einer Wannenformfläche umfassen, so dass beispielsweise die Nahbereichsprojektionsfläche 210 und die Fernbereichsprojektionsfläche 290 unmittelbar aneinander angeordnet sein und teilweise eine Krümmung aufweisen können. Die Fernbereichsprojektionsfläche 290 repräsentiert einen Fernbereich der Umgebung 150 des Fahrzeugs 100. In diesem Ausführungsbeispiel ist die Fernbereichsprojektionsfläche 290 einteilig und als Innenfläche einer zylindrischen Mantelfläche ausgestaltet. Alternativ kann die Fernbereichsprojektionsfläche 290 auch als Teil einer Mantelfläche ausgeführt sein, beispielsweise als Halbschale und in Fahrtrichtung angeordnet, oder es können mehrere, beispielsweise rechteckig um die Nahbereichsprojektionsfläche 210 angeordnete, Fernbereichsprojektionsflächen 290 vorgesehen sein. Mit anderen Worten werden im Umgebungsmodell auf der Nahbereichsprojektionsfläche 210 Texturen oder Kamerabilder 220, 230 dargestellt, welche den Nahbereich der Umgebung 150 des Fahrzeugs 100 abbilden beziehungsweise repräsentieren. Auf der Fernbereichsprojektionsfläche 290 werden dagegen Texturen oder Kamerabilder 220, 230 dargestellt, welche den Fernbereich beziehungsweise einen weiter entfernten Umgebungsbereich der Umgebung 150 abbilden beziehungsweise repräsentieren. Die Nahbereichsprojektionsfläche 210 ist räumlich beziehungsweise dreidimensional in Abhängigkeit erfasster Abstände zu den Objekten 240, 241 und 242 und/oder in Abhängigkeit von geladenen Standardmodellen zu den erkannten Objekten 240, 241 und/oder 242 verformt. Die Nahbereichsprojektionsfläche 210 bildet somit vorteilhafterweise eine Hüllkurve um die Objekte 240, 241 und 242 und einen Untergrund der Umgebung 150 im Nahbereich des Fahrzeugs 100. Das Fahrzeug 100 befindet sich in diesem Ausführungsbeispiel beispielsweise in Fahrt. Mit anderen Worten ändert sich das Umgebungsmodell laufend, da sich beispielsweise die Texturen auf der Nahbereichsprojektionsfläche 210 und der Fernbereichsprojektionsfläche 290 entsprechend der aktuellen Fahrzeugposition verschieben oder beispielsweise neue Objekte in die Nahbereichsprojektionsfläche 210 auftauchen oder erkannte Objekte 240, 241 und/oder 242 aus der Nahbereichsprojektionsfläche 210 austreten. Das Fahrzeug hat sich beispielsweise in einer vorgegebenen Zeitspanne vor dem aktuellen Zeitpunkt von einer ersten Fahrzeugposition 124 über eine vorletzte Fahrzeugposition 123 und über eine letzte Fahrzeugposition 122 zu einer aktuellen Fahrzeugposition 121 bewegt. Während dieser Fahrt von der ersten Fahrzeugposition 124 zu der aktuellen Fahrzeugposition 121 wurde mittels jeder Kameras 110 am Fahrzeug kontinuierlich eine Abfolge von Kamerabildern 220 erfasst und einzelne Kamerabilder 230 gespeichert, wobei jedem gespeicherten Kamerabild 230 die jeweilige Fahrzeugposition 124, 123, 122, oder 121 des Fahrzeugs 100 zum Erfassungszeitpunkt des jeweiligen Kamerabilds 230 zugeordnet wird. Die Frequenz der Speicherung der Kamerabilder beziehungsweise die Anzahl der gespeicherten Kamerabilder 230 und/oder die vorgegebene Zeitspanne zur Speicherung der Kamerabilder 230 können jeweils in Abhängigkeit der Fahrzeuggeschwindigkeit und/oder der Fahrzeugposition ermittelt beziehungsweise eingestellt werden. Bevorzugt sind die Zeitspanne zur Speicherung der Kamerabilder 230 sowie die Frequenz der Speicherung des Kamerabilds 230 jeweils so eingestellt, dass für alle während der Bewegung des Fahrzeugs 100 mittels der Kameras 110 einsehbaren Umgebungsbereiche Texturen auf die Nahbereichsprojektionsfläche 210 und/oder auf die Fernbereichsprojektionsfläche 290 des Umgebungsmodells 200 projizieren werden können. Mit anderen Worten sind für die auf der aktuellen Fahrzeugposition 121 nicht mehr einsehbaren Altsichtbereiche 270 gespeicherte Kamerabilder 230 im elektronischen Speicher 120 abgelegt beziehungsweise gespeichert, so dass das Umgebungsmodells realistischer als nur mittels aktueller Kamerabilder 220 als Texturen dargestellt werden kann. Die Darstellung des Umgebungsmodells 200 erfolgt also in Abhängigkeit aktueller Kamerabilder 220 und gespeicherter Kamerabilder 230, so dass auch für die von der aktuellen Fahrzeugposition nicht mittels der Kamera 110 einsehbaren Bereiche der Umgebung beziehungsweise für die Altsichtbereiche 270 im Umgebungsmodell 200 eine realistische Textur im Umgebungsmodell dargestellt wird. Für den Nutzer entsteht der Eindruck, dass die Darstellung des Umgebungsmodells 200 seine mögliche Wahrnehmung erheblich erweitert. Es können ferner unbekannte Bereiche 280, 281 auf der Nahbereichsprojektionsfläche 210 und/oder auf der Fernbereichsprojektionsfläche 290 vorliegen, welche während einer Fahrt des Fahrzeugs 100 nicht durch eine Kamera 110 des Fahrzeugs 100 einsehbar waren und auch aktuell nicht einsehbar sind, beispielsweise, weil diese unbekannte Bereiche 280, 281 von größeren Objekten 240, 241, 242 verdeckt sind. Die Texturinformation für diese unbekannten Bereiche 280, 281 wird bevorzugt von einer Servervorrichtung und/oder von einem anderen Fahrzeug empfangen. Alternativ oder zusätzlich wird die Textur für den jeweils unbekannten Bereich 280, 281 geschätzt. Die Schätzung der Textur für den unbekannten Bereich 280, 281 kann in Abhängigkeit des erkannten Objektes 240, 241 oder 242 in diesem Bereich 280, 281 und/oder durch Kopie im Umgebungsmodell benachbart projizierter Texturen erfolgen. Beispielsweise werden Texturinformationen von einer Servereinrichtung zu den unbekannten Bereichen 280 empfangen und auf die Bereiche 280 projiziert. Auf einen nicht einsehbaren beziehungsweise unbekannten Bereich 281 der Fernbereichsprojektionsfläche 290 kann eine unscharfe Kopie oder eine abstrahiert dargestellte Kopie der Texturen der zu dem unbekannten Bereich 281 benachbarten Texturen im Umgebungsmodell 200 projiziert beziehungsweise dargestellt werden.
-
In 3 ist ein Ablaufdiagramm des Anzeigeverfahrens als Blockschaltbild dargestellt. In einem optionalen ersten Schritt 310 wird eine Eingabe des Nutzers zur Aktivierung des Verfahrens erfasst. Die Eingabe im Schritt 310 kann beispielsweise durch Aktivierung eines Einparkassistenzen mittels eines Druckknopfes erfolgen. Alternativ erfolgt die Eingabe einer Zielposition beziehungsweise eines Fahrziels durch den Nutzer, wobei die Aktivierung 310 bei Ankunft in einem Bereich um das Fahrziel automatisch durchgeführt wird. Im Schritt 320 des Verfahrens wird die Umgebung 150 des Fahrzeugs 100 mittels der wenigstens einen Kamera 110 erfasst. In einem weiteren Schritt 330 erfolgt die Erfassung der Position 121 des Fahrzeugs 100. Anschließend wird im Schritt 340 wenigstens ein Kamerabild 230 der Umgebung 150 des Fahrzeugs in einem elektronischen Speicher 130 gespeichert, wobei jedem gespeicherten Kamerabild 230 jeweils die erfasste Fahrzeugposition 121 zum Erfassungszeitpunkt des Kamerabildes 230 zugeordnet wird. Jedem gespeicherten Kamerabild wird vorzugsweise zusätzlich der Blickwinkel der jeweiligen Kamera 110 zum Erfassungszeitpunkt zugeordnet. Die Speicherung 340 der Kamerabilder 230 erfolgt ferner vorteilhafterweise in Abhängigkeit einer vorgegebenen Zeitspanne, in Abhängigkeit eines vorgegebenen Zeitabstandes und/oder in Abhängigkeit eines vorgegebenen Positionsabstandes des Fahrzeugs. In einem weiteren Schritt 350 des Verfahrens werden Abstände zwischen dem Fahrzeug 100 und Objekten 240, 241, 242 in der Umgebung 15) des Fahrzeugs 100 erfasst, wobei die Erfassung der Abstände bevorzugt dreidimensional erfolgt. In einem optionalen Schritt 360 wird eine Objekterkennung von mindestens einem Objekt 240, 241, 242 in der Umgebung 150 des Fahrzeugs 100 in Abhängigkeit des erfassten und/oder gespeicherten Kamerabilds 220, 230 durchgeführt. Es kann in einem weiteren optionalen Schritt 361 vorgesehen sein, eine Höhe und/oder eine Breite des erkannten Objektes 240, 241, 242 zu ermitteln. In einem anderen optionalen Schritt 362 kann es vorgesehen sein, Standardmodelle zu den erkannten Objekten 240, 241, 242 aus einem elektrischen Speicher zu laden. Anschließend wird im Verfahrensschritt 370 wenigstens eine Nahbereichsprojektionsfläche 210 erzeugt. Die Nahbereichsprojektionsfläche 210 repräsentiert den Nahbereich der Umgebung 150 um das Fahrzeug 100. Die Nahbereichsprojektionsfläche 210 wird im Schritt 370 in Abhängigkeit der erfassten Abstände dreidimensional verformt erzeugt. Es kann im Schritt 370 optional vorgesehen sein, die Nahbereichsprojektionsfläche 210 zusätzlich in Abhängigkeit der ermittelten Höhe und/oder der ermittelten Breite der erkannten Objekte 240, 241, 242 und/oder in Abhängigkeit der geladenen Standardmodelle zu den erkannten Objekten 240, 241, 242 räumlich beziehungsweise dreidimensional zu verformen. Es kann ferner im Schritt 370 vorgesehen sein, die Nahbereichsprojektionsfläche 210 zusätzlich in Abhängigkeit einer ermittelten Objektbeweglichkeit dreidimensional zu verformen. In einem optionalen Schritt 380 kann es vorgesehen sein, das eine Texturinformation zu wenigstens einem unbekannten Bereich 280 der Nahbereichsprojektionsfläche 210 und/oder der Fernbereichsprojektionsfläche 290 zu dem weder ein aktuelles Kamerabild 220 noch ein gespeichertes Kamerabild 230 im elektronischen Speicher 130 des Fahrzeugs 100 vorliegt empfangen wird. Der Empfang erfolgt insbesondere von einer Servereinrichtung und/oder von einem anderen Fahrzeug in Abhängigkeit der aktuellen Fahrzeugposition 121 und vorteilhafterweise nach Absendung einer Anfrage für die Texturinformation in Abhängigkeit der aktuellen Fahrzeugposition 121 oder der Lage beziehungsweise Position des unbekannten Bereichs 280. In einem optionalen Schritt 386 kann es vorgesehen sein, eine Gefahreninformation von einer Servereinrichtung und/oder von einem anderen Fahrzeug in Abhängigkeit der aktuellen Fahrzeugposition zu empfangen, wobei der Gefahreninformation insbesondere eine Positionsinformation zugeordnet ist. Im Schritt 390 erfolgt eine Anzeige beziehungsweise Darstellung des Umgebungsmodells 200 in Abhängigkeit der erzeugten Nahbereichsprojektionsfläche 210, wenigstens eines aktuellen Kamerabildes 220, eines gespeicherten Kamerabildes 230 und der aktuellen Fahrzeugposition 121. Die Darstellung 390 des Umgebungsmodells 200 umfasst optional zusätzlich eine Projektion zumindest eines Teils der empfangenen Texturinformation auf den unbekannten Bereich 280 der Nahbereichsprojektionsfläche 210 und/oder der Fernbereichsprojektionsfläche 290. Optional werden im Verfahrensschritt 390 die empfangene Texturinformation oder eine Schätztextur im Umgebungsmodells abstrahiert auf die Nahbereichsprojektionsfläche 210 und/oder die Fernbereichsprojektionsfläche 290 projiziert. Ferner kann bei der Darstellung 390 des Umgebungsmodells 200 optional eine Grenzlinie zwischen einer empfangenen Texturinformation oder einer Schätztextur und einem aktuellen Kamerabild 220 oder einem gespeicherten Kamerabild 230 auf der Nahbereichsprojektionsfläche 210 und/oder auf der Fernbereichsprojektionsfläche 290 hervorgehoben werden. Die Darstellung 390 des Umgebungsmodells 200 kann optional zusätzlich die empfangene Gefahreninformation umfassen, wobei die empfangene Gefahreninformation insbesondere in Abhängigkeit der zugeordneten Positionsinformation auf der Nahbereichsprojektionsfläche und/oder der Fernbereichsprojektionsfläche dargestellt wird. In der Darstellung 390 des Umgebungsmodells 200 zu einer empfangenen Gefahreninformation können die Texturen in einem Gefahrenbereich des Umgebungsmodells 200 in Abhängigkeit der der empfangenen Gefahreninformation zugeordneten Positionsinformation farblich gekennzeichnet werden. Beispielsweise wird der Gefahrenbereich in einem vorgegebenen Abstand zu der Positionsinformation der Gefahreninformation und/oder in Abhängigkeit der Gefahreninformation eingefärbt. Es kann im Schritt 290 zusätzlich vorgesehen sein, dass ein einen spiegelnden Umgebungsbereich repräsentierender Teilbereich der Nahbereichsprojektionsfläche durch ein angelerntes neuronales Netz beziehungsweise durch ein automatisiertes angelerntes Erkennungsverfahren erkannt wird. Der spiegelnde Umgebungsbereich ist beispielsweise eine Fensterscheibe oder ein Außenspiegel eines Fremdfahrzeugs in der Umgebung des Fahrzeugs oder eine Spiegel- oder Glasfassade eines Gebäudes in der Umgebung des Fahrzeugs. Die Darstellung 390 des Umgebungsmodells 200 kann optional wenigstens eine Projektion wenigstens eines Teils eines aktuellen Kamerabildes 220, eines Teils eines gespeicherten Kamerabildes 230, eines Teils der empfangenen Texturinformation oder eines Teils der Schätztextur auf diesen erkannten Teilbereich umfassen, welcher den erkannten spiegelnden Umgebungsbereichs repräsentiert.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102008034594 A1 [0002]
- EP 2511137 A1 [0003]
