DE102016124978A1

DE102016124978A1 - Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen

Info

Publication number: DE102016124978A1
Application number: DE102016124978.5A
Authority: DE
Inventors: Huanqing Guo; Fergal O'Malley; Ahmed Fahty; Marcin Rogucki
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-12-20
Filing date: 2016-12-20
Publication date: 2018-06-21

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1), mit einem a) Erfassen einer Umgebung (5) durch eine bildgebende Sensoreinrichtung (3) aus zumindest einer Perspektive (Pf, Ps) und Bereitstellen zumindest eines jeweils einer der Perspektiven (Pf, Ps) zugeordneten Bildes der Umgebung (5), einem b) Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14), einem c) Detektieren zumindest eines vertikalen Objekts (8) in einem Teil des zumindest einen bereitgestellten Bildes mit einem Ermitteln einer Position (X) des vertikalen Objekts (8) in der Umgebung (5), einem d) Erzeugen zumindest einer zusätzlichen virtuellen Projektionsfläche (9) an einem der für das vertikale Objekt (8) ermittelten Position (X) entsprechenden Ort (X', X"), einem e) Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher das vertikale Objekt (8) repräsentiert, auf die zusätzlichen virtuelle Projektionsfläche (9) und einem f) Anzeigen der virtuellen Repräsentation (7) der Umgebung (5) mit der virtuellen Projektionsfläche (14) und der zusätzlichen virtuellen Projektionsfläche (9) aus einer vorgebbaren Perspektive (Pf, Ps) durch eine Anzeigeeinrichtung (11), um die Erkennbarkeit von vertikalen Objekten (8) für das Fahrerassistenzsystem (2) zu verbessern.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, mit einem Erfassen einer Umgebung durch eine bildgebende Sensoreinrichtung des Fahrerassistenzsystems aus zumindest einer Perspektive und Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bildes der Umgebung und mit einem Erzeugen einer virtuellen Repräsentation der Umgebung in einem virtuellen dreidimensionalen Raum durch eine Recheneinrichtung des Fahrerassistenzsystems mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in dem dreidimensionalen virtuellen Raum. Die Erfindung betrifft auch Fahrerassistenzsystems eines Kraftfahrzeugs, mit einer bildgebenden Sensoreinrichtung zum Erfassen einer Umgebung aus zumindest einer Perspektive und zum Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bildes der Umgebung sowie mit einer Recheneinrichtung zum Erzeugen einer virtuellen Repräsentation der Umgebung in einem virtuellen dreidimensionalen Raum mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in dem dreidimensionalen virtuellen Raum.
Die Überwachung einer Umgebung eines Kraftfahrzeugs spielt in den heutigen Fahrerassistenzsystemen eine immer größere Rolle. Ein wichtiger Aspekt dabei ist die Darstellung der Umgebung des Kraftfahrzeugs für eine menschliche Bedienperson, beispielsweise einen Fahrer des Kraftfahrzeugs. Dabei kommen zumeist Kamerasysteme zum Einsatz, welche aus unterschiedlichen Perspektiven Bilder der Umgebung umfassen und diese zu einer Gesamtansicht zusammenführen oder vereinen.
Bei diesem Zusammenfügen kommt es gerade bei einer 360 Grad Überwachung des Kraftfahrzeugs, beispielsweise bei einer Vogelperspektivansicht oder einer perspektivischen Außenansicht wie einer sogenannten bowl-view (Schalen-Ansicht) oder bowl-view-Ansicht zu Artefakten. Dabei können gewisse Objekte in der Umgebung des Kraftfahrzeugs wie beispielsweise ein Fußgänger entweder nicht korrekt angezeigt werden oder verschwinden bereichsweise sogar ganz aus der zusammengesetzten Gesamtansicht. Dies ist darauf zurückzuführen, dass die zusammengesetzte Gesamtansicht ein künstlich zusammengefügtes Bild ist und nicht ein optisch durch eine einzige reale Kamera geformtes Bild. Damit können bei dem Zusammensetzen der Einzelbilder zu der Gesamtansicht Bildpunkte oder Pixel verloren gehen und entsprechend das in dem Bildpunkt repräsentierte Objekt, beispielsweise dem Fußgänger, nicht in der Gesamtansicht angezeigt werden. Dies führt potentiell zu einem Sicherheitsproblem.
Ein ähnliches Problem kann jedoch auch unabhängig von dem Zusammensetzen der Bilder auftreten, nämlich beispielsweise wenn ein vertikales Objekt, also ein Objekt dessen Haupterstreckungsrichtung sich vertikal und somit parallel zu einer Fahrzeughochrichtung erstreckt, in einer nahen Umgebung des Kraftfahrzeugs erfasst wird und sodann in der virtuellen Repräsentation der Umgebung, beispielsweise in einer perspektivischen Außenansicht, auf eine senkrecht zu einer Horizont der virtuellen Umgebung in einer Vertikalebene erstreckende Projektionsfläche projiziert wird, welche in der virtuellen Umgebung weiter von einer Repräsentation des Kraftfahrzeugs entfernt ist als das vertikale Objekt von dem realen Kraftfahrzeug. Damit ist das vertikale Objekt in der virtuellen Umgebung gegebenenfalls von einer vorgegebenen Perspektive, die sich von der Perspektive, aus welcher die Umgebung beispielsweise durch eine reale Kamera erfasst wurde, oft nur schwer zu erkennen.
So offenbart die US 2012 0069153 A1 eine Vorrichtung für eine Überwachung der Umgebung eines Fahrzeugs, bei welchem basierend auf aufgenommenen Bildern von einer Vielzahl von Kameras durch ein Synthetisieren oder Zusammenfügen der Bilder eine Ansicht aus einer Vogelperspektive auf einem Monitor dargestellt wird.
Auch aus der US 2014 000266 A1 ist eine Vorrichtung zum Erzeugen einer Vogelperspektiv-Ansicht bekannt, welche aus mehreren Bildern zusammengesetzt wird.
Grundsätzlich ist weiterhin das Prinzip der 3D-Erfassung und 3D-Visualisierung von Umgebungen mit einer Vielzahl von Techniken bekannt. So ist beispielsweise aus dem Artikel „RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments" von Peter Henry et al. aus dem International Journal of Robotic Research von April 2012 bekannt, wie eine Tiefeninformation aus Bildern extrahiert und daraus eine dreidimensionale Repräsentation der Umgebung abgeleitet werden kann.
Grundsätzlich lässt sich sagen, dass das dreidimensionale Erfassen und Rekonstruieren einer Umgebung im Bereich des maschinellen Sehens, der Robotik und der unbemannten Luftfahrt sowie aus der Computerspielindustrie, und der Kameraüberwachung aus stationären Bildern, Videos oder Punktmengen bekannt ist.
Der Erfindung liegt nun die Aufgabe zugrunde, die Erkennbarkeit von vertikalen Objekten, also Objekten die sich hauptsächlich in einer vertikalen Richtung und somit einer Fahrzeughochrichtung erstrecken, in einer Darstellung auf einer Anzeigeeinrichtung des Fahrerassistenzsystems eines Kraftfahrzeugs zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit einer Reihe von Verfahrensschritten. Ein Verfahrensschritt ist dabei ein Erfassen einer Umgebung durch eine bildgebende Sensoreinrichtung des Fahrerassistenzsystems aus zumindest einer Perspektive und ein Bereitstellen zumindest eines der einen Perspektive zugeordneten Bildes der Umgebung. Bevorzugt erfolgt das Erfassen aus zumindest zwei, beispielsweise drei oder vier, verschiedenen Perspektiven. So kann beispielsweise die Umgebung durch eine Kamera oder bevorzugt zumindest zwei, beispielsweise drei oder vier, unterschiedliche Kameras des Fahrerassistenzsystems erfasst werden. Im Falle des Erfassens der Umgebung aus mehreren Perspektiven erfolgt hier ein Bereitstellen zumindest eines der Bilder der Umgebung, welche jeweils einer der Perspektiven zugeordnet sind. Jedem bereitgestellten Bild ist somit eine Perspektive zugeordnet. Bei dem Bild oder den Bildern kann es sich insbesondere um zweidimensionale Bilder handeln. Ein weiterer Verfahrensschritt ist ein Erzeugen einer virtuellen Repräsentation der Umgebung, kurz einer virtuellen Umgebung in einem virtuellen dreidimensionalen Raum durch eine Recheneinrichtung des Fahrerassistenzsystems. Die virtuelle Repräsentation ist oder umfasst dabei insbesondere eine dreidimensionale Repräsentation der Umgebung, beispielsweise eine zweidimensionale Untermannigfaltigkeit in einem virtuellen dreidimensionalen Raum. Bei dem Erzeugen erfolgt auch ein Projizieren von zumindest einem jeweiligen Teil oder Bildteil des zumindest einen bereitgestellten Bildes auf eine erste virtuelle Projektionsfläche in dem dreidimensionalen virtuellen Raum. Eines oder mehrere der bereitgestellten Bilder können dabei auch ganz oder vollständig auf die virtuelle Projektionsfläche projiziert werden. Insbesondere ist oder umfasst die virtuelle Projektionsfläche eine gewölbte virtuelle Projektionsfläche, die Projektionsfläche kann also bereichsweise oder gänzlich gewölbt sein. Die eine oder erste virtuelle Projektionsfläche kann dabei eine zweidimensionale Untermannigfaltigkeit in dem virtuellen dreidimensionalen Raum sein.
Die virtuelle Repräsentation der Umgebung kann also erzeugt werden, indem die bereitgestellten Bilder oder das bereitgestellte Bild auf der virtuelle Projektionsfläche projiziert und gegebenenfalls zusammengefügt werden. Das oder die bereitgestellten Bilder können bevorzugt auch bei oder vor dem Projizieren einer oder mehreren optischen Operationen zum Korrigieren jeweiliger optische Abbildungsfehler oder Abbildungseigenschaften, beispielsweise zum Korrigieren einer Verzerrung einer Fischaugenlinse, unterzogen werden.
Wichtig ist dabei ein Detektieren eines vertikalen Objekts in einem Teil oder Bildteil des zumindest einen bereitgestellten Bildes oder bei mehreren bereitgestellten Bildern in einem Teil von zumindest einem der mehreren bereitgestellten Bilder. Das oder die vertikalen Objekte können auch in Teilen verschiedener Bilder detektiert werden. Unter einem vertikalen Objekt kann hier ein Objekt verstanden werden, welches sich hauptsächlich in der vertikalen Richtung erstreckt, das heißt dessen Haupterstreckungsrichtung in der vertikalen Richtung, einer Fahrzeughochrichtung des Kraftfahrzeugs, verläuft. Das vertikale Objekt kann also ein hauptsächlich in der Fahrzeughochrichtung erhabenes Objekt sein. Beispielsweise kann ein vertikales Objekt ein Objekt sein, welches in der vertikalen Richtung größer als 40 cm ist. Insbesondere kann das vertikale Objekt ein Fußgänger und/oder eine Säule, beispielsweise eine Tragsäule und/oder eine Begrenzungssäule, und/oder ein Mast, beispielsweise ein Strommast und/oder ein Laternenmast, und/oder ein Pylon, ein Leitkegel, und/oder ein Leitpfosten sein oder umfassen.
Das Detektieren kann beispielsweise mit den aus den Stand der Technik bekannten Verfahren zum Detektieren von Objekten in Bildern durchgeführt werden. Bei dem Detektieren wird dabei auch eine Position des vertikalen Objekts in der Umgebung des Kraftfahrzeugs ermittelt. Ein weiterer wichtiger Verfahrensschritt ist ein Erzeugen einer zusätzlichen zweiten virtuellen Projektionsfläche an einem der für das vertikale Objekt in der realen Umgebung ermittelten Position entsprechenden Ort in der virtuellen Umgebung, also dem dreidimensionalen virtuellen Raum. Die zusätzliche Projektionsfläche kann somit in dem virtuellen Raum frei positioniert werden. Beispielsweise kann die zusätzliche Projektionsfläche Teil einer Oberfläche eines dreidimensionalen (Projektions-)Körpers sein, welcher bevorzugt an dem entsprechenden Ort in dem dreidimensionalen virtuellen Raum positioniert wird.
Darauf folgt ein Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher das vertikale Objekt repräsentiert, auf die zusätzliche virtuelle Projektionsfläche. Die zusätzliche virtuelle Projektionsfläche erhält somit die Textur des detektierten vertikalen Objektes. Schließlich folgt ein Anzeigen der virtuellen Repräsentation der Umgebung mit der ersten virtuellen Projektionsfläche und der zusätzlichen zweiten virtuellen Projektionsfläche aus einer vorgebbaren oder vorgegebenen Perspektive durch eine Anzeigeeinrichtung des Fahrerassistenzsystems. Es können hier im Falle mehrerer bereitgestellter Bilder auch aus mehreren Bildern Teile, welche das vertikale Objekt repräsentieren, aus den Projektionskörper projiziert werden. Dabei unterscheidet sich die vorgegebene Perspektive bevorzugt von der Perspektive des einen oder der mehreren Bilder. Somit kann beispielsweise basierend auf einem oder mehreren Bildern, welche durch eine oder mehrere fahrzeuginterne Kameras aufgenommen wurden, eine perspektivische Außenansicht, beispielsweise die genannte „bowl view“, oder auch eine Ansicht aus einer Vogelperspektive auf die Umgebung des Kraftfahrzeugs, bevorzugt auch mit einer virtuellen Repräsentation, einem Modell des Kraftfahrzeugs, angezeigt werden.
Alternativ zu dem Erzeugen der zusätzlichen Projektionsfläche kann auch die erste Projektionsfläche verformt werden, sodass sie sich bis zu dem Ort, welcher der für das vertikale Objekt ermittelten Position entspricht hin erstreckt. Dies ist jedoch gerade bei sehr schmalen Objekten wie beispielsweise Masten oder Säulen oder auch einzelnen Fußgängern weniger vorteilhaft als das Erzeugen der zusätzlichen virtuellen Projektionsfläche.
Es können auch gleichzeitig mehrere vertikale Objekte detektiert und entsprechend mehrere zusätzliche Projektionsflächen für die vertikalen Objekte erzeugt werden. Dabei können die Objekte, beispielsweise ein oder mehrere Fußgänger, und/oder das Kraftfahrzeug sich bewegen. In diesem Fall wird die zusätzlichen Projektionsfläche oder werden die zusätzlichen Projektionsflächen den sich relativ zu dem Kraftfahrzeug bewegenden Objekten nachgeführt.
Im Gegensatz zu den bekannten Ansätzen, bei welchen ein oder mehrere Bilder auf eine einzige zweidimensionale Projektionsoberfläche projiziert wird oder werden, wird hier der Bildteil mit dem entsprechenden vertikalen Objekt auf eine eigenständige, unabhängige Projektionsoberfläche projiziert. Diese zusätzliche Projektionsfläche ist dabei ein computergeneriertes Modell, welches an das jeweilige vertikale Objekt in seinen Abmessungen, beispielsweise Größe und/oder Form, angepasst sein kann.
Es wird also durch das vorgestellte Verfahren in der virtuellen Umgebung beziehungsweise dem virtuellen Raum eine zusätzliche Projektionsfläche für das vertikale Objekt erzeugt und insbesondere mit der Textur des vertikalen Objektes angezeigt. Die zusätzliche Projektionsfläche kann in ihrer Gestalt, insbesondere in ihrer Höhe und/oder Breite, der Gestalt des realen vertikalen Objektes angepasst, um das vertikale Objekt in der virtuellen Umgebung bestmöglich und ohne Artefakte, Verzerrungen oder perspektivbedingte Lücken in der Anzeige darzustellen. Zum Berechnen der zusätzlichen Projektionsfläche und/oder der entsprechenden Texturen beziehungsweise dem Projizieren der Texturen auf die zusätzliche Projektionsfläche kann beispielsweise ein Grafikprozessor (graphic processing unit, GPU) genutzt werden. Dabei können die entsprechenden Bildpunkte des Bildteils mit dem vertikalen Objekt analog zu der Art und Weise, in welcher die sonstigen Bilder auf die erste Projektionsfläche projiziert werden, auf die jeweilige zusätzliche Projektionsfläche projiziert werden. Dadurch kann die virtuelle Umgebung mit der zusätzlichen Projektionsfläche in Echtzeit berechnet und/oder gerendert werden.
In der virtuellen Umgebung kann auch eine virtuelle Lichtquelle und damit ein Lichtmodell vorgegeben sein. Dies erhöht die Sichtbarkeit und Erkennbarkeit des vertikalen Objekts unabhängig von der vorgebbaren Perspektive der virtuellen Kamera. Gerade hier ist die Verwendung eines Grafikprozessors besonders vorteilhaft.
Das Grundprinzip der Erfindung ähnelt somit konzeptionell dem dreidimensionalen Abbilden und Rekonstruieren einer Umgebung aus zweidimensionalen Bildern, wobei der Erfindung der umgekehrte Weg zugrunde liegt. Hier wird nämlich zunächst in Form der zusätzlichen Projektionsfläche ein Modell, beispielsweise ein dreidimensionales Modell, erzeugt um das vertikale Objekt zu repräsentieren, sodass das vertikale Objekt ausgehend von dem oder den zweidimensionalen Bildern dann auf dieses Modell, die Projektionsfläche abgebildet und mit weniger optischen Störungen angezeigt werden kann. Die Erfindung fokussiert dabei auf die Nutzung von einer zusätzlichen Projektionsfläche im virtuellen dreidimensionalen Raum, welche beispielsweise durch einen dreidimensionalen Projektionskörper vorgegeben sein kann, um ein oder mehrere vertikale Objekte in der Umgebung des Kraftfahrzeugs in der virtuellen Umgebung darzustellen.
Das Verfahren hat den Vorteil, dass das genannte vertikale Objekt zuverlässiger und genauer in der virtuellen Umgebung dargestellt werden kann und somit die Gefahr eines Übersehens durch den Fahrer verringert wird. Dabei ist das Verfahren gerade für vertikale Objekte vorteilhaft, da diese durch die bildgebende Sensoreinrichtung oft gegenüber einem verhältnismäßig weit entfernten Hintergrund, also beispielsweise ein Hintergrund dessen Entfernung vom Kraftfahrzeug ein Vielfaches der Entfernung des vertikalen Objekts beträgt, erfasst werden. Dadurch ergeben sich besonders starke Verwerfungen oder Diskrepanzen bei dem üblichen Nutzen einer einzigen Projektionsfläche für das gesamte Bild, da benachbarten Bildpunkten sehr unterschiedliche Entfernungen zugeordnet sein können. Dieser Effekt tritt naturgemäß gerade für Objekte in großer Nähe oder sehr naher Umgebung zu dem Kraftfahrzeug besonders stark auf. Gerade diese werden bei einem Projizieren auf eine einzige Projektionsfläche, beispielsweise auf die schalenförmige Projektionsfläche („bowl“) in den üblichen perspektivischen Außenansichten wie der genannten „bowl view“, zu einem großen Teil auf einen Boden projiziert und sind damit erschwert erkennbar. Hier wird durch das beschriebene Verfahren eine realistischere Darstellung der Umgebung des Kraftfahrzeugs bereitgestellt, in welcher das vertikale Objekt weniger leicht übersehen wird.
Die verbesserte Sichtbarkeit der vertikalen Objekte ist hier auch unabhängig von der vorgegebenen Perspektive vorgebbar. Die vorgebbare Perspektive in der virtuellen Umgebung wird durch den gedachten Standort des Betrachters der Anzeigeeinrichtung in der virtuellen Umgebung, den gedachten Standort einer (als virtuelle Kamera bezeichneten) Kamera in der virtuellen Umgebung und somit in der aus bevorzugt unterschiedlichen Bildern zusammengefügten Gesamtansicht bestimmt. Diese virtuelle Kamera ist dabei so programmiert, dass sie entsprechend ihrer Perspektive die von den realen Kameras oder sonstigen bildgebenden Sensoreinrichtungen erfassten Bilder oder Bildinformationen wie Bildpunkte oder Pixel empfängt. Dabei kann die virtuelle Kamera und damit die virtuelle Perspektive frei in dem virtuellen Raum und damit der virtuellen Umgebung bewegt werden und jeder Bereich in der Umgebung des Kraftfahrzeugs, welcher durch die entsprechende bildgebende Sensoreinrichtung erfasst ist, betrachtet werden.
Das Verfahren kann dabei auch wiederholt ausgeführt werden, was besonders günstig ist, wenn sich das Kraftfahrzeug bewegt. Gerade bei Situationen, in denen eine Information bezüglich des vertikalen Objekts besonders wertvoll ist, wie beispielsweise bei einem Rangieren auf einem Parkplatz mit Personen in der Umgebung des Kraftfahrzeugs, kann dabei auch mit einer vergleichsweise geringen Wiederholrate und damit geringer Rechenkapazität eine genaue und verlässliche virtuelle Umgebung erzeugt werden.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die Umgebung durch eine Kameraeinrichtung als bildgebende Sensoreinrichtung erfasst wird. Die Kameraeinrichtung weist dabei zumindest eine Kamera, insbesondere zumindest zwei und bevorzugt vier Kameras zum Erfassen der Umgebung aus der zumindest einen insbesondere aus zumindest zwei, beispielsweise drei und bevorzugt vier Perspektiven auf.
Das hat den Vorteil, dass besonders leicht eine ansprechende und für einen Betrachter der Anzeigeinrichtung leicht wiedererkennbare und interpretierbare virtuelle Umgebung erzeugt werden kann. Überdies können die bekannten Bilderkennungsalgorithmen bei dem Detektieren des zumindest einen vertikalen Objekts sowie bei dem Erzeugen der virtuellen Repräsentation der Umgebung genutzt werden. Auch sind in vielen Fahrzeugen eine oder mehrere, beispielsweise zwei, drei oder vier Kameras vorhanden, welche somit synergetisch mit anderen Funktionen des Fahrerassistenzsystems oder anderen Fahrerassistenzsystemen genutzt werden können.
In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die Umgebung aus zumindest zwei verschiedenen Perspektiven erfasst wird und zumindest zwei jeweils einer der Perspektiven zugeordneten Bilder der Umgebung bereitgestellt werden, wobei jeweils die zwei auf die eine erste virtuelle Projektionsfläche projizierten Teile der zumindest zwei Bilder auf der Projektionsfläche in einem Übergangsbereich aneinander angrenzen oder ineinander übergehen, und das vertikale Objekt in der virtuellen Repräsentation der Umgebung in dem Übergangsbereich lokalisiert ist. In dem Übergangsbereich können die beiden Bilder also beispielsweise mit einer Naht aneinander angefügt werden, oder beispielsweise ineinander überblendet werden. Dieser Übergangsbereich wird oft auch als sogenannte „merging area“ bezeichnet. Insbesondere kann das vertikale Objekt in zwei der bereitgestellten Bilder in dem Bildbereich, das heißt innerhalb des Bildbereiches, welcher auf der Projektionsfläche in den Übergangsbereich projiziert wird, detektiert werden, also in einem dem Übergangsbereich entsprechenden Bereich der Umgebung lokalisiert sein. Das vertikale Objekt ist somit insbesondere auf beiden Bildern repräsentiert oder erfasst. Dabei kann der jeweilige Teil des einen Bildes oder der zumindest zwei Bilder, welcher das vertikale Objekt repräsentiert, auf die zusätzliche zweite virtuelle Projektionsfläche projiziert werden. Somit werden dann auf die zweite zusätzliche Projektionsfläche mehrere Projektionen durchgeführt.
Das hat den Vorteil, dass das vertikale Objekt, welches sonst aufgrund der Lokalisierung in dem Übergangsbereich entweder für ein sogenanntes Geisterbild sorgt, welches durch die unterschiedlichen Perspektiven der beiden zugeordneten Bilder auf das Objekt bedingt ist, oder aber, beispielsweise bei einem Szenario in welchem die Bilder ohne Überlappungsbereich direkt aneinander angrenzen sehr schwer zu erkennen ist, da beispielsweise nur eine Grundfläche, welche bei einem vertikalen Objekt naturgegeben verhältnismäßig klein ist, auf der ersten Projektionsfläche dargestellt wird. Somit wird die Sichtbarkeit des vertikalen Objekts gerade bei einer zusammengesetzten Gesamtansicht, wie sie zumeist in Kraftfahrzeugen mit einem System aus mehreren Kameras realisiert ist, verbessert und ein Erkennen von vertikalen Objekten in der Umgebung erleichtert. Gefährliche Situationen wie ein Übersehen des Objektes werden so gerade in einem Nahbereich des Kraftfahrzeugs, welcher insbesondere bei einer schalenförmigen ersten Projektionsfläche auf dem Boden der Schale projiziert wird, vermieden.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass die zusätzliche virtuelle Projektionsfläche die Form einer ebenen Fläche, insbesondere eines Rechtecks oder eines Umrisses des vertikalen Objektes, oder einer gewölbten Fläche, insbesondere eines Zylindermantelabschnitts, hat, welche jeweils im Wesentlichen, also mit einer vorgebbaren Abweichung von beispielsweise weniger als 30 oder weniger als 15 Grad, parallel zu einer Blickrichtung der vorgegebenen Perspektive ausgerichtet oder orientiert ist. Bei einer gewölbten Fläche kann diese zum Bestimmen der Orientierung durch eine ebene Fläche angenähert werden. Dabei kann bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche auf eine generische Vorlage in Form einer ebenen oder gewölbten rechteckigen Projektionsfläche zurückgegriffen werden, welcher anhand der erkannten Abmessungen des detektierten vertikalen Objekts in seinen Abmessungen angepasst und als zusätzliche virtuelle Projektionsfläche verwendet wird. Die erkannten Abmessungen können beispielsweise eine Länge und/oder eine Breite auf dem jeweiligen zweidimensionalen Bild umfassen.
Die zusätzliche Projektionsfläche kann also insbesondere in dem Übergangsbereich der ersten Projektionsfläche angeordnet sein, beispielsweise an diesen angrenzen.
Das hat den Vorteil, dass die zusätzliche Projektionsfläche mit geringem Aufwand erstellt werden kann. Die zusätzliche Projektionsfläche kann auch einfach an die Abmessungen des Objektes, insbesondere an eine Form und/oder Größe des Objektes, angepasst werden. Die zusätzliche Projektionsfläche kann somit bereits fertig vorgegeben sein oder in Echtzeit generiert werden. Die Projektionsfläche kann dabei auch, insbesondere in ihrer Orientierung, in Abhängigkeit der vorgegebenen oder vorgebbaren Perspektive, also Ort und Ausrichtung der virtuellen Kamera vorgegeben werden. Die zusätzliche virtuelle Projektionsfläche kann dabei in ihrer Gestalt auch dynamisch an das Objekt, beispielsweise an ein sich veränderndes Objekt wie einen sich bewegenden Fußgänger angepasst werden. Dies ist am einfachsten für eine fest vorgegebene Perspektive für die Anzeige der virtuellen Umgebung, welche von einer Bedienperson nicht änderbar ist.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche ein dreidimensionaler Zylinder in dem virtuellen dreidimensionalen Raum erzeugt wird, dessen Manteloberfläche die zusätzliche virtuelle Projektionsfläche umfasst oder aufweist. Insbesondere kann bei dem Erzeugen des dreidimensionalen Zylinders auf eine generische Vorlage in Form eines Ur-Zylinderkörpers zurückgegriffen werden, welcher anhand erkannter Abmessungen des detektierten vertikalen Objekts in seinen Abmessungen angepasst und als dreidimensionaler Zylinder und somit als Projektionskörper für das Erzeugen und Bereitstellen der zusätzlichen Projektionsfläche verwendet wird.
In einer alternativen Ausführungsform kann bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche statt des dreidimensionalen Zylinders auch ein sonstiges dreidimensionales Objekt als dreidimensionaler Projektionskörper in dem virtuellen dreidimensionalen Raum erzeugt werden, dessen entsprechende Oberfläche dann die zusätzliche virtuelle Projektionsfläche umfasst. Bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche wird somit ein dreidimensionales Objekt in dem virtuellen dreidimensionalen Raum erzeugt, dessen Oberfläche die zusätzliche virtuelle Projektionsfläche umfasst, und dessen Form oder Gestalt in Abhängigkeit von der Form oder Gestalt des vertikalen Objektes vorgegeben wird. Der dreidimensionale Projektionskörper kann dabei beispielsweise an einen Umriss des realen vertikalen Objekts angepasst werden. Dieser dreidimensionale Projektionskörper kann dann auch dynamisch an ein sich veränderndes vertikales Objekt angepasst werden.
Das hat den Vorteil, dass das reale vertikale Objekt in optimaler Weise mit der geringsten Abweichung von der Realität in der virtuellen Umgebung für die vorgegebene Perspektive dargestellt werden kann. Aufgrund der erforderlichen Rechenkapazität ist dies jedoch derzeit in einem durchschnittlichen Kraftfahrzeug schlecht umsetzbar und nur in einem Kraftfahrzeug mit ausreichender Rechenkapazität realisierbar.
Für das Erzeugen des Zylinders kann eine bekannte Modellierungssoftware für dreidimensionale Objekte mit einer entsprechenden Anwendungsprogrammierschnittstelle (application programming interface, API) genutzt oder vorgesehen sein. Der dreidimensionale Projektionskörper oder Zylinder, welcher schließlich in der virtuellen Umgebung platziert wird kann als Gitternetz (mesh) mit entsprechenden Gitterpunkten (vortices) als Sample-Punkte erzeugt werden. Ein engmaschigeres Netz erzeugt hier glattere Repräsentationen des vertikalen Objekts, benötigt allerdings mehr Rechenkapazität. Typischerweise beträgt ein Abstand der Sample-Punkte mehrere Zentimeter in der Umgebung. Die Bildinformation oder Bildpunkt der entsprechenden Bilder werden dabei bei dem Projizieren des Bildteils mit dem vertikalen Objekt auf den Zylinder oder Projektionskörper auf die vom Gitternetz vorgegebene Oberfläche abgebildet. Gestalt, also beispielsweise Durchmesser und Länge, des Zylinders oder des Projektionskörpers kann dabei durch ein entsprechendes Verschieben der Sample-Punkte angenähert werden.
Das hat den Vorteil, dass einerseits aufgrund der generischen Verwendung des Zylinders mit nur wenigen freien Parametern und somit mit wenig Rechenaufwand eine zusätzliche Projektionsfläche geschaffen wird. Da es sich bei dem Zylinder um einen komplettes dreidimensionales Objekt in dem dreidimensionalen Raum handelt, ist die zusätzliche Projektionsfläche auch unabhängig von der vorgegebenen Perspektive gut sichtbar oder erkennbar. Dies ist beispielsweise bei der oben beschriebenen ebenen Fläche weniger günstig, da hier ein Blick von der Seite lediglich einen dünnen Strich zeigt. Die Verwendung eines dreidimensionalen Projektionskörpers, bevorzugt des beschriebenen Zylinders, bietet somit unabhängig von der vorgegebenen Perspektive eine genaue und wirklichkeitsgetreue, gut erkennbare Abbildung des vertikalen Objekts. Daher eignet sie sich auch besonders für eine frei durch den Benutzer vorgebbaren Perspektive oder eine virtuelle Kamerafahrt durch die virtuelle Umgebung. Überdies sind die typischen vertikalen Objekte wie beispielsweise Säulen, Masten oder Begrenzungspfähle in etwa zylinderförmig, sodass die Abweichung von der realen Form verhältnismäßig gering ist. Auch damit werden Verzerrungen und Verfälschungen vermieden und eine große Flexibilität hinsichtlich der vorgebbaren Perspektive erzielt.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das vertikale Objekt und entsprechen in der virtuellen Repräsentation der Umgebung die zusätzliche Projektionsfläche eine horizontale Ausdehnung von weniger als 0,8 m, insbesondere weniger als 0,5 m und bevorzugt weniger als 0,3 m aufweist. Das vertikale Objekt ist somit ein schmales vertikales Objekt.
Das hat den Vorteil, dass das vertikale Objekt im Gegensatz zum Stand der Technik, bei welchem derartige schmale Objekte leicht übersehen werden, gerade wenn die vorgegebene Perspektive der virtuellen Kamera von der Perspektive des Bildes stark abweicht, dennoch dank des beschriebenen Verfahrens nicht übersehen werden.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die erste virtuelle Projektionsfläche in dem virtuellen Raum eine virtuelle Repräsentation des Kraftfahrzeugs, also ein Modell des Kraftfahrzeugs oder ein virtuelles Kraftfahrzeug, umgibt. Insbesondere kann die erste virtuelle Repräsentationsfläche dabei die Form einer Schale aufweisen und die Repräsentation des Kraftfahrzeugs auf dem Boden der Schale, dem Schalenboden, angeordnet sein. Dabei wird das Bild oder werden die Bilder auf die insbesondere gewölbten Schalenwände und den insbesondere ebenen Schalenboden projiziert. Beispielsweise können Boden-Bildteile, auf welchen ein Boden abgebildet ist, auf den Schalenboden und andere Bildteile wie beispielsweise Gebäude-Bildteile, auf welchen erhabene Gebäude abgebildet sind, auf die Schalenwände projiziert werden. Gerade bei vertikalen Objekten in großer Nähe des Kraftfahrzeugs ergibt sich hier das Problem, dass in dem zweidimensionalen Bild abrupt zwischen Bildbereichen übergegangen wird, welche große Unterschiedliche Entfernungen von dem Kraftfahrzeug aufweisen. Dies macht das Projizieren wie es im Stand der Technik bekannt ist und einer einzigen, beispielsweise schalenförmigen Repräsentationsfläche nachteilig und führt zu Artefakten. Daher ist hier das beschriebene Verfahren der zusätzlichen Projektionsfläche besonders vorteilhaft. Es kann somit durch die erste virtuelle Positionsfläche die genannte „bowl view“, eine perspektivische Außenansicht, ermöglicht werden, bei welcher die vorgebbaren Perspektive in dem Innenraum oder Volumen der Schale (bowl) zwischen Schalenboden und den Schalenwänden frei angeordnet werden kann. Damit kann mit der vorgebbaren Perspektive eine (insbesondere auch ausschnittweise) Ansicht der virtuellen Umgebung mit dem Kraftfahrzeug erzeugt werden. Die zusätzliche Projektionsfläche kann dabei innerhalb der Schale, also zwischen dem Kraftfahrzeug und den Schalenwänden sowie dem Kraftfahrzeug und dem Schalenboden angeordnet sein.
Das hat den Vorteil, dass durch das Hinzufügen der zusätzlichen Projektionsfläche die oben bereits erwähnten Verwerfungen vermieden werden. Dies gilt nicht nur in besonderem Maße für dem Kraftfahrzeug besonders nahestehende vertikale Objekte, welche einem Ort auf dem Boden der Schale zugeordnet sind, sondern auch für zusammengesetzte Gesamtansichten, gerade für die genannten schalenförmigen ersten Projektionsflächen mit mehreren aneinander angrenzenden oder ineinander übergehenden Projektionen von unterschiedlichen Bildern aus unterschiedlichen Perspektiven. Somit kann eine besonders realistische Wiedergabe der Umgebung erzielt werden. Dadurch, dass das Kraftfahrzeug auf dem insbesondere flachen Boden der Schale angeordnet ist, kann die räumliche Relation zu dem vertikalen Objekt besonders gut eingeschätzt oder erkannt werden. Eine räumliche Verzerrung, wie sie bei dem Projizieren eines dreidimensionalen Objekts wie des vertikalen Objekt auf einen ausschließlich flachen Boden auftritt, und welche den Ort des vertikalen Objekts schwer erkennen lässt, wird hier vermieden.
Die Schale kann dabei als kontinuierliche und/oder glatte Projektionsfläche gestaltet sein, insbesondere mit dem Kraftfahrzeug in einem Zentrum der Schale oder einem Mittelpunkt der Schale. Dabei kann eine Umgebung des Kraftfahrzeugs mit einer oder mehreren Kameras, welche auf dem Kraftfahrzeug montiert sind, erfasst werden. Die entsprechenden von den Kameras erfassten Bilder werden dann als Texturen auf die Schale, das heißt auf den Boden und/oder die Wände der Schale projiziert. Die Form der Schale kann beispielsweise durch eine Polynomfunktion oder eine Potenzfunktion beschrieben werden. Eine derartig geschaltete Schale als einzige Projektionsfläche ist zwar im Allgemeinen für eine virtuelle Umgebung vorteilhaft, jedoch ungeeignet um vertikalen Objekte, insbesondere dünne vertikalen Objekte in dem Nahbereich um das Kraftfahrzeug bestmöglich, das heißt leicht erkennbar und realitätsgetreu darzustellen, da die flache und gleichmäßige Projektionsfläche nicht dem real innerhalb eines kleinen Bildbereichs auftretenden großen Entfernungsunterschied der jeweiligen in den Bildkomponenten repräsentierten Objekten in der Umgebung des Kraftfahrzeugs entspricht. Es werden somit einerseits Verzerrungen verursacht, welche ein vertikales Objekt leicht übersehen lassen und andererseits in einem Übergangsbereich durch ein Weglassen von Bildinformationen die Menge der Bildpunkte, welche das vertikales Objekt in dem Übergangsbereich repräsentiert, minimiert und dessen Sichtbarkeit verschlechtert. Dies sind beides grundsätzliche Probleme, welche sich nicht durch bessere Kameras oder eine bessere Bildverarbeitung ändern lassen, sondern durch die qualitativ unterschiedliche Form der ersten Projektionsfläche und der realen Umgebung mit dem vertikalen Objekt bedingt sind. Dabei ist gerade für vertikale schmale Objekte in der Nähe des Kraftfahrzeugs die Unterschiedlichkeit der Formen ausgeprägt, sodass hier die genannten Artefakte besonders deutlich auftauchen.
In einer besonders vorteilhaften Ausführungsform ist entsprechend vorgesehen, dass ein Abstand des vertikalen Objekts von Kraftfahrzeug höchstens 5 Meter, bevorzugt höchstens 3 Meter beträgt. Insbesondere kann Abstand mehr als 0,3 Meter betragen. Bevorzugt ist die zusätzliche virtuelle Projektionsfläche in dem virtuellen Raum an dem Boden der Schale angrenzend angeordnet, beispielsweise auf dem Boden. Ein vertikales Objekt, welches mit einem Abstand von mehr als 5 Metern detektiert wird, wird somit nicht mit der zusätzlichen Projektionsfläche repräsentiert sondern, beispielsweise ebenfalls auf die erste Projektionsfläche, insbesondere eine Wand der Schale, projiziert.
Das hat den Vorteil, dass einerseits Rechenkapazität, welche für die Berechnung beiden Projektionsflächen in der dreidimensionalen virtuellen Umgebung erforderlich ist, eingespart wird und andererseits in einem Nachfeld des Kraftfahrzeugs, in welchem eine Information über das vertikale Objekt aufgrund einer Kollisionsgefahr besonders entscheidend ist, dieses vertikale Objekt genau zu erkennen ist. Das Mindestmaß von 0,3 m ist hier vorteilhaft, da üblicherweise Kameras des Kraftfahrzeugs nicht in der Lage sind die Umgebung des Kraftfahrzeugs bis direkt an dieses hin zuverlässig zu erfassen. Die Anordnung der zweiten Projektionsfläche auf dem Boden der Schale, welche bevorzugt eben ausgeführt ist, das heißt in einer Ebene verläuft, erspart hier einen weiteren Freiheitsgrad und spart weitere Rechenressourcen.
In einer weiteren vorteilhaften Ausführungsformen ist vorgesehen, dass bei einem sich bewegenden Kraftfahrzeug die zusätzliche virtuelle Projektionsfläche, insbesondere der dreidimensionale Zylinder, relativ zu einer oder der virtuellen Repräsentation des Kraftfahrzeugs entsprechend der Bewegung des Kraftfahrzeugs bewegt wird. Insbesondere kann dies erfolgen, ohne dass das Detektieren des vertikalen Objekts, das Erzeugen der zusätzlichen virtuellen Projektionsfläche und das Projizieren des Bildteils mit dem vertikalen Objekts erneut für das bereits detektierte vertikale Objekt durchgeführt wird. Es kann also die unveränderte zweite Projektionsfläche, insbesondere der unveränderte dreidimensionale Zylinder einfach in der virtuellen Umgebung entsprechend der Bewegung des Kraftfahrzeugs verschoben werden. Die erforderlichen Daten können beispielsweise über einen Fahrzeugbus abgerufen werden.
Das hat den Vorteil, dass die relative Lage des vertikalen Objekts und des virtuellen Kraftfahrzeugs entsprechend der Lage des vertikalen Objekts zu dem Kraftfahrzeug erhalten bleibt. Im Gegensatz zu einem einfachen erneuten Durchlaufen des gesamten Verfahrens wird dabei Rechenkapazität gespart. Dies erfolgt wiederum unabhängig von einer entsprechenden vorgegebenen Perspektive der virtuellen Kamera. Dabei kann das virtuelle vertikale Objekt, also die zusätzliche Projektionsfläche oder der Zylinder, solange verschoben werden, bis es nicht mehr Teil der virtuellen Umgebung ist, oder insbesondere nicht mehr innerhalb der schalenförmigen Projektionsfläche verortet ist, beispielsweise nicht mehr von den Kameras erfasst wird oder bis er von dem ebenen Boden der Schale verschwunden ist, das heißt mehr als beispielsweise die genannten 5 Meter von dem Kraftfahrzeug entfernt ist.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das Detektieren des vertikalen Objektes, das Erzeugen der zusätzlichen Projektionsfläche und das Projizieren des Bildteils mit dem vertikalen Objekt auf die zusätzliche Projektionsfläche nur durchgeführt wird, wenn der auf die Projektionsfläche oder eine der Projektionsflächen projizierte Teil des bereitgestellten Bildes aus der vorgegebenen Perspektive sichtbar ist.
Das hat den Vorteil, dass Rechenkapazität für das Erzeugen der zusätzlichen Projektionsfläche und das Projizieren auf die zusätzliche Projektionsfläche eingespart werden kann.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die vorgegebene Perspektive durch eine Nutzereingabe verändert werden kann oder wird, oder veränderbar ist. Insbesondere kann ein zeitlicher Verlauf einer sich verändernden vorgegebenen Perspektive durch eine Nutzereingabe ausgewählt werden beziehungsweise wird wird der zeitliche Verlauf ausgewählt und ist auswählbar. Das Verändern oder Auswählen kann insbesondere über ein berührungsempfindliches Anzeigeelement der Anzeigeeinrichtung wie einen berührungsempfindlichen Bildschirm oder einen berührungsempfindlichen Touchscreen erfolgen. Es kann somit durch eine Bedienhandlung an dem berührungsempfindlichen Anzeigeelement die Perspektive vorgegeben werden oder ein vorgegebener zeitlicher Verlauf der Perspektive, eine virtuelle Kamerafahrt, aktiviert werden.
Das hat den Vorteil, dass die Bedienperson sich durch die Bedienhandlung einen besonders genauen Überblick über die Umgebung des Kraftfahrzeugs verschaffen kann. Dies ist bei dem beschriebenen Verfahren vorteilhaft, da hier unabhängig von der Position der virtuellen Kamera, also unabhängig von der vorgegebenen Perspektive, das vertikale Objekt besonders realitätsgetreu und somit gut in seiner Bedeutung für das tatsächliche Kraftfahrzeug zu erkennen auf der Anzeigeeinrichtung angezeigt wird. Die Wahl eines berührungsempfindlichen Anzeigeelements als Eingabemöglichkeit ist hier besonders intuitiv, da beispielsweise ein zu vergrößernder Bildbereich leicht als solcher markiert und ausgewählt werden kann.
Die Erfindung betrifft auch ein Computerprogrammprodukt, vorzugsweise ein Speichermedium, mit einem Computerprogramm, das dazu programmiert ist, ein Verfahren nach einer der beschriebenen Ausführungsformen auszuführen, wenn das Computerprogramm beispielsweise auf einer Verarbeitungseinheit oder Recheneinheit ausgeführt wird.
Die Erfindung betrifft überdies ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit einer bildgebenden Sensoreinrichtung zum Erfassen einer Umgebung aus zumindest einer Perspektive, bevorzugt aus zumindest zwei verschiedenen Perspektiven, und zum Bereitstellen zumindest eines jeweils der Perspektive zugeordneten Bildes der Umgebung. Im Falle mehrerer, zumindest zweier, Perspektiven dient die Sensoreinrichtung dabei zum Bereitstellen mehrerer, zumindest zweier, jeweils einer der Perspektiven zugeordneten Bilder der Umgebung. Das Fahrerassistenzsystem weist auch eine Recheneinrichtung zum Erzeugen einer virtuellen Repräsentation der Umgebung mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in einem dreidimensionalen virtuellen Raum auf.
Dabei ist die Recheneinrichtung ausgebildet zum Detektieren eines vertikalen Objekts in einem Teil zumindest eines bereitgestellten Bildes (im Falle mehrerer bereitgestellter Bilder in einem Teil zumindest eines der bereitgestellten Bilder) mit einem Ermitteln einer Position des vertikalen Objekts in der Umgebung des Kraftfahrzeugs, sowie zum Erzeugen einer zusätzlichen virtuellen Projektionsfläche an einem der für das vertikale Objekt ermittelten Position entsprechenden Ort in dem dreidimensionalen virtuellen Raum, und zum Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher das vertikale Objekt repräsentiert, auf die zusätzlichen virtuelle Projektionsfläche. Insbesondere weist das Fahrerassistenzsystem auch eine Anzeigeeinrichtung auf zum Anzeigen der virtuellen Repräsentation der Umgebung mit der virtuellen Projektionsfläche und der zusätzlichen virtuellen Projektionsfläche aus einer vorgebbaren Perspektive.
Vorteile und vorteilhafte Ausführungsformen des Computerprogrammprodukts und des Fahrerassistenzsystems entsprechen dabei Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen.:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform eines Fahrerassistenzsystems;
2 eine beispielhafte Projektionsfläche, welche die Form einer Schale hat, mit beispielhaften zusätzlichen Projektionsflächen;
3 eine beispielhafte Repräsentation einer Umgebung des Kraftfahrzeugs aus dem Stand der Technik in einer beispielhaften Situation;
4 die beispielhafte Repräsentation aus 3 mit der zusätzlichen Projektionsfläche für das vertikale Objekt;
5 eine beispielhafte simulierte Repräsentation einer Umgebung;
6 eine weitere beispielhafte Repräsentation einer Umgebung des Kraftfahrzeugs aus dem Stand der Technik in einer weiteren beispielhaften Situation;
7 die beispielhafte Repräsentation aus 6 mit der zusätzlichen Projektionsfläche für das vertikale Objekt; und
8 eine Illustration unterschiedlicher beispielhafter Übergangbereiche.

In den Figuren werden dabei gleiche oder funktionsgleiche Elemente mit den gleichen Elementen versehen.
In 1 ist ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform eines Fahrerassistenzsystems 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst eine bildgebende Sensorvorrichtung 3, die vorliegend als Kameraeinrichtung mit zumindest einer, hier vier Kameras 4a-d ausgeführt ist. Die Sensoreinrichtung 3 dient dabei einem Erfassen einer Umgebung 5 des Kraftfahrzeugs 1 aus zumindest einer, vorliegend vier durch die Kameras 4a-d bestimmten Perspektiven. Die Sensoreinrichtung 3 ist hier auch ausgebildet, jeweilige Bilder der Umgebung 5 an eine Recheneinrichtung 6 des Fahrerassistenzsystems 2 bereitzustellen.
Die Recheneinrichtung 6 ist ausgebildet, eine virtuelle Repräsentation 7 der Umgebung 5 zu erzeugen und dabei zumindest einen jeweiligen Teil der bereitgestellten Bilder in einem virtuellen Raum auf eine virtuelle Projektionsfläche 14 zu projizieren. Die Recheneinrichtung 6 ist dabei vorliegend weiterhin ausgebildet, ein vertikales Objekt 8 in einem Bildteil oder Teil zumindest eines der bereitgestellten Bilder zu detektieren und dabei eine Position X des vertikalen Objekts 8 in der Umgebung 5 des Kraftfahrzeugs 1 zu ermitteln. Überdies ist die Recheneinrichtung 6 auch ausgebildet, eine zusätzliche virtuelle Projektionsfläche 9 an einem der für das vertikale Objekt 8 ermittelten Position X entsprechenden Ort X' in dem dreidimensionalen virtuellen Raum der virtuellen Repräsentation 7 der Umgebung 5 zu erzeugen. Schließlich ist die Recheneinrichtung 6 auch ausgebildet, den Teil des zumindest einen bereitgestellten Bildes auf die zusätzliche virtuelle Projektionsfläche 9 zu projizieren, welcher das vertikale Objekt 8 repräsentiert.
Vorliegend hat die zusätzliche virtuelle Projektionsfläche 9 die Form einer gewölbten Fläche, nämlich eines Zylindermantelabschnitts. Dies ist vorliegend dadurch bedingt, dass in diesem Beispiel die Recheneinrichtung 6 ausgebildet ist, bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche 9 in dem virtuellen dreidimensionalen Raum einen dreidimensionalen Zylinder 10 zu erzeugen, dessen Manteloberfläche im gezeigten Beispiel die zusätzliche virtuelle Projektionsfläche 9 bildet.
Vorliegend weist das Fahrerassistenzsystem 2 auch eine Anzeigeeinrichtung 11 zum Anzeigen der virtuellen Repräsentation 7 der Umgebung 5 mit dem der zusätzlichen Projektionsfläche 9 beziehungsweise dem Zylinder 10 aus einer vorgegebenen Perspektive auf. Die vorgegebene Perspektive kann beispielsweise von einer Bedienperson vorgegeben werden. Im gezeigten Beispiel ist die vorgegebene Perspektive einer perspektivischen Schrägansicht, die auch als „bowl view“ bezeichnet wird, da für eine solche Ansicht die erste (Haupt-) Projektionsfläche 14 schalenförmig mit einem sich beispielsweise flach in einer Ebene erstreckenden Schalenboden 13 und an den Schalenboden 13 umlaufend angrenzenden Schalenwänden 16, die sich beispielsweise senkrecht zu der Ebene des Schalenbodens 13 erstrecken können. Dabei werden im gezeigten Beispiel die Bilder kraftfahrzeugferne Objekte der Umgebung 5 auf die Schalenwände 16 projiziert und die Bilder kraftfahrzeugnaher, meist auf dem Boden befindlicher Objekte auf den Schalenboden 13.
Im gezeigten Beispiel wird auf der Anzeigeeinrichtung 11 auch eine virtuelle Repräsentation des Kraftfahrzeugs 1, ein Kraftfahrzeugmodell 12 angezeigt, um einem Betrachter der Anzeigeeinrichtung 11 einen realistischen Einschätzung der räumlichen Relation zwischen Kraftfahrzeug 1 und vertikalem Objekt 8 zu ermöglichen. Die räumliche Relation wird hier dadurch verdeutlicht, dass das Kraftfahrzeugmodell 12 vorliegend auf dem Schalenboden 13 der virtuellen Projektionsfläche 14 angeordnet ist, wohingegen ein entfernterer Hintergrund wie beispielsweise Häuser 15 in der virtuellen Repräsentation 7 auf die Schalenwände 16 der ersten Projektionsfläche 14 angeordnet beziehungsweise auf diese projiziert sind.
Ohne die zusätzliche Projektionsfläche 9 beziehungsweise den Zylinder 10 würde nun der Bildteil mit dem vertikalen Objekt 8 ähnlich der restlichen Bilder auf die erste Projektionsfläche 14 projiziert und erschiene entsprechend auf dem Schalenboden 13 der Projektionsfläche 14 als flacher Projektion 17 oder Schatten des Objekts 8, beispielsweise eines Laternenmastes. Erst in der Entfernung, in welcher die Schalenwand 16 beginnt, würde die flache Projektion 17 des Objekts 8 sich somit in der virtuellen Repräsentation 7 in eine vertikale Richtung erstrecken und damit deutlich erkennbar. Dies ist insofern problematisch, als dass in dem Fall, in dem die vorgegebene Perspektive nicht mit der Perspektive des entsprechenden Bildes, in welchem das vertikale Objekt 8 detektiert wurde zusammenfällt, die Position X des vertikalen Objekts anhand der virtuellen Repräsentation 7 so sehr schwer einzuschätzen ist, da an dem Ort X' lediglich die flache Projektion 17 und nicht wie bei dem beschriebenen Verfahren eine gegenüber dem Schalenboden 13 erhabene zusätzliche Projektionsfläche 9 vorhanden ist. Entsprechend hebt sich ohne die zusätzliche Projektionsfläche 9 das vertikale Objekt 8 in der virtuellen Repräsentation 7 der Umgebung 5 höchstens durch eine Farbe von dem Boden ab. Entsprechend wird das Objekt 8 in der virtuellen Repräsentation 7 der Umgebung 5 leicht übersehen werden. Diesem Problem wird durch das beschriebene Verfahren abgeholfen.
In 2 ist eine beispielhafte Projektionsfläche 14 in einem virtuellen Raum dargestellt, welche hier eine schalenform hat. Die schalenförmige Projektionsfläche 14 weist dabei den Schalenboden 13 auf, welcher sich vorliegend in einer x-z-Ebene erstreckt, sowie Schalenwände 16, die sich an den Schalenboden 13 anschließend umlaufend um den Schalenboden 13 in y-Richtung erheben. Die Projektionsfläche 14 ist dabei im Bereich der Schalenwände 16 in der x-z-Ebene kreisrund ausgeführt, so dass die Bilder der Kameras 4a - 4d (1) auf eine gewölbte Fläche, die Schalenwände 16, projiziert werden.
Da sich bei der Projektion auf den Schalenboden 13 und/oder die Schalenwände 16 die Position X des Objekts 8 aufgrund der Flachheit des Schalenbodens 13 in einer nahen Umgebung gerade für vertikale Objekte, die sich hauptsächlich in der y-Richtung erstrecken, schwer einzuschätzen ist, und diese somit leicht zu übersehen sind, sind hier zum Illustrieren des Prinzips des anhand 1 beschriebenen Verfahrens vorliegend eine beispielhafte zusätzliche Projektionsfläche 9 sowie ein beispielhafter Zylinder 10 in dem virtuellen Raum innerhalb der durch die Projektionsfläche 14 gebildeten Schale angeordnet. Damit können die Bildinformationen oder die Bilder, welche über die entsprechenden Kameras 4a - 4d aufgenommen sind und ein vertikales Objekt 8 repräsentieren, verzerrungsarm in den virtuellen Raum projiziert werden. Daher ist auch das entsprechende vertikale Objekt 8 gut zu lokalisieren, da die zusätzliche Projektionsfläche 9 beziehungsweise der Zylinder 10 jeweils an dem Ort X', X" in dem virtuellen Raum positioniert sind, welche der ermittelten Position X des Objekts 8 (1) entspricht.
In 3 und 4 sind jeweils beispielhafte Repräsentationen 7 der Umgebung 5 dargestellt, wie sie in einer Situation, wie sie in 1 dargestellt ist, erzeugt werden kann. Dabei ist in 3 und 4 das Kraftfahrzeugmodell 12 in einer Perspektivansicht von schräg hinten dargestellt. Das Kraftfahrzeugmodell 12 ist vorliegend vorab in der Recheneinrichtung 6 (1) hinterlegt.
In 3 wurde nun aus unterschiedlichen Bildern die Repräsentation 7 erstellt, ohne dass dabei das beschriebene Verfahren zum Einsatz gekommen wäre. Dabei werden die jeweiligen Bilder auf unterschiedliche Teilbereiche der Projektionsfläche 14, nämlich der Nahbereich auf den Schalenboden 13 und der Fernbereich mit entfernten Objekten wie beispielsweise Häusern 15 auf die Schalenwände 16 projiziert. Das Kraftfahrzeugmodell 12 ist dabei vorliegend auf dem Schalenboden 13 angeordnet. Das vorliegend als Laternenmast ausgeführte Objekt 8 wird hier an dem Ort X' auf den flachen Schalenboden 13 projiziert, von welchem aus er sich als flache Projektion 17 bis zur Schalenwand 16 und schließlich an dieser empor nach oben in y-Richtung erstreckt. Aufgrund der Projektion auf dem Schalenboden 13 in der Umgebung des Kraftfahrzeugmodells 12 ist das Objekt 8 beziehungsweise dessen Repräsentation in der virtuellen Repräsentation 7 schwer zu erkennen beziehungsweise leicht zu übersehen.
In der in 4 gezeigten Repräsentation der Umgebung 5 hingegen wurde wie oben beschrieben eine dem Objekt 8 zugeordnete zusätzliche Projektionsfläche 9 in der Repräsentation 7 als Zylindermantelfläche eines Zylinders 10 erzeugt, sodass die entsprechenden Bilder der Kameras 4a-4d nicht nur auf die zweidimensionale Projektionsfläche 14 sondern auch auf die zusätzliche Projektionsfläche 9 beziehungsweise den dreidimensionalen Zylinder 10 projiziert werden. Dabei werden genau die Bildteile, die das vertikale Objekt 8 repräsentieren, auf die zugeordnete zusätzliche Projektionsfläche 9 projiziert. Entsprechend ist das Objekt 8 in der virtuellen Repräsentation zuverlässig an dem Ort X', an welchem der Zylinder 10 angeordnet ist, zu erkennen. Da die zusätzliche Projektionsfläche 9 gewölbt ist und sogar Teil eines dreidimensionalen Projektionskörpers, des Zylinders 10 ist, wird das Objekt 8 auch bei unterschiedlichen vorgegebenen Perspektiven oder einer sich verändernden Perspektive zuverlässig an dem Ort X' erkennbar dargestellt und ist somit leicht zu erkennen.
In 5 ist eine simulierte Repräsentation 7 einer Umgebung 5 schematisch dargestellt. Dargestellt ist wieder die erste Projektionsfläche 14, welche erneut schalenförmig mit einem Schalenboden 13 und Schalenwänden 16 ausgeführt ist, in einem dreidimensionalen Raum. In einer Mitte des Schalenbodens 13 befindet sich vorliegend das Kraftfahrzeugmodell 12.
In 5 ist nun ein Punkt P des vertikalen Objekts 8 auf dem Zylinder 10 eingezeichnet.
Dieser wird im gezeigten Beispiel sowohl aus einer ersten Perspektive Pf von der frontalen Kamera 4a als auch aus einer zweiten Perspektive Ps von einer seitlichen Kamera 4d erfasst. Entsprechend ist der Punkt P des vertikalen Objekts 8 in beiden Bildern der Kameras 4a, 4d enthalten. Bei dem Erstellen der perspektivischen Ansicht mit einer einzigen Projektionsfläche 14 würde dabei der Punkt P aus der Perspektive Pf der Frontalkamera 4a auf den Punkt P1 und aus der Perspektive Ps der seitlichen Kamera 4d auf den Punkt P1 auf den Schalenwänden 16 der Projektionsfläche 14 projiziert. Dabei verläuft nun ein Übergangsbereich 18, in welchem die jeweiligen Bilder der Kameras 4a, 4d auf der Projektionsfläche 14 ineinander übergehen, das heißt im vorliegenden Beispiel aneinander angrenzen, genau zwischen den beiden Punkten P1 und P2. Im gezeigten Beispiel grenzen die Bilder scharf aneinander an, das heißt der Übergangsbereich 18 ist linienförmig ausgebildet. Alternativ können die Bilder auch auf der Projektionsfläche 14 ineinander übergehen oder überblendet werden, sodass der Übergangsbereich 18 eine flächige Erstreckung hat. Im gezeigten Beispiel ist nun der Ort X' der zusätzlichen Projektionsfläche 9 und des Zylinder 10 genau im Übergangsbereich 18 angeordnet beziehungsweise das Objekt 8 in der virtuellen Repräsentation 7 in dem Übergangsbereich 18 lokalisiert.
Der Punkt P1 liegt dabei in dem Bereich der Schalenwände 16, in welchen für das Erstellen der perspektivischen Seitenansicht die Bilder der seitlichen Kamera 4d auf die Schalenwände 16 projiziert werden und der Punkt P2 in dem Bereich der Schalenwände 16, in welchem das Bild der Frontalkamera 4a auf die Schalenwände projiziert werden. Daher werden die beiden Punkte P1, P2 in einer zusammengesetzten Gesamtansicht nicht erscheinen, solange der Übergangsbereich 18 sich nicht in den Bereich der Punkte P1, P2 hinein ausdehnt, beispielsweise als die Bilder der verschiedenen Kameras 4a, 4c ineinander überblendet werden. Entsprechend ist vorliegend der Punktes P in der Gesamtansicht nicht mehr repräsentiert, sodass Informationen über das vertikale Objekt 8 verloren gehen. Dies geschieht mit allen Punkten P, welche eine bestimmte Mindesthöhe über dem Schalenboden 13 haben. Entsprechend werden die Punkte P1 und P2, sobald sie nah genug an den Punkt P kommen, zusammenfallen und somit als solche nicht von der Gesamtansicht verschwinden. Dies könnte durch ein Verformen der Projektionsfläche 14 erreicht werden. Ein derartiges Verformen der Projektionsfläche 14 kann für größere Objekte vorteilhaft sein, ist jedoch für vertikale Objekte 8, die im Allgemeinen sehr schmal sind, problematisch. Vorliegend wird das Problem gelöst, in dem an dem Ort X' die zusätzliche Projektionsfläche 9 eingebracht wird, sodass die Punkte P1 und P2 auf diesen projiziert zusammenfallen. Damit erhält der Zylinder 10 die Textur der Punkte P1 und P2, und diese sind in der virtuellen Repräsentation als Objekt 8 sichtbar.
In einem Szenario ohne die zusätzliche Projektionsfläche 9 würde nun. wie bereits anhand von 3 erläutert, der Bildteil mit dem vertikalen Objekt 8 schattenartig als jeweilige flache Projektion 17, 17' auf den Schalenboden 13 beziehungsweise die Schalenwände 16 projiziert. Bedingt durch die unterschiedlichen Perspektiven P, Ps würde somit aus der ersten Perspektive Pf die zugeordnete flache Projektion 17 des Objekts 8 gerade in dem Bereich der Projektionsfläche 14 liegen, auf welchen das Bild der seitlichen Kamera 4c mit der Perspektive Ps projiziert würde. Umgekehrt würde die flache Projektion 17', auf welche das Objekt 8 aus der Perspektive Ps auf die Projektionsfläche 14 projiziert würde, in dem Bereich liegen, in welchem jedoch das Bild der Kamera 4a mit Perspektive Pf auf die Projektionsfläche 14 projiziert wird. Es werden also jeweils genau die Bilder oder Bildteile für das Projizieren auf Projektionsfläche 14 verwendet, auf welchen das Objekt 8 nicht oder kaum abgebildet ist. Entsprechend ist das Objekt 8 in der Repräsentation 7 in diesem Fall ohne die zusätzliche Projektionsfläche 9 praktisch nicht zu erkennen. Dies ist in 6 dargestellt, in welcher eine entsprechende Repräsentation 7 der Umgebung 5 ohne zusätzliche Projektionsfläche 9 dargestellt ist. An dem Ort X' ist hier lediglich ein dunkler Fleck, die Grundfläche des Objekts 8 (1) zu erkennen, da dieses in der virtuellen Repräsentation 7 der Umgebung 5 genau in dem Übergangsbereich 18 lokalisiert ist. Entsprechend ist das Objekt 8 anhand der Repräsentation 7 praktisch nicht zu erkennen.
In 7 hingegen ist nun an der Position X' die zusätzliche Projektionsfläche 9 angeordnet, sodass das vertikale Objekt 8, hier der Begrenzungspfosten, auch aus unterschiedlichen Perspektiven gut zu erkennen ist, obwohl er in dem Übergangsbereich 18 lokalisiert ist.
In 8 sind nun unterschiedliche beispielhafte Übergangbereiche 18, 18b, 18c, 18d in einer Repräsentation 7 der Umgebung 5 aus einer Vogelperspektive dargestellt. Die unterschiedlichen Übergangbereiche 18, 18b, 18c, 18d sind dabei vorliegend rein zu illustrativen Zwecken wie gezeigt kombiniert und können in beliebigen anderen Kombinationen genutzt werden.
Das Kraftfahrzeugmodell 12 ist vorliegend mittig in der Repräsentation 7 angeordnet. In einen ersten Bildbereich 19a in z-Richtung vor dem Kraftfahrzeugmodell 12 wird nun vorliegend ein Bild der Kamera 4a (1) projiziert, in einen zweiten Bildbereich 19b in x-Richtung neben dem Kraftfahrzeugmodell 12 ein Bild der Kamera 4b (1), in einen dritten Bildbereich 19c in z-Richtung hinter dem Kraftfahrzeugmodell 12 ein Bild der Kamera 4c (1) und in einen vierten Bildbereich 19d in x-Richtung neben dem Kraftfahrzeugmodell 12 ein Bild der Kamera 4d (1). Dabei ist der erste Bildbereich 19a und der zweite Bildbereich 19b durch den Übergangsbereich 18c getrennt, der zweite Bildbereich 19b und der dritte Bildbereich 19c durch den Übergangsbereich 18b, der dritte Bildbereich 19c und der vierte Bildbereich 19b durch den Übergangsbereich 18 und der vierte Bildbereich 19d von dem ersten Bildbereich 19a durch den Übergangsbereich 18d.
In dem Übergangsbereich 18 stoßen die jeweiligen Bilder direkt aneinander, der Übergangsbereich 18 ist somit als eindimensionale Linie ausgeführt. Auch der Übergangsbereich 18d ist als Linie ausgeführt, allerdings ist auf diesem der Zylinder 10 (und das entsprechende Objekt) angeordnet. Der Übergangsbereich 18c zwischen dem ersten Bildbereich 19a und dem zweiten Bildbereich 19b ist hingegen vorliegend als zweidimensionale Fläche (flächig)ausgeführt. In dem Übergangsbereich 18c gehen entsprechend die Bilder der Kamera 4a und 4b ineinander über. Dies kann beispielsweise durch ein sogenanntes Alpha-Blending umgesetzt werden. Dadurch wird in der Repräsentation 7 ein nahtloser Übergang zwischen den beiden Bildbereichen 19a, 19b erreicht.
Der Übergangsbereich 18b ist nun teilweise flächig und teilweise als Linie ausgeführt. Ausgehend von dem Kraftfahrzeugmodell 12 erstreckt sich der Übergangsbereich 18b dabei fächerartig in positiver x- und negativer z-Richtung bis an den Ort des Zylinders 10', welcher beispielsweise wieder ein Objekt repräsentiert. Von dem Kraftfahrzeugmodell 12 aus betrachtet hinter dem Zylinder 10' ist der Übergangsbereich 18b dann als Linie ausgeführt. Dadurch gehen die Bilder der Kameras 4b, 4c in dem Nahbereich zwischen demKraftfahrzeugmodell 12 und Zylinder 10' nahtlos ineinander über. In einem Fernbereich hinter dem Zylinder 10' stoßen die beiden Bilder rechenkapazitätsschonend ohne ein Überblenden sdirekt aneinander an.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20120069153 A1 [0005]
US 2014000266 A1 [0006]

Zitierte Nicht-Patentliteratur

„RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments“ von Peter Henry et al. aus dem International Journal of Robotic Research von April 2012 [0007]

Claims

Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1), mit den Verfahrensschritten: a) Erfassen einer Umgebung (5) des Kraftfahrzeugs (1) durch eine bildgebende Sensoreinrichtung (3) des Fahrerassistenzsystems (2) aus zumindest einer Perspektive (Pf, Ps) und Bereitstellen zumindest eines jeweils einer der Perspektiven (Pf, Ps) zugeordneten Bildes der Umgebung (5); b) Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) durch eine Recheneinrichtung (7) des Fahrerassistenzsystems (2) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14) in einem dreidimensionalen virtuellen Raum; gekennzeichnet durch ein c) Detektieren zumindest eines vertikalen Objekts (8) in einem Teil des zumindest einen bereitgestellten Bildes mit einem Ermitteln einer Position (X) des vertikalen Objekts (8) in der Umgebung (5) des Kraftfahrzeugs (1) durch die Recheneinrichtung (7); d) Erzeugen zumindest einer zusätzlichen virtuellen Projektionsfläche (9) an einem der für das vertikale Objekt (8) ermittelten Position (X) entsprechenden Ort (X', X") in dem dreidimensionalen virtuellen Raum; e) Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher das vertikale Objekt (8) repräsentiert, auf die zusätzlichen virtuelle Projektionsfläche (9); f) Anzeigen der virtuellen Repräsentation (7) der Umgebung (5) mit der virtuellen Projektionsfläche (14) und der zusätzlichen virtuellen Projektionsfläche (9) aus einer vorgebbaren Perspektive (Pf, Ps) durch eine Anzeigeeinrichtung (11) des Fahrerassistenzsystems (2).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Umgebung (5) durch eine Kameraeinrichtung als bildgebende Sensoreinrichtung (3) erfasst wird, welche zumindest eine Kamera (4a-4d), insbesondere zumindest zwei und bevorzugt vier Kameras (4a-4d), zum Erfassen der Umgebung (5) aus der zumindest einen Perspektive (Pf, Ps), insbesondere aus den zumindest zwei und bevorzugt vier Perspektiven (Pf, Ps), aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebung (5) aus zumindest zwei verschiedenen Perspektiven (Pf, Ps) erfasst wird und zumindest zwei jeweils einer der Perspektiven (Pf, Ps) zugeordneten Bilder der Umgebung (5) bereitgestellt werden, wobei jeweils die zwei auf die virtuelle Projektionsfläche (14) projizierten Teile der zumindest zwei Bilder auf der Projektionsfläche (14) in einem Übergangsbereich (18) aneinander angrenzen oder ineinander übergehen, und das vertikale Objekt (8) in der virtuelle Repräsentation (7) der Umgebung (5) in dem Übergangsbereich (18) lokalisiert ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die zusätzliche virtuelle Projektionsfläche (9) die Form einer ebenen Fläche, insbesondere eines Rechtecks oder eines Umrisses des vertikalen Objekts (8), oder einer gewölbten Fläche, insbesondere eines Zylindermantelabschnitts, hat, welche im Wesentlichen parallel zu einer Blickrichtung der vorgegebenen Perspektive (Pf, Ps) orientiert ist.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche (9) ein dreidimensionaler Zylinder (10) in dem virtuellen dreidimensionalen Raum erzeugt wird, dessen Manteloberfläche die zusätzliche virtuelle Projektionsfläche (9) umfasst, und insbesondere bei dem Erzeugen des dreidimensionaler Zylinders (10) auf eine generische Vorlage in Form eines Ur-Zylinderkörpers zurückgegriffen wird, welcher anhand erkannter Abmessungen des detektierten vertikalen Objekts (8) in seinen Abmessungen angepasst und als dreidimensionaler Zylinder (10) für das Erzeugen der zusätzlichen Projektionsfläche (9) verwendet wird.
Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass bei dem Erzeugen der zusätzlichen virtuellen Projektionsfläche (9) ein dreidimensionales Objekt in dem virtuellen dreidimensionalen Raum erzeugt wird, dessen Oberfläche die zusätzliche virtuelle Projektionsfläche (9) umfasst, und dessen Form in Abhängigkeit von der Form des vertikalen Objektes (8) vorgegeben wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das vertikale Objekt (8) eine horizontale Ausdehnung von weniger als 0,8 Metern, insbesondere weniger als 0,5 Metern und bevorzugt weniger als 0,3 Metern aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuelle Projektionsfläche (14) in dem virtuellen Raum eine virtuelle Repräsentation des Kraftfahrzeugs (1) umgibt, insbesondere in Form einer Schale mit der Repräsentation des Kraftfahrzeugs (1) auf dem Schalenboden (13).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein Abstand des vertikalen Objekts (8) von dem Kraftfahrzeug (1) höchstens 5 Meter beträgt, insbesondere mehr als 0,3 Meter und insbesondere die zusätzliche virtuelle Projektionsfläche (9) in dem virtuellen Raum an den Schalenboden (13) angrenzend angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einem sich bewegenden Kraftfahrzeug (1) die zusätzliche virtuelle Projektionsfläche (9), insbesondere der dreidimensionale Zylinder (10), relativ zu einer virtuellen Repräsentation des Kraftfahrzeugs (1) entsprechend der Bewegung des Kraftfahrzeugs (1) bewegt wird, insbesondere ohne dass das Detektieren gemäß Verfahrensschritt c), das Erzeugen gemäß Verfahrensschritt d) und das Projizieren gemäß Verfahrensschritt e) erneut für das bereits detektierte vertikale Objekt (8) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren gemäß Verfahrensschritt c), das Erzeugen gemäß Verfahrensschritt d) und das Projizieren gemäß Verfahrensschritt e) nur durchgeführt wird, wenn der auf die Projektionsflächen (9, 14) projizierte Teil des bereitgestellten Bildes aus der vorgegebenen Perspektive (Pf, Ps) sichtbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgegebene Perspektive (Pf, Ps) durch eine Nutzereingabe verändert werden kann, insbesondere ein zeitlicher Verlauf einer sich verändernden vorgegebenen Perspektive (Pf, Ps) durch eine Nutzereingabe ausgewählt werden kann, insbesondere über ein berührungsempfindliches Anzeigeelement der Anzeigeeinrichtung (11).
Computerprogrammprodukt, vorzugsweise ein Speichermedium, mit einem Computerprogramm, das dazu programmiert ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Fahrerassistenzsystems (2) für ein Kraftfahrzeug (1), mit - einer bildgebenden Sensoreinrichtung (3) zum Erfassen einer Umgebung (5) aus zumindest einer Perspektive (Pf, Ps) und Bereitstellen zumindest eines jeweils einer der Perspektiven (Pf, Ps) zugeordneten Bildes der Umgebung (5); - einer Recheneinrichtung (7) zum Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14) in einem dreidimensionalen virtuellen Raum; dadurch gekennzeichnet, dass die Recheneinrichtung (7) ausgebildet ist zum Detektieren eines vertikalen Objekts (8) in einem Teil zumindest eines bereitgestellten Bildes mit einem Ermitteln einer Position (X) des vertikalen Objekts (8) in der Umgebung (5) des Kraftfahrzeugs (1), sowie zum Erzeugen einer zusätzlichen virtuellen Projektionsfläche (9) an einem der für das vertikale Objekt (8) ermittelten Position (X) entsprechenden Ort (X') in dem dreidimensionalen virtuellen Raum, und zum Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher das vertikale Objekt (8) repräsentiert, auf die zusätzlichen virtuelle Projektionsfläche (14).
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 14.