DE102016124989A1

DE102016124989A1 - Bordsteinrepräsentation mit einem dreidimensionalen Körper in einem Fahrerassistenzsystem für ein Kraftfahrzeug

Info

Publication number: DE102016124989A1
Application number: DE102016124989.0A
Authority: DE
Inventors: Fergal O'Malley; Ahmed Fathy; Marcin Rogucki; Teresa Charlin-Reyes; Huanqing Guo; Günther Bauer
Original assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Current assignee: Bayerische Motoren Werke AG; Connaught Electronics Ltd
Priority date: 2016-12-20
Filing date: 2016-12-20
Publication date: 2018-06-21

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1), mit einem a) Erfassen einer Umgebung (5) des Kraftfahrzeugs (1) durch eine bildgebende Sensoreinrichtung (3) aus zumindest einer Perspektive und Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bilder der Umgebung (5); mit einem b) Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) durch eine Recheneinrichtung (6) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14) in einem dreidimensionalen virtuellen Raum; mit einem c) Detektieren zumindest eines Bordsteins (8) in einem Teil zumindest eines bereitgestellten Bildes durch die Recheneinrichtung (6); mit einem d) Erzeugen zumindest eines virtuellen dreidimensionalen Projektionskörpers (9), welcher den Bordstein (8) repräsentiert, in der virtuellen Repräsentation (7) der Umgebung (5); mit einem e) Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein (8) repräsentiert, auf den dreidimensionalen Projektionskörper (9); und mit einem f) Anzeigen der virtuellen Repräsentation (7) der Umgebung (5) mit der virtuellen Projektionsfläche (14) und dem dreidimensionalen Projektionskörper (9) aus einer vorgebbaren Perspektive durch eine Anzeigeeinrichtung (10), um die Erkennbarkeit von einem Bordstein (8) zu verbessern.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, mit einem a) Erfassen einer Umgebung des Kraftfahrzeugs durch eine bildgebende Sensoreinrichtung aus zumindest einer Perspektive und Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bilder der Umgebung; mit einem b) Erzeugen einer virtuellen Repräsentation der Umgebung durch eine Recheneinrichtung mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in einem dreidimensionalen virtuellen Raum; mit einem c) Detektieren zumindest eines Bordsteins in einem Teil zumindest eines bereitgestellten Bildes durch die Recheneinrichtung; mit einem d) Erzeugen zumindest eines virtuellen dreidimensionalen Projektionskörpers, welcher den Bordstein repräsentiert, in der virtuellen Repräsentation der Umgebung; mit einem e) Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein repräsentiert, auf den dreidimensionalen Projektionskörper; und mit einem f) Anzeigen der virtuellen Repräsentation der Umgebung mit der virtuellen Projektionsfläche und dem dreidimensionalen Projektionskörper aus einer vorgebbaren Perspektive durch eine Anzeigeeinrichtung. Die Erfindung betrifft auch ein entsprechendes Computerprogrammprodukt sowie ein entsprechendes Fahrerassistenzsystem für ein Kraftfahrzeug.
Die Überwachung einer Umgebung eines Kraftfahrzeugs spielt in den heutigen Fahrerassistenzsystemen eine immer größere Rolle. Ein wichtiger Aspekt dabei ist die Darstellung der Umgebung des Kraftfahrzeugs für eine menschliche Bedienperson, beispielsweise einen Fahrer des Kraftfahrzeugs. Dabei kommen zumeist Kamerasysteme zum Einsatz, welche aus unterschiedlichen Perspektiven Bilder der Umgebung umfassen und diese zu einer Gesamtansicht zusammenführen oder vereinen.
Bei diesem Zusammenfügen kommt es gerade bei einer 360 Grad Überwachung des Kraftfahrzeugs, beispielsweise bei einer Vogelperspektivansicht oder einer perspektivischen Außenansicht wie einer sogenannten bowl-view (Schalen-Ansicht) oder bowl-view-Ansicht zu Artefakten. Dabei können gewisse Objekte in der Umgebung des Kraftfahrzeugs wie beispielsweise ein Bordstein entweder nicht korrekt angezeigt werden oder verschwinden bereichsweise sogar ganz aus der zusammengesetzten Gesamtansicht. Dies ist darauf zurückzuführen, dass die zusammengesetzte Gesamtansicht ein künstlich zusammengefügtes Bild ist und nicht ein optisch durch eine einzige reale Kamera geformtes Bild. Damit können bei dem Zusammensetzen der Einzelbilder zu der Gesamtansicht Bildpunkte oder Pixel verloren gehen und entsprechend das in dem Bildpunkt repräsentierte Objekt, beispielsweise dem Bordstein, nicht in der Gesamtansicht angezeigt werden. Dies führt potentiell zu einem Sicherheitsproblem.
Ein ähnliches Problem kann jedoch auch unabhängig von dem Zusammensetzen der Bilder auftreten, nämlich beispielsweise wenn ein dreidimensionales Objekt wie ein Bordstein in einer nahen Umgebung des Kraftfahrzeugs erfasst wird und sodann in der virtuellen Repräsentation der Umgebung, beispielsweise in einer perspektivischen Außenansicht, auf eine ebene sich in einer Horizontalebene der virtuellen Umgebung erstreckende Projektionsfläche projiziert wird. Damit ist das Objekt in der virtuellen Umgebung gegebenenfalls verzerrt dargestellt und von einer vorgegebenen Perspektive, die sich von der Perspektive, aus welcher die Umgebung beispielsweise durch eine reale Kamera erfasst wurde, nur schwer zu erkennen.
So offenbart die US 2012 0069153 A1 eine Vorrichtung für eine Überwachung der Umgebung eines Fahrzeugs, bei welchem basierend auf aufgenommenen Bildern von einer Vielzahl von Kameras durch ein Synthetisieren oder Zusammenfügen der Bilder eine Ansicht aus einer Vogelperspektive auf einem Monitor dargestellt wird.
Auch aus der US 2014 000266 A1 ist eine Vorrichtung zum Erzeugen einer Vogelperspektiv-Ansicht bekannt, welche aus mehreren Bildern zusammengesetzt wird.
Grundsätzlich ist weiterhin das Prinzip der 3D-Erfassung und 3D-Visualisierung von Umgebungen mit einer Vielzahl von Techniken bekannt. So ist beispielsweise aus dem Artikel „RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments" von Peter Henry et al. aus dem International Journal of Robotic Research von April 2012 bekannt, wie eine Tiefeninformation aus Bildern extrahiert und daraus eine dreidimensionale Repräsentation der Umgebung abgeleitet werden kann. Gerade was die Erkennung von Bordsteinen angeht, sind mehrere Ansätze zur Detektion und dreidimensionalen Erfassung der Bordsteine bekannt. Hierzu sei beispielsweise auf den Artikel „Curb Detection Based on Elevation Maps from Dense Stereo" von Florin Oniga et al. von der IEEE International Conference on Intelligent Computer Communication and Processing 2007 oder „Vision-based Detection of Kerbs and Steps" von Stephen Se et al. oder „Detection and Localization of Curbs and Stairways Using Stereo Vision" von Xiaoye Lu et al. von der IEEE International Conference on Robotics and Automation 2005 hingewiesen.
Grundsätzlich lässt sich sagen, dass das dreidimensionale Erfassen und Rekonstruieren einer Umgebung im Bereich des maschinellen Sehens, der Robotik und der unbemannten Luftfahrt sowie aus der Computerspielindustrie, und der Kameraüberwachung aus stationären Bildern, Videos oder Punktmengen bekannt ist.
Der Erfindung liegt nun die Aufgabe zu Grunde, die Erkennbarkeit von einem Bordstein in einer Darstellung auf einer Anzeigeeinrichtung eines Fahrerassistenzsystems eines Kraftfahrzeugs zu verbessern.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, mit einer Reihe von Verfahrensschritten. Ein Verfahrensschritt ist dabei ein Erfassen einer Umgebung des Kraftfahrzeugs durch eine bildgebende Sensoreinrichtung des Fahrerassistenzsystems aus zumindest einer Perspektive, bevorzugt zumindest zwei, beispielsweise drei oder vier, verschiedenen Perspektiven. So kann beispielsweise die Umgebung durch eine Kamera oder bevorzugt zumindest zwei, beispielsweise drei oder vier, unterschiedliche Kameras des Fahrerassistenzsystems erfasst werden. Dazu gehört auch ein Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bildes der Umgebung an beispielsweise eine Recheneinrichtung des Fahrerassistenzsystems. Bei dem Erfassen aus einer Perspektive wird das eine der einen Perspektive zugeordnete Bild bereitgestellt. Bei einem Erfassen aus mehreren Perspektiven können entsprechend mehrere, zumindest zwei, jeweils einer der Perspektiven zugeordneten Bilder bereitgestellt werden. Bei dem oder den Bildern kann es sich insbesondere um zweidimensionale Bilder handeln. Ein weiterer Verfahrensschritt ist ein Erzeugen einer virtuellen Repräsentation der Umgebung, kurz einer virtuellen Umgebung, in einem virtuellen dreidimensionalen Raum durch eine Recheneinrichtung des Fahrerassistenzsystems. Die virtuelle Repräsentation ist oder umfasst dabei insbesondere eine dreidimensionale Repräsentation der Umgebung, beispielsweise eine zweidimensionale Untermannigfaltigkeit in einem virtuellen dreidimensionalen virtuellen Raum. Bei dem Erzeugen erfolgt auch ein Projizieren von zumindest einem jeweiligen Teil, der auch als Bildteil bezeichnet werden kann, des zumindest einen bereitgestellten Bildes auf eine virtuelle zweidimensionale Projektionsfläche. Eines oder mehrere der bereitgestellten Bilder kann dabei auch ganz oder vollständig auf die virtuelle Projektionsfläche projiziert werden. Insbesondere ist oder umfasst die virtuelle Projektionsfläche eine gewölbte virtuelle Projektionsfläche, die Projektionsfläche kann also bereichsweise oder gänzlich gewölbt sein. Die virtuelle Projektionsfläche kann dabei eine zweidimensionale Untermannigfaltigkeit in dem virtuellen dreidimensionalen Raum sein.
Die virtuelle Repräsentation der Umgebung kann also erzeugt werden, indem mehrere bereitgestellte Bilder oder das bereitgestellte Bild auf der virtuelle Projektionsfläche projiziert und gegebenenfalls zusammengefügt werden. Die bereitgestellten Bilder können bevorzugt auch bei oder vor dem Projizieren einer oder mehreren optischen Operationen zum Korrigieren jeweiliger optischer Abbildungsfehler oder Abbildungseigenschaften, beispielsweise zum Korrigieren einer Verzerrung einer Fischaugenlinse, unterzogen werden.
Wichtig ist dabei ein Detektieren zumindest eines Bordsteins in einem Teil oder Bildteil des einen bereitgestellten Bildes oder bei mehreren bereitgestellten Bildern in einem Teil von zumindest einem der bereitgestellten Bilder durch die Recheneinrichtung. Der oder die Bordsteine können auch in Teilen verschiedener Bilder detektiert werden. Dies kann beispielsweise wie aus dem eingangs beschriebenen Stand der Technik bekannt durchgeführt werden. Ein weiterer wichtiger Verfahrensschritt ist ein Erzeugen zumindest eines virtuellen dreidimensionalen Projektionskörpers in der virtuellen Repräsentation der Umgebung, also in dem virtuellen Raum, der den Bordstein in seiner Gestalt, also in seiner Größe und seiner Form, repräsentiert. Es folgt darauf ein Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein repräsentiert, auf den dreidimensionalen Projektionskörper. Es können also auch aus mehreren Bildern Teile, welche den Bordstein repräsentieren, auf den Projektionskörper projiziert werden. Der dreidimensionale Projektionskörper erhält somit die Gestalt und Textur des detektierten Bordsteins. Schließlich erfolgt ein Anzeigen der virtuellen Repräsentation der Umgebung des Kraftfahrzeugs mit der virtuellen Projektionsfläche und dem dreidimensionalen Projektionskörper aus einer vorgegebenen Perspektive einer virtuellen, also im virtuellen Raum simulierten Kamera durch eine Anzeigeeinrichtung des Fahrerassistenzsystems. Dabei unterscheidet sich die vorgegebene oder vorgebbaren Perspektive bevorzugt von der oder den Perspektiven des oder der Bilder. Somit kann beispielsweise basierend auf einem oder mehreren Bildern, welche durch reale fahrzeuginterne Kameras aufgenommen wurden, eine perspektivische Außenansicht, beispielsweise die genannte „bowl view“, oder auch eine Ansicht aus einer Vogelperspektive auf die Umgebung des Kraftfahrzeugs, bevorzugt auch mit einer virtuellen Repräsentation, einem Modell des Kraftfahrzeugs, angezeigt werden.
Alternativ zu dem Erzeugen des dreidimensionalen Projektionskörpers kann auch die Projektionsfläche verformt werden, sodass sie sich in den Ort des Bordsteins hinein erstreckt. Dabei treten jedoch leicht unerwünschte Verzerrungen der restlichen virtuellen Umgebung auf.
Es können auch gleichzeitig mehrere Bordsteine detektiert und entsprechend mehrere dreidimensionale Projektionskörper für die Bordsteine erzeugt werden.
Im Gegensatz zu den bekannten Ansätzen, bei welchen eine oder mehrere Bilder von Bordsteinen wie die restliche Umgebung auf eine zweidimensionale Projektionsoberfläche projiziert werden, werden hier die Bordsteine aus dem oder den Bildern auf eine dreidimensionale Struktur im virtuellen Raum, den dreidimensionalen Projektionskörper, projiziert. Einem Bordstein in einer Umgebung des Kraftfahrzeugs entspricht somit ein durch ein dreidimensionales Modell, den Projektionskörper, repräsentierter dreidimensionaler Bordstein in der virtuellen Repräsentation der Umgebung des Kraftfahrzeugs. Die virtuelle Repräsentation der Umgebung des Kraftfahrzeugs wird im Folgenden auch kurz als „virtuelle Umgebung“ bezeichnet.
Der dreidimensionale Projektionskörper ist dabei ein computergeneriertes Modell, welches an die Gestalt des Bordsteins angepasst ist. Es wird also durch das Verfahren in dem virtuellen Raum oder der virtuellen Umgebung ein zusätzlicher dreidimensionaler Körper für den Bordstein erzeugt und insbesondere angezeigt. Dieser ist an die Gestalt des realen Bordsteins angepasst, um diesen in der virtuellen Umgebung bestmöglich und ohne Artefakte, Verzerrungen oder perspektivbedingte Lücken darzustellen. Zum Berechnen des dreidimensionalen Projektionskörpers und/oder der entsprechenden Texturen beziehungsweise dem Projizieren der Texturen auf den Projektionskörper kann ein Grafikprozessor (graphic processing unit, GPU) genutzt werden. Dadurch kann die virtuelle Umgebung in Echtzeit berechnet und/oder gerendert werden.
In der virtuellen Umgebung kann auch eine virtuelle Lichtquelle und damit ein Lichtmodell vorgegeben sein. Dies erhöht die Sichtbarkeit und Erkennbarkeit des Bordsteins unabhängig von der vorgebbaren Perspektive der virtuellen Kamera. Dabei ist die Verwendung eines Grafikprozessors besonders vorteilhaft.
Das Grundprinzip der Erfindung ähnelt somit konzeptionell dem dreidimensionalen Abbilden und Rekonstruieren einer Umgebung aus zweidimensionalen Bildern, wobei der Erfindung der umgekehrte Weg zugrunde liegt. Hier wird nämlich zunächst in Form des dreidimensionalen Projektionskörpers ein Modell erzeugt um den Bordstein zu repräsentieren, sodass der Bordstein ausgehend von dem oder den zweidimensionalen Bildern dann auf dieses Modell, den Projektionskörper abgebildet und mit weniger optischen Störungen angezeigt werden kann. Die Erfindung fokussiert dabei auf die Nutzung von dem Projektionskörper im virtuellen dreidimensionalen Raum, um einen oder mehrere Bordsteine in der Umgebung des Kraftfahrzeugs in der virtuellen Umgebung darzustellen.
Das Verfahren hat den Vorteil, dass, sobald ein Bordstein in der Umgebung des Kraftfahrzeugs auftaucht, dieser als dreidimensionales Objekt und damit besonders realistisch in der virtuellen Umgebung angezeigt werden kann. Dadurch, dass der Teil des Bildes, welcher den Bordstein repräsentiert auf den dreidimensionalen Projektionskörper projiziert wird, ist die Darstellung auch unabhängig von der jeweils vorgegebenen Perspektive artefaktfrei sehr realistisch. Überdies werden die Probleme, welche bei einem Projizieren auf eine flache Oberfläche auftreten vermieden, beispielsweise eine fehlerhafte Aneinanderreihung unterschiedlicher Bilder, welche zu einem bereichsweisen Versatz des Bordsteins in der virtuellen Umgebung führen kann. Auch werden perspektivbedingte Verzerrungen so ausgeglichen, sodass ein Betrachter der angezeigten virtuellen Umgebung die Ausdehnung des Bordsteins realistischer einschätzen kann. Die Darstellungsqualität ist somit unabhängig von der vorgebbaren Perspektive verbessert, wodurch andere, perspektivabhängige Bildverbesserungsschritte eingespart werden können, da die Position des dreidimensionalen Projektionskörpers in der virtuellen Umgebung fest vorgegeben ist.
Besonders vorteilhaft ist das Verfahren auch, wenn sich ein Bordstein über mehrere der zusammengefügten Bilder hinweg erstreckt, wie weiter unten noch ausführlicher beschrieben wird. Die Vorteile des dreidimensional repräsentierten Bordsteins liegen dabei auch darin, dass die genannten Vorteile weitgehend unabhängig von der konkreten Ausführung der virtuellen Umgebung erreicht werden. Insbesondere können so auch Bildausschnitte vergrößert oder verkleinert werden und dennoch zu einer realistischen Einschätzung und Erkennung des Bordsteins durch den Betrachter beitragen. Dies alles ist besonders bei einem Parkprozess vorteilhaft, bei welchem eine fehlerhafte Einschätzung des Bordsteins zu einer Beschädigung des Kraftfahrzeugs, insbesondere der Reifen oder Felgen, führen kann.
Die vorgebbare Perspektive in der virtuellen Umgebung wird durch den gedachten Standort des Betrachters der Anzeigeeinrichtung in der virtuellen Umgebung, den gedachten Standort einer (als virtuelle Kamera bezeichneten) Kamera in der virtuellen Umgebung und somit in der aus bevorzugt unterschiedlichen Bildern zusammengefügten Ansicht bestimmt. Diese virtuelle Kamera ist dabei so programmiert, dass sie entsprechend ihrer Perspektive die von den realen Kameras oder sonstigen bildgebenden Sensoreinrichtungen erfassten Bilder oder Bildinformationen wie Bildpunkte oder Pixel empfängt. Dabei kann die virtuelle Kamera und damit die virtuelle Perspektive frei in dem virtuellen Raum und damit der virtuellen Umgebung bewegt werden und jeder Bereich in der Umgebung des Kraftfahrzeugs, welcher durch die entsprechende bildgebende Sensoreinrichtung erfasst ist, betrachtet werden.
Das Verfahren kann dabei auch wiederholt ausgeführt werden. Das ist besonders günstig, wenn sich das Kraftfahrzeug bewegt. Gerade bei Situationen, in denen eine Information bezüglich des Bordsteins besonders wertvoll ist, wie beispielsweise einem Einparken, kann hier auch mit einer vergleichsweise geringen Wiederholrate und damit geringer Rechenkapazität eine genaue und verlässliche Repräsentation Umgebung erzeugt werden.
In einer vorteilhaften Ausführungsform vorgesehen, dass die Umgebung durch eine Kameraeinrichtung als bildgebende Sensoreinrichtung erfasst wird. Die Kammereinrichtung weist dabei zumindest eine, insbesondere zumindest zwei, bevorzugt vier Kameras zum Erfassen der Umgebung aus der zumindest einen Perspektive, insbesondere aus den zumindest zwei, beispielsweise drei und bevorzugt vier Perspektiven, auf.
Das hat den Vorteil, dass besonders leicht eine ansprechende und für einen Betrachter der Anzeigeinrichtung leicht wiedererkennbare und interpretierbare virtuelle Umgebung erzeugt werden kann. Überdies können die bekannten Bilderkennungsalgorithmen bei dem Detektieren des zumindest einen Bordsteins sowie bei dem Erzeugen der virtuellen Repräsentation der Umgebung genutzt werden. Auch sind in vielen Fahrzeugen eine oder mehrere, beispielsweise zwei, drei oder vier Kameras vorhanden, welche somit synergetisch mit anderen Funktionen des Fahrerassistenzsystems oder anderen Fahrerassistenzsystemen genutzt werden können.
In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die Umgebung aus zumindest zwei verschiedenen Perspektiven erfasst wird und zumindest zwei jeweils einer der Perspektiven zugeordneten Bilder der Umgebung bereitgestellt werden, wobei der Bordstein in zumindest zweien der bereitgestellten Bilder detektiert wird. Insbesondere grenzen jeweils die zwei auf die virtuelle Projektionsfläche projizierten Teile der zumindest zwei Bilder auf der Projektionsfläche in einem Übergangsbereich aneinander an oder gehen in dem Übergangsbereich ineinander über. Der Übergangsbereich kann auch als „merging area“ bezeichnet werden. Dabei werden die beiden Teile der zumindest zwei Bilder, welche den Bordstein repräsentieren, auf den dreidimensionalen Projektionskörper projiziert. Die Textur des dreidimensionalen Projektionskörpers kann sich folglich aus aus unterschiedlichen Perspektiven aufgenommenen Bildteilen zusammensetzen.
Das hat den Vorteil, dass ein Versatz der Bildteile mit dem Bordstein gegeneinander und eine entsprechende Lücke in der Repräsentation des Bordsteins, wie es bei dem Projizieren von Bildern unterschiedlicher Perspektiven auf eine zweidimensionale Projektionsfläche üblich ist, vermieden wird. Der Bordstein erscheint daher nicht gebrochen oder in Teilen versetzt, sodass auch eine Position des Bordsteins eindeutig erkennbar angezeigt wird.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass bei dem Erzeugen des dreidimensionalen Projektionskörpers auf eine generische Vorlage in Form eines quaderförmigen Ur-Projektionskörpers zurückgegriffen wird, welcher anhand erkannter Abmessungen des detektierten Bordsteins in seinen Abmessungen angepasst und als Projektionskörper verwendet wird. Die erkannten Abmessungen können insbesondere eine Länge und/oder eine Breite und/oder eine Höhe und/oder eine Krümmung des detektierten Bordsteins umfassen. Dafür kann beispielsweise eine bekannte Modellierungssoftware für dreidimensionale Objekte mit einer entsprechenden Anwendungsprogrammierschnittstelle (application programming interface, API) genutzt oder vorgesehen sein.
Der dreidimensionale Projektionskörper, welcher schließlich in der virtuellen Umgebung platziert wird, kann als Gitternetz (Mesh) mit entsprechenden Gitterpunkten (Vortices) als Sample-Punkte erzeugt werden. Ein engmaschigeres Netz erzeugt hier eine glattere Repräsentation des Bordsteins, benötigt allerdings mehr Rechenkapazität. Typischerweise beträgt ein Abstand der Sample-Punkte mehrere Zentimeter in der Umgebung. Die Bildinformationen oder Pixel der entsprechenden Bilder werden dabei bei dem Projizieren des Bildteils mit dem Bordstein auf den Projektionskörper auf die von dem Gitternetz vorgegebene Oberfläche abgebildet. Die Gestalt, also Form und Größe des dreidimensionalen Projektionskörpers, folglich des virtuellen Bordsteins, kann dabei durch ein entsprechendes Verschieben der Sample-Punkte angenähert werden.
Da reale Bordsteine in unterschiedlichen Varianten vorkommen, muss grundsätzlich das Urmodell, der Ur-Projektionskörper, jeweils an den detektierten Bordstein angepasst werden. Da allerdings sämtliche Bordsteine Ähnlichkeiten aufweisen, nämlich dem Grunde nach eine quaderförmige, gegebenenfalls noch gekurvte, gekrümmte Form, eine Quaderform oder gebogene Quaderform, aufweisen, ist die Verwendung des Ur-Projektionskörpers vorteilhaft. Dieser kann beispielsweise in einen detektierten Bordstein hineingelegt werden und über ein Minimieren der Abweichung an diesen angepasst werden. Dies spart wiederum Rechenkapazität im Vergleich zu einem komplett freien Erzeugen des dreidimensionalen Projektionskörpers ohne Ur-Projektionskörper. Die Eigenschaften des virtuellen Bordsteins zwischen den Sample-Punkten können dabei durch ein Interpolieren zwischen den Sample-Punkten erzeugt werden. Die Sample-Punkte auf dem Bordstein selber haben dabei bevorzugt die Eigenschaften, welche ihnen durch das Projizieren des Bildteils mit dem Bordstein auf den dreidimensionalen Projektionskörper zugewiesen sind.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass die virtuelle Projektionsfläche in einem virtuellen Raum eine virtuelle Repräsentation des Kraftfahrzeugs, also ein Modell des Kraftfahrzeugs oder ein virtuelles Kraftfahrzeug, umgibt. Insbesondere kann die virtuelle Projektionsfläche dabei die Form einer Schale aufweisen und die Repräsentation des Kraftfahrzeugs auf dem Boden der Schale angeordnet sein. Dabei wird das Bild oder die Bilder auf die insbesondere gewölbten Schalenwände und den insbesondere ebenen Schalenboden projiziert. Beispielsweise können Boden-Bildteile, auf welchen ein Boden abgebildet ist, auf den Schalenboden und andere Bildteile wie beispielsweise Gebäude-Bildteile, auf welchen erhabene Gebäude abgebildet sind, auf die Schalenwände projiziert werden. Damit kann die genannte „bowl view“, eine perspektivische Außenansicht, ermöglicht werden, bei welcher die vorgebbare Perspektive in dem Innenraum oder dem Volumen der Schale (bowl) zwischen Schalenboden und den Schalenwänden frei angeordnet werden kann. Damit kann mit der vorgebbaren Perspektive eine insbesondere auch ausschnittweise Ansicht der virtuellen Umgebung mit dem Kraftfahrzeug erzeugt werden.
Das hat den Vorteil, dass die gerade bei einer Projektionsfläche, welche das Modell des Kraftfahrzeugs umgibt, auftauchenden Verwerfungen bei der Verwendung von mehreren Bildern mit unterschiedlichen Perspektiven für das Erzeugen der virtuellen Umgebung vermieden werden. Dadurch, dass auch das virtuelle Kraftfahrzeug vorhanden ist, kann so eine räumliche Relation zwischen dem Bordstein und dem Kraftfahrzeug besonders gut dargestellt und erkannt werden. Gerade weil diese Darstellungen bei kritischen Manövern wie beispielsweise einem unterstützen Einparken, wichtig für schadfreies Einparken sind, ist die Integration des virtuellen Kraftfahrzeugs in die virtuelle Umgebung vorteilhaft. Dadurch, dass das Kraftfahrzeug auf dem insbesondere flachen Boden der Schale angeordnet ist, ist der dreidimensionale virtuelle Bordstein besonders gut zu erkennen gerade wenn er auf dem flachen oder ebenen Boden der Schale angeordnet ist. Eine räumliche Verzerrung, wie sie bei dem Projizieren eines dreidimensionalen Objekts wie des Bordsteins auf einen ausschließlich flachen Boden auftritt, und welche den Ort des Bordsteins schwer erkennen lässt, wird hier vermieden.
Die Projektionsfläche kann als kontinuierliche und/oder glatte Projektionsfläche gestaltet sein, insbesondere mit dem Kraftfahrzeug in einem Zentrum der Schale oder einem Mittelpunkt der Schale. Dabei kann die reale Umgebung des Kraftfahrzeugs mit einer oder mehreren Kameras, welche auf dem Kraftfahrzeug montiert sind, erfasst werden.
Die entsprechenden von den Kameras erfassten Bilder werden dann als Texturen auf die Schale, das heißt auf den Boden und/oder die Wände der Schale projiziert. Die Form der Schale kann beispielsweise durch eine Polynomfunktion oder eine Potenzfunktion beschrieben werden. Eine derartig gestaltete Schale als Projektionsfläche ist zwar im Allgemeinen für eine virtuelle Umgebung vorteilhaft, jedoch aufgrund der typischerweise flachen und gleichmäßigen Projektionsfläche ungeeignet, Bordsteine bestmöglich darzustellen. Dort werden Verzerrungen und oft auch bei einer zusammengesetzten Anzeige, also bei einer unter Verwendung mehrerer Bilder erzeugten virtuellen Umgebung, ein Versatz verursacht. Dies ist ein grundsätzliches mathematisches Problem, welches sich nicht durch bessere Kameras oder dergleichen ändern lässt, sondern durch die unterschiedliche Form der Schale und des realen Bordsteins bedingt ist.
In einer besonders vorteilhaften Ausführungsform ist dabei vorgesehen, dass eine relative Lage des dreidimensionalen Projektionskörpers zu der virtuellen Repräsentation des Kraftfahrzeugs einer relativen Lage des Bordsteins zum Kraftfahrzeug entspricht. Der dreidimensionalen Projektionskörpers repräsentiert die Lage also bevorzugt maßstabsgetreu. Die relative Lage umfasst dabei Abstand und Orientierung des dreidimensionalen Projektionskörpers, also des virtuellen Bordsteins, relativ zu dem virtuellen Kraftfahrzeug.
Das hat den Vorteil, dass der reale Bordstein besonders gut in der virtuellen Umgebung repräsentiert ist und entsprechend gut in seiner Relevanz für das Kraftfahrzeug erkannt werden kann. Gerade der Abstand zu dem Kraftfahrzeug und die Orientierung zu diesem ist hier wichtig um Beschädigungen des Kraftfahrzeugs zu verhindern, beispielsweise einem Einparkvorgang.
Dabei kann in bevorzugter Weise vorgesehen sein, dass ein Abstand des Bordsteins von dem Kraftfahrzeug höchstens 5 Meter, bevorzugt höchstens 3 Meter beträgt. Insbesondere kann Abstand mehr als 0,3 Meter betragen. Bevorzugt ist der dreidimensionale Projektionskörper in dem virtuellen Raum auf dem Boden der Schale angeordnet. Ein Bordstein, welcher in einem Abstand von mehr als 5 Metern oder 3 Metern detektiert wird, wird somit nicht mit dem dreidimensionalen Projektionskörper repräsentiert, sondern beispielsweise auch auf die flache Projektionsfläche, insbesondere eine Wand der Schale, projiziert.
Das hat den Vorteil, dass einerseits Rechenkapazität, die für die Berechnung des dreidimensionalen Projektionskörpers erforderlich ist, eingespart wird, und andererseits in einem Nahfeld des Kraftfahrzeugs, in welchem die Information über den Bordstein besonders entscheidend ist, dieser genau zu erkennen ist. Das Mindestmaß von 0,3 m ist hier vorteilhaft, da üblicherweise Kameras des Kraftfahrzeugs nicht in der Lage sind die Umgebung des Kraftfahrzeugs bis direkt an dieses angrenzend zuverlässig zu erfassen. Die Anordnung des Projektionskörpers auf dem Boden der Schale, welcher bevorzugt eben ausgeführt ist, also in einer Ebene verläuft, erspart hier einen weiteren Freiheitsgrad und bindet somit weniger Rechenressourcen.
In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass bei einem sich bewegenden Kraftfahrzeug der dreidimensionale Projektionskörper relativ zu einer (oder der) virtuellen Repräsentation des Kraftfahrzeugs entsprechend der Bewegung des Kraftfahrzeugs bewegt wird. Insbesondere kann dies erfolgen, ohne dass dabei das Detektieren des Bordsteins, das Erzeugen des virtuellen dreidimensionalen Projektionskörpers und das Projizieren des Bildteils mit dem Bordstein auf den dreidimensionalen Projektionskörper erneut für den bereits detektierten Bordstein durchgeführt wird. Es kann also der unveränderte dreidimensionale Projektionskörper einfach in der virtuellen Umgebung entsprechend der Bewegung des Kraftfahrzeugs und damit des Kraftfahrzeugmodells verschoben werden. Die erforderlichen Daten können beispielsweise über einen Fahrzeugbus abgerufen werden.
Das hat den Vorteil, dass die relative Lage des virtuellen Bordsteins und des virtuellen Kraftfahrzeugs sprechend der Lage des Bordsteins zu dem Kraftfahrzeug auch bei einer Bewegung des Kraftfahrzeugs erhalten bleibt. Im Gegensatz zu einem einfachen erneuten Durchlaufen des gesamten Verfahrens wird dabei Rechenkapazität gespart. Dies erfolgt wiederum unabhängig von einen entsprechenden vorgegebenen Perspektive der virtuellen Kamera. Dabei kann der virtuelle Bordstein so lange verschoben werden, bis er nicht mehr Teil der virtuellen Umgebung ist oder insbesondere nicht mehr innerhalb der schalenförmigen Projektionsfläche verortet ist, beispielsweise nicht mehr von den Kameras erfasst wird oder bis er von dem ebenen Boden der Schale verschwunden ist, das heißt mehr als beispielsweise die genannten 5 Meter von dem Kraftfahrzeug entfernt ist.
In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass das Detektieren des Bordsteins, das Erzeugen der dreidimensionalen Projektionskörpers und das Projizieren des Bildteils mit dem Bordstein auf den dreidimensionalen Projektionskörper nur durchgeführt wird, wenn der auf den dreidimensionalen Projektionskörper projizierte Teil des bereitgestellten Bildes aus der vorgegebenen Perspektive sichtbar ist.
Das hat den Vorteil, dass Rechenkapazität für das Erzeugen des dreidimensionalen Projektionskörpers und das Projizieren auf den dreidimensionalen Projektionskörper eingespart werden kann.
In einer weiteren verhaften Ausführungsform ist vorgesehen, dass die vorgegebene Perspektive durch eine Nutzereingabe verändert werden kann oder wird, oder veränderbar ist. Insbesondere kann ein zeitlicher Verlauf einer sich verändernden vorgegebenen Perspektive durch eine Nutzereingabe ausgewählt werden beziehungsweise wird der zeitliche Verlauf ausgewählt oder ist auswählbar. Das Verändern oder Auswählen kann insbesondere über ein berührungsempfindliches Anzeigeelement der Anzeigeeinrichtung wie einen berührungsempfindlichen Bildschirm oder einen berührungsempfindlichen Touchscreen erfolgen. Es kann somit durch eine Bedienhandlung an dem berührungsempfindlichen Anzeigeelement die Perspektive vorgegeben werden oder ein vorgegebener zeitlicher Verlauf der Perspektive, eine virtuelle Kamerafahrt, aktiviert werden.
Das hat den Vorteil, dass die Bedienperson sich durch die Bedienhandlung einen besonders genauen Überblick über die Umgebung des Kraftfahrzeugs verschaffen kann. Dies ist bei dem beschriebenen Verfahren vorteilhaft, da hier unabhängig von der Position der virtuellen Kamera, also unabhängig von der vorgegebenen Perspektive, der Bordstein besonders realitätsgetreu und somit gut in seiner Bedeutung für das tatsächliche Kraftfahrzeug zu erkennen auf der Anzeigeeinrichtung angezeigt wird. Die Wahl eines berührungsempfindlichen Anzeigeelements als Eingabemöglichkeit ist hier besonders intuitiv, da beispielsweise ein zu vergrößernder Bildbereich leicht als solcher markiert und ausgewählt werden kann.
Die Erfindung betrifft auch ein Computerprogrammprodukt, vorzugsweise ein Speichermedium, mit einem Computerprogramm, das dazu programmiert ist, ein Verfahren nach einer oder mehrerer der beschriebenen Ausführungsformen auszuführen, wenn das Computerprogramm beispielsweise auf einer Verarbeitungseinheit oder Recheneinheit ausgeführt wird.
Die Erfindung betrifft überdies ein Fahrerassistenzsystem für ein Kraftfahrzeug, mit einer bildgebende Sensoreinrichtung zum Erfassen einer Umgebung aus zumindest einer Perspektive, bevorzugt aus zumindest zwei verschiedenen Perspektiven, und zum Bereitstellen zumindest eines jeweils der Perspektive zugeordneten Bildes der Umgebung. Im Falle mehrerer, zumindest zweier, Perspektiven dient die Sensoreinrichtung dabei zum Bereitstellen mehrerer, zumindest zweier, jeweils einer der Perspektiven zugeordneten Bilder der Umgebung. Das Fahrerassistenzsystem weist auch eine Recheneinrichtung zum Erzeugen einer virtuellen Repräsentation der Umgebung mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in einem dreidimensionalen virtuellen Raum auf.
Dabei ist die Recheneinrichtung ausgebildet zum Detektieren eines Bordsteins in einem Teil zumindest eines bereitgestellten Bildes (im Falle mehrerer bereitgestellter Bilder in einem Teil zumindest eines der bereitgestellten Bilder), sowie zum Erzeugen eines virtuellen dreidimensionalen Projektionskörpers, welcher den Bordstein repräsentiert, in dem virtuellen dreidimensionalen Raum und zum Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein repräsentiert, auf den dreidimensionalen Projektionskörper. Insbesondere weist das Fahrerassistenzsystem auch eine Anzeigeeinrichtung auf zum Anzeigen der virtuellen Repräsentation mit der virtuellen Projektionsfläche und dem dreidimensionalen Projektionskörper aus einer vorgegebenen Perspektive.
Vorteile und vorteilhafte Ausführungsformen des Computerprogrammprodukts und des Fahrerassistenzsystems entsprechen den Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.
Die Erfindung betrifft auch ein Kraftfahrzeug mit einem solchen Fahrerassistenzsystem.
Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. Dabei zeigen:

1 ein Kraftfahrzeug mit einer beispielhaften Ausführungsform eines Fahrerassistenzsystems;
2 eine beispielhafte Projektionsfläche, welche die Form einer Schale hat, mit einem beispielhaften dreidimensionalen Projektionskörper;
3 ein beispielhaftes simuliertes Bild einer bildgebenden Sensoreinrichtung in einer beispielhaften Situation aus einer ersten Perspektive;
4 ein weiteres beispielhaftes simuliertes Bild der bildgebenden Sensoreinrichtung aus 4 in der gleichen Situation aus einer zweiten Perspektive;
5 eine beispielhafte Repräsentation einer Umgebung des Kraftfahrzeugs aus dem Stand der Technik in einer weiteren beispielhaften Situation;
6 die Umgebung aus 5 in der gleichen Situation mit dem dreidimensionalen Projektionskörper für den Bordstein;
7 die virtuelle Umgebung aus 5 aus einer weiteren Perspektive;
8 die virtuelle Umgebung aus 6 aus der gleichen weiteren Perspektive wie 7.

In den Figuren werden dabei gleiche oder funktionsgleiche Elemente mit den gleichen Elementen versehen.
In 1 ist ein Kraftfahrzeug 1 mit einer beispielhaften Ausführungsform eines Fahrerassistenzsystems 2 dargestellt. Das Fahrerassistenzsystem 2 umfasst eine bildgebende Sensorvorrichtung 3, die vorliegend als Kameraeinrichtung mit zumindest einer, hier vier Kameras 4a bis 4d ausgeführt ist. Die Sensoreinrichtung 3 dient dabei einem Erfassen einer Umgebung 5 des Kraftfahrzeugs 1 aus zumindest einer, vorliegend vier durch die Kameras 4a bis 4d bestimmten Perspektiven. Die Sensoreinrichtung 3 ist hier auch ausgebildet, jeweilige Bilder der Umgebung 5 an eine Recheneinrichtung 6 des Fahrerassistenzsystems 2 bereitzustellen. Die Recheneinrichtung 6 ist dabei ausgebildet, eine virtuelle Repräsentation 7 der Umgebung 5 zu erzeugen und dabei zumindest einen jeweiligen Teil der bereitgestellten Bilder auf eine virtuelle Projektionsfläche 14 (2) zu projizieren. Die Recheneinrichtung 6 ist dabei vorliegend ferner ausgebildet, einen Bordstein 8 in einem Teil zumindest eines der bereitgestellten Bilder zu detektieren, sowie einen virtuellen dreidimensionalen Projektionskörper 9 zu erzeugen, welcher den Bordstein 8 in der virtuellen Repräsentation 7 der Umgebung 5 repräsentiert. Dabei ist die Recheneinrichtung 6 auch ausgebildet, den Teil des zumindest einen Bildes, welcher den Bordstein 8 repräsentiert, auf den dreidimensionalen Projektionskörper 9 zu projizieren.
Vorliegend weist das Fahrerassistenzsystem 2 auch eine Anzeigeeinrichtung 10 zum Anzeigen der virtuellen Repräsentation 7 und des dreidimensionalen Projektionskörpers 9 aus einer vorgegebenen Perspektive, im gezeigten Beispiel der Vogelperspektive, auf. Die vorgegebene Perspektive kann beispielsweise von einer Bedienperson vorgegeben werden.
Im gezeigten Beispiel ist nun die virtuelle Repräsentation 7 basierend auf mehreren zusammengefügten Einzelbildern, welche von den Kameras 4a bis 4d stammen, erzeugt. So ist hier in einem ersten Bereich 11a die Repräsentation 7 basierend auf einem Bild der ersten Kamera 4a erzeugt, in einem zweiten Bereich 11b basierend auf einem Bild der zweiten Kamera 4b und entsprechend in einem dritten und vierten Bereich 11c, 11d basierend auf den Bildern der Kameras 4c und 4d. Der Bordstein 8 wird dabei im gezeigten Beispiel von den ersten drei Kameras 4a bis 4c erfasst und der Projektionskörper 9 erstreckt sich entsprechend auch in der Repräsentation 7 über die drei Bereiche 11a, 11b und 11c. Hier ist festzuhalten, dass durch den Projektionskörper 9, den virtuellen Bordstein, der Bordstein 8 realitätsgetreu als eine durchgängige, in diesem Beispiel geradlinig ausgeführte Begrenzung einer Straße wiedergegeben wird.
Dies ist nicht selbstverständlich, da das Zusammenfügen der unterschiedlichen Bereiche 11a bis 11c aufgrund der unterschiedlichen Perspektiven der jeweiligen Kameras 4a bis 4c üblicherweise zu Verwerfungen an den entsprechenden Grenzen 12 zwischen den Bereichen 11a bis 11d führt. So ist im Stand der Technik perspektivisch bedingt in dem zweiten Bereich 11b eine verschobene Wiedergabe des Bordsteins 8 üblich, wie dies durch den hier zu Illustrationszwecken eingezeichneten Schattenbordstein 13 gezeigt ist. In dem ersten und dritten Bereich 10a, 10c wäre der Bordstein 8 weiterhin an der Position des dreidimensionalen Projektionskörpers 9 dargestellt und in dem zweiten Bereich 10b beispielsweise in einer x-Richtung senkrecht zur Haupterstreckungsrichtung des Bordsteins 8 und damit des Projektionskörpers 9 verschoben. Mit dem Schattenbordstein 13 anstelle des durchgängigen Projektionskörpers 9 eine Orientierung des Fahrers des Kraftfahrzeugs 1 in der Umgebung 5 anhand der virtuellen Repräsentation 7 erschwert.
In 2 ist eine beispielhafte Projektionsfläche 14 in einem virtuellen Raum dargestellt, welche hier eine Schalenform hat. Die schalenförmige Projektionsfläche 14 weist dabei einen Schalenboden 15, welcher sich vorliegend in einer x-z-Ebene erstreckt, auf sowie Schalenwände 16, die sich ausgehend von dem Schalenboden 15 um den Schalenboden 15 umlaufend in y-Richtung erheben. Die Projektionsfläche 14 ist dabei im Bereich der Schalenwände 16 in der x-z-Ebene jeweils kreisrund ausgeführt, so dass die Bilder der Kameras 4a bis 4d (1) auf eine gewölbte Fläche, die Schalenwände 16, projiziert werden.
Die sich bei der Projektion auf Schalenboden 15 und/oder Schalenwände 16 ergebenden Verzerrungen liefern dabei beispielsweise einen Versatz wie er in 1 beschrieben und dargestellt ist. Diesem wird vorgebeugt, indem innerhalb der schalenförmigen Projektionsfläche 14, vorliegend an dem Schalenboden 15, der dreidimensionale Projektionskörper 9 angeordnet ist, welcher in seiner Gestalt an den realen Bordstein 8 angepasst ist. Der virtuelle dreidimensionale Projektionskörper 9 ist hier vorliegend als Quader ausgeführt, welcher sich hauptsächlich in die x-Richtung erstreckt, und innerhalb der durch die Projektionsfläche 14 gebildeten Schale. Damit können die Bildinformation oder die Bilder, welche über die entsprechenden Kameras 4a bis 4d aufgenommen sind, verzerrungsfrei in den virtuellen Raum projiziert werden. Daher liefert die Kombination einer Projektionsfläche 14, welche nicht einer realen Gestalt der Umgebung 5 des Kraftfahrzeugs 1 entspricht, mit dem dreidimensionalen Projektionskörper 9 mit der realen Gestalt des Bordsteins 8 eine verbesserte Repräsentation der Umgebung 5 und des Bordsteins 8, welcher als Folge in der virtuellen Umgebung 7 besser erkannt wird.
In den 3 und 4 sind beispielhafte simulierte Bilder jeweiliger Kameras 4a und 4b an einer Fahrzeugfront (3) und an einer Fahrzeugseite (4) dargestellt. In beiden simulierten Bildern ist jeweils der gleiche Bordstein 8 abgebildet. Dieser wird aufgrund der jeweiligen Perspektive durch die Kameras 4a, 4b mit unterschiedlichen Verzerrungen erfasst. In beiden Figs. ist das Kraftfahrzeug 1 (1) beziehungsweise die Position des Kraftfahrzeugs 1 in der Umgebung 5 (1) durch eine jeweilige Grundfläche 18 kenntlich gemacht. Daher ist auch für beide Bilder in der Recheneinrichtung 6 (1) jeweils die relative Lage des Bordsteins 8 zu der Grundfläche 18 und damit dem Kraftfahrzeug 1 berechenbar. Daher ist auch bekannt, dass es sich jeweils um den gleichen Bordstein 8 handelt. Dieser Bordstein 8 wird also in dem jeweiligen Bild als solcher erkannt und entsprechend der virtuelle dreidimensionale Projektionskörper 9, der den Bordstein 8 repräsentiert, in der virtuellen Repräsentation 7 der Umgebung 5 erzeugt.
Obwohl in der virtuellen Repräsentation 7 jeweils Bildteile von den beiden in den 3 und 4 gezeigten Bildern verwertet werden und aneinander angrenzen, kommt es vorliegend was den Bordstein angeht nicht zu unerwünschten oder verfälschenden Verzerrungen oder einem entsprechenden Versatz, wie er beispielsweise in 1 erläutert und gezeigt ist.
Das gleiche Prinzip kann grundsätzlich auch auf andere Gegenstände als Bordsteine angewandt werden. Allerdings ist das Prinzip bei Bordstein aufgrund der großen Nähe zu dem Kraftfahrzeug, welche Artefakte wie den bereits beschriebenen Versatz befördert, sowie der geometrischen Einfachheit von Bordsteinen hier besonders gut zu realisieren. Überdies ist das Interesse einer präzisen Repräsentation des Bordsteins aufgrund der potentiellen Beschädigung des Kraftfahrzeugs durch diesen bei Nichtbeachtung oder Fehleinschätzung vorteilhaft.
In 5 und 6 sind jeweils beispielhafte Repräsentationen 7 der Umgebung 5 dargestellt, wie sie in einer Situation, wie sie in 3 und 4 dargestellt ist, erzeugt werden kann. Dabei ist in 5 und in 6 jeweils ein Modell 19 des Kraftfahrzeugs mit in der entsprechenden Repräsentation 7 der Umgebung 5 dargestellt. Das Modell 19 ist dabei vorab in der entsprechenden Recheneinrichtung 6 (1) hinterlegt. In 5 ist nun aus unterschiedlichen Bildern wie sie den in 3 und 4 gezeigten Bilder entsprechen können, die entsprechende Repräsentation 7 erstellt, ohne dass dabei das beschriebene Verfahren zum Einsatz gekommen wäre. Dabei werden die jeweiligen Bilder auf unterschiedliche Teilbereiche der Projektionsfläche 14 (2) projiziert. An den Stoßkanten der jeweiligen Bereiche 11a bis 11d (1) beziehungsweise in den Übergangsbereichen zwischen den jeweiligen Bereichen 11a bis 11d (1) kann es hier zu Artefakten kommen. In dem in 5 gezeigten Beispiel ist hier in einem Bereich 21 der Repräsentation 7 ein Versatz 20 der Projektion 9' des Bordsteins 8 auf die Projektionsfläche 14 die Folge.
In der in 6 gezeigten Repräsentation 7 der Umgebung 5 hingegen wurde wie oben beschrieben ein entsprechender dreidimensionale Projektionskörper 9 in der Repräsentation 7 erzeugt, sodass die entsprechenden Bilder der Kameras 4a bis 4d nicht nur auf die zweidimensionale Projektionsfläche 14, sondern auch auf den dreidimensionalen Projektionskörper 9 projiziert werden. Dabei werden genau die Bildteile, welche den Bordstein 8 repräsentieren, auf den zugeordneten Projektionskörper 9 projiziert. Entsprechend ist der in 5 gezeigte Versatz 20 in dem Bereich 21 in 6 verschwunden, obwohl der Darstellung der Repräsentation 7 der Umgebung 5 die gleichen Bilder zu Grunde liegen. Damit ist eine verbesserte Orientierung eines Betrachters in der virtuellen Repräsentation 7 erreicht und eine potentielle Beschädigung des Kraftfahrzeugs 1 kann durch die genaue Darstellung und das vereinfachte Erkennen des Bordsteins 8 vermieden werden.
In den 7 und 8 ist nun das Szenario aus den 5 und 6 in einer weiteren Perspektive, hier in einer perspektivischen Schrägansicht auf das Modell 19 des Kraftfahrzeugs 1 dargestellt. Dabei ist die gemäß eines üblichen Verfahrens erzeugte virtuelle Repräsentation 7 in 7 der mit dem beschriebenen Verfahren erzeugten verbesserten virtuellen Repräsentation 7 der Umgebung 5 in 8 gegenübergestellt.
Der Bordstein 8 (1) ist hier in 7 wieder durch die bekannte Projektion 9' auf der ebenen oder flachen Projektionsfläche 14 repräsentiert. Entsprechend ergibt sich vorliegend ein doppeltes Artefakt in dem Bereich 21, nämlich zu Einen wegen der unterschiedlichen Perspektiven der den jeweiligen Bereichen 10a bis 10c (1) zu Grunde liegenden Bilder wieder ein Versatz 20 zwischen unterschiedlichen Teilen des Bordsteins in der virtuellen Repräsentation. Des Weiteren ist aufgrund der perspektivischen Verzerrung eine Breite b der Projektion 9' des Bordsteins 8 in den unterschiedlichen Bereichen 10a bis 10c unterschiedlich ausgedehnt, sodass erneut eine realistische Einschätzung von Ort und Abmessung des Bordsteins 8 relativ zum Kraftfahrzeug 1 nicht genau möglich ist.
In 8 hingegen sind die Bildteile der der virtuellen Repräsentation zu Grunde liegenden zweidimensionalen Bilder mit dem Bordstein erneut auf den dreidimensionalen Projektionskörper 9 projiziert. Damit wird nicht nur der Versatz 20 sondern auch die Breitenvariation der Breite b für den Bordstein 8 über die Länge des Bordsteins 8 hinweg vermieden. Dabei sind die durch das beschriebene Verfahren erreichten Vorzüge unabhängig von der vorgegebenen Perspektive auf die virtuelle Repräsentation 7 der Umgebung 5. Damit kann auf effiziente Weise eine Vielzahl von Artefakten für eine Vielzahl von verschiedenen Perspektiven vorbeugend kompensiert werden. Somit kann beispielsweise auch ohne zusätzlichen Rechenaufwand die Perspektive der virtuellen Kamera und somit des Betrachters auf die virtuelle Repräsentation 7 verändert werden, und beispielsweise eine Kamerafahrt in der Umgebung 5 des Kraftfahrzeugs 1 simuliert werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 20120069153 A1 [0005]
US 2014000266 A1 [0006]

Zitierte Nicht-Patentliteratur

„RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments" von Peter Henry [0007]
„Curb Detection Based on Elevation Maps from Dense Stereo“ von Florin Oniga [0007]
„Vision-based Detection of Kerbs and Steps“ von Stephen Se et al. oder „Detection and Localization of Curbs and Stairways Using Stereo Vision“ von Xiaoye Lu et al. von der IEEE International Conference on Robotics and Automation 2005 [0007]

Claims

Verfahren zum Betreiben eines Fahrerassistenzsystems (2) eines Kraftfahrzeugs (1), mit den Verfahrensschritten: a) Erfassen einer Umgebung (5) des Kraftfahrzeugs (1) durch eine bildgebende Sensoreinrichtung (3) des Fahrerassistenzsystems (2) aus zumindest einer Perspektive und Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bilder der Umgebung (5); b) Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) durch eine Recheneinrichtung (6) des Fahrerassistenzsystems (2) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14) in einem dreidimensionalen virtuellen Raum; gekennzeichnet durch ein c) Detektieren zumindest eines Bordsteins (8) in einem Teil des zumindest einen bereitgestellten Bildes durch die Recheneinrichtung (6); d) Erzeugen zumindest eines virtuellen dreidimensionalen Projektionskörpers (9), welcher den Bordstein (8) repräsentiert, in der virtuellen Repräsentation (7) der Umgebung (5); e) Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein (8) repräsentiert, auf den dreidimensionalen Projektionskörper (9); f) Anzeigen der virtuellen Repräsentation (7) der Umgebung (5) mit der virtuellen Projektionsfläche (14) und dem dreidimensionalen Projektionskörper (9) aus einer vorgebbaren Perspektive durch eine Anzeigeeinrichtung (10) des Fahrerassistenzsystems (2).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Umgebung (5) durch eine Kameraeinrichtung als bildgebende Sensoreinrichtung (3) erfasst wird, welche zumindest eine Kamera (4a-4d), insbesondere zumindest zwei und bevorzugt vier Kameras (4a-4d), zum Erfassen der Umgebung (5) aus den zumindest einen Perspektive, insbesondere aus den zumindest zwei und bevorzugt vier Perspektiven aufweist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Umgebung (5) aus zumindest zwei verschiedenen Perspektiven erfasst wird und zumindest zwei jeweils einer der Perspektiven zugeordneten Bilder der Umgebung (5) bereitgestellt werden, wobei der Bordstein (8) in zumindest zwei der bereitgestellten Bilder detektiert wird, wobei insbesondere jeweils die zwei auf die virtuelle Projektionsfläche (14) projizierten Teile der zumindest zwei Bilder auf der Projektionsfläche (14) in einem Übergangsbereich aneinander angrenzen oder ineinander übergehen, und die beiden Teile der zumindest zwei Bilder, welche den Bordstein (8) repräsentieren, auf den dreidimensionalen Projektionskörper (9) projiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei dem Erzeugen des dreidimensionalen Projektionskörpers (9) auf eine generische Vorlage in Form eines quaderförmigen Ur-Projektionskörpers zurückgegriffen wird, welcher anhand erkannter Abmessungen des detektierten Bordsteins (8) in seinen Abmessungen angepasst und als Projektionskörpers (9) verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die virtuelle Projektionsfläche (14) in einem virtuellen Raum (17) eine virtuelle Repräsentation (19) des Kraftfahrzeugs (1) umgibt, insbesondere in Form einer Schale mit der Repräsentation (19) des Kraftfahrzeugs (1) auf dem Boden (15) der Schale.
Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass ein relative Lage des dreidimensionalen Projektionskörpers (9) zu der virtuellen Repräsentation (19) des Kraftfahrzeugs (1) einer relativen Lage des Bordsteins (8) zu dem Kraftfahrzeug (1) entspricht.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass ein Abstand des Bordsteins (8) von dem Kraftfahrzeug (1) höchstens 5 Meter beträgt, insbesondere mehr als 0,3 Meter und insbesondere der dreidimensionale Projektionskörper (9) in dem virtuellen Raum auf dem Boden (15) der Schale angeordnet ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei einem sich bewegenden Kraftfahrzeug (1) der dreidimensionale Projektionskörper (9) relativ zu einer virtuellen Repräsentation (19) des Kraftfahrzeugs (1) entsprechend der Bewegung des Kraftfahrzeugs (1) bewegt wird, insbesondere ohne dass das Detektieren gemäß Verfahrensschritt c), das Erzeugen gemäß Verfahrensschritt d) und das Projizieren gemäß Verfahrensschritt e) erneut für den bereits detektierten Bordstein (8) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Detektieren gemäß Verfahrensschritt c), das Erzeugen gemäß Verfahrensschritt d) und das Projizieren gemäß Verfahrensschritt e) nur durchgeführt wird, wenn der auf den dreidimensionalen Projektionskörper projizierte Teil des bereitgestellten Bildes aus der vorgegebenen Perspektive sichtbar ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die vorgegebene Perspektive durch eine Nutzereingabe verändert werden kann, insbesondere ein zeitlicher Verlauf einer sich verändernden vorgegebenen Perspektive durch eine Nutzereingabe ausgewählt werden kann, insbesondere über ein berührungsempfindliches Anzeigeelement der Anzeigeeinrichtung (10).
Computerprogrammprodukt, vorzugsweise ein Speichermedium, mit einem Computerprogramm, das dazu programmiert ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
Fahrerassistenzsystem (2) für ein Kraftfahrzeug (1), mit - einer bildgebende Sensoreinrichtung (3) zum Erfassen einer Umgebung (5) aus zumindest einer Perspektive und zum Bereitstellen zumindest eines jeweils einer der Perspektiven zugeordneten Bilder der Umgebung (5); - einer Recheneinrichtung (6) zum Erzeugen einer virtuellen Repräsentation (7) der Umgebung (5) mit einem Projizieren von zumindest einem jeweiligen Teil des zumindest einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche (14); dadurch gekennzeichnet, dass die Recheneinrichtung (6) ausgebildet ist zum Detektieren eines Bordsteins (8) in einem Teil zumindest eines bereitgestellten Bildes, sowie zum Erzeugen eines virtuellen dreidimensionalen Projektionskörpers (9), welcher den Bordstein (8) repräsentiert, in der virtuellen Repräsentation (7) der Umgebung (5) und zum Projizieren des Teils des zumindest einen bereitgestellten Bildes, welcher den Bordstein (8) repräsentiert, auf den dreidimensionalen Projektionskörper (9).
Kraftfahrzeug (1) mit einem Fahrerassistenzsystem (2) nach Anspruch 12.