DE102018116173A1

DE102018116173A1 - Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug

Info

Publication number: DE102018116173A1
Application number: DE102018116173.5A
Authority: DE
Inventors: Mahesh KONDIPARTHI; Fergal O'Malley
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2018-07-04
Filing date: 2018-07-04
Publication date: 2020-01-09

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrassistenzsystems (10) für ein Kraftfahrzeug (1), bei dem:
- eine Umgebung des Kraftfahrzeugs (1) mittels einer bildgebenden Sensoreinrichtung (3) aus wenigstens einer Perspektive erfasst wird, um Bilddaten für wenigstens ein Bild bereitzustellen,
- aus den Bilddaten des wenigstens einen Bildes Daten für eine virtuelle räumliche Repräsentation der Umgebung in einer Rundumansicht ermittelt werden, und
- wenigstens ein Teil eines vorgegebenen Objekts (2) in den Bilddaten ermittelt wird, wobei
- falls ein vorgegebenes Objekt (2) zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekts (2) ein Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts (2) ermittelt wird, wobei der Datensatz die zweidimensionalen Objektdaten umfasst und
- der dreidimensionale Imposter an der Position des Objekts (2) in der virtuellen räumlichen Repräsentation anstelle oder ergänzend zum Objekt (2) dargestellt wird.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug, bei dem eine Umgebung des Kraftfahrzeugs mittels einer bildgebenden Sensoreinrichtung aus wenigstens einer Perspektive erfasst wird, um Bilddaten für wenigstens ein Bild bereitzustellen, aus den Bilddaten des wenigstens einen Bildes Daten für eine virtuelle räumliche Repräsentation der Umgebung in einer Rundumansicht ermittelt werden, und wenigstens ein Teil eines vorgegebenen Objekts in den Bilddaten ermittelt wird. Weiterhin betrifft die Erfindung ein Fahrassistenzsystem für ein Kraftfahrzeug, wobei das Fahrassistenzsystem ausgebildet ist, eine Umgebung des Kraftfahrzeugs mittels einer bildgebenden Sensoreinrichtung aus wenigstens einer Perspektive zu erfassen, um Bilddaten für wenigstens ein Bild bereitzustellen, aus den Bilddaten des wenigstens einen Bildes Daten für eine virtuelle räumliche Repräsentation der Umgebung in einer Rundumansicht zu ermitteln, und wenigstens einen Teil eines Objekts in den Bilddaten zu ermitteln. Schließlich betrifft die Erfindung auch ein Kraftfahrzeug, ein Rechnerprogrammprodukt mit Programmcodemitteln und ein rechnerlesbares Medium.
Bei der Unterstützung des Führens eines Kraftfahrzeugs werden heutzutage zunehmend Fahrassistenzsysteme hinzugezogen. Die Fahrassistenzsysteme können es unter anderem ermöglichen, eine Umgebung des Kraftfahrzeugs unter Nutzung des bildgebenden Sensors zu erfassen und für das Führen des Kraftfahrzeugs wichtige beziehungsweise relevante Informationen beziehungsweise Daten zu gewinnen. Ein Aspekt ist dabei die Darstellung der Umgebung des Kraftfahrzeugs, und zwar beispielsweise um einen Fahrer des Kraftfahrzeugs beim Führen des Kraftfahrzeugs zu unterstützen oder auch um das Kraftfahrzeug zumindest teilweise autonom führen zu können.
Um die Umgebung des Kraftfahrzeugs zu erfassen, ist kraftfahrzeugseitig in der Regel die wenigstens eine bildgebende Sensoreinrichtung vorgesehen. Die bildgebende Sensoreinrichtung kann eine oder mehrere Kameras beziehungsweise ein Kamerasystem umfassen. Mittels der bildgebenden Sensoreinrichtung können eines oder auch mehrere Bilder der Umgebung erfasst und, beispielsweise zu einer Gesamtansicht im Rahmen einer virtuellen räumlichen Repräsentation der Umgebung, vorzugsweise in einer Rundumansicht, zusammengeführt werden. Dabei ist es auch möglich, dass eine fortlaufende Bildfolge erstellt wird, beispielsweise nach Art von Videodaten, sodass immer eine möglichst aktuelle virtuelle räumliche Präsentation der Umgebung zur Verfügung steht. Zu diesem Zweck können zeitlich aufeinanderfolgende Bilder entsprechend zeitlich aneinandergereiht zur Verfügung gestellt werden.
In diesem Zusammenhang ist zum Beispiel die US 2012/0262580 A1 zu nennen, die ein Rundumsichtsystem für ein Fahrzeug offenbart. Ferner offenbart die US 2009/0110327 A1 eine halbautomatische ebene Extrusion für eine dreidimensionale Modellierung. Weiterhin offenbart die US 2012/0274625 A1 das Erzeugen und Anzeigen von dreidimensionalen Objekten in einer elektronischen Kartenansicht. Hierbei soll eine Geometrie eines geographischen Objekts mittels dreidimensionaler Kuben approximiert werden, um eine räumliche Darstellung in der Kartenansicht erreichen zu können. Abhängig von einer gewünschten Auflösung der Darstellung des Objekts wird die Abmessung der Kuben gewählt.
Um eine möglichst günstige, das heißt, nutzungsgerechte beziehungsweise ergonomisch günstige Anwendung erreichen zu können, ist es üblich, spezifische Ansichten der virtuellen räumlichen Repräsentation der Umgebung, insbesondere in Rundumansicht, zu erstellen, beispielsweise eine Vogelperspektivansicht, eine perspektivische Außenansicht, insbesondere eine Schalenansicht (englisch: Bowl-view), oder auch eine Schalenansicht bezüglich von Artefakten oder dergleichen.
Ein Artefakt ist dabei eine in der virtuellen räumlichen Repräsentation der Umgebung vorhandene, unerwünschte Anzeige, insbesondere in einem digitalen Bild, die nicht von den ursprünglich erfassten Daten herrührt. Artefakte können durch die Verarbeitung der Bilddaten zustandekommen. Artefakte können gänzlich neue Objekte gegenüber den Ausgangsdaten sein. Sie können jedoch auch verzerrte Darstellungen realer Objekte sein, die aufgrund ihrer Verzerrung beispielsweise nicht mehr dem ursprünglich erfassten Objekt zugeordnet werden können oder dergleichen. So können zum Beispiel gewisse Objekte in der Umgebung des Kraftfahrzeugs, wie beispielsweise ein Fußgänger, entweder nicht korrekt angezeigt werden oder verschwinden bereichsweise ganz aus einer zusammengesetzten Gesamtansicht der virtuellen räumlichen Repräsentation der Umgebung. Dies kann unter anderem darauf zurückgeführt werden, dass eine zusammengesetzte Gesamtansicht ein künstlich zusammengeführtes Bild ist und nicht ein optisch durch eine einzige reale Kamera aufgenommenes Bild. Damit können bei einem Zusammensetzen von Einzelbildern der Kameras zu der Gesamtansicht zum Beispiel Bildpunkte oder Pixel verloren gehen, verändert werden oder dergleichen und entsprechend das durch den Bildpunkt repräsentierte Objekt, beispielsweise der Fußgänger, nicht oder nicht vollständig in der Gesamtansicht angezeigt werden. Bei einem Fahrassistenzsystem kann dies jedoch ein Problem hinsichtlich der Sicherheit, insbesondere in Bezug auf das Führen des Kraftfahrzeugs sein.
Zwei bekannte Artefakte sind im Stand der Technik in Bezug auf eine bildgebende Sensoreinrichtung, die beispielsweise mehrere Kameras umfasst, ein sogenannter „Manhattan-Effekt“ und ein sogenanntes „Stitching-Problem“.
Beim Manhattan-Effekt kann ein Objekt, welches in spezifischen Kamerawinkeln erfasst wird, sehr viel größer erscheinen, als es tatsächlich ist. Besonders bei perspektivischen Darstellungen der virtuellen räumlichen Repräsentation kann dies zu einer Störung in unerwünschter Weise führen, weil zum Beispiel das eigene Kraftfahrzeug deutlich kleiner dargestellt ist, als ein seitlich benachbartes Kraftfahrzeug, auch wenn die Kraftfahrzeuge etwa gleich groß sind. Dies kann das Führen des Kraftfahrzeugs insofern stören, als dass zum Führen des Kraftfahrzeugs erforderliche Informationen, beispielsweise ein Abstand oder dergleichen, nicht in der erforderlichen Genauigkeit zur Verfügung stehen. Wird darüber hinaus eine Darstellung der virtuellen räumlichen Repräsentation der Umgebung dieser Art an den Fahrer ausgegeben, kann dieser durch die Art der Darstellung verwirrt sein und so zu unerwünschten oder gefährlichen Fahrmanövern verführt werden.
Beim Stitching-Problem kann insbesondere bei einem Zusammenführen der virtuellen räumlichen Repräsentation aus mehreren Einzelbildern das Problem auftreten, dass in einer insbesondere spezifischen Darstellung, beispielsweise der Schalenansicht, insbesondere in einem Übergangsbereich zwischen zusammengefügten Bildern, ein Objekt in der gesamten virtuellen räumlichen Repräsentation der Umgebung verloren geht.
Ein weiteres Problem kann jedoch auch unabhängig von einem Zusammensetzen von Einzelbildern auftreten, beispielsweise wenn ein vertikales Objekt, also ein Objekt dessen Haupterstreckungsrichtung sich im Wesentlichen vertikal und somit parallel zu einer Fahrzeughochrichtung des Kraftfahrzeugs erstreckt, in einer nahen Umgebung des Kraftfahrzeugs erfasst wird und sodann in einer virtuellen Repräsentation der Umgebung, beispielsweise einer perspektivischen Außenansicht, auf eine senkrecht zu einem Horizont der virtuellen Umgebung in einer Vertikalebene erstreckende Projektionsfläche projiziert wird, welche in der virtuellen Umgebung weiter von einer Repräsentation des Kraftfahrzeugs entfernt ist, als das vertikale Objekt von dem realen Kraftfahrzeug. Damit kann das vertikale Objekt in der virtuellen Umgebungsdarstellung gegebenenfalls von einer vorgegebenen Perspektive, die sich von der Perspektive unterscheidet, aus welcher die Umgebung beziehungsweise die Bilder durch die reale bildgebende Sensoreinrichtung erfasst wurden, oft nur schwer zu erkennen sein.
Die vorgenannten Probleme können zumindest teilweise reduziert werden, wenn Objekte, die von den vorgenannten Problemen betroffen sein können, durch Imposter ersetzt werden. Durch den Imposter kann eine Anwesenheit, ein Typ, eine Position und/oder dergleichen eines Objekts, das durch den Imposter repräsentiert werden soll, dargestellt werden. Die erforderlichen Informationen können bei einer digitalen Bildverarbeitung beispielsweise mittels einer geeignet programmierten Rechnereinrichtung unter Nutzung von entsprechenden Algorithmen ermittelt werden.
Eine Schalenansicht ist eine Art einer Rundumansicht, die unter Nutzung von einer oder mehreren Kameras, zum Beispiel vier Kameras oder dergleichen, erzeugt werden kann, wobei bei mehreren Kameras jede der Kameras eine jeweilige Ansicht erstellen kann, beispielsweise eine Voraussicht, eine Rücksicht, eine linke Seitensicht, eine rechte Seitensicht bezüglich des Kraftfahrzeugs. Zu diesem Zweck können die Kameras, welche vorzugsweise als Weitwinkelkameras ausgebildet sind, an strategischen Positionen des Kraftfahrzeugs angeordnet sein, sodass sie in geeigneter Weise überlappende Bilddaten bereitstellen können, insbesondere um eine kontinuierliche 360°-Ansicht der Umgebung des Kraftfahrzeugs bereitstellen zu können.
Ein Imposter ist in der Regel ein zweidimensionales Gebilde, das eine geometrische Darstellung in der virtuellen räumlichen Repräsentation der Umgebung ersetzen kann, insbesondere ein Objekt, wobei der Imposter eine geometrische Darstellung ist, die so texturiert wurde, dass beim Anblick der Textur das ursprünglich an der Stelle dargestellte Objekt in Bezug auf dessen Originalgeometrie erfasst werden kann. Die Textur beziehungsweise der Imposter täuscht also eine Geometrie vor, die eigentlich in dieser Form nicht vorhanden ist, gleichwohl jedoch ein Erkennen der ursprünglichen Objekts erlaubt. Imposter sind also bildbasierte Objekte, die als alternative Repräsentation für Teile einer dreidimensionalen Szene benutzt werden können, um den Darstellungsprozess zu beschleunigen beziehungsweise zu verbessern. Insbesondere können sie dazu genutzt werden, tatsächlich mittels der bildgebenden Sensoreinrichtung erfasste Objekte verbessert darzustellen, vorzugsweise wenn die Darstellung der virtuellen räumlichen Repräsentation der Umgebung verzerrt ist, wie dies beispielsweise bei der Schalenansicht oder dergleichen vorkommt. Eine alternative Repräsentation meint hier, dass der Imposter die Geometrie ersetzt beziehungsweise die Darstellung des Originalobjekts annähert. Somit kann der Imposter hierdurch von Objekten wie Partikelsystemen mit Billboards oder Texturen mit entferntem Hintergrund unterschieden werden, weil bei den letztgenannten nichts ersetzt wird. Der Imposter kann also insbesondere dazu dienen, Poller, Fahrzeuge, Personen und/oder dergleichen zu ersetzen beziehungsweise darzustellen.
Ein statischer Imposter kann erzeugt werden, bevor eine Anwendung den Imposter nutzt. Der Imposter kann in einem Speicher mit einem den Imposter repräsentierenden Datensatz gespeichert sein. Er kann unmittelbar bei Bedarf genutzt werden. Ein dynamischer Imposter kann dagegen in Echtzeit bereitgestellt werden, beispielsweise in Bezug auf das ermittelte vorgebbare beziehungsweise vorgegebene Objekt oder dergleichen. Der dynamische Imposter wird also vorzugsweise abhängig von den aktuell verfügbaren Bilddaten erzeugt.
Insgesamt besteht das Problem, dass dreidimensionale Objekte in der virtuellen räumlichen Repräsentation der Umgebung fehlen können, falsch interpretiert werden können, insbesondere bei einer Darstellung in einer Schalenansicht, beispielsweise wegen seiner Natur bei der Projektion der Bilddaten in die Schalenansicht oder zum Beispiel wegen ungenügendem Stitching bei überlappenden Bereichen der Bilddaten von Bildern unterschiedlicher Kameras und/oder dergleichen. Bekannte Imposter werden üblicherweise durch regelmäßige zweidimensionale geometrische Formen dargestellt.
Der Erfindung liegt die Aufgabe zugrunde, die virtuelle räumliche Repräsentation der Umgebung in der Darstellung zu verbessern.
Als Lösung werden mit der Erfindung ein Verfahren, ein Fahrassistenzsystem, ein Kraftfahrzeug, ein Rechnerprogrammprodukt sowie ein rechnerlesbares Medium gemäß den unabhängigen Ansprüchen vorgeschlagen.
Vorteilhafte Weiterbildungen ergeben sich durch Merkmale der abhängigen Ansprüche.
Bezüglich eines gattungsgemäßen Verfahrens wird insbesondere vorgeschlagen, dass, falls ein vorgegebenes Objekt zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekts ein Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts ermittelt wird, wobei der Datensatz die zweidimensionalen Objektdaten umfasst, und der dreidimensionale Imposter an der Position des Objekts in der virtuellen räumlichen Repräsentation anstelle oder ergänzend zum Objekt dargestellt wird.
Bezüglich eines gattungsgemäßen Fahrassistenzsystems wird insbesondere vorgeschlagen, dass das Fahrassistenzsystem ferner ausgebildet ist, falls ein vorgebbares Objekt zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekt einen Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts derart zu ermitteln, dass der Datensatz die zweidimensionalen Objektdaten umfasst, und den dreidimensionalen Imposter an der Position des Objekts in der virtuellen räumlichen Repräsentation anstelle oder ergänzend zum Objekt darzustellen.
Bezüglich des Rechnerprogrammprodukts wird insbesondere vorgeschlagen, dass dieses Programmcodemittel aufweist, welche insbesondere in einem rechnerlesbaren Medium gespeichert sind, um das Verfahren zum Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug gemäß der Erfindung durchzuführen, wenn das Rechnerprogrammprodukt auf einer Rechnereinrichtung einer elektronischen Steuerungseinheit abgearbeitet wird.
Bezüglich eines rechnerlesbaren Mediums, insbesondere in Form einer rechnerlesbaren Diskette, einer CD, einer DVD, einer Speicherkarte, einer USB-Speichereinheit oder ähnlichem, wird insbesondere vorgeschlagen, dass auf dem Medium Programmcodemittel gespeichert sind, um das Verfahren zum Betreiben eines Fahrassistenzsystems für ein Kraftfahrzeug gemäß der Erfindung durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuerungseinheit geladen und auf einer Rechnereinrichtung der elektronischen Steuerungseinheit abgearbeitet werden.
Bezüglich eines Kraftfahrzeugs wird insbesondere vorgeschlagen, dass dieses ein Fahrassistenzsystem gemäß der Erfindung aufweist.
Die Erfindung basiert auf dem Gedanken, durch Nutzung von dreidimensionalen Impostern die Erkennbarkeit von Objekten dem Grunde nach zu verbessern, insbesondere wenn eine visuelle Darstellung als Ausgabe für den Fahrer des Kraftfahrzeugs erfolgt und dieser darauf angewiesen ist, relevante Objekte für das Führen des Kraftfahrzeugs möglichst gut und unverzüglich erkennen zu können. Dabei erweist sich die Nutzung von dreidimensionalen Impostern als vorteilhaft, weil dadurch insbesondere bei dynamischen Vorgängen wie dem Fahren des Kraftfahrzeugs und sich daraus ergebender ändernder Bilddaten ein Nachhalten des Objekts deutlich verbessert werden kann. Insbesondere kann auch bei einer Veränderung der Perspektive der dreidimensionale Imposter besser dazu dienen, das Objekt nach wie vor erkennbar zu halten. Die Nutzung des dreidimensionalen Imposters ermöglicht es, mit geringem Aufwand und großer Geschwindigkeit die virtuelle räumliche Repräsentation zu aktualisieren. Dies gilt nicht nur für die Bewegung des Kraftfahrzeugs während des bestimmungsgemäßen Fahrbetriebs, sondern es kann ebenso vorteilhaft sein, wenn die Ansicht beziehungsweise die Darstellung, zum Beispiel die Perspektive oder dergleichen, geändert wird, beispielsweise von einer Vogelperspektive zu einer Schalenansicht oder dergleichen. Besonders hierbei erweisen sich dreidimensionale Imposter als vorteilhaft, weil sie nach wie vor auf einfache Weise das vorgegebene Objekt für den Fahrer sichtbar beziehungsweise erkennbar halten. Dadurch kann die Ergonomie bezüglich des Führens des Kraftfahrzeugs deutlich verbessert werden.
Darüber hinaus eignet sich die Erfindung aber gerade auch für die Nutzung bei dynamischen Impostern, weil der dreidimensionale Imposter gemäß der Erfindung auf einfache Weise aus zweidimensionalen Objektdaten ermittelt werden kann. Dadurch kann der dreidimensionale Imposter nicht nur besonders einfach erzeugt und/oder aktualisiert werden, sondern es braucht für den dreidimensionalen Imposter auch kein spezifischer Datensatz bereitgehalten zu werden. Gerade bei der Vielzahl der möglichen Objekte ist dies vorteilhaft. Dies kann auch deshalb erreicht werden, weil die Erfindung für die Erzeugung der dreidimensionalen Imposter nur einen sehr geringen Rechenaufwand benötigt. Die Erfindung erlaubt es daher, auch einen realistischen dreidimensionalen Imposter mit einem akzeptablen Rechenaufwand bereitzustellen, sodass sich die Erfindung besonders für dynamische dreidimensionale Imposter eignet.
Die Erfindung bezieht sich unter anderem ferner auf ein Verfahren zum Betreiben eines Fahrassistenzsystems eines Kraftfahrzeugs mit einer Reihe von Verfahrensschritten. Ein Verfahrensschritt ist dabei das Erfassen der Umgebung des Kraftfahrzeugs mittels der bildgebenden Sensoreinrichtung aus wenigstens einer Perspektive. Hierdurch werden Bilddaten für das wenigstens eine Bild bereitgestellt. Es können natürlich auch Bilddaten für mehr als ein Bild bereitgestellt werden, beispielsweise eine Abfolge von aufeinanderfolgenden Bildern, beispielsweise nach Art eines Videos mit bewegten Bildern oder dergleichen.
Bevorzugt erfolgt das Erfassen der Umgebung aus zumindest zwei, beispielsweise drei oder vier, unterschiedlichen Perspektiven. Zu diesem Zweck kann die bildgebende Sensoreinrichtung entsprechend ausgebildet sein, beispielsweise für jede der Perspektiven eine separate Kamera zu umfassen oder dergleichen. So kann beispielsweise die Umgebung durch eine Kamera oder bevorzugt wenigstens zwei, beispielsweise drei oder vier, unterschiedliche Kameras des Kraftfahrzeugs erfasst werden. Die Kameras können natürlich auch Teil des Fahrassistenzsystems sein. Dem Grunde nach kann das Fahrassistenzsystem jedoch auch lediglich ausgebildet sein, um an die unterschiedlichen Kameras angeschlossen zu werden. Das Anschließen kann dadurch erfolgen, dass die erfassten Bilddaten für das Fahrassistenzsystem bereitgestellt werden. Dies kann auch durch ein anderes kraftfahrzeugseitiges Steuersystem oder dergleichen erfolgen.
Im Falle des Erfassens der Umgebung aus mehreren Perspektiven erfolgt hier ein Bereitstellen der Bilddaten für wenigstens eines der Bilder der Umgebung, welche jeweils einer der Perspektiven zugeordnet ist. Jedem bereitgestellten Bild kann somit eine Perspektive zugeordnet werden. Bei dem Bild oder den Bildern kann es sich insbesondere um zweidimensionale Bilder handeln.
Ein weiterer Verfahrensschritt befasst sich mit dem Ermitteln von Daten für die virtuelle räumliche Repräsentation der Umgebung, kurz einer virtuellen Umgebung in einem virtuellen dreidimensionalen Raum, durch eine Rechnereinrichtung, die eine Rechnereinrichtung des Fahrassistenzsystems sein kann. Die virtuelle Repräsentation kann dabei insbesondere eine dreidimensionale Repräsentation der Umgebung umfassen, beispielsweise eine zweidimensionale Untermannigfaltigkeit in einem virtuellen dreidimensionalen Raum. Bei dem Ermitteln der Daten für die virtuelle räumliche Repräsentation der Umgebung kann auch ein Projizieren von wenigstens einem Teil oder einem Bildteil des wenigstens einen bereitgestellten Bildes auf eine virtuelle Projektionsfläche in der dreidimensionalen virtuellen räumlichen Repräsentation erfolgen. Eines oder mehrere der Bilder können dabei auch ganz oder teilweise auf die Projektionsfläche projiziert werden. Insbesondere kann die virtuelle Projektionsfläche eine gewölbte virtuelle Projektionsfläche sein beziehungsweise umfassen, wobei die Projektionsfläche zumindest teilweise oder auch vollständig gewölbt sein kann. Die virtuelle Projektionsfläche kann dabei eine zweidimensionale Untermannigfaltigkeit in dem virtuellen dreidimensionalen Raum sein.
Die virtuelle räumliche Repräsentation der Umgebung kann also erzeugt werden, indem die bereitgestellten Bilddaten des Bildes oder der Bilder auf die virtuelle Projektionsfläche projiziert und gegebenenfalls zusammengefügt werden. Das Bild oder die Bilder können bevorzugt auch bei oder vor dem Projizieren einer oder mehrerer optischer Operationen zum Korrigieren etwaiger optischer Abbildungsfehler oder Abbildungseigenschaften, beispielsweise zum Korrigieren einer Verzerrung einer Fischaugenlinse oder dergleichen, unterzogen werden. Die virtuelle Projektionsfläche kann dabei durch die Ansicht, beispielsweise die Vogelperspektive, die Schalenansicht oder dergleichen, bestimmt sein.
Gemäß einem weiteren Verfahrensschritt wird in den Bilddaten wenigstens ein Teil eines vorgegebenen Objekts ermittelt. Das vorgegebene beziehungsweise vorgebbare Objekt ist vorzugsweise ein Objekt in den Bilddaten, welches für das Führen des Kraftfahrzeugs relevant ist, beispielsweise andere Verkehrsteilnehmer wie andere Fahrzeuge, Radfahrer, Personen wie Fußgänger oder dergleichen. Darüber hinaus kann das vorgegebene Objekt natürlich auch bautechnischer Art sein, beispielsweise ein Verkehrszeichen, ein Hindernis im Bereich des Fahrwegs, auf dem das Kraftfahrzeug geführt wird, beispielsweise ein Poller, ein Bordstein, aber auch ein Gebäude, ein Teil hiervon oder dergleichen.
Es können auch mehrere vorgegebene beziehungsweise vorgebbare Objekte vorgesehen sein, die in den Bilddaten ermittelt werden. Dabei kann es sich um unterschiedliche vorgegebene Objekte handeln. Die vorgegebenen Objekte können zum Beispiel durch mehrere unterschiedliche Fahrzeuge, mehrere unterschiedliche Personen und/oder dergleichen gebildet sein. Wichtig ist, dass zumindest ein vorgegebenes beziehungsweise vorgebbares Objekt in einem Teil der Bilddaten des zumindest einen bereitgestellten Bildes oder bei mehreren bereitgestellten Bildern in wenigstens einem Teil von zumindest einem der mehreren bereitgestellten Bildern ermittelt wird. Das vorgegebene Objekt kann auch zu einem Teil in Bilddaten zu wenigstens einem der Bilder und zu einem weiteren Teil in Bilddaten eines anderen der Bilder ermittelt werden. Beispielsweise kann das vorgegebene Objekt in einem angrenzenden Bereich von zwei benachbarten Bildern positioniert sein, sodass es zumindest teilweise in den Bilddaten des einen und des anderen Bildes enthalten ist. Das vorgegebene Objekt kann zum Beispiel ein Fußgänger sein, eine Säule, insbesondere eine Tragsäule, eine Begrenzungssäule, ein Mast, beispielsweise ein Strommast, ein Laternenmast, ein Pylon, ein Leitkegel, eine Leitpfosten und/oder dergleichen.
Das Ermitteln des vorgegebenen beziehungsweise vorgebbaren Objekts in den Bilddaten kann beispielsweise mit aus dem Stand der Technik bekannten Verfahren zum Detektieren von Objekten in Bildern durchgeführt werden. Bei dem Detektieren kann dabei auch eine Position des vorgegebenen beziehungsweise vorgebbaren Objekts in der Umgebung des Kraftfahrzeugs ermittelt werden. Es werden bezüglich des ermittelten Objekts und/oder des ermittelten Teils davon zweidimensionale Objektdaten bereitgestellt.
Ein weiterer Verfahrensschritt sieht vor, dass, falls ein vorgegebenes beziehungsweise vorgebbares Objekt zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekts ein Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts ermittelt wird. Der Imposter kann hinsichtlich seiner Kontur an tatsächliche Abmessungen des ermittelten vorgegebenen beziehungsweise vorgebbaren Objekts angepasst sein. Dabei braucht der Imposter natürlich nicht sämtliche Strukturen des ermittelten vorgegebenen beziehungsweise vorgebbaren Objekts widerzuspiegeln. Es kann auch eine reduzierte Struktur sein, die die Erkennbarkeit, beispielsweise für den Fahrer des Kraftfahrzeugs, verbessern kann. Dabei umfasst der Datensatz für den dreidimensionalen Imposter die zweidimensionalen Objektdaten. Gerade hierdurch kann der dreidimensionale Imposter mit geringem Aufwand dynamisch erzeugt werden. Vorab erzeugte und gespeicherte Datensätze für dreidimensionale Imposter sind also bei der Erfindung nicht erforderlich.
Der Imposter kann zum Beispiel nach Art eines dreidimensionalen Piktogramms oder dergleichen gestaltet sein. Mittels des dem dreidimensionalen Imposter zugeordneten Datensatzes kann sodann der Imposter an der Position des Objekts in der virtuellen räumlichen Repräsentation dargestellt werden. Dies kann zunächst dadurch erfolgen, dass den die virtuelle räumliche Repräsentation repräsentierenden Daten der Datensatz des Imposters hinzugefügt wird. Vorzugsweise kann vorgesehen sein, dass der Imposter zu dem entsprechenden zugehörenden vorgegebenen beziehungsweise vorgebbaren Objekt überlagert dargestellt wird. Darüber hinaus kann auch vorgesehen sein, dass der Imposter anstelle des zugehörenden vorgegebenen beziehungsweise vorgebbaren Objekts dargestellt wird.
Die Darstellung kann sodann zum Beispiel einer Ausgabeeinheit, beispielsweise einer Anzeigeeinheit, beispielsweise nach Art eines Bildschirms oder dergleichen zugeführt werden, sodass der Fahrer eine entsprechende Anzeige erhält, die ihn beim Führen des Kraftfahrzeugs unterstützen kann.
Dreidimensionale Objekte können insbesondere in einer Schalenansicht fehlen oder aufgrund ihrer ungünstigen Darstellung, beispielsweise aufgrund von Eigenschaften der bildgebenden Sensoreinrichtung, wegen ungünstigem Stitching in Überlappungsbereichen von benachbarten Bildern und/oder dergleichen, auch fehlinterpretiert werden.
Die Erfindung schlägt grundsätzlich die Nutzung von dreidimensionalen Impostern vor. Basierend darauf, dass ein Typ und eine Position des vorgegebenen Objekts mittels eines bekannten Mechanismus ermittelt werden können, beschäftigt sich die Erfindung mit einem Weg, ein vorgegebenes dreidimensionales Objekt, zu dem zweidimensionale Objektdaten ermittelt wurden, durch ein alternatives Mittel zu ersetzen beziehungsweise ergänzend darzustellen, welches an einer geeigneten Position in der Projektionsfläche, insbesondere bei einer Schalendarstellung das dreidimensionale vorgegebene Objekt besser repräsentieren kann. Die US 2012/0262580 A1 offenbart dagegen ein Rundumsichtsystem, welches von vier Kameras gespeist wird, welches typische Fehler insbesondere bei einer Schalenansicht hat.
Um die Probleme des Stands der Technik zu reduzieren, werden gemäß der Erfindung dreidimensionale Imposter genutzt, um die Probleme in Bezug auf insbesondere fehlende Objekte sowie auch falsch dargestellte Objekte, beispielsweise in der Schalenansicht zu reduzieren. Die Erfindung lehrt die Nutzung von geeigneten statischen Impostern aus einem Pool von existierenden Impostern, die die folgenden Herausforderungen verbessern. Ein wichtiger Aspekt der Erfindung ist dabei zum Beispiel darauf gerichtet, das tatsächliche ermittelte Objekt mit möglichst geringem Aufwand möglichst gut zu repräsentieren, wobei insbesondere ein Rechenaufwand möglichst gering sein soll. Dabei ist zu beachten, dass eine große Detailgenauigkeit auch einen entsprechend hohen Rechenaufwand zur Folge hat, was insbesondere für weniger wichtige Objekte in der ermittelten Szenerie einen unnötigen Aufwand zur Folge haben kann, zumal hierdurch die Zeit für ein Rendering ungünstig beeinflusst werden kann. Die Erfindung lehrt deshalb die Nutzung von vereinfachten Impostern, die hinsichtlich des Rechenaufwands erheblich weniger aufwändig sind. Dadurch ist es mit der Erfindung möglich, mit geringem Aufwand dynamische dreidimensionale Imposter bereitzustellen.
Es wird ferner vorgeschlagen, dass das Ermitteln der Daten für den dreidimensionalen Imposter ein Übermitteln der zweidimensionalen Objektdaten des ermittelten Objekts an eine Datenbank umfasst, die eine Mehrzahl von vorgegebenen, objektzugeordneten zweidimensionalen Impostern repräsentierenden Datensätzen abrufbar speichert, wobei den zweidimensionalen Objektdaten wenigstens ein zweidimensionaler Imposter zugeordnet wird, dessen Datensatz in der Datenbank gespeichert ist, der dem zugeordneten zweidimensionalen Imposter entsprechende Datensatz von der Datenbank zurückübermittelt wird, und aus dem Datensatz des zweidimensionalen Imposters der Datensatz für den dreidimensionalen Imposter ermittelt wird. Ein Imposter kann somit ein graphisches Artefakt sein, der zu einer Umgebungsansicht hinzugefügt wird, um ein fehlendes vorgegebenes Objekt zu repräsentieren oder ein ungünstig dargestelltes vorgegebenes Objekt zu repräsentieren. Dies zeigt, wie auf einfache Weise ein dynamischer dreidimensionaler Imposter bereitgestellt werden kann. Die zweidimensionalen Objektdaten können zum Beispiel eine äußere Konturlinie umfassen, die vorzugsweise in einer Ebene positioniert ist.
Es ist vorteilhaft, auf einen Pool von statischen zweidimensionalen Impostern zurückgreifen zu können, der mittels der Datenbank bereitgestellt werden kann. Dadurch kann vorzugsweise ein Großteil von vorgegebenen beziehungsweise vorgebbaren Objekttypen erfasst werden, sodass dann lediglich wenigstens einer von geeigneten Impostern aus dem Pool der Imposter ausgewählt zu werden braucht. Durch geeignete zweidimensionale vorgegebene Imposter in dem Pool von Impostern kann eine bessere Erzeugung, insbesondere in Bezug auf eine Schalenansicht bei minimalem Rechenaufwand erreicht werden. Die zweidimensionalen Imposter des Pools sind vorzugsweise einfache zweidimensionale Modelle, die ein entsprechendes vorgegebenes Objekt möglichst klar repräsentieren können. Das Ermitteln des Datensatzes für den dreidimensionalen Imposter kann dadurch darauf reduziert werden, mittels eines geeigneten Algorithmus aus den zweidimensionalen Datensätzen der Imposter des Pools den dreidimensionalen Imposter zu erzeugen.
Der Pool von Impostern kann vorzugsweise durch die Datenbank bereitgestellt werden, indem in der Datenbank vorgegebenen Impostern repräsentierende Datensätze gespeichert sind. Es ist deshalb vorgesehen, dass, um den dreidimensionalen Imposter zu ermitteln, zweidimensionale Objektdaten des ermittelten Objekts an die Datenbank übermittelt werden, wobei den Objektdaten wenigstens ein zweidimensionaler Imposter zugeordnet wird, dessen Datensatz in der Datenbank gespeichert ist. Das Zuordnen kann mittels eines geeigneten Zuordnungsalgorithmus oder dergleichen erfolgen. Der dem wenigstens einen zugeordneten zweidimensionalen Imposter entsprechende Datensatz wird dann von der Datenbank zurückübermittelt. Dadurch steht dann der Datensatz des zugeordneten zweidimensionalen Imposters zur Verfügung. Aus diesem kann dann der Datensatz für den dreidimensionalen Imposter mit geringem Aufwand ermittelt und für die Darstellung in der virtuellen räumlichen Repräsentation der Umgebung genutzt werden.
Darüber hinaus wird vorgeschlagen, dass das Objekt zum Ermitteln der Daten für den dreidimensionalen Imposter klassifiziert wird. Dadurch ist es möglich, unter Nutzung von statistischen Auswertemethoden auf einfache Weise einen Imposter zuzuordnen. Dem Grunde nach kann natürlich auch ein anderes Verfahren genutzt werden, um das Objekt zu detektieren.
Ferner wird vorgeschlagen, dass eine räumliche Position und/oder Ausrichtung des Objekts ermittelt wird, und der Imposter entsprechend der Position und/oder Ausrichtung des Objekts dargestellt wird. Die räumliche Position und/oder Ausrichtung des Objekts kann zum Beispiel auf Basis von vorgebbaren, zu erfassenden Abmessungen des Objekts erfolgen. Dadurch kann eine räumliche Lage des Objekts erfasst werden, und der Imposter kann entsprechend zugeordnet hinsichtlich seiner Position und/oder Ausrichtung dargestellt werden. Dadurch wird die Darstellung insgesamt genauer, wobei sie zugleich jedoch ihre ergonomisch günstigen Eigenschaften beibehält.
Gemäß einer Weiterbildung wird vorgeschlagen, dass eine optisch sichtbare physikalische Eigenschaft des ermittelten Objekts erfasst wird und der Imposter zumindest teilweise mit der optisch sichtbaren physikalischen Eigenschaft dargestellt wird. So kann vorgesehen sein, dass ein Muster, eine Transparenz, Reflexionseigenschaften und/oder dergleichen des ermittelten Objekts erfasst werden und der Imposter zumindest teilweise mit diesen optisch sichtbaren physikalischen Eigenschaften dargestellt wird. Das heißt, der Imposter kann zumindest teilweise mit dem Muster des Objekts dargestellt werden. Darüber hinaus kann er auch zumindest teilweise transparent oder zumindest teilweise reflektierend dargestellt werden. Auch weitere Eigenschaften, beispielsweise Farbmuster und/oder dergleichen können für die Darstellung des Imposters hinzugezogen werden. Dadurch ist es möglich, die ergonomisch günstige Darstellung des Imposters als Repräsentant des ermittelten Objekts weiter zu verbessern. Insbesondere wenn die Darstellung als Ausgabe an den Fahrer des Kraftfahrzeugs erfolgt, kann dieser aufgrund der optisch sichtbaren physikalischen Eigenschaft eine Zuordnung des Imposters zu dem tatsächlichen Objekt, welches in den Bilddaten ermittelt wurde, besser erfassen. Dies ist nicht nur ergonomisch günstig, sondern kann auch die Sicherheit erhöhen.
Darüber hinaus wird vorgeschlagen, dass, wenn lediglich ein Teil des vorgegebenen Objekts in den Bilddaten ermittelt wird, lediglich ein entsprechend zuordbarer Teil des Imposters dargestellt wird. Ist zum Beispiel das ermittelte Objekt teilweise durch ein anderes Objekt in den Bilddaten verdeckt, kann dies auch durch den Imposter so dargestellt werden. Dies erlaubt es, eine räumliche Zuordnung unterschiedlicher Objekte zueinander innerhalb der virtuellen räumlichen Repräsentation weiter zu verbessern. So kann zum Beispiel ein Fußgänger zumindest teilweise durch ein Gebäude verdeckt sein, beispielsweise an einer Einmündung einer Straße oder dergleichen. Dies kann durch die Darstellung gemäß der Erfindung berücksichtigt werden, indem der Imposter, der den Fußgänger repräsentiert, entsprechend dem erfassten Teil des Objekts dargestellt wird. Zu diesem Zweck kann vorgesehen sein, dass mittels eines geeigneten Algorithmus der sichtbare Teil des ermittelten Objekts erkannt beziehungsweise spezifiziert wird. In dieser Ausgestaltung wird also nicht der vollständige Imposter dargestellt, sondern lediglich ein entsprechender Teil des Imposters, der dem sichtbaren Teil des ermittelten Objekts zugeordnet werden kann. Auch hierdurch kann die Ergonomie, insbesondere hinsichtlich einer Darstellung für den Fahrer des Kraftfahrzeugs weiter verbessert werden.
Es wird ferner vorgeschlagen, dass, wenn lediglich ein Teil des Objekts in den Bilddaten ermittelt wird, der gesamte Imposter dargestellt wird. Dadurch kann erreicht werden, dass auch ein nur schlecht erkennbarer Objektteil genutzt wird, um das gesamte Objekt mittels des dreidimensionalen Imposters darzustellen. Gerade kleine, insbesondere schlecht erkennbare Objektteile können somit genutzt werden, für den bestimmungsgemäßen Fahrbetrieb relevante Objekte so dazustellen, dass sie mit der erforderlichen Sichtbarkeit erfassbar sind. Somit kann die Sicherheit im Fahrbetrieb weiter verbessert werden.
Darüber hinaus wird vorgeschlagen, dass der nicht ermittelte Teil des Objekts mit wenigstens einer Farbe entsprechend der bekannten Farbe des ermittelten Objekts oder gemäß einem Typ beziehungsweise seiner natürlichen Erscheinungsform dargestellt wird. Hierbei wird zwar lediglich ein Teil des Objekts tatsächlich in den Bilddaten ermittelt, gleichwohl kann ein entsprechend vorgegebenes Objekt zugeordnet werden. Zu dem zugeordneten Objekt kann dann ein zugehöriger Imposter ermittelt werden, wobei nicht nur die Teile des Imposters gemäß dem sichtbaren Teil des ermittelten Objekts dargestellt werden können, sondern dies kann auch auf nicht sichtbare Teile des Imposter extrapoliert werden, und zwar unter Nutzung von bekannten Eigenschaften des ermittelten Objekts beziehungsweise des daraus ermittelten vorgegebenen Objekts. Zu diesem Zweck kann die Nutzung von einer oder mehrerer Datenbanken vorgesehen sein, in denen die entsprechenden Daten zur Verfügung gestellt sein können. Insbesondere wenn eine Perspektive der Darstellung verändert wird und somit zuvor nicht sichtbare Teile des ermittelten Objekts sichtbar werden würden, kann durch den Imposter eine entsprechende Darstellung erreicht werden, ohne dass ein neues Ermitteln des Objekts durchgeführt werden müsste oder ein neuer Imposter anhand eines entsprechend zugeordneten vorgegebenen Objekts ermittelt werden müsste. Die Darstellung, insbesondere in Bezug auf den Aufwand für das Rendering, kann dadurch erheblich reduziert werden. Besonders vorteilhaft eignet sich diese Ausgestaltung also auch für dynamische Situationen, in denen sich die Umgebung aufgrund des Fahrens des Kraftfahrzeugs kontinuierlich verändert. Es kann aber auch vorgesehen sein, dass der nicht sichtbare Teil des Objekts mittels des Imposters durchscheinend oder transparent dargestellt wird, um so seine Verdeckung anzuzeigen.
Weiterhin wird vorgeschlagen, dass der Imposter entsprechend einer äußeren Erscheinung des Objekts dargestellt wird. Der Imposter kann so zum Beispiel an geometrische Eigenschaften des Objekts angepasst dargestellt werden. Beispielsweise können Abmessungen sowie auch eine Position innerhalb der erfassten Umgebung berücksichtigt werden, um die Darstellung bereitzustellen. Der Imposter kann somit vorzugsweise wesentliche sichtbare Eigenschaften des ermittelten Objekts und somit auch infolgedessen des vorgegebenen Objekts aufzeigen. Dadurch kann eine vereinfachte Erkennbarkeit für beispielsweise den Fahrer des Kraftfahrzeugs erreicht werden, der aus dem Imposter unmittelbar die Art beziehungsweise den Typ des ermittelten Objekts erkennen kann.
Ferner wird vorgeschlagen, dass der Imposter einen Teil eines Imposterobjekts bildet, das wenigstens zwei voneinander unterschiedliche Imposter umfasst, und dass vorzugsweise an der Position des Objekts in der virtuellen räumlichen Repräsentation das vollständige Imposterobjekt dargestellt wird. Dies ermöglicht es, ein ermitteltes Objekt nicht nur durch einen einzigen Imposter sondern durch eine Mehrzahl von Impostern, beispielsweise wenigstens zwei Impostern, darzustellen, die zusammen in ihrer Darstellung das Objekt repräsentieren können. So ist es zum Beispiel möglich, dass bei einer Person der Kopf, der Rumpf, die Arme und die Beine durch separate Imposter dargestellt werden, wobei die Anordnung dieser Imposter derart erfolgt, dass das zugehörige ermittelte Objekt unmittelbar erkannt werden kann. Dies erlaubt es auf einfache Weise mit geringem Aufwand Imposterobjekte zu erzeugen, die ein ermitteltes Objekt in einer hochdynamischen Weise darzustellen vermögen. Die Nutzung der Erfindung kann dadurch weiter verbessert werden. Besonders vorteilhaft eignet sich diese Ausgestaltung dazu, dynamische ermittelte Objekte darzustellen, beispielsweise die Bewegung eines Fußgängers oder dergleichen.
Es wird ferner vorgeschlagen, dass der Datensatz des dreidimensionalen Imposters zumindest teilweise dadurch ermittelt wird, dass eine äußere zweidimensionale Konturlinie des Objekts ermittelt und durch virtuelle Rotation um eine vorgebbare Achse rotiert und/oder durch eine virtuelle Verschiebung in eine vorgebbare Richtung ermittelt wird. Hierdurch ist es möglich, auch unabhängig von der Verfügbarkeit einer Datenbank dreidimensionale Imposter auf einfache Weise bereitzustellen, ohne dass ein exzessiver Rechenaufwand erforderlich wäre. Die äußere Konturlinie des vorgegebenen Objekts kann mittels eines geeigneten bekannten Algorithmus ermittelt werden. Die entsprechenden Konturdaten, die hieraus bereitgestellt werden, werden sodann der virtuellen Verschiebung beziehungsweise der virtuellen Rotation unterzogen, sodass der entsprechende dreidimensionale Imposter generiert werden kann. Die Rotation braucht nicht eine oder mehrere vollständige Umdrehungen zu sein. Sie kann auch lediglich um einen vorgebbaren Winkel, der beispielsweise kleiner als 360° ist, vorgesehen sein. Ist eine Verschiebung vorgesehen, kann die äußere zweidimensionale Konturlinie des Objekts um eine vorgebbare Strecke verschoben werden, um den dreidimensionalen Imposter zu erzeugen. Das Verschieben kann vorzugsweise quer zu einer Ebene der äußeren zweidimensionalen Konturlinie des Objekts erfolgen. Das Verschieben kann insbesondere entlang einer Geraden als Verschiebungslinie erfolgen, die in die vorgebbare Richtung ausgerichtet ist. Die Verschiebungslinie braucht aber nicht gerade zu sein. Gegebenenfalls kann sie auch gekrümmt sein. Die vorgebbare Richtung braucht somit während es Verschiebens nicht konstant zu sein. Der dem hierdurch erzeugten Imposter entsprechende Datensatz kann dann für die Darstellung in der virtuellen räumlichen Repräsentation zur Verfügung gestellt werden. Diese Ausgestaltung hat darüber hinaus den Vorteil, dass der Imposter hinsichtlich seiner Kontur möglichst nah an das ermittelte Objekt angepasst sein kann. Dadurch wird die Erkennbarkeit des entsprechenden Objekts weiter verbessert. Natürlich kann diese Ausgestaltung auch mit dem Pool von vorgegebenen Impostern kombiniert werden, sodass auch komplexe Imposterobjekte durch vorgegebene Imposter des Pools sowie auch durch Imposter erstellt werden können, die durch virtuelle Rotation und/oder virtuelle Verschiebung ermittelt worden sind. Dadurch kann die Flexibilität der Erfindung weiter verbessert werden.
Es wird ferner vorgeschlagen, dass Objektpositionsdaten des ermittelten Objekts mittels eines separaten Positionsermittlungsverfahrens ermittelt werden. Hierdurch kann das Ermitteln des Imposters von der Positionierung in der virtuellen räumlichen Repräsentation der Umgebung getrennt werden. Dies erlaubt es, das Ermitteln der virtuellen räumlichen Darstellung inklusive des Imposters zu beschleunigen. Schließlich kann auch vorgesehen sein, dass das separate Positionsermittlungsverfahren eine weitere Einheit des Fahrassistenzsystems nutzt, die ohnedies im Fahrassistenzsystem bereits vorhanden ist. Darüber hinaus kann natürlich auch vorgesehen sein, dass ein entsprechendes Navigationssystem des Kraftfahrzeugs die entsprechende Positionsermittlung durchführen kann.
Weiterhin wird vorgeschlagen, dass, wenn das vorgegebene Objekt in den Bilddaten von wenigstens zwei zeitlich aufeinanderfolgenden Bildern ermittelt wird, der dreidimensionale Imposter abhängig von dem ermittelten Objekt lediglich einmal für die aufeinanderfolgenden Bilder ermittelt wird. Es ist also nicht erforderlich, für jede der zeitlich aufeinanderfolgenden Darstellungen einen neuen separaten Imposter zu ermitteln. Vielmehr ermöglicht es die Erfindung, den bereits zuvor ermittelten Imposter auch für zeitlich aufeinanderfolgende Darstellungen weiter zu nutzen. Es ist lediglich erforderlich, gegebenenfalls die Position, die Ausrichtung, die Skalierung und/oder dergleichen des bereits ermittelten Imposters entsprechend anzupassen, sodass die Darstellung in der virtuellen räumlichen Repräsentation der Umgebung entsprechend angepasst erfolgt. Dadurch kann der Aufwand für die Bereitstellung der Darstellung insgesamt weiter reduziert werden. Zugleich kann die gute Erkennbarkeit der Objekte in der virtuellen räumlichen Repräsentation erhalten bleiben, insbesondere wenn sich die Darstellung zeitlich ändert.
Das erfindungsgemäße Fahrassistenzsystem kann als separate Baugruppe im Kraftfahrzeug angeordnet sein. Es kann darüber hinaus jedoch auch in eine Fahrzeugsteuerung integriert sein. Es besteht also die Möglichkeit, das erfindungsgemäße Fahrassistenzsystem zumindest teilweise auch in die Fahrzeugsteuerung des Kraftfahrzeugs oder dergleichen zu integrieren. Dem Grunde nach besteht natürlich auch die Möglichkeit, das erfindungsgemäße Fahrassistenzsystem zumindest teilweise kraftfahrzeugextern vorzusehen und über eine drahtlose Kommunikationsverbindung mit der Fahrzeugsteuerung zu koppeln.
Die für das erfindungsgemäße Verfahren angegebenen Vorteile und Wirkungen gelten natürlich im gleichen Maße auch für das erfindungsgemäße Fahrassistenzsystem sowie für das Rechnerprogrammprodukt gemäß der Erfindung und das rechnerlesbare Medium gemäß der Erfindung sowie dem Kraftfahrzeug gemäß der Erfindung und umgekehrt. Insbesondere können somit für Verfahrensmerkmale auch Vorrichtungsmerkmale und umgekehrt formuliert sein.
Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.
Dabei zeigen:

1 in einer schematischen Darstellung ein Kraftfahrzeug mit einem Fah rassistenzsystem;
2 eine schematische Darstellung einer Konturlinie eines Kraftfahrzeugs;
3 eine schematische Darstellung eines dreidimensionalen Zylinders;
4 eine schematische Darstellung eines dreidimensionalen Kegelstumpfs;
5 eine schematische Darstellung einer dreidimensionalen virtuellen räumlichen Repräsentation einer Umgebung eines Kraftfahrzeugs mit einem dreidimensionalen kubischen Imposter;
6 eine schematische Darstellung eines statischen Imposters für ein Kraftfahrzeug;
7 eine schematische Darstellung eines Imposters für ein Kraftfahrzeug in einer Schalenansicht, wobei der Imposter opake Seiten und eine transparente Oberseite hat;
8 eine schematische Darstellung eines Imposters für ein Kraftfahrzeug in einer Schalenansicht, wobei der Imposter transparente Seiten und eine opake Oberseite hat;
9 eine schematische Darstellung eines dreidimensionalen Imposters für einen Fußgänger;
10 eine schematische Darstellung einer dreidimensionalen Imposteranordnung für einen Fußgänger, wobei Körperteile durch einzelne Imposter dargestellt sind;
11 eine schematische Darstellung von zwei Kraftfahrzeugen in einer Schalenansicht, bei der eines der Kraftfahrzeuge aufgrund des Manhattan-Effekts verzerrt dargestellt ist;
12 eine schematische Darstellung einer virtuellen räumlichen Repräsentation einer Umgebung eines Kraftfahrzeugs, bei der in einem Überlappungsbereich von zwei Bildern ein Objekt entfallen ist;
13 eine schematische Darstellung wie 12, bei der das in 12 fehlende Objekt dargestellt ist;
14 eine schematische Darstellung einer zweidimensionalen Konturlinie einer Seitenansicht eines Kraftfahrzeugs;
15 eine schematische Darstellung einer Projektion eines dreidimensionalen Imposters erzeugt auf Basis der Konturlinie gemäß 14 in einer nach links gedrehten Stellung;
16 eine schematische Darstellung wie 15, jedoch dargestellt in einer im Wesentlichen invertierten Orientierung und nun in einer nach rechts gedrehten Stellung;
17 eine schematische Darstellung wie 16, jedoch in einer weiter nach rechts gedrehten Stellung;
18 eine schematische Darstellung wie 17, jedoch annähernd in einer Draufsicht auf den Imposter;
19 eine schematische Darstellung einer virtuellen räumlichen Repräsentation einer Umgebung eines Kraftfahrzeugs in einer Schalenansicht in einer ersten Perspektive, bei der neben einem Referenzkraftfahrzeug ein Imposter basierend auf 15 bis 18 dargestellt ist, der ein weiteres Kraftfahrzeug repräsentiert;
20 eine schematische Darstellung wie 19, jedoch in einer zweiten Perspektive;
21 eine schematische Darstellung wie 19, bei der Imposter nunmehr seitlich transparent und in Draufsicht opak ist;
22 eine schematische Darstellung einer im Wesentlichen rechteckförmigen ersten detektierten Konturlinie eines ermittelten Objekts;
23 eine schematische Darstellung eines durch eine virtuelle Rotation erzeugten zylindrischen Imposters aus der Konturlinie gemäß 22;
24 eine schematische Darstellung einer zweiten detektierten Konturlinie eines weiteren ermittelten Objekts gemäß einem im Wesentlichen gleichschenkligen Trapez;
25 eine schematische Darstellung eines durch eine virtuelle Rotation erzeugten kegelstumpfförmigen Imposters aus der Konturlinie gemäß 24;
26 eine schematische Darstellung einer zweidimensionalen Außenlinie eines Fußgängers;
27 eine schematische Darstellung der Außenlinie gemäß 26, bei der Körperteile des Fußgängers separiert dargestellt sind; und
28 eine schematische Darstellung zum Erzeugen von Impostern für die separierten Körperteile des Fußgängers nach 27 durch eine virtuelle Rotation um eine vorgegebene virtuelle Rotationsachse.

1 zeigt in einer schematischen Draufsicht ein Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein elektronisches Steuergerät beziehungsweise eine Steuerungseinheit, welches ein Fahrassistenzsystem 10 umfasst. Mit dem Fahrassistenzsystem 10 kann beispielsweise ein Objekt, wie zum Beispiel das Objekt 2, welches sich in einer Umgebung des Kraftfahrzeugs 1 befindet, ermittelt werden.
Zum Erfassen des Objekts 2 weist das Fahrassistenzsystem 10 vorliegend ein Kamerasystem 3 auf, um eine Kraftfahrzeugumgebung zu erfassen. Das Kamerasystem 3 umfasst hierzu mehrere Kameras, von denen vorliegend lediglich eine Kamera 4 dargestellt ist, mittels welcher die Umgebung in einem Frontbereich des Kraftfahrzeugs 1 erfasst werden kann. Dies ist vorliegend durch einen Pfeil 5 in 1 dargestellt. Das Erfassen erfolgt in einem vorbestimmten Winkelbereich 6. Mit weiteren nicht dargestellten Kameras des Kamerasystems 3 können auch ein rückwärtiger Bereich sowie seitliche Bereiche neben dem Kraftfahrzeug 1 erfasst werden. Dadurch kann nahezu eine Rundumsicht um das Kraftfahrzeug 1 erreicht werden.
Das Kamerasystem 3 umfasst ferner eine Auswerteeinheit 7, mittels welcher in von den Kameras bereitgestellten Bilddaten ein vorgegebenes Objekt 2 ermittelt werden kann. Dieses vorgegebene Objekt 2 wird klassifiziert, um es von anderen vorgegebenen Objekten zu unterscheiden. Die vorgegebenen Objekte können andere Verkehrsteilnehmer, Gebäude, Verkehrszeichen und/oder dergleichen sein.
Darüber hinaus umfasst das Kamerasystem 3 eine programmgesteuerte Rechnereinrichtung 9, die beispielsweise durch einen Mikrocontroller, einen digitalen Signalprozessor, eine integrierte Schalteinheit und/oder dergleichen gebildet sein kann. Mit der Rechnereinrichtung 9 können die Kameras bezüglich des Erfassens der Umgebung gesteuert werden. Darüber hinaus kann die Rechnereinrichtung 9 die Bilddaten der Kameras auswerten, die mit den Kameras erzeugt werden. Schließlich kann mittels des elektronischen Steuergerätes, welches das Fahrassistenzsystem 10 umfasst, erreicht werden, dass entsprechende Steuersignale abhängig von dem mit dem Kamerasystem 3 erfassten Objekt 2 ausgegeben werden können.
Die Kamera 4 ist hier nur exemplarisch für eine Mehrzahl von entsprechenden, vorliegend in 1 nicht dargestellten Kameras des Kamerasystems 3 des Kraftfahrzeugs 1 dargestellt, mittels denen Umfelddaten bezüglich des Kraftfahrzeugs 1 zur Verfügung gestellt werden. Die Kameras stehen zumindest mittelbar mit dem Fahrassistenzsystem 10 in Kommunikationsverbindung. Neben den Kameras können kraftfahrzeugseitig auch Radarsensoren, Lidarsensoren, Infrarotsensoren und/oder dergleichen vorgesehen sein. Deren Signale beziehungsweise Daten können ebenfalls bei der Auswertung mittels des Fahrassistenzsystems 10 berücksichtigt werden. Die Kameras beziehungsweise die Sensoren können vom Fahrassistenzsystem 10 umfasst sein. Sie können jedoch hiervon separat sein, wobei sie dann mit dem Fahrassistenzsystem 10 in Kommunikationsverbindung stehen.
Die folgenden Figuren, mit denen auch die detaillierte Erfindung weiter erläutert wird, beziehen sich auf Anwendungen, bei denen ein verbessertes Betreiben des Fahrassistenzsystems 10 des Kraftfahrzeugs 1 erreicht werden kann.
2 zeigt in einer schematischen Darstellung eine zweidimensionale Konturlinie 8 eines nicht weiter dargestellten Kraftfahrzeugs 1, wobei zusätzlich zur Konturlinie 8 weitere Stilisierungen des Kraftfahrzeugs 1 dargestellt sind. Die zweidimensionale Konturlinie 8 wird aus Bilddaten ermittelt, die mittels des Fahrassistenzsystems 10 ausgewertet werden. Dabei wird mittels eines geeigneten Algorithmus nach den vorgegebenen Objekten in den Bilddaten gesucht.
Hierfür werden die mittels des Kamerasystems 3 erfassten Bilddaten zu einer Gesamtansicht zusammengefügt, sodass nahezu eine Rundumansicht erzeugt werden kann. Auf diese Weise kann wenigstens ein 360°-Bild erzeugt werden, welches die Umgebung des Kraftfahrzeugs 1 widerspiegelt. Auf Basis dieser Bilddaten wird eine virtuelle räumliche Repräsentation der Umgebung ermittelt, vorliegend auf Basis einer Schalendarstellung. Aus den Bilddaten kann anhand der Konturlinie 8 ein Objekt ermittelt werden, welches als Kraftfahrzeug klassifiziert werden kann.
Zu diesem Zweck wird der entsprechende Ausschnitt aus den Bilddaten einem Klassifizierer zugeführt, der von dem Fahrassistenzsystem 10 umfasst ist. Der Klassifizierer kann beispielsweise auch zumindest teilweise durch die Rechnereinrichtung 9 bereitgestellt werden, die mittels eines geeigneten Rechnerprogramms so gesteuert wird, dass sie die erforderliche Klassifikationsfunktionalität bereitzustellen vermag. Mit der Klassifikation können somit eine vorgegebene Anzahl von vorgegebenen Objekten klassifiziert werden. Die vorgegebenen Objekte können neben Kraftfahrzeugen auch weitere Verkehrsteilnehmer wie Radfahrer, Fußgänger oder dergleichen umfassen, es können aber auch Objekte sein, die für das Führen des Kraftfahrzeugs relevant sein können, beispielsweise Verkehrszeichen, Hindernisse im Bereich eines Fahrwegs, auf dem das Kraftfahrzeug 1 geführt wird, oder dergleichen. Natürlich können auch andere Verfahren zum Ermitteln des vorgegebenen Objekts, hier das Kraftfahrzeug 1, vorgesehen werden, beispielsweise auf Basis von statistischen Modellen, Fuzzy-Logik und/oder dergleichen.
Abhängig von zweidimensionalen Objektdaten des Objekts 2, welches vorliegend ein Kraftfahrzeug ist, wird ein Datensatz für einen dreidimensionalen Imposter ermittelt und der Imposter an der Position des Objekts 2 in der virtuellen räumlichen Repräsentation dargestellt. Dies zeigt zum Beispiel 7, die im Folgenden noch weiter erläutert werden wird.
Um den Imposter zu ermitteln, ist in dieser Ausgestaltung vorgesehen, dass das Ermitteln der Daten für den dreidimensionalen Imposter ein Übermitteln von zweidimensionalen Objektdaten des Objekts 2 an eine nicht weiter dargestellte Datenbank umfasst, die eine Mehrzahl von vorgegebenen, objektzugeordneten zweidimensionalen Impostern repräsentierenden Datensätzen abrufbar speichert, wobei den zweidimensionalen Objektdaten ein zweidimensionaler Imposter zugeordnet wird, dessen Datensatz in der Datenbank gespeichert ist und der dem zugeordneten zweidimensionalen Imposter entsprechende Datensatz von der Datenbank zurückübermittelt wird. Die Datenbank kann vorzugsweise ebenfalls von dem Fahrassistenzsystem umfasst sein, beispielsweise indem eine geeignete Speichereinheit oder dergleichen bereitgestellt wird, die zum Beispiel mit der Rechnereinrichtung 9 kommunikationstechnisch gekoppelt sein kann.
Auf diese Weise ist es vorteilhaft auch möglich, die Klassifikation durchzuführen und zugleich einen passenden zweidimensionalen Imposter aus der Datenbank auszuwählen. Hieraus wird sodann ein Datensatz für einen dreidimensionalen Imposter ermittelt und bereitgestellt. Mittels des Datensatzes des dreidimensionalen Imposters kann dann an der Position des Objekts 2 in der virtuellen räumlichen Repräsentation der dreidimensionale Imposter dargestellt werden.
In der vorliegenden Ausgestaltung ist vorgesehen, dass der dreidimensionale Imposter anstelle des Objekts 2 in der virtuellen räumlichen Repräsentation dargestellt wird. In alternativen Ausgestaltungen kann hier jedoch auch ein Überlagern der Darstellungen vorgesehen sein, sodass das Objekt 2 ergänzend überlagert zum Imposter dargestellt werden kann. Vorzugsweise ist jedoch das Ersetzen der Darstellung des Objekts 2 durch den zugeordneten Imposter vorgesehen, um die visuelle Erfassung für den Fahrer des Fahrzeugs bei einer optischen Ausgabe der virtuellen räumlichen Repräsentation auf einer Anzeigeeinrichtung oder dergleichen zu erleichtern.
Ferner ist in dieser Ausgestaltung vorgesehen, dass das Kraftfahrzeug 1 in bestimmungsgemäßen Fahrbetrieb betrieben wird. Dadurch ändert sich fortlaufend die Rundumansicht der Umgebung des Kraftfahrzeugs, weil sich durch den Fahrbetrieb natürlich auch die Umgebung in ihrer Erscheinung verändert. Das Kamerasystem 3 ist derart ausgelegt, dass es kontinuierlich weitere Bilddaten zur Verfügung stellt, sodass eine Nachführung beispielsweise nach Art einer Videorepräsentation erzeugt werden kann.
Um nun den Aufwand für die Aktualisierung der virtuellen räumlichen Repräsentation möglichst gering zu halten, ist es nicht mehr erforderlich, bei einer neuen Bilddatensequenz das Ermitteln des Objekts und des zugehörigen dreidimensionalen Imposters erneut durchzuführen, sondern lediglich die Veränderung der Position des Objekts nachzuverfolgen und den Imposter entsprechend in der virtuellen räumlichen Repräsentation der Umgebung nachzuführen. Das Nachführen kann eine Anpassung der Position in der virtuellen räumlichen Repräsentation der Umgebung umfassen. Darüber hinaus kann natürlich auch eine Skalierung vorgesehen werden, beispielsweise wenn aufgrund einer Veränderung der Perspektive, beispielsweise bei einem vergrößerten Abstand, das Objekt in der virtuellen räumlichen Repräsentation kleiner erscheinen würde. Dieser Effekt kann natürlich durch eine beispielsweise maßstabsgerechte Anpassung des Imposters realisiert werden. Der Aufwand für die veränderte Darstellung der virtuellen räumlichen Repräsentation kann dadurch deutlich reduziert werden.
Die 3 und 4 zeigen vereinfachte dreidimensionale Imposter, mittels denen einfache ermittelte Objekte dargestellt werden können. 3 zeigt zum Beispiel einen Imposter 11 nach Art eines Zylinders, mit dem zum Beispiel ein Poller oder auch eine Tonne repräsentiert werden kann. 4 zeigt einen weiteren Imposter 12 nach Art eines Kegelstumpfes, mittels dem zum Beispiel ein Leitkegel beziehungsweise Pylon repräsentiert werden kann, wie er zum Beispiel bei Baustellen an Verkehrswegen oder dergleichen zum Einsatz kommt.
5 zeigt in einer schematischen Darstellung eine dreidimensionale virtuelle räumliche Repräsentation 13 in einer Umgebung des Kraftfahrzeugs 1 mit einem dreidimensionalen kubischen Imposter 14, wobei die dreidimensionale virtuelle räumliche Repräsentation 13 in Schalendarstellung dargestellt ist. Der kubische Imposter 14 repräsentiert ein seitlich zum Kraftfahrzeug 1 positioniertes weiteres Kraftfahrzeug 15. Der kubische Imposter 14 weist eine opake Oberseite sowie opake Stirnseiten in Fahrtrichtung des Kraftfahrzeugs 1 beziehungsweise des Kraftfahrzeugs 15 auf. Seiten des Imposters 14 sind dagegen transparent. Obwohl der kubische Imposter 14 sich als vorteilhaft erweist, eine Distanz zum Kraftfahrzeug 1 besser abschätzen zu können, erweist es sich insofern als nachteilig, als dass eine Kontur des Kraftfahrzeugs 15 nicht nachvollzogen werden kann und darüber hinaus die Sicht auf Bereiche behindert ist, an der das Kraftfahrzeug 15 tatsächlich nicht vorhanden ist.
6 zeigt dagegen einen statischen Imposter 16, der einen gewöhnlichen Personenwagen repräsentieren kann.
7 zeigt eine virtuelle räumliche Repräsentation 17 in Schalenansicht, bei der neben dem Kraftfahrzeug 1 der Imposter 16 als dreidimensionaler Imposter anstelle eines weiteren Kraftfahrzeugs dargestellt ist. Der dreidimensionale Imposter 16 weist opake Seiten und eine transparente Oberseite auf.
8 zeigt eine weitere schematische Darstellung einer dreidimensionalen virtuellen räumlichen Repräsentation 17 in Schalenansicht, bei der neben dem Kraftfahrzeug 1 angeordnete Imposter 16 nunmehr transparente Seiten und eine opake Oberseite aufweist.
9 zeigt in einer schematischen Darstellung einen dreidimensionalen Imposter 18, mit dem eine Person repräsentiert werden kann, beispielsweise ein Fußgänger oder dergleichen.
10 zeigt ein Imposterobjekt 25, welches aus dem Imposter 18 abgeleitet ist und welches aus separaten Impostern 19 bis 24 zusammenstellbar ist. Das Imposterobjekt 25 besteht somit aus einer Mehrzahl von einzelnen dreidimensionalen Impostern. Für den Kopf ist der dreidimensionale Imposter 19 vorgesehen. Für den Rumpf ist der dreidimensionale Imposter 20 vorgesehen. Für die Arme sind die dreidimensionalen Imposter 21 und 22 und für die Beine die dreidimensionalen Imposter 23 und 24 vorgesehen. Dadurch, dass das Imposterobjekt 25 aus einzelnen dreidimensionalen Impostern zusammengesetzt sein kann, kann die Repräsentation des Objekts durch den Imposter genauer erfolgen, da das Imposterobjekt 25 es erlaubt, auch Variationen vorzusehen, beispielsweise um eine Bewegung der Person zu stilisieren oder dergleichen. Dies kann durch geeignete Ausrichtung der den Armen und den Beinen zugeordneten Impostern 21 bis 24 erfolgen. So kann zum Beispiel hierdurch auch eine Richtung angezeigt werden, in die sich die Person, die durch das Imposterobjekt 25 repräsentiert wird, bewegt. Dies ist in 10 dargestellt.
Das Imposterobjekt 25 gemäß 10 erlaubt es auch, ein Objekt, von dem lediglich ein Teil in den Bilddaten ermittelt werden kann, entsprechend als Teil in der virtuellen räumlichen Repräsentation darzustellen. Durch das Imposterobjekt 25 ist es also möglich, eine spezifische Anpassung vorzusehen, sodass eine möglichst realistische Darstellung in der virtuellen räumlichen Repräsentation erreicht werden kann.
Die folgenden drei 11 bis 13 beziehen sich auf Artefakte, die bei der Bildverarbeitung regelmäßig auftreten können, insbesondere bei virtuellen räumlichen Repräsentationen der Umgebung in Schalendarstellung. 11 zeigt zum Beispiel in einer schematischen Darstellung zwei Kraftfahrzeuge 1, 27 in einer virtuellen räumlichen Repräsentation 26, bei der neben dem Kraftfahrzeug 1 ein weiteres Kraftfahrzeug 27 dargestellt ist. In Realität, das heißt, unverzerrter Darstellung, würde sich ergeben, dass das Kraftfahrzeug 27 kleiner als das Kraftfahrzeug 1 ist. Durch die Schalendarstellung erscheint das Kraftfahrzeug 27 jedoch deutlich größer, wie aus 11 ersichtlich. Dieser Effekt wird auch Manhattan-Effekt genannt.
Die 12 und 13 zeigen weitere schematische Darstellungen einer virtuellen räumlichen Repräsentation 28, die sich mit dem sogenannten Stitching-Effekt befassen. Bei dem Stitching-Effekt kann ein Objekt in der Schalendarstellung verloren gehen. Dies kann durch Vergleich der beiden 12 und 13 gezeigt werden, wobei die 13 die reale Situation zeigt, bei der ein Kraftfahrzeug 1 dargestellt ist, bei der neben dem Kraftfahrzeug 1 ein Pylon 30 dargestellt ist. Dieser Pylon 30 ist in der Realität als Poller vorhanden. In der 12 dagegen ist an der entsprechenden Stelle, die mit dem Pfeil 29 gekennzeichnet ist, kein Objekt ersichtlich. Durch die Bildverarbeitung ist der Pylon 30 verlorengegangen, wobei er in 13 durch den Pylon 30 als Imposter wieder sichtbar gemacht ist. Der Stitching-Effekt kann insbesondere in einem Überlappungsbereich in Form von Bilddaten benachbarter Bilder auftreten, insbesondere wenn dann darüber hinaus eine verzerrte räumliche Darstellung, beispielsweise die Schalendarstellung oder dergleichen für die virtuelle räumliche Repräsentation verwendet wird.
Im Folgenden wird eine weitere Ausgestaltung der Erfindung beschrieben, die dazu dient, dreidimensionale Imposter auf einfache Weise zu erzeugen. Diesbezüglich zeigt 14 eine schematische Darstellung einer zweidimensionalen Konturlinie 31, die aufgrund von einer Verarbeitung der Bilddaten des Kamerasystems 3 als vorgegebenes Objekt, hier ein Kraftfahrzeug, ermittelt worden ist. In dieser Ausgestaltung wird ein dreidimensionaler Imposter 32 dadurch erzeugt, dass die Konturlinie 31 entlang einer z-Richtung virtuell verschoben wird, sodass entsprechend der Verschiebung ein dreidimensionaler Körper als Imposter 32 entsteht. Die 15 bis 17 zeigen schematische Darstellungen einer Projektion des Imposters 32 auf Basis der Konturlinie 31 gemäß 14. In 15 ist der Imposter 32 in einer nach links gedrehten Stellung. In 16 ist der Imposter 32 in einer im Wesentlichen invertierten Orientierung und zusätzlich nach rechts gedreht dargestellt. 17 zeigt eine schematische Darstellung wie 16, bei der der Imposter 32 nunmehr um eine Längsachse des Imposters, die parallel zu einer x-Richtung ist, geschwenkt ist. 18 zeigt eine schematische Darstellung wie 17, wobei hier jedoch der Imposter 32 so weit geschwenkt ist, dass annähernd eine Draufsicht vorliegt.
Die 19 bis 21 beziehen sich auf Anwendungen des Imposters gemäß der 15 bis 18.
In 19 ist eine schematische Darstellung einer virtuellen räumlichen Präsentation 33 einer Umgebung des Kraftfahrzeugs 1 in einer Schalendarstellung in einer ersten Perspektive gezeigt, bei der neben dem Kraftfahrzeug 1 ein Imposter wie der Imposter 32 gemäß der 15 bis 18, dargestellt ist, der ein weiteres, nicht weiter dargestelltes Kraftfahrzeug repräsentiert. Der Imposter 32 ist vorliegend mit opaken Seitenflächen und einer transparenten Oberseite dargestellt.
20 zeigt in einer weiteren schematischen Darstellung die Situation in 19 aus einer anderen Perspektive. Neben dem Kraftfahrzeug 1 ist also ein weiteres Kraftfahrzeug angeordnet.
Eine weitere Darstellung der Situation gemäß der 19 ist in 21 dargestellt, jedoch nun aus einer weiteren Perspektive und der Imposter 32 hat nunmehr transparente Seitenflächen und eine opake Oberseite.
Wie aus den 19 bis 21 ersichtlich ist, kann insbesondere ein Abstand zum Kraftfahrzeug 1 auf einfache Weise erfasst werden. Darüber hinaus ist ersichtlich, dass der Imposter 32 nicht gemäß der der Schalendarstellung erforderlichen Verzerrung dargestellt wird. Dadurch bleibt der Imposter 32 weiterhin gut erkennbar.
Die 22 bis 25 beziehen sich auf die Erstellung von dreidimensionalen Impostern aus jeweiligen Konturlinien. So zeigt 22 eine schematische Darstellung einer im Wesentlichen rechteckförmigen ersten detektierten Konturlinie 34. Aus dieser Konturlinie 34 wird nun gemäß der Erfindung ein dreidimensionaler Imposter erzeugt. Dies erfolgt vorliegend durch virtuelle Rotation um eine vorgebbare Achse 35. Der dadurch erzeugte Rotationskörper, vorliegend ein Zylinder 36, ist in 23 dargestellt.
Entsprechend ist in 24 eine schematische Darstellung einer zweiten detektierten Konturlinie 37 dargestellt, und zwar in einer schematischen Darstellung wie 22. Auch diese Konturlinie 37 wird um die Achse 35 virtuell rotiert, sodass ein kegelstumpfförmiger Imposter 38 aus der Konturlinie 37 ermittelt wird, wie er in 25 schematisch dargestellt ist.
In 26 ist eine schematische Konturlinie 39 eines Fußgängers dargestellt. In einem weiteren Schritt erfolgt das Aufteilen der Konturlinie 39 in einzelne Konturlinienelemente, die Körperteilen des Fußgängers zugeordnet werden können. Es entstehen so geschlossene Konturlinien 40 bis 48, die unterschiedliche Körperteile des Fußgängers repräsentieren. Dies ist in 27 dargestellt.
In 28 ist nunmehr dargestellt, wie aus den einzelnen Konturlinien 40 bis 48 gemäß 27 durch Rotation um entsprechende Achsen 49 entsprechende dreidimensionale Imposter 50 bis 56 erzeugt werden. Lediglich die Konturlinien 47 und 48, die den Füßen des Fußgängers zugeordnet sind, werden nicht durch virtuelle Rotation, sondern durch eine virtuelle Verschiebung entlang einer vorgebbaren Richtung 59 ermittelt.
Aus den auf diese Weise bereitgestellten Impostern 50 bis 58 kann dann ein Imposterobjekt zusammengestellt werden, welches den Fußgänger zumindest teilweise in einer virtuellen räumlichen Darstellung repräsentieren kann. Hierdurch ist es möglich, auf einfache Weise einen gut erkennbaren Fußgänger in einer virtuellen räumlichen Repräsentation darzustellen, auch wenn diese verzerrt ist, beispielsweise nach Art einer Schalendarstellung oder dergleichen. Darüber hinaus eignen sich insbesondere Imposterobjekte dazu, ermittelte Objekte auf einfache Weise darzustellen beziehungsweise auch Veränderungen zu erfassen, zum Beispiel die Bewegung des Fußgängers oder dergleichen. Zu diesem Zweck können die einzelnen Imposter des Imposterobjekts in der virtuellen räumlichen Darstellung entsprechend verändert positioniert werden.
Die Beschreibung dient ausschließlich der Erläuterung der Erfindung und soll diese nicht beschränken. Insbesondere können natürlich unterschiedliche Methoden zum Erzeugen von Impostern auch miteinander kombiniert werden, um virtuelle räumliche Darstellungen zu vervollständigen beziehungsweise zu erzeugen. Die Erfindung ist natürlich nicht darauf beschränkt, die virtuelle räumliche Darstellung tatsächlich als visuelle Ausgabe, beispielsweise auf einer Anzeigeeinrichtung oder dergleichen auszugeben. Sie kann natürlich auch dazu dienen, das Fahrassistenzsystem 10 zu ertüchtigen, das Kraftfahrzeug 1 zumindest teilweise autonom zu führen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 2012/0262580 A1 [0004, 0038]
US 2009/0110327 A1 [0004]
US 2012/0274625 A1 [0004]

Claims

Verfahren zum Betreiben eines Fahrassistenzsystems (10) für ein Kraftfahrzeug (1), bei dem: - eine Umgebung des Kraftfahrzeugs (1) mittels einer bildgebenden Sensoreinrichtung (3) aus wenigstens einer Perspektive erfasst wird, um Bilddaten für wenigstens ein Bild bereitzustellen, - aus den Bilddaten des wenigstens einen Bildes Daten für eine virtuelle räumliche Repräsentation der Umgebung in einer Rundumansicht ermittelt werden, und - wenigstens ein Teil eines vorgegebenen Objekts (2) in den Bilddaten ermittelt wird, dadurch gekennzeichnet, dass - falls ein vorgegebenes Objekt (2) zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekts (2) ein Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts (2) ermittelt wird, wobei der Datensatz die zweidimensionalen Objektdaten umfasst, und - der dreidimensionale Imposter an der Position des Objekts (2) in der virtuellen räumlichen Repräsentation anstelle oder ergänzend zum Objekt (2) dargestellt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln der Daten für den dreidimensionalen Imposter ein Übermitteln der zweidimensionalen Objektdaten des Objekts (2) an eine Datenbank umfasst, die eine Mehrzahl von vorgegebenen, objektzugeordneten zweidimensionalen Impostern repräsentierenden Datensätzen abrufbar speichert, wobei den zweidimensionalen Objektdaten wenigstens ein zweidimensionaler Imposter zugeordnet wird, dessen Datensatz in der Datenbank gespeichert ist, der dem zugeordneten zweidimensionalen Imposter entsprechende Datensatz von der Datenbank zurückübermittelt wird, und aus dem Datensatz des zweidimensionalen Imposters der Datensatz für den dreidimensionalen Imposter ermittelt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine räumliche Position und/oder Ausrichtung des Objekts (2) ermittelt wird und der Imposter entsprechend der Position und/oder Ausrichtung des Objekts (2) dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine optisch sichtbare physikalische Eigenschaft des Objekts (2) erfasst wird und der Imposter zumindest teilweise mit der optisch sichtbaren physikalischen Eigenschaft dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass, wenn lediglich ein Teil des Objekts (2) in den Bilddaten ermittelt wird, lediglich ein entsprechend zuordbarer Teil des Imposters dargestellt wird.
Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass, wenn lediglich ein Teil des Objekts (2) in den Bilddaten ermittelt wird, der gesamte Imposter dargestellt wird.
Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass der nicht ermittelte Teil des Objekts (2) mit wenigstens einer Farbe entsprechend einer bekannten Farbe des Objekts (2) oder gemäß des Typs beziehungsweise seiner natürlichen Erscheinungsform dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Imposter einen Teil eines Imposterobjekts bildet, das wenigstens zwei voneinander unterschiedliche Imposter umfasst, und dass vorzugsweise an der Position des Objekts (2) in der virtuellen räumlichen Repräsentation das vollständige Imposterobjekt dargestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datensatz des dreidimensionalen Imposters zumindest teilweise dadurch ermittelt wird, dass eine äußere zweidimensionale Konturlinie des Objekts (2) ermittelt und durch virtuelle Rotation um eine vorgebbare Achse rotiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datensatz des dreidimensionalen Imposters zumindest teilweise dadurch ermittelt wird, dass eine äußere zweidimensionale Konturlinie des Objekts (2) ermittelt und durch eine virtuelle Verschiebung in eine vorgebbare Richtung, vorzugsweise quer zu einer Ebene der äußeren zweidimensionalen Konturlinie des Objekts (2), ermittelt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Objektpositionsdaten des Objekts (2) mittels eines separaten Positionsermittlungsverfahrens ermittelt werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass, wenn das Objekt (2) in den Bilddaten von wenigstens zwei zeitlich aufeinanderfolgenden Bildern ermittelt wird, der dreidimensionale Imposter abhängig von dem Objekt (2) lediglich einmal für die aufeinanderfolgenden Bilder ermittelt wird.
Rechnerprogrammprodukt mit Programmcodemitteln, welche insbesondere in einem rechnerlesbaren Medium gespeichert sind, um das Verfahren zum Betreiben eines Fahrassistenzsystems (10) nach einem der vorhergehenden Ansprüche durchzuführen, wenn das Rechnerprogrammprodukt auf einer Rechnereinrichtung (9) einer elektronischen Steuerungseinheit abgearbeitet wird.
Rechnerlesbares Medium, insbesondere in Form einer rechnerlesbaren Diskette, CD, DVD, Speicherkarte, USB-Speichereinheit, oder ähnlichen, auf dem Programmcodemittel gespeichert sind, um das Verfahren zum Betreiben eines Fahrassistenzsystems (10) nach einem der Ansprüche 1 bis 12 durchzuführen, wenn die Programmcodemittel in einen Speicher einer elektronischen Steuerungseinheit geladen und auf einer Rechnereinrichtung (9) der elektronischen Steuerungseinheit abgearbeitet werden.
Fahrassistenzsystem (10) für ein Kraftfahrzeug (1), wobei das Fahrassistenzsystem (10) ausgebildet ist: - eine Umgebung des Kraftfahrzeugs (1) mittels einer bildgebenden Sensoreinrichtung (3) aus wenigstens einer Perspektive zu erfassen, um Bilddaten für wenigstens ein Bild bereitzustellen, - aus den Bilddaten des wenigstens einen Bildes Daten für eine virtuelle räumliche Repräsentation der Umgebung in einer Rundumansicht zu ermitteln, und - wenigstens einen Teil eines vorgebbaren Objekts (2) in den Bilddaten zu ermitteln, dadurch gekennzeichnet, dass das Fahrassistenzsystem (10) ferner ausgebildet ist: - falls ein vorgebbares Objekt (2) zumindest teilweise ermittelt wird, abhängig von zweidimensionalen Objektdaten des zumindest teilweise ermittelten Objekts (2) einen Datensatz für einen dreidimensionalen Imposter als dreidimensionale Repräsentation des Objekts (2) derart zu ermitteln, dass der Datensatz die zweidimensionalen Objektdaten umfasst, und - den dreidimensionalen Imposter an der Position des Objekts (2) in der virtuellen räumlichen Repräsentation anstelle oder ergänzend zum Objekt (2) darzustellen.