DE102021205834A1

DE102021205834A1 - Cloudgestütztes 3D Rendering für ein Egofahrzeug

Info

Publication number: DE102021205834A1
Application number: DE102021205834.5A
Authority: DE
Inventors: Thomas Rosenstock
Original assignee: Continental Automotive Technologies GmbH
Current assignee: Continental Automotive Technologies GmbH
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2022-12-15
Also published as: WO2022258116A1

Abstract

Die Erfindung betrifft Cloudsystem (10) umfassend einer Cloud (1), welche eine Kommunikationseinheit (2) zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst (3) zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen (7) für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem (10) mehrere dezentralisierte und verstreute Computerarchitekturelemente (4a,...,4n) aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud (1) dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen (7) in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement (4a,...,4n) zu übermitteln und ferner ein Fahrerassistenzsystem mit welches zur Kommunikation mit einem solchen Computerarchitekturelement ausgebildet ist.Ferner betrifft die Erfindung ein Fahrerassistenzsystem.

Description

Die Erfindung betrifft ein cloudgestütztes 3D Rendering für ein Egofahrzeug. Ferner betrifft die Erfindung ein Cloudsystem sowie ein Fahrerassistenzsystem eines Egofahrzeugs.
Berechnungen von bewegten 3D Szenen (CGI) finden heutzutage hauptsächlich für Computerspiele oder bei dem Streamen von Spielfilmen statt. Dabei steht bei Computerspielen zumeist eine hohe Rechenkapazität mit mehreren modernen Hochleistungs-CPUs zur Verfügung sowie eine konstante hohe Internetanbindung, zur Übertragung von Daten.
Computerspiele benötigen für eine fotorealistische und flüssige Darstellung von bewegten Objekten eine erhebliche GPU (Grafikprozessor / Grafikkarte) Rechenleistung, die nochmals steigt, wenn die Szenen auf einem 3D Display dargestellt werden sollen. Hierbei kommen GPUs mit bis zu je 300W Verlustleistung zur Anwendung. Diese Rechenleistung steht für Anwendungen in Fahrzeugen in der Regel nicht zur Verfügung.
Beim Streamen von Spielfilmen sind zumeist ebenfalls hohe Rechenkapazitäten vorhanden. Ferner wird der gesamte fertige Film gestreamt. Ein Spielfilm wird aus aufwändig berechneten Einzelbildern zusammengesetzt. Die Einzelbilder werden mittels eines Workflows (Modeling, Animation, Shading, Compositing) erstellt. Mit Hilfe dieses Workflows kann bei beschränkter Rechenleistung zwar eine sehr gute Darstellungsqualität erreicht werden; Echtzeitbedingungen aber nicht eingehalten werden.
In der heutigen Zeit ist es daher unter anderem aufgrund mangelnder Rechenkapazität und Rechenzeit noch nicht oder nur mit hohem Aufwand möglich, bewegte virtuelle 3D-Umfeldbilder in Echtzeit für eine Anzeigeeinheit in einem Fahrzeug zu bestimmen.
Die US 10,922,886 B2 offenbart ein System, das Folgendes umfasst: eine Anzeigevorrichtung; und eine Steuerung, die umfasst: einen oder mehrere Prozessoren zum Rendern eines virtuellen Inhalts für eine Szene zumindest teilweise gemäß einem 3D-Modell, wobei der virtuelle Inhalt für die Szene die verdeckten Abschnitte der Szene mit entsprechenden Anzeigen enthält, und wobei die verdeckten Abschnitte der Szene in dem gerenderten virtuellen Inhalt durch Objekte oder Gelände in der Szene verdeckt sind, und wobei der virtuelle Inhalt für die Szene die entfernten Abschnitte der Szene mit entsprechenden Anzeigen enthält, und Bereitstellen des gerenderten virtuellen Inhalts an die Anzeigevorrichtung.
Es ist daher eine Aufgabe Mittel anzugeben, mit denen ein reales bewegtes 3D-Umfeldbild aus der Sicht eines Egofahrzeuges in Echtzeit schnell erzeugt werden kann.
Die Aufgabe wird gelöst durch ein Cloudsystem nach Anspruch 1 und ein Fahrerassistenzsystem nach Anspruch 7.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die beliebig miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Cloudsystem umfassend einer Cloud, welche eine Kommunikationseinheit zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem mehrere dezentralisierte und verstreute Computerarchitekturelemente aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement zu übermitteln.
Ferner wird die Aufgabe gelöst durch ein Fahrerassistenzsystem in einem Egofahrzeug, umfassend einem System zum Ermitteln der aktuellen Position des Egofahrzeugs und der Fahrtrichtung, wobei das Fahrerassistenzsystem eine Speichereinheit aufweist, und wobei ferner eine Kommunikationseinheit vorgesehen ist, zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem gehörenden, Computerarchitekturelement, welche jeweils in einem lokalen Gebiet zur Kommunikation mit dem Egofahrzeug in dem lokalen Gebiet angeordnet sind, wobei die Kommunikationseinheit dazu ausgebildet ist, die aktuelle Position des Egofahrzeugs und die Fahrtrichtung des Egofahrzeuges zu übermitteln und im Gegenzug die, in Fahrtrichtung vorausliegenden 3D-Objekte als 3D-Objektdaten und die durch rendern der 3D-Objekte entstandenen diskreten positionsabhängigen Texturen der 3D-Objekte an der übermittelten aktuellen Position des Egofahrzeugs durch das jeweilige Computerarchitekturelement zu empfangen, wobei die 3D-Objekte hinsichtlich des aktuellen Wetters und des Sonnenscheins in Fahrtrichtung gerendert sind und wobei das Fahrerassistenzsystem dazu ausgebildet ist, die diskreten positionsabhängigen Texturen an die 3D-Objekte anzupassen und wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, zur Erstellung eines virtuellen 3D-Umfeldbildes an der aktuellen Position des Egofahrzeugs, wobei die endgültige Position und Berechnung der 3D-Objekte mitsamt ihrer diskreten Texturen in dem virtuellen 3D-Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selbst aufgenommen werden, vorzunehmen, wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, die 3D-Objektdaten und deren Texturen nach Verwendung zu löschen. Insbesondere ist die Kommunikationseinheit zur bidirektionalen Kommunikation an ein dezentrales, zu einem wie oben beschriebenen Cloudsystem gehörenden, Computerarchitekturelement ausgebildet.
Das Computerarchitekturelement ist insbesondere als Cloudlet oder Edge Cloud ausgebildet.
Unter Fahrerassistenzsystem in einem Egofahrzeug wird ein, in einem Egofahrzeug angeordnetes Fahrerassistenzsystem verstanden.
Dabei können Texturen quasi als „Überzug“ für 3D-Objekte angesehen werden, um deren Detailgrad zu erhöhen, ohne dabei jedoch den Detailgrad der eigentlichen Geometrie zu erhöhen. Eine Textur bezieht sich quasi auf die Oberfläche eines Körpers unter beispielsweise verschiedenen Betrachtungswinkeln, Positionen und der unterschiedlichen Beleuchtung. Diskrete positionsabhängige Texturen sind Texturen, die für vorab festgelegte Positionen und aus einer bestimmten Fahrtrichtung erzeugt werden. Da die Sichten für einen Fahrer/das Egofahrzeug berechnet werden, liegen diese Positionen vorzugsweise auf Straßen. Zur Vereinfachung wird bei mehrspurigen Fahrtrichtungen die Mittellinie der Fahrbahn verwendet.
Die Cloud kann ein externer Rechner oder Rechensystem sein, welcher über hohe Rechen- und Speicherkapazität verfügt.
Die 3D-Objekte werden erfindungsgemäß bereits als vorberechnete 3D-Objektdaten als auch deren vom Sonnenstand und Sonnenschein abhängig gerenderten Texturen von dem Computerarchitekturelement in das Egofahrzeug übertragen. Durch die erfindungsgemäße Verwendung eines Computerarchitekturelements kann eine niedrige Latenz zum Übertrag bewerkstelligt werden. Ferner kann auf eine lange Speicherung der enorm großen Dateien verzichtet werden, da eine schnelle Übertragung möglich ist. Erfindungsgemäß werden die Texturen der 3D-Objekte bei der jeweiligen Position des Egofahrzeugs oder im geringen Zeitmaß vorher in die Speichereinheit des Egofahrzeugs geladen, wodurch eine Echtzeitgenerierung des virtuellen 3D-Umfeldbildes möglich ist. Aufwändige Berechnungen werden aus dem Egofahrzeug verlagert und verringern die Last der Rechenkapazität des Egofahrzeugs. Die Datenhaltung im Egofahrzeug wird verringert, da die Daten On-Demand übertragen werden.
Dadurch kann ein virtuelles 3D-Umfeldbild aus der Fahrer(Ego)-Perspektive in Echtzeit für ein 3D-Display berechnet werden, indem Aufgaben ausgelagert werden, wodurch die Performance-Anforderungen an die GPU im Fahrzeug abgesenkt wird. D.h. es kann im Egofahrzeug eine vereinfachte Berechnung erfolgen, bei der keine Lichtquellen berücksichtigt werden müssen.
Unter dem Begriff virtuell ist eine Augmented Reality ebenso umfasst wie die Virtual Reality.
In weiterer Ausgestaltung ist die Cloud dazu ausgebildet, die diskreten positionsabhängigen Texturen nur auf Anfrage des jeweiligen Computerarchitekturelements für sein zuständiges Gebiet zu übermitteln. Dadurch kann die Übertragung gesteuert werden.
Ferner kann die Cloud dazu ausgebildet sein, die diskreten positionsabhängigen Texturen hinsichtlich einer vorgegebenen Richtung zu erzeugen. Insbesondere weist die Cloud Straßenkarten auf, und ist dazu ausgebildet, die diskreten positionsabhängigen Texturen durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung und vorgegebenen Positionen des 3D-Objekts zu den Straßen oder der Straße zu erzeugen. Somit werden die diskreten positionsabhängigen Texturen lediglich in Bezug auf die Straßenpositionen und die Fahrtrichtung und im Hinblick auf die sich ändernde Beleuchtung erzeugt, was einer Darstellung aus der Egosicht des Fahrers entspricht.
Ferner ist die Cloud dazu ausgebildet, bei sich ändernden Lichtverhältnissen ein automatisches Update der diskreten positionsabhängigen Textur der 3D-Objekte an das für das Gebiet zuständige Computerarchitekturelement zu übermitteln. Dadurch wird immer eine aktuelle diskrete Textur zu den 3D-Objekten in dem zuständigen Computerarchitekturelement vorgehalten.
In weiterer Ausgestaltung ist die Cloud dazu ausgebildet, das Update tageszeitabhängig automatisiert zu übermitteln. Dies ist vorteilhaft, da die Beleuchtung / Sonnenstand sich nach der Tageszeit ändert.
Ferner kann das Fahrerassistenzsystem dazu ausgebildet sein, die 3D-Objekte als 3D-Objektdaten von dem Computerarchitekturelement an einer ersten Position zu laden und die diskreten positionsabhängigen Texturen an einer zweiten Position zu laden, wobei die zweite Position zeitlich und örtlich nach der ersten Position liegt, und wobei das Fahrerassistenzsystem ferner dazu ausgebildet ist, die 3D-Objekte und die diskreten positionsabhängigen Texturen zur Darstellung eines virtuellen 3D-Umfeldbildes an der zweiten Position als aktuelle Position zu verwenden. Dabei kann das Egofahrzeug die Fahrtrichtung und die zweite Position an das Computerarchitekturelement übermitteln, zum Erhalt der diskreten Texturen des 3D-Objektes an der zweiten Position. Dadurch kann das Herunterladen großer Datenvolumen entzerrt werden. Insbesondere steht mehr Zeit zum Herunterladen der 3D-Objekte zur Verfügung, welche große Datenvolumen aufweisen können. Ferner kann das Fahrerassistenzsystem dazu ausgebildet sein, die zweite Position mittels einer Prädiktion zu bestimmen, so dass die zweite Position ein Ort des Egofahrzeugs in der Zukunft ist.
Dabei wird die Prädiktion eingesetzt, um den Ort des Egofahrzeugs in der Zukunft zu schätzen, wodurch Zeit für das Zusammensetzen der Szenen-Einzelteile gewonnen wird. Dabei bedeutet die Zusammensetzung der Szenen-Einzelteile, dass die genaue finale Berechnung des 3D-Objektes mit der aktuellen Textur ausgehend von den Sensoranordnungen / Kameraposition des Egofahrzeugs stattfindet, um fließende Bewegungsverläufe zu erzielen.
Ferner ist das Fahrerassistenzsystem dazu ausgebildet, bei einer Position des Egofahrzeugs, welche zwischen der ersten Position und der zweiten Position liegt, und für welche keine diskrete positionsabhängige Textur vorliegt, eine Textur durch Interpolation der Textur anhand der übermittelten Texturen für die erste Position und für die zweite Position, zu erstellen. Somit können die Texturen durch Interpolation aus den Texturen der benachbarten Positionen erstellt werden.
Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: ein erfindungsgemäßes Cloudsystem und das erfindungsgemäße Fahrerassistenzsystem eines Egofahrzeugs,
2: schematisch die Bestimmung der diskreten positionsabhängigen Texturen in der Cloud schematisch,
3: die Erstellung eines virtuellen 3D-Umfeldbildes im Fahrerassistenzsystem schematisch.

1 zeigt ein erfindungsgemäßes Cloudsystem 10 und das erfindungsgemäße Fahrerassistenzsystem 5 eines Egofahrzeugs.
Das erfindungsgemäße Cloudsystem 10 weist eine Cloud 1 mit 3D-Objekten bestimmter Objekte auf, welche als 3D-Datensatz gespeichert sind. Dabei kann die Cloud 1 als ein externer Rechner mit beispielsweise hoher Rechen- und Speicherkapazität ausgestaltet sein.
Die 3D-Objekte sind mit ihrer Position versehen (absolute Position). Die Position kann aber auch beispielsweise als Bezug der 3D-Objekte zu den dortigen Straßen angegeben werden (relative Position). Ferner weist das Cloudsystem 1 eine Kommunikationseinheit 2, beispielsweise in Form einer Antenne auf. Diese kann drahtlos ausgestaltet sein.
Die Cloud 1 hat somit ein simplifiziertes 3D-Objekt von Objekten in einem bestimmten Gebiet mit den zugehörigen Oberflächen-Daten (Spiegelung, weiß etc.) zur Verfügung.
Die Cloud 1 kann zur Datenübertragung mit einer Wetterstation 3 über die Kommunikationseinheit 2 verbunden sein, so dass die Cloud 1 das aktuelle Wetter und insbesondere den Sonnenstand (Sonnenverlauf) und die Lichtverhältnisse, hier mit Sonnenschein, angegeben, von der Wetterstation 3 erhält. Dabei ist der Sonnenschein der Lichtschein der Sonne, sprich die Wirkung der Sonnenstrahlen auf die Erde, und die dazugehörige Wetterlage mit geringer oder keiner Bewölkung.
Ferner ist die Cloud 1 dazu ausgebildet, in Abhängigkeit von der aktuellen Wetterlage verschiedene Texturen 7 für die 3D-Objekte zu bestimmen. Dabei werden die Texturen 7 für vorab festgelegte Positionen bestimmt. Diese werden als diskrete positionsabhängige Texturen 7 bezeichnet. Die diskreten positionsabhängigen Texturen 7 werden abhängig von der Tageszeit oder dem Sonnenschein permanent, d.h. zu vorgegebener Zeitdauer oder aber auch bei einer Wetteränderung neu erzeugt.
Da die Texturen 7 für ein Fahrzeug berechnet werden, liegen diese Positionen auf Straßen. Zur Vereinfachung wird für mehrspurige Fahrtrichtungen die Mittellinie der Fahrbahn verwendet. Das heißt, dass die Texturen 7 in Abhängigkeit von der Richtung und Position des 3D-Objekts erzeugt werden und zwar durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung des Objekts zu den oder der Straße und der aktuellen Lichtverhältnisse. Dazu kann die Cloud 1 die aktuellen Straßenkarten aufweisen. Dadurch werden diskrete positionsabhängige Texturen 7 von den 3D-Objekten erzeugt.
Ferner kann das Cloudsystem 10 mehrere dezentralisierte und weit verstreute Computerarchitekturelemente 4a,...,4n aufweisen.
Ein Computerarchitekturelement 4a,...,4n kann als ein lokales „Datenzentrum“ in einem lokalen Gebiet angesehen werden. Ein solches Computerarchitekturelement 4a,...,4n kann als Edge Cloud oder Cloudlet ausgebildet sein. Das Computerarchitekturelement 4a,...,4n weist zumindest eine Speichereinheit zum Vorhalten von Daten auf. Ebenso weist das Computerarchitekturelement 4a,...,4n eine exzellente Konnektivität mit der Cloud 1 auf. Ein solches Computerarchitekturelement 4a,...,4n ist in den verschiedenen lokalen Gebieten verteilt und zwar möglichst nahe an den Fahrzeugen beispielsweise an Autobahnen, so dass eine hohe und schnelle Übertragung in Verbindung mit einer niedrigen Latenz möglich ist.
Jedes einzelne Computerarchitekturelement 4a,...,4n weist die 3D-Objektdaten (3D-Objekte) zumindest seines Gebietes auf, welche von der Cloud 1 in die einzelnen Computerarchitekturelemente 4a,...,4n übertragen und dort im Speicher gespeichert werden. Diese 3D-Objektdaten eines 3D-Objektes können regelmäßig bei Veränderung eines 3D-Objektes (Abriss, Umbau) neu übertragen bzw. upgedated werden.
Ferner werden zu den 3D-Objekten noch die diskreten positionsabhängigen Texturen 7 von der Cloud 1 übertragen. Diese werden regelmäßig aktualisiert, beispielsweise nach Tageszeit oder einer bestimmten Zeitdauer, oder beispielsweise auch bei starker Veränderung der Wetterlage (plötzlich auftretendes Gewitter).
Dabei werden die diskreten positionsabhängigen Texturen 7 für die 3D-Objektdaten und die 3D-Objekte als 3D-Objektdaten in den einzelnen Computerarchitekturelementen 4a,...,4n gespeichert zur Auslieferung /Übermittlung an die Egofahrzeuge.
Fährt nun ein Egofahrzeug mit einem Fahrerassistenzsystem 5 in ein Gebiet einer der Computerarchitekturelemente 4a,...,4n ein und koppelt zur Datenübertragung an diese an, so werden zunächst die, auf der vorausliegenden Strecke liegenden 3D-Objekte in das Egofahrzeug geladen.
Ferner übermittelt das Fahrerassistenzsystem 5 an das jeweilige Computerarchitekturelement 4a,...,4n die prädizierte eigene aktuelle Position des Egofahrzeugs und die Fahrtrichtung. Zur Bestimmung der aktuellen Position des Egofahrzeugs kann das Fahrerassistenzsystem 5 ein GPS-Empfang aufweisen. Zu einem späteren Zeitpunkt, können die zu den 3D-Objekten diskreten positionsabhängigen Texturen 7 in Abhängigkeit von der Fahrtrichtung in das Fahrerassistenzsystem 5 geladen werden. Dabei können aufgrund der Dateigrößen immer nur diskrete positionsabhängige Texturen 7 von den 3D-Objekten in das Fahrerassistenzsystem 5 geladen werden, welche unmittelbar oder nahezu unmittelbar der Fahrstrecke des Egofahrzeugs vorausliegen.
Da die Lichtsituation / Sonnenschein bereits in die diskreten positionsabhängigen Texturen 7 eingerechnet ist, kann ein vereinfachtes Render-Verfahren (Rastermethode) statt beispielsweise einem aufwändigeren Ray Tracing zum Erstellen eines virtuellen 3D-Umfeldbildes mit den 3D-Objekten und den dazugehörigen Texturen 7 eingesetzt werden. Dabei kann eine Prädiktion eingesetzt werden, um einen Ort des Egofahrzeugs als aktuelle Position in der Zukunft zu schätzen, um Zeit für das Zusammensetzen der Szenen-Einzelteile zu gewinnen.
Die finale Berechnung des 3D-Objektes und des virtuellen 3D-Umfeldbildes findet ausgehend von der exakten Sensorposition bzw. Kameraposition statt, um fließende Bewegungsverläufe zu erzielen; d.h. die Berechnung der Kamerasichten erfolgt ebenso von der Egoposition des Egofahrzeugs. Dies bedeutet, dass die endgültige Position und Berechnung der 3D-Objekte mitsamt ihrer diskreten Texturen 7 in dem virtuellen Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selber aufgenommen werden, vorgenommen werden.
Durch die Verwendung von berechneten diskreten Texturen 7 und den bereits in das Egofahrzeug geladenen 3D-Objekten als 3D-Objektdaten in Verbindung mit der niedrigen Latenz (schnellere Übertragung als durch die Cloud selber) durch Verwendung der Computerarchitekturelemente 4a,...,4n kann nun ein unmittelbar vorausliegendes virtuelles 3D-Umfeldbild in Echtzeit oder nahezu in Echtzeit erstellt werden.
Das so erstellte virtuelle 3D-Umfeldbild kann beispielsweise auf einem Augmented Reality Display angezeigt werden.
Durch Verwendung eines 3D-Objektes mit den Texturen 7, welche den aktuellen Sonnenstand, d.h. die aktuelle Beleuchtung und das aktuelle Wetter berücksichtigen, kann eine hohe Übereinstimmung der simulierten Szenerie mit der Realität erreicht werden.
Die dafür notwendigen aufwändigen Berechnungen werden aus dem Egofahrzeug in die Cloud 1 verlagert und verringern die Last auf den Fahrzeugprozessor. Die Datenhaltung im Egofahrzeug wird verringert, da die Daten On-Demand übertragen werden.
Durch das Cloudsystem 10 mit der Cloud 1 und den mehreren dezentralisierten und weit verstreuten Computerarchitekturelementen 4a,...,4n kann eine schnelle Datenübertragung und eine Generierung von virtuellen 3D-Umfeldbildern unter Echtzeitbedingungen erfolgen.
2 zeigt die Bestimmung einer diskreten positionsabhängigen Textur 7 von einem 3D-Objekt in der Cloud 1 (1) schematisch.
Dabei werden in Abhängigkeit vom Verlauf der Straße und der Fahrtrichtung vorab festgelegte Positionen, hier Position A und Position B und der Winkel zu dem 3D-Objekt bestimmt. Das 3D-Objekt ist mit 3D-Objektdaten dargestellt und weist, je nach Beleuchtung, unterschiedliche Texturen 7 auf.
Dabei können Texturen 7 quasi als „Überzug“ für 3D-Objekte angesehen werden, um deren Detailgrad zu erhöhen, ohne dabei jedoch den Detailgrad der eigentlichen Geometrie zu erhöhen. Eine Textur bezieht sich quasi auf die Oberfläche eines virtuellen Körpers unter beispielsweise verschiedenen Betrachtungswinkeln, Positionen und der unterschiedlichen Beleuchtung.
Anschließend werden die aktuellen Wetterdaten und Sonnenscheindaten in Bezug auf das 3D-Objekt (Sonnenstand), durch Übertragung der Wetterdaten von beispielsweise dem Wetterdienst 3 ermittelt.
Die Berechnung der Texturen 7 aus der Position A und der Position B erfolgt somit mit Hilfe von realistischen Lichtquellen 6, die die momentanen Lichtverhältnisse widerspiegeln. Dadurch können die reflektierenden Oberflächentexturen als diskrete positionsabhängige Texturen 7 an der Position A und der Position B bestimmt werden. Die an der Position A und der Position B eintreffende Lichtenergie für einen Punkt auf einer reflektierenden Oberfläche wird in eine Emissions-Intensität für den gleichen Ort für eine lichtabgebende Oberfläche umgerechnet.
Die Position A/B kann als eine Kamera-/Sensorposition eines Egofahrzeugs zum Zeitpunkt A/B auf der, das Egofahrzeug entlangfahrenden Straße, angesehen werden.
3 zeigt die Erstellung eines virtuellen 3D-Umfeldbildes im Fahrerassistenzsystem 5 (1). Dazu wird an einer ersten Position A das 3D-Objekt, welches auf der Fahrstrecke liegt, als 3D-Objektdaten in den Speicher des Egofahrzeugs geladen.
Dazu koppelt das Fahrerassistenzsystem 5 (1) an das nächstliegende dezentralisierte Computerarchitekturelement 4a,...,4n zum Übertragen der 3D-Objektdaten des 3D-Objektes an.
Da auch die 3D-Objekte großes Datenvolumen aufweisen, lädt das Fahrerassistenzsystem 5 (1) diese erst in Nähe des 3D-Objektes herunter. An einer Position EGO_POS, welche zeitlich und örtlich der ersten Position A nachfolgt, wird eine prädizierte eigene Position des Egofahrzeugs und die Fahrtrichtung, an das zuständige dezentralisierte Computerarchitekturelement 4a,...,4n übermittelt. Ferner kann die Position EGO_POS auch eine Prädiktion sein, welche den Ort des Egofahrzeugs in der Zukunft schätzt. Dadurch wird Zeit für das Zusammensetzen der Szenen-Einzelteile gewonnen.
In dem Fahrerassistenzsystem 5 (1) kann zunächst eine vereinfachte Darstellung eines virtuellen 3D- Umfeldbildes generiert werden, bei der keine Lichtquellen berücksichtigt werden müssen.
Das dezentralisierte Computerarchitekturelement 4a,...,4n übermittelt nun die diskreten positionsabhängigen Texturen 7 für die 3D-Objekte an der aktuellen Position des Egofahrzeugs EGO_POS an das Fahrerassistenzsystem 5.
Liegt die aktuelle Position EGO_POS des Egofahrzeugs zwischen der Position A und Position B, an denen jeweils eine diskrete vorausberechnete Textur 7 vorhanden ist, so wird die benötigte Textur 7 durch Interpolation aus den Texturen der benachbarten Position A und Position B erstellt.
Dies kann beispielsweise im Egofahrzeug selber vorgenommen werden.
Da die Lichtsituation bereits in die diskreten Texturen 7 eingerechnet ist, kann ein vereinfachtes Render-Verfahren (Rastermethode) statt dem aufwändigeren Ray Tracing eingesetzt werden. Die finale Berechnung der einzelnen virtuellen 3D-Objekte findet ausgehend von der exakten Position des Egofahrzeugs EGO_POS bzw. der Kameraposition statt, um fließende Bewegungsverläufe zu erzielen.
Werden die diskreten Texturen 7 eines 3D-Objektes und die 3D-Objektdaten des 3D-Objektes nicht mehr benötigt, so werden diese aus dem Speicher gelöscht.
Bezugszeichenliste

1: Cloud
2: Kommunikationseinheit
3: Wetterdienst
4a,... ,4n: Computerarchitekturelement
5: Fahrerassistenzsystem
6: Lichtquelle
7: Texturen
10: Cloudsystem

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 10922886 B2 [0006]

Claims

Cloudsystem (10) umfassend einer Cloud (1), welche eine Kommunikationseinheit (2) zur drahtlosen Kommunikation aufweist, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, Wetterdaten und Sonnenschein in Bezug auf lokale Gebiete durch einen Wetterdienst (3) zu empfangen, und welche dazu ausgebildet ist, anhand des empfangenen Wetters und des Sonnenscheins die durch 3D-Objektdaten dargestellten 3D-Objekte in dem lokalen Gebiet in Bezug auf vorgegebene Positionen so zu rendern, das dadurch diskrete positionsabhängige Texturen (7) für die 3D-Objekte erzeugbar sind, wobei das Cloudsystem (10) mehrere dezentralisierte und verstreute Computerarchitekturelemente (4a,...,4n) aufweist, welche in den einzelnen lokalen Gebieten angeordnet sind, wobei die Cloud (1) dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten sowie die aktuellen diskreten positionsabhängigen Texturen (7) in den lokalen Gebieten, in welchem das jeweilige 3D-Objekt angeordnet ist, dem dort zuständigen Computerarchitekturelement (4a,...,4n) zu übermitteln.
Cloudsystem (10), nach Anspruch 1, dadurch gekennzeichnet, dass die Cloud (1) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) nur auf Anfrage des jeweiligen Computerarchitekturelements (4a,...,4n) für sein zuständiges Gebiet zu übermitteln.
Cloudsystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Cloud (1) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) hinsichtlich einer vorgegebenen Richtung zu erzeugen.
Cloudsystem (10) nach Anspruch 3, dadurch gekennzeichnet, dass die Cloud (1) Straßenkarten aufweist, und dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) durch Rendern des 3D-Objektes in Abhängigkeit von der Richtung und vorgegebenen Positionen des 3D-Objekts zu den Straßen oder der Straße zu erzeugen.
Cloudsystem (10) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Cloud (1) dazu ausgebildet ist, bei sich ändernden Lichtverhältnissen ein automatisches Update der diskreten positionsabhängigen Textur (7) der 3D-Objekte an das für das Gebiet zuständige Computerarchitekturelement (4a,...,4n) zu übermitteln, in dem das 3D-Objekt angeordnet ist.
Cloudsystem (10) nach Anspruch 5, dadurch gekennzeichnet, dass die Cloud (1) dazu ausgebildet ist, das Update tageszeitabhängig automatisiert zu übermitteln.
Fahrerassistenzsystem (5) in einem Egofahrzeug, umfassend einem System zum Ermitteln der aktuellen Position des Egofahrzeugs und der Fahrtrichtung, wobei das Fahrerassistenzsystem (5) eine Speichereinheit aufweist, und wobei ferner eine Kommunikationseinheit (2) vorgesehen ist, zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem (10) gehörenden, Computerarchitekturelement (4a,...,4n), welche jeweils in einem lokalen Gebiet zur Kommunikation mit dem Egofahrzeug in dem lokalen Gebiet angeordnet sind, wobei die Kommunikationseinheit (2) dazu ausgebildet ist, die aktuelle Position des Egofahrzeugs und die Fahrtrichtung des Egofahrzeuges zu übermitteln und im Gegenzug die, in Fahrtrichtung vorausliegenden 3D-Objekte als 3D-Objektdaten und die durch rendern der 3D-Objekte entstandenen diskreten positionsabhängigen Texturen (7) der 3D-Objekte an der übermittelten aktuellen Position des Egofahrzeugs durch das jeweilige Computerarchitekturelement (4a,...,4n) zu empfangen, wobei die 3D-Objekte hinsichtlich des aktuellen Wetters und des Sonnenscheins in Fahrtrichtung gerendert sind und wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die diskreten positionsabhängigen Texturen (7) an die 3D-Objekte anzupassen und wobei das Fahrerassistenzsystem (5) ferner dazu ausgebildet ist, zur Erstellung eines virtuellen 3D-Umfeldbildes an der aktuellen Position des Egofahrzeugs, wobei die endgültige Position und Berechnung der 3D- Objekte mitsamt ihrer diskreten positionsabhängigen Texturen (7) in dem virtuellen 3D-Umfeldbild anhand von aufgenommenen Sensordaten, welche das Fahrzeugumfeld zeigen und welche vom Egofahrzeug selbst aufgenommen werden, vorzunehmen, wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die 3D-Objektdaten und deren Texturen nach Verwendung zu löschen.
Fahrerassistenzsystem (5) eines Egofahrzeugs nach Anspruch 7, dadurch gekennzeichnet, dass das Fahrerassistenzsystem dazu ausgebildet ist, die 3D-Objekte als 3D-Objektdaten von dem Computerarchitekturelement (4a,..,4n) an einer ersten Position (Pos A) zu laden und die diskreten positionsabhängigen Texturen (7) an einer zweiten Position (Pos B) zu laden, wobei die zweite Position (Pos B) zeitlich und örtlich nach der ersten Position (Pos A) liegt, und wobei das Fahrerassistenzsystem (5) dazu ausgebildet ist, die 3D-Objekte und die diskreten positionsabhängigen Texturen (7) zur Darstellung eines virtuellen 3D-Umfeldbildes an der zweiten Position (Pos B) als aktuelle Position zu verwenden.
Fahrerassistenzsystem (5) nach Anspruch 8, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (5) dazu ausgebildet ist, die zweite Position (Pos B) mittels einer Prädiktion zu bestimmen, so dass die zweite Position (Pos B) ein Ort des Egofahrzeugs in der Zukunft ist.
Fahrerassistenzsystem (5) nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Fahrerassistenzsystem (5) dazu ausgebildet ist, bei einer Position des Egofahrzeugs, welche zwischen der ersten Position (Pos A) und der zweiten Position (Pos B) liegt, und für welche keine diskrete positionsabhängige Textur (7) vorliegt, eine Textur (7) durch Interpolation der Textur anhand der übermittelten Texturen für die erste Position (Pos A) und für die zweite Position (Pos B), zu erstellen.
Fahrerassistenzsystem (5) nach einem der vorhergehenden Ansprüche 7 bis 10, dadurch gekennzeichnet, dass die Kommunikationseinheit (2) zur bidirektionalen Kommunikation an ein dezentrales, zu einem Cloudsystem (10) nach einem der vorhergehenden Ansprüche 1 bis 6 gehörenden, Computerarchitekturelement (4a,..,4n) ausgebildet ist.