-
Die vorliegende Erfindung betrifft ein Verfahren zum Simulieren von Echosignalen einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene, wobei es sich bei dem Messsystem bevorzugt um ein LiDAR- oder Radar-System handeln kann.
-
Für die virtuelle Erprobung von Fahrerassistenzsystemen (FAS) im Kontext von hochautomatisiertem Fahren (HAF) werden realistische Sensormodelle benötigt. Durch die steigende Verwendung von KI-basierten Algorithmen (z.B. Objekterkennung, Tracking, Sensordatenfusion) steigt auch der benötigte Detailgrad der Sensoren in der Simulation. Hierfür werden zunehmend Rohdaten der Sensoren benötigt. Um eine realistische Modellierung von Sensordaten zu erreichen, muss jedoch oft der vollständige Signalweg simuliert werden, inklusive der physikalischen Effekte bei der Transmission und Interaktion der elektromagnetischen Wellen mit Objekten (z.B. Generierung der Trägerwelle). Abhängig vom gewünschten Detailgrad kann dies jedoch sehr rechenintensiv sein. Besonders bei LiDAR-Sensoren stellt dies in der Simulation eine Herausforderung dar, da hier oft aufwendige Path-/Raytracing Verfahren eingesetzt werden, auch in Kombination mit volumetrischen Verfahren.
-
Seit kurzem hat ein relativ neues Verfahren, welches auf neuronalen Strahlungsfeldern (neuronal radiance field, NeRF) basiert, Eingang gefunden in die Verarbeitung von Sensordaten.
-
Bei einem NeRF handelt es sich um ein generatives Modell, das auf einer Ansammlung von Bildern einer 3D-Szene aus bekannten, unterschiedlichen Betrachtungsrichtungen konditioniert ist und in der Lage ist, mittels eines künstlichen neuronalen Netzes neue zweidimensionale Ansichten der Szene zu generieren, Dieser Vorgang wird als Bildsynthese bezeichnet. Der neuartige Ansatz hierbei ist, dass die 3D-Form und das Erscheinungsbild der Szene mittels einer kontinuierlichen vektorwertigen Funktion festgehalten werden, deren Definitionsraum ebenfalls ein Vektorraum ist.
-
In diesem Zusammenhang wird auf die Druckschrift
DE 10 2021 002 798 A1 verwiesen, die ein Verfahren offenbart zur Umgebungserfassung für Fahrzeuge, bei welchem zweidimensionale Kamerabilder im Zuge einer Sensordatenfusion mittels eines NeRFs um räumliche Tiefeninformation angereichert werden. Im Einzelnen wird in einer Kamera-Pipeline als redundanter Pfad gleichsam ein Pseudo-Lidar eingefügt, anhand von dessen Daten zu jedem Punkt der Bilder der Tiefenwert bestimmt und einem dreidimensionalen Netz zugrunde gelegt wird.
-
Druckschrift
CN 113706714 A offenbart eine Methode, um mittels Kamera und LiDAR ein RGB-D-Bild zu erfassen, anhand dessen mittels eines NeRF der Betrachtungswinkel ermittelt wird.
-
Im Lichte des Vorgenannten kann die Aufgabe der vorliegenden Erfindung darin gesehen werden, Reflexionsantworten (Echosignale) von Sensoren, insbesondere LiDAR- oder Radar-Sensoren, einfacher und schneller darstellen/simulieren zu können.
-
Diese Aufgabe wird mittels der Gegenstände der unabhängigen Patentansprüche gelöst. Weitere bevorzugte Ausführungsformen finden sich in den abhängigen Patentansprüchen.
-
Da die Erfindung auf dem Grundgedanken basiert, eine angepasste Version eines NeRF zum schnelleren und einfacheren Berechnen von Echosignalen eines auf elektromagnetischen Strahlen basierenden Messsystems, soll im Folgenden kurz auf diese Technologie eingegangen werden. Das auf elektromagnetischen Strahlen basierende Messsystem wird zur Vereinfachung der Beschreibung als Sensor bezeichnet, wobei diese verkürzende Bezeichnung auf den sensorischen Teil des Systems abstellt. Bei dem auf elektromagnetischen Strahlen basierenden Messsystem kann es sich insbesondere um ein Abstands- und/oder Geschwindigkeitsmesssystem handeln.
-
Ein NeRF, wie sein Name bereits andeutet, entspricht im Wesentlichen einem mittels eines neuronalen Netzes verarbeiteten Lichtfeld oder Strahlungsfeld, das einer Funktion entspricht, welche die Lichtausbreitung durch ein 3D-Volumen beschreibt. Bei Verwendung eines klassischen Neural Radiance Field wird einem fünfdimensionalen Eingabevektor - definiert durch eine Raumposition der Szene (x, y, z) und eine zu diesem gerichtete bzw. von diesem ausgehende Blickrichtung (θ, φ) - mittels eines mehrschichtigen Perzeptrons (multilayer perceptron, MLP) ein vierdimensionaler Ausgabevektor zugeordnet, welcher eine Dichte (σ), sowie einen Farbwert (üblicherweise RGB) enthält. Das standardmäßige NeRF ist also eine Funktion der Form F: (x, y, z, θ, φ) → (σ, R, G, B).
-
Die vom Perzeptron erlernte Transferfunktion erlaubt eine detailgetreue und schnelle Berechnung sowie auch die Berechnung neuer Blickwinkel auf das Szenenvolumen. Die Definitionsmenge des NeRF ist damit ein fünfdimensionaler Merkmalsraum, der den Lichttransport in einer 3D-Szene beschreibt. Das NeRF bzw. das dazugehörige Perzeptron hat die Aufgabe eine Funktion zu approximieren, die diesen fünfdimensionalen Merkmalsraum auf den eben erwähnten vierdimensionalen Zielraum abzubilden. Die Dichte σ kann hierbei als Wahrscheinlichkeit aufgefasst werden, dass ein Lichtstrahl, welcher durch den Raumpunkt (x, y, z) in die Raumrichtung (θ, φ) propagiert, in diesem Raumpunkt z.B. an der weiteren geradlinigen Propagation durch Verdeckung oder vollständige Reflektion gehindert wird.
-
Gemäß der vorliegenden Erfindung wird zum Simulieren von Echosignalen einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems (insbesondere LiDAR oder Radar) abgetasteten Szene die Ausgabe eines gattungsgemäßen NeRF bzw. des dazugehörigen mehrschichten Perzeptrons derart angepasst, dass anstatt des Farbwerts im dreidimensionalen Farbraum RGB eine Reflektivität bzw. ein Reflexionsgrad (reflectivity), der Ausfallwinkel der direkten Reflexion (specular reflection), sowie der Grad der diffusen Reflexion (scattering/diffuse reflection) ausgegeben wird. Im Ausgabevektor wird also die Angabe des Farbwerts durch Parameter ersetzt, welche zur Bestimmung eines Echosignals von durch die 3D-Szene propagierender elektromagnetischer Wellen von Relevanz sind, nämlich durch Parameter, die mit Reflexion zusammenhängen.
-
Mittels des erfindungsgemäßen Verfahrens lassen sich innerhalb kurzer Zeit realistische Sensorantworten für Objekte, die sich in einer 3D-Szene befinden, aus Realdaten erlernen. Zusätzlich bietet das erfindungsgemäße Verfahren die Möglichkeit die Reflexionseigenschaften von Objekten zu erlernen und/oder innerhalb der Simulation festzulegen, wobei insbesondere der letzte Punkt die Modellierung einer Test-Szene als Fahrumgebung erleichtert. Insgesamt können mittels des erfindungsgemäßen Verfahrens in der Simulation die vollständigen, vom realen Sensor erlernten, physikalischen Effekte und Antwortsignale berechnet werden. Somit kann die Simulation von komplexen Szenarien, etwa Schaufensterfronten oder Wasser, realistisch umgesetzt werden. Aufgrund der Leistungsfähigkeit des klassischen NeRF bei gleichzeitig mäßigen Anforderungen an die Rechenhardware im Bereich vom volumetrischen Rendering kann davon ausgegangen werden, dass bei der Simulation von Echosignalen mittels des erfindungsgemäßen Verfahrens Echtzeitperformance erreicht werden kann.
-
Das erfindungsgemäße Verfahren kann bevorzugt basierend auf von dem Grafikkarten- und Chiphersteller NVIDIA unter anderem für NeRF entwickelter neuronaler Grafikprimitiven (instant neural graphics primitives, instant ngp) laufzeiteffizient auf verfügbarer GPU-Hardware implementiert werden. Durch eine solche Erweiterung des NeRF durch Instant Neural Graphics Primitives kann das Simulationssystem innerhalb weniger Sekunden auf einer modellierten 3D-Szene trainiert und verwendet werden.
-
In verschiedenen Ausführungsformen wird ein Verfahren zum Simulieren von Echosignalen einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene bereitgestellt. Bei der Szene kann es sich um eine dreidimensionale Szene handeln, welche beispielsweise eine Fahrumgebung eines Fahrzeugs modelliert.
-
Das erfindungsgemäße Verfahren ist dadurch charakterisiert, dass das Echosignal in Abhängigkeit von einer Position des Messsystems relativ zur Szene durch volumetrisches Rendern synthetisiert bzw. errechnet wird, wobei mindestens ein Teil der Szene durch ein modifiziertes Neural Radiance Field (neuronales Strahlungsfeld) repräsentiert wird. Hierbei kann insbesondere ein Echosignal der Szene aus einer Abtastrichtung synthetisiert werden, zu der es im Trainingsdatensatz kein entsprechendes Echosignal der Szene gegeben hat.
-
Die abgetastete Szene kann ein einzelnes Objekt aufweisen, beispielweise ein Fahrzeug, eine Litfaßsäule oder ein Straßenschild. Das einzelne Objekt kann als ein einzelnes modifiziertes NeRF dargestellt und isoliert hinsichtlich des erzeugten Echosignals untersucht werden. In der Simulation kann aus der bekannten Sensorposition das mittels NeRF modellierte einzelne Objekt abgetastet werden, wodurch die Sensorantwort berechnet werden kann, die das einzelne Objekt erzeugt.
-
Das mittels eines modifizierten NeRF dargestellte Objekt kann auch in eine mittels eines anderen Ansatzes modellierte Szene integriert werden, wobei das Echosignal der gesamten abgetasteten Szene mittels eines üblichen volumetrischen Verfahrens synthetisiert (gerendert) werden kann. Die umgebende Szene, welche nicht mittels eines modifizierten NeRF modelliert wird, kann beispielsweise mittels eines skalaren Feldes modelliert werden, welches jedem Raumpunkt einen Wert zuweist, der seine Reflexionseigenschaft bestimmt. Dieser Teil der Szene kann mittels Ray Tracing gerendert werden. So kann beispielsweise jedem das modifizierte NeRF umgebenden Raumpunkt ein Wert Null zugeordnet werden, welcher vollständige Absorption bedeutet, wenn bei einer Simulation nur das modifizierte NeRF im Echosignal sichtbar sein soll. Die Zusammenfügung der unterschiedlich modellierten Szenenteile kann beispielsweise wie folgt implementiert werden. Trifft ein simulierter Sensorstrahl auf ein mittels eines modifizierten NeRF modelliertes Objekt, so wird das Echosignal gemäß dem hier beschriebenen Verfahren ermittelt. Trifft hingegen ein simulierter Sensorstrahl auf einen Szenenteil, der nicht mittels eines modifizierten NeRF modelliert wird, so kann die Antwort mittels gewöhnlichem Ray Tracing ermittelt werden.
-
Selbstverständlich können auch mehrere ausgewiesene Objekte mittels jeweils eines modifizierten NeRF modelliert werden und in eine anderweitig modellierte Szene eingefügt werden. In einer weiteren Ausführungsform des Verfahrens kann die Szene die gesamte für den Sensor relevante Umgebung abbilden, die mittels mindestens eines modifizierten NeRF modelliert wird. Im Falle eines Fahrzeugs-Sensors kann die Szene der Fahrzeugumgebung entsprechen.
-
Das im Rahmen des erfindungsgemäßen Verfahrens verwendete modifizierte Neural Radiance Field ist dadurch charakterisiert, dass es einem Eingabevektor, welcher durch einen Raumpunkt und eine davon ausgehende Richtung definiert ist, jeweils einen Ausgabevektor zuordnet, der durch eine Dichte, eine Reflektivität, einen Ausfallwinkel der direkten Reflexion und einen Grad der diffusen Reflexion definiert ist. Bei den Raumpunkten kann es sich um Raumpunkte (x, y, z) eines Objekts der Szene (oder eben die gesamte Szene) handeln, welches mittels des modifizierten NeRF modelliert wird. Die von dem Raumpunkt ausgehende Richtung, welche einen Polarwinkel θ und einen Azimuthwinkel φ angegeben werden kann, definiert die Richtung zwischen diesem Raumpunkt und einem Bildpunkt des synthetisierten Echosignal-Abbildes. Diese Richtung kann durch die Verbindungslinie zwischen dem betrachteten Bildpunkt des Echosignal-Abbildes und dem Raumpunkt entsprechen. Zu dem Eingabevektor gibt das modifizierte NeRF den entsprechenden raumpunkt- und richtungsabhängigen Ausgabevektor aus, welcher die besagten Parameter aufweist. Aus der Dichte σ gibt im Wesentlichen an, wie dicht die Materie an dem Raumpunkt (x, y, z) ist und stellt ein Maß dafür dar, wie transparent der Raumpunkt für die das Echosignal bildenden elektromagnetischen Wellen ist.
-
Das hier vorgeschlagene Verfahren zur modellbasierten Simulation eines auf elektromagnetischen Strahlen basierenden Messsystems kann insbesondere im Rahmen der virtuellen Erprobung von Fahrerassistenzsystemen verwendet werden. Das erfindungsgemäße Verfahren basiert auf dem in dem Fachartikel „NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis“, Ben Mildenhall et. Al, 2020, beschriebenen Ansatz. In Abwandlung zu diesem für die Bildsynthese klassischer Bilder verwendeten Ansatz nutzt das erfindungsgemäße Verfahren zur Bildsynthese eine modifizierte Version eines Neural Radiance Field, bei der die Ausgabeparameter des Ausgabevektors an die spezielle Anwendung angepasst sind und auf die physikalische Interaktion von elektromagnetischen Strahlen mit der sich in der Szene befindender Materie abstellen. Daher ist der vierdimensionale Zielraum des verwendeten modifizierten NeRF durch eine Raumdichte sowie drei weitere Parameter definiert, welche Reflexion bzw. Streuung von elektromagnetischer Strahlung angeben. Die Raumdichte gibt hierbei den Transmissionsgrad der elektromagnetischen Welle an.
-
Bei dem hier verwendeten modifizierten NeRF handelt es sich um ein mit entsprechenden Trainingsdaten in Form von Echosignalen der Szene trainiertes künstliches neuronales Netz. Anders ausgedrückt wird das NeRF in der mit einer Anzahl separater Abtastbilder der Szene (z.B. mittels LiDAR oder Radar) aus unterschiedlichen Positionen trainiert, um darin eine vollständige Volumendarstellung der Szene zu speichern.
-
Gemäß weiteren Ausführungsformen des Verfahrens kann das modifizierte Neural Radiance Field mittels eines mehrschichtigen Perzeptrons realisiert sein. In Abwandlung zu dem Perzeptron, welches bei dem NeRF-Ansatz für die klassische Bildsynthese verwendet wird, kann das im Rahmen des erfindungsgemäßen Verfahrens verwendete Perzeptron darauf trainiert werden, neben der Dichte σ anstelle der Rot-, Grün- und Blauanteile (RGB) von sichtbarem Licht die Parameter Reflektivität, Ausfallwinkel der direkten Reflexion sowie diffuse Reflexion als Komponenten des Ergebnisvektors auszugeben.
-
Gemäß weiteren Ausführungsformen des Verfahrens kann das von dem mindestens einen Teil der Szene erzeugte Echosignal synthetisiert bzw. berechnet werden durch Berechnen von Linienintegralen entlang von Strahlen, welche von einer Detektorfläche des Messsystems aus durch die Szene verlaufen. Dieses Vorgehen entspricht einem klassischen volumetrischen Rendern, bei dem zur Berechnung des Bildes in Form des von der Messsystem detektierten Echosignals das NeRF entlang von modellierten Detektorstahlen gesampelt wird und durch Aufsummieren der Ausgabevektoren, die vom NeRF zu den auf dem Detektorstrahl liegenden Eingabevektoren ausgegeben werden, die Bildinformation für jedes Pixel ermittelt wird.
-
Gemäß weiteren Ausführungsformen des Verfahrens kann das auf elektromagnetischen Strahlen basierende Messsystem ein LiDAR oder ein Radar aufweisen. Das hier vorgestellte Verfahren eignet sich damit besonders für die modellbasierte Simulation von LiDAR- und Radar-Daten und kann im Rahmen der virtuellen Erprobung von Fahrerassistenzsystemen, insbesondere im Kontext vom autonomen Fahren, verwendet werden. Ebenso kann sich bei dem auf elektromagnetischen Strahlen basierenden Messsystem um ein System zur Dichtemessung handeln, welches auf Basis von Röntgenstrahlen arbeitet (z.B. ein Röntgensensor).
-
Gemäß weiteren Ausführungsformen kann das Verfahren ferner Festlegen der Komponenten von Ausgabevektoren aufweisen, die mit Eingabevektoren assoziiert sind, deren Raumpunktkomponenten ein Objektmodell in dem mindestens einen Teil der Szene beschreiben, gemäß den physikalischen Eigenschaften des entsprechenden realen Objekts. Durch ein solches Vorgehen lassen sich Reflexionseigenschaften von Objekten in der Szene gezielt gemäß ihren physikalischen Eigenschaften festlegen, um deren Einfluss auf das Echosignal systematisch zu untersuchen. Das Festlegen kann hierbei insbesondere Verändern bzw. systematisches Variieren von im Vorfeld ermittelten Komponenten von Ausgabevektoren aufweisen, um den Einfluss von sich in der Szene befindender Objekte auf das Echosignal zu untersuchen.
-
Gemäß weiteren Ausführungsformen kann das Verfahren ferner Bestimmen der räumlichen Lage eines mittels des modifizierten Neural Radiance Field modellierten Objekts relativ zu dem auf elektromagnetischen Strahlen basierenden Messsystem aufweisen. Diese Funktionalität kann als Tracking verwendet werden. In Analogie zum „inversen Rendering“ (inverse NeRF-Ansatz, iNeRF) kann das künstliche neuronale Netz dazu verwendet werden, um aus der Reflexionsantwort auf die räumliche Lage des in einem modifizierten NeRF abgetasteten Objekts zu schließen.
-
Bei dieser Ausführungsform des erfindungsgemäßen Verfahrens kann in einem ersten Schritt basierend auf einem bereits trainierten NeRF und mit bekannten intrinsischen Sensorcharakteristiken die Kameraposition (x, y, z, θ, φ) bestimmt werden. Diese Bestimmung erfolgt durch Lösen des Optimierungsproblems mittels Fehlerrückführung (Backpropagation), dass basierend auf bekannten Gewichten des NeRFs und auf einem zu einer geschätzten Position der Kamera auf Basis des NeRF gerenderten Bild der Fehler zum tatsächlich beobachteten Bild, also einem detektierten Echosignal minimal sein soll. So lässt sich die Kameraposition relativ zum NeRF ermitteln, also ihre Entfernung und Orientierung zum NeRF.
-
In einem zweiten Schritt kann ausgehend von der Tatsche, dass im Automotive-Bereich die Position und Orientierung des Sensors (z.B. Fahrzeugassistenzkamera) innerhalb des Fahrzeugs und damit im Fahrzeugkoordinatensystem bekannt ist (z.B. mittig am oberen Rand der Frontscheibe des Fahrzeugs) die Entfernung und Orientierung des NeRF und damit des dadurch modellierten Objekts relativ zum Fahrzeug bestimmt werden. Ergibt sich im ersten Schritt nach Lösung des Optimierungsproblems beispielsweise, dass die Kameraposition jeweils im Polar- und Azimuthwinkel relativ zum NeRF 40° beträgt und zudem 20 Meter davon entfernt ist, so kann daraus kann geschlossen werden, dass das Objekt bzw. das dieses modellierende NeRF 20 Meter vom Fahrzeug entfernt ist und um 40° im Polar- und Azimuthwinkel dazu gedreht ist. Führt man diesen Prozess für jedes Echosignal des Sensors durch, kann so die Bewegung des Objektes über die Zeit nachverfolgt werden, wodurch das soeben erwähnte Tracking realisiert werden kann.
-
-
Durch eine kontinuierliche Ausführung des Trackings kann die räumliche Lage eines mittels modifiziertem NeRF modellierten Objekts verfolgt werden, ggfs. auch in Echtzeit. Im praktischen Anwendungsfall kann so mittels eines in einem Fahrzeug eingebauten auf elektromagnetischen Strahlen basierenden Messsystems die Dynamik in einer davor liegenden Szene untersucht werden. Beispielsweise kann dann etwa ein mittels eines modifizierten NeRF modelliertes Fahrzeug in seinem Abbiegeverhalten verfolgt werden. Die so gewonnene Information kann in einem Fahrassistenzsystem verwendet werden und die Fahrsicherheit weiter erhöhen.
-
Erfindungsgemäß wird ferner ein modifiziertes Neural Radiance Field zum Simulieren eines Echosignals, beispielsweise auf Basis einer volumetrischen Darstellung, einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene bereitgestellt, wobei das modifizierte Neural Radiance Field einem Eingabevektor, welcher durch einen Raumpunkt der Szene und eine davon ausgehende Richtung definiert ist, jeweils einen Ausgabevektor zuordnet, der durch eine Dichte, eine Reflektivität, einen Ausfallwinkel der direkten Reflexion und einen Grad der diffusen Reflexion definiert ist.
-
Die Erfindung betrifft ferner die Verwendung des modifizierten Neural Radiance Field zum Simulieren eines Echosignals, beispielsweis auf Basis einer volumetrischen Darstellung, mindestens eines Teils einer mittels eines auf elektromagnetischen Strahlen basierenden Messsystems abgetasteten Szene.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.
-
1 veranschaulicht den Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Im Folgenden wird ohne Einschränkung der Allgemeinheit angenommen, dass es sich bei dem auf elektromagnetischen Strahlen basierenden Messsystem um ein LiDAR handelt.
-
Ziel des vorliegenden Verfahrens ist es, auf eine relativ einfache und recheneffiziente Art und Weise neue Bilder B bzw. Bildansichten der Szene S zu simulieren bzw. zu synthetisieren. Bei der Szene S handelt es sich um eine dreidimensionale Szene, in der diverse Objekte O enthalten sein können. Die Szene S wird mittels des LiDAR abgetastet, wodurch ein Bild B erhalten wird, das dem Echo- bzw. Reflexionssignal des vom LiDAR ausgesendeten Abtaststrahls entspricht. Folglich geht es bei der Synthetisierung der Bilder B nicht um photographische Bilder, sondern um Bilder, etwa Rohdaten, wie sie das LiDAR als Sensor liefert.
-
Zur Erzeugung eines Bildes B der Szene S wird von einem Bildpunkt BP ein Bildstrahl BS in die Szene S projiziert und es wird das Szenenvolumen S bei Sample- bzw. Abtastpunkten SP abgetastet. Die Sample-Punkte SP liegen auf dem Bildstrahl BS und können, müssen aber nicht in gleichen Abständen voneinander liegen. Jeder Sample-Punkt SP ist durch einen fünfdimensionalen Eingabevektor EV definiert, welcher sich aus der dreidimensionalen Raumkoordinate (x,y,z) sowie der zweidimensionalen Richtung (θ, φ) des Bildstrahls BS zusammensetzt, welche zugleich der Betrachtungsrichtung des Bildes aus der dazugehörigen Detektorperspektive entspricht.
-
Um das neue Bild B der Szene zu rekonstruieren, wird der zu dem fünfdimensionalen Eingabevektor EV durch Abfrage des modifizierten NeRF bzw. des dementsprechenden mehrschichtigen Perzeptrons ein dazugehöriger vierdimensionaler Ausgabevektor AV ausgegeben, dessen Komponenten durch eine Dichte σ des Raumes am Ort (x,y,z), eine Reflektivität R, einen Ausfallwinkel der direkten Reflexion αref und einen Grad der diffusen Reflexion rdiffus angeben. Diese Umwandlung des Eingangsvektors EV in einen Ausgabevektors AV entspricht einer Transformation auf Basis des modifizierten NeRF gemäß der vorliegenden Erfindung. Der Bildpunkt BP in dem zu synthetisierenden Bild B wird erzeugt, indem die durch die entlang des Bildstrahls BS aufgesammelten Ausgabevektoren AV definierten Parameter mittels eines klassischen volumetrischen Render-Verfahrens zusammengefasst werden. Folglich kann das volumetrische Rendern als Zusammentragen der elektromagnetischen Eigenschaften des Szenenvolumens S entlang des Bildstrahls BS verstanden werden, welche die Propagation von den vom LiDAR in die Szene S ausgesendeten Abtaststrahlen beeinflussen bzw. modulieren. Befindet sich beispielsweise ein den Abtaststrahl vollständig absorbierendes Material in der Szene S, so kann dieses durch einen Reflexionsfaktor R von Null repräsentiert werden. Ein solcher Nullwert bedeutet, dass ein vom LiDAR in Richtung (θ, φ) ausgesendeter Abtaststrahl nicht reflektiert wird und folglich von bzw. durch diesen Raumpunkt hindurch in der Richtung (θ, φ) keine Echosignal zu erwarten ist. Ein vollständiges Durchdringen des vom LiDAR ausgesendeten Abtaststrahls kann durch eine Dichte σ von 0% repräsentiert werden, so dass an von dem betrachteten Raumpunkt keine Reflektion ausgeht.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102021002798 A1 [0005]
- CN 113706714 A [0006]
-
Zitierte Nicht-Patentliteratur
-
- iNeRF: Inverting Neural Radiance Fields for Pose Estimation“, L. Yen-Chen, P. Florence, J. T. Barron, A. Rodriguez, P. Isola and T. -Y. Lin, „iNeRF: Inverting Neural Radiance Fields for Pose Estimation,“ 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2021, pp. 1323-1330 (auch unter https://arxiv.org/abs/2012.05877 [0030]
