-
Die Erfindung betrifft ein Verfahren zum Betrieb von Fahrzeugen nach der im Oberbegriff von Anspruch 1 näher definierten Art sowie ein Verfahren zum Trainieren eines NeRF-Modells nach der im Oberbegriff von Anspruch 9 näher definierten Art.
-
Zumindest teilautomatisiert steuerbare oder gar autonom steuerbare Fahrzeuge erfordern eine zuverlässige computerbasierte Umgebungserfassung. Mit Hilfe der unterschiedlichsten Sensorsysteme sind Fahrzeuge dazu in der Lage statische und dynamische Umgebungsobjekte zu erkennen. Dies ermöglicht es Steuerbefehle für die Fahrzeuge abzuleiten, sodass das jeweilige Fahrzeug sicher durch seine Umgebung geführt werden kann. Das Erzeugen entsprechender Sensordaten sowie die insbesondere zeitnahe Verarbeitung der Sensordaten erfordert dabei viel Energie. Es ist wünschenswert diesen Energiebedarf zu reduzieren, um freiwerdende Kapazitäten anderweitig, beispielsweise als Antriebsenergie, nutzen zu können.
-
Bei der sensorgestützten Umgebungserfassung besteht immer das Risiko, dass einzelne Umgebungsobjekte „übersehen“ werden. Unter Anderem aus diesem Grund werden redundante Sensorsysteme vorgehalten, um im Fehlerfall oder bei schlechten Erfassungsbedingungen Umgebungsobjekte zuverlässiger zu erfassen. Diese Redundanz sorgt für eine weitere Steigerung des Energieverbrauchs der Fahrzeuge.
-
Die
US 2020/0349835 A1 offenbart ein clusterbasiertes Management für den Energieverbrauch von Fahrzeugen. Dabei werden mehrere Fahrzeuge zu einem Cluster zusammengeschlossen und tauschen innerhalb des Clusters Sensordaten miteinander aus. Dies ermöglicht es, dass einzelne Fahrzeuge Teile ihrer Umfeldsensorik abschalten können, da entsprechende Umgebungsbereiche bereits von der Umfeldsensorik anderer Fahrzeuge mit ausreichender Zuverlässigkeit erfasst werden. Somit wird dem Erzeugen redundanter Sensorinformationen entgegengewirkt. Da weniger Sensordaten generiert werden und somit auch ausgewertet werden müssen, lässt sich der Energieverbrauch der Fahrzeuge senken.
-
Ferner offenbart die
WO 2022/261678 A1 Systeme und Verfahren zum Konfigurieren eines Drohnenschwarms. Bei den Drohnen handelt es sich insbesondere um Multicopter, insbesondere Quadrocopter. Die Drohnen können die verschiedensten Sensoren zum Erfassen ihres Umfelds aufweisen. Beispielsweise umfassen die Drohnen Kameras. Es wird die Position zumindest einer Drohne in Bezug zur Umgebung ermittelt sowie die Relativpositionen der Drohnen untereinander. Für die Flugpfadplanung, das Steuern der Drohnen sowie eine sonstige Datenverarbeitung, können auf künstlicher Intelligenz basierende Methoden eingesetzt werden. Insbesondere werden KI-Methoden für das computergestützte Sehen eingesetzt, wie neurale Radianzfelder. Bei einem neuralen Radianzfeld (NeRF) handelt es sich um ein voll verbundenes neuronales Netz, welches neue Ansichten einer komplexen 3D Umgebung basierend auf einer teilweisen Erfassung der Umgebung basierend auf 2D Bildern erzeugen kann. Dies ermöglicht einerseits das Erzeugen besonders realitätsnaher künstlicher Repräsentationen der tatsächlichen Umgebung sowie andererseits das Verorten in der Umgebung vorliegender Objekte und der die Umgebung erfassenden Kameras in Abhängigkeit ihrer Aufnahmeposition und Blickrichtung auf die Umgebung.
-
Um eine reale Umgebung durch ein neuronales oder neurales Radianzfeld (abgeleitet vom Englischen Neural Radiance Field) repräsentieren zu können, ist es erforderlich ein entsprechendes KI-Modell für die jeweilige Umgebung zu trainieren. Während des Trainings lernt das KI-Modell eine Funktion, die jeden Punkt im dreidimensionalen Raum einen Farb- und Transparentwert zuweist, das sogenannte Radianzfeld. „Radianz“ kann in diesem Zusammenhang auch als Strahldichte oder Strahlungsdichte bezeichnet werden. Das erlernte Radianzfeld kann mittels herkömmlicher Verfahren der Computergrafik evaluiert werden, um Bilder zu erzeugen. Hierzu werden 2D Kamerabilder einer Umgebung aufgenommen. Für jedes Pixel eines entsprechenden Kamerabilds wird in die Umgebung ein Strahl gefeuert, wobei das zu erlernende Radianzfeld iterativ entlang des Strahls über das neuronale Netz evaluiert wird. Bei jedem Schritt werden die evaluierten Farbwerte anhand des dazugehörigen Transparenzwerts gemischt und die resultierende Farbe wird akkumuliert. Sobald das Ende des Strahls erreicht wird, wird der finale Farbwert dem Pixel zugewiesen. Auf diese Weise werden für Kameraparameter der Trainingsdaten Bilder generiert und mit den dazugehörigen aufgenommen Kamerabildern pixelweise verglichen, um einen Rekonstruktionsfehler zu berechnen. Die Gewichte des Modells können anschließend anhand dieses Rekonstruktionsfehlers mit gängigen Methoden der Optimierung, zum Beispiel Gradientenabstiegsverfahren, angepasst werden, sodass das neuronale Netz lernt die aufgenommen Szene zu rekonstruieren. Gleichermaßen können trainierte NeRF-Modelle eingesetzt werden, um zur Inferenzzeit detailreiche und fotorealistische Bilder der gelernten Szene aus beliebigen Blickwinkeln zu generieren.
-
Der vorliegenden Erfindung liegt die Aufgabe zugrunde ein verbessertes Verfahren zum Betrieb von Fahrzeugen anzugeben, welches eine besonders sichere Umfelderfassung der Fahrzeuge gewährleistet und dabei das Potenzial bereitstellt, den erforderlichen Energiebedarf zu reduzieren.
-
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren zum Betrieb von Fahrzeugen mit den Merkmalen des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen sowie ein Verfahren zum Trainieren eines NeRF-Modells ergeben sich aus den hiervon abhängigen Ansprüchen.
-
Ein gattungsgemäßes Verfahren zum Betrieb von Fahrzeugen, wobei die jeweiligen Fahrzeuge ihr Umfeld mittels einer Umfeldsensorik erfassen, wenigstens zwei sich in derselben Aufenthaltsumgebung aufhaltende Fahrzeuge mittels der Umfeldsensorik gewonnene Erkenntnisse austauschen, und wobei zumindest eine Teilmenge der von einem ersten Fahrzeug gewonnener Erkenntnisse in einem zweiten Fahrzeug weitergenutzt werden, wird erfindungsgemäß dadurch weitergebildet, dass
- - ein jedes Fahrzeug zumindest eine Kamera als Umfeldsensorik einsetzt;
- - eine jeweilige fahrzeuginterne Recheneinheit ein für die Aufenthaltsumgebung der Fahrzeuge angelerntes NeRF-Modell ausführt, wobei das NeRF-Modell ein neurales Radianzfeld der Aufenthaltsumgebung umfasst;
- - zumindest der vom ersten Fahrzeug aufgenommene Kamerabildstrom in das im ersten Fahrzeug ausgeführte NeRF-Modell eingelesen wird;
- - die im ersten und zweiten Fahrzeug ausgeführten NeRF-Modelle synchronisiert werden; und
- - das zweite Fahrzeug Erkenntnisse über in der Aufenthaltsumgebung befindliche Objekte über das im zweiten Fahrzeug ausgeführte NeRF-Modell bezieht.
-
Das erfindungsgemäße Verfahren beschreibt das Erzeugen einer virtuellen Umfeldrepräsentation unter Einsatz sogenannter NeRF-Modelle. Die Aufenthaltsumgebung der Fahrzeuge wird dabei von den fahrzeugeigenen Kameras erfasst. Die von den Kameras erzeugten Kameraströme werden als Eingangsgröße von den jeweiligen NeRF-Modellen eingelesen. Die NeRF-Modelle werden unter den Fahrzeugen synchronisiert, was dazu führt, dass alle Fahrzeuge gemeinsam wie ein großer Sensor fungieren. Die gemeinsam erzeugte Repräsentation der Umgebung ist durch alle Fahrzeuge gleichermaßen in Form der synchronisierten NeRF-Modelle einsehbar. Dies ermöglicht es den Fahrzeugen auch um Hindernisse und Objekte, wie die Sicht versperrende Bäume, Verkehrsschilder, parkende Autos oder Häuserecken, herumzuschauen. Somit sind die Fahrzeuge dazu in der Lage ihre Umgebung noch zuverlässiger zu erfassen, was entsprechend die Sicherheit im Straßenverkehr erhöht, da das Risiko gesenkt wird, dass statische und/oder dynamische Umgebungsobjekte übersehen werden. Dabei muss nicht zwangsweise jedes auf ein synchronisiertes NeRF-Modell zugreifendes Fahrzeug auch selbst zum Anreichern des NeRF-Modells beitragen.
-
Bei den „Erkenntnissen“, die zwischen den Fahrzeugen ausgetauscht werden, handelt es sich entsprechend um die Rohdaten der jeweiligen Kameras, also entsprechende Kamerabilder bzw. Kamerabildströme und/oder durch eine Verarbeitung der entsprechenden Kamerabildströme in den einzelnen Fahrzeugen abgeleiteter Informationen.
-
Das in den Fahrzeugen verwendete NeRF-Modell ist auf die jeweilige Aufenthaltsumgebung der Fahrzeuge antrainiert bzw. angelernt. Dies bedeutet insbesondere, dass statische Umgebungsobjekte wie Bäume, Verkehrszeichen, Gebäude, der Straßenverlauf und dergleichen realitätsnah durch das jeweilige NeRF-Modell beschrieben wird. Sich temporär in der Aufenthaltsumgebung aufhaltende dynamische Verkehrsobjekte oder auch statische Umgebungsobjekte wie auf der Fahrbahn fahrende Fahrzeuge oder am Straßenrand parkende Fahrzeuge werden dann durch den jeweils aktuell aufgenommenen und in das jeweilige NeRF-Modell eingespeisten Kamerabildstrom erfasst. Das „in Bezug setzen“ der sich sonst nicht innerhalb der Aufenthaltsumgebung aufhaltenden Objekten zu den im angelernten NeRF-Modell ansonsten enthaltenen Objekten ermöglicht es die neuen Objekte zu verorten.
-
Das zweite Fahrzeug muss ein solches Objekt dabei nicht zwangsweise selbst erfassen, da das jeweilige Objekt bereits durch das erste Fahrzeug erfasst wurde.
-
Eine vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht dabei vor, dass der vom zweiten Fahrzeug aufgenommene Kamerabildstrom in das im zweiten Fahrzeug ausgeführte NeRF-Modell eingelesen wird, bevor die im ersten und zweiten Fahrzeug ausgeführten NeRF-Modelle synchronisiert werden. Somit ist es möglich nicht nur die vom ersten Fahrzeug detektierten Umgebungsobjekte dem zweiten Fahrzeug bereitzustellen, sondern die vom zweiten Fahrzeug detektierten Objekte auch dem ersten Fahrzeug bereitzustellen. Somit erzeugen die Fahrzeuge einer Fahrzeugflotte gemeinsam eine auf den NeRF-Modellen basierende virtuelle Repräsentation der Umgebung.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens, liegt ein Erfassungsbereich der Kamera eines dritten Fahrzeugs zumindest teilweise innerhalb der Aufenthaltsumgebung und wird der vom dritten Fahrzeug generierte Kamerabildstrom an das erste Fahrzeug und/oder das zweite Fahrzeug übermittelt und der vom dritten Fahrzeug generierte Kamerabildstrom im ersten Fahrzeug und/oder im zweiten Fahrzeug in das jeweilige NeRF-Modell eingelesen, bevor das erste und das zweite NeRF-Modell synchronisiert werden. Das dritte Fahrzeug verfügt also selbst über keine NeRF-Funktionalität. Es können jedoch vom dritten Fahrzeug generierte Kamerabilder dazu genutzt werden, um die durch das erste und zweite Fahrzeug eingesetzten NeRF-Modelle mit weiteren Informationen anzureichern. Hierzu übermittelt das dritte Fahrzeug den entsprechenden Kamerabildstrom an das erste und/oder zweite Fahrzeug weiter, welche die Kamerabilder entsprechend dem jeweiligen NeRF-Modell zuführen.
-
Bei einem ausreichenden Training des zu Grunde liegenden NeRF-Modells, ist es dabei sogar nicht erforderlich, dass das dritte Fahrzeug Informationen mit überträgt, welche seine aktuelle Aufenthaltsposition und insbesondere Kameraausrichtung gegenüber der Umgebung beschreiben. So können diese Informationen durch das jeweilige NeRF-Modell selbst ermittelt werden, da die durch den Kamerabildstrom des dritten Fahrzeugs beschriebene Ansicht der Aufenthaltsumgebung bereits im NeRF-Modell enthalten ist und entsprechend abgeleitet werden kann. Es wäre jedoch auch denkbar, dass das dritte Fahrzeug hingegen solche, die entsprechenden Lage beschreibende Informationen mit überträgt. Diese Informationen können zur Validierung der aus dem NeRF-Modell abgeleiteten Kameraposition und Kameraausrichtung der Kamera des dritten Fahrzeugs verwendet werden oder aber die Zuverlässigkeit eines nicht ausreichend trainierten NeRF-Modells erhöhen.
-
Zur Kommunikation zwischen den Fahrzeugen können bewährte Mittel eingesetzt werden. Eine solche Schnittstelle wird auch als Fahrzeug-zu-Fahrzeug-Kommunikationsschnittstelle (Car2Car Kommunikation) bezeichnet. Insbesondere werden Informationen zwischen den Fahrzeugen drahtlos per Funk ausgetauscht. Es kommen bewährte Funktechnologien infrage.
-
Überträgt das dritte Fahrzeug seinen Kamerabildstrom an das erste Fahrzeug, so kann das erste Fahrzeug wie ein Relais für das zweite Fahrzeug fungieren. So inkludiert das erste Fahrzeug die aus dem Kamerabildstrom des dritten Fahrzeugs ableitbaren Erkenntnisse in das im ersten Fahrzeug ausgeführte NeRF-Modell. Durch das Synchronisieren der NeRF-Modelle des ersten und zweiten Fahrzeugs werden diese Erkenntnisse entsprechend dem zweiten Fahrzeug zur Verfügung gestellt, obwohl das zweite Fahrzeug den Kamerabildstrom des dritten Fahrzeugs nicht selbst bezieht.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass Fahrzeuge ihre jeweiligen NeRF-Modelle unmittelbar miteinander oder mittelbar über eine zentrale Recheneinrichtung synchronisieren und/oder Fahrzeuge ihre jeweils generierten Kamerabildströme unmittelbar miteinander oder mittelbar über die zentrale Recheneinrichtung austauschen. Zum Weiterreichen der aus entsprechenden Kamerabildströmen ableitbaren Erkenntnisse zwischen den Fahrzeugen, können die entsprechenden NeRF-Modelle bzw. Kamerabildströme zwischen den Fahrzeugen selbst ausgetauscht werden. Es ist jedoch auch möglich, dass eine zentrale Recheneinrichtung, beispielsweise ausgeführt als ein an das Internet angeschlossener Cloudserver, als zentrales Vermittlungsorgan fungiert.
-
Zum Synchronisieren der jeweiligen NeRF-Modelle zwischen den Fahrzeugen, können zur Reduktion der zu übertragenden Datenmenge lediglich die durch das Einlesen der Kamerabildströme der Fahrzeuge in ihr eigenes NeRF-Modell entstehenden Differenzinformationen an die jeweils anderen Fahrzeuge verteilt werden.
-
Besonders bevorzugt führt eine zentrale Recheneinrichtung ein Zentral-NeRF-Modell aus, wobei das Zentral-NeRF-Modell ein neurales Radianzfeld einer Region umfasst, wobei die Aufenthaltsumgebung eine Teilmenge der Region darstellt, und wobei die Fahrzeuge zum Ausführen und Synchronisieren ihrer jeweiligen NeRF-Modelle zumindest den mit der jeweiligen Aufenthaltsumgebung korrelierenden Teil des Zentral-NeRF-Modells fortwährend von der zentralen Recheneinrichtung beziehen und mit dieser synchronisieren. Mit anderen Worten „streamt“ die zentrale Recheneinrichtung das zentral verwaltete Zentral-NeRF-Modell, bzw. zumindest den mit der jeweiligen Aufenthaltsumgebung der Fahrzeuge übereinstimmenden Teil, in die Fahrzeuge selbst. Die Fahrzeuge können ihre Kamerabildströme an die zentrale Recheneinrichtung übermitteln, welche diese daraufhin dem Zentral-NeRF-Modell zuführt. Die Fahrzeuge können jedoch auch in ihrer eigenen Recheneinheit die Kamerabildströme dem fortwährend von der zentralen Recheneinrichtung bezogenen NeRF-Modell zuführen und lediglich die daraus gewonnenen Erkenntnisse über Umgebungsobjekte der zentralen Recheneinrichtung zum Aktualisieren des Zentral-NeRF-Modells zuführen. In jedem Falle wird so eine virtuelle Liverepräsentation der Umgebung auf der zentralen Recheneinrichtung ausgeführt, die zur Liveanwendung in die Fahrzeuge übertragen wird. Hierdurch kann der Berechnungsaufwand für die Fahrzeuge reduziert werden, da die Fahrzeuge so selbst nicht mehr das NeRF-Modell selbst aktualisieren müssen, sondern dieses bereits aktualisiert von der zentralen Recheneinrichtung bezogen wird. Zudem müssen die Fahrzeuge selbst nicht mehr ermitteln mit welchen anderen Fahrzeugen ihre jeweiligen NeRF-Modelle synchronisiert werden müssen.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass der Aufenthalt von zwei Fahrzeugen in derselben Aufenthaltsumgebung durch das sich zumindest teilweise Überschneiden der Erfassungsbereiche der Umfeldsensorik der beiden Fahrzeuge, insbesondere der beiden Kameras, erkannt wird. Hierzu können bewährte informationstechnische Verfahren wie die sogenannte Kreuzkorrelationsanalyse oder auch Inferenz von Winkel- und Positionsdifferenzen aus Kamerabildern, ermittelt mittels neuronaler Netze, eingesetzt werden. Der Aufenthalt von zwei Fahrzeugen in derselben Aufenthaltsumgebung kann auch auf andere Art und Weise ermittelt werden. Beispielsweise können die Fahrzeuge über Positionsbestimmungsmittel wie eine Navigationseinheit verfügen. Eine solche Navigationseinheit ermöglicht das Ermitteln von Geokoordinaten, an denen sich das jeweilige Fahrzeug aufhält, basierend auf von globalen Navigationssatelittensystemen wie beispielsweise GPS übermittelten Signalen.
-
Diese Positionsinformationen können mit einer digitalen Straßenkarte abgeglichen werden. Die digitale Straßenkarte kann in unterschiedliche fest definierte Aufenthaltsumgebungen untereilt sein. Beim Wechsel der Aufenthaltsumgebung können für die neue Aufenthaltsumgebung entsprechend trainierte NeRF-Modelle von der zentralen Recheneinrichtung nachgeladen werden. insbesondere können vorab die für eine Navigationsroute eines Fahrzeugs zu durchfahrenden Aufenthaltsumgebungen alle erforderlichen NeRF-Modelle vorab geladen werden. Hierdurch wird das Risiko gesenkt, dass während der Fahrt mit dem Fahrzeug von einem Startort zu einem Zielort, beispielsweise aufgrund des Durchfahrens eines Funklochs, ein erforderliches NeRF-Modell nicht rechtzeitig in die Recheneinheit des jeweiligen Fahrzeugs eingespielt wird. Zum Bevorraten entsprechender NeRF-Modelle umfasst die jeweilige fahrzeuginterne Recheneinheit einen ausreichend großen Datenspeicher, insbesondere in Form eines computerlesbaren Speichermediums wie einer Festplatte oder eines Flashspeichers.
-
Entsprechend einer weiteren vorteilhaften Ausgestaltung des erfindungsgemäßen Verfahrens, deaktiviert das zweite Fahrzeug zumindest seine Kamera als Teil der Umfeldsensorik, solange das zweite Fahrzeug Erkenntnisse aus seinem NeRF-Modell bezieht. Hierdurch lässt sich der Energieverbrauch des zweiten Fahrzeugs senken. So muss das zweite Fahrzeug entsprechende Teile der Umfeldsensorik nicht mehr betreiben, da ausreichende Erkenntnisse aus dem NeRF-Modell beziehbar sind. Dies ist insbesondere dann der Fall, wenn der Erfassungsbereich der Kamera des zweiten Fahrzeugs sich zumindest teilweise mit dem Erfassungsbereich der Kamera des ersten Fahrzeugs überschneidet. Entsprechend wird bevorzugt hier die Kamera des zweiten Fahrzeugs deaktiviert. Beispielsweise kann sich im Innenstadtverkehr ein Pulk aus mehreren Fahrzeugen entlang eines Straßenabschnitts bewegen. Es reicht dann unter Durchführung des erfindungsgemäßen Verfahrens aus, dass nur einige wenige Fahrzeuge dieses Pulks ihre Umfeldsensorik aktiviert haben, wobei aus der Sensorik ableitbare Erkenntnisse mittels der synchronisierten NeRF-Modelle den jeweils anderen Fahrzeugen des Pulks zugänglich gemacht werden. Da hier besonders viele Fahrzeuge ihre Umfeldsensorik zumindest in Teilen abschalten können, lässt sich entsprechend viel Energie einsparen.
-
Eine weitere vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens sieht ferner vor, dass die Recheneinheit im zweiten Fahrzeug die vom NeRF-Modell bezogenen Erkenntnisse zum Ableiten von Steuerungsbefehlen für eine zumindest teilautomatisierte Steuerung nutzt. Somit lassen sich die aus dem NeRF-Modell abgeleiteten Erkenntnisse besonders nutzbringend verwenden. Wie bereits erwähnt, beschreiben diese Erkenntnisse den Aufenthaltsort von statischen und dynamischen Umgebungsobjekten in der Aufenthaltsumgebung. Somit kann das zweite Fahrzeug sein Fahrverhalten an die jeweilige Situation anpassen. Dies ermöglicht einen unfallfreien Betrieb des zweiten Fahrzeugs. Insbesondere können Umgebungsobjekte erkannt werden, die durch die eigene Sensorik des jeweiligen Fahrzeugs nicht oder noch nicht detektierbar sind. Hierdurch erhält das jeweilige Fahrzeug frühzeitig relevante Informationen über Umgebungsobjekte. Dies ermöglicht es entsprechend frühzeitig das Steuerungsverhalten des Fahrzeugs anzupassen. Wird beispielsweise aus dem NeRF-Modell abgeleitet, dass ein Radfahrer eine rote Ampel überfahren hat, so kann das zweite Fahrzeug einen Anfahrvorgang unterbinden. Dies reduziert das Unfallrisiko gegenüber dem Durchführen des Anfahrvorgangs. Hier könnte nämlich der Radfahrer potentiell durch die eigene Sensorik des zweiten Fahrzeugs zu spät erkannt werden, sodass das zweite Fahrzeug nicht mehr rechtzeitig bremsen kann und ein Unfall droht.
-
Insbesondere können dabei Steuerungsbefehle zur automatischen Übernahme der Längsführung und/oder Querführung eines Fahrzeugs abgeleitet werden.
-
Ein erfindungsgemäßes Verfahren zum Trainieren eines in einem im vorigen beschriebenen Verfahren einsetzbaren NeRF-Modells, sieht vor, dass
- - eine zentrale Recheneinrichtung zumindest ein NeRF-Modell der Aufenthaltsumgebung, insbesondere ein Zentral-NeRF-Modell einer Region, ausführt, wobei die Aufenthaltsumgebung eine Teilmenge der Region darstellt;
- - die Fahrzeuge einer Fahrzeugflotte während eines Zeitraums Kamerabildströme generieren und diese gemeinsam mit Aufnahmeparametern an die zentrale Recheneinrichtung übermitteln, wobei die Aufnahmeparameter zumindest einen Aufenthaltsort und eine Kameraausrichtung gegenüber der Umgebung während der Generierung des jeweiligen Kamerabildstroms umfassen; und
- - Einlesen der Kamerabildströme und Aufnahmeparameter durch die zentrale Recheneinrichtung zum Trainieren des NeRF-Modells, insbesondere des Zentral-NeRF-Modells.
-
Mit Hilfe der im vorigen beschriebenen Verfahrensschritte lässt sich für eine jeweilige Aufenthaltsumgebung ein für den Einsatz im Fahrzeug ausreichend trainiertes NeRF-Modell erzeugen. Je mehr Fahrzeuge Kamerabildströme ein und derselben Aufenthaltsumgebung erzeugen, desto geringer kann dabei der erforderliche Zeitraum zum Erfassen der Kamerabildströme ausfallen. Dabei ist es generell auch möglich, dass nicht vollständig ausgefüllte neurale Radianzfelder verwendet werden, da sich Fahrzeuge typischerweise nur innerhalb eines bestimmten vorgegebenen Fahrpfads innerhalb der Umgebung fortbewegen, nämlich entlang der Fahrspuren der jeweiligen Fahrbahn. Blickwinkel in die Umgebung aus von der Fahrbahn abweichenden Positionen können dann gegebenenfalls ohne Beeinträchtigung der korrekten Funktionsweise im neuralen Radianzfeld fehlen. Es wäre jedoch auch denkbar, dass die Fahrzeuge nicht nur zur Fahrzeugfront hin ausgerichtete Kameras aufweisen, sondern auch anders orientierte Kameras, beispielsweise Kameras, welche in Richtung der Fahrzeugquerachse seitliche Bereiche neben einem Fahrzeug erfassen oder auch den rückwärtigen Bereich. Somit lässt sich die Umgebung um ein Fahrzeug noch umfangreicher Erfassen, sodass insbesondere Lücken in einem neuralen Radianzfeld zuverlässig geschlossen werden können.
-
Zum Trainieren der NeRF-Modelle können dedizierte Messfahrzeuge eingesetzt werden, welche während eines dedizierten Messzeitraums die entsprechende Aufenthaltsumgebung scannen.
-
Besonders bevorzugt trainiert jedoch die zentrale Recheneinrichtung das zumindest eine NeRF-Modell, insbesondere das Zentral-NeRF-Modell, durch das fortwährende Beziehen der Kamerabildströme und/oder lokal ausgeführten NeRF-Modelle zumindest einer Teilmenge der Fahrzeuge der Fahrzeugflotte fortwährend weiter. Während das im vorigen beschriebene erfindungsgemäße Verfahren zum Betrieb der Fahrzeuge durchgeführt wird, müssen zum Eintragen von Umgebungsobjekten in den entsprechenden NeRF-Modellen bzw. den durch die NeRF-Modelle bereitgestellten virtuellen Umgebungsrepräsentationen, Kamerabildströme generiert werden. Diese Kamerabildströme können ebenfalls der zentralen Recheneinrichtung zugeführt werden, damit die jeweiligen NeRF-Modelle ständig weitertrainiert werden. Dies ermöglicht es angemessen auf Änderungen der Umgebung zu reagieren, wie beispielsweise das Fällen von Bäumen, Aufstellen neuer Verkehrszeichen, Ändern einer Verkehrsführung, insbesondere im Baustellenbereich, und dergleichen.
-
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens zum Betrieb von Fahrzeugen sowie des Verfahrens zum Trainieren eines NeRF-Modells ergeben sich auch aus den Ausführungsbeispielen, welche nachfolgend unter Bezugnahme auf die Figuren näher beschrieben werden.
-
Dabei zeigen:
- 1 eine schematisierte Darstellung des Vorgangs zur Erzeugung eines neuralen Radianzfelds einer Aufenthaltsumgebung; und
- 2 eine schematisierte Darstellung einer Verkehrsszene, zeigend mehrere Fahrzeuge in einem Kreuzungsbereich, welche ihre Umgebung mit Hilfe von Kameras erfassen und eine virtuelle Repräsentation der Umgebung unter Einsatz von NeRF-Modellen erzeugen.
-
Ein erfindungsgemäßes Verfahren zum Betrieb von in 2 gezeigten Fahrzeugen 1 basiert grundlegend auf der Erzeugung einer virtuellen Repräsentation 9 einer Umgebung unter Einsatz sogenannter neuraler Radianzfelder 6. Ein solches neurales Radianzfeld 6 wird von einem NeRF-Modell 5 erzeugt bzw. ist von einem solchen umfasst. Es handelt sich dabei um ein Modell des maschinellen Lernens bzw. eine bestimmte Form eines künstlichen neuronalen Netzes. Ein NeRF-Modell 5 ist dazu in der Lage aus zweidimensionalen Kamerabildaufnahmen 12 einer Aufenthaltsumgebung 2 eine volumetrische dreidimensionale virtuelle Repräsentation der Aufenthaltsumgebung 2 zu erzeugen. Hierzu wird die Aufenthaltsumgebung 2 aus einer Vielzahl unterschiedlicher Blickwinkel erfasst und in jeweiligen Kamerabilder dem NeRF-Modell 5 zugeführt.
-
Ausgehend von einem entsprechenden Betrachter 10, insbesondere einer jeweiligen in 2 gezeigten Kamera 3, werden Strahlen 11 in die Aufenthaltsumgebung 2 geworfen. Entlang eines jeweiligen Strahls 11 werden für die einzelnen volumetrischen Punkte 13 des die Aufenthaltsumgebung 2 ausbildenden Volumens, Farb- und Transparenzwerte erfasst und gespeichert. In 1 sind transparente Volumenteile durch weiße Kugeln auf einem jeweiligen Strahl 11 angedeutet und von einem Zylinder eingenommene Volumenteile durch schwarze Kugeln. Bei dem in 1 gezeigten Ausführungsbeispiel sind lediglich zwei Betrachter 10 gezeigt. Zur Erzeugung eines ausreichend mit Informationen gefüllten neuralen Radianzfelds 6, also eines ausreichend trainierten NeRF-Modells 5, ist jedoch das Erfassen der Aufenthaltsumgebung 2 aus einer Vielzahl unterschiedlicher Kamerapositionen und Kamerablickwinkel erforderlich.
-
Insbesondere ist das NeRF-Modell 5 ausreichend trainiert, wenn für jeden volumetrischen Punkt 13 des neuralen Radianzfelds 6 entsprechende Farb- und Transparenzwerte vorliegen.
-
Ist dies der Fall, so können aus allen erdenklichen Betrachterpositionen und Blickrichtungen auf die Aufenthaltsumgebung 2 realitätsnahe 2D Ansichten erzeugt werden.
-
Ein erfindungsgemäßes Verfahren zum Betrieb von Fahrzeugen 1 setzt solche NeRF-Modelle 5 ein, um eine zwischen den in 2 gezeigten Fahrzeugen 1 ausgetauschte virtuelle Repräsentation 9 der Umgebung bereitstellen zu können. Hierzu erfassen jeweils die in 2 gezeigten Fahrzeuge 1 ihr Umfeld mit wenigstens einer Kamera 3. Von der Kamera 3 erzeugte Kamerabilder werden von einer jeweiligen fahrzeuginternen Recheneinheit 4 ausgewertet. Kamerabildströme können auch unter den Fahrzeugen 1 untereinander sowie mit einer zentralen Recheneinrichtung 8 ausgetauscht werden. Eine jeweilige Kamera 3 weist einen Erfassungsbereich 7 auf. Wie 2 entnommen werden kann, sind die einzelnen Erfassungsbereiche 7 durch entsprechende Umgebungsobjekte wie Bäume, Lkws, Häuserecken und dergleichen eingeschränkt bzw. verschattet. In den jeweiligen Schatten liegende Objekte wie beispielsweise ein Fahrradfahrer 14 oder ein Pkw 15 werden dann durch die entsprechenden Kameras 3 potenziell übersehen.
-
So ist insbesondere ein erstes Fahrzeug 1.1 nicht dazu in der Lage den Pkw 15 aufgrund der Verschattung durch einen Lkw 16 zu erkennen. Dafür befindet sich der Fahrradfahrer 14 im Erfassungsbereich 7 der Kamera 3 des ersten Fahrzeugs 1.1. Hingegen kann ein zweites Fahrzeug 1.2 den Pkw 15 erkennen, nicht jedoch den Fahrradfahrer 14.
-
Eine jeweilige fahrzeuginterne Recheneinheit 4 führt ein für die Aufenthaltsumgebung 2 der Fahrzeuge 1 angelerntes NeRF-Modell 5 aus, welches jeweils ein entsprechendes neurales Radianzfeld 6 der Aufenthaltsumgebung 2 umfasst. Der jeweilige von den Fahrzeugen 1 aufgenommene Kamerabildstrom wird in die auf den jeweiligen Recheneinheiten 4 ausgeführten NeRF-Modelle 5 eingelesen. 2 zeigt dabei im unteren Bereich die jeweils durch das erste und zweite Fahrzeuge 1.1, 1.2 generierten virtuellen Repräsentationen 9 der Umgebung. Im neuralen Radianzfeld 6 des ersten Fahrzeugs 1.1 fehlt entsprechend der Pkw 15 und das zweite Fahrzeug 1.2, während im neuralen Radianzfeld 6 des zweiten Fahrzeugs 1.2 das erste Fahrzeug 1.1 und der Radfahrer 14 fehlen. Da die jeweiligen Fahrzeuge 1.1 und 1.2 sich selbst in der virtuellen Repräsentation 9 der Umgebung verorten können, können sie sich selbst dort eintragen.
-
Die jeweiligen NeRF-Modelle 5 des ersten und zweiten Fahrzeugs 1.1 und 1.2 werden miteinander synchronisiert, sodass die jeweils erkannten Objekte in einer gemeinsamen virtuelle Repräsentation 9 der Umgebung übertragen werden. Das derartig erhaltene synchronisierte NeRF-Modell 5.SYNC wird dann von den jeweiligen Fahrzeugen 1 bzw. Recheneinheiten 4 für weitere Zwecke weiterverarbeitet. So ist das zweite Fahrzeug 1.2 dazu in der Lage aus dem synchronisierten NeRF-Modell 5.SYNC alle relevanten Verkehrsteilnehmer zu erkennen und entsprechende Steuerungsbefehle abzuleiten. So kann beispielsweise das zweite Fahrzeug 1.2 zumindest teilautomatisiert oder auch autonom gesteuert werden ohne einen Unfall mit dem Fahrradfahrer 14 zu riskieren.
-
Entsprechend vortrainierte NeRF-Modelle 5 können von der zentralen Recheneinrichtung 8 bezogen werden. Insbesondere führt die zentrale Recheneinrichtung 8 ein Zentral-NeRF-Modell 5.Z aus, welches neurale Radianzfelder 6 für eine Vielzahl unterschiedlicher Aufenthaltsumgebungen 2 bereithält. Das Zentral-NeRF-Modell 5.Z bzw. das entsprechende NeRF-Modell 5 der Aufenthaltsumgebung 2, wurde durch die zentrale Recheneinrichtung 8 basierend auf Flottendaten trainiert, welche von einer Vielzahl an Fahrzeugen 1 während ihres Betriebs aufgenommen wurden.
-
Insbesondere wenn sich die Erfassungsbereiche 7 der Umfeldsensorik, insbesondere der Kameras 3 mehrerer Fahrzeuge 1, zumindest teilweise überschneiden, kann zumindest eines der Fahrzeuge 1 die entsprechende Umfeldsensorik deaktivieren. So kann das jeweilige Fahrzeug nämlich die entsprechenden Erkenntnisse über in der Umgebung befindliche Objekte aus dem synchronisierten NeRF-Modell 5.SYNC auslesen. Hierdurch lässt sich Energie sparen.
-
Das zuverlässige Erzeugen der virtuellen Repräsentation 9 der Umgebung mittels synchronisierter NeRF-Modelle 5.SYNC erlaubt es Umgebungsobjekte zuverlässig zu detektieren, auch wenn diese für einige der Fahrzeuge 1 nicht in direkter Detektionsreichweite bzw. im eigenen Erfassungsbereich 7 liegen. Somit kann das Risiko des Entstehens von Unfällen abgesenkt werden. Zumindest teilautomatisiert steuerbare Fahrzeuge können somit sicherer gesteuert werden. Zudem kann der Gesamtenergieverbrauch einer Flotte aus Fahrzeugen 1 durch das Ausschalten entsprechender redundanter Sensorik reduziert werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2020/0349835 A1 [0004]
- WO 2022/261678 A1 [0005]
