-
Die vorliegende Erfindung betrifft die Erzeugung realistischer Radardaten aus bereits vorhandenen Radardaten sowie ganz allgemein die Verarbeitung von Radardaten mittels Machine Learning.
-
Stand der Technik
-
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
-
Die Erfassung von Objekten mittels Radar ist von den Lichtverhältnissen unabhängig und beispielsweise auch bei Nacht auf größere Entfernung möglich, ohne dass der Gegenverkehr durch Fernlicht geblendet wird. Aus den Radardaten gehen weiterhin unmittelbar die Entfernung und Geschwindigkeit von Objekten hervor. Diese Informationen sind wichtig für die Beurteilung, ob es zu einer Kollision mit den Objekten kommen kann. Um welchen Typ von Objekt es sich handelt, ist jedoch aus Radarsignalen nicht unmittelbar erkennbar. Diese Erkennung wird aktuell durch die Berechnung von Attributen aus der Digitalen Signalverarbeitung gelöst.
-
Trainierte Machine Learning-Modelle, wie etwa neuronale Netzwerke, können hier insbesondere für die Objekterkennung einen wesentlichen Beitrag leisten. Zum Trainieren dieser Modelle werden Trainingsdaten benötigt, die häufig auf Testfahrten aufgezeichnet und anschließend mit den in der jeweils beobachteten Szenerie tatsächlich enthaltenen Objekten annotiert („gelabelt“) werden. Das Labeln erfordert viel manuelle Arbeit und ist dementsprechend teuer. Die
DE 10 2018 204 494 B3 offenbart einen Generator, mit dem sich ein gegebener Vorrat an Trainingsdaten um synthetische Radardaten erweitern lässt.
-
EP 3 690 753 A1 offenbart ein Verfahren, ein Computerprogramm und eine Vorrichtung zum Bestimmen eines Fahrkontexts eines Fahrzeugs. In einem ersten Schritt werden Sensordaten eines oder mehrerer Sensoren des Fahrzeugs empfangen. Anschließend wird anhand der Sensordaten ein Belegungsraster ermittelt. Schließlich wird das Belegungsraster mit einem neuronalen Faltungsnetz geparst, um den Fahrkontext zu bestimmen.
-
DE 10 2016 210 534 A1 offenbart ein Verfahren zum Klassifizieren einer Umgebung eines Fahrzeugs, umfassend die Schritte: Bereitstellen einer Repräsentation der Umgebung, wobei die Repräsentation eine Karte umfasst, die Belegungswahrscheinlichkeiten vordefinierter Unterbereiche innerhalb der Karte aufweist, und Einordnen der Umgebung in vordefinierte Kategorien durch ein maschinelles Lernverfahren, wobei das maschinelle Lernverfahren das Einordnen anhand eines vordefinierten Klassifikators und der bereitgestellten Repräsentation der Umgebung vornimmt.
-
US 2019/0087667 A1 offenbart ein Gerät zur Unterscheidung zwischen befahrbaren und nicht befahrbaren Objekten. Die Vorrichtung umfasst: eine Objekterkennungssensoreinheit, die konfiguriert ist, Daten über einen Raum um den Sensor herum zu erzeugen, eine Kartenerzeugungseinheit, die konfiguriert ist, um die Daten zu verwenden, um eine Belegungsrasterkarte und eine Freiraumrasterkarte für den Raum um den Objekterkennungssensor zu erzeugen Einheit. Sowohl die Belegungsrasterkarte als auch die Freiraumrasterkarte enthält ein Array von Zellen. Jede Zelle enthält einen Belegungsraum-Wahrscheinlichkeitswert, der die Wahrscheinlichkeit dafür darstellt, dass die jeweilige Zelle belegt ist, und jede Zelle der freien Gitterkarte enthält einen Freiraum-Wahrscheinlichkeitswert, der die Wahrscheinlichkeit dafür darstellt, dass die jeweilige Zelle frei ist.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Verfahren zur Umwandlung von Quell-Radardaten in Ziel-Radardaten entwickelt. Die Quell-Radardaten sind Radardaten, die durch Beobachtung einer Szenerie mit einer Quell-Konfiguration eines Radarsystems erhalten wurden. Die Ziel-Radardaten sind Radardaten, die bei Beobachtung der gleichen Szenerie mit einer Ziel-Konfiguration eines Radarsystems zu erwarten sind. Sowohl die Quell-Konfiguration als auch die Ziel-Konfiguration eines Radarsystems umfassen jeweils mindestens einen Sender und einen Empfänger für Radarstrahlung und können zusätzlich durch weitere Parameter, wie beispielsweise Einstellungen des Senders und/oder des Empfängers, charakterisiert sein.
-
Dabei kann die Quell-Konfiguration mit der Ziel-Konfiguration identisch sein. In diesem Fall kann ein gegebener Vorrat von Radardaten für eine Konfiguration des Radarsystems um realistische synthetische Radardaten erweitert werden, so wie dies beispielsweise mit dem eingangs erwähnten Generator bewerkstelligt werden kann.
-
Mit dem vorliegenden Verfahren können jedoch auch ausgehend von Quell-Radardaten, die mit einer Quell-Konfiguration eines Radarsystems aufgenommen wurden, Ziel-Radardaten gewonnen werden, die bei Beobachtung der gleichen Szenerie mit einer ganz anderen Ziel-Konfiguration des gleichen oder eines anderen Radarsystems realistischerweise zu erwarten sind. Auf diese Weise lässt sich ein und derselbe gegebene Vorrat an Radardaten, der möglicherweise auch schon gelabelt ist, beispielsweise als Trainingsdaten für die Objekterkennung mit beliebigen neuen Ziel-Konfigurationen eines Radarsystems wiederverwenden. Dadurch wird ein erheblicher Aufwand für das physische Aufnehmen weiterer Radardaten eingespart. Sofern das Radarsystem von einem Fahrzeug getragen wird, kann insbesondere beispielsweise der Zusatzaufwand für die Durchführung weiterer Testfahrten drastisch reduziert werden.
-
Beispielsweise kann zu einem Zeitpunkt, zu dem bereits sehr viele Testfahrten mit einem an einer bestimmten Stelle am Fahrzeug montierten Radarsensor durchgeführt worden sind, die Entscheidung getroffen werden, dass der Radarsensor künftig an einer anderen Stelle am Fahrzeug anzubringen ist.
-
Dadurch ändert sich die Aufnahmecharakteristik des Radarsensors. Insbesondere ändern sich das beobachtbare Sichtfeld und die Perspektive. Bislang konnten die auf den vorherigen Testfahrten aufgenommenen Radardaten nicht mehr verwendet werden, um eine Objekterkennung oder eine andere Auswertung auf der Basis von Radardaten zu trainieren, die von der neuen Position des Sensors aus aufgenommen wurden. Stattdessen musste die Aufnahme der Trainingsdaten wieder bei Null beginnen.
-
Auch das Einbauen des Radarsensors in ein Fahrzeug eines anderen Herstellers konnte bislang zur Folge haben, dass die zuvor für Trainingszwecke aufgenommenen Radardaten nicht mehr nutzbar waren. Radarsensoren wirken nicht auf jeden Endkunden optisch ansprechend und werden daher häufig hinter dem Emblem des Fahrzeugherstellers verbaut. Beim Durchgang durch derartige Embleme wird die Radarstrahlung beeinflusst, und dieser Einfluss ändert sich, wenn das Emblem eines Herstellers gegen das Emblem eines anderen Herstellers ausgetauscht wird. Insofern waren Radardaten, die hinter einem ersten Emblem aufgenommen wurden, nur bedingt vergleichbar mit Radardaten, die hinter einem zweiten Emblem aufgenommen wurden. Mit dem vorliegenden Verfahren kann diese Signalveränderung künstlich erzeugt werden, so dass ein hinter dem ersten Emblem aufgenommener Vorrat an Trainingsdaten auch nach dem Austausch des ersten Emblems gegen das zweite Emblem weiterverwendet werden kann.
-
Allgemein umfassen die Quell-Radardaten, bzw. die Ziel-Radardaten, mindestens Ortskoordinaten von Quell-Reflex-Orten, bzw. Ziel-Reflex-Orten, von denen reflektierte Radarstrahlung in das Radarsystem eingefallen ist. Im Rahmen des Verfahrens wird nun zunächst ein zwei- oder mehrdimensionales Quell-Array von Gitterzellen für die Ortskoordinaten der Quell-Reflex-Orte bereitgestellt. Aus den Ortskoordinaten aller Quell-Reflex-Orte wird für jede Gitterzelle eine Wahrscheinlichkeit und/oder Häufigkeit dafür, dass ein oder mehrere Quell-Reflex-Orte in der Gitterzelle liegen, ermittelt und der jeweiligen Gitterzelle zugeordnet. Es wird ein Quell-Tensor gebildet, der mindestens das mit Wahrscheinlichkeiten und/oder Häufigkeiten besetzte Quell-Array umfasst.
-
Hierzu kann beispielsweise einem Kreis oder einer Kugel mit einem vorgegebenen Radius um den Quell-Reflex-Ort eine Belegungswahrscheinlichkeit von 1 zugeordnet werden. Diese Belegungswahrscheinlichkeit kann dann auf alle Gitterzellen des Quell-Arrays, auf die sich die Fläche des Kreises, bzw. das Volumen der Kugel, verteilt, entsprechend der Flächenanteile, bzw. Volumenanteile, verteilt werden.
-
Es wurde erkannt, dass die speziellen physikalischen Eigenschaften der Beobachtung mit Radarstrahlung zu Unsicherheiten in den Radardaten führen. Die optische Beobachtung beispielsweise mit einer Kamera oder mit Lidar verwendet Strahlung, die im Vergleich zu den abzubilden Strukturen extrem kurzwellig ist, und liefert somit sehr scharfe Bilder. Im Vergleich hierzu ist Radarstrahlung wesentlich langwelliger, so dass die Welleneigenschaften der Strahlung merklich zum Vorschein kommen und die gemessenen Reflexe weitgehend stochastische Eigenschaften besitzen.
-
Konkret bedeutet dies, dass Radarreflexe
- • zeitlich fluktuieren, d.h. in aufeinanderfolgenden Einzelmessungen erscheinen und wieder verschwinden, und
- • räumlich fluktuieren, d.h. in den Ortskoordinaten der Orte, von denen die Radarstrahlung zu kommen scheint, schwanken und rauschen.
-
Das wahre Bild der Umgebung kann aus Radarmessungen somit typischerweise nur über eine Vielzahl von Radarmessungen als Mittelwert und/oder Überlagerung der Einzelmessungen erhalten werden.
-
Diese Unsicherheit ist in dem Quell-Tensor größtenteils unterdrückt, da dieser Quell-Tensor Größen enthält, die Wahrscheinlichkeitsverteilungen der Radardaten charakterisieren. Der Quell-Tensor enthält somit im Wesentlichen das Ergebnis einer Verarbeitung räumlicher Informationen aus der beobachteten Szenerie mit einer ebenfalls nur räumlich variablen, zeitunabhängigen Übertragungsfunktion.
-
Der Quell-Tensor wird nun zu einem Ziel-Tensor transformiert, der mindestens ein Ziel-Array von Gitterzellen für die Ortskoordinaten der Ziel-Reflex-Orte umfasst. Dieses Ziel-Array gibt für jede Gitterzelle eine Wahrscheinlichkeit und/oder Häufigkeit dafür an, dass bei Beobachtung der Szenerie mit der Ziel-Konfiguration erhaltene Ziel-Reflex-Orte in der jeweiligen Gitterzelle liegen. Anhand der Wahrscheinlichkeiten und/oder Häufigkeiten im Ziel-Array werden Ortskoordinaten von Ziel-Reflex-Orten gesampelt, so dass die Ziel-Radardaten entstehen.
-
In dem eingangs genannten einfachen Fall, in dem nur eine einzige Konfiguration verwendet wird und ein für diese Konfiguration vorliegender Vorrat von Radardaten zu erweitern ist, ist die Quell-Konfiguration mit der Ziel-Konfiguration identisch, und der Quell-Tensor wird identisch als Ziel-Tensor übernommen. Es werden dann aus genau den Wahrscheinlichkeitsverteilungen, die anhand der ursprünglichen Radardaten ermittelt wurden, neue Samples gezogen.
-
Wenn die Quell-Konfiguration und die Ziel-Konfiguration hingegen nicht identisch sind, stehen die gesuchten Ziel-Reflex-Orte wiederum über eine räumliche, zeitunabhängige Übertragungsfunktion in Beziehung zum Ziel-Tensor. Der Zusammenhang zwischen dem Quell-Tensor und dem Ziel-Tensor ist dann durch die Unterschiede zwischen der Quell-Konfiguration und der Ziel-Konfiguration begründet und ebenfalls zeitunabhängig. Gleichwohl existiert für diesen Zusammenhang in der Regel keine geschlossene Formel. Der Weg vom Quell-Tensor zum Ziel-Tensor ist jedoch dem maschinellen Lernen zugänglich. Das bedeutet, dass der Quell-Tensor mit einem trainierten Machine Learning-Modell zu dem Ziel-Tensor transformiert werden kann. Das Machine Learning-Modell wiederum lässt sich mit Radardaten, die sich auf die Quell-Konfiguration beziehen, und Radardaten, die sich auf die Ziel-Konfiguration beziehen, trainieren.
-
Dabei ist die Menge an Trainingsdaten, die für ein solches Training erforderlich ist, klein gegenüber der Menge an Quell-Radardaten, die es in konkreten Anwendungen üblicherweise in Ziel-Radardaten umzuwandeln gilt. Wenn diese Menge an Quell-Radardaten zur Verfügung steht und eine mindestens gleich große Menge an Ziel-Radardaten benötigt wird, ist also der Aufwand für das Beschaffen von Trainingsdaten und das anschließende Trainieren eines Machine Learning-Modells, das den Quell-Tensor in den Ziel-Tensor transformiert und somit letztendlich von den Quell-Radardaten auf die Ziel-Radardaten führt, deutlich geringer als der Aufwand für das direkte messtechnische Beschaffen der gesuchten Ziel-Radardaten. Des Weiteren kann das Machine Learning-Modell auch für das Transformieren weiterer Radardaten von der Quell-Konfiguration auf die Ziel-Konfiguration immer wieder verwendet werden.
-
Wie zuvor erläutert, können sich die Quell-Konfiguration und die Ziel-Konfiguration insbesondere beispielsweise mindestens dahingehend unterscheiden, dass
- • beide Konfigurationen unterschiedliche Radarsensoren umfassen, und/oder
- • die Radarsensoren in beiden Konfigurationen räumlich unterschiedlich angeordnet sind, und/oder
- • in beiden Konfigurationen die Radarstrahlung in unterschiedlicher Weise durch Materialien, die zwischen mindestens einem Radarsensor und der beobachteten Szenerie angeordnet sind, beeinflusst wird.
-
Somit hat das hier vorgestellte Verfahren die Wirkung, dass ein derartiger Wechsel der Konfiguration einen vor dem Wechsel bereits erworbenen Vorrat an Radardaten nicht „entwertet“. Stattdessen ist lediglich ein für diesen Wechsel spezifisches trainiertes Machine Learning-Modell zu beschaffen, bzw. ein derartiges Modell ist zu trainieren.
-
Dies bedeutet im Umkehrschluss, dass das „Entwerten“ zuvor erworbener Radardaten kein gewichtiges Argument mehr gegen einen angestrebten Wechsel der Konfiguration ist. Wenn sich beispielsweise herausstellt, dass ein neuer Radarsensor für ein Fahrzeug Radardaten mit einer deutlich besseren Qualität liefert als der bisher verwendete Radarsensor, kann gleichwohl die Wiederholung aller bislang mit dem alten Radarsensor durchgeführten Testfahrten ein so hoher Preis für den Umstieg sein, dass der Umstieg unter dem Strich nicht mehr wirtschaftlich ist. Wenn dieser Preis stark reduziert wird, steht dem Umstieg nichts mehr im Wege.
-
In einer besonders vorteilhaften Ausgestaltung umfasst das Machine Learning-Modell eine Encoder-Decoder-Anordnung mit einem Encoder, der den Quell-Tensor auf eine Repräsentation mit reduzierter Dimensionalität abbildet, und einem Decoder, der diese Repräsentation auf den Ziel-Tensor abbildet. Eine solche Anordnung lässt sich so trainieren, dass der Encoder beim Komprimieren des Quell-Tensors auf die Repräsentation im Wesentlichen die Spezifika der Quell-Konfiguration weglässt und die wichtigste Information über die beobachtete Szenerie, die sich nur schwer in explizit formulierte Bedingungen fassen lässt, erhält. Der Decoder fügt dann umgekehrt der komprimierten Repräsentation die Spezifika der Ziel-Konfiguration hinzu und erzeugt so den Ziel-Tensor.
-
In einer weiteren besonders vorteilhaften Ausgestaltung umfasst das Machine Learning-Modell einen Generator eines Generative Adversarial Network, GAN. Ein solcher Generator lässt sich darauf trainieren, aus Quell-Tensoren, die sich auf eine Quell-Konfiguration beziehen, Ziel-Tensoren zu erzeugen, die sich nicht oder nur schwer von solchen Ziel-Tensoren unterscheiden lassen, die aus tatsächlich gemessenen Ziel-Radardaten auf dem gleichen Weg erzeugt werden wie der Quell-Tensor aus den Quell-Radardaten erzeugt wird. Ein derartiges Training kann im Tandem mit einem Diskriminator durchgeführt werden, der darauf trainiert wird, Ziel-Tensoren, die aus Quell-Tensoren erzeugt wurden, von Ziel-Tensoren zu unterscheiden, die aus tatsächlich gemessenen Ziel-Radardaten erzeugt wurden. Der Generator und der Diskriminator bilden zusammen das GAN. Wenn es sich dabei um ein CycleGAN-handelt, lässt es sich auch dann trainieren, wenn zwar viele mit der Quell-Konfiguration gemessene Quell-Radardaten und viele mit der Ziel-Konfiguration gemessene Ziel-Radardaten zur Verfügung stehen, jedoch keine Paare aus Quell-Radardaten und Ziel-Radardaten, die sich auf die gleiche Szenerie beziehen.
-
Die zuvor beschriebene Bildung eines Quell-Tensors aus Quell-Radardaten eignet sich nicht nur dazu, neue Radardaten zu erzeugen, die in gleicher Weise verwendet werden können wie Radardaten, die mit der Quell-Konfiguration, bzw. mit der Ziel-Konfiguration, eines Radarsystems tatsächlich gemessen wurden. Vielmehr ist die Darstellung der Quell-Radardaten als Verteilung von Wahrscheinlichkeiten und/oder Häufigkeiten im Quell-Tensor generell vorteilhaft, um die Auswertung der Quell-Radardaten, wie etwa eine Objekterkennung oder sonstige Zuordnung zu Klassen, von den stochastischen Fluktuationen der Radarreflexe abzuschirmen.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zur Verarbeitung von Quell-Radardaten, die durch Beobachtung einer Szenerie mit einer Quell-Konfiguration eines Radarsystems erhalten wurden, mit einem neuronalen Netzwerk. Die Quell-Radardaten umfassen mindestens Ortskoordinaten von Quell-Reflex-Orten, von denen reflektierte Radarstrahlung in das Radarsystem eingefallen ist.
-
Bei dem Verfahren wird ein zwei- oder mehrdimensionales Quell-Array von Gitterzellen für die Ortskoordinaten der Quell-Reflex-Orte bereitgestellt. Aus den Ortskoordinaten aller Quell-Reflex-Orte wird für jede Gitterzelle eine Wahrscheinlichkeit und/oder Häufigkeit dafür, dass ein oder mehrere Quell-Reflex-Orte in der Gitterzelle liegen, ermittelt und der jeweiligen Gitterzelle zugeordnet. Es wird ein Quell-Tensor gebildet, der mindestens das mit Wahrscheinlichkeiten und/oder Häufigkeiten besetzte Quell-Array umfasst. Dieser Quell-Tensor wird dem neuronalen Netzwerk zugeführt.
-
Auf diese Weise schlagen die Unsicherheiten, mit denen die Quell-Radardaten behaftet sind, nicht mehr auf das vom neuronalen Netzwerk gelieferte Ergebnis durch. Somit wird das Gesamtsystem, das zunächst Quell-Radardaten aufnimmt, diese Quell-Radardaten zu einem Ergebnis verarbeitet und auf der Basis dieses Ergebnisses beispielsweise ein Fahrzeug ansteuert, zuverlässiger.
-
Beispielsweise kann der Quell-Tensor von dem neuronalen Netzwerk auf eine oder mehrere Klassen einer vorgegebenen Klassifikation abgebildet werden. Diese Klassen können beispielsweise Objekte repräsentieren, deren Vorhandensein die Quell-Radardaten anzeigen. Die Klassen können aber auch beispielsweise Verkehrssituationen repräsentieren, in denen ein Fahrzeug, von dem aus die Quell-Radardaten erfasst wurden, sich befindet.
-
Somit kann insbesondere beispielsweise aus einer vom neuronalen Netzwerk gelieferten Ausgabe ein Ansteuersignal für ein Fahrzeug gebildet werden, und das Fahrzeug kann mit diesem Ansteuersignal angesteuert werden.
-
Unabhängig davon, ob aus dem Quell-Tensor letztendlich neue realistische Ziel-Radardaten oder ein anderes Verarbeitungsergebnis erzeugt werden sollen, können der Quell-Tensor und ggfs. der Ziel-Tensor jeweils Zuordnungen mindestens einer weiteren aus den Quell-Radardaten, bzw. aus den Ziel-Radardaten, ableitbaren Zusatzgröße zu den Gitterzellen des Quell-Arrays, bzw. des Ziel-Arrays, umfassen.
-
Die Zusatzgröße kann insbesondere beispielsweise
- • einen Abstand zwischen dem Quell-Radarsystem und dem Quell-Reflex-Ort, bzw. zwischen dem Ziel-Radarsystem und dem Ziel-Reflex-Ort, und/oder
- • einen Winkel, unter dem die Radarstrahlung auf das Quell-Radarsystem, bzw. auf das Ziel-Radarsystem, eingefallen ist, und/oder
- • eine Geschwindigkeit eines Objekts, an dem die Radarstrahlung reflektiert wurde, und/oder
- • eine Zugehörigkeit eines Objekts, an dem die Radarstrahlung reflektiert wurde, zu einer oder mehreren Klassen einer vorgegebenen Klassifikation, und/oder
- • eine Signalstärke der reflektierten Radarstrahlung
umfassen.
-
Wenn aus dem Quell-Tensor unmittelbar mit einem neuronalen Netzwerk ein Verarbeitungsergebnis ermittelt wird, können die Werte der Zusatzgrößen beispielsweise herangezogen werden, um Mehrdeutigkeiten bei der Erkennung von Objekten aufzulösen. Wenn beispielsweise eine der Zusatzgrößen angibt, dass ein Objekt, zu dem bestimmte Quell-Radarreflexe gehören, sich eigenständig mit einer bestimmten Geschwindigkeit bewegt, dann kann dieses Objekt kein Verkehrszeichen oder ähnliches fest montiertes Objekt sein.
-
Wenn aus dem Quell-Tensor ein Ziel-Tensor und aus dem Ziel-Tensor wiederum Ziel-Radardaten ermittelt werden, kann zusammen mit der Transformation des Quell-Arrays auf das Ziel-Array auch gelernt werden, wie sich die Zuordnung von Werten der Zusatzgröße zu Gitterzellen beim Wechsel von der Quell-Konfiguration zur Ziel-Konfiguration ändert.
-
Wenn beispielsweise der Radarsensor in der Ziel-Konfiguration die Szenerie aus einer anderen Perspektive betrachtet als in der Quell-Konfiguration, liefern die Ziel-Radardaten Informationen zu anderen Geschwindigkeitskomponenten von Objekten als die Quell-Radardaten. Auch sind beispielsweise die Winkel, unter denen der Radarsensor in der Ziel-Konfiguration die Ziel-Reflex-Orte sieht, gegenüber den Winkeln, unter denen der Radarsensor in der Quell-Konfiguration die Quell-Reflex-Orte sieht, verändert.
-
Dies lässt sich insbesondere beispielsweise abbilden, indem in einer besonders vorteilhaften Ausgestaltung aus einem oder mehreren Werten der Zusatzgröße für eine oder mehrere Gitterzellen des Ziel-Arrays, die zum Sampling eines konkreten Ziel-Reflex-Orts beigetragen haben, ein neuer Wert der Zusatzgröße gebildet und in den Ziel-Radardaten dem Ziel-Reflex-Ort zugeschrieben wird.
-
Generell erleichtert das Zusammenfassen des Quell-Arrays mit Zusatzgrößen in einem Quell-Tensor die Weiterverwendung von Machine Learning-Modellen, die ursprünglich für die Verarbeitung von Bildern konzipiert wurden. Ein Bild mit mehreren Farbkanälen lässt sich ebenfalls als Tensor darstellen, der eine zu dem Quell-Tensor sehr ähnliche Gestalt hat.
-
Die Verfahren können insbesondere ganz oder teilweise computerimplementiert sein. Daher bezieht sich die Erfindung auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem oder mehreren Computern ausgeführt werden, den oder die Computer dazu veranlassen, eines der beschriebenen Verfahren auszuführen. In diesem Sinne sind auch Steuergeräte für Fahrzeuge und Embedded-Systeme für technische Geräte, die ebenfalls in der Lage sind, maschinenlesbare Anweisungen auszuführen, als Computer anzusehen.
-
Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger und/oder auf ein Downloadprodukt mit dem Computerprogramm. Ein Downloadprodukt ist ein über ein Datennetzwerk übertragbares, d.h. von einem Benutzer des Datennetzwerks downloadbares, digitales Produkt, das beispielsweise in einem Online-Shop zum sofortigen Download feilgeboten werden kann.
-
Weiterhin kann ein Computer mit dem Computerprogramm, mit dem maschinenlesbaren Datenträger bzw. mit dem Downloadprodukt ausgerüstet sein.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel des Verfahrens 100 zur Umwandlung von Quell-Radardaten 3 in Ziel-Radardaten 5;
- 2 Beispielhafte Situation, in der ein Fahrzeug 50 mit unterschiedlichen Konfigurationen 2, 4 von Radarsystemen beobachtet wird;
- 3 Ausführungsbeispiel des Verfahrens 200 zur Verarbeitung von Quell-Radardaten 3 mit einem neuronalen Netzwerk 7.
-
1 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Umwandlung von Quell-Radardaten 3 in Ziel-Radardaten 5. Die Quell-Radardaten 3 wurden durch Beobachtung einer Szenerie 1 mit einer Quell-Konfiguration 2 eines Radarsystems erhalten. Die Ziel-Radardaten 5 sind Radardaten, die bei Beobachtung der gleichen Szenerie 1 mit einer Ziel-Konfiguration 4 eines Radarsystems zu erwarten sind.
-
Die Quell-Radardaten 3 umfassen mindestens Ortskoordinaten von Quell-Reflex-Orten 31, von denen reflektierte Radarstrahlung auf das Radarsystem eingefallen ist. In Schritt 110 wird ein zwei- oder mehrdimensionales Quell-Array 32 von Gitterzellen 32a für diese Ortskoordinaten bereitgestellt. Aus den Ortskoordinaten aller Quell-Reflex-Orte 31 wird in Schritt 120 für jede Gitterzelle 32a eine Wahrscheinlichkeit und/oder Häufigkeit 32b dafür, dass ein oder mehrere Quell-Reflex-Orte 31 in der Gitterzelle 32a liegen, ermittelt und der jeweiligen Gitterzelle 32a zugeordnet.
-
Hierzu kann beispielsweise gemäß Block 121 einem Kreis oder einer Kugel mit einem vorgegebenen Radius um den Quell-Reflex-Ort 31 eine Belegungswahrscheinlichkeit von 1 zugeordnet werden. Diese Belegungswahrscheinlichkeit kann dann gemäß Block 122 auf alle Gitterzellen 32a des Quell-Arrays 32, auf die sich die Fläche des Kreises, bzw. das Volumen der Kugel, verteilt, entsprechend der Flächenanteile, bzw. Volumenanteile, verteilt werden.
-
In Schritt 130 wird ein Quell-Tensor 33 gebildet, der mindestens das mit Wahrscheinlichkeiten und/oder Häufigkeiten 32b besetzte Quell-Array 32 umfasst. Der Quell-Tensor 33 kann daneben beispielsweise noch Werte von Zusatzgrößen 8 umfassen, die den Gitterzellen 32a des Quell-Arrays 32 jeweils zugeordnet sind.
-
Der Quell-Tensor 33 wird in Schritt 140 zu einem Ziel-Tensor 53 transformiert, der mindestens ein Ziel-Array 52 von Gitterzellen 52a für die Ortskoordinaten der Ziel-Reflex-Orte 51 umfasst. Dieses Ziel-Array 52 gibt für jede Gitterzelle 52a eine Wahrscheinlichkeit und/oder Häufigkeit 52b dafür an, dass bei Beobachtung der Szenerie 1 mit der Ziel-Konfiguration 4 erhaltene Ziel-Reflex-Orte 51 in der jeweiligen Gitterzelle 52a liegen.
-
Wenn die Quell-Konfiguration 2 mit der Ziel-Konfiguration 4 identisch ist, kann zu diesem Zweck beispielsweise gemäß Block 141 der Quell-Tensor 33 identisch als Ziel-Tensor 53 übernommen werden.
-
Wenn sich hingegen die Ziel-Konfiguration 4 von der Quell-Konfiguration 2 unterscheidet, kann der Quell-Tensor 33 beispielsweise gemäß Block 142 der Quell-Tensor 33 mit einem trainierten Machine Learning-Modell 6 zu dem Ziel-Tensor 53 transformiert werden.
-
In Schritt 150 werden anhand der Wahrscheinlichkeiten und/oder Häufigkeiten 52b im Ziel-Array 52 Ortskoordinaten von Ziel-Reflex-Orten 51 gesampelt, so dass die Ziel-Radardaten 5 entstehen. Hierbei kann insbesondere gemäß Block 151 aus einem oder mehreren Werten der Zusatzgröße 8 für eine oder mehrere Gitterzellen 52a des Ziel-Arrays 52, die zum Sampling eines konkreten Ziel-Reflex-Orts 51 beigetragen haben, ein neuer Wert 8' der Zusatzgröße (8) gebildet werden. Dieser neue Wert 8' kann dann gemäß Block 152 dem Ziel-Reflex-Ort 51 zugeschrieben werden.
-
2 verdeutlicht schematisch, wie und warum sich Quell-Radardaten 3 einer Szenerie 1, die mit einer Quell-Konfiguration 2 eines Radarsystems erhalten wurden, von Ziel-Radardaten 5 unterscheiden, die mit einer Ziel-Konfiguration 4 des gleichen oder eines anderen Radarsystems an der gleichen Szenerie 1 erhalten wurden.
-
In dem in 2 gezeigten Beispiel zeigt die Szenerie 1 ein Fahrzeug 50. Mit der Quell-Konfiguration 2, die einen Sender 2a und einen Empfänger 2b umfasst, werden Radarreflexe an Quell-Reflex-Orten 31 registriert, von denen der Übersichtlichkeit halber nur drei in 2 eingezeichnet sind. Mit der Ziel-Konfiguration 4, die einen Sender 4a und einen Empfänger 4b an einer anderen räumlichen Position umfasst, werden Radarreflexe hingegen an Ziel-Reflex-Orten 51 registriert, von denen der Übersichtlichkeit halber nur drei in 2 eingezeichnet sind.
-
3 ist ein schematisches Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens 200 zur Verarbeitung von Quell-Radardaten 3. Dieses Verfahren beginnt zunächst analog zu dem zuvor beschriebenen Verfahren 100.
-
Wie im zuvor beschriebenen Verfahren 100 umfassen die Quell-Radardaten 3 mindestens Ortskoordinaten von Quell-Reflex-Orten 31, von denen reflektierte Radarstrahlung auf das Radarsystem eingefallen ist. In Schritt 210 wird ein zwei- oder mehrdimensionales Quell-Array 32 von Gitterzellen 32a für diese Ortskoordinaten bereitgestellt. Aus den Ortskoordinaten aller Quell-Reflex-Orte 31 wird in Schritt 220 für jede Gitterzelle 32a eine Wahrscheinlichkeit und/oder Häufigkeit 32b dafür, dass ein oder mehrere Quell-Reflex-Orte 31 in der Gitterzelle 32a liegen, ermittelt und der jeweiligen Gitterzelle 32a zugeordnet.
-
Hierzu kann beispielsweise gemäß Block 221 einem Kreis oder einer Kugel mit einem vorgegebenen Radius um den Quell-Reflex-Ort 31 eine Belegungswahrscheinlichkeit von 1 zugeordnet werden. Diese Belegungswahrscheinlichkeit kann dann gemäß Block 222 auf alle Gitterzellen 32a des Quell-Arrays 32, auf die sich die Fläche des Kreises, bzw. das Volumen der Kugel, verteilt, entsprechend der Flächenanteile, bzw. Volumenanteile, verteilt werden.
-
In Schritt 230 wird ein Quell-Tensor 33 gebildet, der mindestens das mit Wahrscheinlichkeiten und/oder Häufigkeiten 32b besetzte Quell-Array 32 umfasst. Der Quell-Tensor 33 kann daneben beispielsweise noch Werte von Zusatzgrößen 8 umfassen, die den Gitterzellen 32a des Quell-Arrays 32 jeweils zugeordnet sind.
-
Der Quell-Tensor 33 wird in Schritt 240 einem neuronalen Netzwerk 7 zugeführt und von diesem neuronalen Netzwerk 7 zu einer Ausgabe 240a verarbeitet. Dabei kann der Quell-Tensor 7 insbesondere beispielsweise auf eine oder mehrere Klassen einer vorgegebenen Klassifikation abgebildet werden.
-
In dem in 3 gezeigten Beispiel wird in Schritt 250 aus der Ausgabe 240a ein Ansteuersignal 250a für das Fahrzeug 50 gebildet, und in Schritt 260 wird das Fahrzeug 50 mit dem Ansteuersignal 250a angesteuert.
