-
Die vorliegende Erfindung betrifft die Erzeugung synthetischer Radarsignale, welche insbesondere als Trainingsdaten für die Objekterkennung in Radarsignalen mittels maschinellem Lernen verwendbar sind.
-
Stand der Technik
-
Damit sich ein Fahrzeug zumindest teilweise automatisiert im Straßenverkehr bewegen kann, ist es erforderlich, das Umfeld des Fahrzeugs zu erfassen und Gegenmaßnahmen einzuleiten, falls eine Kollision mit einem Objekt im Umfeld des Fahrzeugs droht. Auch die Erstellung einer Umfeld-Repräsentation und Lokalisierung sind für sicheres automatisiertes Fahren notwendig.
-
Die Erfassung von Objekten mittels Radar ist von den Lichtverhältnissen unabhängig und beispielsweise auch bei Nacht auf größere Entfernung möglich, ohne dass der Gegenverkehr durch Fernlicht geblendet wird. Aus den Radardaten gehen weiterhin unmittelbar die Entfernung und Geschwindigkeit von Objekten hervor. Diese Informationen sind wichtig für die Beurteilung, ob es zu einer Kollision mit den Objekten kommen kann. Um welchen Typ von Objekt es sich handelt, ist jedoch aus Radarsignalen nicht unmittelbar erkennbar. Diese Erkennung wird aktuell durch die Berechnung von Attributen aus der Digitalen Signalverarbeitung gelöst.
-
Die
US 8,682,821 B2 offenbart, Radarsignale mittels maschinellem Lernen dahingehend zu klassifizieren, ob sie von der Bewegung bestimmter Objekte oder nichtmenschlicher Tiere herrühren. Diese Erkenntnis kann genutzt werden, um bei der Überwachung eines Bereichs auf menschliche Eindringlinge Falschalarme zu vermeiden, oder auch um beim zumindest teilweise automatisierten Fahren die richtige Aktion zur Kollisionsvermeidung auszuwählen.
-
Offenbarung der Erfindung
-
Im Rahmen der Erfindung wurde ein Generator zur Erzeugung zwei- oder mehrdimensionaler Frequenzdarstellungen synthetischer Radarsignale aus einem Satz von mit einem physikalischen Radarsensor gemessenen Radarsignalen entwickelt. Dieser Generator umfasst einen Zufallsgenerator und ein erstes KI-Modul, das Vektoren oder Tensoren von Zufallswerten aus dem Zufallsgenerator als Eingabe erhält und jeden solchen Vektor, bzw. jeden solchen Tensor, durch eine interne Verarbeitungskette auf eine zwei- oder mehrdimensionale Frequenzdarstellung eines synthetischen Radarsignals abbildet.
-
Die zwei- oder mehrdimensionale Frequenzdarstellung kann eine Darstellung in einem zeitlichen Frequenzraum, und/oder eine Darstellung in einem Ortsfrequenzraum, umfassen. Die Frequenzdarstellung kann beispielsweise durch Fast-Fourier-Transformation (FFT) erhalten werden, die komplexe Exponentialfunktionen als Basisfunktionen verwendet. Es können aber auch Transformationen mit anderen Basisfunktionen verwendet werden, etwa die Wavelet-Transformation mit Basisfunktionen, die jeweils nur lokal erklärt sind.
-
Die interne Verarbeitungskette des ersten KI-Moduls ist mit einer Vielzahl von Parametern parametrisiert. Diese Parameter sind so gesetzt, dass die zwei- oder mehrdimensionale Frequenzdarstellung des Radarsignals, und/oder mindestens eine aus dieser Frequenzdarstellung abgeleitete Kenngröße, für die synthetischen Radarsignale im Wesentlichen die gleiche Verteilung aufweist wie für die gemessenen Radarsignale.
-
In diesem Zusammenhang ist bezüglich des Begriffs „Verteilung einer Frequenzdarstellung“ anzumerken, dass eine solche Verteilung im vieldimensionalen Raum aller möglichen Frequenzdarstellungen erklärt ist. Hat beispielsweise eine zweidimensionale Frequenzdarstellung das Format 200x200 Pixel, so hat dieser Raum 40.000 Dimensionen.
-
Es wurde erkannt, dass gerade bei der Objekterkennung aus Radarsignalen mittels maschinellem Lernen die notwendigen Lerndaten eine knappe Ressource sind. Lerndaten für die Objekterkennung aus Kamerabildern umfassen üblicherweise Lern-Kamerabilder, die von Menschen dahingehend kommentiert (gelabelt) worden sind, an welcher Stelle welche Objekte in ihnen enthalten sind. Die visuelle Erkennung von Objekten ist gerade für den Menschen besonders intuitiv, so dass die Anforderungen an Hilfskräfte für die Kommentierung von Kamerabildern vergleichsweise gering sind. Objekte aus Radarsignalen zu erkennen erfordert hingegen Spezialwissen. Weiterhin hängt das Radarsignal, das ein und dasselbe Objekt produziert, auch von den Eigenschaften der verwendeten Antennen und Sensoren ab, beispielsweise vom Modulationsmuster des Sensors oder davon, wo und wie der Sensor am Fahrzeug montiert ist. Das Signal kann durch Mehrwegeausbreitung verändert werden, beispielsweise indem es mehrfach an verschiedenen Oberflächen (etwa der Fahrbahn, einer Leitplanke und/oder einer Wand) reflektiert wurde. Schließlich ist das Radarsignal auch materialabhängig. Einige Materialien reflektieren Radarwellen mit unterschiedlichen material- und form-abhängigen Rückstreukoeffizienten, während andere Materialien von den Radarwellen durchdrungen werden, was dann wiederum dazu führen kann, dass eigentlich verdeckte Objekte plötzlich im Radarsignal auftauchen.
-
Im Ergebnis sind also Lerndaten für die Objekterkennung aus Radarsignalen zum einen schwieriger zu beschaffen, und zum anderen werden auch mehr Lerndaten benötigt als für die Objekterkennung aus Kamerabildern.
-
Diese Knappheit kann durch den Generator gelindert werden. Indem die Parameter des ersten KI-Moduls so gesetzt sind, dass eine aus den physikalisch gemessenen Radarsignalen ersichtliche Verteilung in den synthetischen Radarsignalen repräsentiert wird, und indem zusätzlich jedes generierte Radarsignal realistisch wirkt in dem Sinn, dass es von einem echten Radarsignal nur schwer zu unterscheiden ist, können beliebig viele realistisch wirkende Radarsignale erzeugt werden, ohne dass es hierzu einer Kommentierung der ursprünglichen physikalisch gemessenen Radarsignale bedarf. Es können also beispielsweise Messungen, die Sensorhersteller und OEMs bei Testfahrten mit Radarsensoren zur Objekterkennung routinemäßig durchführen, als Datenbasis zweitverwertet werden.
-
Die Kenngröße kann eine beliebige aus der zwei- oder mehrdimensionalen Frequenzdarstellung des Radarsignals abgeleitete Größe sein. Wenn diese Kenngröße beispielsweise zwischen den von dem physikalischen Radarsensor gemessenen Radarsignalen variiert, setzt sie durch die Verteilung, die sich hierbei ergibt, diese Radarsignale in einen Zusammenhang. Beispielsweise kann die Kenngröße Reflexpunkte umfassen, denen eine Entfernung, ein Azimut-Winkel, eine Geschwindigkeit, ein Rückstreukoeffizient und/oder ein Elevations-Winkel relativ zum physikalischen Radarsensor zugeordnet sind. Eine konsistente Verteilung der Kenngröße lässt sich dann über solche Radarsignale bilden, die sich auf das gleiche oder zumindest ein ähnliches Szenario beziehen.
-
Die Parameter der internen Verarbeitungskette können von dem Generator selbst gelernt werden. Dazu benötigt der Generator lediglich ein wie auch immer geartetes Feedback dahingehend, inwieweit die aktuellen Parameter auf eine Verteilung der Frequenzdarstellung, bzw. der Kenngröße, führen, die zu den gemessenen Radarsignalen passen.
-
In einer besonders vorteilhaften Ausgestaltung erhält das erste KI-Modul mindestens eine Randbedingung als Eingabe. Die Parameter der internen Verarbeitungskette sind so gesetzt, dass die zwei- oder mehrdimensionale Frequenzdarstellung, und/oder die Kenngröße, für die synthetischen Radarsignale im Wesentlichen die gleiche Verteilung aufweist wie für diejenigen gemessenen Radarsignale, die der Randbedingung genügen.
-
Mit dieser Erweiterung kann beispielsweise eine für die gemessenen Radarsignale vorhandene Kommentierung in den Generator überführt werden. Die Randbedingung kann beispielsweise darin bestehen, dass die gemessenen Radarsignale kraft der vorhandenen Kommentierung einer bestimmten Klasse zugeordnet sind. Es können dann zu jeder Klasse separat beliebig viele synthetische Radarsignale erzeugt werden, die den ursprünglichen Bestand an gemessenen und zugleich kommentierten Radarsignalen ergänzen. Damit kann eine hinreichend große Datenbasis für das überwachte Lernen einer Objekterkennung auf der Basis von Radarsignalen geschaffen werden.
-
Die Randbedingung kann aber auch beispielsweise genutzt werden, um gestützt auf die vorhandenen gemessenen Radarsignale ein Radarsignal für eine Situation abzuschätzen, zu der es keine Messungen gibt. So kann beispielsweise der ursprüngliche Satz von Messungen Radarsignale enthalten, die von einem bestimmten Objekt in Antwort auf Radarwellen erhalten wurden, welche unter bestimmten Winkeln auf das Objekt eingefallen sind. Die Randbedingung kann beispielsweise darin bestehen, dass der Winkel einen Zwischenwert annimmt. Der Generator interpoliert dann gleichsam das Radarsignal, das sich für diesen Zwischenwert des Winkels ergibt.
-
Auch können beispielsweise gezielt synthetische Radarsignale zu sogenannten Extremfällen erzeugt werden, die in der Realität selten vorkommen, aber für die Objekterkennung von besonderer Wichtigkeit sind. Diese Extremfälle können sich beispielsweise auf Situationen beziehen, die besonders gefährlich sind und in denen daher eine perfekte Funktion eines Fahrassistenzsystems, bzw. eines Systems zum zumindest teilweise automatisierten Fahren, gefordert ist.
-
Dabei ist zur Verankerung der synthetischen Radarsignale in der Realität kein 3D-Modell des physikalischen Szenarios notwendig, sondern es genügt, dass die Verteilung der Kenngröße zu den gemessenen Radarsignalen passt. Ebenso ist, anders als bei Ray-Tracing-Simulationen, keine detaillierte Kenntnis über den Radarsensor, seinen Anbringungsort, Materialien, Form und Rückstreukoeffizienten der zu erkennenden Objekte oder Mehrwegeausbreitung notwendig.
-
Die Randbedingung kann weiterhin genutzt werden, um das Radarsignal mit der Ausgabe eines anderen Sensors zu filtern, etwa mit der Ausgabe einer Kamera, eines LIDAR-Sensors, eines weiteren Radarsensors oder eines Arrays von Ultraschallsensoren.
-
In einer besonders vorteilhaften Ausgestaltung umfasst das erste KI-Modul ein künstliches neuronales Netzwerk, dessen interne Verarbeitungskette mindestens eine vollvernetzte Schicht, und/oder mindestens eine Faltungsschicht, aufweist. Es ist eine wesentliche Stärke künstlicher neuronaler Netzwerke, dass sie sehr große Unterschiede in der Dimensionalität zwischen der Eingabe und der Ausgabe überbrücken können. Der Vektor oder Tensor mit den Zufallswerten kann beispielsweise in der Größenordnung 100 Elemente enthalten, während eine zweidimensionale Frequenzdarstellung mit 256x256 Pixeln bereits eine um einen Faktor von 650 höhere Dimensionalität hat.
-
Vorteilhaft ist der Zufallsgenerator ein physikalischer Zufallsgenerator, der die Zufallswerte aus thermischem oder elektronischem Rauschen mindestens eines Bauelements, und/oder aus einer zeitlichen Abfolge radioaktiver Zerfälle eines instabilen Isotops, erzeugt. Auf diese Weise wird vermieden, dass den von dem Generator erzeugten synthetischen Radarsignalen Artefakte eines Pseudo-Zufallsgenerators überlagert werden.
-
Die Erfindung bezieht sich auch auf einen Datensatz aus einer Vielzahl zwei- oder mehrdimensionaler Frequenzdarstellungen synthetischer Radarsignale, die mit dem Generator hergestellt worden sind. Dieser Datensatz kann beispielsweise direkt als Trainingsdaten für das überwachte Lernen einer Objekterkennung verwendet werden und ist insofern ein eigenständig verkaufbares Produkt mit Kundennutzen. Je besser der Generator arbeitet, desto schwieriger sind die von ihm erzeugten synthetischen Radarsignale per se von den physikalisch gemessenen Radarsignalen zu unterscheiden. Sind jedoch einerseits eine zwei- oder mehrdimensionale Frequenzdarstellung eines Radarsignals und andererseits ein Generator gegeben, so lässt sich zumindest eine Wahrscheinlichkeit dafür ermitteln, dass das Radarsignal durch diesen Generator erzeugt wurde.
-
Die Erfindung bezieht sich auch auf ein Verfahren zur Herstellung des Generators. Bei diesem Verfahren werden zwei- oder mehrdimensionale Frequenzdarstellungen der gemessenen Radarsignale mit von dem Generator erzeugten zwei- oder mehrdimensionalen Frequenzdarstellungen der synthetischen Radarsignale in einem Pool vereinigt. Die in dem Pool enthaltenen zwei- oder mehrdimensionalen Frequenzdarstellungen werden mit einem Klassifikator dahingehend klassifiziert, ob sie zu gemessenen oder zu synthetischen Radarsignalen gehören. Die Parameter der Verarbeitungskette des KI-Moduls im Generator werden auf eine möglichst schlechte Klassifikationsgüte des Klassifikators optimiert.
-
Die Klassifikationsgüte des Klassifikators dient somit als Feedback für das Lernen der Parameter in der internen Verarbeitungskette des ersten KI-Moduls im Generator. Dieses Feedback kann beispielsweise ein Fehlersignal des Klassifikators sein, oder auch beispielsweise ein im Klassifikator generiertes Konfidenzmaß. Insbesondere können der Klassifikator und der Generator im Wechsel trainiert werden und so gleichsam als gegenseitige Sparringspartner dienen.
-
Beispielsweise kann das KI-Modul im Generator zunächst mit Standardwerten oder zufälligen Werten für die Parameter initialisiert sein. Wenn nun an der Eingabe des KI-Moduls Zufallswerte aus dem Zufallsgenerator vorgelegt werden, dann wird das generierte synthetische Radarsignal mit hoher Wahrscheinlichkeit nicht viel mit den gemessenen Radarsignalen zu tun haben. Dementsprechend wird der Klassifikator aus dem Pool der zwei- oder mehrdimensionalen Frequenzdarstellungen mit großer Konfidenz die zu dem synthetischen Radarsignal gehörige Frequenzdarstellung von den zu den gemessenen Radarsignalen gehörigen Frequenzdarstellungen unterscheiden können. Je mehr die Parameter in der Verarbeitungskette des KI-Moduls optimiert werden, desto schwieriger wird diese Unterscheidung für den Klassifikator. Dies kann sich darin manifestieren, dass die Klassifikation in einer größeren Anzahl von Fällen unrichtig ist, und/oder dass die Konfidenz, mit der die Klassifikation vorgenommen wird, sinkt.
-
Der Klassifikator kann von beliebiger Bauart sein. Es kann sich beispielsweise um einen statischen Klassifikator handeln, der die zwei- oder mehrdimensionalen Frequenzdarstellungen durch Prüfung bestimmter Merkmale, oder auch mit statistischen Methoden, als gemessen bzw. synthetisch generiert klassifiziert. Wenn dem Generator eine Randbedingung vorgegeben wurde, wird die gleiche Randbedingung auch dem Klassifikator vorgegeben.
-
In einer besonders vorteilhaften Ausgestaltung wird ein zweites KI-Modul als Klassifikator gewählt. Dieses zweite KI-Modul weist eine weitere interne Verarbeitungskette auf, die mit einer Vielzahl von Parametern parametrisiert ist. Diese Parameter werden auf eine möglichst gute Klassifikationsgüte des Klassifikators optimiert.
-
Es können dann beispielsweise beide KI-Module gleichzeitig oder auch abwechselnd trainiert werden. Auf diese Weise wird eine Art Wettkampf zwischen dem ersten KI-Modul und dem zweiten KI-Modul ausgelöst. Das erste KI-Modul lernt beständig dahingehend dazu, realistische Radarsignale zu „fälschen“, während das zweite KI-Modul dahingehend dazulernt, die „Fälschungen“ zu erkennen. Der Wettbewerb führt am Ende dazu, dass die erhaltenen synthetischen Radarsignale die ursprünglichen physikalisch gemessenen Radarsignale annähernd exakt nachahmen und gemeinsam mit diesen als Lerndaten für das überwachte Lernen einer Objekterkennung genutzt werden können.
-
Die Erfindung bezieht sich auch auf ein Verfahren zur Erkennung von Objekten, und/oder eines von Objekten eines vorgegebenen Typs freien Raums, im Umfeld eines Fahrzeugs. Das Fahrzeug weist mindestens einen Radarsensor zur Erfassung mindestens eines Teils des Umfelds auf. Zwei- oder mehrdimensionale Frequenzdarstellungen von durch den Radarsensor erfassten Radarsignalen werden von einem dritten KI-Modul dahingehend klassifiziert werden, welche Objekte im Umfeld des Fahrzeugs vorhanden sind. Das dritte Kl-Modul ist oder wird mit Trainingsdaten trainiert, die zumindest teilweise mit einem Generator gemäß der Erfindung erzeugt worden sind. Die Trainingsdaten können insbesondere teilweise aus physikalischen Messungen und teilweise vom Generator stammen.
-
Auf diese Weise lassen sich bei der Objekterkennung die eingangs genannten Vorteile der Radartechnik nutzen, ohne dass dies zwangsläufig damit erkauft wird, dass die Lerndaten für das Training der Objekterkennung im Vergleich zur rein optischen Objekterkennung deutlich schwieriger zu beschaffen sind. Ein vergleichsweise kleiner Satz an physikalisch gemessenen Radarsignalen kann durch den Generator auf die Menge angereichert werden, die zum Aufbau einer sicheren Objekterkennung notwendig ist.
-
Vorteilhaft wird in Antwort auf die Erkennung mindestens eines Objekts, und/oder eines von Objekten eines bestimmten Typs freien Raums, eine für den Fahrer des Fahrzeugs wahrnehmbare physikalische Warneinrichtung, ein Antriebssystem, ein Lenksystem, und/oder ein Bremssystem, des Fahrzeugs angesteuert zwecks Vermeidung einer Kollision zwischen dem Fahrzeug und dem Objekt, und/oder zwecks Anpassung der Geschwindigkeit und/oder Trajektorie des Fahrzeugs. Diese Zwecke sind Hauptgründe dafür, dass überhaupt eine Objekterkennung angestrebt wird.
-
Wie zuvor erläutert, ermöglicht die Vorgabe einer Randbedingung an den Generator auch die Interpolation oder Extrapolation von einem gegebenen Satz an gemessenen Szenarien auf Szenarien, zu denen es noch keine Messungen gibt. Dies kann nicht nur für die Auswertung von Radarsignalen nach der physikalischen Messung genutzt werden, sondern auch für die Verbesserung der physikalischen Messung als solche. Im Unterschied zu einer Kamera, die ein rein passiver Sensor ist, ist ein Radarsensor ein aktiver Sensor, d.h., als Messsignal dienen Radarwellen, die vom Sensor selbst abgestrahlt wurden. Daher haben Einbauparameter und Betriebsparameter des Radarsensors einen deutlichen Einfluss darauf, inwieweit die erhaltenen Radarsignale für die letztendliche Objekterkennung tauglich sind.
-
Daher bezieht sich die Erfindung auch auf ein Verfahren zur Optimierung mindestens eines Einbauparameters oder Betriebsparameters für einen Radarsensor zur Erkennung von Objekten, und/oder eines von Objekten (72a, 72b) eines bestimmten Typs freien Raums, im Umfeld eines Fahrzeugs. Bei diesem Verfahren wird für verschiedene Werte des Einbauparameters bzw. Betriebsparameters jeweils mindestens eine zwei- oder mehrdimensionale Frequenzdarstellung eines synthetischen Radarsignals mit einem Generator gemäß der Erfindung erzeugt, und/oder aus einem zuvor von einem solchen Generator erzeugten Datensatz abgerufen. Die Erkennung von Objekten in der zwei- oder mehrdimensionalen Frequenzdarstellung des synthetischen Radarsignals mit einem Gütemaß bewertet. Der Einbauparameter oder Betriebsparameter wird dahingehend variiert, dass das Gütemaß ein Extremum annimmt.
-
Die Erfinder haben erkannt, dass es im Hinblick auf das letztendliche Ziel einer sicheren Objekterkennung vorteilhaft ist, nicht nur die Analyse aufgenommener Radarsignale zu betrachten, sondern auch die physikalische Datenaufnahme selbst. Informationen, die in dem aufgenommenen physikalischen Radarsignal nicht mehr zu erkennen sind, können auch durch eine noch so gute Analyse nicht mehr ausgewertet werden. Ein solcher Fall kann beispielsweise eintreten, wenn der Messbereich des Sensors sich auf Grund besonders kontraststarker Objekte so unempfindlich einstellt, dass ein kontrastschwacher Mensch im Rauschen untergeht. Wenn die physikalische Datenaufnahme und die anschließende Analyse ganzheitlich betrachtet und optimiert werden, kann also die letztendlich erhaltene Objekterkennung noch weiter verbessert werden.
-
Dabei wird es über das Gütemaß insbesondere ermöglicht, die Objekterkennung auf bestimmte Objekte zuzuschneiden und bei Zielkonflikten Prioritäten zu setzen. Kein Satz Einbauparameter oder Betriebsparameter kann für alle Eventualitäten perfekt sein. Beispielsweise kann die sichere Erkennung eines Fußgängers, eines Radfahrers oder eines anderen schwächeren Verkehrsteilnehmers Vorrang vor der Erkennung eines Betonpollers haben. Wenn nun die verbesserte Erkennung schwächerer Verkehrsteilnehmer oberste Priorität hat, kann der Fall eintreten, dass dies nur auf Kosten anderer Aspekte möglich ist, etwa um den Preis, dass manche Betonpoller nicht erkannt werden.
-
Wenngleich der Generator und die Verfahren jeweils Gebrauch von Hardware machen und der gezielte Einsatz entsprechend optimierter Hardware jeweils vorteilhaft ist, so gibt es auch funktionsfähige Ausführungsformen des Generators und des Verfahrens, die mit der Nutzung bereits vorhandener Hardware auskommen. Dass die Funktion gemäß der Erfindung bereitgestellt wird, kann somit ganz oder teilweise in einer Software implementiert sein, die die Hardware anders ansteuert. Diese Software kann beispielsweise als Update oder Upgrade zu existierender Hardware vertrieben werden und ist insofern ein eigenständiges Produkt. Die Erfindung bezieht sich also auch auf ein Computerprogramm mit maschinenlesbaren Anweisungen, die, wenn sie auf einem Computer, und/oder auf einem Steuergerät, ausgeführt werden, den Computer, und/oder das Steuergerät, zu einem Generator gemäß der Erfindung aufwerten, und/oder dazu veranlassen, ein Verfahren gemäß der Erfindung auszuführen. Ebenso bezieht sich die Erfindung auch auf einen maschinenlesbaren Datenträger oder ein Downloadprodukt mit dem Computerprogramm.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Figurenliste
-
Es zeigt:
- 1 Ausführungsbeispiel eines Generators 1;
- 2 Ausführungsbeispiel des Verfahrens 100 zur Herstellung;
- 3 Ausführungsbeispiel des Verfahrens 200 zur Objekterkennung;
- 4 Ausführungsbeispiel des Verfahrens 300 zur Optimierung.
-
Nach 1 umfasst der Generator 1 einen Zufallsgenerator 2 und ein KI-Modul 3 mit einer internen Verarbeitungskette 4. Der Zufallsgenerator 2 speist Zufallswerte 21 als Eingabe in das KI-Modul 3, das daraufhin unter Berücksichtigung einer ebenfalls eingegebenen Randbedingung 31 zwei- oder mehrdimensionale Frequenzdarstellungen 13 erzeugt. Diese Frequenzdarstellungen 13 korrespondieren zu synthetischen Radarsignalen 12.
-
Das KI-Modul 3 umfasst ein neuronales Netzwerk, dessen interne Verarbeitungskette 4 zwei Faltungsschichten 42a und 42b, zwei vollvernetzte Schichten 43a und 43b sowie eine Upsampling-Schicht 44 aufweist. Die interne Verarbeitungskette 4 ist mit einer Vielzahl von Parametern 41a-41c parametrisiert. Es sind jedoch auch andere Architekturen möglich, die beispielsweise nur eine Faltungsschicht 42a, 42b und keine vollvernetzte Schicht 43a, 43b, oder nur eine vollvernetzte Schicht 43a, 43b und keine Faltungsschicht 42a, 42b, umfassen und in denen eine Upsampling-Schicht 44 fehlt.
-
Aus der vom Generator 1 erzeugten zwei- oder mehrdimensionalen Frequenzdarstellung 13 ist eine Kenngröße 14 ableitbar. Eine analoge Kenngröße 14 ist auch aus den zwei- oder mehrdimensionalen Frequenzdarstellungen 11 der von einem physikalischen Radarsensor 9 gemessenen Radarsignale 10 ableitbar, wobei auch hier diejenigen Frequenzdarstellungen 11 ausgewählt werden, die zu der vorgegebenen Randbedingung 31 passen.
-
Die Parameter 41a-41c der internen Verarbeitungskette 4 im KI-Modul 3 des Generators 1 sind so gesetzt, dass die zwei- oder mehrdimensionale Frequenzdarstellung 11, 13, und/oder die Kenngröße 14, für die synthetischen Radarsignale 12 im Wesentlichen die gleiche Verteilung aufweist wie für die gemessenen Radarsignale 10.
-
Eine Vielzahl der mit dem Generator 1 erzeugten zwei- oder mehrdimensionalen Frequenzdarstellungen 13 wird in einem Datensatz 13a zusammengefasst. Mit diesem Datensatz 13a kann beispielsweise die Datenbasis für das überwachte Lernen einer Objekterkennung auf der Basis von Radarsignalen vergrößert werden.
-
2 zeigt ein Ausführungsbeispiel des Verfahrens 100 zur Herstellung des Generators 1. Hauptziel dieses Verfahrens 100 ist die Gewinnung der Parameter 41a-41c für die interne Verarbeitungskette 4 des KI-Moduls 3 im Generator 1.
-
Analog zu 1 werden vom Generator 1 unter Beachtung der Randbedingung 31 zwei- oder mehrdimensionale Frequenzdarstellungen 13 synthetischer Radarsignale 12 erzeugt. Diese werden in Schritt 110 des Verfahrens 100 zusammen mit den zwei- oder mehrdimensionalen Frequenzdarstellungen 11 der physikalisch gemessenen Radarsignale 10, die zu der gleichen Randbedingung 31 passen, in einem Pool 15 zusammengeführt.
-
In Schritt 120 des Verfahrens 100 werden die in dem Pool 15 enthaltenen zwei- oder mehrdimensionalen Frequenzdarstellungen 11, 13 von einem Klassifikator 5 dahingehend klassifiziert, ob sie zu gemessenen Radarsignalen 10 oder zu synthetischen Radarsignalen 12 gehören. Für diese Klassifikation lässt sich eine Klassifikationsgüte 5a angeben, die beispielsweise die Richtigkeit, und/oder die Konfidenz, der Klassifikation enthalten kann.
-
Die Parameter 41a-41c der internen Verarbeitungskette 4 im KI-Modul 3 des Generators 1 werden nun in Schritt 130 des Verfahrens 100 auf eine möglichst schlechte Klassifikationsgüte 5a des Klassifikators 5 optimiert.
-
Dabei kann der Klassifikator 5 prinzipiell ein statischer Klassifikator sein, der nicht weiter dazulernt. In dem in 2 gezeigten Ausführungsbeispiel ist der Klassifikator 5 jedoch als zweites KI-Modul ausgebildet und weist eine weitere interne Verarbeitungskette 6 auf, die mit einer Vielzahl von Parametern 61a-61c parametrisiert ist. Diese Parameter 61a-61c werden in Schritt 140 des Verfahrens 100 auf eine möglichst gute Klassifikationsgüte 5a des Klassifikators 5 optimiert.
-
Die Schritte 130 und 140 können beispielsweise gleichzeitig oder aber auch im Wechsel ausgeführt werden.
-
3 zeigt ein Ausführungsbeispiel des Verfahrens 200 für die Erkennung von Objekten 72a, 72b, und/oder eines von Objekten 72a, 72b eines bestimmten Typs freien Raums, im Umfeld 71 eines Fahrzeugs 7. Als Datenquelle für die Erkennung wird ein Radarsensor 73 verwendet, der zwei- oder mehrdimensionale Frequenzdarstellungen 11 der gemessenen Radarsignale an ein drittes KI-Modul 74 liefert. Dieses KI-Modul 74 ist mit Trainingsdaten 74a trainiert worden, die einen von einem Generator 1 erzeugten Datensatz 13a umfassen. Zusätzlich zu dem Datensatz 13a können die Trainingsdaten 74a insbesondere noch physikalische Messungen umfassen, so dass der Datensatz 13a letztendlich die physikalischen Messungen ergänzt. Das KI-Modul 74 kann auch erst in Schritt 210 des Verfahrens 200 entsprechend trainiert werden.
-
Das KI-Modul 74 klassifiziert in Schritt 220 des Verfahrens 200 die zwei- oder mehrdimensionalen Frequenzdarstellungen 11 dahingehend, welche Objekte 72a, 72b im erfassten Umfeld 71 des Fahrzeugs 7 vorhanden sind. Als beispielhafte Objekte sind in 3 ein Fußgänger 72a und ein Betonpoller 72b eingezeichnet.
-
Das Ergebnis der Klassifikation wird in Schritt 230 des Verfahrens 200 genutzt, um zwecks Vermeidung einer Kollision mit den erkannten Objekten 72a, 72b, und/oder zwecks Anpassung der Geschwindigkeit und/oder Trajektorie des Fahrzeugs 7, eine Warneinrichtung 75a für den Fahrer des Fahrzeugs 7, ein Antriebssystem 75b, ein Lenksystem 75c, und/oder ein Bremssystem 75d, des Fahrzeugs 7 anzusteuern. Beispielsweise kann die Geschwindigkeit auf einen Sollwert geregelt werden, und/oder ein Fahrassistent kann eine Fahrspur wählen. Neben den Radarsignalen können für diese Aufgaben auch noch zusätzliche Informationen von anderen Sensoren, wie etwa Kameras, Lidar oder Ultraschall, herangezogen werden.
-
Die physikalische Datenaufnahme durch den Radarsensor 73 wird unter anderem durch Einbauparameter 73a, hier beispielsweise die Einbauposition des Radarsensors 73a, und durch Betriebsparameter 73b, hier beispielsweise die Wellenlänge λ der ausgesendeten Radarwellen, beeinflusst. Die Einbauparameter 73a und Betriebsparameter 73b sind daher weitere Freiheitsgrade, die optimiert werden können, um das letztendliche Ergebnis der Objekterkennung oder anderer Anwendungen, wie beispielsweise der Spurführung, zu verbessern.
-
4 skizziert ein Ausführungsbeispiel des Verfahrens 300 für diese Optimierung. Anhand eines Werts des Einbauparameters 73a, und/oder des Betriebsparameters 73b, wird in Schritt 310a des Verfahrens 300 mit dem Generator 1 eine zwei- oder mehrdimensionale Frequenzdarstellung 13 eines synthetischen Radarsignals 12 erzeugt, und/oder es wird in Schritt 310b des Verfahrens 300 eine solche zwei- oder mehrdimensionale Frequenzdarstellung 13 aus einem zuvor von einem Generator 1 erzeugten Datensatz 13a abgerufen.
-
Mit dem dritten KI-Modul 74, das auch beim realen Einsatz im Fahrzeug 7 verwendet werden soll, wird die zwei- oder mehrdimensionale Frequenzdarstellung 13 dahingehend klassifiziert, welche Objekte 72a, 72b hierin erkennbar sind. Diese Erkennung der Objekte 72a, 72b wird in Schritt 320 des Verfahrens 300 mit einem Gütemaß bewertet. In Schritt 340 des Verfahrens 300 wird geprüft, ob dieses Gütemaß wie gewünscht ein Extremum annimmt. Ist dies der Fall (Wahrheitswert 1), so wird der getestete Wert des Einbauparameters 73a, bzw. des Betriebsparameters 73b, für optimal befunden. Wird das gewünschte Extremum hingegen nicht angenommen (Wahrheitswert 0), so wird der Einbauparameter 73a, bzw. der Betriebsparameter 73b, in Schritt 330 des Verfahrens 300 variiert, um näher an das gewünschte Extremum heranzukommen bzw. dieses beim nächsten Durchlauf zu erreichen.
