DE102023110315A1

DE102023110315A1 - Simulation eines hochauflösenden radars zum trainieren eines neuronalen netzes eines fahrzeugradarsystems

Info

Publication number: DE102023110315A1
Application number: DE102023110315.6A
Authority: DE
Inventors: Oded Bialer; Yuval Haitman; Dan Levi
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2022-09-19
Filing date: 2023-04-24
Publication date: 2024-03-21
Also published as: CN117724065A; US20240094377A1

Abstract

Ein System enthält einen Sender eines Radarsystems zum Senden von Sendesignalen und einen Empfänger des Radarsystems zum Empfangen von Empfangssignalen auf der Grundlage der Reflexion eines oder mehrerer der Sendesignale durch ein oder mehrere Objekte. Außerdem enthält das System einen Prozessor zum Trainieren eines neuronalen Netzes mit Referenzdaten, die durch Simulieren eines höher auflösenden Radarsystems als das Radarsystem erhalten werden, um ein trainiertes neuronales Netz zu erhalten. Das trainierte neuronale Netz verbessert auf der Grundlage des Erhaltens und Verarbeitens der Empfangssignale in einem Fahrzeug die Detektion des einen oder der mehreren Objekte. Auf der Grundlage der Detektion des einen oder der mehreren Objekte werden eine oder mehreren Operationen des Fahrzeugs gesteuert.

Description

EINLEITUNG
Die vorliegende Offenbarung betrifft eine Simulation eines hochauflösenden Radars zum Trainieren eines neuronalen Netzes eines Fahrzeugradarsystems.
Fahrzeuge (z. B. Personenkraftwagen, Motorräder, Baugerät, landwirtschaftliches Gerät, automatisierte Fabrikausrüstung) enthalten eine Anzahl von Sensoren, um Informationen bereitzustellen, die zum Steuern von Aspekten ihres Betriebs verwendet werden. Einige Sensoren (z. B. Inertialmesseinheit, Lenkwinkelsensor) stellen Informationen über das Fahrzeug bereit, während andere Sensoren (z. B. Radarsystem, Lidarsystem, Kamera) Informationen über Objekte um das Fahrzeug bereitstellen. Ein Radarsystem gibt für Objekte innerhalb ihres Blickfelds eine Entfernung, einen Winkel und eine Relativgeschwindigkeit an. Dementsprechend ist es erwünscht, eine Simulation eines hochauflösenden Radars zum Trainieren eines neuronalen Netzes eines Fahrzeugradarsystems zu schaffen.
ZUSAMMENFASSUNG
Gemäß einer beispielhaften Ausführungsform enthält ein System einen Sender eines Radarsystems zum Senden von Sendesignalen und einen Empfänger des Radarsystems zum Empfangen von Empfangssignalen auf der Grundlage der Reflexion eines oder mehrerer der Sendesignale durch ein oder mehrere Objekte. Außerdem enthält das System einen Prozessor zum Trainieren eines neuronalen Netzes mit Referenzdaten, die durch Simulieren eines höher auflösenden Radarsystems als das Radarsystem erhalten werden, um ein trainiertes neuronales Netz zu erhalten. Das trainierte neuronale Netz verbessert auf der Grundlage des Erhaltens und Verarbeitens der Empfangssignale in einem Fahrzeug die Detektion des einen oder der mehreren Objekte. Auf der Grundlage der Detektion des einen oder der mehreren Objekte werden eine oder mehreren Operationen des Fahrzeugs gesteuert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale simuliert der Prozessor das höher auflösende Radarsystem, damit es mehr Antennen oder enger beabstandete Antennen, die sich über eine breitere Apertur als das Radarsystem erstrecken, enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale simuliert der Prozessor das höher auflösende Radarsystem, damit es mehr von den Sendesignalen oder enger beabstandete Sendesignale als das Radarsystem enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale simuliert der Prozessor das höher auflösende Radarsystem, damit es eine höhere Bandbreite als das Radarsystem enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Erhalten simulierter Empfangssignale unter Verwendung von Parametern des Radarsystems an Reflexionspunkten und durch Erhalten simulierter hochauflösender Empfangssignale unter Verwendung hochauflösender Parameter für das hochauflösende Radarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Erhalten der Reflexionspunkte von einem Lidarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Erzeugen der Reflexionspunkte.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Verarbeiten der simulierten Empfangssignale, um einen Datenwürfel zu erhalten, der eine Intensität bei einem ersten Satz von Entfernungen, bei einem ersten Satz von Hypothesen der Dopplerfrequenz und bei einem ersten Satz von Winkelhypothesen angibt, und durch Verarbeiten der simulierten hochauflösenden Empfangssignale, um einen hochauflösenden Datenwürfel zu erhalten, der eine Intensität bei einem zweiten Satz von Entfernungen, bei einem zweiten Satz von Hypothesen der Dopplerfrequenz und bei einem zweiten Satz von Winkelhypothesen angibt, wobei eine Anzahl des zweiten Satzes von Entfernungen, des zweiten Satzes von Hypothesen der Dopplerfrequenz und des zweiten Satzes von Winkelhypothesen größer als eine Anzahl des ersten Satzes von Entfernungen, des ersten Satzes von Hypothesen der Dopplerfrequenz und des ersten Satzes von Winkelhypothesen ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Bereitstellen des Datenwürfels für das neuronale Netz und durch Erhalten einer Ausgabe des neuronalen Netzes.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale trainiert der Prozessor das neuronale Netz durch Erhalten einer Metrik, die ein Zusammenpassen zwischen der Ausgabe des neuronalen Netzes und dem hochauflösenden Datenwürfel angibt, und durch Aktualisieren von Parametern des neuronalen Netzes auf der Grundlage der Metrik.
Gemäß einer anderen beispielhaften Ausführungsform speichert ein nichttransitorisches computerlesbares Medium Anweisungen, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, veranlassen, dass der eine oder die mehreren Prozessoren ein Verfahren implementieren. Das Verfahren enthält das Erhalten von Empfangssignalen, die sich aus der Reflexion eines oder mehrerer Sendesignale, die durch einen Sender eines Radarsystems gesendet werden, durch ein oder mehrere Objekte ergeben, und den Empfang der Empfangssignale durch einen Empfänger des Radarsystems. Außerdem enthält das Verfahren das Trainieren eines neuronalen Netzes mit Referenzdaten, die durch Simulieren eines höher auflösenden Radarsystems als das Radarsystem erhalten werden, um ein trainiertes neuronales Netz zu erhalten. Das trainierte neuronale Netz verbessert auf der Grundlage des Erhaltens und Verarbeitens der Empfangssignale in einem Fahrzeug die Detektion des einen oder der mehreren Objekte. Auf der Grundlage der Detektion des einen oder der mehreren Objekte werden eine oder mehreren Operationen des Fahrzeugs gesteuert.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es mehr Antennen oder enger beabstandete Antennen, die sich über eine breitere Apertur als das Radarsystem erstrecken, enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es mehr von den Sendesignalen oder enger beabstandete Sendesignale als das Radarsystem enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es eine höhere Bandbreite als das Radarsystem enthält.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erhalten simulierter Empfangssignale unter Verwendung von Parametern des Radarsystems an Reflexionspunkten und durch Erhalten simulierter hochauflösender Empfangssignale unter Verwendung hochauflösender Parameter für das hochauflösende Radarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erhalten der Reflexionspunkte von einem Lidarsystem.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erzeugen der Reflexionspunkte.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Verarbeiten der simulierten Empfangssignale, um einen Datenwürfel zu erhalten, der eine Intensität bei einem ersten Satz von Entfernungen, bei einem ersten Satz von Hypothesen der Dopplerfrequenz und bei einem ersten Satz von Winkelhypothesen angibt, und durch Verarbeiten der simulierten hochauflösenden Empfangssignale, um einen hochauflösenden Datenwürfel zu erhalten, der eine Intensität bei einem zweiten Satz von Entfernungen, bei einem zweiten Satz von Hypothesen der Dopplerfrequenz und bei einem zweiten Satz von Winkelhypothesen angibt, wobei eine Anzahl des zweiten Satzes von Entfernungen, des zweiten Satzes von Hypothesen der Dopplerfrequenz und des zweiten Satzes von Winkelhypothesen größer als eine Anzahl des ersten Satzes von Entfernungen, des ersten Satzes von Hypothesen der Dopplerfrequenz und des ersten Satzes von Winkelhypothesen ist.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Bereitstellen des Datenwürfels für das neuronale Netz und durch Erhalten einer Ausgabe des neuronalen Netzes.
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale enthält das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erhalten einer Metrik, die ein Zusammenpassen zwischen der Ausgabe des neuronalen Netzes und dem hochauflösenden Datenwürfel angibt, und durch Aktualisieren von Parametern des neuronalen Netzes auf der Grundlage der Metrik.
Die obigen Merkmale und Vorteile und weitere Merkmale und Vorteile der Offenbarung gehen leicht aus der folgenden ausführlichen Beschreibung, wenn sie zusammen mit den beigefügten Zeichnungen genommen wird, hervor.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Weitere Merkmale, Vorteile und Einzelheiten erscheinen nur beispielhaft in der folgenden ausführlichen Beschreibung, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht; es zeigen:

1 ein Blockdiagramm eines Fahrzeugs, das ein neuronales Netz eines Radarsystems, das unter Verwendung einer Simulation eines hochauflösenden Radars trainiert wird, gemäß einer oder mehreren Ausführungsformen implementiert;
2 einen Prozessablauf eines Verfahrens zum Trainieren eines neuronalen Netzes eines Radarsystems unter Verwendung einer Simulation eines hochauflösenden Radars gemäß einer oder mehreren Ausführungsformen; und
3 Prozesse, die durch das neuronale Netz eines Radarsystems implementiert werden, gemäß einer oder mehreren Ausführungsformen.

AUSFÜHRLICHE BESCHREIBUNG
Die folgende Beschreibung ist dem Wesen nach lediglich beispielhaft und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendungen nicht einschränken. Selbstverständlich bezeichnen einander entsprechende Bezugszeichen überall in den Zeichnungen gleiche oder einander entsprechende Teile und Merkmale.
Ausführungsformen der hier genau beschriebenen Systeme und Verfahren betreffen eine Simulation eines hochauflösenden Radars zum Trainieren eines neuronalen Netzes eines Fahrzeugradarsystems. Wie zuvor erwähnt wurde, kann ein Radarsystem eine Entfernung und einen Winkel zu einem oder mehreren Objekten um ein Fahrzeug sowie eine Dopplerfrequenz, die die Relativgeschwindigkeit der Objekte relativ zu dem Fahrzeug angibt, bereitstellen. Allgemein sendet ein Radarsystem Energie, von der etwas durch eines oder mehrere Objekte in seinem Blickfeld reflektiert wird. Die reflektierte Energie wird verarbeitet und die Objektdetektion wird ausgeführt, um die Entfernung, den Winkel und die Dopplerfrequenz zu erhalten.
Die Verwendung eines neuronalen Netzes an verarbeiteten Reflexionen kann die Objektdetektion verbessern und die Genauigkeit, mit der die Entfernung, der Winkel und die Dopplerfrequenz geschätzt werden, erhöhen. Außerdem kann die Entscheidung zwischen Objekten verbessert werden. Das Trainieren eines neuronalen Netzes umfasst allgemein das iterative Vergleichen eines Referenzergebnisses mit dem Ergebnis des neuronalen Netzes, um Parameter (z. B. Gewichte) innerhalb des neuronalen Netzes einzustellen. Eine frühere Vorgehensweise zum Trainieren eines neuronalen Netzes eines Radarsystems umfasst die Verwendung verarbeiteter Daten von anderen Sensoren (z. B. Lidarsystem, Kamera) als das Referenzergebnis. Allerdings sind die mit anderen Typen von Sensoren erhaltenen Daten nicht dieselben wie die durch ein Radarsystem erhaltene Reflexionsintensität. Außerdem ist die Auflösung anderer Typen von Sensoren allgemein viel höher als die Auflösung eines Radarsystems, was zu einem großen Unterschied zwischen dem Referenzergebnis von diesen Sensoren und der Ausgabe des neuronalen Netzes auf der Grundlage von Radardaten führt. Diese Faktoren stellen Herausforderungen dar, um ein neuronales Netz eines Radarsystems mit Referenzergebnissen von anderen Typen von Sensoren richtig zu trainieren.
Gemäß einer oder mehreren Ausführungsformen wird ein hochauflösendes Radarsystem mit höher auflösenden Hardwareparametern, als sie für Kraftfahrzeugradarsysteme anwendbar sein können, simuliert, um die Referenzergebnisse zu erhalten, die zum Trainieren des neuronalen Netzes eines Radarsystems verwendet werden. Das heißt, das höher auflösende Radarsystem wird nicht physisch hergestellt, sondern die höher auflösenden Hardwareparameter (z. B. die Anzahl und Anordnung der Antennen, die Bandbreite, die Trägerfrequenz, das Impulswiederholungsintervall) werden verwendet, um synthetische Referenzergebnisse zu erzeugen. Das Training eines neuronalen Netzes eines Radarsystems unter Verwendung von Referenzergebnissen von einem simulierten höher auflösenden Radarsystem führt gegenüber herkömmlichem Training zu verbesserter Leistungsfähigkeit. Da die Referenzergebnisse simuliert werden, kann die Auflösung der Referenzergebnisse (d. h. die Auflösung des simulierten hochauflösenden Radarsystems) über die Trainingszeitdauer allmählich erhöht werden, um die Trainingsergebnisse zu verbessern. Das ununterbrochene Lernen oder Online-Lernen, als kontinuierliches Training des neuronalen Netzes eines Radarsystems bezeichnet, kann, selbst nachdem es in einem Fahrzeug bereitgestellt und in Betrieb ist, Veränderungen oder eine Verschlechterung des Radarsystems im Zeitverlauf mildern.
1 ist ein Blockdiagramm eines Fahrzeugs 100, das ein neuronales Netz eines Radarsystems gemäß einer beispielhaften Ausführungsform implementiert. Das in 1 gezeigte beispielhafte Fahrzeug 100 ist ein Personenkraftwagen 101. Das neuronale Netz eines Radarsystems kann gemäß einer oder mehreren Ausführungsformen unter Verwendung einer Simulation eines hochauflösenden Radars trainiert werden. Das Training kann offline (d. h. außerhalb des Fahrzeugs 100, bevor das Radarsystem 110 in dem Fahrzeug 100 in Betrieb ist) oder online (d. h., nachdem das Radarsystem 110 in dem Fahrzeug 100 bereitgestellt und in Betrieb ist) ausgeführt werden.
Es ist gezeigt, dass das beispielhafte Fahrzeug 100 ein Radarsystem 110 mit einem oder mehreren Sendern 115 und mit einem oder mehreren Empfängern 125 enthält. Der Sender 115 sendet Sendesignale 116 aus und der Empfänger 125 empfängt Reflexionen als ein Empfangssignal 126, das sich aus der Reflexion von etwas der Hochfrequenzenergie von den Sendesignalen 116 durch ein oder mehrere Objekte 160 ergibt. Beispielhafte in 1 gezeigte Objekte 160 enthalten ein feststehendes Objekt 160 (d. h. ein Zeichen) und ein bewegtes Objekt 160 (d. h. ein anderes Fahrzeug). Außerdem enthält das Radarsystem 110 einen Controller 120, der das neuronale Netz eines Radarsystems implementieren kann und der außerdem das Training des neuronalen Netzes eines Radarsystems implementieren kann.
Das Fahrzeug 100 kann zusätzliche Sensoren wie etwa eine Kamera 140 und ein Lidarsystem 150 enthalten. Die Anzahlen und die Orte des Radarsystems 110, der Kamera 140 und des Lidarsystems 150 sollen die Anzahlen und Orte der Sensoren in alternativen Ausführungsformen nicht begrenzen. Außerdem enthält das Fahrzeug 100 einen Fahrzeugcontroller 130, der auf der Grundlage von Informationen von den Sensoren wie etwa von dem Radarsystem 110 eine oder mehrere Operationen des Fahrzeugs 100 steuern kann. Der Controller 120 des Radarsystems 110 kann mit dem Fahrzeugcontroller 130 kommunizieren und kann außerdem direkt oder über den Fahrzeugcontroller 130 mit einem externen Controller 170 kommunizieren.
Der Controller 120 des Radarsystems 110, der Fahrzeugcontroller 130 und der externe Controller 170 können eine Verarbeitungsschaltungsanordnung enthalten, die eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam genutzt, dediziert oder Gruppe) und Speicher, die ein oder mehrere Software- oder Firmwareprogramme ausführen, eine Kombinationslogikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, enthalten kann. Der Speicher der Verarbeitungsschaltungsanordnung kann ein nichttransitorisches computerlesbares Medium enthalten, das Anweisungen speichert, die, wenn sie durch einen oder mehrere Prozessoren der Verarbeitungsschaltungsanordnung verarbeitet werden, die hier diskutierten Prozesse implementieren. Zum Beispiel kann der externe Controller 170 ein Offline-Training des neuronalen Netzes eines Radarsystems implementieren und die Parameter des neuronalen Netzes eines Radarsystems zur Verwendung an den Controller 120 des Radarsystems 110 übermitteln. Der Controller 120 des Radarsystems 110 kann ein Online-Training implementieren.
2 ist ein Prozessablauf eines Verfahrens 200 zum Trainieren eines neuronalen Netzes eines Radarsystems unter Verwendung einer Simulation eines hochauflösenden Radars gemäß einer oder mehreren Ausführungsformen. Die Prozesse können durch den externen Controller 170 als Offline-Training des neuronalen Netzes eines Radarsystems implementiert werden. Zusätzlich oder alternativ können die Prozesse durch den Controller 120 des Radarsystems 110 oder durch den Fahrzeugcontroller 130 ausgeführt werden. Während des Trainings werden sowohl das hochauflösende Radar als auch das Radarsystem 110 simuliert. Das heißt, wie ausführlich dargestellt ist, können die Radarparameter 215, 225 sowohl für das Radarsystem 110 als auch für ein hypothetisches hochauflösendes Radarsystem simuliert werden, um das neuronale Netz eines Radarsystems zu trainieren.
Im Block 205 kann das Erzeugen von Reflexionen gemäß alternativen Vorgehensweisen von einer realen oder simulierten Szene kommen. Gemäß einer beispielhaften Ausführungsform kann das Lidarsystem 150 Reflexionspunkte von einer Szene der realen Welt erhalten. Gemäß einer alternativen Ausführungsform kann eine Szene simuliert werden und können Reflexionspunkte von der simulierten Szene erhalten werden. In beiden Fällen ahmen die resultierenden Reflexionspunkte die Energie, die sich von der Reflexion der Sendesignale 116 durch ein oder mehrere Objekte 160 ergeben würde, nach.
Im Block 210 beruht das Erhalten eines Empfangssignals Ŝ bei dem Radarsystem 110 auf Radarparametern 215 des Radarsystems 110. Das Ergebnis simuliert die Ausgabe des Empfängers 125 des Radarsystems 110 unter Betriebsbedingungen der realen Welt. Im Block 220 beruht das Erhalten eines Empfangssignals S bei der Simulation eines hochauflösenden Radars auf Parametern 225 eines hochauflösenden Radars. Wie zuvor erwähnt wurde, kann die Auflösung der Simulation eines hochauflösenden Radars im Verlauf des Trainings erhöht werden. Das heißt, die Parameter 225 eines hochauflösenden Radars können im Verlauf des Trainings geändert (z. B. verbessert) werden.
Werte der Parameter 225 eines hochauflösenden Radars des Radarsystems 110, die während des Trainingsprozesses simuliert werden, können jene des physischen Radarsystems 110 sein. Beispielhafte Radarparameter enthalten die Anzahl der Antennen und ihre Positionen. Diesbezüglich können die Parameter 225 eines hochauflösenden Radars durch Simulieren einer größeren Anzahl von Antennen, die eine weitere Apertur überspannen, eine höhere Winkelauflösung ermöglichen. Ein weiterer beispielhafter Radarparameter enthält die Bandbreite. Die Bandbreite bezieht sich auf den Bereich von Frequenzen, die in den Sendesignalen 116 gesendet werden. Zum Beispiel kann jedes der Sendesignale 116 eine linear frequenzmodulierte ungedämpfte Welle (d. h. ein Chirp) mit einer Frequenz, die von 77 bis 78 Gigahertz (GHz) linear zunimmt, sein. In diesem Fall wäre die Bandbreite 1 GHz. Die Parameter 225 eines hochauflösenden Radars können eine höhere Bandbreite und sogar eine Bandbreite, die physikalisch nicht möglich ist, enthalten. Somit können die Parameter 225 eines hochauflösenden Radars eine höhere Entfernungsauflösung ermöglichen. Abermals andere beispielhafte Radarparameter enthalten das Impulswiederholungsintervall (PRI), das definiert, wie nahe ein Chirp unter den Sendesignalen 116 zu dem nächsten Chirp ist. Die Parameter 225 eines hochauflösenden Radars können ein kleineres PRI (oder eine höhere Trägerfrequenz oder eine höhere Anzahl von Chirps) enthalten und können eine höhere Dopplerauflösung ermöglichen.
Im Block 230 umfasst das Ausführen einer Verarbeitung an dem Empfangssignal S (d. h. an der im Block 210 erhaltenen simulierten Ausgabe des Empfängers 125 des Radarsystems 110) dieselben Prozesse, die unter Verwendung der Parameter 225 eines hochauflösenden Radars an dem (im Block 220) erhaltenen Empfangssignal S (im Block 220) ausgeführt werden. Allerdings unterscheidet sich das Ergebnis der Verarbeitung in den Blöcken 230 und 240 auf der Grundlage der Differenz zwischen den Radarparametern 215 des Radarsystems 110 und den Parameter 225 eines hochauflösenden Radars der Simulation eines hochauflösenden Radars und der resultierenden Differenz zwischen den Empfangssignalen S und S, die Eingaben in die Blöcke 230 bzw. 240 sind.
Die in den Blöcken 230 und 240 ausgeführte Signalverarbeitung ist bekannt und wird hier kurz beschrieben. Für jedes Sendesignal 116 wird über einen Satz von Entfernungsintervallen, hier als Entfernungsintervallbereiche R bezeichnet, eine schnelle Fouriertransformation (FFT) ausgeführt. Die Entfernungsintervallbereiche R können sich z. B. in regelmäßigen Intervallen über die Detektionsentfernung des Radarsystems 110 erstrecken. Dies führt zu einer Entfernungskarte, die für jeden Entfernungsintervallbereich R und für jedes Sendesignal 116 das Energieniveau angibt. Die Anzahl der Entfernungsintervallbereiche R kann im Block 240 (für das simulierte hochauflösende Radar) im Vergleich zu der Verarbeitung im Block 230 höher sein, so dass die Entfernungsauflösung auf der Grundlage des simulierten hochauflösenden Radars höher ist.
Daraufhin wird über Dopplerfrequenzen eine zweite FFT, hier als Dopplerhypothese D bezeichnet, die potentielle Relativgeschwindigkeiten eines oder mehrerer Objekte 160 betrifft, die Anlass zu den Empfangssignalen 126 gaben, ausgeführt. In Übereinstimmung mit der Verarbeitung im Block 240 kann das simulierte hochauflösende Radarsystem im Vergleich mit der Verarbeitung im Block 230 eine höhere Anzahl von Dopplerhypothesen D (d. h. eine höhere Dopplerauflösung) aufweisen. Das Entfernungskartenergebnis über den Satz von Sendesignalen 116 wird für jeden Entfernungsintervallbereich R kombiniert. Diese zweite FFT führt zu einer Entfernungsdopplerkarte, die das Energieniveau über die Entfernungsintervallbereiche R und die Dopplerhypothesen D angibt.
In einem als Strahlformung bezeichneten Prozess wird daraufhin ein Satz von Azimut-Hypothesen az betrachtet. Jede Azimut-Hypothese az ist ein Azimutwinkel relativ zu dem Radarsystem 110, von dem ein oder mehrere Reflexionspunkte ausgegangen sein können. Die Anzahl der Azimut-Hypothese az kann im Block 240 im Vergleich mit dem Block 230 höher sein, so dass die Winkelauflösung für das simulierte hochauflösende Radarsystem höher ist. Dies führt zu einem Datenwürfel C (von Block 230) und zu einem Datenwürfel C (von Block 240), die für jeden eines Satzes von Entfernungsintervallbereichen R, Dopplerhypothesen D und Azimut-Hypothesen az wie angegeben ein Energieniveau angeben. Es ist klar, dass sich die Größe des Datenwürfels C (von Block 230) und die Größe des Datenwürfels C (von Block 240) auf der Grundlage einer unterschiedlichen Anzahl von Entfernungsintervallbereichen R, Dopplerhypothesen D und Azimut-Hypothesen az unterscheiden können. Allgemein bezieht sich die Objektdetektion in einem Radarsystem 110 auf der Grundlage des Ergebnisses der Signalverarbeitung z. B. auf das Identifizieren des Entfernungsintervallbereichs R, der Doppelhypothese D und der Azimut-Hypothese az, die Energieniveaus, die einen Schwellenwert übersteigen, zugeordnet sind.
Gemäß einer oder mehreren Ausführungsformen wird der Datenwürfel Ĉ (von Block 230) im Block 250 vor der Detektion unter Verwendung des neuronalen Netzes eines Radarsystems verbessert. Das Ergebnis ist die verbesserte Datenkarte M̂'. Der Betrieb des neuronalen Netzes eines Radarsystems (im Block 250) wird anhand von 3 weiter diskutiert. Im Block 260 bezieht sich das Berechnen eines Verlusts auf das Prüfen des Ergebnisses des neuronalen Netzes eines Radarsystems (von Block 250) gegenüber dem Ergebnis, das (im Block 240) von dem simulierten höher auflösenden Radarsystem erhalten wird, um eine Metrik zu erhalten, die ein Zusammenpassen zwischen den zwei Ergebnissen widerspiegelt. Genauer wird das Energieniveau (d. h. die Intensität) bei jedem Entfernungsintervallbereich R und jeder Azimut-Hypothese az, die durch die verbesserte Datenkarte M̂' angegeben werden, mit dem Referenzenergieniveau (d. h. der Intensität) bei jedem Entfernungsintervallbereich R und bei jeder Azimut-Hypothese az, die durch den Datenwürfel C angegeben werden, verglichen. Obwohl der Verlust im Block 260 auf eine Anzahl von Arten berechnet werden kann, ist eine beispielhafte Verlustberechnung ausführlich dargestellt.
Im Block 260 kann der Verlust auf der Grundlage einer Bestimmung, dass eine Wahrscheinlichkeit, dass das Intensitätsniveau eine Detektion gibt, und eine Wahrscheinlichkeit, dass das Intensitätsniveaus keine Detektion gibt, für jeden Entfernungsintervallbereich R und für jede Azimut-Hypothese az der verbesserten Datenkarte M̂' und des Datenwürfels C bestimmt werden. Um die Verarbeitung effizienter zu machen, kann für jedes Paar eines Intervallbereichs R und einer Azimut-Hypothese az des Datenwürfels C nur die Dopplerhypothese D, der die höchste Intensität zugeordnet ist, verwendet werden. Daraufhin gibt für jedes Paar eines Entfernungsintervallbereiche R und einer Azimut-Hypothese az p₀ die Wahrscheinlichkeit an, dass das Intensitätsniveau eine Detektion eines Objekts 160 angibt, und p₁ die Wahrscheinlichkeit an, dass das Intensitätsniveau keine Detektion eines Objekts 160 angibt.
Wie anhand von 3 diskutiert ist, werden als Teil der Verarbeitung im Block 250 zusätzlich in der verbesserten Datenkarte M̂' Dopplerzellen komprimiert. Daraufhin gibt für jede Kombination eines Entfernungsintervallbereichs R und einer Azimut-Hypothese az p̂₀ die Wahrscheinlichkeit an, dass das Intensitätsniveau eine Detektion eines Objekts 160 angibt, und gibt p̂₁ die Wahrscheinlichkeit an, dass das Intensitätsniveau keine Detektion eines Objekts 160 angibt. Daraufhin kann der Kreuzentropieverlust als: $V e r l u s t = - p_{0} l o g ({\hat{p}}_{0}) - p_{1} l o g ({\hat{p}}_{1})$
berechnet werden. Ein niedriger Wert des gemäß Gleichung 1 berechneten Verlusts gibt ein höheres Zusammenpassen zwischen der durch das neuronale Netz eines Radarsystems ausgegebenen verbesserten Datenkarte M̂' und dem durch die Simulation eines höher auflösenden Radars ausgegebenen Datenwürfel C als ein hoher Wert des Verlusts an.
Wie in 2 angegeben ist, wird der Verlust für den Block 250 bereitgestellt, um die Parameter des neuronalen Netzes eines Radarsystems zu aktualisieren. Zum Beispiel kann auf der Grundlage dessen, dass der berechnete Verlust (im Block 260) unter einem Schwellenwert liegt, betrachtet werden, dass das neuronale Netz eines Radarsystems bereit für den Einsatz (im Block 255) in einem Fahrzeug 100 ist. Nach dem Einsatz können die Parameter des neuronalen Netzes eines Radarsystems unter Verwendung der in 2 gezeigten Prozesse aktualisiert oder ununterbrochen trainiert werden.
3 zeigt Prozesse, die im Block 250 durch das neuronale Netz eines Radarsystems implementiert werden, gemäß einer beispielhaften Ausführungsform. Wie in 2 gezeigt ist, wird der Datenwürfel C (von Block 230) in das neuronale Netz eines Radarsystems eingegeben. Das neuronale Netz eines Radarsystems kann ein tiefes neuronales Netz sein (d. h., es enthält einschließlich der Eingangs- und der Ausgangsschicht mehr als drei Schichten). Im Block 310 kann der Datenwürfel C in der Dopplerdimension reduziert werden. Dies kann auf mehrere verschiedene Arten erfolgen. Zum Beispiel kann für mehrere (z. B. 256) Dopplerhypothesen D, die jedem Entfernungsintervallbereich R und jeder Azimut-Hypothese az zugeordnet sind, nur die Dopplerhypothese D mit der höchsten Intensität und mit einer spezifizierten Anzahl der Doppelhypothesen D um die Dopplerhypothese D mit der höchsten Intensität behalten werden. Alternativ kann nur eine spezifizierte Anzahl (z. B. 3) der den höchsten Intensitäten zugeordneten Doppelhypothesen D behalten werden. Das Ergebnis ist eine reduzierte Anzahl von Dopplerhypothesen D im Vergleich mit dem Datenwürfel C.
Im Block 320 enthalten die Prozesse das Implementieren eines zweidimensionalen neuronalen Faltungsnetzes (CNN). Gemäß einer alternativen Ausführungsform für die Verarbeitung der Architektur des neuronalen Netzes eines Radarsystems kann eine Selbstaufmerksamkeitsarchitektur verwendet werden, die die Berechnung einer Schüsselabfrage und von Wertmerkmalen aus dem Eingangsdatenwürfel C (von Block 230) umfasst. Die Kombination der Wertmerkmale kann auf der Grundlage der Korrelation zwischen dem Schlüssel und den Abfragemerkmalen gewichtet werden. Im Block 330 enthält das Erhöhen der Azimutauflösung z. B. das Implementieren einer transponierten Faltungsoperation. Im Block 340 führen die Detektion und die Dopplerregression zu der verbesserten Datenkarte M̂'. Die Detektion bezieht sich auf die Wahrscheinlichkeit p₀, dass das Reflexionsintensitätsniveau einen Detektionsschwellenwert übersteigt und eine Detektion eines Objekts 160 angibt. Diese Detektion ist pro Kombination des Entfernungsintervallbereichs R und der Azimut-Hypothese az. Die Dopplerregression bezieht sich auf die geschätzte Dopplerfrequenz bei jeder Kombination eines Entfernungsintervallbereichs R und einer Azimut-Hypothese az, die einer Detektion zugeordnet sind. Die geschätzte Dopplerfrequenz kann die maximale Dopplerfrequenz in jeder Kombination eines Entfernungsintervallbereichs R und einer Azimut-Hypothese az, die einer Detektion zugeordnet sind, sein. Die geschätzte Dopplerfrequenz kann stattdessen mit einem anderen trainierten neuronalen Netz erhalten werden.
Wie in 3 dargestellt ist, gibt die verbesserte Datenkarte M̂' die Radarreflexionsintensität für jede Kombination eines Entfernungsintervallbereichs R und einer Azimut-Hypothese az an. Außerdem kann das Ergebnis die geschätzte Dopplerfrequenz jeder Kombination eines Entfernungsintervallbereichs R und einer Azimut-Hypothese az enthalten.
Obwohl die obige Offenbarung anhand beispielhafter Ausführungsformen beschrieben worden ist, versteht der Fachmann auf dem Gebiet, dass verschiedene Änderungen vorgenommen werden und für Elemente davon Äquivalente ersetzt werden können, ohne von ihrem Schutzumfang abzuweichen. Außerdem können viele Abwandlungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne von ihrem wesentlichem Schutzumfang abzuweichen. Somit soll die vorliegende Offenbarung nicht auf die bestimmten offenbarten Ausführungsformen beschränkt sein, sondern alle Ausführungsformen, die in ihrem Schutzumfang liegen, enthalten.
Die Begriffe „ein“ und „eine“ bezeichnen keine Beschränkung der Menge, sondern bezeichnen vielmehr die Anwesenheit wenigstens eines der erwähnten Objekte. Wenn nicht durch den Kontext zweifelsfrei etwas anderes angegeben ist, bedeutet der Begriff „oder“ „und/oder“. Die Bezugnahme auf „einen Aspekt“ bedeutet überall in der Patentschrift, dass ein bestimmtes in Verbindung mit dem Aspekt beschriebenes Element (zum Beispiel Merkmal, Struktur, Schritt oder Eigenschaft) in wenigstens einem hier beschriebenen Aspekt enthalten ist und in anderen Aspekten enthalten oder nicht enthalten sein kann. Außerdem ist zu verstehen, dass die beschriebenen Elemente gemäß verschiedenen Aspekten auf irgendeine geeignete Weise kombiniert werden können. Wenn nicht etwas anderes definiert ist, weisen hier verwendete technische und wissenschaftliche Begriffe dieselbe Bedeutung auf, wie sie der Fachmann auf dem Gebiet, zu dem diese Offenbarung gehört, üblicherweise versteht.

Claims

System, das umfasst: einen Sender eines Radarsystems, der zum Senden von Sendesignalen konfiguriert ist; einen Empfänger des Radarsystems, der zum Empfangen von Empfangssignalen auf der Grundlage der Reflexion eines oder mehrerer der Sendesignale durch ein oder mehrere Objekte konfiguriert ist; und einen Prozessor, der zum Trainieren eines neuronalen Netzes mit Referenzdaten, die durch Simulieren eines höher auflösenden Radarsystems als das Radarsystem erhalten werden, um ein trainiertes neuronales Netz zu erhalten, konfiguriert ist, wobei das trainierte neuronale Netz auf der Grundlage des Erhaltens und Verarbeitens der Empfangssignale in einem Fahrzeug die Detektion des einen oder der mehreren Objekte verbessert und wobei auf der Grundlage der Detektion des einen oder der mehreren Objekte eine oder mehreren Operationen des Fahrzeugs gesteuert werden.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, das höher auflösende Radarsystem zu simulieren, damit es mehr Antennen oder enger beabstandete Antennen, die sich über eine breitere Apertur als das Radarsystem erstrecken, enthält.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, das höher auflösende Radarsystem zu simulieren, damit es mehr von den Sendesignalen oder enger beabstandete Sendesignale als das Radarsystem enthält.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, das höher auflösende Radarsystem zu simulieren, damit es eine höhere Bandbreite als das Radarsystem enthält.
System nach Anspruch 1, wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Erhalten simulierter Empfangssignale unter Verwendung von Parametern des Radarsystems an Reflexionspunkten und durch Erhalten simulierter hochauflösender Empfangssignale unter Verwendung hochauflösender Parameter für das hochauflösende Radarsystem zu trainieren, und wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Erhalten der Reflexionspunkte von einem Lidarsystem zu trainieren, oder wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Erzeugen der Reflexionspunkte zu trainieren, oder wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Verarbeiten der simulierten Empfangssignale, um einen Datenwürfel zu erhalten, der eine Intensität bei einem ersten Satz von Entfernungen, bei einem ersten Satz von Hypothesen der Dopplerfrequenz und bei einem ersten Satz von Winkelhypothesen angibt, und durch Verarbeiten der simulierten hochauflösenden Empfangssignale, um einen hochauflösenden Datenwürfel zu erhalten, der eine Intensität bei einem zweiten Satz von Entfernungen, bei einem zweiten Satz von Hypothesen der Dopplerfrequenz und bei einem zweiten Satz von Winkelhypothesen angibt, wobei eine Anzahl des zweiten Satzes von Entfernungen, des zweiten Satzes von Hypothesen der Dopplerfrequenz und des zweiten Satzes von Winkelhypothesen größer als eine Anzahl des ersten Satzes von Entfernungen, des ersten Satzes von Hypothesen der Dopplerfrequenz und des ersten Satzes von Winkelhypothesen ist, zu trainieren, wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Bereitstellen des Datenwürfels für das neuronale Netz und durch Erhalten einer Ausgabe des neuronalen Netzes zu trainieren, und wobei der Prozessor dafür konfiguriert ist, das neuronale Netz durch Erhalten einer Metrik, die ein Zusammenpassen zwischen der Ausgabe des neuronalen Netzes und dem hochauflösenden Datenwürfel angibt, und durch Aktualisieren von Parametern des neuronalen Netzes auf der Grundlage der Metrik zu trainieren.
Nichttransitorisches computerlesbares Medium, das dafür konfiguriert ist, Anweisungen zu speichern, die, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, veranlassen, dass der eine oder die mehreren Prozessoren ein Verfahren implementieren, wobei das Verfahren umfasst: Erhalten von Empfangssignalen, die sich aus der Reflexion eines oder mehrerer Sendesignale, die durch einen Sender eines Radarsystems gesendet werden, durch ein oder mehrere Objekte ergeben, und Empfangen der Empfangssignale durch einen Empfänger des Radarsystems; und Trainieren eines neuronalen Netzes mit Referenzdaten, die durch Simulieren eines höher auflösenden Radarsystems als das Radarsystem erhalten werden, um ein trainiertes neuronales Netz zu erhalten, wobei das trainierte neuronale Netz auf der Grundlage des Erhaltens und Verarbeitens der Empfangssignale in einem Fahrzeug die Detektion des einen oder der mehreren Objekte verbessert und wobei auf der Grundlage der Detektion des einen oder der mehreren Objekte eine oder mehreren Operationen des Fahrzeugs gesteuert werden.
Nichttransitorisches computerlesbares Medium nach Anspruch 6, wobei das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es mehr Antennen oder enger beabstandete Antennen, die sich über eine breitere Apertur als das Radarsystem erstrecken, enthält.
Nichttransitorisches computerlesbares Medium nach Anspruch 6, wobei das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es mehr von den Sendesignalen oder enger beabstandete Sendesignale als das Radarsystem enthält, enthält.
Nichttransitorisches computerlesbares Medium nach Anspruch 6, wobei das Verfahren außerdem das Simulieren des höher auflösenden Radarsystems, damit es eine höhere Bandbreite als das Radarsystem enthält, enthält.
Nichttransitorisches computerlesbares Medium nach Anspruch 6, wobei das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erhalten simulierter Empfangssignale unter Verwendung von Parametern des Radarsystems an Reflexionspunkten und durch Erhalten simulierter hochauflösender Empfangssignale unter Verwendung hochauflösender Parameter für das hochauflösende Radarsystem enthält, und wobei das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erhalten der Reflexionspunkte von einem Lidarsystem enthält, oder wobei das Verfahren außerdem das Trainieren des neuronalen Netzes durch Erzeugen der Reflexionspunkte enthält, oder wobei das Verfahren außerdem das Trainieren des neuronalen Netzes durch Verarbeiten der simulierten Empfangssignale, um einen Datenwürfel zu erhalten, der eine Intensität bei einem ersten Satz von Entfernungen, bei einem ersten Satz von Hypothesen der Dopplerfrequenz und bei einem ersten Satz von Winkelhypothesen angibt, und durch Verarbeiten der simulierten hochauflösenden Empfangssignale, um einen hochauflösenden Datenwürfel zu erhalten, der eine Intensität bei einem zweiten Satz von Entfernungen, bei einem zweiten Satz von Hypothesen der Dopplerfrequenz und bei einem zweiten Satz von Winkelhypothesen angibt, wobei eine Anzahl des zweiten Satzes von Entfernungen, des zweiten Satzes von Hypothesen der Dopplerfrequenz und des zweiten Satzes von Winkelhypothesen größer als eine Anzahl des ersten Satzes von Entfernungen, des ersten Satzes von Hypothesen der Dopplerfrequenz und des ersten Satzes von Winkelhypothesen ist, durch Bereitstellen des Datenwürfels für das neuronale Netz und durch Erhalten einer Ausgabe des neuronalen Netzes, und durch Erhalten einer Metrik, die ein Zusammenpassen zwischen der Ausgabe des neuronalen Netzes und dem hochauflösenden Datenwürfel angibt, und durch Aktualisieren von Parametern des neuronalen Netzes auf der Grundlage der Metrik enthält.