-
EINFÜHRUNG
-
Die Offenbarung bezieht sich auf das Deep Learning zum de-aliasieren und Konfiguration eines Radarsystems.
-
Funkerfassungs- und Entfernungsmesssysteme (Radar) werden zunehmend eingesetzt, um Objekte in verschiedenen Anwendungen zu erfassen oder zu verfolgen. So kann beispielsweise ein Radarsystem in einem Fahrzeug (z.B. Pkw, Lkw, Baumaschinen, landwirtschaftliche Geräte, automatisierte Fabrikeinrichtungen) eingesetzt werden, um Objekte zu erkennen und die Erweiterung oder Automatisierung des Fahrzeugbetriebs zu ermöglichen. Unter bestimmten Bedingungen kann die Erkennung aliasiert werden, so dass mehrere Interpretationen der Ergebnisse möglich sind. Dementsprechend ist es wünschenswert, ein Deep Learning zum de-aliasieren und Konfiguration eines Radarsystems anzubieten.
-
BESCHREIBUNG
-
In einer exemplarischen Ausführungsform beinhaltet ein Verfahren zur Verwendung von Deep Learning zum de-aliasieren in einem Radarsystem das Erhalten von un-aliasierten Zeitabtastungen aus Reflexionen, die auf Übertragungen durch ein erstes Radarsystem aus mehreren frequenzmodulierten Signalen basieren. Das erste Radarsystem beinhaltet mehrere Sendeelemente und mehrere Empfangselemente. Das Verfahren beinhaltet auch das Durchführen von Unterabtastungen der un-aliasierten Zeitabtastungen, um aliasierte Zeitabtastungen zu erhalten, die einer ersten Konfiguration eines mehrdeutigen Radarsystems entsprechen, das Implementieren eines angepassten Filters auf die un-aliasierten Zeitabtastungen, um einen un-aliasierten Datenwürfel zu erhalten, und auf die un-aliasierten Zeitabtastungen, um einen aliasierten Datenwürfel zu erhalten, Verarbeiten des aliasierten Datenwürfels mit einem ersten neuronalen Netzwerk, um einen de-aliasierten Datenwürfel zu erhalten, und Trainieren eines ersten neuronalen Netzwerks basierend auf einem ersten Verlust, der durch Vergleichen des un-aliasierten Datenwürfels mit dem de-aliasierten Datenwürfel erhalten wird, um ein trainiertes erstes neuronales Netzwerk zu erhalten. Das Durchführen der Unterabtastung der un-aliasierten Zeitabtastungen wird wiederholt, um zweite aliasierte Zeitabtastungen zu erhalten, die einer zweiten Konfiguration des mehrdeutigen Radarsystems entsprechen. Ein zweites neuronales Netzwerk wird mit der zweiten Konfiguration des mehrdeutigen Radarsystems trainiert, um ein trainiertes zweites neuronales Netzwerk zu erhalten. Die Ergebnisse des trainierten ersten neuronalen Netzwerks und des trainierten zweiten neuronalen Netzwerks werden verglichen, um ein ausgewähltes neuronales Netzwerk auszuwählen, das einer ausgewählten Konfiguration des mehrdeutigen Radarsystems entspricht. Das ausgewählte neuronale Netzwerk wird mit einem zweiten Radarsystem verwendet, das die ausgewählte Konfiguration des mehrdeutigen Radarsystems aufweist, um ein oder mehrere Objekte zu erfassen.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch die Anordnung des zweiten Radarsystems in einem Fahrzeug.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch das Erkennen des einen oder der mehreren Objekte unter Verwendung des un-aliasierten Datenwürfels und unter Verwendung des de-aliasierten Datenwürfels.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale basiert das Training des neuronalen Netzwerks auf einem zweiten Verlust, der durch den Vergleich eines Ergebnisses der Erkennung, die mit dem un-aliasierten Datenwürfel durchgeführt wurde, mit einem Ergebnis der Erkennung, die mit dem de-aliasierten Datenwürfel durchgeführt wurde.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch das Invertieren des de-aliasierten Datenwürfels, um de-aliasierte Zeitproben zu erhalten.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale basiert das Training des neuronalen Netzwerks auf einem dritten Verlust, der durch den Vergleich der un-aliasierten Zeitabtastungen mit den de-aliasierten Zeitabtastungen erhalten wird.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Durchführen des Unterabtastens die Verwendung aller un-aliasierten Zeitabtastungen, die sich aus nur einer Teilmenge der mehreren frequenzmodulierten Signale ergeben.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Durchführen des Unterabtastens nur die Verwendung einer Teilmenge der un-aliasierten Zeitabtastungen, die aus allen mehreren frequenzmodulierten Signalen resultieren.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Durchführen des Unterabtastens die Verwendung der un-aliasierten Zeitabtastungen, die sich aus nur einer Teilmenge der mehreren Sendeelemente oder der mehreren Empfangselemente des ersten Radarsystems ergeben.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch das Auswählen der ersten Konfiguration und der zweiten Konfiguration aus einer Reihe von Konfigurationen, die basierend auf dem Training eines allgemeinen neuronalen Netzwerks bewertet werden.
-
In einer weiteren exemplarischen Ausführungsform beinhaltet ein System zur Nutzung von Deep Learning zum de-aliasieren in einem Radarsystem ein erstes Radarsystem, um un-aliasierte Zeitabtastungen aus Reflexionen zu erhalten, die auf der Übertragung mehrerer frequenzmodulierter Signale basieren. Das erste Radarsystem beinhaltet mehrere Sendeelemente und mehrere Empfangselemente. Das System beinhaltet auch einen Prozessor zum Unterabtasten der un-aliasierten Zeitabtastwerte, um aliasierte Zeitabtastwerte zu erhalten, die einer ersten Konfiguration eines mehrdeutigen Radarsystems entsprechen, zum Implementieren eines angepassten Filters auf die un-aliasierten Zeitabtastwerte, um einen un-aliasierten Datenwürfel zu erhalten, und auf die aliasierten Zeitabtastwerte, um einen aliasierten Datenwürfel zu erhalten, um den aliasierten Datenwürfel mit einem ersten neuronalen Netzwerk zu verarbeiten, um einen de-aliasierten Datenwürfel zu erhalten, um das erste neuronale Netzwerk basierend auf einem ersten Verlust zu trainieren, der durch Vergleichen des un-aliasierten Datenwürfels mit dem de-aliasierten Datenwürfel erhalten wird, um ein trainiertes erstes neuronales Netzwerk zu erhalten, den Prozess der Unterabtastung der un-aliasierten Zeitabtastungen zu wiederholen, um zweite aliasierte Zeitabtastungen zu erhalten, die einer zweiten Konfiguration des mehrdeutigen Radarsystems entsprechen, ein zweites neuronales Netzwerk unter Verwendung der zweiten Konfiguration des mehrdeutigen Radarsystems zu trainieren, um ein trainiertes zweites neuronales Netzwerk zu erhalten, und Ergebnisse des trainierten ersten neuronalen Netzwerks und des trainierten zweiten neuronalen Netzwerks zu vergleichen, um ein ausgewähltes neuronales Netzwerk auszuwählen, das einer ausgewählten Konfiguration des mehrdeutigen Radarsystems entspricht. Ein zweites Radarsystem ist entsprechend der gewählten Konfiguration des mehrdeutigen Radarsystems eingerichtet und nutzt das neuronale Netzwerk, um ein oder mehrere Objekte zu erfassen.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale befindet sich das zweite Radarsystem in einem Fahrzeug.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale führt der Prozessor die Erkennung des einen oder der mehreren Objekte unter Verwendung des un-aliasierten Datenwürfels und unter Verwendung des de-aliasierten Datenwürfels durch.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale trainiert der Prozessor das neuronale Netzwerk basierend auf einem zweiten Verlust, der durch den Vergleich eines Ergebnisses der Erkennung, die unter Verwendung des un-aliasierten Datenwürfels durchgeführt wurde, mit einem Ergebnis der Erkennung, die unter Verwendung des de-aliasierten Datenwürfels durchgeführt wurde.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale invertiert der Prozessor den de-aliasierten Datenwürfel, um de-aliasierte Zeitproben zu erhalten.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale trainiert der Prozessor das neuronale Netzwerk basierend auf einem dritten Verlust, der durch den Vergleich der un-aliasierten Zeitabtastungen mit den de-aliasierten Zeitabtastungen erhalten wird.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale unterabtastet der Prozessor die un-aliasierten Zeitabtastungen unter Verwendung aller un-aliasierten Zeitabtastungen ab, die sich aus nur einer Teilmenge der mehreren frequenzmodulierten Signale ergeben.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale unterabtastet der Prozessor die un-aliasierten Zeitabtastungen, indem er nur eine Teilmenge der un-aliasierten Zeitabtastungen verwendet, die sich aus allen mehreren frequenzmodulierten Signalen ergeben.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale unterabtastet der Prozessor die un-aliasierten Zeitabtastungen unter Verwendung der un-aliasierten Zeitabtastungen, die sich nur aus einer Teilmenge der mehreren Sendeelemente oder der mehreren Empfangselemente des ersten Radarsystems ergeben.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale werden die erste Konfiguration und die zweite Konfiguration aus einer Reihe von Konfigurationen ausgewählt, die zum Trainieren eines allgemeinen neuronalen Netzwerks verwendet werden.
-
Die vorgenannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenbarung ergeben sich aus der folgenden detaillierten Beschreibung im Zusammenhang mit den beigefügten Figuren.
-
Figurenliste
-
Weitere Merkmale, Vorteile und Details erscheinen exemplarisch nur in der folgenden Detailbeschreibung, die sich auf die Figuren bezieht:
- 1 ist ein Blockdiagramm eines Fahrzeugs, das ein Deep Learning zum de-aliasieren in einem Radarsystem gemäß einer oder mehreren Ausführungsformen durchführen kann;
- 2 ist ein exemplarischer allgemeiner Prozessablauf des Trainingsprozesses für das neuronale Netzwerk zur Durchführung von Deep Learning zum de-aliasieren im Radarsystem gemäß einer oder mehrerer Ausführungsformen;
- 3 zeigt den mit dem Deep Learning verbundenen Trainingsprozessablauf zur zum de-aliasieren im Radarsystem nach einer exemplarischen Ausführungsform;
- 4. zeigt den mit Deep Learning verbundenen Implementierungsfluss zur Konfiguration des Radarsystems gemäß einer exemplarischen Ausführungsform;
- 5 zeigt den mit dem Deep Learning verbundenen Implementierungsfluss zum de-aliasieren im Radarsystem gemäß einer exemplarischen Ausführungsform;
- 6 veranschaulicht die Unterabtastung von Reichweiteninformationen, um ein Deep Learning zum de-aliasieren in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen;
- 7 veranschaulicht die Unterabtastung von Reichweiteninformationen, um ein Deep Learning zum de-aliasieren in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen; und
- 8 veranschaulicht die Unterabtastung von Winkelinformationen, um ein Deep Learning zum de-aliasieren in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen.
-
DETAILLIERTE BESCHREIBUNG
-
Die folgende Beschreibung ist lediglich exemplarischer Natur und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendung nicht einschränken. Es ist zu verstehen, dass in den Figuren entsprechende Bezugszeichen gleichartige oder entsprechende Teile und Merkmale angeben.
-
Wie bereits erwähnt, können Radarsysteme in einer Vielzahl von Anwendungen eingesetzt werden. Beispielsweise können Radarsysteme Informationen liefern, die zur Erweiterung oder Automatisierung des Fahrzeugbetriebs verwendet werden. Ein Fahrzeugradarsystem kann beispielsweise ein SIMO-System (Single Input Multiple Output) mit mehreren Sendeelementen und einem einzelnen Empfangselement oder ein MIMO-System (Multiple Input Multiple Output) mit mehreren Sende- und Empfangselementen sein. Darüber hinaus kann ein Fahrzeugradarsystem ein linear frequenzmoduliertes Dauerwellensignal (LFMCW) übertragen, das beispielsweise auch als Chirp bezeichnet wird. Bestimmte Designentscheidungen für ein Radarsystem führen zu Aliasing, einem Phänomen der Unsicherheit in der tatsächlichen Position eines erfassten Objekts. Unterabtastung in gewisser Kapazität (z.B. spärliches Sendesignal), was zu geringeren Kosten und geringerem Stromverbrauch führt, kann aber auch zu Aliasing führen.
-
Die Winkelinformation wird durch die gesamte Array-Apertur oder die Anzahl und den Abstand der Antennenelemente des Radarsystems (oder die Anzahl der Antennenelemente für einen gegebenen Halbwellenlängenabstand) beeinflusst. So führt die Verwendung eines Radarsystems mit einer spärlichen Teilmenge von Elementen, so dass die Elemente beispielsweise nicht durch eine halbe Wellenlänge getrennt sind, zu einem Winkelaliasing. Die Reichweiteninformation wird durch die Bandbreite (z.B. Chirp-Frequenzspanne) beeinflusst, während die maximal erfassbare Reichweite eine Funktion des Abstands zwischen den Zeitabtastungen der Reflexionen ist. So führt die Verarbeitung einer spärlichen Teilmenge von Zeitabtastwerten für eine gegebene Chirp-Breite mit einem zu großen Abstand zwischen den Abtastwerten für einen gewünschten Maximalbereich zu Range Aliasing. Die Dopplerinformation (d.h. die Entfernungsrate) wird durch die Dauer des Rahmens beeinflusst, der vom Empfänger verarbeitet wird, während die maximal erfassbare Entfernungsrate oder der Doppler eine Funktion des Chirp-zu-Chirp-Abstandes (Chirp-Wiederholungsintervall) ist. Bei einem gewünschten maximalen Doppler führt die Verwendung einer spärlichen Teilmenge von Chirps für eine gegebene Rahmenbreite mit einem zu großen Zwischenchirpsabstand zu Doppler-Aliasing.
-
Ausführungsformen der hierin beschriebenen Systeme und Verfahren beziehen sich auf das Deep Learning zum de-aliasieren und Konfigurieren eines Radarsystems. De-aliasieren bezieht sich auf den Prozess des Abrufs von aliasingfreien Signalen durch Herausfiltern der falschen Replikate (d.h. der Aliase). Deep Learning ist eine Form des maschinellen Lernens, die die hierarchische Darstellung von Daten erlernt und überwacht oder unbeaufsichtigt sein kann. Überwachtes Lernen erfordert grundlegende Wahrheitsannotationen, während sich die beschriebenen Ausführungsformen auf einen selbstüberwachten Ansatz beziehen, bei dem die Annotationen in den Daten selbst vererbt werden. Gemäß den Ausführungsformen werden die Daten zwar zunächst von einem bestimmten Radarsystem unterabgetastet, so dass es zu einem aliasieren kommt, dass die Daten jedoch durch Deep Learning de-aliasiert werden. Somit beinhalten die Ausführungsformen einen Lernaspekt und einen Implementierungsaspekt. Zur Erläuterung wird das Radarsystem, das unverfälschte Signale liefert und für Trainingszwecke verwendet wird, als eindeutiges Radarsystem bezeichnet, und das Radarsystem, das das trainierte neuronale Netzwerk zum de-aliasieren benötigt, weil es aliasierte Signale liefert, wird als mehrdeutiges Radarsystem bezeichnet.
-
Gemäß zusätzlicher Ausführungsformen kann auch die spezifische Konfiguration des mehrdeutigen Radarsystems basierend auf dem Deep Learning bestimmt werden. Die vom eindeutigen Radarsystem bereitgestellten un-aliasierten Signale können auf verschiedene Weise aliasiert werden, so dass das neuronale Netzwerk trainiert wird, um de-aliasierten unter einer Reihe von aliasierenden Bedingungen durchzuführen. Wie detailliert gezeigt, kann die Analyse des trainierten neuronalen Netzwerks dann verwendet werden, um den Satz von Aliasing-Bedingungen auf eine Teilmenge einzugrenzen, neuronale Netzwerke für jede der Teilmengen zu trainieren und die Konfiguration des mehrdeutigen Radarsystems zu bestimmen, das anschließend in Fahrzeugen eingesetzt wird, basierend auf einem Vergleich der Leistung der für die Teilmenge trainierten neuronalen Netzwerke. Das heißt, es kann die aliasierte Konfiguration verwendet werden, für die das trainierte neuronale Netzwerk die besten Ergebnisse liefert. Durch die Verwendung des trainierten neuronalen Netzwerks zum de-aliasieren können die Ressourceneffizienzen eines mehrdeutigen Radarsystems erreicht werden, ohne dass die für aliasierte Daten typische Genauigkeitsstrafe entsteht.
-
Gemäß einer exemplarischen Ausführungsform ist 1 ein Blockdiagramm eines Fahrzeugs 100, das in einem Radarsystem 110 ein Deep Learning zum de-aliasieren durchführen kann. Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101. Das exemplarische Fahrzeug 100 beinhaltet das Radarsystem 110 (ein mehrdeutiges Radarsystem) und kann zusätzlich weitere Sensoren 140 (z.B. Lidar, Kamera) beinhalten, um Objekte 150 wie den in 1 dargestellten Fußgänger 155 zu erfassen und zu verfolgen. Das Fahrzeug 100 beinhaltet auch eine oder mehrere Fahrzeugsteuerungen 130 (z.B. elektronische Steuereinheit (ECU)). Die Fahrzeugsteuerungen 130 können Aspekte des Betriebs des Fahrzeugs 100 steuern oder die Automatisierung des Fahrzeugs 100 basierend auf Informationen des Radarsystems 110 steuern. Das Radarsystem 110 wird mit einer Anordnung von Antennenelementen 115 und einer Radarsteuerung 120 dargestellt. Wie in 1 dargestellt, dürfen die Antennenelemente 115 nicht gleichmäßig beabstandet sein, so dass ein benachbartes Antennenelementpaar 115 mit einem Abstand d zwischen ihnen und ein anderes mit einem unterschiedlichen Abstand d' zwischen ihnen dargestellt wird.
-
Die Radarsteuerung 120 kann einen Oszillator zum Erzeugen von Chirps beinhalten. Vom Radarsystem 110 empfangene reflektierte Signale, die auf der Reflexion von gesendeten Chirps durch Objekte 150 im Sichtfeld des Radarsystems 110 basieren, können von der Radarsteuerung 120, einer Fahrzeugsteuerung 130 oder einer Kombination aus beiden verarbeitet werden. Sowohl die Radarsteuerung 120 als auch die Fahrzeugsteuerung 130 können Verarbeitungsschaltungen und andere Komponenten beinhalten. Die Verarbeitungsschaltung kann eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (shared, dedicated oder group) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten beinhalten, die die beschriebene Funktionalität bereitstellen.
-
Wie bereits erwähnt, verwendet das Fahrzeug 100 gemäß einer oder mehreren Ausführungsformen das Deep Learning, um vom Radarsystem 110 de-aliasierte Daten zu erhalten. Insbesondere kann die Radarsteuerung 120, eine Fahrzeugsteuerung 130 oder eine Kombination aus beiden für die hierin beschriebenen Prozesse verwendet werden. Ein eindeutiges Radarsystem, das eindeutige Signale liefert, kann verwendet werden, um ein neuronales Netzwerk nach einem Deep-Learning Prozess zu trainieren. Nach dem Training kann das neuronale Netzwerk mit dem Radarsystem 110 verwendet werden, das ein mehrdeutiges Radarsystem sein kann, das aliasierte Signale liefert, um eine de-aliasierte Ausgabe zu liefern. Somit kann ein einziges eindeutiges Radarsystem (d.h. eines mit ausreichender Abtastrate zur Vermeidung von Aliasing) verwendet werden, um das neuronale Netzwerk zu trainieren, das mit vielen mehrdeutigen Radarsystemen 110 in entsprechenden Fahrzeugen verwendet werden soll. Die spezifischen Eigenschaften des Radarsystems 110, die sich auf das Aliasing auswirken, sind anhand der 6-8 detailliert beschrieben. 4 beschreibt die Prozesse, mit denen eine Konfiguration des Radarsystems 110 basierend auf Training und Vergleich des neuronalen Netzwerks für unterschiedlich aliasierte Daten bestimmt werden kann.
-
Gemäß den hierin beschriebenen Ausführungsformen kann ein Radarsystem 110 mit Merkmalen, die zu Aliasing führen, dennoch verwendet werden, um de-aliasierte Erfassungen von Objekten 150 zu erhalten, basierend auf dem Training eines neuronalen Netzwerks wie beschrieben. Zusätzlich zum Training, die Ausgabe eines mehrdeutigen Radarsystems 110 zu de-aliasieren, kann das neuronale Netzwerk auch verwendet werden, um den Abstand zwischen den Antennenelementen 115 auszuwählen, der die besten de-aliasing-Ergebnisse des neuronalen Netzwerks unter den Versuchspersonen ermöglicht. Wie bereits erwähnt, muss dieser Abstand nicht einheitlich sein (d.h. der Abstand zwischen zwei Antennenelementen 115 muss nicht gleich dem Abstand zwischen zwei anderen Antennenelementen 115 sein). Ebenso können unter den Versuchspersonen, für die das trainierte neuronale Netzwerk das beste Ergebnis liefert, auch der Zwischenabtast- und der Zwischenchirpsabstand gewählt werden. Das heißt, das neuronale Netzwerk kann zunächst für eine Reihe von Konfigurationen von mehrdeutigen Radaren trainiert werden. Die Ergebnisse des neuronalen Netzwerks können verwendet werden, um eine Teilmenge der Konfigurationen auszuwählen, für die neuronale Netzwerke trainiert werden. Die Leistung dieser trainierten neuronalen Netze kann dann verglichen werden, um eine Konfiguration aus der Teilmenge der Konfigurationen als Konfiguration für das Radarsystem 110 auszuwählen. Auf diese Weise kann ein ressourcen- und kosteneffizientes mehrdeutiges Radarsystem 110 weiterhin verwendet werden, aber es kann so eingerichtet werden, dass es letztlich die besten Ergebnisse mit dem trainierten neuronalen Netzwerk liefert.
-
2 ist ein exemplarischer allgemeiner Prozessablauf 200 des Trainingsprozesses für das neuronale Netzwerk, mit dem im Radarsystem 110 Deep Learning zum de-aliasieren gemäß einer oder mehrerer Ausführungsformen durchgeführt wird. Der Prozessablauf 200 ist für eine Iteration einer Trainingsrunde, wie unter Bezugnahme auf die 3 und 4 weiter verdeutlicht. Bei Block 210 beinhalten die Prozesse das Bereitstellen eines Eingangs für ein neuronales Netzwerk. Basierend auf der Verarbeitung des Eingangs durch das neuronale Netzwerk wird bei Block 220 ein Ausgang bei Block 230 erhalten. Bei Block 240 erleichtert das Erhalten der Grundwahrheit für die bei Block 230 erhaltene Ausgabe das Vergleichen der Ausgabe des neuronalen Netzwerks mit den Grundwahrheitsdaten bei Block 250. Der Unterschied, nach dem Vergleich bei Block 250, erleichtert die Bereitstellung eines Verlusts bei Block 260 an das neuronale Netzwerk. Dieser Verlust wird im Hintergrund übertragen und dient dazu, die Gewichte des neuronalen Netzwerks bei Block 220 während des Trainings zu aktualisieren.
-
In exemplarischen Ausführungsformen, die mit Bezug auf 3 detailliert sind, ist die bei Block 210 von 2 bereitgestellte Eingabe aliasierter Daten und die bei Block 230 erhaltene Ausgabe, die auf der Grundlage der neuronalen Netzverarbeitung bei Block 220 erhalten wurde, de-aliasierte Daten. Diese de-aliasierte Ausgabe wird bei Block 250 mit Bodenwahrheitsdaten verglichen, die bei Block 240 von einem eindeutigen Radarsystem erhalten wurden, das im Gegensatz zum Radarsystem 110 nicht zu Aliasing führt (d.h. un-aliasierte oder aliasing-freie Daten liefert). Das eindeutige Radarsystem mit aliasingfreien Daten wird beim Training des neuronalen Netzes verwendet, während das Radarsystem 110 mit dem neuronalen Netz eingesetzt wird, um ein de-aliasieren gemäß einer oder mehrerer Ausführungsformen durchzuführen. Der Verlust, der bei Block 260 bereitgestellt wird, wird nach dem Vergleich der aus dem neuronalen Netz erhaltenen de-aliasierten Daten mit den aliasingfreien Daten verwendet, um die Verarbeitung des neuronalen Netzes zu verbessern. Insbesondere wird die Gewichtung innerhalb des neuronalen Netzwerks entsprechend dem Verlust angepasst. Im speziellen Fall des Lernens des neuronalen Netzwerk von de-aliasieren werden alle Peaks (d.h. true und aliased) erhalten und korrekte Übereinstimmungen mit den wahren Peaks werden bevorzugt, während falsche Übereinstimmungen mit den aliased Peaks bestraft werden. „Hungarian loss“ kann zur Lösung des Matching herangezogen werden. Wie die Diskussion von 3 zeigt, kann der Verlust, der zum Trainieren des neuronalen Netzwerks verwendet wird, in einer oder mehreren von drei verschiedenen Domänen gemäß einer oder mehreren Ausführungsformen erzielt werden.
-
Wie bereits erwähnt, kann gemäß zusätzlicher Ausführungsformen das Training des neuronalen Netzwerks, das selbst ein iterativer Prozess sein kann, für verschiedene Konfigurationen (eine Teilmenge eines anfänglichen Konfigurationssatzes) eines mehrdeutigen Radarsystems wiederholt werden. Das heißt, die aliasierte Dateneingabe bei Block 210 entspricht einer bestimmten Konfiguration eines mehrdeutigen Radars. Für die gleiche Konfiguration können bei Block 210 verschiedene Aliasedaten eingegeben werden, was dazu führt, dass der Trainingsprozess auch für eine einzige Konfiguration des mehrdeutigen Radarsystems iterativ ist. Für eine andere Konfiguration kann der iterative Trainingsprozess wiederholt werden. Somit können für verschiedene Konfigurationen des mehrdeutigen Radars unterschiedliche trainierte neuronale Netze erhalten werden. Basierend darauf, welches der trainierten neuronalen Netze am besten funktioniert, kann die Konfiguration des Radarsystems 110 so gesteuert werden, dass sie mit der Konfiguration übereinstimmt, die zum Trainieren dieses neuronalen Netzes verwendet wird.
-
3 zeigt den mit Deep Learning verbundenen Trainingsprozessablauf 300 zum de-aliasieren im Radarsystem 110 gemäß einer exemplarischen Ausführungsform. Der Trainingsprozessablauf 300 bietet eine detailliertere Darstellung als der in 2 dargestellte allgemeine Prozessablauf 200. Der Trainingsprozessablauf 300 zeigt mehrere Verlustquellen auf mehreren Ebenen an, die zum Training des neuronalen Netzwerks verwendet werden können. Wie bereits erwähnt, können die in 3 dargestellten Prozesse von der Radarsteuerung 120, einer Fahrzeugsteuerung 130 oder einer Kombination durchgeführt werden. Bei Block 310 bezieht sich das Erhalten einer un-aliasierten Radarausgabe auf das Erhalten von aliasingfreien Proben AFS aus reflektierten Signalen, die auf einem eindeutigen Radarsystem (und nicht auf dem Radarsystem 110) basieren. Wie bereits erwähnt, weist das eindeutige Radarsystem Hardware- und Verarbeitungsaspekte auf, die es ermöglichen, im Vergleich zum Radarsystem 110 un-aliasierte Daten bereitzustellen. Als ein Beispiel kann die bei Block 310 erhaltene un-aliasierte Radarausgabe auf mehr Antennenelementen 115 als die des Radarsystems 110 basieren. Bei Block 315 kann die Durchführung einer Unterabtastung der aliasing-freien Zeitproben AFS (auch als C bezeichnet), die bei Block 310 erhalten wurden, auf verschiedene Weise durchgeführt werden, wie in Bezug auf die 5-7 beschrieben. Das Ergebnis der Verarbeitung bei Block 315 sind Proben, die unter Aliasing (d.h. aliasierten Zeitproben) AS leiden. Die Generierung der AFS-AS-Paare ist eine Form des selbstgesteuerten Lernens. Wie weiter unter Bezugnahme auf 4 erläutert, kann das Durchführen von Unterabtastungen bei Block 315 zunächst für eine Reihe von Aliasing-Bedingungen erfolgen, um ein universelles neuronales Netzwerk zu trainieren. Nachdem eine Teilmenge dieser Aliasing-Bedingungen (d.h. Konfigurationen für ein mehrdeutiges Radarsystem) ausgewählt wurde, kann das Unterabtasten bei Block 315 gemäß einer der Teilmengen von Konfigurationen für die mit dem Training eines (spezialisierten) neuronalen Netzwerks verbundenen Iterationen erfolgen.
-
Bei Block 320 führt das Anwenden eines angepassten Filters auf die aliasierten Zeitabtastungen AS, die aus dem Prozess bei Block 315 erhalten werden, zu einem aliasierten vierdimensionalen Datenwürfel AC. Bei Block 335 führt die Anwendung eines angepassten Filters auf die bei Block 310 erhaltenen aliasing-freien Zeitabtastungen AFS zu einem aliasing-freien vierdimensionalen Datenwürfel AFC (auch als A bezeichnet). Die aliasingfreien Zeitabtastungen AFS und die aliasierten Zeitabtastungen AS liegen im Zeitbereich (d.h. Zeitabtastungen für jedes übertragene Chirp). Die bestehende Matched-Filter-Verarbeitung beinhaltet eine zweidimensionale schnelle Fourier-Transformation (FFT) und einen Strahlformungsprozess. Insbesondere stellt eine Reichweiten-FFT eine Reichweiten-Chirp-Karte zur Verfügung, die die Energieverteilung über die Reichweitenwerte für jedes gesendete Chirp für jeden Empfangskanal und Sendekanal anzeigt. Eine Doppler-FFT kombiniert Chirps für jeden Range Bin der Range-Chirp-Karte, die sich aus der Range-FFT ergibt. Die resultierende Range-Doppler-Karte zeigt die Relativgeschwindigkeit und Reichweite jedes erfassten Objekts an. Ein Strahlformungsprozess, der auf der Entfernungs-Doppler-Karte durchgeführt wird und für jedes erfasste Objekt Azimut- und Elevationswinkel liefert. So sind sowohl im aliasierten vierdimensionalen Datenwürfel AC als auch im aliasingfreien vierdimensionalen Datenwürfel AFC die vier Dimensionen Reichweite, Doppler, Azimut und Elevation.
-
Bei Block 330 führt die Verarbeitung des aliasierten vierdimensionalen Datenwürfels AC durch das neuronale Netzwerk zum de-aliasierten vierdimensionalen Datenwürfel DC (auch als A' bezeichnet). Wie 2 zeigt, liefert der Vergleich (bei Block 250) des Ausgangs des neuronalen Netzwerks (Block 230) mit der Grundwahrheit (Block 240) bei Block 260 einen Verlust, der als Rückmeldung zur Verbesserung des tiefen Lernens des neuronalen Netzwerks bereitgestellt werden kann. Im Trainingsprozessablauf 300 gibt es drei Vergleiche und damit drei Verlustquellen, die im Deep Learning durch das neuronale Netz (bei Block 330) individuell kombiniert oder berücksichtigt werden können. Der erste Vergleich kann von A und A' sein. Das heißt, die aliasing-freie vierdimensionale Datenwürfel-AFC-Ausgabe durch den angepassten Filter bei Block 335 kann mit der de-aliasierten vierdimensionalen Datenwürfel-DC-Ausgabe durch das neuronale Netzwerk bei Block 330 verglichen werden.
-
Die Differenz, loss A, kann dem neuronalen Netzwerk als Feedback zur Verfügung gestellt werden. Dieser Verlust, loss A, kann aufgrund der bildhaften Struktur des Datenwürfels als Datenwürfel „Image“-Verlust angesehen werden. Loss_A kann beispielsweise eine Kombination aus Rekonstruktionsverlust (elementare Unterschiede zwischen AFC und DC unter Verwendung der L1 / L2-Norm), Wahrnehmungsverlust (Differenz zwischen „tiefen“ Merkmalen von AFC und DC, die durch die Verarbeitung der Datenwürfel mit einem vorgeschulten tiefen neuronalen Netzwerk wie dem Netzwerk der Visual Graphics Group (VGG) erzeugt werden) und nachteiligem Verlust (unter Verwendung der Generative-Adversarial-Netzwerkarchitektur, Hinzufügen eines Diskriminatorennetzes mit dem Ziel zu bestimmen, ob der Datenwürfel durch das eindeutige Radar (d.h, ist AFC bei Block 335) oder wurde durch das neuronale Netzwerk erzeugt (d.h. ist DC bei Block 330)).
-
Der zweite Vergleich kann von B und B' sein. Bei Block 345 führt die Durchführung der Erkennung des aliasing-freien vierdimensionalen Datenwürfels AFC-Ausgangs durch den angepassten Filter bei Block 335 zu Detektionsinformationen (d.h. aliasing-freie Detektionsinformationen AFD, auch als B bezeichnet), die Reichweite, Doppler, Azimut und Höhe zu jedem detektierten Objekt anzeigen. Ebenso führt die Durchführung der Erkennung des de-aliasierten vierdimensionalen Datenwürfels DC-Ausgangs durch den angepassten Filter bei Block 330 bei Block 340 zu Erkennungsinformationen (d.h. de-aliasierte Erkennungsinformationen DD, die auch als B' angezeigt werden), die Reichweite, Doppler, Azimut und Höhe zu jedem erkannten Objekt anzeigen. Der Unterschied, der sich aus dem Vergleich der aliasing-freien Erkennungsinformationen AFD (B) mit den de-aliasierten Erkennungsinformationen DD (B'), loss B, ergibt, kann dem neuronalen Netzwerk als Rückmeldung zur Verfügung gestellt werden. Dieser Verlust, loss B, kann als ein Verlust der Ausgangspunktwolke betrachtet werden, wobei die Punkte die Radardetektionen sind (d.h. Punkte in vier Dimensionen (drei Dimensionen und Doppler)). Der Vergleich besteht aus zwei Punktwolken, die beispielsweise auf dem paarweisen Punktabstand, der Suche nach dem nächsten Nachbarpunkt oder der Dichteanpassung basieren. Dieser Verlust misst direkt die Qualität der Radar-Endausgabe und kann verwendet werden, um sicherzustellen, dass der de-aliasing-Prozess realistische und aussagekräftige Daten liefert.
-
Der dritte Vergleich kann von C und C' sein. Wie in
3 angegeben, kann der de-aliasierte vierdimensionale Datenwürfel-DC-Ausgang des neuronalen Netzwerks bei Block
330 für die Invertierung bei Block
350 vorgesehen werden. Invertieren bei Block
350 bezieht sich auf das Umwandeln des de-aliasierten vierdimensionalen Datenwürfels DC zurück zu den bei C' angegebenen Zeitbereichsproben. Wie bereits erwähnt, werden die aliasing-freien Zeitabtastwerte AFS auch als C bezeichnet. Die L1- oder L2-Norm der Differenz, die sich aus dem Vergleich der aliasing-freien Zeitabtastwerte AFS (C) mit den aus der Umkehrung resultierenden Abtastwerten C' bei Block
350, loss C ergibt, kann dem neuronalen Netzwerk als Rückmeldung zur Verfügung gestellt werden. Dieser Verlust, loss C, kann als Zeitstichprobenverlust betrachtet werden. Gemäß einer exemplarischen Ausführungsform können alle drei Verluste, loss A, loss_B und loss C, gemeinsam im Deep Learning durch das neuronale Netzwerk verwendet werden. So kann beispielsweise ein gewichteter Verlust, loss_w, wie folgt berechnet werden:
-
In Gl. 1 sind α, β und γ die Gewichte, die jeweils auf loss_A, loss_B und loss_C angewendet werden. Die Gewichte werden mit Hilfe eines Hyper-Parameter-Suchverfahrens optimiert.
-
Der mit Bezug auf 3 diskutierte Trainingsprozess kann iterativ durchgeführt werden. Bei verschiedenen Iterationen können verschiedene Subarrays (bei Block 315) unter Verwendung eines der in Bezug auf die 6-8 beschriebenen Prozesse aus demselben Radarrahmen (erhalten bei Block 310) ausgewählt werden. Darüber hinaus kann, wie bereits erwähnt, der iterative Prozess des Trainings des neuronalen Netzwerks (dargestellt durch den Prozessablauf 300 in 3) wiederholt werden, um verschiedene Konfigurationen für das mehrdeutige Radarsystem 110 zu testen (z.B. unterschiedliche Anzahl von Antennenelementen 115, unterschiedlicher Abstand zwischen den Antennenelementen 115, unterschiedlicher Zwischenabtastabstand, unterschiedlicher Zwischenchirpsabstand (bei Block 315, 3)).
-
4 zeigt den Prozessablauf 400 für Deep Learning zur Konfiguration des Radarsystems 110 gemäß einer oder mehrerer Ausführungsformen. Bei Block 410 bezieht sich die Auswahl einer Reihe von Konfigurationen des mehrdeutigen Radarsystems auf die spezifische Art und Weise, wie die Unterabtastung bei Block 315 durchgeführt wird (3). Die Durchführung des tiefen Lernens bei Block 420 erfolgt gemäß den Prozessen, die unter Bezugnahme auf 2 im Allgemeinen und 3 im Besonderen diskutiert werden. Wie bereits erwähnt, können die in 3 dargestellten Prozesse iterativ für die gleiche Kandidatenkonfiguration durchgeführt werden. Für den bei Block 410 ausgewählten Konfigurationssatz wird ein einzelnes (universelles) neuronales Netzwerk entsprechend dem mit Bezug auf die 2 und 3 diskutierten Fluss trainiert. Bei Block 430 bezieht sich die Auswertung der Ergebnisse zur Auswahl einer Teilmenge von Konfigurationen auf die Aggregation von Statistiken aus dem neuronalen Netzwerk, um die Teilmenge von Konfigurationen zu bestimmen, für die das neuronale Netzwerk gut abgeschnitten hat. Ein (spezialisiertes) neuronales Netzwerk wird für jede Konfiguration in der Teilmenge bei Block 420 trainiert.
-
Bei Block 440 bezieht sich die Bewertung neuronaler Netzwerke für die Teilmenge der Konfigurationen auf die Bewertung und den Vergleich der Genauigkeit jedes neuronalen Netzwerks (trainiert bei Block 420) für jede Kandidatenkonfiguration (ausgewählt bei Block 430). Die Auswertung führt zur Bestimmung des genauesten neuronalen Netzes und zur Auswahl der entsprechenden Konfiguration aus der Teilmenge der Konfigurationen. Bei Block 450 bezieht sich das Bereitstellen der bei Block 440 ausgewählten Konfiguration zur Implementierung auf das Konfigurieren des Radarsystems 110 gemäß der ausgewählten Konfiguration.
-
5 zeigt den mit Deep Learning verbundenen Implementierungsfluss 500 zum de-aliasieren im Radarsystem 110 gemäß einer exemplarischen Ausführungsform. Die in 5 dargestellten Prozesse verwenden das Radarsystem 110, und die Verarbeitung von Reflexionen, die in Bezug auf 5 diskutiert werden, kann von der Radarsteuerung 120, einer Fahrzeugsteuerung 130 oder einer Kombination durchgeführt werden. Das neuronale Netzwerk, das mit Bezug auf Block 330 (3) diskutiert und nach dem Prozessablauf 300, der mit Bezug auf 3 diskutiert wird, sowie nach dem Prozessablauf 400, der mit Bezug auf 4 behandelt wird, trainiert wird, ist (bei Block 530) auf de-aliasierte Daten implementiert, die mit dem Radarsystem 110 erhalten werden.
-
Bei Block 510 bezieht sich das Erhalten der aliasierten Radarausgabe auf das Erhalten von Zeitproben unter Verwendung des Radarsystems 110. Diese Daten sind alias, da sich das Radarsystem 110 von demjenigen (d.h. dem eindeutigen Radarsystem) unterscheidet, das beim Training des neuronalen Netzes gemäß dem Prozessablauf 300 verwendet wird (3). Bei Block 520 bezieht sich die Implementierung eines angepassten Filters auf das Erhalten eines vierdimensionalen Datenwürfels aus den Zeitabtastungen (erhalten bei Block 510). Bei Block 530 führt die Implementierung des neuronalen Netzwerks dazu, dass aus dem vierdimensionalen Datenwürfel, der vom angepassten Filter ausgegeben wird, ein dealiasierter vierdimensionaler Datenwürfel erhalten wird (bei Block 520). Die Verwendung eines Erkennungsalgorithmus bei Block 540 befindet sich auf dem de-aliasierten vierdimensionalen Datenwürfel, der vom neuronalen Netzwerk ausgegeben wird (bei Block 530), und nicht auf dem vierdimensionalen Datenwürfel, der vom angepassten Filter ausgegeben wird (bei Block 520), was zu irreführenden Erkennungen aufgrund von Aliasing führen kann. Somit werden die Azimut-, Elevations-, Entfernungs- und Dopplerwerte für jedes erfasste Objekt 150 ohne Unsicherheit zwischen dem wahren und dem aliasierten Wert erhalten, wie es für das Radarsystem 110 ohne den Vorteil des de-aliasierens durch das neuronale Netzwerk der Fall wäre.
-
Die 6-8 veranschaulichen exemplarische Ausführungsformen für den Prozess der Unterabtastung bei Block 315 (3). Bei der Bestimmung genau der Teilmengen, die zur Unterabtastung der aliasing-freien Zeitabtastungen AFS (bei Block 315) verwendet werden müssen, kann das eigentliche Radarsystem 110 berücksichtigt werden. Das heißt, dass beispielsweise die tatsächliche Anzahl der Antennenelemente 115 des Radarsystems 110 verwendet werden kann, um die Größe des Teilsatzes zu wählen, mit dem eine Unterabtastung bei Block 315 verursacht wird (3). Durch das Training des neuronalen Netzwerks (bei Block 330, 3) unter Verwendung des Unterabtastens, das dem des Radarsystems 110 entspricht, kann die Implementierung des neuronalen Netzwerks (bei Block 530, 5) bessere Ergebnisse liefern, als wenn das Training das eigentliche Radarsystem 110 nicht berücksichtigt. Gemäß alternativen Ausführungsformen, die unter Bezugnahme auf 4 detailliert sind, kann die Unterabtastung für Kandidatenkonfigurationen durchgeführt werden, die zur Auswahl der Konfiguration für das Radarsystem 110 verwendet werden.
-
6 veranschaulicht die Unterabtastung von Reichweiteninformationen, um ein Deep Learning zum de-aliasieren im Radarsystem 110 gemäß einer oder mehreren Ausführungsformen zu erreichen. 6 zeigt Chirps entlang der Achse 610 und Zeitproben entlang der Achse 620. Wie die exemplarischen Chirp-Subarrays 630 anzeigen, kann eine Unterabtastung bei Block 315 (3) die Verwendung aller Zeitabtastungen beinhalten, jedoch nur aus einer Teilmenge der Chirps, um die aliasierten Zeitabtastungen AS zu erhalten. Im exemplarischen Fall von 6 werden alle Zeitproben nur für die Chirps verwendet, die Teil des Subarrays 630 sind. Wie 6 zeigt, muss das Subarray 630 nicht jedes andere oder jedes n-te Chirp sein (obwohl es das sein könnte), sondern kann stattdessen jedes Subarray 630 der Chirps sein, was zu einer Unterabtastung von Reichweiteninformationen führt (z.B. Doppler-Aliasing).
-
7 veranschaulicht die Unterabtastung von Reichweiteninformationen, um ein Deep Learning zum de-aliasieren im Radarsystem 110 gemäß einer oder mehreren Ausführungsformen zu erreichen. 7 zeigt chirps entlang der Achse 610 und Zeitproben entlang der Achse 620. Wie das exemplarische Proben-Subarray 710 anzeigt, kann eine Unterabtastung bei Block 315 (3) die Verwendung nur einer Teilmenge der Zeitabtastungen aus jedem Chirp beinhalten, um die aliasierten Zeitabtastungen AS zu erhalten. Wie 7 zeigt, muss das Subarray 710 nicht jedes zweite Mal eine Probe oder jedes n-te Mal eine Probe sein (obwohl es das sein könnte). Das Subarray 710 kann eine beliebige Teilmenge von Zeitabtastungen sein, die zu einer Unterabtastung von Bereichsinformationen führt (z.B. Range Aliasing).
-
8 veranschaulicht die Unterabtastung von Winkelinformationen, um ein Deep Learning zum de-aliasieren im Radarsystem 110 gemäß einer oder mehreren Ausführungsformen zu erreichen. Das gesamte Spektrum der Antennenelemente 115 eines exemplarischen MIMO-Radarsystems (d.h. des eindeutigen Radarsystems), das zum Erhalten der aliasing-freien Radarausgabe bei Block 310 (3) verwendet wird, wird in 8 als 800 bezeichnet. Jede „1“ bezeichnet ein verwendetes Antennenelement 115 und jede „0“ bezeichnet ein unbenutztes Antennenelement 115 zum Zwecke der Unterabtastung. In alternativen exemplarischen Ausführungsformen kann jede Teilmenge der Antennenelemente 115, die der Halbwellenlängenregel widerspricht, verwendet werden, um eine Unterabtastung von Winkelinformationen (z.B. Winkelaliasing) durchzuführen.
-
Obwohl die vorstehende Offenbarung mit Bezug auf exemplarische Ausführungsformen beschrieben wurde, wird von den Fachleuten verstanden, dass verschiedene Änderungen vorgenommen und Äquivalente durch Elemente davon ersetzt werden können, ohne von ihrem Umfang abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne vom wesentlichen Umfang der Offenbarung abzuweichen. Daher ist beabsichtigt, dass sich die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt, sondern alle in den Anwendungsbereich fallenden Ausführungsformen umfasst.
