DE102020100286A1 - Deep learning für superauflösung in einem radarsystem - Google Patents

Deep learning für superauflösung in einem radarsystem Download PDF

Info

Publication number
DE102020100286A1
DE102020100286A1 DE102020100286.6A DE102020100286A DE102020100286A1 DE 102020100286 A1 DE102020100286 A1 DE 102020100286A1 DE 102020100286 A DE102020100286 A DE 102020100286A DE 102020100286 A1 DE102020100286 A1 DE 102020100286A1
Authority
DE
Germany
Prior art keywords
resolution
time samples
data cube
radar system
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102020100286.6A
Other languages
English (en)
Inventor
Yaron Eshet
Igal Bilik
Oded Bialer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102020100286A1 publication Critical patent/DE102020100286A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/50—Systems of measurement based on relative movement of target
    • G01S13/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G01S13/583—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets
    • G01S13/584—Velocity or trajectory determination systems; Sense-of-movement determination systems using transmission of continuous unmodulated waves, amplitude-, frequency-, or phase-modulated waves and based upon the Doppler effect resulting from movement of targets adapted for simultaneous range and velocity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

Ein System und Verfahren zur Verwendung von Deep Learning für die Superauflösung in einem Radarsystem beinhaltet das Erhalten von Zeitproben erster Auflösung aus Reflexionen, die auf Übertragungen durch ein Radarsystem erster Auflösung von mehreren frequenzmodulierten Signalen basieren. Das Radarsystem erster Auflösung beinhaltet mehrere Sendeelemente und mehrere Empfangselemente. Das Verfahren beinhaltet auch das Reduzieren der Auflösung der Zeitabtastwerte erster Auflösung, um Zeitabtastwerte zweiter Auflösung zu erhalten, das Implementieren eines angepassten Filters auf den Zeitabtastwerte erster Auflösung, um einen Datenwürfel erster Auflösung zu erhalten, und auf den Zeitabtastwerte zweiter Auflösung, um einen Datenwürfel zweiter Auflösung zu erhalten, das Verarbeiten des Datenwürfels zweiter Auflösung mit einem neuronalen Netzwerk, um einen Datenwürfel dritter Auflösung zu erhalten, und das Trainieren des neuronalen Netzwerks basierend auf einem ersten Verlust, der durch Vergleichen des Datenwürfels erster Auflösung mit dem Datenwürfel dritter Auflösung erhalten wurde. Das neuronale Netzwerk wird mit einem Radarsystem zweiter Auflösung verwendet, um ein oder mehrere Objekte zu erfassen.

Description

  • EINFÜHRUNG
  • Die Offenbarung bezieht sich auf das Deep Learning für die Superauflösung in einem Radarsystem.
  • Funkerfassungs- und Entfernungsmesssysteme (Radar) werden zunehmend eingesetzt, um Objekte in verschiedenen Anwendungen zu erfassen oder zu verfolgen. So kann beispielsweise ein Radarsystem in einem Fahrzeug (z.B. Pkw, Lkw, Baumaschinen, landwirtschaftliche Geräte, automatisierte Fabrikeinrichtungen) eingesetzt werden, um Objekte zu Erfassen und die Erweiterung oder Automatisierung des Fahrzeugbetriebs zu erleichtern. Die Auflösung, mit der ein Objekt von einem gegebenen Radarsystem erfasst werden kann, hängt von der Konstruktionswahl für das Radarsystem ab, aber die Konstruktionswahl kann durch Berücksichtigungen wie z.B. Größe, Kosten und Gewicht eingeschränkt sein. Dementsprechend ist es wünschenswert, Deep Learning für die Superauflösung in einem Radarsystem anzubieten.
  • BESCHREIBUNG
  • In einer exemplarischen Ausführungsform beinhaltet ein Verfahren zur Verwendung von Deep Learning für die Superauflösung in einem Radarsystem das Erhalten von Zeitproben erster Auflösung aus Reflexionen, die auf Übertragungen durch ein Radarsystem erster Auflösung aus mehreren frequenzmodulierten Signalen basieren. Das Radarsystem erster Auflösung beinhaltet mehrere Sendeelemente und mehrere Empfangselemente. Das Verfahren beinhaltet auch das Reduzieren der Auflösung der Zeitabtastwerte erster Auflösung, um Zeitabtastwerte zweiter Auflösung zu erhalten, das Implementieren eines angepassten Filters auf den Zeitabtastwerten erster Auflösung, um einen Datenwürfel erster Auflösung zu erhalten, und auf den Zeitabtastwerten zweiter Auflösung, um einen Datenwürfel zweiter Auflösung zu erhalten, das Verarbeiten des Datenwürfels zweiter Auflösung mit einem neuronalen Netzwerk, um einen Datenwürfel dritter Auflösung zu erhalten, und das Trainieren des neuronalen Netzwerks basierend auf einem ersten Verlust, der durch Vergleichen des Datenwürfels erster Auflösung mit dem Datenwürfel dritter Auflösung erhalten wurde. Das neuronale Netzwerk wird mit einem Radarsystem zweiter Auflösung verwendet, um ein oder mehrere Objekte zu erfassen.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch die Anordnung des Radarsystems zweiter Auflösung in einem Fahrzeug.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch das Erfassen des einen oder der mehreren Objekte unter Verwendung des Datenwürfels erster Auflösung und unter Verwendung des Datenwürfels dritter Auflösung.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale basiert das Training des neuronalen Netzwerks auf einem zweiten Verlust, der durch den Vergleich eines Ergebnisses der Erkennung, die mit dem Datenwürfel erster Auflösung durchgeführt wurde, mit einem Ergebnis der Erkennung, die mit dem Datenwürfel dritter Auflösung durchgeführt wurde.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet das Verfahren auch das Umkehren des Datenwürfels dritter Auflösung, um Zeitabtastwerte dritter Auflösung zu erhalten.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale basiert das Training des neuronalen Netzwerks auf einem dritten Verlust, der durch den Vergleich der Zeitproben erster Auflösungmit den Zeitproben dritter Auflösung erhalten wird.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet die Reduzierung der Auflösung die Verwendung aller Zeitabtastwerte erster Auflösung, die sich aus nur einer Teilmenge der mehrfach frequenzmodulierten Signale ergeben.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet die Reduzierung der Auflösung die Verwendung nur einer Teilmenge der Zeitabtastwerte erster Auflösung, die aus allen mehreren frequenzmodulierten Signalen resultieren.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet die Reduzierung der Auflösung die Verwendung der Zeitabtastwerte erster Auflösung, die sich nur aus einer Teilmenge der mehreren Sendeelemente und der mehreren Empfangselemente des Radarsystems erster Auflösung ergeben.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale beinhaltet die Reduzierung der Auflösung das Erhalten der Zeitabtastwerte zweiter Auflösung mit derselben Auflösung wie die vom Radarsystem zweiter Auflösung bereitgestellten Zeitabtastwerte.
  • In einer weiteren exemplarischen Ausführungsform beinhaltet ein System zur Nutzung des Deep Learnings für die Superauflösung in einem Radarsystem ein Radarsystem erster Auflösung, um Zeitabtastwerte erster Auflösung aus Reflexionen zu erhalten, die auf der Übertragung von mehreren frequenzmodulierten Signalen basieren. Das Radarsystem erster Auflösung beinhaltet mehrere Sendeelemente und mehrere Empfangselemente. Das System beinhaltet auch einen Prozessor zum Reduzieren der Auflösung der Zeitabtastwerte erster Auflösung, um Zeitabtastwerte zweiter Auflösung zu erhalten, zum Implementieren eines angepassten Filters auf den Zeitabtastwerten erster Auflösung, um einen Datenwürfel erster Auflösung zu erhalten, und auf den Zeitabtastwerten zweiter Auflösung, um einen Datenwürfel zweiter Auflösung zu erhalten, zum Verarbeiten des Datenwürfels zweiter Auflösung mit einem neuronalen Netzwerk, um einen Datenwürfel dritter Auflösung zu erhalten, und zum Trainieren des neuronalen Netzwerks basierend auf einem ersten Verlust, der durch Vergleichen des Datenwürfels erster Auflösung mit dem Datenwürfel dritter Auflösung erhalten wurde. Ein Radarsystem zweiter Auflösung nutzt das neuronale Netzwerk, um ein oder mehrere Objekte zu erfassen.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale befindet sich das Radarsystem zweiter Auflösung in einem Fahrzeug.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor ferner eingerichtet, um das Erfassen des einen oder der mehreren Objekte unter Verwendung des Datenwürfels erster Auflösung und des Datenwürfels dritter Auflösung durchzuführen.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um das neuronale Netzwerk basierend auf einem zweiten Verlust zu trainieren, der durch das Vergleichen eines Ergebnisses des Erfassens, die unter Verwendung des Datenwürfels erster Auflösung durchgeführt wurde, mit einem Ergebnis des Erfassens, die unter Verwendung des Datenwürfels dritter Auflösung durchgeführt wurde.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor ferner eingerichtet, um den Datenwürfel dritter Auflösung zu invertieren, um Zeitabtastwerte dritter Auflösung zu erhalten.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um das neuronale Netzwerk basierend auf einem dritten Verlust zu trainieren, der durch den Vergleich der Zeitabtastwerte erster Auflösung mit den Zeitabtastwerten dritter Auflösung erhalten wird.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um die Auflösung der Zeitabtastwerte erster Auflösung zu reduzieren, indem er alle Zeitabtastwerte erster Auflösung verwendet, die sich aus nur einer Teilmenge der mehrfach frequenzmodulierten Signale ergeben.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um die Auflösung der Zeitabtastwerte erster Auflösung zu reduzieren, indem er nur eine Teilmenge der Zeitabtastwerte erster Auflösung verwendet, die aus allen mehreren frequenzmodulierten Signalen resultieren.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um die Auflösung der Zeitabtastwerte erster Auflösung zu reduzieren, indem er die Zeitabtastwerte erster Auflösung verwendet, die sich nur aus einer Teilmenge der mehreren Sendeelemente und der mehreren Empfangselemente des Radarsystems erster Auflösung ergeben.
  • Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist der Prozessor eingerichtet, um die Auflösung zu reduzieren, um die Zeitabtastwerte zweiter Auflösung mit der gleichen Auflösung zu erhalten wie die vom Radarsystem zweiter Auflösung bereitgestellten Zeitabtastwerte.
  • Die vorgenannten Merkmale und Vorteile sowie weitere Merkmale und Vorteile der Offenbarung ergeben sich aus der folgenden detaillierten Beschreibung im Zusammenhang mit den beigefügten Figuren.
  • Figurenliste
  • Weitere Merkmale, Vorteile und Details erscheinen exemplarisch nur in der folgenden Detailbeschreibung, die sich auf die Figuren bezieht:
    • 1 ist ein Blockdiagramm eines Fahrzeugs, das ein Deep Learning für die Superauflösung in einem Radarsystem gemäß einer oder mehreren Ausführungsformen durchführen kann;
    • 2 ist ein exemplarischer allgemeiner Prozessablauf des Trainingsprozesses für das neuronale Netzwerk, mit dem das Deep Learning für die Superauflösung im Radarsystem gemäß einer oder mehreren Ausführungsformen durchgeführt wird;
    • 3 zeigt den mit dem Deep Learning verbundenen Trainingsprozessablauf für die Superauflösung im Radarsystem nach einer exemplarischen Ausführungsform;
    • 4. zeigt den mit dem Deep Learning verbundenen Implementierungsfluss für die Superauflösung im Radarsystem gemäß einer exemplarischen Ausführungsform;
    • 5 veranschaulicht die Reduzierung der Dopplerauflösung, um ein Deep Learning für die Superauflösung in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen;
    • 6 veranschaulicht die Reduzierung der Entfernungsauflösung, um ein Deep Learning für die Superauflösung in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen; und
    • 7 veranschaulicht die Reduzierung der Winkelauflösung, um ein Deep Learning für die Superauflösung in einem Radarsystem gemäß einer oder mehreren Ausführungsformen zu erreichen.
  • DETAILLIERTE BESCHREIBUNG
  • Die folgende Beschreibung ist lediglich exemplarischer Natur und soll die vorliegende Offenbarung, ihre Anwendung oder Verwendung nicht einschränken. Es ist zu verstehen, dass in den Figuren entsprechende Bezugszeichen gleichartige oder entsprechende Teile und Merkmale angeben.
  • Wie bereits erwähnt, können Radarsysteme in einer Vielzahl von Anwendungen eingesetzt werden. Beispielsweise können Radarsysteme Informationen liefern, die zur Erweiterung oder Automatisierung des Fahrzeugbetriebs verwendet werden. Ein Fahrzeugradarsystem kann beispielsweise ein SIMO-System (Single Input Multiple Output) mit mehreren Sendeelementen und einem einzelnen Empfangselement oder ein MIMO-System (Multiple Input Multiple Output) mit mehreren Sende- und Empfangselementen sein. Darüber hinaus kann ein Fahrzeugradarsystem ein linear frequenzmoduliertes Dauerwellensignal (LFMCW) übertragen, das beispielsweise auch als Chirp bezeichnet wird. Die Designentscheidungen eines Radarsystems beeinflussen verschiedene Aspekte der Radarauflösung. So wird beispielsweise die Winkelauflösung (d.h. die Auflösung, mit der der Azimutwinkel zu einem Objekt erfasst wird) durch die Anzahl und den Abstand der Antennen beeinflusst. Die Bereichsauflösung (d.h. die Auflösung, mit der der Bereich zu einem Objekt erfasst wird) wird durch die Bandbreite (z.B. Chirp-Frequenzspanne) beeinflusst. Die Dopplerauflösung (d.h. die Auflösung, mit der die Relativgeschwindigkeit eines Objekts erfasst wird) wird durch die Dauer des Rahmens beeinflusst, die vom Empfänger verarbeitet wird.
  • Ausführungsformen der hierin beschriebenen Systeme und Verfahren beziehen sich auf das Deep Learning für die Superauflösung in einem Radarsystem. Superauflösung bezieht sich auf den Prozess des Erhaltens von hochauflösenden Bildern oder anderen Ausgaben von Bildern mit niedriger Auflösung oder anderen Eingaben. Deep Learning ist eine Form des maschinellen Lernens, die die hierarchische Darstellung von Daten erlernt und entweder überwacht oder unbeaufsichtigt sein kann. Überwachtes Lernen erfordert Ground-Truth Annotationen Aufwendungen. Gemäß exemplarischer Ausführungsformen wird ein selbstüberwachender Ansatz verwendet, bei dem die Annotationen in den Daten selbst vererbt werden. Gemäß den Ausführungsformen, während die Daten mit einer bestimmten Auflösung für ein bestimmtes Radarsystem erhalten werden, kann diese Auflösung durch das Deep Learning erhöht werden. Somit beinhalten die Ausführungsformen einen Lernaspekt und einen Implementierungsaspekt. Weiterhin kann, wie detailliert beschrieben, das Lernen und die Erhöhung der Auflösung in verschiedenen Phasen der Verarbeitung der vom Radarsystem erhaltenen Daten durchgeführt werden.
  • Gemäß einer exemplarischen Ausführungsform ist 1 ein Blockdiagramm eines Fahrzeugs 100, das für die Hochauflösung in einem Radarsystem 110 ein Deep Learning durchführen kann. Das in 1 dargestellte Fahrzeug 100 ist ein Automobil 101. Das exemplarische Fahrzeug 100 beinhaltet das Radarsystem 110 und kann zusätzlich weitere Sensoren 140 (z.B. Lidar, Kamera) beinhalten, um Objekte 150 wie den in 1 dargestellten Fußgänger 155 zu erfassen und zu verfolgen. Das Fahrzeug 100 beinhaltet auch eine oder mehrere Fahrzeugsteuerungen 130 (z.B. elektronische Steuereinheit (ECU)). Die Fahrzeugsteuerungen 130 können Aspekte des Betriebs des Fahrzeugs 100 steuern oder die Automatisierung des Fahrzeugs 100 basierend auf Informationen des Radarsystems 110 steuern. Das Radarsystem 110 wird mit einer Anordnung von Antennenelementen 115, die durch einen Abstand d getrennt sind, und einer Radarsteuerung 120 dargestellt.
  • Die Radarsteuerung 120 kann einen Oszillator zum Erzeugen von Chirps beinhalten. Vom Radarsystem 110 empfangene reflektierte Signale, die auf der Reflexion von gesendeten Chirps durch Objekte 150 im Sichtfeld des Radarsystems 110 basieren, können von der Radarsteuerung 120, einer Fahrzeugsteuerung 130 oder einer Kombination aus beiden verarbeitet werden. Sowohl die Radarsteuerung 120 als auch die Fahrzeugsteuerung 130 können Verarbeitungsschaltungen und andere Komponenten beinhalten. Die Verarbeitungsschaltung kann eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (shared, dedicated oder group) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten beinhalten, die die beschriebene Funktionalität bereitstellen.
  • Wie bereits erwähnt, verwendet das Fahrzeug 100 gemäß einer oder mehreren Ausführungsformen das Deep Learning, um eine Superauflösung vom Radarsystem 110 zu erhalten. Insbesondere können die Radarsteuerung 120, die Fahrzeugsteuerung 130 oder eine Kombination aus beiden für die hierin beschriebenen Prozesse verwendet werden. Ein Radarsystem mit höherer Auflösung als das Radarsystem 110, das tatsächlich im Fahrzeug 100 eingesetzt wird, wird verwendet, um ein neuronales Netzwerk nach einem Deep Learning Prozess zu trainieren. Nach dem Training kann das neuronale Netzwerk mit dem Radarsystem 110 mit geringerer Auflösung verwendet werden, um eine höhere Auflösung zu liefern, als dies sonst mit dem Radarsystem 110 möglich wäre (d.h. Superauflösung). Somit kann ein einziges hochauflösendes Radarsystem verwendet werden, um das neuronale Netzwerk zu trainieren, das mit vielen niederauflösenden Radarsystemen 110 in entsprechenden Fahrzeugen verwendet werden soll. Während zur relativen Beschreibung der Systeme immer höhere und niedrigere Auflösungen verwendet werden, werden die spezifischen Eigenschaften des Radarsystems 110, die die Auflösung beeinflussen, detailliert beschrieben.
  • Die Auflösung kann sich auf die Winkelauflösung (d.h. die Genauigkeit, mit der der Azimutwinkel oder Elevationswinkel zu einem Objekt 150 bestimmt werden kann), die Bereichsauflösung (d.h. die Genauigkeit, mit der der Bereich zu einem Objekt 150 bestimmt werden kann) oder die Dopplerauflösung (d.h. die Genauigkeit, mit der die Radialgeschwindigkeit eines Objekts 150 bestimmt werden kann) beziehen. Die Winkelauflösung wird durch die Anzahl der Antennenelemente 115 beeinflusst (z.B. mehr Antennenelemente 115, die einen halben Wellenlängenabstand einhalten und eine höhere Winkelauflösung bieten). Die Bereichsauflösung wird durch die Bandbreite beeinflusst, d.h. den Frequenzbereich des übertragenen Chirps (z.B. entspricht eine höhere Bandbreite einer höheren Bereichsauflösung). Die Dopplerauflösung wird durch die Dauer des zu bearbeitenden Bildes beeinflusst (z.B. führt ein längerer Frame zu einer höheren Dopplerauflösung). Somit fallen Hardware- oder Verarbeitungskosten an, um eine höhere Auflösung (in Winkel, Reichweite oder Doppler) allein mit dem Radarsystem 110 zu erreichen. Gemäß den hierin beschriebenen Ausführungsformen kann ein Radarsystem 110 mit Merkmalen, die eine bestimmte Höhe der Winkelauflösung, Entfernungsauflösung und Dopplerauflösung suggerieren, dennoch verwendet werden, um Detektionen von Objekten 150 mit einer höheren Auflösung (Superauflösung) zu erhalten, die auf dem Training eines neuronalen Netzwerks wie beschrieben basieren.
  • 2 ist ein exemplarischer allgemeiner Prozessablauf 200 des Trainingsprozesses für das neuronale Netzwerk, mit dem das Deep Learning für die Superauflösung im Radarsystem 110 gemäß einer oder mehrerer Ausführungsformen durchgeführt wird. Bei Block 210 beinhalten die Prozesse des Prozessablaufs 200 die Bereitstellung eines Eingangs für ein neuronales Netzwerk. Basierend auf der Verarbeitung des Eingangs durch das neuronale Netzwerk wird bei Block 220 ein Ausgang bei Block 230 erhalten. Bei Block 240 erleichtert das Erhalten der Ground Truth für die bei Block 230 erhaltene Ausgabe das Vergleichen der Ausgabe des neuronalen Netzwerks mit den Ground Truth Daten bei Block 250. Der Unterschied, nach dem Vergleich bei Block 250, erleichtert die Bereitstellung eines Verlusts bei Block 260 an das neuronale Netzwerk. Dieser Verlust wird im Hintergrund übertragen und dient dazu, die Gewichte des neuronalen Netzwerks bei Block 220 während des Trainings zu aktualisieren.
  • In exemplarischen Ausführungsformen, die unter Bezugnahme auf 3 detailliert dargestellt sind, ist der bei Block 210 bereitgestellte Eingabe niedrigauflösende Daten und der bei Block 230 erhaltene Ausgabe, basierend auf der neuronalen Netzverarbeitung bei Block 220, hochauflösende Daten. Diese hochauflösende Ausgabe wird bei Block 250 mit Ground Truth Daten verglichen, die bei Block 240 von einem Radarsystem mit höherer Auflösung als dem Radarsystem 110 erhalten wurden. Das Radarsystem mit höherer Auflösung wird beim Training des neuronalen Netzes verwendet, während das Radarsystem 110 mit dem neuronalen Netz eingesetzt wird, um eine hohe Auflösung gemäß einer oder mehrerer Ausführungsformen zu erhalten. Der Verlust, der bei Block 260 bereitgestellt wird, wird nach dem Vergleich der hochauflösenden Daten, die aus dem neuronalen Netz gewonnen werden, mit den Ground Truth Daten verwendet, um die Verarbeitung des neuronalen Netzes zu verbessern. Insbesondere werden die Gewichte innerhalb des neuronalen Netzwerks entsprechend dem Verlust modifiziert. Wie die Diskussion von 3 zeigt, kann der Verlust, der zum Trainieren des neuronalen Netzwerks verwendet wird, in einer oder mehreren von drei verschiedenen Domänen gemäß einer oder mehreren Ausführungsformen erzielt werden.
  • 3 zeigt den dem Deep Learning zugeordneten Trainingsprozessablauf 300 für die Superauflösung im Radarsystem 110 gemäß einer exemplarischen Ausführungsform. Der Trainingsprozessablauf 300 bietet eine detailliertere Darstellung als der in 2 dargestellte allgemeine Prozessablauf 200. Der Trainingsprozessablauf 300 zeigt mehrere Verlustquellen in mehreren Bereichen an, die zum Trainieren des neuronalen Netzwerks verwendet werden können. Wie bereits erwähnt, können die in 3 dargestellten Prozesse von der Radarsteuerung 120, einer Fahrzeugsteuerung 130 oder einer Kombination durchgeführt werden. Bei Block 310 bezieht sich das Erhalten einer hochauflösenden Radarausgabe auf das Erhalten von hochauflösenden HS-Proben reflektierter Signale, die auf einem hochauflösenden Radarsystem basieren. Wie bereits erwähnt, weist das hochauflösende Radarsystem Hardware- und Verarbeitungsaspekte auf, die es ermöglichen, Daten mit höherer Auflösung als das Radarsystem 110 bereitzustellen. Als ein Beispiel kann die bei Block 310 erhaltene hochauflösende Radarausgabe auf mehr Antennenelementen 115 als die des Radarsystems 110 basieren, wobei der Halbwellenlängenabstand eingehalten wird. Bei Block 315 kann die Reduzierung der Auflösung der hochauflösenden Proben HS (auch als C bezeichnet), die bei Block 310 erhalten wurden, auf verschiedene Weise erreicht werden, wie sie unter Bezugnahme auf die 5-7 beschrieben wird. Das Ergebnis der Verarbeitung bei Block 315 sind niedrigauflösende Proben LS. Die Generierung von HS-LS-Paaren ist eine Form des selbstgesteuerten Lernens.
  • Bei Block 320 führt das Anwenden eines angepassten Filters auf die niederauflösenden Proben LS, die aus dem Prozess bei Block 315 erhalten wurden, zu einem niedrigauflösenden vierdimensionalen Datenwürfel LC. Bei Block 335 führt die Anwendung eines angepassten Filters auf die hochauflösenden Proben HS, die bei Block 310 erhalten wurden, zu einem hochauflösenden vierdimensionalen Datenwürfel HC (auch als A bezeichnet). Die hochauflösenden Samples HS und die niedrigauflösenden Samples LS liegen im Zeitbereich (d.h. Zeitabtastwerten für jedes übertragene Chirp). Die bestehende Matched-Filter-Verarbeitung beinhaltet eine zweidimensionale schnelle Fourier-Transformation (FFT) und einen Strahlformungsprozess. Insbesondere stellt eine Reichweiten-FFT eine Reichweiten-Chirp-Karte zur Verfügung, die die Energieverteilung über die Reichweitenwerte für jedes gesendete Chirp für jeden Empfangskanal und Sendekanal anzeigt. Eine Doppler-FFT kombiniert Chirps für jeden Range Bin der Range-Chirp-Karte, die sich aus der Range-FFT ergibt. Die resultierende Range-Doppler-Karte zeigt die Relativgeschwindigkeit und Reichweite jedes erfassten Objekts an. Ein Strahlformungsprozess, der auf der Entfernungs-Doppler-Karte durchgeführt wird und für jedes erfasste Objekt Azimut- und Elevationswinkel liefert. So sind sowohl im niedrigauflösenden vierdimensionalen Datenwürfel LC als auch im hochauflösenden vierdimensionalen Datenwürfel HC die vier Dimensionen Reichweite, Doppler, Azimut und Elevation.
  • Bei Block 330 führt die Verarbeitung des niedrigauflösenden vierdimensionalen Datenwürfels LC durch das neuronale Netzwerk zum hochauflösenden vierdimensionalen Datenwürfel SC (auch als A' bezeichnet). Wie 2 zeigt, liefert der Vergleich (bei Block 250) des Ausgangs des neuronalen Netzwerks (Block 230) mit der Ground Truth (Block 240) bei Block 260 einen Verlust, der als Rückmeldung zur Verbesserung des Deep Learnings des neuronalen Netzwerks bereitgestellt werden kann. Im Trainingsprozessablauf 300 gibt es drei Vergleiche und damit drei Verlustquellen, die im Deep Learning durch das neuronale Netz (bei Block 330) individuell kombiniert oder berücksichtigt werden können. Der erste Vergleich kann von A und A' sein. Das heißt, der hochauflösende vierdimensionale Datenwürfel HC-Ausgang durch den angepassten Filter bei Block 335 kann mit dem hochauflösenden vierdimensionalen Datenwürfel SC-Ausgang durch das neuronale Netzwerk bei Block 330 verglichen werden.
  • Die Differenz, loss A, kann dem neuronalen Netzwerk als Feedback zur Verfügung gestellt werden. Diese Differenz, loss A, kann aufgrund der bildhaften Struktur des Datenwürfels als Datenwürfel „Image“-Verlust angesehen werden. Loss_A kann beispielsweise eine Kombination aus Rekonstruktionsverlust (elementare Unterschiede zwischen HC und SC unter Verwendung der L1 / L2-Norm), Wahrnehmungsverlust (Differenz zwischen „tiefen“ Merkmalen von HC und SC, die durch die Verarbeitung der Datenwürfel mit einem vortrainierten tiefen neuronalen Netzwerk wie dem Netzwerk der Visual Graphics Group (VGG) erzeugt werden) und nachteiligem Verlust (unter Verwendung der Generative-Adversarial-Netzwerkarchitektur, Hinzufügen eines Diskriminatorennetzes mit dem Ziel zu bestimmen, ob der Datenwürfel durch das hochauflösende Radar erzeugt wurde (d.h, ist HC bei Block 335) oder wurde durch das neuronale Netzwerk erzeugt (d.h. ist SC bei Block 330)).
  • Der zweite Vergleich kann von B und B' sein. Bei Block 345 führt die Durchführung der Erkennung des hochauflösenden vierdimensionalen Datenwürfels HC-Ausgangs durch den angepassten Filter bei Block 335 zu Detektionsinformationen (d.h. hochauflösende Detektionsinformationen HD, auch als B bezeichnet), die Reichweite, Doppler, Azimut und Höhe zu jedem detektierten Objekt anzeigen. Ebenso führt die Durchführung der Erkennung des hochauflösenden vierdimensionalen Datenwürfels SC-Ausgangs durch den angepassten Filter bei Block 330 bei Block 340 zu Erkennungsinformationen (d.h. hochauflösende Erkennungsinformationen SD, die auch als B' bezeichnet werden), die Reichweite, Doppler, Azimut und Höhe zu jedem erkannten Objekt anzeigen. Der Unterschied, der sich aus dem Vergleich der hochauflösenden Erkennungsinformationen HD (B) mit den hochauflösenden Erkennungsinformationen SD (B'), loss_B, ergibt, kann als Rückmeldung an das neuronale Netzwerk weitergegeben werden. Diese Differenz, loss B, kann als ein Verlust der Ausgangspunktwolke betrachtet werden, wobei die Punkte die Radardetektionen sind (d.h. Punkte in vier Dimensionen (drei Dimensionen und Doppler)). Der Vergleich besteht aus zwei Punktwolken, die beispielsweise auf dem paarweisen Punktabstand, der Suche nach dem nächsten Nachbarpunkt oder der Dichteanpassung basieren. Diese Differenz misst direkt die Qualität der Radar-Endausgabe und kann verwendet werden, um sicherzustellen, dass der hochauflösende Prozess realistische und aussagekräftige Daten liefert.
  • Der dritte Vergleich kann von C und C' sein. Wie in 3 angegeben, kann der hochauflösende vierdimensionale Datenwürfel SC-Ausgang des neuronalen Netzwerks bei Block 330 für die Invertierung bei Block 350 vorgesehen werden. Invertieren bei Block 350 bezieht sich auf die Konvertierung des hochauflösenden vierdimensionalen Datenwürfels SC zurück zu den bei C' angegebenen Zeitbereichsproben. Wie bereits erwähnt, werden die hochauflösenden Proben HS auch als C bezeichnet. Die Differenz, die sich aus dem Vergleich der hochauflösenden Proben HS (C) mit den aus der Inversion resultierenden Proben C' bei Block 350, loss C ergibt, kann dem neuronalen Netzwerk als Rückmeldung zur Verfügung gestellt werden. Diese Differenz, loss C, kann als Zeitstichprobenverlust betrachtet werden. Gemäß einer exemplarischen Ausführungsform können alle drei Differenzen, loss A, loss B und loss C, gemeinsam im Deep Learning durch das neuronale Netzwerk verwendet werden. So kann beispielsweise ein gewichteter Verlust, loss_w, wie folgt berechnet werden: loss_w = α ∗ loss_A + β∗ loss_B + γ∗ loss_C
    Figure DE102020100286A1_0001
  • In Gl. 1, α, β und γ sind die Gewichte, die jeweils auf loss_A, loss B und loss C angewendet werden. Die Gewichte werden mit Hilfe eines Hyper-Parameter-Suchverfahrens optimiert.
  • 4 zeigt den mit Deep Learning verbundenen Implementierungsfluss 400 für Superauflösung im Radarsystem 110 gemäß einer exemplarischen Ausführungsform. Die in 4 dargestellten Prozesse verwenden das Radarsystem 110, und die Verarbeitung von Reflexionen, die in Bezug auf 4 diskutiert werden, kann von der Radarsteuerung 120, der Fahrzeugsteuerung 130 oder einer Kombination durchgeführt werden. Das neuronale Netzwerk, das mit Bezug auf Block 330 (3) diskutiert und gemäß dem mit Bezug auf 3 diskutierten Prozessablauf 300 trainiert wurde, ist implementiert (bei Block 430), um die Auflösung der mit dem Radarsystem 110 erhaltenen Informationen zu erhöhen.
  • Bei Block 410 bezieht sich das Erhalten einer niedrigauflösenden Radarausgabe auf das Erhalten von Zeitabtastwerten unter Verwendung des Radarsystems 110. Diese Daten werden als niedrigauflösende Radarausgabe bezeichnet, da das Radarsystem 110 ein System mit geringerer Auflösung ist als das, das beim Training des neuronalen Netzwerks gemäß dem Prozessablauf 300 verwendet wird (3). Bei Block 420 bezieht sich die Implementierung eines angepassten Filters auf das Erhalten eines vierdimensionalen Datenwürfels aus den Zeitabtastwerten (erhalten bei Block 410). Bei Block 430 führt die Implementierung des neuronalen Netzwerks zu einem hochauflösenden vierdimensionalen Datenwürfel aus dem vierdimensionalen Datenwürfel, der vom angepassten Filter ausgegeben wird (bei Block 420). Unter Verwendung eines Erkennungsalgorithmus befindet sich bei Block 440 der hochauflösende vierdimensionale Datenwürfel, der vom neuronalen Netzwerk ausgegeben wird (bei Block 430), und nicht der vierdimensionale Datenwürfel, der vom angepassten Filter ausgegeben wird (bei Block 420). Somit werden die Azimut-, Elevations-, Entfernungs- und Dopplerwerte für jedes erfasste Objekt mit einer höheren Auflösung erhalten, als es sonst mit dem Radarsystem 110 unter Verwendung des neuronalen Netzwerks möglich wäre.
  • Die 5-7 veranschaulichen exemplarische Ausführungsformen für den Prozess der Reduzierung der Auflösung bei Block 315 (3). 5 veranschaulicht die Reduzierung der Dopplerauflösung, um ein Deep Learning für die Superauflösung im Radarsystem 110 gemäß einer oder mehreren Ausführungsformen zu erreichen. 5 zeigt Zwitschern entlang der Achse 510 und Zeitproben entlang der Achse 520. Wie die exemplarischen Chirp-Subarrays 530, 540 anzeigen, kann das Reduzieren der Auflösung bei Block 315 (3) die Verwendung aller Zeitabtastwerte beinhalten, aber nur von einer Teilmenge der Chirps (z.B. nur von Subarray 530 oder 540), um die niedrigauflösenden Abtastungen LS zu erhalten.
  • 6 veranschaulicht die Reduzierung der Entfernungsauflösung, um ein Deep Learning für die Superauflösung im Radarsystem 110 gemäß einer oder mehreren Ausführungsformen zu erreichen. 6 zeigt Chirps entlang der Achse 510 und Zeitproben entlang der Achse 520.
  • Wie die exemplarischen Proben-Subarrays 610, 620 anzeigen, kann das Reduzieren der Auflösung bei Block 315 (3) die Verwendung nur einer Teilmenge der Zeitabtastwerten (z.B. Subarray 610 oder 620) von jedem Chirp beinhalten, um die niedrigauflösenden Proben LS zu erhalten.
  • 7 veranschaulicht die Reduzierung der Winkelauflösung, um ein Deep Learning für die Superauflösung im Radarsystem 110 gemäß einer oder mehrerer Ausführungsformen zu erreichen. Das gesamte Spektrum der Antennenelemente 115 des MIMO-Radarsystems, das zum Erhalten des hochauflösenden Radarausgangs bei Block 310 (3) verwendet wird, wird in 7 als 700 angezeigt. 7 zeigt auch zwei exemplarische MIMO-Subarrays 710, 720. Das Reduzieren der Auflösung bei Block 315 (3) kann die Verwendung nur einer Teilmenge der Antennenelemente 115 (z.B. nur der Teilanordnung 710 oder 720) beinhalten, um die niederauflösenden Proben LS zu erhalten. Bei der Bestimmung der genauen Teilmengen, die zur Reduzierung der Auflösung verwendet werden sollen (bei Block 315), kann das eigentliche Radarsystem 110 berücksichtigt werden. Das heißt, beispielsweise kann die tatsächliche Anzahl der Antennenelemente 115 des Radarsystems 110 verwendet werden, um die Größe des Teilsatzes zu wählen, mit dem die Auflösung bei Block 315 reduziert wird (3). Durch das Training des neuronalen Netzwerks (bei Block 330, 3) mit einer reduzierten Auflösung, die der Auflösung des Radarsystems 110 entspricht, kann die Implementierung des neuronalen Netzwerks (bei Block 430, 4) bessere Ergebnisse liefern, als wenn das Training das eigentliche Radarsystem 110 nicht berücksichtigt. Der mit Bezug auf 3 diskutierte Trainingsprozess kann iterativ durchgeführt werden. Bei verschiedenen Iterationen können verschiedene Subarrays (bei Block 315) unter Verwendung eines der in Bezug auf die 5-7 beschriebenen Prozesse aus demselben Radarrahmen (erhalten bei Block 310) ausgewählt werden.
  • Obwohl die vorstehende Offenbarung mit Bezug auf exemplarische Ausführungsformen beschrieben wurde, wird von den Fachleuten verstanden, dass verschiedene Änderungen vorgenommen und Äquivalente durch Elemente davon ersetzt werden können, ohne von ihrem Umfang abzuweichen. Darüber hinaus können viele Änderungen vorgenommen werden, um eine bestimmte Situation oder ein bestimmtes Material an die Lehren der Offenbarung anzupassen, ohne vom wesentlichen Umfang der Offenbarung abzuweichen. Daher ist beabsichtigt, dass sich die vorliegende Offenbarung nicht auf die einzelnen offenbarten Ausführungsformen beschränkt, sondern alle in den Anwendungsbereich fallenden Ausführungsformen umfasst.

Claims (10)

  1. Ein Verfahren zur Verwendung von Deep Learning zur Superauflösung in einem Radarsystem, wobei das Verfahren umfasst: Erhalten von Zeitabtastwerten erster Auflösung aus Reflexionen, basierend auf Übertragungen von einem Radarsystem erster Auflösung aus mehreren frequenzmodulierten Signalen, wobei das Radarsystem erster Auflösung mehrere Sendeelemente und mehrere Empfangselemente beinhaltet; Reduzieren einer Auflösung der Zeitabtastwerte erster Auflösung, um Zeitabtastwerte zweiter Auflösung zu erhalten; Implementieren eines angepassten Filters auf die Zeitabtastwerte erster Auflösung, um einen Datenwürfel erster Auflösung zu erhalten, und auf die Zeitabtastwerte zweiter Auflösung, um einen Datenwürfel zweiter Auflösung zu erhalten; Verarbeiten des Datenwürfels zweiter Auflösung mit einem neuronalen Netzwerk, um einen Datenwürfel dritter Auflösung zu erhalten; Trainieren des neuronalen Netzwerks, basierend auf einem ersten Verlust, der durch Vergleichen des Datenwürfels erster Auflösung mit dem Datenwürfel dritter Auflösung erhalten wird; und Verwenden des neuronalen Netzwerks mit einem Radarsystem zweiter Auflösung, um ein oder mehrere Objekte zu erfassen.
  2. Das Verfahren nach Anspruch 1, ferner umfassend die Anordnung des Radarsystems zweiter Auflösung in einem Fahrzeug.
  3. Das Verfahren nach Anspruch 1, ferner umfassend das Durchführen des Erfassens des einen oder der mehreren Objekte unter Verwendung des Datenwürfels erster Auflösung und unter Verwendung des Datenwürfels dritter Auflösung, wobei das Trainieren des neuronalen Netzwerks auf einem zweiten Verlust basiert, der durch Vergleichen eines Ergebnisses der Erkennung unter Verwendung des Datenwürfels erster Auflösung mit einem Ergebnis der Erkennung unter Verwendung des Datenwürfels dritter Auflösung erhalten wird.
  4. Das Verfahren nach Anspruch 1, ferner umfassend das Invertieren des Datenwürfels dritter Auflösung, um Zeitabtastwerte dritter Auflösung zu erhalten, wobei das Trainieren des neuronalen Netzwerks auf einem dritten Verlust basiert, der durch das Vergleichen der Zeitabtastwerte erster Auflösung mit den Zeitabtastwerten dritter Auflösung erhalten wird.
  5. Das Verfahren nach Anspruch 1, wobei das Reduzieren der Auflösung das Verwenden aller Zeitabtastwerten erster Auflösung, die sich aus nur einer Teilmenge der mehrfach frequenzmodulierten Signale ergeben, das Verwenden nur einer Teilmenge der Zeitabtastwerte erster Auflösung, die sich aus allen mehrfach frequenzmodulierten Signalen ergeben, das Verwenden der Zeitabtastwerte erster Auflösung, die sich aus nur einer Teilmenge der mehreren Sendeelemente und der mehreren Empfangselemente des Radarsystems erster Auflösung ergeben, oder das Erhalten der Zeitabtastwerte zweiter Auflösung in einer gleichen Auflösung wie von dem Radarsystem zweiter Auflösung bereitgestellter Zeitabtastwerte, beinhaltet.
  6. Ein System zur Verwendung von Deep Learning zur Superauflösung in einem Radarsystem, wobei das System umfasst: ein Radarsystem erster Auflösung, das eingerichtet ist, um Zeitabtastwerte erster Auflösung aus Reflexionen zu erhalten, die auf Übertragungen von mehreren frequenzmodulierten Signalen basieren, wobei das Radarsystem erster Auflösung mehrere Sendeelemente und mehrere Empfangselemente beinhaltet; einen Prozessor, der eingerichtet ist um eine Auflösung der Zeitabtastwerte erster Auflösung zu reduzieren um Zeitabtastwerte zweiter Auflösung zu erhalten, um einen angepassten Filter auf die Zeitabtastwerte erster Auflösung zu implementieren um einen Datenwürfel erster Auflösung zu erhalten, und einen angepassten Filter auf die Zeitabtastwerte zweiter Auflösung zu implementieren um einen Datenwürfel zweiter Auflösung zu erhalten, um den Datenwürfel zweiter Auflösung mit einem neuronalen Netzwerk zu verarbeiten, um einen Datenwürfel dritter Auflösung zu erhalten, und um das neuronale Netzwerk basierend auf einem ersten Verlust zu trainieren, der durch Vergleich des Datenwürfels erster Auflösung mit dem Datenwürfel dritter Auflösung erhalten wurde; und ein Radarsystem zweiter Auflösung, das eingerichtet ist, um das neuronale Netzwerk zum Erfassen eines oder mehrerer Objekte zu verwenden.
  7. Das System nach Anspruch 6, wobei sich das Radarsystem zweiter Auflösung in einem Fahrzeug befindet.
  8. Das System nach Anspruch 6, wobei der Prozessor ferner eingerichtet ist, um das Erfassen des einen oder der mehreren Objekte unter Verwendung des Datenwürfels erster Auflösung und unter Verwendung des Datenwürfels dritter Auflösung durchzuführen, und das neuronale Netzwerk basierend auf einem zweiten Verlust zu trainieren, der durch Vergleichen eines Ergebnisses, der unter Verwendung des Datenwürfels erster Auflösung durchgeführten Erkennung, mit einem Ergebnis, der unter Verwendung des Datenwürfels dritter Auflösung durchgeführten Erkennung, erhalten wird.
  9. Das System nach Anspruch 6, wobei der Prozessor ferner eingerichtet ist, um den Datenwürfel dritter Auflösung zu invertieren, um Zeitabtastwerte dritter Auflösung zu erhalten, und um das neuronale Netzwerk basierend auf einem dritten Verlust zu trainieren, der durch Vergleichen der Zeitabtastwerte erster Auflösung mit den Zeitabtastwerten dritter Auflösung erhalten wird.
  10. Das System nach Anspruch 6, wobei der Prozessor eingerichtet ist, um die Auflösung der Zeitabtastwerte erster Auflösung durch Verwenden aller Zeitabtastwerte erster Auflösung, die nur einer Teilmenge der mehrfach frequenzmodulierten Signale resultieren, zu reduzieren, um die Auflösung der Zeitabtastwerte erster Auflösung durch Verwenden nur einer Teilmenge der Zeitabtastwerte erster Auflösung, die aus allen mehrfach frequenzmodulierten Signalen resultieren, zu reduzieren, durch Verwenden der Zeitabtastwerte erster Auflösung, die nur einer Teilmenge der mehreren Sendeelemente und der mehreren Empfangselemente des Radarsystems erster Auflösung resultieren, oder um die Zeitabtastwerte zweiter Auflösung mit einer gleichen Auflösung wie vom Radarsystem zweiter Auflösung bereitgestellter Zeitabtastwerte zu erhalten.
DE102020100286.6A 2019-02-01 2020-01-09 Deep learning für superauflösung in einem radarsystem Pending DE102020100286A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/264,807 US10976412B2 (en) 2019-02-01 2019-02-01 Deep learning for super resolution in a radar system
US16/264,807 2019-02-01

Publications (1)

Publication Number Publication Date
DE102020100286A1 true DE102020100286A1 (de) 2020-08-06

Family

ID=71615470

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102020100286.6A Pending DE102020100286A1 (de) 2019-02-01 2020-01-09 Deep learning für superauflösung in einem radarsystem

Country Status (3)

Country Link
US (1) US10976412B2 (de)
CN (1) CN111521989B (de)
DE (1) DE102020100286A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3825728A1 (de) * 2019-11-20 2021-05-26 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur verbesserung von radardaten unter verwendung von referenzdaten

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11428782B2 (en) * 2019-05-02 2022-08-30 GM Global Technology Operations LLC Neural network-based object surface estimation in radar system
US11354914B1 (en) 2019-06-06 2022-06-07 Zoox, Inc. Optimizing data levels for processing, transmission, or storage based on location information
US11157768B1 (en) * 2019-06-06 2021-10-26 Zoox, Inc. Training a machine learning model for optimizing data levels for processing, transmission, or storage
US11454976B1 (en) 2019-06-06 2022-09-27 Zoox, Inc. Optimizing data levels for processing,transmission, or storage
KR20200144862A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 레이더의 해상도 향상 방법 및 장치
KR20210065259A (ko) * 2019-11-26 2021-06-04 삼성전자주식회사 레이더 장치 및 그 동작 방법
US20210255300A1 (en) * 2020-01-31 2021-08-19 Metawave Corporation Gan-based data synthesis for semi-supervised learning of a radar sensor
DE102020213057A1 (de) * 2020-10-15 2022-04-21 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überprüfen eines beim teilautomatisierten oder vollautomatisierten Steuern eines Fahrzeugs verwendeten KI-basierten Informationsverarbeitungssystems
CN112394354B (zh) * 2020-12-02 2021-07-30 中国人民解放军国防科技大学 基于元学习的不同极化方式hrrp融合目标小样本识别方法
US20220404490A1 (en) * 2021-06-16 2022-12-22 The Boeing Company Radar-based method and apparatus for generating a model of an object relative to a vehicle
US20230140890A1 (en) * 2021-11-09 2023-05-11 Aptiv Technologies Limited Machine-Learning-Based Super Resolution of Radar Data
WO2024015344A1 (en) * 2022-07-11 2024-01-18 Luca Rigazio Radar identification of persons via vital signs
CN116385318B (zh) * 2023-06-06 2023-10-10 湖南纵骏信息科技有限公司 一种基于云桌面的图像画质增强方法及系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602964A (en) * 1993-05-21 1997-02-11 Autometric, Incorporated Automata networks and methods for obtaining optimized dynamically reconfigurable computational architectures and controls
US7982666B2 (en) * 2009-03-10 2011-07-19 Lockheed Martin Corporation System and method for increasing spectral resolution
US8854249B2 (en) * 2010-08-26 2014-10-07 Lawrence Livermore National Security, Llc Spatially assisted down-track median filter for GPR image post-processing
US9129190B1 (en) * 2013-12-04 2015-09-08 Google Inc. Identifying objects in images
JP6548376B2 (ja) * 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
CN104537393B (zh) * 2015-01-04 2018-01-16 大连理工大学 一种基于多分辨率卷积神经网络的交通标志识别方法
JP6567832B2 (ja) * 2015-01-29 2019-08-28 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
US10234543B2 (en) * 2016-04-20 2019-03-19 The United States Of America As Represented By The Secretary Of The Army Methods and systems for locating targets using non linear radar with a matched filter which uses exponential value of the transmit signal
US20180149730A1 (en) * 2016-11-26 2018-05-31 Wenhua Li Cognitive MIMO Radar with Multi-dimensional Hopping Spread Spectrum and Interference-Free Windows for Autonomous Vehicles
US10198655B2 (en) * 2017-01-24 2019-02-05 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
CN107451619A (zh) * 2017-08-11 2017-12-08 深圳市唯特视科技有限公司 一种基于感知生成对抗网络的小目标检测方法
US20190187251A1 (en) * 2017-12-14 2019-06-20 Vathys, Inc. Systems and methods for improving radar output
US10928500B2 (en) * 2018-01-22 2021-02-23 Src, Inc. Distributed clutter motion suppression through multiple moving transmit phase centers
US10761187B2 (en) * 2018-04-11 2020-09-01 Infineon Technologies Ag Liquid detection using millimeter-wave radar sensor
US11002819B2 (en) * 2018-04-24 2021-05-11 The Boeing Company Angular resolution of targets using separate radar receivers
CN108596836B (zh) * 2018-05-09 2022-06-28 大国创新智能科技(东莞)有限公司 基于顶层生成深度学习的数据转换方法、系统、介质和设备
CN108734660A (zh) * 2018-05-25 2018-11-02 上海通途半导体科技有限公司 一种基于深度学习的图像超分辨率重建方法及装置
US10962637B2 (en) * 2018-06-25 2021-03-30 Texas Instruments Incorporated Radar data processing using neural network classifier and confidence metrics
US11614514B2 (en) * 2020-03-27 2023-03-28 Intel Corporation Apparatus, system and method of generating radar perception data

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3825728A1 (de) * 2019-11-20 2021-05-26 Samsung Electronics Co., Ltd. Verfahren und vorrichtung zur verbesserung von radardaten unter verwendung von referenzdaten
US11719811B2 (en) 2019-11-20 2023-08-08 Samsung Electronics Co., Ltd. Method and device to improve radar data using reference data

Also Published As

Publication number Publication date
US20200249314A1 (en) 2020-08-06
CN111521989A (zh) 2020-08-11
US10976412B2 (en) 2021-04-13
CN111521989B (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
DE102020100286A1 (de) Deep learning für superauflösung in einem radarsystem
DE102020100287A1 (de) Deep learning zum de-aliasieren und konfiguration eines radarsystems
DE60125181T2 (de) Verfahren und vorrichtung zur radarzielerkennung
EP3540457A1 (de) Identifikation von objekten mittels radardaten
DE102017103171A1 (de) Radar unter verwendung von vorerfassungsrampen
DE112007003175T5 (de) Elektronisch abtastendes Radarsystem
DE102018119858A1 (de) Dopplermessungen zum Auflösen der Einfallswinkel-Ambiguität von Radar mit weiter Apertur
DE102019115661A1 (de) Sliding window-integrationsschema zur objekterkennung in einem radarsystem
DE102020107344A1 (de) Azimut- und elevationsradar-abbildung mit eindimensionalen antennenanordnungen des radarsystems
DE102020105642A1 (de) Entwerfen von und verarbeiten mit antennenarrays zur beseitigung von fehldetektionen in einem radarsystem
DE112020005888T5 (de) Radareinrichtung, beobachtungszielerfassungsverfahren und fahrzeuginterne einrichtung
DE102018122560B4 (de) Zielklassifizierungsverfahren und zugehörige vorrichtung
DE102020212593A1 (de) Radarzielemulation und mehrdistanzen-emulation mit pmcw-radar
DE102018200560A1 (de) Radar-signalverarbeitungsvorrichtung
DE102016205227A1 (de) Verfahren und Vorrichtung zur Verfolgung von Objekten, insbesondere sich bewegenden Objekten, in den dreidimensionalen Raum von abbildenden Radarsensoren
DE102018127782A1 (de) System und Verfahren zur Pseudozufalls-Chirp-Planung zur Vermeidung von Interferenzen
DE102015221163A1 (de) Verfahren und Vorrichtung zur Verfolgung von Objekten, insbesondere sich bewegenden Objekten, in den dreidimensionalen Raum von abbildenden Radarsensoren
EP3368916A1 (de) Verfahren und vorrichtung zur verfolgung von objekten, insbesondere sich bewegenden objekten, in den dreidimensionalen raum von abbildenden radarsensoren
DE112019000520T5 (de) Radarvorrichtung
DE102018210155A1 (de) Verfahren und Vorrichtung zur Auswertung von Radarsignalen
DE102020123293A1 (de) Verfahren, Radarsystem und Fahrzeug zur Signalverarbeitung von Radarsignalen
DE102021208627B4 (de) Verfahren und Prozessorschaltung zum Betreiben eines Radarsystems mit mehreren Antennen sowie Radarsystem und Kraftfahrzeug
DE112019007053T5 (de) Verfahren für eine Detektion und Klassifizierung von Gesten unter Verwendung eines Radarsystems
DE102018202903A1 (de) Verfahren zur Auswertung von Messdaten eines Radar Messsystems mithilfe eines neuronalen Netzwerks
DE112021001201T5 (de) Radarvorrichtung

Legal Events

Date Code Title Description
R012 Request for examination validly filed