-
EINLEITUNG
-
Die vorliegende Offenbarung betrifft die Fusion von Radar- und Bildsensorsystemen.
-
Fahrzeuge (z. B. Automobile, Lastkraftwagen, Baumaschinen, Landmaschinen, automatisierte Fabrikausrüstung) sind zunehmend mit Sensorsystemen ausgestattet, die einen verbesserten oder automatisierten Fahrzeugbetrieb ermöglichen. Wenn zum Beispiel ein Sensorsystem ein Objekt direkt vor dem Fahrzeug erfasst, kann eine Warnung an den Fahrer ausgegeben werden oder eine automatische Bremsung oder andere Kollisionsvermeidungsmanöver können durchgeführt werden. Die von den Sensorsystemen erhaltenen Informationen müssen die Erkennung und Identifizierung von Objekten in der Umgebung des Fahrzeugs erleichtern. Ein Typ von Sensorsystem, ein Lichterfassungs- und Entfernungsmesssystem (LIDAR - Light Detection And Ranging)-System, liefert eine dichte Punktwolke (d. h., einen dichten Satz von Reflexionen), die beim Identifizieren einer möglichen Region of Interest (ROI) für weitere Untersuchungen hilfreich sein kann. LIDAR-Systeme haben jedoch Wetter- und andere Einschränkungen. Dementsprechend ist dieses wünschenswert, eine Fusion von Radar- und Bildsensorsystemen bereitzustellen.
-
KURZDARSTELLUNG
-
In einer beispielhaften Ausführungsform umfasst ein Verfahren zum Verschmelzen eines Radarsystems und eines Bildsensorsystems das Erhalten von Radarreflexionen, die aus Übertragungen von Hochfrequenz(RF - Radio Frequency)-Energie resultieren. Das Verfahren umfasst ebenfalls das Erhalten von Bildrahmen von einem oder mehreren Bildsensorsystemen und das Erzeugen von Region of Interest-Vorschlägen (ROI) basierend auf den Radarreflexionen und den Bildrahmen. Informationen zu Objekten, die anhand der ROI-Vorschläge erfasst wurden, werden bereitgestellt.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale wird eine Radarkarte aus den Radarreflexionen erhalten. Die Radarkarte zeigt eine Intensität von verarbeiteten Reflexionen mit jeweiligen Entfernungswerten an.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale wird eine visuelle Merkmalskarte aus den Bildrahmen erhalten. Das Erhalten der visuellen Merkmalskarte umfasst das Verarbeiten der Bildrahmen unter Verwendung eines neuronalen Netzwerks.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Erzeugen der ROI-Vorschläge das Auffinden einer Überlappung zwischen Merkmalen der visuellen Merkmalskarte und Punkten in der Radarkarte.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Erhalten der Radarkarte das Projizieren dreidimensionaler Cluster auf eine Bildebene.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale basiert das Erhalten der dreidimensionalen Cluster auf dem Durchführen schnellen Fourier-Transformationen (FFT - Fast Fourier Transform) der Radarreflexionen.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Erhalten der visuellen Merkmalskarte das Durchführen eines Faltungsvorgangs.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Durchführen des Faltungsvorgangs das Durchführen einer Reihe von Faltungen der Bildrahmen mit einer Kernmatrix.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale umfasst das Bereitstellen der Informationen das Bereitstellen einer Anzeige für einen Fahrer eines Fahrzeugs, die Informationen des Radarsystems und des Bildsensorsystems umfassen.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist die Bereitstellung der Informationen für ein Fahrzeugsystem eines Fahrzeugs, das das Radarsystem und das Bildsensorsystem umfasst, wobei das Fahrzeugsystem ein Kollisionsvermeidungssystem, ein adaptives Geschwindigkeitsregelungssystem oder ein autonomes Fahrsystem aufweist.
-
In einer anderen beispielhaften Ausführungsform umfasst ein Fusionssystem ein Radarsystem, um Radarreflexionen zu erhalten, die aus Übertragungen von Hochfrequenz (RF)-Energie resultieren. Das System umfasst ebenfalls ein Bildsensorsystem zum Erhalten von Bildrahmen von einem oder mehreren Bildsensorsystemen und eine Steuerung zum Erzeugen von Region-of-Interest (ROI)-Vorschlägen, basierend auf den Radarreflexionen und den Bildrahmen sowie zum Bereitstellen von Informationen über Objekte, die basierend auf den ROI-Vorschlägen erfasst werden.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält die Steuerung eine Radarkarte von den Radarreflexionen, wobei die Radarkarte eine Intensität der verarbeiteten Reflexionen bei jeweiligen Entfernungswerten angibt.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält die Steuerung eine visuelle Merkmalskarte, basierend auf der Verarbeitung der Bildrahmen unter Verwendung eines neuronalen Netzwerks.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erzeugt die Steuerung die ROI-Vorschläge, basierend auf dem Auffinden einer Überlappung zwischen Merkmalen der visuellen Merkmalskarte und Punkten in der Radarkarte.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält die Steuerung die Radarkarte, basierend auf dem Projizieren von dreidimensionalen Clustern auf eine Bildebene.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale erhält die Steuerung die dreidimensionalen Cluster, basierend auf der Durchführung einer schnellen Fourier-Transformation der Radarreflexionen.
-
Zusätzlich zu einem oder mehreren der hier beschriebenen Merkmale erhält die Steuerung die visuelle Merkmalskarte, basierend auf der Durchführung eines Faltungsvorgangs.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale führt die Steuerung den Faltungsvorgang, basierend auf der Durchführung einer Reihe von Faltungen der Bildrahmen mit einer Kernmatrix, durch.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale liefert die Steuerung die Informationen als eine Anzeige für einen Fahrer eines Fahrzeugs, das das Radarsystem und das Bildsensorsystem umfasst.
-
Zusätzlich zu einem oder mehreren der hierin beschriebenen Merkmale ist die Bereitstellung der Informationen für ein Fahrzeugsystem eines Fahrzeugs, das das Radarsystem und das Bildsensorsystem umfasst, wobei das Fahrzeugsystem ein Kollisionsvermeidungssystem, ein adaptives Geschwindigkeitsregelungssystem oder ein autonomes Fahrsystem aufweist.
-
Die oben genannten Eigenschaften und Vorteile sowie anderen Eigenschaften und Funktionen der vorliegenden Offenbarung gehen aus der folgenden ausführlichen Beschreibung in Verbindung mit den zugehörigen Zeichnungen ohne Weiteres hervor.
-
Figurenliste
-
Andere Merkmale, Vorteile und Details erscheinen nur exemplarisch in der folgenden ausführlichen Beschreibung der Ausführungsformen, wobei sich die ausführliche Beschreibung auf die Zeichnungen bezieht, wobei gilt:
- 1 ist ein Blockdiagramm eines Systems zum Durchführen einer Fusion von Radar- und Bildsensorsystemen in einem Fahrzeug gemäß einer oder mehreren Ausführungsformen;
- 2 ist ein Prozessablauf eines Verfahrens zum Durchführen einer Fusion von Radar- und Bildsensorsystemen gemäß einer oder mehreren Ausführungsformen erhalten werden.
- 3 zeigt beispielhafte Ergebnisse, die in dem Prozessablauf eines Verfahrens zum Durchführen einer Fusion von Radar- und Bildsensorsystemen gemäß einer oder mehreren Ausführungsformen erhalten werden; und
- 4 zeigt ein beispielhaftes Bild mit Merkmalen von einer visuellen Merkmalskarte und Punkten von einer Entfernungskarte, die zum Erzeugen von Region of Interest-Vorschlägen gemäß einer oder mehreren Ausführungsformen verwendet werden.
-
AUSFÜHRLICHE BESCHREIBUNG
-
Die folgende Beschreibung ist lediglich exemplarischer Natur und nicht dazu gedacht, die vorliegende Offenbarung in ihren An- oder Verwendungen zu beschränken. Es sollte verstanden werden, dass in den Zeichnungen entsprechende Bezugszeichen gleiche oder entsprechende Teile und Merkmale bezeichnen.
-
Wie zuvor erwähnt, benötigen Fahrzeugsysteme, die Warnungen bereitstellen oder automatische Aktionen ausführen, Informationen von Sensorsystemen, die Regions of Interest (ROI) für eine Untersuchung identifizieren. Ein LIDAR-System sendet gepulste Laserstrahlen aus und bestimmt die Entfernung zu erfassten Objekten anhand von reflektierten Signalen. Das LIDAR-System erhält einen dichteren Satz von Reflexionen, der als Punktwolke bezeichnet wird, als ein Radarsystem. Zusätzlich zu relativ höheren Kosten im Vergleich zu Radarsystemen erfordern LIDAR-Systeme trockenes Wetter und liefern keine Doppler-Informationen wie Radarsysteme. Radarsysteme arbeiten im Allgemeinen durch Senden von Hochfrequenz (RF)-Energie und Empfangen von Reflexionen dieser Energie von Zielen in dem Radarsichtfeld. Wenn sich ein Ziel relativ zu dem Radarsystem bewegt, wird die Frequenz der empfangenen Reflexionen von der Frequenz der Übertragungen verschoben. Diese Verschiebung entspricht der Dopplerfrequenz und kann verwendet werden, um die relative Geschwindigkeit des Ziels zu bestimmen. Das heißt, die Doppler-Information erleichtert eine Bestimmung der Geschwindigkeit eines detektierten Objekts relativ zu der Plattform (z. B. dem Fahrzeug) des Radarsystems.
-
Ausführungsformen der hierin ausführlich beschriebenen Systeme und Verfahren beziehen sich auf die Verwendung eines Radarsystems zur Identifizierung von ROI. Eine Fusion von Radar- und Bildsensorsystemen wird verwendet, um die Leistungsverbesserung eines LIDAR-Systems, verglichen mit dem Radarsystem allein, zu erzielen, während Vorteile gegenüber dem LIDAR-System in Bezug auf bessere Leistung bei nassem Wetter und die Fähigkeit, zusätzlich Doppler-Messungen zu erhalten, bereitgestellt werden. Insbesondere wird ein faltendes neuronales Netzwerk (CNN - Convolutional Neural Network) verwendet, um eine Merkmalskartenextraktion an Rahmen durchzuführen, die von einer Video- oder Standbildkamera erhalten werden, und diese Merkmalskarte wird mit einer Entfernungskarte fusioniert, die unter Verwendung eines Radarsystems erhalten wird. Die Fusion wird gemäß der einen oder mehreren Ausführungsformen umso erfolgreicher sein, je höher die Winkelauflösung des Radarsystems ist. Somit ist das exemplarische Radarsystem, das zu Erläuterungszwecken erläutert wird, ein Ultrakurzstreckenradar (USRR - Ultra-Short-Range Radar)-System. Kameras werden als beispielhafte Bildsensorsysteme erläutert.
-
Gemäß einer beispielhaften Ausführungsform zeigt 1 ein Blockdiagramm eines Systems zum Durchführen einer Fusion von Radar- und Bildsensorsystemen in einem Fahrzeug 100. Das in 1 dargestellte exemplarische Fahrzeug 100 ist ein Kraftfahrzeug 101. Das Fahrzeug 100 ist mit drei beispielhaften Kameras 150a, 150b, 150c (im Allgemeinen als 150 bezeichnet) und einem Radarsystem 130, das in der beispielhaften Ausführungsform ein USRR-System 135 ist, dargestellt. Die Fusion gemäß einer oder mehrerer Ausführungsformen wird durch eine Steuerung 110 durchgeführt.
-
Die Steuerung 110 enthält eine Verarbeitungsschaltung, um ein faltendes neuronales Deep Learning Netzwerk (CNN) zu implementieren. Die Verarbeitungsschaltung kann eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor 115 (gemeinsam genutzt, dediziert oder Gruppenprozessor) und einen Speicher 120 beinhalten, der ein oder mehrere Software- oder Firmwareprogramme, wie in 1 gezeigt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten ausführt, welche die beschriebene Funktionalität bieten. Die Steuerung 110 kann, basierend auf der Fusion von Daten von dem Radarsystem 130 und den Kameras 150, Informationen oder ein Steuersignal an ein oder mehrere Fahrzeugsysteme 140 liefern. Die Fahrzeugsysteme 140 können beispielsweise ein Kollisionsvermeidungssystem, ein adaptives Geschwindigkeitsregelungssystem oder ein vollständig autonomes Fahrsystem umfassen.
-
2 ist ein Prozessablauf eines Verfahrens zum Durchführen einer Radarkalibrierung gemäß einer oder mehreren Ausführungsformen. Einige oder alle Prozesse können von der Steuerung 110 ausgeführt werden. Einige oder alle Funktionen der Steuerung 110 können gemäß alternativen Ausführungsformen in dem Radarsystem 130 enthalten sein. Bei Block 210 umfasst das Erhalten von Radarreflexionen 205 das Erhalten von Daten von dem Radarsystem 130, das gemäß der erläuternden Ausführungsform das USRR-System 135 ist. In alternativen Ausführungsformen können die Radarreflexionen 205 von mehreren Radarsystemen 130 erhalten werden. Zum Beispiel können zwei oder mehr USRR-Systeme 135 Sichtfelder aufweisen, die sich mit dem Sichtfeld einer Kamera 150 überlappen. Das Ausführen der Vorverarbeitung bei Block 220 umfasst das Ausführen bekannter Verarbeitungsfunktionen, wie z. B. Durchführen einer schnellen Fourier-Transformation (FFT - Fast Fourier Transform) an den empfangenen Radarreflexionen unter Berücksichtigung der FFT-Werte, die einen vordefinierten Schwellenwert überschreiten und Gruppieren dieser Werte in dreidimensionale Cluster 225, wie in 3 dargestellt. Das Projizieren auf eine Bildebene bei Block 230 umfasst das Erzeugen einer zweidimensionalen Entfernungskarte 235 aus den dreidimensionalen Clustern 225, die bei Block 220 identifiziert wurden. Die Entfernungskarte 235 gibt den Bereich jeder der empfangenen Reflexionen an, die den Schwellenwert entlang einer Achse und die jeweilige Intensität entlang einer senkrechten Achse überschreitet. Eine beispielhafte Entfernungskarte 235 ist in 3 dargestellt.
-
Bei Block 240 umfasst das Erhalten von Bildrahmen 207 das Erhalten von Bildern von jeder der Kameras 150. Ein Bildrahmen 207, der den beispielhaften dreidimensionalen Clustern 225 entspricht, ist ebenfalls in 3 dargestellt. Die Verarbeitung der Bildrahmen 207 bei Block 250 führt zu einer visuellen Merkmalskarte 255. Die Verarbeitung der Bildrahmen 207 umfasst eine bekannte Reihe von Faltungsvorgängen, bei denen die Matrix von Pixeln der Bildrahmen 207 und anschließend das Ergebnis des vorherigen Faltungsvorgangs eine Faltung mit einer Kernmatrix unterzogen werden. Die anfänglichen Kernwerte können zufällig sein oder durch Experimentieren bestimmt und während eines Trainingsprozesses verfeinert werden. Die visuelle Merkmalskarte 255 zeigt Merkmale (z. B. Bäume, Fahrzeuge, Fußgänger) in den verarbeiteten Bildrahmen 207 an.
-
Bei Block 260 umfasst das Erzeugen eines oder mehrerer Vorschläge von Regions of Interest (ROI) das Verwenden der aus den Radarreflexionen 205 resultierenden Entfernungskarte 235 und der aus den Bildrahmen 207 resultierenden visuellen Merkmalskarte 255 als Eingaben. Insbesondere werden Objekte, die in der Radarkarte 235 angezeigt werden, und visuelle Merkmale, die in der visuellen Merkmalskarte 255 identifiziert sind, verglichen, um eine Überlappung als die ROI zu bestimmen. Die visuelle Merkmalskarte 255 und die ROI-Vorschläge (erzeugt bei Block 260) werden bei Block 270 für das Poolen von Bereichsvorschlägen (RP - Region Proposal) verwendet. RP-Pooling bezieht sich bei Block 270 auf das Normalisieren der ROI-Vorschläge (erzeugt bei Block 260) auf die gleiche Größe. Das heißt, jeder ROI-Vorschlag kann eine unterschiedliche Größe (z. B. 32 × 32 Pixel, 256 × 256 Pixel) aufweisen und kann in Block 270 auf die gleiche Größe (z. B. 7 × 7 Pixel) normalisiert werden. Die Pixel in der visuellen Merkmalskarte 255, die den ROI-Vorschlägen entsprechen, werden extrahiert und normalisiert, um eine normierte Merkmalskarte 275 zu erzeugen. Diese Verarbeitung wird unter Bezugnahme auf 4 näher beschrieben. Das Klassifizieren und Lokalisieren der normalisierten Merkmalskarte 275 bei Block 280 umfasst einen anderen neuralen Netzwerkprozess. Im Wesentlichen werden die Vorschläge in der normierten Merkmalskarte 275, basierend auf einer bekannten Objektidentifikationsverarbeitung, analysiert, um zu bestimmen, ob diese ein Objekt umfassen. Wenn dies der Fall ist, wird das Objekt klassifiziert (z. B. Fußgänger, Fahrzeug).
-
Das Bereitstellen der Ausgabe kann in Block 290 mehrere Ausführungsformen umfassen. Gemäß einer Ausführungsform kann die Ausgabe eine Anzeige 410 für den Fahrer sein, die eine Anzeige der klassifizierten Objekte in einer Kameraanzeige überlagert. Die Anzeige kann ein Bild mit Kästchen umfassen, die den Umriss von klassifizierten Objekten anzeigen. Farbe oder andere Codierungen können die Klassifizierung anzeigen. Die Kästchen werden mit einer zentralen Position u, v in Pixelkoordinaten und einer Größe (Breite W und Höhe H) in Pixeleinheiten platziert. Alternativ oder zusätzlich umfasst die Ausgabe Informationen, die für ein oder mehrere Fahrzeugsysteme 140 bereitgestellt werden können. Die Informationen können den Ort und die Klassifizierung jedes klassifizierten Objekts in einem dreidimensionalen Raum von der Fahrzeugperspektive umfassen. Die Informationen können die Erfassungswahrscheinlichkeit, Objektgeometrie, Geschwindigkeit (d. h., Kurswinkel, Geschwindigkeit) umfassen, die basierend auf Doppler-Informationen, erhalten durch das Radarsystem 130 oder Bildrahmen-für-Bildrahmen-Bewegung, basierend auf den Kameras 150 und der Position (z. B. im x, y-Koordinatensystem) für jedes Objekt, bestimmt werden.
-
3 zeigt beispielhafte Ergebnisse, die in dem Prozessablauf eines Verfahrens zum Durchführen einer Fusion von Radar- und Bildsensorsystemen gemäß einer oder mehreren Ausführungsformen erhalten werden. Ein beispielhafter Bildrahmen 207 ist dargestellt. Der beispielhafte Bildrahmen 207 zeigt Objekte (z. B. geparkte Autos) an, die die Hochfrequenz (RF)-Übertragungen von dem Radarsystem 130 sowie weniger reflektierende Objekte (z. B. Bäume) reflektieren. Exemplarische dreidimensionale Cluster 225, die bei Block 220 erhalten werden, sind ebenfalls in 3 für dasselbe Szenario, das in dem beispielhaften Bildrahmen 207 gezeigt wird, dargestellt. Wie die Schattierung der dreidimensionalen Cluster 225 anzeigt, reflektieren die geparkten Autos mehr Energie als andere Objekte in der Szene. Eine beispielhafte Entfernungskarte 235 ist ebenfalls in 3 dargestellt. Die Entfernungskarte 235 ist eine zweidimensionale Projektion von dreidimensionalen Clustern 225. Basierend auf der Verarbeitung des exemplarischen Bildrahmens 207 wird ebenfalls eine resultierende beispielhafte visuelle Merkmalskarte 255 in 3 gezeigt. Die in der visuellen Merkmalskarte 255 identifizierten Merkmale sind, wie gezeigt, durch Rechtecke begrenzt. Wie in 3 gezeigt, weisen die Rechtecke, die die verschiedenen Merkmale begrenzen, unterschiedliche Größen auf (d. h., umfassen eine unterschiedliche Anzahl von Pixeln). Dies führt zu dem Bedarf für das Pooling bei Block 270.
-
4 zeigt ein beispielhaftes Bild 410 mit Merkmalen 420 aus einer visuellen Merkmalskarte 255 und Punkten 430 aus einer Entfernungskarte 235, die zum Erzeugen von ROI-Vorschlägen gemäß einer oder mehreren Ausführungsformen verwendet werden. Die Merkmale 420 von der Merkmalskarte 255 werden als zweizeilige Rechtecke angezeigt, und die Punkte 430 der Entfernungskarte 235 werden als einzeilige Rechtecke angezeigt. Wie 4 zeigt, werden Bäume als Merkmale 420 angezeigt, bilden aber keine Punkte 430 in der Entfernungskarte 235. Da die Bäume keinen Überlappungsbereich zwischen den Merkmalen 420 und den Punkten 430 darstellen, würden die Bäume daher in Block 260 in keiner ROI angezeigt werden. Selbst wenn in Block 260 erzeugte ROIs Bäume, Sträucher und dergleichen umfassen würden, würde die Klassifizierung in Block 280 diese Objekte aus der Ausgabe in Block 290 ausschließen.
-
Während die obige Offenbarung mit Bezug auf exemplarische Ausführungsformen beschrieben wurde, werden Fachleute verstehen, dass unterschiedliche Änderungen vorgenommen und die einzelnen Teile durch entsprechende andere Teile ausgetauscht werden können, ohne vom Umfang der Offenbarung abzuweichen. Darüber hinaus können viele Modifikationen vorgenommen werden, um eine bestimmte Materialsituation an die Lehren der Offenbarung anzupassen, ohne von deren wesentlichem Umfang abzuweichen. Daher ist vorgesehen, dass die vorliegende Offenbarung nicht auf die speziellen offenbarten Ausführungsformen beschränkt ist, aber alle Ausführungsformen beinhaltet, die in deren Umfang fallen.
