DE102021111942A1

DE102021111942A1 - Zielverfolgung bei beschleunigungsvorgängen

Info

Publication number: DE102021111942A1
Application number: DE102021111942.1A
Authority: DE
Inventors: Oded Bialer; Amnon Jonas
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2020-12-10
Filing date: 2021-05-07
Publication date: 2022-06-15
Also published as: US20220187441A1; CN114624713A; US11698452B2

Abstract

Fahrzeuge und Verfahren zur Verfolgung eines Objekts und Steuerung eines Fahrzeugs basierend auf dem verfolgten Objekt. Eine Radar-Doppler (RD)-Karte wird vom Radarerfassungssystem des Fahrzeugs empfangen, und die relative Beschleunigung eines Objekts in Bezug auf das Fahrzeug wird basierend auf der RD-Karte erfasst, um Beschleunigungsdaten zu liefern. Ein aktueller Rahmen der erfassten Objektdaten wird von einem Erfassungssystem des Fahrzeugs empfangen. Wenn die relative Beschleunigung erfasst wurde, wird ein Verfolgungsalgorithmus angepasst, um den Einfluss des prädiktiven Bewegungsmodells oder des historischen Zustands des Objekts zu reduzieren, und das Objekt wird unter Verwendung des angepassten Verfolgungsalgorithmus verfolgt, um angepasste geschätzte Objektdaten basierend auf der Objektverfolgung bereitzustellen. Ein oder mehrere Fahrzeugaktoren werden basierend auf den angepassten geschätzten Objektdaten gesteuert.

Description

EINLEITUNG
Das technische Gebiet bezieht sich im Allgemeinen auf Fahrzeuge und im Besonderen auf Verfahren und Systeme zur genaueren Verfolgung eines Zielobjekts bei Beschleunigungsereignissen.
Fahrzeuge nutzen Algorithmen zur Objektverfolgung in einer Vielzahl von Fahrzeugsteuerungsanwendungen, darunter erweiterte Fahrerassistenzsysteme (ADAS) und autonome Fahraufgaben als zwei von vielen möglichen Beispielen. Bei solchen Fahrzeugsteuerungsanwendungen kann es erforderlich sein, dass Objekte mithilfe eines Erfassungssystems erkannt und verfolgt werden, um Notbremsungen, Kollisionsvermeidung, Wegplanung und andere automatische Fahrzeugsteuerungsfunktionen zu steuern.
Einige Fahrzeuge verwenden Kamera-Sichtsysteme, Radarsysteme und/oder Lidarsysteme zur Objekterkennung und -verfolgung. Bei der Objektverfolgung wird ein Verfolgungsalgorithmus verwendet, der sich auf ein Bewegungsmodell des Zielfahrzeugs stützen kann. Einige Bewegungsmodelle können plötzliche Anomalien in der Bewegung des Zielfahrzeugs, wie z. B. plötzliches Bremsen, Beschleunigen oder scharfes Abbiegen, nicht gut berücksichtigen. Das bedeutet, dass die vom Tracker ausgegebenen Objektinformationen möglicherweise nicht mit den wahren Objektinformationen übereinstimmen, z. B. als Ergebnis der vom Tracking-Algorithmus eingeführten Latenz. Infolgedessen kann der Tracker während eines Beschleunigungsvorgangs große Fehler aufweisen oder sogar die Zielerfassung verlieren. Dies kann störend sein, da gerade bei Objektbeschleunigungsereignissen genaue Objektpositions- und Geschwindigkeitsinformationen für eine angemessene automatische Steuerung des Fahrzeugs benötigt werden.
Dementsprechend ist es wünschenswert, Fehler bei der Schätzung der Objektposition (und anderer Zustandsdaten) während Beschleunigungsereignissen zu reduzieren und die Wahrscheinlichkeit einer Fehldetektion während Bewegungsanomalien (z. B. Beschleunigungsereignissen) zu verringern. Darüber hinaus ist es wünschenswert, automatisierte Fahrzeugsteuerungsanwendungen mit genaueren Objektverfolgungsdaten zu verbessern, ohne dass ein erheblicher zusätzlicher Hardwareaufwand erforderlich ist. Darüber hinaus werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen ersichtlich, die in Verbindung mit den beigefügten Figuren und dem vorstehenden technischen Gebiet und Hintergrund betrachtet werden.
BESCHREIBUNG
In einem ersten Aspekt wird ein Verfahren zur Objektverfolgung und Fahrzeugsteuerung bereitgestellt. Das Verfahren umfasst über einen Prozessor: Empfangen der Radar-Doppler-, RD-, Karte von einem Radarerfassungssystem eines Fahrzeugs, Erfassen der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug basierend auf der RD-Karte und Bereitstellen von Beschleunigungsdaten basierend darauf und Empfangen eines aktuellen Rahmens von erfassten Objektdaten von einem Erfassungssystem des Fahrzeugs. Wenn die relative Beschleunigung nicht erfasst wurde, wird das Objekt basierend auf dem aktuellen Rahmen der erfassten Objektdaten, einem prädiktiven Bewegungsmodell und einem historischen Zustand des Objekts unter Verwendung eines Verfolgungsalgorithmus verfolgt und geschätzte Objektdaten werden basierend auf der Objektverfolgung bereitgestellt. Wenn die relative Beschleunigung erkannt wurde, wird der Verfolgungsalgorithmus angepasst, um den Einfluss des prädiktiven Bewegungsmodells und des historischen Zustands des Objekts zu reduzieren, und das Objekt wird unter Verwendung des angepassten Verfolgungsalgorithmus verfolgt, und es werden angepasste geschätzte Objektdaten basierend auf der Objektverfolgung bereitgestellt. Ein Fahrzeugmerkmal wird basierend auf den angepassten geschätzten Objektdaten oder den geschätzten Objektdaten gesteuert.
In Ausführungsformen wird die Erkennung der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug mithilfe eines neuronalen Netzes durchgeführt. Das neuronale Netzwerk kann ein tiefes neuronales Netzwerk sein, das ein neuronales Faltungsnetzwerk, vollständig verbundene Schichten und eine logistische Regressionsoperation enthält. Das tiefe neuronale Netz wird trainiert, um RD-Karten zu klassifizieren, die erfasst wurden, wenn sich das Fahrzeug mit einer konstanten Geschwindigkeit bewegt, und um RD-Karten zu klassifizieren, die erfasst wurden, wenn das Fahrzeug beschleunigt.
In Ausführungsformen umfassen die Beschleunigungsdaten einen binären Wert, der einen beschleunigenden Zustand und einen nicht-beschleunigenden Zustand anzeigt, eine Vielzahl von Ausgangspegeln, die verschiedenen Zuständen der Beschleunigung entsprechen, oder einen kontinuierlich variablen Ausgang, der den Grad der Beschleunigung darstellt.
In Ausführungsformen werden die Beschleunigungsdaten auf der Grundlage einer Erfassung der Unschärfe der RD-Karte bestimmt.
In Ausführungsformen beinhaltet das Empfangen eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erkannten Objektdaten von dem Radarsystem.
In Ausführungsformen beinhaltet das Empfangen eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erkannten Objektdaten von einem Lidar-System oder einem Kamera-Vision-System.
In Ausführungsformen enthält der Verfolgungsalgorithmus einen Kalman-Filter.
In Ausführungsformen beinhaltet das Anpassen des Verfolgungsalgorithmus das Ersetzen des historischen Zustands des Objekts durch den aktuellen Rahmen der erkannten Objektdaten, das Anpassen einer Kovarianzmatrix und/oder das Anpassen von Parametern des prädiktiven Bewegungsmodells.
In Ausführungsformen umfassen die Fahrzeugfunktionen einen Lenkbefehl, einen Bremsbefehl und einen Antriebsbefehl.
Ein weiterer Aspekt ist die Bereitstellung eines Fahrzeugs. Das Fahrzeug umfasst ein Radarerfassungssystem, einen oder mehrere Fahrzeugaktuatoren, einschließlich Lenk-, Brems- und Antriebsaktuatoren; und einen Prozessor, der in betriebsfähiger Kommunikation mit dem Radarerfassungssystem und den Fahrzeugaktuatoren steht. Der Prozessor führt Programmanweisungen aus, um Schritte auszuführen, wie sie im Folgenden skizziert werden. Eine Radar-Doppler, RD, Karte wird von dem Radarerfassungssystem des Fahrzeugs empfangen. Die relative Beschleunigung eines Objekts in Bezug auf das Fahrzeug wird auf der Grundlage der RD-Karte erfasst, und die Beschleunigungsdaten werden auf der Grundlage der Erfassung der relativen Beschleunigung bereitgestellt. Ein aktueller Rahmen der erfassten Objektdaten wird von einem Erfassungssystem des Fahrzeugs empfangen. Wenn die relative Beschleunigung nicht erkannt wurde, wird das Objekt basierend auf dem aktuellen Rahmen der erkannten Objektdaten, einem prädiktiven Bewegungsmodell und einem historischen Zustand des Objekts unter Verwendung eines Verfolgungsalgorithmus verfolgt und geschätzte Objektdaten werden basierend auf der Objektverfolgung bereitgestellt. Wenn die relative Beschleunigung erkannt wurde, wird der Verfolgungsalgorithmus angepasst, um den Einfluss des prädiktiven Bewegungsmodells und/oder des historischen Zustands des Objekts zu reduzieren, das Objekt wird unter Verwendung des angepassten Verfolgungsalgorithmus verfolgt und angepasste geschätzte Objektdaten werden basierend auf der Objektverfolgung bereitgestellt. Das Steuern des einen oder der mehreren Fahrzeugaktoren erfolgt auf Basis der angepassten geschätzten Objektdaten bzw. der geschätzten Objektdaten.
In Ausführungsformen wird die Erkennung der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug mithilfe eines neuronalen Netzwerks durchgeführt. Das neuronale Netzwerk ist ein tiefes neuronales Netzwerk, das ein Faltungsneuronales Netzwerk, vollständig verbundene Schichten und eine logistische Regressionsoperation enthält. Das tiefe neuronale Netz ist darauf trainiert, RD-Karten zu klassifizieren, die erfasst wurden, wenn sich das Fahrzeug mit einer konstanten Geschwindigkeit bewegt, und RD-Karten zu klassifizieren, die erfasst wurden, wenn das Fahrzeug beschleunigt.
In Ausführungsformen umfassen die Beschleunigungsdaten: einen binären Wert, der einen beschleunigenden Zustand und einen nicht-beschleunigenden Zustand anzeigt, eine Vielzahl von Ausgangspegeln, die verschiedenen Zuständen der Beschleunigung entsprechen, oder einen kontinuierlich variablen Ausgang, der den Grad der Beschleunigung darstellt.
In Ausführungsformen werden die Beschleunigungsdaten basierend auf einem Maß für die Unschärfe der RD-Karte bestimmt.
In Ausführungsformen beinhaltet das Empfangen eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erkannten Objektdaten von dem Radarsystem.
In Ausführungsformen beinhaltet das Empfangen eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erkannten Objektdaten von einem Lidar-System oder einem Kamera-Vision-System.
In Ausführungsformen enthält der Verfolgungsalgorithmus einen Kalman-Filter.
In Ausführungsformen beinhaltet das Anpassen des Verfolgungsalgorithmus das Ersetzen des historischen Zustands des Objekts durch den aktuellen Rahmen der erkannten Objektdaten, das Anpassen einer Kovarianzmatrix und/oder das Anpassen von Parametern des prädiktiven Bewegungsmodells.
In Ausführungsformen werden die Daten des erfassten Objekts basierend auf Entfernungsdoppler-, Strahlformungs- und Reflexionspunkt-Erkennungsprozessen auf Radar-Rohdaten von einem Radargerät des Radarsystems erzeugt. Die RD-Karte wird durch den Entfernungsdoppler-Prozess auf den Radar-Rohdaten erzeugt.
Figurenliste
Die beispielhaften Ausführungsformen werden im Folgenden in Verbindung mit den folgenden Figuren beschrieben, wobei gleiche Bezugsziffern gleiche Elemente bezeichnen, und wobei:

1 ist ein funktionales Blockdiagramm eines Fahrzeugs, das ein Radarsystem und ein Steuersystem enthält, gemäß einer beispielhaften Ausführungsform;
2 ist ein funktionales Blockdiagramm des Steuerungssystems des Fahrzeugs von 1, gemäß einer beispielhaften Ausführungsform;
3 ist ein Datenflussdiagramm zur Bereitstellung von geschätzten Objektdaten für ein verfolgtes Objekt, das von dem Fahrzeug von 1 und dem Steuersystem von 2 gemäß einer beispielhaften Ausführungsform durchgeführt wird;
4 zeigt beispielhafte RD-Karten, die zur Erkennung der Objektbeschleunigung verwendet werden, gemäß einer beispielhaften Ausführungsform; und
5 ist ein Flussdiagramm eines Verfahrens zur Implementierung der Objektverfolgung auf der Grundlage eines anpassungsfähigen Verfolgungsalgorithmus, das in Verbindung mit dem Fahrzeug von 1 und dem Steuerungssystem von 2 verwendet werden kann, gemäß einer beispielhaften Ausführungsform.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung hat lediglich beispielhaften Charakter und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus besteht keine Absicht, an irgendwelche ausdrücklichen oder impliziten Theorien gebunden zu sein, die in dem vorangehenden technischen Gebiet, dem Hintergrund, der kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellt sind. Wie hierin verwendet, bezieht sich der Begriff Modul auf eine anwendungsspezifische integrierte Schaltung (ASIC), eine elektronische Schaltung, einen Prozessor (gemeinsam, dediziert oder als Gruppe) und einen Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, eine kombinatorische Logikschaltung und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bieten.
1 zeigt ein Fahrzeug 100, oder Automobil, gemäß einer beispielhaften Ausführungsform. Wie weiter unten ausführlicher beschrieben, enthält das Fahrzeug 100 ein Steuersystem 102 zur Nutzung von Radardaten, um zu erkennen, ob ein Beschleunigungsereignis auftritt. Ein solches Beschleunigungsereignis umfasst eine relative Beschleunigung zwischen dem Fahrzeug 100 und einem Objekt. Während solcher Beschleunigungsereignisse manifestiert sich die Beschleunigung typischerweise als unschärfere Radardopplerkarten (RD), als wenn die RD-Karten während konstanter Relativgeschwindigkeitsbedingungen erfasst werden. Wenn also ein Beschleunigungsereignis erkannt wird, wird ein Verfolgungsalgorithmus des Steuerungssystems 102, der das Objekt verfolgt, so angepasst, dass er einem aktuellen Rahmen von Objekterfassungsdaten mehr Gewicht beimisst als historischen Objekterfassungsdaten und/oder dass er einem prädiktiven Fahrzeugbewegungsmodell weniger Gewicht beimisst. Auf diese Weise liefert der Verfolgungsalgorithmus, wenn ein Beschleunigungsereignis erkannt wird, eine Objektpositionsschätzung, die die momentane Erfassung stärker widerspiegelt und weniger von historischen und prädiktiven Modellfaktoren beeinflusst wird.
Wie in 1 dargestellt, umfasst das Fahrzeug 100 neben dem oben erwähnten Steuersystem 102 ein Fahrgestell 112, eine Karosserie 114, vier Räder 116, ein elektronisches Steuersystem 118, ein Lenksystem 150 und ein Bremssystem 160. Die Karosserie 114 ist auf dem Fahrgestell 112 angeordnet und umschließt im Wesentlichen die anderen Komponenten des Fahrzeugs 100. Die Karosserie 114 und das Fahrgestell 112 können gemeinsam einen Rahmen bilden. Die Räder 116 sind jeweils in der Nähe einer entsprechenden Ecke der Karosserie 114 drehbar mit dem Fahrgestell 112 verbunden. In verschiedenen Ausführungsformen kann das Fahrzeug 100 von dem in 1 dargestellten abweichen. Zum Beispiel kann in bestimmten Ausführungsformen die Anzahl der Räder 116 variieren. Als weiteres Beispiel kann das Fahrzeug 100 in verschiedenen Ausführungsformen kein Lenksystem haben und beispielsweise durch Differentialbremsen gelenkt werden, neben verschiedenen anderen möglichen Unterschieden.
In der beispielhaften Ausführungsform, die in 1 dargestellt ist, umfasst das Fahrzeug 100 eine Aktuatorbaugruppe 120. Die Aktuatorbaugruppe 120 umfasst mindestens ein auf dem Fahrgestell 112 montiertes Antriebssystem 129, das die Räder 116 antreibt. Die Aktuatorbaugruppe umfasst ferner ein Lenksystem 150 und ein Bremssystem 160 sowie zugehörige Lenk- und Bremsaktuatoren. In der dargestellten Ausführungsform umfasst die Aktuatorbaugruppe 120 einen Motor 130. In einer Ausführungsform umfasst der Motor 130 einen Verbrennungsmotor. In anderen Ausführungsformen kann die Aktuatorbaugruppe 120 anstelle des Verbrennungsmotors oder zusätzlich zu diesem einen oder mehrere andere Arten von Motoren und/oder Motoren, wie z. B. einen Elektromotor/Generator, umfassen.
Wie in 1 dargestellt, ist der Motor 130 über eine oder mehrere Antriebswellen 134 mit mindestens einigen der Räder 116 verbunden. In einigen Ausführungsformen ist der Motor 130 mechanisch mit dem Getriebe gekoppelt. In anderen Ausführungsformen kann der Motor 130 stattdessen mit einem Generator gekoppelt sein, der zum Antrieb eines Elektromotors dient, der mechanisch mit dem Getriebe gekoppelt ist. In bestimmten anderen Ausführungsformen (z. B. bei Elektrofahrzeugen) sind ein Motor und/oder ein Getriebe möglicherweise nicht erforderlich.
Das Lenksystem 150 ist auf dem Fahrgestell 112 montiert und steuert die Lenkung der Räder 116. Das Lenksystem 150 umfasst ein Lenkrad und eine Lenksäule (nicht abgebildet). Das Lenkrad empfängt Eingaben von einem Fahrer des Fahrzeugs 100. Die Lenksäule führt über die Antriebswellen 134 basierend auf den Eingaben des Fahrers zu gewünschten Lenkwinkeln für die Räder 116. Ähnlich der obigen Diskussion über mögliche Variationen für das Fahrzeug 100, kann das Fahrzeug 100 in bestimmten Ausführungsformen kein Lenkrad und/oder keine Lenksäule enthalten. Darüber hinaus kann ein autonomes Fahrzeug in bestimmten Ausführungsformen Lenkbefehle verwenden, die von einem Computer erzeugt werden, ohne dass der Fahrer daran beteiligt ist.
Das Bremssystem 160 ist am Fahrgestell 112 montiert und sorgt für die Abbremsung des Fahrzeugs 100. Das Bremssystem 160 empfängt Eingaben vom Fahrer über ein Bremspedal (nicht abgebildet) und sorgt über Bremseinheiten (ebenfalls nicht abgebildet) für eine entsprechende Bremsung. Der Fahrer gibt auch Eingaben über ein Gaspedal (nicht abgebildet) bezüglich einer gewünschten Geschwindigkeit oder Beschleunigung des Fahrzeugs sowie verschiedene andere Eingaben für verschiedene Fahrzeuggeräte und/oder -systeme, wie z. B. ein oder mehrere Fahrzeugradios, andere Unterhaltungssysteme, Umweltkontrollsysteme, Beleuchtungseinheiten, Navigationssysteme und dergleichen (ebenfalls nicht abgebildet). Ähnlich wie bei der obigen Erörterung möglicher Varianten für das Fahrzeug 100 kann in bestimmten Ausführungsformen das Lenken, Bremsen und/oder Beschleunigen von einem Computer statt von einem Fahrer befohlen werden (in einer solchen Ausführungsform kann ein Computer des Fahrzeugs Eingaben vom Radarsystem zum Lenken, Bremsen und/oder Beschleunigen des Fahrzeugs verwenden).
In der Ausführungsform von 1 umfasst das Fahrzeug 100 eine Vielzahl von Radargeräten 132a bis 132g, die an der Karosserie 114 montiert sind. Die Radargeräte (Radare) 132a bis 132g umfassen nach vorne blickende Radargeräte 132a bis 132c, seitlich blickende Radargeräte 132d, 132e und/oder nach hinten blickende Radargeräte 132f, 132g. Die verschiedenen Radargeräte 132a bis 132g können als Teil eines Einparkhilfesystems, eines Heckkollisionswarnsystems, eines Querverkehrswarnsystems, eines Notbremssystems, eines Fußgängererkennungssystems, eines Systems zur Vermeidung von Vorwärtskollisionen und/oder eines Systems zur Erkennung des toten Winkels vorgesehen sein, neben anderen möglichen Systemen, die Radardaten als Eingang für verschiedene Fahrzeugausgaben verwenden. Obwohl in 1 sieben Radargeräte 132a bis 132g dargestellt sind, können auch weniger oder mehr Radargeräte vorgesehen sein. Die Radargeräte 132a bis 132g können Radargeräte mit kurzer, mittlerer oder langer Reichweite sein. Die Radargeräte 132a bis 132g erzeugen nach der Vorverarbeitung der Radarrohdaten jeweils eine Range-Doppler-Beam (RDB)-Karte, wie weiter unten beschrieben. Die vorwärtsgerichteten Radargeräte 132a bis 132c werden insbesondere verwendet, um eine RD-Karte zur Erkennung der Beschleunigung eines Objekts und zur Verfolgung des Objekts zu erstellen, wie weiter unten beschrieben.
Das Steuersystem 102 ist auf dem Fahrgestell 112 montiert. Das Steuersystem 102 sorgt für die Objektverfolgung mithilfe eines Verfolgungsalgorithmus, und der Verfolgungsalgorithmus wird in Abhängigkeit davon angepasst, ob eine Beschleunigung des Objekts erkannt wird. Das Steuersystem 102 implementiert ein Verfahren zur Erkennung von Bewegungsanomalien (z. B. Beschleunigung) aus dem Bereichsdopplerspektrum unter Verwendung eines Deep Neural Network (DNN) und eines Objektverfolgungsalgorithmus, der sich entsprechend dem Zustand der Anomalieerkennung anpasst. Der Objektverfolgungsalgorithmus kann auf anderen Sensormodalitäten als Radar basieren, wie z. B. Kamera-Vision und Lidar. In einem Beispiel stellt das Steuerungssystem 102 diese Funktionen gemäß dem weiter unten in Verbindung mit 5 beschriebenen Verfahren 500 und den zugehörigen Datentransformationen von 3 bereit.
Das Steuerungssystem 102 ist in 2 so dargestellt, dass es ein Radarsystem 202 umfasst. Es wird jedoch deutlich, dass diese Merkmale in bestimmten Ausführungsformen zwei oder mehr Systeme umfassen können. Darüber hinaus kann das Steuersystem 102 in verschiedenen Ausführungsformen ganz oder teilweise aus verschiedenen anderen Fahrzeuggeräten und -systemen bestehen und/oder mit diesen gekoppelt sein, wie z. B. der Aktuatorbaugruppe 120 und/oder dem elektronischen Steuersystem 118.
Unter Bezugnahme auf 2 wird ein funktionales Blockdiagramm für das Steuerungssystem 102 von 1 gemäß einer beispielhaften Ausführungsform dargestellt. Wie in 2 dargestellt, umfasst das Steuersystem 102 das Radarsystem 202 und ein Steuergerät 204. Das Radarsystem 202 ist als Teil des Bildverarbeitungssystems 103 enthalten, das einen oder mehrere zusätzliche Sensoren 104 enthalten kann. In der dargestellten Ausführungsform umfassen die Sensoren 104 eine oder mehrere Kameras 210 (als Teil eines Kamera-Sichtsystems) und ein oder mehrere LIDARSysteme (Light Detection and Ranging) 212. Die Kamera(s) 210, das/die LIDAR-System(e) 212 und das Radarsystem 202 erhalten entsprechende Sensorinformationen, die Objekte auf oder in der Nähe einer Straße, auf der das Fahrzeug 100 fährt, identifizieren, wie z. B. fahrende oder stehende Fahrzeuge auf oder neben der Straße, Fußgänger, Fahrradfahrer, Tiere, Gebäude, Bäume, Leitplanken, Mittelstreifen und/oder andere Objekte auf oder neben der Straße.
Wie ebenfalls in 2 dargestellt, umfasst das Radarsystem 202 eine Vielzahl von Radargeräten 132a bis 132g. Jedes Radargerät 132a bis 132g umfasst in einer Ausführungsform einen Sender (oder eine Senderantenne), einen Empfänger (oder eine Empfängerantenne) und ist mit einem Vorverarbeitungsmodul 226 gekoppelt. In einer anderen Ausführungsform kann ein gemeinsames Vorverarbeitungsmodul 226 vorgesehen sein. Der Sender sendet Radarsignale in Form von zeitlich getrennten, frequenzmodulierten Chirps aus. Nachdem die gesendeten Radarsignale mit einem oder mehreren Objekten auf oder in der Nähe einer Straße, auf der sich das Fahrzeug 100 befindet (entweder stationär oder fahrend), in Kontakt gekommen sind und in Richtung des Radarsystems 202 reflektiert/umgelenkt wurden, werden die umgelenkten Radarsignale vom Empfänger des jeweiligen Radargeräts 132a bis 132g empfangen.
Wie in 2 dargestellt, ist das Steuergerät 204 mit dem Radarsystem 202 und den Sensoren 104 (die Teil eines zusätzlichen Erfassungssystems sind) gekoppelt. Ähnlich wie oben beschrieben, kann in bestimmten Ausführungsformen das Steuergerät 204 ganz oder teilweise innerhalb oder als Teil des Radarsystems 202 angeordnet sein. Darüber hinaus ist das Steuergerät 204 in bestimmten Ausführungsformen auch mit einem oder mehreren anderen Fahrzeugsystemen gekoppelt (z. B. mit dem elektronischen Steuersystem 118 von 1). Das Steuergerät 204 empfängt die von dem Radarsystem 202 und den Sensoren 104 erfassten oder ermittelten Informationen. In einer Ausführungsform empfängt das Steuergerät 204 Radar-Rohdaten vom Radarsystem 202, verarbeitet die Radar-Rohdaten in einem Vorverarbeitungsmodul 226 des Steuergeräts vor, um eine oder mehrere RD-Karten bereitzustellen. Das Steuergerät 204 erkennt die relative Objektbeschleunigung mit Hilfe eines trainierten neuronalen Netzklassifikators auf der Grundlage der RD-Karten. Ein Tacking-Algorithmus wird angepasst, wenn eine relative Objektbeschleunigung erkannt wurde, so dass er stärker auf ein aktuelles Bild der erkannten Objektdaten aus dem Bildverarbeitungssystem 103 ausgerichtet ist. Das Steuergerät 204 führt diese Funktionen im Allgemeinen in Übereinstimmung mit dem Verfahren 500 von 5 und dem Datenflussdiagramm von 3 aus.
Wie in 2 dargestellt, umfasst das Steuergerät 204 ein Computersystem. In bestimmten Ausführungsformen kann die Steuereinheit 204 auch ein oder mehrere Radarsysteme 202, Sensoren 104, ein oder mehrere andere Systeme und/oder Komponenten davon umfassen. Darüber hinaus kann sich das Steuergerät 204 in anderer Weise von der in 2 dargestellten Ausführungsform unterscheiden. Beispielsweise kann das Steuergerät 204 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen, wie z. B. das elektronische Steuersystem 118 von 1.
In der dargestellten Ausführungsform umfasst das Computersystem das Steuergerät 204 einen Prozessor 230, einen Speicher 232, eine Schnittstelle 234, eine Speichereinrichtung 236 und einen Bus 238. Der Prozessor 230 führt die Berechnungs- und Steuerungsfunktionen des Steuergeräts 204 aus und kann jede Art von Prozessor oder mehrere Prozessoren, einzelne integrierte Schaltungen wie einen Mikroprozessor oder eine beliebige geeignete Anzahl von integrierten Schaltkreisen und/oder Leiterplatten umfassen, die zusammenarbeiten, um die Funktionen einer Verarbeitungseinheit zu erfüllen. Während des Betriebs führt der Prozessor 230 ein oder mehrere Programme 240 aus, die im Speicher 232 enthalten sind, und steuert als solcher den allgemeinen Betrieb des Steuergeräts 204 und des Computersystems des Steuergeräts 204, im Allgemeinen bei der Ausführung der hierin beschriebenen Prozesse, wie z. B. des weiter unten in Verbindung mit 5 beschriebenen Verfahrens 500 und der Datenflussprozesse von 3. Das eine oder die mehreren Programme 240 umfassen ein Vorverarbeitungsmodul 226, ein Beschleunigungserkennungsmodul 241, ein Tracker-Modul 243 und ein Tracker-Aktualisierungsmodul 245 zur Durchführung von Schritten des unten im Detail beschriebenen Verfahrens 500.
Der Prozessor 230 ist in der Lage, ein oder mehrere Programme auszuführen (d. h. Software laufen zu lassen), um verschiedene Aufgaben auszuführen, die in dem/den Programm(en) kodiert sind, insbesondere die Vorverarbeitung, die Beschleunigungserkennung, den Tracker und die Tracker-Update-Module 226, 241, 243, 245. Der Prozessor 230 kann ein Mikroprozessor, Mikrocontroller, anwendungsspezifischer integrierter Schaltkreis (ASIC) oder ein anderes geeignetes Gerät sein, wie es von Fachleuten realisiert wird.
Der Speicher 232 kann jede Art von geeignetem Speicher sein. Dazu gehören die verschiedenen Arten von dynamischem Direktzugriffsspeicher (DRAM) wie SDRAM, die verschiedenen Arten von statischem RAM (SRAM) und die verschiedenen Arten von nichtflüchtigem Speicher (PROM, EPROM und Flash). In bestimmten Beispielen befindet sich der Speicher 232 auf demselben Computerchip wie der Prozessor 230 und/oder ist auf diesem angeordnet. In der dargestellten Ausführungsform speichert der Speicher 232 das oben erwähnte Programm 240 zusammen mit einem oder mehreren gespeicherten Werten 242 zur Verwendung bei der Durchführung der Festlegungen.
Der Bus 238 dient zur Übertragung von Programmen, Daten, Status und anderen Informationen oder Signalen zwischen den verschiedenen Komponenten des Rechnersystems des Steuergeräts 204. Die Schnittstelle 234 ermöglicht die Kommunikation mit dem Computersystem des Steuergeräts 204, z. B. von einem Systemtreiber und/oder einem anderen Computersystem, und kann mit jeder geeigneten Methode und Vorrichtung implementiert werden. Die Schnittstelle 234 kann eine oder mehrere Netzwerkschnittstellen enthalten, um mit anderen Systemen oder Komponenten zu kommunizieren. Die Schnittstelle 234 kann auch eine oder mehrere Netzwerkschnittstellen enthalten, um mit Technikern zu kommunizieren, und/oder eine oder mehrere Speicherschnittstellen, um sich mit Speichergeräten, wie dem Speichergerät 236, zu verbinden.
Die Speichervorrichtung 236 kann jede geeignete Art von Speichergerät sein, einschließlich Speichergeräten mit direktem Zugriff wie Festplattenlaufwerke, Flash-Systeme, Diskettenlaufwerke und optische Laufwerke. In einer beispielhaften Ausführungsform umfasst die Speichervorrichtung 236 ein Programmprodukt, von dem der Speicher 232 ein Programm 240 (einschließlich der Computermodule 226, 241, 243 und 245) empfangen kann, das eine oder mehrere Ausführungsformen eines oder mehrerer Prozesse der vorliegenden Offenbarung ausführt, wie z. B. die Schritte des Verfahrens 500 (und alle Unterprozesse davon). In einer anderen beispielhaften Ausführungsform kann das Programmprodukt direkt im Speicher 232 und/oder auf einer Platte (z. B. Platte 244), wie im Folgenden beschrieben, gespeichert sein und/oder es kann anderweitig darauf zugegriffen werden.
Der Bus 238 kann jedes geeignete physikalische oder logische Mittel zur Verbindung von Computersystemen und Komponenten sein. Dazu gehören unter anderem direkte, fest verdrahtete Verbindungen, Glasfaser, Infrarot und drahtlose Bustechnologien. Während des Betriebs wird das Programm 240 im Speicher 232 gespeichert und vom Prozessor 230 ausgeführt.
Während diese beispielhafte Ausführungsform im Zusammenhang mit einem voll funktionsfähigen Computersystem beschrieben wird, wird der Fachmann erkennen, dass die Mechanismen der vorliegenden Offenbarung als ein Programmprodukt mit einer oder mehreren Arten von nichttransitorischen, computerlesbaren, signaltragenden Medien verteilt werden können, die verwendet werden, um das Programm und seine Anweisungen zu speichern und seine Verteilung auszuführen, wie z. B. ein nicht-transitorisches, computerlesbares Medium, das das Programm trägt und Computeranweisungen enthält, die darin gespeichert sind, um einen Computerprozessor (wie den Prozessor 230) zu veranlassen, das Programm durchzuführen und auszuführen. Ein solches Programmprodukt kann eine Vielzahl von Formen annehmen, und die vorliegende Offenbarung gilt gleichermaßen unabhängig von der besonderen Art des computerlesbaren signaltragenden Mediums, das zur Durchführung der Verteilung verwendet wird. Beispiele für signaltragende Medien sind: beschreibbare Medien wie Disketten, Festplatten, Speicherkarten und optische Datenträger sowie Übertragungsmedien wie digitale und analoge Kommunikationsverbindungen. Es wird ebenfalls deutlich, dass sich das Computersystem des Steuergeräts 204 auch anderweitig von der in 2 dargestellten Ausführungsform unterscheiden kann, zum Beispiel dadurch, dass das Computersystem des Steuergeräts 204 mit einem oder mehreren entfernten Computersystemen und/oder anderen Steuersystemen gekoppelt sein oder diese anderweitig nutzen kann.
Mit zusätzlichem Bezug auf das Datenflussdiagramm 300 von 3 liefert das oder jedes Radargerät 132 Radarrohdaten 302. In einer Ausführungsform gibt es 8 Kanäle, die einer jeweiligen Antenne entsprechen, die mit jedem Radargerät 132 verbunden ist. Jeder Kanal liefert entsprechende Radar-Rohdaten 302 für jedes Zeitfenster. In jedem Radargerät 132 können weniger oder mehr Kanäle enthalten sein. Die Radarrohdaten 302 (oder Radarsignale) können in Form von I/Q-Daten bereitgestellt werden. Jeder Rahmen der Rohdaten kann beispielsweise alle 20 bis 50 Millisekunden erfasst werden.
Die Radar-Rohdaten 302 werden vom Vorverarbeitungsmodul 226 empfangen, das die Entfernungs-Doppler-Verarbeitung (RD) 330, die Strahlformung 332 und die Erkennung von Reflexionspunkten 334 ausführt. Das Vorverarbeitungsmodul 226 gibt RD-Karten 304 aus und liefert Daten über erkannte Objekte 308, die vom Radarsystem 202 erkannte Objekte darstellen. Die RD-Verarbeitung 330 liefert eine zweidimensionale (2D) Matrix von Entfernungs- und Energie- (Doppler-) Bins, wobei jede Zelle einen Intensitätswert für einen Teilbereich von Entfernungs- und Energiemesswerten darstellt. In einer Ausführungsform umfassen die Radarrohdaten 302 acht Kanäle, was bedeutet, dass die Entfernungs-Doppler-Verarbeitung 330 acht RD-Karten 304 liefert. Die RD-Verarbeitung 330 pro Frame geht von einer konstanten Relativgeschwindigkeit des Fahrzeugs und aller Objekte im Verlauf der kurzen Frame-Zeit der Radarerfassung aus, die wie oben beschrieben 20 bis 50 Millisekunden betragen kann. In einigen Ausführungsformen umfasst die RD-Verarbeitung 330 ein Verfahren zur diskreten Fourier-Transformation (DFT), das eine konstante Geschwindigkeit pro Bild annimmt. Die RD-Verarbeitung 330 nimmt eine lineare Phasenvariation an, was für eine konstante Geschwindigkeit zutrifft, aber nicht während signifikanter Beschleunigungsereignisse gilt. Wenn das Fahrzeug während der Radarrahmenzeit eine konstante Geschwindigkeit hat, dann ist die Annahme der konstanten Geschwindigkeit korrekt und die RD-Verarbeitung 330 ist an die Phasenvariation angepasst. Wenn die Fahrzeugbewegung jedoch keine konstante Geschwindigkeit aufweist (z. B. während der Beschleunigung/Verzögerung/Drehung), dann ist die Annahme der konstanten Geschwindigkeit, auf die sich die Bereichsdopplerverarbeitung 330 stützt, nicht korrekt, die Phasenvariation ist nicht linear und die RD-Verarbeitung 330 hat eine Fehlanpassung.
In 4 ist zu erkennen, dass die RD-Verarbeitung 330 bei konstanter Relativgeschwindigkeit des Fahrzeugs und der in den Radarrohdaten erfassten Objekte eine relativ scharfe RD-Karte 402 erzeugt, während bei relativen Beschleunigungsereignissen (einschließlich positiver Relativbeschleunigung, Abbremsen und Abbiegen) eine relativ unscharfe oder unscharfe RD-Karte 404 erzeugt wird. Wie weiter beschrieben wird, sieht die vorliegende Offenlegung die Erkennung einer Bewegungsanomalie aus den RD-Karten 304 unter Verwendung eines DNN vor, das darauf trainiert ist, verschiedene Grade der Unschärfe in den RD-Karten 304 zu klassifizieren, um Beschleunigungsereignisse schnell zu erkennen. Die Tracking-Historie wird zurückgesetzt und/oder ein Tracking-Modell wird aktualisiert, wenn die Bewegungsanomalie erkannt wird.
Wie in 3 dargestellt, werden die RD-Karten 304 an das Beschleunigungserkennungsmodul 241, das weiter unten beschrieben wird, und an den Strahlformungsprozess 332 ausgegeben. Die Strahlformung 332 konsolidiert die RD-Kennfelder 304 von mehreren Kanälen und fügt den Daten eine Winkeldimension hinzu. Das heißt, die Strahlformung 332 führt dazu, dass acht (z. B.) Kanäle von RD-Karten 304 für das aktuelle Bild in eine einzige drei- oder vierdimensionale Matrix transformiert werden, die Entfernungs- und Dopplerinformationen sowie Azimutal- und/oder Höhenwinkelinformationen enthält, so dass eine Winkelrichtung eines Objekts, der Abstand zum Objekt und die Geschwindigkeit des Objekts definiert werden. Der Strahlformung-Prozess 332 gibt eine RDB-Karte 306 an die Reflexionspunkt-Erkennungsverarbeitung 334 aus. Die Reflexionspunkt-Erkennungsverarbeitung 334 identifiziert Objekte in der RDB-Karte 306 auf der Grundlage von Intensitätswerten, die größer als ein Schwellenwert sind, um Bereiche zu unterscheiden, in denen ein Objekt oder Ziel vorhanden oder nicht vorhanden ist. Die resultierenden erkannten Objektdaten 308 werden an das Tracker-Modul 243 zur Identifizierung und Verfolgung jedes Objekts weitergeleitet.
In Ausführungsformen verfolgt das Tracker-Modul 243 ein Objekt und reduziert den Fehler bei der Positionsschätzung, indem es im Wesentlichen den Mittelwert der momentanen Positionsschätzung bildet und eine Vorhersage der Position basierend auf der Historie der Objektpositionen (verkörpert durch einen historischen Objektzustand 314) und einem prädiktiven Bewegungsmodell 336 einbezieht. Die vorliegende Offenbarung erkennt, dass das prädiktive Bewegungsmodell 336 für normales Fahren (z.B. während konstanter Relativgeschwindigkeit zwischen Objekten und dem Fahrzeug 100) und anomales Fahren (z.B. während relativer Quer- und/oder Längsbeschleunigung zwischen einem oder mehreren Objekten und dem Fahrzeug 100) wünschenswerterweise unterschiedlich ist, um die Latenz zu reduzieren, die in der Ausgabe der Objektposition durch das Tracker-Modul 243 während Beschleunigungsereignissen enthalten ist. Normales Fahren ist das häufigste Szenario, weshalb herkömmliche Objektverfolgungssysteme unter der Annahme einer normalen Fahrbewegung ausgelegt sind. Wenn jedoch das Relativbeschleunigungsereignis früh genug erkannt werden kann, kann das Tracker-Modul 243 so angepasst werden, dass es sich weniger stark auf den historischen Objektzustand 314 und das prädiktive Bewegungsmodell 336 verlässt als bei konstanten Relativgeschwindigkeitsbedingungen, wodurch der Tracker in Bezug auf die Bodenwahrheit genauer wird. Die vorliegende Offenbarung ermöglicht eine nahezu sofortige Erkennung (z. B. auf einer Bild-für-Bild-Basis) eines solchen Beschleunigungsereignisses durch die Analyse der RD-Karten 304 auf Unschärfe unter Verwendung eines neuronalen Netzwerks, was ein Hinweis auf Beschleunigung aller relevanten Arten ist, wie oben in Bezug auf 4 beschrieben wurde. Es sollte verstanden werden, dass das Tracker-Modul 243 auf der Grundlage von erfassten Objektdaten 308 aus dem Radarsystem 202 arbeiten kann, aber zusätzlich oder alternativ auf der Grundlage anderer erfasster Objektdaten aus anderen Erfassungsmodalitäten arbeiten kann, wie in Bezug auf die zusätzlichen Sensoren 104 beschrieben. Zum Beispiel kann das Tracker-Modul 243 Objekte verfolgen, die vom Lidarsystem 212 und/oder von der/den Kamera(s) 210 erkannt wurden. Die weiter unten beschriebenen Verfolgungsprinzipien sind unabhängig von der Erfassungsmodalität anwendbar, und die Erkennung von Beschleunigungsereignissen kann auf der Grundlage von RD-Karten 304 durchgeführt werden, auch wenn die Objektverfolgung auf der Grundlage anderer erfasster Objektdaten 310 durchgeführt wird.
Das Beschleunigungserkennungsmodul 241 empfängt die RD-Karten 304 vom Radarsystem 202 und führt darauf basierend eine Beschleunigungserkennung durch. In einer Ausführungsform verarbeitet das Beschleunigungserkennungsmodul 241 die RD-Karten 304 durch einen DNN 340, um Beschleunigungsdaten 318 zu bestimmen, die ein Niveau der relativen Beschleunigung zwischen dem Fahrzeug 100 und einem beliebigen Objekt in den RD-Karten 304 anzeigen. In einer Ausführungsform werden die RD-Karten 304 von allen acht (z. B.) Kanälen durch den DNN parallel auf einer Basis pro Bild verarbeitet. Bei den Beschleunigungsdaten 318 kann es sich um eine binäre Ausgabe handeln, die Beschleunigungs- und Konstantgeschwindigkeitsbedingungen repräsentiert, um eine Ausgabe mit mehreren (z. B. mehr als drei) Stufen, die verschiedene Beschleunigungsstufen von konstanter Geschwindigkeit bis zu einer höchsten bezeichneten Beschleunigungsstufe repräsentiert, und es kann ein kontinuierliches Beschleunigungsmaß ausgegeben werden, das einen Beschleunigungswert repräsentiert. Ebenso kann das Tracker-Modul 243 in Abhängigkeit von der Art der Ausgabe des Beschleunigungserkennungsmoduls 241 binär adaptiv, adaptiv für mehrere verschiedene Stufen oder kontinuierlich adaptiv sein. Das Beschleunigungserkennungsmodul 241 bestimmt die Beschleunigungsdaten 318 basierend auf einem Maß für die Unschärfe der RD-Karten 304. In Ausführungsformen wurde der DNN 340 darauf trainiert, die Unschärfe der RD-Kennfelder 304 unter Verwendung von gelabelten Trainings-RD-Kennfeldern zu klassifizieren. Die Trainings-RD-Karten können mit einer zufälligen Phasen-Zitterfunktion auf Radar-Rohdaten simuliert werden oder die Trainings-RD-Karten können von Radarsystemen 202 während des Betriebs eines Fahrzeugs genommen werden. In einer Ausführungsform enthält das DNN 340 ein Convolutional Neural Network (CNN) 342 mit Dezimierung, voll verbundene Schichten 344 und eine logistische Regressions- oder Klassifizierungsschicht 346. Das CNN und die vollverknüpften Schichten werden im Rahmen eines überwachten Trainingsprozesses auf der Grundlage eines großen Satzes von gelabelten Beispielen von RD-Karten 304 trainiert.
In Ausführungsformen reagiert das Tracker-Aktualisierungsmodul 245 auf die Beschleunigungsdaten 318, um Tracker-Anpassungsdaten 320 auszugeben, die Anpassungen beschreiben, die am Tracker-Modul 243, insbesondere am Tracking-Algorithmus, vorzunehmen sind. Die Tracker-Anpassungsdaten 320 können einen Befehl enthalten, um den historischen Objektzustand 314 durch den aktuellen Rahmen des Objektzustands zu ersetzen, der durch die erkannten Objektdaten 308 repräsentiert wird, um eine Kovarianzmatrix des Tracking-Algorithmus anzupassen und/oder um Parameter des prädiktiven Bewegungsmodells anzupassen. Auf diese Weise werden die geschätzten Objektdaten 312 stärker durch den aktuellen Rahmen der erkannten Objektdaten 308 als prädiktive oder historische Begriffe beeinflusst, wenn eine Beschleunigung erkannt wurde, als in dem Fall, in dem keine Beschleunigung erkannt wurde. In einigen Ausführungsformen liefern die Beschleunigungsdaten 318 mehrere Stufen der Beschleunigung oder ein kontinuierliches Maß der Beschleunigung, und der Verfolgungsalgorithmus wird auf der Grundlage des in den Beschleunigungsdaten 318 enthaltenen quantitativen Maßes proportional angepasst.
Ein Beispiel für einen vom Tracker-Modul 243 implementierten Verfolgungsalgorithmus ist ein Kalman-Filter. Der Kalman-Filter zielt darauf ab, den aktuellen Zustandsparameter-Vektor für jedes Objekt, d, zum Zeitpunkt n zu lösen, der definiert ist durch: $d_{n} = {[x_{n}, y_{n}, v_{x}, v_{y}]}^{T}$
x_n und y_n stellen Positionskoordinaten für ein verfolgtes Objekt dar und v_x und v_y stellen die Geschwindigkeit entlang der x- und y-Achse dar. Das Verfolgungsmodul 243 enthält ein dynamisches prädiktives Bewegungsmodell 336 und ein Messmodell 338. Das dynamische prädiktive Bewegungsmodell 336 ist definiert durch: $d_{n} = Φ d_{n - 1} + w_{n}$
In Gleichung 2 steht Φ für ein Zustandsübergangsmodell, das auf den vorherigen Zustand dn-1 aus dem Kalman-Filter angewendet wird. Das Zustandsübergangsmodell Φ kann auf der Grundlage eines physikalischen Modells des Objekts bestimmt werden. w_n ist ein Begriff für die bewusste Einführung von Rauschen. Das Rauschen w_n repräsentiert einen Grad der Gewissheit des historischen Objektzustandes dn-1. Das Messmodell ist definiert durch: $y_{n} = H d_{n} + v_{n}$
In Gleichung 3 stellt y_n die Zustandsmessung des wahren Zustands d_n dar. Die Zustandsmessung y_n wird aus den erfassten Objektdaten 308 entnommen, die gemessene Positions- und Geschwindigkeitsvektoren enthalten können. v_n ist ein angenommenes Mess- oder Beobachtungsrauschen. Die Ausgabe des Kalman-Filters basiert auf dem prädiktiven Bewegungsmodell 336 und dem Messmodell 338 und berücksichtigt somit den aktuellen Zustand des erkannten Objekts, den historischen Zustand des erkannten Objekts und ein Objektbewegungsmodell. Die Kalman-Filter-Ausgabe wird in einer Ausführungsform beschrieben durch: ${\hat{d}}_{n} = Φ {\hat{d}}_{n - 1} + K_{n} (y_{n} - H_{n} Φ {\hat{d}}_{n - 1})$
In Gleichung 4 ist K die Kalman-Verstärkung, die von der Kovarianz Q des prädiktiven Bewegungsmodellrauschens w_n abhängig ist. Wenn die Kovarianz Q hoch ist, ist die Unsicherheit im prädiktiven Bewegungsmodell 336 hoch, was bedeutet, dass dem prädiktiven Bewegungsmodell 336 eine geringere Gewichtung oder Vorspannung bei der Bestimmung von d̂_n.
In Ausführungsformen bestimmt das Tracker-Aktualisierungsmodul 245 Tracker-Anpassungsdaten 320, die basierend auf den Beschleunigungsdaten 318 die Kovarianz Q anpassen (wodurch die Kalman-Verstärkung K angepasst wird), den historischen Objektzustand 314 (d̂_n-1) auf den aktuellen Frame der erfassten Objektdaten 308 und/oder die Parameter des Zustandsübergangsmodells anpasst Φ. Dementsprechend neigt das Tracker-Modul dazu, den aktuell gemessenen Zustand des Objekts genauer wiederzugeben und reduziert das Gewicht des prädiktiven Bewegungsmodells 336 und des historischen Objektzustands 314, wenn die relative Beschleunigung des Objekts zunimmt. Die Beschleunigungsdaten 318 definieren, wann das Beschleunigungserkennungsmodul 241 keine relative Beschleunigung erkennt (d. h. eine relative konstante Geschwindigkeit erkennt), was das Tracker-Aktualisierungsmodul 245 dazu veranlasst, auf den Tracking-Algorithmus zurückzugreifen, der das prädiktive Bewegungsmodell 336, den historischen Objektzustand 314 und das Messmodell 338 vollständig berücksichtigt. Die Anpassung der Kovarianzmatrix Q oder die Änderung des Zustandsübergangsmodells Φ kann durch Multiplikation der eingestellten Werte der relativen konstanten Geschwindigkeit mit einem skalaren Multiplikator erfolgen, der größer als 1 ist, z.B. mit einem Faktor von 10 bis 100.
In Ausführungsformen reagiert das elektronische Steuersystem 118 oder eine andere automatische Fahrzeugsteuerungsanwendung auf die geschätzten Objektdaten 312 vom Tracker-Modul 243, um Aktuatorsteuerungsbefehle 316 wie Brems-, Lenk- und Antriebsaktuatorbefehle zu bestimmen. Die geschätzten Objektdaten 312 werden auf der Grundlage eines anderen Verfolgungsalgorithmus bestimmt, je nachdem, ob das Beschleunigungserkennungsmodul 241 ein Beschleunigungsereignis und/oder ein quantitatives Maß der Beschleunigung während des Beschleunigungsereignisses bestimmt.
5 ist ein Flussdiagramm eines Verfahrens 500 zur Verfolgung eines Objekts unter Verwendung eines beschleunigungsadaptiven Verfolgungsalgorithmus und zur automatischen Steuerung mindestens einer Fahrzeugfunktion basierend auf dem verfolgten Objekt. Das Verfahren 500 kann in Verbindung mit dem Fahrzeug 100 von 1 und dem Steuerungssystem 102 von 2 gemäß einer beispielhaften Ausführungsform implementiert werden. Das Verfahren 500 kann kontinuierlich während des Fahrzeugbetriebs oder intermittierend als Reaktion auf die Erkennung bestimmter Fahrzeugzustände, wie z. B. das Überschreiten einer Schwellenbeschleunigung, implementiert werden.
Wie in 5 dargestellt, beinhaltet das Verfahren den Schritt 510 des Empfangs der RD-Karte 304 vom Radarsystem 202. Die RD-Karte 304 kann unterschiedliche Grade von erkennbarer Unschärfe aufweisen. In Schritt 520 wird die Beschleunigung des Objekts basierend auf der RD-Karte 304 erkannt, insbesondere basierend auf einem Maß für die Unschärfe. In Schritt 520 wird eine binäre Ausgabe der Beschleunigung erkannt, eine mehrstufige Erkennung der Beschleunigung oder eine kontinuierliche Erkennung durchgeführt. Die Erkennung der Beschleunigung basierend auf der RD-Map 304 kann durch den DNN 340 durchgeführt werden.
In Schritt 530 wird ein aktuelles Bild der erkannten Objektdaten 308 vom Radarsystem oder von den zusätzlichen Sensoren 104, wie den Kameras 210 oder dem Lidarsystem 212 empfangen. Der aktuelle Rahmen der erkannten Objektdaten 308 stellt ein Maß für den aktuellen Zustand des einen oder der mehreren Objekte dar, die vom Sensor gesehen werden. Das in den erkannten Objektdaten 308 beschriebene Objekt wird in Schritt 540 verfolgt. Insbesondere berücksichtigt der Verfolgungsalgorithmus das prädiktive Bewegungsmodell 336, das einen zukünftigen Zustand des Objekts basierend auf einem physikalischen Modell vorhersagt. Der Verfolgungsalgorithmus berücksichtigt ferner einen historischen Zustand des Objekts und den aktuellen Zustand des Objekts. Der Zustand des Objekts umfasst Positions- und Geschwindigkeitsdaten. Der Verfolgungsalgorithmus ist in der Lage, mehr oder weniger historische Zustandsdaten und mehr oder weniger Verzerrungen des prädiktiven Bewegungsmodells 336 zu berücksichtigen. Gemäß Schritt 550 wird der Tracking-Algorithmus angepasst, wenn in Schritt 520 eine Beschleunigung erkannt wird, um den Einfluss des prädiktiven Bewegungsmodells 336 zu verringern und/oder die Zeitschritte zu reduzieren oder das Vorhandensein des historischen Objektzustands 314 auszuschließen, so dass der Einfluss des Messmodells 338 und des aktuellen Objektzustands erhöht wird. Als solches wird der Verfolgungsalgorithmus in Schritt 550 in Abhängigkeit vom Ergebnis des Objektbeschleunigungserkennungsschritts 520 angepasst.
In Schritt 560 wird das Objekt mit dem angepassten Verfolgungsalgorithmus verfolgt. Das Objekt kann mit dem nicht angepassten Verfolgungsalgorithmus verfolgt werden, wenn die Beschleunigungserkennung aufhört. In Schritt 570 werden ein oder mehrere Fahrzeugaktuatoren basierend auf dem verfolgten Objekt, das in den geschätzten Objektdaten 312 beschrieben ist, gesteuert, z. B. um eine Kollision mit dem verfolgten Objekt zu vermeiden. In einer Ausführungsform werden auf der Grundlage der geschätzten Objektdaten 312 Lenk-, Brems- und/oder Antriebsbefehle gesteuert.
Es wird deutlich, dass die offenbarten Methoden, Systeme und Fahrzeuge von den in den Figuren dargestellten und hier beschriebenen abweichen können. Beispielsweise können das Fahrzeug 100 und das Steuersystem 102 und/oder verschiedene Komponenten davon von den in den 1 und 2 dargestellten und in Verbindung damit beschriebenen abweichen. Darüber hinaus können bestimmte Schritte des Verfahrens 500 von den in 5 dargestellten und/oder im Zusammenhang damit beschriebenen Schritten abweichen. Es wird ebenfalls deutlich, dass bestimmte Schritte des oben beschriebenen Verfahrens gleichzeitig oder in einer anderen Reihenfolge als in 5 dargestellt ablaufen können.
Obwohl in der vorangegangenen detaillierten Beschreibung mindestens eine beispielhafte Ausführungsform vorgestellt wurde, sollte man sich darüber im Klaren sein, dass es eine große Anzahl von Variationen gibt. Es sollte auch gewürdigt werden, dass die beispielhafte Ausführungsform oder die beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu gedacht sind, den Umfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in irgendeiner Weise zu begrenzen. Vielmehr soll die vorstehende detaillierte Beschreibung dem Fachmann eine praktische Anleitung zur Umsetzung der beispielhaften Ausführungsform oder der beispielhaften Ausführungsformen geben. Es sollte verstanden werden, dass verschiedene Änderungen in der Funktion und Anordnung der Elemente vorgenommen werden können, ohne vom Umfang der Offenbarung, wie in den beigefügten Ansprüchen und den gesetzlichen Äquivalenten davon dargelegt, abzuweichen.

Claims

Ein Verfahren zur Objektverfolgung und Fahrzeugsteuerung, wobei das Verfahren umfasst: Empfangen, über mindestens einen Prozessor, mindestens einer Radar-Doppler, RD, Karte von einem Radarsensorsystem eines Fahrzeugs; Erfassen, über den mindestens einen Prozessor, der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug basierend auf der RD-Karte und Bereitstellen von Beschleunigungsdaten basierend darauf; Empfangen, über den mindestens einen Prozessor, eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs; wenn die relative Beschleunigung nicht erfasst wurde, Verfolgen des Objekts über den mindestens einen Prozessor auf der Grundlage des aktuellen Rahmens der erfassten Objektdaten, eines prädiktiven Bewegungsmodells und eines historischen Zustands des Objekts unter Verwendung eines Verfolgungsalgorithmus und Bereitstellen geschätzter Objektdaten auf der Grundlage der Obj ektverfolgung; wenn die relative Beschleunigung erfasst worden ist, Anpassen des Verfolgungsalgorithmus über den mindestens einen Prozessor, um den Einfluss des prädiktiven Bewegungsmodells und/oder des historischen Zustands des Objekts zu verringern, und Verfolgen des Objekts unter Verwendung des angepassten Verfolgungsalgorithmus und Bereitstellen angepasster geschätzter Objektdaten auf der Grundlage der Objektverfolgung; und Steuern, über den mindestens einen Prozessor, mindestens eines Fahrzeugmerkmals basierend auf den angepassten geschätzten Objektdaten oder den geschätzten Objektdaten.
Das Verfahren nach Anspruch 1, wobei das Erfassen der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug unter Verwendung eines neuronalen Netzes durchgeführt wird.
Das Verfahren nach Anspruch 2, wobei das neuronale Netzwerk ein tiefes neuronales Netzwerk ist und ein neuronales Faltungsnetzwerk, voll verbundene Schichten und eine logistische Regressionsoperation umfasst, wobei das tiefe neuronale Netzwerk trainiert wird, um RD-Karten zu klassifizieren, die erfasst wurden, wenn sich das Fahrzeug mit einer konstanten Geschwindigkeit bewegt, und um RD-Karten zu klassifizieren, die erfasst wurden, wenn das Fahrzeug beschleunigt.
Das Verfahren nach Anspruch 1, wobei die Beschleunigungsdaten umfassen: einen Binärwert, der einen beschleunigenden Zustand und einen nicht-beschleunigenden Zustand anzeigt; eine Vielzahl von Ausgangspegeln, die verschiedenen Zuständen der Beschleunigung entsprechen; oder ein stufenlos einstellbarer Ausgang, der den Grad der Beschleunigung darstellt.
Das Verfahren nach Anspruch 1, wobei die Beschleunigungsdaten auf der Grundlage einer Erfassung der Unschärfe der RD-Karte bestimmt werden.
Das Verfahren nach Anspruch 1, wobei das Empfangen eines aktuellen Rahmens von erfassten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erfassten Objektdaten von dem Radarsystem umfasst.
Das Verfahren nach Anspruch 1, wobei das Empfangen eines aktuellen Rahmens von erfassten Objektdaten von einem Erfassungssystem des Fahrzeugs das Empfangen des aktuellen Rahmens von erfassten Objektdaten von einem Lidar-System oder einem Kamera-Vision-System umfasst.
Das Verfahren nach Anspruch 1, wobei der Verfolgungsalgorithmus einen Kalman-Filter umfasst.
Das Verfahren nach Anspruch 1, wobei das Anpassen des Verfolgungsalgorithmus mindestens eines der folgenden Merkmale umfasst: Ersetzen des historischen Zustands des Objekts durch den aktuellen Frame der erkannten Objektdaten; Anpassen einer Kovarianzmatrix; und Einstellen der Parameter des prädiktiven Bewegungsmodells.
Ein Fahrzeug, umfassend: ein Radar-Erfassungssystem; einen oder mehrere Fahrzeugaktuatoren, die mindestens einen von Lenk-, Brems- und Antriebsaktuatoren umfassen; und mindestens einen Prozessor in betriebsfähiger Kommunikation mit dem Radarerfassungssystem und den Fahrzeugaktuatoren, wobei der mindestens eine Prozessor so konfiguriert ist, dass er Programmanweisungen ausführt, wobei die Programmanweisungen so konfiguriert sind, dass sie den mindestens einen Prozessor veranlassen, zum: Empfangen mindestens einer Radar-Doppler, RD, Karte vom Radarsensorsystem des Fahrzeugs; Erfassen der relativen Beschleunigung eines Objekts in Bezug auf das Fahrzeug auf der Grundlage der RD-Karte und Beschleunigungsdaten auf der Grundlage der Erfassung der relativen Beschleunigung bereitzustellen; Empfangen eines aktuellen Rahmens von erkannten Objektdaten von einem Erfassungssystem des Fahrzeugs; Verfolgen, wenn die relative Beschleunigung nicht erfasst wurde, das Objekt auf der Grundlage des aktuellen Rahmens der erfassten Objektdaten, eines prädiktiven Bewegungsmodells und eines historischen Zustands des Objekts unter Verwendung eines Verfolgungsalgorithmus und Bereitstellen geschätzter Objektdaten auf der Grundlage der Objektverfolgung; wenn die relative Beschleunigung erfasst wurde, Anpassen des Verfolgungsalgorithmus, um den Einfluss des prädiktiven Bewegungsmodells und/oder des historischen Zustands des Objekts zu reduzieren, und das Objekt unter Verwendung des angepassten Verfolgungsalgorithmus verfolgen und angepasste geschätzte Objektdaten basierend auf der Objektverfolgung bereitstellen; und Steuern des einen oder der mehreren Fahrzeugaktuatoren, basierend auf den angepassten geschätzten Objektdaten oder den geschätzten Objektdaten.