DE102019115240A1

DE102019115240A1 - Systeme und verfahren für die anwendung von landkarten zur verbesserung von objektverfolgung, fahrstreifenzuordnung und klassifizierung

Info

Publication number: DE102019115240A1
Application number: DE102019115240.2A
Authority: DE
Inventors: Brent N. Bacchus
Original assignee: GM Global Technology Operations LLC
Current assignee: GM Global Technology Operations LLC
Priority date: 2018-11-27
Filing date: 2019-06-05
Publication date: 2020-05-28
Also published as: US20200167934A1; CN111220167B; US10839524B2; CN111220167A

Abstract

Verfahren und Systeme für eine verbesserte Objektverfolgung durch Empfangen von Sensorfusionsdaten in Bezug auf Zielobjekte und Objektbahnen; Bestimmen von Splines, die Trajektorien der einzelnen Zielobjekte darstellen; Filtern der Sensorfusionsdaten zu den einzelnen Zielobjekten auf Basis eines ersten, eines zweiten und eines dritten Filtermodells, wobei jedes Filtermodell einer oder mehreren Hypothesen entspricht, die für die Verarbeitung von Vektoren verwendet werden, die mit Trajektorien eines Verfolgungsobjekts in Beziehung stehen, wobei der Satz von Hypothesen Folgendes umfasst: eine Bahnbeschränkungshypothese, eine Hypothese ohne Bahnbeschränkung und eine stationäre Hypothese; und Erzeugen einer Hypothesenwahrscheinlichkeit zum Bestimmen, ob eine bestimmte Hypothese zu verwenden ist, basierend auf Ergebnissen aus dem ersten, zweiten und dritten Filtermodell und aus Ergebnissen des Klassifizierens eines oder mehrerer Merkmale, die sich auf die Objektverfolgung für das Zielobjekt beziehen, durch mindestens ein Klassifikationsmodell.

Description

HINTERGRUND
Das Gebiet der Technik bezieht sich allgemein auf Wahrnehmungssysteme und -verfahren und bezieht sich insbesondere auf Systeme und Verfahren zur Objektverfolgung für eine Fahrstreifenzuordnung und Klassifizierung, um ein Wahrnehmungsmodell für die Verfolgung von Objekten zu verbessern.
Autonome und teilautonome Fahrzeuge erfordern eine hochgenaue Wahrnehmung von Objekten auf Objektwegen. Die Wahrnehmung von Objektwegen kann perspektivischen Verzerrungen unterliegen. Dies führt zu einer falschen Erkennung der Fahrstreifen von Objekten. Zusätzlich können die Sensordaten aus den Fahrzeugsensoren ein erhebliches Rauschen enthalten, wodurch die Genauigkeit der Durchführung von Fahrstreifenzuordnungen für wahrgenommene Objekte weiter reduziert wird. Solche Unstimmigkeiten sind problematisch, weil autonome Fahrzeuge insbesondere eine korrekte Erkennung von an Straßenrändern geparkten Fahrzeugen sowie von auf den Fahrbahnen stehenden Fahrzeugen benötigen.
Folglich besteht ein Bedarf an der Bereitstellung von Systemen und Verfahren zur Verbesserung eines Wahrnehmungsmodells zur Verfolgung von Fahrzeugen und Objektwegen, wie etwa von nicht-stationären Fahrzeugen auf einer Fahrbahn und geparkten/stationären Fahrzeugen/Objekten auf oder neben der Fahrbahn.
Ferner werden andere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden detaillierten Beschreibung und den beigefügten Ansprüchen in Verbindung mit den begleitenden Zeichnungen und dem vorstehenden technischen Gebiet und Hintergrund offenbar werden.
KURZDARSTELLUNG
Es werden ein System und ein Verfahren offenbart zur Objektverfolgung, Fahrstreifenzuordnung und Klassifikation zur Verbesserung eines Wahrnehmungsmodells für die Verfolgung von Objekten unter Verwendung von Landkartendaten und zur Erzeugung mehrerer Hypothesen, die Mehrdeutigkeiten berücksichtigen, welche durch erfasstes Rauschen des Objektweges verursacht werden, und zur Durchführung einer probabilistischen Klassifikation eines Zielobjekts basierend auf zusätzlichen Zielobjektinformationen.
In einer Ausführungsform wird ein Verfahren zur verbesserten Objektverfolgung bereitgestellt. Das Verfahren schließt Folgendes ein: Empfangen von Sensorfusionsdaten in Bezug auf mehrere Zielobjekte und Objektwege um ein Fahrzeug an einer Verarbeitungseinheit, die in dem Fahrzeug angeordnet ist; Bestimmen eines oder mehrerer Splines, die Trajektorien der einzelnen Zielobjekte zu einem Objektweg darstellen, durch die Verarbeitungseinheit; Filtern der Sensorfusionsdaten um die einzelnen Zielobjekte in Bezug auf einen Objektweg auf Basis eines ersten, eines zweiten und eines dritten Filtermodells durch die Verarbeitungseinheit, wobei jedes Filtermodell einer oder mehreren aus einem Satz von Hypothesen entspricht, die für die Verarbeitung von Vektoren verwendet werden, die mit Trajektorien eines Verfolgungsobjekts in Beziehung stehen, wobei der Satz von Hypothesen Folgendes einschließt: eine Bahnrestriktionshypothese, eine Hypothese ohne Bahnrestriktion und eine stationäre Hypothese; und Erzeugen einer Hypothesenwahrscheinlichkeit für die Bestimmung, ob eine bestimmte Hypothese verwendet werden soll, durch die Verarbeitungseinheit, wobei die Hypothesenwahrscheinlichkeit auf Basis von Ergebnissen aus dem ersten, dem zweiten und dem dritten Filtermodell und aus Ergebnissen der Klassifizierung eines oder mehrerer Merkmale, die mit dem Objektweg für das Zielobjekt in Beziehung stehen, durch mindestens ein Klassifizierungsmodell bestimmt wird.
Das Verfahren schließt ferner Folgendes ein: Verfolgen des Zielobjekts durch die Verarbeitungseinheit unter Verwendung eines Prozessmodells, das aus der Bahnrestriktionshypothese abgeleitet worden ist, auf einem Frenet-Rahmen und Beschränken des Zielobjekts auf eine Position in dem Prozessmodell, die durch einen Parameter u_t eines parametrischen Spline dargestellt wird, der auf eine Mitte eines Fahrstreifens modelliert worden ist, und einer lateralen Position, die durch einen vorzeichenbehafteten Parameter l_t eines Abstands von der Mitte des Fahrstreifens dargestellt wird. Jede Hypothese weist ein entsprechendes naives Bayes-Modell mit einer Wahrscheinlichkeit L_i(x) oder ein anwendbares Verbindungsmodell für L_i(x) auf.
Das Verfahren schließt ferner Folgendes ein: Aktualisieren der Hypothesenwahrscheinlichkeit durch die Recheneinheit nach Art von Bayes unter Verwendung eines naiven Bayes-Modells $P_{t} (H_{i} | x) = \frac{P_{t} (H_{i} | x) L_{i} (x)}{\sum_{i} P_{t} (H_{i} | x) L_{i} (x)},$
wobei eine laterale Position für jedes Objekt i p_i ist, x Wegdaten sind, die zumindest eine Wegposition enthalten, und P_t (H_i | x) eine Wahrscheinlichkeit der Hypothese i ist. L_i(x) ist das Produkt verschiedener Wahrscheinlichkeiten mit A-priori-Parametern, einschließlich von: L_i(x) = N(d|µ = 100, σ = 100) N(ν|µ = 0, σ = 100) wobei N(xlµ, σ)eine Gauß‘sche PDF mit einem Mittelwert µ und einer Standardabweichung σ ist und d der Abstand zur nächsten Kreuzung ist und ν die Geschwindigkeit ist. Das Prozessmodell für das Verfolgungsobjekt Folgendes umfasst: $u_{t + 1} = u_{t} + Δ T v_{t} \frac{\partial u_{t}}{\partial s}$
für die Aktualisierung von Spline-Parametern, ν_t+1 = ν_t + ΔTa_t für die Aktualisierung einer Longitudinalgeschwindigkeit, a_t+1 = a_t für die Aktualisierung der Longitudinalgeschwindigkeit, l_t+1 = l_t für die Aktualisierung einer Lateralpositionsversatzaktualisierung und $ϕ_{t + 1} = {tan}^{- 1} \frac{f_{y}' (u_{t})}{f_{x}' (u_{t})}$
für die Aktualisierung eines Fahrstreifenkurses, wobei u_n ein Soll-Spline-Parameter zu einer abgrenzten Zeit ist, n, a_n eine Beschleunigung ist und Φ_n ein Richtungswinkel ist.
Die Bahnrestriktionshypothese schließt ferner Folgendes ein: ein Beobachtungsmodell für das Verfolgungsobjekt, das einschließt: $x = f_{x} (u_{t}) + \frac{W}{2} tanh l_{t} sin ϕ_{t}$
für eine Ost-West-Position mit einer Lateralversatzkorrektur, $y = f_{y} (u_{t}) + \frac{W}{2} tanh l_{t} cos ϕ_{t}$
für eine Nord-Ost-Position mit einer Lateralversatzkorrektur, ν = ν_t für die Longitudinalgeschwindigkeit, a = a_t für die Beschleunigung und Φ = Φ_t für einen Kurs, wobei Φ nur für die Initialisierung von Wegen mit Fahrstreifenrestriktion verwendet wird und die tanh(x)-Funktion verwendet wird, um einen Lateralpositionsparameter so zu verengen, dass ein Bereich der lateralen Position von $[- \frac{W}{2}, \frac{W}{2}]$
geht, wobei W eine Fahrbahnbreite ist. Die Hypothese ohne Bahnrestriktion schließt ferner Folgendes ein: Erzeugen eines Prozessmodells für zumindest eine konstante Geschwindigkeit des Verfolgungsobjekts, das Folgendes einschließt: x_t+1 = x_t + ΔTv_t cos Φ_t, y_t+1 = y_t + ΔTv_t sin Φ_t, ν_t+1 = v_t, a_t+1 = a_t und Φ_t+1 = Φ_t. Die Hypothese ohne Bahnrestriktion schließt ferner Folgendes ein: Erzeugen eines Beobachtungsmodells für zumindest eine konstante Geschwindigkeit für das Verfolgungsobjekt, das Folgendes einschließt: x = x_t, y = y_t, v = v_t, a = a_t und Φ = Φ_t. Die stationäre Hypothese schließt ferner Folgendes ein: Erzeugen eines Prozessmodells für zumindest eine Null-Geschwindigkeit des Verfolgungsobjekts, das Folgendes einschließt: x_t+1 = x_t, y_t+1 = y_t, ν_t+1 = 0, a_t+1 = 0 und Φ_t+1 = Φ_t. Das Verfahren schließt ferner Folgendes ein: Erzeugen eines Beobachtungsmodells für zumindest eine konstante Geschwindigkeit für das Verfolgungsobjekt, das Folgendes umfasst: x = x_t, y = y_t, v = v_t, a = a_t und Φ = Φ_t. Der verwendete Spline ist ein quintischer G²-Spline mit Knoten an x-y-Wendepunkten entlang eines Fahrstreifens, der einem Fahrstreifenkurs und einem Krümmungswert entspricht.
In einer anderen Ausführungsform wird ein System bereitgestellt, das Folgendes einschließt: eine Verarbeitungseinheit, die in einem Fahrzeug angeordnet ist, das einen oder mehrere Prozessoren einschließt, die durch Programmieren von Anweisungen, die auf einem nichttransitorischen computerlesbaren Medium kodiert sind, konfiguriert sind. Die Verarbeitungseinheit ist für konfiguriert zum: Empfangen von Sensorfusionsdaten in Bezug auf mehrere Zielobjekte und Objektwege in der Umgebung eines Fahrzeugs an einer Verarbeitungseinheit, die in dem Fahrzeug angeordnet ist; Bestimmen eines oder mehrerer Splines, die Trajektorien der einzelnen Zielobjekte zu einem Objektweg darstellen; Filtern der Sensorfusionsdaten in Bezug auf die einzelnen Zielobjekte für einen Objektweg auf Basis eines ersten, eines zweiten und eines dritten Filtermodells, wobei jedes Filtermodell einer oder mehreren aus einem Satz von Hypothesen entspricht, die für die Verarbeitung von Vektoren verwendet werden, die mit Trajektorien eines Verfolgungsobjekts in Beziehung stehen, wobei der Satz von Hypothesen Folgendes einschließt: eine Bahnrestriktionshypothese, eine Hypothese ohne Bahnrestriktion und eine stationäre Hypothese; und Erzeugen einer Hypothesenwahrscheinlichkeit für die Bestimmung, ob eine bestimmte Hypothese verwendet werden soll, wobei die Hypothesenwahrscheinlichkeit auf Basis von Ergebnissen aus dem ersten, dem zweiten und dem dritten Filtermodell und aus Ergebnissen der Klassifizierung eines oder mehrerer Merkmale, die mit dem Objektweg für das Zielobjekt in Beziehung stehen, durch mindestens ein Klassifizierungsmodell bestimmt wird.
Das System schließt ferner Folgendes ein: die Verarbeitungseinheit, die konfiguriert ist zum: Verfolgen des Zielobjekts unter Verwendung eines Prozessmodells, das aus der Bahnrestriktionshypothese abgeleitet worden ist, auf einem Frenet-Rahmen und Beschränken des Zielobjekts auf eine Position in dem Prozessmodell, die durch einen Parameter u_t eines parametrischen Spline dargestellt wird, der auf eine Mitte eines Fahrstreifens modelliert worden ist, und einer lateralen Position, die durch einen vorzeichenbehafteten Parameter l_t eines Abstands von der Mitte des Fahrstreifens dargestellt wird. Jede Hypothese weist ein entsprechendes naives Bayes-Modell mit einer Wahrscheinlichkeit L_i(x) oder ein anwendbares Verbindungsmodell für L_i(x) auf.
Das System schließt ferner Folgendes ein: die Verarbeitungseinheit, die konfiguriert ist zum: die Verarbeitungseinheit, die konfiguriert ist zum: Aktualisieren der Hypothesenwahrscheinlichkeit nach Art von Bayes unter Verwendung eines naiven Bayes-Modells $P_{t} (H_{i} | x) = \frac{P_{t} (H_{i} | x) L_{i} (x)}{\sum_{i} P_{t} (H_{i} | x) L_{i} (x)},$
wobei eine laterale Position für jedes Objekt i p_i ist, x Wegdaten sind, die zumindest eine Wegposition einschließen, und P_t(H_i|x) eine Wahrscheinlichkeit der Hypothese i ist. L_i(x) ist ein Produkt unterschiedlicher Wahrscheinlichkeiten mit Priori-Parametern, einschließlich von: L_i(x) = N(d|µ = 100, σ = 100) N(ν|µ = 0, σ = 100), wobei N(x|µ, σ) eine Gauß‘sche PDF mit einem Mittelwert µ und einer Standardabweichung σ ist und d der Abstand zur nächsten Kreuzung ist und ν die Geschwindigkeit ist.
Das Prozessmodell für das Verfolgungsobjekt schließt Folgendes ein: $u_{t + 1} = u_{t} + Δ T v_{t} \frac{\partial u_{t}}{\partial s}$
zur Aktualisierung von Spline-Parametern, ν_t+1 = v_t + ΔTa_t zur Aktualisierung einer Longitudinalgeschwindigkeit, a_t+1 = a_t zur Aktualisierung der Longitudinalgeschwindigkeit, l_t+1 = l_t zur Aktualisierung einer Lateralpositionsversatzkorrektur und $ϕ_{t + 1} = {tan}^{- 1} \frac{f_{y}' (u_{t})}{f_{x}' (u_{t})}$
zur Aktualisierung eines Fahrstreifenkurses. Das System, die Bahnrestriktionshypothese schließt ferner Folgendes ein: ein Beobachtungsmodell für das Verfolgungsobjekt, das Folgendes einschließt: $x = f_{x} (u_{t}) + \frac{W}{2} tanh l_{t} sin ϕ_{t}$
für eine Ost-West-Position mit Lateralversatzkorrektur, $y = f_{y} (u_{t}) + \frac{W}{2} tanh l_{t} cos ϕ_{t}$
für eine Nord-Ost-Position mit der Lateralversatzkorrektur, ν = ν_t für die Longitudinalgeschwindigkeit, a = a_t für eine Beschleunigung und Φ = Φ_t für einen Kurs.
In noch einer anderen Ausführungsform wird ein Fahrzeug angegeben, das eine Wahrnehmungseinheit einschließt, die einen oder mehrere Prozessoren und nichttransiente computerlesbare Medien einschließt, die mit Programmanweisungen kodiert sind. Die Wahrnehmungseinheit ist konfiguriert zum Empfangen von Sensorfusionsdaten in Bezug auf mehrere Zielobjekte und Objektwege um das Fahrzeug; Bestimmen eines oder mehrerer Splines, die Trajektorien der einzelnen Zielobjekte zu einem Objektweg darstellen; Filtern der Sensorfusionsdaten in Bezug auf die einzelnen Zielobjekte für einen Objektweg auf Basis eines ersten, eines zweiten und eines dritten Filtermodells, wobei jedes Filtermodell einer oder mehreren aus einem Satz von Hypothesen entspricht, die für die Verarbeitung von Vektoren verwendet werden, die mit Trajektorien eines Verfolgungsobjekts in Beziehung stehen, wobei der Satz von Hypothesen Folgendes einschließt: eine Bahnrestriktionshypothese, eine Hypothese ohne Bahnrestriktion und eine stationäre Hypothese; und Erzeugen einer Hypothesenwahrscheinlichkeit für die Bestimmung, ob eine bestimmte Hypothese verwendet werden soll, wobei die Hypothesenwahrscheinlichkeit auf Basis von Ergebnissen aus dem ersten, dem zweiten und dem dritten Filtermodell und aus Ergebnissen der Klassifizierung eines oder mehrerer Merkmale, die mit dem Objektweg für das Zielobjekt in Beziehung stehen, durch mindestens ein Klassifizierungsmodell bestimmt wird.
Figurenliste
Die Ausführungsbeispiele werden im Folgenden in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bezeichnen, und wobei:

1 ein Blockdiagramm veranschaulicht, das ein beispielhaftes Fahrzeug abbildet, das einen Prozessor zur Objektverfolgung, Fahrstreifenzuordnung und Klassifikationsverfolgung und eine Fahrstreifenzuordnung und Klassifikation für ein Wahrnehmungsmodell gemäß einem Ausführungsbeispiel einschließen kann;
2 ein Diagramm eines Wahrnehmungsmodells für eine Verfolgung mit Fahrstreifenrestriktion durch überwachtes Training gemäß einem Ausführungsbeispiel veranschaulicht;
3 ein Diagramm für Objektwege eines Wahrnehmungssystems unter Verwendung von Landkartendaten gemäß einem Ausführungsbeispiel veranschaulicht;
4 ein Diagramm von Objektwegen mit Zielfahrstreifenmehrdeutigkeiten, die unter Verwendung einer Hypothese für Objektwege gemäß einem Ausführungsbeispiel gelöst werden, veranschaulicht;
5 ein Diagramm von mehreren Objektmodellen für Trajektorie und Objektwege des Wahrnehmungssystems gemäß einem Ausführungsbeispiel veranschaulicht;
6A und 6B Diagramme von verrauschten mehrdeutigen Wegzuordnungen und geschätzten Trajektorien unter Verwendung verschiedener Filter durch das Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulichen;
7 ein Diagramm einer Fahrstreifendarstellung für Objektwege unter Verwendung der Landkartenfusionsdaten gemäß einem Ausführungsbeispiel ist;
8 ein Funktionsdiagramm einer Verfolgung mit Fahrstreifenrestriktion (LCT) zur Verwendung in dem Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht;
9 ein Funktionsdiagramm einer Verfolgung mit Fahrstreifenrestriktion (LCT) mit einem globalen Bezugsrahmen zur Verwendung in dem Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht;
10 ein Funktionsblockdiagramm für eine Landkartenfusion im Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht;
11 ein Diagramm einer Zielobjektbahnerzeugung gemäß einem Ausführungsbeispiel veranschaulicht;
12 ein Sensorfusions- und Vorverarbeitungsverfahren für das Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht;
13 ein Diagramm eines Hypothesenaktualisierungsverfahrens für das Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht;
14 ein Diagramm eines Hypothesenausgabeverfahrens für das Wahrnehmungssystem gemäß einem Ausführungsbeispiel veranschaulicht; und
15 ein Flussdiagramm des Wahrnehmungsmodells für eine Verfolgung mit Fahrstreifenrestriktion durch überwachtes Training gemäß einem Ausführungsbeispiel veranschaulicht.

DETAILLIERTE BESCHREIBUNG
Die folgende detaillierte Beschreibung ist lediglich beispielhafter Natur und soll die Anwendung und Verwendungen nicht einschränken. Darüber hinaus ist es nicht beabsichtigt, sich an eine ausdrückliche oder implizierte Theorie zu binden, die weiter oben unter Technisches Gebiet, Hintergrund, Kurzfassung oder in der folgenden detaillierten Beschreibung vorgelegt wird.
Wie hierin verwendet bezeichnet der Begriff „Modul“ beliebige Hardware, Software, Firmware, elektronische Steuerkomponenten, Verarbeitungslogik und/oder eine Prozessorvorrichtung, und zwar einzeln oder in beliebiger Kombination, einschließlich ohne Einschränkung: einer anwendungsspezifischen integrierten Schaltung (ASIC), einem Field Programmable Gate Array (FPGA), einer elektronischen Schaltung, einem Prozessor (geteilt, fest zugeordnet oder Gruppen-) und einem Speicher, der ein oder mehrere Software- oder Firmware-Programme ausführt, einer kombinatorische Logikschaltung und/oder anderer geeigneter Komponenten, welche die beschriebene Funktion bereitstellen.
Ausführungsformen der vorliegenden Offenbarung können hierin in Form von funktionalen und/oder logischen Blockkomponenten und verschiedenen Verarbeitungsschritten beschrieben werden. Es sei klargestellt, dass solche Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten verwirklicht werden können, sodass sie die angegebenen Funktionen durchführen können. Zum Beispiel können in einer Ausführungsform der vorliegenden Offenbarung verschiedene Komponenten einer integrierten Schaltung, z. B. Speicherelemente, Elemente einer Digitalsignalverarbeitung, Logikelemente, Nachschlagetabellen oder dergleichen verwendet werden, die eine Reihe verschiedener Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuereinheiten ausführen können. Außerdem wird der Fachmann erkennen, dass Ausführungsformen der vorliegenden Offenbarung in Verbindung mit einer beliebigen Anzahl von Systemen in die Praxis umgesetzt werden können, und dass die hierin beschriebenen Systeme lediglich beispielhafte Ausführungsformen der vorliegenden Offenbarung sind.
Autonome und teilautonome Fahrzeuge sind in der Lage, ihre Umgebung zu erfassen und basierend auf der erfassten Umgebung zu navigieren. Solche Fahrzeuge erfassen ihre Umgebung unter Verwendung mehrerer Arten von Sensorvorrichtungen wie etwa Radar-, Lidar-, Bildsensoren und dergleichen. In solchen Fahrzeugen können die erfassten Daten mit Landkartendaten fusioniert werden, um Objekte in der Nähe der Fahrzeuge zu identifizieren und zu verfolgen.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren, für die Landkartenfusionsalgorithmen verwendet werden, um über Sensorfusionsobjektwege hinaus die folgenden Funktionen bereitzustellen: Korrigieren der Position sich bewegender Zielfahrzeuge, um die Zielfahrzeuge besser mit der Fahrbahngeometrie in Einklang zu bringen (unter Verwendung von Landkartendaten); Verarbeiten von Sensorfusionswegen, um Schwächen, wie etwa Rauschen und Wegtrennung, auszugleichen; und Klassifizieren von Fahrzeugen in verschiedene Kategorien, wie etwa stationäre und geparkte Fahrzeuge.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren zum Erzielen solcher Funktionalitäten unter Verwendung von Banken erweiterter Kalman-Filter (EKFs), wobei jede Bank einer Anzahl verschiedener Hypothesen für ein bestimmtes Zielobjekt entspricht. Diese Hypothesen schließen verschiedene statistische Modelle ein, welche die Verwendung von Variablen wie etwa der Zielkoordinaten im Frenet-Rahmen (der longitudinalen und lateralen Fahrbahnkoordinaten) und der Geschwindigkeit einbeziehen. Jedes Mal, wenn eine Sensorfusion empfangen wird, die eine Objektnachricht enthält, wird die entsprechende Filterbank zusammen mit der Wahrscheinlichkeit für jede Hypothese aktualisiert, die obersten N Hypothesen werden als separate Nachricht ausgegeben (wobei üblicherweise N = 3). Der Hypothesentyp und die Wahrscheinlichkeiten können dann von nachgeschalteten Modulen verwendet werden, um die Fahrstreifenzuordnung und dynamische Eigenschaften von Objekten zu bestimmen. Zusätzlich zu den Kalman-Filtern kann das System auch eine auf Gating basierende Verknüpfung für Fälle implementieren, wo Objekt-IDs wechseln oder auf mehrere Wege aufgeteilt werden. Die Filter können auch so abgestimmt werden, dass das Rauschen auf Sensorfusionswegen weiter reduziert wird.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren für eine Objektverfolgung, Fahrstreifenzuordnung und Klassifizierung eines Wahrnehmungsmodells zur Verbesserung der Bestimmungsgenauigkeit des Wahrnehmungsmodells bei der Verfolgung, Fahrstreifenzuordnung und Klassifikation von Objekten unter Verwendung von Landkartendaten und zur Erzeugung mehrerer Hypothesen, die Mehrdeutigkeiten berücksichtigen, welche durch erfasstes Rauschen des Objektwegs verursacht werden, und zur Durchführung einer probabilistischen Klassifizierung eines Zielobjekts basierend auf zusätzlichen Zielobjektinformationen.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren zum Trainieren eines Wahrnehmungsmodells durch Fusionieren von Daten mehrerer Ansichten, um Datenmängel zu reduzieren und eine räumliche Abdeckung und Zuverlässigkeit der Fahrzeugobjektverfolgung, Fahrstreifenzuordnung und Klassifizierung zu erhöhen, um Schätzungen der Umgebung zu verbessern.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren zum Trainieren eines Wahrnehmungsmodells zum Erzeugen von Verfolgung, Fahrstreifenzuordnungen und Klassifikation durch Überwachung, um Objekte von Interesse in einem Bild zu bewerten.
In verschiedenen Ausführungsbeispielen beschreibt die vorliegende Offenbarung Systeme und Verfahren zum Trainieren eines Wahrnehmungsmodells für Objektverfolgung und Trajektorien durch Überwachung und durch Schätzungen unter Berücksichtigung sowohl intrinsischer als auch extrinsischer Landkartendaten.
1 veranschaulicht ein Blockdiagramm, das ein Beispielsfahrzeug abbildet, das einen Prozessor zur Objektverfolgung, Fahrstreifenzuordnung und Klassifikationsverfolgung und eine Fahrstreifenzuordnung und Klassifikation eines Wahrnehmungsmodells 100 einschließen kann. Generell werden die Zuordnungsdaten zu einem Wahrnehmungsmodell (oder einfach einem „System“) 100 fusioniert. Das System 100 bestimmt unter Verwendung von Landkartendaten die korrekte Position von sich bewegenden Zielfahrzeugen, um sie besser mit der Fahrbahngeometrie in Einklang zu bringen. Das System 100 verarbeitet Sensorfusionswege, um Mängel wie etwa Rauschen und Wegtrennung auszugleichen. Das System 100 klassifiziert Fahrzeuge in mehreren Kategorien, wie etwa stationär und geparkt, um das Wahrnehmungsmodell für die Verfolgung von Objekten zu trainieren.
Wie dargestellt in 1 schließt das Fahrzeug 10 im Allgemeinen ein Fahrgestell 12, eine Karosserie 14, Vorderräder 16 und Hinterräder 18 ein. Die Karosserie 14 ist auf dem Fahrgestell 12 angeordnet und umschließt Komponenten des Fahrzeugs 10 weitgehend. Die Karosserie 14 und das Fahrgestell 12 können gemeinsam einen Rahmen bilden. Die Fahrzeugräder 16-18 sind jeweils in der Nähe einer entsprechenden Ecke der Karosserie 14 drehfähig mit dem Fahrgestell 12 gekoppelt. Das Fahrzeug 10 ist in der veranschaulichten Ausführungsform als Personenkraftwagen dargestellt, es versteht sich jedoch, dass jedes andere Fahrzeug, einschließlich Motorräder, Lastkraftwagen, Sportnutzfahrzeuge (SUVs), Freizeitfahrzeuge (RVs), Seefahrzeuge, Flugzeuge usw., ebenfalls verwendet werden kann.
Wie gezeigt, schließt das Fahrzeug 10 im Allgemeinen ein Antriebssystem 20, ein Kraftübertragungssystem 22, ein Lenksystem 24, ein Bremssystem 26, ein Sensorsystem 28, ein Stellantriebssystem 30, mindestens eine Datenspeichervorrichtung 32, mindestens eine Steuereinheit 34 und ein Kommunikationssystem 36 ein. Das Antriebssystem 20 kann in diesem Beispiel eine elektrische Maschine, wie etwa einen Permanentmagnet(PM)-Motor, einschließen. Das Kraftübertragungssystem 22 ist konfiguriert, gemäß auswählbaren Übersetzungen Leistung vom Antriebssystem 20 auf die Fahrzeugräder 16 und 18 zu übertragen.
Das Bremssystem 26 ist konfiguriert, ein Bremsmoment an die Fahrzeugräder 16 und 18 abzugeben. Das Bremssystem 26 kann in verschiedenen Ausführungsbeispielen Reibungsbremsen, Brake-by-Wire, ein regeneratives Bremssystem wie etwa eine elektrische Maschine und/oder andere geeignete Bremssysteme einschließen.
Das Lenksystem 24 beeinflusst eine Position der Fahrzeugräder 16 und/oder 18. Auch wenn zur Veranschaulichung ein Lenkrad 25 abgebildet ist, könnte das Lenksystem 24 in manchen Ausführungsbeispielen, die im Bereich der vorliegenden Offenbarung zu sehen sind, kein Lenkrad einschließen.
Das Sensorsystem 28 schließt eine oder mehrere Sensorvorrichtungen 40a-40n ein, die beobachtbare Bedingungen der Außenumgebung und/oder der Innenumgebung des Fahrzeugs 10 erfassen und darauf bezogene Sensordaten erzeugen.
Das Stellantriebssystem 30 schließt eine oder mehrere Stellantriebsvorrichtungen 42a-42n ein, die ein oder mehrere Fahrzeugmerkmale steuern, wie etwa, aber nicht beschränkt auf das Antriebssystem 20, das Kraftübertragungssystem 22, das Lenksystem 24 und das Bremssystem 26. In verschiedenen Ausführungsbeispielen kann das Fahrzeug 10 auch innere und/oder äußere Fahrzeugmerkmale einschließen, die in 1 nicht veranschaulicht sind, wie etwa verschiedene Türen, einen Kofferraum, und Insassenraummerkmale wie etwa Lüftungs-, Musik-, Beleuchtungs-, Touchscreen-Anzeigenkomponenten und dergleichen.
Die Datenspeichervorrichtung 32 speichert Daten zur Verwendung beim Steuern des Fahrzeugs 10. Die Datenspeichervorrichtung 32 kann Teil der Steuereinheit 34 sein, getrennt von der Steuereinheit 34 vorliegen oder Teil der Steuereinheit 34 und Teil eines separaten Systems sein.
Die Steuerung 34 schließt mindestens einen Prozessor 44 (integriert in das System 100 oder verbunden mit dem System 100) und eine computerlesbare Speichervorrichtung oder ein computerlesbares Medium 46 ein. Der Prozessor 44 kann ein beliebiger anwenderspezifischer oder im Handel verfügbarer Prozessor, eine Zentralverarbeitungseinheit (CPU), eine Grafikverarbeitungseinheit (GPU), eine anwendungsspezifische integrierte Schaltung (ASIC) (z. B. eine anwendungsspezifische ASIC, die ein neuronales Netzwerk implementiert), ein Field Programmable Gate Array (FPGA), ein Hilfsprozessor unter mehreren Prozessoren, die der Steuereinheit 34 zugeordnet sind, ein halbleiterbasierter Mikroprozessor (in Form eines Mikrochips oder Chipsatzes) oder eine beliebige Kombination davon oder allgemein eine beliebige Vorrichtung zum Ausführen von Anweisungen sein. Die computerlesbare Speichervorrichtung oder das computerlesbare Medium 46 kann zum Beispiel einen flüchtigen und nichtflüchtigen Speicher als Nur-Lese-Speicher (ROM), Direktzugriffsspeicher (RAM) und Keep-Alive-Speicher (KAM) umfassen. KAM ist ein persistenter oder nichtflüchtiger Speicher, der verwendet werden kann, um verschiedene Betriebsvariablen zu speichern, während der Prozessor 44 heruntergefahren ist. Die computerlesbare Speichervorrichtung oder das computerlesbare Medium 46 kann implementiert werden unter Verwendung irgendeiner von einer Anzahl bekannter Speichervorrichtungen wie etwa PROMs (programmierbarer Festwertspeicher), EPROMs (elektrischer PROM), EEPROMs (elektrisch löschbarer PROM), Flash-Speicher oder beliebiger anderer elektrischer, magnetischer, optischer oder kombinierter Speichervorrichtungen zum Speichern von Daten, von denen einige ausführbare Anweisungen darstellen, die von der Steuereinheit 34 bei der Steuerung des Fahrzeugs 10 verwendet werden können.
Die Anweisungen können ein oder mehrere separate Programme einschließen, von denen jedes eine geordnete Auflistung ausführbarer Anweisungen zum Implementieren logischer Funktionen einschließt. Wenn die Anweisungen vom Prozessor 44 ausgeführt werden, empfangen und verarbeiten sie Signale (z. B. Sensordaten) vom Sensorsystem 28, führen Logik, Berechnungen, Verfahren und/oder Algorithmen zum automatischen Steuern der Komponenten des Fahrzeugs 10 aus und erzeugen Steuersignale, die an das Stellantriebssystem 30 gesendet werden, um die Komponenten des Fahrzeugs 10 basierend auf der Logik, den Berechnungen, Verfahren und/oder Algorithmen automatisch zu steuern. Obwohl nur eine Steuereinheit 34 in 1 gezeigt ist, können Ausführungsformen des Fahrzeugs 10 eine beliebige Anzahl von Steuereinheiten 34 einschließen, die über irgendein geeignetes Kommunikationsmedium oder eine Kombination von Kommunikationsmedien kommunizieren und die zusammenarbeiten, um die Sensorsignale zu verarbeiten, Logik, Berechnungen, Verfahren und/oder Algorithmen auszuführen und Steuersignale zu erzeugen, um Merkmale des Fahrzeugs 10 automatisch zu steuern.
Als Beispiel kann das System 100 eine beliebige Anzahl zusätzlicher Untermodule einschließen, die in die Steuereinheit 34 eingebettet sind und die kombiniert und/oder weiter aufgeteilt werden können, um auf ähnliche Weise hierin beschriebene Systeme und Verfahren zu implementieren. Außerdem können Eingaben an das System 100 aus dem Sensorsystem 28 empfangen werden, aus anderen zum Fahrzeug 10 gehörigen Steuermodulen (nicht gezeigt) empfangen werden und/oder durch andere Untermodule (nicht gezeigt) innerhalb der Steuereinheit 34 von 1 bestimmt/moduliert werden. Ferner können die Eingaben auch einer Vorverarbeitung, wie etwa einer Unterabtastung, einer Rauschverminderung, einer Normalisierung, einer Merkmalsextraktion, einer Verringerung fehlender Daten und dergleichen unterzogen werden.
2 stellt ein Diagramm eines Wahrnehmungsmodells 200 für eine Verfolgung mit Fahrstreifenrestriktion durch überwachtes Training gemäß einer Ausführungsform dar. In 2 ist eine kamerabasierte Sensorfusion entfernter Ziele gezeigt, wo die Zielobjekte 205 während einer aktuellen Verfolgung auf einem Weg 210 identifiziert werden, der nicht auf die Fahrbahn beschränkt ist. Berücksichtigt man Restriktionen im Hinblick auf Fahrstreifen und eine Online-Kalibrierung (d. h. eine Verfolgung mit Fahrstreifenrestriktion (LCT)), so werden die Zielobjekte 215 auf die Fahrbahn und den korrekten Fahrstreifen 220 beschränkt. Die als glatte Kurven oder Splines gestalteten Modellfahrstreifensegmente können durch die parametrische Darstellung von Wegkoordinaten wie folgt dargestellt werden: x = f_x(u), y = f_y(u), u ∈ [0,1] in 2D (z. B. $f_{x} (u) = \sum_{n = 0}^{5} a_{n} u^{n}$
usw.) für einen einzigen oder quintischen Spline, wobei f_x(u) und f_y(u) die Spline-Funktionen für die kartesische x- bzw. y-Koordinate der Fahrstreifenmitte sind.
3 veranschaulicht ein Diagramm für Objektwege eines Wahrnehmungssystems unter Verwendung von Landkartendaten gemäß einer Ausführungsform. In 3 werden die Objekte 315 aufgrund von Mehrdeutigkeiten wegen unerwünschtem Rauschen und wegen Reichweiteneffekten mit ungenauen Fahrstreifenzuordnungen auf dem Weg 310 wahrgenommen. In 3 werden die Objekte 325 kalibriert, und mehrere Hypothesen werden verwendet, um Reichweitenmehrdeutigkeiten auszugleichen, die durch die Erfassung von Rauschen beispielsweise auf dem Weg 320 bewirkt werden und die zu einer ungenauen Fahrstreifenzuordnung führen. Die Modellierung für die LCT verwendet eine Wegposition zusammen mit einem Kurvenparameter mit Zustandsvariablen; u_n - Ziel-Spline-Parameter zu einer diskreten Zeit n; s_n - Zielgeschwindigkeit (auf Fahrstreifen); a_n - Beschleunigung; Φ_n-Kurswinkel; ω_n - Kurvenrate; Einspurige Fahrstreifen werden mit unterschiedlichen Kursvorzeichen modelliert. Das Beobachtungsmodell schließt Koordinaten und Parameter für Foglendes ein: x = f_x(u), y = f_y(u), und v_x = s cos Φ, v_y = s sin Φ.
4 veranschaulicht ein Diagramm von Objekten auf einem Weg 410 mit Zielfahrstreifenmehrdeutigkeiten, die unter Verwendung der Hypothesen P1 und P2 für Objekte auf einem Weg 420 gemäß einem Ausführungsbeispiel aufgelöst werden. Die Zielfahrstreifenmehrdeutigkeiten können sich aus einem am Straßenrand geparkten Fahrzeug 430, einem angehaltenen Fahrzeug 440, einem neben der Straße geparkten Fahrzeug 450 oder einem sich nicht bewegenden Fahrzeug 460 ergeben. Mit anderen Worten kann eine Vielzahl von Fahrzeugplatzierungen und -manövern zu falschen Fahrstreifenzuordnungen für das Fahrzeug führen, die zu falschen Objektwegbestimmungen führen können.
5 stellt ein Diagramm mehrerer Objektmodelle für eine Trajektorie für Objektwege des Wahrnehmungssystems gemäß einer Ausführungsform dar. In 5 wird ein Objekt 515 auf einer Bahn 510 verfolgt und kann mehrere Richtungs-Trajektorien aufweisen, wie etwa: auf einer Bahn 520 und Beschreiben einer Rechtskurve, auf einer Bahn 530 und weiter auf geradeaus, aber auf einem anderen Fahrstreifen und auf einer Bahn 540 und Beschreiben einer Linkskurve. Das Wahrnehmungssystem nutzt verschiedene Modelle für jede mögliche Zielbahn mit Fahrstreifenrestriktion: wie etwa eine gerade Bahn, eine Wendung, eine Linkskurve usw. Das Standardmodell für eine nicht restringierte Verfolgung (z. B. wenn das Ziel die Straße verlässt) CV, CTRV, CTRA, etc. die mit Varianten von Kalman-Filtern, Partikelfiltern usw. lösbar sind, Interacting Multiple Model (IMM), Markov-Ketten, die Modellübergangswahrscheinlichkeiten darstellen und auch durch verfolgte Modellwahrscheinlichkeiten lösbar sind.
6A und 6B stellen Diagramme von verrauschten mehrdeutigen Wegzuordnungen und geschätzten Trajektorien unter Verwendung verschiedener Filter durch das Wahrnehmungssystem gemäß einem Ausführungsbeispiel dar. In 6A ist ein nicht überwachtes oder nicht restringiertes Wahrnehmungsmodell für ein Zielobjekt 610 auf einem verrauschten Weg 615 veranschaulicht, wo die Fahrstreifenzuordnung mehrdeutig ist und vom Wahrnehmungssystem eine erste Art von Kalman-Filter für jeden Weg verwendet wird. Die Fahrstreifenzuordnung oder die Trajektorie des Zielobjekts 610 wird unter Verwendung des nicht restringierten Modells berechnet, um eine Wahrscheinlichkeit einer Eingabe zu berechnen. Diese berechnete Eingabe kann jedoch wenig oder keine Wirkung auf die berechnete Position des Zielobjekts 610 haben, und die berechnete Position dient daher als Notfall- oder Standardposition, wenn die Fahrstreifenzuordnung nicht bestimmt werden kann. Eine zweite Art von Kalman-Filter ist für ein stationäres Modell bestimmt, wo das Wahrnehmungsmodell die Annahme trifft, dass das Zielobjekt 610 stationär ist (d. h. das Zielobjekt 610 keine Geschwindigkeit hat), und das Filtermodell für ein sich nicht bewegendes Zielobjekt 610 optimiert ist. Die dritte Art von Kalman-Filter ist in 6B veranschaulicht für ein restringiertes oder überwachtes Training eines Wahrnehmungsmodells, wo das Wahrnehmungsmodell das Objekt 625 auf einen Frenet-Rahmen (d. h. eine longitudinale und laterale Position entlang der Bahn 620) beschränkt. Die Position des Objekts 625 wird angegeben durch f_x(u), f_y(u)); von Splines, die durch u (longitudinaler Abstand oder arbiträrer Parameter) parametrisiert sind. Man beachte, dass die Anzahl der restringierten Kalman-Filter dynamisch ist und auf einer beliebigen Anzahl von Parametern u basiert.
7 ist ein Diagramm einer Fahrstreifendarstellung unter Verwendung der Landkartenfusionsdaten gemäß einem Ausführungsbeispiel. Die Modellfahrstreifensegmente 700 können beispielsweise als glatte Kurven (z. B. Splines) modelliert werden, unter Verwendung einer parametrischen Darstellung eines Satzes von Fahrstreifenkoordinaten: x = f_x(u), y = f_y(u), u E [0,1] in 2D (z. B. $f_{x} (u) = \sum_{n = 0}^{3} a_{n} u^{n}$
für einen kubischen Spline) und relevante Mengen von: Abstand entlang des Fahrstreifens $l (u) = \int_{0}^{u} \sqrt{{\frac{\partial f_{x}}{\partial u}}^{2} + {\frac{\partial f_{y}}{\partial u}}^{2}}$
du; Kursswinkel $ϕ (u) = \pm {tan}^{- 1} (\frac{\frac{\frac{\partial f_{y}}{\partial u}}{\partial f_{x}}}{\partial u});$
Geschwindigkeit $s (t) = \frac{\partial l}{\partial t};$
und Kurvenrate $ω (u) = \frac{\partial ϕ}{\partial u} \frac{\partial u}{\partial l} \frac{\partial l}{\partial t} .$
Dies ergibt in Frage kommende Bahnen, die optimiert werden können
8 veranschaulicht ein Funktionsdiagramm eines Systems 800 mit Verfolgung mit Fahrstreifenrestriktion (LCT) zur Verwendung in dem Wahrnehmungssystem gemäß einer Ausführungsform. Statt dem LCT-System eine völlig neue Bahn basierend auf den Zuordnungsvorschriften bzw. Maplets 820 und nach Empfang zusätzlicher Daten (d. h. Sensorfusionsdaten 830 über ein Zielobjekt) vorzuschlagen, werden durch das LCT-System 810 eine inkrementelle Aktualisierung einer Bahn bestimmt und eine dynamische Modifikation des Spline (z. B. Hinzufügen/Löschen von Knoten) erzeugt. Die Spline-Parametrisierung der LCT Systems 810 kann von [0, 1] in [0, L] geändert werden, wobei L die in Frage kommende Bahnlänge (d. h. des Zielobjekts) ist. Die in Frage kommende Bahnlänge kann durch Addieren der Abstände zwischen den einzelnen hinzugefügten Knoten näherungsweise bestimmt werden. Es ist auch möglich, die addierten Abstände direkt in das LCT-System 810 zu integrieren, und die Daten von Zielobjekten können auf Fußgänger anwendbar sein (die z. B. auf Bürgersteigen gehen vs. diese verlassen) und können für eine (3D)-Objektverfolgung auf die z-Achse ausgeweitet werden. In verschiedenen Ausführungsformen schließt das LCT-System 810 ein Zielbahnnummerierungsmodul 840 zum Empfangen der Maplets 820 und der Sensorfusion 830 ein. Das Zielbahnnummerierungsmodul 840 ordnet das Zielobjekt einem verfolgten Objekt zu. Das Fahrstreifendarstellungsmodul 850 bestimmt die Fahrstreifenzuordnung und dynamische Eigenschaften des verfolgten Objekts. Die verfolgten Objekte weisen mehrere Splines auf, die durch Trajektorien naher Ziele dargestellt werden. Das Multiple-Model(MM)-Filter 860 wendet eine Markov-Kette, die Modellübergangswahrscheinlichkeiten darstellt, und Modellwahrscheinlichkeitsverfolgungsanwendungen auf das verfolgte Objekt an. Das heißt, Modelle 865 mit Fahrstreifenrestriktion verfolgen das Objekt durch Objektvektoren unter Verwendung von Kalman-Filtern basierend auf jeder Hypothese mit Fahrstreifenrestriktion (gleich der Anzahl von Splines) sowie stationären Hypothese, und nicht restringierte Modelle 870 verfolgen Objekteigenschaften wie etwa Beschleunigung und Geschwindigkeit. Eine Ausgabe 875 wird auf der Grundlage einer Hypothesenliste erzeugt, wobei bestimmte Prüfungen durchgeführt werden, um basierend auf der Sensorfusion 830 und den Maplets 820 (d. h. Zuordnungsdaten) zu bestimmen, welche Hypothesen realistisch sind.
9 stellt ein Funktionsdiagramm 900 eines Systems einer Verfolgung mit Fahrstreifenrestriktion (LCT) mit einem globalen Bezugsrahmen zur Verwendung in dem Wahrnehmungssystem gemäß einer Ausführungsform dar. Wie in 8 wird, statt dem LCT-System 910 basierend auf Maplets 920 und nach Empfang zusätzlicher Daten (d. h. Sensorfusionsdaten 930 eines Zielobjekts) eine völlig neue Bahn vorzuschlagen, durch das LCT-System 910 eine inkrementelle Aktualisierung einer Bahn bestimmt und eine dynamische Modifikation des Splines (z. B. Hinzufügen/Löschen von Knoten) erzeugt. Die Spline-Parametrisierung der LCT Systems 910 kann von [0, 1] in [0, L] geändert werden, wobei L die in Frage kommende (d. h. Zielobjekt-) Bahnlänge ist. Die in Frage kommende Bahnlänge kann durch Addieren der Abstände zwischen den einzelnen hinzugefügten Knoten näherungsweise bestimmt werden. Es ist auch möglich, die addierten Abstände direkt in das LCT-System 910 zu integrieren, und die Daten von Zielobjekten können auf Fußgänger anwendbar sein (z. B. solche, die auf Bürgersteigen gehen vs. solche, die diese verlassen) und können für eine (3D)-Objektverfolgung durch Positionsdaten 935 und die Konversion 945 des globalen Bezugsrahmens auf die z-Achse ausgeweitet werden. Das heißt, eine zusätzliche Verfolgungsschicht wird durch Koordinatenrestriktionen für Spline-Darstellungen eines Fahrstreifens basierend auf den Positionsdaten 935, die mit der Sensorfusion 930 integriert sind, durch die Konversion 945 des globalen Bezugsrahmens bereitgestellt.
In verschiedenen Ausführungsbeispielen schließt das LCT-System 910 ein Zielbahnnummerierungsmodul 940 zum Empfangen der Maplets 820 und der Koordinatenrestriktionsdaten aus der Konversion 945 des globalen Bezugsrahmens der Positionsdaten 935 und der Sensorfusion 930 ein. Das Zielbahnnummerierungsmodul 940 ordnet das Zielobjekt einem verfolgten Objekt zu. Das Fahrstreifendarstellungsmodul 950 bestimmt die Fahrstreifenzuordnung und dynamische Eigenschaften des verfolgten Objekts. Die verfolgten Objekte weisen mehrere Splines auf, die durch Trajektorien naher Ziele dargestellt werden. Das Multiple-Model(MM)-Filter 960 wendet eine Markov-Kette, die Modellübergangswahrscheinlichkeiten darstellt, und Modellwahrscheinlichkeitsverfolgungsanwendungen auf das verfolgte Objekt an. Das heißt, die Modelle 965 mit Fahrstreifenrestriktion verfolgen das Objekt durch Objektvektoren unter Verwendung von Kalman-Filtern auf Basis der einzelnen Hypothesen mit Fahrstreifenrestriktion (gleich der Anzahl der Splines und Koordinaten, die auf die Spline-Darstellung des Fahrstreifens restringiert sind), sowie stationärer Hypothesen, und die nicht restringierten Modelle 970 verfolgen Objekteigenschaften wie Beschleunigung und Geschwindigkeit. Eine Ausgabe 975 wird auf der Grundlage einer Hypothesenliste erzeugt, wobei bestimmte Prüfungen (d. h. Koordinatenrestriktionen von Spline-Darstellungen) durchgeführt werden, um basierend auf der Sensorfusion 930, Positionsdaten 935 und Maplets 920 (d. h. Zuordnungsdaten) zu bestimmen, welche Hypothesen realistisch sind.
10 stellt ein Funktionsblockdiagramm für eine Landkartenfusion im Wahrnehmungssystem 1000 gemäß einer Ausführungsform dar. Das Funktionsdiagramm schließt Eingaben von in Frage kommenden Bahnen 1010 und vorverarbeiteten Bahnen 1020 ein. Die in Frage kommenden Bahnen sind alle möglichen Trajektorien, die ein Fahrzeug in Bezug auf ein verfolgtes Objekt verfolgen kann. Die Bahnen können in kleinere Segmente zerlegt werden, um Überlappungen zu reduzieren. Die in Frage kommenden Bahnen 1010 werden an das Modell 1015 mit Bahnrestriktion und an die Merkmalsberechnung 1050 gesendet. In restringierten Modell 1015 werden die Objekte, die im Frenet-Rahmen verfolgt werden, und die longitudinalen und lateralen Positionen des Objekts verfolgt.
Die vorverarbeiteten Wege werden an die Kalman-Filter 1030 und an die Merkmalberechnung 1050 gesendet. Die Merkmalberechnung 1050 erzeugt Merkmale zur Klassifizierung durch die Klassifizierungsmodelle 1055. Das Modell 1015 mit der Bahnrestriktion, das nicht restringierte Modell 1020 (d. h. Modelle mit konstanter Geschwindigkeit, Beschleunigung usw.) und das stationäre Modell 1025 (d. h. wo eine Null-Geschwindigkeit für das verfolgte Objekt angenommen wird) senden Bahn- und Objektdaten an die Kalman-Filter 1030. Die Wegzustände 1045 kommunizieren mit den Kalman-Filtern 1030 und senden Wegzustandsdaten an die Hypothesenwahrscheinlichkeitsaktualisierung 1070. Außerdem empfängt die Hypothesenwahrscheinlichkeitsaktualisierung 1070 Daten von den Klassifikationsmodellen 1055, weil jede Hypothese ein entsprechendes naives Bayes-Modell (d. h. Klassifizierungsmodell 1055) mit einer Wahrscheinlichkeit L_i(x) aufweist.
Die Klassifizierungsmodelle 1055 schließen unter anderem folgende ein: Naives Bayes-Modell 1 (1060) und naives Bayes-Modell K (1065). Die Kalman-Filter 1030 schließen ein robustes Kalman-Filter 1 (1035) und ein robustes Kalman-Filter N ein. Die Hypothesen 1075 werden aus der Hypothesenwahrscheinlichkeitsaktualisierung 1070 empfangen.
Für jeden eingegebenen Weg (d. h. in Frage kommende Bahnen 1010 oder vorverarbeitete Bahnen 1020) werden bei 1075 mehrere Hypothesen {H_i} erzeugt. Die Hypothesen 1075 werden unter Verwendung eines nichtrestringierten Filters (nichtrestringierten Modells 1020), durch Verwendung eines stationären Filters (stationären Modells 1025) und dynamisch durch Datenmengen, die durch Restriktionsfilteroperationen an in Frage kommenden Bahnen analysiert werden (d. h. das Modell 1015 mit Bahnrestriktion) gebildet. Jede Hypothese weist ein entsprechendes naives Bayes-Modell mit einer Wahrscheinlichkeit L_i(x) auf wie folgt: ein einzelnes naives Bayes-Modell 1060 oder multiple naive Bayes-Modelle K 1065. Die Wahrscheinlichkeiten für jede Hypothese 1075 werden nach Art von Bayes unter Verwendung einer Filterwahrscheinlichkeitsfunktion und eines naiven Bayes-Modells aktualisiert und wie folgt berechnet: $P_{t} (H_{i} | x) = \frac{P_{t} (H_{i} | x) L_{i} (x)}{\sum_{i} P_{t} (H_{i} | x) L_{i} (x)}$

Wobei x die Wegdaten sind, die Wegposition, Dynamik, Bremsleuchtenstatus, Abstand zur Kreuzung usw. enthalten, P_t(H_i|x) eine Hypothesenwahrscheinlichkeit i ist und L(x) als Produkt verschiedener Wahrscheinlichkeiten mit A-priori-Parametern geschrieben werden kann
(z. B. L(x) = N(d|µ = 100, σ = 100) N(ν|µ = 0, σ = 100)) wobei N(x|µ, σ) eine Gauss'sche PDF mit einem Mittelwert µ und einer Standardabweichung σ ist und d der Abstand zur nächsten Kreuzung ist und ν die Geschwindigkeit ist. Die internen Variablen ermöglichen eine Verfolgung jedes eindeutigen Objekts aus der Sensorfusion eines zugehörigen Verfolgungsobjekts. Die Verfolgungsobjekte können mehrere Splines aufweisen, die nahe liegende potenziell in Frage kommende Trajektorien darstellen. Die Verfolgungsobjekte weisen einen Vektor von Kalman-Filtern auf für jede Hypothese mit Fahrstreifenrestriktion (gleich der Anzahl von Splines) sowie für die stationären Hypothesen (d. h. basierend auf Daten aus dem stationären Modell 1025). Die Trajektorien sind Vektoren potenzieller Trajektorien auf Fahrstreifenebene innerhalb eines aktuellen Horizonts (z. B. 100 m), denen ein Zielobjekt folgen kann (in Bodenkoordinaten). Der Algorithmus schließt Folgendes ein: Hypothesen, die in Tabelle 1.0 zusammengefasst sind und die mehrere verschiedene Arten von Hypothesen einschließen, die für eine Landkartenfusion verwendet werden können, zusammen mit den Zustandsvariablen und anderen Merkmalen. Tabelle 1.0

Hypothese	Zustände/Merkmale	Anmerkungen
Mit Fahrstreifenrestriktion	Spline-Parameter für longitudinale Position Lateralpositionsparameter Geschwindigkeit Kurs Beschleunigung	Dynamisch erzeugt, abhängig von der Anzahl der nahe gelegenen Fahrstreifen
Stationär - am Straßenrand geparkt	Kartesische Position Laterale Position Kurs	Einzelhypothese Geschwindigkeit auf null festgelegt
Stationär	Kartesische Position Laterale Position Kurs	Einzelhypothese Geschwindigkeit auf null festgelegt

Die Hypothesen werden durch eine Kombination aus erweiterten Kalman-Filtern (EKFs) (d. h. robusten Kalman-Filtern N 1040) und naiven Bayes-Modellen K 1065 dargestellt. Die EKFs werden verwendet, um Objektpositionen, -geschwindigkeiten und -kurse zu filtern, während die naiven Bayes-Modelle verwendet werden, um stationäre Fahrzeuge unter Verwendung von Merkmalen wie einer lateralen Fahrstreifenposition zu klassifizieren. Die Wahrscheinlichkeit dieser Merkmale kann durch Gauß‘sche Verteilungen mit einem Satz von festen Parametern bestimmt werden. Beispielsweise kann die Wahrscheinlichkeit einer Hypothese für Parken am Straßenrand durch die Wahrscheinlichkeit bestimmt werden, dass Spitzenwerte an einer lateralen Position von 1,5 m innerhalb einer Standardabweichung von 1,0 m liegen.
In einem Ausführungsbeispiel sind die Kalman-Filter 1030 für die Hypothesen mit Fahrstreifenrestriktion (d. h. die aus dem Modell 1015 mit der Bahnrestriktion empfangene Eingabe) wie folgt: zunächst verwenden die EKFs für Hypothesen mit Restriktion eine Variante der Prozessmodelle mit konstanter Beschleunigung (CA) und konstanter Geschwindigkeit (CV). Die Position des Ziels wird im Frenet-Rahmen verfolgt, wobei die longitudinale Position durch den Parameter u_t eines parametrischen 2D-Spline-Modells für die Modellierung der Mitte des Fahrstreifens dargestellt wird und die laterale Position durch den Parameter des vorzeichenbehafteten Abstands l_t von der Fahrstreifenmitte dargestellt wird (man beachte, dass dieser Parameter nicht notwendigerweise der lateralen Position gleich ist). Das Prozessmodell (d. h. das nichtrestringierte Modell 1020) wird angegeben durch: $u_{t + 1} = u_{t} + Δ T v_{t} \frac{\partial u_{t}}{\partial s} - Spline - Parameteraktualisierung$
$v_{t + 1} = v_{t} + Δ T a_{t} - Longitudinalgeschwindigkeitsaktualisierung$
$a_{t + 1} = a_{t} - Longitudinalgeschwindigkeitsaktualisierung$
$l_{t + 1} = l_{t} - Lateralpositionsversatzaktualisierung$
$ϕ_{t + 1} = {tan}^{- 1} \frac{f_{y}' (u_{t})}{f_{x}' (u_{t})} - Fahrstreifenkurssaktualisierung$
wobei $\frac{\partial s}{\partial u} = \sqrt{\frac{d f_{x} {(u)}^{2}}{d u} + \frac{d f_{y} {(u)}^{2}}{d u}}$
und f_x(u) und f_y(u) die Spline-Funktionen für die kartesische x- bzw. die y-Koordinate der Fahrstreifenmitte sind.
Das Beobachtungsmodell (d. h. die Klassifikationsmodelle 1055) wird angegeben durch: $x = f_{x} (u_{t}) + \frac{W}{2} tanh l_{t} sin ϕ_{t} - Ost - West - Position mit Lateralversatzkorrektur$
$y = f_{y} (u_{t}) + \frac{W}{2} tanh l_{t} cos ϕ_{t} - Nord - Ost - Position mit Lateralversatzkorrektur$
$v = v_{t} - Longitudinalgeschwindigkeit$
$a = a_{t} - Beschleunigung$
$ϕ = ϕ_{t} - Kurs$
Der Kurs Φ wird nur für die Initialisierung von Wegen mit Fahrstreifenrestriktion verwendet. Die Funktion tanh(x) wird verwendet, um den Lateralpositionsparameter zu verengen, sodass der Bereich lateraler Positionen von $[- \frac{W}{2}, \frac{W}{2}]$
geht, wobei W die Straßenbreite ist. Um Fahrstreifenwechsel zu ermöglichen, kann dies in [ - W, W] modifiziert werden.
Die Prozesskovarianz Q wird angegeben durch $Q = G Σ G^{T}$
wobei $Σ = (\begin{matrix} σ_{a}^{2} & 0 & 0 \\ 0 & σ_{l}^{2} & 0 \\ 0 & 0 & σ_{ϕ}^{2} \end{matrix}), σ_{s}^{2}$
die Varianz der Longitudinalbeschleunigungsrate ist, $σ_{ϕ}^{2}$
die Varianz der Kurssrate ist und $σ_{l}^{2}$
die Lateralratenvarianz ist. Es wird davon ausgegangen, dass solche Berechnungen die erwarteten Raten der jeweiligen Größe (d. h. Änderungen pro Zeiteinheit) sind. Außerdem werden die Parameter manuell ausgewählt und können auf Informationen wie etwa der maximalen erwarteten Lateralgeschwindigkeit usw. basieren.
Die Matrix G wird angegeben durch: $G = (\begin{matrix} \frac{Δ T^{3}}{6} \frac{\partial u_{t + 1}}{\partial s} & 0 & 0 \\ \frac{Δ T^{2}}{2} & 0 & 0 \\ Δ T & 0 & 0 \\ 0 & Δ T \frac{2 W}{W^{2} - 4 l^{2}} & 0 \\ 0 & 0 & Δ T \end{matrix})$
Diese Matrix G wird erhalten durch Durchführen einer Taylor-Reihenexpansion für den ersten nichtmodellierten Ausdruck des Prozessmodells, z. B. $\begin{array}{l} u_{t + 1} \approx g^{- 1} (s + Δ T v + \frac{Δ T^{2}}{2} a + \frac{Δ T^{3}}{6} \dot{a}) \approx g^{- 1} (s + Δ T v + \frac{Δ T^{2}}{2} a) + \frac{Δ T^{3}}{6} {\dot{g}}^{- 1} (s + Δ T v + \\ \frac{Δ T^{2}}{2} a) \dot{a} = u_{t + 1} + \frac{Δ T^{3}}{6} \frac{\partial u_{t + 1}}{\partial s} \dot{a}, wobei \dot{g} (u) = \frac{\partial s}{\partial u} und σ_{a}^{2} die Varianz des \\ Rauschausdrucks \dot{a} ist . \end{array}$
Die Splines können aus den obigen Ergebnissen erzeugt werden. In Ausführungsbeispielen ist der verwendete Spline ein quintischer G²-Spline, wo die Knoten x-y-Wendepunkte entlang des Fahrstreifens und die entsprechenden Fahrstreifenkurss- und Krümmungswerte sind. In Ausführungsbeispielen kann es sein, dass die Landkarte keine genauen unabhängigen Werte für den Kurs und die Krümmung des Fahrstreifens bereitstellt, sondern stattdessen Näherungen für die Zuordnungsdaten aus den Wendepunkten bereitstellt. Der Spline ist einheitlich parametrisiert, wobei die Domäne für das Segment i u ∈ [i, i + 1] ist, wobei u der Spline-Parameter ist. Es können auch andere Parametrisierungen verwendet werden (z. B. basierend auf der ungefähren Bahnlänge). Eine Spline-Bibliothek kann verwendet werden, um verschiedene verwandte Funktionen bereitzustellen. Dies schließt eine Funktion zum Ausführen einer Funktionsinversion u = f^-1(x, y) ein, wodurch die Spline-Parameter u für gegebene (x, y) unter Verwendung linearer Näherungen und absteigender Gradienten gefunden werden können. Funktionen werden auch verwendet, um Ableitungen n-ter Ordnung, Krümmungen und Kurse als Funktion von u zu berechnen.
Die Kalman-Filter (d. h. das robuste Kalman-Filter 1) 1035 und das robuste Kalman-Filter N 1040 für stationäre Hypothesen sind wie folgt: Die Kalman-Filter der stationären Hypothesen weisen das folgende Prozessmodell auf: $x_{(t + 1)} = x_{t}$
$y_{(t + 1)} = y_{t}$
$v_{(t + 1)} = 0$
$a_{(t + 1)} = 0$
$ϕ_{(t + 1)} = ϕ_{t}$
und ein Beobachtungsmodell wie folgt: $x = x_{t}$
$y = y_{t}$
$v = v_{t}$
$a = a_{t}$
$ϕ = ϕ_{t}$
Die Beobachtungsberechnungen können auch mit einem linearen Kalman-Filter gelöst werden. Die Prozesskovarianz ist in diesem Fall eine einfache Diagonalmatrix mit Konstanten, die die Varianzen jedes Terms im Prozessmodell darstellen.
Die naiven Bayes-Modelle (d. h. die Klassifikationsmodelle 1055) sind wie folgt: Naive Bayes-Modelle (1060, 1065) die laterale Position p_i jedes Objekts i werden angegeben durch: $p_{i} \sim N (μ_{i}, σ_{i}^{2})$
Für Modelle mit Fahrstreifenrestriktion µ_i = 0 und $σ_{m i} = \frac{W}{2} .$
Für am Straßenrand geparkte Fahrzeuge $μ_{i} = \frac{W - V}{2} und σ_{i} = \frac{V}{2},$
wobei V die typische Breite eines Ziels (d. h. eines Fahrzeugs) ist. Für stationäre Fahrzeuge µ_i = K und $σ_{i} = \frac{K}{2},$
wobei K eine große Zahl (z. B. 100) ist. Eine Evaluierung dieser Verteilungen an einem Beobachtungsvektor x_i liefert ein Ergebnis für die Wahrscheinlichkeit L_NB(x_i).
11 zeigt ein Diagramm der Erzeugung 1100 einer Bahn eines Zielobjekts gemäß einer Ausführungsform. Die Maplets 1110 werden empfangen, um Fahrstreifensegmente bis zum Horizont zu finden (bei 1120). Jede Hypothese mit Fahrstreifenrestriktion nimmt Bezug auf einen einzigen Spline, der wiederum die potenzielle Trajektorie für das Ziel bis zum aktuellen Horizont darstellt. Diese Splines werden aus einer Gruppe von Kandidaten ausgewählt, die anhand der Landkarte (d. h. der Maplets) durch Nummerieren jeder möglichen Trajektorie für ein gegebenes Ziel erzeugt wird. Bei 1130 findet der Prozess der Querung der nachgelagerten Segmente und Verbindungen statt, um Wendepunktkoordinaten zu speichern, um Bahnen zu erzeugen. Dieser Querungsprozess kann sich aufgrund der großen Anzahl von möglichen Trajektorien, die sich aus mehreren Kreuzungen ergeben, als rechenaufwändig erweisen; um dieses Hindernis zu überwinden, wird somit der Horizont auf einen Wert von 100 m begrenzt, und die zusätzlichen Verarbeitungsreduzierungsschritte, die verwendet werden, wie etwa die Begrenzung der Anzahl aufeinander folgender Kreuzungen, die verwendet werden, um eine einzelne Trajektorie zu erzeugen, werden begrenzt. Nachdem bei 1140 die Wendepunkte für sämtliche Trajektorien erhalten wurden, werden bei 1150 der Wendepunktkurs und die Krümmungen neu berechnet, um einen Satz genauerer Kurs- und Krümmungswerte zu bestimmen. Das heißt, der Kurs und die Krümmungen, die aus den Maplets empfangen wurden, können ungenau sein und korrigiert werden müssen. Die Neuberechnung und Korrektur kann durch eine Berechnung kleinster Quadrate einer quadratischen Kurve für jeweils drei aufeinander folgende Wendepunkte (d. h. durch Einpassen quantischer Splines in jede Bahn bei 1160) durchgeführt werden, und die Berechnung der Kurs- und Krümmungswerte kann von Koeffizienten von Polynomen aus den verwendeten Definitionsgleichungen abgeleitet werden. Aufgrund der verwendeten gleichförmigen Parametrisierung kann diese Berechnung effizient als ein einziger Matrixmultiplikationsschritt durchgeführt werden, der alles darstellt, was erforderlich oder notwendig ist, um die Landkartenbahnen bei 1170 abzuleiten.
12 veranschaulicht eine Sensorfusionsvorverarbeitung des Wahrnehmungssystems gemäß einer Ausführungsform. Die eingegebenen Wege aus der Sensorfusion 1210 werden auf verschiedene Weise vorverarbeitet, bevor sie verwendet werden, um die Hypothesen zu aktualisieren. Zuerst wird eine Lightweight-Communications-and-Marshalling(LCM)-Nachricht des Positionsbestimmungssystems verwendet, (bei 1220) die Sensorfusionsobjektpositionen (bei 1230) von Host- in globale kartesische Koordinaten umzuwandeln. Die Unsicherheiten in Form von Positions- und Geschwindigkeitsstandardabweichungen, die durch die Sensorfusion berichtet werden, werden dann in bestimmten Fällen außer Kraft gesetzt, um Mängel zu korrigieren. In einem Ausführungsbeispiel werden beispielsweise ihre kleinsten Werte auf ein bestimmtes Niveau gekappt (d. h. Abstimmungskovarianzen werden bei 1240 angewendet), sodass sie immer mit einem gewissen Grad an Misstrauen behandelt werden. Die „abgestimmten“ Unsicherheiten werden dann auch in den globalen Rahmen gedreht, wo die Kovarianzen (bei 1250) in HV-Koordinaten umgewandelt werden können.
Die Neuzuordnung(bei 1260) wird durchgeführt, um Fälle zu berücksichtigen, wo Ziel-IDs plötzlich ihren Wert ändern oder sich ein einzelner Weg in mehrere aufteilt. Der Prozess der Neuzuordnung (bei 1260) wird dadurch durchgeführt, dass bei 1270 die MAP-vorausgesagte Position des Ziels aus den existierenden Hypothesen oder einer aktuellen Hypothese gefunden wird (d. h. die vorhergesagte Position aus der Hypothese mit der höchsten Wahrscheinlichkeit ausgewählt wird) und der neue Sensorfusionsweg basierend auf seiner Mahalanobis-Distanz gegattert wird (äquivalent zu einem Gating-Ellipsoid). Die verwendete Kovarianzmatrix (für die Vorverarbeitung von Zielen bei 1280) für die Berechnung der Mahalanobis-Distanz weist einen festen Wert auf, der für typische laterale und longitudinale sowie Geschwindigkeitsunsicherheiten manuell abgestimmt wird. Die Wege, die im Gatter eines vorhandenen Wegs liegen, werden diesem vorhandenen Weg zugeordnet.
13 veranschaulicht ein Diagramm einer Hypothesenaktualisierung 1300 für das Wahrnehmungssystem gemäß einer Ausführungsform. Da jedes neue verfolgte Objekt aus der Sensorfusion empfangen wird, wird basierend auf ihrer kürzesten Distanz zur (bei 1330) MAP-vorausgesagten Position des vorhandenen Wegs oder der Position des neuen Wegs (bei 1310) eine Liste von N in Frage kommenden Splines erzeugt (bei 1320). Die EKFs in vorhandenen Hypothesen mit Fahrstreifenrestriktion, die bereits einen dieser Splines enthalten, werden aktualisiert (bei 1360); Splines, die keine entsprechende Hypothese aufweisen, werden verwendet, um neue Hypothesen zu erzeugen. Stationäre Hypothesen werden direkt aktualisiert, da die stationären Hypothesen keine Splines aufweisen.
Die naiven Bayes-Modelle für die einzelnen Hypothesen werden dann bei 1370 zur Aktualisierung der Hypothesenwahrscheinlichkeiten verwendet $P (H_{t - 1}^{i} | x_{1 : t - 1}),$
unter Verwendung von $P (H_{t}^{i} | x_{1 : t}) = \frac{1}{Z} P (H_{t - 1}^{i} | x_{1 : t - 1}) L_{K F} (x_{t}) L_{N B} (x_{t}),$
wobei $Z = \sum_{i} P (H_{t - 1}^{i} | x_{1 : t - 1}) L_{K F} (x_{t}) L_{N B} (x_{t})$
ein Normalisierungsfaktor ist, L_KF(x) die Wahrnehmungswahrscheinlichkeit x aus dem EKF ist und L_NB (x) die naive Bayes-Wahrscheinlichkeit ist; aus Nummerierungsgründen wird das Protokoll der Wahrscheinlichkeiten verfolgt und aktualisiert.
Die Wahrscheinlichkeiten der restringierten Hypothesen, die unter einem bestimmten Schwellenwert liegen, werden bei 1380 gelöscht. Dies soll verhindern, dass der Hypothesenraum potenziell unendlich wächst und zwar mit Hypothesen, die wahrscheinlich auch nicht hilfreich sind. Die stationären Hypothesen werden anders behandelt; das heißt, wenn ein bestimmter Satz von Wahrscheinlichkeiten unter einem anderen Schwellenwert liegt, wird die stationäre Hypothese erneut initialisiert (d. h. bei 1350 vorverarbeitet). Dieser Neuinitialisierungsprozess bietet sich an für einen gewissen Grad an Adaptivität, da die Hypothesen, die zu Beginn schlecht initialisiert wurden (z. B. aufgrund irgendeines vorherigen Manövers) sich mit neueren Daten als passender erweisen können. Das Ergebnis ist bei 1390 eine aktualisierte Hypothese.
14 veranschaulicht ein Diagramm eines Hypothesenausgabestroms 1440 für das Wahrnehmungssystem gemäß einer Ausführungsform. Die aktualisierten Hypothesen 1410 werden empfangen. Bevor jedoch eine Hypothesenliste ausgegeben wird (d. h. die Ausgabehypothesen 1450), werden bestimmte Prüfungen durchgeführt, um zu bestimmen, welche Hypothesen realistisch sind, und unrealistische Hypothesen werden bei 1440 entfernt. Die Landkarte bei 1430 wird verwendet, um bei 1420 zu bestimmen, ob an der Position der einzelnen Hypothesen ein Parken am Fahrbahnrand oder anderer Klassen zulässig ist. Beispielsweise sind Hypothesen mit Parken am Fahrbahnrand auf Hauptstraßen nicht zugelassen und sollten die Wahrscheinlichkeit Null haben. Dieser Schritt 1420 bei 1420 wendet im Wesentlichen, basierend auf der Karte 1430, eine Vorab-Wahrscheinlichkeit (null oder eins in diesem Fall) auf jede Hypothese an.
15 ein Flussdiagramm des Wahrnehmungsmodells für eine Verfolgung mit Fahrstreifenrestriktion durch überwachtes Training gemäß einem Ausführungsbeispiel veranschaulicht. Im Schritt 1510 wird eine Bestimmung getroffen, ob die Hypothesen bereits existieren für die Objekt-ID ? (d. h. das identifizierte Objekt); wenn nicht, geht der Ablauf weiter zu Schritt 1520, um in Frage kommende Bahnen in der Nähe oder in der Umgebung der Objektposition zu finden. Beispielsweise kann das Objekt mehrere Trajektorien mit Richtungen und entsprechende Bahnen aufweisen. Das Wahrnehmungssystem nutzt verschiedene Modelle für jede mögliche Zielbahn mit Fahrstreifenrestriktion; wie etwa eine gerade Bahn, eine Kehre, eine Linkskurve usw. Im Schritt 1530 passt das Wahrnehmungssystem Splines für jede Bahn ein. Die Verfolgungsobjekte können mehrere Splines aufweisen, die nahe liegende potenziell in Frage kommende Trajektorien darstellen. Die Verfolgungsobjekte haben einen Vektor von Kalman-Filtern für jede Hypothese mit Fahrstreifenrestriktion (gleich der Anzahl von Splines) ebenso wie für die stationären Hypothesen (d. h. basierend auf Daten aus dem stationären Modell). Die Trajektorien sind Vektoren potenzieller Trajektorien auf Fahrstreifenebene innerhalb eines aktuellen Horizonts (z. B. 100 m), denen ein Zielobjekt folgen kann (in Bodenkoordinaten). Bei Schritt 1540 erzeugt das Wahrnehmungssystem Hypothesen und initialisiert die Hypothesenwahrscheinlichkeiten. Die Hypothesenwahrscheinlichkeit wird zumindest auf der Grundlage von Ergebnissen aus Filtermodellen und aus Ergebnissen von Klassifizierungsmerkmalen, die sich auf den Objektweg für das Zielobjekt beziehen, bestimmt. Bei Schritt 1550 aktualisiert das Wahrnehmungssystem den Kalman-Filter mit Objektdaten. Die Modelle mit Fahrstreifenrestriktion verfolgen das Objekt durch Objektvektoren unter Verwendung von Kalman-Filtern basierend auf jeder Hypothese mit Fahrstreifenrestriktion (gleich der Anzahl von Splines) ebenso wie von stationären Hypothesen, und die nicht restringierten Modelle verfolgen Objekteigenschaften, wie Beschleunigung und Geschwindigkeit. Eine Ausgabe wird auf der Grundlage einer Hypothesenliste erzeugt, wobei bestimmte Prüfungen durchgeführt werden, um basierend auf der Sensorfusion und auf Maplets (d. h. Zuordnungsdaten) zu bestimmen, welche Hypothesen realistisch sind. Splines, die keine entsprechende Hypothese haben, werden verwendet, um neue Hypothesen zu erzeugen. Stationäre Hypothesen werden direkt aktualisiert, da die stationären Hypothesen keine Splines aufweisen. Alternativ dazu aktualisiert das Wahrnehmungssystem bei 1560, wenn die Hypothesen bei Schritt 510 für die Objekt-ID bereits vorhanden sind, einfach die Bahnen unter Verwendung der zugeordneten Hypothesen. Bei Schritt 1570 werden, nachdem die Hypothesen bestimmt wurden, die Merkmale berechnet, die den Objekten zugeordnet sind. Die Merkmalberechnung erzeugt Merkmale zur Klassifizierung durch die Klassifizierungsmodelle.
Bei Schritt 1575 evaluiert das Wahrnehmungssystem die Wahrscheinlichkeit von Merkmalen unter Verwendung von Klassifikationsmodellen. Beispielsweise senden das Modell mit Bahnrestriktion, das nicht restringierte Modell (d. h. Modelle mit konstanter Geschwindigkeit, Beschleunigung usw.) und das stationäre Modell (d. h. wo eine Null-Geschwindigkeit für das verfolgte Objekt angenommen wird) Bahn- und Objektdaten an die Kalman-Filter. Die Fahrstreifenzustände kommunizieren mit den Kalman-Filtern und senden in Schritt 1580 Fahrstreifenzustandsdaten an die Hypothesenwahrscheinlichkeitsaktualisierung Außerdem empfängt die Hypothesenwahrscheinlichkeitsaktualisierung bei Schritt 1580 Daten von den Klassifikationsmodellen, da jede Hypothese ein entsprechendes naives Bayes-Modell (d. h. Klassifikationsmodell) mit einer Wahrscheinlichkeit L_i(x) aufweist. Als nächstes werden in Schritt 1585 Hypothesen mit kleinen Wahrscheinlichkeiten gelöscht. Das heißt, die Wahrscheinlichkeiten der restringierten Hypothesen, die unter einem bestimmten Schwellenwert liegen, werden gelöscht. Dies soll verhindern, dass der Hypothesenraum potenziell unendlich wächst und zwar mit Hypothesen, die wahrscheinlich auch nicht hilfreich sind. Die stationären Hypothesen werden anders behandelt; das heißt, wenn ein bestimmter Satz von Wahrscheinlichkeiten unter einem anderen Schwellenwert liegt, wird die stationäre Hypothese erneut initialisiert. Dieser Neuinitialisierungsprozess bietet sich an für einen gewissen Grad an Adaptivität, da die Hypothesen, die zu Beginn schlecht initialisiert wurden (z. B. aufgrund irgendeines vorherigen Manövers) sich mit neueren Daten als passender erweisen können. Das Ergebnis ist eine aktualisierte Hypothese. In Schritt 1590 werden die obersten N Hypothesen als separate Nachricht ausgegeben (wobei üblicherweise N=3), wobei in jedem Fall eine Sensorfusion empfangen wird, die eine Objektnachricht enthält, die entsprechende Filterbank zusammen mit der Wahrscheinlichkeit jeder Hypothese aktualisiert wird. Der Hypothesentyp und die Wahrscheinlichkeiten können dann von nachgeschalteten Modulen verwendet werden, um die Fahrstreifenzuordnung und dynamische Eigenschaften von Objekten zu bestimmen. Zusätzlich zu den Kalman-Filtern implementiert die Landkartenfusion auch eine Gating-basierte Zuordnung für Fälle, in denen Objekt-IDs wechseln oder in mehrere Wege aufgeteilt werden.
Die verschiedenen Aufgaben, die in Verbindung mit einem überwachten Lernen und Training des Tiefenschätzmodells ausgeführt werden, können durch Software, Hardware, Firmware oder irgendeine Kombination davon durchgeführt werden. Zur Veranschaulichung kann sich die folgende Beschreibung von Tiefenbilderzeugung, Bildrekonstruktion, kamerabasierter Tiefenfehlerberechnung, radarbasierter Entfernungsschätzung, radarbasierter Tiefenfehlerberechnung, Doppler-basierter Tiefenfehlerberechnung, globalen Verlustberechnungen usw. auf Elemente beziehen, die oben in Verbindung mit 1-15 genannt wurden. In der Praxis können Teile des Prozesses von 1-15 von anderen Elementen des beschriebenen Systems ausgeführt werden.
Man beachte, dass das Verfahren von 1-15 eine beliebige Anzahl zusätzlicher oder alternativer Aufgaben einschließen kann, wobei die Aufgaben, die in 1-15 gezeigt sind, nicht in der dargestellten Reihenfolge ausgeführt werden müssen und der Prozess von 1-15 in einen umfassenderen Ablauf oder Prozess mit zusätzlicher Funktionalität, der hierin nicht im Detail beschrieben ist, eingebettet sein kann. Darüber hinaus kann mindestens eine der Aufgaben, die gezeigt sind in 1-15, aus einer Ausführungsform des in 1-15 gezeigten Prozesses weggelassen werden, solange die angestrebte Gesamtfunktionalität intakt bleibt.
Die vorstehende ausführliche Beschreibung ist lediglich veranschaulichender Natur und soll die Ausführungsformen des Gegenstands oder die Anwendung und Verwendungen solcher Ausführungsformen nicht einschränken. Wie hierin verwendet, bedeutet das Wort „beispielhaft“ „als Beispiel, als Fallbeispiel oder zur Veranschaulichung dienend“. Keine hierin als beispielhaft beschriebene Implementierung ist notwendigerweise als bevorzugt oder vorteilhaft gegenüber anderen Implementierungen auszulegen. Darüber hinaus besteht keine Absicht, sich an irgendeine explizite oder implizierte Theorie, die oben unter Technisches Gebiet, Hintergrund oder Detaillierte Beschreibung dargestellt ist, zu binden.
Auch wenn in der vorstehenden detaillierten Beschreibung mindestens ein Ausführungsbeispiel präsentiert wurde, sei klargestellt, dass eine große Anzahl von Variationen existiert. Man beachte außerdem, dass die beispielhafte Ausführungsform oder die Ausführungsbeispiele lediglich Beispiele sind und den Schutzumfang, die Anwendbarkeit oder die Konfiguration der Offenbarung in keiner Weise beschränken sollen. Vielmehr wird die vorhergehende detaillierte Beschreibung Fachleuten eine brauchbare Anleitung zur Implementierung des Ausführungsbeispiels oder der Ausführungsbeispiele bereitstellen.
Es versteht sich, dass verschiedene Änderungen an der Funktion und der Anordnung von Elementen vorgenommen werden können, ohne vom Schutzumfang der Offenbarung abzuweichen, wie er in den beigefügten Ansprüchen und deren rechtlichen Äquivalenten dargelegt ist.

Claims

Beansprucht wird:
Verfahren zur verbesserten Objektverfolgung, wobei das Verfahren Folgendes umfasst: Empfangen von Sensorfusionsdaten, die sich auf eine Vielzahl von Zielobjekten und Objektwegen um das Fahrzeug beziehen, durch eine in einem Fahrzeug angeordnete Verarbeitungseinheit; Bestimmen eines oder mehrerer Splines, die Trajektorien jedes Zielobjekts zu einem Objektweg darstellen, durch die Verarbeitungseinheit; Filtern der Sensorfusionsdaten über jedes Zielobjekt für einen Objektweg auf der Grundlage eines ersten, zweiten und dritten Filtermodells durch die Verarbeitungseinheit, wobei jedes Filtermodell einer oder mehreren Hypothesen entspricht, die zum Verarbeiten von Vektoren in Bezug auf Trajektorien eines Verfolgungsobjekts verwendet werden, wobei die Hypothesen eine Bahnrestriktionshypothese, eine Hypothese ohne Wegrestriktion und eine stationäre Hypothese umfassen; und Erzeugen einer Hypothesenwahrscheinlichkeit zur Bestimmung, ob eine bestimmte Hypothese verwendet werden soll, durch die Verarbeitungseinheit, wobei die Hypothesenwahrscheinlichkeit auf Grundlage von Ergebnissen aus dem ersten, zweiten und dritten Filtermodell und aus Ergebnissen der Klassifizierung eines oder mehrerer Merkmalen in Bezug auf die Objektverfolgung für das Zielobjekt durch mindestens ein Klassifikationsmodell bestimmt wird.
Verfahren nach Anspruch 1, ferner umfassend. Verfolgen des Zielobjekts durch die Verarbeitungseinheit unter Verwendung eines Prozessmodells, das durch die Bahnrestriktionshypothese abgeleitet wird, in einem Frenet-Rahmen; und Beschränken des Zielobjekts auf eine Position in dem Modell, die durch einen Parameter u_t eines parametrischen Splines, der auf eine Mitte eines Fahrstreifens modelliert wird, und eine laterale Position, die durch einen Parameter eines vorzeichenbehafteten Abstands l_t von der Mitte des Fahrstreifens dargestellt wird.
Verfahren nach Anspruch 2, wobei jede Hypothese ein entsprechendes naives Bayes-Modell mit einer Wahrscheinlichkeit L_i(x) oder ein anwendbares Verbindungsmodell für L_i(x) aufweist.
Verfahren nach Anspruch 3, ferner umfassend. Aktualisieren der Hypothesenwahrscheinlichkeit durch die Verarbeitungseinheit nach Art von Bayes unter Verwendung eines naiven Bayes-Modells $P_{t} (H_{i} | x) = \frac{P_{t} (H_{i} | x) L_{i} (x)}{\sum_{i} P_{t} (H_{i} | x) L_{i} (x)},$
wobei für jedes Objekt i eine laterale Position p_i ist, x Wegdaten sind, die zumindest eine Wegposition enthalten, und P_t(H_i|x) eine Wahrscheinlichkeit einer Hypothese i ist.
Verfahren nach Anspruch 4, wobei L_i(x) ein Produkt verschiedener Wahrscheinlichkeiten mit Priori-Parametern ist, umfassend: L_i(x) = N(d|µ = 100, σ = 100) N(ν|µ = 0, σ = 100), wobei N(x|µ, σ) eine Gauß‘sche PDF mit einem Mittelwert µ und einer Standardabweichung σ ist, und wobei d der Abstand zur nächsten Kreuzung ist und ν die Geschwindigkeit ist.
Verfahren nach Anspruch 5, wobei das Prozessmodell für das Verfolgungsobjekt umfasst: $u_{t + 1} = u_{t} + Δ T v_{t} \frac{\partial u_{t}}{\partial s}$
zur Aktualisierung von Spline-Parametern, ν_t+1 = ν_t + ΔTa_t zur Aktualisierung einer Longitudinalgeschwindigkeit, a_t+1 = a_t, zur Aktualisierung der Longitudinalgeschwindigkeit, l_t+1 = l_t zur Aktualisierung einer Lateralpositionsversatzaktualisierung und $ϕ_{t + 1} = {tan}^{- 1} \frac{f_{y}' (u_{t})}{f_{x}' (u_{t})}$
zur Aktualisierung einer FahrstreifenKurs, wobei u_n ein Ziel-Spline-Parameter ist zu einer diskreten Zeit n, a_n die Beschleunigung ist und Φ_n ein Richtungswinkel ist.
Verfahren nach Anspruch 6, wobei die Hypothese mit Bahnrestriktion ferner Folgendes umfasst: ein Beobachtungsmodell für das Verfolgungsobjekt, das Folgendes umfasst: $x = f_{x} (u_{t}) + \frac{W}{2} tanh l_{t} sin ϕ_{t}$
für eine Ost-West-Position mit Lateralversatzkorrektur, $y = f_{y} (u_{t}) + \frac{W}{2} tanh l_{t} cos ϕ_{t}$
für eine Nord-Ost-Position mit der Lateralversatzkorrektur, ν = ν_t für die Longitudinalgeschwindigkeit, a = a_t für die Beschleunigung und Φ = Φ_t für einen Kurs, wobei Φ nur für die Initialisierung von Wegen mit Fahrstreifenrestriktion verwendet wird und die Funktion tanh(x) verwendet wird, um einen Lateralpositionsparameter so zu verengen, dass eine laterale Position im Bereich von $[- \frac{W}{2}, \frac{W}{2}]$
liegt, wobei W eine Fahrbahnbreite ist.
Verfahren nach Anspruch 7, wobei die Hypothese ohne Bahnrestriktion ferner Folgendes umfasst: Erzeugen eines Prozessmodells für zumindest eine konstante Geschwindigkeit für das Verfolgungsobjekt, das Folgendes umfasst: x_t+1 = x_t + ΔTv_t cos Φ_t, y_t+1 = y_t + ΔTv_t sin Φ_t, ν_t+1 = ν_t, a_t+1 = a_t und Φ_t+1 = Φ_t.
Verfahren nach Anspruch 8, wobei die Hypothese ohne Bahnrestriktion ferner Folgendes umfasst: Erzeugen eines Beobachtungsmodells für zumindest eine konstante Geschwindigkeit für das Verfolgungsobjekt, das Folgendes umfasst: x = x_t, y = y_t, ν = ν_t, a = a_t und Φ = Φ_t.
Verfahren nach Anspruch 9, wobei die stationäre Hypothese ferner Folgendes umfasst: Erzeugen eines Prozessmodells für zumindest eine Null-Geschwindigkeit des Verfolgungsobjekts, das Folgendes einschließt: x_t+1 = x_t, y_t+1 = y_t, ν_t+1 = 0, a_t+1 = 0 und Φ_t+1 = Φ_t.