-
Die vorliegende Erfindung betrifft in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts. In weiteren Aspekten betrifft die vorliegende Erfindung entsprechende Computerprogramme, Speichermedien, Vorrichtungen.
-
Stand der Technik
-
Aus der
DE 10 2010 029 637 A1 ist ein Verfahren zum Objekt-Tracking in einem Ortungssystem mit einem Wellenemitter und einem Wellensensor bekannt. Das Verfahren umfasst dabei die nachstehenden Schritte:
- - Messen eines ersten Abstandes und einer ersten Geschwindigkeit eines Objektes in einem ersten Messzyklus, indem mittels des Wellenemitters Wellen ausgesandt werden und von dem Objekt reflektierte Wellen mittels des Wellensensors detektiert werden,
- - Berechnen eines prädizierten Abstandes und einer prädizierten Geschwindigkeit des Objektes für einen zweiten Messzyklus, indem basierend auf der ersten Geschwindigkeit und dem ersten Abstand eine Kalman-Filterung durchgeführt wird, wobei für die Kalman-Filterung ein Bewegungsmodell in sphärischen Sensorkoordinaten und eine Hilfsvariable verwendet werden.
-
Vorteile der Erfindung
-
Unter Tracking eines Objekts bzw. Objekt-Tracking kann vorliegend ein Technologiefeld verstanden werden, das darauf abzielt basierend auf Sensorwerten von Umfeldsensoren eine Menge von Objekten zu identifizieren und jeweils einen Objektstatus abzuleiten, die Sensorwerte mit identifizieren Objekte zu assoziieren sowie den Objektstatus laufend basierend auf neuen Sensorwerten zu aktualisieren.
-
Objekt-Tracking im Automotive-Bereich weist die inhärente Problemstellung auf, dass typischerweise ausgedehnte Objekte, im Regelfall Fahrzeuge, primär basierend auf den Signalen einer Umfeldsensorik zu tracken sind. Dabei ist es eine Aufgabe die empfangenen Sensorsignale einem Objekt zuzuordnen (Schritt des Assoziierens). Dazu wird u. a. auf Sensormodelle zurückgegriffen.
-
Insbesondere die Erstellung eines entsprechenden Sensormodells ist bisher sehr aufwändig.
-
Daher ist es Ziel der vorliegenden Erfindung ein Sensormessmodell zu lernen, d. h. im Wesentlichen ein entsprechendes KI-Modul einzusetzen, mit dessen Anwendung die prädizierten Objektstatus in Abhängigkeit von den erfassten Sensorsignalen korrigiert werden kann.
-
Vor diesem Hintergrund schafft die vorliegende Erfindung in einem ersten Aspekt ein Verfahren zum Tracking eines Objekts mit einem Umfeldsensor.
-
Unter einem Umfeldsensor kann vorliegend ein Sensor bzw. ein Sensorsystem verstanden werden, dass Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
-
Ein Anwendungsfeld der Technologie Objekt-Tracking sind im Automotive-Bereich Fahrerassistenzsysteme zur Längs- und Quersteuerung (sog. Adaptive Geschwindigkeitsregelung, Adaptive Cruise Control, ACC).
-
Das Verfahren der vorliegenden Erfindung weist dazu die nachstehenden, typischen Schritte eines Verfahren zum Objekttracking mittels eines Kalman-Filters auf:
- Erfassen eines Sensorwertes des Umfeldsensors.
- Prädizieren eines zukünftigen Objektstatus des Objekts.
-
Aktualisieren des Objektstatus.
-
Die Schritte des Prädizierens und des Aktualisierens laufen dabei typischerweise im Rahmen einer Verarbeitung innerhalb eines Bayes'schen Filters, insbesondere innerhalb eines Kalman-Filters, insbesondere eines Extended Kalman Filters, ab.
-
Das Verfahren der vorliegenden Erfindung zeichnet sich dadurch aus, dass im Schritt des Aktualisierens ein KI-Modul eingesetzt wird. Das KI-Modul ist dabei derart trainiert, dass der erfasste Sensorwert mit dem Objekt assoziiert wird und der Objektstatus des Objekts in Abhängigkeit von dem zukünftigen Objektstatus des Objekts und von dem erfassten Sensorwert aktualisiert wird.
-
Dabei basiert die Erfindung auf der Erkenntnis, dass ein KI-Modul derart auf Sensormessmodelle (engl. sensor measurement models) trainiert werden kann, erfasste Sensorwerte mit einem getrackten Objekt zu assoziieren und den Objektstatus des getrackten Objekts zu aktualisieren. Dabei löst das gelernte Sensormessmodell die Aufgabe, die erfassten Sensormesswerte, die im Sensormesswertraum vorliegen, zunächst mit dem getrackten Objekt zu assoziieren und dann mittels der assoziierten Sensormesswerte den Objektstatus des getrackten Objekts, der im Objektstatusraum vorliegt, welcher sich typischerweise vom Sensormesswertraum unterscheidet, zu aktualisieren.
-
Das trainierte KI-Modul kann dabei als eine Art virtueller Sensor aufgefasst werden, der Messwerte aus dem Messwertraum in eine abstrakte Dimension abbildet. Die abstrakte Dimension sollte dabei in einem Zusammenhang mit dem Objektstatusraum stehen. Vorteilhaft ist, wenn die abstrakte Dimension mit dem Objektstatusraum übereinstimmt.
-
Seien m das trainierte Modell und z
k die erfassten Sensormesswerte, dann gilt für virtuellen Sensormesswert
-
Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes'schem Filter, insbesondere mit Kalman-Filter, einsetzen:
-
Alternativ kann die Korrektur zwischen dem prädizierten Objektstatus
und der erfassten Sensormesswerten z
k direkt gelernt werden. Dazu sei m das trainierte Modell:
-
Dieses Modell lässt sich einfach in den bekannten Aktualisierungsschritt eines Objekttrackers mit Bayes'schem Filter, insbesondere mit Kalman-Filter, einsetzen:
-
Dabei sind
x
k: der aktualisierte Objektstatus des getrackten Objekts im Zeitschritt k.
der prädizierte Objektstatus des getrackten Objekts für Zeitschritt k.
K
k: der Kalman-Gain, der den a posteriori Fehlerkovarianz minimiert und einen Wert repräsentiert, bis zum welchem Ausmaß der prädizierte Objektstatus
anhand der Sensormesswerte z
k bzw. virtuellen Sensormesswerte
angepasst wurde.
h
metα: die Sensormesswertfunktion, die den Objektstatus in die abstrakte Dimension der virtuellen Sensormesswerte
abbildet. Von Vorteil ist, wenn die abstrakte Dimension der virtuelle Sensormesswerte mit dem Objektzustandsraum übereinstimmt.
v
k: das Sensormessrauschen.
-
Bei dem KI-Modul kann es sich um ein Regressionssystem handeln.
-
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das KI-Modul ein Grid-basiertes künstliches neuronales Netz.
-
Unter einem Grid-basierten künstlichen neuronalen Netz kann vorliegend ein Convolutional Neural Network verstanden werden, das auf einem Datengitter (Grid) als Eingabe arbeiten. Eine Umsetzung eines Grids kann mit Hilfe eines Polarfeldes erfolgen.
-
Das Datengitter kann dabei eine vorbestimmte Fläche zentriert um das getrackte Objekte repräsentieren. Eine Fläche von 10 m auf 10 m mit einer Zellengröße von jeweils 0,25 m auf 0,25 m hat dabei sich als brauchbar erwiesen. In die Tiefe des Eingabegitters kann eine verarbeitete Untermenge der erfassten Umfeldgrößen aufgetragen werden. Bei der Verwendung eines Radarsensors als Umfeldsensor haben sich als Umfeldgrößen die Attribute Radialgeschwindigkeit und der Rückstreuquerschnitt bzw. die Rückstreustrahlfläche des Radarsensors herausgestellt.
-
Bei der Verwendung eines Radarsensors als Umfeldsensor hat es sich ferner als hilfreich erwiesen, wenn mehr als ein Radarreflex in eine Zelle fällt, nur die Attribute des stärksten Reflexes zu berücksichtigen. Die Stärke kann dabei mittels dem Attribut Winkelqualität des Sensorsignals bestimmt werden. Alternativ kann ein Mittelwert der Radarreflexe oder eine Gewichtung der Attribute über die Winkelqualität verwendet werden.
-
Die Verwendung eines Grid-basierten künstlichen neuronalen Netzes als KI-Modul hat den Vorteil, dass sich dadurch die Robustheit des Verfahrens im Vergleich zu den klassischen Messmodellen, wie L-Shape oder das Closest Reflex Model erhöhen lässt. Bei dem Closes Reflex Model handelt es sich um ein Assoziationsmodell, das den nächsten Radarreflex in einer distanzbasierten Metrik verwendet.
-
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung umfasst das KI-Modul ein künstliches neuronales Netz, das auf adaptiven Listen basierten, bspw. mit einer Architektur abgeleitet von T-Net nach C. R. Qi, H. Su, K. Mo, and L. J. Guibas, „Pointnet: Deep learning on point sets for 3d classification and segmentation,“ in IEEE conference on computer vision and pattern recognition, 2017, pp. 652-660 im Folgenden Point T-Net genannt.
-
Dabei ist das Point T-Net derart aufgebaut, dass bei der Verwendung eines Radarsensors als Umfeldsensor die ersten Schichten zunächst unabhängig je Radarreflex erlernt werden, die Ergebnisse davon werden nachfolgenden zu einem globalen Merkmalsvektor zusammengeführt, der dazu geeignete ist, die gesamte erfasste Szene zu repräsentieren.
-
Dabei lernt das Netz direkt die Vorhersage von Korrekturen des Objektzustands.
-
Es hat sich ebenfalls als vorteilhaft herausgestellt, die Eingabe des Point T-Net derart anzulegen, dass das getrackte Objekt der Ursprung des Koordinatensystems der Eingabeparameter darstellt.
-
Die Verwendung eines Point T-Nets als KI-Modul hat den Vorteil, dass neben der erhöhten Robustheit im Vergleich zu den klassischen Modellen L-Shape und Closest Reflex Model auch das Point T-Net zudem hinsichtlich der Genauigkeit den bekannten Verfahren signifikant überlegen ist. Zudem wird durch den adaptiven Listeneingang das natürliche Messprinzip des Radars mit einer unterschiedlichen Anzahl an Reflexen besser abgebildet.
-
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung ist das KI-Modul derart trainiert, einen erfassten Sensorwert aus dem Sensormessraum in den Objektstatusraum abzubilden.
-
Gemäß einer Ausführungsform des Verfahrens der vorliegenden Erfindung wird das Messrauschen in Abhängigkeit von dem KI-Modul abgeleitet.
-
Die Ableitung des Messrauschens in Abhängigkeit von dem KI-Modul kann sowohl offline, d. h. vor dem Durchführen des Verfahrens oder online, d. h. während des Durchführens des Verfahrens erfolgen.
-
Im Offline-Fall erfolgt die Ableitung durch Berechnung einer Kovarianzmatrix, die als Messrauschen in den Bayes'schen Filter, insbesondere den Kalman-Filter eingebracht werden kann. Für den Offline-Fall erfolgt zunächst das Training des künstlichen neuronalen Netzes m.
-
Nachdem das neuronale Netzwerk m fertig trainiert wurde, werden die Datenpunkte des Validierungssatzes gtk in die oben genannten Zellen eingeteilt. Jeder Datenpunkt wird durch Normalisierung mit verschiedene Prädiktionsfehlern in das trainierte Netzwerk gegeben. Hier hat sich das Verrauschen mit 2500 Offsets als sinnvoll erwiesen. Pro Grid Zelle wird die Kovarianzmatrix des Messrauschens über die untere Beziehung errechnet. Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall genutzt.
-
Die Berechnung der Kovarianzmatrix erfolgt mittels des entsprechend trainierten KI-Moduls. Die Ableitung einer Kovarianzmatrix R für das Messrauschen des Kalman-Filters, kann erfolgen, indem das Abtastfeld des Sensors in ein Grid, bspw. ein Polarfeld, aufgeteilt wird und für jede Zelle des Feldes eine jeweilige Kovarianzmatrix R abgeschäftzt wird. Die Abschätzung erfolgt dabei durch das bestimmen der Abweichungen zwischen der Vorhersage des KI-Moduls
und dem Groundtruth gtk gemäß der nachstehenden Beziehung:
-
Im Falle des alternativen Ansatzes zur direkten Bestimmung der Differenz
aus dem KI Modul ergibt sich analog :
-
Die so abgeschätzten Kovarianzmatrizen können auf einfache Art und Weise in den Kalman-Filter gemäß der nachstehenden Beziehung aufgenommen werden:
-
Zur Berechnung der Kovarianzmatrix hat es sich als vorteilhaft erwiesen, das trainierte KI-Modul auf 2500 Prädiktions- und Messsituationen anzuwenden. Mögliche Prädiktionssituationen können beispielsweise aus künstlichen Offsets durch Verrauschen des Ground Turth gtk erzeugt werden.
-
Die errechneten Kovarianzmatrizen werden abgespeichert und im Inferenzfall, d. h. während des Durchführens des Verfahrens der vorliegenden Erfindung verwendet.
-
Eine Alternative Möglichkeit die Messunsicherheit zu bestimmen ist die Verteilungsfehler nach der digitalen Signalverarbeitung zu nutzen. Da jeder Reflex durch einen Durchschnittswert (Mean) und eine Standardabweichung (Standard Deviation) gekennzeichnet ist, kann online während des Inferenzschritts, d. h. während des Durchführens des Verfahrens aus der Verteilung pro Reflex gesampelt werden. Diese Samples werden dem trainierten künstlichen neuronalen Netz zugeführt. Aus deren Fehlern kann das Messrauschen bestimmt werden.
-
Eine weitere alternative Ausführungsform ist es, das Messrauschen des Bayes'schen Filters, insbesondere des Kalman-Filters, direkt durch die Nutzung von Ausgabeunsicherheiten eines künstlichen neuronalen Netzes zu bestimmen. Dieses wird bereits im Trainingsschritt darauf trainiert Netzwerkunsicherheiten mit auszugeben. Diese können direkt online im Inferenzschritt genutzt werden. Diese Ausführungsform ist abgeleitet von D. Feng, L. Rosenbaum, F. Timm, and K. Dietmayer, „Leveraging heteroscedastic aleatoric uncertainties for robust realtime lidar 3d object detection,“ in IEEE Intelligent Vehicles Symposium, 2019, pp. 1280-1287.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist die Verwendung eines Verfahrens nach einem der vorhergehenden Ansprüche, in einem Verfahren zur Längs- und/oder Quersteuerung eines Kraftfahrzeugs.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein Computerprogramm, welches eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
-
Ein weiterer Aspekt der vorliegenden Erfindung ist ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gemäß einem Aspekt der vorliegenden Erfindung gespeichert ist.
-
Ein weiter Aspekt der vorliegenden Erfindung ist eine Vorrichtung, welche eingerichtet ist alle Schritte des Verfahrens gemäß der vorliegenden Erfindung auszuführen.
-
Nachfolgend werden Ausführungsformen der vorliegenden Erfindung anhand von Zeichnungen näher erläutert.
-
Es zeigen
- 1 ein Ablaufdiagramm einer Ausführungsform des Verfahrens gemäß der vorliegenden Erfindung;
- 2 ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
-
1 zeigt ein Ablaufdiagramm einer Ausführungsform des Verfahrens 100 zum Tracking eines Objekts umfassend ein KI-Modul gemäß der vorliegenden Erfindung.
-
In Schritt 101 wird ein Sensorwert eines Umfeldsensors erfasst.
-
In Schritt 102 wird ein zukünftiger Objektstatus des getrackten Objekts prädiziert.
-
In Schritt 103 wird der Objektstatus des getrackten Objekts aktualisiert.
-
Die Schritte 102 und 103 laufen dabei im Kalman-Filter ab.
-
Das Verfahren der vorliegenden Erfindung basiert auf der Erkenntnis, für die bisher üblichen Schritte des Assoziierens der erfassten Sensorwerte mit dem getrackten Objekt und des Aktualisierens des Objektstatus des getrackten Objekts Kl-Modul einzusetzen, welches derart trainiert ist, dass der erfasste Sensorwert mit dem getrackten Objekt assoziiert wird und der Objektstatus des getrackten Objekts in Abhängigkeit von dem prädizierten zukünftigen Objektstatus des Objekts und von dem erfassten und assoziierten Sensorwert aktualisiert wird.
-
Es versteht sich, dass eine Aktualisierung des Objektstatus nicht erfolgen kann, wenn der erfasste Sensorwert nicht mit dem getrackten Objekt assoziiert werden kann.
-
Für diesen Fall kann es im Wesentlichen zwei Gründe geben. Entweder hat der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt, bspw., weil der Sensorwert Informationen über ein weiteres getracktes Objekt umfasst (sog. true negative). Oder der erfasste Sensorwert hat einen Bezug zu dem getrackten Objekt, wird aber nicht assoziiert, weil die Assoziation zu schwach ist und eine zu große Restwahrscheinlichkeit verbleibt, dass der erfasste Sensorwert keinen Bezug zu dem getrackten Objekt hat (sog. false negative).
-
2 zeigt ein Blockdiagramm einer Vorrichtung, die das Verfahren gemäß der vorliegenden Erfindung umsetzt.
-
Block 11 stellt die Erfassung von Sensorsignalen mittels eines Umfeldsensors (Measurement) dar. Die Sterne stehen in der Darstellung für jeweils erfasste Signalreflexe. Unter einem Umfeldsensor wird typsicherweise ein Sensor bzw. ein Sensorsystem verstanden werden, der bzw. das Wellen, insbesondere elektromagnetische Wellen, erfasst und ggf. korrespondierende Wellen aussendet. Typische Umfeldsensoren sind dabei Video-, Radar-, Ultraschall-, Infrarot-, Lidarsensoren.
-
Die erfassten Sensorsignale werden einem Verfahren zum Objekttracking, dargestellt in Block 10, zugeführt.
-
Erfolgt das Objekttracking mittels eines Kalman-Filters, so werden typischerweise die Schritte Vorhersage eines zukünftigen Objektstatus (Prediction), dargestellt in Block 12, Assoziation der Sensorsignale mit einem getrackten Objekt (Association), dargestellt in Block 13, Aktualisierung des Objektstatus (Update), dargestellt in Block 14 und Zusammenstellung der aktuellen Liste an getrackten Objekten (Tracked Objects) zu Ausgabe an ein weiterverarbeitendes System wie bspw. ein Adaptive Geschwindigkeitsregelung (ACC), dargestellt in Block 15, zyklisch durchlaufen.
-
Die vorliegende Erfindung basiert auf der Erkenntnis, dass der Schritt der Assoziation 13 und ein Teil des Schrittes der Aktualisierung 14, mittels eines KI-Moduls 21 umgesetzt werden kann, dass die erfassten Sensorsignale ggf. vorverarbeitet aufnimmt und im Rahmen der Verarbeitung sowohl die Assoziation als auch die erforderliche Transformation aus dem Sensormessraum in den Objektstatusraum 22 vornimmt.
-
Dieser kennzeichnende Teil der vorliegenden Erfindung ist in Block 20 dargestellt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102010029637 A1 [0002]