-
Die Erfindung betrifft das Gebiet der Automobile. Insbesondere betrifft die Erfindung ein Verfahren zur Bewegungsabschätzung eines Objekts in der Umgebung eines Kraftfahrzeugs durch ein Bewegungsabschätzungssystem sowie ein entsprechendes Computerprogrammprodukt, ein nicht-transitorisches computerlesbares Speichermedium und ein Bewegungsabschätzungssystem.
-
Im Stand der Technik gibt es Bewegungsabschätzungssysteme, die maschinelles Lernen verwenden. Der zentrale Punkt im Stand der Technik ist, dass die maschinellen Lernansätze die Objektgeschwindigkeit schätzen. Dies führt jedoch eher zu einem Kurzzeit-Tracker, der keine Spurbeibehaltung hat.
-
Es ist eine Aufgabe der Erfindung, ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Bewegungsabschätzungssystem bereitzustellen, mit dem eine deterministische Art der Bewegungsabschätzung durchgeführt wird.
-
Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt, ein computerlesbares Speichermedium sowie ein Bewegungsabschätzungssystem gemäß den unabhängigen Ansprüchen gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen dargestellt.
-
Gemäß einer Ausführungsform wird ein Verfahren zur Bewegungsabschätzung eines Objekts in der Umgebung eines Kraftfahrzeugs durch ein Bewegungsabschätzungssystem bereitgestellt. Die Umgebung des Kraftfahrzeugs wird von einer Erfassungsvorrichtung des Bewegungsabschätzungssystems in einem Zeitschritt erfasst. Die erfasste Umgebung wird von einem Teilchenfilter einer elektronischen Rechenvorrichtung des Bewegungsabschätzungssystems in dem Zeitschritt gefiltert. Durch die Verwendung des Ergebnisses des Teilchenfilters in dem Zeitschritt wird eine Gitterkarte der Umgebung erzeugt, die eine Vielzahl von Gitterzellen umfasst. Eine Zuordnung jeder Zelle der Gitterkarte zu dem Objekt in Abhängigkeit von der im Zeitschritt erfassten Geschwindigkeit der Zelle wird durchgeführt. Die vorgenannten Schritte werden in einem nachfolgenden Zeitschritt wiederholt. In Abhängigkeit von den zugeordneten Gitterzellen wird im Zeitschritt und im nachfolgenden Zeitschritt eine Objektspur erzeugt und die Bewegung des Objekts wird in Abhängigkeit von der erzeugten Objektspur geschätzt.
-
Daher wird ein gitterbasierter Verfolgen-vor-Erfassen-Algorithmus vorgestellt, z. B. als Teilchenfilter, der die Kinematik der Umgebung anhand der individuellen Zellgeschwindigkeiten beschreibt. Dieses Verfahren schlägt einen auf der Belegung basierten Objektverfolgungsansatz vor, um die Zellgeschwindigkeiten zu ergänzen und eine frühe und genaue Schätzung der Objektgeschwindigkeit bereitzustellen. Insbesondere ist dieser Ansatz deterministisch, wobei eine bessere Geschwindigkeitsabschätzung für die Objekte um das Kraftfahrzeug herum präsentiert wird. Dies ermöglicht eine bessere Planung, Bewegungsvorhersage und eine reibungslosere Fahrt. Außerdem wird mehr Sicherheit zur genaueren Vorhersage der Objekte in der Umgebung des Kraftfahrzeugs bereitgestellt.
-
Insbesondere strebt das Verfahren einen Tracker an, der eine robustere und langfristige Verfolgung ermöglicht, indem er die Objektsignaleigenschaften beibehält und die auf dem Teilchenfilter basierenden Zellgeschwindigkeiten und die Objektbewegung miteinander in Einklang bringt.
-
Gemäß der Ausführungsform werden eine gitterbasierte Geschwindigkeit und/oder eine gitterbasierte Semantik und/oder eine gitterbasierte Belegung verwendet, um jede Zelle der Gitterkarte dem Objekt zuzuordnen.
-
In einer anderen Ausführungsform wird die Zuordnungswahrscheinlichkeit zwischen Zelle und Objekt unter Verwendung der räumlichen Nähe und der Ähnlichkeit der Semantik berechnet.
-
In einer anderen Ausführungsform wird eine neue Spur eingeleitet, wenn eine Zelle außerhalb des Objekts fällt.
-
Gemäß einer anderen Ausführungsform stellen die Zellen im Inneren des Objekts mehrere Bewegungsabschätzungen bereit.
-
In einer anderen Ausführungsform ist die endgültige Bewegungsabschätzung eine Kombination aus der Objektgeschwindigkeit und der Geschwindigkeit der Zellen im Inneren des Objekts.
-
Insbesondere ist das Verfahren ein computerimplementiertes Verfahren. Ein weiterer Aspekt der Erfindung betrifft daher ein Computerprogrammprodukt mit Programmcodemitteln, die eine elektronische Rechenvorrichtung dazu veranlassen, ein Verfahren in Übereinstimmung mit dem vorgenannten Aspekt durchzuführen. Ferner betrifft die Erfindung ein computerlesbares Speichermedium, das ein Computerprogrammprodukt gemäß dem vorangehenden Aspekt umfasst.
-
Ein weiterer Aspekt der Erfindung betrifft ein Bewegungsabschätzungssystem zur Bewegungsabschätzung eines Objekts und der Umgebung eines Kraftfahrzeugs, wobei das Bewegungsabschätzungssystem mindestens eine Erfassungsvorrichtung und eine elektronische Rechenvorrichtung umfasst, wobei das Bewegungsabschätzungssystem zur Durchführung eines Verfahrens gemäß dem vorgenannten Aspekt konfiguriert ist. Insbesondere wird das Verfahren von dem Bewegungsabschätzungssystem durchgeführt.
-
Ein weiterer Aspekt der Erfindung betrifft ein Kraftfahrzeug, das das Bewegungsabschätzungssystem gemäß dem vorgenannten Aspekt umfasst. Das Kraftfahrzeug kann beispielsweise ein zumindest teilautomatisiertes Kraftfahrzeug oder ein vollautomatisiertes Kraftfahrzeug sein.
-
Vorteilhafte Formen des Verfahrens sind als vorteilhafte Formen des Computerprogrammprodukts, des computerlesbaren Speichermediums, des Bewegungsabschätzungssystems sowie des Kraftfahrzeugs anzusehen. Das Bewegungsabschätzungssystem sowie das Kraftfahrzeug umfassen daher ein Mittel zur Durchführung des Verfahrens.
-
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsformen sowie aus den Zeichnungen. Die zuvor in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die in der nachfolgenden Beschreibung der Figuren genannten und/oder in den Figuren allein dargestellten Merkmale und Merkmalskombinationen können nicht nur in der jeweils angegebenen Kombination, sondern auch in jeder anderen Kombination oder allein verwendet werden, ohne vom Umfang der Erfindung abzuweichen.
-
Verschiedene Merkmale und Eigenschaften der Erfindung sind in den beigefügten Ansprüchen dargelegt. Die beigefügten Zeichnungen, die in diese Erfindung aufgenommen werden und einen Teil dieser bilden, veranschaulichen beispielhafte Ausführungsformen und dienen zusammen mit der Beschreibung zur Erläuterung der offenbarten Grundsätze. In den Figuren werden gleiche Nummern verwendet, um auf gleiche Merkmale und Komponenten hinzuweisen. Einige Ausführungsformen von Systemen und/oder Verfahren in Übereinstimmung mit den Ausführungsformen des vorliegenden Gegenstands werden im Folgenden nur beispielhaft und unter Bezugnahme auf die begleitenden Figuren beschrieben.
-
Die Zeichnungen zeigen in:
- 1 eine schematische Draufsicht in Übereinstimmung mit einer Ausführungsform auf ein Kraftfahrzeug, umfassend eine Ausführungsform eines Bewegungsabschätzungssystems; und
- 2 ein schematisches Flussdiagramm in Übereinstimmung mit einer Ausführungsform eines Verfahrens.
-
In den Figuren sind gleiche Elemente oder Elemente mit gleicher Funktion durch gleiche Bezugszeichen gekennzeichnet.
-
Im vorliegenden Dokument wird das Wort „beispielhaft“ im Sinne von „als Beispiel, Fall oder Veranschaulichung dienend“ verwendet. Eine beliebige hierin als „beispielhaft“ beschriebene Ausführungsform oder Implementierung des vorliegenden Gegenstands ist nicht unbedingt als bevorzugt oder vorteilhaft gegenüber anderen Ausführungsformen auszulegen.
-
Während hinsichtlich der Erfindung verschiedene Modifikationen und alternative Formen möglich sind, sind spezifische Ausführungsformen davon beispielhaft in der Zeichnung gezeigt und werden im Folgenden ausführlich beschrieben. Es sollte jedoch verstanden werden, dass nicht beabsichtigt wird, die Erfindung auf die besonderen Formen zu beschränken, die offenbart werden, sondern dass die Erfindung im Gegenteil alle Modifikationen, Äquivalente und Alternativen abdecken soll, die in den Umfang der Erfindung fallen.
-
Die Ausdrücke „umfasst“, „umfassend“ oder andere Variationen davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass eine Einrichtung, eine Vorrichtung oder ein Verfahren, die/das eine Liste von Komponenten oder Schritten umfasst, nicht nur diese Komponenten oder Schritte enthält, sondern auch andere Komponenten oder Schritte enthalten kann, die nicht ausdrücklich aufgeführt sind oder zu einer solchen Einrichtung Vorrichtung oder einem solchen Verfahren gehören. Mit anderen Worten, ein oder mehrere Elemente in einem System oder Gerät, denen „umfasst“ oder „umfassen“ vorangestellt ist, schließen nicht ohne weitere Einschränkungen das Vorhandensein anderer Elemente oder zusätzlicher Elemente in dem System oder Verfahren aus.
-
In der folgenden ausführlichen Beschreibung der Ausführungsform der Erfindung wird auf die beiliegenden Zeichnungen verwiesen, die Teil dieses Dokuments sind und in denen zur Veranschaulichung eine spezifische Ausführungsform gezeigt wird, in der die Erfindung durchgeführt werden kann. Diese Ausführungsform ist ausreichend detailliert beschrieben, um Fachpersonen auf dem Gebiet die Durchführung der Erfindung zu ermöglichen, und es versteht sich, dass auch andere Ausführungsformen verwendet und Änderungen vorgenommen werden können, ohne vom Umfang der vorliegenden Erfindung abzuweichen. Die nachfolgende Beschreibung ist daher nicht in einem einschränkenden Sinne zu verstehen.
-
1 zeigt eine schematische Draufsicht auf ein Kraftfahrzeug 10, das ein Bewegungsabschätzungssystem 12 umfasst. Das Bewegungsabschätzungssystem 12 umfasst mindestens eine Erfassungsvorrichtung 14 und eine elektronische Rechenvorrichtung 16, beispielsweise einen Mikroprozessor. Die Erfassungsvorrichtung 14 kann beispielsweise ein Radarsensor, ein LIDAR-Sensor, ein Ultraschallsensor oder eine Kamera sein. Mit der Erfassungsvorrichtung 14 kann eine Umgebung 18 des Kraftfahrzeugs 10 erfasst werden.
-
Ferner ist in der 1 ein Objekt 20, wie z. B. ein Fußgänger oder ein anderes Kraftfahrzeug, in der Umgebung 18 dargestellt. Das Objekt 20 ist in einem Zeitschritt t0 und in einem nachfolgenden Zeitschritt t1 dargestellt. Die Zeitschritte können auch als ein Zeitpunkt bezeichnet werden. Das Objekt 20 umfasst eine Vielzahl von Teilchen, die durch Pfeile 22 dargestellt sind. Insbesondere beschreiben die Pfeile 22 eine Teilchengeschwindigkeit jedes Teilchens des Objekts 20. Darüber hinaus ist im nachfolgenden Zeitschritt t1 ein weiterer Pfeil 24 dargestellt, der die Objektgeschwindigkeit des Objekts 20 repräsentiert.
-
Gemäß einer Ausführungsform zur Bewegungsabschätzung des Objekts 20 wird die Umgebung 18 des Kraftfahrzeugs 10 von der Erfassungsvorrichtung 14 erfasst. Die erfasste Umgebung 18 wird durch einen Teilchenfilter 26 der elektronischen Rechenvorrichtung 16 gefiltert. Der Teilchenfilter 26 kann zum Beispiel ein Softwaremodul sein, das von der elektronischen Rechenvorrichtung 16 ausgeführt werden kann. Eine Gitterkarte 28 (2) der Umgebung 18, die eine Vielzahl von Gitterzellen umfasst, wird unter Verwendung des Ergebnisses des Teilchenfilters 26 in dem Zeitschritt t0 erzeugt. Die Rechenvorrichtung kann jede Zelle der Gitterkarte 28 dem Objekt 20 in Abhängigkeit von einer erfassten Geschwindigkeit der Zelle, die durch die Teilchen repräsentiert werden kann, im Zeitschritt t0 zuordnen. Die vorgenannten Schritte werden für den nachfolgenden Zeitschritt t1 wiederholt. Eine Objektspur 30 (2), die auch durch den weiteren Pfeil 24 dargestellt werden kann, wird im Zeitschritt t0 und im nachfolgenden Zeitschritt t1 auf den zugeordneten Gitterzellen erzeugt. Die Bewegung des Objekts 20 wird in Abhängigkeit von der erzeugten Objektspur 30 geschätzt.
-
Die Gitterkarte 28 stellt eine Karte der Umgebung als gleichmäßig verteiltes Feld binärer Zufallsvariablen dar, von denen jede das Vorhandensein eines Objekts 20 an diesem Ort in der Umgebung repräsentiert. Belegungsgitteralgorithmen berechnen ungefähre posteriore Schätzungen für diese Zufallsvariablen. Eine Objektspur 30 ist eine Variable, die zumindest die Bewegungsrichtung des Objekts 20 beschreibt. Im Bereich der Softwareentwicklung und -anwendung ist ein Filter eine (Teil-)Funktion eines Programms, das eingehende Daten nach vordefinierten Kriterien prüft und nur die Daten, die den Kriterien entsprechen, zur weiteren Verarbeitung weiterleitet oder an den Ausgangsdatenstrom weitergibt.
-
Insbesondere wird, wie in der 1 gezeigt, eine Zelle-zu-Objekt-Zuordnungswahrscheinlichkeit unter Verwendung der räumlichen Nähe und der Ähnlichkeit der Semantik der Zellen berechnet. Darüber hinaus wird, wenn eine Zelle außerhalb des Objekts 20 fällt, eine neue Objektspur durch die Rechenvorrichtung 16 eingeleitet. 1 kann auch zeigen, dass die Zellen im Inneren des Objekts 20 mehrere Bewegungsabschätzungen bereitstellen können. Die endgültige Bewegungsabschätzung basiert dann auf einer Kombination aus der Objektgeschwindigkeit und der Geschwindigkeit der Zellen im Inneren des Objekts 20.
-
2 zeigt ein schematisches Flussdiagramm in Übereinstimmung mit einer Ausführungsform eines Verfahrens, das von der elektronischen Rechenvorrichtung 16 durchgeführt werden kann. Insbesondere zeigt die 2, dass in einer Ausführungsform eine gitterbasierte Geschwindigkeit 32 und/oder eine gitterbasierte Semantik 34 und/oder eine gitterbasierte Belegung 36 verwendet werden, um jede Zelle der Gitterkarte 28 dem Objekt 20 zuzuordnen. Der gitterbasierte Ansatz stellt die Darstellung einer Szene aus der Vogelperspektive bereit, wobei mehrere Ebenen, beispielsweise die Semantik 34, die Belegung 36 und die Geschwindigkeit 32 für jede Zelle in der Szene unabhängig voneinander verwendet werden. Die Gitterinformationen werden ebenso wie die Sensor-Rohdaten als Eingabe in das System verwendet.
-
Insbesondere ist die Belegung des Objekts 20 in der Gitterkarte 28 sogar bereits zu Beginn der Spur 30 verfügbar, während die Teilchenfiltergeschwindigkeit erst nach einigen Zyklen oder Iterationen verfügbar wird. Die Nutzung der Belegung zur Schätzung der Objektbewegung zwischen aufeinanderfolgenden Zeitrahmen oder Zeitschritten wird bereitgestellt. Die alleinige Verwendung des Durchschnitts der Zellgeschwindigkeiten kann zu falschen Geschwindigkeitsabschätzungen zu Beginn des Objekts 20 führen und wenn das Objekt 20 ein Manöver durchführt. Somit wird die Geschwindigkeitsabschätzung unter Verwendung der objektbasierten Verfolgung für solche leistungsschwachen Szenarien korrigiert.
-
Wenn das Objekt 20 um das Kraftfahrzeug 10 herum eine Kurve fährt, können die Teilchenfiltergeschwindigkeiten während des Manövrierens voneinander abweichen. Der vorgeschlagene, oben beschriebene Ansatz ermöglicht in solchen Szenarien eine Korrektur zusätzlich zu einer Spureinleitung, was bedeutet, dass eine neue Objektspur 30 für das Objekt 20 eingeleitet wird.
-
Zum Beispiel kann ein maschinelles Lernsystem gemäß des implementierten Verfahrens auch entwickelt werden, um einen einzelnen Gesamtgeschwindigkeitsvektor unter Verwendung von Teilchen und der Objektspur 30 zu erzeugen. Merkmale in das maschinelle Lernsystem können beispielsweise Teilchenpositionen, Teilchengeschwindigkeiten, Teilchendauer, Objektzentrum im vorherigen Rahmen/Zeitschritt, Objektzentrum im aktuellen Rahmen/Zeitschritt, Objektkontur, Zellsemantik, Objektsemantik und Objekt-Trajektorie sein. Teilchen in der Nähe der unsichtbaren Seite, die von der Erfassungsvorrichtung 14 nicht gesehen/erfasst wird, der Kontur von dem Kraftfahrzeug 10 sind weniger zuverlässig und werden daher vom vorgeschlagenen Bewegungsabschätzungssystem 12 unterdrückt. Teilchen in der Nähe des Kraftfahrzeugs 10 stellen zuverlässigere Geschwindigkeitsabschätzungen bereit. Alle oben genannten, von Hand entwickelten Merkmale werden einem überwachten maschinellen Lernsystem wie einem neuronalen Netz oder einer Support Vector Machine zugeführt, um eine Geschwindigkeitsabschätzung für das Objekt 20 zu erzeugen.
-
Der gitterbasierte Ansatz, der in der 2 dargestellt ist, stellt die Darstellung der Umgebung 18 aus der Vogelperspektive bereit, wobei mehrere Ebenen, z. B. die semantische Ebene, die Belegungsebene und die Geschwindigkeitsebene, für jede Zelle in der Szene unabhängig voneinander verwendet werden. Die Gitterinformationen können als Eingabe für das Bewegungsabschätzungssystem 12 verwendet werden, ebenso wie die Sensor-Rohdaten. In einem ersten Schritt S1 wird die Zuordnung von Spuren und Zellen unter Verwendung der räumlichen Nähe und der Semantik durchgeführt. Eine Eingabe des ersten Schritts S1 sind daher die Spuren 30, die zum Beispiel aus einer Trajektorienplanung, einer Kinematikplanung oder einer Erscheinungsbildplanung stammen können. Ein zweiter Schritt S2 kann durch Vorhersage der Spuren 30 durchgeführt werden. In einem dritten Schritt S3 werden die Zellen den vorhergesagten Spuren zugewiesen. Parallel dazu kann ein vierter Schritt S4 durchgeführt werden, in dem nicht zugeordnete Zellen geclustert und eine neue Spur eingeleitet werden kann. Die Schritte S1 bis S4 zeigen insbesondere, dass jede Zelle auf die vorhergesagten Spuren 30 projiziert wird. Die Spurbeibehaltung kann parallel erfolgen, wie z. B. die Vorhersage, Aktualisierung und das Schneiden der Spuren, wobei die Aktualisierung in einem fünften Schritt S5 und das Schneiden in einem sechsten Schritt S6 dargestellt wird. Ein Teilchen/eine Zelle gehört zum Objekt 20, wenn das Teilchen in die Kontur des Objekts 20 fällt. Die Teilchen-zu-Objekt-Zuordnungswahrscheinlichkeit wird unter Verwendung der räumlichen Nähe und der Ähnlichkeit der Semantik berechnet. Für Teilchen, die außerhalb des Objekts 20 fallen, wird eine neue Spur eingeleitet.
-
In einem siebten Schritt S7 wird die Aktualisierung der Spurpositionen und der Geschwindigkeit unter Verwendung vorheriger und aktueller Belegungsgitterkarten 28 durchgeführt. In einem achten Schritt S8 wird eine Berechnung der Wahrscheinlichkeit, dass eine Zelle zur Spur 30 gehört, unter Verwendung von semantischer, Positions- und Geschwindigkeitsähnlichkeit mit der Spur durchgeführt. In einem neunten Schritt S9 kann eine Modifizierung der Objektgeschwindigkeit unter Verwendung des Ansatzes der Expertenmischung (MoE) durchgeführt werden.
-
Insbesondere zeigen die Schritte S7 bis S9, dass die Objektspuren 30 unter Verwendung des Belegungsgitters zum vorherigen Zeitpunkt t0 und zum aktuellen/nachfolgenden Zeitschritt t1 aktualisiert werden. Dies stellt einen einzigen Bewegungsvektor, der durch den Pfeil 24 dargestellt wird, für das gesamte Objekt 20 bereit, wohingegen die Teilchen innerhalb des Objekts 20 mehrere Bewegungsabschätzungen bereitstellen.
-
Die endgültige Bewegungsabschätzung ist eine Kombination aus der Objektgeschwindigkeit und der Geschwindigkeit der Teilchen innerhalb des Objekts 20. Es wird zum Beispiel ein maschinelles Lernsystem vorgeschlagen, das die oben genannten Attribute verwendet und eine genauere Geschwindigkeit für das Objekt vorhersagt.
-
Insbesondere ist das oben beschriebene Verfahren ein computerimplementiertes Verfahren. Ein weiterer Aspekt der Erfindung betrifft daher ein Computerprogrammprodukt mit Programmcodemitteln, die die elektronische Rechenvorrichtung 16 dazu veranlassen, ein Verfahren gemäß dem vorgenannten Aspekt durchzuführen. Ferner betrifft die Erfindung ein computerlesbares Speichermedium, das ein Computerprogrammprodukt gemäß dem vorgenannten Aspekt umfasst.
-
Bezugszeichenliste
-
- 10
- Kraftfahrzeug
- 12
- Bewegungsabschätzungssystem
- 14
- Erfassungsvorrichtung
- 16
- elektronische Rechenvorrichtung
- 18
- Umgebung
- 20
- Objekt
- 33
- Pfeil
- 24
- weiterer Pfeil
- 26
- Computerprogrammprodukt
- 28
- Gitterkarte
- 30
- Spur
- 32
- gitterbasierte Geschwindigkeit
- 34
- gitterbasierte Semantik
- 36
- gitterbasierte Belegung
- S1-S9
- Schritte des Verfahrens
- t0
- Zeitschritt
- t1
- nachfolgender Zeitschritt
