DE102017208245A1

DE102017208245A1 - Verfahren und Vorrichtung zur zielbasierten Prädiktion dynamischer Objekte

Info

Publication number: DE102017208245A1
Application number: DE102017208245.3A
Authority: DE
Inventors: Stefan Kerscher; Norbert Balbierer; Sebastian Kraust; Nikolaus Müller
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive GmbH
Priority date: 2017-05-16
Filing date: 2017-05-16
Publication date: 2018-11-22
Also published as: CN110168312A; DE112018000117A5; CN110168312B; WO2018210382A1

Abstract

Verfahren zum Schätzen einer zukünftigen Trajektorie eines Objektes mit den Schritten:
- Generieren von Zielpositionen des Objektes,
- Bestimmen einer Wahrscheinlichkeit dafür, dass das Objekt die jeweilige Zielposition ansteuert,
- Auswählen der Zielpositionen mit der höchsten Wahrscheinlichkeit und Festlegen als Ziel des Objektes,
- Bestimmen einer Trajektorie des Objektes von seiner aktuellen Position zu dem Ziel.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur zielbasierten Prädiktion dynamischer Objekt. Basierend auf der Prädiktion eines zukünftigen Ziels wird eine Trajektorie des Objektes bestimmt und diese Trajektorie zur Steuerung eines Fahrzeugs verwendet.
Stand der Technik
Aus der DE 10 2008 049 824 B4 ist die Prädiktion der Bewegung von Personen bekannt, welche ein Mobiltelefon mit sich tragen. Hierbei wird die Erkennung des zu prädizierenden Objektes durch das Empfangen von Nachrichten vom Mobiltelefon realisiert. Aus der Historie der empfangenen Nachrichten wird eine Trajektorie des Objektes bestimmt.
EP 2 562 060 B1 offenbart die Prädiktion von dynamischen Objekten auf Autobahnen, wobei Autobahnen eine sehr gut strukturierte Umgebung darstellen. Ferner werden zukünftige Manöver von Verkehrsteilnehmer aus dem Kontext geschätzt und gemessenen Bewegungen mit intern vorhandenen Bewegungsmodellen verglichen. Die beiden gewonnenen Aussagen werden auf Übereinstimmung verglichen und die weitere Bewegung daraus extrapoliert.
EP 2 382 609 B1 zeigt ein Verfahren zum Voraussagen von Bewegungen durch Variation von Bewegungsgrößen durch ein vorab trainiertes Modell, wobei alle physikalisch möglichen Bewegungen betrachtet und anschließend durch Hauswände, Straßenverläufe, usw. eingeschränkt werden.
Aufgabe und Lösung
Aufgabe der vorliegenden Erfindung ist es, die Voraussagegenauigkeit der Trajektorie von Objekten zu verbessern.
Gelöst wird die Aufgabe durch ein Verfahren gemäß dem unabhängigen Anspruch und eine System gemäß dem Nebenanspruch. Weitere vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
Das erfindungsgemäße Verfahren zum Schätzen einer zukünftigen Trajektorie eines Objektes weist folgende Schritte auf, Generieren von Zielpositionen des Objektes, Bestimmen einer Wahrscheinlichkeit dafür, dass das Objekt die jeweilige Zielposition ansteuert, Auswählen der Zielposition mit der höchsten Wahrscheinlichkeit und Festlegen als Ziel des Objektes und Bestimmen einer Trajektorie des Objektes von seiner aktuellen Position zu dem Ziel.
Bevorzugt kann die Wahrscheinlichkeit mittels eines Bayesschen Netzes, oder Neuronales Netzes, oder Support Vector Machine, oder Clusteranalyse bestimmt werden.
In vorteilhafter Weise lassen sich mittels dieser Methoden die Wahrscheinlichkeiten für das Ansteuern der potentiellen Zielpositionen durch das Objekt berechnen und vergleichbar machen.
In einer weiteren Ausgestaltung der Erfindung kann die Trajektorie des Objektes durch Luftlinie oder A*-Algorithmus oder Potentialfeldmethode oder Sampling Methoden oder State Lattice oder Rapid exploring random trees bestimmt werden.
In vorteilhafter Weise lässt sich mit diesen Methoden die Trajektorie in Abhängigkeit der vorhandenen Informationen berechnen und gegeben falls fortlaufend anpassen.
In vorteilhafter Weise ist ein Point of Interest ein Ort, der durch besondere Eigenschaften eine hohe Anziehungskraft auf Objekte einer speziellen Klasse aufweist. Beispielsweise kann es sich um eine Fußgängerampel, ein Zebrastreifen oder eine Bushaltestelle für Fußgänger handeln.
Weiter bevorzugt kann die Wahrscheinlichkeit ferner durch Klassifizieren der Zielposition angepasst werden, wenn die Zielposition ein Point of Interest ist oder innerhalb des Bewegungsumfelds des Objektes liegt oder ein Weg zur Zielposition versperrt ist oder Verkehrsgesetze oder Verkehrsschilder ein Erreichen der Zielposition verbieten.
In vorteilhafter Weise kann dadurch die ermittelte Trajektorie weiter verbessert werden, weil durch Hindernisse oder Verkehrszeichen unmögliche Trajektorien angepasst werden, beispielsweise kann die physikalischen Bewegungsmöglichkeiten eines Fußgängers oder die Beschleunigungsmöglichkeit eines Fahrzeugs berücksichtigt werden. Ferner können auch Verkehrsregel berücksichtig werden, beispielsweise ist an Fußgängerüberwegen mit Fußgänger zu rechnen, jedoch nicht auf Autobahnen.
Bevorzugt kann ein Unsicherheitsfaktor der Trajektorie aus der Wahrscheinlichkeit bestimmt werden.
In vorteilhafter Weise kann so eine Bewertung der ermittelten Trajektorie erfolgen, um etwaige Abweichungen des Objektes von der Trajektorie frühzeitig zu erkennen.
Weiter bevorzugt kann der Unsicherheitsfaktor ferner durch einen Kalman Filter oder Unscented Kalman Filter oder Extended Kalman Filter oder Partikel Filter bestimmt werden.
In vorteilhafter Weise ermöglichen diese Filter ein fortlaufendes Berechnen der Abweichung der Trajektorie von der ursprünglichen Trajektorie, sodass bei einer zu großen Abweichung eine Korrektur durchgeführt werden kann.
In einer weiteren Ausgestaltung der Erfindung können die Zielpositionen aus einem Navigationssystem stammen oder als Point of Interest des Objektes bekannt sein.
In vorteilhafter Weise können so bekannte Informationen aus Karten, wie beispielsweise Höhenlinien, oder weiteren Quellen für die Voraussage der Zielpositionen verwendet werden.
Bevorzugt kann die Zielpositionen durch sicherheitsrelevante Aspekte oder übliche bewegungsrelevante Aspekte generiert werden.
In vorteilhafter Weise können beispielsweise physiologische Grenzwerte eines Menschen oder Fußgängerüberwege bei der Auswahl der potentiellen Zielpositionen berücksichtigt werden.
Weiter bevorzugt kann die Wahrscheinlichkeit fortdauernd bestimmt und die Trajektorie an die Wahrscheinlichkeit angepasst werden.
In vorteilhafter Weise ist daher ein fortlaufendes Vorhersagen der Trajektorie anhand der wahrscheinlichsten Zielposition möglich.
Erfindungsgemäß ist ein System in einem Fahrzeug mit einem Umfelderfassungssystem eingerichtet ein Verfahren gemäß einer der vorherigen bevorzugten Ausgestaltung auszuführen.
Bevorzugt kann das Umfelderfassungssystem zumindest einen Radarsensor oder eine Kamera oder ein LIDAR umfassen.
Figurenliste
In einem ersten Schritt werden mögliche Zielpositionen der Objekte generiert. In den 1 bis 5 sind dafür Beispiele dargestellt.

1 zeigt ein Beispiel für das Generieren einer Zielposition eines Fußgängers. Das Fahrzeug 1 bewegt sich innerhalb seines Fahrschlauchs 3. Außerhalb der Straße 11 wird ein Fußgänger als Objekt 7 erkannt. Der Fußgänger 7 könnte den Fahrschlauch 3 des Fahrzeugs 1 durchqueren. Dafür wird eine mögliche Zielposition 9 des Fußgängers 7 derart generiert, dass eine senkrechte 15 Achse 13 auf der Mittellinie 5 des Fahrschlauchs 3 gebildet wird und die Zielposition 9 des Fußgängers 7 von der Mittellinie 5 den gleichen Abstand hat wie der Fußgänger 7 von der Mittellinie 5 des Fahrschlauchs 3.
2 zeigt ein weiteres Beispiel für das Generieren einer Zielposition eines Fußgängers. Das Fahrzeug 1 bewegt sich innerhalb seines Fahrschlauchs 3. Ein Fußgänger wird als Objekt 7 innerhalb des Fahrschlauchs 3 erkannt. Der Fußgänger 7 könnte den Fahrschlauch 3 des Fahrzeugs 1 in zwei Richtungen verlassen. Zwei mögliche Zielposition 9, 11 des Fußgängers 7 werden derart generiert, dass eine senkrechte Achse 13 auf der Mittellinie 5 des Fahrschlauchs 3 gebildet wird und die Zielpositionen 9, 10 des Fußgängers 7 außerhalb des Fahrschlauchs 3 liegen.
3 zeigt ein Beispiel für das Generieren einer Zielposition eines stehenden Fußgängers. Das Fahrzeug 1 bewegt sich innerhalb seines Fahrschlauchs 3. Außerhalb der Straße 11 wird ein Fußgänger als Objekt 17 erkannt. Der Fußgänger 7 könnte am Straßenrand stehen und sich nicht bewegen. Für diesen Fall wird eine mögliche Zielposition 19 des Fußgängers 17 am Standort des Fußgängers 19 generiert.
4 zeigt ein weiteres Beispiel für das Generieren von Zielpositionen eines Fußgängers. Das Fahrzeug 1 bewegt sich innerhalb seines Fahrschlauchs 3. Außerhalb der Straße 11 wird ein Fußgänger als Objekt 7 erkannt. Der Fußgänger 7 könnte entlang der Straße 11 gehen. Es werden daher mögliche Zielpositionen 10, 10a auf der Fahrzeugseite des Fußgängers 7 generiert. Ferner werden noch mögliche Zielpositionen 9, 9a auf der gegenüberliegenden Fahrzeugseite generiert, da diese Zielpositionen auch für weitere Fußgänger interessant sein könnten. Die Zielpositionen 9, 9a könnte der Fußgänger 7 durch ein Durchqueren des Fahrschlauchs 3 erreichen und so eine Kombination mit dem Beispiel der 1 erreicht werden.
5 zeigt ein weiteres Beispiel für das Generieren einer Zielposition eines Fußgängers. Das Fahrzeug 1 bewegt sich innerhalb seines Fahrschlauchs 3. Außerhalb der Straße 11 wird ein Fußgänger als Objekt 7 erkannt. Der Fußgänger 7 könnte sich von der Straße 11 wegbewegen. Die Zielposition 21 wird daher durch eine senkrechte 15 Achse auf die Mittellinie 5 des Fahrschlauchs 3 gebildet und der Abstand der Zielposition 21 von der Mittellinie 5 ist doppelt so groß wie der Abstand des Fußgängers 7 von der Mittellinie 5.

In einem zweiten Schritt werden Wahrscheinlichkeiten für das Ansteuern der potentiellen Zielpositionen ermittelt.
6 zeigt ein Beispiel für das Klassifizieren der Zielpositionen nach der jeweiligen Wahrscheinlichkeit für das Ansteuern durch das Objekt. Abgebildet ist ein bayessches Netzt 40 und bewertet wird ein angenommener Zielpunkt 41 durch Einordnen in verschiedene Kategorien.
Eingänge für das bayessches Netz sind beispielsweise ein Fußgänger und seine möglicher Zielpositionen 41 (target point, TP). Für jede mögliche Zielposition 41 wird die Wahrscheinlichkeit dafür berechnet, ob diese Zielposition 41 ein Ziel für den Fußgänger sein kann.
Es wird also überprüft, ob die Zielposition 41 beispielsweise in einem fußgängertypischen Bereich liegt 42 (is on pedest area), oder ob der Fußgänger in Richtung der Zielposition schaut 43 (heading to TP), oder ob der Fußgänger sich in Richtung der Zielposition dreht 44 (yawrate to TP), oder ob der Fußgänger seine Geschwindigkeitskomponente in Richtung der Zielposition hat 45 (velocity to TP), oder ob der Fußgänger in Richtung der Zielposition beschleunigt 46 (acceleration to TP), oder ob der Fußgänger am Erreichen der Zielposition durch eine Verkehrsregel gehindert ist 47 (blocked by law), oder ob der Fußgänger am Erreichen der Zielposition durch ein Hindernis gehindert ist 48 (blocked by object), oder ob die Zielposition in der Nähe eines für den Fußgänger interessanten Bereichs liegt 49 (is point of interest), oder ob der Fußgänger die Zielposition hält 51 (is stay point), er also statisch ist.
In einem dritten Schritt wird eine Trajektorie des Objektes zum wahrscheinlichsten Zielpunkt bestimmt.
In einem vierten Schritt erfolgt eine Unsicherheitsabschätzung der bestimmten Trajektorie. Die in den 7 bis 10 dargestellte Unsicherheitsabschätzung nimmt beispielsweise an, dass ein Fußgänger als Objekt sich stets auf dem kürzesten Weg zu seinem Ziel bewegen wird.
7 zeigt eine bestimmte Trajektorie besteht aus mehreren Trajektorienpunkten 61, 63, 65 zwischen Standort X0 des Objektes und dem ermittelten Ziel T0, wobei für jeden Trajektorienpunkt 61, 63, 65 eine Kovarianzmatrix berechnet wird. Wird das Objekt X0 zum ersten Mal detektiert, erfolgt ein Initialisierungsschritt, in welchem die Kalman Matrizen initialisiert und ein erster kürzester Weg zum Ziel T0 geplant wird. Auch die Kovarianzmatrix der geschätzten Unsicherheit wird initialisiert. Alle Trajektorienpunkte 61, 63, 65 sind mit den initialisierten Unsicherheiten belegt, was in der 7 durch Kreisen um die Trajektorienpunkte 61, 63, 65 verdeutlicht wird.
8 zeig die weitere Bestimmung der Trajektorie nach einem Zeitschritt k, nachdem eine neue Messung des Objektes an der Position X1 gemacht wurde. Diese Messung ist in der 8 unterhalb des Pfades der Trajektorie gezeigt. Da die Aktualisierungsrate nicht notwendiger Weise mit der zeitlichen Distanz zwischen den Trajektorienpunkten 61, 63, 65 des kürzesten Pfads übereinstimmen muss, wird eine Position Xlint in der vormals berechneten Trajektorie ermittelt, die zeitlich zur Position X1 passt. Diese interpolierte Position Xlint wird als Kalman Zustand gesetzt. In der 8 befindet sich die Position Xlint zwischen X0 und dem nächsten Trajektorienpunkt 61.
Anschließend wird ein Update-Schritt des Kalman Filters ausgeführt und somit die Position Xlupdate berechnet, welche in 9 dargestellt ist. Die Position Xlupdate befindet sich zwischen Xlint und X1. Der Abstand von Xlint und Xlupdate ist durch das Systemrauschen Q bedingt. Das Systemrauschen Q kann durch die folgende Matrix berechnet werden. Die Variablen sind wie folgt definiert: K ist der Zeitpunkt der Messung, x und y sind die Koordinaten im Raum. $Q_{k} = (\begin{matrix} f (| x_{k i n t} - x_{k u p} |) & 0 & 0 & 0 \\ 0 & f (| y_{k i n t} - y_{k u p} |) & 0 & 0 \\ 0 & 0 & f (| {\dot{x}}_{k i n t} - {\dot{x}}_{k u p} |) & 0 \\ 0 & 0 & 0 & f (| {\dot{y}}_{k i n t} - {\dot{y}}_{k u p} |) \end{matrix})$
Durch das Ändern von Q kann die sich ändernde Unsicherheit der Prädiktion modelliert werden. Je schlechter die Prädiktion zu den tatsächlich gemessenen Zuständen passt, umso unsicherer wird die Prädiktion und das Systemrauschen Q erhöht sich. Folgt ein Objekt der Prädiktion gut, unterscheiden sich die prädizierten Zustände wenig von der Wirklichkeit und das Systemrauschen Q bleibt klein.
In 10 ist ein aus Q gebildetes Update der Trajektorie des Objektes zum Ziel dargestellt. Von der neuen geschätzten Position Xlupdate wird eine Trajektorie zum Ziel T0 berechnet. Für jeden Trajektorienpunkt 61, 63, 65 wird der Prädiktionsschritt des Kalman Filters für die Kovarianz Matrizen ausgeführt. Die sich daraus ergebenden Positionen 62, 64, 66 der Kovarianzmatrix sind in 10 mit Fehlerellipsen eingetragen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102008049824 B4 [0002]
EP 2562060 B1 [0003]
EP 2382609 B1 [0004]

Claims

Verfahren zum Schätzen einer zukünftigen Trajektorie eines Objektes mit den Schritten: - Generieren von Zielpositionen des Objektes, - Bestimmen einer Wahrscheinlichkeit dafür, dass das Objekt die jeweilige Zielposition ansteuert, - Auswählen der Zielposition mit der höchsten Wahrscheinlichkeit und Festlegen als Ziel des Objektes, und - Bestimmen einer Trajektorie des Objektes von seiner aktuellen Position zu dem Ziel.
Verfahren gemäß Anspruch 1, wobei die Wahrscheinlichkeit mittels eines - Bayesschen Netzes, oder - Neuronales Netzes, oder - Support Vector Machine, oder - Clusteranalyse bestimmt wird.
Verfahren gemäß einer der vorherigen Ansprüche, wobei die Trajektorie des Objektes durch - Luftlinie, oder - A*-Algorithmus, oder - Potentialfeldmethode, oder - Sampling Methoden, oder - State Lattice, oder - Rapid exploring random trees bestimmt wird.
Verfahren gemäß einer der vorherigen Ansprüche, wobei die Wahrscheinlichkeit ferner durch Klassifizieren der Zielposition angepasst wird, wenn die Zielposition - ein Point of Interest ist, oder - innerhalb des Bewegungsumfeld des Objektes liegt, oder - ein Weg zur Zielposition versperrt ist, oder - Verkehrsgesetze oder Verkehrsschilder ein Erreichen der Zielposition verbieten.
Verfahren gemäß einer der vorherigen Ansprüche, wobei ein Unsicherheitsfaktor der Trajektorie aus der Wahrscheinlichkeit bestimmt wird.
Verfahren gemäß Anspruch 5, wobei der Unsicherheitsfaktor ferner durch einen - Kalman Filter, oder - Unscented Kalman Filter, oder - Extended Kalman Filter, oder - Partikel Filter bestimmt wird.
Verfahren gemäß einer der vorherigen Ansprüche, wobei die Zielpositionen aus einem Navigationssystem stammen oder als Point of Interest des Objektes bekannt sind.
Verfahren gemäß einer der vorherigen Ansprüche, wobei die Zielpositionen durch - sicherheitsrelevante Aspekte, oder - übliche bewegungsrelevante Aspekte generiert werden.
Verfahren gemäß einer der vorherigen Ansprüche, wobei die Wahrscheinlichkeit fortdauernd bestimmt und die Trajektorie an die Wahrscheinlichkeit angepasst wird.
System in einem Fahrzeug mit einem Umfelderfassungssystem , das eingerichtet ist ein Verfahren gemäß einer der vorherigen Ansprüche auszuführen.