-
Die
Erfindung betrifft ein Verfahren zur Erfassung und Vorhersage von
Aktionen eines oder mehrerer bewegter Objekte, bei dem eine aktuelle
Bewegung des Objektes mittels zumindest einer Erfassungseinheit
erfasst und aus der aktuellen Bewegung eine Bewegungstrajektorie
ermittelt wird, wobei die Bewegungstrajektorie und/oder ein Teilabschnitt der
Bewegungstrajektorie mit einer Referenztrajektorie und/oder Teilabschnitten
der Referenztrajektorie verglichen wird.
-
Es
ist aus mehreren Anwendungsgebieten im Stand der Technik, beispielsweise
bei Fahrerassistenzsystemen oder in der mobilen Robotik, bekannt,
anhand einer erfassten Bewegung eines Objektes eine zukünftige
Bewegung desselben zu prognostizieren und anhand der Prognose eine
Bewegung eines weiteren Objektes, beispielsweise eines Fahrzeuges
oder eines Roboters, zu steuern. Zu dieser Prognose der zukünftigen
Bewegung des Objektes existieren im Stand der Technik verschiedenartige
Lösungen.
-
Aus
der
DE 10 2007
052 763 A1 ist ein Verfahren zur Vorhersage einer Aktion
eines bewegten Objektes, bei dem eine Bewegung des Objektes verfolgt
und mit mindestens einer Referenzbewegung verglichen wird. Dabei
wird aus einer dreidimensionalen Bewegung des Objektes während
der Verfolgung fortschreitend eine Trajektorie gebildet, wobei die
Trajektorie in semantisch relevante Abschnitte segmentiert wird.
Weiterhin werden die Trajektorie und/oder deren semantisch relevante
Abschnitte während der Verfolgung mit mindestens einer
Referenztrajektorie, die einer bestimmten Aktion zugeordnet ist,
und/oder semantisch relevanten Abschnitten der Referenztrajektorie
verglichen.
-
In ”Ka
Keung Lee, Yangsheng Xu: Boundary modeling in human walking trajectory
analysis for surveillance; In: Robotics and Automation, 2004. Proceedings.
ICRA '04. 2004 IEEE International Conference an Volume 5, Issue,
26 April-1 May 2004 Page(s): 5201–5205” werden
mehrere Verfahren zur Wiedererkennung menschlicher Bewegungsabläufe beschrieben,
mittels denen eine Ähnlichkeit zwischen verschiedenen Formen
der menschlichen Bewegungsabläufe ermittelt werden. Zur
Ermittlung von Positions- und Geschwindigkeitsgrenzen, welche für die
Ermittlung einer Messgröße für die Ähnlichkeit
erforderlich sind, werden die Funktionen verschiedener Ansätze,
einschließlich mittels einer so genannten ”Longest-Common-Subsequence-Methode” ermittelte
Grenzwerte, feste Grenzwerte, variable Grenzwerte, mittels einer
so genannten Vektor-Regression erlernbare Grenzwerte und mittels
kaskadierter neuronaler Netze erlernbare Grenzwerte, beschrieben. Weiterhin
wird die Ermittlung einer Messgröße für
die Ähnlichkeit dargestellt, welche mittels eines so genannten
Hidden-Markov-Prozesses ermittelt wird.
-
Der
Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Erfassung
und Vorhersage von Aktionen eines oder mehrerer bewegter Objekte
anzugeben, welches eine langfristige und sehr genaue Prognose einer
Bewegung eines Objektes ermöglicht.
-
Die
Aufgabe wird erfindungsgemäß durch die im Anspruch
1 angegebenen Merkmale gelöst.
-
Vorteilhafte
Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei
dem erfindungsgemäßen Verfahren zur Erfassung
und Vorhersage von Aktionen eines oder mehrerer bewegter Objekte
wird eine aktuelle Bewegung des Objektes mittels zumindest einer
Erfassungseinheit erfasst und aus der aktuellen Bewegung eine Bewegungstrajektorie
ermittelt, wobei die Bewegungstrajektorie und/oder ein Teilabschnitt
der Bewegungstrajektorie mit Referenztrajektorien und/oder Teilabschnitten
der Referenztrajektorien verglichen wird. Erfindungsgemäß wird
ein Maß für eine Ähnlichkeit zwischen
der Bewegungstrajektorie und zumindest einer Referenztrajektorie
und/oder zwischen einem Teilabschnitt der Bewegungstrajektorie und
zumindest einem Teilabschnitt der zumindest einen Referenztrajektorie
anhand einer Longest-Common-Subsequence-Methode mit einer rotationsinvarianten
Metrik ermittelt, wobei anhand des Maßes der Ähnlichkeit
zumindest eine Hypothese einer zukünftigen Bewegung des
Objektes erzeugt wird.
-
Die
auf dem Vergleich der Bewegungstrajektorie und der Referenztrajektorien
basierende Hypothese der zukünftigen Bewegung des Objektes,
beispielsweise eines Fahrzeuges oder von Personen, ermöglicht
eine langfristige und sehr genaue Vorhersage des Bewegungsverhaltens,
insbesondere im Bereich mehrerer Sekunden. Darüber hinaus
werden die von den Objekten durchgeführten Aktionen, beispielsweise
ein ”Geradausfahren” oder ein ”Abbiegen” für
Fahrzeuge und/oder ein ”Stehen bleiben” oder ”Eine
Straße überqueren” für Fußgänger,
sehr frühzeitig erkannt, wobei die langfristige Vorhersage von
hoher Relevanz für eine Situationsanalyse und Aktionsplanung,
beispielsweise mit dem Ziel einer Kollisionsvermeidung zwischen
Fahrzeugen und/oder Fahrzeugen mit anderen Objekten, ist. Die Verwendung
der rotationsinvarianten Metrik ermöglicht in besonders
vorteilhafter Weise, dass die Zuordnung der Bewegungstrajektorie
zu der erfassten Bewegung in einer betrachteten Situation unabhängig
von einem Blickwinkel der Erfassungseinheit erfolgen kann, woraus
eine Verringerung einer erforderlichen Anzahl von Referenztrajektorien
resultiert, welche wiederum eine Verringerung eines notwendigen
Speicherbedarfs einer Speichereinheit ermöglicht.
-
Das
erfindungsgemäße Verfahren eignet sich dabei besonders
zur Anwendung in Fahrerassistenzsystemen eines Fahrzeuges, wobei
die Fahrerassistenzsysteme anhand von mittels einer oder mehrerer
Erfassungseinheiten, wie beispielsweise anhand von Kameras, Radar-
und/oder Lidarsensoren erfasster Umgebungsdaten gesteuert werden.
In diesem Zusammenhang wird der Vergleich der aktuellen Bewegungstrajektorie
mit der Referenztrajektorie und/oder deren Teilabschnitte auch zu
einer Fusionierung mehrerer Objekthypothesen eingesetzt, welche üblicherweise
von verschiedenen Erfassungseinheiten oder von verschiedenen auf
denselben Daten der Erfassungseinheiten operierenden Auswerteverfahren
geliefert werden. Dies ist in besonders Gewinn bringender Weise
ohne weiteres möglich, da eine Repräsentation
der Bewegungstrajektorie und die Referenztrajektorie unabhängig
von der verwendeten Erfassungseinheit sind.
-
Ausführungsbeispiele
der Erfindung werden im Folgenden anhand von Zeichnungen näher
erläutert.
-
Dabei
zeigen:
-
1 schematisch
ein Wegdiagramm mit einer Referenztrajektorie und einer aktuellen
Bewegungstrajektorie,
-
2 schematisch
eine Straßenkreuzung mit möglichen zukünftigen
Bewegungen eines Fahrzeuges, und
-
3 schematisch
eine Einmündung mit zukünftigen möglichen
Bewegungen eines Fahrzeuges.
-
Einander
entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen
versehen.
-
In 1 ist
ein Wegdiagramm mit einer Referenztrajektorie RT und einer aktuellen
Bewegungstrajektorie BT eines in 2 näher
dargestellten Objektes O1, beispielsweise eines Fahrzeuges, dargestellt.
-
Zur
Prognose einer Bewegung des Objektes O, wie sie beispielsweise zur
Steuerung eines Fahrerassistenzsystemes eines weiteren insbesondere als
Fahrzeug ausgebildeten Objektes O2 erforderlich ist, welches ebenfalls
in 2 näher dargestellt ist, wird eine aktuelle
Bewegung des Objektes O1 mittels Erfassungseinheiten des weiteren
Objektes O2, beispielsweise mittels einer oder mehrerer Kameras, Radarsensoren
und/oder Lidarsensoren, erfasst.
-
Aus
der Bewegung wird die Bewegungstrajektorie BT des Objektes O1 ermittelt,
d. h. die Bewegungstrajektorie BT wird klassifiziert, wobei unter
einer Trajektorie hierbei allgemein eine zeitliche Folge von Zuständen
verstanden wird, welche beispielsweise durch eine Position im Raum,
eine Geschwindigkeit, eine Beschleunigung, einen Gierwinkel und/oder
eine Gierrate gekennzeichnet ist.
-
Die
dargestellte Bewegungstrajektorie BT zeigt einen vollständigen
Bewegungsablauf des Objektes 1. Zur Prognose dieses vollständigen
Bewegungsablaufes, welche beispielsweise zur Steuerung eines nicht
näher dargestellten Fahrerassistenzsystemes des Fahrzeuges
verwendet wird, wird die aktuelle Bewegung des Objektes 1, welche
im dargestellten Ausführungsbeispiel durch einen Teilabschnitt
BT1 der Bewegungstrajektorie BT gekennzeichnet ist, mit mehreren
Referenztrajektorien verglichen, wobei ein Maß einer Ähnlichkeit
zwischen den verglichenen Referenztrajektorien und dem Teilabschnitt
BT1 der Bewegungstrajektorie BT ermittelt wird.
-
Zur
einer initialen Konfiguration des Systems werden mehrere Referenztrajektorien
aufgenommen und in einem Speicher, insbesondere in Form einer Datenbank,
hinterlegt.
-
Im
dargestellten Ausführungsbeispiel ist eine Referenztrajektorie
RT dargestellt, welche mit der Bewegungstrajektorie BT bzw. deren
Teilabschnitt BT1 verglichen wird. Die Ermittlung des Maßes
der Ähnlichkeit zwischen der Bewegungstrajektorie BT bzw.
deren Teilabschnitt BT1 und der Referenztrajektorie RT bzw. deren
Teilabschnitt RT1 wird anhand einer Longest-Common-Subsequence-Methode durchgeführt,
bei welcher die längsten und ähnlichsten, d. h.
am weitesten übereinstimmenden Teilabschnitte der Bewegungstrajektorie
BT und Teilabschnitte der Referenztrajektorie RT ermittelt werden.
-
Da
in einer betrachteten Situation eine Zuordnung der Bewegungstrajektorie
BT unabhängig von einer Blickrichtung der verwendeten Erfassungseinheit
sein soll, wird die Longest-Common-Subsequence-Methode mit einer
rotationsinvarianten Metrik erweitert, bei welcher die ähnlichen
Teilabschnitte BT1 und RT1 identifiziert werden. Simultan wird ein relativer
Rotationswinkel der zu vergleichenden Bewegungstrajektorie BT und
der Referenztrajektorie RT bzw. zwischen deren Teilabschnitte BT1
und RT1 inkrementell bei Hinzunahme eines jeden neuen korrespondierenden
Punktepaares aktualisiert. Eine besonders effiziente Schätzung
der relativen Rotation ergibt sich hierbei durch die Verwendung
von so genannten Quaternionen, die eine Repräsentation
von Rotationen mit mathematisch vorteilhaften Eingeschaften darstellen.
-
Die
dargestellte Bewegungstrajektorie BT des Objektes O1 stellt eine
Teilmenge der Referenztrajektorie RT dar, wobei der Teilabschnitt
BT1 der Bewegungstrajektorie BT mit dem Teilabschnitt RT1 der Referenztrajektorie
RT übereinstimmt bzw. diesem sehr ähnlich ist.
-
Sowohl
die Bewegungstrajektorie BT als auch Referenztrajektorie RT repräsentieren
eine zeitliche Abfolge von Objektpositionen, wobei diese Repräsentation
dahingehend erweitert ist, dass ein oder mehrere Objektattribute
bei der Ermittlung des Maßes der Ähnlichkeit berücksichtigt
werden. Hierzu zählen explizit auch höhere zeitliche
Ableitungen, wie z. B. die Geschwindigkeit und/oder Beschleunigung des
Objektes O1 sowie eine Gierrate zwischen mehreren Elementen des
Objektes O1, wenn dieses beispielsweise ein Fahrzeug mit einem Anhänger
ist. Weitere Objektattribute, insbesondere unabhängig ermittelte
Objektattribute sind eine Drehlage bzw. ein Gierwinkel und/oder
eine Ausdehnung des Objektes sowie vorhandenes Kontextwissen über
das Objekt O1 und/oder dessen Umgebung, welche in das Maß der Ähnlichkeit
einbezogen werden.
-
Zur
Prognose des Bewegungsverhaltens des Objektes O1 wird die erfasste
Bewegungstrajektorie BT wie bereits beschrieben mit den in der Datenbank
hinterlegten Referenztrajektorien verglichen. Diese Datenbank enthält
dabei sowohl die initial hinterlegten Referenztrajektorien als zuvor
beobachtete Bewegungstrajektorien, als auch Referenztrajektorien,
welche beispielsweise durch so genannte Clustering-Verfahren aus
den gemessenen Bewegungstrajektorien ermittelt und gespeichert werden.
-
Bei
bekannter Klassenzuordnung der Elemente der Datenbank erfolgt die
Bestimmung geeigneter Prototypen vorzugsweise mit einem so genannten
Radialen-Basisfunktionen-Klassifikator, der als Distanzmaß das
beschriebene, auf der Longest Common Subsequence basierende Vergleichsmaß verwendet.
-
Eine
weitere vorteilhafte Repräsentation der Trajektorien ergibt
sich durch eine Entwicklung des zeitlichen Verlaufs beispielsweise
der Geschwindigkeit und der Gierrate nach Chebychev-Polynomen, wobei
die Polynomkoeffizienten als Klassifikationsmerkmale verwendet werden.
Diese können dann zu Eingabevektoren vorgegebener Dimension
für beliebige Klassifikator-Architekturen, z. B. Polynomklassifikatoren,
neuronale Netze oder Support-Vektor-Maschinen, zusammengefasst werden.
-
Ergebnis
des Vergleichs und der Ermittlung des Maßes der Ähnlichkeit
sind mehrere unterschiedliche Hypothesen einer zukünftigen
Bewegung des Objektes O1 und zu den Hypothesen gehörige Eintrittswahrscheinlichkeiten.
Diese Hypothesen dienen als Modelle für die Prognose der
zukünftigen Bewegung des Objektes O1, wobei die Prognose
vorzugsweise mittels eines probabilistischen Verfahrens, wie z.
B. anhand eines Partikelfilters in einer so genannten sequenziellen
Monte-Carlo-Methode durchgeführt wird und in einer zeitabhängigen
Aufenthaltswahrscheinlichkeit für das betreffende Objekt O1
resultiert.
-
Kontextwissen über
das Objekt O1 und/oder dessen Umgebung wird vorzugsweise nach dem Satz
von Bayes direkt als A-Priori-Wahrscheinlichkeit in die Bestimmung
der Aufenthaltswahrscheinlichkeit, die der A-Posteriori-Wahrscheinlichkeit
entspricht, integriert.
-
Beispiele
für Kontextwissen sind in den 2 und 3 dargestellt,
wobei in diesen Ausführungsbeispielen das Kontextwissen
Karteninformationen umfasst, die z. B. darüber Auskunft
geben, ob sich das beobachtete Bewegungsverhalten an einer Kreuzung
gemäß 2 oder an einer Einmündung gemäß 3 auftritt.
In der in 3 dargestellten Situation ist
beispielsweise die A-Priori-Wahrscheinlichkeit für bestimmte
Bewegungsmuster, insbesondere eine ”Geradeausfahrt” des
Objektes O1 nahe dem Wert Null.
-
Damit
die verwendete Datenbank in realistischen komplexen Szenarien und
Situationen eine Variationsbreite der beobachteten Bewegungsmuster
vollständig abdecken kann, ist zur Durchführung des
Verfahrens ein nicht näher dargestelltes System vorgesehen,
welches in der Lage ist, sich autonom, d. h. ohne Einwirkung eines „Lehrers”,
an neuartige, bisher nicht erfasste und ermittelt Ausprägungen
von Bewegungsmustern zu adaptieren.
-
Dies
geschieht durch die bereits teilweise beschriebene kontinuierliche
Reorganisation der Datenbank, die ein bisher akkumuliertes Wissen über die
Bewegungsmuster repräsentiert, d. h. in welcher die erfassten
Bewegungstrajektorien als Referenztrajektorien hinterlegt werden.
Dabei erfolgt dies vorzugsweise unüberwacht durch wiederholtes
Clustering der gespeicherten Referenztrajektorien oder durch Aktualisierung
der als Prototypen initial hinterlegten Referenztrajektorien anhand
der neu beobachteten Bewegungstrajektorien. Insbesondere die letzt
genannte Methode zeichnet sich durch sehr geringeren Speicherbedarf
aus, da nicht alle bereits beobachteten Bewegungstrajektorien im
Speicher hinterlegt werden müssen.
-
Ein
vorteilhafter überwachter autonomer Lernansatz ist das
aus dem Stand der Technik allgemein bekanntes Verfahren, welches
als Co-Training bekannt ist. Dieses Verfahren basiert auf zwei voneinander
unabhängigen Merkmalssätzen, die das zu lernende
Problem jeweils vollständig repräsentieren. Bei
der Klassifikation der Bewegungstrajektorie können hierzu
beispielsweise die Positionen, Geschwindigkeiten, Beschleunigungen,
Gierraten usw. unabhängig voneinander zur Erzeugung unterschiedlicher Klassifikatoren
verwendet werden, wobei ein Klassifikator autonom Klassenlabels
für die jeweils anderen Klassifikatoren erzeugt.
-
Um
die Konsistenz der Datenbank zu gewährleisten und ein so
genanntes Selbstkonfidenz-Problem zu vermeiden, bei welchem unter
anderem während des autonomen Lernens falsche Klassenlabel
in einen Lerndatensatz übernommen werden, dürfen
fehlerhafte autonom generierte Klassenlabel, d. h. „Ausreißer”,
nicht dauerhaft in der Datenbank hinterlegt werden. Daher wird gemäß einer Weiterbildung
des erfindungsgemäßen Verfahren eine neu beobachtete
Bewegungstrajektorie dann aus der Datenbank entfernt oder weniger
stark berücksichtigt, wenn vorzugsweise kontextabhängig
innerhalb eines vorgegebenen Zeitabschnittes und/oder einer vorgegebenen
gefahrenen Strecke keine ähnlichen Bewegungstrajektorien
wiederholt auftreten. Somit wird ein „Vergessensprozess” realisiert.
-
Eine
vorteilhafte Ausgestaltung ist eine bekannte Active-Memory-Infrastruktur,
mittels welcher ein Kurzzeit- und ein Langzeitgedächtnis
intanziierbar sind, wobei das Kurzzeitgedächtnis alle beobachteten
Daten enthält, während das Langzeitgedächtnis
nur über lange Zeiträume hinweg verarbeitete, verlässliche
Beobachtungen enthält, die wiederum einen Übergang
neu akquirierter Daten vom ”Kurzzeit- ins Langzeitgedächtnis” beeinflussen.
Ein derartiges transientes Verhalten von Lernstichproben ermöglicht
eine autonome Adaption des lernenden Systems, d. h. der Datenbank,
an neue Gegebenheiten, bei der zwischenzeitlich auftretende Fehler
selbständig eliminiert werden und die initialen Unzulänglichkeiten
des Klassifikationsverfahrens sich nicht selbst verstärken.
-
Zusammenfassend
ist das beschriebene Verfahren in der Lage, Standardsituationen
wieder zu erkennen und neu zu lernen und somit eine Vielzahl von
Fehlwarnungen zu vermeiden. Darüber hinaus sind die Ergebnisse
der Klassifikation der Bewegungstrajektorien zur Planung eigener
Aktionen unter Berücksichtigung der Aktionen anderer Objekte, insbesondere
anderer Straßenverkehrsteilnehmer, einsetzbar.
-
- BT
- Bewegungstrajektorie
- BT1
- Teilabschnitt
- O1
- Objekt
- O2
- Objekt
- RT
- Referenztrajektorie
- RT1
- Teilabschnitt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste
der vom Anmelder aufgeführten Dokumente wurde automatisiert
erzeugt und ist ausschließlich zur besseren Information
des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen
Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt
keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- - DE 102007052763
A1 [0003]
-
Zitierte Nicht-Patentliteratur
-
- - Ka Keung Lee,
Yangsheng Xu: Boundary modeling in human walking trajectory analysis
for surveillance; In: Robotics and Automation, 2004. Proceedings.
ICRA '04. 2004 IEEE International Conference an Volume 5, Issue,
26 April-1 May 2004 Page(s): 5201–5205 [0004]