DE102020210380A1 - Verfahren zum Bestimmen einer Bewegung eines Objekts - Google Patents

Abstract

Verfahren zum Bestimmen einer Bewegung eines Objekts, bei dem ein Radarsensor (1) zur Objekterkennung vorgesehen ist, das Objekt als solches erkannt wird, indem vom Radarsensor (1) ausgesendete Radarsignale vom Objekt reflektiert werden, anhand der Reflexionen ein Spektrum des jeweiligen Objekts abgeleitet wird, das Spektrum in Reflexionsbereiche unterteilt wird, das Objekt in mehrere Teilbereiche festgelegt wird, und zum Erfassen der Teilbereiche die Reflexionsbereiche den Teilbereichen zugeordnet werden, wobei eine Bewegung eines ersten Teilbereichs des Objekts erfasst wird, und die Bewegung mindestens eines zweiten Teilbereichs relativ zum ersten Teilbereich erfasst wird, wobei ein Bewegungsmodell für die relative Bewegung des mindestens einen zweiten Teilbereichs erstellt wird, und die Bestimmung der Bewegung des Objekts anhand des Bewegungsmodells erfolgt.

Description

• Die vorliegende Erfindung betrifft Verfahren zum Bestimmen einer Bewegung eines Objekts sowie ein Assistenzsystem zum Bestimmen einer Bewegung eines Objekts, bei dem das Bestimmen der Bewegung des Objekts anhand eines erfindungsgemäßen Verfahrens erfolgt.
• Technologischer Hintergrund
• Moderne Fortbewegungsmittel wie Kraftfahrzeuge oder Motorräder werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche mit Hilfe von Sensorsystemen die Umgebung erfassen, Verkehrssituationen erkennen und den Fahrer unterstützen können, z. B. durch einen Brems- oder Lenkeingriff oder durch die Ausgabe einer optischen oder akustischen Warnung. Als Sensorsysteme zur Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt. Aus den durch die Sensoren ermittelten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden. Die Umgebungserfassung mittels Radarsensoren basiert auf der Aussendung von gebündelten elektromagnetischen Wellen und deren Reflexion, z. B. durch andere Verkehrsteilnehmer, Hindernissen auf der Fahrbahn oder die Randbebauung der Fahrbahn. Die Erfassung von Fußgängern wird oftmals mit Kamerasensoren durchgeführt, jedoch kommen hierbei auch zunehmend Radarsensoren zum Einsatz.
• Aus dem Stand der Technik sind Verfahren bekannt mit denen Fußgänger mittels Radarsensorik erkannt und klassifiziert werden können. Hierfür werden u. a. auch Mikro-Doppler- und Abstandsinformationen verwendet. Allerdings wird der Fußgänger dabei in der Regel als eine Art „Gesamtsystem“ betrachtet und nur einzelne Merkmale, meist indirekt, aus der Radarsignatur bestimmt, wie z. B. die Erkennung der Geschwindigkeitsverteilung der Gliedmaßen (insbesondere der Beine aus der Dopplersignatur), die Detektion des Torsos (Fußgängermittelpunkt aus der höchsten Intensität) und dergleichen. Dies ist auch die Grundlage für heutige radarbasierte Trackingverfahren, auf denen z. B. eine Merkmals-Extraktion basiert.
• Diese Vorgehensweise ist jedoch sehr eingeschränkt in Bezug auf Informationen zum Bewegungsablauf des Fußgängers. Um die Erkennung von z. B. Gesten zur Absichtserkennung bzw. Bewegungsprädiktion (oder Verhaltensprädiktion) eines Fußgängers zu ermöglichen, werden mehr und exaktere Informationen benötigt, die auf eine entsprechende Verhaltensänderung hinweisen. Beispielsweise ist bekannt, dass die verschiedenen Anteile eines Fußgängers (z. B: Kopf, Arme, Beine) unterschiedliche Bewegungen durchführen können und somit auch unterschiedliche Geschwindigkeiten sowie auch unterschiedliche Abstände und Winkel zum Radarsensor haben können, welche entsprechend der Aktion des Fußgängers auch variieren. Prinzipiell bietet sich dadurch die Möglichkeit einer Trennung und Extraktion der jeweiligen Anteile im Radarsignal.
• In einem hochauflösenden Radar (Chirp-Sequence-Modulation) ist ein Fußgänger ein ausgedehntes Ziel („extended object“), bestehend aus einer Vielzahl von Reflexionen (oder Detektionen), die von vielen Streuzentren am Fußgänger reflektiert werden und damit mehrere Auflösungszellen belegen. Bisherige radarbasierte Trackingansätze verwenden oftmals globale Signalmaxima bzw. gewichtete Schwerpunkte einer Punktwolke aus Radardetektionen oder sogar die gesamte Punktwolke (Particle Filter) als Tracking-Eingabe (Tracking-Input), um die makroskopische Bewegung, also das globale Positionsverhalten des Fußgängers, während der Bewegung bzw. der Aktion (z. B. Gehen oder Rennen) zu tracken oder aufzuzeigen. Auf dieser Grundlage lassen sich Bewegungsänderungen jedoch erst nach fast abschließender Beendigung des Bewegungsverhaltens aufgrund der Mittelung der Detektions-Punktewolke erkennen. Eine Erfassung von einleitenden Verhaltensindikationen, wie z. B. eine Fußdrehung infolge einer Hüftdrehung bei einer abrupten Trajektorienänderung oder einer Änderung des Tretverhaltens eines Fahrradfahrers sind so nur sehr schwer bzw. unter erheblichem Rechenaufwand möglich, wie von RIDEL et al. („A literature review on the prediction of pedestrian behavior in urban scenarios“ in 2018 21st International Conference on Intelligent Transportation Systems (ITSC), pp. 3105-3112, 2018) beschrieben.
• Ferner gibt es Ansätze zur radarbasierten Lokalisierung von Gliedmaßen, um eine Merkmals-Extraktionen innerhalb weniger Zyklen zu ermöglichen. Dabei werden die z. B. die mikroskopischen Bewegungsanteile, also die der Gliedmaßen, aus der Punktwolke identifiziert und extrahiert, jedoch nicht getrackt, wie z. B. von RAGESH und RAJESH („Pedestrian detection in automotive safety: Understanding state-of-the-art,“ IEEE Access, vol. 7, pp. 47864-47890, 2019) beschrieben. Dies liegt neben Sensorlimitierungen vordergründig an fehlenden Bewegungsmodellen, die das zum Teil stark nichtlineare kinematische Verhalten von Gliedmaßen wiedergeben. Neuere Radarsensoren sind zudem mit komplexeren Antennenstrukturen ausgestattet, die neben dem Horizontalwinkel (Azimut) auch den Vertikalwinkel (Elevation) von Objekten im Radar-Sichtfeld schätzen können. Dies ermöglicht eine signifikant verbesserte Umfeld-Perzeption, die zur kontinuierlichen Verbesserung aktiver Sicherheitsfunktionen beiträgt, wie z. B. von HEUEL und ROHLING („Pedestrian classification in automotive radar systems,“ in 2012 13th International Radar Symposium, pp. 39-44, 2012) beschrieben. Insbesondere bei Fußgängern hilft die Elevationsinformation bei der Erfassung der ganzheitlichen Mikro-Doppler-Signatur und ermöglicht dadurch z. B. die prinzipielle Extraktion und das Tracking der zu den Gliedmaßen assoziierten Reflexionsanteile.
• Druckschriftlicher Stand der Technik
• Aus der DE 10 2019 200 141 A1 ist ein Verfahren zum Erfassen von Teilbereichen eines Objekts bekannt, bei dem ein Radarsensor zur Objekterkennung vorgesehen ist. Das Objekt wird zunächst als solches erkannt bzw. detektiert, indem vom Radarsensor ausgesendete Radarsignale vom Objekt reflektiert werden. Anhand der Reflexionen bzw. der Reflexionspunkte wird dann ein Spektrum des jeweiligen Objekts abgeleitet, das in Reflexionsbereiche unterteilt wird. Ferner werden für das Objekt Teilbereiche festgelegt, die dadurch erfasst werden, dass die Reflexionsbereiche den Teilbereichen zugeordnet werden. Dadurch kann eine Separation der Bewegung von mehreren Körperteilen, z. B. Arme und Beine, linke und rechte Körperhälfte, bzw. eine Extraktion der Körperteile im Radarspektrum aus der Zerlegung der Reflexionsdaten erfolgen. Infolgedessen wird eine genauere Bewegungsanalyse des Objekts erzielt, durch die eine Verhaltensprädiktion bzw. Absichtsabschätzung erfolgen kann.
• Aufgabe der vorliegenden Erfindung
• Ausgehend vom Stand der Technik besteht die Aufgabe der vorliegenden Erfindung nunmehr darin, ein verbessertes Verfahren zum Bestimmen einer Bewegung eines Objekts sowie ein entsprechendes Assistenzsystem zur Verfügung zu stellen, bei dem die Bewegungserkennung des Objekts in einfacher und kostengünstiger Weise mit geringem Rechenaufwand verbessert wird.
• Lösung der Aufgabe
• Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie der nebengeordneten Ansprüche gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
• Bei dem erfindungsgemäßen Verfahren zum Bestimmen einer Bewegung eines Objekts, ist ein Radarsensor zur Objekterkennung vorgesehen, wobei das Objekt als solches erkannt wird, indem vom Radarsensor ausgesendete Radarsignale vom Objekt reflektiert werden und anhand der Reflexionen bzw. Detektionen ein Spektrum des jeweiligen Objekts abgeleitet wird. Das Spektrum wird wiederum in Reflexionsbereiche und das Objekt in mehrere Teilbereiche unterteilt. Zum Erfassen der Teilbereiche werden dann die Reflexionsbereiche den Teilbereichen zugeordnet, wobei eine, vorzugsweise kontinuierliche, Bewegung eines ersten Teilbereichs des Objekts erfasst wird (z. B. die Fortbewegung des Oberkörpers eines Fußgängers) und die Bewegung mindestens eines zweiten Teilbereichs relativ zum ersten Teilbereich erfasst wird (d. h. Beispielsweise die Bewegung von Armen, Beinen oder Kopf relativ zum Oberkörper des Fußgängers). Dabei wird ein Bewegungsmodell für die relative Bewegung des mindestens einen zweiten Teilbereichs über die Zeit und/oder über die vom Objekt zurückgelegte Entfernung erstellt (d. h. das Objekt wird über die Zeit oder die zurückgelegte Strecke verfolgt bzw. getrackt - „Objekttracking“). In einfacher Weise kann dann die Bestimmung der Bewegung des Objekts anhand dieses Bewegungsmodells erfolgen. Die vorliegende Erfindung bietet eine konzeptionelle Methodik zur Extraktion von Verhaltensindikationen bzw. Verhaltensprädiktion von Fußgängern auf Basis der erfassten Bewegungskinematik, insbesondere durch das Tracking der Arm- und/oder Beinbewegung. Durch Anpassen des Bewegungsmodells kann der Algorithmus jedoch auch in einfacher Weise auf andere Verkehrsteilnehmer, z. B. einen Fahrradfahrer oder durch die Erweiterung auf vier Gliedmaßen bei der Tierdetektion angewandt werden. Unabhängig vom jeweiligen Verkehrsszenario und der Bewegungsrichtung kann damit die Objektklassifikation in besonderem Maße verbessert werden. Dabei wird eine robuste und schnelle Bestimmung von Verhaltensänderungen und eine entsprechende Trajektorienprädiktion (frame by frame) ermöglicht. Zudem kann das Verfahren in einfacher Weise situationsspezifisch und Kinematik-spezifisch modifiziert werden und es erfordert eine vergleichsweise nur geringe Rechenintensität (real-time implementation).
• Gemäß einer bevorzugten Ausgestaltung der vorliegenden Erfindung ist als Radarsensor ein FMCW-Radarsensor vorgesehen, der insbesondere pro Radarzyklus eine Punktewolke aus Radarreflexionspunkten erzeugen kann. Der FMCW-Radarsensor kann dabei frequenzmodulierte Signale aussenden (in Rampen oder Chirps), so dass durch eine entsprechende Parametrisierung (z. B. schnelle Rampen, hohe Bandbreiten) sowohl die Entfernung als auch relative Radialgeschwindigkeiten eines Objekts ohne Mehrdeutigkeiten innerhalb eines Zyklus bestimmt werden können. Das Verfahren kann dadurch besonders einfach und rechenressourcenschonend angewandt werden.
• Vorzugsweise handelt es sich bei dem Objekt um einen „Vulnerable Road Users“ VRU, wobei als erster Teilbereich der Torso (bzw. Rumpf oder Oberkörper) des VRU und als zweite Teilbereiche die Gliedmaßen (z. B. Arme und Beine) und/oder der Kopf des VRU vorgesehen sind.
• Als „Vulnerable Road Users“ bzw. „VRU“ (auch sogenannte gefährdete/ungeschützte Verkehrsteilnehmer oder nicht-motorisierte Verkehrsteilnehmer) werden im Sinne der Erfindung Fußgänger, Radfahrer, Motorradfahrer und Personen mit Behinderungen oder eingeschränkter Mobilität und Orientierung sowie auch Tiere verstanden. Diese zeichnen sich in der Regel durch eine Einteilung in Kopf, Rumpf und Gliedmaßen aus.
• Zweckmäßigerweise kann das Bewegungsmodell für die relative Bewegung des mindestens einen zweiten Teilbereichs (z. B. ein Arm oder ein Bein) durch Fourier-Reihen erstellt werden, und Modellparameter der Fourier-Reihen, insbesondere während der Bewegung, dynamisch an einem Bewegungsmuster des mindestens einem Teilbereichs anpasst werden. Insbesondere können dabei die Fourier-Koeffizienten nach einer initialen Approximation gleich gehalten werden, so dass nur die Kinematik-Parameter das Modell beeinflussen und es an die vorherrschende Dynamik des Objekts anpassen.
• Vorzugsweise wird das Bewegungsmodell erstellt, indem die Fourier-Reihen um Kinematik-Parameter erweiterten werden.
• Als Kinematik Parameter können dabei eine Skalierungsamplitude (a), ein Kreisfrequenzparameter (ω,) und/oder ein Phasenparameter (φ) vorgesehen sein.
• In vorteilhafter Weise können die Kinematik-Parameter, geändert werden, um das Bewegungsmodell an die die jeweilige Bewegungsgeschwindigkeit und/oder -beschleunigung und an die jeweilige relative Position (Phasenlage) anzupassen.
• Zweckmäßigerweise kann die Unterteilung des Spektrums in Reflexionsbereiche anhand eines Punkt-Extraktionsverfahrens und/oder eines, insbesondere dichtebasierten, Clusterverfahrens erfolgen. Eine derartige Vorgehensweise ist bereits in der DE 10 2019 200 141 A1 sowie in der DE 10 2019 200 849 A1 beschrieben, wobei auf ausdrücklich Bezug auf die Inhalte der beiden Druckschriften genommen wird.
• Vorzugsweise ist eine Verhaltensprädiktion des Objekts vorgesehen ist, die anhand der Bewegung des Objekts erstellt wird. Hierbei umfasst der Begriff Verhaltensprädiktion neben der Vorhersage der Objektbewegung (bzw. Objektbeschleunigung, Bewegungsrichtung oder Objektgeschwindigkeit) insbesondere auch die Erkennung eines Wechsels des Bewegungsmusters des jeweiligen Objekts (z. B. Beinbewegungsmusterwechsel und dergleichen). beinhaltet, dann sollte das doch schon so passen.
• Ferner umfasst die Erfindung ein Verfahren zum Bestimmen bzw. Erfassen einer Bewegung eines Objekts, bei dem ein Tracking des Ober- und des Unterkörpers (inkl. Beinen bzw. Beinbewegungen) des Objekts bzw. eines Fußgängers erfolgt, wobei die dazugehörigen Tracks des Ober- und des Unterkörpers aus den Verfahrensschritten (a)-(c) abgeleitet werden können. In Schritt (a) erfolgt eine Prädiktion, bei der eine Propagation der Oberkörper-Detektionen und ein prädizierter Zustandsvektor zur Prädiktion der Unterkörper-Detektionen addiert wird. In Schritt (b) erfolgt eine Datenassoziation, bei der eine wahrscheinlichkeitsbasierte Datenassoziation der Unterkörper-Detektionen (JPDA) berechnet wird, und in Schritt (c) erfolgt ein Update des Oberkörpers, bei dem die in Schritt (b) berechnete Wahrscheinlichkeitsdichte durch eine Normalverteilung approximiert wird.
• Neben- oder Untergeordnet beansprucht die vorliegende Erfindung auch ein Assistenzsystem zum Bestimmen einer Bewegung eines Objekts, welches einen Radarsensor, insbesondere ein FMCW-Radar, umfasst und dadurch gekennzeichnet ist, dass das Bestimmen der Bewegung des Objekts anhand eines erfindungsgemäßen Verfahrens erfolgt.
• Zusammenfassend ermöglicht es der im Rahmen dieser Erfindung beschriebene Algorithmus mit Hilfe eines automotiven Radarsensors ein robustes und hochgenaues Tracking der Bewegungsabläufe von nichtmotorisierten bzw. ungeschützten Verkehrsteilnehmern (VRUs), beispielsweise eines Fußgängers und insbesondere dessen Beinbewegung, durchzuführen. Der Algorithmus bildet dabei die Basis für eine Verhaltensprädiktion (wie z. B. Richtungswechsel), für eine präzisere und schnellere Trajektorienprädiktion und für eine robustere Klassifikation von Fußgängern, Radfahrern oder dergleichen. Dadurch lässt sich die Performance von Fahrerassistenzsystemen zum Schutz von insbesondere nichtmotorisierten und besonders gefährdeten Verkehrsteilnehmern erhöhen. Des Weiteren können hierdurch reversible und irreversible Schutzmaßnahmen aktiviert werden.
• Beschreibung der Erfindung anhand von Ausführungsbeispielen
• Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:
• 1 eine vereinfachte schematische Darstellung einer Verkehrssituation, bei der ein Fußgänger mittels eines erfindungsgemäßen Verfahrens erkannt wird;
• 2 eine vereinfachte schematische Darstellung einer simulierten Bewegung eines Fußknöchels eines Fußgängers während eines Gangzyklus in lokaler x- und lokaler y -Richtung in Bezug auf ein Körper-Koordinatensystem sowie eine entsprechende Bewegungsmodell-Approximationen in x und y;
• 3 eine vereinfachte schematische Darstellung einer Ausgestaltung der Systemarchitektur des erfindungsgemäßen Verfahrens bzw. Algorithmus;
• 4 eine vereinfachte schematische Darstellung einer Frame-Sequenz der 4-D Radar-Punktwolken eines gehenden Fußgängers anhand von Schritten (a)-(c);
• 5 eine vereinfachte Darstellung exemplarischer Messergebnisse anhand zeitabhängiger Spektren des Unterkörpers mit longitudinalem Abstand x und Doppler v^D mit der Bewegungsreferenz der Füße und den Trackingergebnissen in verschiedenen Perspektiven (A) und (B), sowie
• 6 eine vereinfachte schematische Darstellung von Tracking-Ergebnisse einer kreuzenden Bewegungstrajektorie eines Fußgängers, der eine plötzliche Drehung um 90° vollzieht, wobei (A) die Tracking-Trajektorie des linken und rechten Fußes mit Bewegungsreferenzen und (B) die Krümmungsbestimmung auf Basis des Tracks zeigt.
• Bezugsziffer 1 in 1 bezeichnet einen Radarsensor in einem Fortbewegungsmittel bzw. Fahrzeug 2. Der Radarsensor 1 kann dabei auch Bestandteil eines (Fahrer-) Assistenzsystems oder Sensorsystems sein. Bei dem Radarsensor 1 handelt es sich um einen hochauflösenden Radarsensor, mit dem die Umgebung im Nahumfeld erfasst wird. Die vom Radarsensor 1 erfassten Radar-Rohdaten werden verarbeitet, wodurch Objekte detektiert und anschließend z. B. klassifiziert werden können. In 1 ist als Objekt ein Fußgänger 3 gezeigt, der die Straße in Pfeilrichtung überquert. Nach der Detektion und Identifikation des Fußgängers 3 werden die entsprechenden Radarreflexionen, die dem Fußgänger 3 zugeordnet sind, weiter zerlegt in die Reflexionen der einzelnen Körperteile, wie z. B. Arme, Beine (linke und rechte Körperhälfte jeweils getrennt) und Oberkörper. Der Radarsensor 1, insbesondere ein FMCW-Radarsensor (Frequenzmoduliertes Dauerstrichradar oder Frequency-Modulated Continuous Wave Radar), wird hierzu z. B. im Chirp-Sequenz-Verfahren betrieben, d. h., dass nacheinander schnelle Rampen an Radarsignalen ausgesendet werden, wodurch Abstands- und Geschwindigkeitsinformationen mit hoher Auflösung generiert werden können. Durch die zusätzliche Anwendung eines MIMO-Verfahrens (Multiple-input multiple-output-Verfahren) können azimutale Winkelinformationen bereitgestellt werden. Gegebenenfalls können zusätzlich elevationale Informationen miteinbezogenen werden. Ferner kann als zusätzlicher Parameter auch die Geschwindigkeit und Positionen der einzelnen Körperteile bestimmt werden, um z. B. abrupte oder rasche Bewegungen festzustellen, die z. B. auf die Absicht des Fußgängers 3 rückschließen lassen, schnell die Straße zu überqueren. Dadurch kann ein Extraktionsverfahren für menschliche Körperteile zur Verfügung gestellt werden, welches die Radarinformationen z. B. anhand eines Chirp-Sequenz-modulierten Radarsensors 1 erfasst, insbesondere eines Radarsensors mit einheitlicher Antennenanordnung (uniform linear antenna array, ULA).
• Die vom Radarsensor gemessenen Radarrohdaten können durch verschiedene Implementierungsvarianten verarbeitet werden. Eine Ausführung der Verarbeitung ist beispielsweise aus der DE 10 2019 200 141 A1 bekannt, auf welche somit direkt Bezug genommen wird. Als Voraussetzung liegen nach der Verarbeitung der Radar-Rohdaten eines z. B. automotiven FMCW Radarsensors pro Radarzyklus eine Punktewolke aus Radarreflexionspunkten (Radardetektionen) vor. Für jede Detektion stehen dabei mindestens die 3D Ortsinformation (Azimut, Elevation und Reichweite/Range bzw. x, y, z) und die Radialgeschwindigkeit (Doppler) zur Verfügung. Die Punktewolke aus Detektionen wurde bereits durch ein dichtebasiertes Clusterverfahren (z. B. DBSCAN) in größere Objekte unterteilt, um z. B. Objekte wie Radfahrer, Fußgänger, Fahrzeuge und dergleichen, voneinander zu trennen. Ferner können die einzelnen Objekte durch übliche Verfahren klassifiziert werden. Der entwickelte Algorithmus kann sowohl auf VRUs (insbesondere Fußgänger, Radfahrer) als auch prinzipiell auf Tiere (Wildtiere, Hunde und dergleichen) angewendet werden.
• Im Kern kann der erfindungsgemäße Algorithmus nunmehr durch folgende Verfahrensschritte zusammenfasst werden:
• - Zunächst erfolgt ein getrenntes Tracking der kontinuierlichen Fortbewegung des Oberkörpers (eines Fußgängers oder eines anderen Objekts,
• - Danach erfolgt relativ zu dessen kontinuierlicher Bewegung ein Tracking der periodischen Gliedmaßenbewegung (beispielsweise Beine/Füße), wobei
• - das Bewegungsmodell für die relative Gliedmaßenbewegung für einen Fußgänger durch Fourier-Reihen beschrieben werden, deren Modellparameter sich während dem Tracking dynamisch dem Bewegungsmuster der Gliedmaßen (Gehgeschwindigkeit oder dergleichen) anpassen.
• Dadurch ist es möglich, neben der makroskopischen Bewegung auch mikroskopische Bewegungen gezielt zu extrahieren und zeitlich zu verfolgen, wodurch sich einleitende Verhaltensindikationen (z. b. für einen Richtungswechsel) wesentlich früher und insbesondere innerhalb einzelner Messzyklen (In-cylce) detektieren und verwerten lassen.
• Das Bewegungsmodell für die Gliedmaßen eines Fußgängers ist in 2 gezeigt, wobei die lokalen Bewegungen (relativ bezogen auf den Torso) des menschlichen Knöchels während eines Gangzyklus auf Grundlage einer Simulation und die entsprechenden Approximationen durch Fourier-Reihen gezeigt sind (der Übersichtlichkeit halber ist in 2 nur die lokale x-Richtung abgebildet - nicht jedoch die y-Richtung). Um dem Bewegungsmodell eine Variabilität in Bezug auf sich ändernde Geh-Geschwindigkeiten des Fußgängers zu ermöglichen, werden globale Kinematik Parameter (a, ω, φ) in die Reihenfunktionen bzw. Fourier-Reihen integriert. Die Kinematik Parameter umfassen dabei eine globale Skalierungsamplitude a, die in Abhängigkeit der detektierten Gehgeschwindigkeit den relativen Fußausschlag beeinflusst, ein Kreisfrequenzparameter ω, der die temporäre Schrittfrequenz des Fußgängers wiedergibt, und einen Phasenparameter φ, der die relative Phasenlage des jeweiligen Fußes beschreibt. Dadurch kann das Bewegungsverhalten beider Füße mit dem gleichen Bewegungsmodell beschrieben werden, das sich lediglich durch einen Phasenoffset unterscheidet. Die um die Kinematik-Parameter erweiterten Fourier-Reihen und damit die finalen Bewegungsmodelle, lassen sich als diskretisierte Bewegungspropagationen für die lokale x- und y-Richtung wie folgt beschreiben: $$\begin{array}{l}{\mathbf{f}}_k^{\stackrel{⌣}{x}}=a_{k-1}({\displaystyle \sum _{\eta =1}^{\kappa }(a_{\eta }^{\stackrel{⌣}{x}}\text{cos}\left({\omega }_{k-1}\eta \left(t_{k-1}+T-{\phi }_{k-1}\right)\right)}\\ +b_{\eta }^{\stackrel{⌣}{x}}\text{sin}\left({\omega }_{k-1}\eta \left(t_{k-1}+T-{\phi }_{k-1}\right)\right))+\frac{a_0^{\stackrel{⌣}{x}}}{2})\end{array}$$

  

  $$\begin{array}{l}{\mathbf{f}}_k^{\stackrel{⌣}{y}}=a_{k-1}({\displaystyle \sum _{\eta =1}^{\kappa }(a_{\eta }^{\stackrel{⌣}{y}}\text{cos}\left({\omega }_{k-1}\eta \left(t_{k-1}+T-{\phi }_{k-1}\right)\right)}\\ +b_{\eta }^{\stackrel{⌣}{y}}\text{sin}\left({\omega }_{k-1}\eta \left(t_{k-1}+T-{\phi }_{k-1}\right)\right))\pm \frac{a_0^{\stackrel{⌣}{y}}}{2}).\end{array}$$

  
• Während des Trackings ändern sich dabei in der Regel ausschließlich nur die beschriebenen Kinematik-Parameter, um die Modelle an die Gehgeschwindigkeiten anzupassen. Die Fourier-Koeffizienten werden hingegen konstant gehalten.
• Das Tracking-System des erfindungsgemäßen Verfahrens bzw. des Algorithmus besteht aus einem miteinander verketteten Ober- und Unterkörpertracking sowie einer Datenassoziation, wie in 3 dargestellt. Dabei wird zuerst die Prädiktion des Oberkörper Trackings (Kalman-Filter KF) anhand der den Oberkörpers zugewiesenen Detektionen ausgeführt und auf die Unterkörper-Prädiktionen der lokalen Fußbewegungen (Extended Kalman-Filter „left foot“ (EKF LF) und extended Kalman-Filter „right foot“ (EKF RF)), die durch die erstellten Bewegungsmodelle approximiert werden, d. h. addiert, um eine tatsächliche Bewegung relativ zur Umwelt zu gewährleisten.
• Im nächsten Schritt erfolgt die wahrscheinlichkeitsbasierte Datenassoziation mittels einer Gemeinsamen Assoziation Probabilistischer Daten (JPDA - Joint Probabilistic Data Association). Hierzu werden Wahrscheinlichkeiten berechnet, die bei der Evaluierung der measurement-totarget-Hypothesen als Gewichtung berücksichtigt werden und somit die Detektionen dem linken bzw. rechten Fuß bzw. Cluster zuordnen. Dies ermöglicht die Identifikation und Lokalisation der Fußbewegungen und somit der Erkennung von Verhaltensindikationen, die mit der Fußbewegung einhergehen.
• Nach der Verarbeitung der Radar-Rohdaten (insbesondere FMCW Radarsensor) liegt pro Radarzyklus eine Punktewolke an Radarreflexionspunkten (Radardetektionen) vor. Eine derartige Punktwolke (mit den Dimensionen x, y, z und radialer Relativgeschwindigkeit) ist in 4 anhand einer Frame-Sequenz eines gehenden Fußgängers exemplarisch dargestellt. Anschließend erfolgt eine Gruppierung der zum Objekt bzw. zum Fußgänger gehörigen Detektionen in eine Oberkörper- und eine Unterkörper-Punktwolke. Die Zugehörigkeit zu der entsprechenden Gruppe kann z. B. durch die Elevation bzw. die z-Koordinate relativ zum Boden festgelegt werden. Anschließend erfolgt das zweiteilige Trackingverfahren mit entsprechender Datenassoziation. Das Ziel ist es hierbei, die Detektionen der Unterkörper-Punktwolke dem jeweiligen Bein zuzuordnen und die jeweilige Fußbewegung des linken bzw. rechten Fußes zu tracken.
• Der Ablauf der Tracking-Implementierung, bestehend aus einem hierarchischen Oberkörper-(ub) und Unterkörper- (Ib)-Trackings ist in 4 anhand der Schritte (a)-(c) beschrieben: Schritt a) zeigt die Prädiktion, bei der die Propagation der Oberkörper-Detektionen mittels linearem Kalman-Filter auf Basis eines Modells mit konstanter Beschleunigung (constant acceleration model) propagiert werden. Der prädizierte Zustandsvektor wird dann auf die Prädiktion (welche auf das Sensorkoordinatensystem transformiert wurde) der lokalen Fußbewegung des linken bzw. rechten Fußes (EKF LF und EKF RF) addiert, um eine tatsächliche Fortbewegung der Fußbewegungen zu realisieren. Als Zustandsvektoren sind x, vx, ax, y, vy, ay vorgesehen, wobei x und y die kartesischen Koordinaten der gemittelten Oberkörper-Detektionen bezüglich des Sensorkoordinatensystems sind, vx und vy die entsprechenden Geschwindigkeitsanteile in x und y Richtung sind und ax und ay die entsprechenden Beschleunigungsanteile in x und y Richtung sind.
• In Schritt (b) erfolgt eine Datenassoziation, bei der eine wahrscheinlichkeitsbasierte Datenassoziation der Unterkörper-Detektionen (JPDA) berechnet wird, bei der die einzelnen Wahrscheinlichkeiten der jeweiligen „measurement-to-track“-Hypothesen berechnet und die sogenannte Marginal posterior-Wahrscheinlichkeitsdichte (Marginal Posterior distribution) bestimmt werden.
• Im Anschluss daran kann in Schritt (c) das Update erfolgen, wonach die berechnete Wahrscheinlichkeitsdichte durch eine Normalverteilung approximiert wird, wobei deren mean bzw. deren Erwartungswert und die Kovarianz die geupdateten Tracking-Parameter darstellen. Das Update des Oberkörpers erfolgt wie bei einem Standard-Kalman-Filter. Die Schritte (a)-(c) können dann in jedem Zyklus durchgeführt werden. Aus diesen Schritten entstehen dann die Tracks des Oberkörpers, des linken sowie des rechten Fußes.
• In 5 sind exemplarisch Messergebnisse des Verfahrens anhand einer realen eines radial auf den Sensor zulaufenden Fußgängers mit einer mittleren Gehgeschwindigkeit von ca. 1,5 m/s in unterschiedlichen Perspektiven (5 (A) und 5 (B)) gezeigt. Die Radarmessung erfolgte dabei mittels folgender Radar-Parameter:

  Frequenz:	76,5 GHz,
  Bandbreite:	1 GHz,
  Rampendauer (up chirp):	60 µs,
  Abtastfrequenz:	10 MHz,
  Sensorhöhe:	0,35 m,
  Anzahl Rampen pro Frame:	512,
  Anzahl TX Antenne:	1,
  Anzahl RX-Antennen:	16.

• Zweckmäßigerweise sind neben des Zeit- und Reichweiten (Range)-abhängigen Micro-Doppler-Spektrums auch die Bewegungsreferenzen der Füße als auch die Ergebnisse des Fuß-Trackings zu betrachten (wobei in 5 der Übersichtlichkeit halber nur die Referenz und die EKF-Ergebnisse des linken Fußes des Fußgängers dargestellt sind). Der abgebildete Ausschnitt der Messung zeigt den Fußgänger bei einer initialen Longitudinal-Entfernung von ca. 8 m und einer Stopp-Position von ca. 2 m. Die exemplarischen Messergebnisse verdeutlichen dabei die Funktionalität des erfindungsgemäßen Ansatzes.
• Neben der prinzipiellen Fähigkeit des Gliedmaßen-Trackings und der damit einhergehenden verbesserten Möglichkeit einer Lokalisierung des Fußgängers, ist die Indikation zur Verhaltenserkennung des Fußgängers bzw. eines VRUs von besonderem Interesse, wobei Veränderungen des Bewegungsmusters detektiert werden. Plötzliche und unerwartete Bewegungsänderungen eines Fußgängers im unmittelbaren Fahrzeugumfeld können schnell zu potentiellen Kollisionssituationen führen und sollten daher so früh wie möglich erkannt werden. Das erfindungsgemäße Verfahren ermöglicht durch die gezielte Verfolgung der Extremitäten die Erfassung von einleitenden Bewegungsänderungen. In 6 (A) sind die Tracking-Ergebnisse des linken und rechten Fußes eines kreuzend laufenden Fußgängers mit abrupter Drehung um 90° in der x-y-Ebene mit Bewegungsreferenz (motion capture) dargestellt. In 6 (B) ist dabei die Fokussierung auf die Bewegung des rechten Fußes während der Drehbewegung gezeigt. Hierbei ist die Rotation des rechten Beines als einleitende Richtungsänderung deutlich zu erkennen. Die Bestimmung des Krümmungsverhaltens des rechten Fußes (Vektorpfeile) stellt dabei ein geeignetes und zugleich rechenressourcensparendes Indiz zur frühzeitigen Erfassung von Bewegungsänderungen innerhalb weniger Sensorzyklen dar, das durch die erfindungsgemäße Methodik in einfacher Weise umsetzbar ist.
• Bezugszeichenliste

1

Radarsensor

2

Fahrzeug

3

Fußgänger

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• DE 102019200141 A1 [0007, 0018, 0025]
• DE 102019200849 A1 [0018]

Claims (11)

1. Verfahren zum Bestimmen einer Bewegung eines Objekts, bei dem ein Radarsensor (1) zur Objekterkennung vorgesehen ist, das Objekt als solches erkannt wird, indem vom Radarsensor (1) ausgesendete Radarsignale vom Objekt reflektiert werden, anhand der Reflexionen ein Spektrum des jeweiligen Objekts abgeleitet wird, das Spektrum in Reflexionsbereiche unterteilt wird, das Objekt in mehrere Teilbereiche festgelegt wird, und zum Erfassen der Teilbereiche die Reflexionsbereiche den Teilbereichen zugeordnet werden, wobei eine Bewegung eines ersten Teilbereichs des Objekts erfasst wird, und die Bewegung mindestens eines zweiten Teilbereichs relativ zum ersten Teilbereich erfasst wird, wobei ein Bewegungsmodell für die relative Bewegung des mindestens einen zweiten Teilbereichs erstellt wird, und die Bestimmung der Bewegung des Objekts anhand des Bewegungsmodells erfolgt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Radarsensor ein FMCW-Radarsensor vorgesehen ist, der insbesondere pro Radarzyklus eine Punktewolke aus Radarreflexionspunkten erzeugen kann.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass es sich bei dem Objekt um einen VRU handelt, und als erster Teilbereich der Torso des VRU und als zweite Teilbereiche die Gliedmaßen und/oder der Kopf des VRU vorgesehen sind.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bewegungsmodell für die relative Bewegung des mindestens einen zweiten Teilbereichs durch Fourier-Reihen erstellt wird, und Modellparameter der Fourier-Reihen insbesondere während der Bewegung dynamisch an einem Bewegungsmuster des mindestens einen Teilbereichs anpasst werden.
5. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Bewegungsmodell erstellt wird, indem die Fourier-Reihen um Kinematik-Parameter erweiterten werden.
6. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass als Kinematik Parameter eine Skalierungsamplitude (a), ein Kreisfrequenzparameter (ω,) und/oder ein Phasenparameter (φ) vorgesehen sind.
7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Kinematik-Parameter, geändert werden, um das Bewegungsmodell an die die jeweilige Bewegungsgeschwindigkeit und/oder -beschleunigung und an die jeweilige relative Position anzupassen.
8. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Unterteilung des Spektrums in Reflexionsbereiche anhand eines Punkt-Extraktionsverfahrens und/oder eines, insbesondere dichtebasierten, Clusterverfahrens erfolgt.
9. Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Verhaltensprädiktion des Objekts vorgesehen ist, die anhand der Bewegung des Objekts erstellt wird.
10. Verfahren zum Bestimmen einer Bewegung eines Objekts, insbesondere nach mindestens einem der vorhergehenden Ansprüche, bei dem ein Tracking des Ober- und des Unterkörpers des Objekts erfolgt, wobei die Tracks des Ober- und des Unterkörpers aus den Verfahrensschritten abgeleitet werden können: - Schritt (a): Prädiktion, bei der eine Propagation der Oberkörper-Detektionen und ein prädizierter Zustandsvektor zur Prädiktion der Unterkörper-Detektionen addiert wird, - Schritt (b): Datenassoziation, bei der eine wahrscheinlichkeitsbasierte Datenassoziation der Unterkörper-Detektionen (JPDA) berechnet wird, und - Schritt (c): Update des Oberkörpers, bei dem die in Schritt (b) berechnete Wahrscheinlichkeitsdichte durch eine Normalverteilung approximiert wird.
11. Assistenzsystem zum Bestimmen einer Bewegung eines Objekts, umfassend einen Radarsensor (1), dadurch gekennzeichnet, dass das Assistenzsystem hergerichtet ist, um das Bestimmen einer Bewegung eines Objekts anhand eines Verfahrens nach einem der vorhergehenden Ansprüche durchzuführen.

Images