DE102019201892A1

DE102019201892A1 - Verfahren zum Erkennen einer Bewegung eines Objekts

Info

Publication number: DE102019201892A1
Application number: DE102019201892.0A
Authority: DE
Inventors: Bernhard Schild
Original assignee: Conti Temic Microelectronic GmbH; Continental Automotive GmbH
Current assignee: Continental Autonomous Mobility Germany GmbH
Priority date: 2019-02-13
Filing date: 2019-02-13
Publication date: 2020-08-13

Abstract

Verfahren zum Erkennen einer Bewegung und/oder einer Bewegungsänderung eines Objekts, bei dem das Objekt anhand eines Radarsensors erkannt wird, indem ein vom Radarsensor ausgesendetes Radarsignal vom Objekt reflektiert und anschließend vom Radarsensor empfangen wird, wobei das Objekt in mindestens einen Referenzbereich (7) und mindestens einen Teilbereich (6) aufgeteilt wird, jeweils eine Dopplersignatur des Radarsignals für den Referenzbereich (7) und den Teilbereich (6) erstellt wird, die Frequenzen der Dopplersignaturen erfasst werden und die Bewegung des Objekts anhand einer Frequenzabweichung zwischen den Frequenzen der Dopplersignaturen erkannt wird.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer Bewegung und/oder Bewegungsänderung eines Objekts sowie ein Sensorsystem zum Erkennen einer Bewegung und/oder Bewegungsänderung eines Objekts, bei dem die Objekterkennung anhand des erfindungsgemäßen Verfahrens erfolgt.
Technologischer Hintergrund
Moderne Fortbewegungsmittel wie Kraftfahrzeuge oder Motorräder werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche mit Hilfe von Sensorsystemen die Umgebung erfassen, Verkehrssituationen erkennen und den Fahrer unterstützen können, z. B. durch einen Brems- oder Lenkeingriff oder durch die Ausgabe einer optischen oder akustischen Warnung. Als Sensorsysteme zur Umgebungserfassung werden regelmäßig Radarsensoren, Lidarsensoren, Kamerasensoren oder dergleichen eingesetzt. Aus den durch die Sensoren ermittelten Sensordaten können anschließend Rückschlüsse auf die Umgebung gezogen werden. Die Umgebungserfassung mittels Radarsensoren basiert auf der Aussendung von gebündelten elektromagnetischen Wellen und deren Reflexion, z. B. durch andere Verkehrsteilnehmer, Hindernissen auf der Fahrbahn oder die Randbebauung der Fahrbahn. Die Erfassung von Tieren oder Fußgängern wird oftmals mit optischen Sensorsystemen wie Kamerasensoren oder Lidarsensoren durchgeführt, jedoch weisen diese Sensorsysteme gerade bei schlechten Sichtverhältnissen oder Wetterereignissen, wie Schnee, Nebel oder Regen, eine nur unzureichende Funktionsfähigkeit auf. Dadurch kann das Erkennen einer Bewegung eines Objekts nicht oder nicht zufriedenstellend ausgeübt werden, sodass Sensorsysteme auf Basis derartiger optischer Sensoren bei schlechten Sichtverhältnissen nur bedingt einsatzfähig sind. Daher ist es notwendig, redundante Systeme für die Tier- und Fußgängererkennung zu schaffen.
Aus dem Stand der Technik sind Verfahren bekannt, mit denen Objekte, wie Personen oder Tiere, mittels Radarsensorik erkannt und klassifiziert werden können. Hierfür werden unter anderem Microdoppler- und Abstandsinformationen verwendet, die durch den Radarsensor erfasst werden. Ferner schlagen Zhang et al. in „Dynamic Hand Gesture Classification Based on Radar Microdoppler Signatures“ (2016 CIE International Conference on Radar, RADAR 2016) sowie Yuliang et al. in „Gesture Classification with Handcrafted Microdoppler Features using a FMCW Radar“ (2018 IEEE MTT-S International Conference on Microwaves for Intelligent Mobility) vor, die Erfassung von mit der Hand erzeugten Gesten unter Auswertung von Microdoppler Signaturen mittels eines Radarsensors durchzuführen.
Druckschriftlicher Stand der Technik
Aus der DE 10 2007 054 507 A1 ist ein Verfahren zum Erkennen eines Lebewesens bekannt, bei dem mittels Radarstrahlen ein Objekt erfasst wird. Dabei werden Radardaten zu dem erfassten Objekt gesammelt und derart ausgewertet, dass mindestens eine Eigenschaft des Objekts klassifiziert wird. Diese Eigenschaft kann dann mit charakteristischen Merkmalen bekannter Lebewesen verglichen werden, um zu bestimmen, um welche Klasse von Lebewesen es sich bei dem Objekt handelt. Durch diese Bestimmung kann dann das Lebewesen erkannt und z. B. als Mensch, Tier oder dergleichen klassifiziert werden. Ferner umfasst das Verfahren die Auswertung und den Vergleich von Bewegungsmustern. Dabei kann die Bewegung einzelner Gliedmaßen durch die Microdopplersignatur extrahiert werden. Diese Art der Extraktion ist jedoch nur bedingt möglich, Da sich das Radarsignal bzw. die Microdopplersignatur der einzelnen Gliedmaßen mit herkömmlichen Auswertemethoden jedoch nur bedingt extrahieren lässt, kann die Erkennung der Bewegung des Lebewesens nur unzureichend erfolgen.
Aufgabe der vorliegenden Erfindung
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein verbessertes Verfahren zum Erkennen einer Bewegung eines Objekts zur Verfügung zu stellen, bei dem die Nachteile aus dem Stand der Technik überwunden sind und bei dem die Bewegungserkennung verbessert wird.
Lösung der Aufgabe
Die vorstehende Aufgabe wird durch die gesamte Lehre des Anspruchs 1 sowie der nebengeordneten Ansprüche gelöst. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen beansprucht.
Bei dem erfindungsgemäßen Verfahren zum Erkennen einer Bewegung eines Objekts, wird zunächst das Objekt anhand eines Radarsensors erkannt, indem ein vom Radarsensor ausgesendetes Radarsignal als Primärsignal ausgesendet, vom beleuchteten Objekt reflektiert und anschließend vom Radarsensor als Sekundärsignal empfangen wird. Danach wird das Objekt bzw. ein durch die Radardaten erzeugtes Objektbild in mindestens einen Referenzbereich und mindestens einen Teilbereich aufgeteilt. Dabei kann jeweils eine Dopplersignatur des Radarsignals für den Referenzbereich und den Teilbereich erstellt werden, wobei für jede Dopplersignatur die dazugehörige Frequenz erfasst wird. Dies dient dazu, um eine Frequenzverschiebung bzw. Frequenzabweichung zwischen den Frequenzen der Dopplersignaturen zu ermitteln, um die Bewegung des Objekts anhand dieser zu erkennen. Dadurch, dass hierbei ein Radarsensor zur Objekterkennung bzw. Bewegungserkennung eingesetzt wird, kann diese auch unter schlechten Witterungsbedingungen, wenn optische Systeme wie Kameras und Lidarsensoren nur eingeschränkt arbeiten können, dennoch eine sichere Objekterkennung durchführbar ist bzw. gewährleistet wird. Somit kann durch das vorliegende Verfahren Redundanz für optische Systeme zur Bewegungserkennung geschaffen werden. Zudem kann die Bewegung des Objekts durch die Aufteilung des Objekts bzw. des Objektbildes in einen Referenzbereich und einen Teilbereich besonders gut extrahiert werden, da hier nicht nur eine Bewegung an sich detektiert bzw. erfasst wird, sondern die Relativbewegungen, welche in den Teilbereichen (z. B. Gliedmaßen) erfolgen, in Bezug auf einen in der Regel bewegungsärmeren Referenzbereich (z. B. Rumpf). Daraus resultiert der Vorteil, dass die Bewegungserkennung sowie die Bewegungsklassifikation erheblich verbessert werden. Zudem lässt sich das Verfahren besonders einfach als Algorithmus umsetzen und ist daher in kostengünstiger Weise auch in bestehenden Sensor- bzw. Assistenzsystemen zu implementieren oder nachzurüsten.
Vorzugsweise handelt es sich bei dem Objekt um ein Lebewesen mit Rumpf und Gliedmaßen, insbesondere ein Tier, wie z. B. Rind, Pferd, Wildtiere und dergleichen. Die Aufteilung der Bereiche erfolgt, indem z. B. den Gliedmaßen Teilbereiche und dem Rumpf der Referenzbereich zugeordnet wird. In einer weiteren Ausbaustufe der Erfindung können unter Verfeinerung der hier vorgestellten Verfahren bei Verfügung von erweiterten Rechenkapazitäten auch kleinere Tiere wie z. B. Hunde oder Wildschweine berücksichtigt werden. Dabei können z. B. auch höhere Frequenzen im Bereich von 100 GHz bis 300 GHz beim Scannen zum Einsatz kommen.
Gemäß einer bevorzugten Ausgestaltung der Erfindung kann jeder der Teilbereiche vom Radarsensor einzeln beleuchtet werden. Dazu wird zwar ein leistungsfähiger Radarsensor benötigt, der z. B. die Methode des Beamformings durchführen kann, jedoch wird dadurch die Bestimmungssicherheit der Bewegungserkennung in besonderem Maße verbessert.
Ferner kann für jeden Teilbereich und jeden Referenzbereich jeweils mindestens eine Trajektorie erstellt werden. Dadurch kann sozusagen eine Bewegungstrajektorie eines jeden Bereichs (Teilbereich und Referenzbereich) erstellt werden, beispielsweise eine Trajektorie für die Bewegung von Gliedmaßen bzw. Beinen in den jeweiligen Teilbereichen und vom Rumpf im Referenzbereich. Durch die Trajektorien können die Bewegungen in den Bereichen in besonders einfacher Weise miteinander in Beziehung gesetzt werden, insbesondere auch grafisch mit schon vorhandenen Referenzmustern verglichen werden.
Zweckmäßigerweise kann jeder Teilbereich in mindestens zwei, insbesondere in mindestens vier Abschnitte oder Zonen aufgeteilt werden, wobei für jeden Abschnitt jeweils mindestens eine Trajektorie erstellt wird. Beispielsweise kann für einen Teilbereich eine Trajektorie für einen linken vorderen Wert, einen linken hinteren Wert, einen rechten vorderen Wert sowie einen rechten hinteren Wert erstellt werden. Wobei als Wert z. B. die Signalstärke des Radarsignals oder der Energiewert der Dopplersignatur herangezogen wird. Beispielsweise wird dabei ein vorderer linker, ein hinterer linker, ein vorderer rechter und ein hinterer rechter Abschnitt des Teilbereichs gebildet. Alternativ oder zusätzlich können zwischen dem linken Abschnitt und dem rechten Abschnitt auch weitere Abschnitte eingefügt werden.
Ferner kann eine Radarsignatur des Rumpfes erstellt werden, so dass eine Frequenzabweichung oder Frequenzverschiebung der Radarsignatur der Gliedmaßen gegenüber der Radarsignatur des Rumpfes ermittelbar ist. Dadurch können die Bewegungen in den einzelnen Bereichen in besonders einfacher Weise extrahiert werden.
Vorzugsweise wird für jeden Teilbereich die minimale und maximale Energie der Frequenzabweichung ermittelt, wobei Frequenzabweichungen auf einem höheren Energielevel Gliedmaßen zugeordnet werden, die einen geringeren Abstand zum Radarsensor aufweisen, und Frequenzabweichungen auf einem niedrigeren Energielevel Gliedmaßen zugeordnet werden, die einen größeren Abstand zum Radarsensor aufweisen. Bei einem Tier, das in der Frontale oder der Rückansicht vermessen bzw. beleuchtet wird, gilt z. B. für eine linke Zone eines Teilbereichs, dass der vordere linke Wert der Energiewert der Microdopplersignatur aus der Zone links mit maximaler Energie ist und der hintere linke Wert der der Energiewert der Microdopplersignatur aus der Zone links mit minimaler Energie ist. In gleicher Weise gilt für eine rechte Zone des Teilbereichs, dass der vordere rechte Wert der der Energiewert der Microdopplersignatur mit maximaler Energie aus der Zone rechts ist und der hintere rechte Wert der der Energiewert der Microdopplersignatur mit minimaler Energie aus der Zone rechts ist. Wobei jeweils die Energiewerte mit minimaler Energie für die abweisenden bzw. hinteren Gliedmaßen (d. h. den weiter vom Radarsensor entfernten Beinen) und die Energiewerte mit maximaler Energie für die zugerichteten bzw. vorderen Gliedmaßen (d. h. den näher am Radarsensor angeordneten Beinen). Dadurch kann eine insbesondere komplexe Bewegung eines Tieres erfasst werden, z. B. ob es schnelle oder langsame Bewegungen ausführt oder wie sich die Beine zueinander bewegen (z. B. im Wechsel, paarweise vorne und/oder hinten oder asynchron).
Zweckmäßigerweise kann die Bewegungsart des Objektes ermittelt bzw. klassifiziert werden. Die Bestimmung der Bewegungsart des Objektes kann dann in einfacher Weise anhand der ermittelten Trajektorien erfolgen. Beispielsweise kann durch die Charakterisierung der Bewegung auf eine Gangart, z. B. den Gangarten von Pferden (Trab, Schritt, Tölt, Galopp, Pass) geschlossen werden. Ferner können jedoch auch allgemeinere Aussagen getroffen werden, wie z. B. langsames/schnelles Fortbewegen, Kriechen, Rennen, Gehen und dergleichen.
Gemäß einer besonderen Ausgestaltung der Erfindung sind in einem Speicher Bewegungsmuster für unterschiedliche Bewegungen des Objekts hinterlegt. Dadurch kann eine Art Bewegungsdatenbank angelegt werden, sodass dem jeweiligen Sensor bzw. Sensor- oder Assistenzsystem viele Bewegungsmuster bekannt sind. Ferner können auch nachträglich Bewegungsmuster durch Updates oder durch in Situationen „erlernte“ Bewegungen im Speicher hinterlegt werden, sodass die Bewegungsdatenbank erweiterbar ist.
Dadurch, dass ein Vergleich der Bewegungsmuster und der ermittelten Bewegung durchgeführt wird, kann auf die Bewegungsart des Objektes geschlossen werden. Insbesondere werden im Sinne der Erfindung als Bewegungsarten neben Rennen, Laufen, Kriechen und dergleichen z. B. unterschiedliche Gangarten von Tieren angesehen, wie z. B. Trab, Galopp, Tölt, Schritt, Pass und dergleichen. Daraus resultiert der Vorteil, dass Gangwechsel von Tieren im Verkehrsraum erkannt werden können. Beispielsweise kann dadurch z. B. das „Durchgehen“ von Pferden ermittelt werden, z. B. wenn das Pferd vom Schreiten in den Galopp wechselt.
Ferner können die Bewegungsmuster auch durch einen Hidden Markov Modell oder ein neuronales Netz erzeugt bzw. erlernt und im Speicher hinterlegt werden. Dadurch wird es ermöglicht, Trainingsszenarien zu generieren, die nicht real erlebt wurden. Durch diese Art des maschinellen Lernens (deep learning) kann die Bewegungserkennung noch gesteigert werden, da die hinterlegten Bewegungsmuster maschinell vermehrt werden. Dadurch wird die Bewegungserkennung in besonderem Maße verbessert, da insbesondere auch in sehr selten auftretenden Szenarien gegebenenfalls vergleichbare bzw. passende Bewegungsmuster hinterlegt sind.
Die Trajektorie weist eine festlegbare Strichdicke auf, wobei die Festlegung der Strichdicke anhand der Energie der Dopplersignatur des Radarsignals festgelegt wird. Beispielsweise kann einem hohen Energiewert eine starke bzw. große Strichdicke und einem kleinen Energiewert eine schwache bzw. geringe Strichdicke zugeordnet werden.
Vorzugsweise wird die Strichdicke zur Erkennung der Bewegung oder der Bewegungsart des Objektes herangezogen. Dadurch kann zum Beispiel eine Methode zur Schrifterkennung in einfacher Weise in das Verfahren implementiert werden, um die Bewegungen des Objektes bzw. eines Tieres zu extrahieren oder zu erfassen. Betrachtet man dabei z. B. die Verschiebungen oder Abweichungen der Frequenz beim Microdopplersignal der Beinbewegungen gegenüber der Frequenz beim Microdopplersignal des Rumpfes, ist dies ähnlich der Abweichung von Teilen eines Buchstabens über einer durchgehenden Basislinie. Im Vergleich zu einer Schreibschrift oder arabischen Schrift können auch die durch die Microdopplersignaturen entstandenen Bögen oder Abweichungen der Trajektorien in analoger Weise mit Ligaturen der Schriften verglichen werden. Dabei können die grafisch dargestellten Trajektorien der Beinbewegungen z. B. anhand eines Verfahrens zur Schrifterkennung in Bezug auf die Trajektorie des Rumpfes, sozusagen die Basislinie, erkannt werden, um dadurch auf die Bewegung bzw. die Bewegungsart des Objektes zu schließen.
Besonders vorteilhaft ist es, wenn eine Prädiktion des Verhaltens des Objekts erfolgt. Eine derartige Prädiktion kann in einfacher Weise anhand der Bewegung des Objekts erfolgen. Beispielsweise kann anhand eines schnellen Gangartwechsels (von langsamen Schritten hin zum Rennen/Galopp) auf ein gescheutes oder durchgehendes Tier geschlossen werden. Daraus können sich Gefahrensituationen ergeben, auf die dann z. B. durch regelnde und/oder warnende Assistenzfunktionen reagiert werden kann. Die Prädiktion kann dabei aufgrund des Vergleiches von aktuell erzeugten Trajektorien mit gespeicherten Referenzmustern und den zugehörigen statistischen Modellen erfolgen.
Zweckmäßigerweise kann das Radarsignal auch verstärkt oder gefiltert werden. Alternativ oder zusätzlich kann dabei neben der Frequenz auch die Amplitude, die Phase, die Polarisation, die Laufzeit, der Einfallswinkel und dergleichen zur Bestimmung der Dopplersignatur und/oder zur Charakterisierung des Radarsignals oder der Dopplersignaturen herangezogen werden.
Ferner umfasst die vorliegende Erfindung ein Sensorsystem zum Erfassen der Bewegung eines Objekts, welches einen Radarsensor umfasst und dadurch gekennzeichnet ist, dass es die Erfassung der Bewegung des Objekts anhand des erfindungsgemäßen Verfahrens durchführt. In praktischer Weise kann das Sensorsystem teil eines (Fahrer-) Assistenzsystems sein, dass die Bewegung des Objekts erfasst und in Abhängigkeit von der Bewegung eine Warnung an den Fahrer ausgibt, einen Lenk- und/oder Bremseingriff oder eine geschwindigkeits- und/oder Beschleunigungsanpassung insbesondere selbsttätig durchführt.
Ausdrücklich umfasst sind von der Erfindung zudem auch nicht explizit genannte Merkmalskombinationen der Merkmale bzw. Ansprüche, sogenannte Unterkombinationen.
Figurenliste
Im Folgenden wird die Erfindung anhand von zweckmäßigen Ausführungsbeispielen näher beschrieben. Es zeigen:

1 vier vereinfachte Darstellungen (A-D) von Verkehrssituationen mit einem Fahrzeug und einem Tier;
2 eine vereinfachte schematische Darstellung einer Einteilung der Front- oder Rückansicht eines Tieres in Zonen mithilfe eines Gitters;
3 eine vereinfachte schematische Darstellung einer Trajektorie für die Beinbewegung mit Stützpunkten und einer Vergleichstrajektorie für den Rumpf sowie Vorschläge für eine feinere Unterteilung in mehrere Abschnitte zur Gewinnung von zusätzlichen Stützpunkten für zusätzliche Trajektorien;
4 eine vereinfachte schematische Darstellung einer Trajektorie für die Beinbewegung mit Stützpunkten und einer Vergleichstrajektorie für den Rumpf;
5 eine vereinfachte schematische Darstellung von acht Trajektorien für zwei Bereiche mit jeweils dem Microdoppler Signal von Rumpf und Bein eines Tieres, sowie
6 eine vereinfachte schematische Darstellung von Trajektorienausschnitten, deren Strichstärke in Abhängigkeit von der Signalstärke variiert.

Bezugsziffer 1 in 1 bezeichnet ein Fahrzeug, welches sich auf einer Straße in Pfeilrichtung (heller Pfeil) fortbewegt. Zudem bezeichnet Bezugsziffer 2 ein Tier, welches sich ebenfalls in Pfeilrichtung (dunkler Pfeil) fortbewegt. Die einzelnen Darstellungen A-D in 1 zeigen unterschiedliche Szenarien bzw. Verkehrssituationen: In 1(A) bewegen sich Fahrzeug 1 und Tier 2 auf gleicher Fahrspur in gleicher Richtung, in 1 (B) bewegen sich Fahrzeug 1 und Tier 2 auf gleicher Fahrspur in entgegengesetzter Richtung, in 1(C) bewegen sich Fahrzeug 1 und Tier 2 auf unterschiedlichen Fahrspuren in entgegengesetzter Richtung und in 1(D) bewegen sich Fahrzeug 1 und Tier 2 auf unterschiedlichen Fahrspuren in gleicher Richtung. Dementsprechend ist vom Fahrzeug 1 aus entweder die Front des Tieres 2 oder dessen Rückseite sichtbar. Das Fahrzeug 1 umfasst hierbei zur Detektion von Objekten einen Radarsensor bzw. ein Sensorsystem, welches anhand von ausgesendeten elektromagnetischen Wellen (Radarsignalen) die Objekte erkennen und/oder orten kann. Dies erfolgt dadurch, dass der Radarsensor ein Radarsignal aussendet und das von dem jeweiligen Objekt reflektierte Signal empfängt und auswertet.
Gemäß der vorliegenden Erfindung werden signifikante Änderungen bei der Fortbewegung des Tieres betrachtet, die durch das Überwachen der Bewegung der Gliedmaßen bzw. der Beinbewegungen des Tieres erkannt wird. Die Beinbewegungen werden dabei im Geiste der Erfindung als „Gesten“ des jeweiligen Tieres betrachtet. Die Auswertung erfolgt dabei anhand einer Doppler-Signatur bzw. Microdopplersignatur des Radarsignals bzw. des Doppler-Signals. Dabei kann die Relativbewegung zwischen dem Radarsensor und der jeweiligen Gliedmaße durch den Doppler-Effekt aus der Verschiebung der Frequenz des reflektierten Radarsignals ermittelt bzw. berechnet werden. Die Fortbewegung des Tieres erfolgt in der Regel durch die Beinbewegung. Infolgedessen wird vorgeschlagen, keinen gesamten Scan des Tieres, sondern nur Scans von einzelnen Zonen bzw. Bereichen der Ansicht des Tieres heranzuziehen, die sich im Wesentlichen auf die Gliedmaßen bzw. Beine konzentrieren.
Beispielsweise können dabei die Frontseite oder die Rückseite des Tieres in Zonen oder Bereiche eingeteilt werden, die bei der Erfassung Microdopplersignaturen getrennt erfasst werden, wie exemplarisch in 2 dargestellt. Dazu wird z. B. die Frontseite des Tieres, umfassend Rumpf 3 und Beine bzw. Gliedmaße 4, d. h. die dem Fahrzeug 1 zugewandte Seite, mit einem Gitter 5 versehen. Durch das Gitter werden Bereiche 6 gebildet, die als Eingabefelder betrachten werden können (sozusagen Zonen als Eingabefelder). Beispielsweise können Teilbereiche 6 für die Beine und ein Referenzbereich 7 für den Rumpf festgelegt werden. Dabei sollte eine solcher Teilbereich 6 sinnvollerweise wie ein Streifen geformt sein, um sich an die (in der Regel längliche) Geometrie der Beine anzupassen. Um diese einzelnen Bereiche individuell zu bearbeiten, wird ein leistungsfähiges Radar benötigt, mit dem z. B. die Methode des Beamformings auch jeweils auf die einzelnen Bereiche angewendet werden kann, d. h. das Radar muss in der Lage sein, z. B. jeweils ausschließlich einen Teilbereich 6 zu illuminieren und das sukzessive für alle Bereiche z. B. ohne große Umrüstzeiten umzusetzen. Durch das individuelle Illuminieren der Teilbereiche 6 kann die Aufteilung der Front- oder Rückansicht des Tieres in streifenförmigen Teilbereiche 6 erfolgen, wodurch die Doppler-Signaturen separat ausgewertet werden können. Erst bei der späteren Auswertung z. B. im Hidden-Markov-Model oder über ein neuronales Netz werden diese Ergebnisse dann wieder zusammengeführt.
Ferner wird die Radarsignatur vom Rumpf des Tieres vermessen, um diese z. B. mit der Radarsignatur der Gliedmaßen zu vergleichen. Hierbei werden zusätzliche Messungen zur Erstellung der Microdopplersignatur des Rumpfes erstellt, da gegebenenfalls nicht alle Zonen bzw. Anteile des Rumpfes des Tieres enthalten sind. Somit können dann auch die Frequenzabweichungen für den an den sich bewegenden Beinen erzeugten Microdopplersignatur gegenüber der Microdopplersignatur des Rumpfes bestimmt werden.
Bei den Anwendungsfällen aus 1 sieht man vom Fahrzeug 1 aus entweder auf die Frontale bzw. Frontansicht oder die Rückansicht des Tieres. Diese Ansicht wird in Bereiche oder Zonen gemäß 2 aufgeteilt, wobei pro Bereich eine multiple Radar-Microdopplersignatur erstellt wird. Ferner wird jeder Bereich durch Beamforming des Radarsensors individuell illuminiert, insbesondere damit die reflektierten Signale einem bestimmten Bereich des illuminierten Objektes zugeordnet werden können. Dadurch ist der Bereich der reflektieren Signale größer als der ursprüngliche Bereich, wie in 3 gezeigt, wobei die gestrichelte Markierung den ursprünglichen Bereich darstellt. Für die Auswahl der Messwerte, d. h. die aufgrund des Microdoppler-Effektes verschobenen Frequenzen und der dazu gehörigen Energie, werden unter den verschobenen Frequenzen die Werte mit der minimalen und der maximalen Energie, d. h. der größten Frequenzabweichung bzw. Frequenzverschiebung, gesucht, jeweils für die linke und rechte Hälfte der zu einem Teilbereich 6 gehörenden Reflexionen, wie in 3 links gezeigt. In praktischer Weise wird dabei die gesamte Front- und Rückansicht des Tieres durch sukzessive Scans der einzelnen Teilbereiche 6 gescannt bzw. vermessen.
Für jeden Abschnitt in des Teilbereichs 6 wird dabei die Microdoppler-Frequenzverschiebung mit hohen und niedrigen Energiewerten betrachtet, wobei die Microdoppler-Frequenzverschiebung mit hohen Energiewerten den Beinen des Tieres der zugewandten Seite zugeordnet wird. Demgegenüber wird die Microdoppler-Frequenzverschiebung mit niedrigen Energiewerten den Beinen des Tieres für dessen abgewandte Seite zugeordnet. Ferner werden auch die Reflexionen des Rumpfes berücksichtigt, die sich in der Regel als Doppler-Signal mit hoher Energie darstellen. Dabei kann dieser Wert noch einmal separat gemessen werden, wenn keine Rumpf-Anteile in dem Teilbereich 6 enthalten sind, da die Microdoppler-Frequenzabweichung gegenüber der Doppler-Frequenz des Rumpfes bestimmt werden muss. Die Energieunterschiede sind ursächlich dafür, ob die empfangene Frequenz der Reflexion dem Rumpf des Tieres oder dessen Beinen bzw. Läufen zuzuordnen ist. Dabei weisen Messwerte von Microdoppler Frequenzverschiebungen auf einem höheren Energielevel (d. h. dennoch unterhalb des Energielevels für den Rumpf) auf Reflexionen von den Beinen der dem Fahrzeug zugewandten Seite des Tieres hin (z. B. den Vorderläufen bei Frontalansicht). Demgegenüber weisen Messwerte von Microdoppler-Frequenzverschiebungen auf einem niederen Energielevel auf Reflexionen von den Beinen der dem Fahrzeug abgewandten Seite des Tieres hin (z. B. den Hinterläufen bei Frontalansicht).
Zweckmäßigerweise werden aus den reflektierten Microdoppler-Signalen bzw. Microdopplersignaturen Trajektorien generiert. Die Trajektorienerstellung kann dabei z. B. in ähnlicher Weise erfolgen, wie bei einem Verfahren zur Handschrifterkennung, d. h. die Methodik bzw. die Vorgehensweise der Handschrifterkennung kann zur Trajektorienplanung adaptiert werden. Beispielsweise können sogenannte Berührungspunkte bzw. Stützstellen erfasst werden, welche als Ankerpunkte der noch zu erstellenden Trajektorien herangezogen werden. Anschließend werden die mittels der erfassten Stützstellen erstellten Trajektorien erfasst bzw. ausgegeben.
Wie in 3 (links) bei einer Halbierung des Teilbereichs 6 in zwei Abschnitte 8a, 8b gezeigt, wird zunächst für jeden Abschnitt 8a, 8b jeweils für die linke und die rechte Hälfte der Wert für die Microdoppler-Signale mit der minimalen bzw. maximalen Energie bestimmt. Dabei gilt, dass der vordere linke Wert in dem Abschnitt 8a der Wert ist, der zu den Microdoppler-Signalen gehört, in der linken Hälfte des Abschnitts 8a liegt und den maximalen bzw. größten Energiewert aufweist. Demgegenüber ist der vordere rechte Wert in dem Abschnitt 8a der Wert, der zu den Microdoppler-Signalen gehört, in der rechten Hälfte des Abschnitts 8a liegt und den größten Energiewert aufweist. Der vordere linke Wert und der vordere rechte Wert können dabei identisch sein, beispielsweise wenn sich beide Vorderläufe des Tieres in gleichem Abstand zum Radarsensor befinden. Der hintere linke Wert in Abschnitt 8a ist der Wert, der zu den Microdoppler-Signalen gehört, in der linken Hälfte des Abschnitts 8a liegt und den geringsten Energiewert aufweist. Demgegenüber ist der hintere rechte Wert in Abschnitt 8a der Wert, der zu den Microdoppler-Signalen gehört, in der rechten Hälfte des Abschnitts 8a liegt und den geringsten Energiewert aufweist. Dabei können hinterer linker Wert und hinterer rechter Wert ebenfalls identisch sein. In gleicher Weise wird dies für den Abschnitt 8b widerholt. Ferner kann jeder Teilbereich 6 auch gemäß 3 (Mitte) und 3 (rechts) in mehrere Abschnitte 8a-8h unterteilt sein.
Anschließend können für jeden Abschnitt eines Teilbereichs 6 vier Trajektorien erzeugt werden, wobei eine Trajektorie erstellt wird, indem sie als Stützstellen die vorderen linken Werte für alle gemessenen Zeitpunkte umfasst. Es wird zudem eine Trajektorie erstellt, die als Stützstellen die vorderen rechten Werte für alle gemessenen Zeitpunkte umfasst. Ferner wird eine Trajektorie erstellt, die als Stützstelle die hinteren linken Werte für alle gemessenen Zeitpunkte umfasst und es wird eine Trajektorie erstellt, die als Stützstelle die hinteren rechten Werte für alle gemessenen Zeitpunkte umfasst. Exemplarisch ist in 4 eine Trajektorie mit Messwerten als Stützstellen aufgezeigt, wobei bei der Darstellung die Frequenz gegen die Zeit aufgetragen ist und die Stützstellen jeweils zu den Zeitpunkten t1, t2, t3 ... tn erfasst wurden. Ferner sind in 5 die Trajektorien T1-T8 für zwei Abschnitte 8a, 8b eines Teilbereichs mit jeweils dem Microdoppler-Signal des Rumpfes (gestrichelte Linie) und dem des jeweiligen Beines (durchgezogene Linie) dargestellt. Hierbei ist T1 für Abschnitt 8a der vordere linke Wert, T2 für Abschnitt 8a der vordere rechte Wert, T3 für Abschnitt 8a der hintere linke Wert, T4 für Abschnitt 8a der hintere rechte Wert, T5 für Abschnitt 8b der vordere linke Wert, T6 für Abschnitt 8b der vordere rechte Wert, T7 für Abschnitt 8b der hintere linke Wert und T8 für Abschnitt 8b der hintere rechte Wert.
Die Strichdicke bzw. Strichstärke der jeweiligen Trajektorie kann dabei der Energie der empfangenen Messwerte entsprechen, d. h. die Strichstärken der Trajektorien korrelieren jeweils der Höhe der Energie der empfangenen Messwerte bzw. von der Signalstärke. Insbesondere kann ein solcher Strich auch verschwinden, wenn die Energie eines reflektierten Microdoppler Signals einen festlegbaren unteren Schwellenwert (Threshold) unterschreitet. Das kann etwa bei Reflexionen von den abgewandten Beinen des Tieres geschehen, wie in 6 dargestellt. Von links nach rechts ist hier exemplarisch gezeigt, dass viel Energie des reflektierten Signals in einer hohen Strichstärke resultiert (links), wenig Energie (Mitte links und rechts) eine normale Strichstärke bewirkt und sehr wenig Energie (Mitte rechts) zum Verschwinden des Strichs führt.
Für die jeweiligen Abschnitte werden für das jeweilige Bein des Tieres bzw. die jeweilige Gliedmaße Trajektorien erstellt, die aus den Unterschieden der von den Beinen reflektierten Microdoppler-Frequenzen gegenüber der vom Rumpf reflektierten Doppler-Frequenz entstanden sind, d. h. vier Trajektorien pro Abschnitt. Dabei kann es sein, dass für je zwei Beine der gleiche Wert zugewiesen wird, etwa beim Galopp eines Pferdes, da sich hier Vorder- und Hinterläufe im Vergleich zum Trab oder Tölt nahezu gleichzeitig nach vorne und hinten bewegen. Die Werte der dem Fahrzeug zugewandten Seite können aufgrund der höheren Energie der reflektierten Radarsignale identifiziert werden.
Um nun spezielle Bewegungsübergänge bei Tieren zu erkennen, werden z. B. Hidden Markov Modelle oder Neuronale Netze eingerichtet. Ein wichtiger Bewegungsübergang, der zu erkennen ist, betrifft dabei z. B. den Übergang vom Schreiten zum Galopp. Dieser Übergang ist anhand der gelieferten Trajektorien zu erkennen. Die aktuell erzeugten Trajektorien sind, nach einer Normalisierung mit den hierfür abgespeicherten Mustern zu vergleichen. Hierbei können auch abgespeicherte Statistikdaten herangezogen werden, um den Grad der Übereinstimmungen mit den abgespeicherten Mustern zu bestimmen. Im Gegensatz zu der Handschrifterkennung von einzelnen Buchstaben ist bei der Handschrifterkennung von Schreibschrift oder Arabisch immer eine Gruppe von Buchstaben, also ein Wort zu analysieren. Aufgrund mehrerer Übereinstimmungen wird das Wort nach statistischer Bewertung erkannt. Diese Vorgehensweise ist hier auf die parallele Bewertung von allen Trajektorien zu erweitern. Hier ist insbesondere zu berücksichtigen, dass erst die Gesamtheit aller Teilbereiche bzw. Abschnitte die Front- oder Rückseite eines Tieres überdeckt und vorab nicht abzusehen ist, welcher Teilbereich welches Teil vom Tier bzw. vom Bein erfasst. Diese Verschiebungen müssen beim Vergleichen der erzeugten Trajektorien mit den abgelegten Mustern berücksichtigt werden.
Die Hidden Markov Modelle oder die neuronalen Netze können zur Erfassung spezieller Bewegungsübergänge mittels Simulation trainiert werden. Unter Verwendung von aus dem Stand der Technik bekannten Simulationstechniken können entsprechende Muster für die Erfassung spezieller Bewegungsübergänge erstellt werden. Dabei werden die Tiere in Größe und Geschwindigkeit variiert. Ferner können auch statistische Modelle erstellt werden, die bei jedem Vergleich von Life-Daten mit Muster-Daten zu berücksichtigen sind.
Die Trajektorien sind wie bei einer multiplen, parallelen Handschrifterkennung von Schreibschrift zu behandeln. Die Trajektorien für die Anzahl der Abschnitte und die Anzahl der Beine werden parallel ausgewertet, wobei eine Trajektorie den Verlauf der Verschiebung des Microdoppler Signals der Beine gegenüber dem Doppler-Signal des Rumpfes in der Zeitrichtung beschreibt. Das Doppler-Signal des Rumpfes (Das Tier ist in Bewegung) bildet dabei die „Null-Linie“. Diese Null-Linie wird von den Tieren beim Schreiten oder Galoppieren mit den Beinen regelmäßig überquert. Ferner kann die Strichstärke, gemäß 6, berücksichtigt werden.
Entgegen der Handschrifterkennung kann die beschriebene Methode auch angewandt werden, um die Fortbewegung des Tieres auf periodische Bewegungen der Beine zu überwachen. Dadurch kann eine Überwachung der Änderung der Bewegungsweise des Tieres erfolgen. Der permanente Vergleich der aus den Messungen erstellen Trajektorien mit den abgelegten Mustern erkennt dabei, ob ein Tier z. B. vom Schreiten in den Galopp fällt oder scheut. Dadurch ist es möglich, eine Verhaltensprädiktion des Tieres durchzuführen.
Gemäß einem bevorzugten Ausführungsbeispiel sollte die verwendete Radarfrequenz in etwa 80 GHz betragen. Die Messpunkte für die Trajektorien sollten im Bereich von 20 Hz erfolgen.
Ferner kann die Sicht auf die Front- oder Rückseite des Tieres in 50 Abschnitte aufgeteilt werden, sodass der Radarscan eines jeden Abschnittes innerhalb 1 ms erfolgen sollte, was zu einer Gesamt Scanrate von 100 Hz führt. Die Entfernung vom Fahrzeug zum Tier würde dabei idealerweise etwa bis zu 20 m betragen. Eine Verbesserung der Erkennungsgenauigkeit und der Entfernung des Fahrzeugs vom Tier kann z. B. erfolgen, indem die Zonen (d. h. Teilbereiche und/oder Abschnitte) verkleinert und deren Anzahl erhöht wird. Insbesondere kann dies durch den Einsatz eines Radarsensors erfolgen, der ein präziseres Beamforming auf die verkleinerten Zonen leisten kann und zudem auch die schnellere Abfolge der Scans der einzelnen Zonen bewerkstelligen kann. Beispielsweise kann ein solches Beamforming zumindest von einem nach dem AESA (Active Electronic Scan-ned Array) Prinzip konstruierten Radars geleistet werden. In einfacherer Weise kann das Radar eine Antennenanordnung bzw. ein „Antenna Arrary“ mit geeignet ausgerichteten Antennen umfassen, bei denen die Antennen abwechselnd zum Einsatz kommen. Vorzugsweise wird zur Verbesserung der Erkennungsgenauigkeit die Scanrate jedoch nicht verändert, sondern die Aufteilung der Abschnitte, wie in 3 beschrieben, verfeinert, um zusätzliche Stützpunkte und damit zusätzliche Trajektorien zu erstellen.
Die Fortbewegung sowie die Fortbewegungsart eines Tieres, wie z. B. eines Pferdes, kann mit dem erfindungsgemäßen Verfahren sicher erfasst werden. Zusätzlich können auch über die Ausgabegeräte des Autos, wie z. B. ein Display bzw. Head-up-Display, eine Akustikanlage, eine Infotainment Headunit und/oder eines Instrument Cluster Displays (Kombi), Ausgaben erfolgen (z. B. optisch, akustisch oder haptisch), dass z. B. vom Tier bzw. Pferd aktuell keine Gefahr ausgeht. Wenn sich dann durch irgendeinem Umstand den der Fahrer nicht sehen kann, z. B. das Pferd erschreckt und scheut, wird dieser „Zustandswechsel“ des Pferdes von „verkehrssicher“ zu „problematisch“ umklassifiziert und z. B. die Farbe einer das Pferd symbolisierenden Ikone in der Anzeige von grün/gelb zu rot geändert. Das Fahrzeug wird dann vorzugsweise teil- oder vollautomatisiert zum Halten oder Ausweichen gebracht. Zudem kann auf dem Display der Headunit oder des Kombis eine Warnmeldung bezüglich des durchgehenden Pferdes ausgegeben werden. Ausdrücklich umfasst sind von der Erfindung auch Lösungen für andere Fortbewegungsmittel, wie Flugzeuge, Hubschrauber, Drohnen, Motorräder, Fahrräder, Boote, Wasserfahrzeuge und dergleichen.
Bezugszeichenliste

1: Fahrzeug
2: Tier
3: Rumpf
4: Bein
5: Gitter
6: Teilbereich
7: Referenzbereich
8a-8h: Abschnitt
T1: Trajektorie Abschnitt 8a, vorderer linker Wert
T2: Trajektorie Abschnitt 8a, vorderer rechter Wert
T3: Trajektorie Abschnitt 8a, hinterer linker Wert
T4: Trajektorie Abschnitt 8a, hinterer rechter Wert
T5: Trajektorie Abschnitt 8b, vorderer linker Wert
T6: Trajektorie Abschnitt 8b, vorderer rechter Wert
T7: Trajektorie Abschnitt 8b, hinterer linker Wert
T8: Trajektorie Abschnitt 8b, hinterer rechter Wert

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102007054507 A1 [0004]

Claims

Verfahren zum Erkennen einer Bewegung eines Objekts, bei dem das Objekt anhand eines Radarsensors erkannt wird, indem ein vom Radarsensor ausgesendetes Radarsignal vom Objekt reflektiert und anschließend vom Radarsensor empfangen wird, wobei das Objekt in mindestens einen Referenzbereich (7) und mindestens einen Teilbereich (6) aufgeteilt wird, jeweils eine Dopplersignatur des Radarsignals für den Referenzbereich (7) und den Teilbereich (6) erstellt wird, die Frequenzen der Dopplersignaturen erfasst werden und die Bewegung des Objekts anhand einer Frequenzabweichung zwischen den Frequenzen der Dopplersignaturen erkannt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass es sich bei dem Objekt um ein Lebewesen mit Rumpf (3) und Gliedmaßen handelt, insbesondere ein Tier, und die Aufteilung der Bereiche erfolgt, indem den Gliedmaßen Teilbereiche (6) und dem Rumpf der Referenzbereich (7) zugeordnet wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass jeder Teilbereich (6) vom Radarsensor einzeln beleuchtet wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jeden Teilbereich (6) und Referenzbereich (7) jeweils mindestens eine Trajektorie erstellt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass jeder Teilbereich (6) in mehrere Abschnitte (8a-8h), insbesondere in zwei oder vier Abschnitte, aufgeteilt wird, wobei für jeden Abschnitt (8a-8h) jeweils mindestens eine Trajektorie (T1-T4 bzw. T5-T8) erstellt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Radarsignatur des Rumpfes (3) erstellt wird, so dass eine Frequenzabweichungung der Radarsignatur der Gliedmaßen gegenüber der Radarsignatur des Rumpfes (3) ermittelbar ist.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für jeden Abschnitt (8a-8h) des Teilbereiches (6) die minimale und maximale Energie der Frequenzabweichung ermittelt wird, wobei Frequenzabweichungen auf einem höheren Energielevel Gliedmaßen zugeordnet werden, die einen geringeren Abstand zum Radarsensor aufweisen, und Frequenzabweichungen auf einem niedrigeren Energielevel Gliedmaßen zugeordnet werden, die einen größeren Abstand zum Radarsensor aufweisen.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bewegungsart des Objektes anhand der Trajektorien ermittelt wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in einem Speicher Bewegungsmuster für unterschiedliche Bewegungen des Objekts hinterlegt sind.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass anhand eines Vergleichs der Bewegungsmuster und der ermittelten Bewegung auf die Bewegungsart des Objektes geschlossen wird.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Bewegungsmuster durch einen Hidden Markov Modell oder ein neuronales Netz ausgewertet werden.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Trajektorie eine festlegbare Strichdicke aufweist und die Festlegung der Strichdicke anhand der Energie der Dopplersignatur des Radarsignals festgelegt wird.
Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass die Strichdicke zur Erkennung der Bewegung oder der Bewegungsart des Objektes herangezogen wird.
Verfahren nach mindestens einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass anhand der Bewegung des Objekts eine Prädiktion des Verhaltens des Objekts erfolgt.
Sensorsystem zum Erfassen der Bewegung eines Objekts, mit einem Radarsensor (1), dadurch gekennzeichnet, dass das Sensorsystem die Erfassung der Bewegung des Objekts anhand eines Verfahrens nach mindestens einem der vorhergehenden Ansprüche durchführt.