DE102019200177B4

DE102019200177B4 - Verfahren zur Identifizierung eines Lebewesens

Info

Publication number: DE102019200177B4
Application number: DE102019200177.7A
Authority: DE
Inventors: Bernhard Kleiner; Reinhold Herschel
Original assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Current assignee: Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date: 2019-01-09
Filing date: 2019-01-09
Publication date: 2022-08-11
Anticipated expiration: 2039-01-10
Also published as: DE102019200177A1

Abstract

Verfahren zur Identifizierung zumindest eines Lebewesens (1),wobeiein Messbereich mit einem System zur Richtungs- und Abstandsmessung in zumindest zwei zeitlich nacheinander liegenden Frames vermessen wird und hierdurch Messdaten erzeugt werden,wobei das System zur Richtungs- und Abstandsmessung zumindest zwei an unterschiedlichen Orten positionierte Sender (2a, 2b, 2n) und zumindest zwei an unterschiedlichen Orten positionierte Empfänger (3a, 3b, 3m) aufweist,wobei in den Messdaten oder in aus den Messdaten gewonnenen Daten zumindest zwei relevante Elemente identifiziert werden, die zu demselben zu identifizierenden Lebewesen gehörig sind,die zumindest zwei relevanten Elemente über zumindest zwei der Frames hinweg verfolgt werden und hierdurch für jedes der zumindest zwei relevanten Elemente jeweils eine Trajektorie und/oder ein Dopplerspektrum bestimmt wird,wobei anhand der so bestimmten Trajektorien und/oder der so bestimmten Dopplerspektren die zumindest zwei relevanten Elemente zumindest einem der zumindest einen Lebewesen zugeordnet werden, wobei die Elemente dem jeweiligen Lebewesen anhand eines biologischen Modells des entsprechenden Lebewesens zugeordnet werden, wobei von vorneherein nur solche Elemente in Betracht gezogen wer- , den, die vom Modell vorgegebenen Bedingungen entsprechen, und weitere Elemente, die außerhalb von bereits erkannten Teilen des Lebewesens liegen, anhand des Modells ausgeschlossen werden,und jeweils mittels der einem der Lebewesen zugeordneten Trajektorien und/oder Dopplerspektren das entsprechende Lebewesen unter Verwendung eines neuronalen Netzes identifiziert wird, dem die Trajektorien und/oder Dopplerspektren als Eingabe gegeben werden.

Description

Die Erfindung betrifft ein Verfahren zur Identifizierung zumindest eines Lebewesens, wobei ein Messbereich mit einem System zur Richtungs- und Abstandsmessung in zumindest zwei zeitlich nacheinander liegenden Frames vermessen wird und hierdurch Messdaten erzeugt werden, wobei in den Messdaten Trajektorie und/oder ein Dopplerspektrum zumindest zweier relevanter Elemente jeweils eine bestimmt wird. Dabei wird die Trajektorie und/oder das Dopplerspektrum zumindest einem Lebewesen zugeordnet und das Lebewesen auf diese Weise identifiziert.
Biometrische Sensoren werden zunehmend kontaktlos ausgeführt, um Eingabemethoden und Interaktion möglichst effizient, sicher und unauffällig zu gestalten. Hierfür sollen von außen messbare biometrische Merkmale am Menschen erfasst und einem Individuum zugeordnet werden. Der wichtigste Vorteil gegenüber Fingerabdruck oder Iris-basierten Methoden ist die Möglichkeit, aus der Ferne zu messen. Die notwendige Sensorik muss in den jeweiligen Umgebungsbedingungen so funktionieren, dass Fehlzuordnungen durch Nachahmung oder Ähnlichkeit biometrischer Merkmale nicht möglich sind. Jedes Individuum besitzt eine spezifische Gangart, welche nahezu eindeutig erkannt werden kann. Die menschliche Bewegung ist eine hochkomplexe zeitliche Abfolge der Ausprägung einer Vielzahl von statischen und dynamischen Faktoren unterliegt. Obwohl unter Alltagsbedingungen ausschließlich zeitliche und örtliche Veränderungen des Körpers inkl. Körperteile erkennbar sind, geschieht die Bewegung grundsätzlich unter der nicht sichtbaren Kontrolle des zentralen Nervensystems, das hauptsächlich die Reihenfolge einzelner Bewegungsphasen, Geschwindigkeit, und Krafteinsatz koordiniert. Aufgrund der individuell entwickelten Anatomie und des individuellen Nervensystems jedes einzelnen Lebewesens zeigt sich immer ein anderes Bewegungsprofil, welches in Form des Gangbilds aufgrund seiner Rhythmik ein individuelles Muster ergibt. Somit ist das Gangbild zur Identifikation und Authentifikation besonders gut geeignet, weil es sich über einen längeren Zeitraum erstreckt, eine charakteristische Rhythmik besitzt und ein individuelles Bewegungsprofil ermöglicht. Die Identifikation einer Person anhand des Gangbildes kann über eine Abfolge von Bewegungsmessdaten erfolgen. So kann man mittels des Gangbildes Individuen vollautomatisiert und kontaktfrei identifizieren. Besonders ausgeprägte Merkmale des Ganges sind unter anderem die Schrittweite, Gangweite, Schrittzeit, Schwungzeit, Kontaktzeit und Schrittgeschwindigkeit. Es hat sich jedoch gezeigt, dass ein Gang über spezielle aufwändige Verfahren trainiert und nachgeahmt und nur mit zusätzlichen anthropometrischen Messdaten und Merkmalen eine nahezu hundertprozentige Genauigkeit erreicht werden kann.
Etablierte biometrische Identifikationsmethoden sind Fingerabdruck oder Irisscan. Berührungslos basiert Identifikation derzeit meist auf optischen Kameras und Auswertung biometrischer Merkmale mit den Mitteln der Bildverarbeitung. Auch Bewegungsmuster wurden bereits eingesetzt. Allerdings basiert deren Detektion in diesem Fall auf der Auswertung zweidimensionaler optischer Bilder, was keine ortsaufgelöste Geschwindigkeitsmessung zulässt. Bereits veröffentlichte radarbasierte Verfahren nutzen lediglich eindimensionale Entfernungsprofile und basieren daher auf einer geringen Informationsmenge mit entsprechend hoher Falschalarmrate. Des Weiteren werden bereits Systeme mit in den Boden integrierten Druckmatten eingesetzt, um den Gang der darüber laufenden Person aufzuzeichnen.
Der Artikel „Radar based detection and tracking of a walking human“ von Juhana Ahtiainen et al. aus den IFAC Proceedings Volumes, 2010, 43. Jahrgang, Nr. 16, Seiten 437 bis 442, beschreibt einen radarbasierten Ansatz für das Detektieren und Verfolgen von Fußgängern. Der dort verfolgte Ansatz nutzt ein handelsübliches Radar aus dem Automotive-Bereich zum Verfolgen der Ziele und einen separaten Dopplerradar zum Bereitstellen zusätzlicher Informationen über die Klassen der verfolgten Ziele. Die Klassifikation der Objekte als Menschen basiert dabei auf einer Analyse des Dopplerspektrums der Ziele sowie der Fortbewegungsgeschwindigkeit der Ziele, welche aus dem Verfolgungsprozess ableitbar ist. Dadurch kann zwischen nicht-menschlichen und menschlichen Zielen unterschieden werden, falls das menschliche Ziel sich bewegt.
WO 2018/183546 A1 beschreibt ein Identifizierungssystem für Subjekte oder Aktivitäten, basierend auf Abstands- und Geschwindigkeitsdaten. Dabei erfasst ein Radarsystem ein Signal in einer Zeit- oder Frequenzdomäne, welches von einem oder mehreren Objekten in einem dreidimensionalen Raum über einen Zeitraum hinweg reflektiert wurde. Das Signal wird durch eine Berechnungseinheit ausgewertet, um Abstands- und Geschwindigkeitsdaten zu erzeugen, welche eine Bewegung eines lebenden Subjekts im dreidimensionalen Raum angeben. Die Verarbeitungseinheit ist zusätzlich ausgebildet zum Identifizieren des lebenden Subjekts und Ausgeben einer Identität des lebenden Subjekts basierend auf Abstand und Geschwindigkeitsdaten, welche die Bewegung des lebenden Subjekts angeben.
US 6 072 173 A bezieht sich auf ein Tierkörperdetektionssystem, welches auf ein Fahrzeug montiert werden soll, um einfach und genau festzustellen, ob ein Tier vor dem Fahrzeug existiert oder nicht, d. h. einen Abstand zu einem Objekt vor dem Fahrzeug zu bestimmen und gleichzeitig zu unterscheiden, ob es sich bei dem Objekt um ein Tier handelt oder nicht.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Vorrichtung zur Identifizierung zumindest eines Lebewesens anzugeben, mit dem die Nachteile des Standes der Technik überwunden werden können und insbesondere eine Identifizierung unabhängig von der Beleuchtungssituation kontaktfrei mit hoher Genauigkeit möglich ist.
Die Aufgabe wird gelöst durch das Verfahren zur Identifizierung zumindest eines Lebewesens nach Anspruch 1 sowie die Vorrichtung zur Identifizierung zumindest eines Lebewesens nach Anspruch 17. Die anhängigen Ansprüche geben vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung an.
Die Erfindung betrifft ein Verfahren zur Identifizierung zumindest eines Lebewesens. Das Lebewesen kann beispielsweise ein Tier oder ein Mensch sein. Die Identifizierung kann hierbei vorteilhaft beinhalten, dass das Lebewesen, von dem im erfindungsgemäßen Verfahren Messdaten aufgenommen werden, als ein beispielsweise in einer Datenbank gespeichertes Lebewesen erkannt wird oder das Lebewesen, von dem die Messdaten aufgenommen werden, einem Eintrag betreffend ein Lebewesen in einer Datenbank zugeordnet wird. Ist das Lebewesen ein Mensch, so kann die Identifizierung insbesondere in der Feststellung der Identität der Person liegen.
Erfindungsgemäß wird ein Messbereich mit einem System zur Richtungs- und Abstandsmessung in zumindest zwei zeitlich nacheinander liegenden Frames vermessen und hierdurch Messdaten erzeugt. Der Messbereich kann dabei ein Ausschnitt eines Raumes oder ein Raum oder ein Bereich sein, der dem System zur Richtungs- und Abstandsmessung zugänglich ist. In einer vorteilhaften Ausgestaltung kann das System zur Richtungs- und Abstandsmessung ein Radarsystem sein. In diesem Fall kann der Messbereich jener Bereich sein, aus dem reflektierte Radarwellen mit hinreichender Intensität erfasst werden können. Das System zur Richtungs- und Abstandsmessung kann optional auch ein akustisches System sein, bei dem der Messbereich mittels Schallwellen, beispielsweise Ultraschallwellen, vermessen wird. In diesem Fall kann der Messbereich jener Bereich sein, aus dem die reflektierten Schallwellen mit hinreichender Intensität detektierbar sind.
Unter einem System zur Richtungs- und Abstandsmessung soll hier vorteilhaft ein System verstanden werden, mit dem die Richtung und der Abstand eines gegebenen Objektes im Messbereich bestimmbar sind. Eine Richtung kann dabei ein Raumwinkel um einen vorgegebenen Ausgangspunkt in Bezug auf eine vorgegebene Richtung sein. Die vorgegebene Richtung kann dabei willkürlich festgelegt werden. Als Ausgangspunkt kommt beispielsweise ein Standort eines Senders, mittels dessen Messwellen aussendbar sind oder ein Standort eines Empfängers, mit dem reflektierte Messwellen detektierbar sind, in Frage. Die Richtungsmessung kann jedoch auch in Bezug auf andere vorab festgelegte Messpunkte erfolgen, da unterschiedliche Messpunkte über einfache geometrische Beziehungen ineinander umgerechnet werden können.
Als durch das System zur Richtungs- und Abstandsmessung bestimmten Abstand kann ein Abstand zu einem der vorstehend beschriebenen Punkte bestimmt werden, wobei vorzugsweise der Punkt, zu dem der Abstand des Objektes im Messbereich bestimmt wird, der gleiche Punkt ist, um den der Winkel bestimmt wird.
Für die vorliegende Erfindung ist die Festlegung der Ausgangspunkte zur Bestimmung der Richtung und des Abstands nicht wesentlich, da es letztlich auf die Bestimmung des Ortes des Objektes im Raum ankommt. Dieser Ort wird normalerweise durch Koordinaten angegeben. Es ist möglich, dabei als Koordinaten die durch das System zur Richtungs- und Abstandsmessung gelieferten Richtungen und Abstände zu verwenden, es kann jedoch auch ein anderes Koordinatensystem verwendet werden, da die von dem System zur Richtungs- und Abstandsmessung gelieferten Richtungen und Abstände in solchen anderen Koordinatensystemen anhand einfacher allgemein bekannter geometrischer Beziehungen umgerechnet werden können.
Im Folgenden sollen die von dem System zur Richtungs- und Abstandsmessung gelieferten Orte im Messbereich, an denen ein Objekt und/oder eine Reflexion von Messwellen detektiert wird, als Messdaten bezeichnet werden. Erfindungsgemäß liefert also das System zur Richtungs- und Abstandsmessung Messdaten, die Orte von Objekten und/oder Reflexionen im Messbereich angeben.
Erfindungsgemäß weist das System zur Richtungs- und Abstandsmessung zumindest zwei an unterschiedlichen Orten positionierte Sender und zumindest zwei an unterschiedlichen Orten positionierte Empfänger auf. Dabei sollen vorteilhafterweise die zumindest zwei Sender und/oder Empfänger zumindest einen solchen Abstand voneinander haben, dass sie bei Berücksichtigung ihrer Messungenauigkeit eine gegebene Reflexion im Messbereich jeweils mit unterschiedlichem Abstand und/oder Richtung in ihrem eigenen Koordinatensystem bestimmen.
In einer alternativen Ausgestaltung der Erfindung können statt mehrerer örtlicher verteilter Antennen auch mehrere Frequenzbänder verwendet werden. Durch ein solches System ist es möglich, ein dreidimensionales Abbild der Umgebung zu erzeugen, das dann verwendet werden kann, um Menschen und/oder andere Lebewesen zu erkennen und zu identifizieren. Es wird durch ein solches System möglich, eine dreidimensionale Verteilung von Reflexionen und/oder Dopplerspektren der detektierten Streuzentren zu ermitteln.
Erfindungsgemäß wird der Messbereich durch das System zur Richtungs- und Abstandsmessung in zeitlich nacheinander liegenden Frames vermessen. Die zu einem bestimmten Zeitpunkt aufgenommenen Messdaten oder in einem bestimmten (kurzen) Zeitintervall aufgenommenen Messdaten werden dabei in einem gemeinsamen Frame abgelegt. Werden Messungen eines Zeitintervalls in einem Frame abgelegt, so können auch in Systemen, in denen der Raum nicht vollständig gleichzeitig vermessen werden kann, einem Frame zugeordnet werden. In diesem Fall sollen sich die Zeiträume aufeinander folgender Frames nicht überschneiden. Der Begriff „Frame“ kann hier auch wie aus der Bewegtbildtechnik bekannt verwendet werden.
Erfindungsgemäß werden nun in den Messdaten oder in aus den Messdaten gewonnenen Daten zumindest zwei relevante Elemente identifiziert. Als aus den Messdaten gewonnene Daten sollen dabei insbesondere solche Daten angesehen werden, die gegenüber dem von dem System zur Richtungs- und Abstandsmessung gelieferten Daten weiter verarbeitet wurden, beispielsweise, um das Koordinatensystem anzupassen oder um die Identifizierung relevanter Elemente zu verbessern. Die Messdaten können beispielsweise gefiltert werden oder zur Verminderung von Rauschen weiter verarbeitet werden.
Als Identifizieren der zumindest zwei relevanten Elemente kann hier ein Vorgang verstanden werden, der zum einen das entsprechende Element als im weiteren Verlauf des Verfahrens zu berücksichtigendes Element festlegt und zum anderen diesem Element eine Bezeichnung oder Kennzeichnung zuweist, mittels der es im weiteren Verlauf des Verfahrens adressierbar und erkennbar ist.
Als relevantes Element sollen hierbei zumindest zwei Elemente identifiziert werden, das zu einem zu identifizierenden Lebewesen gehören können. Als relevante Elemente können zum Beispiel solche Elemente bestimmt werden, die Reflexionen mit einer über einer vorgegebenen Schwelle liegenden Intensität erzeugen und/oder die in zumindest zwei, vorzugsweise unmittelbar einander folgenden, Frames erkennbar, oder mit einer über einer vorgegebenen Schwelle liegenden, Intensität erkennbar sind. Dabei kann das Element beispielsweise ein Körperteil sein, es kann aber auch ein Kleidungsstück, eine Gehhilfe, eine Prothese, oder anderes unterscheidbares und reproduzierbares Merkmal in den Messdaten oder den aus den Messdaten gewonnenen Daten sein. Für das Verfahren ist jedoch nicht wesentlich, dass das entsprechende Element genau einem solchen Teil entspricht. In den Messdaten oder den aus diesen gewonnen Daten erkennbare Elemente können auch durch Teile oder Abschnitte von beispielsweise Körperteilen, Prothesen, Kleidungsstücken oder Ähnlichem erzeugt werden. Im erfindungsgemäßen Verfahren ist es ausreichend, wenn die zumindest zwei Elemente nur anhand ihrer Reflexe betrachtet werden unabhängig davon, welchem Teil des Lebewesens diese Reflexe letztlich entsprechen.
Es kann zur Identifizierung der zumindest zwei relevanten Elemente deren Trajektorie über eine Mehrzahl an Frames bestimmt werden und nur solche Reflexionen als relevante Elemente identifiziert werden, deren Trajektorie einer physikalisch möglichen Bewegung eines Körperteils des Lebewesens zuordenbar ist.
Erfindungsgemäß werden die zumindest zwei relevanten Elemente über zumindest zwei der Frames hinweg verfolgt und hierdurch für jedes der zumindest zwei relevanten Elemente jeweils eine Trajektorie und/oder ein Dopplerspektrum bestimmt. Auf diese Weise werden also für jedes relevante Element, von denen erfindungsgemäß zumindest zwei bestimmt werden, jeweils eine Trajektorie und/oder ein Dopplerspektrum bestimmt.
Die Bestimmung eines Dopplerspektrums kann insbesondere dann vorteilhaft sein, wenn das relevante Element so weit entfernt ist, dass die Richtungsauflösung und/oder die Abstandsauflösung des Systems zur Richtungs- und Abstandsmessung nicht ausreichend ist, um in zwei unmittelbar aufeinander folgenden Frames eine unterschiedliche Richtung oder einen unterschiedlichen Abstand zu bestimmen. Mittels des Dopplerspektrums kann dennoch auf einen Bewegungszustand des relevanten Elementes geschlossen werden.
Als Trajektorie soll hier eine Bahn im Raum verstanden werden, entlang derer sich das relevante Element bewegt. Es kann als Trajektorie beispielsweise ein Polygon angesehen werden, das die in unterschiedlichen Frames bestimmten Positionen des relevanten Elementes in der Reihenfolge der zeitlichen Anordnung der Frames miteinander verbindet. Es sei jedoch darauf hingewiesen, dass zur Ausführung des erfindungsgemäßen Verfahrens die tatsächlich bestimmten Orte ausreichend sind und es nicht erforderlich ist, zwischen tatsächlich bestimmten Orten des relevanten Elementes zu interpolieren. Eine solche Interpolation kann jedoch vorteilhaft sein, um die Genauigkeit der Bestimmung zu erhöhen.
Im einfachsten Fall kann daher als Trajektorie auch nur die Menge der in unterschiedlichen Frames bzw. zu unterschiedlichen Zeitpunkten bestimmten Positionen des relevanten Elements angesehen werden.
Auch das Dopplerspektrum kann vorteilhafterweise in zumindest zwei Frames bestimmt werden, so dass es eine Veränderung der Geschwindigkeit des relevanten Elements anzeigt.
Optional werden nun die so bestimmten Trajektorien und/oder die so bestimmten Dopplerspektren zumindest einem der zumindest einen Lebewesen zugeordnet. Erfindungsgemäß werden anhand der so bestimmten Trajektorien und/oder der so bestimmten Dopplerspektren die zumindest zwei relevanten Elemente zumindest einem der zumindest einen Lebewesen zugeordnet.
Es wird hierbei bestimmt, welche der Trajektorien und/oder Dopplerspektren zu einem Lebewesen und/oder zu demselben Lebewesen gehören. Erfindungsgemäß wird bestimmt, welche der relevanten Elemente zu einem und/oder zu demselben Lebewesen gehören. Ob diese Zuordnung über die Trajektorien und/oder die Dopplerspektren erfolgt oder über die relevanten Elemente ist gleichbedeutend, da die Trajektorien und/oder Dopplerspektren ihrerseits den relevanten Elementen zugeordnet sind.
Die Zuordnung von relevanten Elementen und/oder Trajektorien und/oder Dopplerspektren zu dem zumindest einen Lebewesen kann beispielsweise mittels Modellen des zumindest einen Lebewesens erfolgen. Wurden als relevante Elemente beispielsweise zwei Hände einer Person bestimmt, so können von den ermittelten relevanten Elementen nur solche relevanten Elemente zu der gleichen Person gehören, die sich so zueinander bewegen, wie dies im menschlichen Körper möglich ist. Auch wenn nur ein einziges relevantes Element identifiziert wurde oder betrachtet wird, ist dessen Bewegung durch die geometrischen Zusammenhänge des Körpers des Lebewesens beschränkt. Es kann also ein als relevantes Element identifiziertes Element nicht einem Lebewesen zugeordnet werden, wenn es Bewegungsmuster zeigt, die ein entsprechendes Körperteil eines solchen Lebewesens nicht ausführen kann.
Erfindungsgemäß wird dann mittels der einem der Lebewesen zugeordneten Trajektorien das entsprechende Lebewesen identifiziert. Hier wird ausgenutzt, dass, wie oben beschrieben, das Bewegungsmuster von Lebewesen in hohem Grade individuell ist, so dass Informationen, die das Bewegungsverhalten des Lebewesens widerspiegeln, ebenso in hohem Maße individuell sind und daher die Identifizierung des Lebewesens erlauben. Die wie oben beschrieben bestimmten Informationen erfüllen diese Bedingung, sind also in einem solchen Maße individuell, dass sie eine Identifizierung des Lebewesens mit sehr hoher Sicherheit ermöglichen. Als Identifizierung kann hier ein Vorgang angesehen werden, der eine Identität des Lebewesens feststellt, von dem die Trajektorien bestimmt werden. Es kann also festgestellt werden, welche Identität das Lebewesen hat, dem die Trajektorien zugeordnet sind. Die Identität kann dabei durch einen Identifizierer wie beispielsweise einen Namen oder eine Nummer angegeben werden. Als Identität in diesem Sinne kann optional auch eine Kategorie angesehen werden, in die das Lebewesen fällt. Solche Kategorien können beispielsweise Tierart, Geschlecht, oder Ähnliche sein. Erfindungsgemäß werden in den Messdaten oder in aus den Messdaten gewonnenen Daten zumindest zwei der relevanten Elemente identifiziert. Es werden dann die zumindest zwei relevanten Elemente zumindest zwei der Frames, vorzugsweise jeweils die gleichen Frames, hinweg verfolgt und hierdurch für jedes der zumindest zwei relevanten Elemente jeweils eine der Trajektorien und/oder ein oder eines der Dopplerspektren bestimmt. Es können dann die vorbestimmten Trajektorien und/oder die so bestimmten Dopplerspektren zumindest einem der zumindest einen Lebewesen zugeordnet werden und/oder es können anhand der so bestimmten Trajektorien und/oder der so bestimmten Dopplerspektren die Mehrzahl an relevanten Elementen zumindest einem der zumindest einen Lebewesen zugeordnet werden. Vorteilhaft ist es hierbei, wenn mehrere der relevanten Elemente dem gleichen Lebewesen zugeordnet werden, da das Bewegungsmuster zweier Elemente des gleichen Lebewesens größere Individualität aufweist als die Bewegung nur eines relevanten Elementes, so dass hierdurch die Sicherheit der Identifizierung verbessert werden kann. Zur Identifizierung des Lebewesens werden dann vorteilhafterweise alle jene Trajektorien verwendet, die dem gleichen Lebewesen zugeordnet sind.
In einer vorteilhaften Ausgestaltung können aus den Messdaten Voxeldaten bestimmt werden und das zumindest eine relevante Element in den Voxeldaten identifiziert werden.
Vorteilhafterweise kann das System zur Richtungs- und Abstandsmessung ein Radarsystem und/ein Mehrkanalradarsystem und/oder ein MIMO-Radarsystem und/oder ein Phased-Array-Radarsystem sein. Wie beschrieben, können vorteilhaft auch schallbasierte Systeme eingesetzt werden wie beispielsweise ein Phased-Array-Ultraschallsystem. Alle genannten Systeme haben Sender und Empfänger, die wie oben beschrieben im erfindungsgemäßen Verfahren verwendet werden können.
Ist das System ein Radarsystem, so kann es vorteilhafterweise ein FrequenzModuliertes-Continuous-Wave-, FMCW-Radarsystem sein oder ein Stepped-Frequency-Radarsystem oder ein Ultra-Wide-Band-Radarsystem.
Wie beschrieben können die relevanten Elemente über eine Mehrzahl an Frames verfolgt werden. Hierzu kann in den zumindest zwei Frames jeweils eine Position der entsprechenden relevanten Elemente identifiziert werden und aus diesen Positionen in den zumindest zwei Frames für jedes der relevanten Elemente jeweils die Trajektorien bestimmt werden. Dabei sind vorteilhafterweise die Frames zeitlich unmittelbar aufeinanderfolgend.
Die beschriebene Verfolgung der zumindest zwei relevanten Elemente über zumindest zwei der Frames hinweg wird verwendet, um die Anzahl der relevanten Elemente zu reduzieren. Wird ein relevantes Element über eine Mehrzahl an Frames verfolgt, so kann ein Bewegungsverhalten des relevanten Elementes im Messbereich ermittelt werden. Es ist möglich, Randbedingungen für dieses Bewegungsverhalten aufzustellen, mit denen sichergestellt werden kann, dass ein gegebenes relevantes Element tatsächlich zu einem Lebewesen gehört. Ergibt die Verfolgung eines relevanten Elementes, dass dieses Bewegungen ausführt, die von einem Lebewesen der zu erwartenden Art nicht ausgeführt werden können, so kann das entsprechende Element als relevantes Element verworfen werden. Auf diese Weise kann zum einen vorteilhaft sichergestellt werden, dass nur solche Elemente als relevante Elemente betrachtet werden, die überhaupt Teil eines Lebewesens sein können, es kann zum anderen vorteilhaft auch sichergestellt werden, dass nur solche Elemente als relevant angesehen werden, die einen bestimmten oder dem gleichen Lebewesen zugehörig sind. Beispielsweise kann leicht geschlossen werden, dass zwei Elemente, die sich im Verlauf der Messung über einen bestimmten Maximalabstand voneinander entfernen, wobei der Maximalabstand der maximalen Größe des Lebewesens entspricht, nicht zu dem gleichen Lebewesen gehören können.
In einer vorteilhaften Ausgestaltung der Erfindung können komplexe Reflexionsdaten der relevanten Elemente identifiziert werden und die komplexen Reflexionsdaten zum Identifizieren des entsprechenden Lebewesens verwendet werden.
Die komplexen Reflexionsdaten können dabei als 4D-Voxel repräsentiert werden. Ein Voxel enthält in diesem Fall eine Superposition aller Ziele sowie radialen Geschwindigkeiten in diesem Bereich. Ein Lebewesen ist vorzugsweise je nach Entfernung und Winkelauflösung des Radarsensors durch mindestens ein Voxel repräsentiert. Alle Voxel, welche Informationen eines Lebewesens enthalten, können diesem zugeordnet werden und gruppiert werden. Eine Abfolge von mindestens zwei aufeinanderfolgenden Voxel-Frames kann in diesem Fall gespeichert und in einen Voxelframe fusioniert werden. Jedes Voxel enthält nun eine zeitliche Abfolge aller Geschwindigkeiten, Entfernungen und Signalstärken (Reflexionsstärke). Dieser fusionierte Voxelframe kann vollständig in ein Neuronales Netz übergeben werden. Um Multi-Skalen Effekte zu berücksichtigen, kann der Voxelframe vorzugsweise künstlich schrittweise bis zu einer Dimension 1x1x1 Voxel herunterskaliert werden. Alle skalierten Voxelframes können nun in parallele individuelle Convolutional Neural Networks (CNN) eingegeben werden. Die Ausgabe des letzten Layers ist die Aktivierung der Klasse und die dazugehörige Aktivierungswahrscheinlichkeit. Die CNN's und weitere Layer können in einem vorgelagerten Optimierungsschritt mittels Trainingsdaten bestimmt worden sein.
In einer vorteilhaften Ausgestaltung der Erfindung kann auch der Vergleich von relevanten Elementen in zumindest zwei Frames, vorzugsweise zwei unmittelbar aufeinander folgenden Frames, verwendet werden, um relevante Elemente zu identifizieren. Es ist nämlich zu erwarten, dass Reflexionen, die nicht von einem Körperteil eines Lebewesens herrühren, über mehrere Frames hinweg betrachtet kein Bewegungsmuster zeigen, das der Bewegung eines Lebewesens entspricht. Auf diese Weise können Elemente, die Bewegungsmustern entsprechen, die nicht von Lebewesen stammen können oder die in nicht allen Frames auftreten, als relevante Elemente ausgeschlossen werden.
Wie beschrieben kann zur Identifizierung eines relevanten Elementes dessen Reflexionsstärke verwendet werden, also jene Stärke, mit der ein vom Sender ausgesandtes Signal nach Reflexion durch das Element vom Empfänger empfangen wird. Diese Reflexionsstärke kann darüber hinaus auch zur Identifizierung des Lebewesens verwendet werden. Die Reflexionsstärke wird nämlich von beispielsweise der äußeren Form des Lebewesens abhängen und während der Bewegung des Lebewesens ebenfalls ein charakteristisches Muster zeigen, das für das Lebewesen individuell ist. Wird dieser Verlauf der Reflexionsstärke ebenfalls zur Identifizierung des Lebewesens herangezogen, so kann die Sicherheit der Identifizierung verbessert werden.
Vorteilhafterweise werden solche Elemente als relevante Elemente identifiziert, die nicht zum Hintergrund gehören oder nicht Rauschen sind. Ob dies der Fall ist, kann zum Beispiel anhand einer oder mehrerer der vorbeschriebenen Methoden ermittelt werden. Beispielsweise verändert sich ein Hintergrund normalerweise über mehrere Frames hinweg nicht, so dass durch Vergleich von Reflexionen in mehreren Frames Merkmale als zum Hintergrund gehörend identifiziert werden können. Auch ist zu erwarten, dass Signale, die durch Rauschen erzeugt werden, andere Intensitäten haben und sich über mehrere Frames hinweg statistisch anders verhalten als von Lebewesen reflektierte Signale, so dass auch Rauschen auf diese Weise eliminiert werden kann.
Erfindungsgemäß wird die zumindest eine Trajektorie und/oder werden die zumindest zwei Elemente dem jeweiligen Lebewesen anhand eines biologischen Modells des entsprechenden Lebewesens zugeordnet. Ein solches Modell ermöglicht es, von vornherein nur solche Elemente in Betracht zu ziehen, die den von dem Modell vorgegebenen Bedingungen entsprechen. Setzt man beispielsweise das Modell einer Person voraus, so können Reflexionen von vornherein ausgeschlossen werden, die aus Bereichen über einer maximalen Größe der Person stammen. Darüber hinaus können, wenn bereits einige relevante Elemente einer bestimmten Person zugeordnet wurden, weitere Elemente, die außerhalb von bereits erkannten Körperteilen der Person liegen, anhand eines solchen Modells ausgeschlossen werden. Wurden beispielsweise bereits zwei Arme erkannt, so können weitere Elemente, die im Bereich der Arme liegen, jedoch nicht zu den bereits erkannten Armen gehören, von vornherein anhand des Modells ausgeschlossen werden.
Erfindungsgemäß können Dopplerdaten, insbesondere Dopplerspektren, ermittelt werden. Vorteilhaft können diese auch zum Identifizieren des Lebewesens verwendet werden. Dopplerdaten erlauben insbesondere die Ermittlung einer Geschwindigkeit des entsprechenden relevanten Elementes, von dem ein Signal ausgeht, dessen Dopplerdaten ermittelt werden. Diese Geschwindigkeit ist ein charakteristisches Merkmal der Bewegung des Lebewesens und daher in hohem Maße individuell für das Lebewesen. Die Berücksichtigung der Dopplerdaten kann daher die Identifizierung des Lebewesens verbessern.
Erfindungsgemäß wird das Lebewesen anhand von Trajektorien identifiziert, die von relevanten Elementen ausgeführt werden. Die Identifizierung erfolgt unter Verwendung eines neuronalen Netzes. Neuronale Netze erlauben die Kategorisierung von Eingangsdaten in Kategorien. In diesem Falle wären die Eingangsdaten die Trajektorien und die Kategorien die unterschiedlichen Individuen der Lebewesen. Gibt man dem neuronalen Netz die Trajektorien und/oder Dopplerspektren als Eingabe, so kann das neuronale Netz das Individuum ausgeben, das die Trajektorien bzw. das Dopplerspektrum erzeugt hat. Hierzu kann das neuronale Netz vorab dadurch angelernt werden, dass die erkennbaren Individuen vorab Bewegungen ausführen, diese mittels des Systems zur Richtungs- und Abstandsmessung erfasst werden, aus den Messdaten oder aus den Messdaten gewonnenen Daten relevante Elemente identifiziert werden, Trajektorien und/oder Dopplerspektren der relevanten Elemente bestimmt werden und die so bestimmten Trajektorien und/oder Dopplerspektren dem neuronalen Netz als zu dem sie erzeugenden Individuum zugeordnet vorgegeben werden.
Es können vorteilhaft hierbei die Bewegungsabläufe und/oder Geschwindigkeitsverläufe und/oder Rückstrahlintensitäten bzw. Reflexionsstärken dem neuronalen Netz in Form von N-dimensionalen Matrizen zur Verfügung gestellt werden, die dieses mit den gelernten Informationen abgleicht und bekannten Mustern, also individuellen Lebewesen, zuordnet. Als neuronale Netze können hier vorteilhaft faltende nicht-lineare neuronale Netze in verschiedenen Ausführungen eingesetzt werden. Ein solches neuronales Netz kombiniert und gewichtet vorteilhaft die einem Objekt zugeordneten Messdaten zur Erzeugung von abstrakten Merkmalen. Anschließend werden die M-dimensionalen Merkmalsdeskriptoren einem mehrlagigen Klassifikationsalgorithmus zugeführt. Als Ergebnis kann sich beispielsweise ein eindimensionaler Ergebnisvektor ergeben, dessen Werte die Wahrscheinlichkeit der Detektion der einzelnen Klasse (also Individuum der Lebewesen) angibt. Eine Architektur der Neuronen im Klassifikations- und Merkmalsgenerierungs-Abschnitt kann über die Trainingsdatensätze der einzelnen Klassen automatisch erstellt werden und optimiert werden und kann stetig angepasst werden.
Vorteilhafterweise können erfindungsgemäß als Messdaten radiale und orthogonale Geschwindigkeitskomponenten, reflektierte Leistung, dreidimensionaler Ort, und/oder Signalverlauf einer Zwischenfrequenz verwendet werden. Diese können zum einen zur Identifizierung des oder der relevanten Elemente verwendet werden, sie können auch zur Identifizierung des Lebewesens verwendet werden.
Vorteilhaft werden die Schritte des erfindungsgemäßen Verfahrens durch einen Computer ausgeführt.
Erfindungsgemäß wird außerdem eine Vorrichtung zur Identifizierung zumindest eines Lebewesens angegeben, wobei diese Vorrichtung ein System zur Richtungs- und Abstandsmessung aufweist, welches zumindest zwei an unterschiedlichen Orten positionierte Sender und zumindest zwei an unterschiedlichen Orten positionierte Empfänger aufweist. Erfindungsgemäß ist mit dieser Vorrichtung ein Verfahren wie vorstehend beschrieben ausführbar. Die vorstehend zum Verfahren beschriebenen Merkmale sind daher für die Vorrichtung analog verwendbar.
Im Folgenden soll die Erfindung anhand einiger Figuren beispielhaft erläutert werden. Gleiche Bezugszeichen kennzeichnen dabei gleiche oder entsprechende Merkmale. Die in den einzelnen Beispielen beschriebenen Merkmale können auch unabhängig von dem entsprechenden Beispiel realisiert werden und zwischen den Beispielen kombiniert werden.
Es zeigt

1 ein Blockdiagramm einer beispielhaften erfindungsgemäßen Vorrichtung zur Identifizierung eines Lebewesens,
2 ein Flussdiagramm, das einen beispielhaften Ablauf eines erfindungsgemäßen Verfahrens zeigt,
3 eine beispielhafte Erfassung einer Person in Voxeln,
4 ein schematischer Ablauf einer Identifizierung eines Lebewesens mit komplexen Reflexionsdaten, und
5 eine beispielhafte Hardware-Struktur eines Identifikationssystems.

1 zeigt eine Vorrichtung zur Identifizierung eines Lebewesens 1, hier einer Person 1, entsprechend der vorliegenden Erfindung. Die Vorrichtung weist ein System zur Richtungs- und Abstandsmessung auf, das im gezeigten Beispiel ein Radarsystem ist. Das System kann beispielsweise ein Frequency-Modulated-Continuous-Wave (FMCW)-Radar sein, das bei jeder Messung die Signal-Frequenz über eine vorgegebene Bandbreite kontinuierlich variiert. Das System kann auch ein Continuous-Wave-(CW)-Radar mit einer Bandbreite von Null sein. Alternativ kann auch ein Stepped-Frequency-Radar verwendet werden, bei dem die Frequenz des Signals schrittweise variiert wird. Auch möglich sind beispielsweise Pulsradare, wie Ultra-Wide-Band-Radar. Die genaue Signalform ist für die Funktion der Erfindung nicht entscheidend. Vorteilhafterweise sollten jedoch die Sendesignale aller Messungen, welche zur Erstellung eines Bildes verwendet werden, möglichst orthogonal sein. Dies kann zum Beispiel über Zeit-, Frequenz- oder Code-Multiplex der Sendekanäle erfolgen. Möglich ist jedoch auch eine Fokussierung des Sendesignals, beispielsweise durch die Variation der Phasenverschiebungen jedes Senders. Im ersten genannten Fall würde man von einem Multiple-Input-Multiple-Output (MIMO)-Radar sprechen, während es sich im zweiten Fall um einen sog. Phased Array handeln würde. Erfindungsgemäß können beide Varianten verwendet werden.
Das Radarsystem weist im in 1 gezeigten Beispiel eine Anzahl n Sender 2a, 2b, 2n sowie eine Anzahl m Empfänger 3a, 3b, 3m auf. Die Sender 2a, 2b, 2n werden durch eine Sendeelektronik 2 gespeist. Von den Empfängern 3a, 3b, 3m empfangene Signale werden in eine Empfängerelektronik 3 eingespeist.
Über die Sender 2a, 2b, 2n werden Radarstrahlen in einen Messbereich eingestrahlt, in dem sich die Person 1 als zu identifizierendes Lebewesen aufhält. Durch die Empfänger 3a, 3b, 3m werden von der Person reflektierte Radarsignale empfangen und von der Empfängerelektronik 3 als Messdaten ausgegeben. Die Sender 2a, 2b, 2n sind an unterschiedlichen Orten positioniert. Ebenso sind die Empfänger 3a, 3b, 3m an unterschiedlichen Orten positioniert. Generell sollen als Sender solche Elemente bezeichnet werden, die die elektromagnetischen Wellen oder den Ultraschall aktiv erzeugen und abgeben und als Empfänger sollen jene Elemente bezeichnet werden, die reflektierte Radarstrahlen oder Schallwellen empfangen und in elektrische Signale umwandeln.
Im in 1 gezeigten Beispiel empfängt die Sendeelektronik 2 Steuersignale von einer Radarsteuerung 4. Die Radarsteuerung 4 nimmt darüber hinaus von der Empfangselektronik 3 gelieferte Messdaten auf. Die Radarsteuerung 4 gibt die empfangenen Messdaten an eine Signalauswertung 5 weiter. Die Signalauswertung 5 führt die Messdaten oder aus den Messdaten gewonnene Daten an ein Element 6 zur Bestimmung von dreidimensionalen Reflexionseigenschaften, ein Element 7 zur Bestimmung von dreidimensionalen Dopplermerkmalen, ein Element 8 zur Bestimmung von Frequenzmerkmalen und ein Element 9 zur Bestimmung von dreidimensionalen Ortsinformationen weiter. Die durch die Elemente 6, 7, 8 und 9 bestimmten Eigenschaften und Merkmale werden an ein Erkennungselement 10 weitergeleitet, die zumindest zwei relevanten Elemente in den Messdaten oder den aus den Messdaten gewonnenen Daten identifiziert und die zumindest zwei relevanten Elemente über zumindest zwei Frames hinweg verfolgt. Insbesondere kann das Element 10 für jedes der relevanten Elemente jeweils eine Trajektorie und/oder ein Dopplerspektrum bestimmen. Darüber hinaus kann das Element 10 die so bestimmten Trajektorien und/oder die so bestimmten Dopplerspektren zumindest einem Lebewesen zuordnen und/oder anhand der Trajektorien und/oder Dopplerspektren die zumindest zwei relevanten Elemente zumindest einem Lebewesen zuordnen.
Die durch das Element 10 Lebewesen zugeordneten Trajektorien werden dann an ein Identifikationselement 11 weitergegeben, das mittels der von dem Element gelieferten Trajektorien das entsprechende Lebewesen identifiziert. Hierzu kann das Identifikationselement 11 auf eine Datenbank 12 zugreifen, in der bekannte Personen zusammen mit Informationen über deren Bewegungsmuster abgelegt sind. Das Identifikationselement 11 kann hierzu eine künstliche Intelligenz enthalten, der die dreidimensionalen Bewegungsverläufe, Geschwindigkeitsverläufe und Rückstrahlintensitäten sowie ggf. weitere Messdaten zur Verfügung gestellt werden, beispielsweise in Form von N-dimensionalen Matrizen. Diese künstliche Intelligenz kann diese Informationen mit gelernten Informationen abgleichen und bekannten Mustern zuordnen, wodurch die den Mustern zugeordneten Personen identifiziert werden. Als künstliche Intelligenz können hierbei insbesondere faltende nicht-lineare neuronale Netze in verschiedenen Ausführungen eingesetzt werden. Das neuronale Netz kombiniert und gewichtet die einem relevanten Element zugeordneten Messdaten zur Erzeugung von abstrakten Merkmalen. Es werden anschließend M-dimensionale Merkmalsdeskriptoren beispielsweise einem mehrlagigen Klassifikationsalgorithmus zugeführt. Das Ergebnis kann beispielsweise ein eindimensionaler Ergebnisvektor sein, dessen Werte die Wahrscheinlichkeit der Detektion der einzelnen Klassen, also Personen, angibt. Die Architektur von Neuronen des neuronalen Netzes kann über Trainingsdatensätze der einzelnen Personen automatisch erstellt oder optimiert werden und kann stetig angepasst werden.
2 zeigt einen beispielhaften Ablauf eines erfindungsgemäßen Verfahrens. Im in 2 gezeigten Beispiel sind die Sender 2a, 2b, 2n und die Empfänger 3a, 3b, 3m als Radarpaneel 21 ausgestaltet, das Radardaten erzeugt. Die Radardaten werden in einem Schritt S1 in eine dreidimensionale Abbildung des Messbereichs überführt und können beispielsweise von diesem Schritt als Reflexions-Voxel-Cube ausgegeben werden. Dies kann beispielsweise im Ortsraum durch einen Digital-Back-Projection-Algorithmus oder auch durch sehr effizient implementierbare Verfahren im Ortsfrequenzbereich wie beispielsweise Range-Doppler-Algorithmen geschehen. Die Auswahl des Algorithmus richtet sich dabei vor allem nach der Anordnung der Antennenelemente 2a, 2b, 2n, 3a, 3b, 3m und die effiziente Ausnutzung von vorhandenen Prozessierungskapazitäten.
Nach der Bildrekonstruktion kann die Verteilung von Einzelreflexionen im Raum beispielsweise als komplexe Bild-Voxel zur Verfügung stehen. Aus dieser großen Menge an dreidimensional verteilten Reflexionsinformationen können dann in einem Schritt S2 Positionen und komplexe Reflexionsdaten relevanter Streuer extrahiert werden. Auf diese Weise können relevante Elemente identifiziert werden. Durch die Identifizierung relevanter Elemente kann die Datenmenge bereits deutlich reduziert werden, da nicht alle Voxel weiterverarbeitet werden, sondern nur eine begrenzte Anzahl relevanter Reflexionen in der Szene. Es kann vorteilhaft sein, die relevanten Elemente aus einer differentiellen Betrachtung aufeinanderfolgender Messungen zu bestimmen, also durch Vergleich zeitlich nacheinander liegender Frames. Hierdurch kann der statische Anteil der Aufnahme entfallen, so dass lediglich bewegte Objekte erhalten bleiben, was die Detektion von Lebewesen deutlich vereinfacht. Die relevanten Elemente, die im Schritt S2 ermittelt wurden, werden dann in einem Nachverfolgungs- oder Tracking-Schritt S3 über mehrere Frames hinweg verfolgt, wodurch für jedes der relevanten Elemente eine Trajektorie und/oder Dopplerspektrum bestimmt werden kann. Hierzu können zum Beispiel etablierte Verfahren wie Kalman-Filter zum Einsatz kommen. Das Tracking in Schritt S3 erlaubt außerdem die Unterdrückung von rauschbedingten Fehldetektionen.
In einem Schritt S4 können nun die Trajektorien der relevanten Elemente verwendet werden, um die relevanten Elemente zu clustern und als Nutzinformation für spätere Identifikation zur Verfügung stellen. Beispielsweise können für jeden getrackten Streuer, also für jedes getrackte relevante Element, die Reflexionsstärke, die Trajektorie und/oder ein Dopplerspektrum erfasst werden. Beispielsweise anhand eines biomechanischen Modells der Lebewesen können die relevanten Elemente zu Gruppen von Objekten oder Elementen zusammengefasst werden. Es kann dann jedes Objekt oder jede Gruppe von relevanten Elementen ein sich bewegendes biomechanisches mehrgliedriges System bilden. Anhand der Objektdaten, die in der Modellbildung in Schritt S4 erhalten wurden, kann dann in einem Schritt S5 eine Parameterextraktion erfolgen, um Objektparameter zu erhalten. Diese können dann in einem Schritt S6 zur Identifikation des Lebewesens, beispielsweise mittels einer künstlichen Intelligenz bzw. eines neuronalen Netzes, verwendet werden.
Erfindungsgemäß kann ein Mehrkanal-Radarmodul verwendet werden, welches durch örtlich verteilte Sende- und Empfangsantennen 2a, 2b, 2n, 3a, 3b, 3m ein dreidimensionales Abbild der Umgebung liefert. Auf diese Weise können Menschen und andere Lebewesen erkannt und identifiziert werden. Es wird dabei die dreidimensionale Verteilung der Reflexion und/oder das Dopplerspektrum der detektierten Streuzentren einer oder mehrerer Lebewesen im Raum erfasst. Aus den gewonnenen Daten können charakteristische Eigenschaften extrahiert werden, die den einzelnen Personen oder Lebewesen zugeordnet werden können. Eine Person kann hier als mehrgliedriges Festkörpersystem abstrahiert werden, dessen Gliedmaßen (Arme, Beine, Torso, ....) die ausgesendete Signale unterschiedlich zurückstreuen. Die Streuzentren können dabei zum Beispiel folgende Eigenschaften haben: Radiale und orthogonale Geschwindigkeitskomponenten, reflektierte Leistung, dreidimensionaler Ort, Signalverlauf der Zwischenfrequenz. Die Gesamtheit der Muster pro Zeitschritt oder der Verlauf pro Zeitschritt ergibt die Signatur bzw. das Muster einer Person, welches individuell für jede Person ist. Mittels Verfahren der Mustererkennung oder maschinellen Lernens können diese hinreichend genau klassifiziert werden, um über eine Datenbank abgeglichen und eindeutig einer bekannten Person zugeordnet zu werden. Als Basis für die Datenbank können vorher eintrainierte Messdaten derselben Person während eines einmaligen Einrichtungsprozesses verwendet werden.
3 zeigt eine Repräsentierung einer Person 32 in Voxeln 31a bis 31f. Die hier mit Bezugszeichen versehenen Voxel 31a bis 31f stehen dabei beispielhaft für alle Voxel. Das linke Diagramm 3L zeigt eine Ansicht des in Voxel unterteilten Volumens von einer Vorderseite und das rechte Diagramm 3R zeigt eine Seitenansicht des in 3L gezeigten Volumens. Hier enthält ein Voxel jeweils eine Superposition aller Ziele sowie radialer Geschwindigkeiten in diesem Bereich. Ein Lebewesen 32 ist hier je nach Entfernung und Winkelauflösung des Radarsensors durch mindestens ein Voxel 31g bis 31i repräsentiert. In 3 sind diejenigen Voxel 31g bis 31i, welche die Person repräsentieren, durch einen schwarzen Rahmen umfasst. Jene Voxel 31g bis 31i, die Informationen zu der Person 32 enthalten, werden dieser zugeordnet und gruppiert.
Die Voxel 31a bis 31i werden für eine Mehrzahl k (mit k größer oder gleich 2) an Zeitschritten t_n-k bis t_n aufgenommen. Dabei ist n ein willkürlicher Bezugsindex, der den letzten Zeitpunkt indiziert. Die Menge der Voxel 31a bis 31i zu einem gegebenen Zeitpunkt t_i (1 ≤ i ≤ k) soll hier als Voxelframe 33 bezeichnet werden. Die Abfolge der aufeinanderfolgenden Voxelframes 33 wird gespeichert und in einen Voxelframe fusioniert. Jedes Voxel enthält nun eine zeitliche Abfolge aller Geschwindigkeiten, Entfernungen und Signalstärken (Reflexionsstärke).
4 zeigt schematisch einen beispielhaften Ablauf der Kategorisierung der aufgenommenen Daten zur Identifizierung der Person 32. Um Multi-Skalen-Effekte zu berücksichtigen, werden die wie zu 3 beschriebenen Voxelframes 33 schrittweise bis zu einer Dimension 1x1 Voxel herunterskaliert. Hierdurch ergeben sich die herunterskalierten Voxelframes 41a bis 41d. Alle skalierten Voxelframes 33 und 41a bis 41d werden nun jeweils in eines einer Vielzahl paralleler Convolutional Neural Networks (CNN) 42a bis 42e übergeben. Die Ausgaben den CNN 42a bis 42e werden einer vollständig verbundenen Schicht 43 übergeben. Die Ausgabe dieser Schicht 43 wird über eine weitere Schicht 44 in eine letzte Schicht 45 übergeben, welche die Aktivierung einer Klasse und die zugehörige Klassenwahrscheinlichkeit ausgibt. Diese Klasse entspricht der Identität der Person 32. Die CNN 42a bis 42e und die weiteren Schichten 43, 44 und 45 werden in einem vorgelagerten Optimierungsschritt mittels Trainingsdaten bestimmt.
5 zeigt beispielhaft eine mögliche Realisierung des Identifikationssystems. Sie zeigt mehrere dezentrale Radarpanels 51, auf welchen jeweils ein digitales Backend zur Vorprozessierung vorhanden ist. Dieses reduziert die Daten, indem die Schritte 3D-Rekonstruktion S1, Streuerdetektion S2 und Tracking S3 modulintern durchgeführt werden. Diese vorprozessierten Daten aller angeschlossenen Panels 51 werden über ein Netzwerk 52 zu einer zentralen Prozessierungseinheit 53 übertragen, wo die Modellbildung S4 und Parameterextraktion S5 durchführt wird. Durch Abgleich mit hinterlegten Datenbanken werden durch die Identifikation S6 eindeutige Zuordnungen der durch die Radarpanels detektierten Lebewesen vorgenommen und an das angeschlossene System ausgegeben.
Die Erfindung kann in vorteilhaften Ausgestaltungen folgende Vorteile realisieren.
Die radarbasierte Menscherkennung ist unempfindlich gegenüber Einflüssen wie Beleuchtung, Stäuben und Texturen. Mit dem technologischen Ansatz ist erstmals eine berührungslose, kleidungsdurchdringende, Umgebungsunabhängige Identifikation von Personen möglich. Darüber hinaus sind die detektierten Bewegungsabläufe praktisch nicht fälschbar. Die dreidimensional ortsaufgelöste Messung ermöglicht deutlich größere Vielfalt der extrahierten Eigenschaften gegenüber eindimensionalen Messungen, sodass die Identifikationssicherheit deutlich ansteigt. Eine Verletzung der Privatsphäre findet praktisch nicht statt, da keine Bildaufnahmen gemacht werden und somit unbekannte Personen nicht anhand frei zugänglicher Informationen zugeordnet werden können. Des Weiteren findet eine Abstraktion der Umgebung schon im Rohsignal des Radarsensors statt. Somit ist ein Rückschluss auf Handlungen und Subjekte in der Umgebung nicht möglich. Hinsichtlich der Identifikation liegt der Hauptvorteil in der großen Menge an individueller Information, die eine sichere Erkennung unabhängig von Umgebungsbedingung und Kleidung möglich macht.
Insbesondere kann das Verfahren folgende Eigenschaften haben:

• Unabhängig von Umgebungsbeleuchtung
• Durchdringung von Kleidung. Keine Verfälschung oder Fehldetektion durch Variation dieser.
• Kombination aus messtechnisch erfassten anthropometrischen, elektromagnetischen sowie Orts- und Bewegungsinformationen einer Person
• Verfälschungssicheres Merkmal der Gangcharakteristik kann besonders gut kontaktfrei aufgelöst werden
• Anonymisierung findet im Rohsignal statt.

Die Erfindung kann beispielsweise zum Einsatz kommen zur Zugangskontrolle bei kritischer Infrastruktur, zur Detektion unbefugter in gesperrten oder gefährden Arealen, zur Absicherung potentiell gesundheitsgefährdender Maschinen, wie auch zur automatischen Zählung verschiedener Lebewesen, zum Beispiel in der Landwirtschaft oder im Naturschutz. Auch möglich ist eine Bewegungsanalyse am Menschen für medizinische Zwecke, als Benutzer-Interface für Maschinen und Computer, zur Unterscheidung von Menschen und anderen sich bewegenden oder statischen Objekten wie beispielsweise Robotern, zur anthropometrischen Vermessung von Personen und/oder zur Unterscheidung verschiedener Arten von Lebewesen.

Claims

Verfahren zur Identifizierung zumindest eines Lebewesens (1), wobei ein Messbereich mit einem System zur Richtungs- und Abstandsmessung in zumindest zwei zeitlich nacheinander liegenden Frames vermessen wird und hierdurch Messdaten erzeugt werden, wobei das System zur Richtungs- und Abstandsmessung zumindest zwei an unterschiedlichen Orten positionierte Sender (2a, 2b, 2n) und zumindest zwei an unterschiedlichen Orten positionierte Empfänger (3a, 3b, 3m) aufweist, wobei in den Messdaten oder in aus den Messdaten gewonnenen Daten zumindest zwei relevante Elemente identifiziert werden, die zu demselben zu identifizierenden Lebewesen gehörig sind, die zumindest zwei relevanten Elemente über zumindest zwei der Frames hinweg verfolgt werden und hierdurch für jedes der zumindest zwei relevanten Elemente jeweils eine Trajektorie und/oder ein Dopplerspektrum bestimmt wird, wobei anhand der so bestimmten Trajektorien und/oder der so bestimmten Dopplerspektren die zumindest zwei relevanten Elemente zumindest einem der zumindest einen Lebewesen zugeordnet werden, wobei die Elemente dem jeweiligen Lebewesen anhand eines biologischen Modells des entsprechenden Lebewesens zugeordnet werden, wobei von vorneherein nur solche Elemente in Betracht gezogen wer- , den, die vom Modell vorgegebenen Bedingungen entsprechen, und weitere Elemente, die außerhalb von bereits erkannten Teilen des Lebewesens liegen, anhand des Modells ausgeschlossen werden, und jeweils mittels der einem der Lebewesen zugeordneten Trajektorien und/oder Dopplerspektren das entsprechende Lebewesen unter Verwendung eines neuronalen Netzes identifiziert wird, dem die Trajektorien und/oder Dopplerspektren als Eingabe gegeben werden.
Verfahren nach dem vorhergehenden Anspruch, wobei für jedes der zumindest zwei relevanten Elemente jeweils eine der Trajektorien und eines der Dopplerspektren bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei aus den Messdaten Voxeldaten bestimmt werden und die relevanten Elemente in den Voxeldaten identifiziert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Sys- , tem zur Richtungs- und Abstandsmessung ein Radar-System und/oder ein Mehrkanalradarsystem und/oder ein MIMO-Radarsystem, ein Phased-Array-Radarsystem oder ein Phased-Array-Ultraschallsystem ist.
Verfahren nach dem vorhergehenden Anspruch, wobei das Radarsystem ein Frequenzmoduliertes-Continuous-Wave-, FMCW-, Radarsystem, ein Stepped-Frequency-Radarsystem oder ein Ultra-Wide-Band-Radarsystem ist.
Verfahren nach einem der vorhergehenden Ansprüche, wobei in den zumindest zwei Frames jeweils eine Position der relevanten Elemente identifiziert wird und aus den Positionen in den zumindest zwei Frames jeweils die Trajektorie bestimmt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei eine Anzahl der relevanten Elemente mithilfe der Verfolgung der relevanten Elemente über zumindest zwei Frames verringert wird und nur diese verringerte Anzahl der relevanten Elemente zum Identifizieren des entsprechenden Lebewesens verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei komplexe Reflexionsdaten der relevanten Elemente identifiziert werden und die komplexen Reflexionsdaten zum Identifizieren des entsprechenden Lebewesens verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die relevanten Elemente durch Vergleich der zumindest zwei Frames, vorzugsweise zweier unmittelbar aufeinanderfolgender der zumindest zwei Frames, identifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die relevanten Elemente anhand einer Reflexionsstärke und/oder anhand eines Positionswechsels über zumindest zwei der zumindest zwei Frames , identifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für zumindest eines der relevanten Elemente jeweils eine Reflexionsstärke bestimmt wird, mit der von den Sendern ausgesandte Signale von den jeweiligen relevanten Elementen reflektiert werden, und die so ermittelten Reflexionsstärken zusätzlich zum Identifizieren des entsprechenden Lebewesens verwendet werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als die relevanten Elemente solche Elemente identifiziert werden, die nicht zu einem Hintergrund gehören und nicht Rauschen sind.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Trajektorien und/oder die relevanten Elemente dem jeweiligen Lebewesen anhand des Modells des entsprechenden Lebewesens als zu dem gleichen Lebewesen gehörend gruppiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei Dopp lerdaten der relevanten Elemente ermittelt werden und die so ermittelten Dopplerdaten zusätzlich zum Identifizieren des entsprechenden Lebewesens verwendet werden, wobei vorzugsweise aus den Dopplerdaten jeweils eine Geschwindigkeit der entsprechenden relevanten Elemente ermittelt wird und die Geschwindigkeit zum Identifizieren des entsprechenden Lebewesens verwendet wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die Identifizierung des Lebewesens dadurch erfolgt; dass dieTrajektorien und/oder die Reflexionsstärken und/oder die Dopplerdaten mittels eines neuronalen Netzes als dem entsprechenden Lebewesen entspre-, chend kategorisiert werden und das entsprechende Lebewesen hierdurch identifiziert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei als Messdaten radiale und orthogonale Geschwindigkeitskomponenten, reflektierte Leistung, dreidimensionaler Ort und/oder Signalverlauf der Zwischenfrequenz verwendet werden und die relevanten Elemente anhand dieser verwendeten Messdaten identifiziert wird.
Vorrichtung zur Identifizierung zumindest eines Lebewesens (1), aufweisend zumindest ein System zur Richtungs- und Abstandsmessung, wobei das System zur Richtungs- und Abstandsmessung zumindest zwei an unterschiedlichen Orten positionierte Sender (2a, 2b, 2n) und zumindest zwei an unterschiedlichen Orten positionierte Empfänger (3a, 3b, 3m) aufweist, wobei das System zur Richtungs- und Abstandsmessung eingerichtet ist, einen Messbereich in zumindest zwei zeitlich nacheinander liegenden Frames zu vermessen und hierdurch Messdaten zu erzeugen, weiter aufweisend -eine Element-Identifizierungseinrichtung, eingerichtet zur Identifizierung zumindest zweier relevanter Elemente, die zu einem gleichen zu identifizierenden Lebewesen gehörig sind, in den durch das System zur Richtungs- und Abstandsmessung erzeugten Messdaten oder hieraus gewonnenen Daten, -eine Trajektorien und/oder Dopplerspektrum-, Bestimmungseinrichtung, eingerichtet zur Bestimmung einer Trajektorie und/oder eines Dopplerspektrums für jedes der zumindest zwei durch die Element-Identifizierungseinrichtung identifizierten relevan-, ten Elemente, -einer Zuordnungs-Einrichtung, eingerichtet zur Zuordnung der zumindest zwei relevanten Elemente zu zumindest einem der zumindest nen Lebewesen anhand der Trajektorien und/oder der Dopplerspektren, wobei die Elemente dem jeweiligen Lebewesen anhand eines biologischen Modells des entsprechenden Lebewesens zugeordnet werden, wobei von vorneherein nur solche Elemente in Betracht gezogen werden, die vom Modell vorgegebenen Bedingungen entsprechen, und weitere Elemente, die außerhalb von bereits erkannten Teilen des Lebewesens liegen, anhand des Modells ausgeschlossen werden, und -eine Identifizierungseinrichtung, eingerichtet zur Identifizierung des entsprechenden Lebewesens unter Verwendung eines neuronalen Netzes mittels der Eingabe der dem Lebewesen zugeordneten Trajektorien und/oder Dopplerspektren.
Vorrichtung nach dem vorhergehenden Anspruch, wobei mit der Vorrichtung ein Verfahren nach einem der Ansprüche 1 bis 16 ausführbar ist.