-
Stand der Technik
-
Die vorliegende Erfindung betrifft ein Verfahren zur radarbasierten Gestenklassifikation und einen Radarsensor zur Durchführung des Verfahrens.
-
Aus dem Stand der Technik sind Gestenerkennungssysteme bekannt, welche auf Millimeterwellen-Radarsensoren basieren und durch einen Anwender in einem Abstand von bis zu ca. 30 cm zum Radarsensor durchgeführte Gesten unterscheiden können.
-
Darüber hinaus sind aus dem Stand der Technik Verfahren zur Extraktion von Merkmalen aus Signalen (z. B. Messsignalen eines Radarsensors) bekannt, welche für eine Klassifikation von Signalinhalten einsetzbar sind.
-
Ferner sind Verfahren bekannt, um sogenannte Micro-Doppler-Effekte in Messsignalen von Umfeldsensoren (insbesondere Radarsensoren) zu erfassen und auszuwerten. Solche Micro-Doppler-Effekte können auftreten, wenn Teile eines erfassten Objektes (welches im Falle einer Relativbewegung zum Umfeldsensor selbst eine Doppler-Verschiebung verursachen kann) sogenannte Micro-Bewegungen ausführen, welche beispielsweise durch Vibrations- und/oder Rotationsbewegungen verursacht werden können (z. B. auch Arm- und/oder Handbewegungen einer Person im Erfassungsbereich des Umfeldsensors).
-
Weiterhin sind unterschiedliche Ansätze für künstliche neuronale Netze bekannt, wobei solche künstlichen neuronalen Netze im Zuge eines überwachten Lernvorgangs mittels Trainingsdatensätzen trainiert werden. In einer anschließenden Anwendung eines solchen trainierten neuronalen Netzes ist es schließlich möglich, eine automatische Klassifizierung von Testdatensätzen durchzuführen.
-
EP2885687 B1 beschreibt ein Verfahren zur berührungslosen Gestenerkennung aufweisend Detektieren eines oder mehrerer eine Geste betreffender Signale unter Verwendung der zugeordneten Vielzahl von Erfassungssensoren und Auswerten einer berührungslosen Geste unter Verwendung eines automatischen Erkennungsverfahrens, wobei ein Beginn der Geste festgestellt wird, wenn der Abstand zwischen dem Zielobjekt und zumindest einem Sensor abnimmt und sich der Abstand zwischen dem Zielobjekt und zumindest einem weiteren Sensor erhöht.
-
WO2020073608 A1 beschreibt ein System und ein Verfahren zur Steuerung eines Gerätes unter Verwendung von Bewegungsgesten, wobei u. a. ein Millimeterwellen-Radar einsetzbar ist. In einer Ausführungsform wird eine Erfassung von Gesten erst dann begonnen, wenn eine Anwesenheit eines Benutzers mittels eines Bewegungssensors erkannt wird.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt der vorliegenden Erfindung wird ein Verfahren zur radarbasierten Gestenklassifikation vorgeschlagen. In einem ersten Schritt des erfindungsgemäßen Verfahrens wird ein Radarsignal mittels eines Radarsensors in ein Umfeld des Radarsensors ausgesendet.
-
In einem zweiten Schritt des erfindungsgemäßen Verfahrens wird eine Abstands-Doppler-Matrix (engl.: „range-doppler-map“) erzeugt auf Basis von 2D-Frequenztransformation von Messwerten, welche innerhalb eines Messzeitraums über wenigstens zwei separate Empfangskanäle des Radarsensors empfangen werden. Für eine solche aus dem Stand der Technik bekannte Frequenztransformation von Messwerten von Radarsignalen wird bevorzugt eine schnelle Fourier-Transformation (engl.: „fast fourier transform“, kurz FFT) verwendet, wobei eine Verwendung davon abweichender Frequenztransformationen im Zusammenhang mit der vorliegenden Erfindung ebenfalls denkbar ist. Jeder der beiden separaten Empfangskanäle verfügt jeweils über wenigstens eine separate Empfangsantenne für den Empfang von im Umfeld des Radarsensors reflektierten und/oder gestreuten Anteilen des ausgesendeten Radarsignals. Zudem ist jeder der beiden Empfangskanäle eingerichtet, die jeweils empfangenen Radarsignale mittels einer entsprechenden Empfangselektronik unabhängig voneinander zu empfangen. Eine Berechnung der Abstands-Doppler-Matrix erfolgt vorzugsweise zunächst durch eine unabhängige Berechnung jeweiliger 2D-Spektren für jeden der Empfangskanäle, wobei anschließend jeder Wert (d. h., jedes Matrix-Element bzw. jede Matrix-Zelle bzw. engl. jedes „bin“) der jeweiligen 2D-Spektren quadriert wird und jeweils korrespondierende Werte der jeweiligen 2D-Spektren schließlich summiert werden, wodurch eine resultierende Abstands-Doppler-Matrix erzeugt wird. Es sei darauf hingewiesen, dass hiervon abweichende Methoden zur Zusammenführung jeweiliger 2D-Spektren der jeweiligen Empfangskanäle zu einer resultierenden Abstands-Dopplermatrix einsetzbar sind.
-
In einem dritten Schritt des erfindungsgemäßen Verfahrens wird ein Micro-Doppler-Vektor erzeugt, welcher sich aus dem jeweils höchsten Amplitudenwert jedes Abstands-Vektors der Abstands-Doppler-Matrix zusammensetzt und entsprechend einen jeweiligen Radialgeschwindigkeitswert repräsentiert. Dies bietet den Vorteil, dass in nachgelagerten Schritten des erfindungsgemäßen Verfahrens jeweils nur die für das erfindungsgemäße Verfahren relevanten Werte der Abstands-Doppler-Matrix verarbeitet werden müssen, wodurch sich sowohl eine Reduzierung einer Rechenlast in einer das erfindungsgemäße Verfahren ausführenden Recheneinheit, als auch ein erforderlichen Speicherbedarf reduzieren lassen, während die für ein nachgelagertes digitales Beam-Forming (kurz DBF) erforderlichen Informationen der Abstands-Doppler-Matrix erhalten bleiben.
-
In einem vierten Schritt des erfindungsgemäßen Verfahrens wird eine Micro-Doppler-Matrix auf Basis einer Mehrzahl von Micro-Doppler-Vektoren erzeugt, welche jeweils auf Messwerten aufeinanderfolgender Messerzeiträume basieren.
-
In einem fünften Schritt des erfindungsgemäßen Verfahrens wird ein Gestenereignis innerhalb der Micro-Doppler-Matrix auf Basis vordefinierter Kriterien identifiziert, auf welche im Zuge der Beschreibung vorteilhafter Ausführungsformen der vorliegenden Erfindung zu einem späteren Zeitpunkt im Detail eingegangen wird.
-
In einem sechsten Schritt des erfindungsgemäßen Verfahrens wird wenigstens eine mit der Micro-Doppler-Matrix korrespondierende Winkelinformations-Matrix erzeugt, welche Information über jeweilige Winkelpositionen einer das Gestenereignis hervorrufenden Geste in wenigstens einer Bewegungsrichtung (z. B. eine horizontale, eine vertikale, oder eine diagonale Richtung, je nach Ausrichtung der wenigstens zwei Antennen bezüglich des Umfeldes) bezüglich des Radarsensors repräsentiert. Unter dem Begriff „korrespondierend“ soll hier eine Winkelinformations-Matrix verstanden werden, welche hinsichtlich einer Dimension der Matrix und hinsichtlich besetzter Zellen in der Matrix (d. h., Werte > 0) mit der Micro-Doppler-Matrix übereinstimmt, wobei die wenigstes eine Winkelinformations-Matrix durch ihre jeweiligen Werte Winkelwerte repräsentiert, während die korrespondierende Micro-Doppler-Matrix durch ihre jeweiligen Werte Radialgeschwindigkeitswerte repräsentiert. Für die Schätzung jeweiliger relevanter Winkelwerte der wenigstens einen Winkelinformations-Matrix wird vorzugsweise auf die ursprünglichen Daten der einzelnen 2D-Spektren der jeweiligen Empfangskanäle zurückgegriffen, auf deren Basis ein aus dem Stand der Technik bekannter digitaler Beam-Forming-Algorithmus ausführbar ist.
-
Vorzugsweise wird die wenigstens eine Winkelinformations-Matrix nur für diejenigen Vektoren der korrespondierenden Micro-Doppler-Matrix berechnet, welche ein jeweiliges Gestenereignis aufweisen, um dadurch sowohl eine Rechenlast, als auch einen Speicherbedarf gering zu halten. Es sei darauf hingewiesen, dass es auch denkbar ist, die wenigstens eine Winkelinformations-Matrix z. B. vor dem Identifizieren des Gestenereignisses auf Basis der vollständigen Micro-Doppler-Matrix zu ermitteln, so dass diese nicht nur für solche Messzeiträume ermittelt wird, in denen ein Gestenereignis vorliegt. Dies bietet den Vorteil, dass eine weitere Verarbeitung unmittelbar im Anschluss auf das Identifizieren eines Gestenereignisses ermöglicht wird, da zu diesem Zeitpunkt keine zusätzliche Rechenzeit für ein nachgelagertes Ermitteln der wenigstens einen Winkelinformations-Matrix aufzuwenden ist. In Abhängigkeit einer Art und Dimensionierung einer für das erfindungsgemäße Verfahren verwendeten Recheneinheit ist es somit möglich, eine Gesamtreaktionszeit für die Ausführung des erfindungsgemäßen Verfahrens zu reduzieren.
-
In einem siebten Schritt des erfindungsgemäßen Verfahrens erfolgt eine Klassifizierung der Geste auf Basis derjenigen Vektoren der Micro-Doppler-Matrix und derjenigen Vektoren der wenigstens einen Winkelinformations-Matrix, welche das identifizierte Gestenereignis repräsentieren. In diesem Zusammenhang einsetzbare vorteilhafte Klassifizierungsmethoden werden ebenfalls zu einem späteren Zeitpunkt im Zusammenhang mit der Beschreibung vorteilhafter Ausgestaltungen der vorliegenden Erfindung näher beschrieben.
-
Es sei darauf hingewiesen, dass mittels des erfindungsgemäßen Verfahrens grundsätzlich beliebige Arten von Gesten wie Handgesten und/oder Armgesten und/oder Kopfgesten ermittelbar sind.
-
Es sei ebenfalls darauf hingewiesen, dass bei der Klassifizierung des Gestenereignisses grundsätzlich auch vorliegende Abstandsinformationen bezüglich der ausgeführten Gesten berücksichtigt werden können, wobei deren Verwendung nicht im Fokus der vorliegenden Erfindung liegt.
-
Eine Verwendung eines jeweiligen Ergebnisses der Gestenklassifizierung ist grundsätzlich in beliebigen Anwendungsbereichen denkbar, welche beispielsweise eine gestenbasierte Benutzersteuerung von Heimautomatisierungssystemen („smart home“-Systemen), Fortbewegungsmitteln, Home-Entertainment-Systemen, Informationssystemen usw. umfassen.
-
Durch die erfindungsgemäße Reduzierung erforderlicher Rechenressourcen wird u. a. ermöglicht, die hier beschriebene radarbasierte Gestenerkennung auch auf besonders kostengünstigen und/oder leistungsschwachen Recheneinheiten auszuführen.
-
Die Unteransprüche zeigen bevorzugte Weiterbildungen der Erfindung.
-
In einer vorteilhaften Ausgestaltung der vorliegenden Erfindung werden vor dem Erzeugen des jeweiligen Micro-Doppler-Vektors (für einen jeweiligen Messzeitraum) diejenigen Werte der Abstands-Doppler-Matrix durch einen Wert von null ersetzt, welche unterhalb eines vordefinierten Rauschschwellenwertes liegen. Dabei ist es denkbar, dass der vordefinierte Rauschschwellenwert ein Wert ist, welcher in Abhängigkeit jeweiliger zu verarbeitender Werte von Messsignalen automatisch an jeweils vorliegende Werte angepasst wird. Besonders vorteilhaft wird das Ersetzen von Werten durch Werte von null auf Basis der aus dem Stand der Technik bekannten konstanten Falschalarmrate (CFAR) durchgeführt, wobei auch davon abweichende Verfahren zur Rauschunterdrückung einsetzbar sind. Dies bietet den besonderen Vorteil, dass zu einem frühen Zeitpunkt der Durchführung des erfindungsgemäßen Verfahrens, für das Verfahren nicht relevante Werte der Abstands-Doppler-Matrix herausgefiltert werden, so dass eine Rechenlast und/oder ein Speicherbedarf für nachfolgende Berechnungen bezüglich einer nunmehr dünnbesetzten Abstands-Doppler-Matrix reduziert werden.
-
Besonders bevorzugt wird ein vorliegendes Gestenereignis nur dann identifiziert, wenn innerhalb einer vordefinierten Anzahl aufeinanderfolgender Messzeiträume in der Micro-Doppler-Matrix eine vordefinierte Mindestanzahl von Radialgeschwindigkeitswerten oberhalb eines vordefinierten ersten Schwellenwertes liegt. Alternativ oder zusätzlich wird ein vorliegendes Gestenereignis nur dann identifiziert, wenn innerhalb der vordefinierten Anzahl aufeinanderfolgender Messzeiträume eine vordefinierte Mindestanzahl von Amplitudenwerten oberhalb eines vordefinierten zweiten Schwellenwertes liegt. Es sei darauf hingewiesen, dass in letzterem Fall vorzugsweise zusätzliche Maßnahmen zur Kompensation unterschiedlicher Abstände der Geste zum Radarsensor umgesetzt werden, um eine erforderliche Robustheit bei der Identifizierung von Gestenereignissen auf Basis der Amplitudenwerte sicherstellen zu können.
-
Ein besonderer Vorteil wird erzielt, wenn das Klassifizieren der Geste unmittelbar im Ansprechen auf das Ermitteln eines Endpunktes eines jeweiligen Gestenereignisses erfolgt, wodurch eine nachgelagerte Verarbeitung nicht relevanter Micro-Doppler-Vektoren innerhalb der Micro-Doppler-Matrix vermieden wird. Dadurch lässt sich die zur Ausführung des erfindungsgemäßen Verfahrens erforderliche Rechenlast entsprechend verringern. In einem Fall, in dem ein nachgelagerter Klassifizierungsalgorithmus eine feste Anzahl von Eingangswerten für die Durchführung der Klassifizierung erfordert, ist es nach Feststellung des Endpunktes des Gestenereignisses möglich, ggf. noch fehlende Werte bis zum Erreichen dieser festen Anzahl, mit Werten von null (oder davon abweichenden „default“-Werten) aufzufüllen, so dass die Klassifizierung im Anschluss daran unmittelbar ausführbar ist, wodurch sich eine Reaktionszeit bis zum Erhalten eines Klassifizierungsergebnisses reduzieren lässt. Dadurch lässt sich entsprechend eine Ansteuerung von Anwendungen mittels der erfindungsgemäßen Gestenklassifikation mit einer kürzeren Reaktionszeit durchführen.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung erfolgt das Klassifizieren der Geste mittels eines künstlichen neuronalen Netzes. Hierfür sind grundsätzlich beliebige Arten neuronaler Netze einsetzbar, besonders vorteilhaft im Zusammenhang mit dem erfindungsgemäßen Verfahren wird jedoch ein mehrlagiges Perzeptron (engl.: „multilayer perceptron“, kurz MLP) angesehen. Alternativ ist es beispielsweise auch denkbar, ein convolutionalneural-network (kurz CNN oder ConvNet) einzusetzen, wobei dieses eine Gestenklassifizierung vorzugsweise direkt auf Basis der Micro-Doppler-Matrix und der wenigstens einen Winkelinformations-Matrix ausführt. Das MLP wird hingegen vorzugsweise auf Basis davon abgeleiteter Daten ausgeführt, ohne die beiden genannten künstlichen neuronalen Netze dadurch hinsichtlich ihrer jeweiligen möglichen Eingangsdaten einzuschränken. Darüber hinaus ist es auch denkbar, davon abweichende Konzepte künstlicher neuronaler Netze einzusetzen. Es sei darauf hingewiesen, dass im Falle einer Verwendung künstlicher neuronaler Netze zur Durchführung der Gestenklassifikation diese künstlichen neuronalen Netze bevorzugt derart überwacht trainiert werden, dass jeweils zu trainierende Gesten an unterschiedlichen Relativpositionen bezüglich des Radarsensors ausgeführt werden. Dies hat den Hintergrund, dass sich die Verläufe jeweiliger mit der Geste korrespondierender Radialgeschwindigkeitswerte und/oder Winkelwerte in Abhängigkeit einer Position relativ zu einer Hauptempfangsachse des Sensors mitunter deutlich verändern.
-
Besonders vorteilhaft erfolgt das Klassifizieren der Geste auf Basis eines Radialgeschwindigkeits-Vektors und wenigstens eines Winkelinformations-Vektors, wobei der Radialgeschwindigkeit-Vektor gebildet wird, indem für jeden gestenereignisbezogenen Messzeitraum in der Micro-Doppler-Matrix jeweils der höchste Radialgeschwindigkeitswert ermittelt wird und dem Radialgeschwindigkeits-Vektor hinzugefügt wird, während der Winkelinformations-Vektor gebildet wird, indem für jeden gestenereignisbezogenen Messzeitraum in der Winkelinformations-Matrix jeweils ein Medianwert ermittelt und dem Winkelinformations-Vektor hinzugefügt wird. Mit anderen Worten werden die jeweiligen 2D-Matrizen auf diese Weise in jeweilige 1D-Vektoren überführt, wobei die für das erfindungsgemäße Verfahren wesentlichen Informationen erhalten bleiben. Dadurch wird eine nachfolgende Verarbeitung der Radialgeschwindigkeitsinformationen und Winkelinformationen vereinfacht, wodurch u. a. eine Rechenlast und/oder ein Speicherbedarf reduziert werden können.
-
In einer weiteren vorteilhaften Ausgestaltung der vorliegenden Erfindung erfolgt das Klassifizieren der Geste auf Basis von Merkmalen, welche aus dem Radialgeschwindigkeits-Vektor und/oder dem wenigstens einen Winkelinformations-Vektor extrahiert werden. Diese Merkmale umfassen vorzugsweise eine Anzahl von Nulldurchgängen (engl.: „zero-crossing-rate“) der Radialgeschwindigkeit und/oder eine maximale und/oder minimale Radialgeschwindigkeit und/oder eine Position eines Wertes einer maximalen und/oder einer minimalen Radialgeschwindigkeit innerhalb des Radialgeschwindigkeitsvektors und/oder einen maximalen und/oder minimalen Azimutwinkel und/oder einen maximalen und/oder minimalen Elevationswinkel und/oder einen Azimutwinkel und/oder ein Elevationswinkel zu einem Zeitpunkt, zu dem die Radialgeschwindigkeit einen maximalen und/oder einen minimalen Wert erreicht. Ferner ist es möglich, weitere, hier nicht genannte Merkmale aus den jeweiligen Vektoren zu extrahieren und für die Klassifizierung einzusetzen.
-
Vorzugsweise ist die wenigstens eine Winkelinformations-Matrix eine erste Winkelinformations-Matrix, welche jeweilige Azimutwinkel der ausgeführten Geste bezüglich des Radarsensors repräsentiert. Zudem wird vorzugsweise eine zweite Winkelinformations-Matrix berechnet, welche jeweilige Elevationswinkel der ausgeführten Geste bezüglich des Radarsensors repräsentiert. Anschließend erfolgt das Klassifizieren der Geste auf Basis derjenigen Vektoren der Micro-Doppler-Matrix, der ersten Winkelinformations-Matrix und der zweiten Winkelinformations-Matrix, welche das identifizierte Gestenereignis repräsentieren.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird ein Radarsensor vorgeschlagen, welcher eingerichtet ist, vorstehend beschriebene Verfahrensschritte und deren jeweilige Variationen auszuführen. Der Radarsensor weist eine Sendeeinheit, mindestens zwei separate Empfangskanäle und eine Auswerteeinheit auf. Die mindestens zwei separaten Empfangskanäle weisen, wie oben bereits beschrieben, jeweils wenigstens eine Empfangsantenne auf. Die Auswerteeinheit ist beispielsweise als ASIC, FPGA, Prozessor, digitaler Signalprozessor, Mikrocontroller, o. ä., ausgestaltet und vorzugsweise mit einer internen und/oder extern angebundenen Speichereinheit informationstechnisch verbunden, in welcher Programmcode und/oder durch die Auswerteeinheit empfangene und/oder berechnete Daten abgelegt werden. Die Sendeeinheit ist mit wenigstens einer Sendeantenne elektrisch verbunden und eingerichtet, auf Basis der wenigstens einen Sendeantenne ein Radarsignal in ein Umfeld des Radarsensors auszusenden. Die Auswerteeinheit ist eingerichtet, eine Abstands-Doppler-Matrix auf Basis von 2D-Frequenztransformationen von Messwerten zu erzeugen, welche innerhalb eines Messzeitraums über die wenigstens zwei separaten Empfangskanäle des Radarsensors empfangen werden, einen Micro-Doppler-Vektor zu erzeugen, welcher sich aus dem jeweils höchsten Amplitudenwert jedes Abstands-Vektors der Abstands-Doppler-Matrix zusammensetzt, eine Micro-Doppler-Matrix auf Basis einer Mehrzahl von Micro-Doppler-Vektoren zu erzeugen welche jeweils auf Messwerten aufeinanderfolgender Messzeiträume basieren, ein Gestenereignis innerhalb der Micro-Doppler-Matrix auf Basis vordefinierter Kriterien zu identifizieren, wenigstens eine mit der Micro-Doppler-Matrix korrespondierende Winkelinformations-Matrix zu erzeugen, welche Informationen über jeweilige Winkelpositionen einer das Gestenereignis hervorrufenden Geste in wenigstens einer Bewegungsrichtung bezüglich des Radarsensors repräsentiert und die Geste auf Basis derjenigen Vektoren der Micro-Doppler-Matrix und der Vektoren der wenigstens einen Winkelinformations-Matrix zu klassifizieren, welche das identifizierte Gestenereignis repräsentieren. Die Merkmale, Merkmalskombinationen sowie die sich aus diesen ergebenden Vorteile entsprechen den in Verbindung mit dem erstgenannten Erfindungsaspekt ausgeführten derart ersichtlich, dass zur Vermeidung von Wiederholungen auf die obigen Ausführungen verwiesen wird. Es sei darauf hingewiesen, dass der Begriff „Radarsensor“ hier derart weit gefasst zu verstehen ist, dass die Anordnung der Auswerteeinheit nicht auf eine Anordnung innerhalb eines Gehäuses des Radarsensors beschränkt ist, sondern dass unterschiedliche Komponenten des Radarsensors wie die Auswerteeinheit und/oder Antennen und/oder weitere Komponenten örtlich verteilt angeordnet sein können. Somit ist es beispielsweise möglich, dass die Auswerteinheit in einer zentralen Recheneinheit eines übergeordneten Systems angeordnet ist, mit welchem die Sende- und/oder Empfangskomponenten des Radarsensors elektrisch verbunden sind.
-
In einer bevorzugten Ausgestaltung des erfindungsgemäßen Radarsensors weist der Radarsensor wenigstens vier separate Empfangskanäle auf, wobei es möglich ist, eine Leistungsfähigkeit des erfindungsgemäßen Radarsensors bezüglich der Gestenklassifikation weiter zu erhöhen, in dem eine entsprechend höhere Anzahl separater Empfangskanäle verwendet wird. Vorteilhaft weist der erfindungsgemäße Radarsensor eine Reichweite von bis zu 10 m, bevorzugt bis zu 4 m und insbesondere bevorzugt bis zu 2 m auf und ist alternativ oder zusätzlich eingerichtet, Radarwellen im Millimeterwellenbereich auszusenden.
-
Figurenliste
-
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. Dabei zeigen:
- 1 ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens;
- 2 ein Beispiel einer erfindungsgemäßen Micro-Doppler-Matrix umfassend eine Mehrzahl von Gestenereignissen;
- 3 ein Beispiel korrespondierender ereignisbezogener Micro-Doppler-, Elevationswinkel- und Azimutwinkel-Matrizen;
- 4 ein Beispiel korrespondierender ereignisbezogener Radialgeschwindigkeits- Elevationswinkel- und Azimutwinkel-Vektoren; und
- 5 eine schematische Übersicht über Komponenten eines erfindungsgemäßen Radarsensors.
-
Ausführungsformen der Erfindung
-
1 zeigt ein Flussdiagramm veranschaulichend Schritte eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens. Im Schritt 100 wird ein Radarsignal eines Millimeterwellen-Radarsensors mittels zweier Sendeantennen des Radarsensors in ein Umfeld des Radarsensors ausgesendet.
-
Im Schritt 200 wird eine Abstands-Doppler-Matrix auf Basis einer 2D-FFT von Messwerten erzeugt, welche innerhalb eines Messzeitraums 10 des Radarsensors über vier separate Empfangskanäle 20 des Radarsensors empfangen werden, wobei jeder der Empfangskanäle 20 jeweils eine Empfangsantenne 25 aufweist. Darüber hinaus wird ein CFAR-basierter Algorithmus zur Rauschunterdrückung auf die Abstands-Doppler-Matrix angewendet, so dass eine dünnbesetzte Abstands-Doppler-Matrix erhalten wird.
-
Im Schritt 300 wird ein Micro-Doppler-Vektor erzeugt, welcher sich aus dem jeweils höchsten Amplitudenwert jedes Abstands-Vektors der Abstands-Doppler-Matrix zusammensetzt.
-
Im Schritt 400 wird anschließend eine Micro-Doppler-Matrix 30 auf Basis einer Mehrzahl von Micro-Doppler-Vektoren erzeugt, welche jeweils auf Messwerten aufeinanderfolgende Messzeiträume 10 basieren.
-
Im Schritt 500 wird ein Gestenereignis EV innerhalb der Micro-Doppler-Matrix 30 identifiziert, indem ermittelt wird, ob eine durch die Micro-Doppler-Matrix 30 repräsentierte Radialgeschwindigkeit des Gestenereignisses EV für eine Mindestdauer von 200 ms oberhalb eines Wertes von 0,8 m/s liegt. Dabei wird sowohl ein Startpunkt 42, als auch ein Endpunkt 44 des Gestenereignisses EV innerhalb der Micro-Doppler-Matrix 30 ermittelt. Falls auf diese Weise ermittelt wird, dass in der vorliegenden Micro-Doppler-Matrix 30 wenigstens ein Gestenereignis EV vorliegt (EV ≥ 1), wird das Verfahren im Schritt 600 fortgeführt. Für den Fall, dass kein Gestenereignis EV identifiziert wird, wird das Verfahren im Schritt 100 fortgeführt, in welchem mittels des Radarsensors entsprechend neue Messwerte erfasst werden.
-
Im Schritt 600 werden eine mit der Micro-Doppler-Matrix 30 korrespondierende Azimutwinkel-Matrix 50 und eine Elevation-Matrix 55 erzeugt, welche Informationen über jeweilige Winkelpositionen einer das Gestenereignis EV hervorgerufenen Geste in einem Sichtfeld (engl.: „field of view“, kurz FOV) des Radarsensors repräsentieren.
-
Im Schritt 700 wird die Geste auf Basis derjenigen Vektoren der Micro-Doppler-Matrix 30 und der Vektoren der Azimutwinkel-Matrix 50 und Elevation-Matrix 55 klassifiziert, welche das identifizierte Gestenereignis EV umfassen. Hierzu wird aus der Micro-Doppler-Matrix 30 zunächst ein Radialgeschwindigkeit-Vektor 60 gebildet, indem für jeden gestenereignisbezogenen Messzeitraum 10 in der Micro-Doppler-Matrix 30 jeweils der höchste Radialgeschwindigkeitswert ermittelt und dem Radialgeschwindigkeit-Vektor 60 hinzugefügt wird. Zudem werden ein Azimutwinkel-Vektor 70 und ein Elevationswinkel-Vektor 75 gebildet, indem für jeden gestenereignisbezogenen Messzeitraum 10 in der Azimutwinkel-Matrix 50 jeweils ein Medianwert ermittelt und dem Azimutwinkel-Vektor 70 hinzugefügt wird und indem für jeden gestenereignisbezogenen Messzeitraum 10 in der Elevationswinkel-Matrix 55 ebenfalls jeweils ein Medianwert ermittelt und dem Elevationswinkel-Vektor 75 hinzugefügt wird. Anschließend werden aus den auf diese Weise ermittelten Vektoren 60, 70, 75 unterschiedliche Merkmale in Form von Merkmalsvektoren extrahiert, welche beispielsweise eine Anzahl von Nulldurchgängen der Radialgeschwindigkeit, eine maximale und eine minimale Radialgeschwindigkeit, einen maximalen und einen minimalen Azimutwinkel und einen maximalen und minimalen Elevationswinkel umfassen.
-
Diese Merkmalsvektoren werden anschließend in ein vorab trainiertes, mehrlagiges Perzeptron (MLP) eingespeist, welches hier 32 Neuronen in der Zwischenschicht („hidden layer“) und eine soft-max-Schicht für die finale Klassifikation des Gestenereignisses aufweist. Da das MLP hier derart konfiguriert ist, dass es eine feste Anzahl von Eingangsdaten erwartet, welche hier mit einer Zeitdauer von 1 s korrespondieren, werden kürze Gestenereignisdauern dadurch kompensiert, dass eine Zeitdifferenz zum Erreichen der festen Dauer von 1 s mit Daten von null aufgefüllt werden. Dies hat zur Folge, dass unmittelbar im Ansprechen auf das Erkennen eines Endpunktes 44 eines Gestenereignisses EV die solchermaßen aufgefüllten Daten unmittelbar in das MLP eingespeist und klassifiziert werden können. In diesem Fall ist das MLP hinsichtlich einer Klassifizierung unterschiedlicher Armgesten trainiert (z. B. zur Erkennung von Ziehbewegungen, Drückbewegungen, Wischbewegungen von links nach rechts, von rechts nach links, von oben nach unten, von unten nach oben, von Kreisbewegungen, von Rotationsbewegungen, etc.).
-
2 zeigt ein Beispiel einer erfindungsgemäßen Micro-Doppler-Matrix 30 umfassend eine Mehrzahl von Gestenereignissen EV mit jeweiligen Startpunkten 40 und Endpunkten 44, welche gemäß dem in 1 beschriebenen Schritt zur Identifizierung von Gestenereignissen EV ermittelt werden. Zudem ist beispielhaft ein Messzeitraum 10 gekennzeichnet. Es sei darauf hingewiesen, dass die jeweiligen dargestellten Datenpunkte der Micro-Doppler-Matrix 30 Amplitudenwerte (z. B. in „dB“) repräsentieren (ähnlich einer „heat-map“), welche beispielsweise durch unterschiedliche Grau- oder Farbwerte darstellbar sind, hier aber im Sinne einer vereinfachten Übersicht einheitlich schwarz dargestellt sind.
-
3 zeigt ein Beispiel korrespondierender ereignisbezogener Micro-Doppler-30, Elevationswinkel- 55 und Azimutwinkel-Matrizen 50, welche jeweils ein und dasselbe identifizierte Gestenereignis EV repräsentieren. Es sei darauf hingewiesen, dass die jeweiligen Datenpunkte der hier gezeigten Diagramme ebenfalls als „heat-maps“ anzusehen sind, welche wiederum im Sinne einer vereinfachten Darstellung einheitlich schwarz dargestellt sind. Dabei repräsentieren (hier nicht dargestellte) unterschiedliche Grau- oder Farbwerte der ereignisbezogenen Micro-Doppler-Matrix 30 Amplitudenwerte und die Grau- oder Farbwerte der Elevationswinkel-Matrix 55 und der Azimuthwinkel-Matrix 50 jeweils Winkelwerte.
-
4 zeigt ein Beispiel korrespondierender ereignisbezogener Radialgeschwindigkeits- 60, Elevationswinkel- 75 und Azimutwinkel-Vektoren 70, wobei sich die Azimutwinkel-Vektoren 70 aus jeweiligen Azimutwinkeln φ und die Elevationswinkel-Vektoren aus jeweiligen Elevationswinkeln θ zusammensetzen.
-
5 zeigt eine schematische Übersicht über Komponenten eines erfindungsgemäßen Radarsensors. Der Radarsensor weist eine Sendeeinheit 80, zwei separate Empfangskanäle 20 mit jeweiligen Empfangsantennen 25 und eine Auswerteeinheit 90 auf, welche hier ein Mikrocontroller ist. Auf Basis dieser Konfiguration ist der erfindungsgemäße Radarsensor eingerichtet, Gestenereignisse EV im Umfeld des Radarsensors zu erfassen, zu verarbeiten und zu klassifizieren.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 2885687 B1 [0006]
- WO 2020073608 A1 [0007]
