DE102022116737A1

DE102022116737A1 - System, Verfahren, Computerprogramm und computerlesbares Medium

Info

Publication number: DE102022116737A1
Application number: DE102022116737.2A
Authority: DE
Inventors: Martin Vossiek; Marc Stamminger; Ingrid Ullmann; Vanessa Wirth; Johanna Bräunig; Simon Heinrich; Birte Coppers; Sigrid Leyenecker; Anna-Maria Liphardt
Original assignee: Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Current assignee: Friedrich Alexander Univeritaet Erlangen Nuernberg FAU
Priority date: 2022-07-05
Filing date: 2022-07-05
Publication date: 2024-01-11
Also published as: WO2024008803A1

Abstract

Die vorliegende Erfindung betrifft ein System zur Ermittlung eines Merkmals einer Hand, wobei das System eine primäre Modalität, eine assistierende Modalität und eine Steuerung umfasst, wobei die primäre Modalität ein Radarsystem mit mindestens einer Sendeantenne und mindestens einer Empfangsantenne umfasst und wobei die assistierende Modalität einen dreidimensional bildgebenden Sensor umfasst, wobei die primäre und die assistierende Modalität dazu ausgebildet sind, jeweils das Merkmal zu erfassen, Messdaten mit Bezug auf das Merkmal zu erzeugen, mit der dazu ausgebildeten Steuerung zu kommunizieren, von der dazu ausgebildeten Steuerung angesteuert zu werden und die Messdaten an die dazu ausgebildete Steuerung zu senden, wobei die Steuerung Mittel aufweist, die dazu ausgebildet sind, die primäre Modalität derart anzusteuern, dass die durch die assistierende Modalität erzeugten Messdaten berücksichtigt werden und dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, aus der Gesamtheit oder aus einem Teil der Gesamtheit der erzeugten Messdaten das Merkmal der Hand zu ermitteln.

Description

Die vorliegende Erfindung betrifft ein System zur Ermittlung eines Merkmals einer Hand.
Der Stand der Technik wird durch folgende Veröffentlichungen gebildet.

[1] M. Menolotto, D.-S. Komaris, S. Tedesco, B. O'Flynn und M. Walsh, „Motion Capture Technology in Industrial Applications: A Systematic Review," Sensors, Bd. 20, p. 5687, 2020.
[2] E. van der Kruk und M. M. Reijne, „Accuracy of human motion capture systems for sport applications; state-of-the-art review," European Journal of Sport Science, Bd. 18, pp. 1-14, 2018.
[3] M. Topley und J. G. Richards, „A Comparison of Currently Available Optoelectronic Motion Capture Systems,“ Journal of Biomechanics, Bd. 106, 2020.
[4] K.-S. Lee und M.-C. Jung, „Ergonomie evaluation of biomechanical hand function," Safety and Health Work, Bd. 6, Nr. 1, pp. 9-17, 2015.
[5] C. D. Metcalf, C. Phillips, A. Forrester, J. Glodowski, K. Simpson, C. Everitt, A. Darekar, L. King, D. Warwick und A. Dickinson, „Quantifying Soft Tissue Artefacts and Imaging Variability in Motion Capture of the Fingers," Ann Biomed Eng, Bd. 48, Nr. 5, pp. 1551-1561, 2020.
[6] L. Wade, L. Needham, P. McGuigan und B. James, „Applications and limitations of currenct markerless motion capture methods for clinical gait biomechanics,“ PeerJ, 2022.
[7] S. L. Colyer, M. Evans, D. P. Cosker und A. I. T. Salo, „A Review of the Evolution of Vision-Based Motion Analysis and the Integration of Advanced Computer Vision Methods Towards Developing a Markerless System," Sports Medicine - Open, Bd. 4, Nr. 24, 2018.
[8] E. Ceseracciu, Z. Sawacha und C. Cobelli, „Comparison of Markerless and Marker-Based Motion Capture Technologies through Simultaneous Data Collection during Gait: Proof of Concept," PLOS One, Bd. 9, Nr. 3, 2014.
[9] W. Chen, C. Yu, C. Tu, Z. Lyu, J. Tang, S. Ou, Y. Fu und Z. Xue, „A Survey on Hand Pose Estimation with Wearable Sensors and Computer-Vision-Based Methods,“ Sensors, 2020.
[10] T. Chatzis, A. Stergioulas, D. Konstantinidis, K. Dimitropoulos und P. Daras, „A Comprehensive Study on Deep Learning-Based 3D Hand Pose Estimation Methods,“ Applied Sciences, 2020.
[11] S. Yuan, G. Garcia-Hernando und B. Stenger, „Depth-Based 3D Hand Pose Estimation: From Current Achievements to Future Goals,“ CoRR, 2017.
[12] A. Erol, G. Bebis, M. Nicolescu, R. Boyle und X. Twombly, „Vision-based hand pose estimation: A review,“ Computer Vision and Image Understanding, 2007.
[13] F. Müller, Real-time 3D Hand Reconstruction in Challenging Scenes from a single Color or Depth Camera, 2020.
[14] R. A. Newcombe, D. Fox und S. M. Seitz, „DynamicFusion: Reconstruction and Tracking of Non-Rigid Scenes in Real-Time,“ Computer Vision and Pattern Recognition (CVPR), 2015.
[15] S. S. Ahmed, A. Schiessl, F. Gumbmann, M. Tiebout, S. Methfessel und L.-P. Schmidt, „Advanced Microwave Imging," IEEE Microwave Magazine, Bd. 13, Nr. 6, pp. 26-43, 2012.
[16] S. S. Ahmed, „Microwave Imaging in Security - Two Decades of Innovation," IEEE Journal of Microwaves, Bd. 1, Nr. 1, pp. 191-201, Januar 2021.
[17] F. Gumbmann und S. S. Ahmed, „Walk through screening with multistatic mmW technology,“ in Proc. SPIE 9993, Millimetre Wave and Terahertz Sensors and Technology IX, 2016.
[18] K. Root, I. Ullmann, S. Gmehling und M. Vossiek, „Close range ISAR imaging with target velocity determination for security screening applications,“ in Proceedings of the Emerging Imaging and Sensing Technologies for Security and Defence VI SPIE Security +Defence, 2021.
[19] E. Klinefelter und J. A. Nanzer, „Interferometric Radar For Spatially-Persistent Gesture Recognition in Human-Computer Interaction,“ in Proc. 2019 IEEE Radar Conference (RadarConf), 2019.
[20] Y. Kim und B. Toomajian, „Application of Doppler radar for the recognition of hand gestures using optimized deep convolutional neural networks," Proc. 11th European Conference on Antennas and Propagation (EUCAP),, pp. 1258-1260, 2017.
[21] S. Zhang, G. Li, M. Ritchie, F. Fioranelli und H. Griffiths, „Dynamic hand gesture classification based on radar micro-Doppler signatures," Proc. 2016 CIE International Conference on Radar (RADAR), pp. 1-4, 2016.
[22] Z. Peng, C. Li, J. Muñoz-Ferreras und R. Gomez-Garcia, „An FMCW radar sensor for human gesture recognition in the presence of multiple targets," Proc. 2017 First IEEE MTT-S International Microwave Bio Conference (IMBIOC), pp. 1-3, 2017.
[23] J.-T. Yu, L. Yen und P.-H. Tseng, „mmWave Radar-based Hand Gesture Recognition using Range-Angle Image," Proc. IEEE 91st Vehicular Technology Conference (VTC2020-Spring), pp. 1-5, 2020.
[24] L. Zheng, J. Bai, X. Zhu, L. Huang, C. Shan, Q. Wu und L. Zhang, „Dynamic Hand Gesture Recognition in In-Vehicle Environment Based on FMCW Radar and Transformer," Sensors, Bd. 21, Nr. 19, pp. 63-68, 2021.
[25] R. T. Anjasmara, A. Pramudita und Y. Wahyu, „Configuration of Multisensor CW Radar for Hand Gesture Detection," Proc. 2021 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET) , pp. 27-31, 2021.
[26] C. Liu, Y. Li, D. Ao und H. Tian, „Spectrum-Based Hand Gesture Recognition Using Millimeter-Wave Radar Parameter Measurements," IEEE Access, Bd. 7, pp. 79147-79158, 2019.
[27] T. Fan, „Wireless Hand Gesture Recognition Based on Continuous-Wave Doppler Radar Sensors," IEEE Transactions on Microwave Theory and Techniques, Bd. 64, Nr. 11, pp. 4012-4020, 2016.
[28] S. Ahmed, K. Kallu, S. Ahmed und S. H. Cho, „Hand Gestures Recognition Using Radar Sensors for Human-Computer-Interaction: A Review.," Remote Sensing, Bd. 13, Nr. 3, 2021.
[29] J. W. Smith, S. Thiagarajan, R. Willis, Y. Makris und M. Torlak, „Improved Static Hand Gesture Classification on Deep Convolutional Neural Networks Using Novel Sterile Training Technique," IEEE Access, Bd. 9, pp. 10893-10902, 2021.
[30] M. Q. Nguyen und C. Li, „Radar and ultrasound hybrid system for human computer interaction," Proc. 2018 IEEE Radar Conference (RadarConf18), pp. 1476-1480, 2018.

In der Biomechanik, sowie industriellen Anwendung von Motion Capturing, haben sich unterschiedliche Verfahren zur Beantwortung verschiedener Fragestellungen durchgesetzt.
Neben Verfahren mit Inertial Measurement Units (IMU) zur Beschleunigungsmessung oder Elektromyografie (EMG) Sensoren zur Messung der Muskelaktivierung gibt es Marker-basierte optische Verfahren, bei denen die Position reflektierender oder emittierender Marker mittels Infrarotkameras bestimmt werden kann, wie dies aus [1, 2] bekannt ist. Diese Systeme sind für eine hohe Genauigkeit im Sub-Millimeterbereich bekannt, wie dies aus [3] bekannt ist.
Gerade in der klinischen Anwendung eignen sich solche Verfahren auch zur Erfassung von Handbewegungen. Im Vergleich zu anderen bildgebenden Verfahren, wie Röntgenaufnahmen oder Computertomografie (CT), die mit einer Strahlenbelastung einhergehen und beispielsweise im klinischen Setting zum Einsatz kommen, bietet diese Marker-basierte Analyse eine kosten- und risikoarme Möglichkeit mit hoher Genauigkeit und Reliabilität zur Bewegungserfassung der Hand, wie dies aus [4] bekannt ist.
Parameter, die zur Beschreibung der Handergonomie und -funktion über das Optische Marker-basierte System (OMS) herangezogen werden, umfassen kinematische Größen wie bestimmte Gelenkswinkel, Bewegungsgeschwindigkeiten- und Beschleunigungen aus den Marker-Trajektorien. Zur Berechnung der Gelenkswinkel werden verschiedene modellbasierte Algorithmen angewendet. Diese variieren je nach verwendetem Marker-Set.
Derzeit kommen folgende Varianten zum Einsatz: (1) ein Marker pro Segment wird vor allem im klinischen Feld und zur Erfassung von statischen Positionen angewandt, da die Bewegungen der Hand am geringsten eingeschränkt werden. (2) Bei zwei Markern pro Segment, werden die Marker am distalen und proximalen Ende der Segmente angebracht, (3) bei drei in triangulärer Form oder (4) im Cluster.
Der Vorteil der Varianten (2-4) beläuft sich auf eine geringere Anfälligkeit von Hautbewegungsartefakten während der Aufnahme von dynamischen Bewegungen und kommen daher in komplexen biomechanischen Analysen zum Einsatz, wie dies aus [4] bekannt ist.
Auch der Einsatz von reduzierten Marker-Sets zeigt sich als anwendbar, da die Hautbewegungsartefakte systematisch auftreten und daher mit standardisierten Protokollen kontrolliert werden können, wie dies aus [5] bekannt ist. Limitierend hinsichtlich des breiten Einsatzes zum Beispiel zum Monitoring von funktionellen Zustandsänderungen, außerhalb von Studien zur einmaligen Zustandsbestimmung, zeigt sich der zeitliche Aufwand, die örtliche Gebundenheit durch die speziellen Laborbedingungen und die Einschränkung beziehungsweise Störung natürlicher Bewegungsabläufe durch die Marker am Körper.
Alternativ gibt es markerlose Verfahren, bei denen mithilfe von Tiefen- oder Farbkameras die Pose des Menschen oder eines Objektes bestimmt wird, wie dies aus [1, 2, 6, 7, 8] bekannt ist. Viele dieser markerlosen Verfahren werden für die Bestimmung von Ganzkörperposen, zum Beispiel beim Gang, eingesetzt, wie dies aus [1, 6, 7, 8] bekannt ist.
Trotz des Wunsches nach markerlosen Alternativen in der Biomechanik, gibt es viele offene Fragen und zu lösende Probleme, zum Beispiel die erreichbare Genauigkeit, Identifikation anatomisch relevanter Stellen oder auch die Möglichkeit, Messungen ohne Beschränkung auf dieselben Messpunkte (Marker) erneut auszuwerten, wie dies aus [6, 7, 8] bekannt ist. Gerade zur Erfassung von Handbewegungen und einhergehender Analyse der Handfunktion, was ein kleines Volumen in dem die Bewegungen stattfinden und i.d.R. Messungen in einer kontrollierten Umgebung (Labor) mit der Forderung nach hoher Genauigkeit betrifft, scheinen optische Verfahren mit Markern aktuell noch Goldstandard zu sein, wie dies aus [1, 2] bekannt ist.
Im Bereich der Computer Vision werden für die digitale Bewegungsbestimmung der Hand in der Regel RGB-, wie dies aus [9] [10] bekannt ist oder RGB-D-Daten, wie dies aus [11] bekannt ist ein oder mehrerer (Tiefen-)kameras als Eingabedaten herangezogen. In einigen Werken werden außerdem zusätzlich weitere Sensoren verwendet, welche am Körper getragen werden können, wie dies aus [9] bekannt ist.
Die zur Gestenbestimmung verwendeten Verfahren unterscheiden sich dabei hauptsächlich in der Art des verwendeten Hand-Modells und des zugrundeliegenden Optimierungsverfahrens, um dessen Bewegung über die Zeit hinweg zu verfolgen.
Synthetische Modelle gibt es in vielen Ausführungen und können beispielsweise in [12], [13] und [9] gefunden werden. Liegt kein synthetisches Hand-Modell bereits vor, so wird dieses in der Regel aus der Datenfusion der Eingabedaten über mehrere Aufnahmen hinweg erstellt. Derartige Verfahren werden auch als „template-free“ oder „model-free“ bezeichnet. Eines der bekanntesten Werke ist dabei DynamicFusion, wie aus [14] bekannt und dessen Nachfolgewerke, welche Modelle beliebiger Objekte sukzessive generieren können.
In der Optimierung wird zwischen generativen und diskriminativen Verfahren unterschieden. Generative Verfahren setzen ein vorhandenes Modell voraus und minimieren den Fehler zwischen dem aktuellen Zustand des Modells und den Eingangsdaten über die Zeit hinweg. Vor Allem in traditionellen Methoden ohne Deep Learning, wie aus [12] bekannt, wird dieser Fehler in der Regel zwischen zwei einzelnen, sukzessive aufeinanderfolgenden, Eingabedaten minimiert. Solche Verfahren werden als frame-to-frame oder model-to-frame (falls der aktuelle Zustand eines Modells zur Fehlerbestimmung herangezogen wird) Tracking bezeichnet. Im Deep Learning Bereich werden stattdessen häufig diskriminative Methoden eingesetzt, welche in der Regel unabhängig von den vorherigen Eingabedaten eine aktuelle Pose der Hand auf Basis der aktuellsten Aufnahme schätzen. Eine Sammlung bekannter Deep Learning Werke findet sich in [10].
Beide Verfahren zur Optimierung haben ihre eigenen Vor- und Nachteile. Generative Verfahren machen sich temporale Zustände zunutze, um die nächste Bewegung in der folgenden Aufnahme schätzen zu können. Enthalten diese temporalen Zustände allerdings Fehler, welche durch die Optimierung zustande kommen, so akkumuliert sich dieser Fehler auch über die Zeit hinweg.
Da diskriminative Verfahren oftmals nur die aktuelle Pose der Hand, unabhängig von vorherigen Aufnahmen, schätzen, sind diese nicht anfällig gegenüber akkumulierten Fehlern. Allerdings sind diese Ansätze, vor allem in der Deep Learning Domäne, meistens datengesteuert, erfordern somit hohe Datenmengen und sind aufgrund von Letzteren oftmals nur in einem limitierten Anwendungsbereich einsetzbar.
Ungeachtet von der Menge, profitieren beide Kategorien von einem größeren Informationsgehalt der Eingabedaten. Insbesondere wäre es für die Bestimmung der Geste der Hand von großem Vorteil, zusätzliche Geschwindigkeitsinformationen aus der verwendeten Sensorik gewinnen zu können. Allerdings sind (Tiefen-)kameras nicht darauf ausgelegt, direkt Geschwindigkeit messen zu können. Stattdessen wird die Geschwindigkeit indirekt aus dem zeitlichen Verfolgen räumlicher Punkte, welche mit der (Tiefen-)kamera zu einem vorherigen Zeitpunkt erfasst wurden, gewonnen.
Diese Methodik ist allerdings fehleranfällig, da das Wiederauffinden eines zuvor erfassten Punktes oftmals nicht gelingt. Das liegt unter anderem daran, dass der sichtbare Bereich einer einzelnen (Tiefen)-Kamera immer durch die Optik begrenzt ist und somit nicht jeder Oberflächenpunkt auf der Hand kontinuierlich für die Sensorik sichtbar ist.
Aus diesem Grund wurden Ansätze entwickelt, welche aus mehreren, versetzt platzierten (Tiefen-)kameras bestehen, um die Sichtbarkeit des Zielobjektes möglichst gut abzudecken. Allerdings kommt es häufig auch bei mehreren Kameras immer noch zu Verdeckungsproblemen. Bei der Hand kann das beispielsweise Verdeckung durch sich selbst oder durch andere Objekte, welche sich in unmittelbarer Nähe befinden, auftreten. Im Falle, dass die Hand mit einem Objekt interagiert, kann eine Verdeckung oftmals auch mit mehreren Kameras nicht vermieden werden.
Deshalb kann auch bei mehreren (Tiefen-)kameras die kontinuierliche Sichtbarkeit einzelner Oberflächenpunkte nicht gewährleistet werden, weshalb das Bestimmen der Geschwindigkeit nach wie vor fehleranfällig ist. Aus diesem Grunde ist es erstrebenswert, die Objekte aus einem Material zu konstruieren, welches für die Sensorik nicht sichtbar ist, sodass bei einer Hand-Objekt-Interaktion die Hand nicht durch das Objekt selbst verdeckt wird. Dies gestaltet sich aufgrund der niedrigen Wellenlänge im optischen Bereich allerdings schwierig, da es wenig Materialen gibt, welches für optische Signale absolut transparent sind.
Eine dreidimensionale radarbasierte Abbildung des menschlichen Körpers ist in der Sicherheitstechnik seit einigen Jahren Stand der Technik, wie z.B. aus [15] oder [16] bekannt. Hierfür werden breitbandige Multiple-Input-Muliple-Output- (MIMO) Radarsysteme mit zweidimensionaler Antennenanordnung verwendet.
Der Fokus der Anwendung liegt dabei jedoch nicht auf der Abbildung des Menschen selbst, sondern in der Erkennung von potentiell mitgeführten Gefahrgegenständen, wie beispielsweise Waffen oder Sprengstoffen. Darüber hinaus werden mit den genannten Verfahren lediglich Standbilder des Menschen erhoben. Eine Erfassung von Bewegungen im Bild erfolgt bisher nicht. Selbst moderne sog. Walk-Through-Scanner, wie aus [17] bekannt, rekonstruieren lediglich eine schnelle Abfolge von Bildern, die Bewegungsinformation wird nicht explizit ausgewertet.
Das in [18] vorgestellte Konzept nutzt zwar eine zuvor bestimmte Geschwindigkeitsinformation des sich bewegenden Menschen, allerdings nur für die weitere Bildgebung im Sinne eines inversen Synthetic-Aperture-Radar-Ansatzes. Es werden aber keine expliziten Bewegungsmerkmale als Ergebnis der Bildgebung, und auch keine Bewegungsmuster extrahiert.
Eine radarbasierte Erfassung der menschlichen Hand ist aktuell Gegenstand intensiver Forschung. Dabei liegt der Fokus auf einer Erkennung von Hand-Gesten. Typische Anwendungen hierfür sind Mensch-Maschine-Interaktion, Medizin-Radar zur Erkennung von medizinisch relevanten Aktivitäten oder auch eine automatisierte Erkennung von Fußgänger-Bewegungen für das zukünftige autonome Fahren. Technisch umgesetzt wird die Erkennung der Hand-Gesten zumeist mittels künstlicher Intelligenz, basierend auf Doppler- bzw. Mikro-Doppler-Signaturen, welche aus Kurzzeit-Fourier-Spektrogrammen extrahiert werden. Hierbei wird die Bewegung aber zumeist nicht örtlich aufgelöst erfasst, sondern lediglich die (Mikro-)Doppler-Signatur als Zeitsignal ausgewertet, wie aus [19], [20], [21] bekannt. Publikationen, die eine Ortsauflösung einschließen, verwenden für die Analyse Range-Doppler-Maps, wie aus [22] bekannt, Range-Angle-Maps oder beides, wie aus [23], [24] bekannt, allerdings kein hochaufgelöstes, dreidimensionales Abbild der Hand.
Darüber hinaus existieren weitere Ansätze zur Gestenerkennung. In [25] wird die reflektierte Leistung zur Gestenerkennung betrachtet, allerdings nicht ortsaufgelöst. In [26] werden einzelne starke Streuer der menschlichen Hand ausgewertet. Auch hier erfolgt keine hochaufgelöste dreidimensionale Abbildung. In [27] werden zur Gestenerkennung zweidimensionale Trajektorien aufgenommen, aber kein Abbild der Hand rekonstruiert. Eine Übersicht über den Stand der Technik im Bereich Radar-basierte Gestenerkennung findet sich in [28].
Eine hochaufgelöste, dreidimensionale Abbildung der Hand wird in [29] demonstriert. Hier werden verschiedene Handposen klassifiziert. Allerdings beschränkt sich die Publikation auf statische Abbilder der menschlichen Hand. Das Konzept beinhaltet keine Erfassung von Bewegungen.
Eine Verwendung mehrerer Sensormodalitäten zur Gestenerkennung wird in [30] vorgeschlagen. Hier werden Radar und Ultraschall kombiniert. Allerdings wird hierbei keine direkte Sensordatenfusion betrieben, die beiden Modalitäten ergänzen sich lediglich bezüglich ihrer unterschiedlichen Reichweiten.
Die EP 1 178 330 A1 offenbart ein Radarsystem zur Bewegungserkennung. Es findet aber keine Fusion mit einem weiteren Sensor statt, eine Radar- Bildgebung wird nicht explizit erwähnt. Es wird auch keine modellbasierte Datenverarbeitung und keine Virtualisierung der Hand beansprucht.
Die US 10,928,921 B2 offenbart Bewegungsidentifikation inklusive Prozessierung zur Gestenerkennung, jedoch keine Virtualisierung der Hand.
Die US 2015/0277569 A1 offenbart eine Verwendung von Radar und Kamera zur Messung von Bewegungscharakteristika der Hand mit dem Ziel der Gestenerkennung. Eine explizite modellbasierte Virtualisierung wird aber nicht offenbart.
Die WO2017/131545 A1 offenbart ein Radarsystem inklusive einer Funktionalität zur Handmessung. Es beinhaltet aber eine explizite Beschränkung auf Radar. Weiterhin wird keine explizite Bildgebung offenbart, sondern lediglich eine zweidimensionale Winkelschätzung. Es wird auch keine Virtualisierung der Hand offenbart.
Vor diesem Hintergrund liegt der vorliegenden Erfindung die Aufgabe zugrunde, ein System zur optimierten Erfassung eines Merkmals einer Hand bereitzustellen.
Diese Aufgabe wird durch den Gegenstand mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der abhängigen Ansprüche.
Demnach ist erfindungsgemäß vorgesehen, dass das System eine primäre Modalität, eine assistierende Modalität und eine Steuerung umfasst, wobei die primäre Modalität ein Radarsystem mit mindestens einer Sendeantenne und mindestens einer Empfangsantenne umfasst und wobei die assistierende Modalität einen dreidimensional bildgebenden Sensor umfasst, wobei die primäre und die assistierende Modalität dazu ausgebildet sind, jeweils das Merkmal zu erfassen, Messdaten mit Bezug auf das Merkmal zu erzeugen, mit der dazu ausgebildeten Steuerung zu kommunizieren, von der dazu ausgebildeten Steuerung angesteuert zu werden und die Messdaten an die dazu ausgebildete Steuerung zu senden, wobei die Steuerung Mittel aufweist, die dazu ausgebildet sind, die primäre Modalität derart anzusteuern, dass die durch die assistierende Modalität erzeugten Messdaten berücksichtigt werden und dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, aus der Gesamtheit oder aus einem Teil der Gesamtheit der erzeugten Messdaten das Merkmal der Hand zu ermitteln.
Es kann vorgesehen sein, dass das Radarsystem ein schmalbandiges MIMO-Radarsystem und/oder das der dreidimensional bildgebende Sensor ein optisches Messsystem, insbesondere eine Kamera, Tiefenkamera, eine Stereokamera oder ein Laserscanner ist.
Vorzugsweise ist vorgesehen, dass das Merkmal der Hand die Hülle der Hand betrifft und/oder dass das Merkmal der Hand eine Position, Geschwindigkeit Beschleunigung und/oder ein Bewegungsablauf mindestens eines Bereiches der Hand oder der Hülle der Hand ist. Das Merkmal kann auch eine Phaseninformation einer von einem Bereich der Hand oder der Hülle der Hand reflektierten Welle sein.
Unter Steuerung ist vorzugsweise jedes Mittel, wie beispielsweise ein Schaltkreis oder ein Computer zu verstehen, das derart ausgebildet ist, um die der Steuerung oder eines Mittels der Steuerung innerhalb dieser Erfindung zugeschriebenen Funktionen auszuführen. Steuerung ist damit vorzugsweise breit auszulegen und umfasst beispielsweise auch eine Regelung.
Es ist denkbar, dass die Steuerung Mittel zur Eingabe, Anzeige und/oder Ausgabe, insbesondere des ermittelten Merkmals des Objekts, umfasst.
Vorzugsweise ist vorgesehen, dass die primäre Modalität ferner eine wellenbasierte Sensormodalität, insbesondere ein bild-gebendes MIMO-Radar, die vorzugsweise zur Erfassung zusätzlicher Dimensionen ausgebildet ist, umfasst.
Es kann vorzugsweise vorgesehen sein, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, eine Virtualisierung der Hand vorzunehmen, wobei die Virtualisierung vorzugsweise durch ein Modell auf Grundlage der Gesamtheit oder auf einem Teil der Gesamtheit der erzeugten Messdaten erfolgt.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass das System ferner ein Objekt umfasst, welches mindestens teilweise für mindestens einen Teil einer Modalität transparent oder annähernd transparent ist und/oder für mindestens einen anderen Teil der Modalität oder einen Teil einer anderen Modalität nicht-transparent ist.
Denkbar ist, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, Gesten der Hand, insbesondere auf Grundlage eines synthetischen Modells, welches aus einer kinematischen Struktur besteht oder diese und/oder die Oberfläche der Hand aufweist, zu erkennen und/oder Hand-Objekt-Interaktionen zu modellieren.
Vorzugsweise ist vorgesehen, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, die Messdaten zu speichern.
Es kann vorzugsweise vorgesehen sein, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, mehrere ermittelte Merkmale und/oder erzeugte Messdaten zu vergleichen und dadurch einen Vergleichswert zu bestimmen, aus dem ein weiteres Merkmal, insbesondere eine Position, eine Geschwindigkeit und/oder eine Beschleunigung abgeleitet wird.
In einer vorteilhaften Ausführungsform ist vorgesehen, dass die primäre Modalität ein Radarsystem mit mindestens einer Sendeantenne und mindestens einer Empfangsantenne umfasst, wobei vorzugsweise Mittel vorhanden sind, die dazu ausgebildet sind, dass Wellen mit weniger als 10, vorzugsweise mit genau einer, zwei oder drei unterschiedlichen Frequenzstützstellen von einer Sendeantenne ausgesendet werden und/oder dass die assistierende Modalität einen, vorzugsweise dreidimensional, bildgebenden Sensor umfasst. Frequenzstützstellen können auch als Frequenzen bezeichnet werden oder sein und beschreiben vorzugsweise das zeitliche Aufeinanderfolgen von nur einer oder mehreren Sendefrequenzen.
Denkbar ist, dass die Antennen des Radarsystems eine MIMO-Apertur bilden, wobei Mittel vorhanden sind, die dazu ausgebildet sind durch eine Apertursynthese ein lateral fokussiertes Bild des Objekts zu erzeugen.
Vorzugsweise ist vorgesehen, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind mittels Merkmalen und/oder Messdaten die Ermittlung des Merkmals des Objekts zu optimieren.
Es kann vorgesehen sein, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, ein statistisches Filter, vorzugsweise ein Kalman-Filter, ein Bewegungsmodell und/oder eine aus der Informationstechnologie bekannte Methode zu verwenden und/oder dass die Mittel dazu ausgebildet sind, dass eine vektorielle Geschwindigkeitsmessung erfolgt.
Vorzugsweise ist vorgesehen, dass das System Bestandteil eines Sport-, Trainings- oder Fitness-Mess- oder Fitness-Informations-Systems ist oder, dass das System zu einem medizinischen, psychologischen, diagnostischen oder therapeutischen Zweck genutzt wird und/oder zur Erzeugung digitaler menschlicher Avatare genutzt wird.
Die Erfindung betrifft auch eine Verwendung eines erfindungsgemäßen Systems in oder mit einer Virtual Augmented Reality.
Die Erfindung betrifft auch ein Verfahren zur Ermittlung eines Merkmals einer Hand mit einem erfindungsgemäßen System mit den folgenden Schritten:

a) Erfassen des Merkmals durch die assistierende Modalität und Erzeugen von Messdaten mit Bezug auf das Merkmal;
b) Erfassen des Merkmals durch die primäre Modalität, wobei die primäre Modalität derart von der Steuerung angesteuert wird, dass die in Schritt a) erzeugten Messdaten berücksichtigt werden und Erzeugen von Messdaten mit Bezug auf das Merkmal;
c) Ermitteln des Merkmals aus den Messdaten.

Vorzugsweise ist vorgesehen, dass das Merkmal der Hand die Hülle der Hand betrifft und/oder dass das Merkmal der Hand eine Position, Geschwindigkeit Beschleunigung und/oder ein Bewegungsablauf mindestens eines Bereiches der Hand oder der Hülle der Hand ist.
Es ist denkbar, dass die erzeugten Messdaten gespeichert werden.
Es ist denkbar, dass das Verfahren nochmals durchgeführt wird, wobei das ermittelte Merkmal und/oder die erzeugten Messdaten aus der ersten Durchführung mit dem ermittelten Merkmal und/oder mit den erzeugten Messdaten aus der zweiten Durchführung verglichen wird und wobei dadurch ein Vergleichswert bestimmt wird, aus dem ein weiteres und/oder verbessertes Merkmal, insbesondere eine Position, eine Geschwindigkeit und/oder eine Beschleunigung abgeleitet wird.
Denkbar ist ferner, dass durch die primäre Modalität Wellen mit weniger als 10, vorzugsweise mit genau einer, zwei oder drei unterschiedlichen Frequenzstützstellen von einer Sendeantenne ausgesendet werden.
Vorzugsweise ist vorgesehen, dass das Verfahren einen weiteren Schritt, insbesondere eine Apertursynthese, umfasst, wobei ein lateral fokussiertes Bild des Objekts erzeugt wird.
Es kann vorgesehen sein, dass das Verfahren nochmals durchgeführt wird und ein Merkmal und/oder Messdaten aus einer vorhergehenden Durchführung zur Optimierung der Durchführung verwendet werden.
Es ist vorzugsweise vorgesehen, dass in dem Verfahren ein statistisches Filter, vorzugsweise ein Kalman-Filter, ein Bewegungsmodell und/oder eine aus der Informationstechnik bekannte Methode verwendet wird und/oder dass eine vektorielle Geschwindigkeitsmessung erfolgt.
Denkbar ist, dass das Verfahren ferner den Schritt umfasst:

d) Virtualisierung der Hand, wobei die Virtualisierung vorzugsweise durch ein Modell auf Grundlage der Gesamtheit oder auf einem Teil der Gesamtheit der erzeugten Messdaten erfolgt.

Vorzugsweise ist vorgesehen, dass das Verfahren ferner den Schritt oder die Schritte umfasst:

e) Erkennung von Gesten der Hand, insbesondere auf Grundlage eines synthetischen Modells, welches aus einer kinematischen Struktur besteht oder diese und/oder die Oberfläche der Hand aufweist und/oder
f) Modellierung von Hand-Objekt-Interaktionen.

Denkbar ist auch, dass das Verfahren ferner den Schritt umfasst:

g) Erfassung wiederholter standardisierter Bewegungsabläufe der Hand unter kontrollierten Messbedingungen zu unterschiedlichen Zeitpunkten, insbesondere zur Überprüfung von funktionellen Zustandsänderungen der Hand.

Vorzugsweise ist vorgesehen, dass das Verfahren in einem Sport-, Trainings-, oder Fitness-Mess- oder Fitness-Informations-System oder zu einem medizinischen, psychologischen, diagnostischen oder therapeutischen Zweck und/oder zur Erzeugung digitaler menschlicher Avatare genutzt wird.
Die Erfindung betrifft auch ein Computerprogramm, welches Befehle umfasst, die bewirken, dass das erfindungsgemäße System die Verfahrensschritte eines erfindungsgemäßen Verfahrens ausführt.
Die Erfindung betrifft auch ein computerlesbares Medium, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.
Vorzugsweise ist eine multimodale Anordnung und ein zugehöriges Verfahren zur Erfassung und Beurteilung von Handbewegungen und Handposen mit dem Ziel einer Virtualisierung der Hand vorgesehen. Vorzugsweise soll durch den Einsatz unterschiedlicher Modalitäten eine präzise Erfassung von Handbewegungen bei gleichzeitiger Interaktion mit Objekten erreicht werden.
Das System kann vorzugsweise aus mindestens einer Anordnung, aufweisend zwei Modalitäten und einer Hand welche vor, über und/oder unter den Modalitäten platziert wird. Die primäre Modalität ist dabei vorzugsweise ein schmalbandiges MIMO-Radar.
Es kann auch eine Anordnung zur Erfassung der Körperhülle eines Lebewesens vorgesehen sein, wobei die Anordnung eine primäre Sensormodalität umfasst, die ein Radarsystem mit zumindest einer Sendeantenne und zumindest einer Empfangsantenne beinhaltet, die Anordnung eine weitere assistierende dreidimensional bildgebende Sensormodalität umfasst und in einem ersten Schritt durch das assistierende Sensorsystem ein zumindest grober Orts- und Entfernungsbereich bestimmt wird, in dem sich zumindest ein Punkt der zu erfassenden Hülle befindet und in einem zweiten Schritt von der primären Sensormodalität unter Nutzung von zumindest einer Radar-Signalfrequenz ein Abbild dieses zumindest einen Punktes der Hülle rekonstruiert wird.
Es kann vorgesehen sein, dass in einem dritten Schritt das Abbild dieses zumindest einen rekonstruierten Punktes mit dessen Abbild aus einer vorhergehenden Messung bezüglich der Phase verglichen wird, und daraus zumindest ein Phasendifferenzwert bestimmt wird und aus dem Phasendifferenzwert ein Bewegungsmerkmal abgeleitet wird.
Auch kann vorgesehen sein, dass neben der ersten Radar-Signalfrequenz, zumindest eine weitere Radar-Signalfrequenz zur Abbildung dieses zumindest einen Punktes der Hülle verwendet wird und die Phasen der Abbilder, die mit der ersten und mit zumindest einer weiteren Radar-Signalfrequenz gewonnen wurden, bzgl. der Phasenwerte verglichen werden, und aus zumindest einem so gewonnenen Phasendifferenzwert ein Entfernungswert zumindest eines Punktes der Körperhülle abgeleitet wird.
Es kann ein iterativer Prozess vorgesehen sein, bei dem eine Nutzung der Orts- und Geschwindigkeitsinformationen zumindest einer vorhergehenden Messung zur Verbesserung der Repräsentation bzw. des Abbildes der Hülle und zur verbesserten Bestimmung der Bewegung derselben erfolgt.
Ebenso ist denkbar, dass eine vektorielle Geschwindigkeitsmessung erfolgt.
Es kann auch eine Sensorfusion aus Tiefenkamera und Radar erfolgen.
Eine vorteilhafte Ausführungsform ist die multimodale Anordnung aus einem schmalbandigen MIMO-Radar und einer optischen Tiefenkamera.
In anderen Worten ist die Kombination aus einer primären Modalität mit einer assistierenden Modalität zur Bestimmung der Hülle einer Hand sowie deren Bewegung vorgesehen, um ein virtuelles Abbild der Hand zu generieren, um somit eine Virtualisierung der Hand zu ermöglichen.
Dabei werden vorzugsweise die einzelnen Orientierungen der beiden Modalitäten zueinander in Beziehung gesetzt. Das kann beispielsweise durch einen Aufbau erzielt werden, in dem beide Modalitäten ineinander verbaut werden und somit a priori eine gemeinsame Orientierung besteht.
Vorzugsweise können beide Modalitäten auch versetzt platziert werden und die relative Orientierung zueinander daraufhin berechnet werden.
Eine vorteilhafte Ausführungsform ist dabei eine Kombination aus einem bildgebenden, schmalbandigen MIMO-Radar mit einer Tiefenkamera. Die beiden Modalitäten werden dabei vorzugsweise so platziert, dass deren generierte Daten sich zeitlich und räumlich möglichst weit überlappen, sodass diese möglichst präzise miteinander fusioniert und kombiniert werden können.
Zur räumlichen, insbesondere dreidimensionalen Erfassung der Geometrie und der Bewegung der Hand kann eine weitere, das obige multimodale Sensorsystem ergänzende, Sensormodalität eingesetzt werden. Diese weitere Sensormodalität kann ein wellenbasiertes Sensorsystem sein, beispielsweise basierend auf Licht, Radar oder Ultraschall. Die ergänzende Modalität ist vorzugsweise mit mindestens einem Sender und mindestens einem Empfänger ausgeführt und ermöglicht eine Erfassung der Hand im Sinne einer wellenbasierten Bildgebung und/oder von Geschwindigkeitsinformationen.
In einer denkbaren Konfiguration wird das multimodale Mess-System über der Hand und das ergänzende Sensorsystem wird unter der Hand platziert.
Die unter der Hand platzierte Sensormodalität kann unter einem Tisch platziert sein, auf dem die Hand abgelegt wird. Der Tisch weist vorzugsweise eine für die unten platzierte Sensormodalität transparente Stelle auf.
Unter transparent wird vorzugsweise verstanden, dass das betreffende Material in der betreffenden Sensormodalität keine Reflektion hervorruft. Optisch transparente Materialien sind bekanntermaßen beispielsweise Luft oder Glas. Für ein Radarsystem transparente Materialien sind solche, welche eine relative Permittivität vom Wert Eins besitzen oder im weiteren Sinn eine relative Permittivität von nahezu Eins. Ersteres ist im Vakuum der Fall. Vorzugsweise ist somit der zweitgenannte Fall einschlägig. Ein Material, welches einen Permittivitätswert von nahezu Eins besitzt, ist beispielsweise Styrodur.
Die Verwendung eines Tisches liefert in diesem Zusammenhang zwei Vorteile. Zum einen kann der Tisch als Ablagefläche für Objekte, mit denen während der Handbewegung interagiert werden soll, genutzt werden. Zum anderen dient der Tisch als geeignete Referenzstelle, um die gleiche Geste über mehrere Messzyklen vergleichbar zu machen.
Durch die Anordnung mindestens eines dritten Sensorsystems lassen sich der Ort und/oder die Geschwindigkeit einzelner Punkte, die ansonsten zeitweise verdeckt werden, auf der Oberfläche der Hand noch präziser dreidimensional bestimmen. Bezüglich der Geschwindigkeit entspricht dies einer Messung der vektoriellen Geschwindigkeit.
Die ergänzende Sensormodalität wird vorzugsweise als weiteres MIMO-Radarsystem ausgeführt, das heißt, als ein Radarsystem mit mindestens einem Sender und mindestens einem Empfänger. Vorzugsweise wird ein Millimeterwellen-Radar verwendet.
Während die weiteren verwendeten Sensoren im Allgemeinen verschiedene wellenbasierte Sensorsysteme sein können, beispielsweise also basierend auf Licht, Radar oder Ultraschall, ist die Anordnung vorzugsweise eine Anordnung mit zwei ergänzenden MIMO-Radarsystemen. Es können aber auch Kombinationen der zuvor genannten Sensormodalitäten eingesetzt werden.
Das System und Messmodalität können dahingehend erweitert werden, dass zusätzlich Objekte verwendet werden, mit denen ein Proband interagiert. Dies können beispielsweise Kugeln sein. Die Interaktion mit den Objekten dient der Feststellung normaler und beeinträchtigter Bewegungsabläufe. Insbesondere können die Objekte aus einem oder mehreren Materialien bestehen, die für eine oder mehrere Sensormodalitäten transparent sind. Unter transparent wird, wie oben, verstanden, dass das betreffende Material in der betreffenden Sensormodalität keine Reflektion hervorruft.
Vorzugsweise werden Objekte verwendet, die für ein Radarsystem transparent sind.
Vorzugsweise ist eine Anordnung vorgesehen, die eine primäre Sensormodalität umfasst, die ein Radarsystem mit zumindest einer Sendeantenne und zumindest einer Empfangsantenne beinhaltet, und eine weitere, assistierende dreidimensional bildgebende Sensormodalität umfasst.
Die Anordnung kann um eine oder mehrere weitere wellenbasierte Sensormodalitäten, zur Erfassung zusätzlicher Dimensionen erweitert sein.
Die: Anordnung kann zur Virtualisierung einer Hand vorgesehen sein und um eine oder mehrere weitere bildgebende MIMO-Radare, zur Erfassung zusätzliche Dimensionen erweitert sein.
Es kann eine Virtualisierung einer Hand, die durch ein Modell, basierend auf durch die Anordnung erfasster Daten, angenähert wird, vorgesehen sein.
Es kann die Erfassung von Bewegungsabläufen der Hand vorgesehen sein.
Es kann die Verwendung der Anordnung unter zusätzlicher Verwendung von Objekten durch einen Menschen vorgesehen sein, wobei die Objekte aus einem oder mehr Materialien bestehen, die für mindestens eine der genutzten Wellenformen transparent sind.
Es kann die Erfassung wiederholter standardisierter Bewegungsabläufe unter kontrollierten Messbedingungen zu unterschiedlichen Zeitpunkten, insbesondere zur Überprüfung von funktionellen Zustandsänderungen vorgesehen sein. Die Bewegungsabläufe können sich sowohl in qualitativer als auch quantitativer Form mit vorherigen Messungen vergleichen lassen und Rückschluss über eine schrittweise Verbesserung oder Verschlechterung der Handfunktion bieten, die sowohl zu einem medizinisch diagnostischen oder therapeutischen Zweck als auch im leistungsdiagnostischen Bereich in der Sport-, Musik- und Arbeitswelt mit Fokus auf der Handfunktion angewendet werden kann.
Die digitale Hand kann zur Gestenerkennung genutzt werden. Insbesondere kann hierfür ein sehr einfach gehaltenes synthetisches Modell herangezogen werden, welches nur aus einer kinematischen Struktur besteht.
Die digitale Hand kann auch in Virtual Augmented Reality eingesetzt werden. Insbesondere wird hierbei ein synthetisches Modell bevorzugt, welches neben der kinematischen Struktur auch die Oberfläche beinhaltet und beispielsweise Hand-Objekt-Interaktionen modellieren zu können. Insbesondere eignen sich die Objekte, die aus einem oder mehr Materialien bestehen, die für mindestens eine der genutzten Wellenformen transparent sind. Besonders gut eignet sich hier ein Objekt aus einem Material, welches für eine der verwendeten Modalitäten eine Reflexion hervorruft und für eine andere nicht.
Aus den Merkmale der Anordnung können entsprechende Verfahrensschritte abgeleitet werden.
Die vorliegende Erfindung löst viele der im Stand der Technik vorhandenen Limitierungen. Die Erfindung stellt eine Anordnung und vorteilhafte Verfahren zum Betrieb der Anordnung zur hochpräzisen, berührungslosen Erfassung der Hülle einer Hand sowie des Geschwindigkeitsvektors einer, mehrerer oder jedes Punkte auf dieser Hülle vor. Hierzu wird eine primäre radarbasierte Modalität mit einer assistierenden 3D bildgebenden Modalität kombiniert und die Stärken der Sensoren vereint. Die Hülle und ihre Bewegungen werden hierdurch mit vergleichsweise geringem Aufwand und mit hohem räumlichem Auflösungsvermögen und mit exzellenter Geschwindigkeitsgenauigkeit in jeweils allen drei Raumrichtungen und mit hoher Messrate erfasst.
Für die Erfindung ist es vorzugsweise unerheblich, welches radarbasierte Rekonstruktionsverfahren verwendet wird. Auch ist es für die Erfindung vorzugsweise unerheblich, welches optische Rekonstruktionsverfahren verwendet wird.
Unter dem Begriff Hülle oder Körperhülle sei vorzugsweise die Grenzfläche oder die Summe vieler gekoppelter Grenzflächen verstanden, die bei einem Körper eines Lebewesens oder einer Hand, die Grenze zwischen innen und außen schafft. Bei dem Außen handelt es sich in der Regel um Luft bzw. um die das Lebewesen umgebende Atmosphäre, und bei dem Innen vorzugsweise um den Körper bzw. um die materiellen Strukturen des Körpers.
Bei vielen Tieren und beim Menschen kann die Hülle bzw. die Körperhülle vorzugsweise durch die Hautoberfläche definiert werden, wobei dies jedoch nur eine mögliche Definition darstellt, da es je nach Anwendung sinnvoll sein kann, die Kleidung, Behaarung, Verschmutzungen oder sonstige Anhaftungen am Körper oder sonstige fest mit dem Körper verbundenen Objekte mit oder nicht mit zur Hülle zu zählen.
Unter Erfassung der Hülle sei vorzugsweise ein messtechnischer Vorgang verstanden, bei dem der geometrische Verlauf der Hülle bestimmt wird. Insbesondere sei der Erfassungsvorgang vorzugsweise ein Abbildungsvorgang, bei dem ein geometrisch möglichst korrektes Bild der Hülle erzeugt wird. Hierzu werden vorzugsweise die räumlichen Positionen von mehreren Punkten der Hülle bestimmt und zumindest einigen Punkten, vorzugsweise jedoch allen Punkten dieser Punkteschar auch noch weitere Merkmale, etwa bestimmte Reflektivitätseigenschaften, wie die Stärke der Reflexion, die Frequenzabhängigkeit der Reflexion, im optischen Bereich Farbe genannt, oder das polarimetrische Reflexionsverhalten, zugeordnet. Die Erfassung der Hülle umfasst vorzugsweise auch die Bestimmung der Positionen der Hüllenpunkte relativ zu einem Bezugskoordinatensystem.
Werden Bewegungen der Hülle eines Körpers oder Objektes bestimmt, so wird zumindest einigen Punkten der zuvor genannten Punkteschar auch noch zumindest ein Bewegungsmerkmal zugeordnet. Ein Bewegungsmerkmal kann eine skalare Geschwindigkeit, eine vektorielle Geschwindigkeit, eine eindimensionale oder mehrdimensionale Beschleunigungsgröße oder auch eine komplexe mehrdimensionale Bewegungsgleichung höherer Ordnung sein.
Ein Modell kann sowohl direkt aus den generierten Rohdaten erstellt werden, oder es wird vorzugsweise ein bereits synthetisch vorliegendes Modell, welches zunächst noch generisch definiert ist, im Nachhinein personalisiert.
Unter einem Modell wird vorzugsweise eine approximierte Abbildung der Hand und/oder ihrer Charakteristika verstanden. Mögliche Charakteristika sind beispielsweise anatomischer Aufbau, Bewegungseigenschaften, Materialeigenschaften der Hautoberfläche oder Farbeigenschaften. Ein Modell kann sowohl manuell durch die Fusion der Eingangsdaten der vorgegebenen Sensorik konstruiert werden, als auch bereits in digitaler Form vorliegen. Eine approximierte Abbildung des Modells kann beispielsweise durch die Schätzung der Grenzflächen der Hand erstellt werden. Es können aber beispielsweise auch Modelle ohne Abbildung herangezogen werden. Das können beispielsweise Modelle der Hand sein, die einem Skelett ähneln und nur eine knochenartige Struktur zum Erfassen der Handbewegungen enthalten.
Eine Geste beschreibt vorzugsweise eine zeitliche Aneinanderreihung von Handposen, die eine Bewegung der Hand ergeben.
Eingabedaten sind vorzugsweise Daten, welche als Eingabe für ein algorithmisches Verfahren verwendet werden. Häufig entsprechen die Eingabedaten den erzeugten Daten einer verwendeten Sensorik. Das können beispielsweise RGB-Bilder einer Kamera, RGB-D-Bilder einer Tiefenkamera und/oder Orts- und/oder Geschwindigkeitsinformationen eines Radars sein. Neben den direkt generierten Daten der Sensorik können auch vorab verarbeitete Daten als Eingabedaten dienen. Das können beispielsweise vorab bestimmte Bewegungsinformationen eines Marker-basierten Systems sein.
Die Erfassung der Hülle und/oder die Bestimmung der Bewegung dieser Hülle werden vorzugsweise in zwei Kategorien unterteilt: Preprocessing und Postprocessing. Diese unterscheiden sich in dem verwendeten Datenbestand.
Das Preprocessing arbeitet auf den Daten, welche direkt von einem oder mehreren Sensoren bzw. Modalitäten erzeugt werden. Das Preprocessing erzeugt einen vorläufigen, anwendungsbezogenen Datenbestand. Bei der Erfassung der Hülle erzeugt das Preprocessing einen vorläufigen geometrischen Verlauf der Hülle. Bei der Bestimmung der Bewegung der Hülle erzeugt das Preprocessing vorläufige Bewegungsmerkmale.
Das Postprocessing ist zeitlich, wie der Name bereits kenntlich macht, nach dem Preprocessing einzuordnen und erweitert den vorläufigen Datenbestand um weitere Informationen. Das kann zum Beispiel eine Korrektur oder eine Vervollständigung der bisherigen Daten sein. Ein Postprocessing in Bezug auf die Erfassung der Hülle kann z.B. den zuvor bestimmten geometrischen Verlauf nachberechnen bzw. angleichen, sodass dieser die reale Hülle noch besser approximiert. Insbesondere kann ein Postprocessing derart auch zur Vervollständigung der Hülle dienen, welche in einem Preprocessing nur partiell bestimmt werden konnte, da z.B. die Rückseite eines Objektes aufgrund von Abschattungen der verwendeten Sensorik nicht bestimmt werden konnte. Das Postprocessing zur Bestimmung der Bewegung der Hülle kann ebenfalls dazu dienen, um die vorläufigen Bewegungsmerkmale zu korrigieren oder zu verfeinern. Insbesondere können sie die vorläufigen, einer Punkteschar zugeordneten, Bewegungsmerkmale um eine weitere Punkteschar mit Bewegungsmerkmalen erweitern, wenn das Postprocessing zur Bestimmung der Bewegung der Hülle z.B. mit einem Postprocessing zur Erfassung der Hülle kombiniert werden.
Vorzugsweise soll die Erfassung der Hülle und ihrer Bewegung durch zumindest zwei unterschiedliche wellenbasierte Sensormodalitäten und deren Sensordatenfusion erfolgen. Unter einer wellenbasierten Sensormodalität ist vorzugsweise eine Messanordnung zu verstehen, welche eine Wellenform zur Erfassung von Messinformationen, z.B. der Erfassung eines Abbildes eines Körpers, nutzt.
Als Wellenform kommen elektromagnetische Wellen etwa im Mikrowellen- oder im optischen Bereich oder Schall- / Ultraschallwellen in Frage. Die Modalität sei hier vorzugsweise so definiert, dass sich eine Modalität sowohl durch die Wellenform, z.B. Radar oder Optisch oder Ultraschall als auch durch das Messprinzip unterscheiden kann.
Abhängig von der verwendeten Sensorik bzw. Modalität unterscheidet sich auch die allgemeine Herangehensweise an das Rekonstruieren der Abbildung von Objekten. Daher wird vorzugsweise explizit die Gesamtheit an Rekonstruktionsverfahren für ein optisches Messsystem, welche vorzugsweise als optisches Rekonstruktionsverfahren oder optische Rekonstruktion bezeichnet werden, von der Gesamtheit an Rekonstruktionsverfahren für ein radarbasiertes Messystem, vorzugsweise als radarbasiertes Rekonstruktionsverfahren oder radarbasierte Rekonstruktion genannt, begrifflich voneinander abgegrenzt.
An dieser Stelle wird darauf hingewiesen, dass die Begriffe „ein“ und „eine“ nicht zwingend auf genau eines der Elemente verweisen, wenngleich dies eine mögliche Ausführung darstellt, sondern auch eine Mehrzahl der Elemente bezeichnen können. Ebenso schließt die Verwendung des Plurals auch das Vorhandensein des fraglichen Elementes in der Einzahl ein und umgekehrt umfasst der Singular auch mehrere der fraglichen Elemente. Weiterhin können alle hierin beschriebenen Merkmale der Erfindung beliebig miteinander kombiniert oder voneinander isoliert beansprucht werden.
Weitere Vorteile, Merkmale und Effekte der vorliegenden Erfindung ergeben sich aus der nachstehenden Beschreibung bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren, in welchen gleiche oder ähnliche Bauteile durch dieselben Bezugszeichen bezeichnet sind. Hierbei zeigen:

1: eine Ausführungsform eines erfindungsgemäßen Systems.
2: eine weitere Ausführungsform eines erfindungsgemäßen Systems.
3: zwei Matrizen mit Phaseninformationen bzw. Bildphasen je Pixel.
4: ein Ablaufdiagramm eines bevorzugten Verfahrens.

In 1 ist die Kombination aus einer primären Modalität 20 mit einer assistierenden Modalität 30 zur Bestimmung der Hülle einer Hand 10 sowie deren Bewegung gezeigt.
Es ist ein allgemeiner Aufbau des Messsystems mit primärer und assistierender Modalität zur Erfassung der Handbewegung und ggf. Objektinteraktion zu sehen.
Der Daumen und der kleine Finger der Hand bewegen sich in 1 jeweils mit einem Geschwindigkeitsvektor V mit dem Bezugszeichen 11, der sich beispielsweise in die kartesischen Bestandteile V₁ und V₂ zerlegen lässt.
Der Geschwindigkeitsvektor V kann dabei auch ein dreidimensionaler Vektor sein, der sich in drei kartesischen Bestandteile zerlegen lässt.
Die primäre Modalität 20 und die assistierende Modalität 30 sind mit einem Computer 40, der mit einem Monitor 41 verbunden sein kann, verbunden, auf dem Algorithmen zur Abbildungs- und Bewegungsbestimmung der Hand 10 ausgeführt werden.
Dabei werden insbesondere die einzelnen Orientierungen der beiden Modalitäten 20 und 30 zueinander in Beziehung gesetzt.
In 2 sind nun zwei schmalbandige MIMO-Radar als primäre Modalität 20 mit einer Tiefenkamera als assistierende Modalität 30, die übereinander versetzt orientiert sind, dargestellt. Die MIMO-Radare weisen dabei vorzugsweise Empfangsantennen 21 und Sendeantennen 22 auf.
Ein schmalbandiges MIMO-Radar 20 und die Tiefenkamera 30 sind über der zu trackenden Hand 10 und ein weiteres MIMO-Radar 20 ist unter einer für das MIMO-Radar 20 transparenten Tischplatte eines Tisches 50 angeordnet.
Einzelne Punkte der Hand bewegen sich in 2 mit jeweils einem Geschwindigkeitsvektor V mit dem Bezugszeichen 11, der sich in die kartesischen Bestandteile V₁ und V₂ zerlegen lässt.
Die Tiefenkamera bzw. die assistierende Modalität 30 ist durch eine Verbindung 35, über die von der Tiefenkamera bzw. der assistierenden Modalität 30 erfassten Entfernungsmerkmale der Hand 10 übermittelt werden, mit einem Computer 40 verbunden.
Die MIMO-Radare sind durch Verbindungen 25, über die von den MIMO-Radaren erfassten Geschwindigkeits- und Entfernungsmerkmale der Hand 10 übermittelt werden, mit dem Computer 40 verbunden.
Der Computer 40 kann mit einem Monitor 41 verbunden sein, auf dem die Ergebnisse der auf dem Computer 40 ausgeführten Algorithmen zur Abbildungs- und Bewegungsbestimmung der Hand 10 angezeigt werden können.
Ohne weitere Zusammenführung der einzelnen Modalitäten liefern diese zunächst folgende Daten.
Die primäre Modalität liefert zunächst durch die Auswertung zeitlich variierender Phaseninformationen, die radiale Geschwindigkeit. Als geeignete Signalformen kommen hier vor allem Continuous Wave (CW)-Signale in Frage. Diese können entweder nur aus einer oder auch mehreren Frequenzstützstellen bestehen. Bei Verwendung von nur einer CW-Frequenz können Geschwindigkeiten sowie relative Distanzänderungen gemessen werden. Absolute Entfernungen können aufgrund der Periodizität der Phase, wobei jede Periode jeweils von 0 bis 360° läuft, nur bei Kenntnis der relevanten Periode bzw. des relevanten Entfernungsbereichs, den diese Periode repräsentiert, in einem vergleichsweise kleinen Eindeutigkeitsbereich bestimmt werden.
Bei Signalen mit mehreren Frequenzstützstellen ist zusätzlich eine absolute Entfernungsmessung mit einem größeren Eindeutigkeitsbereich möglich. Insbesondere bei der bevorzugten Konfiguration der primären Modalität in Form eines FSK-MIMO-Radars oder Radars, welches mindestens zwei Frequenzstützstellen verwendet, wird ein Abbild der aufgenommenen Hülle der Hand gemessen. Zusätzlich kann durch ein geeignetes Preprocessing-Verfahren die örtlich verteilte Geschwindigkeit dieser Hülle ermittelt werden. Das kann im einfachsten Fall ein Vergleich der konsekutiven Radar-Abbilder sein. Bevorzugt wird entweder die Auswertung der komplexen Phase konsekutiver Abbilder oder die Auswertung der kontinuierlichen Änderung der Empfangsphasen.
Auf der anderen Seite liefert die assistierende Modalität zunächst ortsaufgelöste Entfernungsdaten der aufgenommenen Hülle der Hand. Das Rekonstruktionsverfahren, mit dem diese Entfernungsdaten generiert werden, ist dabei vorzugsweise unerheblich.
Durch die Kombination der zunächst alleinstehenden Modalitäten, beispielsweise Sensordatenfusion genannt, können neue, umfangreichere Daten mit höherer Genauigkeit erzielt werden. Aber auch Postprocessing-Verfahren, die zur vollständigen Erfassung der Hülle der Hand eingesetzt werden, können dadurch schneller und effizienter angewendet werden.
Als erster Schritt der Sensordatenfusion wird durch die assistierende Modalität die erfasste Hand grob im Raum lokalisiert und hierdurch der Bereich definiert, in dem sich die interessierende Hülle befindet. Darauf aufbauend wird in diesem Bereich eine radarbasierte Rekonstruktion nach einem bekannten Verfahren durchgeführt. Durch die Beschränkung der radarbasierten Rekonstruktion auf ausgewählte Punkte in dem relevanten Bereich, wird die radarbasierte Rekonstruktion dabei erheblich in ihrer Verarbeitungsgeschwindigkeit beschleunigt. Zusätzlich erlaubt die bereits erfolgte Lokalisation der Hand den Einsatz von schmalbandigen Radarsignalformen, die keine oder nur eine sehr geringe Entfernungsauflösung besitzen. Deren Generierung kann im Vergleich zu den bisher in der Radarbildgebung eingesetzten breitbandigen Signalformen viel schneller erfolgen und ist deswegen bei zeitkritischen Anwendungen vorteilhaft.
Verwendet die primäre Modalität mindestens zwei Frequenzstützstellen, so können zusätzlich zu den vorhandenen Daten der assistierenden Modalität ebenfalls ortsaufgelöste Abbildungen der Hülle generiert werden.
Neben bekannten Verfahren wird ein neuer Ansatz basierend auf zwei Frequenzstützstellen bevorzugt eingesetzt.
Bei diesem neuartigen Ansatz wird der Ansatz des Frequency-Shift-Keyings, wie er aus J. Wang, T. Karp, J. Muñoz-Ferreras, R. Gömez-Garcia and C. Li, „A Spectrum-Efficient FSK Radar Technology for Range Tracking of Both Moving and Stationary Human Subjects," IEEE Transactions on Microwave Theory and Techniques, Bd. 67, Nr. 12, pp. 5406-5416, 2019 bekannt ist, mit den bisher gängigen Radar-Bildgebungsverfahren kombiniert. Der Offenbarungsgehalt von J. Wang, T. Karp, J. Muñoz-Ferreras, R. Gómez-García and C. Li, „A Spectrum-Efficient FSK Radar Technology for Range Tracking of Both Moving and Stationary Human Subjects," IEEE Transactions on Microwave Theory and Techniques, Bd. 67, Nr. 12, pp. 5406-5416, 2019 wird hiermit vollständig in die vorliegende Beschreibung aufgenommen.
Basierend auf der ersten groben Lokalisierung durch die assistierende Modalität werden zwei zweidimensionale Bilder der Hülle an den durch die assistierende Sensorik bzw. Modalität geschätzten Entfernung bzw. z-Koordinate d_S unter Verwendung zweier eng benachbarter Frequenzen f₁, f₂ nach bekannten Verfahren rekonstruiert. Ausgangspunkt für die Rekonstruktion liefern die beiden CW Basisbandsignale s_b,f1 und s_b,f2, die an den beiden Frequenzstützstellen f₁ und f₂ mit einer Sendeantenne am Ort ${\vec{x}}_{t x}$
sowie einer Empfangsantenne am Ort ${\vec{x}}_{r x}$
erfasst und durch einen Punktstreuer am Ort ${\vec{x}}_{s}$
verursacht wurden. Folgende Formeln zeigen eine Möglichkeit, wie die CW Basisbandsignale ermittelt werden können. $s_{b 1} = e x p (j 2 π f_{1} \frac{2 d}{c} + ϕ_{r x})$
$s_{b 2} = e x p (j 2 π f_{2} \frac{2 d}{c} + ϕ_{r x})$
$mit d = ‖ {\overset{\leftarrow}{x}}_{t x} - {\vec{x}}_{s} ‖ + ‖ {\overset{\leftarrow}{x}}_{r x} - {\vec{x}}_{s} ‖$
Dabei ist c die Lichtgeschwindigkeit. Die beiden Hypothesen, die sich für die beiden Frequenzstützstellen und über die geschätzte Entfernung d_S ergeben, sind durch die beiden folgenden Formeln wiedergegeben. $s_{H, f 1} = e x p (j 2 π f_{1} \frac{2 d_{s}}{c})$
$s_{H, f 2} = e x p (j 2 π f_{2} \frac{2 d_{s}}{c})$
Die geschätzte Entfernung d_S ist die Summe der realen Entfernung d und einer entweder positiven oder negativen Differenzentfernung Δd. Damit ergeben sich die Hypothesen, wie in den beiden folgenden Formeln gezeigt. $s_{H, f 1} = e x p (j 2 π f_{1} \frac{2 d \pm Δ d}{c})$
$s_{H, f 2} = e x p (j 2 π f_{2} \frac{2 d \pm Δ d}{c})$
Bei einer Korrelation der Basisbandsignale mit der komplex konjugierten Hypothese nach den bekannten Verfahren zur Überprüfung der Signalhypothese ergeben sich die beiden Korrelationssignale, wie in den beiden folgenden Formeln gezeigt. $s_{k o r r, f 1} = e x p (j 2 π f_{1} \frac{\pm Δ d}{c} + ϕ_{r x})$
$s_{k o r r, f 2} = e x p (j 2 π f_{2} \frac{\pm Δ d}{c} + ϕ_{r x})$
In 3 sind zwei Matrizen mit Phaseninformationen bzw. Bildphasen je Pixel für eine 2D Rekonstruktion an der geschätzten Entfernung d_S für zwei Frequenzstützstellen, wobei die linke Matrix die Bildphasen für die Frequenzstützstelle mit der Frequenz f₁ und die rechte Matrix die Bildphasen für die Frequenzstützstelle mit der Frequenz f₂ aufweist, dargestellt.
Für jeden Bildpunkt der geschätzten Lokalisierung bzw. der geschätzten Hülle wird die Korrelation über sämtliche Sende-Empfangskombinationen durchgeführt und aufsummiert. Es ergeben sich somit zwei komplexe Radarbilder bei zwei unterschiedlichen Frequenzen f₁ und f₂. Durch das Bilden der Differenzphase Δϕ der beiden Bilder und mithilfe des bekannten Frequenzunterschieds Δf = f₂- f₁ kann, vorausgesetzt es befindet sich ein Ziel am entsprechenden Bildpunkt, Δd berechnet werden und damit die genaue Entfernung der Hülle zum Radar für jeden Bildpunkt berechnet werden, wie diese in der folgenden Formel gezeigt ist. $Δ d = \frac{c \cdot Δ ϕ}{4 \cdot π \cdot Δ f}$
Bei Einsatz von mindestens zwei Frequenzstützstellen, beispielsweise nach dem FSK-MIMO-Prinzip, seitens der primären Modalität, mit der ein ortsaufgelöstes Abbild der Hülle generiert wird, wird dieses Abbild im Nachhinein mit den Daten der assistierenden Modalität verglichen und gegebenenfalls komplementiert und feinjustiert. Dieser Schritt entfällt bei dem Einsatz von nur einer Frequenz. An dieser Stelle kann insbesondere durch den Einsatz unterschiedlicher Wellenlängen, zum Beispiel durch die Kombination einer radarbasierten primären Modalität und einer optischen assistierenden Modalität, eine Abbildung verschiedener Grenzflächen der Hülle erzeugt werden, da beispielsweise das Radar Material wie Kleidung oder Pappe durchdringen kann und ein optisches Messsystem hingegen nicht.
Abschließend wird durch einen beschriebenen Messaufbau beider Modalitäten und den zuvor erklärten Verfahren zur Sensordatenfusion ein neuer Datenbestand erzielt, der als Informationen pro Messzyklus eine möglichst präzise, ortsaufgelöste Abbildung der Hülle inklusive örtlich verteilter Geschwindigkeitsinformationen aufweist.
Die zuvor erläuterten Preprocessing-Verfahren liefern zunächst nur Daten für einzelne Messzyklen. Darauf aufbauende Postprocessing-Verfahren schätzen die kontinuierliche Bewegung der aufgenommenen Hülle über einen längeren Zeitraum hinweg. Wie oben ausgeführt wurde, können bei den bisherigen Verfahren in der optischen Bildgebungstechnik keinerlei, vorzugsweise ortsaufgelöste, direkte Geschwindigkeitsinformationen gewonnen werden. Daher wird bei Postprocessing-Verfahren zur Schätzung der Geschwindigkeit die Qualität maßgeblich durch die Messrate des optischen Messsystems bzw. der assistierenden Modalität beeinflusst. Um die Bewegung zeitlich verfolgen zu können, werden vorzugsweise zunächst Korrespondenzen zwischen zwei konsekutiven Aufnahmen gefunden, um daraufhin das Bewegungsmuster dieser einzelnen Korrespondenzen schätzen zu können. Je größer der Abstand zwischen den einzelnen Messzyklen der verwendeten Modalität, desto größer ist der Suchraum, um die Korrespondenzen zu finden und somit die dazwischen erfolgte Bewegung zu ermitteln.
Durch die Verfügbarkeit zusätzlicher Geschwindigkeitsinformationen kann dieser Suchraum nun drastisch reduziert werden und die Korrespondenzen somit schneller und genauer ermittelt werden.
Weitere Ansätze zur Reduktion des Suchraumes enthalten beispielsweise den Einsatz von anwendungsbezogenen Modellen, welche sowohl die Hülle als auch die Bewegung der aufgenommenen Hand vorab abschätzen.
Zusätzlich kann durch den Einsatz geeigneter statistischer Methoden, zum Beispiel eines Kalman Filters, die zunächst geschätzten Geschwindigkeitsinformationen im Nachhinein korrigiert werden.
Neben zusätzlicher Geschwindigkeitsinformation kann insbesondere die Abbildung mehrerer Grenzflächen durch die Kombination aus radarbasiertem und optischen Messystem vorteilhaft sein, wenn die aufgenommene Hand mehrere, sich unterschiedlich bewegende Hüllen aufweist.
Vorzugsweise ermöglichen die beschriebenen Verfahren ein präzises, performantes Bestimmen der Bewegung der Hülle eines beliebigen Objektes, welches Potential zur Echtzeitfähigkeit aufweist.
Eine Übersicht in Form eines Ablaufdiagramms eines bevorzugten Verfahrens zum Betrieb einer bevorzugten Konfiguration zeigt 4.
Zunächst wird mit Schritt S1 die Aufnahme begonnen. Sodann wird in Schritt S2 abgefragt, ob die Modalitäten die gleiche Orientierung aufweisen. Wenn nicht, wird mit Schritt S3 eine Kalibrierung durchgeführt. Nach der Kalibrierung oder wenn die Modalitäten die gleiche Orientierung aufweisen, wird in Schritt S4 durch die assistierende Modalität eine optische Rekonstruktion des Objekts bzw. der Hand bzw. der Hülle durchgeführt. Dabei werden Tiefendaten D1 generiert. Diese Tiefendaten werden in Schritt S5 zur Lokalisation des Objekts bzw. der Hand bzw. der Hülle genutzt. In Schritt S6 wird durch die primäre Modalität eine radarbasierte Rekonstruktion des Objekts bzw. der Hand bzw. der Hülle durchgeführt. Dies ergibt Daten D2 mit der Geschwindigkeit und/oder der Entfernung des Objekts bzw. der Hand bzw. der Hülle. In Schritt S7 werden die Daten D1 und D2 im Zuge einer Sensordatenfusion fusioniert. Dies führt zu kombinierten Daten D3 aus der aktuellen Aufnahme. In Schritt S8 wird die Bewegung des Objekts bzw. der Hand bzw. der Hülle bestimmt. Dabei dienen die Daten D3 und die Daten D4 aus einer vorherigen Aufnahme als Eingangsdaten, auf deren Basis die Daten D5 der Bewegung des Objekts bzw. der Hand bzw. der Hülle aus der aktuellen Aufnahme generiert werden. Mit Schritt S9 wird abgefragt, ob weitere Aufnahmen vorliegen. Wenn weitere Aufnahmen vorliegen, wird Schritt S8 wiederholt. Wenn keine weiteren Aufnahmen vorliegen, wird mit Schritt S10 die Aufnahme beendet.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 1178330 A1 [0029]
US 10928921 B2 [0030]
US 2015/0277569 A1 [0031]
WO 2017/131545 A1 [0032]

Zitierte Nicht-Patentliteratur

M. Menolotto, D.-S. Komaris, S. Tedesco, B. O'Flynn und M. Walsh, „Motion Capture Technology in Industrial Applications: A Systematic Review,“ Sensors, Bd. 20, p. 5687 [0002]
E. van der Kruk und M. M. Reijne, „Accuracy of human motion capture systems for sport applications; state-of-the-art review,“ European Journal of Sport Science, Bd. 18, pp. 1-14 [0002]
K.-S. Lee und M.-C. Jung, „Ergonomie evaluation of biomechanical hand function,“ Safety and Health Work, Bd. 6, Nr. 1, pp. 9-17 [0002]
C. D. Metcalf, C. Phillips, A. Forrester, J. Glodowski, K. Simpson, C. Everitt, A. Darekar, L. King, D. Warwick und A. Dickinson, „Quantifying Soft Tissue Artefacts and Imaging Variability in Motion Capture of the Fingers,“ Ann Biomed Eng, Bd. 48, Nr. 5, pp. 1551-1561 [0002]
S. L. Colyer, M. Evans, D. P. Cosker und A. I. T. Salo, „A Review of the Evolution of Vision-Based Motion Analysis and the Integration of Advanced Computer Vision Methods Towards Developing a Markerless System,“ Sports Medicine - Open, Bd. 4, Nr. 24 [0002]
E. Ceseracciu, Z. Sawacha und C. Cobelli, „Comparison of Markerless and Marker-Based Motion Capture Technologies through Simultaneous Data Collection during Gait: Proof of Concept,“ PLOS One, Bd. 9, Nr. 3 [0002]
S. S. Ahmed, A. Schiessl, F. Gumbmann, M. Tiebout, S. Methfessel und L.-P. Schmidt, „Advanced Microwave Imging,“ IEEE Microwave Magazine, Bd. 13, Nr. 6, pp. 26-43 [0002]
S. S. Ahmed, „Microwave Imaging in Security - Two Decades of Innovation,“ IEEE Journal of Microwaves, Bd. 1, Nr. 1, pp. 191-201 [0002]
Y. Kim und B. Toomajian, „Application of Doppler radar for the recognition of hand gestures using optimized deep convolutional neural networks,“ Proc. 11th European Conference on Antennas and Propagation (EUCAP),, pp. 1258-1260 [0002]
S. Zhang, G. Li, M. Ritchie, F. Fioranelli und H. Griffiths, „Dynamic hand gesture classification based on radar micro-Doppler signatures,“ Proc. 2016 CIE International Conference on Radar (RADAR), pp. 1-4 [0002]
Z. Peng, C. Li, J. Muñoz-Ferreras und R. Gomez-Garcia, „An FMCW radar sensor for human gesture recognition in the presence of multiple targets,“ Proc. 2017 First IEEE MTT-S International Microwave Bio Conference (IMBIOC), pp. 1-3 [0002]
J.-T. Yu, L. Yen und P.-H. Tseng, „mmWave Radar-based Hand Gesture Recognition using Range-Angle Image,“ Proc. IEEE 91st Vehicular Technology Conference (VTC2020-Spring), pp. 1-5 [0002]
L. Zheng, J. Bai, X. Zhu, L. Huang, C. Shan, Q. Wu und L. Zhang, „Dynamic Hand Gesture Recognition in In-Vehicle Environment Based on FMCW Radar and Transformer,“ Sensors, Bd. 21, Nr. 19, pp. 63-68 [0002]
R. T. Anjasmara, A. Pramudita und Y. Wahyu, „Configuration of Multisensor CW Radar for Hand Gesture Detection,“ Proc. 2021 International Conference on Radar, Antenna, Microwave, Electronics, and Telecommunications (ICRAMET) , pp. 27-31 [0002]
C. Liu, Y. Li, D. Ao und H. Tian, „Spectrum-Based Hand Gesture Recognition Using Millimeter-Wave Radar Parameter Measurements,“ IEEE Access, Bd. 7, pp. 79147-79158 [0002]
T. Fan, „Wireless Hand Gesture Recognition Based on Continuous-Wave Doppler Radar Sensors,“ IEEE Transactions on Microwave Theory and Techniques, Bd. 64, Nr. 11, pp. 4012-4020 [0002]
S. Ahmed, K. Kallu, S. Ahmed und S. H. Cho, „Hand Gestures Recognition Using Radar Sensors for Human-Computer-Interaction: A Review.,“ Remote Sensing, Bd. 13, Nr. 3 [0002]
J. W. Smith, S. Thiagarajan, R. Willis, Y. Makris und M. Torlak, „Improved Static Hand Gesture Classification on Deep Convolutional Neural Networks Using Novel Sterile Training Technique,“ IEEE Access, Bd. 9, pp. 10893-10902 [0002]
M. Q. Nguyen und C. Li, „Radar and ultrasound hybrid system for human computer interaction,“ Proc. 2018 IEEE Radar Conference (RadarConf18), pp. 1476-1480 [0002]
J. Wang, T. Karp, J. Muñoz-Ferreras, R. Gömez-Garcia and C. Li, „A Spectrum-Efficient FSK Radar Technology for Range Tracking of Both Moving and Stationary Human Subjects,“ IEEE Transactions on Microwave Theory and Techniques, Bd. 67, Nr. 12, pp. 5406-5416 [0137]
J. Wang, T. Karp, J. Muñoz-Ferreras, R. Gómez-García and C. Li, „A Spectrum-Efficient FSK Radar Technology for Range Tracking of Both Moving and Stationary Human Subjects,“ IEEE Transactions on Microwave Theory and Techniques, Bd. 67, Nr. 12, pp. 5406-5416 [0137]

Claims

System zur Ermittlung eines Merkmals einer Hand, dadurch gekennzeichnet, dass das System eine primäre Modalität, eine assistierende Modalität und eine Steuerung umfasst, wobei die primäre Modalität ein Radarsystem mit mindestens einer Sendeantenne und mindestens einer Empfangsantenne umfasst und wobei die assistierende Modalität einen dreidimensional bildgebenden Sensor umfasst, wobei die primäre und die assistierende Modalität dazu ausgebildet sind, jeweils das Merkmal zu erfassen, Messdaten mit Bezug auf das Merkmal zu erzeugen, mit der dazu ausgebildeten Steuerung zu kommunizieren, von der dazu ausgebildeten Steuerung angesteuert zu werden und die Messdaten an die dazu ausgebildete Steuerung zu senden, wobei die Steuerung Mittel aufweist, die dazu ausgebildet sind, die primäre Modalität derart anzusteuern, dass die durch die assistierende Modalität erzeugten Messdaten berücksichtigt werden und dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, aus der Gesamtheit oder aus einem Teil der Gesamtheit der erzeugten Messdaten das Merkmal der Hand zu ermitteln.
System nach Anspruch 1, dadurch gekennzeichnet, dass das Merkmal der Hand die Hülle der Hand betrifft und/oder dass das Merkmal der Hand eine Position, Geschwindigkeit Beschleunigung und/oder ein Bewegungsablauf mindestens eines Bereiches der Hand oder der Hülle der Hand ist.
System nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die primäre Modalität ferner eine wellenbasierte Sensormodalität, insbesondere ein bild-gebendes MIMO-Radar, die vorzugsweise zur Erfassung zusätzlicher Dimensionen ausgebildet ist, umfasst.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, eine Virtualisierung der Hand vorzunehmen, wobei die Virtualisierung vorzugsweise durch ein Model auf Grundlage der Gesamtheit oder auf einem Teil der Gesamtheit der erzeugten Messdaten erfolgt.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System ferner ein Objekt umfasst, welches mindestens teilweise für mindestens einen Teil einer Modalität transparent oder annähernd transparent ist und/oder für mindestens einen anderen Teil der Modalität oder einen Teil einer anderen Modalität nicht-transparent ist.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuerung Mittel aufweist, die dazu ausgebildet sind, Gesten der Hand, insbesondere auf Grundlage eines synthetischen Modells, welches aus einer kinematischen Struktur besteht oder diese und/oder die Oberfläche der Hand aufweist, zu erkennen und/oder Hand-Objekt-Interaktionen zu modellieren.
System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das System Bestandteil eines Sport-, Trainings- oder Fitness-Mess- oder Fitness-Informations-Systems ist oder, dass das System zu einem medizinischen, psychologischen, diagnostischen oder therapeutischen Zweck und/oder zur Erzeugung digitaler menschlicher Avatare genutzt wird.
Verwendung eines Systems nach einem der vorhergehenden Ansprüche in oder mit einer Virtual Augmented Reality.
Verfahren zur Ermittlung eines Merkmals einer Hand mit einem System nach einem der Ansprüche1 bis 7 mit den folgenden Schritten: a) Erfassen des Merkmals durch die assistierende Modalität und Erzeugen von Messdaten mit Bezug auf das Merkmal; b) Erfassen des Merkmals durch die primäre Modalität, wobei die primäre Modalität derart von der Steuerung angesteuert wird, dass die in Schritt a) erzeugten Messdaten berücksichtigt werden und Erzeugen von Messdaten mit Bezug auf das Merkmal; c) Ermitteln des Merkmals aus den Messdaten.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Merkmal der Hand die Hülle der Hand betrifft und/oder dass das Merkmal der Hand eine Position, Geschwindigkeit Beschleunigung und/oder ein Bewegungsablauf mindestens eines Bereiches der Hand oder der Hülle der Hand ist.
Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass das Verfahren ferner den Schritt umfasst: d) Virtualisierung der Hand, wobei die Virtualisierung vorzugsweise durch ein Model auf Grundlage der Gesamtheit oder auf einem Teil der Gesamtheit der erzeugten Messdaten erfolgt.
Verfahren nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass das Verfahren ferner den Schritt oder die Schritte umfasst: e) Erkennung von Gesten der Hand, insbesondere auf Grundlage eines synthetischen Modells, welches aus einer kinematischen Struktur besteht oder diese und/oder die Oberfläche der Hand aufweist und/oder f) Modellierung von Hand-Objekt-Interaktionen.
Verfahren nach einem der Ansprüche 9 bis 12 dadurch gekennzeichnet, dass das Verfahren ferner den Schritt umfasst: g) Erfassung wiederholter standardisierter Bewegungsabläufe der Hand unter kontrollierten Messbedingungen zu unterschiedlichen Zeitpunkten, insbesondere zur Überprüfung von funktionellen Zustandsänderungen der Hand.
Verfahren nach einem der Ansprüche 9 bis 13, dadurch gekennzeichnet, dass das Verfahren in einem Sport-, Trainings-, oder Fitness-Mess- oder Fitness-Informations-System oder zu einem medizinischen, psychologischen, diagnostischen oder therapeutischen Zweck und/oder zur Erzeugung digitaler menschlicher Avatare genutzt wird.
Computerprogramm, welches Befehle umfasst, die bewirken, dass das System eines der Ansprüche 1 bis 7 die Verfahrensschritte eines der Ansprüche 9 bis 14 ausführt.
Computerlesbares Medium, auf dem das Computerprogramm nach Anspruch 15 gespeichert ist.