-
Technisches Gebiet:
-
Die vorliegende Erfindung betrifft eine Steuerung zur Gestenerkennung und ein Verfahren dafür.
-
Stand der Technik:
-
Gemäß der vorbekannten
US2017344859 werden ein Verfahren und ein System zur Bereitstellung von Gestenerkennungsdiensten für Benutzeranwendungen offenbart. Ein Verfahren zur Bereitstellung von Gestenerkennungsdiensten für eine Benutzeranwendung umfasst Speichern von Mengen von Trainingsdaten in einer Datenbank in einem Server, wobei die Trainingsdaten von einem der Benutzeranwendung zugeordneten Sensor empfangen werden und die Trainingsdaten Eigenschaften einer Geste angeben, wobei die Benutzeranwendung auf einer Client-Vorrichtung läuft; Trainieren eines Gestenerkennungsalgorithmus mit den Mengen von Trainingsdaten zur Erzeugung eines trainierten Gestenerkennungsalgorithmus, wobei die Ausgabe des trainierten Gestenerkennungsalgorithmus eine Angabe der Geste ist; Speichern des trainierten Gestenerkennungsalgorithmus in einer Client-Bibliothek im Server; Empfangen von unverarbeiteten Daten von dem Sensor über die Benutzeranwendung und Speichern der unverarbeiteten Daten in der Client-Bibliothek; Anwenden des trainierten Gestenerkennungsalgorithmus auf die unverarbeiteten Daten; und wenn der trainierte Gestenerkennungsalgorithmus die Geste erkennt, Senden der Angabe der Geste von der Client-Bibliothek zu der Benutzeranwendung.
-
Figurenliste
-
eine Ausführungsform der Offenbarung wird unter Bezugnahme auf die folgenden beigefügten Zeichnungen beschrieben. Es zeigen:
- 1 eine Blockdarstellung einer Gestenerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung;
- 2 eine Blockdarstellung der Gestenerkennungsvorrichtung mit einer externen Sensoreinheit gemäß einer Ausführungsform der vorliegenden Erfindung und
- 3 ein Flussdiagramm des Trainings und der Identifikation von Geste gemäß der vorliegenden Erfindung.
-
Ausführliche Beschreibung der Ausführungsformen:
-
1 zeigt eine Blockdarstellung einer Gestenerkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung. Es ist ein System 100 gezeigt, bei dem die Benutzung der Vorrichtung 106 in Betracht gezogen wird, aber die Vorrichtung 106 ist wie später erläutert in verschiedener Anwendung benutzbar. Die Vorrichtung 106 umfasst eine Sensoreinheit 108 mit mindestens einem Sensor und eine Steuerung 110, die mit der Sensoreinheit 108 verbunden ist. Die Steuerung 110, betreibbar in einem beliebigen eines Trainingsmodus und eines trainierten/Identifikationsmodus, gekennzeichnet durch: während die Steuerung 110 im Trainingsmodus betrieben wird, ist die Steuerung 110 ausgelegt zum Erlauben der Auswahl von Domäne, gefolgt von einem beliebigen von Auswahl und Erzeugung von (zu setzenden) entsprechenden Gesten unter Verwendung eines Domänenmoduls 118, Empfangen von Eingangssignalen von der Sensoreinheit 108 für die gesetzte Geste, Anwenden des Filtermoduls 120 (auch als Domänenfilter oder Datenfilter bekannt) entsprechend der ausgewählten Domäne zur Erzeugung von Datenmengen 122 und Trainieren einer Gesten-Engine 124 auf der Basis der gefilterten Datenmengen 122.
-
Ferner ist, während die Steuerung 110 im trainierten/Identifikationsmodus betrieben wird, die Steuerung 110 ausgelegt zum Detektieren der Domäne des Betriebs der Vorrichtung 106, Empfangen von Eingangssignalen von der Sensoreinheit 108 entsprechend Gesten der Domäne, Erzeugen gefilterter Datenmengen 122 aus den Eingangssignalen unter Verwendung des Filtermoduls 120 entsprechend der Domäne und Verarbeiten der gefilterten Datenmengen 122 mittels der Gesten-Engine 124 und Identifizieren der Geste.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Gesten-Engine 124 auf der Basis eines SNN/RNN (sequenzielles oder rekurrentes neuronales Netz) modelliert, ist aber nicht darauf beschränkt. Das RNN ist ein tief lernendes Netz, das drei dichte Schichten verwendet, die eine Eingangsschicht, eine verborgene Schicht und eine Ausgangsschicht umfassen. Die verborgene Schicht ist eine lineare dichte Schicht. Die Steuerung 110 ist auf der Basis der identifizierten Geste ausgelegt zur Ermöglichung eines beliebigen von Analyse der Geste und Steuerung von Funktionen eines beliebigen ausgewählt aus einer Gruppe bestehend aus einer Vorrichtung 116 und der Vorrichtung 106. Ferner ist das Filtermodul 120 ausgelegt zum Verarbeiten von Daten und Erzeugen von Datenmengen 122 mittels eines RQA-Moduls (rekurrente Quantifikationsanalyse) und eines mRMR-Moduls (Minimal-Redundanz-Maximal-Relevanz), ist aber nicht darauf beschränkt.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Verarbeitung durch das Filtermodul 120 im Trainingsmodus beschrieben. Das Filtermodul 120 ist ausgelegt zum Aufzeichnen der Zeitreihendaten der Eingangssignale von der Sensoreinheit 108 und Aufteilen der empfangenen Daten gemäß einer vorbestimmten Fenstergröße. Das Filtermodul 120 wendet die RQA dann auf aufgeteilte Trainingsdaten an, gefolgt von der Anwendung von mRMR zur Berechnung des Relevanzparameters, wenn er maximal ist. Ähnlich ist im trainierten/Identifikationsmodus das Filtermodul 120 ausgelegt zum Aufzeichnen der Zeitreihendaten der Eingangssignale von der Sensoreinheit 108 und Anwenden von RQA und mRMR auf die Zeitreihendaten gemäß der Fenstergröße und Anwenden von Klassifikation an der Ausgabe der RQA und mRMR zur Identifizierung relevanter Geste. Das Filtermodul 120 verschiebt auch Zeitreihendaten gemäß Fenstergröße (konfigurierbar) zur Fortsetzung der Verarbeitung der ankommenden Datenstichproben in den Eingangssignalen. Das Filtermodul 120 ermöglicht die Analyse von Datenmuster in den Eingangssignalen für Mehrvariablen- oder Univariablen-Daten. Im Allgemeinen ist das Filtermodul 120 dafür ausgelegt/konfiguriert, die höchstwertigen Daten von der Sensoreinheit 108 auf der Basis der Domäne unter Verwendung einer Maschinenlernmerkmal-Klassifikationstechnik zu filtern und einen Triggerpunkt der Änderung im trainierten/Identifikationsmodus zu detektieren, um das Datenfenster zu finden, in dem die Geste beginnt, im kontinuierlichen Datenstrom aufzutreten.
-
Das Filtermodul 120 ist ausgelegt zum Klassifizieren der mittels der Eingangssignale empfangenen Daten in zwei Typen (nicht beschränkt darauf), die Gestendaten und ADL-Daten (Aktivitäten des täglichen Lebens) umfassen. Die ADL-Daten werden auch zusammen mit Gestendaten erfasst. Zum Beispiel wird das Filtermodul 120 mit vorbestimmten (zum Beispiel zwanzig) Stichproben für jede Gestendaten und zwanzig Stichproben für ADL-Daten trainiert. Ferner werden sich wiederholende zwanzig Mengen solcher zwanzig Stichproben zum Trainieren des Filtermoduls 120 (vierhundert Stichproben für jede Geste) verwendet. Die Fenstergröße beträgt zwanzig und Fensterschritt-/Verschiebungsgröße wird auf zwei gehalten, so dass achtzig Prozent Überlappung aufrechterhalten werden. Die Fensterung erfolgt so, dass Gesten, die zwischen den Fenstern auftreten, nicht übersehen werden.
-
In dem Filtermodul 120 erzeugt das RQA-Modul verschiedene Metriken zur Analyse, wie etwa RR (Rekurrenzrate) und T (Transitivität), und das mRMR-Modul erzeugt Faktoren der R & R (Relevanz, Redundanz), die betrachtet werden, um Gesten aus dem ADL zu identifizieren. Die Rekurrenzratenmetrik gibt die Dichte beobachteter Datenpunkte beim Auftragen. Die Rekurrenzrate bestimmt die Dichte der Verteilung von Sensordatenpunkten der Sensoreinheit 108. Für jede ausgeführte Geste kommt man zu einer Abbildung für die Verteilung von Rekurrenzwerten, die dann als zusätzlicher Klassifikationsparameter zur Identifizierung der Geste verwendet wird. Die Transitivitätsmetrik gibt die Wahrscheinlichkeit, dass zwei Punkte der Phasenraumtrajektorie in der Umgebung eines dritten auch direkt verbunden sind. Die Transitivität dient zum Verständnis der Variation des Bereichs von Sensordaten für jede Geste, was dabei hilft, das richtige Fenster aus dem Strom von Sensordaten auszusuchen. Der Relevanzfaktor wird aus jedem Fenster aus dem Strom von Daten bestimmt. Auf der Basis tatsächlicher Gesten wird ein Fenster von vor und nach Geste gesammelt. Der Relevanzfaktor aus dem Datenstrom wird gesammelt, um zu bestimmen, ob vor der interessierenden Geste derselbe Trend der Bewegung durchgeführt wird. Somit wird die Geste als relevant für das für die Geste erfolgende Training identifiziert. Der redundante Faktor in Kombination mit dem Relevanzfaktor zur Beseitigung redundanter Sensordaten aus dem interessierenden Fenster. Die bestimmten Werte RR, T und R & R bilden als Eingabe zur Klassifizierung von Gesten aus ADL. Parameter und Faktoren werden für jede Sensorachse in der Sensoreinheit 108 berechnet. Eine nachfolgende Tabelle, die lediglich ein Beispiel ist, dient zur Entscheidung oder Auswahl spezifischer Daten zur Bildung der Datenmengen 122.
| Gesten-ID | Sensor-ID | RR | T | R&R |
| 1 | SNC 1 | X,X1,X2,X3 | Y1,Y2,Y3 | Z,Z1,Z2,Z3 |
| 1 | Beschl X | X6,X6,X8 | Y9,Y11,Y12 | Z12,Z13,Z14 |
| 1 | Krs Y | ····· | ····· | ····· |
| 2 | Elastische Kapazität | ····· | ····· | ····· |
| 3 | AccY | ····· | ····· | ····· |
-
Die obige Tabelle dient lediglich zur Erläuterung, und die vorliegende Erfindung ist nicht darauf beschränkt.
-
Die Steuerung 110 ist eine elektronische Steuereinheit zum Verarbeiten von von der Sensoreinheit 108 empfangenen Signalen. Die Steuerung 110 umfasst Speicher 112, wie etwa RAM (Direktzugriffsspeicher) und/oder ROM (Festwertspeicher), einen ADC (Analog-Digital-Umsetzer) und umgekehrt einen DAC (Digital-Analog-Umsetzer), Zeitgeber, Timer und einen Prozessor (mit der Fähigkeit zur Implementierung von Maschinenlernen), die mittels Kommunikationsbuskanälen miteinander und mit anderen Komponenten verbunden sind. Die zuvor erwähnten Module sind Logiken oder Anweisungen, die in dem Speicher 112 gespeichert werden und auf die der Prozessor gemäß den definierten Routinen zugreift. Die internen Komponenten der Steuerung 110 werden als Stand der Technik nicht erläutert, und derselbe soll nicht auf einschränkende Weise verstanden werden. Die Steuerung 110 kann auch Kommunikationseinheiten zur Kommunikation mit einem Server oder einer Cloud 104 mittels drahtloser oder drahtgebundener Mittel wie etwa GSM (Global System for Mobile Communications), 3G, 4G, 5G, WiFi, Bluetooth, Ethernet, serielle Netzwerke und dergleichen umfassen.
-
Bei einer Ausführungsform stellt die Steuerung 110 und somit die Vorrichtung 106 nur den Trainingsmodus bereit. Bei einer anderen Ausführungsform stellen die Steuerung 110 und somit die Vorrichtung 106 nur den trainierten/Identifikationsmodus bereit. Bei noch einer weiteren Ausführungsform stellen die Steuerung 110 und somit die Vorrichtung 106 sowohl den Trainingsmodus als auch den trainierten Modus bereit und sind je nach Anforderung auswählbar.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Vorrichtung 106 ausgewählt aus einer Gruppe umfassend: eine Wearable-Vorrichtung, wie etwa eine Smartwatch, ein Smart-Ring, ein Smart-Band, eine tragbare Vorrichtung, wie etwa ein Smartphone, ein dediziertes Sensormodul und dergleichen. Die Wearable-Vorrichtung kann auch falls erforderlich an einem geeigneten Körperteil eines Benutzers 102 getragen werden, und zwar ohne jegliche spezifische Beschränkung etwa an der Hand, am Arm, am Bein, am Fuß, Kopf, Oberkörper und dergleichen. Ähnlich wird die Vorrichtung 116 aus beliebigen der Folgenden ausgewählt: ein Haushaltsgerät, wie etwa ein Ofen, ein Mixer, ein Kühlschrank, eine Waschmaschine, Spülmaschinen, Induktionsherd, Öfen und dergleichen und Verbraucherelektronik, wie etwa ein Musiksystem, ein Fernseher, ein Computer, Beleuchtung, ein Monitor mit GPU (Grafikverarbeitungseinheit), Spielkonsolen (wie etwa PlayStation™, XBOX™, Nintendo™ usw.), ein Projektor und eine Cloud 104 und dergleichen. Die Vorrichtung 116 wird als über einen Kommunikationskanal, wie etwa drahtlos oder drahtgebunden, mit der Vorrichtung 106 verbindbar betrachtet. Zum Beispiel WiFi, Bluetooth, USB (Universal Serial Bus), LAN (Local Area Network) usw.
-
Der mindestens eine Sensor der Sensoreinheit 108 umfasst einen Einzelachsen- oder Mehrachsen-Beschleunigungsmessersensor, einen Einzelachsen- oder Mehrachsenkreisel, eine IMU (Trägheitsmesseinheit), einen SNC-Sensor (Oberflächennervleitung), einen Strecksensor, einen Kapazitätssensor, einen Schallsensor, ein Magnetometer und dergleichen.
-
Das System 100 von 1 umfasst einen Benutzer 102, der über die Vorrichtung106 mit eingebauter Sensoreinheit 108 verfügt. Die Vorrichtung 106 umfasst einen Bildschirm 114, der optional ist. Ferner umfasst das System 100 auch die Vorrichtung 116, die gesteuert werden muss. Eine Arbeitsweise der Vorrichtung 106 wird nun mit Bezug auf den Trainingsmodus erläutert. Die Vorrichtung 106 wird vom Benutzer 102 entweder gehalten oder getragen. Der Benutzer 102 aktiviert eine in der Vorrichtung 106 vorinstallierte Anwendung und wählt eine spezifische Domäne, wie etwa Haushaltsgerät, aus dem Domänenmodul 118 aus. Das Domänenmodul 118 umfasst ein (nicht gezeigtes) Konfiguratormodul und ein (nicht gezeigtes) Selektormodul. Das Konfiguratormodul ermöglicht dem Benutzer 102 die Auswahl der Domäne, in der die Vorrichtung 106 zu betreiben ist, gefolgt von der Auswahl oder Erzeugung einer spezifischen Aktion für die Domäne. Zum Beispiel Lautstärke aufwärts/abwärts für die Verbraucherdomäne oder Hebel EIN/AUS für die Industriedomäne, Temperaturzunahme/Abnahme für die Verbraucherdomäne, Knopfdrehung im Uhrzeigersinn (CW)/entgegen dem Uhrzeigersinn (CCW) für die Verbraucherdomäne usw. Anders ausgedrückt, triggert und assistiert das Konfiguratormodul bei der Anwendung jeweiliger und geeigneter Filterung unter Verwendung des Filtermoduls 120 an den Eingangssignalen, das dann die gefilterten Datenmengen 122 zum Training weiterleitet. Das Konfiguratormodul wird unter dem Trainingsmodus bereitgestellt und wird mittels der in der Vorrichtung 106 installierten Anwendung verwendet, und die Vorrichtung 106 ist mit der Vorrichtung 116 verbunden. Die Eingangssignale von der Sensoreinheit 108, die die Datenstichproben enthält, werden in Echtzeit zu der in der Vorrichtung 106 selbst oder in der Vorrichtung 116 laufenden Gesten-Engine 124 transferiert, um Training von vom Benutzer 102 empfangenen Datenstichproben durchzuführen. Das Ergebnis des Konfiguratormoduls ermöglicht dem Benutzer 102 das Trainieren von vom Benutzer 102 bevorzugten Gesten für Steueraktionen an Steuervorrichtungen 116.
-
Das Selektormodul erlaubt dem Benutzer 102 die Verknüpfung der ausgewählten Aktion mit einer spezifischen Geste, wie etwa Fingerbewegung, Handbewegung, Handgelenkbewegung usw. Das Selektormodul ermöglicht dem Benutzer 102 eine engere Auswahl einer Menge wohlbekannter Zeichen oder dynamischer Gesten in Bezug auf die spezifische Domäne, in der die Geste implementiert werden soll. Die Domänengesten werden für die spezifische Domäne vortrainiert und sind mit oder ohne jegliches weitere Training benutzbar. Als Alternative erlaubt die Steuerung 110 dem Benutzer 102, eine ganz neue Geste zusätzlich zu den vortrainierten Gesten zu definieren. Bei einer weiteren Alternative erlaubt die Steuerung 110 dem Benutzer 102 gegebenenfalls, die vortrainierten Gesten zu trainieren. Die Steuerung 110 ist dafür ausgelegt, in der Lage zu sein, einzelne und kontinuierliche Gesten zu trainieren, um selbige über verschiedene Anwendungen hinweg zu verwenden, wie etwa Gesten im Verbraucherbereich zur Verwendung in der Industrie- oder medizinischen Domäne usw. Auf der Basis der Gestendomäne/-kategorie werden die entsprechenden Eingangssignale von der Sensoreinheit 108 für das Training gefiltert. Somit ist die Vorrichtung 106 domänenagnostisch und über verschiedene Bedürfnisse hinweg benutzbar. Die Domänensensortabelle mit Aktionsauswirkung ist nachfolgend abgebildet und ist auf andere Domänen erweiterbar, ohne vom Schutzumfang der vorliegenden Erfindung abzuweichen.
| Domäne | Sensor | Aktionsauswirkung |
| Verbraucherelektronik | • Beschleunigungsmesser | • Steuerung von EIN-, AUSSchalten, Lautstärkereglung des gepaarten Geräts. |
| | • Kreisel |
| | | • Steuerung der UI durch Scrollen, Auswählen von Merkmalen auf der Anzeige. |
| | | • Virtuell Knopf zur Auswahl und Merkmalsteuerung drehen. |
| Medizinisch | • Biomechanisch SNC (Finger) | • Aufzeichnung der Korrektheit der Fitnessgeste |
| |
| | • Strecksensor (Physiotherapie) | • Klassifizierung und Aufzeichnung von Dauer, Anzahl von Aktionen und Sequenz von Gesten |
| | | • Wiederholungsverlauf abrufen |
| Industrie | • Beschleunigungsmesser | • EIN/AUS von Start/Stopp-Tasten steuern |
| | • Kreisel | • Push-Pull-Hebel-Steuerung |
| | • Strecksensor | • Merkmale auf Steuerelementen der HMI (Mensch-Maschine-Schnittstelle) rollen und auswählen |
| Spiele | • Schallsensor | • Bewegungsmuster von Hand und Handgelenk aufzeichnen |
| | • Strecksensor |
| | | • Verlauf von Muster abrufen |
-
Nachdem die erforderliche Aktion und die entsprechende Geste gesetzt sind, führt der Benutzer 102 die Geste aus und die Steuerung 110 beginnt mit dem Empfang der Eingangssignale von der Sensoreinheit 108. Bei einer Ausführungsform führt die Steuerung 110 den Benutzer 102 durch eine Animation auf einem Anzeigebildschirm 114 der Vorrichtung 106 oder der Vorrichtung 116. Die empfangenen Eingangssignale von der Sensoreinheit 108 werden dann durch das Filtermodul 120 verarbeitet. Das Filtermodul 120 führt durch Aufnehmen der richtigen Merkmaldaten für das Training Merkmalextraktion durch und verwendet dieselbe Technik auch im trainierten Modus. Die Klassifikation von Gesten basiert auf der vom Benutzer 102 ausgewählten Domäne. Ein Teil der Domäne umfasst, aber ohne Beschränkung darauf, Verbraucherelektronik, Medizin, Industrie, Sport usw. Das Filtermodul 120 wird mit Intelligenz modelliert, um die erforderlichen Merkmale auf der Basis der Domäne auszusuchen, wodurch die jeweilige Achse und Eingangssignale der Sensoreinheit 108 bei Erfassung der Ausrichtung der Hand des Benutzers 102 und der ausgewählten Domäne entsprechend ausgewählt werden.
-
Die Verbraucherelektronikdomäne umfasst „Hand-Handgelenk“-Gesten zur Benutzeroberflächen- bzw. UI-Steuerung, Anwendungen der AR (erweiterten Realität), Anwendungen der VR (virtuellen Realität), mit den folgenden Funktionen: Knopfdrehung (CW, CCW), schnelles und langsames Scrollen (aufwärts, abwärts, links, rechts), Zeichenauswahl (Tippen), Zahlenmuster/Alphabete in Sprachen, Lautstärke-Aufwärts-Abwärts-Selektoren, EIN-/AUS-Schaltselektoren und dergleichen. Dies ist in der nachfolgenden Tabelle aufgeführt.
| Sl.Nr | Funktion | Sensoren | Filtermodul 120 |
| 1 | • Gerätknopfdrehung Uhr | Beschleunigungsmesser | Das Filtermodul 120 erfasst die normale Position des Benutzers 102, um die Ausrichtung anhand des Benutzerverhaltens zu bestimmen. Auf der Basis der gefolgerten Ausrichtung wird der entsprechende Achsenwert für das Training während der einzelnen Drehung von Handgelenk und Handfläche im Uhrzeigersinn und entgegen dem Uhrzeigersinn heraufgeholt. |
| | • Gerätknopfdrehung entgegen dem Uhrzeigersinn | |
| | | | Die Geschwindigkeit wird durch den Größeneffekt auf die Drehung entschieden, und die Drehrichtung entscheidet die Werte. |
| | | | Extrahierte Merkmale sind Drehungsgeschwindigkeit und Drehungsrichtung. |
| 2 | • Bildschirmscrollen - rechts links aufwärts und abwärts | Kreisel | Die Änderungsrate der Bewegung der Hand wird unter Verwendung des Winkens der Hand erkannt, mit dem die Bewegungsachse detektiert wird. |
| | • Lautstärke aufwärts und abwärts | | Extrahiertes Merkmal umfasst Winkgeschwindigkeit und Richtung der Hand. |
| | • Herauf- und Herunterfahren | | |
| 3 | • Dynamische Zahlenzeichen | Beschleunigungsmesser Kreisel | Zeichnungsmuster umfassen gerade und gekrümmte Linien. Die Ausrichtung des Benutzers 102 ändert sich tendenziell über die Achse während des Schreibens bestimmter Zeichen wie „s“. Somit werden alle Achsendaten für das Training und die Mustererkennung abgenommen. |
| | | | Änderungsrate der Achse zum Verständnis der Handgeschwindigkeitsbewegung, Koordinatenwertinterpretation zur regulären Stichprobenzeit zum Verständnis der Handbewegung in einem zweidimensionalen bzw. 2D-Raum. |
| 4 | • Schnell-Scroll-Flip | Kreisel | Auf der Basis der Geschwindigkeit der Handbewegung wird die Änderungsrate der Sensordaten detektiert. Dies dient zur Bestimmung der schnellen Flipgesten der Hand, die zum Flippen von Seiten durch Flipgesten, Flippen durch das Ende der Liste in einer Benutzeroberfläche, Flippen einer Drehungsschnittstelle für mehrere Drehungen verwendet werden. |
-
Die medizinische Domäne umfasst Gesten von „Arm-Hand-Handgelenk-Finger“ für Physiotherapie - SNC, Beschleunigungsmesser usw., einschließlich Arbeitsphysiotherapie mit Dehnung und Entspannung des Handgelenks (gerade, nach oben und nach unten), Kräftigung des Unterarms, Konditionierung und Regulierung (Handfläche nach oben und unten zum Boden), Fingerstrecken und -lockern (Öffnen und Schließen der Handfläche) usw. Dies ist in der nachfolgenden Tabelle aufgeführt.
| Sl.Nr | Funktion | Sensoren | Filtermodul 120 |
| 1 | • Handgelenkdrehung im Uhrzeigersinn | Beschleunigungsmesser Dehnungssensor | Auf der Basis der Domäne verifiziert das Filtermodul 120 die Eingangssignale von der Sensoreinheit 108 der richtigen Anspannung im Handgelenk und in der Handfläche unter Verwendung von Signalen vom Dehnungssensor.
Die Merkmale umfassen Handgelenkanspannung, Umdrehungsgeschwindigkeit und Richtung. |
| | • Handgelenkdrehung entgegen dem Uhrzeigersinn |
| 2 | • Handgelenkdehnung nach oben | Dehnungssensor | Merkmal umfasst Handgelenkanspannungs- oder -lockerungszustände und -grade. |
| | • Handgelenkdehnung nach unten | | |
| | • Fingerstreckung | | |
| | • Fingerlockerung | | |
| 3 | • Armdrehung im Uhrzeigersinn | Beschleunigungsmesser Kreisel | Merkmal umfasst die Umdrehungsgeschwindigkeit und Richtung des Arms |
| | • Armdrehung entgegen dem Uhrzeigersinn | | |
-
Für Industriegesten umfassen die Funktionen Hebelbedienungszustandssteuerung (EIN/AUS-Zustand), Tastenzustandssteuerung (EIN/AUS-Zustand), Knopfdrehung (Knopfzustandseinstellung), Start/Stopp-Steuerung und dergleichen. Dies ist in der nachfolgenden Tabelle aufgeführt.
| Sl.Nr. | Funktion | Sensoren | Filtermodul 120 |
| 1 | • Knopfdrehung Uhr | Beschleunigungsmesser | Das Filtermodul 120 detektiert die normale Position des Benutzers 102, um die Ausrichtung anhand des Benutzerverhaltens zu bestimmen. Auf der Basis der gefolgerten Ausrichtung wird der entsprechende Achsenwert für das Training während der einzelnen Drehung von Handgelenk und Handfläche im Uhrzeigersinn und entgegen dem Uhrzeigersinn heraufgeholt. |
| | • Knopfdrehung entgegen | |
| | • dem Uhrzeigersinn dynamische Geste | |
| | | | Die Geschwindigkeit wird durch den Größeneffekt auf die Drehung entschieden, und die Drehrichtung entscheidet die Werte. |
| | | | Extrahierte Merkmale sind Drehungsgeschwindigkeit und Drehungsrichtung. |
| 2 | • Hebelbetätigung EIN | Kreisel Dehnungssensor | Merkmal umfasst Handgriff und Richtung der Handbewegung. |
| | • Hebelbetätigung AUS | |
| 3 | • Taste EIN | Beschleunigungsmesser | Merkmal umfasst Bewegungsgeschwindigkeit und -richtung von Handfläche und Handgelenk |
| • Taste AUS |
| • Start | Kreisel |
| • Stopp |
-
Die Spielfunktionen umfassen Spielmuster, Treffermuster (Handgelenk nach unten, Handgelenkdrehung, Handgriffintensität), Schlagen und Werfen und Aktionen der Feldmannschaft beim Cricket, Shuttle, Laufen, Springen, Hüpfen, Rudern, Skaten, Fechten und dergleichen. Dies ist in der nachfolgenden Tabelle aufgeführt.
| Sl.Nr | Funktion | Sensoren | Filtermodul 120 120 |
| 1 | • Schlagen beim Cricket | Beschleunigungsmesser | Merkmal umfasst Handgriff, Handflugmuster, -geschwindigkeit und -richtung innerhalb eines spezifischen Intervalls |
| • Shuttle-Handhabung | Kreisel Dehnungssensor Schallsensor |
| • Bowling |
-
Das Obige sind lediglich Beispiele für einige wenige Domänenfunktionen und Gesten und sind erweiterbar auf sehr viele standardmäßige einzelne und kontinuierliche Gesten und Handbewegungen in einer tatsächlichen Implementierung.
-
Das Filtermodul 120 verarbeitet das Eingangssignal gemäß der ausgewählten Geste und erzeugt Datenmengen 122. Anders ausgedrückt, handelt es sich bei den Datenmengen 122 um die gefilterte Ausgabe des Filtermoduls 120. Die Datenmengen 122 werden im Trainingsmodus zum Training zu der Gesten-Engine 124 geleitet. Die Gesten-Engine 124 verwendet das SNN mit mindestens drei Schichten. Die erste Schicht ist die Eingangsschicht, die echtzeitgefilterte Daten für die Geste mit zeitlichen Werten aufweist. Dies wird zu einer vollständig verbundenen verborgenen Schicht geleitet, eine dichte Schicht, die auf der Basis gleichgerichteter Linear-Aktivierung ohne Notwendigkeit von lang- oder kurzfristigem Speicher die Parameter in mehrere (wie etwa fünfhundert) abgebildete Werte umsetzt. Es ist das Training des aktuellen Trainingszyklus ohne Rückkopplungs- oder Vorwärtskopplungsmechanismus in dem Netz, das sich an beliebige Daten aus der Vergangenheit erinnert. Die Daten werden direkt zu der Ausgangsschicht geleitet, die eine Gewichtung für jede Klassifikationsausgabe aus dem neuronalen Netz entscheidet. Als Letztes wird die Gesten-Engine 124 trainiert. Die trainierte Gesten-Engine 14 wird so wie sie ist verwendet, oder es wird eine herunterladbare Version der trainierten Gesten-Engine 124 (auch als Prädiktormodul bekannt) auf der Basis der Gewichte der Trainingsdatenmenge 122, die im Identifikationsmodus zum Identifizieren der Echtzeitgeste verwendet wird, erzeugt.
-
Bei einer Ausführungsform stellt die Steuerung 110 eine Führungsspur auf dem Bildschirm 114 bereit. Die Führungsspur ermöglicht dem Benutzer 102, das Muster der Geste zu verstehen, und auch über dem Führungsmuster einige Versuche durchzuführen, um somit kleine notwendige Kalibrationen zu erlauben, die für den Benutzer 102 spezifisch sind. Die über diese Trainingssitzung hinweg gesammelte Datenmenge 122 wird für weitere Dimensionsreduktionsprüfungen zu dem Filtermodul 120 hinübergesendet, und dann werden tatsächliche Merkmaldaten für das Training der Gesten-Engine 124 gesendet. Die Steuerung 110 ist ausgelegt zum Anzeigen der aufgezeichneten Geste auf dem Anzeigebildschirm 114 zur Bestätigung des Benutzers 102. Der Anzeigebildschirm 114 ist als sich in der Vorrichtung 106 befindend gezeigt. Bei einer anderen Ausführungsform ist der Anzeigeschirm 114 in der Vorrichtung 116 vorgesehen. Bei noch einer anderen Ausführungsform ist der Anzeigeschirm 114 sowohl in der Vorrichtung 106 als auch in der Vorrichtung 116 vorgesehen. Die Steuerung 110 führt Gestenwiedergabe mittels Animation, sichtbar in dem Anzeigeschirm 114, durch. Als Alternative sendet die Steuerung 110 die der identifizierten Geste entsprechenden Befehle zu der Vorrichtung 116. Zusammen mit den Befehlsdaten wird auch ein Video/eine Animation der Geste zu der fähigen Vorrichtung 116 gesendet, um die Simulation der Geste für den konkreten Domänenbefehl auf dem Anzeigebildschirm 114 der Vorrichtung 116 zu zeigen. Die Anzeige von Animation ist auf der Basis der Fähigkeit der Vorrichtung 116 und/oder der Vorrichtung 106 optional.
-
Sobald das Training kurz vor dem Abschluss steht, und wenn die Vorrichtung 106 oder die Vorrichtung 116 dazu in der Lage ist, lässt die Steuerung 110 eine dreidimensionale Gestenwiedergabe laufen, um den Benutzer 102 über die trainierte Geste zu bestätigen. Die Wiedergabe wird im trainierten/Identifikationsmodus als ein Sprite oder das VR-Objekt verwendet, um den Effekt einer tatsächlichen die Operation virtuell auf der Vorrichtung 116 ausführenden Hand zu bringen, wenn die Möglichkeit besteht.
-
Bei einer alternativen Arbeitsweise von 1 sendet die Steuerung 110 die empfangenen Eingangssignale zu der Cloud 104. Eine in der Cloud 104 residierende Steuereinheit, die der Steuerung 110 ähnlich ist, verarbeitet dann die von der Steuerung 110 empfangenen Eingangssignale. Die Rolle der Steuerung 110 ist hier das Senden der empfangenen Eingangssignale zur Cloud 104. Die übrige Verarbeitung bis zum Training der Gesten-Engine 124 bleibt gleich. Eine installierbare Version der trainierten Gesten-Engine 124 wird heruntergeladen und in der Steuerung 110 eingesetzt. Bei einer weiteren Alternative teilen sich die Steuerung 110 und die Cloud 104 zusammen die Verarbeitung der Eingangssignale. Die trainierte Gesten-Engine 124 wird dann aus der Cloud 104 zurück in der Vorrichtung 106 empfangen.
-
Im Trainingsmodus detektiert die Erfassungseinheit 108 alle durch den Benutzer 102 mittels Handgelenken, Unterarm und Fingern vorgenommenen Bewegungen. Ein Schwenkpunkt der Bewegung durch den Benutzer 102 ist der Ellenbogen, ohne Beschränkung darauf. Die Bewegungen der Hand umfassen Drehung des Handgelenks im Uhrzeigersinn, entgegen dem Uhrzeigersinn und Winken mit dem Handgelenk nach links und nach rechts, Fingerschnippen, koordinierte Fingerdrehungen usw. Die Steuerung 110 ist in der Lage, die Bewegung der Hände mittels der einzelnen Gesten zu detektieren und Funktionen der Vorrichtung 106 oder einer beliebigen UI (Benutzeroberfläche) oder der Vorrichtung 116 zu steuern. Die Steuerfunktion oder die UI ist von einer installierten Anwendung, dem Haushaltsgerät und der Verbraucherelektronik usw., wie bereits oben offenbart wurde. Die Erfassungseinheit 108 ist entweder in die Vorrichtung 106 eingebaut oder in der Lage, extern an die Vorrichtung 106 angeschaltet zu werden.
-
Zur Erläuterung wird ein Beispiel gegeben. Der Benutzer 102 trägt die Vorrichtung 106, die eine Smartwatch ist, und beabsichtigt, die Vorrichtung 116 zu steuern, die ein Backofen ist. Der Backofen ist mit einem Anzeigeschirm 114 versehen. Als erstes verbindet der Benutzer 102 die Smartwatch über eine eineindeutige Bluetooth-Verbindung oder über ein lokales drahtloses Netzwerk unter Verwendung eines Routers mit dem Backofen. Der Benutzer 102 öffnet dann die Anwendung in der Smartwatch und öffnet das Konfiguratormodul und wählt die Steueraktionen aus, wie etwa eine Temperaturregelung. Der Benutzer 102 öffnet dann das Selektormodul und konfiguriert/verknüpft dann die Steueraktionen mit spezifischer Geste, wie etwa koordinierter Fingerdrehung in CW zum Vergrößern und CCW zum Verkleinern. Das Konfigurationsmodul und das Selektormodul sind Teil des Domänenmoduls 118. Der Einfachheit halber wird nur eine Steueraktion und Geste erläutert, und dem Benutzer 102 ist es erlaubt, auch andere Steuerelemente zu konfigurieren. Nach dem Setzen führt der Benutzer 102 die Geste aus, deren Echtzeitsignale durch das Filtermodul 120 verarbeitet werden, wie bereits erläutert wurde. Das Filtermodul 120 verarbeitet die Signale unter Verwendung des RQA- und mRMR-Moduls und berechnet Parameter und Faktoren. Auf der Basis des Auftretens der Parameter, der Faktoren und eines Vergleichs selbiger mit einer jeweiligen im Speicher 112 abgespeicherten Schwelle werden nur ausgewählte Eingangssignale zur Erzeugung von Datenmengen 122 zum Training verwendet. Auf der Basis der Domäne werden verschiedene Mengen von Informationen aus demselben Sensor berücksichtigt. Die Datenmengen 122 werden zum Training zu der Gesten-Engine 124 gesendet. Die Gesten-Engine 124 residiert entweder in der Steuerung 110 oder in der Cloud 104. Die identifizierte Geste wird auf dem Bildschirm 114 des Backofens angezeigt. Wenn er zufrieden ist, schreitet der Benutzer 102 zu anderen Gesten voran. Der Trainingsmodus endet mit dem Abschluss des Trainings aller benötigten Gesten (vordefiniert oder benutzerdefiniert).
-
Mit Bezug auf den trainierten/Identifikationsmodus wird eine Arbeitsweise der Vorrichtung 106 erläutert. Man ziehe in Betracht, dass die Vorrichtung 106 mit der trainierten Gesten-Engine 124 vorinstalliert ist. Als Alternative trainiert der Benutzer 102 die Gesten-Engine 124, wie zuvor erläutert. Der Benutzer 102 verbindet die Vorrichtung 106 mit der Vorrichtung 116. Die Verbindung erfolgt vorzugsweise über drahtlose Kommunikationsmittel zwischen der Vorrichtung 106 und der Vorrichtung 116, wie etwa Bluetooth™, WiFi, ZigBee, IR (Infrarot) und dergleichen, obwohl die Verbindung auch über drahtgebundene Kommunikationsmittel möglich ist, wie etwa LAN (lokales Netzwerk), USB (Universal Serial Bus), Micro-USB, Audiosteckerkabel und dergleichen. Der Benutzer 102 stellt die Verbindung durch Aktivierung der in der Vorrichtung 106 installierten Anwendung her. Sobald die Verbindung mit der Vorrichtung 116 hergestellt ist, wird die Domäne automatisch auf der Basis von während der Verbindung von der Vorrichtung 116 abgerufenen Informationen detektiert, und die Steuerung 110 ist bereit zum Empfang der Eingangssignale von der Sensoreinheit 108. Der Benutzer 102 führt die Gesten aus, für die die Eingangssignal durch das Filtermodul 120 verarbeitet werden. Das Filtermodul 120 verarbeitet selektiv die Eingangssignale auf der Basis der detektierten Domäne. Das Filtermodul 120 erzeugt domänenspezifische Datenmengen 122, die dann zur Identifikation der Geste zu der trainierten Gesten-Engine 124 gesendet werden. Nach Identifikation wird die gestenspezifische Aktion in der Vorrichtung 116 ausgeführt. Zum Beispiel trägt der Benutzer 102 die Smartwatch als die Vorrichtung 106 und verbindet sich mit dem Backofen. Der Benutzer 102 führt die Geste der Drehung von einen imaginären Knopf haltenden Fingern im Uhrzeigersinn aus und die entsprechende Aktion in der Vorrichtung 116, wie etwa Vergrößerung einer Temperatur, wird ausgeführt. Der Einfachheit halber wird nur eine Geste erläutert und dies soll nicht im einschränkenden Sinne aufgefasst werden. Der Benutzer 102 ist auch in der Lage, zwischen zwei Knöpfen des Backofens zu navigieren, einem für die Temperatur und einem anderen zur Einstellung der Zeit usw.
-
Im trainierten/Identifikationsmodus wird die trainierte Geste verwendet, um die Echtzeitvorrichtung 116 zu steuern, wie etwa Geräte, UI einer Anwendung, die in Telefonen installiert ist, das Smartphone, Hausautomatisierungssysteme, Unterhaltungssysteme usw. Die Steuerung geschieht über einen zwischen der Vorrichtung 106 und den externen Vorrichtungen 116 hergestellten Kommunikationskanal. Das Domänenmodul 118 und das Filtermodul 120 dienen zum Interpretieren der von der Sensoreinheit 108 empfangenen Eingangssignale zu einer interpretierbaren Geste. Beide Module setzen die kontinuierlichen Daten auch in ein Interessefenster um. Ferner wird die Gesten-Engine 124 zum Training und zur Vorhersage unter Verwendung der erzeugten Datenmengen 122 verwendet.
-
2 zeigt eine Blockdarstellung der Gestenerkennungsvorrichtung mit einer externen Sensoreinheit gemäß einer Ausführungsform der vorliegenden Erfindung. Die Arbeitsweise der Vorrichtung 106 mit einer ESU (externen Sensoreinheit) 204 ist ähnlich wie in 1 erläutert. Die ESU 204 umfasst die Sensoreinheit 108 in Verbindung mit einer ICU (Schnittstellensteuereinheit) 202 zum Herstellen von Kommunikation mit der Steuerung 110 oder der Vorrichtung 106. Die ICU 202 umfasst die drahtgebundenen oder drahtlosen Kommunikationsmittel zur Verwendung mit der Steuerung 110. Die Vorrichtung 106, die ESU 204 und die Cloud 104 sind entweder Teil eines gemeinsamen Netzwerks oder die Vorrichtung 106 ist mittels getrennter Mittel mit jedem dieser verbindbar. Zum Beispiel wird die Vorrichtung 106 mittels Bluetooth™ mit der ESU 204 und mittels WiFi oder Telekommunikationssystemen wie GPRS, 2G, 3G, 4G und 5G usw. mit der Cloud verbunden.
-
Eine Arbeitsweise der Vorrichtung 106 gemäß 2 wird auf der Basis einer nachfolgenden Ausführungsform, aber ohne Beschränkung darauf, in Betracht gezogen. Man ziehe in Betracht, dass der Benutzer 102 ein Physiotherapeut ist, der einem Patienten hilft. Während einer Therapie oder Massage oder Akupressur trägt der Benutzer 102 einen mit der ESU 204 ausgestatteten Handschuh, speziell mit dem Strecksensor, Drucksensor usw. Der Benutzer 102 verbindet die ESU 204 mit der Vorrichtung 106, wie etwa dem Smartphone, und beginnt mit der Therapie. Die von der ESU 204 detektierten Eingangssignale werden zu der Steuerung 110 gesendet, die die Signale verarbeitet und auf dem Bildschirm 114 oder dem Bildschirm der Vorrichtung 116 (wie etwa einem Monitor) entfernt von dem Ort des Benutzers 102 anzeigt. In einem Szenario ist die trainierte Gesten-Engine 124 ausgelegt zum Anweisen des Benutzers 102, eine spezifische Art von Kraft/Druck auszuüben oder den Muskel des Patienten zu strecken. In einem anderen Szenario leitet ein Spezialist, der an einem entfernten Ort sitzt, (über ein Telefon) den Benutzer 102 durch Beobachtung der tatsächlichen Geste auf dem Bildschirm 114 an, wobei in diesem Fall die Cloud 104 das Senden und Empfangen der Signale zwischen ihnen ermöglicht.
-
Es wird ein anderes Arbeitsbeispiel für eine andere Ausführungsform angegeben. Man ziehe in Betracht, dass der Benutzer 102 ein Schlagmann bei einem Cricketspiel ist. Der Schlagmann trägt die ESU 204 in Hand, Helm und Beinen. Ein Trainer des Cricketspielers kann nicht nur die Schläge überwachen, sondern auch Haltung und Kopfposition. Der Trainer kann später (oder in Echtzeit) Rückmeldung geben, um die Leistung des Schlagmanns zu verbessern. Dasselbe gilt für einen Werfer und einen Feldspieler. Ein anderes Beispiel umfasst, die ESU 204 an den Schläger zu heften und die Schläge oder die Stärke der Schläge durch den Schlagmann zu analysieren und zu überwachen. Das obige Beispiel ist durch direktes Tragen der Vorrichtung 106, wie etwa einer Smartwatch, anstelle der ESU 204 möglich.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung ist die Steuerung 110 ausgelegt zum Detektieren eines Fingerschnippens unter Verwendung des Filtermoduls, gefolgt von Verbindung der Vorrichtung 106 mit der nächstliegenden Vorrichtung 116 über den Kommunikationskanal.
-
Gemäß der vorliegenden Erfindung wird eine tragbare Vorrichtung zur Gestenerkennung auf der Basis eines dichten voll verbundenen neuronalen Netzes, die mit der Steuerung 110 sowohl im trainierten als auch Trainingsmodus benutzbar ist, bereitgestellt. Die Steuerung 110 konzentriert sich auf Klassifikation unter Verwendung einer Kombination von Sensoren, wie etwa Beschleunigungsmessern, Kreiseln, Strecksensoren, Drucksensoren usw. auf der Basis der gewählten Domäne von Gesten. Die Steuerung 110 verwendet das Filtermodul 120, bevor die Datenmengen 122 zum Training geleitet werden. Das Filtermodul 120 wird basierend auf Domäne und Sensordaten unter Berücksichtigung der Ausrichtung des Benutzers 102 angewandt. Das Filtermodul 120 entfernt effektiv die Ausreißer in den Datenmengen 122, um dadurch nur effektive Daten zur Klassifikation unter Verwendung des sequenziellen linearen neuronalen Netzes zu senden, somit keine langfristige Abhängigkeit im Netz. Die Vorrichtung 106 stellt die Steuerung 110 bereit, die Merkmalextraktion und Erzeugung der Datenmenge 122 durchführt. Die Eingangssignale werden durch die Steuerung 110 auf der Basis der Ausrichtung von Handgelenk und Händen unter Verwendung von Sensorfusionstechnik (auf der Basis von Beschleunigungsmesser, Kreisel, Streckerfassung und biomechanischen Oberflächensensoren und dergleichen) vorverarbeitet. Die Steuerung 110 identifiziert die Domäne und Ausrichtung bei der Vorverarbeitung und sendet selektive Merkmale, die als Datenmengen 122 aufgezeichnet werden, zum Training zu der auf dem neuronalen Netz basierenden Gesten-Engine 124. Speziell werden Zeitscheiben-Formung der Daten der Eingangssignale von der Sensoreinheit 108 für die einzelnen Gesten zu der Gesten-Engine 124 gesendet. Die Steuerung 110 kann Gesten in der Lauf-/Echtzeit unter Verwendung des linearen sequenziellen dreischichtigen dichten neuronalen Netzes ohne den LSTM (langfristigen Speicher) erkennen. Die Gesten-Engine 124 ist auf der Basis einzelner oder kontinuierlicher Gesten trainierbar und sagt auch vorher. Die Gesten-Engine 124 ist in der Steuerung 110 einsetzbar.
-
Die Steuerung 110 ist für Live-Datensammlung unter Verwendung der eingebauten oder extern angeschalteten Sensoreinheit 108 verantwortlich, um einzelne und kontinuierliche Gesten und Bewegungen des Benutzers 102 zu detektieren. Während des Trainingsmodus sind die Bewegungen diejenigen mit Ellbogenschwenkung/Freihand und Handgelenk, Handfläche und Finger, die sich zusammen bewegen. Während des trainierten Modus sind die Bewegungen freihändig. Die gesammelten Daten von der Sensoreinheit 108 werden über Kommunikationskanal gesendet.
-
Die installierte Anwendung führt Datenvorverarbeitung aus, um Standardmuster von Hand- und Handgelenkbewegungen zu erkennen. Dies geschieht lokal in der Nähe der Vorrichtung 106, um in der Lage zu sein, frei mit dem Benutzer 102 in Interaktion zu treten, um mehrere Datenstichproben zur Datenanalyse und Sensordateninterpretation zu erhalten. Wie bereits erwähnt, ist die Sensoreinheit 108 entweder in die Vorrichtung 106 eingebaut oder außerhalb der Vorrichtung 106.
-
Die Gesten-Engine 124 dient zum Trainieren von Sensorwerten und Erzeugen von Merkmalkennzeichnungen auf der Basis von Erwartungen des Benutzers 102. Die Gesten-Engine 124 residiert in der Steuerung 110 oder in der Cloud 104. Im Fall der Cloud 104 kann die Cloud 104 die Gesten-Engine 124 in einen kleineren Footprint umwandeln, der nur die Vorhersagelogik enthält, zur Installation in der Steuerung 110. Die umgewandelte Gesten-Engine 124 bleibt als ein Betriebsmittel, das nach dem Training leicht auf der Steuerung 110 ersetzbar ist.
-
3 zeigt ein Flussdiagramm des Trainings und der Identifikation von Gesten gemäß der vorliegenden Erfindung. Das Flussdiagramm zeigt ein Verfahren zur Gestenerkennung durch die Steuerung 110 in einer Vorrichtung 106. Die Vorrichtung 106 umfasst die Sensoreinheit 108 mit mindestens einem Sensor und die mit der Sensoreinheit 108 verbundene Steuerung 110. Die Steuerung 110 ist in einem beliebigen des Trainingsmodus und des trainierten/Identifikationsmodus betreibbar. Ein erstes Flussdiagramm 310 erklärt den Trainingsmodus. In dem ersten Flussdiagramm 310 ist das Verfahren dadurch gekennzeichnet, dass, während die Steuerung 110 im Trainingsmodus betrieben wird, das Verfahren die folgenden Schritte umfasst: einen Schritt 302, umfassend das Erlauben der Auswahl einer Domäne, gefolgt von einem beliebigen von Auswahl und Erzeugung von (Einstellung) entsprechenden Gesten. Die Domänenauswahl erfolgt durch den Benutzer 102, während dem Benutzer 102 Optionen zur Auswahl der menschlichen Steuerelemente auf Standarddomänenbasis gegeben werden. Die Führungsspur in dem Domänenmodul 118 führt die Bewegung für den Benutzer 102, und die tatsächliche Spur wird vom Benutzer 102 zum Ausführen von Versuchen für die Datenkalibration ausgewählt. Ein Schritt 304 umfasst Empfangen von Eingangssignalen von der Sensoreinheit 108 für die ausgewählte Geste. Die Eingangssignale von der Sensoreinheit 308 werden für die einzelnen und/oder kontinuierlichen Gesten oder Bewegungen mit Handgelenk und Fingern oder anderen Teilen des Körpers je nach Erfordernis gesammelt. Ein Schritt 306 umfasst Anwendung des Filtermoduls 120 entsprechend der ausgewählten Domäne zur Erzeugung der Datenmengen 122. Die gesammelten Daten werden durch das Filtermodul 120 zur Analyse verarbeitet. Das Filtermodul 120 filtert die gesammelten Daten gemäß der Ausrichtung (Front- oder Querebenen) der Vorrichtung 106 und/oder analysiert die Fingerdaten auf der Basis biomechanischer SNC, wenn sie verwendet werden. Ein Schritt 308 umfasst Trainieren der Gesten-Engine 124 auf der Basis der gefilterten Datenmengen 122. Die Gesten-Engine 124 wird mit den zeitdiskreten Daten für Gesten, Handbewegungen, Fingerbewegungen usw. trainiert.
-
Ein zweites Flussdiagramm 320 umfasst ein Verfahren zur Identifikation einer Geste. Das Verfahren ist gekennzeichnet durch einen Schritt 312, umfassend Detektieren der Domäne des Betriebs. Wenn sich der Benutzer 102 mit der Vorrichtung 116 verbindet, wird automatisch auf der Basis der Informationen bezüglich des Typs der Vorrichtung 116, auf die während der Herstellung der Kommunikation zugegriffen wird, die Domäne detektiert, wie etwa Verbraucher, medizinisch, Spiele, Industrie usw. Alternativ dazu gibt der Benutzer 102 anhand von Eingabemitteln wie Tastatur, Touchscreen usw. die Domäne manuell in die Vorrichtung 106 ein. Ein Schritt 314 umfasst Empfangen von Eingangssignalen von der Sensoreinheit 108 entsprechend Gesten der Domäne. Ein Schritt 316 umfasst Erzeugen gefilterter Datenmenge 122 aus den Eingangssignalen unter Verwendung des Filtermoduls 120 entsprechend der Domäne. Das Filtermodul 124 umfasst Einleiten von Fenstern der Daten auf der Basis der Domäne. Das Fenstern führt Filterung der tatsächlichen Geste aus Hand-, Handgelenk- und Fingergesten durch. Ein Schritt 318 umfasst Verarbeiten der gefilterten Datenmenge 122 mittels der Gesten-Engine 124, wobei die Klassifikation der Geste auf der Basis der konfigurierten Domäne durchgeführt wird, und Identifizieren der Geste. Als Letztes wird eine Aktionsauswirkung der klassifizierten Geste durchgeführt.
-
Die Gesten-Engine 124 wird auf der Basis eines sequenziellen/rekurrenten neuronalen Netzes modelliert, ist aber nicht darauf beschränkt. Auf der Basis der identifizierten Geste umfasst das Verfahren ein beliebiges von Analysieren der Geste und Steuern von Funktionen eines beliebigen, ausgewählt aus einer Gruppe umfassend die Vorrichtung 116 und die Vorrichtung 106. Das Filtermodul 120 umfasst Datenverarbeitung und Erzeugung von Datenmengen 122 mittels Modulen für RQA (Rekurrenzquantifkationsanalyse) und mRMR (Minimum-Redundanz-Maximum-Relevanz).
-
Gemäß der vorliegenden Erfindung umfasst die Vorrichtung 106 die Sensoreinheit 108, verbunden mit einer ICU (Schnittstellenschaltungseinheit) 202, was zusammen als ESU (externe Sensoreinheit) 204 bezeichnet wird. Die ESU 204 befindet sich außerhalb der Steuerung 110. Die Steuerung 110 ist mittels eines beliebigen der drahtgebundenen und drahtlosen Kommunikationsmittel mit der ESU 204 verbindbar. Die ESU 204 ist entweder eine tragbare oder auf eine anzuheftende Weise vorgesehene Einrichtung, zum Beispiel an der Vorrichtung 116 oder an einer Haut des Benutzers 102.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird die Gestenerkennungsvorrichtung 106 bereitgestellt. Die Vorrichtung 106 umfasst die Sensoreinheit 108 mit mindestens einem Sensor und die mit der Sensoreinheit 108 verbundene Steuerung 110. Die Steuerung 110 ist in einem beliebigen eines Trainingsmodus und eines trainierten/Identifikationsmodus betreibbar. Während die Steuerung 110 im Trainingsmodus betrieben wird, ist die Steuerung 110 ausgelegt zum Erlauben der Auswahl der Domäne, gefolgt von einem beliebigen von Auswahl und Erzeugung von (Setzen) entsprechenden Gesten unter Verwendung des Domänenmoduls 118, Empfangen von Eingangssignalen von der Sensoreinheit 108 für die gesetzte Geste, Anwenden des Filtermoduls 120 entsprechend der ausgewählten Domäne zur Erzeugung von Datenmengen 122 und Trainieren der Gesten-Engine 124 auf der Basis der gefilterten Datenmengen 122. Ferner ist, während die Steuerung 110 im trainierten/Identifikationsmodus betrieben wird, die Steuerung 110 ausgelegt zum Detektieren einer Betriebsdomäne der Vorrichtung 106, Empfangen von Eingangssignalen von der Sensoreinheit 108 entsprechend Gesten der Domäne, Erzeugen der gefilterten Datenmengen 122 aus den Eingangssignalen unter Verwendung des Filtermoduls 120 entsprechend der Domäne und Verarbeiten der gefilterten Datenmengen 122 mittels der Gesten-Engine 124 und Identifizieren der Geste. Die Beschreibung für die Steuerung wie in 1, 2 und 3 erläutert gilt auch für die Vorrichtung 106 und wird hier der Einfachheit halber nicht wiederholt.
-
Gemäß der vorliegenden Erfindung ermöglichen die Steuerung 110 und das Verfahren geringen Stromverbrauch und Speichern von weniger Daten auf der Vorrichtung 106 aufgrund des Filtermoduls 120, bessere Genauigkeit, weniger Latenzzeit, da nur spezifische Eingangssignale von der Sensoreinheit 108 verarbeitet werden (weniger Verarbeitungszeit), wodurch fokussierte Operationen erreicht werden. Dem Benutzer 102 wird die Option gegeben, die Domänengesten auszuwählen, um die Trainingsbedürfnisse zu minimieren. Das Filtermodul 120 führt automatisch Fensterung für die ausgewählte Domäne während des Trainingsmodus und trainierten Modus aus. Die Vorrichtung 106 umfasst den Trainingsmodus, der das Training neuer Gesten zur Steuerung der Vorrichtung 116 ermöglicht. Die Vorrichtung 106 umfasst ein dreidimensionales Gestenwiedergabemerkmal, das sowohl im Trainingsmodus als auch im trainierten Modus verfügbar ist. Im Trainingsmodus wird die Animation auf dem Bildschirm 114 wiedergegeben, und selbige wird auch zu der Vorrichtung 116 transferiert, die gesteuert wird, um den Effekt der tatsächlichen Interaktion, die auf dem Bildschirm 114 vorgenommen wird, hervorzubringen.
-
Es versteht sich, dass in der obigen Beschreibung erläuterte Ausführungsformen lediglich beispielhaft sind und den Schutzumfang der vorliegenden Erfindung nicht beschränken. Es werden viele solche Ausführungsformen und andere Modifikationen und Änderungen in der in der Beschreibung erläuterten Ausführungsform in Betracht gezogen. Der Schutzumfang der Erfindung wird nur durch den Schutzumfang der Ansprüche beschränkt.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
