DE212014000212U1 - System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton - Google Patents

System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton Download PDF

Info

Publication number
DE212014000212U1
DE212014000212U1 DE212014000212.5U DE212014000212U DE212014000212U1 DE 212014000212 U1 DE212014000212 U1 DE 212014000212U1 DE 212014000212 U DE212014000212 U DE 212014000212U DE 212014000212 U1 DE212014000212 U1 DE 212014000212U1
Authority
DE
Germany
Prior art keywords
sensors
processing module
data processing
text
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE212014000212.5U
Other languages
English (en)
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of DE212014000212U1 publication Critical patent/DE212014000212U1/de
Expired - Lifetime legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009Teaching or communicating with deaf persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00Teaching, or communicating with, the blind, deaf or mute
    • G09B21/04Devices for conversing with the deaf-blind
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Abstract

Ein System so arrangiert, Bewegungen zu erkennen, die von der Hand und den Fingern durchgeführt werden und sie in Text und/ oder Ton umzuwandeln und entwickelt, um Zeichensprache, die von hör/sprachbehinderten Menschen benutzt wird, zu gesprochener Sprache und/oder Text umzuwandeln oder Handgesten, die für einen bestimmten Zweck verwendet werden, in Ton und/ oder Text umzuwandeln, was zwei Handschuhe beinhaltet, dadurch gekennzeichnet, dass es beinhaltet: • Mindestens 5 Metacarpophalangeal (MCP) Flex-Sensoren (4), • Mindestens 5 Mittelfinger (PIP) Flex-Sensoren, • Mindestens 6 interne Messeinheiten (IMU), die aus einem Beschleunigungsmesser, Magnetometer und Gyroskop bestehen, • Mindestens 4 widerstandsfähigen Touch-Sensoren (9), • Einen Sensorkanal (2) für jeden Finger, die alle Sensoren (4, 5, 6 und 9) und die Sensor-Verbindungskabel zusammenhalten, was die Sensoren vor Flüssigkeiten, Staub und ähnlichen äußeren Faktoren schützt und was die Skelettstruktur des Handschuhs bildet und • Zwei Handschuh-Befestigungsriemen (3) pro Finger, was die Sensorkanäle (2) an den Fingerspitzen sichert, und • Mindestens eine Steuerkarte (8) für jeden Handschuh, welche die Bewegungsdaten sammelt, die von den Sensoren (4, 5, 6 und 9) empfangen werden und sie mittels einer drahtlosen Verbindung an das Datenverarbeitungsmodul (12) überträgt, • Ein Datenverarbeitungsmodul (12), das den Algorithmus bedient, was es ermöglicht, die Daten, die von den Steuerkarten (8) empfangen werden, zu verarbeiten und in Ton und/oder Text umzuwandeln und welcher einen Touchscreen beinhaltet, der die Benutzeroberfläche und alle anderen Systemdaten zeigt und • Ein Datenverarbeitungsmodul-Befestigungsriemen (11), was dem Datenverarbeitungsmodul ermöglicht (12) in der generellen Anwendung der Erfindung an dem Arm befestigt zu werden.

Description

  • Anwendungsbereich der Erfindung
  • Das Thema der Erfindung des Anwendungsbereiches hängt mit einem System zusammen, welches ausgeführte Bewegungen durch die Hand erkennt und diese in Text und/oder Ton umwandelt und ein Paar Handschuhe und mindestens ein entwickeltes Datenverarbeitungsmodul enthält, um von hör/sprachbehinderten Personen benutzte Zeichensprache in gesprochene Sprache und/oder Text umzuwandeln oder Handgesten, die für einen bestimmten Zweck definiert sind, zu Ton und/oder Text umzuwandeln.
  • Stand der Technik der Erfindung
  • Im Stand der Technik, während die Handschuh-Anwendungen bekannt sind, die Handbewegungen erfassen und daraus Signale, Ton und Text schaffen, wiesen diese verschiedenen Anwendungen verschiedene technische Probleme auf.
  • Diese technischen Probleme können wie nachstehend aufgeführt werden:
    • a. Anwendungen, die aus einem einzigen Beschleunigungsmesser an der Hand oder dem Handgelenk bestehen, können nicht alle Fingerbewegungen erkennen.
    • b. Anwendungen, die nur einen Beschleunigungsmesser enthalten, sind nicht in der Lage, Handbewegungen richtig zu erkennen.
    • c. Anwendungen, die aus einem einzigen Handschuh bestehen, sind nicht in der Lage, die gleichzeitige Bewegung beider Hände und die Bedeutung dieser Bewegungen gleichzeitig zu erfassen.
    • d. Eine Mehrheit der Anwendungen besitzt keine Lösung, die in der Ausbildung/Bildung von Handbewegungen verwendet werden können.
    • e. Eine Mehrheit der Anwendungen besitzt keine Lösung, die einen wasserdichten Handschuh bereitstellen.
    • f. Einige der Anwendungen sind Lösungen geschlossener Handschuhe, die keine Benutzerfreundlichkeit bieten.
    • g. Anwendungen, bei denen die Datenübertragung oder Bildschirmeinheiten auf dem Handschuh befestigt werden, haben Schwierigkeiten bei der Verwendung.
    • h. Anwendungen, die keine "Flex-Sensoren" oder "optischen Sensoren" an den Fingern und "widerstandsfähige Touch-Sensoren" in den Fingern beinhalten, sind nicht fähig, alle Fingerbewegungen zu erkennen.
    • i. Einige Anwendungen können nur bestimmte Zeichensprachen erkennen.
    • j. Anwendungen, die keinen Beschleunigungsmesser enthalten, sind nicht in der Lage Handbewegungen zu erkennen.
    • k. Eine Mehrheit der Anwendungen enthält keine grafische Anzeige.
  • Die Erfindungen der Patentdokumente, die unten aufgeführt sind, können nach dem Stand der Technik als Beispiele für Handschuh-Anwendungen zur Verfügung gestellt werden:
    • WO 2004/114107 : Der Inhalt der Erfindung der vorliegenden Erfindung unterliegt Elementen a, b, e, f und g der vorher genannten technischen Probleme, umfasst zwei Handschuhe, jedoch erwähnt nicht die Nutzung von Magnetometern und Gyroskope.
    • US 2010/0023314 : Der Inhalt der Erfindung der vorliegenden Erfindung unterliegt Elementen b, c, d, e, f, g, h, i und k der vorher genannten technischen Probleme. Es legt die Verwendung von NUR zweiachsige Beschleunigungsmessern an jedem Finger vor, anstelle von IMUs. Die Verwendung von Dual-Achsen-Beschleunigungsmessern ergibt die Berechnung der Orientierungsdaten NUR in 2D-Ebenen.
    • MXGT/a/2005/000013 : Der Inhalt der Erfindung der vorliegenden Erfindung unterliegt Elementen c, d, e, f, g, j und k der vorher genannten technischen Probleme.
    • MXPA/a/2003/010271 : Der Inhalt der Erfindung der vorliegenden Erfindung unterliegt Elementen c, d, e, f, g, j und k der vorher genannten technischen Probleme.
    • CN 101430603 : Der Inhalt der Erfindung der vorliegenden Erfindung unterliegt Elementen a, b, c, d, e, f, g und k der vorher genannten technischen Probleme.
    • US7565295B1 : legt ein System offen, das nur Beschleunigungsmesser ohne Flex und Kontaktsensoren beinhaltet.
    • WO97/37340A1 , WO98/50839A2 und CN 101430603A : legt Systeme einschließlich nur bend/flex Sensoren offen, die nicht in der Lage sind, Position und Orientierung der Hände und Finger in 3D-Raum zu erkennen.
    • WO 2011/130752 A1 : zeigt Finger-Maus an den Finger befestigt, um Bewegungen des Fingers zu erkennen und sendet Daten über eine drahtlose Schnittstelle an einen Empfänger.
    • WO 2011/46438 A1 : zeigt ein Bewegungs-Spur-Gerät einschließlich einer Bewegungs-Sensoreinheit und Aktivierungspunkten (Tasten) an den Fingern, die von den Fingern des Benutzers aktiviert werden
  • Kurzbeschreibung und Ziele der Erfindung
  • Der Inhalt der Erfindung der Anwendung besteht aus einem Paar Handschuhe, mit jeweils 2 Flex-Sensoren an jedem der Finger um Gelenkbewegungen zu erfassen, 4 widerstandsfähigen Touch-Sensoren zwischen den Fingern, 6 IMU (Beschleunigungsmesser, Magnetometer, Gyroscope) Module, 1 an jedem Finger und 1 an der Hand, um die Bewegung der Hand und der Finger 3-dimensional zu erkennen und ein Datenverarbeitungsmodul, das einen Algorithmus betreibt, der die Signale aus dem Handschuh empfängt und verarbeitet, um die Bewegungsinformation in Text und/oder Audio umzuwandeln. Auf diese Weise werden alle Bewegungen der Hand und der Finger durch Sensor-Fusions-Algorithmen verarbeitet und mit einem hohen Maß an Genauigkeit erfasst.
  • Die Entwicklung des Systems der Erfindung bezweckt Folgendes anzubieten:
    • • Erkennung gleichzeitiger Bewegung beider Hände,
    • • Fähigkeit des Systems der Erfindung, vordefinierte Zeichen durch die Verwendung einer Touchscreen-Anzeige und Schnittstelle zu erlernen,
    • • das Erhalten eines Handschuhs, der bei allen Wetterbedingungen eingesetzt werden kann,
    • • das Erhalten eines schlanken Design-Handschuhs, bei dem nur die Sensorflächen abgedeckt sind und die Handfläche und Fingerspitzen nicht abgedeckt sind, um die Benutzerfreundlichkeit zu erhöhen,
    • • das Erhalten eines Systems, wobei das grafische Anzeigen-Daten-Verarbeitungsmodul als separate Einheit konzipiert ist, damit der Handschuh leicht ist und und dem Anwender eine modulare Benutzerfreundlichkeit bietet,
    • • Fähigkeit, das Datenverarbeitungsmodul zu tragen, indem es auf dem Arm, dem Handgelenk, der Hüfte oder dem Bein befestigt ist,
    • • Fähigkeit, die Gebärdensprache eines jeden Landes und Gesten von Hand- und Fingerbewegungen zu definieren und zu erkennen,
    • • verschiedene Zeichen und Sprachen mit Hilfe einer Software auf das Datenverarbeitungsmodul zu laden,
    • • ein Datenverarbeitungsmodul zu erhalten, das selbst lernen kann,
    • • das Erhalten eines Systems, das eine Touchscreen-Anzeige beinhaltet, welches dem Benutzer anbietet, das Datenverarbeitungsmodul umzuwandeln, den Modus zu ändern und das Verfolgen der erkannten Zeichen im Text gleichzeitig zu ermöglichen.
  • Definition der Abbildungen, die die Erfindung beschreiben
  • Die Abbildungen, die erstellt wurden, um ein besseres Verständnis des entwickelten Systems über die Erfindung Hand- und Fingerbewegungen in Text und Ton umzuwandeln, sind im Folgenden beschrieben.
  • – Gesamtansicht des Handschuhs der Erfindung.
  • – Gesamtansicht der Sensor Topographie des Handschuhs der Erfindung.
  • – die Layoutansicht des Flex-Sensors des Handschuhs der Erfindung auf dem Daumen.
  • – Layoutansicht des Flex-Sensors des Handschuhs der Erfindung auf den anderen Fingern.
  • – Gesamtansicht des Datenverarbeitungsmoduls als Handgelenkband geformt.
  • Definitionen der Komponenten/Abschnitte/Teile, die die Erfindung bilden
  • Die Komponenten/Abschnitte/Teile sind ersichtlich in den vorbereiteten Abbildungen, um ein besseres Verständnis des entwickelten Systems über die Erfindung Hand- und Fingerbewegungen in Text und Ton umzuwandeln und sind wie unten angegeben separat nummeriert.
    • 1. Handgelenkriemen
    • 2. Sensorkanäle
    • 3. Handschuh-Befestigungsriemen
    • 4. MCP (Metacarpophalangeal) Flex-Sensor
    • 5. PIP (Mittelfinger) Flex-Sensor
    • 6. IMU (Interne Bewegungseinheit)
    • 8. Steuerkarte
    • 9. Widerstandsfähiger Touch-Sensor
    • 10. Touchscreen
    • 11. Datenverarbeitungsmodul-Befestigungsriemen
    • 12. Datenverarbeitungsmodul
  • Detaillierte Beschreibung der Erfindung
  • In seiner generellen Anwendung besteht das System der Erfindung Hand- und Fingergesten in Text und Ton umzuwandeln, aus
    zwei Handschuhen, die jeweils aus
    • • Mindestens 5 MCP Flex-Sensoren (4),
    • • Mindestens 5 PIP Flex-Sensoren,
    • • Mindestens 6 internen Bewegungseinheiten (IMU), bestehend aus einem Beschleunigungsmesser, Magnetometer und Gyroskop,
    • • Mindestens 4 widerstandsfähigen Touch-Sensoren (9),
    • • Einen Sensorkanal (2) für jeden Finger, die alle Sensoren (4, 5, 6 und 9) und die Sensor Verbindungskabel zusammenhalten, was die Sensoren vor Flüssigkeiten, Staub und ähnlichen äußeren Faktoren schützt und was die Skelettstruktur des Handschuhs bildet und
    • • Zwei Handschuh-Befestigungsriemen (3) pro Finger, die die Sensorkanäle (2) an den Fingerspitzen sichern, und
    • • Mindestens eine Steuerkarte (8) für jeden Handschuh, welche die Bewegungsdaten sammelt, die von den Sensoren (4, 5, 6 und 9) empfangen werden, und sie mittels einer drahtlosen Verbindung an das Datenverarbeitungsmodul (12) überträgt,
    • • Ein Datenverarbeitungsmodul (12), der den Algorithmus bedient, was es ermöglicht, die Daten, die von den Steuerkarten (8) empfangen werden, zu verarbeiten und in Ton und/oder Text umzuwandeln und welcher einen Touchscreen beinhaltet, der die Benutzeroberfläche und alle anderen Systemdaten zeigt und
    • • Ein Datenverarbeitungsmodul-Befestigungsriemen (11), was dem Datenverarbeitungsmodul ermöglicht (12), in der generellen Anwendung der Erfindung an dem Arm befestigt zu werden.
  • In der generellen Anwendung der Erfindung;
    • • Der Handgelenk-Riemen (1) ist auf alle Handgelenkgrößen einstellbar, da es die Form eines verstellbaren Riemen hat und aus isoliertem flexiblem Material hergestellt ist, um die Steuerkarte (8) von äußeren Faktoren zu schützen.
    • • Die Sensorkanäle (2) sind aus isoliertem flexiblem Material hergestellt, um alle Sensoren (4, 5, 6 und 9) und die Sensor Verbindungskabel von äußeren Faktoren zu schützen.
    • • Da die Skelettstruktur des Handschuhs aus den Sensorkanälen (2) und dem Handschuh-Befestigungsriemen (3) gebildet ist, umfasst es eine halboffene Handschuhform und somit schränkt es den Benutzer nicht in der Fähigkeit ein, seine Hände zu benutzen.
    • • Die MCP Flex-Sensoren (4) sind an der Spitze jeden Fingers angelegt, die PIP-Flex-Sensoren (5) sind auf der Oberseite der Hand angelegt, um mit den PIP-Knochen zusammenzutreffen, 5 der inneren Bewegungseinheiten (6) sind am Rande der Fingerspitzen Seite jedes MCP-Sensors (4) angeordnet und 1 ist auf der Oberseite der Hand in einer Position angeordnet, um mit dem zentralen Punkt zusammenzukommen und die widerstandsfähigen Touch-Sensoren (9) sind neben den inneren Bewegungseinheiten angeordnet, wo jeder der Finger, außer dem Mittelfinger, miteinander in Kontakt sind.
    • • Der Systemlautsprecher, der es ermöglicht, die Bewegung in Ton umzuwandeln, um auf den Benutzer in einem Tonumfeld übertragen zu werden, ist mit dem Datenverarbeitungsmodul (12) integriert.
    • • Die Bewegungsdaten, die in Text umgewandelt sind, wird an den Benutzer über den Touchscreen (10) übertragen.
  • Die grundlegende Anwendung des Systems der Erfindung besteht aus 3 Grundbetriebsarten:
    • 1. Betriebsmodus: Die Ausgangssensor(4, 5, 6 und 9)-Daten, die von den Handschuhen gesendet werden, werden in der Steuerkarte (8) gesammelt und an das Datenverarbeitungsmodul (12) geleitet; die Daten, die von dem Modul (12) gesammelt werden, werden verarbeitet, die Hand-/Fingerbewegungen werden erfasst und die Worte entsprechend den erkannten Zeichen identifiziert. Wenn die identifizierten Wörter zum Ermitteln einer Zeichensprache verwendet werden, dann sind sie angeordnet, indem sie über natürliche Sprachverarbeitungsverfahren verarbeitet werden. Die verarbeiteten Worte/Sätze werden gleichzeitig über den Touchscreen (10) an den Benutzer übertragen und/oder über den Lautsprecher, der sich an dem Datenverarbeitungsmodul (12) befindet, indem sie in Tonsignale umgewandelt werden. In anderen Anwendungen der Erfindung ist es für die verarbeiteten Wörter und Daten möglich, an verschiedene Schnittstellen mit Hilfe von verschiedenen Komponenten übertragen zu werden, die dem Datenverarbeitungsmodul hinzugefügt werden können (12).
    • 2. Trainingsmodus: Das System der Erfindung kann durch den Touchscreen (10), der auf dem Datenverarbeitungsmodul (12) zu finden ist, für Trainings benutzt werden, die sich auf Gruppenzeichen oder Zeichensprache beziehen. Das System ermöglicht es dem Benutzer durch Anleitung, die Zeichen zu lernen, mit Hilfe von Videos und Text, die die Zeichen zeigen, wenn über den Trainingsmodus die Auswahltasten aus dem Menü auf dem Touchscreen (10) umgeschaltet werden. Darüber hinaus kann diese Funktion auch für das Modul (12) zur Selbstabgleichung entsprechend dem Benutzer verwendet werden, und die Leistung der Erkennung der Zeichen ist erhöht.
    • 3. Lernmodus: Durch Umschalten des Datenverarbeitungsmoduls (12) in den Lernmodus, ist es möglich, bestimmte Bedeutungen bestimmten Zeichen zuzuordnen. In diesem Modus wird der Benutzer durch den Touchscreen (10) angeleitet, die Zeichen richtig und falsch auszuführen, und es ist für das Modul (12) vorgesehen, die Zeichen zu lernen, indem der Benutzer die entsprechende Bedeutung des Zeichens über den Touchscreen (10) eingibt.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • WO 2004/114107 [0004]
    • US 2010/0023314 [0004]
    • MX 2005/000013 [0004]
    • MX 2003/010271 [0004]
    • CN 101430603 [0004]
    • US 7565295 B1 [0004]
    • WO 97/37340 A1 [0004]
    • WO 98/50839 A2 [0004]
    • CN 101430603 A [0004]
    • WO 2011/130752 A1 [0004]
    • WO 2011/46438 A1 [0004]

Claims (20)

  1. Ein System so arrangiert, Bewegungen zu erkennen, die von der Hand und den Fingern durchgeführt werden und sie in Text und/ oder Ton umzuwandeln und entwickelt, um Zeichensprache, die von hör/sprachbehinderten Menschen benutzt wird, zu gesprochener Sprache und/oder Text umzuwandeln oder Handgesten, die für einen bestimmten Zweck verwendet werden, in Ton und/ oder Text umzuwandeln, was zwei Handschuhe beinhaltet, dadurch gekennzeichnet, dass es beinhaltet: • Mindestens 5 Metacarpophalangeal (MCP) Flex-Sensoren (4), • Mindestens 5 Mittelfinger (PIP) Flex-Sensoren, • Mindestens 6 interne Messeinheiten (IMU), die aus einem Beschleunigungsmesser, Magnetometer und Gyroskop bestehen, • Mindestens 4 widerstandsfähigen Touch-Sensoren (9), • Einen Sensorkanal (2) für jeden Finger, die alle Sensoren (4, 5, 6 und 9) und die Sensor-Verbindungskabel zusammenhalten, was die Sensoren vor Flüssigkeiten, Staub und ähnlichen äußeren Faktoren schützt und was die Skelettstruktur des Handschuhs bildet und • Zwei Handschuh-Befestigungsriemen (3) pro Finger, was die Sensorkanäle (2) an den Fingerspitzen sichert, und • Mindestens eine Steuerkarte (8) für jeden Handschuh, welche die Bewegungsdaten sammelt, die von den Sensoren (4, 5, 6 und 9) empfangen werden und sie mittels einer drahtlosen Verbindung an das Datenverarbeitungsmodul (12) überträgt, • Ein Datenverarbeitungsmodul (12), das den Algorithmus bedient, was es ermöglicht, die Daten, die von den Steuerkarten (8) empfangen werden, zu verarbeiten und in Ton und/oder Text umzuwandeln und welcher einen Touchscreen beinhaltet, der die Benutzeroberfläche und alle anderen Systemdaten zeigt und • Ein Datenverarbeitungsmodul-Befestigungsriemen (11), was dem Datenverarbeitungsmodul ermöglicht (12) in der generellen Anwendung der Erfindung an dem Arm befestigt zu werden.
  2. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass es für all Handgelenkgrößen verstellbar ist, und was in der Form eines verstellbaren Riemen (1) ist.
  3. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass der Handgelenkriemen (1) aus isoliertem flexiblem Material hergestellt ist, um die Steuerkarte (8) von äußeren Faktoren zu schützen.
  4. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Sensorkanäle (2) aus isoliertem flexiblem Material hergestellt sind, um alle Sensoren (4, 5, 6 und 9) und die Sensor-Verbindungskabel vor äußeren Faktoren zu schützen.
  5. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Skelettstruktur des Handschuhs ausgebildet durch die Sensorkanäle (2) und die Handschuh-Befestigungsriemen (3) eine halboffene Handschuhstruktur aufweist.
  6. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Metacarpophalangeal (MCP) Flex-Sensoren (4) auf der Oberseite jedes Fingers platziert ist.
  7. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Mittelfinger (PIP) Flex-Sensoren (5) auf der Oberseite der Hand platziert werden und mit dem Mittelfinger(PIP)-Knochen zusammentreffen.
  8. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass 5 der inneren Bewegungseinheiten (6), auf dem Rand der Fingerspitzenseite jedes Metacarpophalangeal (MCP) Sensors (4) angeordnet sind und 1 ist auf der Oberseite der Hand angeordnet, um mit dem zentralen Punkt zusammenzutreffen.
  9. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die widerstandsfähigen Berührungssensoren (9) neben den internen Bewegungseinheiten (6) in den internen Abschnitten angeordnet sind, wo jeder der Finger außer dem Mittelfinger in Kontakt miteinander sind.
  10. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass das Lautsprechersystem, das ermöglicht, dass die Bewegung in Ton umgewandelt wird und in einer Ton-Umgebung an den Benutzer übertragen wird, in das Datenverarbeitungsmodul (12) integriert ist.
  11. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass die Bewegungsdaten in Text umgewandelt werden, was dem Benutzer über den Touchscreen (10) übertragen wird.
  12. Ein System nach Anspruch 1, dadurch gekennzeichnet, dass es drei Betriebsarten enthält: • Betriebsart • Trainingsmodus und • Lernmodus.
  13. Ein System nach Anspruch 12 umfasst in dem Betriebsmodus Steuerkarte (8), um die rohen Sensor(4, 5, 6 und 9)-Daten, die von den Handschuhen gesendet werden, zu sammeln, und Datenverarbeitungsmodul (12) angeordnet, um gesammelte Daten zu verarbeiten
  14. Ein System nach Anspruch 12, wobei die im Betriebsmodus erkannten Wörter zum Erkennen einer Zeichensprache so angeordnet sind, dass sie durch natürliche Sprachverarbeitungsverfahren verarbeitet werden.
  15. Ein System nach Anspruch 12, in dem Betriebsmodus, dadurch gekennzeichnet, dass es einen Touchscreen (10) aufweist, angeordnet um verarbeitetete Wörter/Sätze an den Benutzer zu übertragen
  16. Ein System nach Anspruch 12, in dem Betriebsmodus, dadurch gekennzeichnet, dass ein Lautsprecher auf dem Datenverarbeitungsmodul (12) angeordnet ist, um verarbeitete Wörter/Sätze, umgewandelt zu Tonsignalen, auf den Benutzer zu übertragen.
  17. Ein System nach Anspruch 12, in dem Trainingsmodus, dadurch gekennzeichnet, dass es einen Touchscreen (10) aufweist, welcher auf dem Datenverarbeitungsmodul (12) zu finden ist und für die Ausbildung im Zusammenhang mit Zeichengruppen oder Zeichensprache verwendet wird.
  18. Ein System nach Anspruch 12, in dem Trainingsmodus-Anspruch, dadurch gekennzeichnet, dass das Modul (12) selbst gemäß des Benutzers abgleichend ist.
  19. Ein System gemäß Anspruch 12, in dem Lernmodus, dadurch gekennzeichnet, dass das Datenverarbeitungsmodul (12) so angeordnet ist, um spezifische Bedeutungen spezifischen Zeichen zu zuweisen.
  20. Ein System nach Anspruch 12, in dem Lernmodus, dadurch gekennzeichnet, dass das Modul (12) angeordnet ist, um ein neues Zeichen gelehrt zu bekommen, indem der Benutzer die richtigen und falschen Formen bestimmter Zeichen und der entsprechenden Bedeutung des Zeichens über den Touchscreen (10) eingibt.
DE212014000212.5U 2013-11-07 2014-11-07 System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton Expired - Lifetime DE212014000212U1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
TR2013/12926 2013-11-07
TR201312926 2013-11-07
PCT/TR2014/000448 WO2015116008A1 (en) 2013-11-07 2014-11-07 System of converting hand and finger movements into text and audio

Publications (1)

Publication Number Publication Date
DE212014000212U1 true DE212014000212U1 (de) 2016-06-13

Family

ID=52627549

Family Applications (1)

Application Number Title Priority Date Filing Date
DE212014000212.5U Expired - Lifetime DE212014000212U1 (de) 2013-11-07 2014-11-07 System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton

Country Status (3)

Country Link
US (1) US10319257B2 (de)
DE (1) DE212014000212U1 (de)
WO (1) WO2015116008A1 (de)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015116008A1 (en) * 2013-11-07 2015-08-06 Bavunoglu Harun System of converting hand and finger movements into text and audio
DE102015017432B4 (de) 2014-10-11 2023-12-28 Workaround Gmbh Arbeitskleidungseinheit, Handschuh, Sensormodul sowie bauliche Einheit
KR101541082B1 (ko) * 2015-01-23 2015-08-03 주식회사 네오펙트 손 재활 운동 시스템 및 방법
USD787515S1 (en) * 2015-08-24 2017-05-23 Flint Rehabilitation Devices, LLC Hand-worn user interface device
US11475793B2 (en) 2019-02-24 2022-10-18 Eurica Califorrniaa Method and device for reading, writing, and communication by deafblind users
US11005983B1 (en) * 2019-06-07 2021-05-11 Wei Hu Koh Thin mobile and wearable devices
DE102019118969A1 (de) * 2019-07-12 2021-01-14 Workaround Gmbh Verfahren zum Betreiben eines Sensor- und/oder Informationssystems sowie Sensor- und/oder Informationssystem
CN110491251B (zh) * 2019-08-29 2021-05-28 西安交通大学 一种标准化手语模拟智能手套
FR3116357B1 (fr) * 2020-11-17 2023-05-12 Commissariat A L’Energie Atomique Et Aux Energies Alternatives Interface homme-machine comportant un gant

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037340A1 (en) 1996-03-29 1997-10-09 Fakespace, Inc. Virtual reality glove system with fabric conductors
WO1998050839A2 (en) 1997-04-23 1998-11-12 Modern Cartoons, Ltd. System for data management based on hand gestures
WO2004114107A1 (en) 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
MXPA05000013A (es) 2002-06-20 2005-04-08 Pcbu Services Inc Metodos para preparar eteres, composiciones de eter, sistemas de extincion de incendios que contienen fluoroeter, mezclas y metodos.
MXPA03010271A (es) 2003-11-11 2005-05-13 Inst Politecnico Nacional Sistema traductor del lenguaje de senas a voz.
CN101430603A (zh) 2008-11-26 2009-05-13 东北大学 一种便携实用型手语识别发声装置
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
US20100023314A1 (en) 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
WO2011046438A1 (en) 2009-10-16 2011-04-21 Conway Exploitatie En Beheer B.V. Cooling apparatus, dough preparation apparatus provided with such a cooling apparatus and method for cooling dough products
WO2011130752A1 (en) 2010-04-16 2011-10-20 Mastandrea Nicholas J Wearable motion sensing computing interface

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) * 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
US5047952A (en) * 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US6701296B1 (en) * 1988-10-14 2004-03-02 James F. Kramer Strain-sensing goniometers, systems, and recognition algorithms
WO1994001042A1 (en) * 1992-07-06 1994-01-20 Kramer James F Determination of kinematically constrained multi-articulated structures
US5592401A (en) * 1995-02-28 1997-01-07 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5784430A (en) 1996-04-16 1998-07-21 Northrop Grumman Corporation Multiple station gamma ray absorption contraband detection system
GB9610568D0 (en) * 1996-05-18 1996-07-31 Univ Sheffield Goniometric glove and system
US20010040550A1 (en) * 1998-03-12 2001-11-15 Scott Vance Multiple pressure sensors per finger of glove for virtual full typing
US6744420B2 (en) * 2000-06-01 2004-06-01 Olympus Optical Co., Ltd. Operation input apparatus using sensor attachable to operator's hand
US20020152077A1 (en) * 2001-04-12 2002-10-17 Patterson Randall R. Sign language translator
US7737942B2 (en) * 2001-07-06 2010-06-15 Bajramovic Mark B Computer mouse on a glove
US6564144B1 (en) * 2002-01-10 2003-05-13 Navigation Technologies Corporation Method and system using a hand-gesture responsive device for collecting data for a geographic database
US7862522B1 (en) * 2005-08-08 2011-01-04 David Barclay Sensor glove
US20090278798A1 (en) * 2006-07-26 2009-11-12 The Research Foundation Of The State University Of New York Active Fingertip-Mounted Object Digitizer
US10057676B2 (en) * 2007-04-20 2018-08-21 Lloyd Douglas Manning Wearable wirelessly controlled enigma system
US9607506B1 (en) * 2007-04-20 2017-03-28 Lloyd Douglas Manning Wearable wireless controller
US20090054077A1 (en) * 2007-08-23 2009-02-26 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for sending data relating to a target to a mobile device
US20090054067A1 (en) * 2007-08-23 2009-02-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for gesture-based command and control of targets in wireless network
US9069385B1 (en) * 2009-01-08 2015-06-30 Sprint Communications Company L.P. Communicating physical gestures as compressed data streams
WO2015116008A1 (en) * 2013-11-07 2015-08-06 Bavunoglu Harun System of converting hand and finger movements into text and audio
KR102433382B1 (ko) * 2014-12-08 2022-08-16 로힛 세스 착용가능 무선 hmi 디바이스

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997037340A1 (en) 1996-03-29 1997-10-09 Fakespace, Inc. Virtual reality glove system with fabric conductors
WO1998050839A2 (en) 1997-04-23 1998-11-12 Modern Cartoons, Ltd. System for data management based on hand gestures
MXPA05000013A (es) 2002-06-20 2005-04-08 Pcbu Services Inc Metodos para preparar eteres, composiciones de eter, sistemas de extincion de incendios que contienen fluoroeter, mezclas y metodos.
WO2004114107A1 (en) 2003-06-20 2004-12-29 Nadeem Mohammad Qadir Human-assistive wearable audio-visual inter-communication apparatus.
US7565295B1 (en) 2003-08-28 2009-07-21 The George Washington University Method and apparatus for translating hand gestures
MXPA03010271A (es) 2003-11-11 2005-05-13 Inst Politecnico Nacional Sistema traductor del lenguaje de senas a voz.
US20100023314A1 (en) 2006-08-13 2010-01-28 Jose Hernandez-Rebollar ASL Glove with 3-Axis Accelerometers
CN101430603A (zh) 2008-11-26 2009-05-13 东北大学 一种便携实用型手语识别发声装置
WO2011046438A1 (en) 2009-10-16 2011-04-21 Conway Exploitatie En Beheer B.V. Cooling apparatus, dough preparation apparatus provided with such a cooling apparatus and method for cooling dough products
WO2011130752A1 (en) 2010-04-16 2011-10-20 Mastandrea Nicholas J Wearable motion sensing computing interface

Also Published As

Publication number Publication date
US20160284236A1 (en) 2016-09-29
US10319257B2 (en) 2019-06-11
WO2015116008A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
DE212014000212U1 (de) System der Umwandlung von Hand- und Fingerbewegungen in Text und Ton
CN109313493B (zh) 用于基于手的运动和位置控制计算机的装置
Salchow-Hömmen et al. A tangible solution for hand motion tracking in clinical applications
Gomez-Gil et al. Steering a tractor by means of an EMG-based human-machine interface
Cheng et al. A novel phonology-and radical-coded Chinese sign language recognition framework using accelerometer and surface electromyography sensors
Dunai et al. Human hand anatomy-based prosthetic hand
CN105575219A (zh) 智能手套
CN106527738A (zh) 一种用于虚拟现实系统的多信息体感交互手套系统及方法
WO2016135718A1 (en) Closed loop feedback interface for wearable devices
Rudigkeit et al. AMiCUS—A head motion-based interface for control of an assistive robot
Amin et al. A comparative review on applications of different sensors for sign language recognition
Secciani et al. A novel application of a surface ElectroMyoGraphy-based control strategy for a hand exoskeleton system: A single-case study
CN103794106A (zh) 乐器演奏辅助教学系统
DE112015003789T5 (de) Handschuh zum Sammeln von Daten zur Gebärdensprachenerkennung
US20170113095A1 (en) Device and method for restoring and developing hand functions
WO2004034241A2 (de) Schnell-eingabevorrichtung
CN203680324U (zh) 一种外骨架穿戴式数据手套
Chen et al. A review of myoelectric control for prosthetic hand manipulation
CN211016498U (zh) 手指乐器
Sharma et al. On the use of multi-modal sensing in sign language classification
CN105055120A (zh) 手指伸展器
DE112018002989T5 (de) Sensorsystem, das in einen Handschuh integriert ist
Righi et al. A case study of upper limb robotic-assisted therapy using the track-hold device
Lim et al. Sign-language recognition through gesture & movement analysis (SIGMA)
Du et al. Mechanism Design and Performance Analysis of a Wearable Hand Rehabilitation Robot

Legal Events

Date Code Title Description
R207 Utility model specification
R021 Search request validly filed
R163 Identified publications notified
R150 Utility model maintained after payment of first maintenance fee after three years
R157 Lapse of ip right after 6 years