DE102008043255A1 - Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung - Google Patents

Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung Download PDF

Info

Publication number
DE102008043255A1
DE102008043255A1 DE102008043255A DE102008043255A DE102008043255A1 DE 102008043255 A1 DE102008043255 A1 DE 102008043255A1 DE 102008043255 A DE102008043255 A DE 102008043255A DE 102008043255 A DE102008043255 A DE 102008043255A DE 102008043255 A1 DE102008043255 A1 DE 102008043255A1
Authority
DE
Germany
Prior art keywords
input device
sensor
data processing
weights
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102008043255A
Other languages
English (en)
Inventor
Leopold Beer
Peter Moeller
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102008043255A priority Critical patent/DE102008043255A1/de
Priority to PCT/EP2009/062012 priority patent/WO2010049213A2/de
Publication of DE102008043255A1 publication Critical patent/DE102008043255A1/de
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Feedback Control In General (AREA)

Abstract

Es wird ein Verfahren zum Betrieb einer Eingabevorrichtung als Mensch-Maschine-Schnittstelle vorgeschlagen, wobei mittels der Eingabevorrichtung eine Datenverarbeitungsvorrichtung gesteuert wird, wobei mittels wenigstens eines Sensors Sensorsignale der Eingabevorrichtung ermittelt werden, wobei mittels einer Auswerteeinheit Steuersignale in Abhängigkeit der Sensorsignale erzeugt werden und wobei mittels einer Ausgabeeinheit die Steuersignale an die Datenverarbeitungsvorrichtung geleitet werden und wobei ferner die Steuersignale in der Auswerteeinheit mittels eines neuronalen Netzwerkes erzeugt werden.

Description

  • Stand der Technik
  • Die Erfindung geht aus von einem Verfahren zum Betrieb einer Eingabevorrichtung nach dem Oberbegriff des Anspruchs 1.
  • Solche Verfahren sind allgemein bekannt. Beispielsweise geht aus der Druckschrift DE 101 10 428 A1 ein Verfahren zum Ausführen einer Objektverfolgung hervor, wobei mittels einer Inertialsensoren umfassenden und auf einer flächenhaften Unterlage bewegbaren Eingabevorrichtung, beispielsweiser einer Computermaus, Beschleunigungsmessdaten ermittelt werden, wobei aus diesen Beschleunigungsmessdaten Positionsdaten über die Bewegung der Eingabevorrichtung errechnet werden, die angezeigt oder in beliebiger Weise weiterer Datenverarbeitung zugeführt oder zu Steuerungsprozessen verwendet werden können, wobei während der Ausführung des Verfahrens erkannt wird, wenn sich die Eingabevorrichtung in Ruhe befindet und wobei eine Schwellwertprüfung für die ermittelten Beschleunigungsmessdaten durchgeführt wird, um zu erkennen, ob die Beschleunigungsmessdaten innerhalb oder außerhalb eines Schwellwertbereichs liegen, wobei ein Ruhen der Eingabevorrichtung angenommen wird, wenn die ermittelten Beschleunigungsmessdaten über eine vorgebbare Kalibrierzeitdauer innerhalb des Schwellwertbereichs liegen, wobei aus den ermittelten Beschleunigungsmessdaten, die während der vorgebbaren Kalibrierzeitdauer innerhalb des Schwellwertbereichs liegen (Ruhen der Eingabevorrichtung), ein Mittelwert errechnet wird, dass der errechnete Mittelwert als Offset zur Feinkorrektur von Beschleunigungsmessdaten herangezogen wird. Nachteilig an diesem Verfahren ist, dass die Auswertung der Beschleunigungsmessdaten einen vergleichsweise hohen Rechenaufwand erfordert, wodurch eine bauraumkompakte, stromsparende und kostengünstige Integration eines derartigen Verfahrens in eine kom pakte Eingabevorrichtung nicht möglich ist. Ferner sind Auswertungen von Beschleunigungsmessdaten, welche durch vergleichsweise komplexe Bewegungsmuster erzeugt werden, nicht möglich.
  • Offenbarung der Erfindung
  • Das erfindungsgemäße Verfahren zum Betrieb einer Eingabevorrichtung und die erfindungsgemäße Eingabevorrichtung gemäß den nebengeordneten Ansprüchen haben gegenüber dem Stand der Technik den Vorteil, dass einerseits keine vergleichsweise komplexen Algorithmen zur Auswertung der Sensorsignale notwendig sind und andererseits gleichzeitig eine Adaption der Auswertung an das Benutzungsschema der Eingabevorrichtung ermöglicht wird, d. h. das Neuronale Netzwerk ist auf die optimale Auswertung der Sensorsignale in vergleichsweise einfacher Weise flexibel trainierbar. Diese Trainierbarkeit der Auswerteeinheit führt darüberhinaus zu einer erheblichen Kostenersparnis bei der Fertigung der Eingabevorrichtung, da die Auswertung der Sensorsignale nicht starr auf den Absolutwerten der Sensorsignale basiert, sondern sich flexibel auf das Muster der Sensorsignale, im Folgenden auch als Signalmuster bezeichnet, einstellt und daher im Vergleich zum Stand der Technik auf einen kostenintensiven Abgleich der Sensoren während der Fertigung verzichtet werden kann. Ferner sind durch die Auswertung der Sensorsignale mit einem Neuronalen Netzwerkes im Gegensatz zum Stand der Technik vergleichsweise komplexe Signalmuster einfach zu identifizieren, ohne dass rechenintensive Mikroprozessoren mit hohem Leistungsbedarf benötigt werden. Durch die parallele Datenverarbeitung in einem Neuronalen Netzwerk ist zudem eine deutlich schnellere Auswertung der Steuersignale erzielbar. Besonders bevorzugt ist vorgesehen, dass ein Benutzer der Eingabevorrichtung das Neuronale Netzwerk selbst trainiert und somit auf sein persönliches Bewegungsprofil anpasst. Dabei ”erkennt” das Neuronale Netzwerk insbesondere bestimmte Bewegungen der Eingabevorrichtung durch den Benutzer und steuert die Datenverarbeitungsvorrichtung entsprechend in Abhängigkeit dieser erkannten Bewegung. Beispielsweise umfasst die Eingabevorrichtung einen Gamecontroller zur Simulation eines Tennisschlägers für ein auf einer Spielkonsole laufendes Tennissimulationsprogramm, wobei die Datenverarbeitungsvorrichtung die Spielkonsole umfasst. Die Auswerteeinheit wertet nun die Sensorsignale aus, um spezielle Signalmuster, d. h. insbesondere Bewegungsmuster wie beispielsweise einen Aufschlag, einen Vorhandschlag, Rückhandschlag, ei nen Schmetterschlag oder einen Volley, zu erkennen und die Spielkonsole entsprechend zu steuern. Im Gegensatz zum Stand der Technik werden dabei durch die Flexibilität des Neuronalen Netzwerkes auch ”ähnliche” Signalmuster von der Auswerteeinheit richtig identifiziert. Besonders bevorzugt ist ferner vorgesehen, dass der Benutzer der Eingabevorrichtung vor dem eigentlichen Tennisspiel die verschiedenen Schläge in einem Trainingsmodus mehrfach ausführt und die entsprechenden Signalmuster in die Auswerteeinheit eingespeichert werden, so dass das Neuronale Netzwerk vom Benutzer programmiert und/oder automatisch trainiert wird und kein komplexer Algorithmus zur Erkennung der Signalmuster entwickelt werden muss. Durch die Trainierbarkeit bzw. durch das Erkennen von ”Ähnlichkeiten” ist beispielsweise eine unterschiedliche Adaption der Auswertung zwischen Linkshändern und Rechtshändern möglich. Ganz besonders bevorzugt ist das personalisierte, d. h. auf einen Benutzer optimierte, Neuronale Netzwerk in der Eingabevorrichtung abgespeichert, so dass mit der gleichen auf den Benutzer optimierten Eingabevorrichtung auch andere Datenverarbeitungsvorrichtungen steuerbar sind. Der Begriff Eingabevorrichtung als Mensch-Maschine-Schnittstelle umfasst im Sinne der vorliegenden Erfindung insbesondere, dass die Datenverarbeitungsvorrichtung durch die Benutzung der Eingabevorrichtung durch einen Benutzer mittelbar oder unmittelbar steuerbar ist.
  • Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind den Unteransprüchen, sowie der Beschreibung unter Bezugnahme auf die Zeichnungen zu entnehmen.
  • Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass mittels des Sensors Sensorsignale ermittelt werden, welche von einer Beschleunigung und/oder einer Drehrate der Eingabevorrichtung abhängig sind. Besonders vorteilhaft umfasst der wenigstens eine Sensor einen Inertialsensor, insbesondere einen Beschleunigungs- und/oder Drehratensensor, wobei vorzugsweise ein 2- oder 3-kanaliger Inertialsensor Verwendung findet. Besonders vorteilhaft ist somit die Datenverarbeitungsvorrichtung mittels einer ein-, zwei- oder dreidimensionalen Bewegung der Eingabevorrichtung im Raum steuerbar. Besonders bevorzugt ist vorgesehen, dass die Eingabevorrichtung einen dreikanaligen Drehratensensor und einen dreikanaligen Beschleunigungssensor umfasst, so dass jegliche Rotations- und Translationsbewegungen der Eingabevorrichtung von der Auswertein heit auszuwerten sind und zur Steuerung der Datenverarbeitungsvorrichtung nutzbar sind.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass mittels des Sensors Sensorsignale ermittelt werden, welche von einem Druck auf einen drucksensitiven Bereich der Eingabevorrichtung abhängig sind. Besonders bevorzugt sind somit mechanische Tasten bzw. Druckknöpfe auf der Eingabevorrichtung realisierbar, welche vorzugsweise zusätzlich zur Bewegung der Eingabevorrichtung zur Steuerung der Datenverarbeitungsvorrichtung vorgesehen sind. Besonders bevorzugt sind die Sensorsignale abhängig von der Größe des Drucks auf den drucksensitiven Bereich.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass in der Auswerteeinheit Signalmuster und insbesondere Bewegungsmuster in Abhängigkeit der Sensorsignale ermittelt werden, wobei die Steuersignale zumindest teilweise in Abhängigkeit der Signalmuster und insbesondere der Bewegungsmuster erzeugt werden. Neuronale Netze eignen sich vergleichsweise gut zur Erkennung von Mustern, da Neuronale Netze in der Lage sind ”Ähnlichkeiten” in Mustern zu identifizieren bzw. zu charakterisieren und darüberhinaus durch ”Training” flexibel an veränderte Eingangsparameter anpassbar sind. Besonders vorteilhaft wird das Neuronale Netzwerk zur Erkennung von Signalmustern in den Sensorsignalen genutzt, so dass mit einem vergleichsweise geringen Schaltungsaufwand und im Vergleich zum Stand der Technik erheblich schneller in einer komplexen Vielzahl von miteinander korrelierten Sensorsignalen bestimmte Signalmuster identifizierbar sind, welche in die Steuerung der Datenverarbeitungsvorrichtung miteinbezogen werden. In Anlehnung an das oben genannte Beispiel ist beispielsweise der Bewegungsablauf der Eingabevorrichtung bei der Ausführung eines Tennisaufschlags vergleichsweise komplex und unterscheidet sich vergleichsweise stark bei verschiedenen Benutzern, so dass die Erkennung eines für einen Tennisaufschlag typischen Signalmusters in der Vielzahl von Sensorsignalen bei einer sequentiellen Auswertung der Sensorsignale mit ”herkömmlicher” Computertechnologie entsprechend leistungs- und zeitintensiv wäre.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das Neuronale Netzwerk einen Satz von Gewichten umfasst, wobei die Steuersignale in Abhängigkeit des Satzes von Gewichten erzeugt werden. Ein neuronales Netz werk besteht insbesondere aus einer Vielzahl von Knotenpunkten, welche jeweils miteinander verbunden sind, wobei die Verbindungen und/oder die Knotenpunkte jeweils eine Gewichtung aufweisen. Die Funktionalität des Neuronalen Netzes ist in erster Näherung durch die Verteilung der Gewichtungen gegeben. Besonders vorteilhaft werden die Steuersignale in Abhängigkeit des Satzes von Gewichten erzeugt, so dass das Neuronale Netzwerk ein Höchstmaß an Leistungsfähigkeit gewährleistet. Der Satz von Gewichten ist vorzugsweise in der Eingabevorrichtung dauerhaft und/oder temporär gespeichert. Besonders bevorzugt ist vorgesehen, dass in der Eingabevorrichtung einer Mehrzahl von Sätzen von Gewichten abspeicherbar sind, so dass einer Mehrzahl von Benutzern der Eingabevorrichtung jeweils ein Satz von Gewichten zuzuordnen ist.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der Satz von Gewichten voreingestellt wird und/oder in Abhängigkeit der Sensorsignale erzeugt wird und/oder in Abhängigkeit der Sensorsignale modifiziert wird. Besonders bevorzugt wird der Satz von Gewichten in einem ”Trainingsmodus” hergestellt, so dass bei der Fertigung der Eingabevorrichtung kein komplexer Algorithmus zur Erkennung von Signalmustern entwickelt werden muss und somit die Entwicklungskosten in erheblicher Weise reduzierbar sind. Ferner ist besonders vorteilhaft die Modifikation des Satzes von Gewichten während der Benutzung der Eingabevorrichtung vorgesehen, so dass das Neuronale Netzwerk trainiert wird und eine Qualitätssteigerung bzw. eine fortschreitende Individualisierung der Funktionalität der Auswerteeinheit während der Benutzung durch einen bestimmten Benutzer ermöglicht wird. Besonders bevorzugt wird ein Training des Neuronalen Netzwerks in einem Trainingsmodus durchgeführt, wobei einem Benutzer durch die Datenverarbeitungsvorrichtung, insbesondere auf einem Display, sequentiell verschiedene Bewegungsabläufe angezeigt werden und das Neuronale Netzwerk nach der entsprechenden Nachahmung der Bewegungsabläufe durch den Benutzer die entsprechenden Signalmuster erlernt bzw. trainiert.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Steuer- und/oder Sensorsignale in Abhängigkeit des Satzes von Gewichten kalibriert werden und/oder dass die Empfindlichkeit der Sensorsignalerfassung in Abhängigkeit des Satzes von Gewichten eingestellt wird. Besonders vorteilhaft wird die Eingabevorrichtung bzw. die Auswerteinheit im Trainingsmodus kalibriert, so dass ein vergleichsweise kostenintensiver Abgleich der Sensoren während der Fertigung der Eingabevorrichtung einsparbar ist.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass der Satz von Gewichten in Abhängigkeit eines Feedbacks von der Datenverarbeitungsvorrichtung modifiziert wird. Besonders vorteilhaft wird in einem Testmodus das richtige Erkennen von Signalmustern durch die Auswerteeinheit verifiziert, wobei der Benutzer einen vorgegebenen Bewegungsablauf durchführt, die Auswerteeinheit eine entsprechende Auswertung der Sensorsignale vornimmt und die entsprechenden Steuersignal an die Datenverarbeitungsvorrichtung leitet. In der Datenverarbeitungsvorrichtung wird die Auswertung visualisiert, wobei anschließend der Benutzer durch die Eingabevorrichtung oder durch weitere Eingabemittel der Datenverarbeitungsmittel ein Feedback über die Qualität der Auswertung abgibt. Mittels dieses Feedbacks wird in der Auswerteeinheit die Neugewichtung des Satzes von Gewichten fortgesetzt oder rückgängig gemacht. Die Auswertung durch das Neuronale Netzwerk ist somit durch ”Trial und Error”-Zyklen im Testmodus beständig verbesserbar.
  • Ein weiterer Gegenstand der vorliegenden Erfindung ist eine Eingabevorrichtung zur Steuerung einer Datenverarbeitungsvorrichtung, wobei die Eingabevorrichtung eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung umfasst, wobei die Eingabevorrichtung wenigstens einen Sensor zur Erzeugung von Sensorsignalen, eine Auswerteinheit zur Erzeugung von Steuersignalen in Abhängigkeit der Sensorsignale und eine Ausgabeeinheit zur Ausgabe der Steuersignale an die Datenverarbeitungsvorrichtung aufweist und wobei ferner die Auswerteinheit ein Neuronales Netzwerk umfasst. Wie oben bereits detailiert ausgeführt, ermöglicht die Ausbildung der Auswerteeinheit als Neuronales Netzwerk im Vergleich zum Stand der Technik besonders vorteilhaft eine Reduktion der Herstellungskosten der Eingabevorrichtung, sowie eine effiziente Auswertung von komplexen Sensorsignalen und insbesondere von komplexen Muster von Sensorsignalen mit einem vergleichsweise geringen Rechen- und Leistungsaufwand. Darüberhinaus ist die Auswertung der Sensorsignale trainierbar und somit besonders flexibel einsetzbar bzw. im Hinblick auf einen bestimmten Benutzer individualisierbar.
  • Gemäß einer bevorzugten Weiterbildung ist vorgesehen, dass der Sensor einen Inertialsensor, insbesondere einen Beschleunigungs- und/oder Drehratensensor, und/oder einen Drucksensor umfasst, so dass in vorteilhafter Weise die Datenverarbeitungsvorrichtung durch einen Benutzer per Rotations- und/oder Translationsbewegungen der Eingabevorrichtung, insbesondere jeweils in allen drei Raumrichtungen, und/oder Druckbelastungen der drucksensitiven Bereiche, ähnlich wie beispielsweise bei Schaltern und Tasten, intuitiv steuerbar ist.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass das Neuronale Netzwerk ein software- und/oder hardwarebasiertes Neuronales Netzwerk umfasst. Besonders vorteilhaft ermöglicht die Implementierung des Neuronalen Netzwerks in die Auswerteeinheit als hardwarebasiertes, insbesondere ”hardwired”, Neuronales Netzwerk eine Verringerung der Leistungsaufnahme und eine Reduzierung der Herstellungskosten, da vergleichsweise aufwändige und kostenintensive Mikroprozessoren einsparbar sind. Gleichzeitig wird die Auswertungsgeschwindigkeit durch die parallele Informationsverarbeitung in einem hardwarebasierten Neuronalen Netzwerk in erheblicher Weise erhöht. Aufgrund der Einsparung von leistungsintensiven Mikroprozessoren ist zudem eine Kühlung der Auswerteeinheit einsparbar. Auf der anderen Seite ermöglicht ein softwarebasiertes Neuronales Netzwerk die Verwendung von Standardhalbleiterbauteilen, wie Mikroprozessoren, so dass vergleichsweise kostenintensiv und aufwändig herzustellende ASIC's zur Implementierung hardwarebasierter Neuronaler Netzwerke einsparbar sind. Ferner sind softwarebasierte Neuronale Netzwerke im Gegensatz zu hardwarebasierten Neuronalen Netzwerken nachträglich modifizierbar.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Eingabevorrichtung einen Speicher und insbesondere eine Lookup-Tabelle zur Speicherung wenigstens eines Satzes von Gewichten aufweist, wobei vorzugsweise einem bestimmten Benutzer der Eingabevorrichtung ein bestimmter Satz von Gewichten zugeordnet vorgesehen ist, so dass der bestimmte Satz von Gewichten besonders vorteilhaft individuell auf die Bewegungscharakteristik der entsprechenden Person optimierbar ist.
  • Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die Eingabevorrichtung ein portables elektrisches und/oder elektronisches Gerät und in sbesondere eine Computermaus, einen Joystick, einen Gamecontroller, einen Laserpointer, eine Tastatur und/oder ein Telefon umfasst und/oder dass die Datenverarbeitungsvorrichtung einen Personalcomputer, eine Spielkonsole, ein Sportgerät und/oder ein Telefon umfasst.
  • Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
  • Kurze Beschreibung der Zeichnungen
  • Es zeigen:
  • 1 eine schematische Ansicht einer Eingabevorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung und
  • 2 eine schematische Ansicht einer Eingabevorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung.
  • Ausführungsformen der Erfindung
  • In 1 ist eine schematische Ansicht einer Eingabevorrichtung 1 gemäß einer ersten Ausführungsform der vorliegenden Erfindung dargestellt, wobei in 1 die Eingabevorrichtung 1 zur Steuerung einer Datenverarbeitungsvorrichtung 2, als auch die Datenverarbeitungsvorrichtung 2 illustriert sind. Die Eingabevorrichtung 1 umfasst eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung 2, so dass die Datenverarbeitungsvorrichtung 2 von einem menschlichen Benutzer mittels der Eingabevorrichtung 1 mittelbar oder unmittelbar steuerbar ist. Die Eingabevorrichtung 1 weist dazu eine Mehrzahl von Sensoren 3 auf, wobei ein dreikanaliger Beschleunigungssensor 3' zur Sensierung von einer Translationsbewegung der Eingabevorrichtung 1 in eine der drei Raumrichtungen vorgesehen ist, wobei ferner ein dreikanaliger Drehratensensor 3'' zur Sensierung einer Rotationsbewegung um eine der drei Raumrichtungen und wobei ferner ein Drucksensor 3''' zur Sensierung wenigstens eines Druckes auf einen drucksensitiven Bereich 1' (beispielsweise eine Taste oder ein Schalter) der Eingabevorrichtung 1 vorgesehen ist. Die Sensorsignale 30' des Beschleunigungssensors 3', die Sensorsignale 30'' des Drehratensensors 3'' und die Sensorsignale 30''' des Drucksensors 3''' werden von einer Auswerteeinheit 4 ausgewertet, wobei die Auswerteeinheit 4 ein Neuronales Netzwerk 6 (lediglich schematisch bzw. beispielhaft dargestellt) umfasst. Die Auswerteeinheit 4 erzeugt in Abhängigkeit der Sensorsignale 30, 30', 30'', 30''' Steuersignale 40, welche von einer Ausgabeeinheit 5 an die Datenverarbeitungsvorrichtung 2 geleitet werden und zur Steuerung der Datenverarbeitungsvorrichtung 2 vorgesehen sind. Die Funktionalität des Neuronalen Netzwerks 6 wird zumindest teilweise von einem Satz 9 von Gewichten charakterisiert, welcher in einer Lookup-Tabelle 7' eines Speicher 7 in der Eingabevorrichtung 1 abgespeichert wird. Das Neuronale Netzwerk 6 ist vorzugsweise dazu vorgesehen, Signalmuster in den Sensorsignalen 30, 30', 30'', 30''' zu identifizieren und entsprechende Steuersignale 40 in Abhängigkeit der Sensorsignale 30, 30', 30'', 30''' und der Signalmuster zu erzeugen. In einem Trainingsmodus werden vorzugsweise bekannte bzw. durch die Datenverarbeitungsvorrichtung 2 vorgegebene Bewegungsabläufe der Eingabevorrichtung 1 durch den Benutzer zur Programmierung bzw. zum Training des Neuronalen Netzwerkes 6 durchgeführt, so dass der Satz 9 von Gewichten entsprechend erzeugt und/oder angepasst wird (bspw. Perzeptron-Lernregel, Backpropagation). Dieser Satz 9 von Gewichten wird besonders bevorzugt speziell für diesen bestimmten Benutzer im Speicher 7 abgespeichert, wobei im Speicher 7 besonders bevorzugt weitere Sätze 9 von Gewichten für andere Benutzer abgespeichert sind. Bewegungsabläufe, deren charakteristische Signalmuster von dem Neuronalen Netzwerk 6 identifiziert werden, sind beispielsweise eine Bewegung der Eingabevorrichtung 1 auf einer bestimmten Bewegungsbahn im Raum bzw. eine entsprechend gerichtete rotatorische und/oder translative Beschleunigung der Eingabevorrichtung 1 im Raum und/oder eine bestimmten zeitlichen Druckabfolge im drucksensitiven Bereich 1' der Eingabevorrichtung 1 und/oder eine Kombination einer Bewegung auf einer bestimmten räumlichen Bewegungsbahn und einer bestimmte zeitlichen Druckabfolge. Ferner wird vorzugsweise die Empfindlichkeit bei der Auswertung der Sensorsignale 30, 30', 30'', 30''' auf das Signalmuster angepasst. Das Neuronale Netzwerk 6 umfasst insbesondere ein hardwarebasiertes und/oder ein softwarebasiertes Neuronales Netz, wobei die Gewichte insbesondere jeweils die Wichtung zwischen einer Verbindung zweier Neuronen und/oder den Schwellwert eines Neurons umfasst. Besonders bevorzugt ist vorgesehen, dass Verbindungen und/oder Neuronen angepasst, zugefügt und/oder gelöscht werden. In einem bevorzugten Anschauungsbeispiel umfasst die Datenverarbeitungsvorrichtung 2 ein Handy, wobei die Eingabevorrichtung 1 in das Handy integriert ist. Aufgrund von bestimmter mit dem Handy durchgeführter Bewegungen werden bestimmte den Bewegungen zugeordnete Funktionen am Handy gesteuert (”Gesture Recognition”). Alternativ ist denkbar, dass die Eingabevorrichtung 1 in ein Handy integriert ist und die Datenverarbeitungsvorrichtung 2 ein anderes Handy oder ein elektrisches bzw. elektronisches Gerät, wie beispielsweise ein Fernseher, umfasst, so dass mittels der Eingabevorrichtung 1 in Form des Handys das andere Handy oder das elektrische bzw. elektronische Gerät gesteuert wird. In einem anderen Anschauungsbeispiel umfasst die Eingabevorrichtung 1 vorzugsweise einen Gamecontroller für eine Datenverarbeitungsvorrichtung 2 in Form eines Computers oder einer Spielkonsole. Der Gamecontroller stellt besonders bevorzugt beispielhaft einen Tennisschläger dar, während auf der Datenverarbeitungsvorrichtung 2 ein Tennissimulationsprogramm abläuft, wobei von der Auswerteeinheit 4 verschiedene von einem bestimmten Benutzer durchgeführte Bewegungsabläufe des Gamecontrollers von der Auswerteeinheit 4 bestimmten Signalmustern zugeordnet werden. Die Auswerteeinheit 4 wertet die Sensorsignale 30, 30', 30'', 30''' aus, um spezielle Signalmuster, d. h. insbesondere Bewegungsmuster wie beispielsweise einen Aufschlag, einen Vorhandschlag, Rückhandschlag, einen Schmetterschlag oder einen Volley, zu erkennen und den Computer bzw. die Spielkonsole entsprechend zu steuern. Durch die Flexibilität des Neuronalen Netzwerkes werden dabei auch ”ähnliche” Signalmuster von der Auswerteeinheit identifiziert. Besonders bevorzugt ist ferner vorgesehen, dass der Benutzer der Eingabevorrichtung vor dem eigentlichen Tennisspiel die verschiedenen Schläge in einem Trainingsmodus mehrfach ausführt und die entsprechenden Signalmuster in die Auswerteeinheit 4 bzw. in den Speicher 7 in Form des Satzes 9 von Gewichten eingespeichert werden, so dass das Neuronale Netzwerk automatisch trainiert wird. Die genannten Anschauungsbeispiele haben selbstverständlich einen rein beispielhaften Charakter. Analog ist die erfindungsgemäße Eingabevorrichtung 1 ferner zu Steuerung weiterer Sportartensimulationen auf einer Datenverarbeitungsvorrichtung 2, wie zum Beispiel eines Golfsimulators (Eingabevorrichtung 1 in Form eines Golfschläger), Fahrzeugsimulators (Eingabevorrichtung 1 in Form eine Joysticks oder Lenkrads) oder eines Fußballsimulators (Eingabevorrichtung 1 in Form eines Fußballschuhs) etc., als auch zur Steuerung von anderen Programmen auf einer Datenverarbeitungsvorrichtung 2, wie beispielsweise von Standardanwendungen wie MS-Office, Text- und Tabellenkalkulation, CAD-Programmen, Internet, etc. vorgesehen, wobei die Eingabevorrichtung 1 beispielsweise eine Computermaus, einen Laserpointer und/oder einen Trackball umfasst und bestimmte Bewegungsmuster der Eingabevorrichtung bestimmte Funktionen und/oder Programme ausführt. Besonders bevorzugt wird die Eingabevorrichtung 1 als Hilfsmittel zur Steuerung von Datenverarbeitungsvorrichtungen 2 für körperlich und/oder geistig behinderte Personen verwendet, wobei die Datenverarbeitungsvorrichtungen 2 ganz besonders bevorzugt zur Steuerung von Rollstühlen und/oder Notrufgeräten vorgesehen sind.
  • In 2 ist eine schematische Ansicht einer Eingabevorrichtung 1 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung dargestellt, wobei die zweite Ausführungsform im Wesentlichen identisch der ersten Ausführungsform dargestellt in 1 ist, wobei die Sensoren 3, 3', 3'', 3''' der Eingabevorrichtung 1 in einen Gamecontroller integriert sind und wobei die Auswerteeinheit 4, der Speicher 7 und die Datenverarbeitungsvorrichtung 5 in ein Gerät 20, welches einen Computer oder eine Spielkonsole umfasst, integriert sind, wobei das Gerät 20 zusätzlich einen weiteren Speicher 21 für benutzerspezifische Daten aufweist. Ferner wird der Auswerteeinheit 4 die dem Programm zugrunde liegende Software 22 zugeführt, beispielsweise das Computerspiel bzw. das Simulationsprogramm. Die Bewegungsabläufe des Gamecontrollers werden auf einem Bildschirm 23 visualisiert.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • - DE 10110428 A1 [0002]

Claims (13)

  1. Verfahren zum Betrieb einer Eingabevorrichtung (1) als Mensch-Maschine Schnittstelle, wobei mittels der Eingabevorrichtung (1) eine Datenverarbeitungsvorrichtung (2) gesteuert wird, wobei mittels wenigstens eines Sensors (3, 3', 3'', 3''') Sensorsignale (30, 30', 30'', 30''') der Eingabevorrichtung (1) ermittelt werden, wobei mittels einer Auswerteeinheit (4) Steuersignale (40, 40') in Abhängigkeit der Sensorsignale (30, 30', 30'', 30''') erzeugt werden und wobei mittels einer Ausgabeeinheit (5) die Steuersignale (40, 40') an die Datenverarbeitungsvorrichtung (2) geleitet werden, dadurch gekennzeichnet, dass die Steuersignale (40, 40') in der Auswerteeinheit (4) mittels eines Neuronalen Netzwerkes (6) erzeugt werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass mittels des Sensors (3, 3', 3'') Sensorsignale (30, 30', 30'') ermittelt werden, welche von einer Beschleunigung und/oder einer Drehrate der Eingabevorrichtung (1) abhängig sind.
  3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels des Sensors (3, 3''') Sensorsignale (30, 30''') ermittelt werden, welche von einem Druck auf einen drucksensitiven Bereich (1') der Eingabevorrichtung (1) abhängig sind.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Auswerteeinheit (4) Signalmuster und insbesondere Bewegungsmuster in Abhängigkeit der Sensorsignale (30, 30', 30'', 30''') ermittelt werden, wobei die Steuersignale (40, 40') in Abhängigkeit der Signalmuster und insbesondere der Bewegungsmuster erzeugt werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Neuronale Netzwerk (6) einen Satz (9) von Gewichten umfasst, wobei die Steuersignale (40, 40') in Abhängigkeit des Satzes (9) von Gewichten erzeugt werden.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Satz (9) von Gewichten voreingestellt wird und/oder in Abhängigkeit der Sensorsignale (30, 30', 30'', 30''') erzeugt wird und/oder in Abhängigkeit der Sensorsignale (30, 30', 30'', 30''') modifiziert wird.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Steuer- und/oder Sensorsignale (30, 30', 30'', 30''', 40, 40') in Abhängigkeit des Satzes (9) von Gewichten kalibriert werden und/oder dass die Empfindlichkeit der Sensorsignalerfassung in Abhängigkeit des Satzes (9) von Gewichten eingestellt wird.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Satz (9) von Gewichten in Abhängigkeit eines Feedbacks (8) von der Datenverarbeitungsvorrichtung (2) modifiziert wird.
  9. Eingabevorrichtung (1) zur Steuerung einer Datenverarbeitungsvorrichtung (2), wobei die Eingabevorrichtung (1) eine Mensch-Maschine-Schnittstelle für die Datenverarbeitungsvorrichtung (2) umfasst, wobei die Eingabevorrichtung (1) wenigstens einen Sensor (3, 3', 3'', 3''') zur Erzeugung von Sensorsignalen (30, 30', 30'', 30'''), eine Auswerteinheit (4) zur Erzeugung von Steuersignalen (40, 40') in Abhängigkeit der Sensorsignale (30, 30', 30'', 30''') und eine Ausgabeeinheit (5) zur Ausgabe der Steuersignale (40, 40') an die Datenverarbeitungsvorrichtung (2) aufweist, dadurch gekennzeichnet, dass die Auswerteinheit (4) ein Neuronales Netzwerk (6) umfasst.
  10. Eingabevorrichtung (1) nach Anspruch 9, dadurch gekennzeichnet, dass der Sensor (3, 3', 3'', 3''') einen Inertialsensor, insbesondere einen Beschleunigungs- und/oder Drehratensensor (3', 3''), und/oder einen Drucksensor (3''') umfasst.
  11. Eingabevorrichtung (1) nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass das Neuronale Netzwerk (6) ein software- und/oder hardwarebasiertes Neuronales Netzwerk umfasst.
  12. Eingabevorrichtung (1) nach einem der Ansprüche 9 bis 11, dadurch gekennzeichnet, dass die Eingabevorrichtung (1) einen Speicher (7) und insbesondere eine Lookup-Tabelle (7') zur Speicherung eines Satzes (9) von Gewichten aufweist.
  13. Eingabevorrichtung (1) nach einem der Ansprüche 9 bis 12, dadurch gekennzeichnet, dass die Eingabevorrichtung (1) ein portable elektrisches und/oder elektronisches Gerät und insbesondere eine Computermaus, einen Joystick, einen Gamecontroller, einen Laserpointer, eine Tastatur und/oder ein Telefon umfasst und/oder dass die Datenverarbeitungsvorrichtung (2) einen Personalcomputer, eine Spielkonsole, ein Sportgerät und/oder ein Telefon umfasst.
DE102008043255A 2008-10-29 2008-10-29 Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung Withdrawn DE102008043255A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102008043255A DE102008043255A1 (de) 2008-10-29 2008-10-29 Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung
PCT/EP2009/062012 WO2010049213A2 (de) 2008-10-29 2009-09-16 Verfahren zum betrieb einer eingabevorrichtung und eingabevorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102008043255A DE102008043255A1 (de) 2008-10-29 2008-10-29 Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung

Publications (1)

Publication Number Publication Date
DE102008043255A1 true DE102008043255A1 (de) 2010-05-12

Family

ID=42096156

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102008043255A Withdrawn DE102008043255A1 (de) 2008-10-29 2008-10-29 Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung

Country Status (2)

Country Link
DE (1) DE102008043255A1 (de)
WO (1) WO2010049213A2 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109255540B (zh) * 2018-09-19 2021-06-25 深圳市深视智能科技有限公司 神经网络训练方法、激光扫描图像处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110428A1 (de) 2001-03-05 2002-09-12 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Ausführen einer Objektverfolgung

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247137A (en) * 1991-10-25 1993-09-21 Mark Epperson Autonomous computer input device and marking instrument
GB9415627D0 (en) * 1994-08-01 1994-09-21 Marshall James Verification apparatus
FI112706B (fi) * 2000-06-28 2003-12-31 Nokia Corp Menetelmä ja järjestely tiedon syöttämiseksi elektroniseen laitteeseen ja elektroninen laite
FR2826443B1 (fr) * 2001-06-21 2003-10-10 Gilles Cavallucci Procede et dispositif de detection optique de la position d'un objet

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10110428A1 (de) 2001-03-05 2002-09-12 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Ausführen einer Objektverfolgung

Also Published As

Publication number Publication date
WO2010049213A3 (de) 2010-11-25
WO2010049213A2 (de) 2010-05-06

Similar Documents

Publication Publication Date Title
CN110337269B (zh) 基于神经肌肉信号推断用户意图的方法和装置
US9720515B2 (en) Method and apparatus for a gesture controlled interface for wearable devices
DE112018005530T5 (de) IMU-basierter Handschuh
CN101821699B (zh) 涉及脑计算机接口的改进
CN117687477A (zh) 用于可穿戴设备的姿势控制接口的方法和装置
WO2013044893A1 (de) Datenhandschuh mit taktiler rückinformation und verfahren
Pomboza-Junez et al. Hand gesture recognition based on sEMG signals using Support Vector Machines
DE102012025564A1 (de) Vorrichtung und Verfahren zur Kalibration einer kalibrierbaren Gestenerkennungsvorrichtung zur Übermittlung von Kommandos und Informationen an eine Mensch-Maschineschnittstelle
KR20210040626A (ko) 인공 지능을 이용한 자세 감지 장치 및 방법
Wu et al. A control strategy with tactile perception feedback for EMG prosthetic hand
CN109126045A (zh) 智能化运动分析和训练系统
DE102012219129B4 (de) Verfahren zum Betreiben einer Vorrichtung, die eine Benutzerschnittstelle mit einem Berührungssensor aufweist, sowie entsprechende Vorrichtung
Kieliba et al. Neurocognitive consequences of hand augmentation
DE102021208686A1 (de) Steuerung und verfahren zur gestenerkennung und gestenerkennungsvorrichtung
DE112015003279T5 (de) Eingabevorrichtung, Biosensor, Programm, computer-lesbares Medium und Modussetzverfahren
DE102008043255A1 (de) Verfahren zum Betrieb einer Eingabevorrichtung und Eingabevorrichtung
Shpigelman et al. Spikernels: Embedding spiking neurons in inner-product spaces
Thorne et al. Temporal structure in haptic signaling under a cooperative task
Asikainen et al. Influence of small control levers of grapple loader on muscle strain, productivity and control errors
DE112020004273T5 (de) Steuerungsvorrichtung, Steuerungsverfahren und Programm
Dobrea et al. A neuronal model of the 3D head position based on a wearable system
KR20220034149A (ko) 임바디드 에이전트들 내의 메모리
WO2014173390A2 (de) Verfahren zur eingabe von daten und eine dafür geeignete vorrichtung
Bobyr et al. A fuzzy biotechnical control system for Human operator productivity
US20240004469A1 (en) Intelligent human-machine interface and method which can be carried out using same

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20110502