DE102017113103A1 - Datenhandschuh und System zur Simulation eines Musikinstruments - Google Patents

Datenhandschuh und System zur Simulation eines Musikinstruments Download PDF

Info

Publication number
DE102017113103A1
DE102017113103A1 DE102017113103.5A DE102017113103A DE102017113103A1 DE 102017113103 A1 DE102017113103 A1 DE 102017113103A1 DE 102017113103 A DE102017113103 A DE 102017113103A DE 102017113103 A1 DE102017113103 A1 DE 102017113103A1
Authority
DE
Germany
Prior art keywords
processing unit
finger
electronic control
musical instrument
data glove
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017113103.5A
Other languages
English (en)
Inventor
Sabine Falke
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rud Ibach Sohn & Co KG GmbH
Original Assignee
Rud Ibach Sohn & Co KG GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rud Ibach Sohn & Co KG GmbH filed Critical Rud Ibach Sohn & Co KG GmbH
Priority to DE102017113103.5A priority Critical patent/DE102017113103A1/de
Publication of DE102017113103A1 publication Critical patent/DE102017113103A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/06—Devices for exercising or strengthening fingers or arms; Devices for holding fingers or arms in a proper position for playing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/08—Practice keyboards
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/321—Garment sensors, i.e. musical control means with trigger surfaces or joint angle sensors, worn as a garment by the player, e.g. bracelet, intelligent clothing
    • G10H2220/326—Control glove or other hand or palm-attached control device
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/461—Transducers, i.e. details, positioning or use of assemblies to detect and convert mechanical vibrations or mechanical strains into an electrical signal, e.g. audio, trigger or control signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

Die Erfindung betrifft einen Datenhandschuh mit:
- einem Positionssensor (11) an jedem Finger;
- einem Drucksensor (12) an jedem Finger;
- einem Aktuator (13) an jedem Finger; und
- einem taktil veränderbaren Bereich (14) an jeder Fingerkuppe, welcher die Oberflächenstruktur eines Betätigungselements eines Musikinstruments nachbildet, sowie einen Druck und Gegendruck erzeugen kann.
Ferner betrifft die Erfindung ein System zur Simulation eines Musikinstruments, insbesondere zur Simulation eines Tasteninstruments oder eines Streichinstruments, mit:
- einem Datenhandschuh (10);
- einer Datenbrille (30);
- einer Audio-Ausgabeeinheit (40); und
- einer elektronischen Steuer- und Verarbeitungseinheit (20); wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, basierend zumindest auf Daten des Positionssensors (11) und des Drucksensors (12) ein Betätigungsmuster für den einzelnen Finger zu ermitteln und diesem Betätigungsmuster ein Audiosignal zuzuordnen.

Description

  • Die Erfindung betrifft einen Datenhandschuh und ein System zur Simulation eines Musikinstruments.
  • Unter einem Datenhandschuh wird hierbei ein Eingabegerät in Form eines Handschuhs verstanden, mit dessen Hilfe Bewegungen der Hand und Finger in einen virtuellen Raum übertragen werden. Es ist allgemein bekannt, Objekte der realen Welt im virtuellen Raum nachzubilden. Hierbei liegt eine Schwierigkeit darin, diese Nachbildung so realistisch wie möglich zu gestalten. Insbesondere auf dem Gebiet der virtuellen Nachbildung von Musikinstrumenten besteht der Bedarf, eine möglichst realitätsnahe Nachbildung generieren zu können. Hierzu zählt insbesondere die Möglichkeit, die Betätigung des Musikinstruments derart zu simulieren, dass diese möglichst mit der Betätigung des realen Musikinstruments übereinstimmt. Des Weiteren würde eine realitätsnahe virtuelle Abbildung des Musikinstruments neuartige Möglichkeiten zum Erlernen von Musikinstrumenten bzw. zum Üben von Musikinstrumenten bieten.
  • Der Erfindung liegt die Aufgabe zugrunde, einen Datenhandschuh sowie ein System zur Simulation eines Musikinstruments anzubieten, welche sich zur besonders realitätsnahen Nachbildung eines Musikinstruments eignen.
  • Diese Aufgabe wird durch einen Datenhandschuh mit den Merkmalen des Patentanspruchs 1 und durch ein System zur Simulation eines Musikinstruments mit den Merkmalen des Patentanspruchs 4 gelöst. Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.
  • Erfindungsgemäß weist der Datenhandschuh an jedem Finger einen Positionssensor, einen Drucksensor und einen Aktuator auf. Ferner besitzt der Datenhandschuh einen taktil veränderbaren Bereich an jeder Fingerkuppe, welcher die Oberflächenstruktur eines Betätigungselements eines Musikinstruments nachbildet, sowie insbesondere einen Druck auf die Fingerkuppe und/oder einen Gegendruck gegen die (bewegte) Fingerkuppe ausüben bzw. erzeugen kann, der ein realitätsnahes Spielerlebnis ermöglicht.
  • Durch einen derartigen Datenhandschuh ist es zum einen möglich, die Position bzw. die Bewegung jedes Fingers exakt zu bestimmen und entsprechend exakt in den virtuellen Raum zu übertragen. Des Weiteren ermöglicht der taktil veränderbare Bereich an jeder Fingerkuppe die Nachbildung der Oberflächenstruktur eines Betätigungselements eines Musikinstruments, und ermöglicht auch die Erzeugung eines Drucks und Gegendrucks. Dies wiederum steigert die Realitätstreue.
  • In bevorzugten Ausführungsformen bilden die taktil veränderbaren Bereiche die Oberflächenstruktur einer Taste auf einer Klaviatur oder die Oberflächenstruktur einer Saite nach.
  • Der Positionssensor kann als beliebiger Positionssensor ausgebildet sein, sofern er dazu ausgebildet ist, die räumliche Position des Fingers relativ zu einem Bezugssystem zu erfassen.
  • Der Drucksensor kann als beliebiger Drucksensor ausgebildet sein, sofern er dazu ausgebildet ist, den Druck, mit dem der Finger gegen den Datenhandschuh gedrückt wird, zu erfassen.
  • Der Aktuator kann als beliebiges Aktuatorelement ausgebildet sein, sofern es dazu ausgebildet ist, den sich innerhalb des Datenhandschuhs befindlichen Finger zu bewegen bzw. zumindest einen Bewegungsreiz auszulösen. Mit anderen Worten kann der Aktuator je nach Steuerungszustand eine Bewegung des Fingers verhindern oder den Finger mit einer Bewegung beaufschlagen (Prinzip des Force Feedback). Der Aktuator kann hierbei als einstückiges Aktuatorelement, aber auch aus einer Mehrzahl einzelner Aktuatorelementen ausgebildet sein.
  • Der taktil veränderbare Bereich kann als beliebiges taktil veränderbares Element ausgebildet sein, sofern es dazu ausgebildet ist, den Bereich des Datenhandschuhs, welcher die Fingerkuppe des Benutzers kontaktiert, in taktiler Hinsicht zu verändern (taktiles Feedback). Der taktil veränderbare Bereich besteht mit anderen Worten aus einem Element, dessen Oberflächenstruktur durch Steuerungssignale veränderbar ist (z.B. kann die Oberflächenrauigkeit verändert werden).
  • Die exakte Lage/Position des Positionssensors, des Drucksensors und des Aktuators sind nicht festgelegt, sondern können je nach Bedarf frei am Datenhandschuh gewählt werden, sofern ihre Funktion dadurch nicht beeinträchtigt wird. Beispielsweise kann der Aktuator entweder auf dem oberen Fingerrücken angeordnet sein, aber auch auf der Innenseite des Fingers.
  • In einer weiteren vorteilhaften Ausführungsform weist der Datenhandschuh ferner einen zusätzlichen Positionssensor für die Hand auf. Dieser zusätzliche Positionssensor kann beispielsweise auf dem Handrücken des Datenhandschuhs angeordnet sein. Mit Hilfe dieses zusätzlichen Positionssensors ist es möglich, die Bewegungsform einzelner Finger näher zu bestimmen, z.B. indem aus Lage des Positionssensors der Hand und des Positionssensors des Fingers die Orientierung des Fingers relativ zur Hand ermittelt wird.
  • Das erfindungsgemäße System zur Simulation eines Musikinstruments weist den Datenhandschuh, eine Datenbrille, eine Audio-Ausgabeeinheit und eine elektronische Steuer- und Verarbeitungseinheit auf. Die elektronische Steuer- und Verarbeitungseinheit ist derart ausgebildet, dass diese basierend zumindest auf Daten des Positionssensors und des Drucksensors ein Betätigungsmuster für den einzelnen Finger ermittelt und diesem Betätigungsmuster ein Audiosignal zuordnet.
  • Durch die Berücksichtigung der Daten des Positionssensors und des Drucksensors kann die Art und Weise wie eine Person seine Finger im Datenhandschuh bewegt, exakt erfasst werden und diesem Betätigungsmuster dann ein entsprechendes Audiosignal (welches dem Ton des simulierten Musikinstruments entspricht) ausgegeben werden.
  • Die Datenbrille kann hierbei als beliebige Datenbrille ausgebildet sein, sofern sie dazu ausgebildet ist, im Zusammenwirken mit der elektronischen Steuer- und Verarbeitungseinheit eine visuelle Abbildung eines Musikinstruments vor den Augen des Benutzers zu generieren.
  • Die Audio-Ausgabeeinheit kann als beliebige Audio-Ausgabeeinheit ausgebildet sein, sofern sie dazu ausgebildet ist, im Zusammenwirken mit der elektronischen Steuer- und Verarbeitungseinheit ein Audiosignal auszugeben. Beispiele für eine derartige Audio-Ausgabeeinheit wäre beispielsweise ein Kopfhörer oder eine Lautsprecherbox.
  • In einer vorteilhaften Ausführungsform ist die elektronische Steuer- und Verarbeitungseinheit derart ausgebildet, den Aktuator eines Fingers basierend auf einer vorgegebenen Bewegungsfolge zu betätigen. Auf diese Weise kann der Finger des Benutzers beispielsweise entsprechend einer hinterlegten Bewegungsfolge (z.B. basierend auf den Noten eines Musikstücks) durch den Aktuator bewegt werden. Es ist jedoch auch möglich, dass die vorgegebene Bewegungsfolge einer Bewegungsfolge entspricht, die auf einem weiteren Datenhandschuh erzeugt wird. Auf diese Weise können beispielsweise ein Übender und ein Dritten (z.B. Musiklehrer) ihre jeweiligen Fingerbewegungen gegenseitig nachempfinden.
  • In einer weiteren vorteilhaften Ausführungsform ist die elektronische Steuer- und Verarbeitungseinheit derart ausgebildet, durch ein inkrementelles Betätigen des Aktuators einen Bewegungsreiz zu erzeugen. Mit anderen Worten wird hierbei lediglich ein Bewegungsreiz für einen Finger erzeugt, um den Benutzer den Hinweis zu geben, dass eine Bewegung des Fingers erfolgen soll.
  • In besonders vorteilhafter Weise ist die elektronische Steuer- und Verarbeitungseinheit derart ausgebildet, den Bewegungsreiz zu einem Zeitpunkt zu erzeugen, der um ein definiertes Zeitintervall früher ist als der Zeitpunkt, zu dem der Finger basierend auf der Bewegungsfolge zu bewegen wäre. Dadurch kann erreicht werden, dass der Benutzer zur richtigen Zeit die Fingerbewegung durchführt und dadurch das gewünschte Audiosignal zum richtigen Zeitpunkt auslöst.
  • In einer weiteren vorteilhaften Ausführungsform ist die elektronische Steuer- und Verarbeitungseinheit derart ausgebildet, die Betätigung des Aktuators basierend auf externe Steuerungssignale hin auszuführen. Dadurch kann der Benutzer bei der Bewegung des jeweiligen Fingers unterstützt werden. Beispielsweis kann bei schwierigen Passagen eines Musikstücks durch externe Steuerungssignale eine Unterstützung erfolgen.
  • Die Erfindung ist anhand von Ausführungsbeispielen in den Zeichnungsfiguren weiter erläutert, wobei gleiche Bezugszeichen gleiche bzw. gleichwirkende Komponenten bezeichnen. Es zeigen:
    • 1 ein schematisches Blockschaubild eines Systems zur Simulation eines Musikinstruments; und
    • 2 eine perspektivische Ansicht eines Datenhandschuhs.
  • 1 zeigt ein schematisches Blockschaubild eines Systems zur Simulation eines Musikinstruments. Das System besteht aus den Hauptkomponenten Datenhandschuh 10, elektronische Steuer- und Verarbeitungseinheit 20, Datenbrille 30 und Audio-Ausgabeeinheit 40. Der Datenhandschuh 10 ist in 2 näher dargestellt und weist an jedem Finger einen Positionssensor 11, einen Drucksensor 12, einen Aktuator 13 und einen taktil veränderbaren Bereich 14 an der Fingerkuppe auf. Ferner besitzt der Datenhandschuh 10 auf dem Handrücken eine weiteren Positionssensor 15, welcher die Position der Hand bestimmt.
  • Die Position und Größe der Positionssensoren 11 und 15, der Drucksensoren 12, der Aktuatoren 13 und der taktil veränderlichen Bereiche 14 ist hierbei als rein beispielhaft anzusehen.
  • Die elektronische Steuer- und Verarbeitungseinheit 20 bildet die zentrale Rechen-, Steuer- und Kontrolleinheit und besitzt eine Datenverbindung zum Datenhandschuh 10, zur Datenbrille 30 und zur Audio-Ausgabeeinheit 40. Ferner ist die elektronische Steuer- und Verarbeitungseinheit 20 derart ausgebildet und eingerichtet, unter Verwendung des Datenhandschuhs 10, der Datenbrille 30 und der Audio-Ausgabeeinheit 40 dem Benutzer eine virtuelle (oder augmented oder mixed) Realität zur Verfügung zu stellen, in der der Benutzer durch Bewegung seiner Finger, Hände und Arme im Datenhandschuh 10 ein Musikinstrument betätigen kann, dieses Musikinstrument (und ggf. seine Hand) auf virtueller Weise mit Hilfe der Datenbrille 30 sieht und ein Audiosignal, welches dem virtuell betätigten Musikinstrument entspricht, über die Audio-Ausgabeeinheit 40 hört.
  • In einem ersten Ausführungsbeispiel ist der taktil veränderbare Bereich 14 an jeder Fingerkuppe derart ausgebildet, dass dieser die Oberflächenstruktur von Tasten einer Klaviatur nachbildet. Die elektronische Steuer- und Verarbeitungseinheit 20 ist ferner derart ausgebildet, dass sie die Aktuatoren 13 derart steuert, dass diese das mechanische Verhalten der Tasten einer Klaviatur (z.B. Klaviatur eines Klavier, eines Pianos, einer Orgel, eines Cembalos usw.) nachbildet, beispielsweise durch das Erzeugen eines Drucks und Gegendrucks.
  • In einer weiteren Ausführungsform ist der taktil veränderbare Bereich 14 an jeder Fingerkuppe derart ausgebildet, dass dieser die Oberflächenstruktur von Saiten eins Streichinstruments und ggf. des darunter liegenden Steges nachbildet. Die elektronische Steuer- und Verarbeitungseinheit 20 ist ferner derart ausgebildet, dass sie die Aktuatoren 13 derart steuert, dass diese das mechanische Verhalten von Saiten eines Streichinstruments nachbildet.
  • Mit Hilfe des oben beschriebenen Systems zur Simulation eines Musikinstruments kann der Benutzer beispielsweise folgende Tätigkeiten ausführen:
  • Beispiel „Freies Spiel“
  • Möchte der Benutzer beliebige Klangfolgen auf dem virtuellen Musikinstrument erzeugen, zieht er zunächst den Datenhandschuh 10 an, setzt die Datenbrille 30 auf und setzt die Audio-Ausgabeeinheit 40 auf, falls diese beispielsweise als Kopfhörer ausgebildet ist. Die elektronische Steuer- und Verarbeitungseinheit 20 zeigt auf der Datenbrille 30 ein visuelles Abbild des virtuellen Musikinstruments (z.B. Tasteninstrument oder Streichinstrument) und ein visuelles Abbild seines Unterarmes oder seiner Hand an. Die taktil veränderlichen Bereiche an den Fingerkuppen des Datenhandschuhs bilden die Oberflächenstruktur des Betätigungselements des Musikinstruments nach (z.B. die Taste des Tasteninstruments oder die Saite des Streichinstruments). Die Bewegung seiner Hand bzw. seiner Finger im Datenhandschuh 10 wird durch die elektronische Steuer- und Verarbeitungseinheit 20 detektiert. Außerdem werden durch die Auswertung der Daten der Drucksensoren 12 und der Aktuatoren 13 Betätigungsmuster für die einzelnen Finger ermittelt. Diesem Betätigungsmuster ordnet die elektronische Steuer- und Verarbeitungseinheit 20 ein Audiosignal zu, welches von der Audio-Ausgabeeinheit 40 ausgegeben wird. Anschließend erfolgen die Auswertung des nächsten Betätigungsmusters und eine entsprechende Ausgabe des zugeordneten Audiosignals, bis der Benutzer seine Finger nicht mehr bewegt und somit keine Klangfolge mehr erzeugt.
  • Beispiel „Musikstück spielen“
  • Möchte der Benutzer eine vordefinierte Klangfolge erzeugen (z.B. ein Musikstück spielen), so entspricht die grundsätzliche Vorgehensweise im Wesentlichen der unter dem Beispiel „Freies Spiel“ beschriebenen Vorgehensweise. Zusätzlich ist es jedoch beispielsweise möglich, das gewünschte Musikstück im Vorfeld aus einem Speicher der elektronischen Steuer- und Verarbeitungseinheit 20 auszuwählen und bei Bedarf die Noten über die Datenbrille 30 anzeigen zu lassen. Auch ist es möglich, über die elektronische Steuer- und Verarbeitungseinheit 20 und die Aktuatoren 13 Bewegungsreize auf die Finger zu übertragen, sodass der Benutzer Informationen darüber erhält, wann welcher Finger bewegt werden muss, um das gewünschte Audiosignal zu generieren. Der Bewegungsreiz besteht hierbei insbesondere in einer inkrementellen (kleinen) Betätigung des Aktuators 13.
  • Beispiel „Musikunterricht“
  • Möchte der Benutzer mittels des Systems das Spielen eines (realen) Musikinstruments lernen oder sein Spiel verbessern, so entspricht die grundsätzliche Vorgehensweise hierbei im Wesentlichen der unter dem Beispiel „Musikstück spielen“ beschriebenen Vorgehensweise. Auch hier kann der Benutzer durch die elektronische Steuer- und Verarbeitungseinheit 20 und die Aktuatoren 13 eingebrachte Bewegungsanreize darin unterstützt werden, den richtigen Finger zur richtigen Zeit zu bewegen. Des Weiteren ist es auch möglich, dass die Aktuatoren durch externe Steuerungssignale betätigt werden. Auf diese Weise kann beispielsweise ein vordefiniertes Betätigungsmuster auf die Finger des Benutzers aufgeprägt werden und dem Benutzer dadurch die richtige Spielweise des Musikinstruments dargestellt werden. Auch kann dem Benutzer aus einer in einem elektronischen Speicher abgelegten Musikbibliothek vorhandene Stücke „vorgespielt“ werden, um den Benutzer die korrekten Abläufe darzustellen. Auch können Betätigungsmuster gespeichert werden und Verbesserungsvorschläge oder verbesserte Betätigungsmuster wiedergegeben werden. Die Verbesserungsvorschläge oder verbesserte Betätigungsmuster werden durch eingebaute Algorithmen in der Steuer- und Verarbeitungseinheit berechnet, so dass das System die individuellen Anforderungen eines jeden Spielers erfassen, speichern und progressiv vorhersagen kann. Dies trägt sowohl dem Spielerlebnis, wie auch dem Übungseffekt, positiv bei.
  • In einer Variante des Beispiels kann sowohl der Musiklehrer als auch der Benutzer einen Datenhandschuh 10 besitzen und das Betätigungsmuster des einen kann über die elektronische Steuer- und Verarbeitungseinheit 20 auf den Datenhandschuh 10 des anderen übertragen (synchronisiert) werden. Auf diese Weise kann der Benutzer vom Musiklehrer die korrekten Betätigungsmuster erlernen und der Musiklehrer kann die Schwachpunkte des Benutzers erkennen. Mit anderen Worten kann erreicht werden, dass die Begutachtung und Korrektur und gegebenenfalls ein Instrumenten-Feedback erzielt werden kann, auch wenn der Klavierlehrer nicht körperlich anwesend sein kann. Damit kann unabhängig von der körperlich gleichzeitigen Präsenz sowohl des Übenden (Benutzer) wie auch des Klavierlehrers gemeinsam geübt werden, als ob beide Personen anwesend wären. In diesem Zusammenhang kann beispielsweise auch die Handhaltung beim Instrumentüben durch den Klavierlehrer begutachtet und korrigiert werden, obwohl dieser nicht körperlich anwesend ist.
  • Insgesamt ermöglichen das System zur Simulation eines Musikinstruments und der Datenhandschuh 10 damit eine besonders realitätsnahe virtuelle Nachbildung eines Musikinstruments. Dadurch können das System und der Datenhandschuh als zusätzliches Hilfsmittel beim Erlernen eines (realen) Musikinstruments bzw. zur Verbesserung des Spiels eines (realen) Musikinstruments dienen. Insbesondere ermöglicht der Datenhandschuh 10 mit maximaler Sensibilität ein möglichst intuitives und natürliches Spielverhalten.
  • Bezugszeichenliste
    • 10
    Datenhandschuh
    11
    Positionssensor Finger
    12
    Drucksensor
    13
    Aktuator
    14
    taktil veränderbarer Bereich
    15
    Positionssensor Hand
    20
    Steuer- und Verarbeitungseinheit
    30
    Datenbrille
    40
    Audio-Ausgabeeinheit

Claims (12)

  1. Datenhandschuh (10) mit: - einem Positionssensor (11) an jedem Finger; - einem Drucksensor (12) an jedem Finger; - einem Aktuator (13) an jedem Finger; und - einem taktil veränderbaren Bereich (14) an jeder Fingerkuppe, welcher die Oberflächenstruktur eines Betätigungselements eines Musikinstruments nachbildet, und insbesondere die Erzeugung eines Drucks auf die Fingerkuppe und/oder Gegendrucks gegen die Fingerkuppe ausübt.
  2. Datenhandschuh (10) nach Anspruch 1, wobei der taktil veränderbare Bereich (14) die Oberflächenstruktur einer Taste auf einer Klaviatur nachbildet.
  3. Datenhandschuh (10) nach Anspruch 1, wobei der taktil veränderbare Bereich (14) die Oberflächenstruktur einer Saite nachbildet.
  4. System zur Simulation eines Musikinstruments, insbesondere zur Simulation eines Tasteninstruments oder eines Streichinstruments, mit: - einem Datenhandschuh (10) gemäß einem der Ansprüche 1 bis 3; - einer Datenbrille (30); - einer Audio-Ausgabeeinheit (40); und - einer elektronischen Steuer- und Verarbeitungseinheit (20); wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, basierend zumindest auf Daten des Positionssensors (11) und des Drucksensors (12) ein Betätigungsmuster für den einzelnen Finger zu ermitteln und diesem Betätigungsmuster ein Audiosignal zuzuordnen.
  5. System nach Anspruch 4, wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, den Aktuator (13) eines Fingers basierend auf einer vorgegebenen Bewegungsfolge zu betätigen.
  6. System nach Anspruch 5, wobei die vorgegebene Bewegungsfolge in einem elektronischen Speicher der elektronischen Steuer- und Verarbeitungseinheit (20) hinterlegt ist.
  7. System nach Anspruch 6, wobei die vorgegebene Bewegungsfolge einer Bewegungsfolge entspricht, die auf einem weiteren Datenhandschuh (10) nach einem der Ansprüche 1 bis 3 erzeugt wird.
  8. System nach einem der Ansprüche 4 bis 7, wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, durch ein inkrementelles Betätigen des Aktuators (13) einen Bewegungsreiz zu erzeugen.
  9. System nach Anspruch 8, wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, den Bewegungsreiz zu einem Zeitpunkt zu erzeugen, der um ein definiertes Zeitintervall früher ist als der Zeitpunkt, zu dem der Finger basierend auf der Bewegungsfolge zu bewegen wäre.
  10. System nach einem der Ansprüche 4 bis 9, wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, die Betätigung des Aktuators (13) basierend auf externe Steuerungssignale hin auszuführen.
  11. System nach einem der Ansprüche 4 bis 10, wobei das zugeordnete Audiosignal auf der Audio-Ausgabeeinheit (40), insbesondere auf einem Kopfhörer oder einer Lautsprecherbox, ausgegeben wird.
  12. System nach einem der Ansprüche 4 bis 11, wobei die elektronische Steuer- und Verarbeitungseinheit (20) derart ausgebildet ist, ein virtuelles visuelles Abbild des Musikinstruments und zumindest der das Musikinstrument betätigenden Hand zu erzeugen und auf der Datenbrille (30) auszugeben.
DE102017113103.5A 2017-06-14 2017-06-14 Datenhandschuh und System zur Simulation eines Musikinstruments Withdrawn DE102017113103A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017113103.5A DE102017113103A1 (de) 2017-06-14 2017-06-14 Datenhandschuh und System zur Simulation eines Musikinstruments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017113103.5A DE102017113103A1 (de) 2017-06-14 2017-06-14 Datenhandschuh und System zur Simulation eines Musikinstruments

Publications (1)

Publication Number Publication Date
DE102017113103A1 true DE102017113103A1 (de) 2018-12-20

Family

ID=64457400

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017113103.5A Withdrawn DE102017113103A1 (de) 2017-06-14 2017-06-14 Datenhandschuh und System zur Simulation eines Musikinstruments

Country Status (1)

Country Link
DE (1) DE102017113103A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968055A (zh) * 2022-05-20 2022-08-30 重庆科创职业学院 电子手套同步系统、方法、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1523725B1 (de) * 2002-07-18 2010-09-08 Sony Computer Entertainment Inc. Interaktives tragbares eingabegerät für einen computer
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
US20160259408A1 (en) * 2014-08-22 2016-09-08 Sony Computer Entertainment Inc. Head-Mounted Display and Glove Interface Object with Pressure Sensing for Interactivity in a Virtual Environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1523725B1 (de) * 2002-07-18 2010-09-08 Sony Computer Entertainment Inc. Interaktives tragbares eingabegerät für einen computer
US20150317910A1 (en) * 2013-05-03 2015-11-05 John James Daniels Accelerated Learning, Entertainment and Cognitive Therapy Using Augmented Reality Comprising Combined Haptic, Auditory, and Visual Stimulation
US20160259408A1 (en) * 2014-08-22 2016-09-08 Sony Computer Entertainment Inc. Head-Mounted Display and Glove Interface Object with Pressure Sensing for Interactivity in a Virtual Environment

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAMOVICH, Sergei V., et al. Design of a complex virtual reality simulation to train finger motion for persons with hemiparesis: a proof of concept study. Journal of neuroengineering and rehabilitation, 2009, 6. Jg., Nr. 1, S. 28. *
HWANG, Inwook; SON, Hyungki; KIM, Jin Ryong. AirPiano: Enhancing music playing experience in virtual reality with mid-air haptic feedback. In: World Haptics Conference (WHC), 2017 IEEE. IEEE, 2017. S. 213-218. *
PANDURANGA, H. T.; MANI, C. Sensors for virtual musical environment: A short survey. In: Electrical, Electronics, Communication, Computer, and Optimization Techniques (ICEECCOT), 2017 International Conference on. IEEE, 2017. S. 148-157. *
ZHANG, D., et al. An affordable augmented reality based rehabilitation system for hand motions. In: Cyberworlds (CW), 2010 International Conference on. IEEE, 2010. S. 346-353. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114968055A (zh) * 2022-05-20 2022-08-30 重庆科创职业学院 电子手套同步系统、方法、设备及存储介质

Similar Documents

Publication Publication Date Title
Holland et al. Feeling the beat where it counts: fostering multi-limb rhythm skills with the haptic drum kit
JP6049788B2 (ja) 仮想道具操作システム
EP1319207A2 (de) Frei spezifizierbare echtzeit-steuerung
Palmas et al. Comparison of a gamified and non-gamified virtual reality training assembly task
EP3067874A1 (de) Verfahren und vorrichtung zum testen eines in einem luftfahrzeug zu bedienenden geräts
CN103578302A (zh) 被动式张力感受记忆器
CN107485826B (zh) 基于虚拟现实技术的手部康复训练系统
DE112019004986T5 (de) Informationsverarbeitungsvorrichtung
DE102019204152A1 (de) Fingersatz-Anzeigevorrichtung und Fingersatz-Anzeigeprogramm
WO2019226440A1 (en) A system for simulation of soft bodies
Shafti et al. Playing the piano with a robotic third thumb: assessing constraints of human augmentation
Gerry et al. ADEPT: exploring the design, pedagogy, and analysis of a mixed reality application for piano training
DE102017113103A1 (de) Datenhandschuh und System zur Simulation eines Musikinstruments
Knoblich Bodily and motor contributions to action perception
US10726737B2 (en) Multi-sensory literacy acquisition method and system
DE10258952A1 (de) Eingabevorrichtung für eine elektronische Datenverwaltungseinrichtung
Willemsen et al. DigiDrum: a haptic-based virtual reality musical instrument and a case study
Hara et al. Perceptual illusion in virtual reality using haptic interface
DE112019004528T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
Besnea et al. Integration of a haptic glove in a virtual reality-based environment for medical training and procedures
DE102017003408B4 (de) Verfahren und Bedienhilfe zum Spielen eines Musikstücks
Passalenti et al. No strings attached: Force and vibrotactile feedback in a guitar simulation
Lee Using the personal computer to analyze piano performance.
Sheridan Musings on music making and listening: supervisory control and virtual reality
WO2021239951A1 (de) Handgerät, auswertungssystem sowie verfahren zur auswertung des spiels eines tasteninstruments und computerprogramm dazu

Legal Events

Date Code Title Description
R163 Identified publications notified
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee