EP2396711A2 - Dispositif et procede d'interpretation de gestes musicaux - Google Patents

Dispositif et procede d'interpretation de gestes musicaux

Info

Publication number
EP2396711A2
EP2396711A2 EP10703477A EP10703477A EP2396711A2 EP 2396711 A2 EP2396711 A2 EP 2396711A2 EP 10703477 A EP10703477 A EP 10703477A EP 10703477 A EP10703477 A EP 10703477A EP 2396711 A2 EP2396711 A2 EP 2396711A2
Authority
EP
European Patent Office
Prior art keywords
module
sub
output
gestures
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10703477A
Other languages
German (de)
English (en)
Inventor
Dominique David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FR0950919A external-priority patent/FR2942344B1/fr
Priority claimed from FR0950916A external-priority patent/FR2942345A1/fr
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA, Commissariat a lEnergie Atomique et aux Energies Alternatives CEA filed Critical Commissariat a lEnergie Atomique CEA
Publication of EP2396711A2 publication Critical patent/EP2396711A2/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/375—Tempo or beat alterations; Music timing control
    • G10H2210/385—Speed change, i.e. variations from preestablished tempo, tempo change, e.g. faster or slower, accelerando or ritardando, without change in pitch
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/135—Musical aspects of games or videogames; Musical instrument-shaped game input interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206—Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing

Definitions

  • the present invention provides an answer to these limitations of the prior art by using motion sensor measurements according to at least two axes and a processing of their measurements which allow this precision and thus allow a satisfactory musical rendering.
  • the multimedia content input sub-module comprises a function of partitioning said multimedia time-slot contents that can be used to perform a second confirmation of detection of the significant gestures detected.
  • the input module is able to transmit to the processing module a signal representative of the position of the user in a plane substantially orthogonal to the direction of the detected significant gesture to make a second confirmation.
  • the invention also discloses a method for interpreting significant gestures of a user comprising at least one measurement input step from at least one motion capture set according to at least a first and a second axis, a treatment stage of sampled signals at the output of the input step and an output step adapted to reproduce the musical meaning of said gestures, the signal processing step comprising a sub-step of analysis and interpretation of gesture comprising at least one filtering step, a significant gesture detection function by comparing the variation between two successive values in the sample of at least one of the signals coming from at least the first axis of the set of sensors with at least a first value chosen threshold and a significant gesture detection confirmation function, said method being characterized in that said significant gesture detection confirmation function is able to compare at least one of the signals coming from at least the second axis of the set of sensors with at least a second threshold value chosen.
  • FIG. 3 (3a, 3b) represents a general flowchart of the treatments in one embodiment of the invention using an accelerometer and a magnetometer or a gyrometer;
  • FIG. 12 represents an expanded flowchart of a method for temporally controlling the scrolling of an audio file.
  • a negative sign of the product FDA (n) * FDA (n-1) indicates a zero of the derivative of the filtered signal of the accelerometer and thus detects a strike.
  • An amplitude signal which can be used to control the volume of a MIDI playback (usually in general, the velocity of the notes played) or the playback volume of an audio file.
  • the AirMouse is more accessible at least for the moment to the general public and is therefore of interest from this point of view even if we do not have the finesse of controlling the bimodality.
  • the Airmouse is between the Wii Music and a sensor providing two modes of motion capture.
  • the mouse buttons provide complementary commands to, for example change a sound, or move to the next song, or to operate the pedal of a sampled piano for example.
  • An alternative embodiment consists in using two sensor modules in each of the player's hands, one of the modules being dedicated to the detection of primary keystrokes and the other to the measurement of velocity.
  • the characteristics of the module 720, the input of the signals to be reproduced, the timing control module 730 and the audio output module 740 are described below.
  • the motion sensors of the Motion Pod or Air Mouse type described above are, in the embodiment described here, used to control the scrolling rate of a prerecorded audio file.
  • the processing comprises the detection of a zero of the derivative of the signal at the output of the accelerometer with the measurement of the signal at the output of the magnetometer according to the methods explained above in comments to Figures 3a and 3b.
  • the audio output 740 reproduces the pre-recorded piece of music from the module 720 with the variations of rhythm introduced by the commands of the input module 710 interpreted by the time control processor 730. Any sound reproduction device does the same. case, including headphones, speakers.
  • the audio player of the module 720 starts playing the pre-recorded piece of music at a given rate. This rhythm can for example be indicated by several small prior strikes.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

L'invention s'applique à un dispositif d'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. Des dispositifs de l'art antérieur permettent à un utilisateur de produire de la musique en effectuant des gestes sur un instrument adapté ou en accompagnement d'un contenu musical pré enregistré. Aucun dispositif de l'art antérieur n'est cependant suffisamment fiable et robuste pour assurer un rendu musical satisfaisant. L'invention procure un rendu musical remarquable grâce à l'utilisation de micro capteurs, en particulier des accéléromètres et des magnétomètres ou des gyromètres, et à un traitement adapté des signaux des micro capteurs. En particulier, le traitement utilise une fusion des données en sortie des micro capteurs pour éliminer les fausses alarmes constituées par les mouvements de l'utilisateur sans rapport avec la musique. La vélocité des frappes musicales est également mesurée par le dispositif de l'invention. L'invention permet également le contrôle du défilement de fichiers de musique à reproduire de type mp3 ou wav.

Description

DISPOSITIF ET PROCEDE D'INTERPRETATION DE GESTES MUSICAUX
L'invention concerne le domaine de l'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. En particulier elle concerne un dispositif et un procédé de traitement des signaux représentatifs des mouvements d'un joueur de musique utilisant un instrument ou battant un rythme d'accompagnement. Des dispositifs et procédés à vocation ludique ou d'apprentissage ont été développés pour permettre à un joueur d'instrument de musique utilisant un objet qui simule ledit instrument d'en jouer une partition, le cas échéant couplée avec les partitions d'autres instruments. Les instruments dont l'interprétation est simulée peuvent être une guitare, un piano, un saxophone, une batterie.... Dans de tels dispositifs, les notes de la partition sont générées à partir d'actions du joueur. De tels dispositifs et procédés peuvent utiliser des boutons qui permettent de déclencher des notes, le cas échéant par combinaison des dits boutons. Certains dispositifs tels que la Wll™ Music utilisent aussi une reconnaissance de certains gestes du musicien avec les pressions sur les boutons pour jouer la partition. Le capteur de mouvement de la Wll™ Music étant un capteur optique qui nécessite une référence fixe, ses mesures sont à la fois conditionnées par la position du joueur par rapport à la référence et rudimentaires, ce qui limite considérablement les possibilités d'interprétation. Un rendu musical satisfaisant nécessite en effet une précision élevée de la capture des mouvements du joueur qui sont véritablement destinés à actionner l'instrument. Un tel rendu n'est pas à la portée des dispositifs de l'art antérieur, tels que le brevet US 5,663,514.
La présente invention apporte une réponse à ces limitations de l'art antérieur en utilisant les mesures de capteurs de mouvement selon au moins deux axes et un traitement de leurs mesures qui permettent cette précision et autorisent ainsi un rendu musical satisfaisant.
A cet effet, la présente invention divulgue un dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée de mesures comprenant au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, un module de traitement de signaux échantillonnés en sortie du module d'entrée et un module de sortie apte à reproduire la signification musicale des dits gestes, le module de traitement des signaux comprenant un sous module d'analyse et d'interprétation de gestes comprenant une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit dispositif étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie. Avantageusement, la fonction de filtrage est apte à être exécutée par au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module.
Avantageusement, la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.
Avantageusement, le sous module d'analyse et d'interprétation de gestes comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection. Avantageusement, la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés. Avantageusement, le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre. Avantageusement, le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.
Avantageusement, la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur. Avantageusement, la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur. Avantageusement, le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000 en valeur relative du signal filtré. Avantageusement, le module d'entrée reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif. Avantageusement, le module de traitement des signaux comprend un sous module d'entrée de contenus multimédia pré enregistrés.
Avantageusement, le sous module d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés. Avantageusement, le module d'entrée est apte à transmettre au module de traitement un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation. Avantageusement, le module de sortie comprend un sous-module de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que le module de traitement comprend un sous-module de contrôle temporel des dits signaux préenregistrés, ledit sous-module de reproduction étant apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit sous-module de contrôle temporel est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le sous-module de reproduction et des frappes effectivement entrées dans le sous-module de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit sous- module de contrôle temporel pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie dudit sous-module de reproduction en fonction dudit facteur d'intensité relative des vélocités. Avantageusement, la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur.
Avantageusement, le module d'entrée comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le sous-module de contrôle temporel pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo.
Avantageusement, le sous-module de reproduction comprend une fonction de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.
Avantageusement, la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous-module de reproduction est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
Avantageusement, la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous-module de reproduction est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
L'invention divulgue également un procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, l'étape de traitement de signaux comprenant une sous étape d'analyse et d'interprétation de geste comprenant au moins une étape de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit procédé étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie. Avantageusement, l'étape de sortie comprend une sous-étape de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que l'étape de traitement comprend une sous-étape de contrôle temporel des dits signaux préenregistrés, ladite sous-étape de reproduction étant apte à déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et ladite sous-étape de contrôle temporel étant apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans la sous- étape de reproduction et des frappes effectivement entrées au cours de la sous-étape de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit fichier préenregistré pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie de l'étape de reproduction en fonction dudit facteur d'intensité relative des vélocités.
Un autre avantage de l'invention est qu'elle utilise des micro capteurs (accéléromètres et magnétomètres ou gyromètres) à bas coût. Elle peut être utilisée pour jouer avec les mains et/ou battre la mesure avec les pieds. Elle ne nécessite pas un apprentissage long et peut être utilisée par plusieurs joueurs. Elle peut être utilisée avec un grand nombre de mouvements et d'instruments. Elle peut également être utilisée sans objet simulant un instrument quelconque.
En outre, le dispositif et le procédé de l'invention peuvent être utilisés pour contrôler le rythme de défilement et le volume de reproduction d'un fichier audio mp3 ou wav en assurant un rendu musical satisfaisant. De plus l'invention permet, dans ce mode de réalisation de réaliser le contrôle du défilement des fichiers audio préenregistrés de manière intuitive. De nouveaux algorithmes de contrôle du défilement pourront également être intégrés de manière facile dans le dispositif de l'invention.
L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont :
- La figure 1 représente différends contextes d'emploi de l'invention selon plusieurs modes de réalisation ;
- La figure 2 représente de manière simplifiée une architecture fonctionnelle d'un dispositif d'interprétation de gestes musicaux selon un mode de réalisation de l'invention ;
- La figure 3 (3a, 3b) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre;
- La figure 4 représente un organigramme du filtrage des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ;
- La figure 5 représente un organigramme de la détection de la puissance des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ;
- La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre ; - La figure 7 représente de manière simplifiée une architecture fonctionnelle d'un dispositif de contrôle de la vitesse de défilement d'un fichier audio préenregistré en utilisant le dispositif et le procédé de l'invention ; - Les figures 8a et 8b représentent deux cas de contrôle du défilement d'un fichier audio où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio ;
- La figure 9 représente un organigramme des traitements de la fonction de mesure de la vélocité de la frappe dans un mode de contrôle du défilement d'un fichier audio;
- La figure 10 représente un organigramme général des traitements permettant le contrôle du défilement d'un fichier audio;
- La figure 1 1 représente un détail de la figure 10 qui montre les points de contrôle rythmiques souhaités par un utilisateur d'un dispositif de contrôle du défilement d'un fichier audio ;
- La figure 12 représente un organigramme développé d'un procédé de contrôle temporel du défilement d'un fichier audio.
La figure 1 représente trois modalités 1 10, 120A et 120B d'entrée 10 de gestes musicaux dans un module de traitement 20 pour reproduction par une module de synthèse musicale 30.
Sur la gauche de la figure 1 sont représentées de haut en bas les trois modalités d'entrée 10 de gestes musicaux: - Un musicien 1 10 joue d'une guitare sur laquelle ont été fixés un ou plusieurs capteurs de mouvements tels que des MotionPod™ de Movea™; ce sont alors les mouvements de la guitare qui sont mesurés par les capteurs de mouvement et fournis à l'unité de traitement 20 ; - Un musicien 120A porte directement des capteurs de mouvements du même type sur une partie du corps (main, avant-bras, bras, pied, jambe, cuisse, etc..) ; il peut jouer la partition d'un instrument ou simplement battre un rythme ;
- Un musicien 120B peut également actionner une une GyroMouse™ ou bien une AirMouse™ de Movea qui est une télécommande en trois dimensions comprenant un gyromètre trois axes permettant de contrôler un point en déplacement sur un plan utilisé, offrant la possibilité d'utiliser soit les déplacements du point soit les mesures d'un ou plusieurs axes gyromètres. Un MotionPod comporte un accéléromètre tri axe, un magnétomètre tri axe, une capacité de prétraitement permettant de préformer des signaux à partir des capteurs, un module de transmission radiofréquence des dits signaux au module de traitement lui-même et une batterie. Ce capteur de mouvement est dit « 3A3M » (trois axes d'accéléromètre et trois axes de magnétomètre). Les accéléromètres et magnétomètres sont des microcapteurs du commerce de faible encombrement, de faible consommation et à bas coût, par exemple un accéléromètre trois voies de la société Kionix™ (KXPA4 3628) et des magnétomètres d'HoneyWell™ de type HMC1041 Z (1 voie verticale) et HMC1042L pour les 2 voies horizontales. D'autres fournisseurs existent : Memsic™ ou Asahi Kasei™ pour les magnétomètres et STM™, Freescale™, Analog Device™ pour les accéléromètres, pour ne citer que ceux là. Dans le MotionPod, pour les 6 voies signal, il n'y a qu'un filtrage analogique et ensuite, après conversion analogique numérique (12 bits), les signaux bruts sont transmis par un protocole radiofréquence dans la bande Bluetooth™ (2,4GHz) optimisé pour la consommation dans ce type d'applications. Les données arrivent donc brutes à un contrôleur qui peut recevoir les données d'un ensemble de capteurs. Elles sont lues par le contrôleur et mises a disposition des logiciels. La cadence d'échantillonnage est réglable. Par défaut, elle est fixée à 200 Hz. Des valeurs plus élevées (jusqu'à 3000 Hz, voire plus) peuvent néanmoins être envisagées, permettant une plus grande précision dans la détection de chocs par exemple. Le protocole radiofréquence du MotionPod permet de garantir la mise a disposition de la donnée au contrôleur avec un retard contrôlé, qui ne doit pas dépasser ici 10ms (à 200 Hz), ce qui est important pour la musique.
Un accéléromètre du type ci-dessus permet de mesurer les déplacements longitudinaux selon ses trois axes et, par transformation, des déplacements angulaires (sauf autour de la direction du champ de gravitation terrestre) et des orientations par rapport à un référentiel cartésien en trois dimensions. Un ensemble de magnétomètres du type ci-dessus permet de mesurer l'orientation du capteur auquel il est fixé par rapport au champ magnétique terrestre et donc des déplacements et des orientations par rapport aux trois axes du référentiel (sauf autour de la direction du champ magnétique terrestre). La combinaison 3A3M fournit des informations de mouvement complémentaires et lissées. En fait, dans l'invention on n'exploite que les informations relatives à un des axes, l'axe Z vertical ou un des deux autres axes. On peut donc se contenter en principe d'un capteur mono axe de chacun des types, lorsque deux types de capteurs (accéléromètre et magnétomètre ou accéléromètre et gyromètre) sont utilisés. Dans la pratique, compte tenu de la disponibilité à faible coût de modules de capteurs 3A3M incorporant la transmission et les traitements des six voies, c'est cette approche qui est privilégiée.
D'autres capteurs de mouvement peuvent être utilisés, par exemple une combinaison d'accéléromètre et de gyromètre (capteurs dits « 3A3G ») ou même un gyromètre trois axes seul, comme expliqué plus bas dans la description en commentaire à d'autres figures.
Lorsque plusieurs ensembles de capteurs de mouvement sont utilisés, le contrôleur distant du MotionPod (en entrée du module de traitement 20, 210) réalise la synthèse des signaux des ensembles de capteurs. Un compromis doit être trouvé entre le nombre de capteurs, la fréquence d'échantillonnage des capteurs et l'autonomie en consommation d'énergie des ensembles de capteurs. Dans la suite de la description, on désigne par signal de sortie de l'accéléromètre ou du magnétomètre au singulier indifféremment les sorties du contrôleur selon que les données d'entrée proviennent d'un seul module capteur 3A3M ou d'un ensemble de modules 3A3M synthétisées dans le contrôleur.
La AirMouse comprend deux capteurs de type gyromètre, chacun à un axe de rotation. Les gyromètres utilisés sont de la marque Epson de référence XV3500. Leurs axes sont orthogonaux et délivrent les angles de tangage (yaw ou rotation autour de l'axe parallèle à l'axe horizontal d'un plan situé face à l'utilisateur de la AirMouse) et de lacet (pitch ou rotation autour d'un axe parallèle à l'axe vertical d'un plan situé face à l'utilisateur de la AirMouse). Les vitesses instantanées de pitch et de yaw mesurées par les deux axes gyromètres sont transmises par protocole radiofréquence à un contrôleur du module d'entrée (10) et converties par ledit contrôleur en mouvement d'un curseur dans un écran situé face à l'utilisateur. Dans l'application de l'invention on peut utiliser soit un des signaux de commande du curseur (en Z ou en Y), voire les deux, soit un signal de mesure directe en sortie d'un des axes gyromètres. Les fonctionnalités et l'architecture du module de traitement 20 seront commentées en liaison avec la figure 2.
Un module de sortie 30 reproduit les sons produits par la combinaison de contenus préenregistrés et la capture des gestes musicaux produits par le joueur par l'intermédiaire du module d'entrée 10. Il peut s'agir d'un simple haut-parleur ou d'un synthétiseur.
L'architecture fonctionnelle du dispositif de l'invention est décrite sur la figure 2. On ne revient pas sur les modules 10 et 30. Le module 20 réalise le traitement des signaux reçus du module d'entrée 10 au sein d'un module d'analyse et d'interprétation de gestes 210 dont les sorties sont fournies à un module de calcul des données de contrôle du contenu musical 230. Un contenu multimédia préenregistré est également fourni par un module 220 au module 230. Pour spécifier correctement l'algorithme d'analyse et d'interprétation de la gestuelle musicale implanté dans le module 210, il est nécessaire de prendre en compte la spécificité de la dite gestuelle. En particulier, jouer un morceau de musique de 5 minutes par exemple en battant un tempo moyennement rapide à 120 bpm (beat per minute) se traduit par 600 battements effectués par l'utilisateur. Or, dans un contexte musical, une seule erreur se traduit par une rupture de sens et une perte d'intérêt du dispositif. En cas de fausse alarme, le système détecte des battements inexistants, en cas de non détection évidemment le jeu du morceau est interrompu. Or, en situation d'interprétation musicale par battement de tempo, l'utilisateur adopte une gestuelle d'une part qui lui est propre, d'autre part admettant une certaine variabilité à l'intérieur de sa gestuelle propre. De plus, des phénomènes physiologiques moteurs propres à l'humain, eux-mêmes dépendant de la vitesse de battement se superposent à cette variabilité (on a un mode quasi sinusoïdal à grande vitesse, mais avec de forts rebonds à vitesse lente). Ces constatations entraînent plusieurs conséquences :
- il faut utiliser des algorithmes atteignant une fidélité de l'ordre de 1 pour 1000, une valeur très élevée dans un contexte de variabilité peu connue (mouvement expressif humain) ;
- les seuls accéléromètres ne permettent pas à ce jour d'atteindre une telle performance, pour au moins deux raisons (rebonds en cas de vitesse moyenne ou lente, difficulté à anticiper et donc à produire une information de puissance du mouvement correcte), d'où le choix effectué d'utiliser des capteurs bimodaux ;
- les algorithmes de traitement doivent être très adaptables. De plus, il semble bien que le comportement de l'utilisateur dépend directement de son interaction avec le contenu qu'il interprète. Il est donc nécessaire de prévoir un procédé en situation, c'est-à-dire en mettant le système humain dans une boucle action/perception incluant tous les aspects mis en jeu (contenu, cerveau et cognitif, gestuelle, actionneurs, capteurs...). Pour répondre à ces spécifications, le principe général de traitement mis en œuvre dans le module 210 a les deux caractéristiques suivantes :
- un traitement adaptatif pour éliminer les composantes des signaux présentant des variations lentes ( de l'ordre de la seconde);
- l'utilisation des sorties d'un capteur (un magnétomètre ou un gyromètre) pour détecter une frappe;
- l'utilisation des sorties de l'autre capteur (l'accéléromètre ou une des mesures du gyromètre si ce capteur est utilisé seul), pour mesurer l'intensité de la frappe.
Le module 220 permet d'insérer des contenus préenregistrés de type MIDI (Musical Instrument Digital Interface) venant d'un instrument de musique électronique, audio venant d'un lecteur (MP3 - MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV - WAVeform audio format, WMA - Windows Media Audio, etc .), multimédia, images, vidéo, etc.. par l'intermédiaire d'une interface adaptée. Les sorties du module 220 sont fournies concurremment au module 210 (pour permettre une prise en compte des réactions du joueur de musique) et au module 230 pour être ensuite reproduites en sortie du dispositif de traitement.
Le module 230 permet d'effectuer la synthèse des gestes musicaux interprétés par le module 210 et des contenus préenregistrés en sortie du module 220. Le mode le plus simple consiste à jouer un fragment par exmple codé en MP3 ou de fichier midi (voire de fichier vidéo) chaque fois qu'une frappe est détectée par le module 210, qui va alors chercher séquentiellement les fragments dans le module 220. Ce mode permet de nombreuses applications intéressantes. Il est beaucoup plus souple et puissant que 220 intègre un procédé tel que celui que nous avons divulgué dans la demande n° FR07/55244 ayant pour titre « Système d'interprétation de musique assisté par ordinateur » et ayant pour titulaire l'inventeur de la présente demande. Le dispositif divulgué dans cette invention comprend deux mémoires dont l'une comprend les données musicales qui définissent la totalité des événements musicaux constituant le morceau de musique à interpréter et l'autre la séquence des actions nécessaires pour la reproduction des événements musicaux stockés ainsi que des moyens d'établissement desdites informations musicales par comparaison des données stockées dans la première mémoire des données musicales et la mémoire de la séquence des actions. Dans ce cas, l'utilisateur aura un contrôle complet sur ce qu'il veut jouer et quand, et sur ce qui est laissé à l'initiative de la machine (par exemple un accompagnement).
La figure 3 (découpée en 3a et 3b pour des raisons de lisibilité) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre. Dans la suite de la description relative à cette figure, chaque fois que l'on emploie le mot magnétomètre, on désigne indifféremment un magnétomètre ou un gyromètre. Tous les traitements sont effectués de manière logicielle dans le module 210.
Les traitements comprennent tout d'abord un filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) dont le fonctionnement détaillé est explicité par la figure 4.
Ce filtrage des signaux en sortie du contrôleur des capteurs de mouvement utilise une approche récursive d'ordre 1. Le gain du filtre peut par exemple être fixé à 0,3. Dans ce cas, l'équation du filtre est donnée par la formule suivante :
Output(z(n))=0.3*lnput(z(n-1 )) + 0.7*Output(z(n-1 ))
Où, pour chacune des modalités : z est la lecture de la modalité sur l'axe utilisé ; n est la lecture de l'échantillon courant ; n-1 est la lecture de l'échantillon précédent. Le traitement comporte ensuite un filtrage passe-bas des deux modalités avec une fréquence de coupure inférieure à celle du premier filtre Cette fréquence de coupure inférieur résulte du choix d'un coefficient du deuxième filtre inférieur au gain du premier filtre. Dans le cas choisi dans l'exemple ci- dessus où le coefficient du premier filtre est de 0,3, le coefficient du deuxième filtre peut être fixé à 0,1. L'équation du deuxième filtre est alors (avec les mêmes notations que ci-dessus) : Output(z(n))=0.1 *lnput(z(n-1 )) + 0.9*Output(z(n-1 ))
Ensuite, le traitement comporte une détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre.
On pose les notations suivantes : - A(n) le signal en sortie de l'accéléromètre dans l'échantillon n ;
- AF1 (n) le signal de l'accéléromètre en sortie du premier filtre récursif dans l'échantillon n ;
- AF2(n) le signal AF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n ; - B(n) le signal du magnétomètre dans l'échantillon n ;.
- BF1 (n) le signal du magnétomètre en sortie du premier filtre récursif dans l'échantillon n ;
- BF2(n) le signal BF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n. Alors, l'équation suivante permet de calculer une dérivée filtrée du signal de l'accéléromètre dans l'échantillon n: FDA(n) = AF1 (n) - AF2(n-1 )
Un signe négatif du produit FDA(n) * FDA(n-1 ) indique un zéro de la dérivée du signal filtré de l'accéléromètre et détecte donc une frappe.
Pour chacun de ces zéros du signal filtré de l'accéléromètre, le module de traitement vérifie l'intensité de la déviation de l'autre modalité en sortie filtrée du magnétomètre. Si cette valeur est trop faible, la frappe est considérée non comme une frappe primaire mais comme une frappe secondaire ou ternaire et écartée. Le seuil permettant d'écarter les frappes non primaires dépend de l'amplitude attendue de la déviation du magnétomètre. Typiquement, cette valeur sera de l'ordre de 5/1000 dans les applications envisagées. Cette partie du traitement permet donc d'éliminer les frappes non significatives.
Enfin, pour toutes les frappes primaires détectées, le module de traitement calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre.
On introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : DELTAB(n) = BF1 (n) - BF2(n)
Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante :
VEL(n) = Max {DELTAB(n), DELTAB(p)} - Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical.
Cette partie du traitement est illustrée par la figure 5.
On réalise ainsi un traitement adaptatif car le traitement de la modalité magnétique inclut un centrage du signal. Au signal lui-même on soustrait ses propres variations lentes (voir formule plus haut). Ainsi par exemple, si l'utilisateur se tourne de 60° vers sa droite, les signaux magnétiques reçus seront décalés, mais l'offset correspondant sera retiré par la soustraction en question, ne gardant que les variations rapides dues au rythme musical.
Ce traitement selon l'invention permet d'interpréter sans une seule erreur des morceaux de quelques minutes, avec un contrôle fin à la fois de la vitesse et du volume de jeu, aussi bien lorsque les capteurs sont placés sur la main du joueur ou lorsqu'ils sont situés sur le pied d'un joueur qui bat la mesure avec son pied. Le dispositif de l'invention peut être utilisé tel quel, c'est-à-dire sans aucune calibration, même des magnétomètres (on ne travaille en fait que sur des signaux débarrassés des composantes continues). Il peut cependant être avantageux d'effectuer une calibration en début de jeu, calibration qui peut d'ailleurs être reconduite à chaque frappe. Il faut alors mettre en parallèle le filtrage ayant pour objet de s'affranchir des variations lentes, et cette calibration à chaque frappe. Dans ce cas, il n'est plus nécessaire de filtrer par le second filtre. Au contraire, le fait de calibrer va assurer que dans une position « à peu près » connue de l'utilisateur (au moment de la frappe) le magnétomètre fournit une donnée de référence grâce à la calibration. En quelque sorte, les données sont réalignées par ces calibrations, alors qu'elles l'étaient auparavant par le second filtrage. On peut aussi imaginer de cumuler le deuxième filtrage et la calibration.
Par ailleurs, l'ensemble de ces traitements fournit :
- un signal de déclenchement utilisable pour synchroniser le jeu d'un fichier MIDI, ou pour synchroniser le défilement d'un fichier audio de type MP3, WAV ou WMA, qui est décrit plus loin ;
- un signal d'amplitude, qui peut être utilisé pour commander le volume d'une lecture MIDI (plutôt en général, la vélocité des notes jouées) ou le volume de lecture d'un fichier audio.
La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre. On utilise par exemple comme dispositif d'entrée la AirMouse ou la GyroMouse de Movea (joueur 12OB de la figure 1 ). Le traitement effectué dans le module 210 est comparable au traitement décrit ci-dessus, sauf que nous n'utilisons plus qu'une seule donnée capteur dont on peut en effet considérer de manière approchée qu'elle est physiquement à mi chemin entre la donnée accéléromètre et la donnée magnétomètre qui fournit des angles absolus. Le gyromètre est ici utilisé dans les deux détections : celle de la frappe primaire, avec un traitement comparable à celui de l'accéléromètre plus haut, sauf que le second filtrage n'est pas nécessaire, car un premier filtrage est déjà effectué dans la AirMouse ou la GyroMouse. Les deux filtrages peuvent cependant être cumulés. On détecte ici des croisements entre la dérivée du signal issu de la AirMouse et ce même signal filtré passe bas récursivement. La détection de puissance du geste s'appuie aussi sur une mesure de la course entre deux frappes primaires successives détectées. Ce calcul de vélocité donne des résultats utilisables, mais moins efficace que l'approche à deux modalités. Du fait de la nature intermédiaire entre mesures d'un accéléromètre et mesures d'un magnétomètre des mesures du gyromètre, celui-ci est suffisant pour les deux détections, mais il est moins efficace également que les modalités dédiées. Cette solution réalise un compromis non optimal mais qui peut donner d'autres opportunités. D'une part, la AirMouse est plus accessible au moins pour l'instant au grand public et présente donc un intérêt de ce point de vue même si on n'a pas la finesse de contrôle de la bimodalité. En quelque sorte la Airmouse se situe entre la Wii Music et un capteur fournissant deux modes de capture du mouvement. Par ailleurs, les boutons de la souris fournissent des commandes complémentaires afin, par exemple de changer un son, ou de passer au morceau suivant, ou d'actionner la pédale d'un piano échantillonné par exemple.
Les divers modes de réalisation de l'invention peuvent être améliorés par les variantes exposés ci-dessous.
Une variante de réalisation consiste à utiliser deux modules capteurs dans chacune des mains du joueur, un des modules étant dédié à la détection des frappes primaires et l'autre à la mesure de la vélocité.
Il est également possible d'exploiter les autres axes des capteurs pour déterminer une information de cap qui permette d'introduire un contrôle du panoramique et d'améliorer ainsi le centrage pour rendre les détections complètement indépendantes du positionnement du joueur. Une autre variante de réalisation permettant d'améliorer la robustesse consiste à exploiter la connaissance du contenu musical en cours. On introduit alors des fenêtres temporelles déduites du contenu en cours dans lesquelles une frappe détectée comme primaire n'est pas prise en compte car incohérente avec ledit contenu en cours. En fait, cette cohérence va exploiter une mesure de la vitesse de jeu actuelle de la personne (le temps entre les deux dernières frappes) et la comparer au temps s'écoulant entre les deux fragments contenus dans le module 220. Si ces deux mesures diffèrent trop (par exemple de plus de 25 %) c'est qu'on enregistre une accélération (ou une décélération) qui semble excessive par rapport à ce qui est joué. On en déduit qu'il y a une fausse détection. Quand une telle fausse détection est identifiée, elle correspond en fait toujours à une frappe dénuée de sens musical, ce dont on déduit qu'il s'agit d'une détection intempestive. Elle est donc purement et simplement ignorée (elle ne déclenche aucun fragment multimédia). Inversement, une non détection peut être palliée simplement, les éléments rythmés du morceau étant joués en exploitant les deux dernières frappes détectées.
La figure 7 représente de manière simplifiée une architecture fonctionnelle d'un dispositif de contrôle de la vitesse de défilement d'un fichier audio préenregistré en utilisant le dispositif et le procédé de l'invention .
Les caractéristiques du module 720, d'entrée des signaux à reproduire, du module 730 de contrôle du rythme temporel et du module 740 de sortie audio sont décrites plus loin. Les capteurs de mouvements de type Motion Pod ou Air Mouse décrits plus haut sont, dans le mode de réalisation décrit ici, utilisés pour contrôler le rythme de défilement d'un fichier audio préenregistré.
Le module d'analyse et d'interprétation de gestes 712, adapté à ce mode de réalisation, fournit des signaux directement exploitables par le processeur de contrôle temporel 730. Les signaux selon un axe de l'accéléromètre et du magnétomètre du MotionPod sont combinés selon le procédé décrit plus haut.
Les traitements comprennent tout d'abord avantageusement un double filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) qui a déjà été décrit plus haut en relation avec la figure 4.
Ensuite, le traitement comporte la détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre selon les modalités explicitées plus haut en commentaires aux figures 3a et 3b.
On explicite ci-dessous les modalités permettant au dispositif de l'invention de contrôler le défilement d'un fichier de type mp3, wav ou similaire. Un fichier de musique préenregistré 720 à un de formats standards (MP3, WAV, WMA, etc..) est prélevé sur une unité de stockage par un lecteur. A ce fichier est associé un autre fichier comportant des marques temporelles ou « tags » à des instants prédéterminés ; par exemple, la table ci-dessous indique neuf tags aux instants en millisecondes qui sont indiqués à côté de l'indice du tag après la virgule:
1, 0;
2, 335.411194;
3, 649.042419;
4, 904.593811;
5, 1160.145142;
6, 1462.1604;
7, 1740.943726;
8, 2054.574951 ;
9, 2356.59;
Les tags peuvent avantageusement être placés aux battements de même indice dans le morceau qui est joué. Il n'y a cependant pas de contrainte sur le nombre de tags. Plusieurs techniques sont possibles pour placer des tags dans un morceau de musique pré enregistrée :
- De manière manuelle, en cherchant sur l'onde musicale le point correspondant à un rythme où un tag doit être placé ; c'est un processus possible mais fastidieux ;
De manière semi-automatique, en écoutant le morceau de musique pré enregistrée et en pressant une touche de clavier d'ordinateur ou de clavier MIDI quand un rythme où un tag doit être placé est entendu ;
- De manière automatique, en utilisant un algorithme de détection des rythmes qui place les tags au bon endroit ; aujourd'hui, les algorithmes ne sont pas suffisamment fiables pour que le résultat n'ait pas à être retouché en utilisant un des deux premiers processus mais on peut compléter cet automatisme par une phase manuelle de retouche du fichier des tags créés.
Le module 720 d'entrée de signaux préenregistrés à reproduire peut traiter différents types de fichiers audio, aux formats MP3, WAV, WMA. Le fichier peut également comprendre d'autres contenus multimédias qu'un simple enregistrement sonore. Il peut s'agir par exemple de contenus vidéo, avec ou sans bande sonore, qui seront marqués par des tags et dont le défilement pourra être contrôlé par le module d'entrée 710.
Le processeur de contrôle temporel 730 réalise la synchronisation entre les signaux reçus du module d'entrée 710 et le morceau de musique pré enregistrée 720, d'une manière explicitée en commentaires aux figures 9A et 9B.
La sortie audio 740 reproduit le morceau de musique pré enregistrée en provenance du module 720 avec les variations de rythme introduites par les commandes du module d'entrée 710 interprétée par le processeur de contrôle temporel 730. N'importe quel dispositif de reproduction sonore fait l'affaire, notamment des écouteurs, des haut-parleurs.
Les figures 8A et 8B représentent des cas où respectivement la vitesse de frappe est plus élevée/moins élevée que celle de défilement de la bande audio.
Lors de la première frappe repérée par le capteur de mouvement 71 1 , le lecteur audio du module 720 démarre la lecture du morceau de musique pré enregistrée à un rythme donné. Ce rythme peut par exemple être indiqué par plusieurs petites frappes préalables. Chaque fois que le processeur de contrôle temporel reçoit un signal de frappe, la vitesse courante de jeu de l'utilisateur est calculée. Celle-ci peut par exemple être exprimée comme le facteur de vitesse SF(n) calculé comme le rapport de l'intervalle de temps entre deux tags T successifs n et n+1 du morceau pré enregistré à l'intervalle de temps entre deux frappes H successives n et n+1 de l'utilisateur : SF(n) = [T(n+1 ) - T(n)]/[H(n+1 ) - H(n)]
Dans le cas de la figure 8a, le joueur accélère et prend de l'avance sur le morceau pré enregistré : une nouvelle frappe est reçue par le processeur avant que le lecteur audio ait atteint l'échantillon du morceau de musique où est placé le tag correspondant à cette frappe. Par exemple, dans le cas de la figure, le facteur de vitesse SF est de 4/3. A la lecture de cette valeur de SF, le processeur de contrôle temporel fait sauter la lecture du fichier 720 à l'échantillon contenant la marque d'indice correspondant à la frappe. Une partie de la musique pré enregistrée est donc perdue, mais la qualité du rendu musical n'est pas trop perturbée car l'attention de ceux qui écoutent un morceau de musique se concentre généralement sur les éléments du rythme principal et les tags seront normalement placés sur ces éléments du rythme principal. En outre, quand le lecteur saute au tag suivant, qui est un élément du rythme principal, l'auditeur qui attend cet élément, portera moins d'attention à l'absence de la partie du morceau pré enregistrée qui aura été sautée, ce saut passant ainsi quasiment inaperçu. La qualité de l'écoute peut encore être accrue en opérant un lissage de la transition. Ce lissage peut par exemple être opéré en en interpolant quelques échantillons (une dizaine) entre avant et après le tag vers lequel on fait sauter le lecteur pour rattraper la vitesse de frappe du joueur. La lecture du morceau pré enregistrée continue à la nouvelle vitesse résultant de ce saut.
Dans le cas de la figure 8b, le joueur ralentit et prend du retard sur le morceau de musique pré enregistrée : le lecteur audio atteint un point où une frappe est attendue avant que celle-ci ne soit effectuée par le joueur. Dans le contexte d'une écoute musicale, il n'est bien entendu pas possible d'arrêter le lecteur pour attendre la frappe. Donc, la lecture audio continue à la vitesse courante, jusqu'à ce que la frappe attendue soit reçue. C'est à ce moment que la vitesse du lecteur est changée. Une méthode fruste consiste à fixer la vitesse du lecteur en fonction du facteur de vitesse SF calculé au moment où la frappe est reçue. Cette méthode donne déjà des résultats qualitativement satisfaisants. Une méthode plus élaborée consiste à calculer une vitesse de lecture corrigée qui permette de synchroniser à nouveau le tempo de lecture sur le tempo du joueur.
Trois positions des tags à l'instant n+2 (dans l'échelle de temps du fichier audio) avant changement de la vitesse du lecteur sont indiquées sur la figure 3B :
- la première en partant de la gauche T(n+2) est celle correspondant à la vitesse de défilement antérieure au ralentissement du joueur ;
- la deuxième, NT1 (n+2), est le résultat du calcul consistant à ajuster la vitesse de défilement du lecteur à la vitesse de frappe du joueur en utilisant le facteur de vitesse SF ; on voit que dans ce cas les tags restent en avance par rapport aux frappes ;
- la troisième, NT2(n+2), est le résultat d'un calcul où l'on utilise un facteur de vitesse corrigé CSF ; ce facteur corrigé est calculé pour que les dates de la frappe et du tag suivants soient identiques, ce que l'on voit sur la figure 3B.
CSF est le rapport de l'intervalle de temps de la frappe n+1 au tag n+2 rapporté à l'intervalle de temps de la frappe n+1 à la frappe n+2. Sa formule de calcule est la suivante : CSF = {[T(n+2) - T(n)] - [H(n+1 ) - H(n)]} / [H(n+1 ) - H(n)] II est possible d'améliorer le rendu musical en lissant le profil du tempo du joueur. Pour cela, au lieu d'ajuster la vitesse de défilement du lecteur comme indiqué plus haut, on peut calculer une variation linéaire entre la valeur cible et la valeur de départ sur une durée relativement courte, par exemple 50 ms et faire passer la vitesse de défilement par ces différentes valeurs intermédiaires. Plus ce temps d'ajustement est long, plus la transition sera lissée. Cela permet un meilleur rendu, notamment lorsque de nombreuses notes sont jouées par le lecteur entre deux frappes. Mais le lissage se fait évidemment au détriment de la dynamique de la réponse musicale. Une autre amélioration, applicable au mode de réalisation comportant un ou plusieurs capteurs de mouvement, consiste à mesurer l'énergie de frappe du joueur ou vélocité pour contrôler le volume de la sortie audio. La manière dont la vélocité est mesurée indiquée plus haut dans la description. Cette partie du traitement effectuée par le module 712 d'analyse et d'interprétation de gestes est représentée sur la figure 9. Pour toutes les frappes primaires détectées, le module de traitement calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre. En utilisant les mêmes notations que ci-dessus en commentaire des figures 3a et 3b, on introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : DELTAB(n) = BF1 (n) - BF2(n) Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante : VEL(n) = Max {DELTAB(n), DELTAB(p)} - Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical. On peut également envisager, dans ce mode de réalisation comprenant plusieurs capteurs de mouvements, de contrôler par d'autres gestes d'autres paramètres musicaux comme l'origine spatiale du son (ou panning), le vibrato ou le trémolo. Par exemple, un capteur dans une main permettra de détecter la frappe alors qu'un autre capteur tenu dans l'autre main permettra de détecter l'origine spatiale du son ou le trémolo. Des rotations de la main peuvent également être prises en compte : quand la paume de la main est horizontale, on obtient une valeur de l'origine spatiale du son ou du trémolo ; quand la paume est verticale, on obtient une autre valeur du même paramètre ; dans les deux cas, les mouvements de la main dans l'espace fournissent la détection des frappes. Dans le cas où un clavier MIDI est utilisé, les contrôleurs classiquement utilisés peuvent l'être également dans ce mode de réalisation de l'invention pour contrôler l'origine spatiale des sons, le trémolo ou le vibrato.
L'invention peut être avantageusement mise en œuvre en traitant les frappes par l'intermédiaire d'un programme MAX/MSP.
La figure 10 représente l'organigramme général des traitements dans un tel programme. Le display de la figure montre la forme d'onde associée au morceau audio chargé dans le système. On trouve une partie classique permettant d'écouter le morceau original.
Se trouve en bas à gauche une partie, représentée sur la figure 1 1 , permettant de créer un tableau contenant la liste des points de contrôle rythmiques souhaités par la personne : à l'écoute du morceau il tape sur une touche à chaque instant qu'il souhaite taper lors de l'interprétation ultérieure. Alternativement ces instants peuvent être désignés par la souris sur la forme d'onde. Enfin, ils peuvent être édités. La figure 12 détaille la partie de la figure 10 se trouvant en bas à droite qui représente le contrôle temporel qui est appliqué.
Dans la colonne de droite, on calcule le coefficient d'accélération/ralentissement SF par comparaison entre la durée existant entre deux repères consécutifs d'une part dans le morceau original, d'autre part dans le jeu actuel de l'utilisateur. La formule de calcul de ce facteur de vitesse est donnée plus haut dans la description.
Dans la colonne centrale, on met en place un timeout permettant d'arrêter le défilement de l'audio si l'utilisateur n'a plus effectué de frappe pendant un temps dépendant du contenu musical en cours. Dans la colonne de gauche, se trouve le cœur du système de contrôle. Il repose sur un algorithme de compression/expansion temporel. La difficulté est de transformer un contrôle « discret » donc intervenant à des instants consécutifs, en une modulation régulière de la vitesse. A défaut, l'audition souffre d'une part d'interruptions totales du son (quand le joueur ralentit), d'autre part de clic et de sauts brusques quand il accélère. Ces défauts, qui rendent une telle approche non réaliste à cause d'une sortie audio inexploitable musicalement sont résolus dans la mise en œuvre développée. Elle consiste :
- à ne jamais stopper le défilement sonore même en cas de ralentissement substantiel de l'utilisateur. L'objet « if » de la colonne de gauche détecte si on est en phase de ralentissement ou d'accélération. En cas de ralentissement, on modifie la vitesse de lecture de l'algorithme, mais on n'effectue aucun saut dans le fichier audio. La nouvelle vitesse de lecture n'est pas nécessairement exactement celle calculée dans la colonne de droite (SF), mais peut être corrigée (facteur de vitesse CSF) pour tenir compte du fait qu'on a déjà dépassé dans l'audio le repère correspondant à la dernière action du joueur ;
- A effectuer un saut dans le fichier audio lors d'une accélération (seconde branche de l'objet « if »). Dans ce cas précis, cela a peu d'incidences subjectives sur l'audition, si les repères de contrôle correspondent à des instants musicaux suffisamment importants sur le plan psycho acoustique (il y a ici un parallèle à effectuer avec la base de la compression MP3, qui code pauvrement les fréquences peu signifiantes, et richement les fréquences prépondérantes). Il s'agit ici du domaine temporel macroscopique, certains instants dans l'écoute d'un morceau sont plus signifiants que d'autres, et c'est sur ces instants qu'on souhaite pouvoir agir.
Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent.

Claims

REVENDICATIONS
1 . Dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée (10) de mesures comprenant au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, un module de traitement (20) de signaux échantillonnés en sortie du module d'entrée et un module de sortie (30) apte à reproduire la signification musicale des dits gestes, le module de traitement des signaux (20) comprenant un sous module d'analyse et d'interprétation de gestes (210) comprenant une fonction de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit dispositif étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie.
2. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que la fonction de filtrage est apte à être exécutée par au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module (10).
3. Dispositif d'interprétation de gestes selon la revendication 2 caractérisé en ce que la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente.
4. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 3 caractérisé en ce que le sous module d'analyse et d'interprétation de gestes (210) comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection.
5. Dispositif d'interprétation de gestes selon la revendication 4 caractérisé en ce que la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés.
6. Dispositif d'interprétation de gestes selon la revendication 2 et l'une des revendications 3 à 5 caractérisé en ce que le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre.
7. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre.
8. Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 7 caractérisé en ce que la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur.
9. Dispositif d'interprétation de gestes selon la la revendication 2 et la revendication 7 caractérisé en ce que la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur.
10. Dispositif d'interprétation de gestes selon la revendication 9 caractérisé en ce que le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000 en valeur relative du signal filtré.
1 1 . Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 4 caractérisé en ce que le module d'entrée (10) reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif.
12. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 1 1 caractérisé en ce que le module de traitement des signaux (20) comprend un sous module (220) d'entrée de contenus multimédia pré enregistrés.
13. Dispositif d'interprétation de gestes selon la revendication 12 caractérisé en ce que le sous module (220) d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés.
14. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 13 caractérisé en ce que le module d'entrée (10) est apte à transmettre au module de traitement (20) un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation.
15. Dispositif d'interprétation de gestes selon l'une des revendications 1 à 13 caractérisé en ce que le module de sortie (30) comprend un sous- module (720) de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que le module de traitement (20) comprend un sous-module (730) de contrôle temporel des dits signaux préenregistrés, ledit sous-module de reproduction (720) étant apte à être programmé pour déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et en ce que ledit sous-module de contrôle temporel (730) est apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans le sous- module de reproduction (720) et des frappes effectivement entrées dans le sous-module de contrôle temporel (730) et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit sous- module de contrôle temporel pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie dudit sous-module de reproduction en fonction dudit facteur d'intensité relative des vélocités.
1 6. Dispositif de contrôle selon la revendication 15, caractérisé en ce que la vélocité de la frappe entrée est calculée à partir de la déviation du signal en sortie du deuxième capteur.
17. Dispositif d'interprétation de gestes selon la revendication 1 , caractérisé en ce que le module d'entrée (710) comprend en outre un sous module apte à interpréter des gestes de l'utilisateur dont la sortie est utilisée par le sous-module de contrôle temporel (730) pour contrôler une caractéristique de la sortie audio choisie dans le groupe constitué par le vibrato et le trémolo.
18. Dispositif d'interprétation de gestes selon la revendication 15, caractérisé en ce que le sous-module de reproduction comprend une fonction de placement de tags dans le fichier de signaux préenregistrés à reproduire aux temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, les dits tags étant générés de manière automatique en fonction du rythme des signaux préenregistrés et pouvant être déplacés par une interface MIDI.
19. Dispositif d'interprétation de gestes selon la revendication 15, caractérisé en ce que la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous- module de reproduction est égale à une valeur choisie dans un ensemble de valeurs calculées dont une des bornes est calculée par application d'un facteur de vitesse CSF égal au rapport de l'intervalle de temps entre le tag suivant et le tag précédent diminué de l'intervalle de temps entre la frappe courante et la frappe précédente à l'intervalle de temps entre la frappe courante et la frappe précédente et dont les autres valeurs sont calculées par interpolation linéaire entre la valeur courante et la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
20. Dispositif d'interprétation de gestes selon la revendication 19, caractérisé en ce que la valeur choisie dans le sous-module de contrôle temporel pour ajuster la vitesse de défilement du sous- module de reproduction est égale à la valeur correspondant à celle de la borne utilisée pour l'application du facteur de vitesse CSF.
21 . Procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un ensemble de capture de mouvements selon au moins un premier et un deuxième axes, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, l'étape de traitement de signaux comprenant une sous étape d'analyse et d'interprétation de geste comprenant au moins une étape de filtrage, une fonction de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance au moins du premier axe de l'ensemble de capteurs avec au moins une première valeur de seuil choisie et une fonction de confirmation de détection de geste significatif, ledit procédé étant caractérisé en ce que ladite fonction de confirmation de détection de geste significatif est apte à comparer au moins un des signaux en provenance au moins du deuxième axe de l'ensemble de capteurs avec au moins une deuxième valeur de seuil choisie.
22. Procédé d'interprétation de gestes selon la revendication 21 caractérisé en ce que l'étape de sortie comprend une sous-étape de reproduction d'un fichier préenregistré de signaux à reproduire et en ce que l'étape de traitement comprend une sous-étape de contrôle temporel des dits signaux préenregistrés, ladite sous-étape de reproduction étant apte à déterminer les temps où sont attendues des frappes de contrôle du rythme de défilement du fichier, et ladite sous- étape de contrôle temporel étant apte à calculer pour un certain nombre de frappes de contrôle un facteur de vitesse corrigée (CSF) relative de frappes préprogrammées dans la sous-étape de reproduction et des frappes effectivement entrées au cours de la sous-étape de contrôle temporel et un facteur d'intensité relative des vélocités desdites frappes effectivement entrées et attendues puis à ajuster le rythme de défilement dudit fichier préenregistré pour ajuster ledit facteur de vitesse corrigée (CSF) aux frappes suivantes à une valeur choisie et l'intensité des signaux en sortie de l'étape de reproduction en fonction dudit facteur d'intensité relative des vélocités.
EP10703477A 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux Withdrawn EP2396711A2 (fr)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0950919A FR2942344B1 (fr) 2009-02-13 2009-02-13 Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
FR0950916A FR2942345A1 (fr) 2009-02-13 2009-02-13 Dispositif et procede d'interpretation de gestes musicaux
PCT/EP2010/051761 WO2010092139A2 (fr) 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux

Publications (1)

Publication Number Publication Date
EP2396711A2 true EP2396711A2 (fr) 2011-12-21

Family

ID=42289805

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10703477A Withdrawn EP2396711A2 (fr) 2009-02-13 2010-02-12 Dispositif et procede d'interpretation de gestes musicaux

Country Status (3)

Country Link
US (1) US9171531B2 (fr)
EP (1) EP2396711A2 (fr)
WO (1) WO2010092139A2 (fr)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2396711A2 (fr) * 2009-02-13 2011-12-21 Movea S.A Dispositif et procede d'interpretation de gestes musicaux
FR3008217A1 (fr) * 2013-07-04 2015-01-09 Lucas Daniel Sharp Module de detection de mouvements pour instruments de musique
EP2835769A1 (fr) 2013-08-05 2015-02-11 Movea Procédé, dispositif et système de capture annotée de données de capteurs et de modélisation de la foule d'activités
US9172343B2 (en) 2013-08-06 2015-10-27 Apple Inc. Volume adjustment based on user-defined curve
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method
GB201602436D0 (en) * 2016-02-11 2016-03-30 Univ London Queen Mary Use of human gesture and separation of data (Animation) and process (Model) in he design of generative audio for interactive applications
FR3050540B1 (fr) * 2016-04-26 2018-04-13 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede d'identification des gestes elementaires d'un mouvement et systeme mettant en œuvre un tel procede
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
US10802711B2 (en) 2016-05-10 2020-10-13 Google Llc Volumetric virtual reality keyboard methods, user interface, and interactions
US9542919B1 (en) * 2016-07-20 2017-01-10 Beamz Interactive, Inc. Cyber reality musical instrument and device
JP6642714B2 (ja) * 2016-07-22 2020-02-12 ヤマハ株式会社 制御方法、及び、制御装置
US10846519B2 (en) * 2016-07-22 2020-11-24 Yamaha Corporation Control system and control method
JP6631714B2 (ja) * 2016-07-22 2020-01-15 ヤマハ株式会社 タイミング制御方法、及び、タイミング制御装置
EP3489945B1 (fr) * 2016-07-22 2021-04-14 Yamaha Corporation Procédé d'analyse d'exécution musicale, procédé d'exécution musicale automatique et système d'exécution musicale automatique
US10775941B2 (en) * 2016-12-30 2020-09-15 Jason Francesco Heath Sensorized spherical input and output device, systems, and methods
US10319352B2 (en) * 2017-04-28 2019-06-11 Intel Corporation Notation for gesture-based composition
FR3075428B1 (fr) * 2017-12-15 2020-02-28 Enhancia Bague et module d'interface
US10991349B2 (en) 2018-07-16 2021-04-27 Samsung Electronics Co., Ltd. Method and system for musical synthesis using hand-drawn patterns/text on digital and non-digital surfaces

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR755244A (fr) 1933-05-06 1933-11-21 Petro Flex Tubing Cy Ltd Tubes perfectionnés et dispositif pour leur fabrication
US5170002A (en) * 1987-12-24 1992-12-08 Yamaha Corporation Motion-controlled musical tone control apparatus
US5166463A (en) * 1991-10-21 1992-11-24 Steven Weber Motion orchestration system
US5615132A (en) 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
JPH086549A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 旋律合成方法
US5746640A (en) * 1994-12-05 1998-05-05 Meadows; Michael R. Motion-activated musical device
US5757362A (en) * 1995-01-05 1998-05-26 International Business Machines Corporation Recursive digital filter using fixed point arithmetic
US5663514A (en) 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
US5648627A (en) * 1995-09-27 1997-07-15 Yamaha Corporation Musical performance control apparatus for processing a user's swing motion with fuzzy inference or a neural network
US6011212A (en) * 1995-10-16 2000-01-04 Harmonix Music Systems, Inc. Real-time music creation
US5808219A (en) * 1995-11-02 1998-09-15 Yamaha Corporation Motion discrimination method and device using a hidden markov model
JP2000501033A (ja) * 1995-11-30 2000-02-02 ヴァーチャル テクノロジーズ インコーポレイテッド 触覚をフィードバックする人間／機械インターフェース
USRE37654E1 (en) * 1996-01-22 2002-04-16 Nicholas Longo Gesture synthesizer for electronic sound device
US6066794A (en) * 1997-01-21 2000-05-23 Longo; Nicholas C. Gesture synthesizer for electronic sound device
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6005181A (en) * 1998-04-07 1999-12-21 Interval Research Corporation Electronic musical instrument
US6150947A (en) * 1999-09-08 2000-11-21 Shima; James Michael Programmable motion-sensitive sound effects device
EP1837858B1 (fr) * 2000-01-11 2013-07-10 Yamaha Corporation Dispositif et méthode pour détecter le mouvement d'un artiste et commander une interprétation musicale de manière interactive
US6867361B2 (en) * 2000-09-05 2005-03-15 Yamaha Corporation System and method for generating tone in response to movement of portable terminal
EP1607936B1 (fr) * 2000-09-05 2012-07-25 Yamaha Corporation Système et méthode pour la génération de sons en réponse au mouvement d'un terminal portable
US6388183B1 (en) * 2001-05-07 2002-05-14 Leh Labs, L.L.C. Virtual musical instruments with user selectable and controllable mapping of position input to sound output
JP3873654B2 (ja) * 2001-05-11 2007-01-24 ヤマハ株式会社 オーディオ信号生成装置、オーディオ信号生成システム、オーディオシステム、オーディオ信号生成方法、プログラムおよび記録媒体
US20030188627A1 (en) * 2002-04-05 2003-10-09 Longo Nicholas C. Interactive performance interface for electronic sound device
US20030196542A1 (en) * 2002-04-16 2003-10-23 Harrison Shelton E. Guitar effects control system, method and devices
JP4144269B2 (ja) * 2002-06-28 2008-09-03 ヤマハ株式会社 演奏処理装置
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
KR100668298B1 (ko) * 2004-03-26 2007-01-12 삼성전자주식회사 움직임에 기반한 소리 발생 방법 및 장치
US7535456B2 (en) * 2004-04-30 2009-05-19 Hillcrest Laboratories, Inc. Methods and devices for removing unintentional movement in 3D pointing devices
TWI261525B (en) * 2004-12-24 2006-09-11 Giga Byte Tech Co Ltd Motion analyzing device and method for mobile product
US7489979B2 (en) * 2005-01-27 2009-02-10 Outland Research, Llc System, method and computer program product for rejecting or deferring the playing of a media file retrieved by an automated process
US20070118241A1 (en) * 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
JP4457983B2 (ja) * 2005-06-27 2010-04-28 ヤマハ株式会社 演奏操作援助装置及びプログラム
US7728214B2 (en) 2005-11-23 2010-06-01 Microsoft Corporation Using music to influence a person's exercise performance
US20070175322A1 (en) * 2006-02-02 2007-08-02 Xpresense Llc RF-based dynamic remote control device based on generating and sensing of electrical field in vicinity of the operator
JP4757089B2 (ja) * 2006-04-25 2011-08-24 任天堂株式会社 音楽演奏プログラムおよび音楽演奏装置
US7622663B2 (en) * 2008-02-14 2009-11-24 Casillas Mark J Kinesthetic musical instrument position trainer, corrector, and up-motion muscle strengthener for fingers, hands, wrists, and arms, and practice device simulator
FR2942344B1 (fr) * 2009-02-13 2018-06-22 Movea Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
EP2396711A2 (fr) * 2009-02-13 2011-12-21 Movea S.A Dispositif et procede d'interpretation de gestes musicaux
US8222507B1 (en) * 2009-11-04 2012-07-17 Smule, Inc. System and method for capture and rendering of performance on synthetic musical instrument
JP5316818B2 (ja) * 2010-10-28 2013-10-16 カシオ計算機株式会社 入力装置およびプログラム
US8772621B2 (en) * 2010-11-09 2014-07-08 Smule, Inc. System and method for capture and rendering of performance on synthetic string instrument
US8987571B2 (en) * 2011-04-12 2015-03-24 Shmuel Ur Method and apparatus for providing sensory information related to music
US20130032023A1 (en) * 2011-08-04 2013-02-07 Andrew William Pulley Real time control of midi parameters for live performance of midi sequences using a natural interaction device
GB201119447D0 (en) * 2011-11-11 2011-12-21 Fictitious Capital Ltd Computerised percussion instrument

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2010092139A2 *

Also Published As

Publication number Publication date
US9171531B2 (en) 2015-10-27
US20120062718A1 (en) 2012-03-15
WO2010092139A3 (fr) 2011-01-13
WO2010092139A2 (fr) 2010-08-19

Similar Documents

Publication Publication Date Title
EP2396711A2 (fr) Dispositif et procede d'interpretation de gestes musicaux
EP2396788A2 (fr) Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire
Collins Introduction to computer music
CN111916039B (zh) 音乐文件的处理方法、装置、终端及存储介质
JP4403415B2 (ja) コンテンツ再生方法およびコンテンツ再生装置
US20130032023A1 (en) Real time control of midi parameters for live performance of midi sequences using a natural interaction device
US20150103019A1 (en) Methods and Devices and Systems for Positioning Input Devices and Creating Control
JPH09500747A (ja) 音響制御されるコンピュータ生成バーチャル環境
US20110252951A1 (en) Real time control of midi parameters for live performance of midi sequences
JP4568506B2 (ja) 再生制御装置
JP4247626B2 (ja) 再生装置および再生方法
WO2017028686A1 (fr) Procédé de traitement d'informations, dispositif de terminal et support de stockage informatique
CN114073854A (zh) 基于多媒体文件的游戏方法和系统
JP2023534975A (ja) ユーザーインタラクションに基づく音楽再生方法、装置、機器及び記憶媒体
JP2008299631A (ja) コンテンツ検索装置、コンテンツ検索方法およびコンテンツ検索プログラム
FR2942345A1 (fr) Dispositif et procede d'interpretation de gestes musicaux
Fabiani et al. Systems for interactive control of computer generated music performance
JP2025535711A (ja) 同期通信のためのオーディオ合成
EP2368242A1 (fr) Système d'interprétation de musique pré-enregistrée assistée par ordinateur
JP2011154290A (ja) 部分的に一人二重唱になる楽曲の歌唱を支援するカラオケ装置
CN115278350A (zh) 一种渲染方法及相关设备
Grebel et al. Designing Interactive Movement Sonification For Hip-Hop Dance
US12586606B1 (en) Audio alignment systems and techniques
KR200182151Y1 (ko) 댄스 게임 장치 및 가요반주기 기능을 가지는 댄스 게임장치
Tindale Advancing the art of electronic percussion

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20110808

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
17Q First examination report despatched

Effective date: 20160808

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20170221