FR2942345A1 - Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value - Google Patents

Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value Download PDF

Info

Publication number
FR2942345A1
FR2942345A1 FR0950916A FR0950916A FR2942345A1 FR 2942345 A1 FR2942345 A1 FR 2942345A1 FR 0950916 A FR0950916 A FR 0950916A FR 0950916 A FR0950916 A FR 0950916A FR 2942345 A1 FR2942345 A1 FR 2942345A1
Authority
FR
France
Prior art keywords
module
gesture
output
gestures
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
FR0950916A
Other languages
French (fr)
Inventor
Dominique David
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movea SA
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Original Assignee
Commissariat a lEnergie Atomique CEA
Movea SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat a lEnergie Atomique CEA, Movea SA filed Critical Commissariat a lEnergie Atomique CEA
Priority to FR0950916A priority Critical patent/FR2942345A1/en
Priority to PCT/EP2010/051761 priority patent/WO2010092139A2/en
Priority to US13/201,420 priority patent/US9171531B2/en
Priority to EP10703477A priority patent/EP2396711A2/en
Publication of FR2942345A1 publication Critical patent/FR2942345A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/40Rhythm
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/201User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G10H2220/206Conductor baton movement detection used to adjust rhythm, tempo or expressivity of, e.g. the playback of musical pieces
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155User input interfaces for electrophonic musical instruments
    • G10H2220/395Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/281Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
    • G10H2240/311MIDI transmission

Abstract

The device has a processing module for processing sampled signals in an output of an input module (10). An output module (30) reproduces musical signification of the gesture of a user. The processing module has a gesture interpretation and analyze sub-module (210) with a recursive low-pass filter to receive signals at an output of the input module. The sub-module assures a gesture detection function and a gesture detection confirmation function by comparing variation between two values in the sample of one of the signals of movement sensors e.g. accelerometer, with a threshold value. An independent claim is also included for a method for interpreting gesture of a user.

Description

DISPOSITIF ET PROCEDE D'INTERPRETATION DE GESTES MUSICAUX L'invention concerne le domaine de l'interprétation de gestes musicaux ou gestes agissant sur ou comme des instruments de musique. En particulier elle concerne un dispositif et un procédé de traitement des signaux représentatifs des mouvements d'un joueur de musique utilisant un instrument ou battant un rythme d'accompagnement. Des dispositifs et procédés à vocation ludique ou d'apprentissage ont été développés pour permettre à un joueur d'instrument de musique utilisant un objet qui simule ledit instrument d'en jouer une partition, le cas échéant couplée avec les partitions d'autres instruments. Les instruments dont l'interprétation est simulée peuvent être une guitare, un piano, un saxophone, une batterie.... Dans de tels dispositifs, les notes de la partition sont générées à partir d'actions du joueur. De tels dispositifs et procédés peuvent utiliser des boutons qui permettent de déclencher des notes, le cas échéant par combinaison des dits boutons. Certains dispositifs tels que la WIITM Music utilisent aussi une reconnaissance de certains gestes du musicien avec les pressions sur les boutons pour jouer la partition. Le capteur de mouvement de la WIITM Music étant un capteur optique qui nécessite une référence fixe, ses mesures sont à la fois conditionnées par la position du joueur par rapport à la référence et rudimentaires, ce qui limite considérablement les possibilités d'interprétation. Un rendu musical satisfaisant nécessite en effet une précision élevée de la capture des mouvements du joueur qui sont véritablement destinés à actionner l'instrument. The invention relates to the field of the interpretation of musical gestures or gestures acting on or as musical instruments. In particular, it relates to a device and a method for processing signals representative of the movements of a music player using an instrument or beating a rhythm of accompaniment. Devices and methods for play or learning have been developed to allow a musical instrument player using an object that simulates said instrument to play a partition, if necessary coupled with the scores of other instruments. The instruments whose interpretation is simulated can be a guitar, a piano, a saxophone, a drums .... In such devices, the scores of the score are generated from the player's actions. Such devices and methods can use buttons that trigger notes, if necessary by combining said buttons. Some devices such as WIITM Music also use a recognition of certain gestures of the musician with the pressure on the buttons to play the score. Since the WIITM Music motion sensor is an optical sensor that requires a fixed reference, its measurements are both conditioned by the player's position relative to the reference and rudimentary, which considerably limits the possibilities of interpretation. A satisfying musical rendering indeed requires a high accuracy of the capture of the movements of the player who are really intended to operate the instrument.

La présente invention apporte une réponse à ces limitations de l'art antérieur en utilisant des capteurs de mouvement et un traitement de leurs mesures qui permettent cette précision et autorisent ainsi un rendu musical satisfaisant. The present invention provides an answer to these limitations of the prior art by using motion sensors and a processing of their measurements that allow this accuracy and thus allow a satisfactory musical rendering.

A cet effet, la présente invention divulgue un dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée de mesures comprenant au moins un capteur de mouvements, un module de traitement de signaux échantillonnés en sortie du module d'entrée et un module de sortie apte à reproduire la signification musicale des dits gestes, ledit dispositif étant caractérisé en ce que le module de traitement des signaux comprend un sous module d'analyse et d'interprétation de gestes comprenant au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. Avantageusement, la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente. For this purpose, the present invention discloses a device for interpreting gestures of a user comprising at least one measurement input module comprising at least one motion sensor, a module for processing sampled signals at the output of the module. input and an output module adapted to reproduce the musical meaning of said gestures, said device being characterized in that the signal processing module comprises a sub module for analyzing and interpreting gestures comprising at least a pair of two filters recursively successive low-pass receivers adapted to receive at least one of the output signals of the module, a significant gesture detection function and a significant gesture detection confirmation function by comparing the variation between two successive values in the sample at least one of the signals from the sensor group with at least one selected threshold value. Advantageously, the significant gesture detection function is able to identify sign changes between two successive values in the sample of the difference between at least one output of the first filter of at least one of the filter pairs at the current value and at least one output of the second filter of the same pair of filters for the same signal at the previous value.

Avantageusement, le sous module d'analyse et d'interprétation de gestes comprend en outre une fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection. Avantageusement, la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés. Advantageously, the sub-module for analyzing and interpreting gestures further comprises a function for measuring the velocity of the gesture detected at the output of the detection confirmation function. Advantageously, the velocity measurement function is able to calculate the stroke (Max-Min) between two significant gestures detected.

Avantageusement, le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre. Avantageusement, le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre. Advantageously, the second filter is able to operate at a cutoff frequency lower than that of the first filter. Advantageously, the input module comprises at least a first accelerometer type sensor and a second sensor selected from the group of magnetometer type sensors and gyrometer.

Avantageusement, la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur. Avantageusement, la fonction de confirmation de détection de geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur. Avantageusement, le seuil choisi de la fonction de confirmation de détection de geste significatif est de l'ordre de 5/1000. Avantageusement, le module d'entrée ne transmet au module de traitement 35 que des signaux issus d'un capteur de type gyromètre. Advantageously, the significant gesture detection function is able to receive at least one output of the second recursive filter of one of the pairs of filters applied to at least one of the signals of the first sensor. Advantageously, the significant gesture detection confirmation function is able to receive as input at least one output of the second recursive filter of one of the pairs of filters applied to at least one of the signals of the second sensor. Advantageously, the threshold chosen for the significant gesture detection confirmation function is of the order of 5/1000. Advantageously, the input module transmits to the processing module 35 only signals from a gyrometer type sensor.

Avantageusement, le module d'entrée reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif. Avantageusement, le module de traitement des signaux comprend un sous module d'entrée de contenus multimédia pré enregistrés. Advantageously, the input module receives the signals from at least two sensors positioned on two independent parts of the body of the user, a first sensor providing via one of the pairs of recursive filters an input signal of the gesture detection function. significant and a second sensor providing via a pair of recursive filters an input signal of the gesture velocity measurement function detected at the output of the significant gesture detection confirmation function. Advantageously, the signal processing module comprises an input sub-module of pre-recorded multimedia contents.

Avantageusement, le sous module d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés. Avantageusement, le module d'entrée est apte à transmettre au module de traitement un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation. Advantageously, the multimedia content input sub-module comprises a function of partitioning said multimedia time-slot contents that can be used to perform a second confirmation of detection of the significant gestures detected. Advantageously, the input module is able to transmit to the processing module a signal representative of the position of the user in a plane substantially orthogonal to the direction of the detected significant gesture to make a second confirmation.

L'invention divulgue également un procédé d'interprétation de gestes significatifs d'un utilisateur comprenant au moins une étape d'entrée de mesures en provenance d'au moins un capteur de mouvements, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, ledit procédé étant caractérisé en ce que l'étape de traitement de signaux comprend une sous étape d'analyse et d'interprétation de geste comprenant au moins un couple de deux filtrages récursifs passe-bas successifs d'au moins un des signaux, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. The invention also discloses a method for interpreting significant gestures of a user comprising at least one measurement input step from at least one motion sensor, a signal processing step sampled at the output of the an input step and an output step adapted to reproduce the musical meaning of said gestures, said method being characterized in that the signal processing step comprises a sub-step of analysis and gesture interpretation comprising at least one pair of two successive low-pass recursive filterings of at least one of the signals, a significant gesture detection function and a significant gesture detection confirmation function by comparing the variation between two values in the sample of at least one of one of the signals from the sensor group with at least one selected threshold value.

Un autre avantage de l'invention est qu'elle utilise des micro capteurs (accéléromètres et magnétomètres ou gyromètres) à bas coût. Elle peut être utilisée pour jouer avec les mains et/ou battre la mesure avec les pieds. Elle ne nécessite pas un apprentissage long et peut être utilisée par plusieurs joueurs. Elle peut être utilisée avec un grand nombre de mouvements et d'instruments. Elle peut également être utilisée sans objet simulant un instrument quelconque. Another advantage of the invention is that it uses micro sensors (accelerometers and magnetometers or gyrometers) at low cost. It can be used to play with the hands and / or beat the measure with the feet. It does not require a long learning and can be used by several players. It can be used with a large number of movements and instruments. It can also be used without any object simulating any instrument.

L'invention sera mieux comprise, ses différentes caractéristiques et avantages ressortiront de la description qui suit de plusieurs exemples de réalisation et de ses figures annexées dont : La figure 1 représente différends contextes d'emploi de l'invention 10 selon plusieurs modes de réalisation ; La figure 2 représente de manière simplifiée une architecture fonctionnelle d'un dispositif d'interprétation de gestes musicaux selon un mode de réalisation de l'invention ; La figure 3 (3a, 3b) représente un organigramme général des 15 traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre; La figure 4 représente un organigramme du filtrage des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ; La figure 5 représente un organigramme de la détection de la 20 puissance des signaux des capteurs de mouvement dans un mode de réalisation de l'invention ; La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre. The invention will be better understood, its various features and advantages will emerge from the following description of several exemplary embodiments and its accompanying figures of which: Figure 1 represents different contexts of use of the invention 10 according to several embodiments; FIG. 2 is a simplified representation of a functional architecture of a device for interpreting musical gestures according to one embodiment of the invention; Fig. 3 (3a, 3b) shows a general flowchart of the treatments in one embodiment of the invention using an accelerometer and a magnetometer or a gyrometer; FIG. 4 represents a flow diagram of the filtering of the signals of the motion sensors in one embodiment of the invention; Fig. 5 shows a flowchart of the detection of the power of the motion sensor signals in one embodiment of the invention; Figure 6 shows a general flowchart of the treatments in one embodiment of the invention using only a gyrometer.

25 La figure 1 représente trois modalités 110, 120A et 120B d'entrée 10 de gestes musicaux dans un module de traitement 20 pour reproduction par une module de synthèse musicale 30. Sur la gauche de la figure 1 sont représentées de haut en bas les trois modalités d'entrée 10 de gestes musicaux: 30 - Un musicien 110 joue d'une guitare sur laquelle ont été fixés un ou plusieurs capteurs de mouvements tels que des MotionPodTM de MoveaTM; ce sont alors les mouvements de la guitare qui sont mesurés par les capteurs de mouvement et fournis à l'unité de traitement 20 ; Un musicien 120A porte directement des capteurs de mouvements du même type sur une partie du corps (main, avant-bras, bras, pied, jambe, cuisse, etc...) ; il peut jouer la partition d'un instrument ou simplement battre un rythme ; - Un musicien 120E peut également actionner une une GyroMouseTM ou bien une AirMouseTM de Movea qui est une télécommande en trois dimensions comprenant un gyromètre trois axes permettant de contrôler un point en déplacement sur un plan utilisé, offrant la possibilité d'utiliser soit les déplacements du point soit les mesures ~o d'un ou plusieurs axes gyromètres. Un MotionPod comporte un accéléromètre tri axe, un magnétomètre tri axe, une capacité de prétraitement permettant de préformer des signaux à partir des capteurs, un module de transmission radiofréquence des dits signaux au module de traitement lui-même et une batterie. Ce capteur de mouvement 15 est dit 3A3M (trois axes d'accéléromètre et trois axes de magnétomètre). Les accéléromètres et magnétomètres sont des microcapteurs du commerce de faible encombrement, de faible consommation et à bas coût, par exemple un accéléromètre trois voies de la société KionixTM (KXPA4 3628) et des magnétomètres d'HoneyWellTM de type HMC1041Z (1 voie verticale) et 20 HMC1042L pour les 2 voies horizontales. D'autres fournisseurs existent : MemsicTM ou Asahi KaseiTM pour les magnétomètres et STMTM, FreescaleTM, Analog DeviceTM pour les accéléromètres, pour ne citer que ceux là. Dans le MotionPod, pour les 6 voies signal, il n'y a qu'un filtrage analogique et ensuite, après conversion analogique numérique (12 bits), les signaux bruts 25 sont transmis par un protocole radiofréquence dans la bande BluetoothTM (2,4GHz) optimisé pour la consommation dans ce type d'applications. Les données arrivent donc brutes à un contrôleur qui peut recevoir les données d'un ensemble de capteurs. Elles sont lues par le contrôleur et mises a disposition des logiciels. La cadence d'échantillonnage est réglable. Par 30 défaut, elle est fixée à 200 Hz. Des valeurs plus élevées (jusqu'à 3000 Hz, voire plus) peuvent néanmoins être envisagées, permettant une plus grande précision dans la détection de chocs par exemple. Le protocole radiofréquence du MotionPod permet de garantir la mise a disposition de la donnée au contrôleur avec un retard contrôlé, qui ne doit pas dépasser ici 35 10ms (à 200 Hz), ce qui est important pour la musique. FIG. 1 shows three modalities 110, 120A and 120B of input of musical gestures in a processing module 20 for reproduction by a musical synthesis module 30. On the left of FIG. 1 are represented from top to bottom the three input modes 10 of musical gestures: 30 - A musician 110 plays a guitar on which have been fixed one or more motion sensors such as MotionPodTM MoveaTM; it is then the movements of the guitar that are measured by the motion sensors and supplied to the processing unit 20; A 120A musician directly carries motion sensors of the same type on a part of the body (hand, forearm, arm, foot, leg, thigh, etc.); he can play the score of an instrument or simply beat a rhythm; - A 120E musician can also operate a GyroMouseTM or a Movea AirMouseTM which is a three-dimensional remote control comprising a three-axis gyrometer for controlling a point moving on a used plane, offering the possibility of using either the movements of the point either the measurements ~ o of one or more axes gyrometers. A MotionPod comprises a tri-axis accelerometer, a tri-axis magnetometer, a pre-processing capability for preforming signals from the sensors, a radiofrequency transmission module of said signals to the processing module itself and a battery. This motion sensor 15 is called 3A3M (three accelerometer axes and three magnetometer axes). Accelerometers and magnetometers are small, low-cost, low-cost commercial micro-sensors, for example a KionixTM three-way accelerometer (KXPA4 3628) and HoneyWellTM magnetometers of the HMC1041Z type (1 vertical channel) and 20 HMC1042L for the 2 horizontal lanes. Other suppliers exist: MemsicTM or Asahi KaseiTM for magnetometers and STMTM, FreescaleTM, Analog DeviceTM for accelerometers, to name just a few. In the MotionPod, for the 6 signal channels, there is only one analog filtering and then, after digital analog conversion (12 bits), the raw signals are transmitted by a radio frequency protocol in the BluetoothTM band (2.4GHz ) optimized for consumption in this type of applications. The data is therefore raw to a controller that can receive data from a set of sensors. They are read by the controller and made available software. The sampling rate is adjustable. By default, it is set at 200 Hz. Higher values (up to 3000 Hz or more) can nevertheless be envisaged, allowing greater accuracy in the detection of shocks, for example. The radio frequency protocol of the MotionPod makes it possible to guarantee the provision of the data to the controller with a controlled delay, which should not exceed 35 10ms (at 200 Hz), which is important for the music.

Un accéléromètre du type ci-dessus permet de mesurer les déplacements longitudinaux selon ses trois axes et, par transformation, des déplacements angulaires (sauf autour de la direction du champ de gravitation terrestre) et des orientations par rapport à un référentiel cartésien en trois dimensions. Un ensemble de magnétomètres du type ci-dessus permet de mesurer l'orientation du capteur auquel il est fixé par rapport au champ magnétique terrestre et donc des déplacements et des orientations par rapport aux trois axes du référentiel (sauf autour de la direction du champ magnétique terrestre). La combinaison 3A3M fournit des informations de mouvement complémentaires et lissées. En fait, dans l'invention on n'exploite que les informations relatives à un des axes, l'axe Z vertical ou un des deux autres axes. On peut donc se contenter en principe d'un capteur mono axe de chacun des types, lorsque deux types de capteurs (accéléromètre et magnétomètre ou accéléromètre et gyromètre) sont utilisés. Dans la pratique, compte tenu de la disponibilité à faible coût de modules de capteurs 3A3M incorporant la transmission et les traitements des six voies, c'est cette approche qui est privilégiée. D'autres capteurs de mouvement peuvent être utilisés, par exemple une combinaison d'accéléromètre et de gyromètre (capteurs dits 3A3G ) ou même un gyromètre trois axes seul, comme expliqué plus bas dans la description en commentaire à d'autres figures. Lorsque plusieurs ensembles de capteurs de mouvement sont utilisés, le contrôleur distant du MotionPod (en entrée du module de traitement 20, 210) réalise la synthèse des signaux des ensembles de capteurs. Un compromis doit être trouvé entre le nombre de capteurs, la fréquence d'échantillonnage des capteurs et l'autonomie en consommation d'énergie des ensembles de capteurs. Dans la suite de la description, on désigne par signal de sortie de l'accéléromètre ou du magnétomètre au singulier indifféremment les sorties du contrôleur selon que les données d'entrée proviennent d'un seul module capteur 3A3M ou d'un ensemble de modules 3A3M synthétisées dans le contrôleur. La AirMouse comprend deux capteurs de type gyromètre, chacun à un axe de rotation. Les gyromètres utilisés sont de la marque Epson de référence XV3500. Leurs axes sont orthogonaux et délivrent les angles de tangage (yaw ou rotation autour de l'axe parallèle à l'axe horizontal d'un plan situé face à l'utilisateur de la AirMouse) et de lacet (pitch ou rotation autour d'un axe parallèle à l'axe vertical d'un plan situé face à l'utilisateur de la AirMouse). Les vitesses instantanées de pitch et de yaw mesurées par les deux axes gyromètres sont transmises par protocole radiofréquence à un contrôleur du module d'entrée (10) et converties par ledit contrôleur en mouvement d'un curseur dans un écran situé face à l'utilisateur. Dans l'application de l'invention on peut utiliser soit un des signaux de commande du curseur (en Z ou en Y), voire les deux, soit un signal de mesure directe en sortie d'un des axes gyromètres. An accelerometer of the above type makes it possible to measure longitudinal displacements along its three axes and, by transformation, angular displacements (except around the direction of the Earth's gravitational field) and orientations with respect to a Cartesian reference frame in three dimensions. A set of magnetometers of the above type makes it possible to measure the orientation of the sensor to which it is fixed with respect to the terrestrial magnetic field and thus displacements and orientations with respect to the three axes of the reference frame (except around the direction of the magnetic field earthly). The 3A3M combination provides complementary and smooth motion information. In fact, in the invention only the information relating to one of the axes, the vertical axis Z or one of the other two axes is used. We can therefore be satisfied in principle with a single-axis sensor of each type, when two types of sensors (accelerometer and magnetometer or accelerometer and gyrometer) are used. In practice, given the low cost availability of 3A3M sensor modules incorporating transmission and processing of the six channels, this is the preferred approach. Other motion sensors may be used, for example a combination of accelerometer and gyrometer (so-called 3A3G sensors) or even a single three-axis gyrometer, as explained below in the description in commentary to other figures. When several sets of motion sensors are used, the remote controller of the MotionPod (at the input of the processing module 20, 210) synthesizes the signals of the sensor assemblies. A compromise must be found between the number of sensors, the sampling frequency of the sensors and the energy consumption autonomy of the sensor assemblies. In the remainder of the description, the term "output signal of the accelerometer or magnetometer in the singular indifferently the outputs of the controller depending on whether the input data come from a single sensor module 3A3M or a set of modules 3A3M synthesized in the controller. The AirMouse includes two gyrometer type sensors, each with an axis of rotation. The gyrometers used are from the Epson reference XV3500. Their axes are orthogonal and deliver the pitch angles (yaw or rotation around the axis parallel to the horizontal axis of a plane facing the user of the AirMouse) and yaw (pitch or rotation around a axis parallel to the vertical axis of a plane facing the user of the AirMouse). The instantaneous pitch and yaw speeds measured by the two gyrometer axes are transmitted by radio frequency protocol to a controller of the input module (10) and converted by said controller in motion of a cursor in a screen facing the user. . In the application of the invention it is possible to use either one of the cursor control signals (in Z or Y), or both, or a direct measurement signal at the output of one of the gyrometer axes.

Les fonctionnalités et l'architecture du module de traitement 20 seront commentées en liaison avec la figure 2. Un module de sortie 30 reproduit les sons produits par la combinaison de contenus préenregistrés et la capture des gestes musicaux produits par le joueur par l'intermédiaire du module d'entrée 10. Il peut s'agir d'un simple haut-parleur ou d'un synthétiseur. The functionalities and architecture of the processing module 20 will be commented on in connection with FIG. 2. An output module 30 reproduces the sounds produced by the combination of pre-recorded contents and the capture of the musical gestures produced by the player via the input module 10. It may be a simple speaker or a synthesizer.

L'architecture fonctionnelle du dispositif de l'invention est décrite sur la figure 2. On ne revient pas sur les modules 10 et 30. Le module 20 réalise le traitement des signaux reçus du module d'entrée 10 20 au sein d'un module d'analyse et d'interprétation de gestes 210 dont les sorties sont fournies à un module de calcul des données de contrôle du contenu musical 230. Un contenu multimédia préenregistré est également fourni par un module 220 au module 230. Pour spécifier correctement l'algorithme d'analyse et d'interprétation de la 25 gestuelle musicale implanté dans le module 210, il est nécessaire de prendre en compte la spécificité de la dite gestuelle. En particulier, jouer un morceau de musique de 5 minutes par exemple en battant un tempo moyennement rapide à 120 bpm (beat per minute) se traduit par 600 battements effectués par l'utilisateur. Or, dans un contexte musical, une seule erreur se traduit par 30 une rupture de sens et une perte d'intérêt du dispositif. En cas de fausse alarme, le système détecte des battements inexistants, en cas de non détection évidemment le jeu du morceau est interrompu. Or, en situation d'interprétation musicale par battement de tempo, l'utilisateur adopte une gestuelle d'une part qui lui est propre, d'autre part admettant une certaine 35 variabilité à l'intérieur de sa gestuelle propre. De plus, des phénomènes physiologiques moteurs propres à l'humain, eux-mêmes dépendant de la vitesse de battement se superposent à cette variabilité (on a un mode quasi sinusoïdal à grande vitesse, mais avec de forts rebonds à vitesse lente). Ces constatations entraînent plusieurs conséquences : il faut utiliser des algorithmes atteignant une fidélité de l'ordre de 1 pour 1000, une valeur très élevée dans un contexte de variabilité peu connue (mouvement expressif humain) ; les seuls accéléromètres ne permettent pas à ce jour d'atteindre une telle performance, pour au moins deux raisons (rebonds en cas de w vitesse moyenne ou lente, difficulté à anticiper et donc à produire une information de puissance du mouvement correcte), d'où le choix effectué d'utiliser des capteurs bimodaux ; - les algorithmes de traitement doivent être très adaptables. De plus, il semble bien que le comportement de l'utilisateur dépend 15 directement de son interaction avec le contenu qu'il interprète. Il est donc nécessaire de prévoir un procédé en situation, c'est-à-dire en mettant le système humain dans une boucle action/perception incluant tous les aspects mis en jeu (contenu, cerveau et cognitif, gestuelle, actionneurs, capteurs...). Pour répondre à ces spécifications, le principe général de traitement mis en 20 oeuvre dans le module 210 a les deux caractéristiques suivantes : un traitement adaptatif pour éliminer les composantes des signaux présentant des variations lentes ( de l'ordre de la seconde); l'utilisation des sorties d'un capteur (un magnétomètre ou un gyromètre) pour détecter une frappe; 25 l'utilisation des sorties de l'autre capteur (l'accéléromètre ou une des mesures du gyromètre si ce capteur est utilisé seul), pour mesurer l'intensité de la frappe. The functional architecture of the device of the invention is described in FIG. 2. The modules 10 and 30 are not returned. The module 20 performs the processing of the signals received from the input module 10 within a module. gesture analysis and interpretation system 210 whose outputs are supplied to a module for calculating the control data of the musical content 230. A pre-recorded multimedia content is also provided by a module 220 to the module 230. To correctly specify the algorithm analysis and interpretation of the musical gestures implanted in the module 210, it is necessary to take into account the specificity of the said gestures. In particular, playing a 5 minute piece of music for example by beating a moderately fast tempo at 120 bpm (beat per minute) results in 600 beats performed by the user. However, in a musical context, a single error results in a rupture of meaning and a loss of interest in the device. In case of false alarm, the system detects non-existent beats, in case of non-detection obviously the play of the piece is interrupted. However, in situation of musical interpretation by beat of tempo, the user adopts a gesture on the one hand of his own, on the other hand admitting a certain variability within his own body language. Moreover, human-specific motor physiological phenomena, themselves dependent on the beat speed, are superimposed on this variability (we have a quasi-sinusoidal mode at high speed, but with strong rebounds at slow speed). These findings have several consequences: we must use algorithms achieving a fidelity of the order of 1 per 1000, a very high value in a context of little known variability (human expressive movement); the only accelerometers do not make it possible to reach such a performance, for at least two reasons (rebounds in case of w average or slow speed, difficulty to anticipate and thus to produce information of power of the correct movement), of where the choice made to use bimodal sensors; - The processing algorithms must be very adaptable. Moreover, it seems that the behavior of the user depends directly on his interaction with the content he is interpreting. It is therefore necessary to provide a process in situation, that is to say by putting the human system in an action / perception loop including all aspects involved (content, brain and cognitive, gestures, actuators, sensors. .). To meet these specifications, the general processing principle implemented in the module 210 has the following two characteristics: an adaptive processing to eliminate the components of the signals having slow variations (of the order of one second); using the outputs of a sensor (a magnetometer or a gyrometer) to detect a strike; The use of the outputs of the other sensor (the accelerometer or one of the measurements of the gyrometer if this sensor is used alone), to measure the intensity of the striking.

Le module 220 permet d'insérer des contenus préenregistrés de type MIDI 30 (Musical Instrument Digital Interface) venant d'un instrument de musique électronique, audio venant d'un lecteur (MP3 ù MPEG (Moving Picture Expert Group) 1/2 Layer 3, WAV ù WAVeform audio format, WMA ù Windows Media Audio, etc...), multimédia, images, vidéo, etc...par l'intermédiaire d'une interface adaptée. Les sorties du module 220 sont 35 fournies concurremment au module 210 (pour permettre une prise en compte des réactions du joueur de musique) et au module 230 pour être ensuite reproduites en sortie du dispositif de traitement. The module 220 makes it possible to insert pre-recorded contents of the MIDI 30 type (Musical Instrument Digital Interface) coming from an electronic musical instrument, audio coming from a reader (MP3 to MPEG (Moving Picture Expert Group) 1/2 Layer 3 , WAV to WAVeform audio format, WMA to Windows Media Audio, etc ...), multimedia, images, video, etc ... via a suitable interface. The outputs of the module 220 are provided concurrently with the module 210 (to allow consideration of the music player's reactions) and the module 230 to be subsequently reproduced at the output of the processing device.

Le module 230 permet d'effectuer la synthèse des gestes musicaux interprétés par le module 210 et des contenus préenregistrés en sortie du module 220. Le mode le plus simple consiste à jouer un fragment par exmple codé en MP3 ou de fichier midi (voire de fichier vidéo) chaque fois qu'une frappe est détectée par le module 210, qui va alors chercher séquentiellement les fragments dans le module 220. Ce mode permet de ~o nombreuses applications intéressantes. Il est beaucoup plus souple et puissant que 220 intègre un procédé tel que celui que nous avons divulgué dans la demande n° FR07/55244 ayant pour titre Système d'interprétation de musique assisté par ordinateur et ayant pour titulaire l'inventeur de la présente demande. Le dispositif divulgué dans cette invention comprend 15 deux mémoires dont l'une comprend les données musicales qui définissent la totalité des événements musicaux constituant le morceau de musique à interpréter et l'autre la séquence des actions nécessaires pour la reproduction des évènements musicaux stockés ainsi que des moyens d'établissement desdites informations musicales par comparaison des 20 données stockées dans la première mémoire des données musicales et la mémoire de la séquence des actions. Dans ce cas, l'utilisateur aura un contrôle complet sur ce qu'il veut jouer et quand, et sur ce qui est laissé à l'initiative de la machine (par exemple un accompagnement). The module 230 makes it possible to synthesize the musical gestures interpreted by the module 210 and the pre-recorded contents at the output of the module 220. The simplest mode is to play a fragment, for example, encoded in MP3 or midi file (or file video) every time a strike is detected by the module 210, which will then sequentially seek the fragments in the module 220. This mode allows ~ o many interesting applications. It is much more flexible and powerful than 220 integrates a method such as the one we disclosed in the application No. FR07 / 55244 entitled Computer-Assisted Music Interpretation System and held by the inventor of the present application . The device disclosed in this invention comprises two memories one of which comprises the musical data which define the totality of the musical events constituting the piece of music to be interpreted and the other the sequence of actions necessary for the reproduction of the stored musical events as well as means for establishing said musical information by comparing the data stored in the first memory of the musical data and the memory of the sequence of the actions. In this case, the user will have complete control over what he wants to play and when, and what is left to the initiative of the machine (eg an accompaniment).

25 La figure 3 (découpée en 3a et 3b pour des raisons de lisibilité) représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant un accéléromètre et un magnétomètre ou un gyromètre. Dans la suite de la description relative à cette figure, chaque fois que l'on emploie le mot magnétomètre, on désigne indifféremment un magnétomètre 30 ou un gyromètre. Tous les traitements sont effectués de manière logicielle dans le module 210. Fig. 3 (cut at 3a and 3b for readability) represents a general flowchart of the treatments in one embodiment of the invention using an accelerometer and a magnetometer or a gyrometer. In the rest of the description relating to this figure, whenever the word magnetometer is used, it is indifferently denoted a magnetometer 30 or a gyrometer. All the treatments are done in software in the module 210.

Les traitements comprennent tout d'abord un filtrage passe-bas des sorties des capteurs des deux modalités (accéléromètre et magnétomètre) dont le 35 fonctionnement détaillé est explicité par la figure 4. The processes firstly comprise a low-pass filtering of the outputs of the sensors of the two modalities (accelerometer and magnetometer) whose detailed operation is explained in FIG. 4.

Ce filtrage des signaux en sortie du contrôleur des capteurs de mouvement utilise une approche récursive d'ordre 1. Le gain du filtre peut par exemple être fixé à 0,3. Dans ce cas, l'équation du filtre est donnée par la formule suivante : Output(z(n))=0.3*Input(z(n-1)) + 0.7*Output(z(n-1)) Où, pour chacune des modalités : z est la lecture de la modalité sur l'axe utilisé ; n est la lecture de l'échantillon courant ; n-1 est la lecture de l'échantillon précédent. This filtering of the output signals of the motion sensor controller uses a recursive approach of order 1. The gain of the filter may for example be set at 0.3. In this case, the filter equation is given by the following formula: Output (z (n)) = 0.3 * Input (z (n-1)) + 0.7 * Output (z (n-1)) Where, for each of the modalities: z is the reading of the modality on the axis used; n is the reading of the current sample; n-1 is the reading of the previous sample.

Le traitement comporte ensuite un filtrage passe-bas des deux modalités avec une fréquence de coupure inférieure à celle du premier filtre Cette fréquence de coupure inférieur résulte du choix d'un coefficient du deuxième filtre inférieur au gain du premier filtre. Dans le cas choisi dans l'exemple ci- dessus où le coefficient du premier filtre est de 0,3, le coefficient du deuxième filtre peut être fixé à 0,1. L'équation du deuxième filtre est alors (avec les mêmes notations que ci-dessus) : Output(z(n))=0.1 *Input(z(n-1)) + 0.9*Output(z(n-1)) Ensuite, le traitement comporte une détection d'un zéro de la dérivée du signal en sortie de l'accéléromètre avec la mesure du signal en sortie du magnétomètre. On pose les notations suivantes : A(n) le signal en sortie de l'accéléromètre dans l'échantillon n ; - AF1(n) le signal de l'accéléromètre en sortie du premier filtre récursif dans l'échantillon n ; AF2(n) le signal AF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n ; B(n) le signal du magnétomètre dans l'échantillon n ;. - BF1(n) le signal du magnétomètre en sortie du premier filtre récursif dans l'échantillon n ; BF2(n) le signal BF1 filtré à nouveau par le deuxième filtre récursif dans l'échantillon n. Alors, l'équation suivante permet de calculer une dérivée filtrée du signal de 35 l'accéléromètre dans l'échantillon n: FDA(n) = AF1(n) û AF2(n-1) Un signe négatif du produit FDA(n) * FDA(n-1) indique un zéro de la dérivée du signal filtré de l'accéléromètre et détecte donc une frappe. The treatment then comprises a low-pass filtering of the two modalities with a cut-off frequency lower than that of the first filter. This lower cut-off frequency results from the choice of a coefficient of the second filter which is lower than the gain of the first filter. In the case chosen in the example above, where the coefficient of the first filter is 0.3, the coefficient of the second filter can be set at 0.1. The equation of the second filter is then (with the same notation as above): Output (z (n)) = 0.1 * Input (z (n-1)) + 0.9 * Output (z (n-1)) Then, the processing comprises a detection of a zero of the derivative of the output signal of the accelerometer with the measurement of the output signal of the magnetometer. The following notations are applied: A (n) the output signal of the accelerometer in the sample n; AF1 (n) the signal of the accelerometer at the output of the first recursive filter in the sample n; AF2 (n) the signal AF1 filtered again by the second recursive filter in the sample n; B (n) the magnetometer signal in sample n; - BF1 (n) the magnetometer signal at the output of the first recursive filter in the sample n; BF2 (n) the signal BF1 filtered again by the second recursive filter in the sample n. Then, the following equation allows to calculate a filtered derivative of the accelerometer signal in sample n: FDA (n) = AF1 (n) - AF2 (n-1) A negative sign of product FDA (n) * FDA (n-1) indicates a zero of the derivative of the filtered signal of the accelerometer and thus detects a strike.

Pour chacun de ces zéros du signal filtré de l'accéléromètre, le module de traitement vérifie l'intensité de la déviation de l'autre modalité en sortie filtrée du magnétomètre. Si cette valeur est trop faible, la frappe est considérée non comme une frappe primaire mais comme une frappe secondaire ou ternaire et écartée. Le seuil permettant d'écarter les frappes non primaires dépend de l'amplitude attendue de la déviation du magnétomètre. Typiquement, cette valeur sera de l'ordre de 5/1000 dans les applications envisagées. Cette partie du traitement permet donc d'éliminer les frappes non significatives. For each of these zeros of the filtered signal of the accelerometer, the processing module checks the intensity of the deviation of the other modality at the filtered output of the magnetometer. If this value is too low, the strike is considered not as a primary strike but as a secondary or ternary strike and discarded. The threshold for discarding non-primary strikes depends on the expected amplitude of the deviation of the magnetometer. Typically, this value will be of the order of 5/1000 in the envisaged applications. This part of the treatment thus makes it possible to eliminate the insignificant strikes.

Enfin, pour toutes les frappes primaires détectées, le module de traitement 15 calcule un signal de vélocité (ou volume) de la frappe en utilisant la déviation du signal filtré en sortie du magnétomètre. On introduit la valeur DELTAB(n) dans l'échantillon n qui peut être considérée comme le signal pré filtré du magnétomètre centré et qui est calculée de la manière suivante : 20 DELTAB(n) = BF1(n) û BF2(n) Les valeurs minimum et maximum de DELTAB(n) sont stockées entre deux frappes primaires détectées. Une valeur acceptable VEL(n) de la vélocité d'une frappe primaire détectée dans un échantillon n est alors donnée par l'équation suivante : 25 VEL(n) = Max {DELTAB(n), DELTAB(p)} û Min {DELTAB(n), DELTA(p)} Où p est l'indice de l'échantillon dans lequel a été détectée la frappe primaire précédente. La vélocité est donc la course (différence Max-Min) de la dérivée du signal entre deux frappes primaires détectées, caractéristiques de gestes significatifs au plan musical. 30 Cette partie du traitement est illustrée par la figure 5. Finally, for all the primary keystrokes detected, the processing module 15 calculates a signal of velocity (or volume) of the strike by using the deviation of the filtered signal at the output of the magnetometer. The value DELTAB (n) is introduced into the sample n which can be considered as the pre-filtered signal of the centered magnetometer and which is calculated in the following manner: DELTAB (n) = BF1 (n) - BF2 (n) DELTAB (n) minimum and maximum values are stored between two primary keystrokes detected. An acceptable value VEL (n) of the velocity of a primary strike detected in a sample n is then given by the following equation: VEL (n) = Max {DELTAB (n), DELTAB (p)} - Min { DELTAB (n), DELTA (p)} Where p is the index of the sample in which the previous primary keystroke was detected. Velocity is thus the race (difference Max-Min) of the derivative of the signal between two detected primary strikes, characteristics of musical gestures. This part of the treatment is illustrated in FIG.

On réalise ainsi un traitement adaptatif car le traitement de la modalité magnétique inclut un centrage du signal. Au signal lui-même on soustrait ses propres variations lentes (voir formule plus haut). Ainsi par exemple, si 35 l'utilisateur se tourne de 60° vers sa droite, les signaux magnétiques reçus seront décalés, mais l'offset correspondant sera retiré par la soustraction en question, ne gardant que les variations rapides dues au rythme musical. An adaptive processing is thus carried out because the processing of the magnetic modality includes a centering of the signal. The signal itself subtracts its own slow variations (see formula above). Thus, for example, if the user turns 60 ° to his right, the received magnetic signals will be shifted, but the corresponding offset will be removed by the subtraction in question, keeping only the rapid variations due to the musical rhythm.

Ce traitement selon l'invention permet d'interpréter sans une seule erreur des morceaux de quelques minutes, avec un contrôle fin à la fois de la vitesse et du volume de jeu, aussi bien lorsque les capteurs sont placés sur la main du joueur ou lorsqu'ils sont situés sur le pied d'un joueur qui bat la mesure avec son pied. Le dispositif de l'invention peut être utilisé tel quel, c'est-à-dire sans aucune calibration, même des magnétomètres (on ne travaille en fait que sur des signaux débarrassés des composantes continues). Il peut cependant être avantageux d'effectuer une calibration en début de jeu, calibration qui peut d'ailleurs être reconduite à chaque frappe. Il faut alors mettre en parallèle le filtrage ayant pour objet de s'affranchir des variations lentes, et cette calibration à chaque frappe. Dans ce cas, il n'est plus nécessaire de filtrer par le second filtre. Au contraire, le fait de calibrer va assurer que dans une position à peu près connue de l'utilisateur (au moment de la frappe) le magnétomètre fournit une donnée de référence grâce à la calibration. En quelque sorte, les données sont réalignées par ces calibrations, alors qu'elles l'étaient auparavant par le second filtrage. On peut aussi imaginer de cumuler le deuxième filtrage et la calibration. This treatment according to the invention makes it possible to interpret, without a single error, pieces of a few minutes, with fine control at the same time of the speed and the volume of play, both when the sensors are placed on the player's hand or when they are located on the foot of a player who beats the measure with his foot. The device of the invention can be used as such, that is to say without any calibration, even magnetometers (it is actually working on signals cleared of continuous components). However, it may be advantageous to perform a calibration at the beginning of the game, which calibration can be repeated with each strike. It is then necessary to put in parallel the filtering having for object to free itself from the slow variations, and this calibration with each keystroke. In this case, it is no longer necessary to filter by the second filter. On the contrary, the fact of calibrating will ensure that in a position that is known to the user (at the moment of the striking), the magnetometer provides reference data thanks to the calibration. In a way, the data are realigned by these calibrations, whereas they were previously by the second filtering. One can also imagine to cumulate the second filtering and the calibration.

Par ailleurs, l'ensemble de ces traitements fournit : un signal de déclenchement utilisable pour synchroniser le jeu d'un fichier MIDI, ou pour synchroniser le défilement d'un fichier audio de type MP3, WAV ou WMA, selon un procédé inventif faisant l'objet d'une autre demande de brevet des présents demandeurs, ayant pour titre DISPOSITIF ET PROCEDE DE CONTROLE DU DEFILEMENT D'UN FICHIER DE SIGNAUX A REPRODUIRE ; selon ce procédé, le fichier de musique pré enregistré est marqué par des tags qui indiquent les éléments de rythme auxquels un joueur va envoyer des frappes de synchronisation ; un module de synchronisation fait ensuite varier la vitesse de défilement du fichier audio préenregistrée en fonction de la variation du rythme des frappes du joueur ; un signal d'amplitude, qui peut être utilisé pour commander le volume d'une lecture MIDI (plutôt en général, la vélocité des notes jouées) ou le volume de lecture d'un fichier audio. Moreover, all these treatments provide: a trigger signal that can be used to synchronize the play of a MIDI file, or to synchronize the scrolling of an MP3, WAV or WMA type audio file, according to an inventive method making the object of another patent application of the present applicants, having the title DEVICE AND METHOD FOR CONTROLLING THE SCROLL OF A FILE OF SIGNALS TO REPRODUCE; according to this method, the pre-recorded music file is marked with tags that indicate the timing elements to which a player will send synchronization strikes; a synchronization module then varies the speed of movement of the prerecorded audio file according to the variation of the rhythm of the player's strikes; an amplitude signal, which can be used to control the volume of a MIDI playback (usually in general, the velocity of the notes played) or the playback volume of an audio file.

La figure 6 représente un organigramme général des traitements dans un mode de réalisation de l'invention utilisant seulement un gyromètre. On utilise par exemple comme dispositif d'entrée la AirMouse ou la GyroMouse de Movea (joueur 120B de la figure 1). Le traitement effectué dans le module 210 est comparable au traitement décrit ci-dessus, sauf que nous n'utilisons plus qu'une seule donnée capteur dont on peut en effet considérer de manière approchée qu'elle est physiquement à mi chemin entre la donnée accéléromètre et la donnée magnétomètre qui fournit des angles absolus. Le gyromètre est ici utilisé dans les deux détections : celle de la frappe primaire, avec un traitement comparable à celui de l'accéléromètre plus haut, sauf que le second filtrage n'est pas nécessaire, car un premier filtrage est déjà effectué dans la AirMouse ou la GyroMouse. Les deux filtrages peuvent cependant être cumulés. On détecte ici des croisements entre la dérivée du signal issu de la AirMouse et ce même signal filtré passe bas récursivement. La détection de puissance du geste s'appuie aussi sur une mesure de la course entre deux frappes primaires successives détectées. Ce calcul de vélocité donne des résultats utilisables, mais moins efficace que l'approche à deux modalités. Du fait de la nature intermédiaire entre mesures d'un accéléromètre et mesures d'un magnétomètre des mesures du gyromètre, celui-ci est suffisant pour les deux détections, mais il est moins efficace également que les modalités dédiées. Cette solution réalise un compromis non optimal mais qui peut donner d'autres opportunités. D'une part, la AirMouse est plus accessible au moins pour l'instant au grand public et présente donc un intérêt de ce point de vue même si on n'a pas la finesse de contrôle de la bimodalité. En quelque sorte la Airmouse se situe entre la Wii Music et un capteur fournissant deux modes de capture du mouvement. Par ailleurs, les boutons de la souris fournissent des commandes complémentaires afin, par exemple de changer un son, ou de passer au morceau suivant, ou d'actionner la pédale d'un piano échantillonné par exemple. Figure 6 shows a general flowchart of the treatments in one embodiment of the invention using only a gyrometer. For example, the AirMouse or GyroMouse of Movea (player 120B of FIG. 1) is used as input device. The processing carried out in the module 210 is comparable to the processing described above, except that we only use one sensor data item, which can be considered in an approximate manner that it is physically halfway between the accelerometer data. and the magnetometer data that provides absolute angles. The gyrometer is used here in the two detections: the one of the primary striking, with a treatment comparable to that of the accelerometer higher, except that the second filtering is not necessary, because a first filtering is already carried out in the AirMouse or the GyroMouse. Both filtering can however be cumulated. Crossings are detected here between the derivative of the signal coming from the AirMouse and this same filtered low pass signal recursively. The gesture power detection is also based on a measurement of the stroke between two successive primary keystrokes detected. This velocity calculation yields usable results, but is less effective than the two-mode approach. Because of the intermediate nature between measurements of an accelerometer and measurements of a magnetometer of the measurements of the gyrometer, it is sufficient for the two detections, but it is less effective also than the dedicated methods. This solution achieves a compromise that is not optimal but that can give other opportunities. On the one hand, the AirMouse is more accessible at least for the moment to the general public and is therefore of interest from this point of view even if we do not have the finesse of controlling the bimodality. In a way the Airmouse is between the Wii Music and a sensor providing two modes of motion capture. In addition, the mouse buttons provide complementary commands to, for example change a sound, or move to the next song, or to operate the pedal of a sampled piano for example.

Les divers modes de réalisation de l'invention peuvent être améliorés par les variantes exposés ci-dessous. The various embodiments of the invention may be improved by the variants set forth below.

Une variante de réalisation consiste à utiliser deux modules capteurs dans chacune des mains du joueur, un des modules étant dédié à la détection des frappes primaires et l'autre à la mesure de la vélocité. Il est également possible d'exploiter les autres axes des capteurs pour déterminer une information de cap qui permette d'introduire un contrôle du panoramique et d'améliorer ainsi le centrage pour rendre les détections complètement indépendantes du positionnement du joueur. Une autre variante de réalisation permettant d'améliorer la robustesse 15 consiste à exploiter la connaissance du contenu musical en cours. On introduit alors des fenêtres temporelles déduites du contenu en cours dans lesquelles une frappe détectée comme primaire n'est pas prise en compte car incohérente avec ledit contenu en cours. En fait, cette cohérence va exploiter une mesure de la vitesse de jeu actuelle de la personne (le temps 20 entre les deux dernières frappes) et la comparer au temps s'écoulant entre les deux fragments contenus dans le module 220. Si ces deux mesures diffèrent trop (par exemple de plus de 25 %) c'est qu'on enregistre une accélération (ou une décélération) qui semble excessive par rapport à ce qui est joué. On en déduit qu'il y a une fausse détection. Quand une telle fausse 25 détection est identifiée, elle correspond en fait toujours à une frappe dénuée de sens musical, ce dont on déduit qu'il s'agit d'une détection intempestive. Elle est donc purement et simplement ignorée (elle ne déclenche aucun fragment multimédia). Inversement, une non détection peut être palliée simplement, les éléments rythmés du morceau étant joués en exploitant les 30 deux dernières frappes détectées. Les exemples décrits ci-dessus sont donnés à titre d'illustration de modes de réalisation de l'invention. Ils ne limitent en aucune manière le champ de l'invention qui est défini par les revendications qui suivent. An alternative embodiment consists in using two sensor modules in each of the player's hands, one of the modules being dedicated to the detection of primary keystrokes and the other to the measurement of velocity. It is also possible to exploit the other axes of the sensors to determine a heading information that allows to introduce a pan control and thus improve the centering to make detections completely independent of the player's positioning. Another alternative embodiment to improve the robustness 15 is to exploit the knowledge of the current musical content. We then introduce time windows deduced from current content in which a hit detected as primary is not taken into account because incoherent with said current content. In fact, this coherence will exploit a measure of the actual playing speed of the person (the time between the last two keystrokes) and compare it to the time elapsing between the two fragments contained in the module 220. differ too much (eg more than 25%) is that we record an acceleration (or deceleration) that seems excessive compared to what is played. It is deduced that there is a false detection. When such a false detection is identified, it is in fact still a strike devoid of musical meaning, which we deduce that it is an untimely detection. It is therefore purely and simply ignored (it does not trigger any multimedia fragment). Conversely, a non-detection can be simply remedied, the rhythmic elements of the piece being played by exploiting the last two hits detected. The examples described above are given by way of illustration of embodiments of the invention. They in no way limit the scope of the invention which is defined by the following claims.

Claims (15)

REVENDICATIONS1. Dispositif d'interprétation de gestes d'un utilisateur comprenant au moins un module d'entrée (10) de mesures comprenant au moins un capteur de mouvements, un module de traitement (20) de signaux échantillonnés en sortie du module d'entrée et un module de sortie (30) apte à reproduire la signification musicale des dits gestes, ledit dispositif étant caractérisé en ce que le module de traitement des signaux (20) comprend un sous module d'analyse et d'interprétation de gestes (210) comprenant au moins un couple de deux filtres récursifs passe-bas successifs apte à recevoir en entrée au moins un des signaux en sortie du module (10), une fonction de détection de 15 geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs successives dans l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. 20 REVENDICATIONS1. Apparatus for interpreting gestures of a user comprising at least one measurement input module (10) comprising at least one motion sensor, a signal processing module (20) sampled at the output of the input module and a output module (30) adapted to reproduce the musical meaning of said gestures, said device being characterized in that the signal processing module (20) comprises a sub module for analysis and interpretation of gestures (210) comprising least one pair of two successive low-pass recursive filters adapted to receive at least one of the output signals of the module (10), a significant gesture detection function and a significant gesture detection confirmation function by comparing the variation between two successive values in the sample of at least one of the signals coming from the group of sensors with at least one chosen threshold value. 20 2. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que la fonction de détection de gestes significatifs est apte à identifier des changements de signe entre deux valeurs successives dans l'échantillon de la différence entre au moins une sortie du premier filtre d'au moins un des couples de filtres à la valeur 25 courante et au moins une sortie du deuxième filtre du même couple de filtres pour le même signal à la valeur précédente. 2. device for interpreting gestures according to claim 1 characterized in that the function of significant gestures detection is able to identify changes in sign between two successive values in the sample of the difference between at least one output of the first filter at least one of the filter pairs at the current value and at least one output of the second filter of the same pair of filters for the same signal at the previous value. 3. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le sous module d'analyse et d'interprétation de gestes (210) comprend en outre une fonction de mesure de la vélocité 30 du geste détecté en sortie de la fonction de confirmation de détection. 3. device for interpreting gestures according to claim 1 characterized in that the sub module for analyzing and interpreting gestures (210) further comprises a function for measuring the velocity of the gesture 30 detected at the output of the function detection confirmation. 4. Dispositif d'interprétation de gestes selon la revendication 3 caractérisé en ce que la fonction de mesure de vélocité est apte à calculer la course (Max-Min) entre deux gestes significatifs détectés. 4. device for interpreting gestures according to claim 3 characterized in that the velocity measurement function is able to calculate the stroke (Max-Min) between two significant gestures detected. 5. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le deuxième filtre est apte à fonctionner à une fréquence de coupure inférieure à celle du premier filtre. 5. device for interpreting gestures according to claim 1 characterized in that the second filter is adapted to operate at a cutoff frequency lower than that of the first filter. 6. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée comprend au moins un premier capteur de type accéléromètre et un deuxième capteur choisi dans le groupe des capteurs de types magnétomètre et gyromètre. 6. device for interpreting gestures according to claim 1 characterized in that the input module comprises at least a first accelerometer-type sensor and a second sensor selected from the group of sensors type magnetometer and gyrometer. 7. Dispositif d'interprétation de gestes selon la revendication 2 et la revendication 6 caractérisé en ce que la fonction de détection de gestes significatifs est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du premier capteur. 7. device for interpreting gestures according to claim 2 and claim 6 characterized in that the significant gestures detection function is adapted to receive at least one output of the second recursive filter of one of the pairs of filters applied to at least one of the signals of the first sensor. 8. Dispositif d'interprétation de gestes selon la revendication 6 caractérisé en ce que la fonction de confirmation de détection de 15 geste significatif est apte à recevoir en entrée au moins une sortie du deuxième filtre récursif d'un des couples de filtres appliqué à au moins un des signaux du deuxième capteur. 8. Device for interpreting gestures according to claim 6, characterized in that the significant gesture detection confirmation function is able to receive at least one output of the second recursive filter of one of the pairs of filters applied to the input. least one of the signals of the second sensor. 9. Dispositif d'interprétation de gestes selon la revendication 8 caractérisé en ce que le seuil choisi de la fonction de confirmation de 20 détection de geste significatif est de l'ordre de 5/1000. 9. Apparatus for interpreting gestures according to claim 8 characterized in that the selected threshold of the significant gesture detection confirmation function is of the order of 5/1000. 10. Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée (10) ne transmet au module de traitement (20) que des signaux issus d'un capteur de type gyromètre. 25 10. device for interpreting gestures according to claim 1 characterized in that the input module (10) transmits to the processing module (20) that signals from a sensor type gyrometer. 25 11. Dispositif d'interprétation de gestes selon la revendication 3 caractérisé en ce que le module d'entrée (10) reçoit les signaux d'au moins deux capteurs positionnés sur deux parties indépendantes du corps de l'utilisateur, un premier capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de 30 détection de gestes significatifs et un deuxième capteur fournissant via un des couples de filtres récursifs un signal en entrée de la fonction de mesure de la vélocité du geste détecté en sortie de la fonction de confirmation de détection de geste significatif. 11. Device for interpreting gestures according to claim 3 characterized in that the input module (10) receives the signals of at least two sensors positioned on two independent parts of the body of the user, a first sensor providing via one of the pairs of recursive filters an input signal of the significant gesture detection function and a second sensor supplying via one of the recursive filter pairs an input signal of the gesture velocity measuring function detected at the output of the Significant gesture detection confirmation function. 12. Dispositif d'interprétation de gestes selon la revendication 1 35 caractérisé en ce que le module de traitement des signaux (20)comprend un sous module (220) d'entrée de contenus multimédia pré enregistrés. 12. Device for interpreting gestures according to claim 1, characterized in that the signal processing module (20) comprises a submodule (220) for input of pre-recorded multimedia contents. 13. Dispositif d'interprétation de gestes selon la revendication 12 caractérisé en ce que le sous module (220) d'entrée de contenus multimédia comprend une fonction de partitionnement des dits contenus multimédia en fenêtres temporelles aptes à être utilisées pour effectuer une deuxième confirmation de détection des gestes significatifs détectés. 13. Apparatus for interpreting gestures according to claim 12 characterized in that the sub-module (220) multimedia content input comprises a partitioning function of said multimedia content in time slots suitable for use in performing a second confirmation of detection of significant gestures detected. 14.Dispositif d'interprétation de gestes selon la revendication 1 caractérisé en ce que le module d'entrée (10) est apte à transmettre au module de traitement (20) un signal représentatif de la position de l'utilisateur dans un plan sensiblement orthogonal à la direction du geste significatif détecté pour en effectuer une deuxième confirmation. 14. Gesture interpreting device according to claim 1 characterized in that the input module (10) is adapted to transmit to the processing module (20) a signal representative of the position of the user in a substantially orthogonal plane to the direction of the significant gesture detected to make a second confirmation. 15. Procédé d'interprétation de gestes significatifs d'un utilisateur 15 comprenant au moins une étape d'entrée de mesures en provenance d'au moins un capteur de mouvements, une étape de traitement de signaux échantillonnés en sortie de l'étape d'entrée et une étape de sortie apte à reproduire la signification musicale des dits gestes, ledit procédé étant caractérisé en ce que l'étape de traitement de signaux 20 comprend une sous étape d'analyse et d'interprétation de geste comprenant au moins un couple de deux filtrages récursifs passe-bas successifs d'au moins un des signaux, une fonction de détection de geste significatif et une fonction de confirmation de détection de geste significatif par comparaison de la variation entre deux valeurs dans 25 l'échantillon d'au moins un des signaux en provenance du groupe de capteurs avec au moins une valeur de seuil choisie. 15. A method of interpreting significant gestures of a user comprising at least one measurement input step from at least one motion sensor, a step of processing sampled signals at the output of the step of input and an output step adapted to reproduce the musical meaning of said gestures, said method being characterized in that the signal processing step comprises a sub-step of gesture analysis and interpretation comprising at least one pair of two successive low pass recursive filtering of at least one of the signals, a significant gesture detection function and a significant gesture detection confirmation function by comparing the variation between two values in the sample of at least one signals from the sensor group with at least one selected threshold value.
FR0950916A 2009-02-13 2009-02-13 Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value Withdrawn FR2942345A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
FR0950916A FR2942345A1 (en) 2009-02-13 2009-02-13 Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value
PCT/EP2010/051761 WO2010092139A2 (en) 2009-02-13 2010-02-12 Device and method for interpreting musical gestures
US13/201,420 US9171531B2 (en) 2009-02-13 2010-02-12 Device and method for interpreting musical gestures
EP10703477A EP2396711A2 (en) 2009-02-13 2010-02-12 Device and process interpreting musical gestures

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR0950916A FR2942345A1 (en) 2009-02-13 2009-02-13 Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value

Publications (1)

Publication Number Publication Date
FR2942345A1 true FR2942345A1 (en) 2010-08-20

Family

ID=41078416

Family Applications (1)

Application Number Title Priority Date Filing Date
FR0950916A Withdrawn FR2942345A1 (en) 2009-02-13 2009-02-13 Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value

Country Status (1)

Country Link
FR (1) FR2942345A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0747851A2 (en) * 1995-06-07 1996-12-11 International Business Machines Corporation Recursive digital filter using fixed point arithmetic in a pointing device
US5663514A (en) * 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
US5819206A (en) * 1994-01-21 1998-10-06 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US20060028446A1 (en) * 2004-04-30 2006-02-09 Hillcrest Communications, Inc. Methods and devices for removing unintentional movement in free space pointing devices
US20070113726A1 (en) * 2005-11-23 2007-05-24 Microsoft Corporation Using music to influence a person's exercise performance
US20070118241A1 (en) * 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
EP1837858A2 (en) * 2000-01-11 2007-09-26 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
EP1850318A2 (en) * 2006-04-25 2007-10-31 Nintendo Co., Ltd. Storage medium having music playing program stored therein and music playing apparatus thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5819206A (en) * 1994-01-21 1998-10-06 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers
US5663514A (en) * 1995-05-02 1997-09-02 Yamaha Corporation Apparatus and method for controlling performance dynamics and tempo in response to player's gesture
EP0747851A2 (en) * 1995-06-07 1996-12-11 International Business Machines Corporation Recursive digital filter using fixed point arithmetic in a pointing device
EP1837858A2 (en) * 2000-01-11 2007-09-26 Yamaha Corporation Apparatus and method for detecting performer´s motion to interactively control performance of music or the like
US20060028446A1 (en) * 2004-04-30 2006-02-09 Hillcrest Communications, Inc. Methods and devices for removing unintentional movement in free space pointing devices
US20070113726A1 (en) * 2005-11-23 2007-05-24 Microsoft Corporation Using music to influence a person's exercise performance
US20070118241A1 (en) * 2005-12-16 2007-05-24 Outland Research, Llc Shake Jamming Portable Media Player
EP1850318A2 (en) * 2006-04-25 2007-10-31 Nintendo Co., Ltd. Storage medium having music playing program stored therein and music playing apparatus thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Movea unveils the latest in motion-sensing Technology for consumer products", BUSINESS WIRE 2009, 8 January 2009 (2009-01-08), Las Vegas, XP002551642, Retrieved from the Internet <URL:http://www.reuters.com/article/pressRelease/idUS58386+08-Jan-2009+BW20090108> [retrieved on 20091020] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170168081A1 (en) * 2015-12-14 2017-06-15 Movea Device for Analyzing the Movement of a Moving Element and Associated Method
US10156907B2 (en) * 2015-12-14 2018-12-18 Invensense, Inc. Device for analyzing the movement of a moving element and associated method

Similar Documents

Publication Publication Date Title
EP2396711A2 (en) Device and process interpreting musical gestures
US10376785B2 (en) Audio, video, simulation, and user interface paradigms
Nymoen et al. Mumyo–evaluating and exploring the myo armband for musical interaction
JP4403415B2 (en) Content reproduction method and content reproduction apparatus
EP2396788A2 (en) Device and method for playback pacing control of a file of signals to be reproduced
EP2381845A1 (en) Device and method for characterising movements
CN108847215B (en) Method and device for voice synthesis based on user timbre
CN109791740A (en) Intelligent measurement and feedback system for intelligent piano
FR2950713A1 (en) SYSTEM AND METHOD FOR RECOGNIZING GESTURES
JP2007293042A (en) Music performance program and music performance device
US11790952B2 (en) Pose estimation for video editing
FR2942345A1 (en) Gesture interpreting device for player of e.g. guitar, has gesture interpretation and analyze sub-module assuring gesture detection confirmation function by comparing variation between two values in sample of signal with threshold value
Nymoen Methods and technologies for analysing links between musical sound and body motion
CN1735923B (en) Method and device for recording, transmitting, or reproducing data
US11237669B2 (en) Method and apparatus for improving the measurement of the timing of touches of a touch screen
EP2368242A1 (en) System for computer-assisted interpretation of pre-recorded music
JPH03242700A (en) Music evaluating device
TWI328217B (en) Game machine having a function for discriminating music tempo
WO2022085442A1 (en) Signal processing device and method, training device and method, and program
Jap Mapping detected periodic dance movements to control tempo in the music playback of electronic dance music
Phaye et al. The one man show
CN115834045A (en) Earphone and dynamic password providing method thereof
CN115120217A (en) Motion artifact removing method and device, storage medium and electronic equipment
FR3109291A1 (en) PROCEDURE AND DEVICE TO ASSIST THE REPRODUCTION OF GESTURES
Tindale Advancing the art of electronic percussion

Legal Events

Date Code Title Description
PLFP Fee payment

Year of fee payment: 8

PLFP Fee payment

Year of fee payment: 9

PLFP Fee payment

Year of fee payment: 10

PLFP Fee payment

Year of fee payment: 12

ST Notification of lapse

Effective date: 20211005