FR3004831A1 - Controle numerique des effets sonores d'un instrument de musique. - Google Patents
Controle numerique des effets sonores d'un instrument de musique. Download PDFInfo
- Publication number
- FR3004831A1 FR3004831A1 FR1353624A FR1353624A FR3004831A1 FR 3004831 A1 FR3004831 A1 FR 3004831A1 FR 1353624 A FR1353624 A FR 1353624A FR 1353624 A FR1353624 A FR 1353624A FR 3004831 A1 FR3004831 A1 FR 3004831A1
- Authority
- FR
- France
- Prior art keywords
- expression
- user
- face
- effect
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 title claims abstract description 95
- 230000014509 gene expression Effects 0.000 claims abstract description 61
- 230000008921 facial expression Effects 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 description 18
- 238000013459 approach Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000005562 fading Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 1
- 229920002554 vinyl polymer Polymers 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0091—Means for obtaining special acoustic effects
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2250/00—Aspects of algorithms or signal processing methods without intrinsic musical character, yet specifically adapted for or used in electrophonic musical processing
- G10H2250/541—Details of musical waveform synthesis, i.e. audio waveshape processing from individual wavetable samples, independently of their origin or of the sound they represent
- G10H2250/641—Waveform sampler, i.e. music samplers; Sampled music loop processing, wherein a loop is a sample of a performance that has been edited to repeat seamlessly without clicks or artifacts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
L'objet de la présente invention concerne un dispositif de contrôle (100) d'un module de génération (MG) d'effets sonores (EFA, EFB) d'un instrument de musique (IM), ledit dispositif comportant des moyens informatiques configurés pour : - une acquisition, à l'aide d'une caméra numérique (10), d'au moins une image numérique (I) comprenant au moins une portion de visage d'un utilisateur (U) ; - un traitement de ladite au moins une image (I) pour déterminer une donnée d'expression (D_EXi, i étant un entier positif) contenant une information relative à une expression du visage (EXa, EXb) de l'utilisateur (U) ; - une analyse de ladite donnée d'expression (D_EXi) à l'aide d'une première base de données (DB1) préétablie pour déterminer une donnée d'effet (D_EFj, j étant un entier positif) contenant une information relative à au moins un effet sonore (EFA, EFB) associé à l'expression du visage (EXa, EXb) de l'utilisateur (U).
Description
CONTROLE NUMERIQUE DES EFFETS SONORES D'UN INSTRUMENT DE MUSIQUE Domaine technique L'objet de la présente invention concerne le domaine du contrôle des effets sonores pour les instruments de musique. Plus précisément, l'objet de la présente invention vise à faciliter pour un musicien le contrôle numérique des effets sonores pour un instrument de musique. La présente invention trouve ainsi de nombreuses applications avantageuses dans le domaine de la musique, notamment pour le contrôle des effets sonores d'un instrument de musique tel que par exemple une guitare. Bien évidemment, d'autres applications avantageuses peuvent également être envisagées en utilisant le contrôle numérique proposé ici par la présente invention. Etat de la technique L'électronique et l'informatique occupent désormais une place prépondérante dans la production musicale : l'électronique et l'informatique permettent en effet la transformation et/ou la synthèse de sons nouveaux qui viennent enrichir les compositions musicales ; on parle dans toute la présente description qui suit d'effets sonores. Il s'agit par exemple à titre illustratif et non limitatif d'un effet du type «fading », un filtrage audio, une réverbération, ou encore la création d'un son synthétique/électronique ou la lecture d'un son à partir d'une banque de sons prédéterminés, etc. Néanmoins, les possibilités d'interaction physique du musicien avec les interfaces électroniques et informatiques pour contrôler ces effets sonores restent bien souvent très éloignées de celles offertes par les instruments de musique physiques. Ainsi, l'utilisation de ces interfaces se fait bien souvent au détriment de l'interprétation musicale elle-même. Ces interfaces de contrôle consistent généralement en une souris, un clavier, un écran éventuellement tactile, un ou plusieurs potentiomètres, ou encore une ou plusieurs pédales, etc.
Le demandeur observe que ces interfaces sont difficiles à manipuler pour un musicien qui a les mains et/ou les pieds occupés pour jouer avec son instrument : le guitariste a une main sur le manche de sa guitare et son autre main occupée à gratter les cordes ; le pianiste a généralement les deux mains sur son clavier et ses pieds mobilisés pour actionner les pédales ; un « Disc Jockey » a quant à lui une main sur le vinyle et l'autre sur le « Crossfader » de sa table de mixage. En regardant de plus prés ces interfaces, on distingue à ce jour plusieurs techniques pour permettre aux musiciens de contrôler les effets sonores : l'utilisation de contrôleurs manuels, de contrôleurs à pieds, de contrôleurs avec la bouche, ou encore l'utilisation de vocodeurs. Les interfaces de contrôle manuel sont une des solutions les plus répandues pour contrôler les effets sonores : ces interfaces permettent le plus souvent de ne contrôler simultanément et indépendamment qu'un seul paramètre à la fois ; ces interfaces actionnables manuellement sont par ailleurs peu accessibles à des musiciens tels que les guitaristes qui ont les mains occupées à jouer. Ainsi, ces interfaces sont généralement utilisées uniquement pour modifier des boucles de sons déjà enregistrés et/ou pour paramétrer le son avant de jouer. L'utilisation d'interfaces de contrôle à pied (ou pédale) est une autre façon classique pour contrôler les effets sonores. Cependant, avec une pédale tout comme 2 0 avec un contrôleur manuel, il est possible de ne contrôler qu'un seul paramètre à la fois. Par ailleurs, avec une pédale, le musicien ne peut pas se déplacer sur scène comme il le souhaite. Enfin, l'utilisation d'une pédale est difficile tant sur le plan de la précision spatiale que temporelle : elle nécessite une bonne dextérité et beaucoup d'entraînement. 25 Alternativement, il existe certaines interfaces qui permettent de contrôler des effets sonores avec la bouche ; on parle ici de « talkbox ». Plus précisément, la «talkbox » est un dispositif qui permet de moduler des sons amplifiés avec la bouche. Ce dispositif se présente sous la forme d'un tuyau que le musicien place dans sa bouche. Ce tuyau consiste en un conduit dans lequel le son produit par exemple par une guitare se propage. Le tuyau est donc branché à un entonnoir situé en face de du haut-parleur de la guitare. Ainsi, lorsque le musicien joue, le son parcourt le tuyau jusqu'à sa bouche où il est ensuite modulé par l'ouverture plus ou moins grande de la bouche ; la forme de la cavité buccale, la position de la langue et/ou des lèvres du musicien. La guitare « parle » donc en fonction de la cavité buccale du musicien. C'est ensuite un microphone qui effectue la prise de son. Les inconvénients d'un tel contrôleur sont nombreux : outre le caractère inesthétique de ce dispositif qui nécessite de garder un tuyau dans la bouche, un tel dispositif permet de ne contrôler qu'un seul type d'effet, à savoir le filtrage acoustique effectué par la cavité de la bouche. Le demandeur soumet par ailleurs qu'un tel dispositif n'est apprécié que par très peu de musiciens. Parmi les contrôleurs d'effets sonores, on retrouve enfin le vocodeur ; le vocodeur est un dispositif électronique de traitement du signal sonore qui analyse les principales composantes spectrales de la voix ou d'un autre son, et qui fabrique à partir de cette analyse un son synthétique. Les inconvénients du vocodeur sont nombreux : un tel système permet de ne contrôler qu'un seul type d'effet, à savoir le filtrage par l'enveloppe spectrale du son émis par la bouche. Par ailleurs, dans la mesure où le son acoustique environnant est utilisé, un tel système est sensible au bruit ambiant. Ainsi, le demandeur soumet que l'état de la technique identifié ci-dessus n'offre pas de solutions satisfaisantes permettant aux musiciens de contrôler aisément et efficacement les effets sonores associés à un instrument de musique. En effet, aucune des approches proposées dans l'état de la technique ne permet un contrôle, précis et facile d'utilisation, de plusieurs effets sonores simultanément tout en permettant à un musicien de se déplacer librement (par exemple sur scène). Résumé et objet de la présente invention La présente invention vise à améliorer la situation décrite ci-dessus. A cet effet, l'objet de la présente invention propose une solution simple et astucieuse pour contrôler les effets sonores d'un instrument de musique.
La présente invention concerne ainsi un procédé de contrôle d'un module de génération d'effets sonores pour contrôler les effets sonores d'un instrument de musique. Le procédé selon la présente invention est mis en oeuvre par des moyens informatiques et comporte une étape d'acquisition qui consiste notamment à acquérir, à l'aide d'une caméra numérique, au moins une image numérique comprenant au moins une portion de visage d'un utilisateur (ici par exemple un musicien). Le concept sous-jacent à la présente invention est d'exploiter les techniques actuelles de traitement d'image pour reconnaître dans l'image acquise au moins une expression d'au moins une portion du visage de l'utilisateur et pour contrôler en fonction de chaque expression un ou plusieurs effets sonores d'un instrument de musique. Ainsi, le procédé selon la présente invention comporte une étape de traitement qui consiste à traiter ladite au moins une image, qui a été acquise lors de l'étape d'acquisition, pour déterminer une ou plusieurs données d'expression contenant une information relative à au moins une expression du visage de l'utilisateur (par exemple une bouche ouverte verticalement, un froncement des sourcils, un clin d'oeil, une expression générale du visage « triste », «joyeux », « surpris », « effrayé », etc.). Par expression du visage au sens de la présente invention, il faut comprendre ici dans toute la présente description qui suit une expression faciale qui peut être : - soit générale : quand il s'agit d'une expression générale du visage par exemple lorsque l'utilisateur prend un air « triste », «joyeux » ou « surpris », - soit locale : par exemple lorsque l'utilisateur fait un mouvement (expression) avec une portion de son visage (clin d'oeil, ouverture de bouche, froncement de sourcils, etc.). Selon la présente invention, on dispose d'une première base de données préétablie qui comprend une pluralité de données d'expression qui sont chacune associées à une ou plusieurs données d'effet. Ainsi, dans cette base de données, il existe une relation préétablie, éventuellement paramétrable et configurable par l'utilisateur avant une utilisation, entre une ou plusieurs expressions de visage (par exemple une ouverture de la bouche présentant un certain diamètre) et un ou plusieurs effets sonore (par exemple un effet de type « fading » et/ou réverbération). Il est donc possible de prévoir qu'une expression de visage soit associée à plusieurs effets sonores ; il est ainsi possible grâce à la présente invention de contrôler plusieurs effets sonores simultanément, ceci sans aucune restriction concernant le nombre d'effets sonores. Le procédé selon la présente invention exploite cette relation entre les données d'effet et les données d'expression. Le procédé selon la présente invention comporte à cet effet une étape d'analyse au cours de laquelle la ou les données d'expression qui ont été déterminées lors de l'étape de traitement est comparée avec cette première base de données pour déterminer la ou les données d'effet qui contiennent chacune une information relative à le ou les effets sonores associés à la ou les expressions du visage de l'utilisateur. Cette analyse utilise donc une table de correspondance entre les données d'effet et les données d'expression, qui est enregistrée dans la base de données. On parle de « matching ». Ainsi, cette succession d'étapes techniques qui est caractéristique de la présente invention permet de contrôler numériquement les effets sonores d'un instrument de musique en fonction d'une ou plusieurs expressions faciales du musicien.
La présente invention permet donc à un musicien de contrôler (simultanément) les effets sonores qu'il souhaite tout en étant libre de ses mains et de ses pieds pour pouvoir jouer de son instrument. Le musicien peut également, grâce à la présente invention, se déplacer librement sur la scène. En utilisant la présente invention, le musicien peut donc en fonction de ses préréglages contrôler et exécuter une très large gamme d'effets sonores. Avantageusement, l'étape d'acquisition utilise une caméra sensible aux proches infrarouges. Avantageusement, l'étape d'acquisition comporte en outre l'émission d'une source de lumière, de préférence infrarouge d'une longueur d'onde sensiblement comprise entre de l'ordre de 700 à 3000 nanomètres et de préférence uniforme, en direction de la portion de visage de l'utilisateur. Avantageusement, l'étape d'acquisition comporte également l'utilisation d'un filtre optique ne laissant de préférence passer qu'une bande de fréquence autour de la fréquence de la lumière émise, ceci avant l'acquisition de chaque image.
Ainsi, le musicien peut contrôler les effets sonores de son instrument de musique dans un environnement de concert, tel que par exemple un environnement avec peu de lumières ou encore un environnement avec des lumières changeantes (par exemple des jeux de lumières avec des spots). Selon une variante, l'étape d'acquisition consiste à acquérir au moins deux images numériques. Dans cette variante, le procédé comporte avantageusement une étape d'interpolation au cours de laquelle les données d'expression ou les données d'effet qui sont déterminées à la suite de l'étape d'analyse sont interpolées pour obtenir une pluralité de données d'effet intermédiaires entre deux images numériques successives.
Ceci permet d'assurer la qualité sonore des effets. En effet, une caméra numérique classique capture généralement les images à une fréquence qui est comprise entre environ 25 et 200 images par seconde. L'intervalle de temps entre deux images successives est donc compris entre 5 et 40 millisecondes.
Ainsi, une donnée d'expression, et donc une donnée d'effet, est envoyé toutes les 5 et 40 millisecondes au module de génération d'effets sonores ; or, l'oreille humaine est sensible à des intervalles de temps plus petits. Ainsi, sans cette étape d'interpolation, le son perçu peut présenter un effet d'escalier. Pour remédier à ce problème, la présente invention prévoit d'interpoler les valeurs des données d'expression ou des données d'effet entre deux images, et d'envoyer des valeurs intermédiaires entre celles-ci pour avoir un son « lisse ». La présente invention prévoit donc l'application d'un algorithme d'interpolation temporelle qui envoie des valeurs intermédiaires. Cette étape d'interpolation peut également intervenir au niveau des données 30 d'expression.
Avantageusement, l'étape de traitement comporte l'application d'un algorithme de traitement d'images sur chaque image numérique acquise pour reconnaître une expression du visage de l'utilisateur. Il s'agit par exemple d'algorithmes informatiques de traitement d'images permettant de reconnaître automatiquement une forme ou un mouvement dans une image ou dans une succession d'images. Alternativement, la reconnaissance de la ou des expressions du visage de l'utilisateur peut également se faire en reconnaissant des paramètres de visage dans l'image ou des coordonnées de points dans l'image, et en analysant ces informations en les comparant à une deuxième base de données comprenant une banque d'expressions préétablies. En d'autres termes, l'étape de traitement comporte la comparaison des données d'expression (ici par exemple des coordonnées de points ou paramètres de visage) à une deuxième base de données comprenant une table de correspondance entre les données d'expression et une ou plusieurs expressions de visage prédéterminées.
Corrélativement, l'objet de la présente invention porte sur un programme d'ordinateur qui comporte des instructions adaptées pour l'exécution des étapes du procédé de contrôle tel que décrit ci-dessus, ceci notamment lorsque ledit programme d'ordinateur est exécuté par au moins un processeur. Un tel programme d'ordinateur peut utiliser n'importe quel langage de programmation, et être sous la forme d'un code source, d'un code objet, ou d'un code intermédiaire entre un code source et un code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable. De même, l'objet de la présente invention porte sur un support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé tel que décrit ci-dessus. D'une part, le support d'enregistrement peut être n'importe quel entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une mémoire ROM, par exemple un CD-ROM ou une 3 0 mémoire ROM de type circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple une disquette de type «floppy disc » ou un disque dur. D'autre part, ce support d'enregistrement peut également être un support transmissible tel qu'un signal électrique ou optique, un tel signal pouvant être acheminé via un câble électrique ou optique, par radio classique ou hertzienne ou par faisceau laser autodirigé ou par d'autres moyens. Le programme d'ordinateur selon l'invention peut être en particulier téléchargé sur un réseau de type Internet. Alternativement, le support d'enregistrement peut être un circuit intégré dans lequel le programme d'ordinateur est incorporé, le circuit intégré étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question. 1 0 L'objet de la présente invention porte également sur un dispositif de contrôle d'un module de génération d'effets sonores pour contrôler les effets sonores d'un instrument de musique. Le dispositif de contrôle selon la présente invention comporte des moyens informatiques pour la mise en oeuvre du procédé tel que décrit ci-dessus. 15 Plus précisément, le dispositif de contrôle selon la présente invention comporte notamment : - un module d'acquisition qui comporte une caméra numérique configurée pour acquérir une ou plusieurs images numériques comprenant chacune au moins une portion de visage d'un utilisateur ; 2 0 - un module informatique de traitement qui est configuré pour traiter chaque image afin de déterminer au moins une donnée d'expression contenant une information relative à au moins une expression du visage de l'utilisateur ; et - un module d'analyse qui est configuré pour comparer ladite au moins une donnée d'expression avec une première base de données préétablie afin de déterminer 25 au moins une donnée d'effet qui contient une information relative à au moins un effet sonore associé à ladite au moins une expression du visage de l'utilisateur, ladite première base de données comprenant une pluralité de données d'expression associées chacune à une ou plusieurs données d'effet. Avantageusement, le module d'acquisition comporte une caméra sensible aux 30 proches infrarouges.
Avantageusement, le module d'acquisition comporte un moyen d'émission qui est configuré pour émettre une source de lumière, de préférence infrarouge d'une longueur d'onde sensiblement comprise entre de l'ordre de 700 à 3000 nanomètres et de préférence uniforme, en direction de la portion de visage de l'utilisateur.
Avantageusement, le module d'acquisition comporte un moyen de filtrage tel qu'un filtre optique ne laissant de préférence passer qu'une bande de fréquence autour de la fréquence de la lumière émise, avant l'acquisition de chaque image. Avantageusement, le dispositif de contrôle selon la présente invention comporte un module d'interpolation qui est configuré pour interpoler les données d'effet et/ou les données d'expression afin obtenir une pluralité de données d'effet et/ou d'expression intermédiaires entre deux images numériques successives. Avantageusement, le module informatique de traitement est configuré pour permettre l'application d'un algorithme de traitement d'images sur chaque image numérique pour reconnaître au moins une expression du visage de l'utilisateur.
Ainsi, l'objet de la présente invention, par ses différents aspects fonctionnels et structurels décrits ci-dessus, offre une nouvelle approche pour permettre aux musiciens le contrôle d'un ou plusieurs effets sonores ; l'approche proposée selon la présente invention remédie aux différents inconvénients identifiés dans l'état de la technique en permettant notamment : 2 0 - le contrôle simultané de plusieurs effets sonores, - la possibilité pour le musicien de disposer de ses deux mains pour jouer son instrument, et - la possibilité pour le musicien de se déplacer sur scène. Brève description des figures annexées 25 D'autres caractéristiques et avantages de la présente invention ressortiront de la description ci-dessous, en référence aux figures 1 à 3 annexées qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif et sur lesquelles : - la figure 1 représente de façon schématique un dispositif de contrôle d'un module de génération d'effets sonores pour contrôler un ou plusieurs effets sonores 3 0 d'un instrument de musique selon un exemple de réalisation ; - la figure 2 représente de façon schématique un exemple non limitatif de tableau de correspondance entre les expressions faciales de l'utilisateur et les effets sonores ; et - la figure 3 consiste en un organigramme représentatif des différentes étapes mises en oeuvre selon un exemple de réalisation du procédé de l'invention. Description détaillée d'un mode de réalisation de l'invention Un procédé pour le contrôle d'un module de génération MG d'effets sonores ainsi que le dispositif de contrôle 100 associé vont maintenant être décrits dans ce qui suit en faisant référence conjointement aux figures 1 à 3. 1 0 Permettre le contrôle simultané d'un ou plusieurs effets sonores d'un instrument de musique IM tout en permettant à un musicien U d'avoir les mains et les pieds libres est un des objectifs de la présente invention. La présente invention propose donc une nouvelle façon d'interagir avec les modules de génération MG d'effets sonores ; à cet effet, elle propose un dispositif de 15 contrôle 100 dont le principe repose sur une analyse en temps réel d'une captation vidéo du visage du musicien U; en d'autres termes, grâce à la présente invention, les musiciens U peuvent désormais contrôler des effets sonores EFA, EFB, et/ou EFc avec une partie de leur visage (par exemple un mouvement de la bouche) ou en simulant une expression générale du visage (par exemple en prenant un air « triste » ou «joyeux »). 2 0 Afin d'illustrer un des nombreux modes de réalisation possibles de la présente invention, les différentes expressions faciales qui sont envisagées ici dans le présent exemple sont les suivantes (voir figure 2): une expression locale du visage avec une bouche ouverte notée ici EX,, une expression locale du visage avec un clin d'oeil notée ici EXb, une expression générale d'un visage «joyeux »notée ici EX,, ou encore une 25 expression générale d'un visage « triste » notée ici EXd. Bien évidemment, on comprend ici que d'autres expressions faciales (locales ou générales) peuvent également être envisagées dans le cadre de la présente invention (rotation de la tête, mouvements des jougs, des narines, des sourcils, air « effrayé », « fatigué », etc.). 30 Dans l'exemple décrit ici, le musicien U enregistre tout d'abord les paramètres de réglage qu'il souhaite : pour chaque expression faciale énoncée ci-dessus EX,, EXb, EX' EXd, il fait correspondre au moins un effet sonore EFA, EFB, et/ou EFc. Le musicien doit donc lors de la première utilisation enregistrer sur une première base de données DB1 lors d'une étape de paramétrage SO une table de correspondance entre les données d'expression D EX,, D EX2, D EX3 et D EX4 (D EX' où i est un entier positif compris entre 1 et N, N étant ici égal à 4) qui correspondent respectivement aux expressions EX,, EXb, EX,, et EXd, et les données d'effet D EF,, D EF2, D EF3 et D EF4 (D EF,, où j est un entier positif compris entre 1 et M, M étant ici égal à 4) qui contiennent chacune respectivement une information 1 0 relative à au moins un effet sonore EFA, EFB, et/ou EFc. Dans un mode de réalisation, il peut créer lui-même des expressions, ou charger une banque d'expressions prédéterminée. Ensuite, il effectue une association entre chaque expression et au moins un effet sonore prédéterminé. Dans l'exemple décrit ici et comme illustré en figure 2, la donnée d'effet 15 D EF, comprend une information relative aux effets sonores EFA ; la donnée d'effet D EF2 comprend une information relative à l'effet sonore EFB; la donnée d'effet D EF3 comprend une information relative aux effets sonores EFB et EFc ; la donnée d'effet D EF4 comprend une information relative à l'effet sonore EFc. Bien évidemment, cet exemple est purement illustratif et ne présente en aucun 2 0 cas un caractère limitatif ; d'autres combinaisons avec d'autres effets sonores sont possibles et envisageables pour l'homme du métier. Comme évoqué ci-dessus, ce paramétrage SO peut également être préenregistré sur le dispositif 100 qui comprend dans ce cas une première base de données DB1 préétablie par défaut comprenant la table de correspondance détaillée ci-dessus et 25 illustrée en figure 2. La présente invention exploite cette base de données DB1 par la reconnaissance automatique d'expressions faciales EX,, EXb, EX,, EXd pour le contrôle des effets sonores EFA, EFB,, EFc et EFD. Ainsi, le dispositif de contrôle 100 selon la présente invention comporte un 30 module d'acquisition M1 comprenant une caméra numérique 10 classique configurée pour capturer lors d'une étape d'acquisition Si au moins une image numérique I comprenant au moins une portion de visage du musicien U. Optionnellement, cette caméra numérique 10 est fixée de façon amovible sur un bras articulé (non représenté ici) pour orienter aisément la caméra dans toutes les directions de sorte que le musicien U puisse régler ce bras articulé afin que la caméra soit dirigée en direction de son visage. Ce bras articulé peut se fixer directement sur l'instrument de musique IM. De préférence, cette caméra 10 est reliée au module par une connectique USB qui est intégrée directement à l'intérieur du bras articulé. 10 Alternativement, cette caméra 10 peut également être positionnée à distance de sorte à capter dans son champ de vision la scène dans son ensemble. En tout état de cause, dans l'exemple décrit ici, la caméra 10 saisit au moins une image I comprenant une portion de visage du musicien U. Dans l'exemple décrit ici, le musicien U évolue sur scène dans un environnement présentant de nombreuses variations de lumières et de luminosité. Pour remédier à cet inconvénient et rendre plus précis et robuste la reconnaissance d'expressions faciales, la présente invention prévoit lors de l'étape d'acquisition Si l'émission d'une source de lumière infrarouge LUX IR en direction du visage du musicien U, ceci à l'aide d'un moyen d'émission 20 du type LED infrarouge (émettant ici une longueur d'onde de 850 nanomètres, mais d'autres longueurs d'ondes sont possibles) Le module d'acquisition M1 comporte en outre un filtre optique 30 infrarouge, ce qui permet de ne laisser passer lors d'un filtrage FIR (FIR pour « Filtre Infra Rouge) qu'une bande étroite de fréquence infrarouge autour de la longueur d'onde émise (l'image filtrée correspond ici à une longueur d'onde comprise entre de l'ordre de 840 à 860 nanomètres). L'émission d'une source de lumière infrarouge LUX IR sur le visage du musicien U et l'application d'un filtrage infrarouge FIR sur l'image I permettent de rendre le procédé insensible aux variations de lumières et d'éclairage de la scène, et rendent ainsi plus robustes l'analyse des expressions faciales quelles que soient les variations lumineuses environnantes. Comme énoncé ci-dessus, le contrôle des effets sonores repose : d'une part, sur la captation d'une ou plusieurs images numériques I comprenant au moins une portion de visage du musicien U, et, d'autre part, sur la reconnaissance d'une ou plusieurs expressions faciales du musicien U. Cette reconnaissance d'expressions dans le cadre du contrôle des effets sonores d'un instrument de musique est caractéristique de la présente invention. Ainsi, dans l'exemple décrit ici, et comme illustré en figures 1 et 3, le dispositif de contrôle 100 comporte un module informatique de traitement M2 qui est configuré pour appliquer, lors d'une étape de traitement S2, un algorithme mathématique de traitement d'images sur chaque image numérique I saisie afin de reconnaître au moins une expression du visage de l'utilisateur U. Alternativement, il est également possible de prévoir que l'étape de traitement S2 consiste à identifier des paramètres de visage ou des points caractéristiques du visage dans l'image I et à comparer ces marqueurs ou paramètres avec une deuxième base de données DB2 comprenant une banque d'expressions de visage prédéterminées ou enregistrées par le musicien. Cette comparaison permet de déterminer une expression du visage du musicien. Dans l'exemple décrit ici, et illustré en figure 1, grâce à cette reconnaissance automatique, le dispositif 100 reconnaît les expressions EXA (bouche ouverte) et EXB (clin d'oeil) du visage du musicien U dans l'image I. En sortie du module M2, on détermine donc une donnée d'expression D EXi et une donnée d'expression D_EX2 comprenant respectivement une information relative à l'expression EXA et EXB.
Ces données d'expression D EXi et D_EX2 sont ensuite analysées par un module M3 lors d'une étape d'analyse S3. Le module d'analyse M3 compare chaque donnée d'expression D EXi et D_EX2 à la première base de données DB1 décrite ci-dessus pour déterminer la donnée d'effet associée, c'est-à-dire dans l'exemple décrit ici la donnée d'effet D EFi pour l'expression « bouche ouverte » et la donnée d'effet D EF2pour l'expression « clin d'oeil ».
Les données d'effet D EFi et D EF2 sont envoyées ensuite au module de génération MG qui est en relation avec le système d'amplification HP, et qui permet lors d'une étape S5 la production et la génération des sons de l'instrument de musique associés aux effets sonores EFA et EFB.
Comme énoncé ci-dessus, la présente invention prévoit également un post- traitement en sortie du module d'analyse M3 ou un prétraitement avant le module d'analyse M3 pour éviter les effets d'escalier perçus par l'oreille humaine. Ainsi, comme expliqué ci-dessus, le dispositif 100 peut comporter un module d'interpolation M4 pour une interpolation temporelle des valeurs entre deux images I.
1 0 Cette interpolation peut également intervenir directement sur les données d'expression. Ainsi, la présente invention propose une nouvelle approche innovante pour contrôler efficacement les effets sonores d'un instrument de musique. Cette approche offre aux musiciens un nouvel outil leur permettant de ne pas être gênés de leur interprétation musicale, et leur permettant de contrôler simultanément plusieurs effets 15 sonores. 11 devra être observé que cette description détaillée porte sur un exemple de réalisation particulier de la présente invention, mais qu'en aucun cas cette description ne revêt un quelconque caractère limitatif à l'objet de l'invention ; bien au contraire, elle a pour objectif d'ôter toute éventuelle imprécision ou toute mauvaise interprétation 2 0 des revendications qui suivent.
Claims (10)
- REVENDICATIONS1. Procédé de contrôle d'un module de génération (MG) d'effets sonores pour contrôler un ou plusieurs effets sonores (EFA, EFB, EFc) d'un instrument de musique (IM), ledit procédé mis en oeuvre par des moyens informatiques comportant les étapes suivantes : - une étape d'acquisition (Si) consistant notamment à acquérir, à l'aide d'une caméra numérique (10), au moins une image numérique (I) comprenant au moins une portion de visage d'un utilisateur (U) ; - une étape de traitement (S2) consistant à traiter ladite au moins une image (I) pour déterminer au moins une donnée d'expression (D EX' i étant un entier positif) contenant une information relative à au moins une expression du visage (EX,, EXb, EX' EXd) de l'utilisateur (U) ; et - une étape d'analyse (S3) consistant à comparer ladite au moins une donnée d'expression (D EX,) déterminée lors de l'étape de traitement (S2) à une première base de données (DB1) préétablie pour déterminer au moins une donnée d'effet (D EFJ, j étant un entier positif) contenant une information relative à au moins un effet sonore (EFA, EFB, EFc) associé à la ou les expressions du visage (EX,, EXb, EX' EXd) de l'utilisateur (U), ladite première base de données (DB1) comprenant une pluralité de données d'expression (D EX,) associées chacune à au moins une donnée d'effet (D EFJ).
- 2. Procédé de contrôle selon la revendication 1, caractérisé en ce que l'étape d'acquisition (Si) comporte l'émission d'une source de lumière infrarouge (LUX _R) en direction du visage de l'utilisateur (U).
- 3. Procédé de contrôle selon la revendication 1 ou 2, caractérisé en ce que l'étape d'acquisition (Si) comporte l'application d'un filtrage infrarouge (FIR) à l'aide d'un filtre optique (30) de ne laissant passer qu'une bande de longueur d'onde infrarouge. 3 0
- 4. Procédé de contrôle selon l'une quelconque des revendications précédentes, l'étaped'acquisition (Si) consistant à acquérir au moins deux images numériques (I), caractérisé en ce qu'il comporte une étape d'interpolation (S4) consistant à interpoler les données d'effet (D EF,) et/ou les données d'expression (D EX,) pour obtenir une pluralité de données d'effet ou d'expression intermédiaires entre deux images numériques successives (I).
- 5. Procédé de contrôle selon l'une quelconque des revendications précédentes, caractérisé en ce que l'étape de traitement (S2) comporte l'application d'un algorithme de traitement d'images sur ladite au moins une image numérique (I) pour reconnaître au moins une expression du visage (EX,, EXb, EX' EXd) de l'utilisateur (U).
- 6. Procédé de contrôle selon l'une quelconque des revendications 1 à 4, caractérisé en ce que l'étape de traitement (S2) comporte la comparaison des données d'expression (D EX,) à une deuxième base de données (DB2) comprenant une table de correspondance entre les données d'expression et une ou plusieurs expressions de visage prédéterminées ou enregistrée par l'utilisateur
- 7. Programme d'ordinateur comportant des instructions adaptées pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 6 lorsque ledit 2 0 programme d'ordinateur est exécuté par au moins un processeur.
- 8. Support d'enregistrement lisible par un ordinateur sur lequel est enregistré un programme d'ordinateur comprenant des instructions pour l'exécution des étapes du procédé selon l'une quelconque des revendications 1 à 6. 25
- 9. Dispositif de contrôle (100) d'un module de génération (MG) d'effets sonores pour contrôler un ou plusieurs effets sonores (EFA, EFB, EFc) d'un instrument de musique (IM), ledit dispositif (100) comportant : - un module d'acquisition (M1) comportant une caméra numérique (10) 30 configurée pour acquérir au moins une image numérique (I) comprenant au moins uneportion de visage d'un utilisateur (U) ; - un module informatique de traitement (M2) configuré pour traiter ladite au moins une image (I) afin de déterminer au moins une donnée d'expression (D EX' i étant un entier positif) contenant une information relative à au moins une expression du visage (EX,, EXb, EX' EXd) de l'utilisateur (U) ; et - un module d'analyse (M3) configuré pour comparer ladite au moins une donnée d'expression (D EX,) avec une première base de données (DB1) préétablie afin de déterminer au moins une donnée d'effet (D EF,, j étant un entier positif) contenant une information relative à au moins un effet sonore (EFA, EFB, EFc) associé à la ou les 1 0 expressions du visage (EX,, EXb, EX' EXd) de l'utilisateur (U), ladite première base de données (DB1) comprenant une pluralité de données d'expression (D EX,) associées chacune à au moins une donnée d'effet (D EF,).
- 10. Dispositif (100) selon la revendication 9, caractérisé en ce qu'il comporte des 15 moyens informatiques configurés pour la mise en oeuvre des étapes du procédé selon l'une quelconque des revendications 1 à 6.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1353624A FR3004831B1 (fr) | 2013-04-19 | 2013-04-19 | Controle numerique des effets sonores d'un instrument de musique. |
| US14/256,920 US9734809B2 (en) | 2013-04-19 | 2014-04-18 | Digital control of the sound effects of a musical instrument |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1353624A FR3004831B1 (fr) | 2013-04-19 | 2013-04-19 | Controle numerique des effets sonores d'un instrument de musique. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| FR3004831A1 true FR3004831A1 (fr) | 2014-10-24 |
| FR3004831B1 FR3004831B1 (fr) | 2022-05-06 |
Family
ID=48906306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR1353624A Active FR3004831B1 (fr) | 2013-04-19 | 2013-04-19 | Controle numerique des effets sonores d'un instrument de musique. |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9734809B2 (fr) |
| FR (1) | FR3004831B1 (fr) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103646656B (zh) * | 2013-11-29 | 2016-05-04 | 腾讯科技(成都)有限公司 | 音效处理方法、装置、插件管理器及音效插件 |
| CN105187717A (zh) * | 2015-08-10 | 2015-12-23 | 四川长虹电器股份有限公司 | 通过语音控制电视摄像头的拍照方法及系统 |
| US10854180B2 (en) | 2015-09-29 | 2020-12-01 | Amper Music, Inc. | Method of and system for controlling the qualities of musical energy embodied in and expressed by digital music to be automatically composed and generated by an automated music composition and generation engine |
| US9721551B2 (en) | 2015-09-29 | 2017-08-01 | Amper Music, Inc. | Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions |
| US9852651B2 (en) * | 2016-02-16 | 2017-12-26 | Panasonic Intellectual Property Corporation Of America | Practice support device and practice support method for wind instrument performer |
| WO2020154422A2 (fr) * | 2019-01-22 | 2020-07-30 | Amper Music, Inc. | Procédés et systèmes de composition et de génération de musique automatisées |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020019678A1 (en) * | 2000-08-07 | 2002-02-14 | Takashi Mizokawa | Pseudo-emotion sound expression system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090002178A1 (en) * | 2007-06-29 | 2009-01-01 | Microsoft Corporation | Dynamic mood sensing |
| US8094891B2 (en) * | 2007-11-01 | 2012-01-10 | Sony Ericsson Mobile Communications Ab | Generating music playlist based on facial expression |
| US20110223995A1 (en) * | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
| JP2012169777A (ja) * | 2011-02-10 | 2012-09-06 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
| WO2013106459A1 (fr) * | 2012-01-10 | 2013-07-18 | Artiphon, Llc | Instrument de musique électronique ergonomique à pseudo-cordes |
-
2013
- 2013-04-19 FR FR1353624A patent/FR3004831B1/fr active Active
-
2014
- 2014-04-18 US US14/256,920 patent/US9734809B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020019678A1 (en) * | 2000-08-07 | 2002-02-14 | Takashi Mizokawa | Pseudo-emotion sound expression system |
Non-Patent Citations (12)
| Title |
|---|
| "MEDIA TECHNOLOGY 2013", 15 July 2013 (2013-07-15), pages 1 - 4, XP055103398, Retrieved from the Internet <URL:http://english.hig.no/imt/course_pages/imt4904/mt2013> [retrieved on 20140220] * |
| DAVID MERRILL: "Head-Tracking for Gestural and Continuous Control of Parameterized Audio Effects", INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION, 1 January 2003 (2003-01-01), pages 218 - 219, XP055104333, Retrieved from the Internet <URL:http://delivery.acm.org/10.1145/1090000/1085770/p218-merrill.pdf?ip=145.64.134.245&id=1085770&acc=ACTIVE SERVICE&key=986B26D8D17D60C88D75A192E3112143&CFID=383810422&CFTOKEN=58789864&__acm__=1393348430_d733eecf648f341671805b40f63414ed> [retrieved on 20140225] * |
| GERARDO DIEGO DE LA RIVA: "Real-Time Facial-Expression Interpretation for Controlling Sound Effect Parameters", 19 June 2013 (2013-06-19), pages 1, XP054975330, Retrieved from the Internet <URL:http://www.youtube.com/watch?v=eCnfCkahOlc> [retrieved on 20140221] * |
| JORGE SOLIS ET KIA NG: "Musical Robots and Interactive Multimodal Systems", 1 January 2011, SPRINGER, pages: 215 - 232, XP002720899 * |
| LUKE BARRINGTON ET AL: "Ambient Display using Musical Effects", PROCEEDINGS OF THE 11TH INTERNATIONAL CONFERENCE ON INTELLIGENT USER INTERFACES , IUI '06, vol. 374, 1 January 2006 (2006-01-01), New York, New York, USA, pages 372, XP055104421, ISBN: 978-1-59-593287-7, DOI: 10.1145/1111449.1111541 * |
| MATHIAS FUNK ET AL: "Sonification of Facial Actions for Musical Expression", PROC. OF THE 2005 INTERNATIONAL CONFERENCE ON NEW INTERFACES FOR MUSICAL EXPRESSION NIME05, 26 May 2005 (2005-05-26), pages 127 - 131, XP055104426, Retrieved from the Internet <URL:http://www.kasrl.org/lyons_nime2005_127.pdf> [retrieved on 20140226] * |
| MICHAEL LYONS ET AL: "Facing the music", CHI '01 EXTENDED ABSTRACTS ON HUMAN FACTORS IN COMPUTING SYSTEMS , CHI '01, 31 March 2001 (2001-03-31), New York, New York, USA, pages 309 - 310, XP055103535, DOI: 10.1145/634067.634250 * |
| MORIMOTO C H ET AL: "Pupil detection and tracking using multiple light sources", IMAGE AND VISION COMPUTING, ELSEVIER, GUILDFORD, GB, vol. 18, no. 4, 1 March 2000 (2000-03-01), pages 331 - 335, XP008126446, ISSN: 0262-8856, [retrieved on 20000217], DOI: 10.1016/S0262-8856(99)00053-0 * |
| NG K C: "Music via Motion: Transdomain Mapping of Motion and Sound for Interactive Performances", PROCEEDINGS OF THE IEEE, IEEE. NEW YORK, US, vol. 92, no. 4, 1 April 2004 (2004-04-01), pages 645 - 655, XP011109941, ISSN: 0018-9219, DOI: 10.1109/JPROC.2004.825885 * |
| ROBERTO VALENTI ET AL: "Facial expression recognition as a creative interface", PROCEEDINGS OF THE 13TH INTERNATIONAL CONFERENCE ON INTELLIGENT USER INTERFACES, IUI '08, 13 January 2008 (2008-01-13), New York, New York, USA, pages 433 - 434, XP055104111, ISBN: 978-1-59-593987-6, DOI: 10.1145/1378773.1378853 * |
| ROBERTO VALENTI ET AL: "Sonify your face: facial expressions for sound generation", PROCEEDINGS OF THE INTERNATIONAL CONFERENCE ON MULTIMEDIA, MM '10, 1 January 2010 (2010-01-01), New York, New York, USA, pages 1363 - 1372, XP055104105, ISBN: 978-1-60-558933-6, DOI: 10.1145/1873951.1874219 * |
| VAISHAKH PATIL ET AL: "Sonification of Facial Expression Using Dense Optical Flow on Segmented Facial Plane", INTERNATIONAL CONFERENCE ON COMPUTING AND CONTROL ENGINEERING 12 & 13 APRIL, 1 January 2012 (2012-01-01), pages 1 - 8, XP055104420, Retrieved from the Internet <URL:http://www.iccce.co.in/Papers/ICCCECS726.pdf> [retrieved on 20140226] * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9734809B2 (en) | 2017-08-15 |
| FR3004831B1 (fr) | 2022-05-06 |
| US20140311322A1 (en) | 2014-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| FR3004831A1 (fr) | Controle numerique des effets sonores d'un instrument de musique. | |
| TWI793344B (zh) | 影像處理方法、裝置、儲存介質和電腦設備 | |
| JP7404067B2 (ja) | ライブ音楽実演のマルチメディア・コンテンツのネットワーク・ベースの処理および配送 | |
| JP5485913B2 (ja) | 環境内のムード及びソーシャルセッティングに適した雰囲気を自動生成するためのシステム及び方法 | |
| WO2010092139A2 (fr) | Dispositif et procede d'interpretation de gestes musicaux | |
| FR2972835A1 (fr) | Procede pour generer un scenario a partir d'une musique, jeu et systemes comprenant des moyens pour la mise en œuvre d'un tel procede. | |
| EP3542545A1 (fr) | Dispositif à casque audio, perfectionné | |
| WO2010092140A2 (fr) | Dispositif et procede de controle du defilement d'un fichier de signaux a reproduire | |
| JP2015053054A (ja) | 音声信号に関係付けられる触覚効果を生成するためのシステム及び方法 | |
| WO2019114015A1 (fr) | Procédé de commande de performance de robot, et robot | |
| EP0142179A1 (fr) | Dispositif de création sonore | |
| EP2215626A1 (fr) | Systeme d'interpretation simultanee automatique | |
| EP3580755A1 (fr) | Methode et appareil de modification dynamique du timbre de la voix par decalage en fréquence des formants d'une enveloppe spectrale | |
| US9286943B2 (en) | Enhancing karaoke systems utilizing audience sentiment feedback and audio watermarking | |
| EP4062263A1 (fr) | Système pour générer un signal a partir d'une commande tactile et d'une commande optique | |
| JP2023527473A (ja) | オーディオ再生方法、装置、コンピュータ可読記憶媒体及び電子機器 | |
| CN111787986A (zh) | 基于面部表情的语音效果 | |
| Tanaka et al. | MubuFunkScatShare: gestural energy and shared interactive music | |
| FR3039349A1 (fr) | Procede de synchronisation d'un flux d'images avec des evenements audio | |
| JP7152908B2 (ja) | 仕草制御装置及び仕草制御プログラム | |
| EP3351007B1 (fr) | Procédé de visualisation de données relatives à un événement et système associé | |
| WO2022202267A1 (fr) | Procédé de traitement d'informations, système de traitement d'informations, et programme | |
| KR20220036210A (ko) | 영상의 음질을 향상시키는 디바이스 및 방법 | |
| WO2024088720A1 (fr) | Procédé et système de mesure de point d'impact pour l'enclenchement et le développement d'un geste musical | |
| Schmitz et al. | UnStumm-Artificial Liveness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PLFP | Fee payment |
Year of fee payment: 3 |
|
| PLFP | Fee payment |
Year of fee payment: 4 |
|
| CA | Change of address |
Effective date: 20160413 |
|
| PLFP | Fee payment |
Year of fee payment: 5 |
|
| PLFP | Fee payment |
Year of fee payment: 6 |
|
| PLFP | Fee payment |
Year of fee payment: 8 |
|
| PLFP | Fee payment |
Year of fee payment: 9 |
|
| PLFP | Fee payment |
Year of fee payment: 10 |
|
| PLFP | Fee payment |
Year of fee payment: 11 |
|
| PLFP | Fee payment |
Year of fee payment: 12 |