FR3103952A1

FR3103952A1 - Méthode et système d’identification de notes jouées sur un instrument de musique à vent

Info

Publication number: FR3103952A1
Application number: FR1913599A
Authority: FR
Inventors: Florent Souvestre; Sylvie Lamy
Original assignee: Commissariat a lEnergie Atomique CEA; Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Current assignee: Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2021-06-04
Anticipated expiration: 2039-12-02
Also published as: FR3103952B1

Abstract

L’invention propose une méthode et un dispositif d’identification d’une configuration de bouchages des trous latéraux d’un instrument de musique à vent. Elle se base sur une phase d’apprentissage et une phase de classification à l’aide d’algorithmes d’apprentissage supervisé ou d’algorithmes d’analyse discriminante prédictive. L’invention permet d’adapter le temps d’exécution de la méthode pour obtenir un temps de réponse compatible des exigences du temps réel. Elle permet également de résoudre les problèmes de dérives dans le temps lorsque l’apprentissage initial des notes est modifié du fait de l’influence de paramètres tels que la température ou l’humidité ou encore la manipulation de l’instrument. Figure 3

Description

Méthode et système d’identification de notes jouées sur un instrument de musique à vent

L’invention concerne le domaine technique des instruments de musique à vent hybrides, c'est-à-dire des instruments à vents qui peuvent alternativement fonctionner selon un premier mode acoustique et selon un second mode numérique. L’invention s’applique à tous types d’instruments de musique à vent à trous latéraux parmi lesquels une clarinette, un saxophone, une flûte, un hautbois, un cor anglais ou un basson, cette liste n’étant pas exhaustive.

Le mode de fonctionnement acoustique est le mode de fonctionnement natif d’un instrument de musique à vent. Dans ce mode, le son est produit par des vibrations de la colonne d’air de l’instrument qui sont déclenchées par le souffle du joueur.

Un mode de fonctionnement numérique consiste à équiper un instrument de musique à vent de composants électroniques qui permettent la production de sons numériques obtenus par une technique de synthèse sonore appliquée à un ou plusieurs signaux électriques produits par les composants.

Le mode de fonctionnement numérique d’un instrument de musique à vent permet notamment de rendre l’instrument silencieux en restituant le son numérisé au joueur par le biais d’un casque. En effet, la pratique musicale acoustique peut être source de nuisance sonore et peut contraindre un musicien à jouer uniquement pendant certaines plages horaires voir à le décourager de la pratique de cet instrument.

Un autre avantage d’un fonctionnement numérique est l’élargissement de la palette de timbres grâce à une technique de synthèse sonore.

Un objectif général de l’invention est de détecter en temps réel les configurations de bouchage des trous latéraux de l’instrument afin d’identifier les notes jouées par le musicien et lui restituer ces notes via une technique de synthèse sonore.

Le brevet français du demandeur n° FR1553857 décrit un système électronique combinable à un instrument de musique à vent qui est basé sur une technologie de transmission d’ondes acoustiques dans le corps de l’instrument. Selon la position des doigts d’un joueur sur les trous latéraux de l’instrument, la propagation des ondes est modifiée et les ondes captées présentent une signature différente.

En exploitant ce principe aux moyens de capteurs piézoélectriques positionnés sur le corps de l’instrument, il est possible d’identifier la note jouée par le musicien en analysant les ondes propagées entre un émetteur et un récepteur.

La méthode de détection utilisée dans le brevet FR1553857 est basée sur un procédé de localisation d’une perturbation d’un milieu à partir d’émetteurs et récepteurs d’ondes mécaniques élastiques. Le principe consiste à rendre une surface tactile en positionnant sur cette surface au moins un émetteur d’ondes acoustiques et au moins un récepteur d’ondes acoustiques. Les ondes se propagent dans le milieu constitué par la surface, sont reçus par le récepteur qui génère un signal caractéristique des ondes reçues. En analysant le signal reçu, il est possible de détecter une perturbation du milieu engendrée par une déformation de la surface du fait d’un contact d’un doigt avec cette surface. Cette méthode permet ainsi de localiser un contact sur la surface rendue tactile. Ce principe est mis en œuvre pour détecter des perturbations sur le corps d’un instrument à vent lors d’un contact entre les doigts du musicien et les trous latéraux de l’instrument.

L’identification des notes est réalisée en deux phases: une phase d’apprentissage puis une phase de surveillance.

Lors de la phase d’apprentissage, les signatures spectrales des signaux mesurés sont enregistrées pour chaque configuration de l’état de bouchage des trous latéraux correspondant à une note différente.

Lors de la phase de surveillance, la signature spectrale d’un signal mesuré, correspondant à une note jouée par le musicien, est comparée à toutes les signatures enregistrées lors de la phase d’apprentissage. La comparaison est réalisée en calculant une distance entre le spectre du signal mesuré et chaque spectre enregistré pendant la phase d’apprentissage. La distance la plus faible permet d’identifier la signature spectrale enregistrée la plus proche de celle mesurée et d’en déduire la note probablement jouée par le musicien.

Un inconvénient de cette méthode est qu’elle souffre de problèmes d’ambiguïtés lors de la phase d’identification des notes. En effet, le critère utilisé pour l’identification des notes est une distance en valeur absolue entre deux spectres. Avec un tel critère, deux signatures spectrales différentes (correspondant à deux notes différentes) peuvent produire la même distance.

Il existe donc un besoin pour améliorer la méthode d’identification des notes proposée dans le brevet précité afin de résoudre les problèmes d’ambigüité dans la détection des notes. Par ailleurs, la méthode mise en œuvre doit être compatible d’une implémentation dans un dispositif embarqué et doit permettre une détection en temps réel, dans un délai contraint car les notes doivent être restituées à l’utilisateur sans délai perceptible.

L’invention propose une solution permettant d’améliorer les performances de la méthode décrite dans le brevet FR1553857 en ce qu’elle permet de limiter le risque d’ambiguïtés dans la phase de détection des notes et de façon générale d’améliorer la robustesse de la détection.

Par ailleurs, l’invention permet également d’adapter le temps d’exécution de la méthode pour obtenir un temps de réponse compatible des exigences du temps réel.

Elle permet enfin de résoudre les problèmes de dérives dans le temps lorsque l’apprentissage initial des notes est modifié du fait de l’influence de paramètres tels que la température ou l’humidité ou encore la manipulation de l’instrument.

L’invention a pour objet une méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent comprenant un système électronique combiné à l’instrument de musique, ledit système comprenant au moins un dispositif d’émission d’ondes mécaniques élastiques dans le corps de l’instrument et au moins un dispositif de réception des ondes mécaniques élastiques après leur propagation, conçu pour fournir un signal de réception à partir des ondes mécaniques élastiques reçues, la méthode comprenant les étapes de:

Exécuter une première phase d’apprentissage consistant à faire varier les configurations de l’état de bouchage des trous latéraux de l’instrument parmi l’ensemble des configurations possibles et, pour chaque configuration:
1. Acquérir des mesures desdites ondes après leur propagation dans le corps de l’instrument selon une séquence de mesures prédéterminée,
2. Transformer les mesures dans le domaine fréquentiel et les filtrer dans une bande de fréquence choisie,
Appliquer un algorithme d’apprentissage à un ensemble de vecteurs de N caractéristiques, chaque vecteur comprenant au moins les mesures fréquentielles filtrées associées à une configuration, de manière à définir une classe pour chaque configuration.
Exécuter une seconde phase de classification consistant, pour une configuration de l’état de bouchage des trous latéraux de l’instrument jouée par un utilisateur à:
1. Acquérir des mesures desdites ondes après leur propagation dans le corps de l’instrument selon une séquence de mesures prédéterminée,
2. Transformer les mesures dans le domaine fréquentiel et les filtrer dans une bande de fréquence choisie,
3. Appliquer un algorithme de classification à un vecteur de N caractéristiques comprenant au moins les mesures fréquentielles filtrées, de manière à classifier la configuration jouée dans une classe déterminée lors de la première phase d’apprentissage.

Selon un aspect particulier de l’invention, l’algorithme d’apprentissage et l’algorithme de classification sont des algorithmes d’apprentissage supervisé ou des algorithmes d’analyse discriminante prédictive.

Selon un aspect particulier de l’invention, l’algorithme d’apprentissage et l’algorithme de classification sont des algorithmes du type machine à vecteurs de support ou analyse discriminante linéaire.

Selon un aspect particulier de l’invention, l’algorithme du type machine à vecteurs de support est exécuté itérativement de manière à pendant la phase d’apprentissage, rechercher, à chaque itération, une frontière entre deux classes et, pendant la phase de classification, à chaque itération, classer le vecteur de N caractéristiques dans l’une des deux classes.

Selon un aspect particulier de l’invention, à chaque itération, les deux classes correspondent à deux configurations jouées différentes.

Selon un aspect particulier de l’invention, à chaque itération, l’une des deux classes correspond à l’une des configurations jouées et l’autre classe correspond à l’ensemble des autres configurations jouées.

Selon un aspect particulier de l’invention, la bande de fréquence choisie est la plage [20 kHz; 80 kHz] ou [20 kHz; 60 kHz].

Selon un aspect particulier de l’invention, les ondes mécaniques élastiques sont générées à partir de signaux ayant une fréquence porteuse qui balaie toute la bande de fréquence choisie au cours du temps.

Dans une variante de réalisation, la méthode selon l’invention comprend en outre les étapes de:

pendant la première phase d’apprentissage, sauvegarder les vecteurs de N caractéristiques associés à chaque configuration,
après la seconde phase d’identification :
1. Calculer une distance entre un ensemble d’au moins un nouveau vecteur de caractéristiques mesuré pour la configuration jouée et les vecteurs de caractéristiques correspondant à la même configuration pendant la première phase d’apprentissage,
2. Selon la valeur de la distance calculée, exécuter une nouvelle phase d’apprentissage pour au moins la configuration jouée et
3. remplacer les vecteurs de N caractéristiques sauvegardés pendant la première phase d’apprentissage par l’ensemble d’au moins un nouveau vecteur de caractéristiques.

Dans une variante de réalisation, la méthode selon l’invention comprend en outre une étape de réduction du nombre de composantes fréquentielles de chaque mesure fréquentielle filtrée.

Dans une variante de réalisation, la méthode selon l’invention comprend la suppression des composantes fréquentielles qui présentent une amplitude inférieure à un seuil prédéterminé en fonction d’un rapport signal à bruit.

Dans une variante de réalisation, la méthode selon l’invention comprend en outre, pour chaque configuration, la suppression des composantes fréquentielles les moins stables dans le temps.

Dans une variante de réalisation, la méthode selon l’invention comprend en outre comprend en outre les étapes de:

Acquérir des mesures desdites ondes après leur propagation dans l’air et
Ajouter lesdites mesures à chaque vecteur de N caractéristiques pour l’application de l’algorithme d’apprentissage et de l’algorithme de classification.

Mesurer au moins une caractéristique supplémentaire des ondes acquises parmi le temps de montée de l’onde et l’énergie de l’onde,
Ajouter l’au moins une caractéristique supplémentaire à chaque vecteur de N caractéristiques pour l’application de l’algorithme d’apprentissage et de l’algorithme de classification.

L’invention a aussi pour objet un système électronique configuré pour être combiné avec un instrument de musique à vent à trous latéraux comprenant un corps tubulaire définissant à l’intérieur une colonne d’air, ledit système comprenant au moins un dispositif d’émission d’ondes mécaniques élastiques dans le corps de l’instrument, au moins un dispositif de réception des ondes mécaniques élastiques après leur propagation, conçu pour fournir un signal de réception à partir des ondes mécaniques élastiques reçues et un dispositif de détection et de localisation de la perturbation induite par une action de bouchage d’au moins un trou latéral de l’instrument, configuré pour mettre en œuvre la méthode d’identification d’une configuration de bouchage de trous latéraux selon l’invention, ledit dispositif de détection et de localisation étant disposé de façon amovible à l’intérieur de la colonne d’air de l’instrument.

Selon un aspect particulier de l’invention, le dispositif de détection et de localisation est configuré pour déterminer, à partir de la tablature chromatique de l’instrument, une note de musique associée à l’état de bouchage des trous latéraux de l’instrument qui a été détecté.

Selon un aspect particulier de l’invention, le dispositif d’émission d’ondes mécaniques élastiques est un actionneur piézo-électrique et le dispositif de réception des ondes mécaniques élastiques après leur propagation est un récepteur piézo-électrique.

Selon une variante de réalisation, le système selon l’invention comprend en outre un dispositif de synthèse sonore connecté au dispositif de détection et de localisation pour restituer à un utilisateur les notes associées aux configurations détectées de bouchage des trous de l’instrument de musique en fonction de la tablature chromatique de l’instrument de musique.

Selon une variante de réalisation, le système selon l’invention comprend en outre un micro pour capter les vibrations dans l’air des ondes mécaniques élastiques émises.

L’invention a encore pour objet un instrument de musique à vent à trous latéraux destiné à produire sélectivement des sons acoustiques et des sons électriques, comprenant un instrument de musique à vent à trous latéraux combiné à un système électronique selon l’invention.

L’instrument de musique peut être un saxophone ou une clarinette ou une flute ou un hautbois ou un basson.

D’autres caractéristiques et avantages de la présente invention apparaîtront mieux à la lecture de la description qui suit en relation aux dessins annexés suivants.

la figure 1 représente un schéma illustrant un exemple du principe général d’un système de détection et d’identification de notes jouées sur un saxophone, selon un mode de réalisation de l’invention,

la figure 2 représente un schéma illustrant une autre application de l’invention pour une clarinette,

la figure 3 représente un organigramme détaillant les étapes de mise en œuvre d’un procédé d’identification des configurations de bouchage des trous latéraux d’un instrument de musique à vent selon l’invention,

la figure 4 représente un organigramme détaillant les étapes de mise en œuvre d’une première phase dite d’apprentissage du procédé selon l’invention,

la figure 5 représente un organigramme détaillant les étapes de mise en œuvre d’une seconde phase dite d’identification du procédé selon l’invention,

la figure 6 représente une illustration d’une séquence de signaux émis par un système selon l’invention,

la figure 7 représente une illustration d’une séquence d’émission et de réception,

la figure 8 représente un exemple de mesures fréquentielles utilisées pour la classification des notes jouées sur l’instrument à vent.

La figure 1 représente un saxophone muni de de plusieurs émetteurs E₁,E₂,E_Net de plusieurs récepteurs R₁,R_Naptes à respectivement émettre et recevoir des ondes mécaniques élastiques dans le corps du saxophone. Dans cet exemple, les émetteurs et récepteurs sont préférentiellement positionnés sur le bocal 1805 ou à l’intérieur du pavillon 1809 du saxophone mais ils peuvent également être fixés directement au corps de l’instrument. Le choix du nombre et de l’emplacement des émetteurs et récepteurs sur l’instrument est fait de sorte à être le moins intrusif possible et le moins gênant pour l’utilisateur. Le bocal et le pavillon du saxophone sont ainsi préférés car ces parties n’entrent pas en interaction avec les doigts du musicien. Les émetteurs et récepteurs d’ondes mécaniques élastiques peuvent prendre la forme de transducteurs piézoacoustiques, de pastilles piézoélectriques ou de transducteurs en céramique ferroélectrique.

Le système selon l’invention comporte également un dispositif informatique ou une carte électronique (non représentée à la figure 1) connecté aux électrodes des émetteurs et récepteurs d’ondes mécaniques élastiques et configuré pour exécuter une méthode de détection et identification de l’état de bouchage des trous de l’instrument selon l’un des modes de réalisation de l’invention.

La carte électronique doit être amovible pour permettre un fonctionnement de l’instrument en mode acoustique. A cet effet, elle peut être fixée à l’instrument par le biais d’un moyen de fixation amovible, par exemple de l’adhésif, une pince, un clip, un aimant, une bague, un emboitement en force dans la colonne d’air de l’instrument ou tout autre moyen de couplage mécanique amovible. Pour ne pas dénaturer l’aspect visuel extérieur de l’instrument, la carte électronique peut être fixée à l’intérieur de la colonne d’air de l’instrument, par exemple à l’intérieur du corps de l’instrument ou à l’intérieur d’une autre pièce de l’instrument parmi le pavillon, le bec, le bocal ou le barillet.

Dans le cas où l’instrument de musique est un saxophone, la carte électronique peut être fixée par l’intermédiaire d’un boitier ou tout autre moyen de fixation pouvant s’encastrer à l’intérieur du pavillon 1809.

La figure 2 illustre une autre mise en œuvre possible du système électronique selon l’invention pour une clarinette.

Sur la partie gauche de la figure 2 est représentée une clarinette 1900 dans une configuration pour un jeu acoustique, c'est-à-dire une clarinette originale.

Sur la partie droite de la figure 2, on a identifié deux parties amovibles de l’instrument: le bec 1901 et le pavillon 1902. Ces deux parties peuvent être enlevées pour configurer l’instrument en mode numérique. Pour cela on remplace le bec d’origine 1901 par un bec modifié 1911 selon l’invention. Le bec modifié 1911 peut contenir, comme expliqué ci-dessus une partie des émetteurs et récepteurs d’ondes mécaniques ultrasonores. De même, le pavillon d’origine 1902 peut être remplacé par un pavillon modifié 1912 selon l’invention. Le pavillon modifié 1912 peut également intégrer un ou plusieurs émetteurs d’ondes mécaniques élastiques et/ou un ou plusieurs récepteurs associés. Le pavillon modifié 1912 comporte, fixé à l’intérieur de la colonne d’air, un dispositif informatique ou électronique relié aux émetteurs et récepteurs pour mettre en œuvre le procédé de détection et d’identification de l’état de bouchage des trous de l’instrument selon l’invention.

Le bec modifié 1911 peut être relié au dispositif électronique intégré dans le pavillon modifié 1912 et comprendre un dispositif de détection du souffle du joueur. De cette façon, il est possible de synchroniser la restitution numérique des notes avec le souffle du joueur.

Le dispositif électronique selon l’invention fournit à un calculateur les notes associées aux états de bouchage des trous qui ont été détectés. Le calculateur exécute une méthode de synthèse sonore pour restituer numériquement les notes à un utilisateur au moyen d’un casque 1915. Le calculateur peut être embarqué dans un ordinateur 1913 ou un téléphone intelligent 1914 ou tout autre dispositif électronique équivalent.

La figure 3 schématise les phases principales de la méthode d’identification de notes selon l’invention. La méthode comprend une première phase d’apprentissage 301 qui consiste à construire une base d’apprentissage comprenant des classes associées à un ensemble de caractéristiques des signaux mesurés pour chaque configuration de bouchage des trous latéraux de l’instrument associée à chaque note jouée, ces caractéristiques comprenant au moins les signatures spectrales des signaux.

Dans une deuxième phase 302, l’instrument de musique est utilisé par un joueur et la méthode vise à détecter et identifier les notes jouées en classant les caractéristiques des signaux mesurés dans l’une des classes construites lors de la première phase d’apprentissage 301.

Dans un mode de réalisation particulier de l’invention, une troisième phase 303 de détection de dérive est mise en œuvre pour déclencher une nouvelle phase d’apprentissage selon un critère de dérive particulier.

La figure 4 détaille un exemple de réalisation de la première phase d’apprentissage 301.

Une première étape 401 consiste pour chaque note jouée, à acquérir et enregistrer plusieurs mesures d’ondes acoustiques au moyen d’un ou plusieurs récepteurs R₁,R_N. L’étape 401 suit une séquence de mesures prédéfinie qui consiste à émettre plusieurs trames identiques successives de signaux acoustiques au moyen d’un ou plusieurs émetteurs E₁,E_N, puis à enregistrer les signaux au niveau des récepteurs R₁,R_N.

Le signal émis présente une fréquence porteuse qui balaie toute une plage de fréquence choisie. Un exemple de séquence de signaux émis est représenté à la figure 6. La fréquence du signal varie entre Fmin=20kHz et Fmax=80kHz. La durée d’une trame est par exemple égale à 2ms et la durée entre deux trames est par exemple égale à 3ms. Le nombre de trames émises pour une note jouée est un paramètre de l’algorithme d’apprentissage.

La plage de fréquence du signal est choisie préférablement égale à [20kHz; 80kHz] ou [20kHz; 60kHz]. Une fréquence inférieure à 20kHz présente l’inconvénient de provoquer un son désagréable pour l’utilisateur. Une plage de fréquence supérieure à 80 kHz présente l’inconvénient d’engendrer un surcoût de traitement des signaux et donc un temps de réponse plus important dans la restitution des notes à l’utilisateur. La plage de fréquence est aussi choisie de sorte qu’elle comprenne des fréquences caractéristiques des notes jouées lorsqu’on analyse les signaux acoustiques mesurés. La plage de fréquence peut dépendre du matériau de l’instrument. Le signal temporel émis peut être de forme sinusoïdale ou de forme carrée.

L’acquisition des signaux acoustiques par les récepteurs est activée après un temps prédéterminé comme illustré à la figure 7. Ce temps est nécessaire à l’onde pour s’établir et se propager dans le corps de l’instrument.

En sortie de l’étape 401, on dispose de N_mesmesures de signaux numérisés avec N_mesun nombre entier paramétrable en fonction des contraintes et des performances visées.

L’étape suivante 402 consiste à convertir les mesures dans le domaine fréquentiel, par exemple au moyen d’une transformée de Fourier directe.

Ensuite, dans une étape 403, un filtrage du spectre obtenu est réalisé de sorte à ne conserver que la bande de fréquence choisie, par exemple la bande [20kHz; 80 kHz] ou [20kHz; 60 kHz].

Dans une variante de réalisation de l’invention, la bande de fréquence choisie est réduite en supprimant certaines fréquences ou plages de fréquences qui ne sont pas pertinentes pour classifier les signatures spectrales correspondantes aux différentes notes. Un avantage à réduire la bande de fréquence est que cela permet d’améliorer le temps de réponse des algorithmes comme cela sera explicité plus loin.

Une première solution pour réduire la bande de fréquence consiste à sélectionner uniquement les fréquences dont l’amplitude ou l’énergie est supérieure à un seuil prédéterminé en fonction d’un niveau de bruit. De cette façon, on élimine les fréquences qui ne correspondent qu’à du bruit et non à du signal utile.

Une autre solution consiste à analyser la stabilité de l’amplitude des différentes fréquences dans le temps pour chaque note jouée. Autrement dit, en jouant plusieurs fois la même note, on détermine les fréquences qui présentent l’amplitude la plus élevée et la plus stable dans le temps et on ne retient que ces fréquences.

En sortie de l’étape 403, on obtient N_mesvecteurs ayant chacun un nombre d’échantillons correspondants à un nombre prédéterminé de fréquences différentes dans la bande choisie.

Dans une variante de réalisation de l’invention, les vecteurs fournis en sortie de l’étape 403 sont complétés avec d’autres caractéristiques des signaux parmi lesquelles le temps de montée du signal temporel, ou encore l’énergie du signal dans la bande de filtrage. De façon générale, toute caractéristique pertinente du signal peut être ajoutée. Plus précisément, le temps de montée du signal est, par exemple mesuré entre un instant d’acquisition (correspondant au début de la réception du signal) et un instant ultérieur correspondant à un dépassement, par le signal, d’un seuil d’amplitude prédéfini. L’énergie du signal est mesurée soit dans le domaine temporel soit dans le domaine fréquentiel.

Les étapes 401,402,403 sont réalisées pour chaque note jouée par l’utilisateur, autrement dit pour chaque configuration de bouchage des trous latéraux de l’instrument.

Ensuite on applique une étape 404 d’apprentissage aux vecteurs afin de déterminer les règles de séparation ou frontières entre les différentes classes. La séparation se fait par exemple en recherchant un hyperplan à N dimensions séparant deux classes, N étant le nombre de caractéristiques dans chaque vecteur. Autrement dit, les échantillons des vecteurs des mesures fréquentielles filtrées correspondent à des caractéristiques des signaux qui doivent permettre de séparer chaque signal associé à une note différente dans une classe différente.

Pour cela, on utilise un algorithme d’apprentissage supervisé tel que l’algorithme du type machine à vecteurs de support ou SVM (Support Vector Machine) ou bien un algorithme d’analyse discriminante prédictive comme l’algorithme d’analyse discriminante linéaire ou LDA (Linear Discriminant Analysis).

La méthode de classification par analyse discriminante linéaire LDA est basée sur le principe de l’analyse en composantes principales qui consiste à estimer chaque classe par une courbe Gaussienne multi-variables de matrice de covariance identique pour chaque classe. Cette méthode est par exemple décrite dans la référence [1]. L’algorithme de classification LDA cherche donc à estimer cette matrice de covariance en respectant un objectif de minimisation de la dispersion intra-classe tout en maximisant la dispersion inter-classes.

En résumé, la méthode de classification LDA comprend principalement les étapes suivantes. Les données d’entrées sont tout d’abord recentrées à partir de la moyenne (c'est-à-dire qu’on soustrait la moyenne des données à chaque valeur). Ces moyennes (moy_i) associées à chaque classe sont gardées en mémoire dans la base de classification Base_cl. Ensuite, on calcule les matrices de dispersion intra-classe S_Wet inter-classes S_bà partir des données recentrées. On recherche ensuite la matrice de covariance optimale W qui est celle qui minimise S_Wet qui maximise S_b. Elle est obtenue en recherchant la matrice W qui maximise la relation suivante:

Une autre méthode de classification concerne la méthode par machine à vecteurs de support ou SVM. Ce type de classificateur est par exemple décrit dans les références [2] et [3]. Cette méthode est conçue pour séparer les variables d’entrée en deux groupes ou deux classes, en respectant une contrainte de marge maximale entre les deux groupes.

La frontière entre deux classes peut être une droite ou une courbe plus complexe ou encore un hyperplan.

Dans le cas présent, le nombre de classes à séparer est égal au nombre de notes jouées pendant la phase d’apprentissage, il est donc supérieur à deux. On distingue par la suite deux méthodes possibles pour appliquer l’algorithme SVM à un nombre de classes strictement supérieur à 2.

Pour séparer plus de deux classes, une première méthode consiste à appliquer l’algorithme SVM plusieurs fois en recherchant à chaque itération à séparer une classe de toutes les autres. Dans ce cas, il y a autant de frontières à rechercher que de classes. Autrement dit, il s’agit d’une méthode de séparation d’une classe par rapport à toutes les autres.

Une seconde méthode consiste à construire M*(M-1)/2 classificateurs binaires en appliquant l’algorithme SVM aux données d’entrées prises deux par deux, M étant le nombre de classes potentielles, c'est-à-dire le nombre de notes jouées pendant la phase d’apprentissage. Autrement dit, il s’agit ici d’une méthode de séparation d’une classe par rapport à une autre classe.

Quelle que soit la méthode retenue, pour une frontière donnée, on cherche à séparer deux classes. Soit il s’agit de séparer deux classes entre elles, soit il s’agit de séparer une classe vis-à-vis de l’ensemble de toutes les autres classes.

On définit ainsi au préalable une étiquette d’appartenance pour chacune des deux classes. Par exemple, pour une première classe l’étiquette d’appartenance est y_i= 1 et pour une seconde classe, l’étiquette d’appartenance est définie par y_i= -1.

On note x_i, un vecteur de caractéristiques de dimension N. Le nombre de vecteurs total enregistrés pendant la phase d’apprentissage 301, pour l’ensemble des notes, est égal à L. Pour chaque note jouée, le nombre de vecteurs enregistrés peut être identique ou différent.

Lors de la phase d’apprentissage 404, la classe (correspondant à la note jouée) étant connue, on peut définir une étiquette d’appartenance y_i= +/- 1 associée au vecteur x_i.

On recherche la frontière entre les deux classes, qui est définie par un hyperplan w qui peut être représenté par un vecteur α.

Pour déterminer l’hyperplan w qui sépare les deux classes associées aux étiquettes +1 et -1, on recherche le vecteur α qui permet de minimiser la grandeur tout en vérifiant la condition , C étant une constante, par exemple prise égale à 1 qui permet de définir un certain degré de porosité de la frontière.

y est un vecteur de taille égale à L qui contient les étiquettes d’appartenance aux classes pour chaque vecteur x_i.

Q est une matrice de dimension LxL définie semi-positive telle que et .

est une fonction noyau qui est, par exemple, une fonction linéaire, polynomiale ou Gaussienne.

est un vecteur de taille N égal au nombre de caractéristiques par vecteur x_i.

Lorsqu’on a déterminé le vecteur α qui remplit la condition précitée, l’hyperplan qui définit la frontière entre les deux classes est donné par l’équation suivante:

Dans une variante de réalisation, l’hyperplan w est défini uniquement par un sous-ensemble des valeurs parmi les valeurs positives.

Les vecteurs supports sont les vecteurs x_ipour lesquels les coefficients α_isont non nuls.

Dans le cas de la méthode de séparation d’une classe par rapport à toutes les autres, les étapes ci-dessus sont itérées plusieurs fois. A chaque itération, on associe une étiquette (par exemple +1) à l’une des notes et l’autre étiquette (par exemple -1) à l’ensemble des autres notes, le but étant de rechercher la frontière entre ces deux ensembles. Le nombre d’itérations est égal au nombre de notes.

Pour déterminer la matrice Q et l’hyperplan w, on considère à chaque fois l’ensemble des L vecteurs x_idéfinis sur toutes les N caractéristiques.

Dans le cas de la méthode de séparation d’une classe par rapport à une autre classe, les étapes ci-dessus sont également itérées plusieurs fois. A chaque itération, on associe une étiquette (par exemple +1) à l’une des notes et l’autre étiquette (par exemple -1) à une autre note, le but étant de rechercher la frontière entre ces deux notes. Le nombre d’itérations est égal à M*(M-1)/2, avec M le nombre de notes.

Pour cette seconde méthode, on considère à chaque itération seulement les vecteurs x_ienregistrés correspondants aux deux notes traitées dans l’itération courante. Pour limiter le nombre d’opérations, il est possible de ne conserver, dans chaque vecteur x_iutilisé, que les caractéristiques pertinentes associées aux deux notes à séparer.

Une illustration de fréquences pertinentes pour quatre notes différentes est représentée à la figure 8. Sur la figure 8, on a représenté un exemple de spectres obtenus pour quatre notes N1,N2,N3,N4 différentes dans la bande de fréquence [20kHz; 60 kHz].

Selon cet exemple, dans l’itération correspondant à la recherche de la frontière entre les classes correspondant aux notes N₁et N₂, on limite les vecteurs xi aux bandes de fréquence B₁+B₂. On procède de la même façon pour chaque couple de notes.

Ainsi, le nombre d’opérations est optimisé car on ne prend pas en compte à chaque itération toutes les caractéristiques de chaque vecteur xi, mais seulement celles qui sont pertinentes pour les deux notes considérées.

En effet, il n’est pas nécessaire d’exploiter le vecteur de caractéristiques x dans toute la bande de fréquence car seules certaines fréquences sont caractéristiques des deux notes associées au couple de classes que l’on recherche. C’est ce qui peut être observé sur l’exemple de la figure 8.

A l’issue de l’étape 404, on obtient une frontière (définie par un ensemble de valeurs définissant un hyperplan w) entre chaque paire de classes. Les coordonnées des frontières sont enregistrées dans une base de classification Base_cl. On conserve dans la base Base_cl également les vecteurs utilisés lors de la phase d’apprentissage pour chaque classe.

La figure 5 détaille un exemple de réalisation de la deuxième phase 302 de classification.

Dans cette deuxième phase 302, on considère que l’apprentissage 301 a été préalablement réalisé et qu’on dispose des coordonnées des frontières entre classes, enregistrées dans la base de classification Base_cl.

Cette deuxième phase 302 consiste à détecter en temps réel les notes jouées par un musicien et à lui restituer ces notes via une étape de synthèse sonore 406.

Pour chaque note jouée, on applique à nouveau les étapes 401,402 et 403 qui permettent de générer un vecteur de caractéristiques associé au signal acoustique qui s’est propagé dans le corps de l’instrument. Les caractéristiques du vecteur, notamment les fréquences de la bande de filtrage, sont de même nature que celles définies pendant la première phase d’apprentissage 301.

Dans une étape de classification 405, on détermine, pour le vecteur obtenu, la classe d’appartenance en utilisant la base de classification Base_cl. Cette étape est réalisée en appliquant un algorithme de classification LDA ou SVM selon la méthode d’apprentissage choisie.

L’algorithme de classification consiste à classer le nouveau vecteur dans l’une des classes apprises pendant la première phase 301. Dans les grandes lignes, les calculs effectués pour classifier un nouveau vecteur sont les suivants.

Pour la méthode de classification LDA,l’algorithme consiste à calculer la probabilité d’appartenir à chaque classe sous la forme d’un score. Chaque classe est représentée par une Gaussienne centrée sur la moyenne moy_i (stockée dans Base_cl) et de matrice de covariance W. Le plus haut score correspond à la classe d’appartenance.

Pour la méthode de classification SVM, la fonction de décision permettant de déterminer la classe d’appartenance d’un nouveau vecteur x est donnée par la relation suivante:

ρ est une constante qui peut être intégrée dans l’équation de l’hyperplan w (elle définit la condition à l’origine de l’hyperplan).

Le signe donné par la formule (3) est comparé avec l’étiquette 1 ou -1 de définition d’une classe.

L’étape de classification 405 est appliquée pour chaque frontière enregistrée dans la base Base_cl. Après avoir testé toutes les frontières, on attribue une note au vecteur qui permet de déterminer à quelle classe il appartient. La classe d’appartenance est celle qui a été attribuée le plus souvent au vecteur après l’ensemble des tests sur toutes les frontières.

Si la méthode utilisée pendant la phase d’apprentissage est une méthode de séparation d’une classe par rapport à toutes les autres classes, alors l’étape 405 consiste à comparer l’intégralité du nouveau vecteur x sur toute la bande de fréquence à chaque frontière.

Par contre si la méthode utilisée pendant la phase d’apprentissage est une méthode de séparation d’une classe par rapport à une autre classe, alors le vecteur de caractéristiques x est réduit aux caractéristiques pertinentes uniquement pour les deux notes considérées, comme cela a été expliqué pour la phase d’apprentissage.

Par exemple, pour comparer le vecteur de caractéristiques x à la frontière séparant les classes associées aux notes N₁et N₂, on peut se limiter aux plages de fréquence B₁et B₂. Pour comparer le vecteur de caractéristiques x à la frontière séparant les classes associées aux notes N₁et N₃, on peut se limiter aux plages de fréquence B₁et B₃et ainsi de suite. Cette variante de réalisation permet d’alléger les calculs puisque la taille du vecteur de caractéristiques est diminuée.

A l’issue de l’étape 405, une classe est attribuée à la note jouée, parmi les classes apprises pendant la phase d’apprentissage 301. Pour chaque couple de classes, l’algorithme «vote» pour la note la plus probable. La note ayant obtenu le maximum de votes correspond à la note reconnue.

La note est ensuite restituée au joueur via une méthode de synthèse sonore 406.

Dans une variante de réalisation, une troisième phase 303 de détection de dérive est réalisée afin de déclencher une nouvelle phase d’apprentissage 301.

Cette variante nécessite de sauvegarder, pendant la phase d’apprentissage 301, non seulement les vecteurs caractéristiques ayant servi à la détermination des frontières entre classes, mais aussi les derniers vecteurs de caractéristiques x_ipour chaque note associée à une classe différente.

Lors de la phase de classification 302, en plus de l’étape de classification 405, pour chaque note, on compare la moyenne des derniers vecteurs de caractéristiques reçu (et identifiés comme appartenant à cette note) avec la moyenne des vecteurs de caractéristiques x_iassociés à la classe lors de la phase d’apprentissage. Si l’écart entre les moyennes est supérieur à un seuil prédéterminé, alors cela peut signifier que la signature spectrale de la note a évolué du fait d’une modification des conditions locales de température, humidité ou du fait de la manipulation de l’instrument. L’écart peut être mesuré entre une moyenne de vecteurs de caractéristiques dernièrement reçus pour la même note et la moyenne des mesures sauvegardées pendant la phase d’apprentissage pour cette note.

Dans le cas où une dérive est détectée, on enclenche une nouvelle phase 301 d’apprentissage pour au moins la note pour laquelle une dérive a été détectée. Lors de cette nouvelle phase d’apprentissage, on exécute l’algorithme d’apprentissage 404 en remplaçant les vecteurs de caractéristiques utilisés initialement par ceux reçus juste avant de détecter la dérive.

Lorsque l’algorithme utilisé est de type SVM, un nouvel apprentissage est exécuté pour définir la frontière entre la classe correspondant à la note pour laquelle une dérive est détectée et chaque autre classe. Dans le cas où on applique une méthode consistant à rechercher la frontière entre chaque classe et toutes les autres classes, il faut refaire tout l’apprentissage.

Dans une variante de réalisation, un nouvel apprentissage est déclenché périodiquement avec une période de temps prédéterminée en fonction d’un rythme, estimé a priori, d’évolution des conditions opératoires.

Dans une autre variante de réalisation de l’invention, l’instrument à vent peut être équipé en outre d’un micro pour capter les vibrations dans l’air produites par l’émission de signaux acoustiques. Dans ce cas, les vecteurs de caractéristiques utilisés pour l’apprentissage sont enrichis avec des mesures fournies par le micro.

L’invention peut être mise en œuvre au moyen d’un processeur embarqué. Le processeur peut être un processeur générique, un processeur spécifique, un circuit intégré propre à une application (connu aussi sous le nom anglais d’ASIC pour «Application-Specific Integrated Circuit») ou un réseau de portes programmables in situ (connu aussi sous le nom anglais de FPGA pour «Field-Programmable Gate Array»). Le dispositif selon l’invention peut utiliser un ou plusieurs circuits électroniques dédiés ou un circuit à usage général. La technique de l'invention peut se réaliser sur une machine de calcul reprogrammable (un processeur ou un micro-contrôleur par exemple) exécutant un programme comprenant une séquence d'instructions, ou sur une machine de calcul dédiée (par exemple un ensemble de portes logiques comme un FPGA ou un ASIC, ou tout autre module matériel).

Références

[1] N. Morizet et al, «Revue des algorithmes PCA, LDA et EBGM utilisés en reconnaissance 2D du visage pour la biométrie», MajecSTIC’06, Nov 24 2006, Lorient, France.

[2] A. Cornuejols, «les séparateurs à vastes marges (SVM) et les méthodes à noyaux», 2014.

[3] C. Chang et al, «LIBSVM: a library for support vector machines».

Claims

Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent comprenant un système électronique combiné à l’instrument de musique, ledit système comprenant au moins un dispositif d’émission d’ondes mécaniques élastiques dans le corps de l’instrument et au moins un dispositif de réception des ondes mécaniques élastiques après leur propagation, conçu pour fournir un signal de réception à partir des ondes mécaniques élastiques reçues, la méthode comprenant les étapes de:
Exécuter une première phase d’apprentissage (301) consistant à faire varier les configurations de l’état de bouchage des trous latéraux de l’instrument parmi l’ensemble des configurations possibles et, pour chaque configuration:

Acquérir (401) des mesures desdites ondes après leur propagation dans le corps de l’instrument selon une séquence de mesures prédéterminée,

Transformer (402) les mesures dans le domaine fréquentiel et les filtrer (403) dans une bande de fréquence choisie,

Appliquer (404) un algorithme d’apprentissage à un ensemble de vecteurs de N caractéristiques, chaque vecteur comprenant au moins les mesures fréquentielles filtrées associées à une configuration, de manière à définir une classe pour chaque configuration.

Exécuter une seconde phase de classification (302) consistant, pour une configuration de l’état de bouchage des trous latéraux de l’instrument jouée par un utilisateur à:

Acquérir (401) des mesures desdites ondes après leur propagation dans le corps de l’instrument selon une séquence de mesures prédéterminée,

Transformer (402) les mesures dans le domaine fréquentiel et les filtrer (403) dans une bande de fréquence choisie,

Appliquer (405) un algorithme de classification à un vecteur de N caractéristiques comprenant au moins les mesures fréquentielles filtrées, de manière à classifier la configuration jouée dans une classe déterminée lors de la première phase d’apprentissage (301).
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 1 dans lequel l’algorithme d’apprentissage (404) et l’algorithme de classification (405) sont des algorithmes d’apprentissage supervisé ou des algorithmes d’analyse discriminante prédictive.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 2 dans lequel l’algorithme d’apprentissage (404) et l’algorithme de classification (405) sont des algorithmes du type machine à vecteurs de support ou analyse discriminante linéaire.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 3 dans lequel l’algorithme du type machine à vecteurs de support est exécuté itérativement de manière à pendant la phase d’apprentissage (301), rechercher, à chaque itération, une frontière entre deux classes et, pendant la phase de classification (302), à chaque itération, classer le vecteur de N caractéristiques dans l’une des deux classes.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 4 dans lequel, à chaque itération, les deux classes correspondent à deux configurations jouées différentes.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 4 dans lequel, à chaque itération, l’une des deux classes correspond à l’une des configurations jouées et l’autre classe correspond à l’ensemble des autres configurations jouées.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes dans lequel la bande de fréquence choisie est la plage [20 kHz; 80 kHz] ou [20 kHz; 60 kHz].
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes dans lequel les ondes mécaniques élastiques sont générées à partir de signaux ayant une fréquence porteuse qui balaie toute la bande de fréquence choisie au cours du temps.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes comprenant en outre les étapes de:
pendant la première phase d’apprentissage (301), sauvegarder les vecteurs de N caractéristiques associés à chaque configuration,

après la seconde phase d’identification (302) :

Calculer (303) une distance entre un ensemble d’au moins un nouveau vecteur de caractéristiques mesuré pour la configuration jouée et les vecteurs de caractéristiques correspondant à la même configuration pendant la première phase d’apprentissage,

Selon la valeur de la distance calculée, exécuter (301) une nouvelle phase d’apprentissage pour au moins la configuration jouée et

remplacer les vecteurs de N caractéristiques sauvegardés pendant la première phase d’apprentissage par l’ensemble d’au moins un nouveau vecteur de caractéristiques.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes comprenant une étape de réduction du nombre de composantes fréquentielles de chaque mesure fréquentielle filtrée.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 10 comprenant la suppression des composantes fréquentielles qui présentent une amplitude inférieure à un seuil prédéterminé en fonction d’un rapport signal à bruit.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon la revendication 10 comprenant, pour chaque configuration, la suppression des composantes fréquentielles les moins stables dans le temps.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes comprenant en outre les étapes de:
Acquérir des mesures desdites ondes après leur propagation dans l’air et

Ajouter lesdites mesures à chaque vecteur de N caractéristiques pour l’application de l’algorithme d’apprentissage et de l’algorithme de classification.
Méthode d’identification d’une configuration de bouchage de trous latéraux d’un instrument de musique à vent selon l’une quelconque des revendications précédentes comprenant en outre les étapes de:
Mesurer au moins une caractéristique supplémentaire des ondes acquises parmi le temps de montée de l’onde et l’énergie de l’onde,

Ajouter l’au moins une caractéristique supplémentaire à chaque vecteur de N caractéristiques pour l’application de l’algorithme d’apprentissage et de l’algorithme de classification.
Système électronique configuré pour être combiné avec un instrument de musique à vent à trous latéraux comprenant un corps tubulaire définissant à l’intérieur une colonne d’air, ledit système comprenant au moins un dispositif d’émission d’ondes mécaniques élastiques dans le corps de l’instrument, au moins un dispositif de réception des ondes mécaniques élastiques après leur propagation, conçu pour fournir un signal de réception à partir des ondes mécaniques élastiques reçues et un dispositif de détection et de localisation de la perturbation induite par une action de bouchage d’au moins un trou latéral de l’instrument, configuré pour mettre en œuvre la méthode d’identification d’une configuration de bouchage de trous latéraux selon l’une quelconque des revendications précédentes, ledit dispositif de détection et de localisation étant disposé de façon amovible à l’intérieur de la colonne d’air de l’instrument.
Système électronique selon la revendication 15 dans lequel le dispositif de détection et de localisation est configuré pour déterminer, à partir de la tablature chromatique de l’instrument, une note de musique associée à l’état de bouchage des trous latéraux de l’instrument qui a été détecté.
Système électronique selon l’une des revendications 15 ou 16 dans lequel le dispositif d’émission d’ondes mécaniques élastiques est un actionneur piézo-électrique et le dispositif de réception des ondes mécaniques élastiques après leur propagation est un récepteur piézo-électrique.
Système électronique selon l’une des revendications 15 à 17 comprenant en outre un dispositif de synthèse sonore connecté au dispositif de détection et de localisation pour restituer à un utilisateur les notes associées aux configurations détectées de bouchage des trous de l’instrument de musique en fonction de la tablature chromatique de l’instrument de musique.
Système électronique selon l’une des revendications 15 à 18 comprenant en outre un micro pour capter les vibrations dans l’air des ondes mécaniques élastiques émises.
Instrument de musique à vent à trous latéraux destiné à produire sélectivement des sons acoustiques et des sons électriques, comprenant un instrument de musique à vent à trous latéraux combiné à un système électronique selon l’une des revendications 15 à 19.
Instrument de musique à vent à trous latéraux selon la revendication 20 dans lequel ledit instrument est un saxophone ou une clarinette ou une flute ou un hautbois ou un basson.