FR2815760A1 - Procede de constitution d'un signal numerique representatif d'un signal sonore et procede de reconnaissance d'un signal sonore - Google Patents

Abstract

Procédé de constitution d'un signal numérique représentatif d'un signal sonore d'origine, consistant à numériser le signal sonore d'origine (100), à découper le signal numérisé en tranches temporelles de durée déterminée de façon à constituer des matrices d'origine (Mo, 101) qui contiennent respectivement les échantillons contenus dans les tranches précitées, à déterminer la répartition fréquentielle de l'amplitude du signal dans chacune des tranches précitées de façon à constituer des matrices transformées de répartition (Mt, 103), à sélectionner dans ces matrices transformées (Mt) les fréquences (fM) à amplitude maximale, à effectuer une normalisation exprimant en demi-tons dodécaphoniques les écarts entre les fréquences relativement à une fréquence d'origine parmi lesdites fréquences de façon à constituer une matrice intermédiaire (Mi, 106), et à constituer une matrice mélodie (Mm, 108) contenant les valeurs arrondies des écarts, cette matrice mélodie (Mm) contenant un signal numérique représentant une partie sélectionnée du signal sonore d'origine.Procédé de reconnaissance d'une mélodie, consistant à constituer une banque de données contenant des matrices mélodies de référence (Mmr), associées à des index d'identification et à constituer une matrice mélodie (Mmm) résultant de la mélodie à reconnaître, à constituer une matrice de plage (Mp) contenant une sélection de valeurs de la matrice mélodie (Mmm) à reconnaître, à comparer cette matrice de plage Mp aux matrices de référence (Mmr), pour délivrer les index d'identification des matrices mélodies de référence (Mmr) contenant cette matrice de plage.

Description

<Desc/Clms Page number 1>

Procédé de constitution d'un signal numérique représentatif d'un signal sonore et procédé de reconnaissance d'un signal sonore.

La présente invention concerne un procédé de constitution d'un signal numérique représentatif d'un signal sonore et un procédé de reconnaissance d'un signal sonore constituant au moins en partie une mélodie.

Le réseau Internet peut notamment, grâce à des logiciels appelés moteurs de recherche et installés sur des serveurs spécialisés, servir à rechercher des documents HTML sur un sujet décrit par quelques mots clés, alors appelés critères de recherche. Ces mots clés sont transmis au moteur de recherche qui recherche ces critères sur les documents HTML référencés sur le site WEB.

Les documents HTML pertinents sont alors répertoriés et classés par ordre de pertinence décroissante avec le critère de recherche dans une ou plusieurs pages HTML transmises au système client à sa demande par le système serveur.

Il est alors possible sur le système client de parcourir les références des documents HTML constitués de quelques champs, par exemple le titre, les premières lignes, la langue du document.

Si un document est intéressant, un click de souris sur un lien hypertexte associé à la référence document provoque, si le lien est à jour, un affichage de la page trouvée après connexion au site sur lequel la page est stockée.

Les documents HTML recherchés contiennent bien sûr du texte et éventuellement des liens Hypertexte. Mais en raison de la nature de l'hypertexte, il est possible d'associer au texte tout autre média d'informations : de l'image, animée ou non, et des sons, musicaux ou non. On parle alors de documents multimédia. A cette fin, les systèmes clients couramment utilisés offrent des possibilités multimédia en adéquation, tels que cartes sons et haut-parleur, écran vidéo, cartes graphiques performantes et logiciels spécialisés permettant d'exécuter des algorithmes de décompression de sons et d'images et ainsi de rejouer un enregistrement vidéo et sonore.

La recherche sur Internet peut donc être effectuée dans le seul but de pouvoir écouter une oeuvre musicale ou visionner des images.

Toutefois, les moteurs de recherche actuels ont une limitation de principe puisqu'ils ne savent rechercher que du texte.

<Desc/Clms Page number 2>

Si on cherche un document multimédia, par exemple associé à une oeuvre musicale, on peut donc chercher l'auteur, la période temporelle, le style, l'interprète, l'éditeur de l'enregistrement, et le média tel que la radiophonie ou la télévision, qui sont tous exclusivement décrits par des mots.

On se rend donc compte que si aucun de ces éléments n'est connu ou seulement connu de manière imparfaite, en particulier si l'orthographe est incertaine, la recherche est vouée à l'échec ou les critères devront être tellement généraux donc vagues que le moteur de recherche renverra une quantité trop importante de documents HTML et que le tri manuel sera long, fastidieux et sans assurance de résultat puisque des limitations existent dans la quantité d'informations à rechercher, tant sur le système serveur que sur le système client.

Un système récent connu permet d'effectuer la recherche d'un enregistrement sonore diffusé très récemment sur un ensemble déterminé de stations de radiodiffusion nationale. Une connexion Internet réalisé avec un téléphone mobile permet en approchant le téléphone mobile du haut-parleur diffusant la musique d'envoyer un échantillon de la musique produite au serveur Internet. La signature mathématique de cet échantillon est calculée par le serveur Internet qui en la comparant avec les signatures calculées sur les plages musicales diffusées de la station à l'instant de l'envoi reconnaît la station et l'heure.

Le serveur peut alors renvoyer au téléphone mobile la référence du morceau recherchée.

Ce système est cependant très limité puisqu'il ne reconnaît pas d'oeuvres musicales non diffusées et la signature précitée est à priori sensible à toutes les variations d'exécution de l'oeuvre.

La présente invention vise à remédier aux inconvénients ci-dessus et propose en particulier un procédé de reconnaissance sonore plus simple et à applications élargies.

La présente invention a tout d'abord pour objet un procédé de constitution d'un signal numérique représentatif d'un signal sonore d'origine.

Ce procédé consiste :

- à numériser le signal sonore d'origine sur une durée déterminée, - à découper le signal numérisé en tranches temporelles de durée déterminée de façon à constituer des matrices d'origine (Mo) qui contiennent respectivement les échantillons contenus dans les tranches précitées du signal numérisé, - à déterminer la répartition fréquentielle de l'amplitude du signal dans chacune des tranches précitées de façon à constituer des matrices transformées de répartition (Mt), - à sélectionner dans ces matrices transformées (Mt) les fréquences (fM) pour

<Desc/Clms Page number 3>

lesquelles l'amplitude est maximale, - à effectuer une normalisation dodécaphonique consistant à exprimer en demi-tons dodécaphoniques les écarts entre les fréquences relativement à une fréquence d'origine prise parmi lesdites fréquences de façon à constituer une matrice intermédiaire (Mi), - et à constituer une matrice mélodie (Mm) contenant les valeurs arrondies ou seuillées des écarts précités, de telle sorte que cette matrice mélodie (Mm) contient un signal numérique représentant une partie sélectionnée du signal sonore d'origine.

Selon l'invention, le procédé peut avantageusement consister à constituer les matrices transformées précitées (Mt) en appliquant une transformée de Fourier rapide (TFR) aux matrices d'origine (Mo).

Selon l'invention, le procédé peut avantageusement consister à constituer les matrices transformées précitées (Mt) en constituant des matrices augmentées (Ma) contenant respectivement les matrices d'origine précitées (Mo) et une multiplicité de zéros puis en appliquant une transformée de Fourier rapide (TFR) à ces matrices augmentées (Ma).

La présente invention a également pour objet un procédé de reconnaissance d'un signal sonore constituant au moins en partie une mélodie.

Ce procédé de reconnaissance consiste : - à constituer une banque de données en appliquant le procédé de constitution décrit plus haut de façon à constituer une multiplicité de matrices mélodies de référence (Mmr), associées à des index d'identification et/ou à constituer une banque de données contenant des matrices mélodies de référence (Mmr) dont les valeurs sont respectivement représentatives des gammes dodécaphoniques de répartition musicale et des durées des notes de ces partitions, correspondant à des mélodies et associées à des index d'identification, - à appliquer le procédé de constitution décrit plus haut de façon à constituer une matrice mélodie (Mmm) représentative du signal sonore à reconnaître, - à constituer une matrice de plage (Mp) contenant une sélection de valeurs de la matrice mélodie (Mmm) telle que chaque valeur sélectionnée est séparée des valeurs adjacentes sélectionnées d'au moins deux demi-tons et/ou au moins deux valeurs adjacentes de la matrice mélodie (Mmm) sont égales, - à rechercher dans les matrices mélodies de référence (Mmr) les valeurs égales ou proches des valeurs contenues dans la matrice de plage précitée (Mp) - à sélectionner parmi les matrices mélodies de référence (Mmr) la ou les matrices mélodies de référence dont les écarts entre les valeurs successives correspondent aux écarts successifs des valeurs contenues dans la matrice de plage (Mp) du signal à

<Desc/Clms Page number 4>

reconnaître, - et à délivrer le ou les index d'identification de la ou des matrices mélodies de référence (Mmr) des signaux sonores ou mélodies sélectionnées dans la banque de données.

La présente invention sera mieux comprise à l'étude d'un procédé de constitution d'un signal numérique représentatif d'un signal sonore et d'un procédé de reconnaissance d'un signal sonore constituant au moins en partie une mélodie, décrits à titre d'exemples non limitatifs et illustrés par le dessin sur lequel : - la figure 1 représente un schéma d'un dispositif de constitution de fichiers audios ; - la figure 2 représente un schéma d'un dispositif de constitution de matrices mélodies ; - et la figure 3 représente un schéma d'un dispositif de comparaison de matrices mélodies à des fichiers audios.

En référence à la figure 1, on va tout d'abord décrire un dispositif de constitution de fichiers audios numériques à partir d'un signal sonore représentant une mélodie.

Un signal sonore musical 200 d'une durée t, de préférence égale à environ 10 secondes, est capté par un microphone 201.

Le microphone transmet le signal électrique résultant à un système de numérisation 210 qui comprend un filtre passe-bas 211 suivi d'un échantillonneurbloqueur 212 du signal électrique et d'un convertisseur analogique/numérique 213 qui transforme les valeurs de tensions échantillonnées en valeurs numériques.

Le signal sonore dont la durée est égale à t est ainsi numérisé par ce système de numérisation du son puis rangé dans une mémoire 214 contenant un fichier audio.

Habituellement, le format PCM est assez général et pourra être utilisé. Une fois le format sélectionné, il convient de choisir les attributs du format qui définiront la richesse et la taille du fichier audio résultant. Par exemple et en particulier, le choix d'un codage PCM, d'une fréquence d'échantillonnage égale à 22050Hz, sur 8 bits, en monophonie, fournirait 22 Kilo-octets/seconde de données numérisées.

Ceci, d'après le théorème d'échantillonnage ou théorème de Shannon, permet de traiter des signaux jusqu'à une fréquence maximale de 11025Hz. La carte électronique qui traite le son capté par le microphone applique un filtre passe-bas dont la fréquence de coupure est inférieure ou égale à la moitié de la fréquence d'échantillonnage, donc 11025Hz.

<Desc/Clms Page number 5>

Selon le théorème de Shannon, un signal analogique xa (t) ayant une largeur de bande finie limitée à F Hz ne peut être reconstitué exactement à partir de ses échantillons xa (k At) que si ceux-ci ont été prélevés avec une période At inférieure ou égale à 1/ (2F).

Le fichier audio contient donc un ensemble de points qui représentent l'évolution de l'intensité du signal sonore aux intervalles de temps utilisés lors de l'échantillonnage/numérisation.

En se reportant à la figure 2, on va maintenant décrire un mode d'obtention d'une matrice mélodie à partir du fichier audio contenu dans une mémoire 100 équivalente à la mémoire 214
D'une manière générale, la reconnaissance d'une mélodie a deux composantes principales qui sont la succession de différentes fréquences sonores, exécutées à des intervalles de temps relatifs.

Ces deux caractéristiques suffisent, pour l'oreille et le cerveau humains, à reconnaître ce qu'on appelle couramment un morceau de musique ou une mélodie.

Pour s'affranchir de la diversité des instruments producteurs du son constituant une mélodie, la figure 2 propose un procédé pour transformer un signal audio numérisé dans le but de constituer une base de données dans lequel un ensemble d'informations ne comprenant que des hauteurs relatives proportionnelles entres elles est extrait du fichier audio, l'information de rythme dans cette première partie ne sera pas modifiée et les particularités de l'instrument producteur de musique ne seront pas conservées.

Ces informations de hauteurs seront strictement proportionnelles par opposition à la réponse de l'oreille humaine qui, elle, est logarithmique.

Le procédé exposé consiste, d'une manière générale, à déterminer la répartition fréquentielle de l'amplitude dans le signal et ce pour la longueur complète du fichier audio au moyen d'une transformée de Fourier sur des tranches de signal, donc de fichier audio.

Plus précisément, dans une première étape du procédé, le fichier audio 100 qui contient des données représentatives d'un signal audio d'une durée t est découpé en tranches de temps.

La longueur de chaque tranche de temps dépend de la fréquence d'échantillonnage du signal sonore.

La longueur choisie peut être par exemple égale à 15.87 ms, soit 63Hz.

Pour la fréquence d'échantillonnage égale à 22050 Hz, on obtient 22050/63, soit 350 échantillons sonores dans chaque tranche.

<Desc/Clms Page number 6>

Dans un signal de, par exemple 10 secondes, on obtient 10 * 22050, soit 220500 échantillons.

On obtient donc m tranches, avec m égal à temps t * fréquence d'échantillonnage /nombre d'échantillons d'une tranche. Dans l'exemple, m est donc égal à 10 * 22050/ 350, soit 630.

La tranche en utilisation constitue une première matrice dite origine Mo stockée dans une mémoire 101.

Cette matrice origine Mo est du type 1 ligne, 350 colonnes. Chaque valeur représente en mVolts l'amplitude du signal et l'indice d'une colonne représente un intervalle de temps de 1/22050 secondes.

Dans la suite du procédé, on applique à chaque tranche une transformée de Fourier pour déterminer la répartition fréquentielle de l'amplitude dans cette tranche de signal.

D'une manière générale, la définition de la transformée intégrale de Fourier d'une fonction est rappelée ci-dessous :

a indiquant un signal analogique et j décrivant la partie imaginaire d'un nombre complexe, ceci pour des signaux analogiques.

où X (f) est périodique de période unité.

X (f) étant généralement une fonction complexe, on peut l'exprimer en fonction de sa partie réelle et imaginaire :

X (f) =Re [X (f)] +jIm [X (f)]

ou encore sous forme de module et d'argument :

<Desc/Clms Page number 7>

Le terme IX (t) 1 est appelé spectre d'amplitude. Il exprime la répartition fréquentielle de l'amplitude du signal x (k).

Le terme IX (f) 12 est appelé spectre d'énergie, exprimant la répartition fréquentielle de l'énergie du signal x (k).

Les échantillons de la transformée de Fourier sont en fait les coefficients de la décomposition en série de Fourier du signal traité.

Si on applique la transformée de Fourier à un son de fréquence pure 440 Hz, donc le La4, la transformée obtenue est une flèche à la fréquence 440Hz où tout le signal est concentré.

Cependant, un signal ne peut être représenté par N échantillons de sa transformée de Fourier que si sa durée est limitée à N échantillons.

Pour traiter un signal continu, il faut donc prendre une tranche de signal. La fenêtre utilisée sera, par exemple, de la forme rectangulaire : on coupe une tranche de signal sans se pré-occuper de ce que deviennent les extrémités du signal avant et après la coupe.

La fenêtre permettant de limiter la durée du signal peut prendre plusieurs formes.

Pour limiter la brutalité de la coupure du signal de part et d'autre de la fenêtre, on peut choisir une fenêtre de forme triangulaire ou parabolique ou cosinusoïdale, ou d'autres plus compliquées qui sont définies par leur transformée de Fourier propre.

Cependant, la transformée de Fourier telle que définie plus haut n'est pas sous la forme appropriée pour un traitement numérique. On utilisera donc la Transformée de Fourier Discrète ou TFD. Dans notre cas, le signal sonore à traiter est considéré comme apériodique à durée limitée N (donc dans l'exemple 350). La TFD prend alors la forme :
La TFD sur un signal échantillonné fait apparaître une succession de spectres secondaires proportionnels au spectre du signal analogique d'origine.

Un effet de recouvrement a lieu si on ne respecte pas le théorème de Shannon cité plus haut.

Le théorème de Shannon étant respecté, il subsiste les spectres secondaires.

Sur une TFD calculée, on ne retiendra que la moitié inférieure de la TFD pour ignorer ces spectres secondaires.

<Desc/Clms Page number 8>

Ces indications sur les transformées de Fourier ne sont qu'un rappel permettant de comprendre certains choix. Il sera utile de se reporter à un cours complet de traitement du signal pour appréhender toute la portée de ces transformées
Enfin, les temps de calculs étant importants, partout où la TFD sera employée, on appliquera la transformation de Fourier Rapide ou TFR, qui est une approximation de la transformée de Fourier Discrète.

Dans une seconde étape du procédé, on va tout d'abord constituer une matrice dite augmentée Ma.

En effet, appliquée à la matrice d'origine Mo définie ci-dessus, la TFR donnerait donc la répartition fréquentielle de l'amplitude dans cette tranche de signal. Toutefois, l'opération ainsi effectuée serait imprécise du fait qu'il n'y a pas plus de points dans la transformée TFR que le nombre de points de la matrice originale, donc par exemple 350, et que le découpage à l'aide d'une fenêtre rectangulaire génère dans le signal analysé des discontinuités.

Pour éviter ces inconvénients on constitue une matrice augmentée Ma.

On ajoute, à la fin de la matrice d'origine Mo, une matrice nulle constituée de m zéros, m étant choisi pour obtenir une granularité suffisante des fréquences, proportionnellement à la puissance de calcul dédiée à cette opération, et pour atténuer suffisamment la discontinuité.

La valeur de m utilisée en exemple sera 442, ce qui donne un bon compromis entre les différents facteurs cités ci-dessus.

La matrice augmentée Ma est stockée dans une mémoire 102, par exemple d'une ligne et de 792 colonnes contenant 350 points décrivant le signal pendant 350/22050 secondes puis 442 points décrivant des zéros pendant 442/22050 secondes.

L'indice d'une colonne représente un intervalle de temps de 1/22050 secondes..

La matrice augmentée se présente sous la la forme suivante : [ (xl, x2,..., x350), 0,0, 0,..., 0]
Dans une troisième étape, on applique la transformée de Fourier Rapide TFR à la matrice augmentée Ma.

On calcule la valeur absolue de la TFR de cette matrice augmentée.

Ceci nous donne une matrice à 1 ligne et 792 colonnes (350+442).

Les valeurs sont les amplitudes du signal à une fréquence donnée, les indices des colonnes représentent 22050/792=27.8 Hertz.

<Desc/Clms Page number 9>

Cette matrice sera appelée matrice Mt (103), soit : [xl, x2, x3,..., x395, x396, x397,..., x792].

Dans une quatrième étape du procédé exécutée dans un bloc 104, on recherche sur la matrice Mt la fréquence fondamentale (donc la fréquence pour laquelle l'amplitude est maximale) du signal sonore sur la moitié inférieure de la bande de fréquence (pour ignorer le spectre secondaire créé par la transformée de Fourier).

Si le signal est pauvre en harmonique et produit par un seul instrument, il suffira de trouver le maximum de la matrice Mt.

Si le signal est riche en harmonique et/ou produit par plusieurs instruments, il faudra employer des méthodes de suppression des harmoniques et des instruments "parasites"sur la matrice Mt.

Pour limiter les calculs, on suppose que l'origine du signal sonore est connue et que des lois physiques connues définissent les harmoniques (comme le triangle des voyelles pour la voie humaine) qui peuvent alors être supprimées ou isolées aisément.

On répète cette opération sur toutes les tranches du fichier audio. On trouve ainsi une suite de fréquences fondamentales sur les 10 secondes du signal sonore musical, donc 630 fréquences fondamentales
On peut mettre à profit l'étape ci-dessus pour détecter un ou des silences. Si à une fréquence fondamentale donnée, l'amplitude du signal est trop faible, on considère que sur la tranche traitée il n'y a que du silence et on lui affecte une valeur négative (exemple-25).

Déterminer le seuil d'amplitude à partir duquel on reconnaît du"silence"dépend des caractéristiques du système qui a servi à générer le fichier audio et en particulier du rapport signal/bruit qui doit être relativement faible.

Dans l'exemple exposé, une valeur de 10 points est raisonnable.

Un résumé des étapes qui précèdent peut être exposé de la manière suivante.

Pour chacune des 630 tranches du fichier audio, on va générer une matrice origine Mo, former une matrice augmentée Ma, calculer une matrice Mt (103) et chercher une fréquence fondamentale.

Les premiers silences trouvés ne sont pas stockés car non significatifs.

On considère que la première fréquence fondamentale trouvée dans une tranche dans laquelle il y a autre chose que du silence est la première note d'une mélodie. On lui affecte alors la valeur 0 que l'on stocke dans une mémoire 106 de matrice intermédiaire Mi

<Desc/Clms Page number 10>

et on mémorise la fréquence f (O) correspondante dans une mémoire auxiliaire non représentée sur les figures.

Il convient de définir maintenant ce qu'on appelle une normalisation dodécaphonique.

La matrice Mt contient des fréquences. Or, la gamme dodécaphonique définit des rapports entre les notes basés sur des fréquences.

La gamme dodécaphonique comme son nom l'indique est composée de 12 intervalles appelés demi-tons.

Dans une octave (exemple entre le La4 (440Hz) et le La5 (880Hz)), il y a doublement de fréquence, ce qu'on appelle encore en musique une octave.

On veut exprimer la nouvelle fréquence fondamentale trouvée (sur la tranche en cours de traitement) en demi-tons relatifs à la première note trouvée plutôt que de la laisser exprimée en Hz.

La relation entre une note de musique de fréquence f (i) et le demi-ton supérieur de fréquence f (i+l) est donnée par : f (i+l) =f (i). 2^ (1/12).

Pour trouver x (i) le nombre de demi-tons séparant une fréquence d'origine f (O) d'une fréquence quelconque f (i), de la relation précédente on tire la relation suivante : x (i) =log (f (i) /f (0)) * 12/long (2)
Il est intéressant de calculer les x (i) avec des nombres réels car on ne sait pas à priori si les fréquences respectent exactement les règles de distribution dodécaphonique rappelées ci-dessus (ce qu'on appellerait la justesse d'exécution d'une mélodie).

Une fois la note d'une tranche suivante trouvée à la fréquence f (i), on va calculer le x (i) : x (i) =log (f (i) /f (0)) *12/long (2)
Cette opération sera nommée normalisation dodécaphonique (relative à f (0)) et constitue une cinquième étape 105 du procédé.

On procède alors au calcul des éléments suivants de la matrice intermédiaire Mi.

Notons qu'à l'issue de la normalisation dodécaphonique, les intervalles entre les éléments de la matrice intermédiaire ne sont plus exprimés en fréquence mais en demitons. Ceci rend ces intervalles indépendants de la hauteur musicale à laquelle la mélodie a été produite.

<Desc/Clms Page number 11>

La première note d'une mélodie étant trouvée, donc la fréquence f (O) déterminée, le calcul des éléments suivants de la matrice intermédiaire Mi est alors répété avec les tranches suivantes du fichier audio, par exemple, sans recouvrement entre elles.

On recherche la fréquence fondamentale f (i) de la matrice TFR de la ième tranche en cours de traitement. On lui applique une normalisation dodécaphonique relative à f (O), c'est-à-dire qu'on calcule un

On applique alors un premier filtrage. Si la valeur absolue de la variation relative entre les fréquences de la note précédemment traitée et de la note courante est inférieure à 3%, le x (i-1) précédent est conservé. Sinon le nouveau x (i) est considéré comme valide.

Soit : abs [f (i)-f (i-1)]/f (i-l) < 0. 03.

Ce 3% constitue la moitié du pourcentage que l'on ajoute à un demi-ton exprimé en fréquence pour obtenir le demi-ton immédiatement supérieur. Soit : x (n+l) =x (n) * 2^ (1/12).

Ceci implique : x (n) /x (n+l) = 1/21/12) = 1. 059 donc 105, 9% = 100% +6%
On stocke alors le x (i) dans la matrice intermédiaire Mi, ce qui constitue une sixième étape du procédé.

On obtient, une fois toutes les tranches traitées, une matrice intermédiaire Mi dans la mémoire 106, constituée de 1 ligne et m colonnes. (m=durée du fichier audio/durée tranche choisie, ici 630).

Les silences sont conservés tels quels et constituent des éléments x (i) de la matrice intermédiaire Mi. Ils ne sont cependant pas pris en compte dans les opérations de filtrage.

Cette matrice intermédiaire Mi contient des données numériques représentatives du signal sonore d'origine.

En complément, on peut décider d'appliquer d'autres filtrages lors de l'étape 105 sur matrice intermédiaire Mi, selon les modes suivants.

On calcule la dérivée, donc la pente, de la courbe définie par les différents demitons et on garde la valeur précédente si la différence relative n'est pas assez importante ( < 0. 6 car toujours relatif au x (n)/x (n+l))
On rajoute l'intégration de l'erreur entre la courbe définie par les différents demitons et la courbe définie par la partie entière des différents demi-tons.

<Desc/Clms Page number 12>

On garde le demi-ton d'origine jusqu'à ce que le signe de l'erreur soit constant sur 4 échantillons suivants successifs. On prend alors la nouvelle valeur.

Il est évident que la valeur négative que l'on a fixée comme étant représentative des silences est la limite inférieure de variation en demi-ton entre la première note et les notes suivantes.

Dans une septième étape 107 du procédé, on constitue une matrice dite matrice mélodie Mm issue de la matrice intermédiaire Mi, qui sera stockée dans une mémoire 108.

On filtre la matrice intermédiaire pour en tirer la matrice mélodie en seuillant toutes les valeurs sur des parties entières. La règle choisie est :

si valeur absolue (élément matrice-partie entière (élément matrice)) > 0. 6 (par exemple). alors résultat= partie entière (élément matrice) +l sinon résultat= partie entière (élément matrice)
On stocke dans la matrice mélodie Mm les changements de valeur (qu'on appellera des notes et qui sont des entiers relatifs exprimant un nombre de demi-tons) et leur numéro d'ordre (qu'on appellera des unités temporelles). Le nombre d'éléments de la matrice mélodie est donc égal au nombre de changements de notes de la mélodie.

On peut aussi parcourir la courbe en sens inverse dans le cas où les attaques des sons enregistrés ne sont pas nettes et justes au sens musical du terme.

On conservera alors la matrice mélodie Mm dans laquelle les changements sont les moins nombreux.

La matrice mélodie Mm qui résulte des étapes qui viennent d'être décrites peut avantageusement constituer soit un modèle issu d'un signal sonore émis en temps réel par une personne ou un instrument soit un signal sonore pré-enregistré constituant une mélodie définie.

En se reportant à la figure 3, on va maintenant décrire un procédé de reconnaissance ou un mode de recherche des références ou index d'identification d'une mélodie parmi plusieurs mélodies pré-traitées sous forme de matrice mélodie Mm à partir d'une interprétation quelconque d'une mélodie à rechercher.

Tout d'abord, on constitue une banque de données 320 constituée d'une multiplicité 321 de matrices mélodies de référence Mmr issues de mélodies préenregistrées et traitées selon le procédé des figures 1 et 2.

<Desc/Clms Page number 13>

A chaque matrice mélodie est en outre associée au moins une fiche descriptive F en 322 qui comprend, par exemple, un extrait significatif d'un enregistrement musical de la mélodie, son titre, son auteur, etc.

Si plusieurs enregistrements différents existent d'une même oeuvre, une seule matrice mélodie peut être associée à plusieurs fiches descriptives dans la banque de donnée 320.

Un index 323 donne les indices de début et de fin de chaque matrice mélodie.

On considère maintenant qu'un utilisateur souhaite retrouver des informations concernant une mélodie particulière qu'il est susceptible d'interpréter de façon partielle ou approximative, éventuellement à l'aide d'un instrument.

Cette interprétation sonore est alors traitée selon le procédé des figures 1 et 2 de façon à constituer une matrice mélodie Mmm à reconnaître, qui s'enregistre dans une mémoire 300.

La recherche envisagée dépendra de la qualité de l'interprétation ayant pour résultat cette matrice mélodie Mmm à reconnaître.

Pour commencer, on analyse, dans une étape 301, la matrice Mmm.

On cherche un échelon suffisant entre le premier élément de Mmm et les valeurs suivantes.

On cherche un plateau suffisamment large (au moins 5 unités temporelles par exemple) différent d'un silence et différent d'au moins 2 demi-tons (par exemple) de la première note trouvée.

On range alors l'indice de ce demi-ton dans Mmm dans une matrice 1 colonne, n lignes, qu'on appelle matrice des plages Mp stockée dans une mémoire 302.

On recommence la recherche d'un nouveau plateau en prenant la valeur du plateau précédemment trouvé comme origine du nouvel écart à rechercher. Les mêmes paramètres de détermination du plateau sont utilisés (plateau suffisamment large, différent d'un silence et différent d'au moins 2 demi-tons, par exemple, de la valeur du plateau précédemment trouvé). Ces itérations sont reprises jusqu'à la fin de la matrice Mmm.

Toutes les valeurs calculées ci-dessus sont stockées dans la matrice des plages Mp.

L'étape suivante du procédé consiste ensuite, par un organe de comparaison 303, à calculer la matrice des sommets des matrices mélodies de référence Mmr.

<Desc/Clms Page number 14>

L'organe 303 prend une matrice mélodie de référence Mmrl dans la banque de données 320.

Il parcourt par itération cette matrice Mmrl et la matrice Mp de la mélodie à reconnaître et effectue des calculs des écarts entre les valeurs prises dans le même ordre ou successives qui les composent, sans tenir compte des silences. Il compare de façon successive ces écarts pour, petit à petit au fur et à mesure de cette scrutation, valider ou invalider la matrice Mmrl.

En fait, l'organe 303 recherche dans la matrice mélodie de référence Mmrl une forme correspondant à la forme de la matrice Mp de la mélodie à reconnaître.

Dans le cas où l'organe 303 constate que la matrice de référence Mmrl contient bien une forme correspondant à la forme de la matrice Mp de la mélodie à reconnaître, il valide cette matrice Mmrl car cette matrice est issue d'une mélodie de référence correspondant à la mélodie à reconnaître.

Dans ce cas de validation, l'organe 303 délivre l'index d'identification 323 correspondant à la matrice de référence Mmrl à un organe de signalisation 305, par exemple par affichage, au travers d'un sélecteur 304.

Dans le cas où, avant la fin ou à la fin de la scrutation de la matrice de référence Mmrl, l'organe constate une divergence, il invalide la matrice de référence Mmrl. Il poursuit alors et recommence les mêmes opérations de scrutation sur successivement les matrices de référence suivantes Mmri de la banque de données 320, jusqu'à éventuellement trouver une matrice de référence Mmr validable.

Bien entendu, il se peut que l'organe 303 découvre plusieurs matrices de référence validables. Dans ce cas, il délivre à l'organe 305 les index d'identification de ces matrices de référence validées Mmr.

Il est en outre possible de calculer des critères de convergence pour mesurer et délivrer la pertinence du ou des index d'identification délivrés ci-dessus.

Avantageusement, ces critères de convergence peuvent résulter de l'application par l'organe 303 de marges d'erreurs ou de disjonctions entre les matrices de référence Mmr et la matrice de plages Mp de la mélodie à reconnaître, en particulier en ce qui concerne les écarts précités et les durées de plages de la matrice Mp et des matrices de référence Mmr.

Lorsque la banque de données 320 a été entièrement scrutée, l'organe de signalisation 305 liste les fiches d'identités des matrices mélodies de référence Mmr trouvées, classées par exemple par ordre décroissant du critère de convergence calculé.

<Desc/Clms Page number 15>

Les procédés qui viennent d'être décrits peuvent avantageusement être appliqués au travers des systèmes multimédia tels que l'Internet, de façon à rechercher depuis un système client un document musical.

Le système client est équipé d'un dispositif de pointage. Il est aussi équipé d'un dispositif d'enregistrement de sons, d'un dispositif de reproduction du son et d'un dispositif de production du son, type interface MIDI, que nous appellerons ses capacités multimédia.

Le système client propose deux méthodes d'enregistrement d'un modèle de mélodie à rechercher.

La méthode graphique permet de dessiner le codage d'un morceau de musique par des moyens standards (tablature ou partition). Cette méthode propose une bibliothèque d'objets prédéfinis, ces objets étant les éléments de base de la tablature ou de la partition, et un espace de travail, cet espace étant pour la tablature les grilles et pour la partition la portée. Le modèle ainsi produit peut être écouté grâce aux capacités multimédia du système client et donc corrigé jusqu'à l'obtention d'un résultat satisfaisant.

La méthode sonore permet d'enregistrer un extrait de mélodie connu en utilisant d'une part comme récepteur les capacités multimédia du système client, d'autre par comme émetteur toute source de sons à la convenance de l'utilisateur. Le modèle ainsi produit peut être écouté grâce aux capacités multimédia du système client et ré-enregistré jusqu'à satisfaction de l'utilisateur.

Le système client met à la disposition de l'utilisateur le procédé pour en extraire un modèle à rechercher. Le modèle à rechercher peut être alors reproduit par le système client, transformé en un modèle graphique, par le système client, qui pourra alors être modifié comme décrit ci-dessus. La commande de codage du modèle sonore et la commande de reproduction du modèle à rechercher peuvent être reproduites à tout moment par l'utilisateur afin de juger de la qualité du modèle qu'il a élaboré.

Lorsque l'utilisateur est satisfait de son modèle à rechercher, il peut alors éventuellement renseigner des critères de recherche textuels qui décrivent le contexte de l'oeuvre musicale à rechercher et sa reproduction.

Lorsque le modèle à rechercher et les critères textuels sont fixés par l'utilisateur, l'utilisateur dispose sur le système client d'une commande permettant d'envoyer ces renseignements sur un système serveur.

Le système client peut, par limitation de ses capacités multimédia, ne pas être capable de traiter du graphique ou ne pas être capable de traiter du son. Dans ce cas, le modèle ne pourra être composé par l'utilisateur que de manière graphique ou que de

<Desc/Clms Page number 16>

manière sonore (cas d'un téléphone mobile accédant à Internet par l'intermédiaire d'un portail WAP).

Le système serveur utilise les critères textuels éventuels pour effectuer une première sélection sur sa base de données d'oeuvre musicale. Il va alors, en comparant le modèle à rechercher et les oeuvres musicales pré-sélectionnées, calculer le critère de ressemblance entre des oeuvres et le modèle à rechercher.

Il établit alors la liste, classé par ordre de pertinence décroissante, des enregistrements sur lesquels la recherche du critère n'a pas divergée.

Enfin, il envoie au système client une page HTML présentant le résultat de la recherche et permettant à l'utilisateur de consulter ou d'acheter les informations relatives aux oeuvres sélectionnés, informations multimédia (texte, sons, images).

La présente invention ne se limite pas aux exemples ci-desus décrits.

En particulier, les variantes ci-dessous pourraient être appliquées.

La matrice mélodie Mm pourrait résulter de la conversion d'une partition musicale sous forme de fichiers informatiques.

Les notes successives d'une mélodie pourraient être exprimées en demi-tons par rapport aux précédentes. Cette méthode a l'avantage de pouvoir extraire rapidement d'une oeuvre la mélodie exacte et la plus dépouillée possible.

En ce qui concerne la matrice intermédiaire Mi, on pourrait faire se chevaucher les tranches du fichier numérisé Mo plutôt que de les choisir adjacentes, le chevauchement s'effectuant dans le sens de lecture de la matrice, dans le sens inverse ou dans les deux sens selon les effets recherchés. On pourrait décider, lorsqu'on a construit la matrice intermédiaire, de la reconstruire en retraitant le fichier audio numérisé avec des longueurs et des emplacements de tranches variables tenant compte des informations trouvées lors de la première détermination de la matrice intermédiaire. On pourrait appliquer d'autres transformations que la transformée de Fourier du moment que celles-ci permettraient une décomposition du signal temporel en répartition fréquentielle de l'amplitude du signal sonore. A la place de la transformée de Fourier, on pourrait utiliser une transformation de signal nécessitant un nombre de calculs moins important, tout en assurant une bonne approximation lors de la constitution de la matrice intermédiaire Mi.

Claims (4)

1. REVENDICATIONS 1. Procédé de constitution d'un signal numérique représentatif d'un signal sonore d'origine, caractérisé par le fait qu'il consiste : - à numériser (210) le signal sonore d'origine sur une durée déterminée, - à découper le signal numérisé en tranches temporelles de durée déterminée de façon à constituer des matrices d'origine (Mo, 101) qui contiennent respectivement les échantillons contenus dans les tranches précitées du signal numérisé, - à déterminer la répartition fréquentielle de l'amplitude du signal dans chacune des tranches précitées de façon à constituer des matrices transformées de répartition (Mt, 103), - à sélectionner dans ces matrices transformées (Mt) les fréquences (fM) pour lesquelles l'amplitude est maximale, - à effectuer une normalisation dodécaphonique consistant à exprimer en demi-tons dodécaphoniques les écarts entre les fréquences relativement à une fréquence d'origine prise parmi lesdites fréquences de façon à constituer une matrice intermédiaire (Mi, 106), - et à constituer une matrice mélodie (Mm, 108) contenant les valeurs arrondies ou seuillées des écarts précités, de telle sorte que cette matrice mélodie (Mm) contient un signal numérique représentant une partie sélectionnée du signal sonore d'origine.
2. 2. Procédé selon la revendication 1, caractérisé par le fait qu'il consiste : - à constituer les matrices transformées précitées (Mt) en appliquant une transformée de Fourier rapide (TFR) aux matrices d'origine (Mo).
3. 3. Procédé selon l'une des revendications 1 et 2, caractérisé par le fait qu'il consiste : - à constituer les matrices transformées précitées (Mt) en constituant des matrices augmentées (Ma) contenant respectivement les matrices d'origine précitées (Mo) et une multiplicité de zéros puis en appliquant une transformée de Fourier rapide (TFR) à ces matrices augmentées (Ma).
4. 4. Procédé de reconnaissance d'un signal sonore constituant au moins en partie une mélodie, caractérisé par le fait qu'il consiste : - à constituer une banque de données (320) en appliquant le procédé selon l'une quelconque des revendications précédentes de façon à constituer une multiplicité de matrices mélodies de référence (Mmr), associées à des index d'identification et/ou à constituer une banque de données contenant des matrices mélodies de référence (Mmr) dont les valeurs sont respectivement représentatives des gammes dodécaphoniques de répartition musicale et des durées des notes de ces partitions, correspondant à des mélodies et associées à des index d'identification,

   <Desc/Clms Page number 18>

   - à appliquer le procédé selon l'une quelconque des revendications 1 à 3, de façon à constituer une matrice mélodie (Mmm) représentative du signal sonore à reconnaître, - à constituer une matrice de plage (Mp, 302) contenant une sélection de valeurs de la matrice mélodie (Mmm) telle que chaque valeur sélectionnée est séparée des valeurs adjacentes sélectionnées d'au moins deux demi-tons et/ou au moins deux valeurs adjacentes de la matrice mélodie (Mmm) sont égales, - à rechercher (303) dans les matrices mélodies de référence (Mmr) les valeurs égales ou proches des valeurs contenues dans la matrice de plage précitée (Mp) - à sélectionner (303) parmi les matrices mélodies de référence (Mmr) la ou les matrices mélodies de référence dont les écarts entre les valeurs successives correspondent aux écarts successifs des valeurs contenues dans la matrice de plage (Mp) du signal à reconnaître, - et à délivrer (305) le ou les index d'identification de la ou des matrices mélodies de référence (Mmr) des signaux sonores ou mélodies sélectionnées dans la banque de données.