EP3040989A1

EP3040989A1 - Procédé de séparation amélioré et produit programme d'ordinateur

Info

Publication number: EP3040989A1
Application number: EP15198713.8A
Authority: EP
Inventors: Romain Hennequin
Original assignee: Audionamix
Current assignee: Audionamix
Priority date: 2014-12-31
Filing date: 2015-12-09
Publication date: 2016-07-06
Anticipated expiration: 2035-12-09
Also published as: US9711165B2; FR3031225B1; EP3040989B1; FR3031225A1; US20160189731A1

Abstract

Procédé consistant à séparer, dans un signal de mélange ( w ( t )), une contribution spécifique pure x ( t ) et une contribution de fond sonore z ( t ) en utilisant un spectrogramme de modélisation du signal de mélange V correspondant à la somme d'un spectrogramme d'une contribution spécifique réverbérée V rev,y et d'un spectrogramme de la contribution de fond sonore V z , le spectrogramme de la contribution spécifique réverbérée dépendant du spectrogramme de la contribution pure V x selon le modèle : V ^ f , t rev . y = Ä = 1 T V ^ f , t - Ä + 1 x R f , Ä où R est une matrice de réverbération, f est un pas de fréquence, t est un pas de temps, et Ä un entier entre 1 et T ; et en minimisant une fonction de coût ( C ) entre le spectrogramme du signal de mélange et le spectrogramme de modélisation du signal de mélange.

Description

La présente invention a pour domaine celui des procédés de séparation d'une pluralité de contributions dans un signal acoustique de mélange, et, en particulier, la séparation d'une contribution vocale, d'une contribution musicale de fond sonore, dans un signal acoustique de mélange.
Une bande son d'une chanson comporte une contribution vocale (les paroles chantées par un ou plusieurs chanteurs) et une contribution musicale (la musique d'accompagnement jouée par un ou plusieurs instruments).
Une bande son d'un film comporte une contribution vocale (les dialogues entre acteurs) superposée à une contribution musicale (les effets spéciaux sonores et/ou une musique de fond).
Il est connu des algorithmes de séparation permettant de séparer la contribution vocale, de la contribution musicale, dans une bande son originale.
Par exemple l'article de Jean-Louis Durrieu et al. "An iterative approach to monaural musical mixture de-soloing," in International Conference on Acoustics, Speech, and Signal Processing (ICASSP),Taipei, Taiwan, April 2009, pp. 105 - 108 divulgue un algorithme de séparation du type algorithme de séparation de sources sous-déterminée fondé sur une décomposition en matrices non-négatives, permettant de séparer la contribution vocale de la contribution de fond sonore.
Cependant, les algorithmes de séparation connus ne permettent pas de prendre correctement en compte le phénomène de réverbération affectant les composantes du mélange.
Dans le cas particulier d'une composante vocale, celle-ci résulte de la superposition de la voix sèche, ou pure dans ce qui suit, correspondant à l'enregistrement du son émis par le chanteur et qui s'est propagé directement vers le microphone d'enregistrement, et de la réverbération, correspondant à l'enregistrement du son émis par le chanteur mais qui s'est propagé indirectement vers le microphone d'enregistrement, c'est-à-dire par réflexion, éventuellement multiples, sur les parois de la salle d'enregistrement. La réverbération, constituée des échos de la voix pure à un instant donné, s'étale sur un intervalle de temps pouvant être important (par exemple trois secondes). Dit autrement, à un instant donné, la contribution vocale résulte de la superposition de la voix pure à cet instant et des différents échos de la voix pure à des instants précédents.
Or, les algorithmes de séparation connus ne prennent pas en compte les effets à long terme de la réverbération affectant une composante du mélange. Le document de Ngoc Q. K. Duong, Emmanuel Vincent, et Remi Gribonval, "Underdetermined reverberant audio source separation using a full-rank spatial covariance model," IEEE Transactions on Audio, Speech, and Language Processing, vol. 18, no. 7, pp. 1830 - 1840, Sept 2010 s'intéresse aux effets instantanés de diffusions spatiales de la réverbération, mais ne modélise pas les effets de mémoire, c'est-à-dire la prise en compte du temps de latence entre l'enregistrement d'un son et l'enregistrement des échos associé à ce son. Ainsi, le type d'algorithme proposé par ce document ne s'applique qu'à des signaux multicanaux et ne permet pas une extraction correcte des effets de réverbération, que l'on peut trouver dans la musique. Dans le cas d'une composante vocale, la réverbération qui affecte cette composante est répartie dans les différentes composantes obtenues à l'issue de la séparation. La composante vocale séparée perd de sa richesse et la composante musicale d'accompagnement n'est pas de bonne qualité.
Il est à noter que la réverbération peut avoir pour cause les conditions dans lesquelles est réalisée la prise de son, mais peut également être ajoutée artificiellement au cours de la post-production de la bande son, essentiellement pour des raisons esthétiques.
Il y a donc un besoin pour un procédé permettant de séparer des contributions dans un mélange, ces contributions intégrant une réverbération du signal sonore pure correspondant. Plus particulièrement, il y a un besoin pour séparer une contribution vocale pure affectée par de la réverbération, d'une contribution musicale de fond sonore, dans un signal sonore.
L'invention a donc pour but de pallier ce problème.
L'invention a donc pour objet un procédé de séparation et un produit programme conformes aux revendications.
L'invention sera mieux comprise à la lecture de la description qui va suivre d'un mode de réalisation particulier, donné uniquement à titre d'exemple illustratif et non limitatif, et faite en se référant aux dessins annexés sur lesquels :

la figure 1 est une représentation sous forme de blocs des différentes étapes du procédé de séparation selon l'invention ; et,
les figures 2 et 3 correspondent à des graphes qui résultent de tests permettant de comparer, selon des critères normatifs connus, les résultats de la mise en oeuvre du procédé de la figure 1.

En se référant à la figure 1, le procédé de séparation 100 utilise un signal acoustique temporel de mélange w(t), pour délivrer un signal acoustique vocal y(t) et un signal acoustique musical z(t).
Les signaux sont tous des signaux acoustiques, de sorte que le qualificatif d'acoustique sera omis dans ce qui suit.
Ces signaux sont des signaux temporels. Ils dépendent du temps t.
Le signal acoustique de mélange est une bande son source, ou tout au moins un extrait d'une bande son.
Le signal acoustique de mélange w(t) comprend une première contribution dite spécifique et une seconde contribution dite d'accompagnement.
Dans la présente description, la première contribution est une contribution vocale et correspond à des paroles chantées par un chanteur.
La seconde contribution est une contribution musicale et correspond à l'accompagnement musical du chanteur.
Le signal acoustique vocal y(t) correspond à la seule contribution vocale, isolée du reste du signal de mélange w(t), et le signal acoustique musical z(t) correspond à la seule contribution musicale, isolée du reste du signal de mélange w(t).
Dans le présent mode de réalisation, on considère que seule la contribution vocale est réverbérée.
La réverbération est modélisée de la manière suivante : $y (t) = r (t) * x (t)$
où x(t) est le signal vocal pur, c'est-à-dire le signal sonore généré par le chanteur est qui s'est propagé directement vers le microphone d'enregistrement ; et où r(t) est une réponse impulsionnelle, qui est une distribution donnant l'amplitude des échos pour chaque instant d'arrivé de l'écho correspondant sur le microphone d'enregistrement, et où * correspond au produit de convolution.
Le signal vocal pur x(t) est le signal en champ libre et la réponse impulsionnelle r(t) est caractéristique de l'environnement acoustique de l'enregistrement.
Dans le domaine temps fréquence, pour des spectrogrammes non-négatifs, ce modèle de réverbération peut être approximé, tel que proposé dans le document de Rita Singh, Bhiksha Raj, et Paris Smaragdis, "Latent-variable decomposition based dereverberation of monaural and multi-channel signals," in IEEE International Conference on Audio and Speech Signal Processing, Dallas, Texas, USA, March 2010, par : $V_{f, t}^{rev, y} = \sum_{τ = 1}^{T} V_{f, t - τ + 1}^{x} R_{f, τ}$
où V ^rev,y est le spectrogramme du signal y(t), considéré comme affecté par de la réverbération, V^x est le spectrogramme du signal x(t), R est une matrice FxT de réverbération correspondant au spectrogramme de la réponse impulsionnelle r(t), avec F la dimension fréquentiel et T la dimension temporelle de R.
La première étape 110 du procédé 100 consiste à échantillonner le signal de mélange w(t) et à calculer un spectrogramme V du signal de mélange w(t). De manière générale, un spectrogramme est défini comme la valeur absolue (ou bien le carré de la valeur absolue) de la transformée de Fourier à court terme d'un signal échantillonné. D'autres transformations temps-fréquence sont envisageables, telles qu'une transformée à Q constant, ou encore une transformée de Fourier à court terme suivie d'un filtrage fréquentiel (en utilisant un banc de filtres en échelle Mel ou Bark par exemple).
Pour chaque pas d'échantillonnage temporel, le spectrogramme comporte une trame en fréquence, indiquant pour chaque pas d'échantillonnage en fréquence, la puissance instantanée du signal.
Le spectrogramme V est donc une matrice F x U, de nombres réels positifs
U représente le nombre total de trames qui subdivisent la durée du signal du mélange w(t). F est le nombre total de pas d'échantillonnage en fréquence, qui vaut en général entre 200 et 2000.
Le procédé 100 comporte ensuite une première partie dans laquelle le signal vocal est considéré comme un signal vocal pur, sans réverbération.
Dans cette première partie, le spectrogramme de modélisation du signal de mélange est la somme du spectrogramme du signal vocal V̂^y , et du spectrogramme du signal musical V̂^z. V̂^y est le spectrogramme du signal y(t), considéré comme non affecté par de la réverbération. Cette modélisation est finalement la modélisation usuelle dans le cadre des méthodes de décomposition par factorisation en matrices non-négatives.
Il est à noter que â se réfère à une quantité qui est une estimation de la quantité a.
Ainsi, dans les étapes de la première partir du procédé 100, on cherche à estimer les deux spectrogrammes de sortie dont la somme approxime (signe ≈ dans l'expression suivante) au mieux le spectrogramme du mélange : $V \approx \hat{V} = {\hat{V}}^{y} + {\hat{V}}^{z}$
La modélisation du signal vocal est fondée sur un modèle de production de la voix du type source / filtre, tel que proposé dans le document de Jean-Louis Durrieu et al. "An iterative approach to monaural musical mixture de-soloing," in International Conference on Acoustics, Speech, and Signal Processing (ICASSP),Taipei, Taiwan, April 2009, pp. 105 - 108 : ${\hat{V}}^{y} = (W_{F 0} H_{F 0}) ⊙ (W_{K} H_{K})$
Le premier terme de cette modélisation est la source de la voix, qui correspond à l'excitation des cordes vocales : W _F0 est une matrice d'atomes harmoniques, qui est prédéfinie et spécifique aux signaux vocaux ; H _F0 est une matrice d'activation indiquant à chaque instant les atomes harmoniques de la matrice W _F0 qui sont activés.
Le second terme de cette modélisation est le filtre de la voix, qui correspond au filtrage effectué par le conduit vocal : W_K est une matrice d'atomes de filtrage ; H_K est une matrice d'activation indiquant à chaque instant les atomes de filtrage de la matrice W_K qui sont activés.
L'opérateur ⊙ correspond à la multiplication matricielle terme à terme de deux matrices (aussi dénommé produit d'Hadamard).
La modélisation du signal musical est fondée sur un modèle générique de factorisation par matrices non-négatives : ${\hat{V}}^{z} = (W_{R} H_{R})$
Des colonnes de W_R peuvent être vues comme des modèles spectraux élémentaires et H_R comme une matrice d'activation de ces modèles élémentaires au fil du temps.
La première partie du procédé consiste alors à estimer les matrices H _F0 , W_K, H_K, W_R et H_R.
Afin d'estimer les paramètres de ces matrices, une fonction de coût C, fondée sur une divergence d par élément, est utilisée : $C = D (V | {\hat{V}}^{y} + {\hat{V}}^{z}) = Σ_{f, t} d (V_{ft} | {\hat{V}}_{ft}^{y} + {\hat{V}}_{ft}^{z})$
Dans le mode de réalisation actuellement envisagé, la divergence d'Itakura-Saito, bien connue de l'homme du métier, est utilisée. Celle-ci est obtenue en fixant la valeur du paramètre de la beta-divergence à β = 0 et s'exprime donc : $d (a | b) = \frac{a}{b} - \log \frac{a}{b} - 1$
Pour mémoire la beta-divergence est définie par : $d_{β} (a | b) = {\begin{matrix} \frac{1}{β (β - 1)} (a^{β} + (β - 1) b^{β} - {βab}^{β - 1}), β \in R ∖ \{0, 1\} \\ \begin{matrix} a \log \frac{a}{b} - a + b, & β = 1 \\ \frac{a}{b} - \log \frac{a}{b} - 1, & β = 0 \end{matrix} \end{matrix}$
où a et b sont deux scalaires réels positifs.
A l'étape 120, la fonction de coût C est ainsi minimisée de manière à déterminer la valeur optimale de chaque paramètre de chaque matrice. Cette minimisation est effectuée par itérations, avec des règles de mise à jour multiplicatives qui sont successivement appliquées à chacun des paramètres des matrices H _F0 , W_K, H_K, W_R et H_R.
Ces règles de mise à jour sont par exemple élaborées en considérant le gradient (c'est-à-dire la dérivée partielle) de la fonction de coût C par rapport à chaque paramètre. Plus précisément, le gradient de la fonction de coût par rapport au paramètre considéré est écrit sous la forme d'une différence entre deux termes positifs, et la règle de mise à jour correspondante est une multiplication du paramètre considéré par le rapport de ces deux termes.
Cela permet notamment que les paramètres restent non négatifs à chaque mise à jour et deviennent constants lorsque le gradient de la fonction de coût par rapport au paramètre considéré tend vers zéro.
De cette manière, les paramètres évoluent vers un minimum local.
Les règles de mise à jour sont ainsi les suivantes : $H_{F 0} \leftarrow H_{F 0} ⊙ \frac{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)}))}{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ ({\hat{V}}^{⊙ (β - 1)}))}$
$H_{K} \leftarrow H_{K} ⊙ \frac{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)}))}{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ ({\hat{V}}^{⊙ (β - 1)}))}$
$W_{K} \leftarrow W_{K} ⊙ \frac{((W_{F 0} H_{F 0}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)})) H_{K}^{T}}{((W_{F 0} H_{F 0}) ⊙ ({\hat{V}}^{⊙ (β - 1)})) H_{K}^{T}}$
$H_{R} \leftarrow H_{R} ⊙ \frac{W_{R}^{T} (V ⊙ {\hat{V}}^{⊙ (β - 2)})}{W_{R}^{T} ({\hat{V}}^{⊙ (β - 1)})}$
$W_{R} \leftarrow W_{R} ⊙ \frac{(V ⊙ {\hat{V}}^{⊙ (β - 2)}) H_{R}^{T}}{({\hat{V}}^{⊙ (β - 1)}) H_{R}^{T}}$
où ⊙ est un opérateur correspondant au produit terme à terme entre matrices (ou vecteur) ; .⊙(.) est un opérateur correspondant à l'exponentiation terme à terme d'une matrice par un scalaire ; (.)^T est la transposée d'une matrice.
Pour cette première partie, tous les paramètres sont initialisés avec des valeurs non-négatives choisies de manière aléatoire.
Puis, à l'étape 130, la matrice H _F0 est contrainte en utilisant un algorithme de suivi tel que l'algorithme de « tracking » de Viterbi afin de sélectionner, pour chaque pas temporel, le pas en fréquence dans lequel on retrouve un maximum de puissance, sans être trop éloigné en fréquence des maxima de puissance sélectionnés pour les pas temporels précédents.
Puis, à l'étape 140, les coefficients de la matrice H _F0 qui sont à une distance en fréquence supérieure à une distance de référence sont fixés à 0.
Une matrice H' _F0 est obtenue.
Dans la seconde partie du procédé 100, le signal vocal est considéré comme affecté par de la réverbération. Il est à noter que la première partie du procédé permet d'obtenir des valeurs initiales pour les paramètres qui vont être estimés par itérations successives lors de la mise en oeuvre de la seconde partie du procédé. D'autres manières de définir les valeurs initiales de ces paramètres sont envisageables.
Dans cette seconde partie, la modélisation du signal vocal considéré comme réverbéré, V̂^rev,y, en fonction du signal vocal pure V̂^x s'écrit alors : ${[{\hat{V}}^{rev, y}]}_{f, t} = {[{\hat{V}}^{x} * {}_{t}R]}_{f, t} = \sum_{τ = 1}^{T} V_{f, t - τ + 1}^{x} R_{f, τ}$
où * _t dénote un opérateur de convolution ligne par ligne tel qu'explicité dans le membre de droite de l'équation ci-dessus.
La matrice de réverbération R comporte T pas de temps (de même durée qu'un pas d'échantillonnage du signal de mélange), et F pas d'échantillonnage en fréquence. T est prédéterminé par l'utilisateur et vaut généralement entre 20 et 200, par exemple 100.
De plus, comme ci-dessus, le spectrogramme V̂^x du signal pure est modélisé par : ${\hat{V}}^{x} = (W_{F 0} H_{F 0}) ⊙ (W_{K} H_{K})$
La seconde partie du procédé consiste alors à estimer les matrices H _F0 , W_K, H_K, W_R, H_R et R qui permettent d'approximer le spectrogramme du mélange V : $V \approx {\hat{V}}^{rev} = {\hat{V}}^{rev, y} + {\hat{V}}^{z}$
Afin d'estimer les paramètres de ces matrices, une fonction de coût C, fondée sur une divergence d par élément, est utilisée : $C = D (V | {\hat{V}}^{rev, y} + {\hat{V}}^{z}) = Σ_{f, t} d (V_{ft} | {\hat{V}}_{ft}^{rev, y} + {\hat{V}}_{ft}^{z})$
Dans le mode de réalisation actuellement envisagé, la divergence d'Itakura-Saito, bien connue de l'homme du métier, est utilisée. Celle-ci est obtenue en fixant la valeur du paramètre de la beta-divergence à β = 0 et s'exprime donc : $d (a | b) = \frac{a}{b} - \log \frac{a}{b} - 1$
Avantageusement, la fonction de coût de la seconde partie est similaire à celle utilisée dans la première partie.
A l'étape 220, la fonction de coût C est alors minimisée de manière à déterminer la valeur optimale de chaque paramètre de chaque matrice, en particulier les paramètres de la matrice de réverbération.
Cette minimisation est effectuée par itérations avec des règles de mise à jour multiplicatives, qui sont successivement appliquées à chacun des paramètres des matrices. Pour les matrices de la composante vocale intégrant une réverbération, on a : $R \leftarrow R ⊙ \frac{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)}) * {}_{t}{\hat{V}}^{x}}{{\hat{V}}^{rev ⊙ (β - 1)} * {}_{t}{\hat{V}}^{x}}$
$H_{F 0} \leftarrow H_{F 0} ⊙ \frac{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}))}{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)}))}$
$H_{K} \leftarrow H_{K} ⊙ \frac{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}))}{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)}))}$
$W_{K} \leftarrow W_{K} ⊙ \frac{((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})})) H_{K}^{T}}{((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)})) H_{K}^{T}}$
où * _t désigne l'opérateur de convolution ligne par ligne tel que défini ci-dessus.
Pour la composante musicale de fond sonore, on a, comme dans la première partie du procédé : $H_{R} \leftarrow H_{R} ⊙ \frac{W_{R}^{T} (V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}{W_{R}^{T} ({\hat{V}}^{rev ⊙ (β - 1)})}$
$W_{R} \leftarrow W_{R} ⊙ \frac{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)}) H_{R}^{T}}{({\hat{V}}^{rev ⊙ (β - 1)}) H_{R}^{T}}$
Comme indiqué ci-dessus, les règles de mise à jour sont élaborées à partir de la dérivée partielle de la fonction de coût C par rapport à chaque paramètre pertinent. Elles dépendent donc de la forme retenue pour la fonction de coût, notamment la divergence utilisée dans cette fonction de coût. Les règles ci-dessus sont donc spécifiques de l'utilisation d'une béta-divergence.
Il est à noter que, puisque ces règles résultent chacune d'une dérivation partielle selon un paramètre spécifique, la règle de mise à jour de la matrice de réverbération R est générale au sens où elle ne dépend pas de la modélisation retenue pour le spectrogramme V̂^x du signal pure ou celle du spectrogramme V̂^z de fond sonore.
En ce qui concerne la matrice H _F0 , les itérations partent de la matrice H' _F0 déterminée dans la première partie du procédé. Il est à noter que, puisque les règles de mise à jour sont multiplicatives, les coefficients de la matrice H _F0 fixés initialement à 0 resteront à 0 au cours de la minimisation de la fonction de coût dans la seconde partie du procédé.
Les autres paramètres de la modélisation et, en particulier ceux du spectrogramme de la contribution spécifique réverbérée V̂^rev,y sont initialisés avec des valeurs aléatoires.
Lorsque la distance entre le spectrogramme de mélange V et le spectrogramme estimé V̂ = V̂^rev,y + V̂^z est inférieure à un seuil prédéterminé ou lorsqu'un nombre d'itérations limite fixé à l'avance est atteint, le procédé sort de la boucle d'itération et les valeurs des matrices obtenues, R, H _F0 , W_K, H_K, W_R et H_R, sont les valeurs finales.
A l'étape 230, des traitements adaptés classiques (en particulier un traitement du type filtrage de Wiener) sont appliqués sur les spectrogrammes précédents pour obtenir notamment les spectrogrammes d'intérêt V̂^x, V̂^z . Puis, à l'étape 240, une transformation inverse de celle de l'étape 110 est réalisée sur ces spectrogrammes pour obtenir les signaux de sorties, signal vocal pur x(t) et signal musical z(t).
Dans les modes de réalisation décrits ici en détail, ces signaux acoustiques sont des signaux monophoniques. En variante, ces signaux sont stéréophoniques. Plus généralement encore, ils sont multicanaux. L'homme du métier sait comment adapter à des signaux stéréophoniques ou multicanaux les traitements présentés pour le cas de signaux monophoniques.
Le mode de réalisation préféré est relatif à une composante spécifique ou d'intérêt qui est une composante vocale. Cependant, la modélisation de la réverbération d'une composante est générale et s'applique à tout type de composante. En particulier, la composante de fond sonore peut également être affectée par une réverbération.
De plus, n'importe quel type de modélisations non-négatives des spectrogrammes des sons non réverbérés peut également être utilisées, en lieu et place de celles utilisées ci-dessus.
Par ailleurs, dans le mode de réalisation présenté ci-dessus, le mélange comporte deux composantes. La généralisation à un nombre quelconque de composantes est directe.
Des tests comparatifs ont été menés afin de comparer les résultats de la mise en oeuvre du présent procédé :

le premier procédé est une séparation, fondée sur une méthode de type NMF, sans inclure de modélisation sur la réverbération ;
le second procédé est une séparation selon le procédé décrit ci-dessus, c'est-à-dire incluant une modélisation de la réverbération du signal vocal ; et,
le troisième procédé est une limité mathématique théorique.

Afin de quantifier les résultats obtenus pour les différents procédés, des indicateurs standards du domaine de la séparation de sources ont été calculés. Ces indicateurs sont le rapport signal sur distorsion SDR (selon l'acronyme anglais « Signal to Distorsion Ratio »), et qui correspond à un test quantitatif ; le rapport signal sur artefact SAR (selon l'acronyme « Signal to Artefact Ratio »), et qui correspond aux artefacts dans les composantes séparées ; et le rapport signal sur interférence SIR (selon l'acronyme anglais « Signal to Interference Ratio »), et qui correspond aux interférences résiduelles entre les composantes séparées.
Les résultats sont présentés sur les figures 2 pour le signal vocal et la figure 3 pour le signal musical.
Le procédé selon l'invention améliore donc les résultats obtenus, quelle que soit la manière de les analyser.

Claims

Procédé de séparation (100), dans un signal acoustique de mélange w(t), d'une contribution spécifique pure, affectée par de la réverbération, et d'une contribution de fond sonore,
caractérisé en ce qu'il consiste à séparer la contribution spécifique pure x(t) et la contribution de fond sonore z(t),
en utilisant un spectrogramme de modélisation du signal acoustique de mélange V̂^rev correspondant à la somme d'un spectrogramme d'une contribution spécifique réverbérée V̂^rev,y et d'un spectrogramme de la contribution de fond sonore V̂^z , le spectrogramme de la contribution spécifique réverbérée dépendant du spectrogramme de la contribution spécifique pure V̂^x selon le modèle : ${\hat{V}}_{f, t}^{rev, y} = \sum_{τ = 1}^{T} {\hat{V}}_{f, t - τ + 1}^{x} R_{f, τ}$

où R est une matrice FxT de réverbération, f est un indice de fréquence, t est un indice de temps, et τ un entier entre 1 et T ; et
en calculant de manière itérative une estimation du spectrogramme de la contribution de fond sonore V̂^z , du spectrogramme de la contribution spécifique pure V̂^x et de la matrice de réverbération R de manière à minimiser une fonction de coût (C) entre un spectrogramme du signal de mélange V et le spectrogramme de modélisation du signal de mélange V̂^rev.
Procédé selon la revendication 1, caractérisé en ce que la fonction de coût (C) utilise une divergence (d) entre le spectrogramme du signal de mélange et le spectrogramme de modélisation du signal de mélange, notamment la divergence dite beta-divergence définie par : $d_{β} (a | b) = {\begin{matrix} \frac{1}{β (β - 1)} (a^{β} + (β - 1) b^{β} - {βab}^{β - 1}), β \in R ∖ \{0, 1\} \\ \begin{matrix} a \log \frac{a}{b} - a + b, & β = 1 \\ \frac{a}{b} - \log \frac{a}{b} - 1, & β = 0 \end{matrix} \end{matrix}$

où a et b sont deux scalaires réels positifs.
Procédé selon la revendication 2, caractérisé en ce que la minimisation de la fonction de coût met en oeuvre, pour obtenir une estimation de la matrice de réverbération, des règles de mise à jour multiplicatives du type : $R \leftarrow R ⊙ \frac{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)}) * {}_{t}{\hat{V}}^{x}}{{\hat{V}}^{rev ⊙ (β - 1)} * {}_{t}{\hat{V}}^{x}}$

Avec V̂^rev = V̂^rev,y + V̂^z ; et où ⊙ est un opérateur correspondant au produit terme à terme entre matrices (ou vecteur) ; .⊙(.) est un opérateur correspondant à l'exponentiation terme à terme d'une matrice par un scalaire ; * _t est un opérateur de convolution temporelle entre deux matrices défini par ${[A *_{t} B]}_{f, τ} = \sum_{τ = t}^{T} A_{f, τ} B_{f, τ - t + 1} .$
Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que, la contribution spécifique pure étant une contribution vocale, le spectrogramme de la contribution spécifique pure V̂^x est modélisé par : ${\hat{V}}^{x} = (W_{F 0} H_{F 0}) ⊙ (W_{K} H_{K})$

où W _F0 est une matrice d'atomes harmoniques prédéfinie, H _F0 est une matrice d'activation des atomes harmoniques de la matrice W _F0 , W_K est une matrice d'atomes de filtrage, H_K est une matrice d'activation des atomes de filtrage de la matrice W_K, et où ⊙ est un opérateur correspondant au produit terme à terme entre matrices.
Procédé selon la revendication 3 et la revendication 4, caractérisé en ce que la minimisation de la fonction de coût met en oeuvre des règles de mise à jour multiplicatives du type : $H_{F 0} \leftarrow H_{F 0} ⊙ \frac{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}))}{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)}))}$
$H_{K} \leftarrow H_{K} ⊙ \frac{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}))}{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)}))}$
$W_{K} \leftarrow W_{K} ⊙ \frac{((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})})) H_{K}^{T}}{((W_{F 0} H_{F 0}) ⊙ (R * {}_{t}{\hat{V}}^{rev ⊙ (β - 1)})) H_{K}^{T}}$

Avec V̂^rev = V̂^rev'y + V̂^z ; et où ⊙ est un opérateur correspondant au produit terme à terme entre matrices (ou vecteur) ; .⊙(.) est un opérateur correspondant à l'exponentiation terme à terme d'une matrice par un scalaire ; (.) ^T est la transposée d'une matrice ; _*t est un opérateur de convolution temporelle entre deux matrices défini par ${[A *_{t} B]}_{f, τ} =$
$\sum_{τ = t}^{T} A_{f, τ} B_{f, τ - t + 1} .$
Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que le spectrogramme de la contribution de fond sonore V̂^z est modélisé par une factorisation en matrices non-négatives : ${\hat{V}}^{z} = (W_{R} H_{R})$

où W_R est une matrice de modèles spectraux élémentaires et H_R est une matrice d'activation des modèles spectraux élémentaires de la matrice W_R.
Procédé selon la revendication 2 et la revendication 6, caractérisé en ce que la minimisation de la fonction de coût met en oeuvre des règles de mise à jour multiplicatives du type : $H_{R} \leftarrow H_{R} ⊙ \frac{W_{R}^{T} (V ⊙ {\hat{V}}^{rev ⊙ (β - 2)})}{W_{R}^{T} ({\hat{V}}^{rev ⊙ (β - 1)})}$
$W_{R} \leftarrow W_{R} ⊙ \frac{(V ⊙ {\hat{V}}^{rev ⊙ (β - 2)}) H_{R}^{T}}{({\hat{V}}^{rev ⊙ (β - 1)}) H_{R}^{T}}$

Avec V̂^rev = V̂^rev,y + V̂^Z ; et où ⊙ est un opérateur correspondant au produit terme à terme entre matrices (ou vecteur) ; .⊙(.) est un opérateur correspondant à l'exponentiation terme à terme d'une matrice par un scalaire ; (.) ^T est la transposée d'une matrice.
Procédé selon l'une quelconque des revendications précédentes, caractérisé en ce que, la séparation de la contribution spécifique pure x(t) et la contribution de fond sonore z(t) en utilisant un spectrogramme de modélisation du signal acoustique de mélange V̂^rev constituant une seconde partie du procédé, celui-ci comporte une première partie consistant à séparer, dans le signal acoustique de mélange w(t), une contribution spécifique et une contribution du fond sonore, sans tenir compte de la réverbération, des paramètres d'initialisation parmi les paramètres obtenus à l'issue de la première partie du procédé étant utilisés comme valeur initiale des paramètres correspondants dans le spectrogramme de la contribution spécifique réverbérée V̂^rev,y de la seconde partie du procédé.
Procédé selon la revendication 8, caractérisé en ce que la première partie comporte la minimisation d'une fonction de coût mettant en oeuvre un algorithme similaire à celui mis en oeuvre dans la seconde partie.
Procédé selon la revendication 2 et la revendication 9, caractérisé en ce que, pour la minimisation de la fonction de coût, la première partie du procédé met en oeuvre des règles de mise à jour multiplicatives du type : $H_{F 0} \leftarrow H_{F 0} ⊙ \frac{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)}))}{W_{F 0}^{T} ((W_{K} H_{K}) ⊙ ({\hat{V}}^{⊙ (β - 1)}))}$
$H_{K} \leftarrow H_{K} ⊙ \frac{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)}))}{W_{K}^{T} ((W_{F 0} H_{F 0}) ⊙ ({\hat{V}}^{⊙ (β - 1)}))}$
$W_{K} \leftarrow W_{K} ⊙ \frac{((W_{F 0} H_{F 0}) ⊙ (V ⊙ {\hat{V}}^{⊙ (β - 2)})) H_{K}^{T}}{((W_{F 0} H_{F 0}) ⊙ ({\hat{V}}^{⊙ (β - 1)})) H_{K}^{T}}$
$H_{R} \leftarrow H_{R} ⊙ \frac{W_{R}^{T} (V ⊙ {\hat{V}}^{⊙ (β - 2)})}{W_{R}^{T} ({\hat{V}}^{⊙ (β - 1)})}$
$W_{R} \leftarrow W_{R} ⊙ \frac{(V ⊙ {\hat{V}}^{⊙ (β - 2)}) H_{R}^{T}}{({\hat{V}}^{⊙ (β - 1)}) H_{R}^{T}}$

avec : V̂ = V̂^x + V̂^Z, V̂^z = (W_RH_R ), et V̂^x = (W _F0 H _F0 )⊙(W_KH_K ) ; où W_R est une matrice de modèles spectraux élémentaires et H_R est une matrice d'activation des modèles spectraux élémentaires de la matrice W_R ; où W _F0 est une matrice d'atomes harmoniques prédéfinie, H _F0 est une matrice d'activation des atomes harmoniques de la matrice W _F0 , W_K est une matrice d'atomes de filtrage, H_K est une matrice d'activation des atomes de filtrage de la matrice W_K ; et où ⊙ est un opérateur correspondant au produit terme à terme entre matrices (ou vecteur) ; .⊙(.) est un opérateur correspondant à l'exponentiation terme à terme d'une matrice par un scalaire ; (.) ^T est la transposée d'une matrice.
Procédé selon l'une quelconque des revendications 8 à 10, caractérisé en ce qu'il comporte, dans la première partie du procédé, à la suite de la minimisation de la fonction de coût, l'application d'un algorithme de suivi du maximum de puissance dans la matrice d'activation de la contribution spécifique H _F0 , ledit algorithme étant de préférence du type algorithme de Viterbi, puis la mise à zéro de tous les termes de la matrice d'activation de la contribution spécifique H _F0 qui sont trop éloignés du maximum de puissance trouvé, les termes de la matrice d'activation de la contribution spécifique H _F0 constituant les paramètres d'initialisation qui sont utilisés comme valeur initiale des paramètres correspondants dans le spectrogramme de la contribution spécifique réverbérée V̂^rev,y de la seconde partie du procédé, les autres paramètres du spectrogramme de la contribution spécifique réverbérée V̂^rev,y étant initialisés avec des valeurs aléatoires.
Produit programme d'ordinateur, caractérisé en ce qu'il comporte des instructions propres à être stockées dans la mémoire d'un calculateur et exécutées par le processeur dudit calculateur pour mettre en oeuvre un procédé de séparation conforme à l'une quelconque des revendications précédentes.