EP3828886A1

EP3828886A1 - Procede et systeme pour separer dans un flux audio la composante voix et la composante bruit

Info

Publication number: EP3828886A1
Application number: EP20209511.3A
Authority: EP
Inventors: Félix MATHIEU; Thomas COURTAT; François CAPMAN; François SAUSSET; Shaheen ACHECHE
Original assignee: Thales SA
Current assignee: Thales SA
Priority date: 2019-11-27
Filing date: 2020-11-24
Publication date: 2021-06-02
Anticipated expiration: 2040-11-24
Also published as: PL3828886T3; FI3828886T3; SG10202011769TA; FR3103619B1; EP3828886B1; ES3012059T3; FR3103619A1

Abstract

L'invention concerne un procédé et un système pour séparer en temps réel dans un flux audio la composante voix et la composante bruit.

Description

L'invention concerne un procédé et un système permettant de séparer, en temps réel dans un flux audio, la partie du flux associée à une voix ou à de la parole, d'une autre partie du flux contenant les bruits.
L'invention trouve son application dans un contexte où une ou plusieurs personnes parlent dans un environnement bruité (brouhaha, bruit de moteur, ventilation, etc.). Le signal de la parole superposé aux signaux bruyants est numérisé dans un flux audio par un capteur sonore.
L'invention concerne aussi un procédé et un système pour rehausser un signal de voix en temps réel dans un flux audio à partir d'un procédé de séparation de sources audio en temps différé.
L'état de l'art connu du demandeur se divise en deux catégories, les approches dites classiques et les approches possibles par l'intelligence artificielle connue sous la dénomination anglo-saxonne de « deep learning ».
Dans l'approche de « deep learning », des approches traitent directement du problème de séparation voix/bruit de fond, d'autres concernent la séparation signal/signal, voix/voix.
La demande de brevet US 20190066713 divulgue un procédé consistant à obtenir, par un dispositif, un signal sonore combiné pour des signaux combinés provenant de multiples sources sonores dans une zone dans laquelle se trouve une personne. Le traitement mis en œuvre fait appel à des réseaux de neurones profonds.
Un exemple de procédé pour séparer plusieurs voix dans un signal audio selon l'art antérieur comporte les étapes décrites ci-après et non représentées pour des raisons de simplification. Le signal audio entrant est noté X, il a pour longueur L. Le signal est transmis à un encodeur M ₁ qui transforme X en un tenseur X ⁽¹⁾de dimensions F × T où T est un diviseur de L et F un nombre de filtres donné par le concepteur. L'encodeur M ₁ consiste en une Convolution 1D à F filtres. Les coefficients des noyaux de convolution sont réglés lors d'une phase d'apprentissage. Le tenseur est transmis d'une part à un multiplicateur pour une utilisation future et d'autre part à un module de séparation. Le module de séparation est divisé en deux sous-modules M ₂ et M ₄. Le premier sous-module M ₂ transforme le tenseur X ⁽¹⁾ en un tenseur X ⁽²⁾ de dimensions F × T. Le premier sous-module M ₂ est constitué d'une couche de normalisation, une convolution 1x1 et un empilement de modules 1D-Conv connus de l'art antérieur et dont les paramètres sont réglés lors d'une phase d'apprentissage.
Le deuxième sous-module M ₄ transforme X ⁽²⁾ en X ⁽⁴⁾ tenseur de dimensions 2F × T. Pour cela, le deuxième sous-module M ₄ enchaîne une non-linéarité, une convolution 1x1 et une fonction sigmoîde. Les coefficients de la convolution 1x1 sont réglés lors d'une phase d'apprentissage.
X ⁽¹⁾ est concaténé à lui-même pour former un tenseur de dimensions 2F x T qui est multiplié à X ⁽⁴⁾ pour former X ⁽⁵⁾.
Le module M ₅ prend pour entrée X ⁽⁵⁾ et donne en sortie deux signaux de longueur L au moyen d'une déconvolution 1D dont les paramètres sont réglés lors d'une phase d'apprentissage.
Les paramètres numériques définissant les traitements des différents modules sont obtenus dans une phase préalable d'apprentissage sur une base de données.
En remplaçant une des voix par du bruit, il est immédiat d'utiliser les méthodes décrites dans l'état de l'art pour séparer la voix du bruit de fond dans un signal audio et, en conservant uniquement la sortie contenant le signal de voix, de rehausser la voix d'un signal bruité.
La figure 1 illustre une application à la séparation de signaux de différents types, en séparant le canal voix et le canal bruit.
Tel que décrit, l'état de l'art ne permet pas directement le traitement en temps réel d'un flux audio.
Le document de Mimilakis Stylianos loannis et al, intitulé « A recurrent encoder-decoder approach with skip-filtering connections for monaural singing voice separation », du 25 septembre 2017, pages 1-6, XP 033263882, divulgue un procédé permettant de séparer la voix d'un fond musical.
Dans le domaine technique du « deep learning », les données sont représentées sous forme de tenseurs. Les données sont modifiées par une succession de modules. En sortie de chaque module, les données sont projetées dans un espace abstrait défini en général par ses dimensions.
Pour ce faire la présente invention met en œuvre les traitements suivants :
Le signal (flux d'entrée X) est découpé en N trames de longueur L, avec X_N la nième trame. Le procédé exécute les traitements suivants :
La trame X_N est encodée par un réseau de convolutions 1D. Le résultat est un tenseur $X_{N}^{(1)}$
de dimensions F x T avec F le nombre de filtres donné par le concepteur,
T un diviseur de L dépendant de la taille des filtres F, 100. Le résultat $X_{N}^{(1)}$
est ensuite transformé par un module M_2, 101. Le résultat $X_{N}^{(2)}$
est un tenseur de dimensions F x T. Le module M₄ estime, 103, à partir de $X_{N}^{(2)},$
un tenseur $X_{N}^{(4)}$
de dimensions 2F x T. $X_{N}^{(1)}$
est concaténé à lui-même, 104, pour former un tenseur de dimensions 2F x T qui est multiplié à $X_{N}^{(4)}$
pour former $X_{N}^{(5)} .$
Le module M₅ à partir de $X_{N}^{(5)}$
produit un tenseur de dimension 2 x T, 105, à partir duquel on obtient deux sorties de dimensions 1 x T X _N,0 et X _N,1 qui sont respectivement le canal voix et le canal bruit.
Ces étapes sont réitérées sur chaque nouvelle trame. Les paramètres sont appris sur une base de données de sons. L'inconvénient de ce procédé est qu'il n'utilise pas les informations des trames précédentes pour traiter la trame courante. Ceci entraîne notamment une qualité dégradée et une forte latence dans les traitements, du fait de la durée des trames.
L'un des objectifs de la présente invention est d'offrir un procédé et un dispositif permettant de séparer, en temps réel, des voix du bruit de fond dans un flux audio, ou débruitage de la voix dans un flux audio, notamment en tenant compte des informations issues des trames précédentes. Ceci permet d'améliorer les performances et la latence de traitement. Le procédé permet ainsi la propagation de « l'information globale » sur le signal, sa mise à jour et son exploitation de trame en trame.
L'invention concerne un procédé pour séparer en temps réel de la voix du bruit dans un signal audio reçu sur un récepteur équipé d'un capteur audio caractérisé en ce qu'il comporte au moins les étapes suivantes :

On sépare le flux audio reçu en N trames X_N ,
Pour chaque trame X_N on associe un tenseur contenant des informations sur l'ensemble du flux audio,
On transmet la trame X_N à un premier module M₁ qui génère un signal $X_{N}^{(1)},$
Le tenseur I _N-1 obtenu lors de l'étape précédente pour le traitement de la trame X_N - 1 est transmis à un module M₃,
Le module M₃ prend en entrée un signal $X_{N}^{(2)},$
résultat de la transformation du signal $X_{N}^{(1)}$
par un module M₂ et réalise la concaténation de $X_{N}^{(2)}$
et I_N afin de générer un signal $X_{N}^{(3)}$
de dimension 2F x T,
Le signal $X_{N}^{(3)}$
est transmis à un module M₄ afin de générer un signal $X_{N}^{(4)}$
qui est combiné avec le signal $X_{N}^{(1)},$
Le signal résultant de la combinaison est décodé par un décodeur M₅ afin de générer un premier signal de voix X _N,0 et un deuxième signal X _N,1.

Pour traiter une trame N on suppose que la trame N - 1 a été traitée précédemment et que les quantités résultant de ce traitement ont été stockées. Pour la trame 0, I ₀ est fixé arbitrairement par exemple il est identiquement nul.
L'invention concerne aussi un dispositif pour séparer de la voix du bruit dans un signal audio reçu sur un récepteur équipé d'un capteur audio caractérisé en ce qu'il comporte au moins les éléments suivants :

Un premier module M₁ recevant des trames d'un signal contenant de la voix et du bruit,
Le premier module à une sortie reliée à un deuxième module M₂ configuré pour générer un signal transmis à un troisième module M₃ qui reçoit une valeur de tenseur associée à une trame précédente X_N - 1 pour générer un tenseur I_N associé à la trame courante et un signal $X_{N}^{(3)}$
de dimension 2F x T,

Le module M₃ inséré entre le module M₂ et le module M₄ prend en entrée un tenseur homogène en dimensions à celui fourni en sortie du module M₂ et fournit en sortie un tenseur homogène en dimensions à celui que prend en entrée le module M₄. Une entrée I_N - 1 supplémentaire est fournie en entrée du module M₃ pour le traitement de la trame numéro N et le module M₃ fournit en sortie additionnelle le tenseur I_N .

Un module M₄ qui combine le signal $X_{N}^{(3)}$
et le signal $X_{N}^{(1)}$
afin de générer un signal $X_{N}^{(4)},$
Un décodeur M₅ configuré pour générer un premier signal de voix X _N,0 et un deuxième signal de bruit X _N,1 à partir du signal $X_{N}^{(4)} .$

D'autres caractéristiques, détails et avantages de l'invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d'exemple non limitatifs et qui représentent, respectivement :

[Fig.1], une illustration de l'art antérieur,
[Fig.2], un exemple de système permettant la mise en œuvre du procédé selon l'invention,
[Fig.3] une illustration des étapes mises en œuvre par le procédé selon l'invention.

La figure 2 illustre un exemple de dispositif permettant la mise en œuvre du procédé selon l'invention.
Le signal dont il faut extraire (séparer) la ou les voix du bruit contenu dans le flux audio est reçu sur un capteur audio 10. Le capteur audio est relié à un ensemble d'équipements ou modules Hardware 20 configurés pour séparer la voix du bruit qui seront détaillés à la figure 3.
La figure 3 illustre une première variante de réalisation pour séparer une voix du bruit dans un signal audio, les traitements étant effectués au niveau de l'ensemble 20. Cette séparation est réalisée en temps réel. Les modules similaires au schéma de la figure 1 portent les mêmes références. L'ensemble comprend en plus un module M₃ dont la fonction est détaillée ci-après.
Le signal audio reçu sur le capteur est lors d'une première étape séparé en N trames X ₁ .....X_N . A chaque trame X_N est associé un tenseur I_N qui est de dimension constante, indépendante de l'indice de la trame. Le procédé va mettre à jour la valeur du tenseur I_N de trame en trame et l'utilisation jointe de X_N et I_N pour estimer X _N,0 et X _N,1.
La trame X_N est transmise à un premier module M₁, 100, qui génère un signal $X_{N}^{(1)} .$
Le tenseur I _N-1 obtenu lors de l'étape précédente pour le traitement de la trame X_N - 1 est transmis dans un module M₃, 201.
M ₃ génère un tenseur I_N , 202, qui sera utilisé lors du traitement de la trame X _N+1.
Le codeur M₃ prend en entrée un signal $X_{N}^{(2)},$
203, résultat de la transformation du signal $X_{N}^{(1)}$
par un module M₂ et réalise la concaténation de $X_{N}^{(2)}$
et I_N , afin de générer un signal $X_{N}^{(3)}$
de dimension 2F x T, $M_{3 :} (X_{N}^{(2)}, I_{N - 1}) - > (X_{N}^{(3)}, I_{N}) .$
Le signal $X_{N}^{(3)},$
204, est transmis à un module M₄ afin de générer un signal $X_{N}^{(4)}$
qui est combiné, 104, avec le signal $X_{N}^{(1)},$
le signal résultant de la combinaison est décodé par un décodeur M₅, 105, afin de générer un premier signal de voix X _N,0 et un deuxième signal de bruit X _N,1.
Dans un mode de réalisation, les étapes mises en œuvre par le procédé selon l'invention sont les suivantes :
Pour tout N, I_N est de dimension F x F
A_N est un tenseur F x F défini par $A_{N} = (\frac{X_{N}^{(2)} \cdot {(X_{N}^{(2)})}^{t}}{\sqrt{T}})$

a. $X_{N}^{(2)} \cdot {(X_{N}^{(2)})}^{t}$
est le produit matriciel de $X_{N}^{(2)}$
et de sa transposée
I_N = I _N-1 + λ(A_N - I _N-1) avec λ un facteur de gain 0 et 1 donné par l'utilisateur
B_N = Softmax(I _N-1)
a. La fonction softmax est classique en machine learning ; à un vecteur de K nombres, (v ₁ ...v _K ) elle associe un vecteur de K nombre (w ₁ ... w_K ) avec pour tout $w_{k} = \frac{\exp (v_{k})}{\sum_{l = 1}^{K} \exp (v_{l})},$
b. Pour calculer B_N , la fonction softmax est appliquée indépendamment à toutes les lignes de I_N ,

C_{N} = B_{N} \cdot X_{N}^{(2)}

B_N

X_{N}^{(2)};

F

T

X_{N}^{(3)}

X_{N}^{(2)}

C_N

Le procédé et le dispositif selon l'invention permettent une séparation en temps réel de la voix du bruit dans un signal audio reçu sur un capteur en temps réel et sans dégrader les paramètres propres à la voix.
Les paramètres numériques définissant les traitements des différents modules sont réglés dans une phase préalable d'apprentissage sur une base de données.
L'invention permet un fonctionnement en temps réel avec un compromis latence/qualité contrôlable, de ne pas dégrader le signal audio qui ne contient pas de bruit, et permet de rehausser le bruit dans un signal ne contenant pas de paroles (de voix).
Le procédé permet notamment de prétraiter le signal audio de la parole pour améliorer la qualité de briques de traitement / valorisation de la voix (compression, analyse).
L'ajout dans la chaîne de traitement d'un module M₃ permet d'améliorer la qualité de mise en place d'une stratégie trame par trame pour la mise en temps réel des traitements.

Claims

Procédé pour séparer, en temps réel, de la voix du bruit dans un signal audio reçu sur un récepteur équipé d'un capteur audio caractérisé en ce qu'il comporte au moins les étapes suivantes :
- On sépare le flux audio reçu en N trames X_N ,

- Pour chaque trame X_N on associe un tenseur contenant des informations sur l'ensemble du flux audio,

- On transmet la trame X_N à un premier module M₁, (100), qui génère un signal $X_{N}^{(1)},$

- Le tenseur I _N-1 obtenu lors de l'étape précédente pour le traitement de la trame X_N - 1 est transmis à un module M₃, (201),

- Le module M₃ prend en entrée un signal $X_{N}^{(2)},$
(203), résultat de la transformation du signal $X_{N}^{(1)}$
par un module M₂ et réalise la concaténation de $X_{N}^{(2)}$
et I_N , afin de générer un signal $X_{N}^{(3)}$
de dimension 2F x T,

- Le signal $X_{N}^{(3)},$
(204), est transmis à un module M₄ afin de générer un signal $X_{N}^{(4)}$
qui est combiné, (104), avec le signal $X_{N}^{(1)},$

- le signal résultant de la combinaison est décodé par un décodeur M₅, (105), afin de générer un premier signal de voix X _N,0 et un deuxième signal X _N,1.
Dispositif pour séparer, en temps réel, de la voix du bruit dans un signal audio reçu sur un récepteur équipé d'un capteur audio caractérisé en ce qu'il comporte au moins les éléments suivants :
- Un premier module M₁ recevant des trames d'un signal contenant de la voix et du bruit,

- Le premier module à une sortie reliée à un deuxième module M₂ configuré pour générer un signal transmis à un troisième module M₃ qui reçoit une valeur de tenseur associée à une trame précédente X_N - 1 pour générer un tenseur I_N associé à la trame courante et un signal $X_{N}^{(3)}$
de dimension 2F x T,

- Un module M₄ qui combine le signal $X_{N}^{(3)}$
et le signal $X_{N}^{(1)}$
afin de générer un signal $X_{N}^{(4)},$

- Un module (104) qui combine le signal $X_{N}^{(4)}$
avec le signal $X_{N}^{(1)}$
afin de générer un signal $X_{N}^{(5)}$

- Un décodeur M₅, (105) configuré pour générer un premier signal de voix X _N,0 et un deuxième signal X _N,1 à partir du signal $X_{N}^{(5)} .$