EP1605440B1 - Procédé de séparation de signaux sources à partir d'un signal issu du mélange - Google Patents
Procédé de séparation de signaux sources à partir d'un signal issu du mélange Download PDFInfo
- Publication number
- EP1605440B1 EP1605440B1 EP20050291254 EP05291254A EP1605440B1 EP 1605440 B1 EP1605440 B1 EP 1605440B1 EP 20050291254 EP20050291254 EP 20050291254 EP 05291254 A EP05291254 A EP 05291254A EP 1605440 B1 EP1605440 B1 EP 1605440B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- cov
- sources
- separation
- covariance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000926 separation method Methods 0.000 title claims description 56
- 238000000034 method Methods 0.000 title claims description 42
- 239000000203 mixture Substances 0.000 title description 19
- 239000011159 matrix material Substances 0.000 claims description 29
- 230000003595 spectral effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 5
- 230000005236 sound signal Effects 0.000 description 18
- 238000002156 mixing Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 8
- 241001080024 Telles Species 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000001143 conditioned effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Definitions
- the present invention relates to a method for determining the separation signals respectively relating to sound sources from a signal from the mixture of these signals.
- the field of the present invention is that of the digital processing of signals relating to sound sources, also called simply sound, audio or audio signals.
- the processing performed on the sound signals is not in the time domain but in the frequency domain.
- a short-term Fourier transform which is a linear transform associating with a signal in the sampled time domain ⁇ x (t 1 ), ..., x (t N ) ⁇ a two-dimensional time-frequency signal noted here x (t k , f), where t k is a frame index of the sampled digital signal and f is a generally discrete frequency index.
- the signal x (t k , f) is therefore a signal of the frequency domain and is in the form of frames indexed at t k .
- s 1 (t, f) follows a Gaussian law centered and of variance ⁇ i 2 f ( f )
- ⁇ 1 2 (f) and ⁇ 2 2 (f) which ultimately represent, as is known, their energy distributions as a function of frequency. If we consider that the signals in the frequency domain relating to these two sources s 1 ( t, f ) and s 2 ( t , f ) are gaussian random variables, non-stationary, ⁇ 1 2 (f) and ⁇ 2 2 (f) represent their variance, respectively.
- the Wiener filter In the context of the separation of sound signals, the Wiener filter has the following main disadvantages. It operates identically on all the frames of the mixing sound signal and therefore does not take changes in the sound energy content from one frame to another. In the end, it is not an adaptive filter. Another disadvantage lies in the fact that it only takes into account a characteristic spectral form by sound source even though the sound sources have a great spectral variety in terms of timbre, pitch, intensity, etc.
- the sound signal of each source s i (t) is characterized by a set of K i spectral shapes ⁇ k i 2 (f), k i ⁇ [1, ..., K i ].
- K i spectral shapes ⁇ k i 2 (f), k i ⁇ [1, ..., K i ].
- N sources their mixture is characterized by a set of K 1 x K 2 x ... x K N N N-tuples of characteristic spectral forms ( ⁇ k 1 2 (f), ..., ⁇ k NOT 2 (F)).
- the method consists in first choosing the N-tuple of spectral shapes that best corresponds to the sound signal of the mixture.
- it can consist in maximizing the probability of correspondence between the spectrogram of the mixture
- it consists of filtering the mixture by conventional Wiener filtering using the N-tuple of spectral shapes thus selected.
- this method is adaptive since the choice of the parameters of the filter depends on the frame index t k considered.
- the main disadvantage of this method lies in its algorithmic complexity. Indeed, if K characteristic spectral forms by source i and N sources i are considered in the mixture, K N N-tuples of characteristic spectral forms must be tested for each frame so that the complexity is in O (K n x T) if T is the number of frames of the mix signal to be analyzed. This disadvantage of complexity can make this method unacceptable, especially when the number of characteristic spectral forms per source is relatively large.
- the sound signal of each source s i (t) is characterized by a set of K i characteristic spectral forms ⁇ k i 2 (f) but which are there grouped in a dictionary of spectral forms.
- a first method for estimating the sound signals from sources 1 to N is to implement Wiener time-frequency filtering, which is nevertheless adaptive since it depends on the frame index t.
- This second method by the use of a dictionary of characteristic spectral shapes has the advantage over the previous method of reducing the algorithmic complexity. Indeed, for n sources each having K spectral forms, the algorithmic complexity is in O (nx K x T) where T is the number of frames to be analyzed, therefore lower than that of the previous method which was in O (K n x T).
- the human auditory system is indeed very sensitive to phase coherences in the audio signals, in particular inter-frame coherences for fixed f (coherent phase between s ( t k +1 , f ) and s ( t k , f )) and the phase coherences for the same frame but for different values of the frequency f (phase of s ( t k , f ) for different values of f).
- phase coherence effects are notably very sensitive on harmonic sounds, such as of a musical instrument, or voiced sounds, while they are less important on white, pink, and so on. or the sounds of percussion instruments.
- the purpose of the present is to propose a method of separating the signals relating to sound sources from a signal resulting from mixing these signals which does not exhibit the phase inconsistencies of the methods mentioned above.
- This method also applies to non-sound signals such as any digital signals from the sampling of a transducer for transforming a physical quantity into an electrical signal.
- the present invention provides means for connecting adjacent frames.
- each elementary sound source is determined in a recursive and iterative manner.
- FIG. 1 a system for separating sound signals from sound sources according to an embodiment of the present invention which comprises these connecting means between adjacent frames.
- This system essentially consists of an estimation unit 10 which, on the basis of a signal of frequency domain mixing noted x (t k , f) obtained for example by a short-term Fourier transform of the signal x (t) in the sampled time domain, delivers an estimation signal represented by the random variable S e (t k , f) of which each component s i e (t k , f) is the estimated signal for a source of the index mixture i.
- S e t k f s 1 e t k f ⁇ s NOT e t k f
- the estimation unit 10 is such that the expectation of the signal at its output is conditioned by the signals x (t k , f) which are actually observed.
- S e t k f E S t k f
- the estimation unit 10 is for example a Wiener filter (see the different forms of this type of filter given in the preamble of the present description), a unit operating by a time-frequency thresholding method, or by a method said Ephraim and Malah, etc.
- the system for separating sound signals from sound sources represented in Fig. 1 further comprises an update unit 20 and a prediction unit 30. It is these units 20 and 30 which constitute the inter-frame link means which are mentioned above.
- the prediction unit 30 is provided to deliver a prediction signal considered as a corresponding random variable S p (t k , f)
- the updating unit 20 on the basis of the prediction signal S p (t k , f) delivered by the prediction unit 30 and the estimation signal S e (t k , f) delivered by the estimation unit 10 delivers, as for it, the separation signal whose random variable is noted S tot (t k , f).
- the predicted signal for the present frame is based on the separation signal for the previous frame.
- the updating unit 20 it is intended to determine the separation signal S tot (t k , f) by summing the estimation signal S e (t k , f) in a weighted manner and the predicted signal S p (t k , f).
- the estimated signal S e (t k , f) is weighted by a matrix coefficient ⁇ (tk, f) while the predicted signal is weighted by a coefficient I- ⁇ (tk, f) , I being the unit matrix.
- step E10 the updating of the covariance of the predicted signal represented, it is recalled, by the random variable S p (t k + 1 , f) is carried out.
- the module of the function H (f) is indeed equal to 1.
- Cov tot (t k-1 , f) is a quantity that was calculated at the previous iteration (see step E30 below).
- step E20 the optimal coefficient matrix ⁇ (t k , f) is determined.
- ⁇ t k f Cov e t k f + Cov p t k f - 1 ⁇ Cov p t k f
- the covariance of the predicted separation signal Cov p (t k , f) is given by the calculation performed in step E10.
- the covariance of the estimation signal Cov e (t k , f) it is determined by the characteristic spectral forms ⁇ k i 2 (f) and amplitude factors a k i (t k ) sources or elementary sources considered.
- the estimation signal S e (t, f) of the mixture of the set of elementary sources is a Gaussian random variable of variance Cov e (t, f):
- step E30 for covariance related calculations, the next frame is considered and the process is resumed in step E10.
- step E40 the expectation of the predicted signal is determined.
- S 0 p (t k , f) which is given by the following relation as a function of the expectation of the separation signal S 0 early (t k-1 , f) determined at the previous frame:
- S 0 p t k f H f ⁇ S 0 early ⁇ t k - 1 f
- the expectation of the separation signal S 0 early (t k , f) is the output signal of the system. Its components are the signals of separation of each of the sources or elementary sources considered.
- step E60 the expectation of the separation signal of the frame Tr, S o early ( t k , f ) is shifted by one frame to obtain the expectation of the separation signal of the frame t k -1 and this latter expectation is used during step E40.
- step E50 After the steps E50 and E60, the next frame is considered and the process is resumed in step E40 for the steps related to the expectation calculations.
- the steps E10 and E40 are implemented by the prediction unit 30 while the steps E20, E30 and E50 are implemented by the update unit 20.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
- La présente invention concerne un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux.
- Le domaine de la présente invention est celui du traitement numérique de signaux relatifs à des sources sonores, dits aussi plus simplement signaux de son, audiophoniques ou audio. Dans ce domaine particulier, les traitements effectués sur les signaux de son le sont non pas dans le domaine temporel mais dans le domaine fréquentiel. Aussi, utilise-t-on fréquemment au préalable à tout traitement une transformée de Fourier à court terme qui est une transformée linéaire associant à un signal dans le domaine temporel échantillonné {x(t1), ...,x(tN)} un signal bidimensionnel temps fréquence noté ici x(tk,f), où tk est un indice de trame du signal numérique échantillonné et f est un indice, généralement discret, de fréquence. Le signal x(tk,f) est donc un signal du domaine fréquentiel et il se présente sous forme de trames indicées en tk.
- Dans la présente description, toutes les grandeurs dont il s'agit sont décrites au moyen de variables aléatoires gaussiennes multidimensionnelles. Le mélange observé à l'instant t s'exprime sous la forme :
où b(t) est un bruit blanc gaussien de variance σ2 b et S(t,f) est le vecteur dont chaque composante est associée à une source : -
- Pour désigner les variables sous forme de vecteur ou de matrice, des lettres en majuscule sont utilisées.
- Par ailleurs encore, dans la présente demande la notion de signal se confond souvent à celle de la variable aléatoire qui la représente.
- En ce qui concerne la séparation de signaux audio, on connaît un procédé qui est basé sur un filtre, dit filtre de Wiener, qui en définitive effectue une estimée du signal de séparation ŜW (t,f) sous l'hypothèse de la stationnarité globale des signaux de mélange. Si l'on appelle x(tk,f) la variable aléatoire qui décrit le signal du domaine fréquentiel issu du mélange des signaux des sources, et qui est appliqué à l'entrée du filtre, l'espérance de la variable aléatoire décrivant le signal de sortie du filtre est conditionnée aux signaux x(tk,f). On peut donc écrire :
- Dans le cas du filtre de Wiener, chaque composante du vecteur ŜW (tk ,f) peut être obtenue par la relation suivante :
où ei(f) est la fraction d'énergie de la source i contenue a priori dans le signal de mélange, à la fréquence d'indice f, N étant le nombre totale de sources et x(tk ,f) étant le signal de mélange. -
- Dans une phase préalable d'apprentissage, on a évalué les deux sources sonores et on a plus exactement estimé leurs formes spectrales caractéristiques respectives
(f) et (f), qui représentent, en définitive comme il est connu, leurs répartitions énergétiques en fonction de la fréquence. Si l'on considère que les signaux dans le domaine fréquentiel relatifs à ces deux sources s 1(t,f) et s 2(t,f) sont des variables aléatoires gaussiennes, non stationnaires, (f) et (f) représentent respectivement leur variance. Le filtre de Wiener délivre une estimation du signal de son de chaque source et, ce dans le domaine fréquentiel, en accord avec les relations suivantes : qui peuvent s'écrire sous forme matricielle de la manière suivante : -
- Dans le cadre de la séparation de signaux de sons, le filtre de Wiener présente les principaux inconvénients suivants. Il opère de manière identique sur toutes les trames du signal de son de mélange et il ne tient donc pas des changements du contenu énergétique sonore d'une trame à l'autre. En définitive, il n'est pas un filtre adaptatif. Un autre inconvénient réside dans le fait qu'il ne prend en compte qu'une forme spectrale caractéristique par source sonore alors même que les sources sonores présentent une grande variété spectrale en terme de timbre, de hauteur, d'intensité, etc.
- Des améliorations du filtre de Wiener ont été proposées pour tenir compte de ces inconvénients et ont abouti à notamment deux méthodes qui sont essentiellement basées sur l'utilisation de formes spectrales multiples pour décrire chacune des sources impliquées.
- La première de ces méthodes a été introduite dans le cadre de la reconnaissance de parole et a été ensuite utilisée en audio. Selon cette méthode, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales
(f), ki ∈ [1,...,Ki]. Si l'on considère N sources, leur mélange est caractérisé par un ensemble de K1 x K2 x ... x KN N-uplets de formes spectrales caractéristiques ( (f) ,..., (f)). Pour chaque trame d'indice tk, la méthode consiste à d'abord choisir le N-uplet de formes spectrales qui correspond le mieux au signal de son du mélange. Par exemple, elle peut consister à maximaliser la probabilité de correspondance entre le spectrogramme du mélange |x(tk ,f)|2 et la variance résultant du couple de formes spectrales. Ensuite, elle consiste à filtrer par un filtrage de Wiener classique le mélange en utilisant le N-uplet de formes spectrales ainsi sélectionné. On peut constater que cette méthode est adaptative puisque le choix des paramètres du filtre dépend de l'indice de trame tk considéré. - Le principal inconvénient de cette méthode réside dans sa complexité algorithmique. En effet, si K formes spectrales caractéristiques par source i et N sources i sont considérées dans le mélange, KN N-uplets de formes spectrales caractéristiques doivent être testés pour chaque trame si bien que la complexité est en O(Kn x T) si T est le nombre de trames du signal mélange à analyser. Cet inconvénient de complexité peut rendre cette méthode rédhibitoire, notamment lorsque le nombre de formes spectrales caractéristiques par source est relativement important.
- Une autre méthode a également été proposée pour rendre adaptatif le procédé de séparation. Comme précédemment, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales caractéristiques
(f) mais qui sont là regroupées dans un dictionnaire de formes spectrales. Ainsi, le spectrogramme du mélange |x(tk ,f)|2 est décomposé sur l'union des dictionnaires en présence et il est donc possible d'écrire : où les coefficients aki (t), sont nommés "facteurs d'amplitude", sont les inconnues à résoudre. - On notera que l'équation ci-dessus peut s'interpréter comme s'il y avait K1 +...+ KN sources élémentaires stationnaires qui sont caractérisées chacune par une forme spectrale
(f) et qui se mélangent entre elles avec des facteurs d'amplitude respectifs aki (t) fonction du temps. On notera que chaque facteur d'amplitude aki (t) d'une source élémentaire est caractéristique de l'enveloppe de cette source. Il est donc un nombre positif. -
- Une première méthode pour estimer les signaux de son des sources 1 à N est de mettre en oeuvre un filtrage de Wiener temps fréquence classique, néanmoins adaptatif dès lors qu'il dépend de l'indice de trame t. Ce filtre est appelé filtre de Wiener généralisé. On a donc pour la source i, l'estimée ŝi,W
g (tk ,f) : -
- Cette seconde méthode par l'utilisation de dictionnaire de formes spectrales caractéristique présente l'avantage par rapport à la précédente méthode de diminuer la complexité algorithmique. En effet, pour n sources possédant chacune K formes spectrales, la complexité algorithmique est en O(n x K x T) où T est le nombre de trames à analyser, donc inférieure à celle de la méthode précédente qui était en O(Kn x T).
- Les trois méthodes qui viennent d'être présentées présentent néanmoins l'inconvénient majeur que la phase de chacune des sources impliquées (ou des sources élémentaires impliquées selon la méthode utilisée) est rigoureusement égale à la phase du mélange. Or, en général, les sources qui s'additionnent n'ont pas toutes la même phase si bien que, dans les méthodes présentées ci-dessus, lors de la séparation, il y a destruction de la structure de phase des sources, ce qui peut entraîner des effets gênants pour l'écoute des signaux de son des sources recouvrées. Le système auditif humain est en effet très sensible aux cohérences de phase dans les signaux audio, notamment les cohérences inter-trames pour f fixée (phase cohérente entre s(t k+1,f) et s(tk ,f)) et les cohérences de phase pour une même trame mais pour différentes valeurs de la fréquence f (phase de s(tk ,f)pour différentes valeurs de f). Ces effets de cohérence de phase sont notamment très sensibles sur les sons harmoniques, comme les sons d'un instrument de musique, ou encore les sons voisés, alors qu'ils sont moins importants sur les bruits blancs, roses, etc. ou encore les sons d'instrument de percussion.
- La publication intitulée « Blind source separation using temporal predictability » de STONE J.V et la publication intitulée « An online algorithm for blind source extraction based on non-linear prediction approach » de MANDIC D.P et AL décrivent des procédés de détermination des signaux de séparation relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux.
- La thèse intitulée « Séparation de plusieurs sources sonores avec un seul microphone » de Elie Laurent BENAROYA décrit l'étude de la séparation de sources sonores avec un seul capteur à partir d'une extension du filtrage de Wiener à des modèles de mélange de Gaussiennes pour les sources ainsi qu'à partir d'une décomposition non négative du spectre du mélange sur un dictionnaire de forme spectrale caractéristique des sources.
- Le but de la présente est de proposer une méthode de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux qui ne présente pas les incohérences de phase des méthodes citées ci-dessus.
- Pour ce faire, un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux est défini dans la revendication 1, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :
- une étape de détermination d'un signal d'estimée ;
- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et
- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée, caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel déterminé de manière à minimiser la covariance du signal de séparation,
- Ce procédé s'applique également à des signaux non sonores tels que tous signaux numériques issus de l'échantillonnage d'un transducteur permettant la transformation d'une grandeur physique en un signal électrique.
- A cet effet, l'invention a pour objet un procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux tel que défini dans la revendication 2 lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources:
- une étape de détermination d'un signal d'estimée ;
- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ;et
- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée, caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel déterminé de manière à minimiser la covariance du signal de séparation,
- Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
- La
Fig. 1 est un schéma synoptique d'un système de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux selon la présente invention, et - La
Fig. 2 est un diagramme montrant les différentes étapes mises en oeuvre par un procédé de séparation de signaux selon la présente invention. - Dans la suite de la description, on considérera des sources sonores qui sont en elles-mêmes élémentaires, c'est-à-dire qui sont caractérisées chacune par une forme spectrale caractéristique donnée. Mais, on considèrera également des sources sonores dont la caractéristique de forme spectrale est une caractéristique parmi plusieurs caractéristiques de forme spectrale possibles, par exemple appartenant à un dictionnaire de formes spectrales caractéristiques (voir le préambule de la présente description). Comme on le mentionnait dans le préambule de la description, on peut alors considérer une source sonore comme étant une combinaison pondérée d'une pluralité de sources sonores élémentaires dont chacune présente une caractéristique de forme spectrale donnée (par exemple issue d'un dictionnaire ou déterminée).
- De manière à résoudre le problème des incohérences de phase des méthodes de l'état de la technique mentionnées en préambule de la description, la présente invention prévoit des moyens de lien entre trames adjacentes. En d'autres termes, chaque source sonore élémentaire est déterminée d'une manière récursive et itérative.
- On a représenté à la
Fig. 1 , un système de séparation de signaux de sons issus de sources sonores selon un mode de réalisation de la présente invention qui comporte ces moyens de liens entre trames adjacentes. Ce système est essentiellement constitué d'une unité d'estimation 10 qui, sur la base d'un signal de mélange du domaine fréquentiel notée noté x(tk,f) obtenu par exemple par une transformée de Fourier à court terme du signal x(t) dans le domaine temporel échantillonné, délivre un signal d'estimée représentée par la variable aléatoire Se(tk,f) dont chaque composante (tk,f) est le signal d'estimée pour une source du mélange d'indice i. Si l'on dispose de N sources élémentaires, le signal de d'estimée est représenté par un vecteur dont chaque composante est relative à une source : -
- L'unité d'estimation 10 est par exemple un filtre de Wiener (voir les différentes formes de ce type de filtre données dans le préambule de la présente description), une unité fonctionnant par une méthode de seuillage temps-fréquence, ou par une méthode dite Ephraïm et Malah, etc. Par exemple, dans le cas d'un filtre de Wiener, chaque composante du vecteur Se(tk,f) peut être obtenu par la relation suivante :
où ei(tk,f) est la fraction d'énergie de la source i contenue dans le signal de mélange, dans la trame d'indice tk et de fréquence d'indice f, N étant le nombre totale de sources et x̃(tk,f) étant le signal de mélange. -
- Le système de séparation de signaux de sons de sources sonores représenté à la
Fig. 1 comporte encore une unité de mise à jour 20 et une unité de prédiction 30. Ce sont ces unités 20 et 30 qui constituent les moyens de lien inter-trame qui sont mentionnés ci-dessus. - L'unité de prédiction 30 est prévue pour délivrer un signal de prédiction considéré comme une variable aléatoire correspondante Sp(tk,f)
-
- Comme on peut le constater sur la
Fig. 1 , l'unité de mise à jour 20, sur la base du signal de prédiction Sp(tk,f) délivré par l'unité de prédiction 30 et du signal d'estimée Se(tk,f) délivré par l'unité d'estimation 10 délivre, quant à elle, le signal de séparation dont la variable aléatoire est notée Stot(tk,f). -
-
- Le signal prédit pour la trame présente est basé sur le signal de séparation pour la trame précédente.
- L'espérance du signal de prédiction est donnée par la relation suivante :
où H(f) est un terme qui, dans le domaine fréquentiel, est représentatif du décalage entre deux trames successives et qui, du fait que les signaux considérés sont des signaux stationnaires, peut s'écrire : où T est la longueur d'une trame, M le décalage considéré, et i le nombre complexe tel que i2 = -1. Généralement, le décalage M entre trame est inférieur à la longueur T d'une trame et, même, il est souvent moitié de la longueur d'une trame : - Quant à l'unité de mise à jour 20, elle est prévue pour déterminer le signal de séparation Stot(tk,f) en sommant de manière pondérée le signal d'estimée Se(tk,f) et le signal prédit Sp(tk,f). Dans le mode de réalisation représenté, le signal d'estimée Se(tk,f) est pondéré par un coefficient matriciel α(tk,f) alors que le signal prédit est pondéré par un coefficient I-α(tk,f), I étant la matrice unité.
- Par exemple, ceci est réalisé en additionnant, dans un additionneur 21, au signal prédit Sp(tk,f) un signal d'erreur calculé comme la différence entre le signal prédit Sp(tk,f) et le signal d'estimée Se(tk,f), ledit signal d'erreur étant pondéré par un coefficient α(tk,f), la pondération étant effectuée par une unité de pondération 23. On peut donc écrire la relation :
- Le système de séparation représenté à la
Fig. 1 est prévu pour déterminer la matrice de coefficients optimale α(tk,f) permettant de minimiser la variance de l'estimation du signal de séparation Stot(tk,f). On peut montrer que cette valeur optimale du facteur de pondération est donnée par la relation suivante de la covariance du signal prédit Covp(tk,f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : -
- On va donc procéder conformément au diagramme de la
Fig. 2 . Dans ce diagramme, on peut constater qu'il présente deux branches I et II : la première I regroupe les étapes E10, E20 et E30 et correspond aux calculs des covariances des différentes variables aléatoires aboutissant essentiellement au calcul de la matrice de coefficients optimale α(tk,f) alors que la seconde II qui regroupe les étapes E40 et E50 correspond aux calculs des espérances de ces variables aléatoires aboutissant au calcul de l'espérance du signal de séparation en fonction du signal d'estimation délivré par l'unité d'estimation 10. - Plus précisément, à l'étape E10, est effectuée la mise à jour de la covariance du signal prédit représentée, on le rappelle, par la variable aléatoire Sp(tk+1,f)
-
- Le module de la fonction H(f) est en effet égal à 1.
-
-
- Covtot(tk-1,f) est une grandeur qui a été calculée à l'itération précédente (voir étape E30 ci-dessous).
-
- La covariance du signal de séparation prédit Covp(tk,f) est donnée par le calcul effectué à l'étape E10. Quant à la covariance du signal d'estimée Cove(tk,f), elle est déterminée par les formes spectrales caractéristiques
(f) et les facteurs d'amplitude aki (tk) des sources ou sources élémentaires considérées. - On rappelle que l'équation du mélange est la suivante :
où b(t,f) représente l'expression d'un bruit blanc gaussien stationnaire de variance Quant aux sources élémentaires si (t,f), elles sont considérées a priori comme des sources gaussiennes non stationnaires de variance ai(t,f) (f) mais comme stationnaires conditionnellement à ai(t). - Le signal d'estimé Se(t,f) du mélange de l'ensemble des sources élémentaires est une variable aléatoire gaussienne de variance Cove(t,f):
-
- aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,
- σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,
- σb est la variance d'un bruit blanc gaussien, et
- N est le nombre total de sources élémentaires considérées.
-
- I est la matrice identité,
- α (tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus,
- Covp(tk,f) est la covariance du signal de séparation prédit telle que calculée à l'étape E10.
- Après l'étape E30, pour ce qui concerne les calculs liés aux covariances, la trame suivante est considérée et le processus est repris à l'étape E10.
-
-
-
(tk,f) est l'espérance du signal de séparation prédit déterminé à l'étape E10 ci-dessus, -
(tk,f) est l'espérance du signal d'estimée telle qu'il apparaît à la sortie du l'unité d'estimation 10, et - α(tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus.
-
-
- Après les étapes E50 et E60, la trame suivante est considérée et le processus est repris à l'étape E40 pour ce qui concerne les étapes liées aux calculs des espérances.
- Les étapes E10 et E40 sont mises en oeuvre par l'unité de prédiction 30 alors que les étapes E20, E30 et E50 sont mises en oeuvre par l'unité de mise à jour 20.
- On notera qu'à l'initialisation du procédé, l'espérance et la covariance de la variable aléatoire représentant le signal de séparation sont mise à zéro puis les étapes E10 et E40 sont mises en oeuvre.
Claims (7)
- Procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :- une étape de détermination d'un signal d'estimée des sources- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et,- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée,caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel α(tk ,f) et le signal prédit étant pondéré par un second coefficient matriciel égal à la matrice unité moins le premier coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation,
et en ce que la valeur dudit premier coefficient matriciel est calculée au moyen de la relation suivante de la covariance du signal prédit Covp(tk,f)et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : - Procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :- une étape de détermination d'un signal d'estimée des sources;- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et,- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estiméecaractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel et le signal prédit étant pondéré par un second coefficient matriciel égal à la matrice unité moins le premier coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation,
et en ce que la valeur dudit premier coefficient matriciel est calculée au moyen de la relation suivante de la covariance du signal prédit Covp (tk, f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : - Procédé de séparation selon la revendication 1 ou la revendication 2, caractérisé en ce que la covariance du signal prédit Covp (tk,f) est déterminée en fonction de la covariance du signal de séparation Covtot(tk-1,f) pour la trame précédente au moyen de la relation suivante :
var(bp(tk,f)) étant la variance du bruit de prédiction qui dépend des sources ou sous-sources considérées. - Procédé de séparation selon la revendication 3, caractérisé en ce que ladite variance du bruit de prédiction var(bp(tk,f)) est estimée dans une phase d'apprentissage.
- Procédé de séparation selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite covariance du signal d'estimée Cove(tk,f) est déterminée au moyen de la relation suivante :
expression dans laquelle :- aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,- σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,- σb est la variance d'un bruit blanc gaussien, et- N est le nombre total de sources ou de sources élémentaires considérées. - Procédé de séparation selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la matrice de covariance du signal de séparation est remise à jour en utilisant l'expression suivante :
Expression dans laquelle :- I est la matrice identité ;- α (tk,f) est la matrice du premier coefficient de pondération ; et- Covp(tk,f) est la covariance du signal prédit. - Procédé de séparation selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comporte une étape de détermination du signal d'estimée Se(tk,f), chaque composante
correspondant à l'estimation d'une source élémentaire i dudit signal d'estimée Se(tk,f) étant obtenue à partir des formules suivantes :
dans lesquelles :- ei(tk,f) étant la fraction d'énergie de la source i contenue dans le signal issu du mélange des signaux, dans une trame d'indice tk et de fréquence d'indice f, N étant le nombre totale de sources ;- x(tk,f) étant le signal issus du mélange des signaux ;- Ki étant le nombre de sources élémentaires considérés pour la source i ;- aki (tk) étant le facteur d'amplitude de la source élémentaire d'indice ki ; et,
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0406365A FR2871593B1 (fr) | 2004-06-11 | 2004-06-11 | Procede de determination des signaux de separation respectivement relatifs a des sources sonores a partir d'un signal issu du melange de ces signaux |
| FR0406365 | 2004-06-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| EP1605440A1 EP1605440A1 (fr) | 2005-12-14 |
| EP1605440B1 true EP1605440B1 (fr) | 2010-11-24 |
Family
ID=34942399
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| EP20050291254 Ceased EP1605440B1 (fr) | 2004-06-11 | 2005-06-10 | Procédé de séparation de signaux sources à partir d'un signal issu du mélange |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP1605440B1 (fr) |
| DE (1) | DE602005024890D1 (fr) |
| FR (1) | FR2871593B1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3879854A1 (fr) | 2020-03-11 | 2021-09-15 | Sonova AG | Composant de dispositif auditif, dispositif auditif, support lisible par ordinateur et procédé de traitement d'un signal audio pour un dispositif auditif |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112863537B (zh) * | 2021-01-04 | 2024-06-04 | 北京小米松果电子有限公司 | 一种音频信号处理方法、装置及存储介质 |
-
2004
- 2004-06-11 FR FR0406365A patent/FR2871593B1/fr not_active Expired - Fee Related
-
2005
- 2005-06-10 DE DE200560024890 patent/DE602005024890D1/de not_active Expired - Lifetime
- 2005-06-10 EP EP20050291254 patent/EP1605440B1/fr not_active Ceased
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3879854A1 (fr) | 2020-03-11 | 2021-09-15 | Sonova AG | Composant de dispositif auditif, dispositif auditif, support lisible par ordinateur et procédé de traitement d'un signal audio pour un dispositif auditif |
| EP4723111A2 (fr) | 2020-03-11 | 2026-04-08 | Sonova AG | Composant de dispositif auditif, dispositif auditif, support lisible par ordinateur et procédé de traitement d'un signal audio pour un dispositif auditif |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1605440A1 (fr) | 2005-12-14 |
| FR2871593A1 (fr) | 2005-12-16 |
| DE602005024890D1 (de) | 2011-01-05 |
| FR2871593B1 (fr) | 2007-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2002428B1 (fr) | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant | |
| EP2309499B1 (fr) | Procédé de filtrage optimisé des bruits non stationnaires captés par un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile | |
| EP2419900B1 (fr) | Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal | |
| EP3238210B1 (fr) | Procede de traitement et d'analyse d'un signal, et dispositif mettant en oeuvre ledit procede | |
| EP2772916B1 (fr) | Procédé de débruitage d'un signal audio par un algorithme à gain spectral variable à dureté modulable dynamiquement | |
| EP0594480A1 (fr) | Procédé de détection de la parole | |
| WO2005106852A1 (fr) | Procede et systeme ameliores de conversion d'un signal vocal | |
| FR2522179A1 (fr) | Procede et appareil de reconnaissance de paroles permettant de reconnaitre des phonemes particuliers du signal vocal quelle que soit la personne qui parle | |
| EP3040989B1 (fr) | Procédé de séparation amélioré et produit programme d'ordinateur | |
| EP1606792B1 (fr) | Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse | |
| EP1410240B1 (fr) | Procede et circuit d'analyse frequentielle en temps reel d'un signal non stationnaire | |
| WO2005106853A1 (fr) | Procede et systeme de conversion rapides d'un signal vocal | |
| EP1849157B1 (fr) | Procede de mesure de la gene due au bruit dans un signal audio | |
| EP0464115A1 (fr) | Procede et dispositif d'analyse spectrale en temps reel de signaux instationnaires complexes | |
| Emiya | Transcription automatique de la musique de piano | |
| EP1605440A1 (fr) | Procédé de séparation de signaux sources à partir d'un signal issu du mélange | |
| EP3155609B1 (fr) | Analyse frequentielle par démodulation de phase d'un signal acoustique | |
| EP2901447B1 (fr) | Procédé et dispositif pour séparer des signaux par filtrage spatial à variance minimum sous contrainte linéaire | |
| KR100766170B1 (ko) | 다중 레벨 양자화를 이용한 음악 요약 장치 및 방법 | |
| EP0821345B1 (fr) | Procédé d'extraction de la fréquence fondamentale d'un signal de parole | |
| EP1192619B1 (fr) | Codage et decodage audio par interpolation | |
| EP1194923B1 (fr) | Procedes et dispositifs d'analyse et de synthese audio | |
| Vial | Phase retrieval and audio signal reconstruction with non-quadratic cost functions | |
| EP1192618B1 (fr) | Codage audio avec liftrage adaptif | |
| WO2007068861A2 (fr) | Procede d'estimation de phase pour la modelisation sinusoidale d'un signal numerique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
| AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
| AX | Request for extension of the european patent |
Extension state: AL BA HR LV MK YU |
|
| 17P | Request for examination filed |
Effective date: 20060509 |
|
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1084228 Country of ref document: HK |
|
| 17Q | First examination report despatched |
Effective date: 20060718 |
|
| AKX | Designation fees paid |
Designated state(s): DE ES GB IT PL |
|
| RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: AUDIONAMIX SA |
|
| GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
| GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
| GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
| AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE ES GB IT PL |
|
| REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
| REF | Corresponds to: |
Ref document number: 602005024890 Country of ref document: DE Date of ref document: 20110105 Kind code of ref document: P |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110307 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20101124 |
|
| PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
| STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
| 26N | No opposition filed |
Effective date: 20110825 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602005024890 Country of ref document: DE Effective date: 20110825 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20101124 |
|
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1084228 Country of ref document: HK |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20180604 Year of fee payment: 14 |
|
| PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20190506 Year of fee payment: 15 |
|
| REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602005024890 Country of ref document: DE |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200101 |
|
| GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20200610 |
|
| PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200610 |


















