EP1605440B1 - Procédé de séparation de signaux sources à partir d'un signal issu du mélange - Google Patents
Procédé de séparation de signaux sources à partir d'un signal issu du mélange Download PDFInfo
- Publication number
- EP1605440B1 EP1605440B1 EP20050291254 EP05291254A EP1605440B1 EP 1605440 B1 EP1605440 B1 EP 1605440B1 EP 20050291254 EP20050291254 EP 20050291254 EP 05291254 A EP05291254 A EP 05291254A EP 1605440 B1 EP1605440 B1 EP 1605440B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- signal
- cov
- sources
- separation
- covariance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0272—Voice signal separating
Definitions
- the present invention relates to a method for determining the separation signals respectively relating to sound sources from a signal from the mixture of these signals.
- the field of the present invention is that of the digital processing of signals relating to sound sources, also called simply sound, audio or audio signals.
- the processing performed on the sound signals is not in the time domain but in the frequency domain.
- a short-term Fourier transform which is a linear transform associating with a signal in the sampled time domain ⁇ x (t 1 ), ..., x (t N ) ⁇ a two-dimensional time-frequency signal noted here x (t k , f), where t k is a frame index of the sampled digital signal and f is a generally discrete frequency index.
- the signal x (t k , f) is therefore a signal of the frequency domain and is in the form of frames indexed at t k .
- s 1 (t, f) follows a Gaussian law centered and of variance ⁇ i 2 f ( f )
- ⁇ 1 2 (f) and ⁇ 2 2 (f) which ultimately represent, as is known, their energy distributions as a function of frequency. If we consider that the signals in the frequency domain relating to these two sources s 1 ( t, f ) and s 2 ( t , f ) are gaussian random variables, non-stationary, ⁇ 1 2 (f) and ⁇ 2 2 (f) represent their variance, respectively.
- the Wiener filter In the context of the separation of sound signals, the Wiener filter has the following main disadvantages. It operates identically on all the frames of the mixing sound signal and therefore does not take changes in the sound energy content from one frame to another. In the end, it is not an adaptive filter. Another disadvantage lies in the fact that it only takes into account a characteristic spectral form by sound source even though the sound sources have a great spectral variety in terms of timbre, pitch, intensity, etc.
- the sound signal of each source s i (t) is characterized by a set of K i spectral shapes ⁇ k i 2 (f), k i ⁇ [1, ..., K i ].
- K i spectral shapes ⁇ k i 2 (f), k i ⁇ [1, ..., K i ].
- N sources their mixture is characterized by a set of K 1 x K 2 x ... x K N N N-tuples of characteristic spectral forms ( ⁇ k 1 2 (f), ..., ⁇ k NOT 2 (F)).
- the method consists in first choosing the N-tuple of spectral shapes that best corresponds to the sound signal of the mixture.
- it can consist in maximizing the probability of correspondence between the spectrogram of the mixture
- it consists of filtering the mixture by conventional Wiener filtering using the N-tuple of spectral shapes thus selected.
- this method is adaptive since the choice of the parameters of the filter depends on the frame index t k considered.
- the main disadvantage of this method lies in its algorithmic complexity. Indeed, if K characteristic spectral forms by source i and N sources i are considered in the mixture, K N N-tuples of characteristic spectral forms must be tested for each frame so that the complexity is in O (K n x T) if T is the number of frames of the mix signal to be analyzed. This disadvantage of complexity can make this method unacceptable, especially when the number of characteristic spectral forms per source is relatively large.
- the sound signal of each source s i (t) is characterized by a set of K i characteristic spectral forms ⁇ k i 2 (f) but which are there grouped in a dictionary of spectral forms.
- a first method for estimating the sound signals from sources 1 to N is to implement Wiener time-frequency filtering, which is nevertheless adaptive since it depends on the frame index t.
- This second method by the use of a dictionary of characteristic spectral shapes has the advantage over the previous method of reducing the algorithmic complexity. Indeed, for n sources each having K spectral forms, the algorithmic complexity is in O (nx K x T) where T is the number of frames to be analyzed, therefore lower than that of the previous method which was in O (K n x T).
- the human auditory system is indeed very sensitive to phase coherences in the audio signals, in particular inter-frame coherences for fixed f (coherent phase between s ( t k +1 , f ) and s ( t k , f )) and the phase coherences for the same frame but for different values of the frequency f (phase of s ( t k , f ) for different values of f).
- phase coherence effects are notably very sensitive on harmonic sounds, such as of a musical instrument, or voiced sounds, while they are less important on white, pink, and so on. or the sounds of percussion instruments.
- the purpose of the present is to propose a method of separating the signals relating to sound sources from a signal resulting from mixing these signals which does not exhibit the phase inconsistencies of the methods mentioned above.
- This method also applies to non-sound signals such as any digital signals from the sampling of a transducer for transforming a physical quantity into an electrical signal.
- the present invention provides means for connecting adjacent frames.
- each elementary sound source is determined in a recursive and iterative manner.
- FIG. 1 a system for separating sound signals from sound sources according to an embodiment of the present invention which comprises these connecting means between adjacent frames.
- This system essentially consists of an estimation unit 10 which, on the basis of a signal of frequency domain mixing noted x (t k , f) obtained for example by a short-term Fourier transform of the signal x (t) in the sampled time domain, delivers an estimation signal represented by the random variable S e (t k , f) of which each component s i e (t k , f) is the estimated signal for a source of the index mixture i.
- S e t k f s 1 e t k f ⁇ s NOT e t k f
- the estimation unit 10 is such that the expectation of the signal at its output is conditioned by the signals x (t k , f) which are actually observed.
- S e t k f E S t k f
- the estimation unit 10 is for example a Wiener filter (see the different forms of this type of filter given in the preamble of the present description), a unit operating by a time-frequency thresholding method, or by a method said Ephraim and Malah, etc.
- the system for separating sound signals from sound sources represented in Fig. 1 further comprises an update unit 20 and a prediction unit 30. It is these units 20 and 30 which constitute the inter-frame link means which are mentioned above.
- the prediction unit 30 is provided to deliver a prediction signal considered as a corresponding random variable S p (t k , f)
- the updating unit 20 on the basis of the prediction signal S p (t k , f) delivered by the prediction unit 30 and the estimation signal S e (t k , f) delivered by the estimation unit 10 delivers, as for it, the separation signal whose random variable is noted S tot (t k , f).
- the predicted signal for the present frame is based on the separation signal for the previous frame.
- the updating unit 20 it is intended to determine the separation signal S tot (t k , f) by summing the estimation signal S e (t k , f) in a weighted manner and the predicted signal S p (t k , f).
- the estimated signal S e (t k , f) is weighted by a matrix coefficient ⁇ (tk, f) while the predicted signal is weighted by a coefficient I- ⁇ (tk, f) , I being the unit matrix.
- step E10 the updating of the covariance of the predicted signal represented, it is recalled, by the random variable S p (t k + 1 , f) is carried out.
- the module of the function H (f) is indeed equal to 1.
- Cov tot (t k-1 , f) is a quantity that was calculated at the previous iteration (see step E30 below).
- step E20 the optimal coefficient matrix ⁇ (t k , f) is determined.
- ⁇ t k f Cov e t k f + Cov p t k f - 1 ⁇ Cov p t k f
- the covariance of the predicted separation signal Cov p (t k , f) is given by the calculation performed in step E10.
- the covariance of the estimation signal Cov e (t k , f) it is determined by the characteristic spectral forms ⁇ k i 2 (f) and amplitude factors a k i (t k ) sources or elementary sources considered.
- the estimation signal S e (t, f) of the mixture of the set of elementary sources is a Gaussian random variable of variance Cov e (t, f):
- step E30 for covariance related calculations, the next frame is considered and the process is resumed in step E10.
- step E40 the expectation of the predicted signal is determined.
- S 0 p (t k , f) which is given by the following relation as a function of the expectation of the separation signal S 0 early (t k-1 , f) determined at the previous frame:
- S 0 p t k f H f ⁇ S 0 early ⁇ t k - 1 f
- the expectation of the separation signal S 0 early (t k , f) is the output signal of the system. Its components are the signals of separation of each of the sources or elementary sources considered.
- step E60 the expectation of the separation signal of the frame Tr, S o early ( t k , f ) is shifted by one frame to obtain the expectation of the separation signal of the frame t k -1 and this latter expectation is used during step E40.
- step E50 After the steps E50 and E60, the next frame is considered and the process is resumed in step E40 for the steps related to the expectation calculations.
- the steps E10 and E40 are implemented by the prediction unit 30 while the steps E20, E30 and E50 are implemented by the update unit 20.
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
- La présente invention concerne un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux.
- Le domaine de la présente invention est celui du traitement numérique de signaux relatifs à des sources sonores, dits aussi plus simplement signaux de son, audiophoniques ou audio. Dans ce domaine particulier, les traitements effectués sur les signaux de son le sont non pas dans le domaine temporel mais dans le domaine fréquentiel. Aussi, utilise-t-on fréquemment au préalable à tout traitement une transformée de Fourier à court terme qui est une transformée linéaire associant à un signal dans le domaine temporel échantillonné {x(t1), ...,x(tN)} un signal bidimensionnel temps fréquence noté ici x(tk,f), où tk est un indice de trame du signal numérique échantillonné et f est un indice, généralement discret, de fréquence. Le signal x(tk,f) est donc un signal du domaine fréquentiel et il se présente sous forme de trames indicées en tk.
- Dans la présente description, toutes les grandeurs dont il s'agit sont décrites au moyen de variables aléatoires gaussiennes multidimensionnelles. Le mélange observé à l'instant t s'exprime sous la forme :
-
- Pour désigner les variables sous forme de vecteur ou de matrice, des lettres en majuscule sont utilisées.
- Par ailleurs encore, dans la présente demande la notion de signal se confond souvent à celle de la variable aléatoire qui la représente.
- En ce qui concerne la séparation de signaux audio, on connaît un procédé qui est basé sur un filtre, dit filtre de Wiener, qui en définitive effectue une estimée du signal de séparation ŜW (t,f) sous l'hypothèse de la stationnarité globale des signaux de mélange. Si l'on appelle x(tk,f) la variable aléatoire qui décrit le signal du domaine fréquentiel issu du mélange des signaux des sources, et qui est appliqué à l'entrée du filtre, l'espérance de la variable aléatoire décrivant le signal de sortie du filtre est conditionnée aux signaux x(tk,f). On peut donc écrire :
- Dans le cas du filtre de Wiener, chaque composante du vecteur ŜW (tk ,f) peut être obtenue par la relation suivante :
-
- Dans une phase préalable d'apprentissage, on a évalué les deux sources sonores et on a plus exactement estimé leurs formes spectrales caractéristiques respectives
-
- Dans le cadre de la séparation de signaux de sons, le filtre de Wiener présente les principaux inconvénients suivants. Il opère de manière identique sur toutes les trames du signal de son de mélange et il ne tient donc pas des changements du contenu énergétique sonore d'une trame à l'autre. En définitive, il n'est pas un filtre adaptatif. Un autre inconvénient réside dans le fait qu'il ne prend en compte qu'une forme spectrale caractéristique par source sonore alors même que les sources sonores présentent une grande variété spectrale en terme de timbre, de hauteur, d'intensité, etc.
- Des améliorations du filtre de Wiener ont été proposées pour tenir compte de ces inconvénients et ont abouti à notamment deux méthodes qui sont essentiellement basées sur l'utilisation de formes spectrales multiples pour décrire chacune des sources impliquées.
- La première de ces méthodes a été introduite dans le cadre de la reconnaissance de parole et a été ensuite utilisée en audio. Selon cette méthode, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales
- Le principal inconvénient de cette méthode réside dans sa complexité algorithmique. En effet, si K formes spectrales caractéristiques par source i et N sources i sont considérées dans le mélange, KN N-uplets de formes spectrales caractéristiques doivent être testés pour chaque trame si bien que la complexité est en O(Kn x T) si T est le nombre de trames du signal mélange à analyser. Cet inconvénient de complexité peut rendre cette méthode rédhibitoire, notamment lorsque le nombre de formes spectrales caractéristiques par source est relativement important.
- Une autre méthode a également été proposée pour rendre adaptatif le procédé de séparation. Comme précédemment, le signal de son de chaque source si(t) est caractérisé par un ensemble de Ki formes spectrales caractéristiques
i (t), sont nommés "facteurs d'amplitude", sont les inconnues à résoudre. - On notera que l'équation ci-dessus peut s'interpréter comme s'il y avait K1 +...+ KN sources élémentaires stationnaires qui sont caractérisées chacune par une forme spectrale
i (t) fonction du temps. On notera que chaque facteur d'amplitude aki (t) d'une source élémentaire est caractéristique de l'enveloppe de cette source. Il est donc un nombre positif. -
- Une première méthode pour estimer les signaux de son des sources 1 à N est de mettre en oeuvre un filtrage de Wiener temps fréquence classique, néanmoins adaptatif dès lors qu'il dépend de l'indice de trame t. Ce filtre est appelé filtre de Wiener généralisé. On a donc pour la source i, l'estimée ŝi,W
g (tk ,f) : -
- Cette seconde méthode par l'utilisation de dictionnaire de formes spectrales caractéristique présente l'avantage par rapport à la précédente méthode de diminuer la complexité algorithmique. En effet, pour n sources possédant chacune K formes spectrales, la complexité algorithmique est en O(n x K x T) où T est le nombre de trames à analyser, donc inférieure à celle de la méthode précédente qui était en O(Kn x T).
- Les trois méthodes qui viennent d'être présentées présentent néanmoins l'inconvénient majeur que la phase de chacune des sources impliquées (ou des sources élémentaires impliquées selon la méthode utilisée) est rigoureusement égale à la phase du mélange. Or, en général, les sources qui s'additionnent n'ont pas toutes la même phase si bien que, dans les méthodes présentées ci-dessus, lors de la séparation, il y a destruction de la structure de phase des sources, ce qui peut entraîner des effets gênants pour l'écoute des signaux de son des sources recouvrées. Le système auditif humain est en effet très sensible aux cohérences de phase dans les signaux audio, notamment les cohérences inter-trames pour f fixée (phase cohérente entre s(t k+1,f) et s(tk ,f)) et les cohérences de phase pour une même trame mais pour différentes valeurs de la fréquence f (phase de s(tk ,f)pour différentes valeurs de f). Ces effets de cohérence de phase sont notamment très sensibles sur les sons harmoniques, comme les sons d'un instrument de musique, ou encore les sons voisés, alors qu'ils sont moins importants sur les bruits blancs, roses, etc. ou encore les sons d'instrument de percussion.
- La publication intitulée « Blind source separation using temporal predictability » de STONE J.V et la publication intitulée « An online algorithm for blind source extraction based on non-linear prediction approach » de MANDIC D.P et AL décrivent des procédés de détermination des signaux de séparation relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux.
- La thèse intitulée « Séparation de plusieurs sources sonores avec un seul microphone » de Elie Laurent BENAROYA décrit l'étude de la séparation de sources sonores avec un seul capteur à partir d'une extension du filtrage de Wiener à des modèles de mélange de Gaussiennes pour les sources ainsi qu'à partir d'une décomposition non négative du spectre du mélange sur un dictionnaire de forme spectrale caractéristique des sources.
- Le but de la présente est de proposer une méthode de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux qui ne présente pas les incohérences de phase des méthodes citées ci-dessus.
- Pour ce faire, un procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux est défini dans la revendication 1, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :
- une étape de détermination d'un signal d'estimée ;
- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et
- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée, caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel déterminé de manière à minimiser la covariance du signal de séparation,
- Ce procédé s'applique également à des signaux non sonores tels que tous signaux numériques issus de l'échantillonnage d'un transducteur permettant la transformation d'une grandeur physique en un signal électrique.
- A cet effet, l'invention a pour objet un procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux tel que défini dans la revendication 2 lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources:
- une étape de détermination d'un signal d'estimée ;
- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ;et
- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée, caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel déterminé de manière à minimiser la covariance du signal de séparation,
- Les caractéristiques de l'invention mentionnées ci-dessus, ainsi que d'autres, apparaîtront plus clairement à la lecture de la description suivante d'un exemple de réalisation, ladite description étant faite en relation avec les dessins joints, parmi lesquels :
- La
Fig. 1 est un schéma synoptique d'un système de séparation des signaux relatifs à des sources sonores à partir d'un signal issu de mélange de ces signaux selon la présente invention, et - La
Fig. 2 est un diagramme montrant les différentes étapes mises en oeuvre par un procédé de séparation de signaux selon la présente invention. - Dans la suite de la description, on considérera des sources sonores qui sont en elles-mêmes élémentaires, c'est-à-dire qui sont caractérisées chacune par une forme spectrale caractéristique donnée. Mais, on considèrera également des sources sonores dont la caractéristique de forme spectrale est une caractéristique parmi plusieurs caractéristiques de forme spectrale possibles, par exemple appartenant à un dictionnaire de formes spectrales caractéristiques (voir le préambule de la présente description). Comme on le mentionnait dans le préambule de la description, on peut alors considérer une source sonore comme étant une combinaison pondérée d'une pluralité de sources sonores élémentaires dont chacune présente une caractéristique de forme spectrale donnée (par exemple issue d'un dictionnaire ou déterminée).
- De manière à résoudre le problème des incohérences de phase des méthodes de l'état de la technique mentionnées en préambule de la description, la présente invention prévoit des moyens de lien entre trames adjacentes. En d'autres termes, chaque source sonore élémentaire est déterminée d'une manière récursive et itérative.
- On a représenté à la
Fig. 1 , un système de séparation de signaux de sons issus de sources sonores selon un mode de réalisation de la présente invention qui comporte ces moyens de liens entre trames adjacentes. Ce système est essentiellement constitué d'une unité d'estimation 10 qui, sur la base d'un signal de mélange du domaine fréquentiel notée noté x(tk,f) obtenu par exemple par une transformée de Fourier à court terme du signal x(t) dans le domaine temporel échantillonné, délivre un signal d'estimée représentée par la variable aléatoire Se(tk,f) dont chaque composante -
- L'unité d'estimation 10 est par exemple un filtre de Wiener (voir les différentes formes de ce type de filtre données dans le préambule de la présente description), une unité fonctionnant par une méthode de seuillage temps-fréquence, ou par une méthode dite Ephraïm et Malah, etc. Par exemple, dans le cas d'un filtre de Wiener, chaque composante du vecteur Se(tk,f) peut être obtenu par la relation suivante :
-
- Le système de séparation de signaux de sons de sources sonores représenté à la
Fig. 1 comporte encore une unité de mise à jour 20 et une unité de prédiction 30. Ce sont ces unités 20 et 30 qui constituent les moyens de lien inter-trame qui sont mentionnés ci-dessus. - L'unité de prédiction 30 est prévue pour délivrer un signal de prédiction considéré comme une variable aléatoire correspondante Sp(tk,f)
-
- Comme on peut le constater sur la
Fig. 1 , l'unité de mise à jour 20, sur la base du signal de prédiction Sp(tk,f) délivré par l'unité de prédiction 30 et du signal d'estimée Se(tk,f) délivré par l'unité d'estimation 10 délivre, quant à elle, le signal de séparation dont la variable aléatoire est notée Stot(tk,f). -
-
- Le signal prédit pour la trame présente est basé sur le signal de séparation pour la trame précédente.
- L'espérance du signal de prédiction est donnée par la relation suivante :
- Quant à l'unité de mise à jour 20, elle est prévue pour déterminer le signal de séparation Stot(tk,f) en sommant de manière pondérée le signal d'estimée Se(tk,f) et le signal prédit Sp(tk,f). Dans le mode de réalisation représenté, le signal d'estimée Se(tk,f) est pondéré par un coefficient matriciel α(tk,f) alors que le signal prédit est pondéré par un coefficient I-α(tk,f), I étant la matrice unité.
- Par exemple, ceci est réalisé en additionnant, dans un additionneur 21, au signal prédit Sp(tk,f) un signal d'erreur calculé comme la différence entre le signal prédit Sp(tk,f) et le signal d'estimée Se(tk,f), ledit signal d'erreur étant pondéré par un coefficient α(tk,f), la pondération étant effectuée par une unité de pondération 23. On peut donc écrire la relation :
- Le système de séparation représenté à la
Fig. 1 est prévu pour déterminer la matrice de coefficients optimale α(tk,f) permettant de minimiser la variance de l'estimation du signal de séparation Stot(tk,f). On peut montrer que cette valeur optimale du facteur de pondération est donnée par la relation suivante de la covariance du signal prédit Covp(tk,f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : -
- On va donc procéder conformément au diagramme de la
Fig. 2 . Dans ce diagramme, on peut constater qu'il présente deux branches I et II : la première I regroupe les étapes E10, E20 et E30 et correspond aux calculs des covariances des différentes variables aléatoires aboutissant essentiellement au calcul de la matrice de coefficients optimale α(tk,f) alors que la seconde II qui regroupe les étapes E40 et E50 correspond aux calculs des espérances de ces variables aléatoires aboutissant au calcul de l'espérance du signal de séparation en fonction du signal d'estimation délivré par l'unité d'estimation 10. - Plus précisément, à l'étape E10, est effectuée la mise à jour de la covariance du signal prédit représentée, on le rappelle, par la variable aléatoire Sp(tk+1,f)
-
- Le module de la fonction H(f) est en effet égal à 1.
-
-
- Covtot(tk-1,f) est une grandeur qui a été calculée à l'itération précédente (voir étape E30 ci-dessous).
-
- La covariance du signal de séparation prédit Covp(tk,f) est donnée par le calcul effectué à l'étape E10. Quant à la covariance du signal d'estimée Cove(tk,f), elle est déterminée par les formes spectrales caractéristiques
i (tk) des sources ou sources élémentaires considérées. - On rappelle que l'équation du mélange est la suivante :
- Le signal d'estimé Se(t,f) du mélange de l'ensemble des sources élémentaires est une variable aléatoire gaussienne de variance Cove(t,f):
-
- aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,
- σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,
- σb est la variance d'un bruit blanc gaussien, et
- N est le nombre total de sources élémentaires considérées.
-
- I est la matrice identité,
- α (tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus,
- Covp(tk,f) est la covariance du signal de séparation prédit telle que calculée à l'étape E10.
- Après l'étape E30, pour ce qui concerne les calculs liés aux covariances, la trame suivante est considérée et le processus est repris à l'étape E10.
-
-
-
-
- α(tk,f) est la matrice de coefficients telle que déterminée à l'étape E20 ci-dessus.
-
-
- Après les étapes E50 et E60, la trame suivante est considérée et le processus est repris à l'étape E40 pour ce qui concerne les étapes liées aux calculs des espérances.
- Les étapes E10 et E40 sont mises en oeuvre par l'unité de prédiction 30 alors que les étapes E20, E30 et E50 sont mises en oeuvre par l'unité de mise à jour 20.
- On notera qu'à l'initialisation du procédé, l'espérance et la covariance de la variable aléatoire représentant le signal de séparation sont mise à zéro puis les étapes E10 et E40 sont mises en oeuvre.
Claims (7)
- Procédé de détermination des signaux de séparation respectivement relatifs à des sources sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :- une étape de détermination d'un signal d'estimée des sources- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et,- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estimée,caractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel α(tk ,f) et le signal prédit étant pondéré par un second coefficient matriciel égal à la matrice unité moins le premier coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation,
et en ce que la valeur dudit premier coefficient matriciel est calculée au moyen de la relation suivante de la covariance du signal prédit Covp(tk,f)et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : - Procédé de détermination des signaux de séparation respectivement relatifs à des sources non sonores à partir d'un signal issu du mélange de ces signaux, lesdits signaux se présentant sous forme de trames successives, ledit procédé incluant pour chacune desdites sources :- une étape de détermination d'un signal d'estimée des sources;- une étape de prédiction (E40) d'un signal prédit pour la trame présente basée sur le signal de séparation pour la trame précédente ; et,- une étape de détermination du signal de séparation (E50) pour la trame présente sur la base dudit signal prédit et dudit signal d'estiméecaractérisé en ce que ladite étape de détermination du signal de séparation consiste à sommer de manière pondérée le signal d'estimée et le signal prédit, le signal d'estimée étant pondéré par un premier coefficient matriciel et le signal prédit étant pondéré par un second coefficient matriciel égal à la matrice unité moins le premier coefficient matriciel, ledit premier coefficient matriciel étant déterminé de manière à minimiser la covariance du signal de séparation,
et en ce que la valeur dudit premier coefficient matriciel est calculée au moyen de la relation suivante de la covariance du signal prédit Covp (tk, f) et de la somme de la covariance du signal prédit Covp(tk,f) et de la covariance du signal d'estimée Cove(tk,f), soit : - Procédé de séparation selon la revendication 1 ou la revendication 2, caractérisé en ce que la covariance du signal prédit Covp (tk,f) est déterminée en fonction de la covariance du signal de séparation Covtot(tk-1,f) pour la trame précédente au moyen de la relation suivante :
var(bp(tk,f)) étant la variance du bruit de prédiction qui dépend des sources ou sous-sources considérées. - Procédé de séparation selon la revendication 3, caractérisé en ce que ladite variance du bruit de prédiction var(bp(tk,f)) est estimée dans une phase d'apprentissage.
- Procédé de séparation selon l'une quelconque des revendications 1 à 4, caractérisé en ce que ladite covariance du signal d'estimée Cove(tk,f) est déterminée au moyen de la relation suivante :
expression dans laquelle :- aj(tk,f) est le facteur d'amplitude de la source ou de la source élémentaire d'indice j, pour la trame d'indice tk et pour la fréquence d'indice f,- σj(f) est la forme spectrale caractéristique de la source ou de la source élémentaire d'indice j et pour la fréquence f,- σb est la variance d'un bruit blanc gaussien, et- N est le nombre total de sources ou de sources élémentaires considérées. - Procédé de séparation selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la matrice de covariance du signal de séparation est remise à jour en utilisant l'expression suivante :
Expression dans laquelle :- I est la matrice identité ;- α (tk,f) est la matrice du premier coefficient de pondération ; et- Covp(tk,f) est la covariance du signal prédit. - Procédé de séparation selon l'une quelconque des revendications 1 à 6, caractérisé en ce qu'il comporte une étape de détermination du signal d'estimée Se(tk,f), chaque composante
dans lesquelles :- ei(tk,f) étant la fraction d'énergie de la source i contenue dans le signal issu du mélange des signaux, dans une trame d'indice tk et de fréquence d'indice f, N étant le nombre totale de sources ;- x(tk,f) étant le signal issus du mélange des signaux ;- Ki étant le nombre de sources élémentaires considérés pour la source i ;- aki (tk) étant le facteur d'amplitude de la source élémentaire d'indice ki ; et,
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR0406365A FR2871593B1 (fr) | 2004-06-11 | 2004-06-11 | Procede de determination des signaux de separation respectivement relatifs a des sources sonores a partir d'un signal issu du melange de ces signaux |
FR0406365 | 2004-06-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
EP1605440A1 EP1605440A1 (fr) | 2005-12-14 |
EP1605440B1 true EP1605440B1 (fr) | 2010-11-24 |
Family
ID=34942399
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP20050291254 Expired - Fee Related EP1605440B1 (fr) | 2004-06-11 | 2005-06-10 | Procédé de séparation de signaux sources à partir d'un signal issu du mélange |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP1605440B1 (fr) |
DE (1) | DE602005024890D1 (fr) |
FR (1) | FR2871593B1 (fr) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3879854A1 (fr) | 2020-03-11 | 2021-09-15 | Sonova AG | Composant de dispositif auditif, dispositif auditif, support lisible par ordinateur et procédé de traitement d'un signal audio pour un dispositif auditif |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112863537A (zh) * | 2021-01-04 | 2021-05-28 | 北京小米松果电子有限公司 | 一种音频信号处理方法、装置及存储介质 |
-
2004
- 2004-06-11 FR FR0406365A patent/FR2871593B1/fr not_active Expired - Fee Related
-
2005
- 2005-06-10 DE DE200560024890 patent/DE602005024890D1/de active Active
- 2005-06-10 EP EP20050291254 patent/EP1605440B1/fr not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3879854A1 (fr) | 2020-03-11 | 2021-09-15 | Sonova AG | Composant de dispositif auditif, dispositif auditif, support lisible par ordinateur et procédé de traitement d'un signal audio pour un dispositif auditif |
Also Published As
Publication number | Publication date |
---|---|
EP1605440A1 (fr) | 2005-12-14 |
FR2871593A1 (fr) | 2005-12-16 |
DE602005024890D1 (de) | 2011-01-05 |
FR2871593B1 (fr) | 2007-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2002428B1 (fr) | Procede de discrimination et d'attenuation fiabilisees des echos d'un signal numerique dans un decodeur et dispositif correspondant | |
EP2309499B1 (fr) | Procédé de filtrage optimisé des bruits non stationnaires captés par un dispositif audio multi-microphone, notamment un dispositif téléphonique "mains libres" pour véhicule automobile | |
EP2419900B1 (fr) | Procede et dispositif d'evaluation objective de la qualite vocale d'un signal de parole prenant en compte la classification du bruit de fond contenu dans le signal | |
EP0594480B1 (fr) | Procédé de détection de la parole | |
WO2005106852A1 (fr) | Procede et systeme ameliores de conversion d'un signal vocal | |
EP3238210B1 (fr) | Procede de traitement et d'analyse d'un signal, et dispositif mettant en oeuvre ledit procede | |
EP2772916B1 (fr) | Procédé de débruitage d'un signal audio par un algorithme à gain spectral variable à dureté modulable dynamiquement | |
FR2522179A1 (fr) | Procede et appareil de reconnaissance de paroles permettant de reconnaitre des phonemes particuliers du signal vocal quelle que soit la personne qui parle | |
WO2005106853A1 (fr) | Procede et systeme de conversion rapides d'un signal vocal | |
EP3040989B1 (fr) | Procédé de séparation amélioré et produit programme d'ordinateur | |
EP1606792B1 (fr) | Procede d analyse d informations de frequence fondament ale et procede et systeme de conversion de voix mettant en oeuvre un tel procede d analyse | |
EP1849157B1 (fr) | Procede de mesure de la gene due au bruit dans un signal audio | |
EP1410240B1 (fr) | Procede et circuit d'analyse frequentielle en temps reel d'un signal non stationnaire | |
EP1605440B1 (fr) | Procédé de séparation de signaux sources à partir d'un signal issu du mélange | |
WO1990011494A1 (fr) | Procede et dispositif d'analyse spectrale en temps reel de signaux instationnaires complexes | |
KR20060029663A (ko) | 다중 레벨 양자화를 이용한 음악 요약 장치 및 방법 | |
EP3155609B1 (fr) | Analyse frequentielle par démodulation de phase d'un signal acoustique | |
EP2901447B1 (fr) | Procédé et dispositif pour séparer des signaux par filtrage spatial à variance minimum sous contrainte linéaire | |
EP0821345B1 (fr) | Procédé d'extraction de la fréquence fondamentale d'un signal de parole | |
EP1192619B1 (fr) | Codage et decodage audio par interpolation | |
EP1194923B1 (fr) | Procedes et dispositifs d'analyse et de synthese audio | |
Vial | Phase retrieval and audio signal reconstruction with non-quadratic cost functions | |
Kulmer et al. | Phase Estimation Fundamentals | |
EP1192618B1 (fr) | Codage audio avec liftrage adaptif | |
FR2980620A1 (fr) | Traitement d'amelioration de la qualite des signaux audiofrequences decodes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU MC NL PL PT RO SE SI SK TR |
|
AX | Request for extension of the european patent |
Extension state: AL BA HR LV MK YU |
|
17P | Request for examination filed |
Effective date: 20060509 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1084228 Country of ref document: HK |
|
17Q | First examination report despatched |
Effective date: 20060718 |
|
AKX | Designation fees paid |
Designated state(s): DE ES GB IT PL |
|
RAP1 | Party data changed (applicant data changed or rights of an application transferred) |
Owner name: AUDIONAMIX SA |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): DE ES GB IT PL |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REF | Corresponds to: |
Ref document number: 602005024890 Country of ref document: DE Date of ref document: 20110105 Kind code of ref document: P |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20110307 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20101124 |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
26N | No opposition filed |
Effective date: 20110825 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 602005024890 Country of ref document: DE Effective date: 20110825 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20101124 |
|
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1084228 Country of ref document: HK |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20180604 Year of fee payment: 14 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20190506 Year of fee payment: 15 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R119 Ref document number: 602005024890 Country of ref document: DE |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: DE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200101 |
|
GBPC | Gb: european patent ceased through non-payment of renewal fee |
Effective date: 20200610 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: GB Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200610 |