EP2452293A1 - Localisation de sources - Google Patents

Localisation de sources

Info

Publication number
EP2452293A1
EP2452293A1 EP10751985A EP10751985A EP2452293A1 EP 2452293 A1 EP2452293 A1 EP 2452293A1 EP 10751985 A EP10751985 A EP 10751985A EP 10751985 A EP10751985 A EP 10751985A EP 2452293 A1 EP2452293 A1 EP 2452293A1
Authority
EP
European Patent Office
Prior art keywords
probability
sources
arrival
directions
observations
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP10751985A
Other languages
German (de)
English (en)
Inventor
Zaher El Chami
Alexandre Guerin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Publication of EP2452293A1 publication Critical patent/EP2452293A1/fr
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/22—Source localisation; Inverse modelling

Definitions

  • the present invention relates generally to the automatic counting of the number of sources present in a mixture, and to the determination of the direction of arrival of signals emitted by a plurality of sources, and more particularly in the case where the number of sources is unknown a priori.
  • the invention finds applications, in particular, in the production of multitrack audio coders / decoders, in particular those of the "MPEG Surround" type, for creating, from a stereo audio track, an audio track comprising more than two channels, and / or to modify the spatial characteristics by simulating a displacement of the different sources having emitted the recorded signals. It also applies to automatic source separation to reduce noise, echo, and noise interference from sources, particularly in the case of group audio conferencing. Another application is the localization in a stereo track of the direction of arrival of certain specific sources in order to remove them, for example the sources corresponding to the voices to produce a musical track for karaoke from the original track.
  • the blind separation of said sources consists of estimating the arrival direction of the signals Sj and the number N of sources from a set comprising a number M observations.
  • Each observation is obtained by means of a sensor which records the signal up to a point in the space where said sensor is located.
  • the signal thus recorded then results from mixing and propagation in the space E of the signals S 1 , and is therefore affected by different disturbances specific to the medium traversed, such as for example noise, reverberation, interference, etc.
  • the known source separation methods can be classified into two main categories.
  • the first group includes all the methods for which the number of sources N must be known a priori. However, this information is not always available. Even if it is accessible, every first use and every change of number of sources over time, it is necessary to re-parameterize these methods. This makes it particularly difficult to use these in the context of automated processing.
  • the knowledge of the number of sources determines the accuracy of the result obtained. The speed with which the number of sources evolves in the environment, as well as the delay of modification of this parameter in this first category of methods are thus likely to degrade their reliability.
  • the delays and amplitude differences observed between the two-by-two sensors are then determined in order to calculate the so-called binaural indices of each source.
  • the directions of arrival of the signals s are then calculated, then the number of sources is then deduced by counting the number of directions of arrival corresponding to an active source.
  • the methods of this category can only be used for so-called anechoic environments in which the observations are not affected by any reverberation. Indeed, these methods are based on the assumption that a binaural index is invariant whatever the frequency of the signals s ,. This assumption is valid in the case of anechoic environment but is no longer verified in an environment affected by reverberation.
  • the present invention aims to answer an additional problem.
  • the known methods for determining a direction of arrival of a signal coming from a single source in space are based on a phase difference ⁇ (t, ⁇ ) of the signal at the level of several sensors distributed in the space.
  • phase unwrapping techniques in English to make this phase difference linear, but these methods of phase correction are not efficient, especially in the presence of noise or multiple sources.
  • the invention proposes means, described hereinafter and in particular illustrated in FIG. 3, to solve this additional problem.
  • the present invention aims to improve the situation.
  • a first aspect of the present invention provides a method for determining the arrival direction of a first number of sound signals emitted by sources, over a time range subdivided into frames, in a space, from the knowledge of at least two observations obtained using sensors.
  • the method comprises the following steps: / a / for each frame, we calculate, from the observations, for each direction of a set of directions of the space, a first probability of presence of one of the sources; IbI for a second number of frames of a temporal window, a second probability of presence of one of the sources in each direction of a set of directions of the space according to the first probability is calculated;
  • the invention thus proposes a method capable of processing a plurality of sources.
  • the method is functional, even when the number of sources is greater than the number of observations.
  • This process can be automated. In particular, it is not necessary a priori to indicate to the method the number of sources.
  • the method may comprise a step IeI in which the first number of sources is determined by counting the number of local maxima of the second probability.
  • the first probability is calculated by performing the following steps:
  • the first probability is obtained by calculating the level of correlation in the complex vector domain of a cost function relating to the ratio between the observations.
  • the first probability can be calculated by defining a weighting function of frequency ranges (G ( ⁇ )) and using the following mathematical expression:
  • the first probability thus obtained does not undergo any frequency jump, since the correlation level is calculated in the complex domain.
  • the second probability is calculated by determining the maximum of the first probability over the time window.
  • the second probability can be calculated by:
  • ⁇ ( ⁇ ) ⁇ m (t) ⁇ - ⁇ ⁇ (t) ⁇ + ⁇ .
  • the second number of frames in the time window can be chosen to be inversely proportional to the speed at which the sources are likely to move in space. This allows in particular to adapt the method according to the invention to the characteristics of the sources.
  • a second aspect of the present invention provides a device comprising means adapted to implement a method of determining the direction of arrival according to the first aspect of the present invention.
  • a third aspect of the present invention provides an audio decoding device comprising an arrival direction estimator according to the second aspect of the present invention.
  • the decoding device can generate, from stereo streams without MP3 / AAC type auxiliary information, 5.1 or binaural type contents by identifying the sources present in the mixture as well as their directions of arrival.
  • a fourth aspect of the present invention provides a computer program including instructions for carrying out the method according to the first aspect of the present invention when the program is executed by a processor.
  • FIG. 1 illustrates a space having a plurality of sources
  • FIG. 2 illustrates the main steps of a method for determining the direction of arrival of the signals in space from the observations, implemented according to an embodiment of the present invention
  • FIG. 3 illustrates the main steps of an embodiment of calculating the first probability p
  • FIG. 4 shows, in a schematic diagram, a device for estimating the direction of arrival of signals, according to an embodiment of the present invention
  • FIG. 5 illustrates a decoding device, according to an embodiment of the present invention.
  • three sources 10a, 10b, 10c, issuing respectively an Si, S signal, are considered. 2 , Se, in space E.
  • the sources can move over time.
  • the signal Si has a direction of arrival ⁇ 9
  • the signal S 2 a direction of arrival # 2
  • the signal S 3 an arrival direction #,.
  • observations xi (t) and x 2 (t) have been carried out respectively at a point Oi and a point O 2 of space E.
  • the present description refers to illustrative only, of a number N of sources equal to 3 and a number M of observation equal to 2. It is easy to apply it to any other combination of number N of sources and number M of observations, M being greater than or equal to 2.
  • the observations xi (t) and x 2 (t) can be modeled by a noisy convoluted mixture composed of the signals Si, S 2 , S 3 .
  • ⁇ a, ⁇ k) ⁇ the coefficients of the impulse response of the filter separating the Z 8 "16 source / sensor me, bj ⁇ f) diffuse independent additive noise sources
  • * is the symbol of the convolution
  • the signals Si, S 2 , S 3 have the characteristic that there exists for each of them at least one frame t p of the time range P during which the energy of said signal is greater than the sum of the energy other signals.
  • the source at the origin of said signal is then called dominant during this frame t p .
  • the following mathematical expression conveys this characteristic: with card ⁇ t p )> ⁇ . It follows from this characteristic that for all the frames t p , the observations Xi (f p , ⁇ ) and X ⁇ itp, ⁇ ) in the time-frequency domain can be approximated by the following mathematical expression:
  • B ' j is the sum of B j and residues of other non-dominant sources.
  • FIG. 2 illustrates the main steps of a method for determining the direction of arrival of the signals in space E from observations, implemented according to one embodiment of the present invention.
  • a first probability p of presence of one of the sources for each direction of arrival is calculated for a direction expressed with a vector or for a direction expressed with an angle.
  • the interval for which we will seek to obtain the first probability p is possible to limit, according to the space E, the interval for which we will seek to obtain the first probability p. For example, it may be desirable to limit calculations to directions within a given cone of space.
  • a second probability ⁇ of presence of one of the sources is calculated according to the direction of arrival, for a subset composed of a number g of T frames forming a time window F.
  • the number g can be between 2 and the number of frames T included in the time range P.
  • the choice of the number g of frames T of the window F is a function of the speed of movement of the sources. In general, the higher the speed of the sources, the smaller the number g will be. Consequently, the second number g of frames T of the time window F can be chosen so as to be inversely proportional to the speed at which the sources are likely to move in the space E. If the sources move at different speeds, we can for example consider either the minimum speed, or the maximum speed or the average speed.
  • the directions for which there is a local maximum of the second probability ⁇ are sought, said directions each corresponding to the direction of arrival of one of the signals.
  • the local maximum can be obtained by first smoothing the second probability ⁇ using, for example, a first-order low-pass filter and then looking for the directions for which the first derivative of the second probability ⁇ gives a zero value and for which the second derivative of the second probability ⁇ gives a negative value.
  • the method includes an optional step 80 during which the number N of sources is determined by counting the number of local maxima of the second probability ⁇ .
  • FIG. 3 illustrates the main steps of an embodiment of the calculation of the first probability p, implemented according to one embodiment of the present invention.
  • the phase difference ⁇ (t, ⁇ ) between the corresponding observations Xi and X 2 is determined in a step 52.
  • the phase difference ⁇ ⁇ t, ⁇ ) is assumed to be linear, which is verified in practice, even in an echo space E.
  • R is the ratio between the observations Xi and X 2
  • h is composed of the residues of the non-dominant sources, the diffuse additive noises and the reverberation.
  • the phase difference ⁇ (t p , ⁇ ) is therefore linear as a function of the frequency ⁇ , as long as h (t p , ⁇ ) does not degrade the linearity of ⁇ ⁇ t p , ⁇ ).
  • the first probability p is obtained by calculating the correlation level in the complex vector domain of a cost function relating to the ratio R between the observations Xi and X 2.
  • the probability p can be obtained by applying the following mathematical formula:
  • G ( ⁇ ) is a weighting function allowing to give more weight to certain frequencies according to the configuration of the space.
  • the second probability ⁇ for a given direction, calculated during the second step 60, can in turn be obtained by identifying the maximum of the first probability p over the time window F, which can result in the following mathematical expression: ⁇ ⁇ ) - max p ( ⁇ , t).
  • the second probability is given by the weighted histogram computed from the set of dominant arrival directions and their probability of dominance.
  • ⁇ ( ⁇ ) ⁇ m ( ⁇ ⁇ ⁇ - ⁇ ( ⁇ ⁇ + ⁇ with ⁇ a value
  • FIG. 4 shows, in a schematic diagram, a device 100 for estimating the direction of arrival of signals, according to an embodiment of the present invention.
  • the device 100 is particularly suitable for implementing the method according to the invention.
  • a Time-Frequency transformation unit 106 for example a unit adapted to the implementation of a Fast Fourier Transform commonly known as "FFT", then makes it possible to work on the observations in the frequency domain, the observations noted X 1 , X 2 in the time domain being classically noted X 1 , X 2 in the domain frequency.
  • FFT Fast Fourier Transform
  • It comprises a calculation unit of the arrival direction 110.
  • the latter is connected to the Time-Frequency transformation unit 106. It is adapted to calculate the first probability p of presence of one of the sources S for each direction. space E from observations X 1 , X 2 .
  • the device 100 comprises a temporal grouping unit 125, cooperating with the calculation unit of the arrival direction 110.
  • This grouping unit 125 is adapted to calculate the second probability ⁇ of presence of one of the sources for each direction. of space, as a function of the first probability p, and on the time window F.
  • the device 100 comprises an identification unit 130, cooperating with the temporal grouping unit 125, adapted to identify directions for which there is a local maximum of the second probability ⁇ .
  • the identification unit 130 is connected to the output 140 of the device 100 so as to be able to deliver the identified directions corresponding to the arrival directions 6> of the signals Sj.
  • the device may also include counting means 135 for outputting on the output 140 the first number N of sources by counting the number of local maxima of the second probability ⁇ .
  • the device may also comprise parameterization means
  • the temporal grouping unit 120 adapted to modify, at the level of the temporal grouping unit 125, the second number g of frames T inversely proportional to the speed at which the sources are likely to move in space
  • FIG. 5 illustrates, by a block diagram, an audio decoding device, according to an embodiment of the present invention.
  • Such a device is for example designed to notably create 5.1 type streams from a stereo stream without auxiliary information.
  • the decoding device 210 receives, as input, observations xi,..., X N , typically a stereo signal derived from the AAC coder for example and containing Si signals emitted by a plurality of sources.
  • the decoding device comprises a device 100 for estimating the direction of arrival of signals according to the invention, also receiving the observations X 1 ,..., X N.
  • the audio decoding device comprises the processing means 215 needed to generate multiple spatialized streams on an output 220 from the directions of arrival of the signals and possibly the number of sources.

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

On détermine la direction d'arrivée, au cours d'une plage temporelle subdivisée en trames, dans un espace, d'un premier nombre de signaux émis respectivement par un même premier nombre de sources. On a accès à au moins deux observations desdits signaux sur la plage temporelle. Pour chaque trame, on calcule, à partir des observations, une première probabilité de présence d'une des sources dans chaque direction d'un ensemble de directions de l'espace. Pour un deuxième nombre de trames d'une fenêtre temporelle, on calcule une deuxième probabilité de présence d'une des sources dans chaque direction d'un ensemble de directions de l'espace en fonction de la première probabilité. On recherche les directions pour lesquelles il existe un maximum local de la deuxième probabilité, lesdites directions correspondant chacune à la direction d'arrivée d'un des signaux.

Description

LOCALISATION DE SOURCES
La présente invention se rapporte de manière générale au comptage automatique du nombre de sources présentes dans un mélange, et à la détermination de la direction d'arrivée de signaux émis par une pluralité de sources, et plus particulièrement au cas où le nombre de sources est inconnu a priori.
L'invention trouve des applications, en particulier, dans la réalisation de codeurs/décodeurs audio multipistes, notamment ceux de type « MPEG Surround » pour créer, à partir d'une piste audio stéréo, une piste audio comportant plus de deux canaux, et/ou pour modifier les caractéristiques spatiales en simulant un déplacement des différentes sources ayant émis les signaux enregistrés. Elle s'applique aussi à la séparation de sources automatique pour réduire les perturbations de type bruit, écho, interférences liées aux prises de son éloignées des sources, notamment dans le cas d'audioconférences de groupe. Une autre application est la localisation dans une piste stéréo de la direction d'arrivée de certaines sources spécifiques afin de les supprimer, par exemple les sources correspondant aux voix afin de produire une piste musicale pour Karaoké à partir de la piste originale.
Dans un espace E dans lequel un nombre N de sources émettent chacune un signal s,, la séparation aveugle desdites sources consiste à estimer la direction d'arrivée des signaux Sj et le nombre N de sources à partir d'un jeu comprenant un nombre M d'observations. Chaque observation est obtenue à l'aide d'un capteur qui enregistre le signal parvenu jusqu'en un point de l'espace où se situe ledit capteur. Le signal ainsi enregistré résulte alors du mélange et de la propagation dans l'espace E des signaux S1, et se trouve donc affecté de différentes perturbations propres au milieu traversé comme par exemple le bruit, la réverbération, les interférences, etc.
Les procédés connus de séparation de sources peuvent être classés en deux catégories principales. La première regroupe l'ensemble des méthodes pour lesquelles le nombre de sources N doit être connu a priori. Or, cette information n'est pas toujours disponible. Quand bien même cette dernière est accessible, à chaque première utilisation et ensuite à chaque changement du nombre de sources au cours du temps, il est nécessaire de paramétrer à nouveau lesdites méthodes. Cela rend donc particulièrement complexe l'utilisation de ces dernières dans le cadre de traitements automatisés. De plus, la connaissance du nombre de sources conditionne la précision du résultat obtenu. La rapidité à laquelle évolue le nombre de sources dans l'environnement, ainsi que le délai de modification dudit paramètre dans cette première catégorie de méthodes sont donc susceptibles de dégrader leur fiabilité.
Une deuxième catégorie de méthodes, parmi lesquelles on peut penser à la méthode décrite dans le document « A Robust Method to Count and Locate Audio Sources in a Stéréophonie Linear Anechoic Mixture » - Arberet, S.; Gribonval, R.; Bimbot, F.- Acoustics, Speech and Signal Processing, 2007. ICASSP 2007. IEEE International Conférence on , vol.3, no., pp.lll-745-lll-748, 15-20 April 2007», propose de détecter, dans les observations M, des zones temps-fréquence pour lesquelles une seule source est dominante, c'est-à-dire une source dont l'énergie du signal s, correspondant est supérieure à la somme des énergies des autres signaux s,. On détermine alors les délais et les différences d'amplitude observés entre les capteurs deux à deux pour calculer les indices dits binauraux de chaque source. Les directions d'arrivée des signaux s, sont alors calculées, puis le nombre de sources est alors déduit en comptant le nombre de directions d'arrivée correspondant à une source active. Cependant, les méthodes de cette catégorie ne peuvent être utilisées que pour des environnements dits anéchoïques dans lesquelles les observations ne sont affectées d'aucune réverbération. En effet, ces méthodes reposent sur l'hypothèse qu'un indice binaural est invariant quelque soit la fréquence des signaux s,. Cette hypothèse s'avère valide dans le cas d'environnement anéchoïques mais n'est plus vérifiée dans un environnement affecté de réverbération. En outre, la réverbération rend délicate la détection des zones temps-fréquence où une seule source est dominante active. Il en découle que cette limitation exclut d'utiliser ces méthodes avec des observations réalisées dans des environnements échoïques, parmi lesquels on peut citer, pour les signaux acoustiques, les salles de réunion, les restaurants et plus généralement l'ensemble des lieux courants dans lesquels les prises de son sont réalisées.
La présente invention vise à répondre à un problème additionnel. Les méthodes connues de détermination d'une direction d'arrivée d'un signal provenant d'une source unique dans l'espace se basent sur une différence de phase φ{t,ω) du signal au niveau de plusieurs capteurs répartis dans l'espace.
Pour cela, elles proposent de calculer une probabilité p de présence de la source en fonction du temps et de la direction d'arrivée, reposant par exemple sur la fonction de coût suivante : où la fonction P est une loi de probabilité, R le rapport entre les signaux reçus par les capteurs et G(ω) est une fonction de pondération permettant d'accorder plus de poids à certaines fréquence en fonction de la configuration de l'espace. Or la différence de phase arg[f?(f, ω)] est une fonctionnelle discontinue car cette dernière est définie modulo 2τr, et présente généralement des sauts de 2π en fonction de la fréquence, tandis que la fonction ωr est linéaire et continue. Il existe cependant des techniques dites de « phase unwrapping » en anglais pour rendre cette différence de phase linéaire, mais ces méthodes de correction de la phase ne sont pas performantes, notamment en présence de bruit ou de multiples sources.
L'invention propose des moyens, décrits ci-après et notamment illustrés à la figure 3, pour résoudre ce problème additionnel.
La présente invention vise à améliorer la situation.
Un premier aspect de la présente invention propose un procédé de détermination de la direction d'arrivée d'un premier nombre de signaux sonores émis par des sources, au cours d'une plage temporelle subdivisée en trames, dans un espace, à partir de la connaissance d'au moins deux observations obtenues à l'aide de capteurs. Le procédé comporte les étapes suivantes : /a/ pour chaque trame, on calcule, à partir des observations, pour chaque direction d'un ensemble de directions de l'espace, une première probabilité de présence d'une des sources ; IbI pour un deuxième nombre de trames d'une fenêtre temporelle, on calcule une deuxième probabilité de présence d'une des sources dans chaque direction d'un ensemble de directions de l'espace en fonction de la première probabilité; Ici on recherche les directions pour lesquelles il existe un maximum local de la deuxième probabilité, lesdites directions correspondant chacune à la direction d'arrivée d'un des signaux.
L'invention propose ainsi une méthode apte à traiter une pluralité de sources. Le procédé est fonctionnel, y compris lorsque le nombre de sources est supérieur au nombre d'observations.
Ce procédé peut être automatisé. En particulier, il n'est pas nécessaire a priori d'indiquer au procédé le nombre de sources.
On peut prévoir qu'au cours de l'étape Ici, seules les directions correspondant à un maximum local supérieur à un seuil sont considérées comme des directions d'arrivée d'un des signaux. Ce filtrage par seuil permet en outre d'améliorer la robustesse du procédé face aux fausses détections de direction d'arrivée, alors qu'aucune source ne correspond.
Dans le cas par exemple où ce paramètre est inconnu, le procédé peut comporter une étape IeI où l'on détermine le premier nombre de sources en dénombrant le nombre de maxima locaux de la deuxième probabilité. Ainsi, il est possible de fournir cette information en sortie du procédé par le calcul, sans connaissance a priori de ce nombre.
Dans un mode de réalisation de la présente invention, la première probabilité est calculée en réalisant les étapes suivantes :
IdI on détermine les différences de phase entre les observations ; IeI on obtient la première probabilité, en calculant le niveau de corrélation dans le domaine vectoriel complexe d'une fonction de coût portant sur le rapport entre les observations.
En particulier, la première probabilité peut être calculée, en définissant une fonction de pondération de plages de fréquences (G(ω)) et à l'aide de l'expression mathématique suivante :
La première probabilité ainsi obtenue ne subit ainsi aucun saut de fréquence, puisque le niveau de corrélation est calculé dans le domaine complexe.
Dans un mode de réalisation de la présente invention, on calcule pour chaque direction de l'espace la deuxième probabilité en déterminant le maximum de la première probabilité sur la fenêtre temporelle. Alternativement, on peut calculer la deuxième probabilité en :
• déterminant, pour chaque trame temporelle, la direction d'arrivée dominante r(f) = argmax /?(r,f) ;
r
• calculant une probabilité de dominance m{t) = mΑ\ p{τ,t) ;
• appliquant, pour obtenir la deuxième probabilité, et pour une valeur (ε) définissant un degré de lissage, l'expression mathématique suivante :
μ(τ) =∑m(t) \ τ-ε < τ(t) < τ + ε .
IeT
Le deuxième nombre de trames de la fenêtre temporelle peut être choisi de sorte à être inversement proportionnel à la vitesse à laquelle les sources sont susceptibles de se déplacer dans l'espace. Cela permet notamment d'adapter le procédé selon l'invention aux caractéristiques des sources.
Un deuxième aspect de la présente invention propose un dispositif comprenant des moyens adaptés pour mettre en œuvre un procédé de détermination de la direction d'arrivée selon le premier aspect de la présente invention. Un troisième aspect de la présente invention propose un dispositif de décodage audio comprenant un dispositif d'estimation de la direction d'arrivée selon le deuxième aspect de la présente invention. A titre d'exemple, le dispositif de décodage peut générer, à partir de flux stéréo sans information auxiliaire de type MP3/AAC, des contenus de type 5.1 ou binauraux par identification des sources présentes dans le mélange ainsi que leurs directions d'arrivée
Un quatrième aspect de la présente invention propose un programme d'ordinateur comportant des instructions pour la mise en oeuvre du procédé selon le premier aspect de la présente invention lorsque ce programme est exécuté par un processeur.
D'autres aspects, buts et avantages de l'invention apparaîtront à la lecture de la description d'un de ses modes de réalisation.
L'invention sera également mieux comprise à l'aide des dessins, sur lesquels :
la figure 1 illustre un espace comportant une pluralité de sources ; la figure 2 illustre les étapes principales d'un procédé de détermination de la direction d'arrivée des signaux dans l'espace à partir des observations, mis en œuvre selon un mode de réalisation de la présente invention ;
la figure 3 illustre les étapes principales d'un mode de réalisation du calcul de la première probabilité p ;
la figure 4 montre, par un schéma de principe, un dispositif d'estimation de la direction d'arrivée de signaux, selon un mode de réalisation de la présente invention ;
la figure 5 illustre un dispositif de décodage, selon un mode de réalisation de la présente invention.. Dans la présente description, et comme illustré sur la figure 1 , on considère trois sources 10a, 10b, 10c, émettant respectivement un signal Si, S2, Se, dans l'espace E. Les sources peuvent se déplacer au cours du temps. Par rapport à un point A de l'espace E, et à un instant donné, le signal Si a une direction d'arrivée <9, , le signal S2 une direction d'arrivée #2 , le signal S3 une direction d'arrivée #, . Sur une plage temporelle P, subdivisée en trames T, des observations xi(t) et x2(t) ont été réalisées respectivement en un point Oi et un point O2 de l'espace E. La présente description fait état, à titre illustratif uniquement, d'un nombre N de sources égal à 3 et d'un nombre M d'observation égal à 2. Il est aisé de l'appliquer à toute autre combinaison de nombre N de sources et de nombre M d'observations, M étant supérieur ou égal à 2.
Dans un espace E échoïque, les observations xi(t) et x2(t) peuvent être modélisées par un mélange convolutif bruité composé des signaux Si, S2, S3. En posant {a,{k)} les coefficients de la réponse impulsionelle du filtre séparant la Z8"16 source du /me capteur, bj^f) le bruit additif diffus indépendant des sources, * étant le symbole de la convolution, les observations xi(t) et x2(t) peuvent être modélisées ainsi : M0=ΣΣM% ('-*)+^(')=Σ>, **,)(')+M0 j≈u-M .
Dans le domaine fréquentiel, par transformation temps-fréquence, en posant u(k) une fenêtre apodisante de type fenêtre de Hanning par exemple, on obtient alors:
XJ (t,ω) =∑u(k)xJ (t + k)e^ = fiAJ, (ω)Sι (t,ω) + B] (co) où Aj,(ω) est la transformée temps-fréquence de ay/(k), B/ω) la transformée temps-fréquence de b,(t), et S,(t,ω) la transformée temps-fréquence à court- terme de s,(t).
Les signaux Si, S2, S3 ont pour caractéristique qu'il existe pour chacun d'eux au moins une trame tp de la plage temporelle P au cours de laquelle l'énergie dudit signal est supérieur à la somme de l'énergie des autres signaux. La source à l'origine dudit signal est alors dite dominante au cours de cette trame tp. L'expression mathématique suivante traduit cette caractéristique: avec card{tp) > \ . II résulte de cette caractéristique, que pour l'ensemble des trames tp, les observations Xi(fp, ω) et X∑itp, ω) dans le domaine temps-fréquence peuvent être approchées par l'expression mathématique suivante :
*,M)~Λ *H5,M)+β>)
où B'j est la somme de Bj et des résidus des autres sources non dominantes.
La figure 2 illustre les étapes principales d'un procédé de détermination de la direction d'arrivée des signaux dans l'espace E à partir des observations, mis en œuvre selon un mode de réalisation de la présente invention.
Dans une première étape 50, à partir des M observations, on calcule pour toutes les trames T, une première probabilité p de présence d'une des sources pour chaque direction d'arrivée. On peut, de manière équivalente, calculer ladite probabilité p pour une direction exprimée à l'aide d'un vecteur ou pour une direction exprimée à l'aide d'un angle. De même, il est possible de limiter, en fonction de l'espace E, l'intervalle pour lequel on va chercher à obtenir la première probabilité p. Par exemple, il peut être souhaitable de limiter les calculs aux directions comprises dans un cône donné de l'espace. En outre, il est possible de définir un pas de résolution spatiale avec lequel on va balayer l'espace E, pour limiter le nombre de premières probabilités p effectivement calculées.
Dans une deuxième étape 60, à partir des premières probabilités p, on calcule une deuxième probabilité μ de présence d'une des sources en fonction de la direction d'arrivée, pour un sous-ensemble composé d'un nombre g de trames T formant une fenêtre temporelle F. Le nombre g peut être compris entre 2 et le nombre de trames T compris dans la plage temporelle P. Dans le cas où les sources sont susceptibles de se déplacer dans l'espace E, le choix du nombre g de trames T de la fenêtre F est fonction de la vitesse de déplacement des sources. De manière générale, plus la vitesse des sources est susceptible d'être importante, plus le nombre g sera petit. En conséquence, le deuxième nombre g de trames T de la fenêtre temporelle F peut être choisi de sorte à être inversement proportionnel à la vitesse à laquelle les sources sont susceptibles de se déplacer dans l'espace E. Si les sources se déplacent à des vitesses différentes, on pourra par exemple considérer soit la vitesse minimale, soit la vitesse maximale ou encore la vitesse moyenne.
On recherche, dans une troisième étape 70, les directions pour lesquelles il existe un maximum local de la deuxième probabilité μ, lesdites directions correspondant chacune à la direction d'arrivée d'un des signaux. A titre d'exemple non limitatif, le maximum local peut être obtenu en lissant, dans un premier temps, la deuxième probabilité μ à l'aide par exemple d'un filtre passe-bas de premier ordre, puis en recherchant les directions pour lesquelles la dérivée première de la deuxième probabilité μ donne une valeur nulle et pour lesquelles la dérivée seconde de la deuxième probabilité μ donne une valeur négative. On peut alors encore éventuellement calculer l'énergie de la deuxième probabilité μ pour une plage de valeur autour desdits maxima locaux et éliminer les maxima locaux pour lesquels cette énergie est inférieure à un seuil prédéterminé.
Dans un mode de réalisation de la présente invention, le procédé comporte une étape optionnelle 80 au cours de laquelle on détermine le nombre N de sources en dénombrant le nombre de maxima locaux de la deuxième probabilité μ.
La figure 3 illustre les étapes principales d'un mode de réalisation du calcul de la première probabilité p, mis en œuvre selon un mode de réalisation de la présente invention.
Pour calculer la première probabilité p à l'étape 50, pour une trame T donnée, on détermine, dans une étape 52, la différence de phase φ{t,ω) entre les observations Xi et X2 correspondantes. La différence de phase φ{t,ω) est supposée linéaire, ce qui est vérifiée en pratique, y compris dans un espace E échoïque. Ainsi, aux instants où une source est dominante par rapport aux autres, la différence de phase φ{tp,co) entre les points Oi ou O2 peut être modélisée par l'expression mathématique suivante : φ(tp,ω) = aig R(tp,ω) = Αrg— ) '- = τpω+h{tp,ω) où R est le rapport entre les observations Xi et X2, et h est composé des résidus des sources non dominantes, des bruits additifs diffus et de la réverbération. La différence de phase φ(tp,ω) est donc linéaire en fonction de la fréquence ω, tant que h(tp,ω) ne dégrade pas la linéarité de φ{tp,ω).
Pour une source donnée émettant un signal Sj dont la direction d'arrivée est notée θj, ledit signal Si arrive à l'un des deux points Oi ou O2 avec un décalage temporel τ par rapport à l'autre point Oi ou O2. Le décalage temporelle τ peut être estimé à — avec d la distance entre les points Oi
c
ou O2 et c la célérité du signal Si dans l'espace E. Il en découle que la détermination de la différence de phase φ(t,ω) permet l'obtention de la direction d'arrivée θj pour chaque source.
Dans une étape 54, on obtient la première probabilité p en calculant le niveau de corrélation dans le domaine vectoriel complexe d'une fonction de coût portant sur le rapport R entre les observations Xi et X2. La probabilité p peut être obtenue en appliquant la formule mathématique suivante :
où la fonction p est une loi de probabilité, par exemple une loi de Poisson ou de Gauss, et G(ω) est une fonction de pondération permettant d'accorder plus de poids à certaines fréquence en fonction de la configuration de l'espace.
Dans un premier mode de réalisation, la deuxième probabilité μ, pour une direction donnée, calculée au cours de la deuxième étape 60, peut quant à elle être obtenue en identifiant le maximum de la première probabilité p sur la fenêtre temporelle F, ce qui peut se traduire par l'expression mathématique suivante : μ{τ) - max p(τ,t) .
le F
Dans un deuxième mode de réalisation, la deuxième probabilité μ, pour une direction donnée, calculée au cours de la deuxième étape 60, peut quant à elle être obtenue en déterminant pour chaque trame temporelle la direction d'arrivée dominante égale à la position du maximum sur les directions étudiées r(f) = argmax /?(r,f) et en calculant la probabilité de cette dominance égale à la r
valeur de ce maximum m(t ) = max p(τ,ή .
Ainsi, la deuxième probabilité est donnée par l'histogramme pondéré calculé à partir de l'ensemble des directions d'arrivées dominantes et leur probabilité de dominance. μ(τ) =∑m(ή \ τ-ε≤τ(ή < τ+ε avec ε une valeur
IeT
définissant le degré de lissage sur l'histogramme.
La figure 4 montre, sur un schéma de principe, un dispositif 100 d'estimation de la direction d'arrivée de signaux, selon un mode de réalisation de la présente invention. Le dispositif 100 est notamment adapté à la mise en œuvre du procédé selon l'invention.
Il comporte une entrée 100 lui permettant de recevoir les observations Xi, X2 des signaux S-i, S2, S3, sur la plage temporelle P. Une unité de transformation Temps-Fréquence 106, par exemple une unité adaptée à la mise en œuvre d'une transformée de Fourrier rapide communément appelée « FFT », permet par la suite de travailler sur les observations dans le domaine fréquentiel, les observations notées X1, X2 dans le domaine temporel étant notées classiquement X1, X2 dans le domaine fréquentiel.
Il comporte une unité de calcul de la direction d'arrivée 110. Cette dernière est reliée à l'unité de transformation Temps-Fréquence 106. Elle est adaptée au calcul de la première probabilité p de présence d'une des sources S pour chaque direction de l'espace E à partir des observations X1, X2.
Le dispositif 100 comprend une unité de regroupement temporel 125, coopérant avec l'unité de calcul de la direction d'arrivée 110. Cette unité de regroupement 125 est adaptée au calcul de la deuxième probabilité μ de présence d'une des sources pour chaque direction de l'espace, en fonction de la première probabilité p, et sur la fenêtre temporelle F.
Le dispositif 100 comporte une unité d'identification 130, coopérant avec l'unité de regroupement temporel 125, adaptée à identifier des directions pour lesquelles il existe un maximum local de la deuxième probabilité μ. L'unité d'identification 130 est reliée à la sortie 140 du dispositif 100 de sorte à pouvoir délivrer les directions identifiées correspondant aux directions d'arrivée 6> des signaux Sj.
Le dispositif peut également comporter des moyens de comptage 135 pour délivrer sur la sortie 140 le premier nombre N de sources en dénombrant le nombre de maxima locaux de la deuxième probabilité μ.
Le dispositif peut également comporter des moyens de paramétrage
120 adaptés à modifier, au niveau de l'unité de regroupement temporel 125, le deuxième nombre g de trames T de manière inversement proportionnelle à la vitesse à laquelle les sources sont susceptibles de se déplacer dans l'espace
E.
La figure 5, illustre par un synoptique, un dispositif de décodage audio, selon un mode de réalisation de la présente invention.
Un tel dispositif est par exemple conçu pour notamment créer des flux de type 5.1 à partir d'un flux stéréo sans information auxiliaire.
Le dispositif de décodage 210 reçoit en entrée des observations x-i,..., XN, typiquement un signal stéréo issu du codeur de type AAC par exemple et contenant des signaux Si émis par une pluralité de sources. Le dispositif de décodage comporte un dispositif 100 d'estimation de la direction d'arrivée de signaux selon l'invention, recevant lui aussi les observations X1,..., xN. A partir des informations fournies par le dispositif 100, le dispositif de décodage audio comporte les moyens de traitement 215 nécessaires pour générer des flux multiples spatialisés sur une sortie 220 à partir des directions d'arrivée des signaux et éventuellement du nombre de sources.

Claims

REVENDICATIONS
1. Procédé de détermination de la direction d'arrivée (#, ) d'un premier nombre
(N) de signaux sonores (Si) émis par des sources (10), au cours d'une plage temporelle (P) subdivisée en trames (T), dans un espace (E), à partir de la connaissance d'au moins deux observations (xi, X2) obtenues à l'aide de capteurs, caractérisé en ce qu'il comporte les étapes suivantes :
/a/ pour chaque trame (T), on calcule (50), à partir des observations (X1 , X2), pour chaque direction d'un ensemble de directions de l'espace (E), une première probabilité (p) de présence d'une des sources ; IbI pour un deuxième nombre (g) de trames (T) d'une fenêtre temporelle
(F), on calcule (60) une deuxième probabilité (μ) de présence d'une des sources (10) dans chaque direction d'un ensemble de directions de l'espace (E) en fonction de la première probabilité (p) ; Ici on recherche (70) les directions pour lesquelles il existe un maximum local de la deuxième probabilité (μ), lesdites directions correspondant chacune à la direction d'arrivée (U1 ) d'un des signaux (Si) ;
2. Procédé selon la revendication 1 , dans lequel au cours de l'étape Ici, seules les directions correspondant à un maximum local supérieur à un seuil sont considérées comme des directions d'arrivée (θ, ) d'un des signaux (Si).
3. Procédé selon l'une quelconque des revendications précédentes comportant en outre une étape IeI où l'on détermine (80) le premier nombre (N) de sources (10) en dénombrant le nombre de maxima locaux de la deuxième probabilité (μ).
4. Procédé selon l'une quelconque des revendications précédentes, dans lequel la première probabilité (p) est calculée (50) en réalisant les étapes suivantes :
IdJ on détermine (52) les différences de phase (φ{t,ω)) entre les observations (x-i, x2) ;
IeI on obtient (54) la première probabilité (p), en calculant une fonction de coût (p) basée sur le niveau de corrélation dans le domaine vectoriel complexe du rapport (R ) entre les observations (xi, x2) et un modèle théorique de ce rapport.
5. Procédé selon la revendication 4, dans lequel la première probabilité (p) est calculée, en définissant une fonction de pondération de plages de fréquences (G(ω)) et à l'aide de l'expression mathématique suivante :
6. Procédé selon l'une quelconque des revendications précédentes, dans lequel on calcule (60) pour chaque direction de l'espace (E) la deuxième probabilité (μ) en déterminant le maximum de la première probabilité (p) sur la fenêtre temporelle (F).
7. Procédé selon l'une quelconque des revendications 1 à 5, dans lequel on calcule (60) la deuxième probabilité (μ) en :
• déterminant, pour chaque trame temporelle, la direction d'arrivée dominante r(f) = argmaχ /?(r,/) ;
r
• calculant une probabilité de dominance m(t) = m xa* p(τ,ή ;
• appliquant, pour obtenir la deuxième probabilité, et pour une valeur (ε) définissant un degré de lissage, l'expression mathématique suivante :
μ(τ) =∑m(t) \ r-ε≤τ(ή < τ + ε .
8. Dispositif (100) d'estimation de la direction d'arrivée (U1 ), au cours d'une plage temporelle (P) subdivisée en trames (T), dans un espace (E), d'un premier nombre (N) de signaux (Si) émis respectivement par un même premier nombre (N) de sources (10) caractérisé en ce qu'il comporte :
• une entrée (105) pour recevoir au moins deux observations (Xi, X2) desdits signaux (Si) sur la plage temporelle (P) ;
• une unité de calcul de la direction d'arrivée (110), apte à recevoir les observations (xi, X2), ladite unité (1 10) étant adaptée au calcul d'une première probabilité (p) de présence d'une des sources pour chaque direction d'un ensemble de directions de l'espace (E);
• une unité de regroupement temporel (125), coopérant avec l'unité de calcul de la direction d'arrivée (110), adaptée au calcul d'une deuxième probabilité (μ) de présence d'une des sources (10) pour chaque direction d'un ensemble de directions de l'espace (E), en fonction de la première probabilité (p), et sur une fenêtre temporelle
(F) composée d'un deuxième nombre (g) de trames (T);
• une unité d'identification (130), coopérant avec l'unité de regroupement temporel (125), adaptée à identifier des directions pour lesquelles il existe un maximum local de la deuxième probabilité (μ), lesdites directions correspondant chacune à la direction d'arrivée (U1 ) d'un des signaux (Si) et étant délivrées sur une sortie (140).
9. Dispositif selon la revendication 8, comportant en outre des moyens de comptage (135) pour délivrer sur la sortie (140) le premier nombre (N) de sources (10) en dénombrant le nombre de maxima locaux de la deuxième probabilité (μ).
10. Dispositif selon l'une quelconque des revendications 8 à 9, comportant des moyens de paramétrage (120) adaptés à modifier, au niveau de l'unité de regroupement temporel (125), le deuxième nombre (g) de trames (T) de manière inversement proportionnelle à la vitesse à laquelle les sources (10) sont susceptibles de se déplacer dans l'espace (E).
1 1. Dispositif de décodage audio comportant une entrée pour recevoir au moins deux observations (X1, X2) de signaux (Si) émis par des sources (10), ledit dispositif comportant un dispositif d'estimation de la direction d'arrivée (θt ) selon l'une quelconque des revendications 8 à 10.
12. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications 1 à 7 lorsque ce programme est exécuté par un processeur.
EP10751985A 2009-07-10 2010-07-08 Localisation de sources Withdrawn EP2452293A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0954814A FR2947931A1 (fr) 2009-07-10 2009-07-10 Localisation de sources
PCT/FR2010/051451 WO2011012789A1 (fr) 2009-07-10 2010-07-08 Localisation de sources

Publications (1)

Publication Number Publication Date
EP2452293A1 true EP2452293A1 (fr) 2012-05-16

Family

ID=42224326

Family Applications (1)

Application Number Title Priority Date Filing Date
EP10751985A Withdrawn EP2452293A1 (fr) 2009-07-10 2010-07-08 Localisation de sources

Country Status (3)

Country Link
EP (1) EP2452293A1 (fr)
FR (1) FR2947931A1 (fr)
WO (1) WO2011012789A1 (fr)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2969803A1 (fr) * 2010-12-23 2012-06-29 France Telecom Traitement de donnees sonores pour une separation de sources.
GB2501058A (en) * 2012-03-05 2013-10-16 Eads Uk Ltd A speaker diarization system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2011012789A1 *

Also Published As

Publication number Publication date
FR2947931A1 (fr) 2011-01-14
WO2011012789A1 (fr) 2011-02-03

Similar Documents

Publication Publication Date Title
EP2898707B1 (fr) Calibration optimisee d&#39;un systeme de restitution sonore multi haut-parleurs
US20230116052A1 (en) Array geometry agnostic multi-channel personalized speech enhancement
EP3807669B1 (fr) Localisation de sources sonores dans un environnement acoustique donné
EP4046390B1 (fr) Localisation perfectionnee d&#39;une source acoustique
EP3441966A1 (fr) Système et procédé pour déterminer le contexte audio dans des applications de réalité augmentée
EP3052958B1 (fr) Procede de localisation d&#39;une source sonore et robot humanoide utilisant un tel procede
EP3635718A1 (fr) Traitement de donnees sonores pour une separation de sources sonores dans un signal multicanal
WO2020120772A1 (fr) Procédé d&#39;interpolation d&#39;un champ sonore, produit programme d&#39;ordinateur et dispositif correspondants
FR3014237A1 (fr) Procede de detection de la voix
EP3899701B1 (fr) Mesure temporelle a haute precision d&#39;evenements vibro-acoustiques en synchronisation avec un signal sonore sur dispositif a ecran tactile
EP3627510B1 (fr) Filtrage d&#39;un signal sonore acquis par un systeme de reconnaissance vocale
EP4248231A1 (fr) Localisation perfectionnée d&#39;une source acoustique
FR3031225A1 (fr) Procede de separation ameliore et produit programme d&#39;ordinateur
EP3381204A1 (fr) Procede et dispositif pour estimer la reverberation acoustique
EP0410826B1 (fr) Procédé itératif d&#39;estimation de mouvement, entre une image de référence et une image courante, et dispositif pour la mise en oeuvre de ce procédé
EP4479766A1 (fr) Localisation d&#39;une source acoustique en mouvement
EP2452293A1 (fr) Localisation de sources
EP4315328B1 (fr) Estimation d&#39;un masque optimise pour le traitement de donnees sonores acquises
KR102188620B1 (ko) 누락 데이터에 대한 사인곡선 보간
FR3078196A1 (fr) Procede et dispositif de synchronisation d&#39;enregistrements comprenant un signal audio provenant de differents dispositifs d&#39;acquisition co-localises
US11835625B2 (en) Acoustic-environment mismatch and proximity detection with a novel set of acoustic relative features and adaptive filtering
FR3051959A1 (fr) Procede et dispositif pour estimer un signal dereverbere
WO2024218269A1 (fr) Estimation perfectionnée d&#39;une distance source-microphone et d&#39;une géométrie de salle
EP4684237A1 (fr) Dispositif électronique de détection d&#39;interférence(s) gnss, véhicule, procédé et programme d&#39;ordinateur associés
CN118020101A (zh) 与阵列几何形状无关的多通道个性化语音增强

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20120208

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO SE SI SK SM TR

DAX Request for extension of the european patent (deleted)
RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: ORANGE

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170719

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20171130